JP2009532808A - 触覚効果強化のためのシステムおよび方法 - Google Patents

Abstract

触覚効果強化のためのシステムおよび方法を記載する。記載の一方法は、触覚情報およびマルチメディアデータを有するとともに第１のフォーマットにフォーマットされた入力信号を受信するステップと、入力信号から触覚情報を復号するステップと、触覚デバイスのアクチュエータに関連するパラメータを決定するステップとを含む。方法は、パラメータおよび触覚情報に少なくとも一部基づきアクチュエータ信号を生成するステップと、マルチメディアデータおよびアクチュエータ信号を備えるとともに第２のフォーマットにフォーマットされた出力信号を生成するステップとをさらに含む。

Description

本発明は、一般に触覚制御技術に関する。より詳細には、本発明は、触覚効果のためのシステムおよび方法に関する。

（関連出願の相互参照）
本願は、２００６年４月６日に出願された「振動触覚効果システム（Ａ Ｖｉｂｒｏｔａｃｔｉｌｅ Ｅｆｆｅｃｔｓ Ｓｙｓｔｅｍ）」と称する米国仮特許出願第６０／７９０，４０８号の優先権を主張するものであり、その内容全体を参照によってここに援用する。

携帯デバイスは、１つのデバイスの中にコンピュータ、通信および娯楽の機能を組み込んだ多機能デバイスに急速に進化している。携帯電話機、携帯情報端末および他のデバイスなどのこれらの携帯デバイスには、触覚フィードバックがますます組み込まれている。しかしこれまで、携帯デバイスには、呼び物になっている基本的な振動機能だけしか付いていない。例えば携帯電話機は、振動アクチュエータを１つの振幅で断続させる能力しか持たない場合がある。

これらの携帯電話機および他の触覚デバイスは、振動を起こさせるために、普通のオーディオ信号で多機能トランスデューサ（ＭＦＴ、Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ Ｔｒａｎｓｄｕｃｅｒ）を駆動してもよい。このようなデバイスの中には、特定の振動制御信号を使用しないで、ＭＦＴが成り行きまかせで振動するように、オーディオ信号の既存周波数を当てにするものがあるであろう。このような周波数がオーディオ信号の中に見つからない場合、振動は生じない。

いくらかの振動機能は現時点で存在するが、携帯デバイス技術の進化およびユーザの要求によって、携帯電話機に対する先進的振動機能の必要性が増している。そしてこれらのデバイスの製造業者は、高度な機能性および制御のために、自社の携帯デバイスでこのような先進的振動機能を利用する種々のやり方を探すであろう。

振動フィードバックに対する需要が増えているのと同時に、振動フィードバックが可能な様々な触覚デバイスの数も増えている。多種類の様々な触覚デバイスの増加によって、デバイス設計者は難しい立場に追い込まれている。一方では、デバイス設計者は、振動触覚フィードバックを様々なデバイスの固有の機能に合わせるために、時間とリソースを充ててもよい。あるいはデバイス設計者は、多くの異なるデバイスに同じ一般的な振動触覚フィードバック信号を提供することを選択し、一般的な信号が特定の触覚デバイスの高度な機能をうまく利用できないことを受け入れてもよい。

本発明の実施形態は、触覚効果強化のためのシステムおよび方法を提供する。本発明の一実施形態は、第１のフォーマットにフォーマットされるとともにマルチメディアデータおよび触覚情報を有する入力信号を受信するステップと、触覚情報を復号するステップと、触覚デバイスのアクチュエータに関連するパラメータを決定するステップと、パラメータおよび触覚情報に少なくとも一部基づきアクチュエータ信号を生成するステップとを備える方法を実施する。方法は、マルチメディアデータおよびアクチュエータ信号を備え、第２のフォーマットにフォーマットされた出力信号を生成するステップをさらに備える。一実施形態では、方法は、出力信号に少なくとも一部基づき触覚効果を生み出すステップをさらに備える。別の実施形態では、コンピュータ可読媒体が、このような方法を実行するプログラムコードを備える。

これらの例示的実施形態は、本発明を限定または本発明の範囲を制限するために挙げられるのではなく、本発明の理解を助けるための実施例を与えるものである。例示的実施形態については、「発明を実施するための最良の形態」で検討し、本発明の説明をさらにそこで行う。本発明の種々の実施形態の利点は、本明細書を吟味することによってさらに理解されるであろう。

本発明の上記および他の特徴、態様および利点は、添付図面を参照して以下の「発明を実施するための最良の形態」を読むことにより、一層よく理解できる。

本発明の実施形態は、触覚フィードバック強化のためのシステムおよび方法を提供する。一実施形態例では、コンピュータ可読媒体が触覚デバイスの性能に関する情報を格納する。プロセッサが、所定の周波数で符号化された触覚情報を有するメディアストリームを受け取る。プロセッサは、メディアストリームから触覚情報を取り出すために帯域通過フィルタを使用する。次いでプロセッサは、触覚情報に関連する触覚効果を生み出すためにアクチュエータ信号を生成する。アクチュエータ信号は、コンピュータ可読媒体に格納された特定の触覚デバイスの性能に関する情報に少なくとも一部基づく。アクチュエータ信号生成後、プロセッサは、マルチメディアデータおよびアクチュエータ信号を備える出力信号を生成する。出力信号は、入力信号と同じフォーマットである。一旦プロセッサが出力信号を生成すると、触覚デバイスは、アクチュエータを使用して触覚効果を提供し得る。

この実施例は、検討する全般的主題を読者に紹介するために挙げている。本発明はこの例に限定されない。以下では、触覚フィードバック強化のためのシステム例および方法例を説明する。

（触覚フィードバック強化のためのデバイス例）
触覚フィードバックを強化するように構成されたデバイスの一実施形態例では、携帯音楽プレーヤが、スピーカを通して音を再生し、アクチュエータで触覚効果を生み出すように構成されてもよい。このような一実施形態では、携帯音楽プレーヤは、オーディオデータおよび触覚データを備える入力データを受け取るように構成されたプロセッサを備えてもよい。プロセッサは、入力データから触覚データを取り出す。次いでプロセッサは、アクチュエータの共振周波数などのアクチュエータに関連するパラメータを分析し、触覚データおよびパラメータに少なくとも一部基づきアクチュエータ信号を生成する。次いでプロセッサは、音を生み出すためにスピーカにオーディオデータを出力し、触覚効果を与えるためにアクチュエータにアクチュエータ信号を伝達するようにさらに構成されてもよい。この実施形態例では、アクチュエータ信号およびオーディオデータを、触覚効果が実質上音と同期するように伝達し得る。

このような一実施形態例は、触覚効果をオーディデータととともに符号化し得るオーディオファイルを再生するために、都合よく利用されてもよい。このようなオーディオファイルは、音楽を聴く体験を高めるために、音楽を聴くユーザに、音楽および同期した触覚効果を提供し得る。このような一実施形態例は、映像データも含み、例えば音と映像の両方に同期した触覚効果を与えてもよい。例えば触覚効果は、映画を見る体験またはテレビゲームを行う体験を高めるために使用されてもよい。

この第２の実施例も、本明細書で検討する全般的主題を読者に紹介するために挙げている。本発明はこれらの例に限定されない。以降のセクションでは、触覚フィードバック強化のためのシステムおよび方法の種々の実施形態を説明する。

（触覚フィードバック強化）
これより、同様の数字がいくつかの図を通して同様の要素を示す図を参照する。図１は、本発明の一実施形態における触覚フィードバックを強化するためのデバイスの図である。図１のデバイスは、ディスプレイ１０４、キーパッド１０６およびスピーカ１０８を有する携帯電話機１０２から成る。図１に示す実施形態は携帯電話機から成るが、他の実施形態は他のデバイスを備えてもよい。例えば他の実施形態は、携帯情報端末（ＰＤＡ、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ポケベル、携帯音楽プレーヤもしくは携帯ビデオプレーヤ、ゲームコントローラもしくは他のマニピュランダム(ｍａｎｉｐｕｌａｎｄｕｍ)、携帯ゲームシステムまたは携帯ナビゲーションデバイスを備えてもよい。

図２は、本発明の一実施形態における触覚フィードバックを強化するためのデバイスの第２の図である。図２は、図１に示す携帯電話機１０２の内部の斜視図を表わす。携帯電話機１０２は、プロセッサ２０４およびアクチュエータ２０６を含む。プロセッサ２０４は、アクチュエータ２０６と情報伝達する。

プロセッサ２０４は、第１のフォーマットにフォーマットされるとともにマルチメディアデータおよび触覚情報を有する入力信号を受け取るように構成される。プロセッサ２０４は、第２のフォーマットにフォーマットされた出力信号を生成するようにも構成される。出力信号は、マルチメディアデータおよびアクチュエータ信号を備えてもよい。出力信号の第２のフォーマットは、入力信号の第１のフォーマットと同じでもよい。出力信号は、スピーカ１０８またはアクチュエータ２０６などの、携帯電話機１０２の１つ以上の素子に伝達されてもよい。一実施形態では、出力信号は、スピーカ１０８とアクチュエータ２０６に実質上同時に伝達されてもよい。このような例では、携帯電話機１０２のスピーカ１０８は、マルチメディアデータに少なくとも一部基づき音を再生してもよく、アクチュエータ２０６は、アクチュエータ信号に少なくとも一部基づき触覚効果を生み出してもよい。一実施形態では、触覚効果とオーディオは同期してもよい。例えば一実施形態では、スピーカ１０８は、アクチュエータ２０６が生み出す触覚効果と実質上同時に音を再生し得る。

他の実施形態では、触覚効果は、音と同期しなくてもよい。一実施形態では、アクチュエータ信号は、触覚効果を生成しないように構成されてもよい。例えば、触覚情報が認識されない場合か、または触覚情報を使用可能でない場合、アクチュエータ信号は、触覚効果を生じないように構成されてもよい。

図示のデバイスはプロセッサ２０４を１つ備えるが、他のデバイスは２つ以上のプロセッサを備えてもよい。プロセッサ２０４および本発明の１つ以上の実施形態に組み込まれる他のプロセッサは、プロセッサに結合しているランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を備えてもよい。プロセッサは、振動触覚または他の触覚効果を生じるために１つ以上のコンピュータプログラムを実行するなど、メモリに格納されたコンピュータ実行可能プログラム命令を実行する。このようなプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および状態マシンを備えてもよい。このようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｉｎｔｅｒｒｕｐｔ Ｃｏｎｔｒｏｌｌｅｒ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、プログラマブルリードオンリメモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、電子的にプログラマブルなリードオンリメモリ（ＥＰＲＯＭもしくはＥＥＰＲＯＭ）、または他の類似のデバイスなどのプログラマブル電子デバイスをさらに備えてもよい。

このようなプロセッサは、例えばコンピュータ可読媒体などの記憶媒体を備えてもよいかまたはその記憶媒体と通信してもよく、記憶媒体は命令を格納してもよく、命令は、プロセッサによって実行されるとき、プロセッサが実行または補助すると本明細書に記載のステップをプロセッサに実行させることができる。コンピュータ可読媒体の実施形態には、電子記憶装置、光記憶装置、磁気記憶装置もしくは他の記憶装置またはウェブサーバ内のプロセッサなどのプロセッサにコンピュータ可読命令を与える能力のある伝送デバイスを含んでもよいが、これらに限定されない。記憶媒体の他の例には、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成したプロセッサ、すべての光記憶媒体、すべての磁気テープもしくは他の磁気記憶媒体、またはコンピュータプロセッサが読み取りできる他のあらゆる記憶媒体を含むが、これらに限定されない。また、コンピュータ可読媒体の他の種々の形態では、ルータ、プライベートネットワークもしくはパブリックネットワーク、または他の伝送デバイスもしくは伝送チャネルなどのコンピュータに、命令を伝達もしくは運搬してもよい。記載のプロセッサおよび処理は１つ以上の構造であってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（または方法の一部）を実行するためのコードを備えてもよい。命令は、例えばＣ、Ｃ＋、Ｃ＋＋、ビジュアルベーシック、Ｊａｖａ（登録商標）、ＰｙｔｈｏｎおよびＪａｖａＳｃｒｉｐｔ（登録商標）を含む任意の適切なコンピュータプログラミング言語のコードを備えてもよい。

アクチュエータ２０６は、偏心回転質量（ＥＲＭ、Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）アクチュエータ、ＭＦＴ、直動質量(ｌｉｎｅａｒ ｍａｓｓ)アクチュエータ、電磁アクチュエータ、モータ、ボイスコイル、空気圧アクチュエータもしくは油圧アクチュエータ、電気活性ポリマーまたは他の任意の適切なアクチュエータを含む多種類の様々なタイプのアクチュエータのどれでもよい。一実施形態では、アクチュエータ２０６は、複数のアクチュエータを備えてもよい。例えば一実施形態では、２つのアクチュエータが利用されてもよい。第１のアクチュエータは、高い振動周波数（例えば、２００Ｈｚ超）を有する振動触覚または他の触覚効果を与えるように構成されてもよいのに対して、第２のアクチュエータは、低い振動周波数（例えば、２００Ｈｚ未満）を有する振動触覚または他の触覚効果を与えるように構成されてもよい。別の実施形態では、第１のアクチュエータと第２のアクチュエータは、方向指示効果を模擬した触覚効果を与えるように利用されてもよい。例えば、第１のアクチュエータと第２のアクチュエータは、デバイスの反対側に配置されてもよく、デバイスの一方の側から他方の側に動くように思える触覚効果を与えるように動作してもよいし、スクリーン上のイメージと同期して振動源の方向の目安を与えるように動作してもよい。

（触覚フィードバック強化のためのシステム例）
図３は、本発明の一実施形態における触覚フィードバックを強化するためのシステムを示すブロック図である。図示の実施形態では、システムは、メディアプレーヤ３０２、ネットワーク３２０、および設計ツール３２２を備える。メディアプレーヤ３０２は、メディアストリームデコーダ３０４、触覚メディアエンジン３０６、アクチュエータ３１０、多機能トランスデューサ３１２、ディスプレイ３１４、およびスピーカ３１６を備える。

（メディアプレーヤ）
メディアプレーヤ３０２は、スピーカ３１６を通してオーディオを再生および／またはディスプレイ３１４を通して映像を再生するように構成されてもよい。一実施形態では、メディアプレーヤ３０２は、ユーザにＭＦＴ３１２で触覚効果を与えるように構成されてもよい。別の実施形態では、メディアプレーヤ３０２は、ユーザにアクチュエータ３１０で触覚効果を与えるように構成されてもよい。メディアプレーヤ３０２は、１つ以上の多機能トランスデューサ３１２と１つ以上のアクチュエータ３１０との組み合わせを有してもよい。一実施形態では、メディアプレーヤ３０２は、様々な強度、周波数、継続期間、リズム、抑揚および他のダイナミックを有する広範囲の振動触覚および他の触覚効果を生み出す能力があってもよい。

メディアプレーヤ３０２は、触覚情報およびマルチメディアデータを有する入力信号を受信するように構成されてもよい。いくつかの実施形態では、マルチメディアデータは、オーディオストリームおよびビデオストリームなどの１つ以上のメディアストリームを含むマルチメディアファイルでもよい。いくつかの実施形態では、入力信号は、インターネットまたは携帯電話ネットワークを含むがこれらに限定されないネットワーク３２０を通じて受信される。メディアプレーヤ３０２は、ワイヤレスネットワーク（８０２．１１など）、セルラネットワーク、Ｂｌｕｅｔｏｏｔｈ、赤外線またはデータの無線伝送用の他の手段によってなどで、入力信号を無線で受信してもよい。いくつかの実施形態では、メディアプレーヤ３０２は、イーサネット（登録商標）接続、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続、ＦｉｒｅＷｉｒｅ接続、パラレル接続またはシリアル接続などの直接の電気的接続を通じて入力信号を受信してもよい。

他の実施形態では、入力信号をローカルメモリ（図示せず）から受け取る。メディアプレーヤは、アプリケーションから入力信号を受け取るようにも構成されてもよい。例えばメディアプレーヤ３０２は、触覚情報を含むコンテンツを作成するための設計ツール３２２から入力信号を受け取ってもよい。

メディアプレーヤ３０２は、メディアストリームデコーダ３０４を備える。一実施形態では、メディアストリームデコーダ３０４は、プロセッサ（図示せず）が実行するプログラムコードを備える。例えばメディアプレーヤ３０２は、プロセッサおよびメモリを備えてもよい。メモリは、メディアストリームデコーダ３０４を構成するプログラムコードを備える。メディアストリームデコーダ３０４は、触覚情報およびマルチメディアデータを有する入力信号を受け取るためのプログラムコードを備えてもよく、入力信号は、第１のフォーマットにフォーマットされていてもよい。

第１のフォーマットは、マルチメディアフォーマットでもよい。例えば一実施形態では、入力信号は、ＭＰ３（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１ Ａｕｄｉｏ Ｌａｙｅｒ ３）フォーマットを使用してフォーマットされたオーディオデータを備える。一実施形態では、入力信号は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットを使用してフォーマットされた映像および／またはデータを備えてもよい。他の実施形態では、ウェーブ（ＷＡＶ、Ｗａｖｅｆｏｒｍ Ａｕｄｉｏ Ｆｏｒｍａｔ）フォーマット、電子楽器デジタルインタフェース（ＭＩＤＩ、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマット、Ｏｇｇフォーマット、ＤｉｖＸ（登録商標）フォーマット、ＱｕｉｃｋＴｉｍｅ（登録商標）フォーマット、ＭＰ３フォーマット、Ａｐｐｌｅ（登録商標）のＭ４Ｐ（ＭＰＥＧ−４ Ｐａｒｔ ３）フォーマット、先進的音響符号化（ＡＡＣ、Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）フォーマットまたはオーディオデータおよび／または映像データの符号化用の他の任意のフォーマットを含む、オーディオデータおよび／または映像データ用の他のマルチメディアフォーマットが使用されてもよい。入力信号は、オーディオファイルなどの１つのメディアと関連してもよい。他の実施形態では、メディアストリームは、オーディオデータと映像データを有する映画ファイルなどのマルチメディアファイルでもよい。

入力信号は、触覚情報も含む。触覚情報は、マルチメディアデータの中に独立のメディアストリームとして収容されてもよい。例えばいくつかの実施形態では、触覚情報は、例えば既存のマルチメディアファイル内のパッケージとして、メディア内に組み込まれてもよい。組み込まれた触覚情報は、触覚データを認識するように設計されていないメディアプレーヤには、触覚コンテンツを見えなくするやり方で入力データ内に置かれてもよい。他の実施形態では、触覚情報を認識するように設計されたメディアプレーヤが触覚情報を無視するかそれとも再生するかを選択してもよいように、入力信号のフォーマットは触覚データを含むように拡張されてもよい。

いくつかの実施形態では、触覚情報は、特定のメディアストリーム内に符号化される。例えば触覚情報は、その本来のフォーマットからマルチメディアデータと同じフォーマットに変換されてもよい。一実施形態では、触覚データは、メディアストリームデータの、１つ以上の周波数で振幅変調したデータまたは周波数変調したデータとして符号化されてもよい。例えば一実施形態では、触覚データは、１４０Ｈｚの周波数を有する搬送波で振幅変調したデータとして符号化され、次いで既存のオーディオストリームに混合される。別の実施形態では、触覚データは、周波数変調データとして符号化されてもよい。触覚データは、触覚デバイスのスピーカによって認識されない周波数で符号化されてもよい。例えば触覚デバイスのスピーカが１３５Ｈｚ未満の周波数を認識しない場合、触覚情報は１３０Ｈｚで符号化されてもよい。

触覚データは、触覚効果を記述する情報として符号化されてもよい。例えば一実施形態では、触覚データは、出力される触覚効果に関連する周波数、振幅、継続期間、周期、パルス幅、エンベロープおよび／または他の情報を指定するデータを備えてもよい。一実施形態では、触覚データは、触覚効果として出力される波形を備えてもよい。例えば、アクチュエータ信号を表わす情報を符号化するのでなく、デジタルアクチュエータ信号自体を規定するデータ点が触覚データとして符号化されてもよい。一実施形態では、触覚データは、アクチュエータ信号を表わす情報とデジタルアクチュエータ信号の少なくとも一部を規定するデータ点との両方を備えてもよい。

一実施形態では、触覚効果をオーディオおよび／または映像と同期させるために、同期データが入力信号に組み込まれてもよい。２００６年１０月１８日に出願された同時継続米国特許出願第１１／５８３，４８３は、メディアトランスポートストリーム内の触覚効果データの同期方法を記載し、その内容全体を参照によってここに援用する。例えば一実施形態では、マルチメディアデータ内の一連のフレームの中の触覚情報は、対応するタイムスタンプと関連してもよい。出力信号が生成されるとき、出力信号を受け取るアクチュエータが、ドラムを打つ音がスピーカで再生されるのと同時に触覚効果を与えるように、アクチュエータ信号をマルチメディアデータと同期させるために、タイムスタンプが使用されてもよい。

一例では、メディアプレーヤ３０２は、タッチスクリーンなどのタッチセンシティブスクリーンを備えてもよい。ユーザは、タッチスクリーンに触れて、選択ボックス、ウィンドウまたは特定のファイルなどのオブジェクトを選択してもよい。例えばユーザは、タッチスクリーン上の仮想ボタンを押してもよい。いくつかの実施形態では、その場合メディアプレーヤ３０２は、音響効果を同時に再生し、選択に関連する触覚効果を生じてもよい。他の実施形態では、その場合メディアプレーヤ３０２は、音響効果または他のメディアを再生することなしに触覚効果を生じてもよい。

一実施形態では、入力データは、オーディオデータと触覚データを備えてもよく、ここで触覚データは、オーディオデータ内のドラムを打つ音に同期した触覚効果を与えるように構成される。別の実施形態では、触覚データは、オーディオデータから推量されてもよい。例えばメディアストリームデコーダ３０４は、触覚イベントに関連する周波数パターンを特定するために、オーディオデータおよび／または映像データを分析するように構成されてもよい。例えばメディアストリームデコーダ３０４は、低周波数で大振幅信号のオーディオデータを爆発に関連する場合があると分析し、関連する触覚効果を生じるように構成されてもよい。

メディアストリームデコーダ３０４は、入力信号から触覚情報を復号するためのプログラムコードをさらに備えてもよい。例えば図３に示す実施形態では、メディアストリームデコーダ３０４は、触覚メディアエンジン(ｈａｐｔｉｃ ｍｅｄｉａ ｅｎｇｉｎｅ)３０６を備える。触覚メディアエンジン３０６は、触覚デバイスの性能を記述する情報にアクセスし、触覚デバイスの固有のパラメータを考慮して、入力信号からの触覚情報を再フォーマットする能力を有してもよい。

触覚メディアエンジン３０６は、入力信号から触覚情報を復号するように構成されてもよい。触覚メディアエンジン３０６は、入力データからアクチュエータ信号を表わす情報またはデジタルアクチュエータ信号を規定するデータ点を取り出すように構成されてもよい。触覚メディアエンジン３０６は、固有の所定の周波数で入力データから触覚情報を取り出すように構成されてもよい。一実施形態では、触覚メディアエンジン３０６は、入力データ内の指定の周波数を有する搬送波から振幅変調データを復号するように構成されてもよい。別の実施形態では、触覚メディアエンジン３０６は、入力データから周波数変調データを取り出すように構成されてもよい。

一実施形態では、触覚データは、所定の周波数例えば１４０ヘルツで、入力信号に符号化される。触覚メディアエンジン３０６は、帯域通過フィルタを備えてもよい。帯域通過フィルタは、所定の周波数で入力信号の触覚データを復号してもよい。

メディアストリームデコーダ３０４は、触覚デバイスのアクチュエータに関連するパラメータを決定するためのプログラムコードをさらに備えてもよい。例えば一実施形態では、触覚メディアエンジン３０６は、アクチュエータ３１０または多機能トランスデューサ３１２の共振周波数を測定してもよい。パラメータデータは、例えばアクチュエータの共振周波数、アクチュエータの最大ピーク・ツー・ピーク振幅もしくは大きさ、またはアクチュエータの最短応答時間などを備えてもよいが、これらに限定されない。パラメータデータには、スピーカ３１６の周波数応答が悪いオーディオ周波数などの、メディアプレーヤの他の構成要素に関連するデータも含んでもよい。

図３に示す実施形態では、触覚メディアエンジン３０６は、パラメータおよび触覚情報に少なくとも一部基づきアクチュエータ信号を生成するためのプログラムコードをさらに備える。例えば一実施形態では、触覚メディアエンジン３０６は、アクチュエータの共振周波数などのアクチュエータに関連するパラメータを使用してもよい。このような実施形態では、触覚メディアエンジン３０６は、アクチュエータの共振周波数にほぼ等しい周波数を有するとともに触覚情報に関連する特徴を有するアクチュエータ信号を生成してもよい。例えばアクチュエータ信号は、少なくとも一部は触覚情報に基づく振幅および継続期間で構成されてもよい。一実施形態では、触覚情報は、デジタルアクチュエータ信号を規定するデータ点を備えてもよい。このような実施形態では、触覚メディアエンジン３０６は、アクチュエータの共振周波数にほぼ等しい周波数を有するとともに触覚情報からのデータ点によって規定される波形を有するアクチュエータ信号を生成してもよい。一実施形態では、触覚メディアエンジン３０６は、アクチュエータの最大ピーク・ツー・ピーク振幅に等しい振幅を有するアクチュエータ信号を生成してもよい。一実施形態では、触覚メディアエンジン３０６は、アクチュエータの最短応答時間に基づきアクチュエータ信号を生成してもよい。

メディアストリームデコーダ３０４は、マルチメディアデータおよびアクチュエータ信号を備える出力信号を生成するためのプログラムコードをさらに備え、出力信号は第２のフォーマットに符号化される。第２のフォーマットは、オーディオデータおよび／または映像データの符号化用のＷＡＶ、ＭＩＤＩ、Ｏｇｇ、ＤｉｖＸ（登録商標）、ＱｕｉｃｋＴｉｍｅ（登録商標）、ＭＰ３、Ｍ４Ｐ、ＡＡＣまたは他の任意のフォーマットなどのマルチメディアフォーマットでもよい。あるいは出力信号は、アクチュエータ信号としてフォーマットされてもよい。第２のフォーマットは、第１のフォーマットと同じでもよい。

一実施形態では、出力信号のアクチュエータ信号部分は、直接アクチュエータに伝達されてもよい。例えば出力信号は、直流電圧アクチュエータ信号としてフォーマットされてもよく、この信号は直接アクチュエータで再生される。

他の実施形態では、メディアプレーヤ３０２は、メディアミキサで使用するための出力信号を生成してもよい。メディアミキサは、種々のタイプのメディアを受け取り、それらのメディアを適切なデバイスに伝達し得る。メディアミキサは、到来する複数のメディアを１つの出力に統合し得る。一実施形態では、メディアプレーヤ３０２は、アクチュエータ駆動回路またはメディア駆動回路で出力信号を生成してもよい。

（アーキテクチャ）
図３に示す本発明の実施形態では、メディアプレーヤ３０２は、データを受け取り、データを使用してオーディオ／映像を再生し、触覚効果を生み出す。図３に示す実施形態では、メディアプレーヤ３０２は、メディアストリームデコーダ３０４アプリケーションを備える。図３に示すメディアストリームデコーダ３０４は、メディアプレーヤ３０２内のメモリに常駐し、メディアプレーヤ３０２内のプロセッサで実行されるように構成されたアプリケーションソフトウェアである。メディアストリームデコーダ３０４は、データ源からデータを受け取り、メディアプレーヤ３０２のメモリに格納されたデータを読み取るためのコードと、アクチュエータ３１０、多機能トランスデューサ３１２、スピーカ３１６および／またはディスプレイ３１４などの出力デバイスにデータを出力するためのコードとを備えてもよい。例えばメディアプレーヤ３０２は、フラッシュメモリなどの不揮発性メモリを備えてもよく、不揮発性メモリは、アクチュエータ３１０または多機能トランスデューサ３１２などの１つ以上の出力デバイスに関連するパラメータを格納してもよい。

図３に示す実施形態では、メディアストリームデコーダは、触覚メディアエンジン３０６も備える。触覚メディアエンジン３０６は、入力データから触覚情報を取り出し、触覚情報およびアクチュエータ３１０に関連するパラメータに少なくとも一部基づきアクチュエータ信号を決定し、アクチュエータ信号およびマルチメディアデータに少なくとも一部基づき出力信号を決定し、アクチュエータ信号を出力する専用アプリケーションでもよい。触覚メディアエンジン３０６は、メディアプレーヤ３０２内のメモリ（図示せず）に格納されたデータを読み取るようにも構成されてもよい。例えば触覚メディアエンジン３０６は、アクチュエータ３１０または多機能トランスデューサ３１２に関連するパラメータを備えるデータを読み取るように構成されてもよい。触覚メディアエンジン３０６は、メディアストリームデコーダ３０４が受け取るマルチメディアデータストリーム内に符号化された触覚効果を与えるために、メディアストリームデコーダ３０４と連携して動作してもよい。

一実施形態では、メディアストリームデコーダ３０４は、例えばハードディスクドライブ、ＣＤプレーヤ、ＤＶＤプレーヤ、フラッシュドライブ、メモリまたはネットワーク接続などであるがこれらに限定されないデータ源とインタラクトするためのコードを備えてもよい。一実施形態では、メディアストリームデコーダは、メモリから着信音などのデータを受け取るように構成される。着信音は、電話の着信を知らせるために鳴らされ、携帯電話機または他のデバイスで再生されるようにフォーマットされたサウンドファイルから成る。メディアストリームデコーダは、着信音に関連する着信音データを読み取ってもよい。メディアストリームデコーダは、着信音データ内のオーディオデータを取り出し処理してもよい。例えばメディアストリームデコーダ３０４は、スピーカ３１６に出力するオーディオ信号を、少なくとも一部着信音データに基づき組み立ててもよい。メディアストリームデコーダは、着信音データを触覚メディアエンジン３０６にも提供してもよい。

触覚メディアエンジン３０６は、着信音データから触覚情報を取り出してもよい。触覚メディアエンジン３０６は、メディアプレーヤ３０２内にあるメモリからアクチュエータ３１０に関連するパラメータデータも読み取ってもよい。触覚メディアエンジン３０６は、少なくとも一部触覚情報に基づきアクチュエータ信号を組み立ててもよい。次いで触覚メディアエンジン３０６は、アクチュエータに関連するパラメータデータに少なくとも基づきアクチュエータ信号を修正してもよい。例えば着信音データは、触覚効果を生じるためのデジタル波形を備えてもよく、ここで波形の周波数は２００Ｈｚである。触覚メディアエンジン３０６は、例えば１４０Ｈｚなどのアクチュエータ３１０の共振周波数にほぼ等しい周波数を有する新しいアクチュエータ信号を決めてもよい。触覚メディアエンジン３０６は、アクチュエータ３１０およびメディアプレーヤ３０２の動作特性に合うように、デジタル波形の振幅の正規化もしてもよい。例えばアクチュエータ３１０は、入力アクチュエータ信号が最大ピーク・ツー・ピーク振幅３ボルトに制限されている場合がある。デジタル波形が最大ピーク・ツー・ピーク振幅５ボルトを備える場合、触覚メディアエンジン３０６は、デジタル波形を３ボルトの最大ピーク・ツー・ピーク振幅になるように正規化してもよい。アクチュエータ３１０に関連する他の特性は、触覚情報を修正するために使用されてもよい。例えばアクチュエータ３１０は、大きい偏心質量を有することがあり、この場合アクチュエータは、加速および減速により長い時間を要することになる。このようなアクチュエータは、非常に急速に連続して起こる振動を再生できないことがある。このような実施形態では、触覚メディアエンジン３０６は、触覚情報から組み立てられたアクチュエータ信号を、アクチュエータの動作特性に合わせるように作り直してもよい。例えば触覚メディアエンジン３０６は、アクチュエータが動作することができる最小パルス幅のパルスより小さいパルス幅を有する３つの短いパルスを組み合わせて、２つのパルスを作成してもよい。

図示の実施形態では、触覚メディアエンジン３０６は、アクチュエータ信号を組み立てた後、アクチュエータ信号をメディアストリームデコーダ３０４に伝達してもよく、次いでメディアストリームデコーダ３０４は、オーディオと実質上同期した触覚効果を与えるために、オーディオ信号とアクチュエータ信号の両方を出力してもよい。一実施形態では、触覚メディアエンジン３０６は、メディアストリームデコーダ３０４からコマンドを受け取り、アクチュエータ信号を出力してもよい。一実施形態では、触覚メディアエンジン３０６は、メディアストリームデコーダ３０４からのコマンドなしに、アクチュエータ信号を直接アクチュエータ３１０に出力してもよい。

一実施形態では、触覚メディアエンジン３０６は、マルチメディアデータおよびアクチュエータ信号を備える出力信号を生成するように構成されてもよい。いくつかの実施形態では、出力信号は、メディアストリームデコーダ３０４が受け取った入力データと同じフォーマットでもよい。例えば出力信号は、メディア情報および触覚情報を有するｍｐ４ファイルでもよい。

一実施形態では、出力信号は、特定の触覚デバイス用に最適化されてもよい。出力信号が特定のデバイスでの再生用に最適化される場合、出力信号を受け取るデバイスは、ディスプレイ、スピーカおよび１つ以上のアクチュエータなどのデバイスの複数の構成要素を使用して、出力信号を再生できてもよい。例えば一実施形態では、触覚メディアエンジン３０６は、触覚デバイスのスピーカによって処理されない特定の周波数で触覚駆動信号を符号化してもよい。このような実施形態では、スピーカはアクチュエータ信号が符号化されている周波数に応答しないので、触覚デバイスのスピーカは出力信号を最小のオーディオ歪みで再生する一方で、アクチュエータが出力信号の触覚部分を再生するように、出力信号を触覚デバイスで再生し得る。

触覚メディアエンジン３０６は、ユーザの好みに少なくとも一部基づき出力信号を生成してもよい。例えばユーザの好みは、オーディオのある音量、映像のある輝度、触覚効果のある振動レベルを示してもよい。このような実施形態の１つでは、触覚メディアエンジン３０６は、出力信号の触覚部分の強度を最大にする一方で出力信号のオーディオ部分を半分にする能力があってもよい。

（触覚フィードバック強化のための方法の例）
図４は、本発明の一実施形態における触覚フィードバックを強化するための方法を示すフロー図である。ステップ４０２では、入力信号がメディアプレーヤ３０２で受信される。メディアプレーヤ３０２は、デジタル信号の入力信号を受信してもよい。別の実施形態では、メディアプレーヤ３０２は、アナログ信号の入力信号を受信してもよい。入力信号は、触覚情報およびマルチメディアデータを備えていてもよい。一実施形態では、信号は、ＭＰ３フォーマットなどのマルチメディアフォーマットにフォーマットされていてもよい。

ステップ４０４では、メディアストリームデコーダ３０４は、入力信号から触覚情報を復号する。触覚情報は、特定の周波数で入力信号の中に符号化されていてもよい。一実施形態では、触覚情報は、入力信号の中でマルチメディアデータと混合されてもよい。このような実施形態では、入力データは、マルチメディアデータおよび触覚情報を備えてもよく、ここでマルチメディアデータと触覚情報は、入力データ内で位置を交替する。例えばマルチメディアデータは、パケット当たり第１の固定バイト数のデータを有するデータパケットを備えてもよいのに対して、触覚情報は、パケット当たり第２の固定バイト数のデータを有するデータパケットを備えてもよい。入力データは、一連のデータパケットを備えてもよく、マルチメディアデータの各パケットに触覚情報の１パケットが続く。他の実施形態では、マルチメディアデータは、マルチメディアデータおよび触覚情報の様々な順番および数で触覚情報と組み合わされてもよい。

ステップ４０６では、触覚メディアエンジン３０６が、触覚デバイスに関連するパラメータを決定する。触覚メディアエンジン３０６は、触覚デバイスに関連する複数のパラメータを決定してもよい。一実施形態では、パラメータは、触覚メディアエンジン３０６によってローカルメモリに格納されてもよい。このような実施形態では、触覚メディアエンジン３０６は、アクチュエータ信号を生成するために、このようなローカルメモリに格納されたパラメータにアクセスしてもよい。例えば触覚メディアエンジン３０６は、触覚デバイスに関連するパラメータを決定するために、ローカルメモリに格納された設定ファイルにアクセスしてもよい。

いくつかの実施形態では、触覚メディアエンジン３０６は、パラメータを計算することによって、触覚デバイスに関連するパラメータを決定してもよい。例えば触覚メディアエンジン３０６は、設定ファイルにアクセスしない場合、メディアプレーヤ３０２の中で使用される、アクチュエータ３１０の種類に対するデフォルトパラメータを計算してもよい。

ステップ４０８では、触覚メディアエンジン３０６は、パラメータおよび触覚情報に少なくとも一部基づきアクチュエータ信号を生成する。アクチュエータ信号は、メディアプレーヤ３０２のアクチュエータに固有であってもよい。一実施形態では、アクチュエータ信号は、加工していない振動駆動信号ストリームであってもよい。一実施形態では、触覚メディアエンジン３０６は、アクチュエータの共振周波数にほぼ等しい周波数を有するとともに触覚情報に関連する特性を有するアクチュエータ信号を生成してもよい。

ステップ４１０では、触覚メディアエンジン３０６は、アクチュエータ制御信号を備える出力信号を生成する。一実施形態では、アクチュエータ制御信号は、入力信号と同じフォーマットにフォーマットされる。別の実施形態では、アクチュエータ制御信号は、入力信号とは異なるフォーマットにフォーマットされる。

一実施形態では、アクチュエータ制御信号は、アクチュエータ駆動ハードウェアに直接伝達されてもよい。一実施形態では、アクチュエータ制御信号は、メディアストリームミキサに伝達されてもよい。このような実施形態では、オーディオストリームからのオーディオデータは、アクチュエータ制御信号と混合され、音と振動の両方を生み出す多機能トランスデューサに伝達されてもよい。

ステップ４１２では、メディアプレーヤ３０２は、出力信号に少なくとも一部基づき触覚効果を生じる。一実施形態では、メディアプレーヤ３０２は、出力信号をアクチュエータ３１０に伝達することによって、触覚効果を生じてもよい。別の実施形態では、メディアプレーヤ３０２は、出力信号を多機能トランスデューサ３１２に伝達することによって、触覚効果を生じてもよい。

触覚効果は、マルチメディアデータがデバイスで再生される出力と実質上同時に生成されてもよい４１２。一実施形態では、触覚効果は、ディスプレイ３１４が映像データを再生するのと同時に生じてもよい。別の例として一実施形態では、メディアプレーヤ３０２は、スピーカ３１６を通してドラムを打つ音を再生するのと同時に、振動させる。あるいは他の実施形態では、触覚効果は、マルチメディアデータが再生されるわずかに前またはわずかに後に生じる。

生み出される触覚効果４１２は、運動感覚フィードバック効果でもよい。他の実施形態では、生み出される触覚効果４１２は、振動などの振動触覚フィードバック効果でもよい。いくつかの実施形態では、生み出される触覚効果４１２は効果の組み合わせである。

本発明の実施形態は、触覚フィードバックを与える従来のシステムおよび方法に対して種々の利点を与える。例えばいくつかの実施形態では、十分に忠実なアクチュエータ信号を出力する。また、いくつかの実施形態では、強度、周波数、継続期間、リズム、抑揚ならびに振動出力を増加、減少および急停止する能力を含む力に関して、広範囲の制御を提供する。このような触覚効果の強化を通して、本発明のデバイスは、使用が容易でイベントおよび感情の現実的で面白い疑似触覚を生じる能力があるであろう。

（総合）
本発明の実施形態についての上記説明は、例証および説明のためだけに提示しており、すべてを完全に網羅する意図や、開示にぴったりと一致する形態に本発明を限定する意図はない。本発明の精神および範囲から逸脱しないその多くの修正形態および適応形態が、当業者には明らかであろう。

本発明の一実施形態における触覚フィードバックを強化するためのデバイスの図である。 本発明の一実施形態における触覚フィードバックを強化するためのデバイスの第２の図である。 本発明の一実施形態における触覚フィードバックを強化するためのシステムを示すブロック図である。 本発明の一実施形態における触覚フィードバックを強化するための方法を示すフロー図である。

Claims (24)

1. 触覚情報およびマルチメディアデータを有するとともに第１のフォーマットにフォーマットされた入力信号を受信するステップと、
   前記入力信号から前記触覚情報を復号するステップと、
   触覚デバイスのアクチュエータに関連するパラメータを決定するステップと、
   前記パラメータおよび前記触覚情報に少なくとも一部基づきアクチュエータ信号を生成するステップと、
   前記マルチメディアデータおよび前記アクチュエータ信号を備えるとともに第２のフォーマットにフォーマットされた出力信号を生成するステップと
   を備える方法。
2. 前記出力信号に少なくとも一部基づき触覚効果を生み出すステップをさらに備える、請求項１に記載の方法。
3. 前記入力信号は同期データをさらに含む、請求項１に記載の方法。
4. 前記マルチメディアデータは、オーディオデータまたは映像データの少なくとも１つを備える、請求項１に記載の方法。
5. 前記第１のフォーマットはマルチメディアフォーマットである、請求項１に記載の方法。
6. 前記マルチメディアフォーマットは、ＷＡＶフォーマット、ＭＩＤＩフォーマット、Ｏｇｇフォーマット、ＤＩＶＸフォーマット、ＱｕｉｃｋＴｉｍｅフォーマット、ＭＰ３フォーマット、ＭＰＥＧ−２フォーマット、ＭＰＥＧ−４フォーマット、Ｍ４Ｐフォーマット、またはＡＡＣフォーマットの１つである、請求項５に記載の方法。
7. 前記触覚情報は、前記入力信号の別のメディアストリームに組み込まれる、請求項１に記載の方法。
8. 前記入力信号の前記触覚情報は、前記マルチメディアデータの中に独立のメディアストリームとして収容される、請求項１に記載の方法。
9. 前記入力信号の前記触覚情報は所定の情報周波数で符号化される、請求項８に記載の方法。
10. 前記所定の情報周波数は１４０Ｈｚである、請求項９に記載の方法。
11. 前記触覚情報を復号するステップは、特定の周波数で符号化された前記触覚情報にアクセスするために帯域通過フィルタを使用するステップ備える、請求項１に記載の方法。
12. 前記触覚デバイスの前記アクチュエータに関連する前記パラメータは、達成可能な強度のパラメータを備える、請求項１に記載の方法。
13. 前記触覚デバイスの前記アクチュエータに関連する前記パラメータは、動的応答特性を備える、請求項１に記載の方法。
14. 前記触覚デバイスの前記アクチュエータに関連する前記パラメータは、周波数応答特性を備える、請求項１に記載の方法。
15. 前記出力信号は、前記入力信号と同じフォーマットを備える、請求項１に記載の方法。
16. 前記出力信号の前記アクチュエータ信号部分は、前記アクチュエータに直接伝達される、請求項１に記載の方法。
17. 前記出力信号の前記アクチュエータ信号部分は、前記出力信号の前記マルチメディアデータの前記オーディオ部分とまず混合され、次いで多機能トランスデューサに伝達される、請求項１に記載の方法。
18. プロセッサ実行可能プログラムコードが符号化されているコンピュータ可読媒体であって、前記プログラムコードは、
    触覚情報およびマルチメディアデータを有するとともに第１のフォーマットにフォーマットされた入力信号を受信するためのプログラムコードと、
    前記入力信号から前記触覚情報を復号するためのプログラムコードと、
    触覚デバイスのアクチュエータに関連するパラメータを決定するためのプログラムコードと、
    前記パラメータおよび前記触覚情報に少なくとも一部基づきアクチュエータ信号を生成するためのプログラムコードと、
    前記マルチメディアデータおよび前記アクチュエータ信号を備えるとともに第２のフォーマットにフォーマットされた出力信号を生成するためのプログラムコードと
    を備えるコンピュータ可読媒体。
19. 前記出力信号に少なくとも一部基づき触覚効果を生み出すためのプログラムコードをさらに備える、請求項１８に記載のコンピュータ可読媒体。
20. プロセッサを備えるシステムであって、前記プロセッサは、
    触覚情報およびマルチメディアデータを有するとともに第１のフォーマットにフォーマットされた入力信号を受信し、
    前記触覚情報を復号し、
    触覚デバイスに固有の少なくとも１つのパラメータに少なくとも一部基づく前記触覚情報を備える触覚駆動信号を決定し、
    前記パラメータおよび前記触覚情報に少なくとも一部基づきアクチュエータ信号を生成し、
    前記マルチメディアデータおよび前記アクチュエータ信号を備えるとともに第２のフォーマットにフォーマットされた出力信号を生成する
    ように構成されるプロセッサを備えるシステム。
21. 前記出力信号に少なくとも一部基づき触覚効果を生み出すように構成されたアクチュエータをさらに備える、請求項２０に記載のシステム。
22. 前記システムは、前記プロセッサと通信するローカルメモリをさらに備える、請求項２０に記載のシステム。
23. 前記ローカルメモリは、触覚デバイスに固有のパラメータを格納するように構成される、請求項２２に記載のシステム。
24. 前記ローカルメモリは、マルチメディアファイルを格納するように構成される、請求項２２に記載のシステム。

Images