一実施形態は、特定の種類のハプティック出力装置のために設計された入力ハプティック信号を、別の特定の種類のハプティック出力装置のために設計された別のハプティック信号に変換するまたは「ワープする(warp)」システムである。入力ハプティック信号は、(例えば、オーディオ入力、ビデオ入力、および/またはセンサ入力から)自動的に生成される、または(例えば、ハプティック効果開発プラットフォームを使用してハプティック効果設計者によって)手動で生成されるハプティック信号であってもよい。入力ハプティック信号は、任意の種類のアクチュエータ(例えば、偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータ)または他の種類のハプティック出力装置のために作成されてもよい。異なる種類のアクチュエータまたは他の種類のハプティック出力装置で再生される場合、出力ハプティック信号が最適なハプティック経験を生み出すことができるように、入力ハプティック信号は出力ハプティック信号に変換されてもよい。入力ハプティック信号を変換する際に、対象のハプティック出力装置の特性(スペクトル特性および時間特性など)が考慮されてもよく、入力ハプティック信号は対象のハプティック出力装置の特性に基づいて出力ハプティック信号に変換されてもよい。例えば、高定義(ハイデフィニション(high−definition))のアクチュエータのために生成されるハプティック信号は、標準定義(スタンダードデフィニション(standard−definition))のアクチュエータのために生成されるハプティック信号に変換されてもよい。標準定義のアクチュエータはベースライン範囲の振動強度を有するベースライン範囲の異なる振動効果を提供できるアクチュエータである。高定義のアクチュエータは、増加した範囲の振動強度を有する増加した範囲の異なる振動効果を提供できるアクチュエータである。さらに、高定義のアクチュエータは、動的(ダイナミック)ハプティック効果を強制的に急速に変化させ得るのに十分な速度でその強度レベルを増加および減少できる。したがって、標準定義のアクチュエータと比べて、高定義のアクチュエータは、速い応答時間、高ダイナミック範囲およびまた、高周波数応答を有する。高定義のアクチュエータは多くの周波数(例えば、100ヘルツ(「Hz」)から400Hz)でハプティック効果を作成できる。それに対し、標準定義のアクチュエータは、限定された範囲の大きさ、限定された範囲の周波数を生成できるアクチュエータである。
図1は、本発明の一実施形態に係るシステム10のブロック図を示す。一実施形態において、システム10はモバイル機器の一部であり、システム10はモバイル機器のためのハプティックワーピング機能を提供する。別の実施形態において、システム10はウェアラブルデバイスの一部であり、システム10はウェアラブルデバイスのためのハプティックワーピング機能を提供する。ウェアラブルデバイスの例としては、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣服に取り付けられるアレイ、またはユーザが身体に装着できるもしくはユーザにより保持され得る任意の他の種類のデバイスが挙げられる。一部のウェアラブルデバイスは「ハプティック動作可能」であり得、それらがハプティック効果を生成するための機構を備えることを意味する。別の実施形態において、システム10は、デバイス(例えばモバイル機器またはウェアラブルデバイス)から分離され、デバイスのためのハプティックワーピング機能をリモートで提供する。単一のシステムとして示されるが、システム10の機能は分散システムとして実装されてもよい。システム10は、情報を通信するためのバス12または他の通信機構、および情報を処理するためのバス12に連結されるプロセッサ22を含む。プロセッサ22は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム10はさらに、情報を記憶するためのメモリ14およびプロセッサ22により実行される命令を含む。メモリ14は、ランダムアクセスメモリ(「RAM」)、リードオンリメモリ(「ROM」)、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。システム10はまた、別のトラックもしくはファイルにおいてハプティック波形を受信してもよい、またはファイル内に記憶された他のオーディオおよび/もしくはビデオコンテンツと混合されるハプティック波形を受信してもよい。
コンピュータ可読媒体は、プロセッサ22によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリメモリ(「EPROM」)、電気的消去可能プログラマブルリードオンリメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ(「CD−ROM」)、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。
一実施形態において、メモリ14は、プロセッサ22により実行される場合、機能性を提供するソフトウェアモジュールを記憶する。モジュールは、システム10のためのオペレーティングシステム機能性を提供するオペレーティングシステム15、ならびに一実施形態におけるモバイル機器の残りを含む。モジュールはさらに、以下により詳細に開示されるようにハプティック信号を変換するまたは「ワープする」ハプティックワーピングモジュール16を含む。特定の実施形態において、ハプティックワーピングモジュール16は複数のモジュールを含んでもよく、各々のモジュールはハプティック信号を変換するまたは「ワープする(ワーピング)」ための特定の個々の機能性を提供する。システム10は典型的に、Immersion CorporationによるIntegrator(商標)ソフトウェアなどの追加の機能を含むように1つ以上の追加のアプリケーションモジュール18を含む。
リモートソースからデータを送信および/または受信する実施形態において、システム10はさらに、赤外線、無線、Wi−Fi、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス20を含む。他の実施形態において、通信デバイス20は、イーサネット(登録商標)接続またはモデムなどの有線ネットワーク接続を提供する。
プロセッサ22はさらに、バス12を介して、グラフィック表現を表示するための液晶ディスプレイ(「LCD」)などのディスプレイ24またはユーザに対するユーザインターフェースに接続される。ディスプレイ24は、プロセッサ22から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。
一実施形態において、システム10はさらに、アクチュエータ26を含む。プロセッサ22は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ26に送信してもよく、次いで振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ26はアクチュエータ駆動回路を含む。アクチュエータ26は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転体モータ(「ERM」)、線形共鳴アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム10は、アクチュエータ26に加えて1つ以上の追加のアクチュエータを含んでもよい(図1に示さず)。アクチュエータ26はハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。代替の実施形態において、アクチュエータ26は一部の他の種類のハプティック出力装置により置き換えられてもよい。さらに、他の代替の実施形態において、システム10はアクチュエータ26を含まなくてもよく、システム10とは別個のデバイスが、ハプティック効果を生成するアクチュエータまたは他のハプティック出力装置を含み、システム10は、生成されたハプティック信号を、通信デバイス20を介して、そのデバイスに送信する。
一実施形態において、システム10はさらに、スピーカ28を含む。プロセッサ22はオーディオ信号をスピーカ28に送信でき、次にオーディオ効果を出力する。スピーカ28は、例えば、ダイナミックラウドスピーカ、動電型スピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、平面パネルラウドスピーカ、ハイルエアモーショントランスデューサ(heil air motion transducer)、プラズマアークスピーカおよびデジタルラウドスピーカであってもよい。代替の実施形態において、システム10はスピーカ28(図1に示さず)に加えて1つまたは複数のさらなるスピーカを含んでもよい。さらに、他の代替の実施形態において、システム10はスピーカ28を含まなくてもよく、システム10とは別のデバイスが、オーディオ効果を出力するスピーカを含む。システム10は通信デバイス20を介してオーディオ信号をそのデバイスに送信する。
一実施形態において、システム10はさらにセンサ30を含む。センサ30は、エネルギーの形態、または限定されないが、音、運動、加速度、生体信号、距離、流量、力/圧力/歪/屈曲、湿度、線形位置、配向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ30はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ30は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図(electropalatograph)、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ(flexion sensor)(または屈曲センサ(bend sensor))、力感応抵抗器、ロードセル、LuSense CPS2155、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計(またはスライダ)、線形可変差動変圧器、コンパス、傾斜計、磁性タグ(または無線周波数識別タグ)、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ(例えば温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路)、マイクロフォン、光度計、高度計、温度計、生物学的モニター、カメラまたは光依存性抵抗器などの任意のデバイスであってもよい。代替の実施形態において、システム10は、センサ30に加えて、1つ以上のさらなるセンサ(図1に示さず)を含んでもよい。これらの実施形態の一部において、センサ30および1つ以上の追加のセンサはセンサアレイの一部であってもよく、またはセンサの回収の一部の他の種類であってもよい。さらに、他の代替の実施形態において、システム10はセンサ30を含まなくてもよく、システム10とは別個のデバイスがエネルギーの形態または他の物理特性を検出するセンサを含み、検出されたエネルギーまたは他の物理特性を仮想センサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、変換された信号を通信デバイス20を介してシステム10に送信する。あるいは、デバイスはセンサ30のセンサ信号をハプティック効果トラックまたはファイルに変換してもよい。
図2は、本発明の一実施形態に係る、ハプティック信号を変換するまたは「ワープする」システムのフロー図を示す。一実施形態において、図2の機能性ならびに図6、7および8の機能性は、メモリまたは他のコンピュータ可読媒体もしくは有形的表現媒体に保存されたソフトウェアにより実装され、プロセッサにより実行される。他の実施形態において、各機能性は、ハードウェアにより(例えば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用により)またはハードウェアとソフトウェアの任意の組合せにより実施されてもよい。
一実施形態によれば、フローは210で開始する。210において、ハプティック信号が受信され、ハプティック信号は波形などのデータを含んでもよく、波形はパルス符号変調(「PCM」)フォーマットにおける1つまたは複数の信号値のセットである。ハプティック信号はハプティック効果に関連してもよく、ハプティック信号はアクチュエータなどのハプティック出力装置に送信されてもよく、ハプティック出力装置はハプティック信号に基づいてハプティック効果を出力できる。ハプティック効果の例はハプティック出力装置のユーザが感じる振動を生成できる振動ハプティック効果である。ハプティック効果の他の例は静電摩擦ハプティック効果または変形ハプティック効果を含んでもよい。
220によれば、ハプティック信号は、入力信号から自動的に作成されるか、またはハプティック効果開発プラットフォームを使用して手動で作成されてもよい。より具体的には、入力信号が受信されてもよく、ハプティック信号は自動的に入力信号に基づいて生成されてもよい。入力信号の例は、オーディオ信号、ビデオ信号、加速度信号、配向信号、周辺光信号、動作信号、温度信号または他の同様の種類の信号を含む。代替の実施形態において、入力信号に基づいて自動的に生成される以外に、ハプティック信号は、Immersion CorporationによるHaptic Studio(商標)などのハプティック効果開発プラットフォームを使用して手動で生成されてもよい。ハプティック効果開発プラットフォームを使用して、ハプティック効果ディベロッパーは所望のハプティック効果を生成するために使用され得るハプティック信号の1つまたは複数の特性を定義でき、ハプティック効果開発プラットフォームは1つまたは複数の定義された特性に基づいてハプティック信号を生成できる。さらに、ハプティック信号は特定の種類のハプティック出力装置のために設計されてもよい。より具体的には、ハプティック信号はハプティック効果空間に関連してもよく、ハプティック効果空間は、可能な場合、ハプティック出力装置によって生成され得るハプティック効果のセットを含む。ハプティック効果空間は図3と併せて以下により詳細に記載されている。次いでフローは230に進む。
230において、ハプティック信号は、新たなハプティック信号に変換され得るまたは「ワープされ得る」(「適合させる」として図2に特定した)。より具体的には、新たなハプティック信号が生成されてもよく、新たなハプティック信号は波形などのデータを含み、データは元の信号のデータに基づく。このような変換または「ワーピング」はさらに図4〜8と併せて以下により詳細に記載されている。さらに、新たなハプティック信号は新たなハプティック効果空間に関連してもよく、新たなハプティック効果空間は元の信号の元のハプティック効果空間とは異なる。240によれば、ハプティック信号の変換は対象のハプティック出力装置の1つまたは複数の特性に基づいてもよい。例えば、新たなハプティック信号が、高周波数を有するハプティック効果を生成するように構成されるハプティック出力装置に送信される場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されてもよい。これらの実施形態において、新たなハプティック信号の新たなハプティック効果空間は対象のハプティック出力装置のハプティック効果空間であってもよい。次いで新たなハプティック信号は、対象のハプティック出力装置に送信されてもよく(図2において「再生装置」と特定される)、新たなハプティック信号はハプティック効果を生成するために再生される。特定の実施形態において、元のハプティック信号はまた、対象のハプティック出力装置によって生成されるハプティック効果を補完する補完的ハプティック効果を生成するために異なる対象の出力装置(図2に示さず)に送信されてもよい。次いでフローは終了する。
特定の実施形態において、生成される新たなハプティック信号は、ユーザのマルチメディア視聴体験を増強するために1つまたは複数のオーディオ信号および/またはビデオ信号と一緒に再生されてもよい。これらの実施形態のいくつかにおいて、ハプティック出力装置はオーディオ/ビデオ出力装置(例えば、モバイル機器)と同じであってもよい。これらの実施形態の他のいくつかにおいて、ハプティック出力装置はオーディオ/ビデオ出力装置と別個であってもよい(例えば、ハプティックチェア、ハプティックチェア、ウェアラブルハプティック装置など)。
さらに、特定の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、サーバなどの入力ハプティック信号を受信する装置と別個の装置により「オフライン」で行われてもよい。変換が「オフライン」である場合、全入力ハプティック信号のデータが入力ハプティック信号を新たなハプティック信号に変換するために使用されてもよい。次いで新たなハプティック信号は元の装置に戻すようにストリーミングされてもよく、元の装置は新たなハプティック信号をハプティック出力装置に送信してもよい。代替の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、入力ハプティック信号を受信する同じ装置によって「オンライン」で行われてもよく、変換はリアルタイムまたは準リアルタイムで実施されてもよい。これらの実施形態において、入力ハプティック信号の異なる部分が、入力ハプティック信号を新たなハプティック信号に変換するために連続して使用されてもよく、全入力ハプティック信号は任意の特定の時間において利用できない。なおさらに、特定の実施形態において、新たなハプティック信号は、ハプティック出力装置にすぐに送信されるというよりむしろ、コンピュータファイルまたは複数のコンピュータファイルに保存されてもよい。これらの実施形態において、新たなハプティック信号はコンピュータファイルまたは複数のコンピュータファイルから後で読み出されてもよく、新たなハプティック信号はハプティック出力装置に送信されてもよいか、または1つもしくは複数のオーディオ信号および/もしくはビデオ信号と混合されてもよい。
図3は、本発明の一実施形態に係る、例示的なチャートおよびハプティック効果空間マッピングのグラフを示す。以前に記載されているように、特定の種類のアクチュエータのために設計され、特定のハプティック効果空間に関連しているハプティック信号は、異なる種類のアクチュエータのために設計され、異なるハプティック効果空間に関連している新たなハプティック信号に変換され得るまたは「ワープされ得る」。また、以前に記載されているように、ハプティック効果空間は、可能な場合、アクチュエータなどのハプティック出力装置によって生成され得るハプティック効果のセットを含む。図3の例示した実施形態において、例示的な振動触覚ハプティック効果空間が示される。しかしながら、当業者は、振動触覚ハプティック空間がハプティック効果空間の一例であり、代替の実施形態において、静電摩擦ハプティック効果空間または変形ハプティック効果空間などの他の種類のハプティック効果空間が利用されてもよいことを容易に理解するであろう。
例示した実施形態によれば、仮想的な高定義振動触覚ハプティック効果空間310は、仮想環境(例えば、振動触覚アクチュエータの大きさまたは力の条件の制約がない)において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。仮想的な高定義振動触覚ハプティック効果空間310のサブセットは、実際の高定義振動触覚ハプティック効果空間320である。実際の高定義振動触覚ハプティック効果空間320は、実際の環境(例えば、振動触覚アクチュエータの大きさまたは力の条件が実際に制約される)において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。
実際の高定義振動触覚ハプティック効果空間320の4つのサブセットは、現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間330;現在の高定義EAPアクチュエータ振動触覚ハプティック効果空間340;LRA振動触覚ハプティック効果空間350;およびERM振動触覚ハプティック効果空間360である。現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間330は、このようなアクチュエータの電気機械特性に基づいて現在の高定義圧電アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。現在の高定義EAPアクチュエータ振動触覚ハプティック効果空間340は、このようなアクチュエータの電気機械特性に基づいて現在の高定義EAPアクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。LRA振動触覚ハプティック効果空間350は、このようなアクチュエータの電気機械特性に基づいて現在のLRAにより生成され得る全ての振動触覚ハプティック効果を含む。ERM振動触覚ハプティック効果空間360は、このようなアクチュエータの電気機械特性に基づいて現在のERMにより生成され得る全ての振動触覚ハプティック効果を含む。LRAおよびERMハプティック効果空間は、時々、高定義アクチュエータにより生成されてもよいが、いくつかの高定義アクチュエータはいくつかのLRAおよびERMハプティック効果空間を完全に再現できない。
例示した実施形態によれば、変換または「ワーピング」アルゴリズムが、図3に例示した振動触覚ハプティック効果空間の1つに関連している元のハプティック信号に適用されてもよく、それにより元のハプティック信号は、図3に例示した異なる振動触覚ハプティック効果空間に関連している新たなハプティック信号に変換される。例えば、元のハプティック信号は仮想の高定義振動触覚ハプティック効果空間310に関連してもよい。元のハプティック信号は、ERM振動触覚ハプティック効果空間360に関連している新たなハプティック信号に変換されてもよい。別の例として、元のハプティック信号は、LRA振動触覚ハプティック効果空間350に関連している新たなハプティック信号に変換されてもよい。
したがって、ワーピングアルゴリズムの目標は、ハプティック効果によって提供されるハプティック経験を保存しながら、ハプティック効果が、異なる種類のハプティック出力装置で再生される特定のハプティック出力装置の種類のために設計されることを可能にすることである。特定の実施形態において、高定義圧電アクチュエータのために設計されたハプティック信号から、低質のアクチュエータ(例えば、LRAまたはERM)のために設計されたハプティック信号への変換は、ワーピングアルゴリズムによって提供されてもよい。しかしながら、代替の実施形態において、ワーピングアルゴリズムは、低質アクチュエータから高質アクチュエータへの変換を含む、他の種類の変換を提供できる。
特定の実施形態において、ワーピングアルゴリズムは、第1のハプティック信号内に含まれるデータの1つまたは複数の周波数(または「ピッチ」)を変化させることによって第1のハプティック信号を第2のハプティック信号に変換できる。このような周波数シフト技術(または「ピッチシフト」技術)はさらに、図4および5と併せて以下により詳細に記載されている。代替の実施形態において、ワーピングアルゴリズムは、他の種類のデータ変換技術によって第1のハプティック信号を第2のハプティック信号に変換できる。このような他の種類のデータ変換技術はさらに、図6、7および8と併せて以下により詳細に記載されている。
特定の実施形態において、ハプティック信号はイベントに基づいたハプティック信号であってもよく、イベントは対応するオーディオ信号および/またはビデオ信号内でマークされ、ハプティック効果は、コードされたオーディオ信号および/またはビデオ信号に基づいて出力されてもよい。代替の実施形態において、ハプティック信号はパラメータハプティック信号であってもよく、1つまたは複数のパラメータ化されたハプティック効果は特定の時間点において再生される。これらの実施形態のいくつかにおいて、パラメータ化されたハプティック効果は別のハプティック信号内でコードされ、パラメータ化されたハプティック効果は特定の時間点で示される。代替の実施形態において、ハプティック信号はPCMハプティック信号であってもよく、PCMオーディオ信号はPCMハプティック信号に変換されてもよい。さらに、いくつかの実施形態において、一旦、ハプティック信号が生成されると、ハプティック信号は、異なる特定のウインドウでバンドパスフィルターにかけられてもよく、次いで特定のウインドウの大きさが決定され、送信または保存のいずれかをされてもよい。ハプティック信号がデコードされる時点で、エンベロープの大きさがハプティック信号を再構成するために使用され得る場合、逆プロセスが適用されてもよい。
図4は、本発明の一実施形態に係る、第1のハプティック効果に空間に関連している第1のハプティック信号410の、第2のハプティック効果空間に関連している第2のハプティック信号420への例示的な変換または「ワーピング」を示す。第1のハプティック効果空間は第1のハプティック出力装置の種類に対応し、第2のハプティック効果空間は第2のハプティック出力装置の種類に対応する。例示した実施形態によれば、変換は、第1のハプティック信号410の1つまたは複数の共鳴周波数(すなわち、周波数frs1)を、第2のハプティック信号420の1つまたは複数の共鳴周波数(すなわち、周波数frs2)に変化させることを含む。したがって、第1のハプティック信号410の第1の周波数帯域幅は第2のハプティック信号420の第2の周波数帯域幅に変換され得る。特定の実施形態において、これは、(a)周波数帯域幅の共鳴を識別するステップ、(b)認知下限を表す周波数を識別するステップであって、認知限界は、ヒトがハプティック信号によって生成された振動触覚ハプティック効果を認識できる周波数限界である、ステップ、および(c)認知上限を表す周波数を識別するステップを含む。
例示した実施形態によれば、第1のハプティック信号410は実際の高定義ハプティック効果空間に関連し、第2のハプティック信号420は高定義圧電アクチュエータハプティック効果空間に関連する。しかしながら、これは例示的な実施形態のみであり、他の実施形態において、(a)第1のハプティック信号410は高定義圧電アクチュエータハプティック効果空間と関連してもよく、第2のハプティック信号420はLRAハプティック効果空間に関連してもよい;(b)第1のハプティック信号410は高定義圧電アクチュエータハプティック効果空間に関連してもよく、第2のハプティック信号420はERMハプティック効果空間に関連してもよい;または(c)第1のハプティック信号410はLRAハプティック効果空間に関連してもよく、第2のハプティック信号420はERMハプティック効果空間に関連してもよい。
例示した実施形態によれば、ハプティック信号410の周波数はハプティック信号420の周波数に変化される。ハプティック信号410および420がイベントに基づいたハプティック信号である実施形態において、ハプティック信号410の周波数は、規定のマッピングに基づいてハプティック信号420の周波数にマッピングされてもよい(すなわち、ハプティック効果をトリガする各々の共鳴周波数値は別の共鳴周波数にマッピングされてもよい)。ハプティック信号410および420がパラメータ化されたハプティック信号である実施形態において、ハプティック信号410の各々の共鳴周波数はハプティック信号420の別の共鳴周波数にマッピングされ、ハプティック信号410の大きさ、持続時間、およびエンベロープ情報が、ハプティック信号420内で一定のままである。ハプティック信号410および420がPCMハプティック信号である実施形態において、ハプティック信号410の各々の大きさが最初にハプティック信号420の大きさにマッピングされ、続いて、ハプティック信号410の各々の周波数が、ハプティック信号420の周波数にマッピングされ得る。
図4に見られ得るように、ハプティック信号410および420の共鳴は、250Hzの周波数において識別される。さらに、ハプティック信号410および420の認知範囲は、100Hzから500Hzの範囲を有する周波数帯域において識別され、認知下限は100Hzの周波数においてであり、認知上限は500Hzの周波数においてである。また、図4に見られ得るように、ハプティック信号410の周波数帯域幅内の周波数は、ハプティック信号420の周波数帯域幅内の周波数に変化される。
図5は、トランジェント520をハプティック信号510に加えることによって第1のハプティック効果空間に関連しているハプティック信号510の例示的な変換または「ワーピング」を示し、トランジェント520は本発明の一実施形態に係る第2のハプティック効果空間に関連する。実施形態によれば、ハプティック信号510は、より低い周波数(例えば60Hz以下の周波数)のみを含むハプティック信号である。トランジェント520などのトランジェントは、状態の変化によって引き起こされる短時間のハプティック信号である。実施形態によれば、ハプティック信号510がより低い周波数のみを含む場合、1つまたは複数のトランジェント(トランジェント520など)がハプティック信号510に加えられてもよい。ハプティック信号510およびトランジェント520は1つまたは複数のハプティック出力装置において再生されてもよい。したがって、ハプティック信号510とトランジェント520の組合せは新たなハプティック信号を構成する。
図6は、本発明の一実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始、610に進む。610において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。より具体的には、元のハプティック信号は、一次ハプティック出力装置で再生される場合、1つまたは複数の一次ハプティック効果を生成してもよく、一次ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、一次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、一次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果は振動触覚ハプティック効果空間であってもよい。次いでフローは620に進む。
620において、新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、二次ハプティック出力装置で再生される場合、1つまたは複数の二次ハプティック効果を生成してもよく、二次ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、二次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが、第2のハプティック効果を構成するハプティック効果のセットと異なってもよいことを意味する。
特定の実施形態において、新たなハプティック信号内に含まれるデータは元のハプティック信号内に含まれるデータに基づいてもよい。これらの実施形態のいくつかにおいて、新たなハプティック信号内に含まれるデータは以下のようなものであってもよい:(a)新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値以上である元のハプティック信号の持続時間の間、1つまたは複数の二次ハプティック効果を生成し、(b)新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値より小さい元のハプティック信号の持続時間の間、二次ハプティック効果を生成しない。特定の実施形態において、二次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。次いでフローは630に進む。
630において、元のハプティック信号は1つまたは複数の一次ハプティック効果を生成するために一次ハプティック出力装置に送信される。特定の実施形態において、630は省略されてもよく、元のハプティック信号はいかなるハプティック装置にも送信されない。次いでフローは640に進む。
640において、新たなハプティック出力信号は、1つまたは複数の二次ハプティック効果を生成するために二次ハプティック出力装置に送信される。次いでフローは終了する。
図7は、本発明の別の実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、710に進む。710において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは720に進む。
720において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは730に進む。
730において、レベルは複数の時間ウインドウの時間ウインドウに割り当てられる。レベルは数値によって表され得る。例えば、1、2、3、4、5または6の数値は時間ウインドウに割り当てられ得る。したがって、言い換えれば、時間ウインドウは量子化される。さらに、一部の実施形態において、レベルは時間ウインドウ内に含まれるデータの最大絶対値に基づいて時間ウインドウに割り当てられてもよい。代替の実施形態において、レベルは時間ウインドウ内に含まれるデータの平均絶対値に基づいて時間ウインドウに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは740に進む。
740において、時間ウインドウのレベルはハプティック効果パターンを表すデータに翻訳される。特定の実施形態において、翻訳することはハプティック効果パターンの持続時間を設定することを含み、ハプティック効果パターンの持続時間対時間ウインドウの持続時間の比は、時間ウインドウのレベル対最大レベルの比に比例する。例えば、時間ウインドウの持続時間が30ミリ秒(「ms」)であり、時間ウインドウのレベルが4(6の最大レベルを有する)である場合、ハプティック効果パターンの対応する持続時間は20msである。この例において、ハプティック効果パターンの後に続いて、ハプティック効果パターンが存在しない10msの持続時間(時間ウインドウの残りの持続時間)がある。特定の実施形態において、ハプティック効果パターンは振動触覚ハプティック効果を表す振動触覚ハプティック効果パターンである。さらに、特定の実施形態において、各時間ウインドウの各レベルは別のハプティック効果パターンを表すデータの別の部分に翻訳されてもよい。次いでフローは750に進む。
750において、ハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが第2のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は別のハプティック効果パターンを表す別の部分のデータを含んでもよい。フローは760に進む。
760において、新たなハプティック信号が、1つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
図8は、本発明の別の実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、810に進む。810において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは820に進む。
820において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは830に進む。
830において、第1のレベルは複数の時間ウインドウの第1の時間ウインドウに割り当てられ、第2のレベルは複数の時間ウインドウの第2の時間ウインドウに割り当てられる。特定の実施形態において、第1および第2の時間ウインドウは、時間が隣接している(すなわち連続している)。以前に記載されているように、レベルは数値によって表される。例えば、1、2、3、4、5または6の数値は第1の時間ウインドウに割り当てられてもよく、1、2、3、4、5または6の別の数値は第2の時間ウインドウに割り当てられ得る。このように、言い換えれば、第1の時間ウインドウおよび第2の時間ウインドウは各々量子化される。さらに、一部の実施形態において、第1のレベルおよび第2のレベルの各々は、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれ内に含まれるデータの最大絶対値に基づいて、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれに割り当てられてもよい。代替の実施形態において、第1のレベルおよび第2のレベルの各々は、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれ内に含まれるデータの平均絶対値に基づいて、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは840に進む。
840において、第1のレベルと第2のレベルとの間のレベル遷移が決定される。レベル遷移は第1のレベルから第2のレベルへの遷移である。レベル遷移は複数の数値によって表されてもよい。例えば、4の数値が第1の時間ウインドウに割り当てられる場合、6の数値が第2の時間ウインドウに割り当てられ、レベル遷移は(4,6)により表され得る。別の例として、6の数値が第1の時間ウインドウに割り当てられ、4の数値が第2の時間ウインドウに割り当てられる場合、レベル遷移は(6,4)により表され得る。特定の実施形態において、各レベルとその続いて起こるレベルとの間のレベル遷移が決定され得る。次いでフローは850に進む。
850において、ハプティック効果パターンは、決定されたレベル遷移に基づいて1つまたは複数のハプティック効果パターンを含むテーブルから選択される。テーブルはレベル遷移に対応するハプティック効果パターンの規定されたテーブルであってもよく、規定されたテーブルは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。さらに、1つまたは複数のハプティック効果パターンは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。特定の実施形態において、第1のレベルと第2のレベルと間の遷移が技術的に実行可能でない場合(例えば、決定されたレベル遷移がテーブル内に存在しない場合、または第1の時間ウインドウの持続時間が選択されたハプティック効果パターンを適合するのに非常に短い場合)、以下が起こり得る:(a)第1のレベルまたは第2のレベルの少なくとも1つは変更(例えば、上下に調整)されてもよく;(b)新たなレベル遷移が、第1のレベルまたは第2のレベルの少なくとも1つに対する変更に基づいて決定されてもよく;(c)ハプティック効果パターンは新たなレベルの決定に基づいてテーブルから選択されてもよい。さらに、一部の実施形態において、別のハプティック効果パターンが各々の決定されたレベル遷移のためのテーブルから選択されてもよい。次いでフローは860に進む。
860において、選択されたハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが、第2のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は、別々に選択されたハプティック効果パターンを表すデータの別の部分を含んでもよい。フローは870に進む。
870において、新たなハプティック信号は1つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
このように、一実施形態において、システムは、第1の種類のハプティック出力装置のための入力ハプティック信号を、第2の種類のハプティック出力装置のための出力ハプティック信号に変換できる。したがって、システムは、自動的または手動で生成された任意のハプティックコンテンツを、関連する方式で、より低い質のハプティック出力装置(または一部の場合、より高い質のハプティック出力装置)に適合できる。一例として、ハプティック効果の設計は、(主に高定義のハプティック出力装置のための)以前のハプティック効果を設計してもよく、全ての種類のハプティック出力装置に対して適切に再生されるハプティック効果を有してもよい。また、標準定義のハプティック出力装置を使用して高定義のハプティック信号を直接再生する場合、ハプティック効果が意図するハプティック効果設計として標準定義のハプティック出力装置で体験されるように、システムは高定義のハプティック信号を適切に変換できる。これにより、システムが、市場で利用可能な任意の商業的なハプティック出力装置で任意の生成されたハプティックコンテンツを再生することが可能となる。
本明細書全体にわたって記載されている本発明の特徴、構造または特性は、1つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」または同様の言語の使用は、実施形態と併せて記載されている特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれ得るという事実を示す。したがって、本明細書全体にわたる、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」という用語または他の同様の言語の出現は、同じ群の実施形態および記載されている特徴、構造または特性を必ずしも示しているわけではなく、1つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。
当業者は、上記の本発明が異なる順序のステップで、および/または開示されているもの以外の異なる構造における要素で実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、本発明の精神および範囲を維持しながら、特定の修飾、変更および代替構成が明白であることは当業者に明らかであろう。したがって、本発明の割り当ておよび境界を決定するために、添付の特許請求の範囲が参照されるべきである。