JP2018528534A - ハプティック効果設計システム - Google Patents

Abstract

本明細書に記載されるシステムおよび方法は、ハプティック効果をリアルタイムで編集するために用いられる。最初に、動画オブジェクトが受け取られる。ハプティック効果が動画オブジェクトに関連づけられ、このハプティック効果は対応するハプティック駆動信号を有する。その後、タイムラインに沿ってハプティック駆動信号に補間点が関連づけられる。修正されたハプティック効果を生成するために、連続する補間点の間でハプティック駆動信号の一つ以上のパラメータが調節される。パラメータを調節する間に、動画オブジェクトと修正されたハプティック効果とが表現されうる。
【選択図】図３

Description

関連出願の相互参照
本出願は、参照により全体として本明細書に組み込まれる２０１５年９月２５日出願の米国特許仮出願第６２／２３３，１２０号の利益を主張する。

技術分野
本発明の実施形態は、一般に電子デバイスを対象とし、特にハプティック効果を生み出し編集する電子デバイスを対象とする。

ハプティクスは、ユーザに力、振動およびモーション等のハプティックフィードバック効果（すなわち「ハプティック効果」）を加えることによりユーザの触覚を利用する触知および力フィードバック技術に関する。モバイルデバイス、タッチスクリーンデバイスおよびパーソナルコンピュータ等のデバイスを、ハプティック効果を生成するように構成することができる。例えば、ユーザがデバイスと例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイールまたは何らかの他の制御要素を使用してインタラクトするときに、適切なハプティック効果を生み出すためにデバイスのオペレーティングシステムが制御回路を通じてコマンドを送ることができる。

ハプティック効果が他のコンテンツに組み込まれるように、ハプティック効果の出力を音声等の他のコンテンツの出力と協調させるようにデバイスを構成することができる。例えば、音声効果開発者は、機関銃射撃、爆発または自動車衝突等の、デバイスにより出力されうる音声効果を開発することができる。さらに、ビデオ効果等の他のタイプのコンテンツが開発され、その後デバイスにより出力されうる。

ハプティック効果開発者はデバイスのためにハプティック効果をオーサリングすることができ、デバイスは、他のコンテンツとともにハプティック効果を出力するように構成されうる。しかし、このようなプロセスには一般に、音声効果または他のタイプのコンテンツを適切に補うハプティック効果をオーサリングするハプティック効果開発者の個別の判断が必要である。音声効果または他のタイプのコンテンツを補わないオーサリング不良のハプティック効果は、ハプティック効果が音声効果または他のコンテンツと「かみ合わない」全体的に不協和の効果を生み出しうる。この種のユーザ体験は、一般に望ましくない。

本発明の実施形態は、先行技術を大きく改善するハプティック効果を生み出し編集するように構成された電子デバイスを対象とする。

実施形態の特徴および利点は、以下の説明に記載されているか、または説明から明らかとなるか、または本発明の実施により知ることができる。

一例では、ハプティック効果を編集するためのシステムおよび方法が提供される。例えば、本システムおよび方法は、動画オブジェクトを取り出し、対応するハプティック駆動信号を有するハプティック効果を動画オブジェクトに関連づけ、複数の補間点をハプティック駆動信号のタイムラインに沿ってハプティック駆動信号に関連づけ、連続する補間点の間のハプティック駆動信号の一つ以上のパラメータを調節して修正されたハプティック効果を生成し、動画オブジェクトと修正されたハプティック効果とを表現するように構成されうる。このように、本発明の実施形態は、ハプティック効果の生成および編集を改善する。

添付の図面とあわせて理解されるべき以下の好ましい実施形態の詳細な説明から、さらなる実施形態、詳細、利点および修正が明らかになる。

本発明の例示的実施形態によるハプティック有効化システム／デバイスのブロックダイヤグラムである。 本発明の例示的実施形態によるハプティック編集アプリケーションを示す。 本発明の例示的実施形態によるハプティック効果を編集するための機能のフローチャートを示す。 本発明の例示的実施形態によるハプティック駆動信号を示す。 本発明の他の例示的実施形態によるハプティック駆動信号を示す。 本発明の他の例示的実施形態によるハプティック駆動信号を示す。 本発明の他の例示的実施形態によるハプティック駆動信号を示す。 本発明のさらに他の例示的実施形態によるハプティック駆動信号を示す。 本発明のさらに他の例示的実施形態によるハプティック駆動信号を示す。 本発明のさらに他の例示的実施形態によるハプティック駆動信号を示す。 本発明のさらに他の例示的実施形態によるハプティック駆動信号を示す。 本発明の別の例示的実施形態による複数のハプティック駆動信号を示す。 本発明の例示的実施形態によるハプティックプリセットライブラリを示す。

ここで、添付の図面に例が示された実施形態を詳細に参照する。以下の詳細な説明において、本発明の十分な理解を提供するために多数の具体的詳細が記載される。しかし、当業者には本発明がこれらの具体的詳細を用いずに実践されうることが明らかであろう。他の例では、実施形態の態様を不必要に不明瞭にしないように、周知の方法、手順、部品および回路は詳述されていない。可能な場合には、類似の要素には類似の参照番号が使用される。

例示的実施形態は一般に、ゲームエンジンまたは他のノンリニアエンジンのハプティック効果を設計および／または編集するシステムおよび方法であって、動画オブジェクトおよび付随するメディア効果（例えば音声および／またはビデオ）がハプティック効果と同期して表現されて、アプリケーションコンテキスト（例えばゲームのコンテキスト）におけるハプティック効果のリアルタイムプレビューおよびモニタリングが可能になる、システムおよび方法を対象とする。高品質ハプティック出力デバイスによって表現されるハプティック効果の範囲を強化し、ハプティック効果を設計または他のやり方で操作するハプティック開発者の能力をさらに強化するために、改良されたハプティック編集アプリケーションが提供される。様々な実施形態によれば、ハプティック効果は、リアルタイムで、または動画オブジェクトもしくは他の入力のプレイバックの間に表現されうる。

図１は、本発明の例示的実施形態によるハプティック有効化システム／デバイス１０のブロックダイヤグラムである。

様々な例示的実施形態において、システム１０はモバイルデバイス（例えばスマートフォン）または非モバイルデバイス（例えばデスクトップコンピュータ）の一部であり、システム１０は、デバイスのハプティクス機能を提供する。別の例示的実施形態では、システム１０は、ユーザと任意の形で接触するオブジェクトに組み込まれるデバイスの一部であり、システム１０は、このようなデバイスのハプティクス機能を提供する。例えば、一実施形態では、システム１０は、ウェアラブルデバイスを含むことができ、システム１０は、ウェアラブルデバイスのハプティクス機能を提供する。ウェアラブルデバイスの例には、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣類に組み込まれたアレイ、またはユーザが身に着けられるかもしくはユーザにより保持されることができる任意の他のタイプのデバイスが含まれる。一部のウェアラブルデバイスは「ハプティック有効化」されている、つまりハプティック効果を生成する機構を含むものであってもよい。別の例示的実施形態では、システム１０は、デバイス（例えばモバイルデバイスまたはウェアラブルデバイス）と別々であり、デバイスのハプティクス機能を遠隔で提供する。

一つのシステムとして示されているものの、システム１０の機能は分散システムとして実装されることができる。システム１０は、情報を伝えるためのバス１２または他の通信メカニズムと、情報を処理するためにバス１２に結合されたプロセッサ２２とを含む。プロセッサ２２は、任意のタイプの汎用プロセッサであってもよく、または特定用途向け集積回路（「ＡＳＩＣ；ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ」）等、ハプティック効果を提供するように特に設計されたプロセッサでもよい。プロセッサ２２は、システム１０全体を操作する同じプロセッサであっても、または別個のプロセッサであってもよい。プロセッサ２２は、どのようなハプティック効果が表現されるべきか、および効果が表現される順序を高レベルパラメータに基づいて決定することができる。一般に、特定のハプティック効果を定義する高レベルパラメータには、マグニチュード、周波数および持続時間が含まれる。ストリーミングモータコマンド等の低レベルパラメータも、特定のハプティック効果を決定するために使用されうる。ハプティック効果は、ハプティック効果が生成される際にこれらのパラメータの何らかのバリエーションを含む場合、またはユーザのインタラクションに基づいてこれらのパラメータのバリエーションを含む場合には、「動的」とみなされうる。

プロセッサ２２は、ハプティック駆動回路（図示せず）に制御信号を出力し、ハプティック駆動回路は、所望のハプティック効果を引き起こすためにアクチュエータ２６に必要な電流および電圧（すなわち「モータ信号」）を供給するために用いられる電子部品と回路とを含む。図１に示される例示的実施形態では、アクチュエータ２６がシステム１０に結合される。あるいは、システム１０は、一つ以上のアクチュエータ２６を含んでもよく、各アクチュエータは、共通のプロセッサ２２にいずれも結合された別々の駆動回路を含んでもよい。

プロセッサ２２およびハプティック駆動回路は、様々な実施形態にしたがってアクチュエータ２６のハプティック駆動信号を制御するように構成される。ハプティック駆動信号の様々なパラメータが修正されうる。例えばパラメータには、開始時間、持続時間、ループカウント（すなわちハプティック効果が繰り返される回数）、クリップ長（すなわち繰り返されるハプティック効果の単一のインスタンスの持続時間）、信号タイプ（すなわちプッシュまたはプル等、双方向アクチュエータで表現される場合のハプティック効果の方向）、強度タイプ（すなわち双方向アクチュエータの信号タイプに対する強度曲線）、信号ギャップ（すなわちパルス効果でのパルス間のハプティック静止期間）、信号幅（すなわちパルス効果での各パルスの持続時間）、ギャップファースト（すなわちパルス効果でハプティック効果がパルスから開始すべきかギャップから開始すべきかを特定する）、リンクギャップ対幅（すなわち幅およびギャップパラメータの間の比）、信号形状（例えば正弦、方形、三角、鋸等）、ならびにその他のパラメータが含まれうる。これらのパラメータを用いて、アプリケーションのハプティック効果がリアルタイムで編集され、表現されうる。

非一時的メモリ１４は、プロセッサ２２によりアクセスされうる様々なコンピュータ可読媒体を含みうる。様々な実施形態において、本明細書に記載されるメモリ１４および他のメモリデバイスは、揮発性および不揮発性媒体、取り外し可能および取り外し不能媒体を含みうる。例えば、メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ；ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ」）、ダイナミックＲＡＭ（「ＤＲＡＭ；ｄｙｎａｍｉｃ ＲＡＭ」）、スタティックＲＡＭ（「ＳＲＡＭ；ｓｔａｔｉｃ ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ；ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ」）、フラッシュメモリ、キャッシュメモリ、および／または他の任意のタイプの非一時的コンピュータ可読媒体の任意の組み合わせを含みうる。メモリ１４は、プロセッサ２２により実行される命令を記憶する。メモリ１４は、命令の中にハプティック効果設計モジュール１６のための命令を含む。以下により詳細に開示するように、ハプティック効果設計モジュール１６は、プロセッサ２２により実行されるとハプティック編集アプリケーションを有効化し、アクチュエータ２６を用いてハプティック効果をさらに表現する命令を含む。メモリ１４は、プロセッサ２２の内部に位置してもよいし、または内部および外部メモリの任意の組み合せであってもよい。

アクチュエータ２６は、ハプティック効果を生成できる任意のタイプのアクチュエータまたはハプティック出力デバイスでありうる。一般に、アクチュエータはハプティック出力デバイスの一例であり、ここでハプティック出力デバイスは、駆動信号に応答して振動触知ハプティック効果、静電摩擦ハプティック効果、温度変動、および／または変形ハプティック効果等のハプティック効果を出力するように構成されるデバイスである。詳細な説明の全体にわたってアクチュエータという用語が用いられうるが、本発明の実施形態は様々なハプティック出力デバイスに直ちに応用されうる。アクチュエータ２６は、例えば、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（「ＥＲＭ；ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ」）、ハーモニックＥＲＭモータ（「ＨＥＲＭ；ｈａｒｍｏｎｉｃ ＥＲＭ ｍｏｔｏｒ」）、リニア共振アクチュエータ（ＬＲＡ；ｌｉｎｅａｒ ｒｅｓｏｎａｎｃｅ ａｃｔｕａｔｏｒ）、ソレノイド共振アクチュエータ（「ＳＲＡ；ｓｏｌｅｎｏｉｄ ｒｅｓｏｎａｎｃｅ ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、マクロファイバーコンポジット（「ＭＦＣ；ｍａｃｒｏ ｆｉｂｅｒ ｃｏｍｐｏｓｉｔｅ」）アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマ（「ＥＡＰ；ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ」）アクチュエータ、静電摩擦ディスプレイ、超音波振動発生器、または同様のものでありうる。いくつかの場合には、アクチュエータ自体がハプティック駆動回路を含みうる。

加えてまたは代わりに、システム１０は、静電摩擦（「ＥＳＦ；ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ」）、超音波表面摩擦（「ＵＳＦ；ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ」）を使用するデバイス、超音波ハプティックトランスデューサを用いて音響放射圧を誘導するデバイス、ハプティック基板および可撓性もしくは変形可能な表面もしくは形状変更デバイスを使用する、ユーザの身体に取り付けられうるデバイス、空気ジェットを使用して空気の吹きかけ等の発射型のハプティック出力を提供するデバイス等、非機械的または非振動デバイスでありうる他のタイプのハプティック出力デバイス（図示せず）を含むかまたはこれらに結合されてもよい。

一般に、アクチュエータは、単一周波数で振動ハプティック効果を生成する標準定義（「ＳＤ；ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ」）アクチュエータとして特徴づけられうる。ＳＤアクチュエータの例には、ＥＲＭおよびＬＲＡが含まれる。ＳＤアクチュエータと対照的に、圧電アクチュエータまたはＥＡＰアクチュエータ等のＨＤアクチュエータまたは高忠実度アクチュエータは、複数の周波数で高帯域幅／高精細度ハプティック効果を生成することができる。ＨＤアクチュエータは、可変振幅を有し、過渡駆動信号に対する高速応答を有する広帯域幅触知効果を生み出す能力により特徴づけられる。本発明の実施形態は、（例えばＡｃｔｉｖｅＦＯＲＣＥゲームコントローラのトリガエレメント上の）プッシュ／プル効果を提供する双方向アクチュエータまたは周波数修正可能アクチュエータ等のより高品質のアクチュエータによりプロンプトされたが、実施形態はそのように限定されず、任意のハプティック出力デバイスに直ちに応用されうる。

システム１０は、リモートソースからデータを送信および／または受信する実施形態では、赤外線、無線、Ｗｉ‐Ｆｉ、セルラネットワーク通信等のモバイルワイヤレスネットワーク通信を提供するためにネットワークインタフェースカード等の通信デバイス２０をさらに含む。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続、モデム等のワイヤードネットワーク接続を提供する。

プロセッサ２２は、グラフィック表現またはユーザインタフェースをユーザに表示するための液晶ディスプレイ（「ＬＣＤ；Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ」）等のディスプレイ２４にバス１２を介してさらに結合される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されたタッチスクリーン等の接触感知入力デバイスでもよく、マルチタッチタッチスクリーンであってもよい。

様々な実施形態において、システム１０はスピーカ２８を含むか、またはスピーカ２８に結合される。プロセッサ２２は、スピーカ２８に音声信号を送信することができ、さらにスピーカ２８が音声効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカ等でありうる。代替実施形態では、システム１０は、スピーカ２８に加えて一つ以上の追加のスピーカを含みうる（図１には示されない）。システム１０は、スピーカ２８を含まなくてもよく、システム１０とは別個のデバイスが音声効果を出力するスピーカを含んでもよく、システム１０は、通信デバイス２０を通じてそのデバイスに音声信号を送る。

システム１０は、センサ３０をさらに含むかまたはセンサ３０に結合されうる。センサ３０は、音、移動、加速度、生体信号、距離、流量、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、可視光強度等であるがこれらに限定されない、エネルギの一形態または他の物理的性質を検出するように構成されうる。センサ３０は、検出エネルギまたは他の物理的性質を電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成されうる。センサ３０は、加速度計、皮膚電気反応センサ、容量性センサ、ホール効果センサ、赤外センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（もしくは曲げセンサ）、力感受性レジスタ、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、微小圧力トランスデューサ、ピエゾセンサ、歪み計、湿度計、線形位置タッチセンサ、線形電位差計（もしくはスライダ）、線形可変差動変成器、コンパス、傾斜計、磁気タグ（もしくは無線周波数識別タグ）、回転エンコーダ、回転電位差計、ジャイロスコープ、オン−オフスイッチ、温度センサ（温度計、熱電対、抵抗温度検出器、サーミスタ、温度変換集積回路等）、マイクロホン、光度計、高度計、バイオモニタ、カメラ、光依存性レジスタ等であるがこれらに限定されない任意のデバイス、あるいは心電図、脳波図、筋電図、眼電図、電気的パラトグラム、または他の任意の電気生理学的出力を出力する任意のデバイスでありうる。

代替実施形態では、システム１０は、センサ３０に加えて一つ以上の追加のセンサを含むかまたは一つ以上の追加のセンサに結合されうる（図１には示されない）。これらの実施形態の一部では、センサ３０および一つ以上の追加のセンサは、センサアレイまたは他の何らかのタイプのセンサの集合／配列の一部であってもよい。さらに、他の代替実施形態では、システム１０はセンサ３０を含まなくてもよく、システム１０とは別個のデバイスが、エネルギの一形態または他の物理的性質を検出し、検出エネルギまたは他の物理的性質を電気信号または仮想センサ情報を表す他のタイプの信号に変換するセンサを含む。デバイスはその後、変換された信号を通信デバイス２０を通じてシステム１０に送ることができる。

図２は、本発明の例示的実施形態によるハプティック編集アプリケーション２００を示す。アプリケーション（例えばゲームのアプリケーション）のための一つ以上のハプティック効果を編集する機能を実施する際には、メディア編集アプリケーション２００が、ビジュアルプレビュー２１０と、パラメータモジュール２２０と、タイムラインエディタ２３０と補間モジュール２４０とを含む図２に表した例示的インタフェース等の一つ以上のユーザインタフェースを表現する。図示していないが、ハプティック効果を編集している間にアプリケーションが使用されうるように、アプリケーション自体を表現するために追加のユーザインタフェースが表示されてもよい。

図２に示すように、ハプティック編集アプリケーション２００は、二次元または三次元動画オブジェクト等のビジュアルプレビュー２１０のための一つ以上のハプティック効果を編集する機能を行うように構成される。ビジュアルプレビュー２１０は、一つ以上のインポートされた二次元または三次元動画オブジェクト（例えばユーザの身体、身体の一部を表すオブジェクト、物理オブジェクトまたはそれらの組み合わせ）を含みうる。動画オブジェクトは、例えば任意の物理オブジェクトまたはゲームキャラクタをグラフィカルに表すことができる。パーティクル効果等の追加の動画が使用されてもよい。このような三次元オブジェクトの動画は、予め決定されてもよいし、あるいはユーザの動きまたは入力に基づいてリアルタイムで表現されてもよい。

複数の動画が使用されるときには、一つ以上の混合動画、合成動画またはモンタージュ動画が生成されうる。例えば、三次元動画は、任意のビジュアルプログラミング言語（「ＶＰＬ；ｖｉｓｕａｌ ｐｒｏｇｒａｍｍｉｎｇ ｌａｎｇｕａｇｅ」）を用いて混合または他の方法で修正されうる。代わりにまたは加えて、ユーザは、ビジュアルプレビュー２１０の一つ以上の部分またはビジュアルプレビュー全体を修正することを選択しうる。複数の動画が順次組み合わされる場合、それらの組み合わせはタイムラインエディタ２３０等で単一のタイムラインに適用されうる。ここでは、一つ以上のハプティックファイル（例えばＨＡＰＴまたはハプティックファイル）が使用されうる。

図示の実施形態では、ビジュアルプレビュー２１０は、ユーザのアプリケーションとのインタラクションに基づいて表現されうる三次元動画である。したがって、ビジュアルプレビュー２１０は、センサ、ジャイロスコープ、加速度計または他のモーション感知デバイスによりとらえられる加速度信号、方向信号、および他のデータをさらに含みうる。

一部の場合には、ビジュアルプレビュー２１０は、メディア信号および／または他の信号をさらに含むかまたはメディア信号および／または他の信号に関連づけられうる。例えば音声信号を用いて、ハプティック効果と同期して音響効果が表現されうる。別の例では、一つ以上の追加の信号を用いて、パーティクル効果等の他の効果が表現されうる。

ハプティック編集アプリケーション２００は、パラメータモジュール２２０をさらに含む。パラメータモジュール２２０の中では、ハプティック駆動信号２３５のための様々なパラメータ（すなわち図１のアクチュエータに印加されるハプティック駆動信号の視覚化）が修正されうる。例えば、パラメータは、開始時間、持続時間、ループカウント、クリップ長、信号タイプ、強度タイプ、信号ギャップ、信号幅、ギャップファースト、リンクギャップ対幅、信号形状などを含みうる。これらのパラメータを用いて、アプリケーションのハプティック効果がリアルタイムで編集され、表現されうる。

パラメータモジュール２２０を変えることにより、単一周波数ハプティック出力デバイスを使用していても、一つ以上の多周波数ハプティック効果が表現またはシミュレーションされうる。例えば、信号幅および信号ギャップパラメータを変えることにより、ハプティック駆動信号２３５のエンベロープを変えずに一つ以上の多周波数ハプティック効果がシミュレーションされうる。別の例では、反復もしくはループハプティッククリップまたは駆動信号の信号幅および信号ギャップパラメータを狭めることにより、異なるテクスチャが表現されうる。

加えて、ハプティック効果は、タイムラインエディタ２３０を使用して視覚的に表され、修正されうる。タイムラインエディタ２３０の中では、ハプティック駆動信号２３５のパラメータおよびエンベロープが視覚的に表現される。ハプティック駆動信号２３５に沿った任意の点において、エンベロープのマグニチュードは対応するハプティック効果の強度を示す。一つのハプティック駆動信号２３５が図示されているが、さらなるハプティック駆動信号が追加、除去または修正されてもよい。各ハプティック駆動信号は、一つ以上のハプティックチャンネルまたはハプティック出力デバイス（例えば左ゲームコントローラトリガ）に対応しうる。あるいは、複数のハプティック駆動信号が、単一のハプティック出力デバイスに同時または順次に印加されてもよい。

ハプティック駆動信号２３５を修正するために、一つ以上の制御点２３８または補間点２４８が使用されうる。ハプティック駆動信号２３５の後続のパラメータを定義するために、各制御点２３８および補間点２４８が用いられうる。しかし、制御点２３８は、ハプティック駆動信号２３５のエンベロープを定義または修正するためにさらに用いられてもよい。連続する制御点２３８の間では、ハプティック駆動信号２３５のエンベロープの部分は線形または曲線でありうる。例えば、対数曲線、指数曲線、および放物曲線等の定義済みまたはカスタム曲線が使用されてもよい。一部の場合には、補間レートを決定するために追加の曲線が用いられてもよい。あるいは、ハプティック駆動信号２３５のエンベロープは、正弦波、矩形波、三角波、鋸波などにフィットされうる。（例えば曲線を用いて）ハプティック駆動信号のエンベロープが変更される場合には、ハプティック駆動信号のマグニチュードが変化しうるかまたは方向が変化しうる（例えばプル信号がプッシュ信号になるかまたはその逆が生じうる）。

いくつかの場合には、連続する補間点２４８を用いて、一つ以上のパラメータ値を修正するための一つ以上の時限（例えば１秒）を定義しうる。あるいは、制御点２３８および補間点２４８は、アプリケーションのイベント（例えば衝突、爆発など）に対応してもよい。別の代替的構成では、連続する制御点２３８または連続する補間点２４８の間のパラメータ値は、アプリケーションのイベント（例えば車の加速もしくは速度または爆発の強さ）に基づいて決定されうる。

例示的な駆動信号２３５は、プッシュ／プルハプティック効果である。プッシュ／プルハプティック効果を生成するために双方向ハプティック出力デバイスが用いられうる。セクション２３６の中では、ハプティック駆動信号２３５は正値を有し、プッシュ信号である。逆に、ハプティック駆動信号２３５はセクション２３７の中では負値を有し、プル信号である。例示的プッシュ／プルハプティック駆動信号が描かれているが、無数のハプティック駆動信号２３５が実行可能であり、本発明の実施形態はそのように限定されない。

いくつかの場合には、ビジュアルプレビュー２１０は、ハプティック効果を表現するための点またはフレームを識別する一つ以上のタグ（図示せず）を含みうる。タグおよびそれらの位置を生成および／または修正するために、アプリケーションプログラミングインタフェース（「ＡＰＩ；ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ」）が用いられうる。これらのタグは、「効果呼び出し（ｅｆｆｅｃｔ ｃａｌｌｓ）」または「通知（ｎｏｔｉｆｉｅｓ）」とも呼称されうる。タグは、ハプティック駆動信号２３５により生成されてもよいし、またはハプティック駆動信号２３５の前に手動で生成されてもよい。例えば、タグは、ハプティック駆動信号２３５の特徴に基づいて動的に生成されうる。タグを用いて、動画および対応するハプティック効果が、可変速度（例えばスローモーションまたはスピードモーション）で表現されうる。加えて、タグは、動画をハプティック駆動信号２３５に同期させるために用いられうる。

図示はしていないが、ハプティック駆動信号２３５の一グループが編集のために選択されうる。ハプティック駆動信号のグループを選択すると、各ハプティック駆動信号の一つ以上のパラメータまたは他の特徴（例えばエンベロープ）の変更が同時に修正され、表現されうる。他の特徴には、周波数または強度の動的変更、ランダム化等が含まれうる。

このように、ハプティック編集アプリケーション２００を使用して、動画オブジェクトおよび付随するメディアがハプティック効果と同期して表現されて、アプリケーション内でのハプティック効果のリアルタイムのプレビューおよび編集が可能になりうる。既知のハプティック編集アプリケーションと比較して、本発明の実施形態は、ハプティック効果をより簡単に操作する能力を提供する。例えば、以前から知られているハプティック編集アプリケーションは、線形の（すなわちパラメトリックまたは曲線でない）修正に限定されていた。さらに、信号ギャップ、信号幅、リンクギャップ対幅、その他等の追加のパラメータが、より簡単に制御されうる。その結果、多周波数効果がより簡単に設計および表現されうる。加えて、パラメトリックアプローチを用いて、新たなハプティック出力デバイスがより容易に応用されうる。新たなハプティック出力デバイスが登場するたびにそのパラメータ範囲を利用するためにハプティック駆動信号がより簡単に再構成されうる。また、本発明の実施形態は、予め生成された音声ファイルの使用に限定される音声編集アプリケーションに類似しない。

図３は、本発明の例示的実施形態によるハプティック効果を編集するための機能３００のフローチャートを示す。いくつかの場合には、図３のフローチャートの機能は、メモリまたは他のコンピュータ可読もしくは有形の媒体に記憶されたソフトウェアにより実装され、プロセッサにより実行される。他の場合には、機能は、ハードウェア（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ；ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ；ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ」）などを用いることにより）、またはハードウェアとソフトウェアとの任意の組み合わせにより行われうる。

３１０で、機能３００は、入力として動画オブジェクトを受け取る。動画オブジェクトは、予め決定されるかまたはユーザの動きに基づいてリアルタイムで表現される一つ以上の二次元または三次元動画オブジェクトを含みうる。動画オブジェクトは、例えば任意の物理オブジェクトまたはゲームキャラクタをグラフィカルに表すことができる。いくつかの場合には、動画オブジェクトは、メディア信号をさらに含みうる。

次に、３２０で、機能３００は、一つ以上のハプティック効果を動画オブジェクトと関連づける。ハプティック効果のそれぞれは、対応するハプティック駆動信号を有しうる。その後３３０で、機能３００は、複数の補間点をハプティック駆動信号のタイムラインに沿ってハプティック駆動信号と関連づける。ここで、３４０で、連続する補間点の間のハプティック駆動信号の一つ以上のパラメータが調節されて、修正されたハプティック効果が生成されうる。

例えば、ハプティック駆動信号のエンベロープの部分は、連続する補間点の間で直線でも曲線でもよい。ハプティック駆動信号のエンベロープを修正するために、定義済みまたはカスタム曲線が適用されてもよい。いくつかの場合には、補間点は、速度等のアプリケーションの属性および／またはイベントに基づきうる（例えば低速時にはより弱いハプティック効果、高速時にはより強いハプティック効果）。補間点は、アプリケーションのイベント（例えば衝突、爆発など）に対応してもよい。別の例では、多周波数ハプティック効果または異なるテクスチャをシミュレーションするために、信号幅および／または信号ギャップ等の他のパラメータが変更されうる。

最後に３５０で、動画オブジェクトと対応する修正されたハプティック効果とが表現されうる。パラメータを調節する間に、動画オブジェクトと修正されたハプティック効果とが表現されうる。動画オブジェクトがアプリケーションで表現されうる。さらに、ハプティック効果が図１のアクチュエータ等のハプティック出力デバイスにより表現されうる。

図４は、本発明の例示的実施形態によるハプティック駆動信号４３５を示す。図４に示すように、ハプティック駆動信号４３５は、参照により全体として本明細書に組み込まれる「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｃｔｕａｔｏｒｓ ｔｏ Ｒｅａｌｉｚｅ Ｔｅｘｔｕｒｅｓ」と題する米国特許出願第１２／６９７，０４２号に記載される、テクスチャハプティック効果を表現するために用いられうる。特に、信号幅および信号ギャップパラメータを狭めることにより様々なテクスチャがシミュレーションされうる。加えて、テクスチャ化ハプティック効果は、ループ間のより長いギャップと組み合わせて一つ以上のクリップ信号をループしうる。一部の実施形態では、ループの各クリップの長さは、キーフレームを用いて時間に対して修正されうる。

図５Ａ〜５Ｃは、本発明の別の例示的実施形態によるハプティック駆動信号５３５Ａ、５３５Ｂ、５３５Ｃを示す。様々なハプティックパラメータを修正することに加えて、ハプティック設計者は、時間に対してパラメータを修正しうる。図５Ａでは、ベースハプティック駆動信号５３５Ａのパラメータは時間とともに変化しない。しかし、ハプティック編集アプリケーションは、一つ以上のパラメータがキーフレーム間の補間にしたがうことを可能にしうる。例えば、ループギャップ、信号幅、信号ギャップ、クリップ長および他のパラメータが、キーフレームを用いて時間に対して修正されうる。キーフレームを用いて、ハプティック効果のベース値がオーバーライドされうる。例えば、ベース周波数が１００Ｈｚである場合、キーフレームが最初は１００Ｈｚのデフォルトに置かれうる。追加のキーフレームがハプティック効果の最後に置かれて周波数がオーバーライドされ、ユーザにより２００Ｈｚに設定されうる。キーフレームの間に、一つ以上の補間技術が適用されうる（例えばユーザが線形補間を選んだ場合にはハプティック効果の途中の周波数は１５０Ｈｚでありうる）。ここで、キーフレームは、キーフレームボタン５５０を使用して追加されうる。

図５Ｂおよび図５Ｃのそれぞれは、ハプティックパラメータが時間とともに変化するのを示す。図５Ｂでは、ハプティック駆動信号５３５Ｂのループギャップパラメータが領域５６０で増加するかまたは領域５７０で減少しうる。図５Ｃでは、ハプティック駆動信号５３５Ｃの信号ギャップパラメータは時間とともに増加する。加えて、ハプティック駆動信号５３５Ｃの信号幅パラメータは時間とともに減少する。

図６Ａ〜６Ｂは、本発明の他の例示的実施形態によるハプティック駆動信号６３５Ａ、６３５Ｂを示す。図６Ａは、ベースハプティック駆動信号６３５Ａを示す。ハプティック駆動信号６３５Ａは、ランダム化または他の方法でフィルタされていない。しかし、図６Ｂに示すように、ハプティック駆動信号６３５Ｂの一つ以上の部分はランダム化されている。ハプティック駆動信号６３５Ｂのランダム化は、一つ以上のランダム化アルゴリズムまたはフィルタを使用して達成されうる。ランダム化は、でこぼこ道をシミュレーションする、テクスチャを誇張する、物事を「しびれる」感じにする等のために用いられうる。一般に、ランダム化により、迫力および没入感がさらに増す。

図７Ａ〜７Ｂは、本発明の他の例示的実施形態によるハプティック駆動信号７３５Ａ、７３５Ｂを示す。図７Ａは、強度タイプパラメータが「絶対値」に設定されたハプティック駆動信号７３５Ａを示す。ここでは、絶対値アルゴリズムを用いてプル部分がプッシュ部分に変換され、プッシュ／プルハプティック駆動信号がプッシュだけの信号として表現されうる。図７Ｂは、強度タイプパラメータが「０を１にクランプ」に設定されたハプティック駆動信号７３５Ｂを示す。ここでは、ハプティック駆動信号７３５Ｂからプル部分が除去され、プッシュ／プルハプティック駆動信号がプッシュだけの信号として表現されうる。強度タイプパラメータは、使用されているアクチュエータの特性に応じて調節されうる。例えば、単方向アクチュエータ（すなわち双方向アクチュエータではない）が使用されているときに、「絶対値」または「０を１にクランプ」の設定が選択されうる。

図８は、本発明の別の例示的実施形態による複数のハプティック駆動信号８３５Ａ、８３５Ｂを示す。各ハプティック駆動信号８３５Ａ、８３５Ｂは、一つ以上のハプティックチャンネルまたはハプティック出力デバイス（例えば左トリガ、右トリガ等）に対応しうる。あるいは、ハプティック駆動信号８３５Ａ、８３５Ｂ等の複数のハプティック駆動信号が、単一のハプティック出力デバイスに同時または順次に印加されてもよい。

図９は、本発明の例示的実施形態によるハプティックプリセットライブラリ９００を示す。図９に示すように、ハプティック現行ライブラリ９００は、様々なクリッププリセット９８０Ａ〜９８０Ｃならびに一つ以上のハプティックフェードプリセット９８０Ｄおよび一つ以上のカーブプリセット９８０Ｅを含みうる。ハプティックプリセット９８０Ａ〜９８０Ｅの中で、アプリケーションの或るイベントタイプと関連して或るハプティックプリセットが使用されうる。例えば、爆発動画オブジェクトは、最初に最大のハプティック強度を有し、爆発が終わるにしたがって弱まる、フェードプリセット９８０Ｄのうちの一つを利用しうる。ここで、フェードアウト（およびフェードイン）特徴は、ハプティック出力デバイス（例えば最大強度またはそのパーセンテージ）の特徴に基づいて決定されうる。

このように、本明細書に記載される例示的実施形態は、ハプティック効果を設計および／または編集するためのシステムおよび方法を提供する。動画オブジェクトおよび付随するメディア効果がハプティック効果と同期して表現されて、アプリケーションコンテキストでのハプティック効果のリアルタイムのプレビューおよび編集が可能になる。改良されたハプティック編集アプリケーションは、高品質ハプティック出力デバイスによって表現されるハプティック効果の範囲およびハプティック効果を設計または他のやり方で操作するハプティック開発者の能力を強化する。ハプティック効果は、リアルタイムで、または動画オブジェクトもしくは他の入力のプレイバックの間に表現されうる。

いくつかの実施形態を特に例示および／または説明してきた。しかし、開示された実施形態の修正変更が、本発明の趣旨および意図された範囲を逸脱することなく以上の教示に含まれ、添付の特許請求の範囲に記載の範囲内であることは言うまでもない。本明細書に記載される実施形態は、多数の考えられる実装の一部にすぎない。さらに実施形態は、様々なアクチュエータタイプおよび他のハプティック出力デバイスに直ちに適用されうる。

Claims (20)

1. ハプティック効果を編集する方法であって、
   動画オブジェクトを取り出すステップと、
   前記動画オブジェクトにハプティック効果を関連づけるステップであって、前記ハプティック効果は、対応するハプティック駆動信号を有する、ステップと、
   タイムラインに沿って前記ハプティック駆動信号に補間点を関連づけるステップと、
   修正されたハプティック効果を生成するために、連続する補間点の間の前記ハプティック駆動信号の一つ以上のパラメータを調節するステップと、
   前記動画オブジェクトと前記修正されたハプティック効果とを表現するステップと
   を含む、方法。
2. 前記動画オブジェクトは、ユーザのモーションに基づく、請求項１に記載の方法。
3. 前記ハプティック効果は、単一周波数ハプティック出力デバイスを使用して表現される多周波数ハプティック効果である、請求項１に記載の方法。
4. 前記ハプティック効果は、前記ハプティック駆動信号の複数のパラメータを修正することにより表現されるテクスチャハプティック効果である、請求項１に記載の方法。
5. 前記ハプティック駆動信号のエンベロープは、前記ハプティック駆動信号の連続する制御点の間で修正される、請求項１に記載の方法。
6. 前記ハプティック駆動信号の前記パラメータは、ハプティックライブラリを使用して調節される、請求項１に記載の方法。
7. 前記ハプティック駆動信号の前記パラメータは、アプリケーション内で生じるイベントに応じて調節される、請求項１に記載の方法。
8. 非一時的コンピュータ可読記憶媒体であって、プロセッサにより実行されるように構成された一つ以上のプログラムを記憶し、前記一つ以上のプログラムは、
   動画オブジェクトを取り出すステップと、
   前記動画オブジェクトにハプティック効果を関連づけるステップであって、前記ハプティック効果は、対応するハプティック駆動信号を有する、ステップと、
   タイムラインに沿って前記ハプティック駆動信号に補間点を関連づけるステップと、
   修正されたハプティック効果を生成するために、連続する補間点の間の前記ハプティック駆動信号の一つ以上のパラメータを調節するステップと、
   前記動画オブジェクトと前記修正されたハプティック効果とを表現するステップ
   のための命令を含む、非一時的コンピュータ可読記憶媒体。
9. 前記動画オブジェクトは、ユーザのモーションに基づく、請求項８に記載の非一時的コンピュータ可読記憶媒体。
10. 前記ハプティック効果は、単一周波数ハプティック出力デバイスを使用して表現される多周波数ハプティック効果である、請求項８に記載の非一時的コンピュータ可読記憶媒体。
11. 前記ハプティック効果は、前記ハプティック駆動信号の複数のパラメータを修正することにより表現されるテクスチャハプティック効果である、請求項８に記載の非一時的コンピュータ可読記憶媒体。
12. 前記ハプティック駆動信号のエンベロープは、前記ハプティック駆動信号の連続する制御点の間で修正される、請求項８に記載の非一時的コンピュータ可読記憶媒体。
13. 前記ハプティック駆動信号の前記パラメータは、ハプティックライブラリを使用して調節される、請求項８に記載の非一時的コンピュータ可読記憶媒体。
14. 前記ハプティック駆動信号の前記パラメータは、アプリケーション内で生じるイベントに応じて調節される、請求項８に記載の非一時的コンピュータ可読記憶媒体。
15. プロセッサと、
    前記プロセッサによる実行のための一つ以上のプログラムを記憶するメモリであって、前記一つ以上のプログラムは、
    動画オブジェクトを取り出すステップと、
    前記動画オブジェクトにハプティック効果を関連づけるステップであって、前記ハプティック効果は、対応するハプティック駆動信号を有する、ステップと、
    タイムラインに沿って前記ハプティック駆動信号に補間点を関連づけるステップと、
    修正されたハプティック効果を生成するために、連続する補間点の間の前記ハプティック駆動信号の一つ以上のパラメータを調節するステップと、
    前記動画オブジェクトと前記修正されたハプティック効果とを表現するステップ
    のための命令を含む、メモリと
    を含む、デバイス。
16. 前記動画オブジェクトは、ユーザのモーションに基づく、請求項１５に記載のデバイス。
17. 前記ハプティック効果は、単一周波数ハプティック出力デバイスを使用して表現される多周波数ハプティック効果である、請求項１５に記載のデバイス。
18. 前記ハプティック効果は、前記ハプティック駆動信号の複数のパラメータを修正することにより表現されるテクスチャハプティック効果である、請求項１５に記載のデバイス。
19. 前記ハプティック駆動信号のエンベロープは、前記ハプティック駆動信号の連続する制御点の間で修正される、請求項１５に記載のデバイス。
20. 前記ハプティック駆動信号の前記パラメータは、ハプティックライブラリを使用して調節される、請求項１５に記載のデバイス。