JP2017152035A - モバイルデバイス上での共有されたフィードバックのための双方向性モデル - Google Patents

Abstract

【課題】動的触覚効果を生成し、かつジェスチャ信号およびリアルまたはバーチャルのデバイスセンサ信号を含む駆動信号を生成するシステムを提供する。
【解決手段】触覚効果は、ジェスチャ信号および、例えば加速度計またはジャイロスコープからのリアルまたはバーチャルのデバイスセンサ信号の両方に基づいて、あるいは、静止画、ビデオ、または音声などの処理データから生成された信号によって、ダイナミックに修正される。触覚効果は、ジェスチャ信号およびリアルまたはバーチャルのデバイスセンサ信号ならびに物理モデルを用いることによって必要に応じてダイナミックに修正されてもよく、あるいは、通信リンクを介して接続された複数のデバイスに必要に応じて同時に適用されてもよい。触覚効果は、第１のデバイス上で、データファイルに必要に応じてエンコードされてもよい。データファイルは次いで第２のデバイスに通信され、触覚効果はデータファイルから読み出されて第２のデバイスに適用される。
【選択図】図１

Description

（関連出願の参照）
本出願は、３５ Ｕ．Ｓ．Ｃ．§１２０に基づき、２０１２年２月１５日に出願された同時係属中の出願第１３／３９７，１４２号の優先権の利益を主張する。

一実施形態は、一般にデバイスのためのユーザインターフェースに関し、より詳細には、複数のジェスチャ信号およびリアルまたはバーチャルのデバイスセンサ信号を用いた動的な触覚（ハプティック）効果を生成することに関する。

電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的及び聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「触覚フィードバック」又は「触覚的効果」として知られる、運動感覚フィードバック（作用力及び抵抗力フィードバック等）及び／又はタクタイル（触知的）フィードバック（振動、触感、及び熱等）もまた、ユーザに提供される。触覚フィードバックは、ユーザインターフェースを強化及び単純化するきっかけを提供し得る。具体的に、振動効果、すなわち振動触覚的効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、又はシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

振動効果を生成するために、多くのデバイスは一部のタイプのアクチュエータまたは触覚出力デバイスを利用する。この目的のために用いられる公知の触覚出力デバイスとしては、偏心質量がモータによって動かされる偏心回転質量（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電（ピエゾ）ポリマー、電気活性ポリマーもしくは形状記憶合金のような「スマート材料」が挙げられる。触覚出力デバイスはまた広範に、非機械的または非振動デバイス、例えば、静電摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ：ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ）などのデバイス、あるいは、超音波触覚トランスデューサを用いた音響放射圧を誘導するデバイス、または、触覚基板および可撓性もしくは変形可能な表面を利用するデバイス、あるいは、空気ジェットなどを利用した空気の吹きかけなどの発射型の触覚出力を提供するデバイスが挙げられる。

トリガされた効果のみでの触覚フィードバックを提供する従来のアーキテクチャは利用可能であり、触覚フィードバックのタイミングがユーザにより開始されたジェスチャまたはシステムのアニメーション（動画）にきちんと相関するように注意深く設計されなければならない。しかしながら、これらのユーザのジェスチャおよびシステムのアニメーションは、変化しやすいタイミングを有しており、触覚フィードバックとの相関は静的で一貫性がない場合があり、それゆえユーザにとってはあまり魅力的ではない。さらに、デバイスセンサ情報は通常は、触覚フィードバックを生成するのに、ジェスチャと組み合わせて用いられていない。

それゆえ、複数のジェスチャ信号およびデバイスセンサ信号を含む動的な触覚効果を提供する改善されたシステムの必要性が存在する。さらに、通信リンクを介して接続される複数のデバイスに同時の触覚フィードバックを提供する必要性が存在する。

一実施形態は、動的触覚効果を生成し、かつジェスチャ信号およびリアルまたはバーチャルのデバイスセンサ信号を含む駆動信号を生成するシステムである。触覚効果は、ジェスチャ信号および、例えば加速度計またはジャイロスコープからのリアルまたはバーチャルのデバイスセンサ信号の両方に基づいて、あるいは、静止画、ビデオ、または音声などの処理データから生成された信号によって、ダイナミックに修正される。触覚効果は、ジェスチャ信号およびリアルまたはバーチャルのデバイスセンサ信号ならびに物理モデルを用いることによって必要に応じてダイナミックに修正されてよい。触覚効果は、通信リンクを介して接続された複数のデバイスに必要に応じて同時に適用されてもよい。触覚効果は、第１のデバイス上で、データファイルに必要に応じてエンコードされてもよい。データファイルは次いで第２のデバイスに通信され、触覚効果はデータファイルから読み出されて第２のデバイスに適用される。

本発明の一実施形態に係る、触覚的にイネーブルされるシステムのブロック図である。 本発明の一実施形態に係る触覚アクチュエータのＬＲＡ実装の断面斜視図である。 本発明の一実施形態に係る触覚アクチュエータのＥＲＭ実装の断面斜視図である。 本発明の一実施形態に係る触覚アクチュエータの圧電式実装の図である 本発明の一実施形態に係る触覚アクチュエータの圧電式実装の図である 本発明の一実施形態に係る触覚アクチュエータの圧電式実装の図である。 本発明の一実施形態に係る静電摩擦（ＥＳＦ）を用いた触覚デバイスの図である。 本発明の一実施形態に係る、超音波触覚変換器を用いて音響放射圧を誘導するための触覚デバイスの図である。 本発明の一実施形態に係る、触覚基板ならびに可撓性または変形可能表面を用いた触覚デバイスの図である。 本発明の一実施形態に係る超音波表面摩擦（ＵＳＦ）を用いた触覚デバイスの図である。 本発明の一実施形態に係る超音波表面摩擦（ＵＳＦ）を用いた触覚デバイスの図である。 本発明の一実施形態に係る、ユーザによって開始される動的触覚効果のスクリーンの図である。 本発明の一実施形態に係る、ユーザによって開始される動的触覚効果のスクリーンの図である。 本発明の一実施形態に係る、ユーザによって開始される動的触覚効果のスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。 本発明の一実施形態に係る、ユーザによって開始される動的触覚効果のスクリーンの図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するスクリーンの図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するスクリーンの図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するスクリーンの図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するスクリーンの図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するスクリーンの図である。 本発明の一実施形態に係る、ジェスチャ信号およびデバイスセンサ信号を用いて動的触覚効果を生成するためのフロー図である。 本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するためのフロー図である。 本発明の一実施形態に係る、データファイルを用いて触覚効果をエンコードし、かつ適用するためのフロー図である。

以下で記載するように、動的（ダイナミック）な触覚（ハプティック）効果とは、１つ以上の入力パラメータに応答して、経時的に展開する触覚効果のことをいう。動的触覚効果は、所定の入力信号の状態の変化を表すために、触覚デバイス上に表示される触覚効果または振動触覚（ｖｉｂｒｏｔａｃｔｉｌｅ）効果である。入力信号は、例えば位置、加速、圧力、方向、または近接状態などの触覚フィードバックを用いてデバイスにあるセンサによってキャプチャされた信号であってよく、あるいは、他のデバイスによってキャプチャされた信号であってよく、また、触覚効果の生成に影響する触覚デバイスに送信された信号であってもよい。

動的効果信号は、必ずしも複合物である必要はなく、任意のタイプの信号であってよい。例えば、動的効果信号は、入力パラメータを前記動的効果信号の変化特性へマッピングするマッピングスキーマに従って、経時的に変化し、またはリアルタイムで反応する、位相、周波数、または振幅等のいくつかの特性を有する単純な正弦波であってもよい。入力パラメータは、デバイスによって提供されることのできる任意のタイプの入力であってもよく、通常は、デバイスセンサ信号等の任意のタイプの信号であってよい。デバイスセンサ信号は任意の手段によって生成されてよく、通常は、デバイスを用いてユーザのジェスチャをキャプチャすることによって生成されてよい。動的効果はジェスチャのインターフェースに非常に有用であってよいが、ジェスチャまたはセンサの利用は動的信号を生成するのに必ずしも必要ではない。

ジェスチャを直接に含まない１つの一般的なシナリオは、動画のウィジェットの動的な触覚挙動を定義することである。例えば、ユーザがリストをスクロールする場合、それは典型的には、最も直感的に感じるジェスチャの触覚経験（ｈａｐｔｉｆｉｃａｔｉｏｎ）ではなくて、ジェスチャに応じたウィジェットの動きである。このスクロールリストの例では、リストをそっとスライドすることで、スクロールの速度に従って変化する動的な触覚フィードバックを生成し得るが、スクロールバーを荒々しく触ると、ジェスチャが終わった後でも動的触覚を生成し得る。これはウィジェットが一部の物理的な特性を有する錯視（イリュージョン）を生成し、かつ、ウィジェットの状態について、例えば速度、またはそれが動いている最中かどうかなどの情報をユーザに提供する。

ジェスチャは、意味またはユーザの意図を伝える身体の任意の動きである。単純なジェスチャはより複雑なジェスチャを形成するために結合されてもよいことは認識される。例えば、指をタッチ感応表面に持っていくことを「フィンガーオン」ジェスチャと言う場合があり、他方で、タッチ感応表面から指を離すことを別の「フィンガーオフ」ジェスチャと言う場合がある。「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が相対的に短い場合、結合されたジェスチャは「タッピング」と呼ばれてよく、「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が相対的に長い場合、結合されたジェスチャは「ロングタッピング」と呼ばれてよく、「フィンガーオン」ジェスチャおよび「フィンガーオフ」ジェスチャの二次元（ｘ，ｙ）位置の間の距離が相対的に大きい場合、結合されたジェスチャは「スワイピング（ｓｗｉｐｉｎｇ）」と呼ばれてよく、「フィンガーオン」ジェスチャおよび「フィンガーオフ」ジェスチャの二次元（ｘ，ｙ）位置の間の距離が相対的に小さい場合、結合されたジェスチャは「スミアリング（ｓｍｅａｒｉｎｇ）」、「スマッジング（ｓｍｕｄｇｉｎｇ）」、または「フリッキング（ｆｌｉｃｋｉｎｇ）」と呼ばれてよい。任意の数の二次元または三次元のシンプルまたは複雑なジェスチャは、複数の指の接触、手のひらまたはこぶしの接触、あるいは、デバイスへの近接性を含む（それらに限定されない）任意の数の他のジェスチャを形成するようにして結合されてよい。ジェスチャはまた、加速度計、ジャイロスコープ、または他の運動センサを有するデバイスによって認識され、かつ電気信号に変換される任意の形態の手の動きであってよい。そのような電気信号は、例えばバーチャルなサイコロを振動させるなど動的効果を起動することができ、ここでセンサは動的効果を生成するユーザの意図をキャプチャする。

図１は、本発明の一実施形態に係る触覚的にイネーブルされる（ｈａｐｔｉｃａｌｌｙ−ｅｎａｂｌｅｄ）システム１０のブロック図である。システム１０は、ハウジング１５内に装着されたタッチセンサ式表面１１または他のタイプのユーザインターフェースを含み、かつメカニカルキー／ボタン１３を含んでもよい。システム１０に振動を生成する触覚フィードバックシステムはシステム１０内部にある。一実施形態において、振動はタッチ表面１１上で生成される。

触覚フィードバックシステムはプロセッサ１２を含む。メモリ２０およびアクチュエータ駆動回路１６はプロセッサ１２に接続され、その駆動回路１６は触覚アクチュエータ１８に連結されている。プロセッサ１２は任意のタイプの汎用目的のプロセッサであってもよく、または、特定用途向け集積回路（「ＡＳＩＣ」）等、触覚効果を提供するように特定的に設計されたプロセッサであってもよい。プロセッサ１２はシステム１０全体を作動させる同じプロセッサであってもよく、または別個のプロセッサであってもよい。プロセッサ１２は、何の触覚効果が再生されるかを決定することができ、かつ、そうした効果が高レベルのパラメータに基づいて再生される順序を決定することができる。一般に、特定の触覚効果を定義する高レベルのパラメータは、大きさ（強さ）、頻度（周波数）、および期間を含む。ストリーミングモーターコマンド等の低レベルパラメータはまた、特定の触覚効果を決定するために用いられることができる。触覚効果は、その触覚効果が生成された場合にそれがこれらのパラメータから生じた一部のものを含む場合、あるいはユーザのやり取りに基づいたこれらのパラメータから生じたものである場合、動的であると想定してよい。

プロセッサ１２は駆動回路１６に制御信号を出力し、この駆動回路１６は電子構成要素および回路を備え、これらはアクチュエータ１８に必要な電流および電圧を供給してそれにより所望の触覚効果を生じさせる。システム１０は２つ以上のアクチュエータ１８を備えてよく、各々のアクチュエータは別個の駆動回路１６を備えてよく、それら全ては共通のプロセッサ１２に連結される。メモリデバイス２０は任意のタイプの保存デバイス、あるいはランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）等のコンピュータ可読媒体であってもよい。メモリ２０はプロセッサ１２によって実行される命令を保存する。命令の中でも、メモリ２０はアクチュエータ駆動モジュール２２を含んでおり、これは複数の命令であって、プロセッサ１２によって実行される場合に、アクチュエータ１８に駆動信号を生成し、同時にまた、アクチュエータ１８からのフィードバックを決定し、かつそれに従って駆動信号を調節する、命令である。モジュール２２の機能性は以下でさらに詳細に検討する。メモリ２０はまたプロセッサ１２内部に位置してよく、または、内部メモリおよび外部メモリの任意の組み合わせであってもよい。

タッチ表面１１は接触を認識し、かつその表面上の接触の位置、強さ、または圧力を認識してよい。この接触に対応したデータはプロセッサ１２またはシステム１０内の別のプロセッサに送信され、プロセッサ１２はその接触を解釈して、それに応じて触覚効果信号を生成する。タッチ表面１１は任意の感知検出技術、例えば、静電容量性による検出、抵抗性による検出、表面音響波による検出、圧力による検出、光学による検出等を含む技術を利用して接触を感知し得る。タッチ表面１１はマルチタッチ接触を感知してよく、かつ同時に生じるマルチタッチを識別することができてよい。タッチ表面１１は、キー、ダイアル等を用いてユーザがやり取りする画像を生成および表示するタッチスクリーンであってもよく、または最小限の画像または画像のないタッチパッドであってもよい。

システム１０は、セル式電話、ＰＤＡ、コンピュータタブレット、ゲーム機等のハンドヘルドデバイスであってもよく、あるいは、ユーザインターフェースを提供しかつ１つ以上のＥＲＭ、ＬＲＡ、静電アクチュエータまたは他のタイプのアクチュエータを備える触覚効果システムを備える任意の他のタイプのデバイスであってもよい。ユーザインターフェースは、タッチセンサ式表面であってよく、あるいは、マウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド、またはゲームコントローラ等の任意の他のタイプのユーザインターフェースであってよい。２つ以上のアクチュエータを用いた実施形態において、各アクチュエータはデバイス上で広範な触覚効果を生成するために異なる出力能力を有してよい。各アクチュエータは任意のタイプの触覚アクチュエータであってよく、あるいは単一または多次元のアレイのアクチュエータであってもよい。

図２は、一実施形態に係るアクチュエータ１８のＬＲＡ実装の断面側面図である。ＬＲＡ１８はケース２５、磁石／質量２７、線形（リニア）ばね２６、および電気コイル２８を備える。磁石２７はばね２６によってケース２５に装着される。コイル２８は磁石２７の下で、ケース２５の底に直接装着される。ＬＲＡ１８は典型的な任意の公知のＬＲＡである。動作時に、電流がコイル２８を流れると、コイル２８の周囲に磁界が形成されて、磁石２７の磁界とのやり取りで、コイル２８は磁石２７上に押し上がったり引き下がったりする。電流の１つの方向／極性が押し上げ動作を生じさせ、他の方向／極性が引き下げ動作を生じさせる。ばね２６は、磁石２７の上下運動を制御し、ばねが圧縮されている位置である上方偏向位置、ばねが伸びている位置である下方偏向位置、ならびに、ばねが圧縮されておらず、また偏向もしておらず、かつ電流がコイル２８に印加されず、磁石２７の動き／振動が存在しない場合の静止状態に等しいニュートラルまたはゼロ交差位置を有する。

ＬＲＡ１８については、機械的品質係数、すなわち「Ｑ係数」が測定可能である。一般に、機械的Ｑ係数は、振動する物理的なシステムの振幅の減衰のための時定数をその振動期間と比較する無次元のパラメータである。機械的Ｑ係数は実装のバリエーションに著しく影響を受ける。機械的Ｑ係数は、毎回の振動サイクルにおいて失われるエネルギーについての質量とばねとの間で循環するエネルギーの比を表す。低いＱ係数が意味するのは、質量およびばねにあるエネルギーの大部分が毎回のサイクルで失われているということである。一般に、システム１０が手に堅く握られた場合にエネルギーは手の組織によって吸収されるため、最小限のＱ係数が生じる。振動エネルギーの全てをＬＲＡ１８に反映させる堅くて重い表面にシステム１０が押し付けられた場合、概して最大のＱ係数が生じる。

機械的Ｑ係数に直接に比例して、共振において磁石／質量２７とばね２６との間に生じる力は通常、コイル２８が振動を維持するために生成する必要がある力の１０〜１００倍大きい。結果として、ＬＲＡ１８の共振周波数は磁石２７の質量とばね２６の弾性コンプライアンスによってほぼ規定される。しかしながら、ＬＲＡが浮動のデバイスに装着されている場合（例えば、システム１０が柔らかく手に握られているなど）、ＬＲＡの共振周波数は著しく上昇（シフトアップ）する。さらに、（例えば、素早く開閉された携帯電話、またはしっかりと握り締められた電話などの）システム１０内のＬＲＡ１８の見掛けの搭載重量に影響を受ける外部要因に起因して、著しい周波数のシフトが生じ得る。

図３は、本発明の一実施形態に係るアクチュエータ１８のＥＲＭ実装の断面斜視図である。ＥＲＭ１８は、回転軸３０５を中心に回転する中心を外れたおもり３０３を有する回転体３０１を備える。動作中、任意のタイプのモータは、ＥＲＭ１８に連結されてよく、モータに印加される電圧の量および極性に応じて、回転軸３０５を中心に、一方向または双方向の回転を生じさせる。同じ回転方向における電圧の印加は加速効果を有し、ＥＲＭ１８の回転速度を上昇させ、ならびに、逆方向の回転の電圧の印加は制動効果を有し、ＥＲＭ１８の回転速度を下げるか、またはさらに逆回転させることは認識されるであろう。

本発明の一実施形態は、ＥＲＭ１８の角速度を決定および修正することにより触覚フィードバックを提供する。角速度は、回転速度のスカラー量であり、ベクトル量角速度の大きさを表す。ラジアン／秒における角速度または周波数ωは、２πを乗算した、サイクル／秒における周波数ν（Ｈｚとも呼ばれる）に相関する。駆動信号は、少なくとも１つの駆動パルスがＥＲＭ１８に付与される駆動期間、ならびに、回転体３０１の背後の電磁界（「ＥＭＦ」）が受けとられ、ＥＲＭ１８の角速度を決定するために用いられるモニタリング期間を含む。他の実施形態において、駆動期間およびモニタリング期間は同時であり、本発明は駆動期間およびモニタリング期間の両方の間にＥＲＭ１８の角速度を動的に決定する。

図４Ａから図４Ｃは本発明の一実施形態に係る触覚アクチュエータ１８の圧電型の実装の図である。図４Ａは、電極４０１、圧電セラミックディスク４０３、および金属ディスク４０５を備えるディスク圧電型アクチュエータを示す。図４Ｂに示すように、電極４０１に電圧が印加される場合、圧電アクチュエータはそれに応じて曲がり、弛緩状態４０７から変形状態４０９になる。電圧が印加されるとアクチュエータが撓んで振動の基礎を作り出す。あるいは図４Ｃは、弛緩状態４１１から変形状態４１３になる、ディスク圧電型アクチュエータと同様に作動するビーム圧電型アクチュエータを示す。

図５は、本発明の一実施形態に係る静電摩擦（ＥＳＦ）を用いた触覚デバイスの図である。Ｍａｋｉｎｅｎらによる米国特許第７，９８２，５８８号に記載された動作原理と同様に、この実施形態は、パチニ小体（Ｐａｃｉｎｉａｎ ｃｏｒｐｕｓｃｌｅｓ）の機械的刺激を用いずに、あるいは、そのような機械的な刺激とは別の追加の刺激として、皮下パチニ小体が静電結合および適切に形成された制御電圧によって刺激され得る、という発見に基づいている。適切に形成された高電圧は制御電圧として用いられる。これに関連して、高電圧とは、直接的なガルバーニ電気接触（ｇａｌｖａｎｉｃ ｃｏｎｔａｃｔ）が、安全および／またはユーザの快適さのために回避されなければならないような電圧を意味する。これにより、パチニ小体と、刺激を生じさせるデバイスとの間の静電結合が生じ、静電結合の片側は、刺激デバイスに接続された少なくとも１つの直流的に絶縁された電極によって形成され、他方でもう一方の側は、その電極の近接にある、刺激する標的、例えばそのデバイスのユーザの体の部分、好ましくは指、より詳細には皮下パチニ小体によって形成される。

本発明は、デバイスのアクティブな表面と、その表面に接近または接触する体の部分、例えば指との間の電界を制御して形成することに基づいている。電界は、近接した指に、反対の電荷を生じさせる傾向がある。局所的な電界および静電結合はそれらの電荷の間において形成可能である。電界は指組織の電荷に力を導く。電界を適切に変化させることによって、組織を移動させることのできる力を生じさせることができ、これにより感覚受容器はそのような動きを振動として感知する。

図５に示すように、１つ以上の導電電極５０１には絶縁体が備わっている。指５０５等の体の一部が導電電極５０１に近接する場合、絶縁体は、直流の流れが導電電極からその体の一部５０５に流れないようにする。絶縁体の上の静電結合の電界力５０３が、導電電極５０１と体の一部５０５との間に形成される。このデバイスはまた、電気入力を１つ以上の導電電極に印加するための高電圧源を備え、この電気入力は１０Ｈｚと１０００Ｈｚとの間の周波数範囲において、低周波数の構成要素を備える。静電結合および電気入力は、１つ以上の導電電極または絶縁体の任意の機械的振動とは独立して生成される、電気感受性の感覚を生成するように形成される。

図６は、Ｉｗａｍｏｔｏらによる「Ｎｏｎ−ｃｏｎｔａｃｔ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｄｕｃｉｎｇ Ｔａｃｔｉｌｅ Ｓｅｎｓａｔｉｏｎ Ｕｓｉｎｇ Ａｉｒｂｏｒｎｅ Ｕｌｔｒａｓｏｕｎｄ」（Ｅｕｒｏｈａｐｔｉｃｓ ２００８、ＬＮＣＳ ５０２４、５０４−５１３ページ）に記載されたものと同様の超音波触覚トランスデューサを用いて音響放射圧を誘発するための触覚デバイスの図である。空気伝送（ａｉｒｂｏｒｎｅ）超音波トランスデューサアレイ６０１は、３次元（３Ｄ）のフリースペースにおいて触知性フィードバックを提供するように設計される。そのアレイは空気伝送超音波を放射し、高い忠実度の圧力場を、グローブまたは機械的な取り付け物を使用せずに、ユーザの手に生じさせる。本方法は、超音波音響放射圧力の非線形現象に基づく。物体が超音波の伝播を妨害する場合、圧力場が物体の表面上に付与される。この圧力は音響放射圧と呼ばれる。音響放射圧Ｐ［Ｐａ］は、簡潔に、Ｐ＝αＥとして記載され、ここでＥ［Ｊ＝ｍ３］は超音波のエネルギー密度であり、αは物体の表面の反射属性に依存して１〜２の範囲の定数である。この等式は、音響放射圧が超音波のエネルギー密度にどのように比例しているかを説明する。超音波のエネルギー密度の空間的な分布は、波動場合成技術を用いることによって制御可能である。超音波トランスデューサアレイを用いて、様々なパターンの圧力場が３Ｄフリースペースにおいて生成される。空気ジェットとは異なり、空間および時間分解能は極めて良好である。空間分解能は超音波の波長と比較可能である。周波数特性は１ｋＨｚまで十分に良好である。

空気伝送超音波は貫通のリスクなく肌上に直接に付与可能である。空気伝送超音波が肌の表面上に付与されると、空気の特徴的な音響インピーダンスと、肌の特徴的な音響インピーダンスとの間の大きな差異に起因して、入射音響エネルギーの約９９．９％が肌の表面上で反射される。それゆえ、この触知性フィードバックシステムにおいて、ユーザは扱いにくいグローブや機械的な取り付け具を着用する必要はない。

図７は、本発明の一実施形態に係る触覚基板および可撓性表面を有する触覚デバイス７０１を図示する３次元（３Ｄ）の図を示す。デバイス７０１は、可撓性表面層７０３、触覚基板７０５、および変形機構７１１を備える。デバイス７０１は、ユーザインターフェースデバイス、例えば、セル式電話のためのインターフェース、形態情報端末（「ＰＤＡ」）、自動車用データ入力システム等であってもよい。本発明の例示的な実施形態の基本的なコンセプトは、１つ以上のブロック（回路または層）が加えられるか、またはデバイス７０１から取り除かれても変化しない。

１つの例において、可撓性表面層７０３は、ポリシロキサンとしても知られるシリコーンゴムなどの柔らかい、および／または弾力性のある材料からできている。可撓性表面層７０３の機能は、触覚基板７０５の物理的パターンと接触する場合、その表面形状またはテクスチャを変化させることである。局所的特徴１１０−１２４の１つ以上が上がったり下がったりできて、接触の際に、可撓性表面層７０３の表面に影響を与える特徴を提示するため、触覚基板７０５の物理的パターンは可変である。触覚基板７０５の物理的パターンがいったん決定されると、可撓性表面層７０３のテクスチャは変化することができ、その表面テクスチャが触覚基板７０５の物理的パターンと一致する。１つのテクスチャから別のテクスチャへの可撓性表面層７０３の変形は、変形機構７１１によって制御可能である。例えば、変形機構７１１がアクティブではない場合、可撓性表面層７０３は、その平滑な構成が、触覚基板７０５の上に浮くか、着座するように維持する。しかし、可撓性表面層７０３の表面構成は、変形機構７１１がアクティブにされて、触覚基板７０５が可撓性表面層７０３と接触して、可撓性表面層７０３の上表面上に類似のパターンを生成する場合、平滑な構成から粗い構成へと変形または変化する。

あるいは、可撓性表面層７０３は可撓性のタッチセンサ式表面であり、ユーザの入力を受け付けることができる。可撓性のタッチセンサ式表面は複数の領域に分けられることができ、可撓性のタッチセンサ式表面の各領域は、その領域が指によってタッチされるか、押された場合に入力を受け付けることができる。一実施形態において、可撓性のタッチセンサ式表面はセンサを備え、そのセンサは近くにある指を検出し、デバイスを起動またはオンにすることができる。可撓性表面層７０３はまた、可撓性ディスプレイを備えてもよく、これは可撓性表面層７０３と一緒になって変形することができる。有機発光ダイオード（ＯＬＥＤ）、有機または高分子ＴＦＴ（薄膜トランジスタ）等の可撓性ディスプレイを製造するために様々な可撓性のディスプレイ技術が用いられ得る。

触覚基板７０５は、１つ以上のパターン起動信号に応じてその表面パターンを変化することができる表面再構成可能触覚デバイスである。触覚基板７０５はまた、触覚機構、触覚層、触知性要素等として参照されてもよい。触覚基板７０５は、一実施形態において、複数の触知性または触覚領域７０７、７０９を備え、それらの各領域は独立して制御および起動されることができる。各触知性の領域は独立して起動されることができるので、触覚基板７０５の一意の表面パターンが、そのパターン起動信号に応答して作製されることができる。別の実施形態において、全ての触知性領域はさらに複数の触覚ビットに分けられ、ここで各ビットは独立して励起されるか、起動されるか、あるいは停止されることができる。

一実施形態において、触覚基板７０５または触覚機構は、起動コマンドまたは起動信号に応答して触覚フィードバックを提供するように動作可能である。触覚基板７０５は、複数の触知性または触覚フィードバックを提供し、ここで１つの触知性フィードバックは表面変形のために用いられ、他方で別の触知性フィードバックは入力確認のために利用される。入力確認は選択された入力についてユーザに知らせる触覚フィードバックである。触覚機構７０５は、例えば、振動、鉛直変位、側方変位、プッシュ／プル技術、気体／液体ポケット、材料の局所的変形、共振機械要素、圧電材料、マイクロマシン技術システム（「ＭＥＭＳ」）要素、熱流体ポケット、ＭＥＭＳポンプ、様々な多孔性膜、層流変調等を含む様々な技術によって実施可能である。

触覚基板７０５は、一実施形態において、半可撓性または半剛体の材料によって作られる。一実施形態において、触覚基板は、可撓性表面７０３よりもさらに剛性であるべきであり、それにより、可撓性表面７０３の表面のテクスチャは触覚基板７０５の表面パターンと一致することができる。触覚基板７０５は、例えば、１つ以上のアクチュエータを備え、そのアクチュエータは、電気活性高分子（「ＥＡＰ」）の繊維（またはナノチューブ）、圧電要素、形状記憶合金（「ＳＭＡ」）の繊維等から作られることができる。生物的筋肉（ｂｉｏｌｏｇｉｃａｌ ｍｕｓｃｌｅ）または人工筋肉としても知られているＥＡＰは、電圧の印加に応じてその形状を変化させることができる。ＥＡＰの物理的形状はそれが大きな力を被ると変形され得る。ＥＡＰは、電歪ポリマー、誘電エラストマー、導電性ポリマー、イオン性ポリマー金属複合材、刺激応答ゲル、バッキーゲル（Ｂｕｃｋｙ ｇｅｌ）アクチュエータ、あるいは、上述のＥＡＰ材料の組み合わせから作られてもよい。

メモリメタルとしても知られるＳＭＡ（形状記憶合金）は、触覚基板７０５を作るために用いられることのできる他のタイプの材料である。ＳＭＡは、銅−亜鉛−アルミニウム、銅−アルミニウム−ニッケル、ニッケル−チタン合金、あるいは、銅−亜鉛−アルミニウム、銅−アルミニウム−ニッケル、および／またはニッケル−チタン合金の組み合せから作られてもよい。ＳＭＡの特徴は、その元の形状が変形されている場合、周囲の温度および／または周囲環境に従って元の形状に戻ることである。本発明の実施形態はＥＡＰ、圧電素子、および／またはＳＭＡを組み合わせる場合があり、そうして特定の触覚感覚を達成する場合がある。

変形機構７１１は、可撓性表面７０３を変形させるために、触覚基板７０５において要素を移動させる引く力および／または押す力を提供する。例えば、変形機構７１１が可撓性表面７０３と触覚基板７０５との間に真空をつくる場合、可撓性表面７０３は触覚基板７０５に対して押され、可撓性表面７０３は、触覚基板７０５の表面パターンに従って可撓性表面７０３のテクスチャを表す。言い換えれば、触覚基板７０５の表面パターンがいったん生成されると、可撓性表面は触覚表面７０５に対して引かれるか押されて、可撓性表面７０３の変形された表面を介して触覚基板７０５のパターンをあらわにする。一実施形態において、触覚基板７０５および変形機構７１１は同じか、実質的に同じ層において作られる。

第１の起動信号を受信すると、触覚基板７０５は第１の表面パターンを生成する。触覚基板７０５の表面パターンの形成の後、変形機構７１１がその後にアクティブにされて、触覚基板７０５の表面パターンに応答して可撓性表面７０３の表面テクスチャを変化させる。あるいは、触覚基板７０５が第２の起動信号を受信すると、第２のパターンを生成する。

触覚基板７０５はさらに複数の触知性領域を備え、ここで各領域は独立して起動して、基板の表面パターンを形成する。触覚基板７０５はまた、ユーザによって入力された入力選択を確認するために、確認フィードバックを生成することができる。変形機構７１１は、第１の表面特徴から第２の表面特徴へ、可撓性表面７０３の表面テクスチャを変形するように構成する。触覚デバイスはさらにセンサを備え、そのセンサが可撓性表面７０３上で接触を検出すると、デバイスを起動することができる。変形機構７１１は、真空発生デバイスであってもよく、これは、触覚基板７０５の第１のパターンの構成に従ってその表面構成を変形させるために、可撓性表面７０３を第１の表面パターンに対して崩壊させる（ｃｏｌｌａｐｓｅ）ことができる。

触覚基板７０５は、触知性の領域７０７および７０９が起動された場合の状態を示す。触知性の領域７０７および７０９はｚ軸方向において持ち上がる。１つ以上の起動信号を受信する際、触覚基板７０５は、その起動信号に従って表面パターンを認識する。触覚基板７０５は、そのパターンを生成するために、領域７０７および７０９のような様々な触知性の領域を起動することによって認識されたパターンを提供する。触知性の領域７０７および７０９は２つのボタンまたはキーを模倣している。他の実施形態において、触知性の領域７０７または７０９は複数の触覚ビットを含み、ここで各ビットは起動または停止のために制御可能である。

図８はＢｉｅｔらの「Ｎｅｗ Ｔａｃｔｉｌｅ Ｄｅｖｉｃｅｓ Ｕｓｉｎｇ Ｐｉｅｚｏｅｌｅｃｔｒｉｃ Ａｃｔｕａｔｏｒｓ」（ＡＣＴＵＡＴＯＲ ２００６、 １０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｗ Ａｃｔｕａｔｏｒｓ、２００６年６月１４〜１６日、ブレーメン、ドイツ）に記載されるものと同様の超音波表面摩擦（ＵＳＦ）を用いた触覚デバイスの図である。超音波振動ディスプレイ８０１は、数マイクロメートル程度の超音波振動を生成する。ディスプレイ８０１は、超音波の範囲で振動するタッチ式インターフェース表面８０３からなる。振動８０５は、指８０９が接触し、力８０７Ｆｔを表面８０３に付与したときに、速度Ｖｔにてタッチ表面８０３に沿って移動する。振動８０５は、表面８０３上で見掛け上の（ａｐｐａｒｅｎｔ）摩擦の低減を生じる。１つの説明は、上下に移動することによって、タッチ表面８０３は、その表面８０３と、相互作用する指８０９との間に空隙８１３が生じるということであり、それが摩擦の低減を生じる空隙８１３である。これは、指８０９が波８０５の頂点またはピークに接触する場合、そして時には、指８０９が波８０５の谷の上にない場合に、一部の例において、時宜に適って指８０９と接触する表面８０３に沿ったλ波８１５と考えることができる。指８０９が速度Ｖｆにて側方方向８１１に移動する場合、表面８０３の見掛けの摩擦は、その表面８０３が指８０９と接触したり接触しなくなったりすることに起因して低減する。表面８０３が起動していない場合、指８０９は常に、表面８０３と接触し、摩擦の静止係数または運動係数は一定のままである。

振動８０５が通常２０ＫＨｚ以上の超音波範囲において表面８０３上で生じるので、波長コンテンツは通常、指のサイズよりも小さく、したがって一定の経験を可能にする。表面８０３の通常の変位は５マイクロメートル未満程度であり、より小さな変位はより少ない摩擦の低減となる。

図９Ａ〜図９Ｃは本発明の一実施形態に係るユーザが開始する動的触覚効果のスクリーンの図である。動的効果は、インタラクション（相互作用）のパラメータに従ったリアルタイムでの触覚をイネーブルするデバイスによって提供される触覚効果を変化させることを含む。インタラクションのパラメータは、例えば、携帯電話、タブレットコンピュータなどの二次元のオンスクリーンディスプレイ、または三次元のジェスチャ検出システム、例えばビデオモーションキャプチャシステムまたはユーザによって装着される電子部品付きグローブ、あるいは任意の他の２Ｄまたは３Ｄのジェスチャインプット手段からのジェスチャの位置、方向、速度などの情報を用いた二次元または三次元のジェスチャから生じ得る。図９Ａは写真の一群から１つの写真を表示しているタッチセンサ式ディスプレイを有するモバイルデバイスのスクリーンの図を示す。図９Ｂは、次の写真を表示させるために、右から左へとタッチセンサ式ディスプレイを横断するようにして１つの人差し指を滑らせているユーザのジェスチャのスクリーンの図を示す。人差し指からの複数の入力が単一のジェスチャから受信される。複数の入力の各々は、異なる時間において生じてもよく、また、タッチセンサ式ディスプレイとの人差し指の接触点の異なる二次元位置を示してもよい。

図９Ｃは、動的触覚効果に関連して表示される次の写真のスクリーンの図を示す。図９Ｂにおいて、１つ以上のユーザのジェスチャから１つ以上の入力に基づいて、動的触覚効果がユーザのジェスチャの間に提供されて、インタラクションのパラメータによって決定されるように、連続して修正される。動的触覚効果は、例えばユーザのジェスチャ自体の速度、方向、圧力、強さ、または時間などの要素に従って、あるいはある画像が閲覧さた回数などのバーチャルなオブジェクトの変化特性に基づいて、リアルタイムで、速度上昇してもよく、または速度低下してもよく、強くなったり弱くなったりしてもよく、あるいは、そのパターンまたは時間が変わってもよく、または任意の他の方法において変化してもよい。動的触覚効果は、ユーザのジェスチャが停止した後でも、さらに継続してもよく、かつさらに、インタラクションのパラメータによって修正されてもよい。例えば一実施形態において、動的触覚効果は、ユーザのジェスチャの終りの直後に停止されてもよく、あるいは別の実施形態において、動的触覚効果は必要に応じて、インタラクションのパラメータに従ってユーザのジェスチャの終りの後にゆっくりと消えてもよい。ユーザのジェスチャの間、リアルタイムで、およびユーザのジェスチャの後でも、動的触覚効果を提供または修正することの効果は、例えばページターンまたは指の滑らせなどのジェスチャを、ユーザは１つとして同じように感じないということである。すなわち、こうした動的触覚効果は、ユーザのジェスチャに対して常に一意であり、これにより、トリガイベントによって提供される簡素で静的な触覚効果と比べた場合に、ユーザにとっては、デバイスとのさらなるつながりの感覚、そして、さらなる魅力的なユーザインターフェース経験が生じる。

インタラクションのパラメータはまた、デバイス全体の加速度、ジャイロスコープの情報または周囲環境（アンビエント）の情報などのデバイスセンサデータから導き出されてよい。デバイスセンサ信号は、例えば加速度計またはジャイロスコープなどからのデバイスによってイネーブルされる任意のタイプのセンサ信号、あるいはマイクロフォン、光度計、温度計、高度計等の任意のタイプの周囲環境（アンビエント）センサ信号、あるいは、肌温度または体温、血圧（ＢＰ）、心拍モニタ（ＨＲＭ）、脳波計（ＥＥＧ）、または電気皮膚反応（ＧＳＲ）などの任意のタイプのバイオモニター、あるいは、リモートで連結されたデバイスから受信された情報または信号であってよく、あるいは、任意の他のタイプの信号または、以下の表１で挙げられる例を含む（それらに限定されない）センサであってもよい。

表１―センサのリスト
物理的なインタラクション設計のために、センサは、ある形態のエネルギーを電気信号に変換するトランスデューサであるか、または、バーチャルなセンサ情報を表す任意の信号である。
加速度
・加速度計
生体信号
・心電図（ＥＣＧ）
・脳電図（ＥＥＧ）
・筋電図（ＥＭＧ）
・電気眼球図（ＥＯＧ）
・電子口蓋図（ＥＰＧ）
・電気皮膚反応（ＧＳＲ）
距離
・容量性
・ホール効果
・赤外
・超音波
流れ
・超音波
力／圧力／負荷／曲げ
・空気圧
・光ファイバセンサ
・屈曲
・力センサ式レジスタ（ＦＳＲ）
・ロードセル
・ＬｕＳｅｎｓｅ ＣＰＳ２ １５５
・ミニチュア圧力変換器
・圧電セラミック＆フィルム
・歪みゲージ
湿気
・湿度計
線形位置
・ホール効果
・線形位置（タッチ）
・線形電位差計（スライダー）
・線形可変差動変圧器（ＬＶＤＴ）
・ＬｕＳｅｎｓｅ ＣＰＳ２ １５５
方向性／傾き
・加速度計
・コンパス（磁気抵抗）
・傾斜計
無線周波数
・無線ＩＣ（ＲＦＩＤ）
回転位置
・回転エンコーダ
・回転電位差計
回転速度
・ジャイロスコープ
スイッチ
・オン−オフスイッチ
温度
・温度
振動
・圧電セラミック＆フィルム
可視光強度
・光ファイバセンサ
・光依存性レジスタ（ＬＤＲ）

アクティブまたは周囲デバイスセンサデータは、ユーザの環境または動作に関連する任意の数のファクターに基づいて触覚フィードバックを修正するために用いられてよい。例えば、加速度計デバイスセンサ信号は、ユーザが歩行またはランニングなどの物理的な活動に従事していることを示してよく、従って、その触覚フィードバックのパターンおよび時間は、ユーザに対してさらに通知可能であるように修正されるべきである。他の例において、マイクロフォンセンサ信号は、ユーザが賑やかな環境の中にいることを示してよく、従ってその触覚フィードバックの大きさまたは強さは増加されるべきである。センサデータはまた、静止画、ビデオ、またはサウンドなどの処理データから生成される情報または信号によって表されるバーチャルセンサデータを含んでもよい。例えば、バーチャルカーレースを有するビデオゲームは、車の速度、その車がカメラの視角にどれだけ近いか、車のサイズ等に基づいて、触覚効果をダイナミックに変化させてよい。

インタラクションのパラメータは、必要に応じて、例えば重力、加速度、摩擦、または慣性等の現実世界の物理的効果に関連する数理モデルを組み入れてよい。例えば、バーチャルの転がるボールなどのオブジェクトと一緒に、ユーザが有する動きおよびインタラクションが、非バーチャル環境においてもそれに相当する転がるボールが従うように、バーチャル環境においても同じ物理法則に従うように見えてよい。

インタラクションのパラメータは、必要に応じて、デバイスの触覚出力を、アニメーション、または映像もしくは音声スクリプトに相関させるためにアニメーションインデックスを組み込んでよい。例えば、アニメーションまたはスクリプトは、バーチャルウィンドウを開くかまたはそのサイズを変更したり、データエントリのページを開いたり、そのリストをスクロールする等、ユーザまたはシステムが開始するアクションに応じて再生してよい。

２つ以上のジェスチャ信号、デバイスセンサ信号、または物理モデルの入力は、単独または互いに任意の組み合わせにて用いられてもよく、差分ベクトルを有するインタラクションのパラメータを生成する。異なるベクトルは、スカラーまたはベクトルの入力を互いに比較し、それらの入力間でどのような変化または差分が存在するかを決定し、次いで、ポジション、ロケーション、方向、および大きさ（強さ）を組み合わせる差分ベクトルを生成することによって、２つ以上のスカラーまたはベクトルの入力から生成されてよい。ジェスチャ信号は単独で用いられてジェスチャ差分ベクトルを生成してもよく、または、デバイスセンサ信号は単独で用いられてデバイス信号差分ベクトルを生成してもよい。

図１０Ａ〜図１０Ｆは、本発明の一実施形態に係る、触覚効果をデータファイルにエンコードするスクリーンの図である。２人以上のユーザの間で動的な触覚フィードバックを容易にするために、触覚効果の低レイテンシーまたは疑似の（ｐｓｅｕｄｏ）同期通信を有することは必ずしも必要ではない。その代わり、本発明の１つの実施形態は、触覚効果データを共有のデータファイルにエンコードすることによって、リアルタイムから生じるリモートの触覚インタラクションをイネーブルする。このような非リアルタイムのインタラクションの例は、デジタル絵描写（ｄｒａｗｉｎｇ）表面から取られた触覚効果をエンコードしている。図１０Ａは、デジタル絵描写表面および触覚アクチュエータを有するハンドヘルドまたはモバイルデバイス上で走るバーチャルの「フロスト（ｆｒｏｓｔ（霜で覆ったような質感を出す））」アプリケーションのデフォルトのスクリーンの図を示す。図１０Ｂは、「フロスト」スクリーンのスクリーンの図を示し、これは、ユーザのジェスチャ、または例えば、ハンドヘルドデバイス上のマイクロフォンに息を吹きかけるなどのデバイスセンサ信号に応じてデフォルトのスクリーンの図から作られる。いったんスクリーンがフロストされると、図１０Ｃは、第１のユーザによって提供されるジェスチャに従って、フロストに描かれた絵にされた顔パターンの生成を示す。フロストされたスクリーンおよび図化された顔は、ラスターまたはベクターの描写のいずれかをサポートするフォーマットで、ならびに、必要に応じて、保存されたジェスチャについての情報またはデバイスセンサ情報などの画像のその後の再生産のために必要な任意の他のデータまたはメタデータのフォーマットで、データファイル内に保存される。

図化された顔を生成するために用いられる動きに対応する触覚効果は保存され、または、データファイル内の他の画像情報と同時にデータファイルにエンコードされる。触覚効果情報は、画像と共に触覚効果の再生産を可能にする任意の方法において保存されてもよい。データファイルは、次いで、任意のファイル転送メカニズムまたは通信リンクを介して触覚アクチュエータを有する第２のデバイスに通信される。図１０Ｄは、第２のデバイス上のデータファイルから保存されたジェスチャまたはデバイスセンサ信号を読み出し、デフォルトのフロストのスクリーンの図を表示する第２のデバイスを示す。次いで、図１０Ｅは、図化された顔が、その後、第２のデバイス上に表示される方法を示す。駆動信号もまた、ファイル内に保存されたジェスチャまたはデバイスセンサ信号に従って、第２のデバイスの触覚アクチュエータに適用される。

第２のユーザは、必要に応じて、第１のユーザと共同して、バーチャルメッセージから生成され、かつデータファイル内に保存された任意の対応する触覚効果と共に、絵に、バーチャルのメッセージである「Ｈｉ」を加えるために、さらなるジェスチャまたはデバイスセンサ信号を提供することによって組み合わされたデータを生成する。図１０Ｆは、対応する触覚効果データと共に、第１および第２のユーザからジェスチャおよびデバイスセンサ信号を組み合わせる最終の共同のスクリーンの図を示す。両方のユーザによって生成されたジェスチャ、デバイスセンサ信号、および触覚効果データは、保存されるか、または、さらなる入力、修正、または共同作業のためにユーザ同士または他のユーザとの間でのその後にも通信可能である、組み合わせられた共同のドキュメントとして、データファイルにエンコードされる。上述の例はデジタル描写（絵）の表面を記載したが、多くの他のタイプのユーザのジェスチャおよびデバイスセンサデータが、限定することなく、実質的に任意のフォーマットにおいて、任意のタイプのデータファイルにおける触覚効果信号と共に保存されてもよく、またはエンコードされてもよいことは理解されるだろう。

図１１は、本発明の一実施形態に係る、ユーザによって開始される動的触覚効果のスクリーンの図である。写真を表示または選択するための映写スライド（ｆｉｌｍｓｔｒｉｐ）のアプリケーションが、タッチセンサ式表面および触覚アクチュエータを有するハンドヘルドまたはモバイルデバイスの下のところで作動していることが示されている。ジェスチャまたはデバイスセンサデータを用いることによって、ユーザは左から右または右から左へと映写スライドをスクロールしてよく、映写スライドのアプリケーションは次いで、第１の写真１１０１のための触覚効果を動的に提供してよく、その第１の写真１１０１のための触覚効果は、ジェスチャまたはデバイスセンサデータに基づいた第２の写真１１０３のための触覚効果とは異なる。ユーザがジェスチャを介して写真の選択をいったん開始すると、システムはアニメーションを提供して、対応する触覚アニメーション要素と共に動的に映写スライドを視覚的に示してよい。その後のユーザのジェスチャまたは映写スライドのアニメーションの間に受信されたデバイスセンサ情報は、アニメーションにおける任意の関連付けられた変化と共に触覚効果を変化させてよい。例えば、映写スライドのアニメーションの動きがゆっくり過ぎるかまたは速すぎる場合、ユーザはリアルタイムでジェスチャに合わせて速めたり遅めたりしてもよく、対応する触覚効果要素もまた、リアルタイムでアニメーションと共に動的に変化する。

図１２Ａ〜図１２Ｅは、本発明の一実施形態に従い、複数のデバイスに対して同時に触覚効果を適用するスクリーンの図である。図１２Ａは第１のユーザ１２０１の触覚的にイネーブルされるハンドヘルドまたはモバイルデバイスのスクリーンの図を示し、スクリーンには、これまた触覚的にイネーブルされるハンドヘルドまたはモバイルデバイスを有する第２のユーザ１２０３の視覚的なサムネイルが表示される。第１および第２のデバイスは、任意のタイプの通信リンク（例えば、電子、セル式、無線、ｗｉ−ｆｉ、光、赤外、音響、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ、ＦＩｒｅｗｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔ、またはイーサネット（登録商標）などを含む（それらに限定されない））を介してリアルタイムに接続されてもよい。

図１２Ｂは、第１のユーザが、２人のユーザの間で写真を共有するためのアプリケーションを選択することを示す。アプリケーションを選択する際、図１２Ｃは、アルバム内の第１の写真を示し、図１２Ｄは、右から左に写真をスクロールすることによってアルバム内の第２の写真を選択するために、スクロールのジェスチャを適用する第１のユーザを示す。対応する触覚効果が、スクロールのジェスチャの間に、第１のユーザに提供される。第１および第２のデバイスは、リアルタイムで通信リンクを介して接続されているので、図１２Ｅは第２のユーザのスクリーンの図を示しており、その図は、第１のユーザに同時に表示されている同じ写真を視覚的に示している。２つのデバイスの間のリアルタイムでのリンクのため、第２のユーザは第１のユーザと同時に同じ写真を閲覧することができる。第２のユーザはまた、リアルタイムで、各ジェスチャおよび第１のユーザに提供された写真についての類似する触覚効果を経験する。一実施形態において、第２のユーザによって生成されたユーザのジェスチャおよび触覚効果が、必要に応じて、通信リンクを介して第１のユーザに同時に通信されてもよく、第１のデバイスと第２のデバイスとの間でのリアルタイムの双方向の触覚リンクを生成する。例えば、第１のユーザは、第２の写真にスクロールしてよく、第２のユーザは次いで第３の写真にスクロールしてよいなどである。多くの他のタイプのユーザのジェスチャ、デバイスセンサデータ、および触覚効果は、限定なく、リアルタイムにて２つ以上のデバイスの間で通信されてもよいことは理解されるだろう。

図１３は、本発明の一実施形態に係る、ジェスチャ信号およびデバイスセンサ信号を用いて動的触覚効果を生成するためのフロー図である。一実施形態において、図１３のフロー図の機能は、メモリあるいは他のコンピュータ可読または有形の媒体に保存されたソフトウェアによって実施され、かつプロセッサによって実行される。他の実施形態において、その機能は、ハードウェア（特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマグルゲートアレイ（「ＦＰＧＡ」）等の使用を介した）、あるいはハードウェアおよびソフトウェアの任意の組み合わせによって実行されてもよい。

１３０１において、システムは時間Ｔ１においてデバイスセンサ信号の入力を受信し、１３０３において、システムは時間Ｔ２においてジェスチャ信号の入力を受信する。時間Ｔ１および時間Ｔ２は、互いに、および任意の時間に、同時にまたは非同時的に生じてもよい。複数の追加のジェスチャ入力またはデバイスセンサ入力が、動的な触覚効果に対してより高い精度を与えるために用いられてもよく、または、より長い時間にわたり、動的な触覚効果を提供するために用いられてもよい。ジェスチャ信号およびデバイスセンサ信号は、任意の順序または時系列で、非重複時間期間でシーケンシャルに、または重複もしくは同時の時間期間で並列にのいずれか一方で受信されてよい。１３０５にて、デバイスセンサ信号は、デバイスセンサ差分ベクトルを生成するために、触覚効果信号と比較される。１３０７にて、ジェスチャ信号は、ジェスチャ差分ベクトルを生成するために、触覚効果信号と比較される。１３０９にて、アニメーションまたは物理モデルの記述が必要に応じて受信されてもよい。１３１１にて、インタラクションのパラメータは、ジェスチャ差分ベクトル、信号差分ベクトル、および必要に応じて、アニメーションまたは物理モデルの記述を用いて生成される。任意のタイプの入力の合成方法が、以下の表２に挙げられた合成例の方法を含む（それらに限定されない）１つ以上のジェスチャ信号またはデバイスセンサ信号から、インタラクションのパラメータを生成するために用いられてよいことは理解されるだろう。１３１３にて、駆動信号はインタラクションのパラメータに従って触覚アクチュエータに適用される。

表２−合成の方法
・加算による合成−通常は各種振幅の入力を組み合わせる
・減算による合成−複合信号または複数の信号入力のフィルタリング
・周波数変調による合成−１人以上のオペレータにて搬送波を変調する
・サンプリング−修正にさらされる入力ソースとして記録された入力を用いる
・複合合成−見掛けの（ａｒｔｉｆｉｃｉａｌ）入力およびサンプリングされた入力を用いて得られた「新たな」入力を確立する
・位相歪み−再生の間、ウェーブテーブル内に保存された波形の速度を変える
・ウェイブシェイピング−信号を意図的に歪ませて修正した結果を生成する
・再合成−再生前にデジタルでサンプリングした入力を修正
・粒度の細かい（ｇｒａｎｕｌａｒ）合成−いくつかの小さな入力セグメントを新たな入力に組み合わせる
・線形予測符号化−音声合成のために用いられるものと類似の技術
・直接デジタル合成−生成された波形のコンピュータによる修正
・ウェーブシーケンス−新たな入力を生成するための、いくつかの小さなセグメントの線形結合
・ベクトル合成−任意の数の異なる入力ソースの間で消えさせるための技術
・物理モデリング−バーチャルな動きの物理的特徴の数学的方程式

図１４は、本発明の一実施形態に係る、触覚効果を複数のデバイスに同時に適用するためのフロー図である。１４０１にて、システムは、第１の触覚アクチュエータを有する第１のデバイスと第２の触覚アクチュエータを有する第２のデバイスとの間の単方向または双方向の通信リンクをイネーブルする。１４０３にて、システムは、第１のデバイスから、第１のジェスチャ信号またはデバイスセンサ信号の入力を受信し、通信リンクを介してそれを第２のデバイスに通信する。１４０５にて、システムは、必要に応じて、第２のデバイスから第２のジェスチャ信号またはデバイスセンサ信号の入力を受信し、通信リンクを介してそれを第１のデバイスに通信する。１４０７にて、インタラクションのパラメータは、第１のジェスチャまたはデバイスセンサ信号、および任意の第２のジェスチャまたはデバイスセンサ信号を用いて生成される。１４０９にて、駆動信号は、インタラクションのパラメータに従って、第１のデバイスの触覚アクチュエータに、かつ、第２のデバイスの第２の触覚アクチュエータに同時に適用される。一実施形態において、インタラクションのパラメータは独立して各デバイス上で生成される。他の実施形態において、インタラクションのパラメータは、１つのデバイス上で一度生成され、次いで、通信リンクを介して他のデバイスに通信される。

図１５は、本発明の一実施形態に係る、データファイルを用いて触覚効果をエンコードしかつ適用するためのフロー図である。１５０１にて、システムは第１のデバイスからジェスチャ信号またはデバイスセンサ信号の入力を受信する。１５０３にて、ジェスチャまたはデバイスセンサ信号は、第１のデバイス上で、データファイルに保存されるかまたはエンコードされる。１５０５にて、データファイルは、任意のファイル転送メカニズムまたは通信リンクを介して触覚アクチュエータを有する第２のデバイスに通信される。１５０７にて、第２のデバイスは、第２のデバイス上で、データファイルから、保存されたジェスチャまたはデバイスセンサ信号を読み出す。１５０９にて、駆動信号は、ジェスチャまたはデバイスセンサ信号に従って、第２のデバイス上の触覚アクチュエータに適用される。

複数の実施形態が本明細書中にて特に図示および／または記載されている。しかし、開示された実施形態の修正および変更が上述の教示によって包含され、かつ本発明の趣旨および意図された範囲から逸脱することなく添付の特許請求の範囲の範囲内にあることは理解されるだろう。

Claims (30)

1. 触覚効果を生成する方法であって、
   デバイスセンサ信号を受信する工程と、
   ジェスチャ信号を受信する工程と、
   前記デバイスセンサ信号および前記ジェスチャ信号を用いて、インタラクションのパラメータを生成する工程と、
   前記インタラクションのパラメータに従って、駆動信号を触覚出力デバイスに適用する工程と、
   を含む方法。
2. 請求項１に記載の方法であって、前記ジェスチャ信号はベクトル信号を含む、方法。
3. 請求項１に記載の方法であって、前記ジェスチャ信号はオンスクリーン信号を含む、方法。
4. 請求項１に記載の方法であって、インタラクションのパラメータを生成する工程は、前記デバイスセンサ信号と前記ジェスチャ信号との組み合わせからインタラクションのパラメータを生成する工程を含む、方法。
5. 請求項１に記載の方法であって、インタラクションのパラメータを生成する工程は、前記デバイスセンサ信号および前記ジェスチャ信号ならびに物理モデルを用いて、インタラクションのパラメータを生成する工程を含む、方法。
6. 請求項１に記載の方法であって、インタラクションのパラメータを生成する工程は、前記デバイスセンサ信号および前記ジェスチャ信号ならびに動画を用いて、インタラクションのパラメータを生成する工程を含む、方法。
7. 請求項１に記載の方法であって、前記センサ信号は加速度計信号を含む、方法。
8. 請求項１に記載の方法であって、センサ信号はジャイロスコープ信号を含む、方法。
9. 請求項１に記載の方法であって、センサ信号は周囲信号を含む、方法。
10. 請求項１に記載の方法であって、センサ信号はバーチャルなセンサ信号を含む、方法。
11. 触覚効果をイネーブルするシステムであって、
    触覚出力デバイスと、
    デバイスセンサ信号を受信し、ジェスチャ信号を受信し、前記デバイスセンサ信号および前記ジェスチャ信号を用いて、インタラクションのパラメータを生成するために、前記触覚出力デバイスに電気的に連結された駆動モジュールと、
    前記インタラクションのパラメータに従って、駆動信号を前記触覚出力デバイスに適用するために、前記駆動モジュールおよび前記触覚出力デバイスに電気的に連結された駆動回路と、
    を備える、システム。
12. 請求項１１に記載のシステムであって、前記ジェスチャ信号はベクトル信号を含む、システム。
13. 請求項１１に記載のシステムであって、前記ジェスチャ信号はオンスクリーン信号を含む、システム。
14. 請求項１１に記載のシステムであって、前記駆動モジュールは、前記デバイスセンサ信号と前記ジェスチャ信号との組み合わせからインタラクションのパラメータを生成する駆動モジュールを備える、システム。
15. 請求項１１に記載のシステムであって、前記駆動モジュールは、前記デバイスセンサ信号および前記ジェスチャ信号ならびに物理モデルを用いて、インタラクションのパラメータを生成する駆動モジュールを備える、システム。
16. 請求項１１に記載のシステムであって、前記駆動モジュールは、前記デバイスセンサ信号および前記ジェスチャ信号ならびに動画を用いて、インタラクションのパラメータを生成する駆動モジュールを備える、システム。
17. 請求項１１に記載のシステムであって、前記デバイスセンサ信号は加速度計信号を含む、システム。
18. 請求項１１に記載のシステムであって、前記デバイスセンサ信号はジャイロスコープ信号を含む、システム。
19. 請求項１１に記載のシステムであって、前記デバイスセンサ信号は周囲信号を含む、システム。
20. 請求項１１に記載のシステムであって、前記デバイスセンサ信号はバーチャルなセンサ信号を含む、システム。
21. 触覚効果を生成する方法であって、
    第１の触覚出力デバイスを有する第１のデバイスと、第２の触覚出力デバイスを有する第２のデバイスとの間で通信リンクをイネーブルする工程と、
    前記第１のデバイスから第１の信号を受信し、前記通信リンクを介して前記第２のデバイスに前記第１の信号を通信する工程と、
    前記第１の信号を用いて、インタラクションのパラメータを生成する工程と、
    前記インタラクションのパラメータに従って、前記第１の触覚出力デバイスおよび前記第２の触覚出力デバイスに、駆動信号を同時に適用する工程と、
    を含む、方法。
22. 請求項２１に記載の方法であって、さらに、
    前記第２のデバイスから第２の信号を受信し、前記通信リンクを介して前記第１のデバイスに前記第２の信号を通信する工程を含み、
    インタラクションのパラメータを生成する工程は、前記第１の信号および前記第２の信号を用いて、インタラクションのパラメータを生成する工程を含む、方法。
23. 請求項２１に記載の方法であって、前記第１の信号はベクトル信号を含む、方法。
24. 請求項２１に記載の方法であって、前記第１の信号はオンスクリーン信号を含む、方法。
25. 請求項２２に記載の方法であって、インタラクションのパラメータを生成する工程は、前記第１の信号と前記第２の信号との組み合わせから、インタラクションのパラメータを生成する工程を含む、方法。
26. 請求項２１に記載の方法であって、前記通信リンクは、電子、セル式、無線、ｗｉ−ｆｉ、光、赤外、音響、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ、Ｆｉｒｅｗｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔ、またはイーサネット（登録商標）からなるリストから選択されるリンクを含む、方法。
27. 請求項２１に記載の方法であって、前記第１の信号は、ジェスチャ、加速度計、ジャイロスコープ、周囲、またはバーチャルからなるリストから選択される信号を含む、方法。
28. 触覚効果を生成する方法であって、
    第１のデバイスから信号を受信する工程と、
    前記第１のデバイス上で、データファイル内の前記信号をエンコードする工程と、
    前記データファイルを、触覚出力デバイスを有する第２のデバイスに通信する工程と、
    前記第２のデバイス上で、前記データファイルから前記信号を読み出す工程と、
    前記信号に従って、前記触覚出力デバイスに駆動信号を適用する工程と、
    を含む、方法。
29. 請求項２８に記載の方法であって、前記信号は、ベクトル、オンスクリーン、ジェスチャ、加速度計、ジャイロスコープ、周囲、またはバーチャルからなるリストから選択される信号を含む、方法。
30. 請求項２８に記載の方法であって、前記信号をエンコードする工程は、前記信号に従ってインタラクションのパラメータをエンコードする工程を含み、
    前記信号を読み出す工程は、前記第２のデバイス上で、前記データファイルから前記インタラクションのパラメータを読み出す工程を含み、駆動信号を適用する工程は、前記インタラクションのパラメータに従って、前記触覚出力デバイスに駆動信号を適用する工程を含む、方法。