JP2013257913A - 記憶された効果を有する触覚フィードバックシステム - Google Patents

Abstract

【課題】触覚効果を記憶させることにより、リアルタイムで生成された触覚効果とは異なり、所要の処理能力を低減させる。
【解決手段】コントローラと、前記コントローラに結合されたメモリと、前記コントローラに結合されたアクチュエータ駆動回路と、前記アクチュエータ駆動回路に結合されたアクチュエータと、を含む、触覚フィードバックシステム。メモリは、触覚効果をもたらすために、前記コントローラによって実行される少なくとも１つの触覚効果を記憶する。
【選択図】図１

Description

関連出願
本出願は、２００７年２月２０日に出願された、米国特許仮出願第６０／８９０，６９０号の利益を主張するものである。

本発明の一実施形態は、タッチスクリーンを有する携帯型装置を対象とする。より具体的には、本発明の一実施形態は、触覚フィードバックシステムを含む、タッチスクリーンを有する携帯型装置を対象とする。

電子装置メーカは、ユーザのために豊富なインタフェースの製造に努めている。従来の装置は、視覚キュー(cue)および聴覚キューを使用して、フィードバックをユーザに提供する。一部のインタフェース装置においては、概して、総じて「触覚フィードバック」として知られる、運動感覚(kinesthetic)フィードバック（作用力(active force)および抵抗力(resistive force)フィードバック等）および／または触覚フィードバック（振動、触感、および熱等）もユーザに提供される。触覚フィードバックは、ユーザインタフェースを向上させ、かつ簡略化する、キューを提供することができる。特に、振動効果、すなわち振動触知性触覚効果は、ユーザに、特定のイベントを通知する、または現実的なフィードバックを提供して、疑似環境または仮想環境内でのさらなる臨場感をもたらすために、電子装置のユーザにキューを提供する上で有用であり得る。

触覚フィードバックはまた、携帯電話機、携帯情報端末（ＰＤＡ）、携帯型ゲーム装置、および様々な他の携帯型電子装置等の携帯型電子装置に組み込まれることが増えてきている。例えば、一部の携帯型ゲームアプリケーションは、触覚フィードバックを提供するように構成される、大型のゲームシステムで使用される、制御装置（例えば、ジョイスティック等）と同様に振動することができる。さらに、携帯電話機およびＰＤＡ等の装置は、振動によって、ユーザに様々な通知を提供することができる。例えば、携帯電話機は、振動することによって、電話の着信をユーザに通知することができる。同様に、ＰＤＡは、予定されたカレンダー項目をユーザに通知する、または「やること(to do)」リストの項目またはカレンダーアポイントメントの確認(reminder)を、ユーザに提供することができる。

携帯型装置は、タッチスクリーンのみのインタフェースがより一層好まれ、物理的ボタンから移行している。この切替えは、柔軟性を増加し、部品数を減少させ、故障が起こりやすい機械式ボタンへの依存を低減することができ、かつ製品設計の新たな流行に一致している。タッチスクリーン入力装置を使用する際、ボタン押圧または他のユーザインタフェース動作の機械的な確認は、触覚によって擬態(simulate)することができる。

一部の既知の装置は、リアルタイムまたは「オンザフライ(on the fly)」で触覚効果を修正または生成する。このことにより、幅広い種類の触覚効果を生成することができるが、相当な量の処理能力を要する可能性があり、また幅広い種類の可能な触覚効果は、装置のハードウェアインタフェースと互換性がなければならないので、新規装置の迅速な開発を容易にしない可能性がある。

上述に基づき、装置のための触覚効果を生成するための改良されたシステムおよび方法に対する必要性が存在する。

一実施形態は、コントローラと、コントローラに結合されたメモリと、コントローラに結合されたアクチュエータ駆動回路と、アクチュエータ駆動回路に結合されたアクチュエータと、を含む、触覚フィードバックシステムである。メモリは、触覚効果をもたらすために、コントローラによって実行される少なくとも１つの触覚効果を記憶する。記憶された触覚効果は、リアルタイムで生成された触覚効果とは異なり、所要の処理能力を低減させる。

一実施形態による、携帯電話機のブロックダイアグラムである。 一実施形態による、触覚フィードバックシステムのシステムアーキテクチャのブロックダイアグラムである。 一実施形態による、ソフトウェアアーキテクチャのブロックダイアグラムである。 デジタルストリームエンベロープ構造体に対して一実施形態において使用される、ファイル形式のブロックダイアグラムである。 一実施形態による、効果記憶ブロックのブロックダイアグラムである。 一実施形態による、コード化される(encode)臨界データ(critical data)が明確に識別される、典型的な短い制御信号または記憶された触覚効果を説明する図である。

図１は、一実施形態による、携帯電話機１０のブロックダイアグラムである。電話機１０は、スクリーン１１と、キー１３を含む。一実施形態において、キー１３は、機械的形式のキーである。別の実施形態において、キー１３は、キー１３がタッチスクリーン形式のキーとなるようにタッチスクリーンもしくは他の形式のタッチセンサ式表面によって実現することができるか、またはいかなる方法を使用することによって実現することができる。電話機１０内部は、電話機１０に振動を生成する触覚フィードバックシステムである。一実施形態において、振動は、電話機１０全体に生成される。他の実施形態において、電話機１０の特定部分は、キーが機械的に配列している、タッチスクリーン、または何らかの他のタイプの実装かどうかに関わらず、キー１３の個々のキーを含んで、触覚フィードバックシステムによって、触覚可能とすることができる。

触覚フィードバックシステムは、コントローラ１２を含む。コントローラ１２には、メモリ２０と、振動アクチュエータ１８に結合されたアクチュエータ駆動回路１６とが結合されている。図１の実施形態は携帯電話機であるが、本発明の実施形態は、いかなる形式のハンドセットもしくはモバイル／携帯型装置、またはアクチュエータを使用して振動を生成するいかなる装置でも実現することができる。さらに、触覚フィードバックシステムは、触覚可能なハンドセットの製造者が、迅速な試作品製作を実施することを可能にする、開発ボード(development board)として実現され得る。

コントローラ１２は、いかなる形式の汎用コントローラもしくはプロセッサであってもよく、あるいは、特定用途向け集積回路(application-specific integrated circuit)（「ＡＳＩＣ」）等の、触覚効果を提供するように特別に設計されたコントローラであることも可能である。コントローラ１２は、電話機１０全体を操作する同一のコントローラ／プロセッサであってもよく、あるいは、別のコントローラであってもよい。コントローラ１２は、高レベルのパラメータに基づいて、どの触覚効果を再生させるか、およびどの順番で効果を再生させるかを決定することができる。一般的に、特定の触覚効果を定義する高レベルのパラメータには、振幅、周波数、および持続時間が含まれる。

コントローラ１２は、アクチュエータ１８に必要な電流および電圧を供給して、所望の触覚効果を生じさせるために使用される電子部品および回路を含む駆動回路１６に、制御信号を出力する。アクチュエータ１８は、電話機１０に振動を生成する触覚装置である。
アクチュエータ１８は、電話機１０のユーザに振動触覚力を与えることができる（例えば、電話機１０の筐体を介して）１つ以上の加力機構を含むことができる。アクチュエータ１８は、例えば、電磁アクチュエータ、モータによって偏心質量体が移動する偏心回転質量体アクチュエータ（「ＥＲＭ」）、ばねに取り付けられている質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電（ピエゾ）物質、電気活性ポリマー、もしくは形状記憶合金等の「スマート材料」であり得る。メモリ２０は、ランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」）等のいかなる形式の記憶装置であることも可能である。メモリ２０は、コントローラ１２によって実行される命令を記憶する。メモリ２０はまた、コントローラ１２の内部に配置されるか、または内部メモリおよび外部メモリのいかなる組み合わせであってもよい。

図２は、一実施形態による、触覚フィードバックシステム１００のシステムアーキテクチャのブロックダイアグラムである。システム１００は、ソフトウェアコマンドを介して、特定の記憶された触覚効果を再生することを要求する２つ以上のアプリケーション３０および３２を含む。アプリケーションプログラムインタフェース（「ＡＰＩ」）３４は、ソフトウェアコマンドを解釈し、各々の形式のアクチュエータに１つずつ、計２つの並列パスに出力する。他の実施形態においては、１つ以上のパスが実現され得る。図２において、左側のパスは、ピエゾアクチュエータ５０に対するものであり、一方、右側のパスは、ＬＲＡアクチュエータ５２に対するものである。

各々のパスには、記憶された触覚効果を含む、デジタルストリームエンベロープ(digitized stream envelope)（「ＤＳＥ」）構造体３６が結合されている。一実施形態においては、４つの異なる触覚効果が記憶されるが、任意の数だけ記憶することができる。各々のパスは、ドライバ３８および４０と、パスに対する特定の形式のアクチュエータに関する情報を含む、サービスプロバイダインタフェース３９および４１と、を含む。このことにより、ＡＰＩが、ハードウェア／アクチュエータ非依存型となることが可能になる。

各々のパスは、各々のアクチュエータに対し、駆動信号４２および４６と、電気駆動回路４４および４８とをさらに含む。最後に、アクチュエータ５０および５２は、振動、または他の所望の触覚効果を生成する。

一実施形態において、ピエゾアクチュエータドライバは、差分正弦波制御信号(differential sine wave control signal)を要求する。一実施形態では、５ｋＨｚの周波数でソフトウェアにおいて正弦波が生成され、それをパルス幅変調(pulse width modulation)（「ＰＷＭ」）信号として出力する。より単純な制御信号を使用して、装置上で同一の感触をもたらすことができる。しかしながら、一実施形態において、ピエゾ回路は、２０乃至５０ｋＨｚの範囲の固定周波数を有するＰＷＭ信号を必要とし、これはデューティサイクル(duty cycle)が２００μｓごとに更新されることを要求する。

一実施形態において、ＬＲＡには少なくとも３つの可能な物理的構成が存在する。
１．ケース取り付け−この構成において、ＬＲＡは、装置ケーシングの内部に固定して取り付けられる。ＬＲＡは、その共振周波数（１７５Ｈｚ乃至１８５Ｈｚ）で駆動され、装置全体が作動される。
２．スクリーン取り付け−整合周波数。スクリーンは、サスペンション上に浮いており、ケーシングから機械的に隔離され、ＬＲＡはスクリーンに固定して取り付けられる。
ＬＲＡは典型的には、ＬＲＡ共振周波数で駆動され、サスペンションは、その周波数を強化するように調整される。
３．スクリーン取り付け−バイモーダル(bi-modal)。スクリーンは、サスペンション上に浮いており、ケーシングから機械的に隔離され、ＬＲＡはスクリーンに固定して取り付けられる。ＬＲＡは、ＬＲＡ共振周波数で駆動することができ、この場合、サスペンションが振動のほとんどをケーシングに伝達するように調整される。ＬＲＡはまた、システムの固有周波数で駆動することができ、サスペンションは、ＬＲＡ自身の共振周波数（典型的には、約５００Ｈｚ）よりも高い周波数に調整される。この構成においては、ＬＲＡは、イベント通知システム（サイレント／マナーモード振動通知装置）として、また、タッチスクリーンフィードバックシステム（ボタン押圧触知確認のための）としての両方に使用することができる。

一実施形態において、既知の、Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐ製のＶｉｂｅＴｏｎｚ（登録商標）ＬＲＡ駆動回路の多くの改良型を使用することができる。概して、これらの駆動回路は、２０乃至５０ｋＨｚの固定周波数、可変デューティサイクル、８ビットデューティサイクルの分解能、５０％＝無出力、２０乃至３０ｋＨｚの範囲の細粒度(fine granularity)の１つのＰＷＭが必要である（キャリア周波数は、多くの設計においてＬＲＡ駆動周波数の倍数であるため）。また、回路には、ＡＭＰ＿ＥＮＡＢＬＥコントロールのための汎用出力部(General Purpose Output)（「ＧＰＯ」）も必要である。

あるいは、ドライバからの５または８ｋＨｚの出力レート(output rate)は、ＬＲＡ共振周波数での正弦波形または矩形波形の出力を可能にするので、さらに単純な増幅回路を使用することも可能である。このことは、共振周波数自身がコード化(encode)されるので、ＰＷＭ周波数を微調整する必要性を排除する。

図３は、一実施形態による、ソフトウェアアーキテクチャのブロックダイアグラムである。このアーキテクチャの一実施形態は、以下を含む。
１．アプリケーションのためのカスタム効果再生無し。ドライバソフトウェアに記憶されたデジタルストリーミングエンベロープ（「ＤＳＥ」）構造体に記憶された、事前に定義された効果（「記憶された触覚効果」）のみを再生することができる。
２．リアルタイム生成無し。効果の再生は、リアルタイムに生成されたものではなく、事前に記録された制御信号に基づく。制御信号は、効果設計ツールを使用して算出される。
３．複数のアプリケーションサポート。複数のアプリケーションをＡＰＩに同時に登録することが可能である。複数のアプリケーションのサポートには、ＡＰＩがどの要求が最も重要であるかを判断する、何らかの形態のＡＰＩクライアントマーシャリング(API client marshaling)が必要である。２つの手法が考えられる。
ａ．最後の呼び出しが優先。複数のアプリケーションが振動供給源を使用することを同時に試みている際、最後の呼び出しが以前に再生されたもののいずれをも中断し、その効果を再生する。
ｂ．優先度スキーム。ＡＰＩは、効果再生の開始において、高／中／低の優先度の概念をサポートすることが可能である。効果を開始する際、呼び出しは、使用する優先度を指定する。優先度が現在の効果再生の優先度と同等またはそれ以上である際に、再生は成功する。
４．携帯性を目的とした設計。ＶｉｂｅＴｏｎｚ（登録商標）のように、ＡＮＳＩ Ｃのみ、動的メモリ割り当てなし。

一実施形態において、ドライバアクセスインタフェース（「ＤＡＩ」）は、大量のＡＰＩ機能を提供する、より低いレベルの機能から構成される。一実施形態において、ＤＡＩは、機能的なインタフェースとして実装されるように設計され、これは、容易にシリアルプロトコルにラップ(wrap)される。ドライバは、以下のコマンドを実行する時限ループ(timed loop)である。
１．ＡＰＩ／ドライバ共有メモリを確認。再生が予定されている場合、他の任意の必要なドライバ／効果状態情報とともに、現在のＤＳＥポインタをメモリから読み出す。
２．状態が「効果再生中」である場合、ＤＳＥをデコード(decode)し、ＰＷＭに適用するＰＷＭ値を抽出する。次いで、ＰＷＭに書き込む。次のサンプルまで休止する。
３．状態が「繰り返しのための反復チェック終了」である場合、および効果が繰り返されるものである場合、繰り返し値をデクリメント(decrement)し、ギャップタイミングを設定し、ギャップ時間が終了するまで休止する。

一実施形態において、図２のＤＳＥ構造体３６は、いくつかの効果に対する、経時的な、一組の振幅または強度である。サンプルは、可逆のコンパクトフォーマット(loseless compact format)に記憶される。ＤＳＥ情報を含むファイルは、．ｄｓｅのファイル拡張子を使用する。

図４は、ＤＳＥ構造体に対して一実施形態において使用されるファイル形式のブロックダイアグラムである。ＤＳＥ１．０ヘッダブロックは、ファイル形式のバージョン情報、効果の数、効果記憶ブロックの場所、効果セット名ブロックの場所、およびファイルサイズを含む。効果記憶ブロックは、ＤＳＥファイルに記憶されたすべての効果の定義を含む。効果セット名ブロックは任意であるが、効果セットの名称を含む。

図５は、一実施形態による、効果記憶ブロックのブロックダイアグラムであり、効果記憶ブロックは、２つの副ブロックである、効果記憶オフセット副ブロックおよび効果記憶データ副ブロックを有する。

効果記憶オフセット副ブロックは、オフセットの配列であり、各々の効果に対し各々のオフセットがある。各々のオフセットは、より低いメモリアドレスにて最下位バイト(least-significant byte)を有する２バイトを占める。効果の数は、ＤＳＥファイルヘッダに記憶される。バイト単位のオフセットは、効果記憶データ副ブロックの開始に対し、効果の定義が、効果記憶データ副ブロック内のどこで開始するかを指定する。効果記憶オフセット副ブロックのサイズは、２ ＊ ＥＦＦＥＣＴＣＯＵＮＴである。ＥＦＦＥＣＴＣＯＵＮＴは、ＤＳＥファイルヘッダから得られる。効果記憶データ副ブロックは、効果の定義を記憶する。

一実施形態において、ＤＳＥは、経時的な振幅制御情報を含む。−１２７から１２７の理想的な電圧は、振動アクチュエータを駆動するために、経時的に変調される。ＡＣ制御（例えば、ＬＲＡ）に関しては、システムの他の部分（ドライバソフトウェア、電子機器）が、ＡＣ信号を合成する役割を担い、ＤＳＥは、サイクルごとにＡＣ制御信号によって到達される最大値を表す。

図６は、典型的な短い制御信号または記憶された触覚効果を例示し、ここでは、コード化(encode)される臨界データ(critical data)が、一実施形態により明確に識別される。
複数の高レベルのパラメータから触覚効果を生成することによって、リアルタイムで触覚効果を生成する既知のシステムとは異なり、図６の触覚効果は、電圧レベルおよび持続時間等の低レベルの触覚パラメータで事前に定義される。

点１は、触覚効果の開始であり、これは常にｔ＝０ｍｓのときに開始するものと仮定する。理想的な電圧レベルが１２７であると仮定する。点１と点２との間の時間は、始動パルス(kickstart pulse)である。例えば、時間＝２０ｍｓのときに対応する点２では、電圧レベル８０が印加される、維持期間の開始が識別される。このレベルは、例えば、電圧−１２７で制動パルスが開始する、時間＝１００ｍｓの点３まで印加される。時間がｔ＝１２０ｍｓである点４において、電圧は、０まで降下する。さらなるゼロ点である、点５は、ｔ＝１５０ｍｓにあり、ある量の停止（効果が繰り返されるように設計されている際に有効）をコード化する（同一の効果は、ＤＡＩ／ＡＰＩ呼び出しのギャップ値を指定することによって得ることができる）。以下の表１は、一実施形態において、臨界点(critical point)およびタイミングがどのようにコード化されるかについての例である。

一実施形態において、勾配コード化(slope encoding)を組み込む若干より複雑なコード化を、以下の表２および３に示す。表２に関しては、以下を適用する。
１．データは、電圧／時間のペアで整理される。
２．時間は相対時間であり、絶対時間ではない。「次のＹミリ秒間、Ｘ電圧を印加」であって、「時間＝Ｙのときに電圧Ｘの印加を開始」ではない。

ＳｌｏｐｅおよびＳｌｏｐｅＦｒａｃの使用
ドライバは、以下のようにこれらの値を使用することができる。
ｐｗｍ ＝ Ｖｏｌｔａｇｅ ＜＜ １ ； ／＊初期ＰＷＭ値＊／
ｐｗｍ＿ｒｅｍ ＝ ０； ／＊初期ＰＷＭ剰余値(remainder)＊／
５ｍｓループにおいては、
Ｉｆ（ （ｐｗｍ＿ｒｅｍ ＋ ＳｌｏｐｅＦｒａｃ） ＜ ｐｗｍ＿ｒｅｍ ） ／＊この剰余値がロールオーバー(rollover)しようとしている＊／
｛Ｓｌｏｐｅ ＞＝ ０ ？ ｐｗｍ＋＋ ： ｐｗｍ−−；｝
ｐｗｍ＿ｒｅｍ ＋＝ ＳｌｏｐｅＦｒａｃ；
ｉｆ（ −１２８ ！＝ Ｓｌｏｐｅ） ｐｗｍ ＋＝ Ｓｌｏｐｅ；

効果名ブロックは、任意であるが、これは１つの副ブロックである、効果名データ副ブロックを有する。

本明細書において、いくつかの実施形態が具体的に例示および／または説明されている。しかしながら、これらの実施形態の修正および変更が、本発明の精神および意図する範囲から逸脱することなく、上記の教示および添付の特許請求の範囲内によって網羅されることが理解されるであろう。

Claims (30)

1. 触覚フィードバックシステムであって、
   コントローラと、
   前記コントローラに結合されたメモリと、
   前記コントローラに結合されたアクチュエータ駆動回路と、
   前記アクチュエータ駆動回路に結合されたアクチュエータと、を備え、
   前記メモリは、少なくとも１つの触覚効果を記憶する、触覚フィードバックシステム。
2. 前記触覚効果は、複数の離散振幅点を含む、請求項１に記載の触覚フィードバックシステム。
3. 振幅は、ある時間にわたって一定に保たれる、請求項２に記載の触覚フィードバックシステム。
4. 振幅は、時間の関数として、ある時間にわたって変調される、請求項２に記載の触覚フィードバックシステム。
5. 前記離散振幅点は、開始点、維持点、制動点、およびゼロ点を含む、請求項２に記載の触覚フィードバックシステム。
6. 前記触覚効果は、事前に算出された触覚効果である、請求項１に記載の触覚フィードバックシステム。
7. 前記触覚効果は、効果設計ツールによって生成される、請求項６に記載の触覚フィードバックシステム。
8. 前記アクチュエータは、リニア共振アクチュエータである、請求項１に記載の触覚フィードバックシステム。
9. 前記アクチュエータは、ピエゾアクチュエータである、請求項１に記載の触覚フィードバックシステム。
10. 前記触覚効果は、デジタルストリームエンベロープ構造体として記憶される、請求項１に記載の触覚フィードバックシステム。
11. 触覚効果を生成する方法であって、
    記憶された触覚効果を読み出すステップと、
    前記記憶された触覚効果に基づいて、駆動信号を生成するステップと、
    前記駆動信号をアクチュエータに適用するステップと、
    を含む、方法。
12. 前記触覚効果は、複数の離散振幅点を含む、請求項１１に記載の方法。
13. 振幅は、ある時間にわたって一定に保たれる、請求項１２に記載の方法。
14. 振幅は、時間の関数として、ある時間にわたって変調される、請求項１２に記載の方法。
15. 前記離散振幅点は、開始点、維持点、制動点、およびゼロ点を含む、請求項１２に記載の方法。
16. 前記触覚効果は、事前に算出された触覚効果である、請求項１１に記載の方法。
17. 前記触覚効果は、効果設計ツールによって生成される、請求項１１に記載の方法。
18. 前記アクチュエータは、リニア共振アクチュエータである、請求項１１に記載の方法。
19. 前記アクチュエータは、ピエゾアクチュエータである、請求項１１に記載の方法。
20. 前記触覚効果は、デジタルストリームエンベロープ構造体として記憶される、請求項１１に記載の方法。
21. コンピュータが読み取り可能な媒体であって、プロセッサによって実行される際に、
    前記プロセッサに、
    記憶された触覚効果の読み出し、
    前記記憶された触覚効果に基づいた、駆動信号の生成、および
    前記駆動信号のアクチュエータへの適用
    を行わせる、前記コンピュータが読み取り可能な媒体に記憶された命令を有する、コンピュータが読み取り可能な媒体。
22. 前記触覚効果は、複数の離散振幅点を含む、請求項２１に記載のコンピュータが読み取り可能な媒体。
23. 振幅は、ある時間にわたって一定に保たれる、請求項２２に記載のコンピュータが読み取り可能な媒体。
24. 振幅は、時間の関数として、ある時間にわたって変調される、請求項２２に記載のコンピュータが読み取り可能な媒体。
25. 前記離散振幅点は、開始点、維持点、制動点、およびゼロ点を含む、請求項２２に記載のコンピュータが読み取り可能な媒体。
26. 前記触覚効果は、事前に算出された触覚効果である、請求項２１に記載のコンピュータが読み取り可能な媒体。
27. 前記触覚効果は、効果設計ツールによって生成される、請求項２２に記載のコンピュータが読み取り可能な媒体。
28. 前記アクチュエータは、リニア共振アクチュエータである、請求項２２に記載のコンピュータが読み取り可能な媒体。
29. 前記アクチュエータは、ピエゾアクチュエータである、請求項２２に記載のコンピュータが読み取り可能な媒体。
30. 前記触覚効果は、デジタルストリームエンベロープ構造体として記憶される、請求項２２に記載のコンピュータが読み取り可能な媒体。

Images