JP2005506613A - コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 - Google Patents
コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 Download PDFInfo
- Publication number
- JP2005506613A JP2005506613A JP2003535176A JP2003535176A JP2005506613A JP 2005506613 A JP2005506613 A JP 2005506613A JP 2003535176 A JP2003535176 A JP 2003535176A JP 2003535176 A JP2003535176 A JP 2003535176A JP 2005506613 A JP2005506613 A JP 2005506613A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- haptic
- sound data
- output
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035807 sensation Effects 0.000 title claims abstract description 102
- 230000000694 effects Effects 0.000 claims abstract description 99
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 230000002596 correlated effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 18
- 230000000737 periodic effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 8
- 241000699666 Mus <mouse, genus> Species 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 241000699670 Mus sp. Species 0.000 description 4
- 229920001690 polydopamine Polymers 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000003155 kinesthetic effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000000418 atomic force spectrum Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
コンピュータ装置（１４）からのサウンド出力に基づいて触覚感覚をトリガすることを目的とする。サウンドデータの一部分は格納され、それはコンピュータで実行されるアプリケーションプログラム（２０）からオーディオ（２４）としてユーザに出力される。サウンドデータの該部分から少なくとも一つのサウンド特徴を抽出するために、サウンドの該部分はインテリジェントヒューリスティックスを使用して分析される。少なくとも一つの触覚効果の実行はサウンド特徴に基づいてトリガされ、触覚効果は、サウンドの一部分のオーディオとしてのユーザへの出力にほぼ相関される触覚フィードバック装置（１２）に命令される。触覚効果はユーザに対し触覚感覚（４４）を出力させる。異なる触覚効果は異なるサウンド特徴、周波数、振幅等に関連付けることができる。
【選択図】図１
【選択図】図１
Description
【０００１】
背景技術
本発明は、一般的に人間がコンピュータシステムとインタフェースすることを可能にするシステムに関し、さらに詳しくは、サウンド出力を含む一つまたはそれ以上のコンピュータアプリケーションとインタフェースするユーザに触覚フィードバックを提供するための方法に関する。
【０００２】
ユーザはコンピュータによって表示される環境と対話して、コンピュータでゲームをし、シミュレーションまたは仮想現実環境を経験し、コンピュータ支援設計システムを使用し、グラフィカルユーザインタフェース（ＧＵＩ）を操作し、ウェブページをナビゲートするなどの機能およびタスクを実行することができる。そのような対話に使用される一般的なヒューマン−コンピュータインタフェース装置は、コンピュータ環境を制御するコンピュータシステムと通信するマウス、ジョイスティック、トラックボール、ゲームパッド、リモートコントロール、ステアリングホイール、スタイラス、タブレット、感圧球体、または類似物を含む。コンピュータは、ジョイスティックハンドル、ボタン、またはマウスなどの物理的マニピュランダムのユーザの操作に応答して環境を更新し、表示スクリーンおよびオーディオスピーカを利用して、視覚的および聴覚的フィードバックをユーザに提供する。コンピュータは、コンピュータに位置信号を送信するインタフェース装置に設けられたセンサを通して、ユーザオブジェクトのユーザの操作を感知する。
【０００３】
一部のインタフェース装置では、より一般的にここでは集合的に「触覚フィードバック」として知られる、運動感覚力フィードバックおよび／または触知フィードバックもユーザに提供される。これらの型のインタフェース装置は、インタフェース装置のユーザマニピュランダムを操作するユーザによって体感される物理的感覚を提供することができる。一つまたはそれ以上のモータまたは他のアクチュエータがマニピュランダムに結合され、制御コンピュータシステムに接続される。コンピュータシステムは、制御信号またはコマンドをアクチュエータに送ることによって、コンピュータ事象と連動しかつ協調してマニピュランダムの力を制御する。したがってコンピュータシステムは、ユーザがインタフェース装置またはインタフェース装置の操作可能なオブジェクトを把持するかそれに接触しているときに、他の供給フィードバックと共に物理的力感覚をユーザに伝えることができる。
【０００４】
ユーザに提供される聴覚的フィードバックは、多くのアプリケーションプログラム、特にゲームの内在的部分である。一部の既存の触覚フィードバック装置は、コンピュータからのサウンド出力に直接基づいて触覚感覚を提供するように設計される。サウンド出力波形は、スピーカが動作する方法と同様に、振動などの触知感覚がサウンド出力波形またはそのフィルタリングされた部分に直接基づくように、インタフェース装置に直接送られる。
【０００５】
直接サウンド波形に基づく既存の触覚感覚の弱点は、触覚感覚がサウンド信号に直接基づく単純な効果であることである。信号を触覚装置に送る前に、サウンド信号の評価または処理は行なわれない。サウンド出力の全てが触覚感覚への直接変換に適しているわけではないので、これは、望ましくないかまたは当惑するような触覚感覚をユーザに出力する結果をまねくおそれがある。
【０００６】
発明の概要
本発明は、コンピュータ装置からのサウンド出力に基づいて触覚感覚の出力をトリガすることを目的とする。触覚感覚の出力は、サウンドデータの特徴を分析することによってインテリジェントにトリガされ、改善されたユーザ経験を可能にする。
【０００７】
さらに詳しくは、本発明のインタフェース装置は、コンピュータからのサウンド出力で検出されたサウンド特徴から触覚感覚をトリガするための方法を提供し、触覚感覚はコンピュータと通信する触覚フィードバック装置のユーザに出力することができる。サウンドデータの一部分は格納され、それはコンピュータで実行されるアプリケーションプログラムからオーディオとしてユーザに出力される。サウンドデータは、コンピュータのメモリバッファに格納される。サウンドデータの該部分から少なくとも一つのサウンド特徴を抽出するために、サウンドの該部分はインテリジェントヒューリスティックスを使用して分析される。少なくとも一つの触覚効果の実行はサウンド特徴に基づいてトリガされ、触覚効果は、サウンドの一部分のオーディオとしてのユーザへの出力にほぼ相関される触覚フィードバック装置に命令される。触覚効果はユーザに対し触覚感覚を出力させる。
【０００８】
トリガされた触覚感覚は、サウンドデータで見つかったサウンド特徴に割り当てることが好ましい。一部の実施形態では、サウンドデータの一部分の分析は、サウンドデータを複数の異なる周波数範囲に処理し、各々の周波数範囲でサウンド特徴を探索することを含むことができる。各々の周波数範囲に対し、サウンド特徴がその周波数範囲に存在する場合、触覚効果をトリガすることができる。サウンドデータにフィルタを適用することができ、あるいは高速フーリエ変換を使用することができる。各周波数範囲は異なる触覚感覚を関連付けるかマッピングすることができる。例えば、各々の周波数範囲に異なる周波数を有する周期的触覚感覚を関連付けることができる。他の型の触覚感覚をサウンド特徴にマッピングするか関連付けて、これらのサウンド特徴の出力によりそれらがトリガされるようにすることもできる。
【０００９】
本発明は、サウンド出力を有するアプリケーションプログラムを実行するコンピュータシステムによって触覚フィードバックを出力させることができることが有利である。本発明はサウンドデータ内の特徴に触覚感覚をインテリジェントに割り当て、サウンド出力を引き起こしたアプリケーションプログラム内の事象に関連する触覚フィードバックを提供する。これは結果的に、サウンド出力に基づく触覚フィードバックのユーザ経験に全体的な改善をもたらす。
【００１０】
本発明のこれらおよび他の利点は、本発明の以下の明細書を読み、かつ図面の幾つかの図を検討することにより、当業者には明らかになるであろう。
図面の簡単な記述
図１は本発明に使用するのに適した触覚フィードバックシステムの一実施形態を示すブロック図である。
図２は本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
図３は提供されたサウンドデータに基づいて触覚感覚として出力される触覚効果をもたらすための本発明の方法の第一実施形態を示す流れ図である。
図４はバッファに格納されたサウンドデータを処理して分析する図３のステップの一実施形態を示す流れ図である。
図５はバッファに格納されたサウンドデータを処理して分析する図３のステップの別の実施形態を示す流れ図である。
【００１１】
好適な実施形態の詳細な記述
図１は、ホストコンピュータ１４と通信する触覚フィードバックインタフェース装置１２を含む、本発明に使用するのに適したコンピュータシステム１０を示すブロック図である。
【００１２】
ホストコンピュータ１４は、ホストマイクロプロセッサ２０、クロック２２、表示スクリーン２６、およびオーディオ出力装置２４を含むことが好ましい。ホストコンピュータはまた、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、および入力／出力（Ｉ／Ｏ）電子部品（図示せず）のような他の周知の構成部品をも含む。ホストコンピュータ１４は、多種多様な形態を取ることができるコンピューティング装置である。例えば、記載する実施形態では、コンピュータ１４は、ＰＣ互換性コンピュータまたはマッキントッシュパーソナルコンピュータ、もしくはサンまたはシリコン・グラフィックスワークステーションのようなパーソナルコンピュータまたはワークステーションである。そのようなコンピュータ１４は、Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、ＭＳ−ＤＯＳ、または他のオペレーティングシステムの下で動作することができる。代替的に、ホストコンピュータ１４は、任天堂、セガ、ソニー、またはマイクロソフトから入手可能なシステムのような、テレビジョンセットまたは他の表示装置に一般的に接続される種々のホームビデオゲームコンソールシステムの一つとすることができる。他の実施形態では、ホストコンピュータシステム１４は「セットトップボックス」、「ネットワーク」、または「インターネットコンピュータ」、携帯コンピュータまたはゲーム装置、家庭用電子機器（ステレオコンポーネント等）、（パーソナルデジタルアシスタント）ＰＤＡ等とすることができる。
【００１３】
ホストコンピュータ１４は、ユーザが装置１２および適切な場合には他の周辺装置を介して対話する、ホストアプリケーションプログラムを実装することが好ましい。本発明の文脈では、ホストアプリケーションプログラムとは、以下でさらに詳述する通り、デジタルオーディオ編集プログラムである。装置１２の入力を利用し、かつ装置１２に触覚フィードバックコマンドを出力する、他のアプリケーションプログラムを使用することもできる。ホストアプリケーションプログラムは、グラフィカルユーザインタフェース（ＧＵＩ）を利用してユーザにオプションを提示し、かつユーザから入力を受け取ることが好ましい。このアプリケーションプログラムは、以下で述べる触覚フィードバック機能性を含むことができ、あるいは触覚フィードバック制御は、ドライバまたは他のアプリケーションプログラムなど、ホストコンピュータで実行される別のプログラムに実装することができる。ここで、コンピュータ１４は「グラフィカル環境」を提示すると言うことができ、それはグラフィカルユーザインタフェース、ゲーム、シミュレーション、または他の視覚的環境とすることができる。コンピュータは「グラフィカルオブジェクト」または「コンピュータオブジェクト」を表示する。それらは物理的オブジェクトではなく、当業者には周知の通り、コンピュータ１４によって表示スクリーン２６上に画像として表示することのできるデータおよび／またはプロシージャの論理ソフトウェア単位集合である。ソフトウェアを触覚フィードバック装置とインタフェースする適切なソフトウェアドライバは、カリフォルニア州サンノゼのイマージョン・コーポレーションから入手可能である。
【００１４】
表示装置２６はホストコンピュータシステム１４に含めることができ、標準表示スクリーン（ＬＣＤ、ＣＲＴ、フラットパネル等）、３Ｄゴグル、映写装置、または他の映像出力装置とすることができる。表示装置２６は、オペレーティングシステムアプリケーション、シミュレーション、ゲーム等によって命令された画像を表示する。スピーカなどのオーディオ出力装置２４は、ユーザにサウンド出力を提供する。本発明の文脈では、ステレオ受信機、増幅器等のような、他のオーディオ関連装置をホストコンピュータに接続することもできる。記憶装置（ハードディクスドライブ、ＣＤ ＲＯＭドライブ、フロッピーディスクドライブ等）、プリンタ、および他の入出力装置のような、他の型の周辺装置もホストプロセッサ２０に接続することができる。
【００１５】
マウス、ノブ、ゲームパッド、トラックボール、ジョイスティック、リモートコントロールユニット、ＰＤＡスクリーンなどの触覚フィードバックインタフェース装置１２は、双方向バス３０によってホストコンピュータシステム１４に接続される。双方向バスはホストコンピュータシステム１４とインタフェース装置との間でどちらの方向にも信号を送信する。バス３０は、ＲＳ２３２シリアルインタフェース、ＲＳ−４２２、ユニバーサルシリアルバス（ＵＳＢ）、ＭＩＤＩ、または当業者には周知の他のプロトコルなどのシリアルインタフェースバスとすることができ、あるいはパラレルバス、またはワイヤレスリンクとすることができる。一部のインタフェースは装置１２のアクチュエータに電力を提供することもできる。
【００１６】
装置１２はローカルプロセッサ４０を含むことができる。ローカルプロセッサ４０は任意選択的に、マウスの他の構成部品との効率的な通信を可能にするために、装置１２のハウジング内に含めることができる。プロセッサ４０は、コンピュータホスト１４からのコマンドまたは要求を待ち、コマンドまたは要求を復号し、コマンドまたは要求に従って入力および出力信号を処理／制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ４０は、センサ信号を読み取り、これらのセンサ信号、時間信号、およびホストコマンドに従って選択された格納またはリレーされた命令から適切な力またはコマンドを計算することによって、ホストコンピュータ１４とは独立して動作することができる。ローカルプロセッサ４０として使用するための適切なマイクロプロセッサとして、例えばモトローラによるＭＣ６８ＨＣ７１１Ｅ９、マイクロチップによるＰＩＣ１６Ｃ７４、およびインテル社による８２９３０ＡＸのみならず、イマージョン・タッチセンス・プロセッサのようなより高機能の力フィードバックプロセッサがある。プロセッサ４０は、一個のマイクロプロセッサチップ、複数個のプロセッサおよび／またはコプロセッサチップ、および／またはデジタル信号プロセッサ（ＤＳＰ）機能を含むことができる。
【００１７】
マイクロプロセッサ４０は、ホストコンピュータ１４によって提供される命令に従って、センサ４２から信号を受け取り、アクチュエータアセンブリ４４に信号を提供することができる。例えば、ローカル制御の実施形態では、ホストコンピュータ１４はバス３０を通して高レベル監視コマンドをプロセッサ４０に提供し、プロセッサ４０はホストコンピュータ１４の高レベルコマンドコマンドに従ってホストコンピュータとは独立してコマンドを復号し、センサおよびアクチュエータへの低レベルの力制御ループを管理する。この動作は米国特許第５７３９８１１号および第５７３４３７３号に詳細に記載されており、両方を参照によってここに組み込む。ホスト制御ループでは、ホストコンピュータからの力コマンドが、指定された特性を有する力または力感覚を出力するようにプロセッサに指示する。ローカルプロセッサ４０は位置および他のセンサデータをホストコンピュータに報告し、ホストコンピュータはそれを使用して実行プログラムを更新する。ローカル制御ループでは、アクチュエータ信号がプロセッサ４０からアクチュエータ４４に提供され、センサ信号がセンサ４２および他の入力装置４８からプロセッサ４０に提供される。プロセッサ４０は入力センサ信号を処理して、格納された命令に従うことによって適切な出力アクチュエータ信号を決定することができる。ここで、用語「触覚感覚」または「触感」とは、ユーザに感覚を与えるアクチュエータによって出力される単一の力または一連の力のいずれかを指す。用語「触覚効果」とは一般的に、装置に送られた、触覚効果を定義するコマンド、パラメータおよび／またはデータを指し、それは、効果が装置によって力としてユーザに出力されたときに、触覚感覚をもたらす。
【００１８】
さらに別の実施形態では、プロセッサ４０としての機能性を提供するために、他のより簡単なハードウェアを装置１２に局所的に提供することができる。例えば、ハードウェア状態機械または固定論理を組み込んだＡＳＩＣを使用して、アクチュエータ４４に信号を提供し、センサ４２からセンサ信号を受け取り、予め定められたシーケンス、アルゴリズム、またはプロセスに従って触感信号を出力することができる。
【００１９】
異なるホスト制御実施形態では、ホストコンピュータ１４はバス３０を通して低レベル力コマンドを提供することができ、それはプロセッサ４０を介してアクチュエータ４４に直接伝送される。ホストコンピュータ１４はこうして、装置１２への、または装置１２からの全ての信号を直接制御し、かつ処理する。単純なホスト制御の実施形態では、ホストから装置への信号は、アクチュエータに予め定められた周波数および大きさの力を出力するように命令することができ、あるいは大きさおよび／または方向を含むか、もしくは長時間にわたって加えるべき所望の力値を示す単純なコマンドとすることができる。
【００２０】
プロセッサ４０のための命令を格納し、かつ一時的データおよび他のデータを格納するために、ＲＡＭおよび／またはＲＯＭなどのローカルメモリ５２を装置１２内のプロセッサ４０に接続することが好ましい。例えば、プロセッサによって出力することのできる一連の格納された力値、またはユーザオブジェクトの現在の位置に基づいて出力される力値のルックアップテーブルのような力プロファイルをメモリ５２に格納することができる。加えて、ホストコンピュータ１４のシステムクロックと同様のタイミングデータを提供するために、ローカルクロック５４をプロセッサ４０に接続することができる。タイミングデータは、例えばアクチュエータ４４によって出力される力（例えば、算出された速度または他の時間依存因子に依存する力）を算出するために必要となる。ＵＳＢ通信インタフェースを使用する実施形態では、プロセッサ４０のためのタイミングデータは代替的にＵＳＢ信号から検索することができる。
【００２１】
センサ４２は装置および／またはマニピュランダムの位置または動きを感知し、位置または動きを表わす情報を含む信号をプロセッサ４０（またはホスト１４）に提供する。操作を検出するのに適したセンサとして、デジタル光符号器、光センサシステム、線形光符号器、電位差計、光センサ、速度センサ、加速センサ、歪み計が含まれ、あるいは他の型のセンサも使用することができ、相対センサまたは絶対センサのいずれでも設けることができる。センサ信号をプロセッサ４０および／またはホスト１４が解釈できる信号に変換するために、任意選択的センサインタフェース４６を使用することができる。
【００２２】
アクチュエータ４４は、プロセッサ４０および／またはホストコンピュータ１４から受け取った信号に応答して、装置１２のハウジングまたは一つまたはそれ以上のマニピュランダム６０に力を伝達することによって触覚感覚を出力する。アクチュエータ４４は、ＤＣモータ、ボイスコイル、空気圧または油圧アクチュエータ、トルカー、圧電アクチュエータ、可動磁石アクチュエータ等のような能動アクチュエータ、またはブレーキなどの受動アクチュエータをはじめとする、多くの型のアクチュエータのいずれにもすることができる。
【００２３】
プロセッサ４０からの信号を、アクチュエータ４４を駆動するのに適した信号に変換するために、アクチュエータ４４とプロセッサ４０との間に任意選択的にアクチュエータインタフェース５０を接続することができる。インタフェース５０は、当業者には周知の通り、電力増幅器、スイッチ、デジタルアナログ制御装置（ＤＡＣ）、アナログデジタル制御装置（ＡＤＣ）、および他の構成要素を含むことができる。装置１２内に他の入力装置４８が含まれ、ユーザによって操作されたときに入力信号をプロセッサ４０またはホスト１４に送る。そのような入力装置はボタン、スクロールホイール、ｄパッド、ダイヤル、スイッチ、または他の制御装置または機構を含むことができる。
【００２４】
アクチュエータに電力を提供するために、アクチュエータインタフェース５０および／またはアクチュエータ４４に接続された電源５６を任意選択的に装置１２に含むか、または別個の構成要素として設けることができる。代替的に、電力は装置１２から分離された電源から引き込むか、またはバス３０を介して受け取ることができる。一部の実施形態は、ピーク力を加えることができることを確実にするために、（参照によってここに組み込む米国特許第５９２９６０７号に記載するように）装置内の電力貯蔵装置を使用することができる。代替的に、この技術をワイヤレス装置に使用することができ、その場合、触感アクチュエータを駆動するためにバッテリ電力が使用される。ユーザが安全上の理由からアクチュエータ４４の動作を停止させることを可能にするために、任意選択的に安全スイッチ５８を含めることができる。
【００２５】
ここに記載する本発明に多くの型のインタフェースまたは制御装置を使用することができる。例えば、そのようなインタフェース装置は触覚フィードバックトラックボール、ジョイスティックハンドル、ステアリングホイール、ノブ、ハンドヘルドリモートコントロール装置、ビデオゲームまたはコンピュータゲーム用のゲームパッドコントローラ、スタイラス、グリップ、ホイール、ボタン、携帯電話、ＰＤＡ、タッチパッド、または他の操作可能な物体、表面またはハウジングを含めることができる。
【００２６】
図２は、本発明に使用するのに適した装置１２のマウスの実施形態１００の側面断面図である。
【００２７】
マウス装置１００は、ハウジング１０１、センシングシステム１０２、およびアクチュエータ１０４を含む。ハウジング１０１は、ユーザが平面自由度内でマウスを移動し、ボタン１０６を操作する間、標準的マウスのようにユーザの手にフィットするように形作られる。多くの異なる実施形態では、他のハウジング形状を提供することができる。
【００２８】
センサ１０２はその平面自由度内で、たとえばＸおよびＹ軸に沿って、マウスの位置を検出する。記載する実施形態では、センサ１０２は、コンピュータシステムに方向入力を提供するために、標準的マウスボール１１０を含む。代替的に、任意選択的センサまたは他の型のセンサを使用することができる。
【００２９】
マウス装置１００は、マウスのユーザに触感などの触覚フィードバックを与えるために、一つまたはそれ以上のアクチュエータ１０４を含む。アクチュエータ１０４は、ユーザに触覚フィードバックを提供するためにハウジング１０１に接続される。一実施形態では、アクチュエータはアクチュエータによって運動する慣性質量に接続される。慣性質量の運動によって生じる慣性力は、慣性質量に対してマウスのハウジングに加えられ、それによってハウジングに触れているユーザに触感のような触覚フィードバックを伝える。一部の実施形態は、アクチュエータ自体が慣性質量として運動することができる。そのような実施形態は米国特許第６２１１８６１号および米国特許出願第０９／５８５７４１号にさらに詳しく記載されており、参照によって両方を丸ごとここに組み込む。ゲームパッド、ハンドヘルドリモートコントロール、携帯電話、ＰＤＡ等のような他の型のインタフェース装置は、慣性触感用のアクチュエータを含むことができる。
【００３０】
他の型のインタフェース装置およびアクチュエータも本発明で使用することができる。例えば、ゲームパッド、マウス、または他の装置は、装置のハウジングまたはマニピュランダムに慣性触感を提供するために、アクチュエータの回転軸に結合された偏心回転質量を含むことができる。ジョイスティック、ノブ、スクロールホイール、ゲームパッド、ステアリングホイール、トラックボール、マウス等のような他の型の触覚装置は、運動感覚力フィードバックを提供することができ、力はマニピュランダムの感知される自由度で出力される。例えば、運動感覚マウス触覚装置の実施形態は米国特許第６１００８７４号および第６１６６７２３号に開示されており、参照によって両方を丸ごとここに組み込む。
【００３１】
触覚フィードバック付きサウンド出力
本発明は、ホストコンピュータで実行される一つまたはそれ以上のアプリケーションプログラム（または他のプログラム）のサウンド出力と協調する触覚感覚の出力のユーザ経験を改善する。
【００３２】
本発明の好適な実施形態は、ホストコンピュータによって出力されるサウンド信号またはデータに基づいて触覚フィードバック装置に出力するための触覚効果を提供し、それは触覚感覚としてユーザに出力される。一部の代替実施形態では、触覚効果は、例えばマイクロホンまたはオーディオ装置からコンピュータシステムに入力されるサウンド信号内の特徴またはデータに基づいて、同様に提供することができる。サウンドの一時的特徴および特性が識別され、予め定められた触覚効果にマッピングされるか関連付けられる。これらの触覚効果に基づく触覚感覚は即座に触覚フィードバック装置１２で実行することができ、あるいはメモリに格納して任意のサウンドの「触覚プロファイル」を形成することができる。本発明の方法は、先行技術で行なわれるように単にサウンド信号を触覚感覚として出力するために触覚装置に直接送るだけではなく、種々の高レベルサウンド特徴に種々の高レベル触覚感覚を関連付け、サウンド特徴を使用して適切な触覚感覚の出力をトリガする。
【００３３】
本発明の重要な利点は、ソフトウェアアプリケーション開発者がプログラムに触覚効果をプログラミングするのに手間を掛ける必要なく、そのアプリケーションプログラム、例えばゲームにおける種々の事象に対してサウンドを出力するプログラムに強力な触覚感覚がもたらされることである。したがって、既製のどんなゲームプログラムでも、ゲームが触覚装置を制御するコードを含むか否か、あるいはそれが非触覚フィードバック装置用に開発されただけであるか否かに関係なく、触覚フィードバック装置と容易に連動させることでき、広範囲のプログラムでユーザのより強力な対話的かつ没入的経験を可能にする。さらに、本発明は、サウンド効果の型をおおよそ区別し、異なる事象に異なる触覚感覚を関連付け、ユーザのより豊かな経験を可能にする。
【００３４】
一実施形態では、ホストコンピュータで実行される低レベルドライバプログラムが、本発明の方法を実行する。他の実施形態では、ホスト（または触覚フィードバック装置のマイクロプロセッサ）で実行される他のレベルのソフトウェアが、本発明の特徴またはステップの一部または全部を実行することができる（アプリケーションプログラム、ＡＰＩ等）。本発明を実行するためのプログラム命令はハードウェア（例えば論理部品）として、または電子メモリ、磁気ディスク、光ディスク、磁気テープ等のようなコンピュータ可読媒体に格納されたソフトウェアとして格納することができる。
【００３５】
図３は、所与のサウンドデータまたはサウンド信号に基づく触覚感覚として出力される触覚効果を提供するための本発明の方法の第一実施形態２００を示す流れ図である。該方法は２０２で開始され、任意選択的ステップ２０４で、触覚効果が装置に命令されるのに、ユーザには出力されない。例えば、触覚装置１２は、装置が多数の異なる触覚効果のデータを格納することを可能にするローカルメモリを含むことができる。装置のメモリに常駐する触覚効果は、ホストコマンドを受け取ったとき、または他の条件（予め定められた時間が経過した等）に基づいて実行することができる。装置に送られたデータは、触覚効果のためのパラメータを含むことができる。例えば周期的振動効果の場合、パラメータは振動数、持続時間、大きさを含むことができる。効果はステップ２０４で装置にロードすることができ、一部の実施形態では、後のステップでより高い大きさに命令する準備として、例えば零の大きさで実行するように命令することができる。ステップ２０４は、同一セットの触覚感覚が常時ユーザに出力される実施形態に最も適している。他の実施形態では、触覚効果はそれらがユーザに出力されるときに命令することができる。
【００３６】
次のステップ２０６で、ホストコンピュータで実行されているアプリケーションプログラムまたは他のソフトウェア層またはプログラムから、または代替的に外部オーディオ装置から直接、サウンドデータを受け取る。サウンドデータはデジタルデータであることが好ましく、それは、ＭＩＤＩ、ｗａｖファイル、ｍｐ３ファイル等のデジタルサウンドサンプルのような、いずれかの標準化フォーマットとすることができる。サウンドデータはステップ２０６で、それがスピーカのようなオーディオ出力装置にも送られ、ユーザにサウンドとして出力されるときに受け取られる。一般的に、サウンドデータは、ゲームのアクションまたは事象の結果発生するゲームのサウンド効果、ゲーム開始または他の事象が発生した後で演奏されるゲームまたは他のアプリケーションプログラム内の音楽、グラフィカルユーザインタフェースの対話中の警報音、ＣＤまたはＤＶＤからの音楽の演奏、または他のサウンド事象のような、アプリケーションで発生するサウンド事象からアプリケーションプログラムによって生成される。記載した実施形態では、このステップで受け取って分析されるサウンドデータは、現在スピーカによってユーザに出力されている。したがって、後述するようにサウンドデータが処理されて、触覚感覚が出力されるときまでに、サウンドデータはすでにユーザに出力されている。しかし、少量のサウンドデータが格納されるので、サウンドと触覚の出力間には、ユーザが認識できないミリ秒単位の遅延が発生するだけである。サウンドデータ出力が事前に知らされる他の実施形態では、触覚感覚をトリガするサウンドデータと同時に、またはほぼ同時に、触覚感覚を出力することができる。
【００３７】
ステップ２０８で、受け取った予め定められた量のサウンドデータが、ホストコンピュータ１４のメモリの一時的バッファに格納される。一実施形態では、これは、迅速に処理して触覚感覚に関連付けることができるように充分に適度に小さい一方で、意味のある処理および分析ができるように充分に大きい量のデータである。一実施形態では、約１０ｍｓに匹敵するサウンドデータの部分が格納されるが、他の実施形態では異なる量を格納することができる。例えば、ホストコンピュータ上のＤｉｒｅｃｔＳｏｕｎｄまたは他のサウンド捕捉ＡＰＩを使用して、１０ｍｓのセグメントにサウンドをデジタル記録することができる。
【００３８】
ステップ２１０で、格納されたサウンドデータは処理され分析されて、どの触覚感覚を出力すべきかの決定に関連すると指定された特定のサウンド特性または特徴を識別する。すなわち、これらのサウンド特徴は、触覚感覚の出力をトリガするキューとして働く。広い意味では、本発明はインテリジェントヒューリスティックスを使用して、アプリケーションプログラムで意味を持つ可能性が高いサウンド特徴を抽出し、そのようなサウンド特徴を、抽出されたサウンド特徴およびこれらの特徴が表わしている可能性が高い事象にほぼ一致する、予め定められ事前プログラムされた触覚感覚に関連付ける。例えば、多くの現在のビデオゲームアプリケーションでありそうな事象は、爆弾、手榴弾、ミサイル等の爆発、銃またはロケット砲などの武器の発砲、車両の衝突、ぱたぱたという足音、物体が水中に飛び込む音、プレーヤに何らかのゲーム事象を警告するための警告音等であるかもしれない。これらの事象は、適切な分析後に受け取ったサウンドデータから認識できる特定のサウンド特徴を持つかもしれない。
【００３９】
多種多様な方法を使用してデータを処理することができる。一部の実施形態を図４および５に関連して以下で述べる。これらの特定の実施形態は、サウンドデータに処理を実行して、サウンドデータによって表わされる波形を、本発明に従って多数の異なる周波数範囲に分割する。各周波数範囲のサウンドは、特定のサウンド特徴について別個に分析することができる。この周波数範囲の分割は、サウンドをトリガした事象に基づいて、サウンドがしばしば異なる周波数範囲で発生するという利点を持つ。例えば、ゲームにおける爆発は低周波数のサウンドを持つかもしれないが、銃の発砲はより高い周波数音を持つかもしれない。したがって事象の型は、サウンドが位置する周波数範囲に基づいておおよそ区別することができ、以下で記述する通り、異なる触覚効果をコマンドして出力することが可能になる。
【００４０】
ひとたびサウンドデータが処理され分析されると、次のステップ２１２で、触覚コマンドが触覚装置に出力され、装置を操作するユーザに触覚感覚が出力される。触覚コマンドは、ステップ２１０で、サウンドデータに見つかったサウンド特徴がもしあれば、それに基づいてトリガされる。例えばサウンドの周波数またはサウンドの他の特性に基づいて、異なる触覚感覚を異なる型のサウンドに割り当てるために、インテリジェントヒューリスティックスを使用することができる。触覚コマンドは、装置常駐触覚効果を命令された大きさで実行開始させるかまたは実行させる。一実施形態では、ステップ２０４から装置のメモリにすでに常駐している触覚効果が、所望の触覚感覚を実現するために適切な新しいパラメータまたはデータにより変更される。代替的に、新しい触覚効果を作成し、直ちに装置によって触覚感覚として出力するように命令することができる。上で説明した通り、コマンドから結果的に生じる触覚感覚は、関連付けられるサウンド特徴がオーディオとして出力された少し後に、しかし好ましくはユーザが遅延があることを認識できないように充分に早く、出力させることができる。
【００４１】
一実施形態では、命令された触覚感覚は、関連付けられた周波数範囲のサウンドデータの大きさに比例する大きさに設定することができる。例えば、図４および５に関連して論じた実施形態では、サウンドデータをフィルタリングするかまたは５種類の周波数範囲に編成する。これらの周波数範囲の各々が、それに関連付けられた異なる触覚感覚を持つことができる。例えば、利用可能な慣性触知フィードバックマウスを使用して、異なる周波数の周期的触覚効果を各々の周波数範囲に関連付ける。したがって、例えば、６２Ｈｚ（例えば高い大きさの感覚を引き起こす触覚装置の第一共振周波数またはその付近）の触覚周波数を有する周期的触覚効果は、第一サウンド周波数範囲（例えば０Ｈｚないし１５０Ｈｚ）に関連付けられる。他の周期的触覚効果は、各々昇順に別のサウンド周波数範囲に対応する７５Ｈｚ、９０Ｈｚ、１１５Ｈｚ、および２５０Ｈｚの触覚周波数を持つことができる（他の実施形態では、他の周期的周波数を使用することができる）。これらの周期的触覚効果の各々の大きさは、関連付けられる周波数範囲のサウンドデータの大きさに比例する値に設定することができる。周囲サウンドレベルの大きさの移動平均を触覚効果生成の最小しきい値として使用することができる。例えば、特定の周波数範囲のサウンド信号がしきい値より高い大きさを持つ場合には、その周波数範囲に関連付けられた触覚効果を出力するように命令することができ、あるいは零レベルより上の大きさを持つように命令することができる。
【００４２】
したがって、上に提示した方法は、サウンドデータによって表わされる異なる周波数範囲のサウンド信号の対応する変動する大きさに基づいて、５種類の触覚効果の大きさを変動させる。一部のサウンドが全ての周波数範囲に成分を有する場合、これは５種類の触覚効果を一度に出力させることができる。しかし、幾つかの周波数範囲にまたがって広がる多くのサウンド特徴は短時間続くので、ユーザは、異なる周波数の歪みではなく、短い振動または一続きのパルスを知覚するだけである。他のより長く持続するサウンド効果は一つまたは二つの周波数範囲のみに集中させることができ、それにより一つまたは二つの触覚効果が同時に出力される（他の周波数範囲の触覚効果は零の大きさに設定される）。したがって、ユーザは大まかにサウンド効果の周波数に対応する触覚を体感する。これについては、図４に関連しても述べる。
【００４３】
したがって、特定の周波数範囲または帯域に関連付けられる触覚感覚の振幅は、上述した通り、その周波数帯域のサウンド信号の大きさレベルに直接対応させることができる。この連続触覚出力に加えて、サウンド信号の振幅の突然のスパイクを、連続振動感覚上に重ねることができる追加的衝撃、パルス、または他の短く強力な触覚感覚にマッピングすることができる。
【００４４】
他の実施形態では、ステップ２１０のサウンドデータの処理および分析に基づき、かつインテリジェントヒューリスティックスに基づき、より高度の触覚感覚を出力することができる。ゲームのような多くのアプリケーションでは、サウンドの型は、それが主として位置する周波数範囲に基づいて決定することができる。これはより高度なマッピングスキームを可能にし、そこでは完全に異なる触覚感覚を異なるサウンド周波数範囲にマッピングすることができる。これについては、図５に関連しても述べる。
【００４５】
例えば、ビデオゲームアプリケーションで武器発砲が高周波サウンドの突然のバーストに関連付けられることがしばしばある。この字術をインテリジェントヒューリスティックスとして使用して、ステップ２１０でゲームからのサウンド出力データを分析し、高周波サウンドが出力されたことを示す特徴を識別することができる。例えば、サウンドの振幅の突然のバーストまたはスパイクが無いか、特定の周波数範囲を検査することができる。ステップ２１２で、サウンド中で見つかったサウンドバーストに基づいて、武器発砲に関連付けられた触覚感覚を出力するように、インテリジェントに命令することができる。一部の実施形態では、サウンドおよび触覚感覚を実行されている間に、触覚感覚をすぐさま変更することができ、そこで触覚感覚の大きさおよび持続時間は、サウンドバーストの大きさ、バーストの持続時間、および／またはバーストの固有周波数成分に基づいて、連続的に調整される。
【００４６】
一部の実施形態では、サウンド特徴に対し、サウンド特徴の詳細に基づいて全く異なる触覚プロファイルを選択することができ、そこでサウンド特性と触覚効果との間の事前にプログラムされたマッピングが参照される（例えばルックアップテーブルまたはデータテーブルをメモリに格納することができる）。例えば、非常に異なる周波数範囲のサウンドバーストが、全く異なる触覚感覚をトリガすることができる。例えば、ビデオゲーム内の低周波のサウンドバーストを一人物の足音とすることができる。低周波振動または波状力のような適切な触覚感覚をそのサウンド特徴にマッピングすることができる。
【００４７】
一部のゲームまたは他のプログラムは、同様の事象に対して同様のサウンド効果を出力ことができ、上述した通り、おおよそのマッピングが可能になる。しかし、他のゲームまたはプログラムは、同様に響くサウンドを異なる事象に関連付けることができる。したがって、一実施形態では、特定のルックアップテーブルまたは他のマッピングデータを各々の個別ゲーム（または他のアプリケーションプログラム）に関連付けることができる。該テーブルを使用して、本発明の方法はテーブル上で、どのゲームが実行されているかを識別し、次いでそのゲームのサウンド特性とテーブルの作者によって割り当てられた触覚感覚との間の適切なマッピングを見つけることができる。これにより、特定のゲーム用に仕立てられたヒューリスティックスの調整が可能になり、より正確なマッピングが使用可能になる。これは、ゲーム自体に触覚効果またはマッピングを組み込む必要がなく、現在入手可能なゲームのサウンド出力に基づく触覚マッピングを含むドライバの更新の生産を触覚装置の製造者に依存する開発者にとって有利になり得る。
【００４８】
代替実施形態では、見つかったサウンド特徴に関連付けられる触覚効果はすぐにはユーザに触覚感覚として出力されず、代わりにメモリの格納されて所与のサウンドの「触覚プロファイル」を形成する。これは、触覚効果の設計を支援するのに使用することができる。例えば、サウンドファイルはロードすることができ、ユーザはグラフィカルユーザインタフェースでコントロールを選択して、本発明の方法でサウンドに対応する複合触覚効果を生成させることができる。次いで、生成された複合触覚効果を命令することによって、生成された触覚効果（または触覚の大きさ、力値等）をプログラム内で使用することができる。代替的に、触覚プロファイル（生成された効果）は新しい触覚効果プリミティブになることができ、開発者はこのプリミティブに基づいて新しい効果を生成することが可能になる。例えば周期的効果、テクスチャ、一時的プロファイル等を作成することができる。
【００４９】
例えばゲームは何百ものサウンド効果を持つことができる。本発明の方法は、ゲームのサウンドファイルをロードし、標準化フォーマット（カリフォルニア州サンノゼのイマージョン・コーポレーションによって作成されたプロトコルで使用される．ｉｆｒファイルのような）のサウンドデータから触覚効果を生成するように指示することができる。したがって、開発者は各触覚効果を手動で作成する必要が無く、大量の開発時間の節約になる。設計者もまた生成された触覚効果を検討し、希望するならば、それらを編集することができる。これは、自分のゲームにコードを追加して触覚装置に伝統的な方法で触覚効果を命令することを希望するが、適切な触覚効果の設計に大量の時間を費やしたくない開発者にとって有利である。
【００５０】
触覚感覚の出力後、該方法はステップ２０６に戻って、さらなるサウンドデータを受け取るかどうか検査する。受け取る場合、サウンドデータの次の部分が、上述したように処理される。それ以上サウンドデータを受け取らない場合、プロセスは２４２で終了する（次にサウンドデータが出力されたときに再び始動する）。
【００５１】
図４は、バッファに格納されたサウンドデータが処理され分析される、図３のステップ２１０の一実施形態を示す流れ図である。該方法は２７０で開始され、ステップ２７２で、格納されたサウンドデータが複数のフィルタに通されて、異なる周波数範囲を分離する。例えば、上記の例で説明したようにサウンドデータを五つの周波数範囲に分割する場合、低域通過フィルタ、高域通過フィルタ、および三つの帯域通過フィルタを使用することができる。一例として、低域通過フィルタは０〜１７０Ｈｚ以外の周波数の全てのデータを除去することができ、第一の帯域通過フィルタは１７０〜４３０Ｈｚ以外の全周波数を除去することができ、第二の帯域通過フィルタは４３０Ｈｚ〜２ｋＨｚ以外の全周波数を除去することができ、第三の帯域通過フィルタは２〜１０ｋＨｚ以外の全周波数を除去することができ、高域通過フィルタは１０ｋＨｚより低い全周波数を除去することができる。
【００５２】
ステップ２７４で、各々のフィルタ出力からのサウンドの大きさの移動平均が維持される。これは、コンピュータから出力される周囲サウンドを平均化して、周囲レベルより大きいサウンドだけが触覚感覚をトリガすることを可能にする。次のステップ２７６で、フィルタ出力の大きさが、ユーザが使用している触覚装置１２に要求される範囲にスケーリングされる。したがって、先行技術のように実際のフィルタ出力を使用して触覚感覚を生成するのではなく、フィルタ出力に基づいて新しい触覚コマンドおよび効果が生成される。
【００５３】
一部の実施形態では、各フィルタの出力の大きさの二乗をスケーリングすることができる。これは、一部の実施形態で、各周波数範囲のサウンドデータ内でより大きいピークまたはスパイクだけを抽出して、多すぎる検出ピークから発生する装置の持続される轟音／振動を低減するのにより効率的であるかもしれない。
【００５４】
次のステップ２７８で、周期的触覚効果が各々のフィルタの出力に割り当てられる。周期的効果は各々、各フィルタに見つかったスケーリングされた大きさに等しい大きさを割り当てられる。フィルタに出力が無い場合、すなわちその周波数範囲のサウンドがサウンドデータに存在しない場合、またはフィルタの出力が予め定められたしきい振幅を超えない場合には、その周波数範囲に割り当てられた触覚効果には零の大きさが割り当てられる。周期的感覚は各々、対応するサウンド周波数を伝達するのに効果的であることが判明した五つの触覚周波数のうちの一つを持つことができる。振動など、そのような周期的触覚は、慣性触知感覚を提供するゲームパッドまたはマウスなどの触知装置に非常によく適している。振動は運動感覚フィードバック装置によって出力することもできる。上で決定されスケーリングされた大きさに基づく大きさを持つ、他の型の触覚感覚も運動感覚装置の実施形態によって出力することができる。割り当てられる触覚感覚の型は、ポップ、衝撃、跳びはね、ダンピング等のように、異なる実施形態では異なることができ、またスケーリングされた大きさに基づく大きさを持って出力することができる。例えば事前にプログラムされたマッピングを参照してマップされた触覚効果を割り当てることができる。
【００５５】
該方法は次いで２８０で終了する。割り当てられた周期的触覚は、図３の次のステップ２１２で使用することができ、そこで触覚フィードバック装置に触覚効果を命令することによって、触覚感覚がユーザに出力される。
【００５６】
図５は、バッファに格納されたサウンドデータが処理され分析される、図３のステップ２１０の異なる実施形態２１０’を示す流れ図である。該方法は２９０で開始され、ステップ２９２でサウンドデータに高速フーリエ変換（ＦＦＴ）が実行され、データは、データの周波数スペクトルの異なる周波数成分にフィルタリングされる。周波数成分は各々、ＦＦＴによって出力される成分の数およびカバーされる全体的周波数範囲に基づく周波数範囲をスパンする。例えば、ＦＦＴが５１２個の出力を持ち、サウンドデータの全体的周波数範囲が約２２ｋＨｚである場合、各ＦＦＴ出力周波数成分は２２ｋＨｚ／５１２＝約４３Ｈｚの周波数範囲を有する。次いでこれらの周波数成分が集団化され、合計して所望の周波数範囲になる。例えば、図４の実施形態と同様の五つの周波数範囲を達成するために、四つの成分を結合して０〜１７０Ｈｚの第一の周波数範囲をカバーすることができ、六つの成分で１７０〜４３０Ｈｚの範囲をカバーし、３７個の成分で４３０Ｈｚ〜２ｋＨｚの範囲をカバーし、１８５個の成分で２ｋＨｚ〜１０ｋＨｚの範囲をカバーし、２５６個の成分で１０〜２２ｋＨｚの範囲をカバーする。他の実施形態では、他の周波数範囲および成分を使用することができる。
【００５７】
次のステップ２９４で、該方法は、ステップ２９２で集団化された周波数範囲のいずれかが予め定められた特性を持つか否かを検査する。これらの特性は、触覚感覚の出力をトリガするのに充分に有意のサウンドデータ内の特徴である。一実施形態では、各周波数範囲に対して平均振幅が維持され、振幅のスパイクが探索される。平均振幅の３〜４倍の振幅のスパイクが見つかると、それは有意とみなされ、触覚効果がその特徴に割り当てられるか、またはその特徴によってトリガされる。
【００５８】
予め定められた特性が見つかると、プロセスはステップ２９６に進み、予め定められた特性を持つこれらの周波数範囲に触覚効果を割り当て、プロセスは２９８で終了し、該方法は図３のステップ２１２に戻る。ステップ２９４で、所望の特性を持つ周波数範囲が見つからない場合には、プロセスは２９８で終了し、該方法は図３のステップ２１２に戻る。
【００５９】
所望の特性を持つ周波数範囲に割り当てられる触覚効果は、幾つかの異なる型のいずれかとすることができ、かつ／または異なるパラメータを持つことができ、対応するサウンドデータの大きさに比例する大きさを持つ必要は無い。例えば、いずれかの抽出されたサウンド特徴（振幅の上昇のような）に衝撃、パルス、またはデテントをマッピングすることができる。衝撃またはデテントの大きさは、振幅スパイクが見つかった周波数範囲に基づくことができる。例えば、低周波数範囲に高い大きさの触覚感覚を割り当てることができる（またはその逆も然り）。周期的感覚、方向感覚（装置の自由度で特定の方向に力を出力できる触覚装置の場合）、跳びはね感覚、ダンピング感覚等を異なる周波数範囲にマッピングすることができる。一実施形態では、増大するサウンドデータの振幅に対応して触覚感覚の大きさを増大することができ、次いで触覚振幅を自動的に零レベルまで低下させることができる。再び、サウンド特徴と触覚感覚との間の事前プログラムされたマッピングを参照することができる。
【００６０】
図５の実施形態のＦＦＴ出力は、図４の実施形態のフィルタ出力より効率的であり、より多くの情報を提供する傾向がある。例えば、ＦＦＴは、振幅のスパイクがどこで発生するか、サウンド信号における波または特徴の位相オフセット等に関し、より詳細な周波数情報を提供することができる。また、図５について上述した異なる型の触覚感覚の割当またはトリガを、図４の実施形態でも実行することができ、また図４のサウンド振幅に比例する触覚感覚の大きさを図５の実施形態で実施することができることにも注目されたい。
【００６１】
一部のアプリケーションでは、ゲーム内のサウンド効果だけが触覚感覚をトリガして出力させるように、ゲームアプリケーション中の背景音楽のような周囲の背景サウンドを無視することができる。しばしば、サウンド効果の大きさは背景音楽の振幅よりずっと高く、平均振幅より上のサウンド効果をスパイクとして見出すことができる。他の状況では、背景音楽を無視し、サウンド効果をオーディオデータの型によって処理することができる。例えば、背景音楽がＭＩＤＩフォーマットであり、サウンド効果が．ｗａｖファイルである場合、ＭＩＤＩデータを無視し、ｗａｖデータを本発明によって処理して触覚感覚を提供することができる。
【００６２】
一部の実施形態は、サウンドデータをどのように分析するか、触覚効果をどのように割り当てるか、および触覚感覚をどのように出力するかを調節することのできる選好を、例えば触覚効果の強度、サウンド特徴を認識するための振幅の最低しきいレベル（例えば、背景音楽をゲームでよりよく無視することができるように）を、ユーザに入力させることができる。
【００６３】
本発明はまた、ゲーム以外の他の型のアプリケーションプログラムでも使用することができる。例えば、ユーザがオーディオ出力を聞きながら触覚装置に触れている場合に、音楽の拍子、持続される響き、スピーチの特徴等のようなオーディオの特徴をユーザが触覚的に経験することができるように、オーディオ出力に触覚感覚を加えることによって、ストリーミングオーディオのユーザの経験を増強することができる。さらに、本発明は、例えばインターネットのようなネットワークを介してストリーミングビデオと一緒に出力されるサウンドトッラクにも使用することができる。
【００６４】
本発明を幾つかの好適な実施形態に関して説明したが、その変形、並べ替え、および均等物は、本明細書を読み、図面を検討することにより、当業者には明らかになるであろう。例えば、ジョイスティック、ステアリングホイール、ゲームパッド、及びリモートコントロールを含む触覚フィードバック装置の多くの様々な実施形態を使用して、本書で記述した触覚感覚を出力することができる。さらに、特定の用語法を使用したのは説明を分かり易くするためであって、本発明を限定するためではない。
【図面の簡単な説明】
【００６５】
【図１】本発明に使用するのに適した触覚フィードバックシステムの一実施形態を示すブロック図である。
【図２】本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
【図３】提供されたサウンドデータに基づいて触覚感覚として出力される触覚効果をもたらすための本発明の方法の第一実施形態を示す流れ図である。
【図４】バッファに格納されたサウンドデータを処理して分析する図３のステップの一実施形態を示す流れ図である。
【図５】バッファに格納されたサウンドデータを処理して分析する図３のステップの別の実施形態を示す流れ図である。
背景技術
本発明は、一般的に人間がコンピュータシステムとインタフェースすることを可能にするシステムに関し、さらに詳しくは、サウンド出力を含む一つまたはそれ以上のコンピュータアプリケーションとインタフェースするユーザに触覚フィードバックを提供するための方法に関する。
【０００２】
ユーザはコンピュータによって表示される環境と対話して、コンピュータでゲームをし、シミュレーションまたは仮想現実環境を経験し、コンピュータ支援設計システムを使用し、グラフィカルユーザインタフェース（ＧＵＩ）を操作し、ウェブページをナビゲートするなどの機能およびタスクを実行することができる。そのような対話に使用される一般的なヒューマン−コンピュータインタフェース装置は、コンピュータ環境を制御するコンピュータシステムと通信するマウス、ジョイスティック、トラックボール、ゲームパッド、リモートコントロール、ステアリングホイール、スタイラス、タブレット、感圧球体、または類似物を含む。コンピュータは、ジョイスティックハンドル、ボタン、またはマウスなどの物理的マニピュランダムのユーザの操作に応答して環境を更新し、表示スクリーンおよびオーディオスピーカを利用して、視覚的および聴覚的フィードバックをユーザに提供する。コンピュータは、コンピュータに位置信号を送信するインタフェース装置に設けられたセンサを通して、ユーザオブジェクトのユーザの操作を感知する。
【０００３】
一部のインタフェース装置では、より一般的にここでは集合的に「触覚フィードバック」として知られる、運動感覚力フィードバックおよび／または触知フィードバックもユーザに提供される。これらの型のインタフェース装置は、インタフェース装置のユーザマニピュランダムを操作するユーザによって体感される物理的感覚を提供することができる。一つまたはそれ以上のモータまたは他のアクチュエータがマニピュランダムに結合され、制御コンピュータシステムに接続される。コンピュータシステムは、制御信号またはコマンドをアクチュエータに送ることによって、コンピュータ事象と連動しかつ協調してマニピュランダムの力を制御する。したがってコンピュータシステムは、ユーザがインタフェース装置またはインタフェース装置の操作可能なオブジェクトを把持するかそれに接触しているときに、他の供給フィードバックと共に物理的力感覚をユーザに伝えることができる。
【０００４】
ユーザに提供される聴覚的フィードバックは、多くのアプリケーションプログラム、特にゲームの内在的部分である。一部の既存の触覚フィードバック装置は、コンピュータからのサウンド出力に直接基づいて触覚感覚を提供するように設計される。サウンド出力波形は、スピーカが動作する方法と同様に、振動などの触知感覚がサウンド出力波形またはそのフィルタリングされた部分に直接基づくように、インタフェース装置に直接送られる。
【０００５】
直接サウンド波形に基づく既存の触覚感覚の弱点は、触覚感覚がサウンド信号に直接基づく単純な効果であることである。信号を触覚装置に送る前に、サウンド信号の評価または処理は行なわれない。サウンド出力の全てが触覚感覚への直接変換に適しているわけではないので、これは、望ましくないかまたは当惑するような触覚感覚をユーザに出力する結果をまねくおそれがある。
【０００６】
発明の概要
本発明は、コンピュータ装置からのサウンド出力に基づいて触覚感覚の出力をトリガすることを目的とする。触覚感覚の出力は、サウンドデータの特徴を分析することによってインテリジェントにトリガされ、改善されたユーザ経験を可能にする。
【０００７】
さらに詳しくは、本発明のインタフェース装置は、コンピュータからのサウンド出力で検出されたサウンド特徴から触覚感覚をトリガするための方法を提供し、触覚感覚はコンピュータと通信する触覚フィードバック装置のユーザに出力することができる。サウンドデータの一部分は格納され、それはコンピュータで実行されるアプリケーションプログラムからオーディオとしてユーザに出力される。サウンドデータは、コンピュータのメモリバッファに格納される。サウンドデータの該部分から少なくとも一つのサウンド特徴を抽出するために、サウンドの該部分はインテリジェントヒューリスティックスを使用して分析される。少なくとも一つの触覚効果の実行はサウンド特徴に基づいてトリガされ、触覚効果は、サウンドの一部分のオーディオとしてのユーザへの出力にほぼ相関される触覚フィードバック装置に命令される。触覚効果はユーザに対し触覚感覚を出力させる。
【０００８】
トリガされた触覚感覚は、サウンドデータで見つかったサウンド特徴に割り当てることが好ましい。一部の実施形態では、サウンドデータの一部分の分析は、サウンドデータを複数の異なる周波数範囲に処理し、各々の周波数範囲でサウンド特徴を探索することを含むことができる。各々の周波数範囲に対し、サウンド特徴がその周波数範囲に存在する場合、触覚効果をトリガすることができる。サウンドデータにフィルタを適用することができ、あるいは高速フーリエ変換を使用することができる。各周波数範囲は異なる触覚感覚を関連付けるかマッピングすることができる。例えば、各々の周波数範囲に異なる周波数を有する周期的触覚感覚を関連付けることができる。他の型の触覚感覚をサウンド特徴にマッピングするか関連付けて、これらのサウンド特徴の出力によりそれらがトリガされるようにすることもできる。
【０００９】
本発明は、サウンド出力を有するアプリケーションプログラムを実行するコンピュータシステムによって触覚フィードバックを出力させることができることが有利である。本発明はサウンドデータ内の特徴に触覚感覚をインテリジェントに割り当て、サウンド出力を引き起こしたアプリケーションプログラム内の事象に関連する触覚フィードバックを提供する。これは結果的に、サウンド出力に基づく触覚フィードバックのユーザ経験に全体的な改善をもたらす。
【００１０】
本発明のこれらおよび他の利点は、本発明の以下の明細書を読み、かつ図面の幾つかの図を検討することにより、当業者には明らかになるであろう。
図面の簡単な記述
図１は本発明に使用するのに適した触覚フィードバックシステムの一実施形態を示すブロック図である。
図２は本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
図３は提供されたサウンドデータに基づいて触覚感覚として出力される触覚効果をもたらすための本発明の方法の第一実施形態を示す流れ図である。
図４はバッファに格納されたサウンドデータを処理して分析する図３のステップの一実施形態を示す流れ図である。
図５はバッファに格納されたサウンドデータを処理して分析する図３のステップの別の実施形態を示す流れ図である。
【００１１】
好適な実施形態の詳細な記述
図１は、ホストコンピュータ１４と通信する触覚フィードバックインタフェース装置１２を含む、本発明に使用するのに適したコンピュータシステム１０を示すブロック図である。
【００１２】
ホストコンピュータ１４は、ホストマイクロプロセッサ２０、クロック２２、表示スクリーン２６、およびオーディオ出力装置２４を含むことが好ましい。ホストコンピュータはまた、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、および入力／出力（Ｉ／Ｏ）電子部品（図示せず）のような他の周知の構成部品をも含む。ホストコンピュータ１４は、多種多様な形態を取ることができるコンピューティング装置である。例えば、記載する実施形態では、コンピュータ１４は、ＰＣ互換性コンピュータまたはマッキントッシュパーソナルコンピュータ、もしくはサンまたはシリコン・グラフィックスワークステーションのようなパーソナルコンピュータまたはワークステーションである。そのようなコンピュータ１４は、Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、ＭＳ−ＤＯＳ、または他のオペレーティングシステムの下で動作することができる。代替的に、ホストコンピュータ１４は、任天堂、セガ、ソニー、またはマイクロソフトから入手可能なシステムのような、テレビジョンセットまたは他の表示装置に一般的に接続される種々のホームビデオゲームコンソールシステムの一つとすることができる。他の実施形態では、ホストコンピュータシステム１４は「セットトップボックス」、「ネットワーク」、または「インターネットコンピュータ」、携帯コンピュータまたはゲーム装置、家庭用電子機器（ステレオコンポーネント等）、（パーソナルデジタルアシスタント）ＰＤＡ等とすることができる。
【００１３】
ホストコンピュータ１４は、ユーザが装置１２および適切な場合には他の周辺装置を介して対話する、ホストアプリケーションプログラムを実装することが好ましい。本発明の文脈では、ホストアプリケーションプログラムとは、以下でさらに詳述する通り、デジタルオーディオ編集プログラムである。装置１２の入力を利用し、かつ装置１２に触覚フィードバックコマンドを出力する、他のアプリケーションプログラムを使用することもできる。ホストアプリケーションプログラムは、グラフィカルユーザインタフェース（ＧＵＩ）を利用してユーザにオプションを提示し、かつユーザから入力を受け取ることが好ましい。このアプリケーションプログラムは、以下で述べる触覚フィードバック機能性を含むことができ、あるいは触覚フィードバック制御は、ドライバまたは他のアプリケーションプログラムなど、ホストコンピュータで実行される別のプログラムに実装することができる。ここで、コンピュータ１４は「グラフィカル環境」を提示すると言うことができ、それはグラフィカルユーザインタフェース、ゲーム、シミュレーション、または他の視覚的環境とすることができる。コンピュータは「グラフィカルオブジェクト」または「コンピュータオブジェクト」を表示する。それらは物理的オブジェクトではなく、当業者には周知の通り、コンピュータ１４によって表示スクリーン２６上に画像として表示することのできるデータおよび／またはプロシージャの論理ソフトウェア単位集合である。ソフトウェアを触覚フィードバック装置とインタフェースする適切なソフトウェアドライバは、カリフォルニア州サンノゼのイマージョン・コーポレーションから入手可能である。
【００１４】
表示装置２６はホストコンピュータシステム１４に含めることができ、標準表示スクリーン（ＬＣＤ、ＣＲＴ、フラットパネル等）、３Ｄゴグル、映写装置、または他の映像出力装置とすることができる。表示装置２６は、オペレーティングシステムアプリケーション、シミュレーション、ゲーム等によって命令された画像を表示する。スピーカなどのオーディオ出力装置２４は、ユーザにサウンド出力を提供する。本発明の文脈では、ステレオ受信機、増幅器等のような、他のオーディオ関連装置をホストコンピュータに接続することもできる。記憶装置（ハードディクスドライブ、ＣＤ ＲＯＭドライブ、フロッピーディスクドライブ等）、プリンタ、および他の入出力装置のような、他の型の周辺装置もホストプロセッサ２０に接続することができる。
【００１５】
マウス、ノブ、ゲームパッド、トラックボール、ジョイスティック、リモートコントロールユニット、ＰＤＡスクリーンなどの触覚フィードバックインタフェース装置１２は、双方向バス３０によってホストコンピュータシステム１４に接続される。双方向バスはホストコンピュータシステム１４とインタフェース装置との間でどちらの方向にも信号を送信する。バス３０は、ＲＳ２３２シリアルインタフェース、ＲＳ−４２２、ユニバーサルシリアルバス（ＵＳＢ）、ＭＩＤＩ、または当業者には周知の他のプロトコルなどのシリアルインタフェースバスとすることができ、あるいはパラレルバス、またはワイヤレスリンクとすることができる。一部のインタフェースは装置１２のアクチュエータに電力を提供することもできる。
【００１６】
装置１２はローカルプロセッサ４０を含むことができる。ローカルプロセッサ４０は任意選択的に、マウスの他の構成部品との効率的な通信を可能にするために、装置１２のハウジング内に含めることができる。プロセッサ４０は、コンピュータホスト１４からのコマンドまたは要求を待ち、コマンドまたは要求を復号し、コマンドまたは要求に従って入力および出力信号を処理／制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ４０は、センサ信号を読み取り、これらのセンサ信号、時間信号、およびホストコマンドに従って選択された格納またはリレーされた命令から適切な力またはコマンドを計算することによって、ホストコンピュータ１４とは独立して動作することができる。ローカルプロセッサ４０として使用するための適切なマイクロプロセッサとして、例えばモトローラによるＭＣ６８ＨＣ７１１Ｅ９、マイクロチップによるＰＩＣ１６Ｃ７４、およびインテル社による８２９３０ＡＸのみならず、イマージョン・タッチセンス・プロセッサのようなより高機能の力フィードバックプロセッサがある。プロセッサ４０は、一個のマイクロプロセッサチップ、複数個のプロセッサおよび／またはコプロセッサチップ、および／またはデジタル信号プロセッサ（ＤＳＰ）機能を含むことができる。
【００１７】
マイクロプロセッサ４０は、ホストコンピュータ１４によって提供される命令に従って、センサ４２から信号を受け取り、アクチュエータアセンブリ４４に信号を提供することができる。例えば、ローカル制御の実施形態では、ホストコンピュータ１４はバス３０を通して高レベル監視コマンドをプロセッサ４０に提供し、プロセッサ４０はホストコンピュータ１４の高レベルコマンドコマンドに従ってホストコンピュータとは独立してコマンドを復号し、センサおよびアクチュエータへの低レベルの力制御ループを管理する。この動作は米国特許第５７３９８１１号および第５７３４３７３号に詳細に記載されており、両方を参照によってここに組み込む。ホスト制御ループでは、ホストコンピュータからの力コマンドが、指定された特性を有する力または力感覚を出力するようにプロセッサに指示する。ローカルプロセッサ４０は位置および他のセンサデータをホストコンピュータに報告し、ホストコンピュータはそれを使用して実行プログラムを更新する。ローカル制御ループでは、アクチュエータ信号がプロセッサ４０からアクチュエータ４４に提供され、センサ信号がセンサ４２および他の入力装置４８からプロセッサ４０に提供される。プロセッサ４０は入力センサ信号を処理して、格納された命令に従うことによって適切な出力アクチュエータ信号を決定することができる。ここで、用語「触覚感覚」または「触感」とは、ユーザに感覚を与えるアクチュエータによって出力される単一の力または一連の力のいずれかを指す。用語「触覚効果」とは一般的に、装置に送られた、触覚効果を定義するコマンド、パラメータおよび／またはデータを指し、それは、効果が装置によって力としてユーザに出力されたときに、触覚感覚をもたらす。
【００１８】
さらに別の実施形態では、プロセッサ４０としての機能性を提供するために、他のより簡単なハードウェアを装置１２に局所的に提供することができる。例えば、ハードウェア状態機械または固定論理を組み込んだＡＳＩＣを使用して、アクチュエータ４４に信号を提供し、センサ４２からセンサ信号を受け取り、予め定められたシーケンス、アルゴリズム、またはプロセスに従って触感信号を出力することができる。
【００１９】
異なるホスト制御実施形態では、ホストコンピュータ１４はバス３０を通して低レベル力コマンドを提供することができ、それはプロセッサ４０を介してアクチュエータ４４に直接伝送される。ホストコンピュータ１４はこうして、装置１２への、または装置１２からの全ての信号を直接制御し、かつ処理する。単純なホスト制御の実施形態では、ホストから装置への信号は、アクチュエータに予め定められた周波数および大きさの力を出力するように命令することができ、あるいは大きさおよび／または方向を含むか、もしくは長時間にわたって加えるべき所望の力値を示す単純なコマンドとすることができる。
【００２０】
プロセッサ４０のための命令を格納し、かつ一時的データおよび他のデータを格納するために、ＲＡＭおよび／またはＲＯＭなどのローカルメモリ５２を装置１２内のプロセッサ４０に接続することが好ましい。例えば、プロセッサによって出力することのできる一連の格納された力値、またはユーザオブジェクトの現在の位置に基づいて出力される力値のルックアップテーブルのような力プロファイルをメモリ５２に格納することができる。加えて、ホストコンピュータ１４のシステムクロックと同様のタイミングデータを提供するために、ローカルクロック５４をプロセッサ４０に接続することができる。タイミングデータは、例えばアクチュエータ４４によって出力される力（例えば、算出された速度または他の時間依存因子に依存する力）を算出するために必要となる。ＵＳＢ通信インタフェースを使用する実施形態では、プロセッサ４０のためのタイミングデータは代替的にＵＳＢ信号から検索することができる。
【００２１】
センサ４２は装置および／またはマニピュランダムの位置または動きを感知し、位置または動きを表わす情報を含む信号をプロセッサ４０（またはホスト１４）に提供する。操作を検出するのに適したセンサとして、デジタル光符号器、光センサシステム、線形光符号器、電位差計、光センサ、速度センサ、加速センサ、歪み計が含まれ、あるいは他の型のセンサも使用することができ、相対センサまたは絶対センサのいずれでも設けることができる。センサ信号をプロセッサ４０および／またはホスト１４が解釈できる信号に変換するために、任意選択的センサインタフェース４６を使用することができる。
【００２２】
アクチュエータ４４は、プロセッサ４０および／またはホストコンピュータ１４から受け取った信号に応答して、装置１２のハウジングまたは一つまたはそれ以上のマニピュランダム６０に力を伝達することによって触覚感覚を出力する。アクチュエータ４４は、ＤＣモータ、ボイスコイル、空気圧または油圧アクチュエータ、トルカー、圧電アクチュエータ、可動磁石アクチュエータ等のような能動アクチュエータ、またはブレーキなどの受動アクチュエータをはじめとする、多くの型のアクチュエータのいずれにもすることができる。
【００２３】
プロセッサ４０からの信号を、アクチュエータ４４を駆動するのに適した信号に変換するために、アクチュエータ４４とプロセッサ４０との間に任意選択的にアクチュエータインタフェース５０を接続することができる。インタフェース５０は、当業者には周知の通り、電力増幅器、スイッチ、デジタルアナログ制御装置（ＤＡＣ）、アナログデジタル制御装置（ＡＤＣ）、および他の構成要素を含むことができる。装置１２内に他の入力装置４８が含まれ、ユーザによって操作されたときに入力信号をプロセッサ４０またはホスト１４に送る。そのような入力装置はボタン、スクロールホイール、ｄパッド、ダイヤル、スイッチ、または他の制御装置または機構を含むことができる。
【００２４】
アクチュエータに電力を提供するために、アクチュエータインタフェース５０および／またはアクチュエータ４４に接続された電源５６を任意選択的に装置１２に含むか、または別個の構成要素として設けることができる。代替的に、電力は装置１２から分離された電源から引き込むか、またはバス３０を介して受け取ることができる。一部の実施形態は、ピーク力を加えることができることを確実にするために、（参照によってここに組み込む米国特許第５９２９６０７号に記載するように）装置内の電力貯蔵装置を使用することができる。代替的に、この技術をワイヤレス装置に使用することができ、その場合、触感アクチュエータを駆動するためにバッテリ電力が使用される。ユーザが安全上の理由からアクチュエータ４４の動作を停止させることを可能にするために、任意選択的に安全スイッチ５８を含めることができる。
【００２５】
ここに記載する本発明に多くの型のインタフェースまたは制御装置を使用することができる。例えば、そのようなインタフェース装置は触覚フィードバックトラックボール、ジョイスティックハンドル、ステアリングホイール、ノブ、ハンドヘルドリモートコントロール装置、ビデオゲームまたはコンピュータゲーム用のゲームパッドコントローラ、スタイラス、グリップ、ホイール、ボタン、携帯電話、ＰＤＡ、タッチパッド、または他の操作可能な物体、表面またはハウジングを含めることができる。
【００２６】
図２は、本発明に使用するのに適した装置１２のマウスの実施形態１００の側面断面図である。
【００２７】
マウス装置１００は、ハウジング１０１、センシングシステム１０２、およびアクチュエータ１０４を含む。ハウジング１０１は、ユーザが平面自由度内でマウスを移動し、ボタン１０６を操作する間、標準的マウスのようにユーザの手にフィットするように形作られる。多くの異なる実施形態では、他のハウジング形状を提供することができる。
【００２８】
センサ１０２はその平面自由度内で、たとえばＸおよびＹ軸に沿って、マウスの位置を検出する。記載する実施形態では、センサ１０２は、コンピュータシステムに方向入力を提供するために、標準的マウスボール１１０を含む。代替的に、任意選択的センサまたは他の型のセンサを使用することができる。
【００２９】
マウス装置１００は、マウスのユーザに触感などの触覚フィードバックを与えるために、一つまたはそれ以上のアクチュエータ１０４を含む。アクチュエータ１０４は、ユーザに触覚フィードバックを提供するためにハウジング１０１に接続される。一実施形態では、アクチュエータはアクチュエータによって運動する慣性質量に接続される。慣性質量の運動によって生じる慣性力は、慣性質量に対してマウスのハウジングに加えられ、それによってハウジングに触れているユーザに触感のような触覚フィードバックを伝える。一部の実施形態は、アクチュエータ自体が慣性質量として運動することができる。そのような実施形態は米国特許第６２１１８６１号および米国特許出願第０９／５８５７４１号にさらに詳しく記載されており、参照によって両方を丸ごとここに組み込む。ゲームパッド、ハンドヘルドリモートコントロール、携帯電話、ＰＤＡ等のような他の型のインタフェース装置は、慣性触感用のアクチュエータを含むことができる。
【００３０】
他の型のインタフェース装置およびアクチュエータも本発明で使用することができる。例えば、ゲームパッド、マウス、または他の装置は、装置のハウジングまたはマニピュランダムに慣性触感を提供するために、アクチュエータの回転軸に結合された偏心回転質量を含むことができる。ジョイスティック、ノブ、スクロールホイール、ゲームパッド、ステアリングホイール、トラックボール、マウス等のような他の型の触覚装置は、運動感覚力フィードバックを提供することができ、力はマニピュランダムの感知される自由度で出力される。例えば、運動感覚マウス触覚装置の実施形態は米国特許第６１００８７４号および第６１６６７２３号に開示されており、参照によって両方を丸ごとここに組み込む。
【００３１】
触覚フィードバック付きサウンド出力
本発明は、ホストコンピュータで実行される一つまたはそれ以上のアプリケーションプログラム（または他のプログラム）のサウンド出力と協調する触覚感覚の出力のユーザ経験を改善する。
【００３２】
本発明の好適な実施形態は、ホストコンピュータによって出力されるサウンド信号またはデータに基づいて触覚フィードバック装置に出力するための触覚効果を提供し、それは触覚感覚としてユーザに出力される。一部の代替実施形態では、触覚効果は、例えばマイクロホンまたはオーディオ装置からコンピュータシステムに入力されるサウンド信号内の特徴またはデータに基づいて、同様に提供することができる。サウンドの一時的特徴および特性が識別され、予め定められた触覚効果にマッピングされるか関連付けられる。これらの触覚効果に基づく触覚感覚は即座に触覚フィードバック装置１２で実行することができ、あるいはメモリに格納して任意のサウンドの「触覚プロファイル」を形成することができる。本発明の方法は、先行技術で行なわれるように単にサウンド信号を触覚感覚として出力するために触覚装置に直接送るだけではなく、種々の高レベルサウンド特徴に種々の高レベル触覚感覚を関連付け、サウンド特徴を使用して適切な触覚感覚の出力をトリガする。
【００３３】
本発明の重要な利点は、ソフトウェアアプリケーション開発者がプログラムに触覚効果をプログラミングするのに手間を掛ける必要なく、そのアプリケーションプログラム、例えばゲームにおける種々の事象に対してサウンドを出力するプログラムに強力な触覚感覚がもたらされることである。したがって、既製のどんなゲームプログラムでも、ゲームが触覚装置を制御するコードを含むか否か、あるいはそれが非触覚フィードバック装置用に開発されただけであるか否かに関係なく、触覚フィードバック装置と容易に連動させることでき、広範囲のプログラムでユーザのより強力な対話的かつ没入的経験を可能にする。さらに、本発明は、サウンド効果の型をおおよそ区別し、異なる事象に異なる触覚感覚を関連付け、ユーザのより豊かな経験を可能にする。
【００３４】
一実施形態では、ホストコンピュータで実行される低レベルドライバプログラムが、本発明の方法を実行する。他の実施形態では、ホスト（または触覚フィードバック装置のマイクロプロセッサ）で実行される他のレベルのソフトウェアが、本発明の特徴またはステップの一部または全部を実行することができる（アプリケーションプログラム、ＡＰＩ等）。本発明を実行するためのプログラム命令はハードウェア（例えば論理部品）として、または電子メモリ、磁気ディスク、光ディスク、磁気テープ等のようなコンピュータ可読媒体に格納されたソフトウェアとして格納することができる。
【００３５】
図３は、所与のサウンドデータまたはサウンド信号に基づく触覚感覚として出力される触覚効果を提供するための本発明の方法の第一実施形態２００を示す流れ図である。該方法は２０２で開始され、任意選択的ステップ２０４で、触覚効果が装置に命令されるのに、ユーザには出力されない。例えば、触覚装置１２は、装置が多数の異なる触覚効果のデータを格納することを可能にするローカルメモリを含むことができる。装置のメモリに常駐する触覚効果は、ホストコマンドを受け取ったとき、または他の条件（予め定められた時間が経過した等）に基づいて実行することができる。装置に送られたデータは、触覚効果のためのパラメータを含むことができる。例えば周期的振動効果の場合、パラメータは振動数、持続時間、大きさを含むことができる。効果はステップ２０４で装置にロードすることができ、一部の実施形態では、後のステップでより高い大きさに命令する準備として、例えば零の大きさで実行するように命令することができる。ステップ２０４は、同一セットの触覚感覚が常時ユーザに出力される実施形態に最も適している。他の実施形態では、触覚効果はそれらがユーザに出力されるときに命令することができる。
【００３６】
次のステップ２０６で、ホストコンピュータで実行されているアプリケーションプログラムまたは他のソフトウェア層またはプログラムから、または代替的に外部オーディオ装置から直接、サウンドデータを受け取る。サウンドデータはデジタルデータであることが好ましく、それは、ＭＩＤＩ、ｗａｖファイル、ｍｐ３ファイル等のデジタルサウンドサンプルのような、いずれかの標準化フォーマットとすることができる。サウンドデータはステップ２０６で、それがスピーカのようなオーディオ出力装置にも送られ、ユーザにサウンドとして出力されるときに受け取られる。一般的に、サウンドデータは、ゲームのアクションまたは事象の結果発生するゲームのサウンド効果、ゲーム開始または他の事象が発生した後で演奏されるゲームまたは他のアプリケーションプログラム内の音楽、グラフィカルユーザインタフェースの対話中の警報音、ＣＤまたはＤＶＤからの音楽の演奏、または他のサウンド事象のような、アプリケーションで発生するサウンド事象からアプリケーションプログラムによって生成される。記載した実施形態では、このステップで受け取って分析されるサウンドデータは、現在スピーカによってユーザに出力されている。したがって、後述するようにサウンドデータが処理されて、触覚感覚が出力されるときまでに、サウンドデータはすでにユーザに出力されている。しかし、少量のサウンドデータが格納されるので、サウンドと触覚の出力間には、ユーザが認識できないミリ秒単位の遅延が発生するだけである。サウンドデータ出力が事前に知らされる他の実施形態では、触覚感覚をトリガするサウンドデータと同時に、またはほぼ同時に、触覚感覚を出力することができる。
【００３７】
ステップ２０８で、受け取った予め定められた量のサウンドデータが、ホストコンピュータ１４のメモリの一時的バッファに格納される。一実施形態では、これは、迅速に処理して触覚感覚に関連付けることができるように充分に適度に小さい一方で、意味のある処理および分析ができるように充分に大きい量のデータである。一実施形態では、約１０ｍｓに匹敵するサウンドデータの部分が格納されるが、他の実施形態では異なる量を格納することができる。例えば、ホストコンピュータ上のＤｉｒｅｃｔＳｏｕｎｄまたは他のサウンド捕捉ＡＰＩを使用して、１０ｍｓのセグメントにサウンドをデジタル記録することができる。
【００３８】
ステップ２１０で、格納されたサウンドデータは処理され分析されて、どの触覚感覚を出力すべきかの決定に関連すると指定された特定のサウンド特性または特徴を識別する。すなわち、これらのサウンド特徴は、触覚感覚の出力をトリガするキューとして働く。広い意味では、本発明はインテリジェントヒューリスティックスを使用して、アプリケーションプログラムで意味を持つ可能性が高いサウンド特徴を抽出し、そのようなサウンド特徴を、抽出されたサウンド特徴およびこれらの特徴が表わしている可能性が高い事象にほぼ一致する、予め定められ事前プログラムされた触覚感覚に関連付ける。例えば、多くの現在のビデオゲームアプリケーションでありそうな事象は、爆弾、手榴弾、ミサイル等の爆発、銃またはロケット砲などの武器の発砲、車両の衝突、ぱたぱたという足音、物体が水中に飛び込む音、プレーヤに何らかのゲーム事象を警告するための警告音等であるかもしれない。これらの事象は、適切な分析後に受け取ったサウンドデータから認識できる特定のサウンド特徴を持つかもしれない。
【００３９】
多種多様な方法を使用してデータを処理することができる。一部の実施形態を図４および５に関連して以下で述べる。これらの特定の実施形態は、サウンドデータに処理を実行して、サウンドデータによって表わされる波形を、本発明に従って多数の異なる周波数範囲に分割する。各周波数範囲のサウンドは、特定のサウンド特徴について別個に分析することができる。この周波数範囲の分割は、サウンドをトリガした事象に基づいて、サウンドがしばしば異なる周波数範囲で発生するという利点を持つ。例えば、ゲームにおける爆発は低周波数のサウンドを持つかもしれないが、銃の発砲はより高い周波数音を持つかもしれない。したがって事象の型は、サウンドが位置する周波数範囲に基づいておおよそ区別することができ、以下で記述する通り、異なる触覚効果をコマンドして出力することが可能になる。
【００４０】
ひとたびサウンドデータが処理され分析されると、次のステップ２１２で、触覚コマンドが触覚装置に出力され、装置を操作するユーザに触覚感覚が出力される。触覚コマンドは、ステップ２１０で、サウンドデータに見つかったサウンド特徴がもしあれば、それに基づいてトリガされる。例えばサウンドの周波数またはサウンドの他の特性に基づいて、異なる触覚感覚を異なる型のサウンドに割り当てるために、インテリジェントヒューリスティックスを使用することができる。触覚コマンドは、装置常駐触覚効果を命令された大きさで実行開始させるかまたは実行させる。一実施形態では、ステップ２０４から装置のメモリにすでに常駐している触覚効果が、所望の触覚感覚を実現するために適切な新しいパラメータまたはデータにより変更される。代替的に、新しい触覚効果を作成し、直ちに装置によって触覚感覚として出力するように命令することができる。上で説明した通り、コマンドから結果的に生じる触覚感覚は、関連付けられるサウンド特徴がオーディオとして出力された少し後に、しかし好ましくはユーザが遅延があることを認識できないように充分に早く、出力させることができる。
【００４１】
一実施形態では、命令された触覚感覚は、関連付けられた周波数範囲のサウンドデータの大きさに比例する大きさに設定することができる。例えば、図４および５に関連して論じた実施形態では、サウンドデータをフィルタリングするかまたは５種類の周波数範囲に編成する。これらの周波数範囲の各々が、それに関連付けられた異なる触覚感覚を持つことができる。例えば、利用可能な慣性触知フィードバックマウスを使用して、異なる周波数の周期的触覚効果を各々の周波数範囲に関連付ける。したがって、例えば、６２Ｈｚ（例えば高い大きさの感覚を引き起こす触覚装置の第一共振周波数またはその付近）の触覚周波数を有する周期的触覚効果は、第一サウンド周波数範囲（例えば０Ｈｚないし１５０Ｈｚ）に関連付けられる。他の周期的触覚効果は、各々昇順に別のサウンド周波数範囲に対応する７５Ｈｚ、９０Ｈｚ、１１５Ｈｚ、および２５０Ｈｚの触覚周波数を持つことができる（他の実施形態では、他の周期的周波数を使用することができる）。これらの周期的触覚効果の各々の大きさは、関連付けられる周波数範囲のサウンドデータの大きさに比例する値に設定することができる。周囲サウンドレベルの大きさの移動平均を触覚効果生成の最小しきい値として使用することができる。例えば、特定の周波数範囲のサウンド信号がしきい値より高い大きさを持つ場合には、その周波数範囲に関連付けられた触覚効果を出力するように命令することができ、あるいは零レベルより上の大きさを持つように命令することができる。
【００４２】
したがって、上に提示した方法は、サウンドデータによって表わされる異なる周波数範囲のサウンド信号の対応する変動する大きさに基づいて、５種類の触覚効果の大きさを変動させる。一部のサウンドが全ての周波数範囲に成分を有する場合、これは５種類の触覚効果を一度に出力させることができる。しかし、幾つかの周波数範囲にまたがって広がる多くのサウンド特徴は短時間続くので、ユーザは、異なる周波数の歪みではなく、短い振動または一続きのパルスを知覚するだけである。他のより長く持続するサウンド効果は一つまたは二つの周波数範囲のみに集中させることができ、それにより一つまたは二つの触覚効果が同時に出力される（他の周波数範囲の触覚効果は零の大きさに設定される）。したがって、ユーザは大まかにサウンド効果の周波数に対応する触覚を体感する。これについては、図４に関連しても述べる。
【００４３】
したがって、特定の周波数範囲または帯域に関連付けられる触覚感覚の振幅は、上述した通り、その周波数帯域のサウンド信号の大きさレベルに直接対応させることができる。この連続触覚出力に加えて、サウンド信号の振幅の突然のスパイクを、連続振動感覚上に重ねることができる追加的衝撃、パルス、または他の短く強力な触覚感覚にマッピングすることができる。
【００４４】
他の実施形態では、ステップ２１０のサウンドデータの処理および分析に基づき、かつインテリジェントヒューリスティックスに基づき、より高度の触覚感覚を出力することができる。ゲームのような多くのアプリケーションでは、サウンドの型は、それが主として位置する周波数範囲に基づいて決定することができる。これはより高度なマッピングスキームを可能にし、そこでは完全に異なる触覚感覚を異なるサウンド周波数範囲にマッピングすることができる。これについては、図５に関連しても述べる。
【００４５】
例えば、ビデオゲームアプリケーションで武器発砲が高周波サウンドの突然のバーストに関連付けられることがしばしばある。この字術をインテリジェントヒューリスティックスとして使用して、ステップ２１０でゲームからのサウンド出力データを分析し、高周波サウンドが出力されたことを示す特徴を識別することができる。例えば、サウンドの振幅の突然のバーストまたはスパイクが無いか、特定の周波数範囲を検査することができる。ステップ２１２で、サウンド中で見つかったサウンドバーストに基づいて、武器発砲に関連付けられた触覚感覚を出力するように、インテリジェントに命令することができる。一部の実施形態では、サウンドおよび触覚感覚を実行されている間に、触覚感覚をすぐさま変更することができ、そこで触覚感覚の大きさおよび持続時間は、サウンドバーストの大きさ、バーストの持続時間、および／またはバーストの固有周波数成分に基づいて、連続的に調整される。
【００４６】
一部の実施形態では、サウンド特徴に対し、サウンド特徴の詳細に基づいて全く異なる触覚プロファイルを選択することができ、そこでサウンド特性と触覚効果との間の事前にプログラムされたマッピングが参照される（例えばルックアップテーブルまたはデータテーブルをメモリに格納することができる）。例えば、非常に異なる周波数範囲のサウンドバーストが、全く異なる触覚感覚をトリガすることができる。例えば、ビデオゲーム内の低周波のサウンドバーストを一人物の足音とすることができる。低周波振動または波状力のような適切な触覚感覚をそのサウンド特徴にマッピングすることができる。
【００４７】
一部のゲームまたは他のプログラムは、同様の事象に対して同様のサウンド効果を出力ことができ、上述した通り、おおよそのマッピングが可能になる。しかし、他のゲームまたはプログラムは、同様に響くサウンドを異なる事象に関連付けることができる。したがって、一実施形態では、特定のルックアップテーブルまたは他のマッピングデータを各々の個別ゲーム（または他のアプリケーションプログラム）に関連付けることができる。該テーブルを使用して、本発明の方法はテーブル上で、どのゲームが実行されているかを識別し、次いでそのゲームのサウンド特性とテーブルの作者によって割り当てられた触覚感覚との間の適切なマッピングを見つけることができる。これにより、特定のゲーム用に仕立てられたヒューリスティックスの調整が可能になり、より正確なマッピングが使用可能になる。これは、ゲーム自体に触覚効果またはマッピングを組み込む必要がなく、現在入手可能なゲームのサウンド出力に基づく触覚マッピングを含むドライバの更新の生産を触覚装置の製造者に依存する開発者にとって有利になり得る。
【００４８】
代替実施形態では、見つかったサウンド特徴に関連付けられる触覚効果はすぐにはユーザに触覚感覚として出力されず、代わりにメモリの格納されて所与のサウンドの「触覚プロファイル」を形成する。これは、触覚効果の設計を支援するのに使用することができる。例えば、サウンドファイルはロードすることができ、ユーザはグラフィカルユーザインタフェースでコントロールを選択して、本発明の方法でサウンドに対応する複合触覚効果を生成させることができる。次いで、生成された複合触覚効果を命令することによって、生成された触覚効果（または触覚の大きさ、力値等）をプログラム内で使用することができる。代替的に、触覚プロファイル（生成された効果）は新しい触覚効果プリミティブになることができ、開発者はこのプリミティブに基づいて新しい効果を生成することが可能になる。例えば周期的効果、テクスチャ、一時的プロファイル等を作成することができる。
【００４９】
例えばゲームは何百ものサウンド効果を持つことができる。本発明の方法は、ゲームのサウンドファイルをロードし、標準化フォーマット（カリフォルニア州サンノゼのイマージョン・コーポレーションによって作成されたプロトコルで使用される．ｉｆｒファイルのような）のサウンドデータから触覚効果を生成するように指示することができる。したがって、開発者は各触覚効果を手動で作成する必要が無く、大量の開発時間の節約になる。設計者もまた生成された触覚効果を検討し、希望するならば、それらを編集することができる。これは、自分のゲームにコードを追加して触覚装置に伝統的な方法で触覚効果を命令することを希望するが、適切な触覚効果の設計に大量の時間を費やしたくない開発者にとって有利である。
【００５０】
触覚感覚の出力後、該方法はステップ２０６に戻って、さらなるサウンドデータを受け取るかどうか検査する。受け取る場合、サウンドデータの次の部分が、上述したように処理される。それ以上サウンドデータを受け取らない場合、プロセスは２４２で終了する（次にサウンドデータが出力されたときに再び始動する）。
【００５１】
図４は、バッファに格納されたサウンドデータが処理され分析される、図３のステップ２１０の一実施形態を示す流れ図である。該方法は２７０で開始され、ステップ２７２で、格納されたサウンドデータが複数のフィルタに通されて、異なる周波数範囲を分離する。例えば、上記の例で説明したようにサウンドデータを五つの周波数範囲に分割する場合、低域通過フィルタ、高域通過フィルタ、および三つの帯域通過フィルタを使用することができる。一例として、低域通過フィルタは０〜１７０Ｈｚ以外の周波数の全てのデータを除去することができ、第一の帯域通過フィルタは１７０〜４３０Ｈｚ以外の全周波数を除去することができ、第二の帯域通過フィルタは４３０Ｈｚ〜２ｋＨｚ以外の全周波数を除去することができ、第三の帯域通過フィルタは２〜１０ｋＨｚ以外の全周波数を除去することができ、高域通過フィルタは１０ｋＨｚより低い全周波数を除去することができる。
【００５２】
ステップ２７４で、各々のフィルタ出力からのサウンドの大きさの移動平均が維持される。これは、コンピュータから出力される周囲サウンドを平均化して、周囲レベルより大きいサウンドだけが触覚感覚をトリガすることを可能にする。次のステップ２７６で、フィルタ出力の大きさが、ユーザが使用している触覚装置１２に要求される範囲にスケーリングされる。したがって、先行技術のように実際のフィルタ出力を使用して触覚感覚を生成するのではなく、フィルタ出力に基づいて新しい触覚コマンドおよび効果が生成される。
【００５３】
一部の実施形態では、各フィルタの出力の大きさの二乗をスケーリングすることができる。これは、一部の実施形態で、各周波数範囲のサウンドデータ内でより大きいピークまたはスパイクだけを抽出して、多すぎる検出ピークから発生する装置の持続される轟音／振動を低減するのにより効率的であるかもしれない。
【００５４】
次のステップ２７８で、周期的触覚効果が各々のフィルタの出力に割り当てられる。周期的効果は各々、各フィルタに見つかったスケーリングされた大きさに等しい大きさを割り当てられる。フィルタに出力が無い場合、すなわちその周波数範囲のサウンドがサウンドデータに存在しない場合、またはフィルタの出力が予め定められたしきい振幅を超えない場合には、その周波数範囲に割り当てられた触覚効果には零の大きさが割り当てられる。周期的感覚は各々、対応するサウンド周波数を伝達するのに効果的であることが判明した五つの触覚周波数のうちの一つを持つことができる。振動など、そのような周期的触覚は、慣性触知感覚を提供するゲームパッドまたはマウスなどの触知装置に非常によく適している。振動は運動感覚フィードバック装置によって出力することもできる。上で決定されスケーリングされた大きさに基づく大きさを持つ、他の型の触覚感覚も運動感覚装置の実施形態によって出力することができる。割り当てられる触覚感覚の型は、ポップ、衝撃、跳びはね、ダンピング等のように、異なる実施形態では異なることができ、またスケーリングされた大きさに基づく大きさを持って出力することができる。例えば事前にプログラムされたマッピングを参照してマップされた触覚効果を割り当てることができる。
【００５５】
該方法は次いで２８０で終了する。割り当てられた周期的触覚は、図３の次のステップ２１２で使用することができ、そこで触覚フィードバック装置に触覚効果を命令することによって、触覚感覚がユーザに出力される。
【００５６】
図５は、バッファに格納されたサウンドデータが処理され分析される、図３のステップ２１０の異なる実施形態２１０’を示す流れ図である。該方法は２９０で開始され、ステップ２９２でサウンドデータに高速フーリエ変換（ＦＦＴ）が実行され、データは、データの周波数スペクトルの異なる周波数成分にフィルタリングされる。周波数成分は各々、ＦＦＴによって出力される成分の数およびカバーされる全体的周波数範囲に基づく周波数範囲をスパンする。例えば、ＦＦＴが５１２個の出力を持ち、サウンドデータの全体的周波数範囲が約２２ｋＨｚである場合、各ＦＦＴ出力周波数成分は２２ｋＨｚ／５１２＝約４３Ｈｚの周波数範囲を有する。次いでこれらの周波数成分が集団化され、合計して所望の周波数範囲になる。例えば、図４の実施形態と同様の五つの周波数範囲を達成するために、四つの成分を結合して０〜１７０Ｈｚの第一の周波数範囲をカバーすることができ、六つの成分で１７０〜４３０Ｈｚの範囲をカバーし、３７個の成分で４３０Ｈｚ〜２ｋＨｚの範囲をカバーし、１８５個の成分で２ｋＨｚ〜１０ｋＨｚの範囲をカバーし、２５６個の成分で１０〜２２ｋＨｚの範囲をカバーする。他の実施形態では、他の周波数範囲および成分を使用することができる。
【００５７】
次のステップ２９４で、該方法は、ステップ２９２で集団化された周波数範囲のいずれかが予め定められた特性を持つか否かを検査する。これらの特性は、触覚感覚の出力をトリガするのに充分に有意のサウンドデータ内の特徴である。一実施形態では、各周波数範囲に対して平均振幅が維持され、振幅のスパイクが探索される。平均振幅の３〜４倍の振幅のスパイクが見つかると、それは有意とみなされ、触覚効果がその特徴に割り当てられるか、またはその特徴によってトリガされる。
【００５８】
予め定められた特性が見つかると、プロセスはステップ２９６に進み、予め定められた特性を持つこれらの周波数範囲に触覚効果を割り当て、プロセスは２９８で終了し、該方法は図３のステップ２１２に戻る。ステップ２９４で、所望の特性を持つ周波数範囲が見つからない場合には、プロセスは２９８で終了し、該方法は図３のステップ２１２に戻る。
【００５９】
所望の特性を持つ周波数範囲に割り当てられる触覚効果は、幾つかの異なる型のいずれかとすることができ、かつ／または異なるパラメータを持つことができ、対応するサウンドデータの大きさに比例する大きさを持つ必要は無い。例えば、いずれかの抽出されたサウンド特徴（振幅の上昇のような）に衝撃、パルス、またはデテントをマッピングすることができる。衝撃またはデテントの大きさは、振幅スパイクが見つかった周波数範囲に基づくことができる。例えば、低周波数範囲に高い大きさの触覚感覚を割り当てることができる（またはその逆も然り）。周期的感覚、方向感覚（装置の自由度で特定の方向に力を出力できる触覚装置の場合）、跳びはね感覚、ダンピング感覚等を異なる周波数範囲にマッピングすることができる。一実施形態では、増大するサウンドデータの振幅に対応して触覚感覚の大きさを増大することができ、次いで触覚振幅を自動的に零レベルまで低下させることができる。再び、サウンド特徴と触覚感覚との間の事前プログラムされたマッピングを参照することができる。
【００６０】
図５の実施形態のＦＦＴ出力は、図４の実施形態のフィルタ出力より効率的であり、より多くの情報を提供する傾向がある。例えば、ＦＦＴは、振幅のスパイクがどこで発生するか、サウンド信号における波または特徴の位相オフセット等に関し、より詳細な周波数情報を提供することができる。また、図５について上述した異なる型の触覚感覚の割当またはトリガを、図４の実施形態でも実行することができ、また図４のサウンド振幅に比例する触覚感覚の大きさを図５の実施形態で実施することができることにも注目されたい。
【００６１】
一部のアプリケーションでは、ゲーム内のサウンド効果だけが触覚感覚をトリガして出力させるように、ゲームアプリケーション中の背景音楽のような周囲の背景サウンドを無視することができる。しばしば、サウンド効果の大きさは背景音楽の振幅よりずっと高く、平均振幅より上のサウンド効果をスパイクとして見出すことができる。他の状況では、背景音楽を無視し、サウンド効果をオーディオデータの型によって処理することができる。例えば、背景音楽がＭＩＤＩフォーマットであり、サウンド効果が．ｗａｖファイルである場合、ＭＩＤＩデータを無視し、ｗａｖデータを本発明によって処理して触覚感覚を提供することができる。
【００６２】
一部の実施形態は、サウンドデータをどのように分析するか、触覚効果をどのように割り当てるか、および触覚感覚をどのように出力するかを調節することのできる選好を、例えば触覚効果の強度、サウンド特徴を認識するための振幅の最低しきいレベル（例えば、背景音楽をゲームでよりよく無視することができるように）を、ユーザに入力させることができる。
【００６３】
本発明はまた、ゲーム以外の他の型のアプリケーションプログラムでも使用することができる。例えば、ユーザがオーディオ出力を聞きながら触覚装置に触れている場合に、音楽の拍子、持続される響き、スピーチの特徴等のようなオーディオの特徴をユーザが触覚的に経験することができるように、オーディオ出力に触覚感覚を加えることによって、ストリーミングオーディオのユーザの経験を増強することができる。さらに、本発明は、例えばインターネットのようなネットワークを介してストリーミングビデオと一緒に出力されるサウンドトッラクにも使用することができる。
【００６４】
本発明を幾つかの好適な実施形態に関して説明したが、その変形、並べ替え、および均等物は、本明細書を読み、図面を検討することにより、当業者には明らかになるであろう。例えば、ジョイスティック、ステアリングホイール、ゲームパッド、及びリモートコントロールを含む触覚フィードバック装置の多くの様々な実施形態を使用して、本書で記述した触覚感覚を出力することができる。さらに、特定の用語法を使用したのは説明を分かり易くするためであって、本発明を限定するためではない。
【図面の簡単な説明】
【００６５】
【図１】本発明に使用するのに適した触覚フィードバックシステムの一実施形態を示すブロック図である。
【図２】本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
【図３】提供されたサウンドデータに基づいて触覚感覚として出力される触覚効果をもたらすための本発明の方法の第一実施形態を示す流れ図である。
【図４】バッファに格納されたサウンドデータを処理して分析する図３のステップの一実施形態を示す流れ図である。
【図５】バッファに格納されたサウンドデータを処理して分析する図３のステップの別の実施形態を示す流れ図である。
Claims (28)
- コンピュータから出力されるサウンドで検出されるサウンド特徴から触覚感覚をトリガするための方法において、前記触覚感覚は前記コンピュータと通信している触覚フィードバック装置のユーザに送ることができ、
前記コンピュータ上で実行されているアプリケーションプログラムからオーディオとしてユーザに出力されるサウンドデータの一部分を、前記コンピュータのメモリバッファに格納するステップと、
インテリジェントヒューリスティックスを使用して前記部分のサウンドデータを分析して、前記部分のサウンドデータから少なくとも一つのサウンド特徴を抽出するステップと、
前記少なくとも一つのサウンド特徴に基づいて少なくとも一つの触覚効果の実行をトリガするステップであって、前記部分のサウンドデータの前記ユーザへのオーディオとしての出力におおよそ相関される前記触覚フィードバック装置に、前記少なくとも一つの触覚効果が命令され、前記触覚効果が前記ユーザに触覚感覚を出力させるように構成されたステップと、
を含む方法。 - 前記サウンドデータの前記部分を分析する前記ステップが、前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップおよび前記周波数範囲の各々から前記サウンド特徴を抽出するステップを含む、請求項１に記載の方法。
- 前記サウンド特徴が前記周波数範囲に存在する場合、前記触覚効果が前記周波数範囲の各々に関連付けられる、請求項２に記載の方法。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、前記部分のサウンドデータに複数のフィルタを適用するステップを含む、請求項２に記載の方法。
- 前記部分のサウンドデータに少なくとも一つの低域通過フィルタ、少なくとも一つの高域通過フィルタ、および少なくとも一つの帯域通過フィルタが適用されて、少なくとも三つの周波数範囲が得られる、請求項４に記載の方法。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、高速フーリエ変換（ＦＦＴ）を使用するステップを含む、請求項２に記載の方法。
- 前記高速フーリエ変換からの多数の出力が集団化されて、前記周波数範囲の各々が得られる、請求項６に記載の方法。
- 前記周波数範囲の各々に異なる触覚感覚が関連付けられる、請求項４に記載の方法。
- 前記周波数範囲の各々に異なる周波数を有する周期的触覚感覚が関連付けられる、請求項８に記載の方法。
- 前記少なくとも一つのサウンド特徴によってトリガされる前記少なくとも一つの触覚効果が、前記少なくとも一つのサウンド特徴に事前にマッピングされている、請求項１に記載の方法。
- コンピュータによって実行されるサウンドデータに基づいて触覚効果を提供するための方法において、前記触覚効果は前記コンピュータと通信している触覚フィードバック装置のユーザに触覚感覚として出力することができ、
前記コンピュータ上で実行されているアプリケーションプログラムから出力される前記サウンドデータの一部分を、前記コンピュータのメモリバッファに格納するステップと、
インテリジェントヒューリスティックスを使用して前記部分のサウンドデータを分析して、前記部分のサウンドデータから少なくとも一つの高レベルサウンド特徴を抽出するステップであって、前記部分のサウンドデータ内の前記少なくとも一つの高レベルサウンド特徴が少なくとも一つの高レベル触覚効果に関連付けられていることから成るステップと、
前記関連付けられたサウンド特徴が前記アプリケーションプログラムによって実行されたときに、前記関連付けられた少なくとも一つの触覚効果をおおよそ出力するように命令するステップと、
を含む方法。 - 前記サウンドデータの前記部分を分析する前記ステップが、前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップおよび前記周波数範囲の各々から前記サウンド特徴を抽出するステップを含む、請求項１１に記載の方法。
- 前記触覚効果が前記サウンド特徴を有する前記周波数範囲の各々に関連付けられる、請求項１２に記載の方法。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、前記部分のサウンドデータに複数のフィルタを提供するステップを含む、請求項１２に記載の方法。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、高速フーリエ変換（ＦＦＴ）を使用するステップを含む、請求項１２に記載の方法。
- 前記高速フーリエ変換からの多数の出力が集団化されて、前記周波数範囲の各々が得られる、請求項１５に記載の方法。
- 前記周波数範囲の各々に異なる触覚効果が関連付けられる、請求項１３に記載の方法。
- 前記周波数範囲の各々に、異なる周波数範囲を有する周期的触覚効果が関連付けられる、請求項１７に記載の方法。
- 前記命令された少なくとも一つの触覚効果が、前記触覚フィードバック装置によって前記ユーザに触覚感覚として出力される、請求項１１に記載の方法。
- 前記命令された少なくとも一つの触覚効果が前記ユーザに出力されず、作成された触覚効果として前記コンピュータのメモリに格納される、請求項１１に記載の方法。
- コンピュータから前記コンピュータと通信している触覚フィードバック装置のユーザに出力されるサウンドと相関される触覚感覚を提供するためのプログラム命令を含むコンピュータ可読媒体において、前記プログラム命令を実行するステップが、
前記コンピュータ上で実行されているアプリケーションプログラムからオーディオとしてユーザに出力されるサウンドデータの一部分を、前記コンピュータのメモリバッファに格納するステップと、
前記部分のサウンドデータを分析して、前記部分のサウンドデータから少なくとも一つのサウンド特徴を抽出するステップと、
前記少なくとも一つのサウンド特徴に少なくとも一つの触覚効果を割り当てるステップであって、前記サウンドの前記部分がオーディオとしてユーザに出力されるおおよその間に、前記少なくとも一つの触覚効果が前記触覚フィードバック装置に命令され、前記触覚効果が触覚感覚を前記ユーザに出力させるように構成されたステップと、
を含むコンピュータ可読媒体。 - 前記サウンドデータの前記部分を分析する前記ステップが、前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップおよび前記周波数範囲の各々から前記サウンド特徴を抽出するステップを含む、請求項２１に記載のコンピュータ可読媒体。
- 前記サウンド特徴が前記周波数範囲に存在する場合、前記周波数範囲の各々に触覚効果が関連付けられる、請求項２２に記載のコンピュータ可読媒体。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、前記部分のサウンドデータに複数のフィルタを適用するステップを含む、請求項２２に記載のコンピュータ可読媒体。
- 前記サウンドデータを処理して複数の異なる周波数範囲に分割するステップが、高速フーリエ変換（ＦＦＴ）を使用するステップを含む、請求項２２に記載のコンピュータ可読媒体。
- 前記周波数範囲の各々が異なる触覚感覚に関連付けられる、請求項２４に記載のコンピュータ可読媒体。
- 前記触覚フィードバック装置に命令された前記少なくとも一つの触覚効果が事前に前記少なくとも一つのサウンド特徴にマッピングされている、請求項２１に記載のコンピュータ可読媒体。
- コンピュータから出力されるサウンド内で検出されるサウンド特徴から触覚感覚をトリガするための装置において、前記触覚感覚は前記コンピュータと通信している触覚フィードバック装置のユーザに送ることができ、
前記コンピュータ上で実行されるアプリケーションプログラムからオーディオとしてユーザに出力されるサウンドデータの一部分を、前記コンピュータのメモリバッファに格納するための手段と、
インテリジェントヒューリスティックスを使用して前記部分のサウンドデータを分析して、前記部分のサウンドデータから少なくとも一つのサウンド特徴を抽出するための手段と、
前記少なくとも一つのサウンド特徴に基づいて少なくとも一つの触覚効果の実行をトリガするための手段であって、前記少なくとも一つの触覚効果が、前記部分のサウンドデータの前記ユーザへのオーディオとしての前記出力におおよそ相関される前記触覚フィードバック装置に命令され、前記触覚効果が触覚感覚を前記ユーザに出力させるように構成された手段と、
を含む装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/974,759 US7623114B2 (en) | 2001-10-09 | 2001-10-09 | Haptic feedback sensations based on audio output from computer devices |
| PCT/US2002/031979 WO2003032289A1 (en) | 2001-10-09 | 2002-10-08 | Haptic feedback sensations based on audio output from computer devices |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011055834A Division JP5319719B2 (ja) | 2001-10-09 | 2011-03-14 | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005506613A true JP2005506613A (ja) | 2005-03-03 |
| JP2005506613A5 JP2005506613A5 (ja) | 2006-01-05 |
Family
ID=25522407
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003535176A Pending JP2005506613A (ja) | 2001-10-09 | 2002-10-08 | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
| JP2011055834A Expired - Fee Related JP5319719B2 (ja) | 2001-10-09 | 2011-03-14 | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011055834A Expired - Fee Related JP5319719B2 (ja) | 2001-10-09 | 2011-03-14 | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
Country Status (8)
| Country | Link |
|---|---|
| US (3) | US7623114B2 (ja) |
| EP (1) | EP1438706B1 (ja) |
| JP (2) | JP2005506613A (ja) |
| KR (1) | KR100925293B1 (ja) |
| CN (2) | CN100445930C (ja) |
| AT (1) | ATE400032T1 (ja) |
| DE (1) | DE60227398D1 (ja) |
| WO (1) | WO2003032289A1 (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005071157A (ja) * | 2003-08-26 | 2005-03-17 | Yamaha Corp | ポインティングデバイス |
| JP2009072600A (ja) * | 2007-09-21 | 2009-04-09 | Sony Computer Entertainment America Inc | 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 |
| JP2009533714A (ja) * | 2006-04-13 | 2009-09-17 | イマージョン コーポレーション | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
| JP2010519649A (ja) * | 2007-02-20 | 2010-06-03 | イマーション コーポレーション | 記憶された効果を有する触覚フィードバックシステム |
| JP2012168947A (ja) * | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
| US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| JP2013161473A (ja) * | 2012-02-03 | 2013-08-19 | Immersion Corp | 波形を利用した音響−触覚効果変換システム |
| US8761915B2 (en) | 2006-04-13 | 2014-06-24 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
| JP2014174985A (ja) * | 2013-03-05 | 2014-09-22 | Immersion Corp | ハプティック効果の自動適合 |
| JP2014204445A (ja) * | 2013-04-09 | 2014-10-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | オフラインハプティック変換システム |
| JP2015053047A (ja) * | 2013-09-06 | 2015-03-19 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 動的ハプティック変換システム |
| JP2015092654A (ja) * | 2013-09-06 | 2015-05-14 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚フィードバックを提供するための制御トラックを変換する方法及び装置 |
| JP2015215712A (ja) * | 2014-05-09 | 2015-12-03 | 和俊 尾花 | 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 |
| JP2015219917A (ja) * | 2014-05-20 | 2015-12-07 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚設計オーサリングツール |
| JP2016015131A (ja) * | 2014-06-16 | 2016-01-28 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | フォーリー式触覚コンテンツ作成のためのシステム及び方法 |
| JP2016045849A (ja) * | 2014-08-26 | 2016-04-04 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法 |
| US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
| US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| JP2018032236A (ja) * | 2016-08-25 | 2018-03-01 | 株式会社ファセテラピー | 触質コンテンツ生成装置および触質コンテンツ生成方法 |
| JP2018037106A (ja) * | 2012-08-31 | 2018-03-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | マッピングを用いた音をハプティック効果に変換するシステム |
| US10126917B2 (en) | 2014-08-26 | 2018-11-13 | Nintendo Co., Ltd. | Information processing device, information processing system, and recording medium |
| JP2018206427A (ja) * | 2013-09-06 | 2018-12-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法 |
| JP2019133686A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 |
| JP2019133685A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
| JP2019145171A (ja) * | 2013-09-06 | 2019-08-29 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 分割および合成を用いたハプティック変換システム |
| JP2020537796A (ja) * | 2017-09-15 | 2020-12-24 | フォース・ディメンション・エスアーエルエル | 振動触覚をフィードバックする方法およびデバイス |
| US10908773B2 (en) | 2014-08-26 | 2021-02-02 | Nintendo Co., Ltd. | Home screen settings for information processing device and information processing system, and recording medium therefor |
| KR20210088264A (ko) * | 2020-01-06 | 2021-07-14 | 김수영 | 음향을 촉각 효과로 변환하는 시스템 및 방법 |
| JP2022521398A (ja) * | 2019-02-19 | 2022-04-07 | ドンウン アナテック カンパニー リミテッド | オーディオ信号パターンを用いたハプティック信号発生方法および装置 |
| JP2022063332A (ja) * | 2018-07-10 | 2022-04-21 | 株式会社ソニー・インタラクティブエンタテインメント | コントローラ装置、及びその制御方法 |
| WO2022131343A1 (ja) * | 2020-12-18 | 2022-06-23 | 株式会社Ｊｖｃケンウッド | 情報提供装置、情報提供方法、およびプログラム |
Families Citing this family (233)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7091948B2 (en) * | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
| US6429846B2 (en) | 1998-06-23 | 2002-08-06 | Immersion Corporation | Haptic feedback for touchpads and other touch controls |
| US6822635B2 (en) | 2000-01-19 | 2004-11-23 | Immersion Corporation | Haptic interface for laptop computers and other portable devices |
| US7877243B2 (en) * | 2001-07-16 | 2011-01-25 | Immersion Corporation | Pivotable computer interface |
| US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
| US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
| US7369115B2 (en) * | 2002-04-25 | 2008-05-06 | Immersion Corporation | Haptic devices having multiple operational modes including at least one resonant mode |
| US8830161B2 (en) * | 2002-12-08 | 2014-09-09 | Immersion Corporation | Methods and systems for providing a virtual touch haptic effect to handheld communication devices |
| US8803795B2 (en) | 2002-12-08 | 2014-08-12 | Immersion Corporation | Haptic communication devices |
| US8059088B2 (en) * | 2002-12-08 | 2011-11-15 | Immersion Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
| US8008561B2 (en) * | 2003-01-17 | 2011-08-30 | Motorola Mobility, Inc. | Audio file format with mapped lighting effects and method for controlling lighting effects using an audio file format |
| US8841847B2 (en) | 2003-01-17 | 2014-09-23 | Motorola Mobility Llc | Electronic device for controlling lighting effects using an audio file |
| JP4310127B2 (ja) * | 2003-04-14 | 2009-08-05 | アルプス電気株式会社 | 力覚付与型入力装置 |
| US7966034B2 (en) * | 2003-09-30 | 2011-06-21 | Sony Ericsson Mobile Communications Ab | Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device |
| US20060066569A1 (en) * | 2003-12-08 | 2006-03-30 | Immersion Corporation, A Delaware Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
| US7982711B2 (en) * | 2003-12-19 | 2011-07-19 | Immersion Corporation | Haptic profiling system and method |
| US7742036B2 (en) * | 2003-12-22 | 2010-06-22 | Immersion Corporation | System and method for controlling haptic devices having multiple operational modes |
| US7791588B2 (en) * | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
| US20070257530A1 (en) * | 2006-05-08 | 2007-11-08 | Florez Richard E | Video game chair |
| US20080111408A1 (en) * | 2004-02-03 | 2008-05-15 | Raymond Jamie Duran | Video Game Chair |
| US7765333B2 (en) * | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
| US8115091B2 (en) * | 2004-07-16 | 2012-02-14 | Motorola Mobility, Inc. | Method and device for controlling vibrational and light effects using instrument definitions in an audio file format |
| US20060017691A1 (en) * | 2004-07-23 | 2006-01-26 | Juan Manuel Cruz-Hernandez | System and method for controlling audio output associated with haptic effects |
| CN100585546C (zh) * | 2004-08-02 | 2010-01-27 | 皇家飞利浦电子股份有限公司 | 数据处理系统、压力敏感触摸屏以及便于用户与数据处理系统相互作用的方法 |
| US20110191674A1 (en) * | 2004-08-06 | 2011-08-04 | Sensable Technologies, Inc. | Virtual musical interface in a haptic virtual environment |
| US20100312129A1 (en) | 2005-01-26 | 2010-12-09 | Schecter Stuart O | Cardiovascular haptic handle system |
| WO2007030603A2 (en) | 2005-09-08 | 2007-03-15 | Wms Gaming Inc. | Gaming machine having display with sensory feedback |
| US8700791B2 (en) * | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
| WO2007117418A2 (en) | 2006-03-31 | 2007-10-18 | Wms Gaming Inc. | Portable wagering game with vibrational cues and feedback mechanism |
| EP3287874A1 (en) * | 2006-04-06 | 2018-02-28 | Immersion Corporation | Systems and methods for enhanced haptic effects |
| WO2008054856A2 (en) * | 2006-04-14 | 2008-05-08 | The Regents Of The University California | Novel enhanced haptic feedback processes and products for robotic surgical prosthetics |
| KR20090057268A (ko) | 2006-08-24 | 2009-06-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 햅틱 여기를 발생하기 위해 오디오 신호 및/또는 비디오 신호를 처리하기 위한 디바이스 및 방법 |
| KR20080029676A (ko) * | 2006-09-29 | 2008-04-03 | 한국전자통신연구원 | 접촉 감각 정보 제공 장치 |
| EP1936929A1 (en) * | 2006-12-21 | 2008-06-25 | Samsung Electronics Co., Ltd | Haptic generation method and system for mobile phone |
| WO2008151642A1 (en) * | 2007-06-12 | 2008-12-18 | Nokia Corporation | Directing shoe insole |
| EP2167008B1 (en) * | 2007-06-18 | 2017-03-15 | Brock Seiler | Vibrating footwear device and entertainment system for use therewith |
| JP4931240B2 (ja) * | 2007-09-13 | 2012-05-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像の認識を支援するシステム |
| US8073676B2 (en) * | 2007-09-21 | 2011-12-06 | Sony Computer Entertainment Inc. | Method and apparatus for emulation enhancement |
| US20090088220A1 (en) * | 2007-10-01 | 2009-04-02 | Sony Ericsson Mobile Communications Ab | Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators |
| US9019087B2 (en) | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
| US7911328B2 (en) * | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
| KR100930835B1 (ko) * | 2008-01-29 | 2009-12-10 | 한국과학기술원 | 음향 재생 장치 |
| US9513704B2 (en) | 2008-03-12 | 2016-12-06 | Immersion Corporation | Haptically enabled user interface |
| CA2719428A1 (en) * | 2008-03-27 | 2009-10-01 | Bbs Denmark A/S | A secure keypad system |
| US20090259359A1 (en) * | 2008-04-09 | 2009-10-15 | David Michael Whitton | Variable intensity haptic level control based on vehicle conditions |
| EP3206381A1 (en) | 2008-07-15 | 2017-08-16 | Immersion Corporation | Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging |
| EP2321019B1 (en) * | 2008-08-11 | 2019-04-10 | Immersion Corporation | A haptic enabled gaming peripheral for a musical game |
| US7969287B2 (en) * | 2008-08-18 | 2011-06-28 | Visteon Global Technologies, Inc. | Haptic effect control system |
| KR100891120B1 (ko) * | 2008-09-01 | 2009-04-03 | 그로위드(주) | 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치 |
| US9639187B2 (en) * | 2008-09-22 | 2017-05-02 | Apple Inc. | Using vibration to determine the motion of an input device |
| US8749495B2 (en) * | 2008-09-24 | 2014-06-10 | Immersion Corporation | Multiple actuation handheld device |
| US9400555B2 (en) * | 2008-10-10 | 2016-07-26 | Internet Services, Llc | System and method for synchronization of haptic data and media data |
| CN102272702A (zh) * | 2008-11-04 | 2011-12-07 | 拜尔材料科学股份公司 | 用于触觉反馈装置的电活性聚合物换能器 |
| GB2466242B (en) * | 2008-12-15 | 2013-01-02 | Audio Analytic Ltd | Sound identification systems |
| US9185492B2 (en) * | 2009-04-10 | 2015-11-10 | Immerz, Inc. | Systems and methods for acousto-haptic speakers |
| US20110063218A1 (en) * | 2009-09-15 | 2011-03-17 | International Business Machines Corporation | Embedded omni-directional pointer component for limited form factor computing devices |
| US8605053B2 (en) * | 2009-12-02 | 2013-12-10 | Analog Devices, Inc. | Method and device for detecting user input |
| KR20110074333A (ko) * | 2009-12-24 | 2011-06-30 | 삼성전자주식회사 | 휴대 단말의 진동 발생 방법 및 장치 |
| US20110248930A1 (en) * | 2010-04-08 | 2011-10-13 | Research In Motion Limited | Portable electronic device and method of controlling same to provide tactile feedback |
| EP2575622B1 (en) * | 2010-06-03 | 2016-04-27 | B-K Medical ApS | Control device |
| US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
| WO2012061840A1 (en) * | 2010-11-05 | 2012-05-10 | Georgia Tech Research Corporation | Haptic systems, devices, and methods using transmission of pressure through a flexible medium |
| US11314344B2 (en) * | 2010-12-03 | 2022-04-26 | Razer (Asia-Pacific) Pte. Ltd. | Haptic ecosystem |
| US8942828B1 (en) | 2011-04-13 | 2015-01-27 | Stuart Schecter, LLC | Minimally invasive cardiovascular support system with true haptic coupling |
| CN102208138A (zh) * | 2011-05-23 | 2011-10-05 | 南京航空航天大学 | 基于纹理触觉再现的学习和认知系统 |
| US20120302323A1 (en) | 2011-05-23 | 2012-11-29 | Wms Gaming Inc. | Haptic gaming chairs and wagering game systems and machines with a haptic gaming chair |
| US9083821B2 (en) * | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
| US9142083B2 (en) | 2011-06-13 | 2015-09-22 | Bally Gaming, Inc. | Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair |
| CN102843334A (zh) * | 2011-06-20 | 2012-12-26 | 华为技术有限公司 | 在线应用的交互方法、服务器、客户端设备和系统 |
| US10013857B2 (en) * | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
| EP3321780A1 (en) | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
| US10013082B2 (en) | 2012-06-05 | 2018-07-03 | Stuart Schecter, LLC | Operating system with haptic interface for minimally invasive, hand-held surgical instrument |
| US9063570B2 (en) * | 2012-06-27 | 2015-06-23 | Immersion Corporation | Haptic feedback control system |
| US9030428B2 (en) * | 2012-07-11 | 2015-05-12 | Immersion Corporation | Generating haptic effects for dynamic events |
| CA2882453C (en) | 2012-08-27 | 2021-07-20 | Universite Du Quebec A Chicoutimi | Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon |
| US9116546B2 (en) * | 2012-08-29 | 2015-08-25 | Immersion Corporation | System for haptically representing sensor input |
| CN102929386B (zh) * | 2012-09-16 | 2019-01-25 | 吴东辉 | 一种动感重现虚拟现实的方法及系统 |
| US9092059B2 (en) | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
| US8947216B2 (en) | 2012-11-02 | 2015-02-03 | Immersion Corporation | Encoding dynamic haptic effects |
| US9898084B2 (en) | 2012-12-10 | 2018-02-20 | Immersion Corporation | Enhanced dynamic haptic effects |
| DE102012223007A1 (de) * | 2012-12-13 | 2014-06-18 | Hilti Aktiengesellschaft | Handgeführtes oder halbstationäres Werkzeuggerät und Verfahren zum Betreiben eines derartigen Werkzeuggeräts |
| KR101427993B1 (ko) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 |
| US9261960B2 (en) | 2013-01-24 | 2016-02-16 | Immersion Corporation | Haptic sensation recording and playback |
| US9098984B2 (en) * | 2013-03-14 | 2015-08-04 | Immersion Corporation | Haptic effects broadcasting during a group event |
| US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
| US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
| KR101666393B1 (ko) * | 2013-03-27 | 2016-10-14 | 한국전자통신연구원 | 음향효과를 이용한 촉각효과 재생 장치 및 방법 |
| GB2513884B (en) | 2013-05-08 | 2015-06-17 | Univ Bristol | Method and apparatus for producing an acoustic field |
| US9519346B2 (en) | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
| US9274603B2 (en) * | 2013-05-24 | 2016-03-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
| CN105452992B (zh) | 2013-05-30 | 2019-03-08 | Tk控股公司 | 多维触控板 |
| TWI557596B (zh) | 2013-08-19 | 2016-11-11 | 瑞昱半導體股份有限公司 | 具有觸感補償功能之音訊裝置及音訊使用方法 |
| US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
| US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
| US9245429B2 (en) * | 2013-09-06 | 2016-01-26 | Immersion Corporation | Haptic warping system |
| US9158379B2 (en) | 2013-09-06 | 2015-10-13 | Immersion Corporation | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns |
| US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
| US10599218B2 (en) * | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
| CN105612476B (zh) | 2013-10-08 | 2019-09-20 | Tk控股公司 | 自校准的触知触觉多触摸多功能开关面板 |
| US10328344B2 (en) * | 2013-10-11 | 2019-06-25 | Valve Corporation | Game controller systems and methods |
| US9783137B2 (en) * | 2013-10-30 | 2017-10-10 | Powervoice Co., Ltd. | Sound QR system for vehicular services |
| US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
| US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
| US9349378B2 (en) * | 2013-11-19 | 2016-05-24 | Dolby Laboratories Licensing Corporation | Haptic signal synthesis and transport in a bit stream |
| US9671826B2 (en) * | 2013-11-27 | 2017-06-06 | Immersion Corporation | Method and apparatus of body-mediated digital content transfer and haptic feedback |
| US10437341B2 (en) | 2014-01-16 | 2019-10-08 | Immersion Corporation | Systems and methods for user generated content authoring |
| FR3017220B1 (fr) * | 2014-01-31 | 2017-11-03 | Dav | Dispositif de retour sensitif pour vehicule automobile et procede de generation d'un retour sensitif |
| JP2015166890A (ja) * | 2014-03-03 | 2015-09-24 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
| JP2015170174A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
| KR20150110356A (ko) | 2014-03-21 | 2015-10-02 | 임머숀 코퍼레이션 | 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들 |
| US9886710B2 (en) * | 2014-03-25 | 2018-02-06 | Ebay Inc. | Data mesh visualization |
| WO2015171452A1 (en) * | 2014-05-09 | 2015-11-12 | Sony Computer Entertainment Inc. | Scheme for embedding a control signal in an audio signal using pseudo white noise |
| US9928728B2 (en) | 2014-05-09 | 2018-03-27 | Sony Interactive Entertainment Inc. | Scheme for embedding a control signal in an audio signal using pseudo white noise |
| JP6327417B2 (ja) * | 2014-05-30 | 2018-05-23 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 |
| US9613506B2 (en) * | 2014-05-30 | 2017-04-04 | Apple Inc. | Synchronization of independent output streams |
| US9913033B2 (en) | 2014-05-30 | 2018-03-06 | Apple Inc. | Synchronization of independent output streams |
| JP2015231098A (ja) * | 2014-06-04 | 2015-12-21 | ソニー株式会社 | 振動装置、および振動方法 |
| WO2016007426A1 (en) * | 2014-07-07 | 2016-01-14 | Immersion Corporation | Second screen haptics |
| KR101641418B1 (ko) * | 2014-07-25 | 2016-07-20 | 포항공과대학교 산학협력단 | 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치 |
| US10186138B2 (en) | 2014-09-02 | 2019-01-22 | Apple Inc. | Providing priming cues to a user of an electronic device |
| GB2530036A (en) | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
| US10466826B2 (en) | 2014-10-08 | 2019-11-05 | Joyson Safety Systems Acquisition Llc | Systems and methods for illuminating a track pad system |
| US9174134B1 (en) | 2014-11-12 | 2015-11-03 | Immersion Corporation | Peripheral device with haptic diminishment prevention component |
| US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
| US9812165B2 (en) | 2014-12-19 | 2017-11-07 | Immersion Corporation | Systems and methods for recording haptic data for use with multi-media data |
| EP3037918A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | System and method for localizing haptic effects on a body |
| US9466188B2 (en) * | 2014-12-24 | 2016-10-11 | Immersion Corporation | Systems and methods for haptically-enabled alarms |
| JP6761225B2 (ja) * | 2014-12-26 | 2020-09-23 | 和俊 尾花 | 手持ち型情報処理装置 |
| US10269392B2 (en) * | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
| KR102524966B1 (ko) | 2015-02-20 | 2023-04-21 | 울트라햅틱스 아이피 엘티디 | 햅틱 시스템에서의 알고리즘 개선 |
| US9841819B2 (en) | 2015-02-20 | 2017-12-12 | Ultrahaptics Ip Ltd | Perceptions in a haptic system |
| US10613629B2 (en) | 2015-03-27 | 2020-04-07 | Chad Laurendeau | System and method for force feedback interface devices |
| EP3304251B1 (en) * | 2015-06-03 | 2023-10-11 | Razer (Asia-Pacific) Pte. Ltd. | Haptics devices and methods for controlling a haptics device |
| KR20170000845A (ko) | 2015-06-24 | 2017-01-04 | 희성전자 주식회사 | 다방향 작업이 가능한 작업설비 |
| US10818162B2 (en) | 2015-07-16 | 2020-10-27 | Ultrahaptics Ip Ltd | Calibration techniques in haptic systems |
| US9967640B2 (en) * | 2015-08-20 | 2018-05-08 | Bodyrocks Audio Incorporation | Devices, systems, and methods for vibrationally sensing audio |
| US9990815B2 (en) * | 2016-02-18 | 2018-06-05 | Immersion Corporation | Wearable haptic effects with permissions settings |
| CN105807868A (zh) * | 2016-04-25 | 2016-07-27 | 王明 | 一种靓声大功率合并式电脑 |
| JP6371328B2 (ja) * | 2016-05-11 | 2018-08-08 | 本田技研工業株式会社 | 能動型効果音発生装置 |
| KR101790892B1 (ko) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 |
| CN109478354B (zh) * | 2016-07-22 | 2022-02-08 | 哈曼国际工业有限公司 | 触觉引导系统 |
| US10699538B2 (en) * | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
| US10268275B2 (en) | 2016-08-03 | 2019-04-23 | Ultrahaptics Ip Ltd | Three-dimensional perceptions in haptic systems |
| CN109688990A (zh) | 2016-09-06 | 2019-04-26 | 新感知公司 | 用于向用户提供附属感觉信息的方法和系统 |
| US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
| KR102669181B1 (ko) * | 2016-11-30 | 2024-05-27 | 삼성전자주식회사 | 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치 |
| US10427039B2 (en) * | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
| US10943578B2 (en) | 2016-12-13 | 2021-03-09 | Ultrahaptics Ip Ltd | Driving techniques for phased-array systems |
| US10297120B2 (en) * | 2016-12-13 | 2019-05-21 | Disney Enterprises, Inc. | Haptic effect generation system |
| CN106774891A (zh) * | 2016-12-15 | 2017-05-31 | 北京小鸟看看科技有限公司 | 虚拟现实场景的音效产生方法、设备及虚拟现实设备 |
| US10255825B2 (en) * | 2017-04-17 | 2019-04-09 | Facebook, Inc. | Calibration of haptic device using sensor harness |
| US10744058B2 (en) | 2017-04-20 | 2020-08-18 | Neosensory, Inc. | Method and system for providing information to a user |
| US10371544B2 (en) | 2017-05-04 | 2019-08-06 | Wearworks | Vibrating haptic device for the blind |
| US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
| US11009957B2 (en) * | 2017-06-27 | 2021-05-18 | Ford Global Technologies, Llc | Haptic device operation |
| US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
| US20190041987A1 (en) * | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
| CN107464572B (zh) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | 多模式交互音乐感知系统及其控制方法 |
| KR102518400B1 (ko) * | 2017-11-22 | 2023-04-06 | 삼성전자주식회사 | 진동을 제공하는 방법 및 이를 지원하는 전자 장치 |
| US11531395B2 (en) | 2017-11-26 | 2022-12-20 | Ultrahaptics Ip Ltd | Haptic effects from focused acoustic fields |
| JP7483610B2 (ja) | 2017-12-22 | 2024-05-15 | ウルトラハプティクス アイピー リミテッド | 触覚システムにおける不要な応答の最小化 |
| WO2019122912A1 (en) | 2017-12-22 | 2019-06-27 | Ultrahaptics Limited | Tracking in haptic systems |
| WO2019129427A1 (en) * | 2017-12-25 | 2019-07-04 | Arcelik Anonim Sirketi | A system and a method for generating bass effect |
| US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
| US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
| US10572016B2 (en) | 2018-03-06 | 2020-02-25 | Microsoft Technology Licensing, Llc | Spatialized haptic device force feedback |
| US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
| US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
| US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
| US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
| US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
| SG11202010752VA (en) | 2018-05-02 | 2020-11-27 | Ultrahaptics Ip Ltd | Blocking plate structure for improved acoustic transmission efficiency |
| US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
| CN110719540A (zh) * | 2018-07-12 | 2020-01-21 | 惠州迪芬尼声学科技股份有限公司 | 利用轨迹球调控均衡器的方法以及具有轨迹球的声音输出装置 |
| CN109246554B (zh) * | 2018-08-08 | 2021-02-09 | 瑞声科技(新加坡)有限公司 | 终端及其振动器的调控方法 |
| KR102100871B1 (ko) * | 2018-08-09 | 2020-04-23 | 김정욱 | 음원 기반의 진동패턴 생성장치 |
| US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
| US20200082804A1 (en) * | 2018-09-09 | 2020-03-12 | Ultrahaptics Ip Ltd | Event Triggering in Phased-Array Systems |
| US11098951B2 (en) | 2018-09-09 | 2021-08-24 | Ultrahaptics Ip Ltd | Ultrasonic-assisted liquid manipulation |
| US10800433B2 (en) | 2018-09-14 | 2020-10-13 | Honda Motor Co., Ltd. | Seat haptic system and method of equalizing haptic output |
| US11378997B2 (en) | 2018-10-12 | 2022-07-05 | Ultrahaptics Ip Ltd | Variable phase and frequency pulse-width modulation technique |
| GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
| GB2578454A (en) * | 2018-10-28 | 2020-05-13 | Cambridge Mechatronics Ltd | Haptic feedback generation |
| EP3650956A1 (fr) | 2018-11-07 | 2020-05-13 | Tissot S.A. | Procede de diffusion d'un signal acoustique |
| CN109999488A (zh) * | 2018-12-29 | 2019-07-12 | 瑞声科技(新加坡)有限公司 | 一种振动方法、终端及存储介质 |
| US11550395B2 (en) | 2019-01-04 | 2023-01-10 | Ultrahaptics Ip Ltd | Mid-air haptic textures |
| US11533557B2 (en) | 2019-01-22 | 2022-12-20 | Universal City Studios Llc | Ride vehicle with directional speakers and haptic devices |
| JP7253183B2 (ja) * | 2019-02-18 | 2023-04-06 | 株式会社東海理化電機製作所 | 制御装置およびプログラム |
| CN109947248A (zh) * | 2019-03-14 | 2019-06-28 | 努比亚技术有限公司 | 振动控制方法、移动终端及计算机可读存储介质 |
| US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
| US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
| US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
| US12035445B2 (en) | 2019-03-29 | 2024-07-09 | Cirrus Logic Inc. | Resonant tracking of an electromagnetic load |
| US11283337B2 (en) | 2019-03-29 | 2022-03-22 | Cirrus Logic, Inc. | Methods and systems for improving transducer dynamics |
| US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
| US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
| US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
| US11842517B2 (en) | 2019-04-12 | 2023-12-12 | Ultrahaptics Ip Ltd | Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network |
| WO2020219073A1 (en) * | 2019-04-26 | 2020-10-29 | Hewlett-Packard Development Company, L.P. | Spatial audio and haptics |
| US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
| US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
| GB2604215B (en) | 2019-06-21 | 2024-01-31 | Cirrus Logic Int Semiconductor Ltd | A method and apparatus for configuring a plurality of virtual buttons on a device |
| US11853479B2 (en) * | 2019-09-16 | 2023-12-26 | Jonah B Saunders | Haptic garment |
| WO2021062276A1 (en) | 2019-09-25 | 2021-04-01 | Neosensory, Inc. | System and method for haptic stimulation |
| US11374586B2 (en) | 2019-10-13 | 2022-06-28 | Ultraleap Limited | Reducing harmonic distortion by dithering |
| US11553295B2 (en) | 2019-10-13 | 2023-01-10 | Ultraleap Limited | Dynamic capping with virtual microphones |
| US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
| US11467668B2 (en) | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
| US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
| US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
| US11715453B2 (en) | 2019-12-25 | 2023-08-01 | Ultraleap Limited | Acoustic transducer structures |
| US11422629B2 (en) | 2019-12-30 | 2022-08-23 | Joyson Safety Systems Acquisition Llc | Systems and methods for intelligent waveform interruption |
| WO2021142162A1 (en) | 2020-01-07 | 2021-07-15 | Neosensory, Inc. | Method and system for haptic stimulation |
| US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
| CN111610856B (zh) * | 2020-04-30 | 2024-04-26 | 北京小米移动软件有限公司 | 震动反馈方法、震动反馈装置及存储介质 |
| US11816267B2 (en) | 2020-06-23 | 2023-11-14 | Ultraleap Limited | Features of airborne ultrasonic fields |
| CN114205700A (zh) * | 2020-09-17 | 2022-03-18 | 迪芬尼声学科技股份有限公司 | 耳机设备及其触觉反馈方法 |
| WO2022058738A1 (en) | 2020-09-17 | 2022-03-24 | Ultraleap Limited | Ultrahapticons |
| CN112083807B (zh) * | 2020-09-20 | 2021-10-29 | 吉林大学 | 一种基于音触转换的足部地形触觉再现方法及装置 |
| US11497675B2 (en) | 2020-10-23 | 2022-11-15 | Neosensory, Inc. | Method and system for multimodal stimulation |
| CN112506341B (zh) * | 2020-12-01 | 2022-05-03 | 瑞声新能源发展(常州)有限公司科教城分公司 | 一种振动效果的生成方法、装置、终端设备及存储介质 |
| KR102457452B1 (ko) * | 2020-12-21 | 2022-10-21 | 신성호 | 촉감 발생 장치 및 그 구동 방법 |
| JP7340556B2 (ja) | 2021-02-26 | 2023-09-07 | 任天堂株式会社 | 振動制御システム |
| US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
| US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
| US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
| US11862147B2 (en) | 2021-08-13 | 2024-01-02 | Neosensory, Inc. | Method and system for enhancing the intelligibility of information for a user |
| CN115877945A (zh) * | 2021-09-30 | 2023-03-31 | 株式会社电装天 | 信息处理装置、信息处理系统和信息处理方法 |
| US11995240B2 (en) | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
| US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
| CN114995638B (zh) * | 2022-05-12 | 2024-08-23 | 北京有竹居网络技术有限公司 | 触觉信号生成方法、装置、可读介质及电子设备 |
| US20240115937A1 (en) * | 2022-10-11 | 2024-04-11 | Sony Interactive Entertainment Inc. | Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content |
| GB2627793A (en) * | 2023-03-02 | 2024-09-04 | Sony Interactive Entertainment Inc | System and method for providing haptic feedback |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4990914A (ja) * | 1972-12-28 | 1974-08-30 | ||
| JPS49118401A (ja) * | 1973-03-12 | 1974-11-12 | ||
| JPS5025201A (ja) * | 1973-07-05 | 1975-03-17 | ||
| JPS51123017A (en) * | 1975-04-18 | 1976-10-27 | Matsushita Electric Ind Co Ltd | Voice responce indecator |
| JPS5341127A (en) * | 1976-08-23 | 1978-04-14 | Atari Inc | Audio operating video display unit |
| JPS6443398U (ja) * | 1987-09-10 | 1989-03-15 | ||
| JPH0375694U (ja) * | 1989-11-24 | 1991-07-30 | ||
| JPH06126041A (ja) * | 1992-10-20 | 1994-05-10 | Casio Comput Co Ltd | ゲーム装置 |
| WO1996009617A1 (en) * | 1994-09-21 | 1996-03-28 | Craig Thorner | A tactile sensation generator |
| JPH10513593A (ja) * | 1995-11-24 | 1998-12-22 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム |
| JP2000024307A (ja) * | 1998-07-09 | 2000-01-25 | Sony Corp | ゲーム体感装置及びゲーム体感方法 |
| JP2000056943A (ja) * | 1998-08-07 | 2000-02-25 | Mitsubishi Electric Corp | 設定表示器 |
| JP2000157720A (ja) * | 1998-11-26 | 2000-06-13 | Square Co Ltd | ゲーム装置、ゲームの制御方法並びに情報記録媒体 |
| JP2001137553A (ja) * | 1999-08-31 | 2001-05-22 | Sony Computer Entertainment Inc | エンタテインメントシステム、エンタテインメント装置、記録媒体及びプログラム |
| JP2001517347A (ja) * | 1998-01-23 | 2001-10-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多人数の触覚仮想環境 |
| JP2001314652A (ja) * | 2000-05-10 | 2001-11-13 | Sugiyama Electron:Kk | ゲーム機用オーディオシステム及びオーディオシステム |
| JP2002306849A (ja) * | 2001-04-13 | 2002-10-22 | Artoon:Kk | 電子ゲーム装置 |
Family Cites Families (252)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3157853A (en) * | 1957-12-06 | 1964-11-17 | Hirsch Joseph | Tactile communication system |
| US2972140A (en) * | 1958-09-23 | 1961-02-14 | Hirsch Joseph | Apparatus and method for communication through the sense of touch |
| GB958325A (en) * | 1962-07-08 | 1964-05-21 | Communications Patents Ltd | Improvements in or relating to ground-based flight training or simulating apparatus |
| US3623046A (en) | 1965-10-05 | 1971-11-23 | Lynch Corp | Transducer system |
| US3497668A (en) * | 1966-08-25 | 1970-02-24 | Joseph Hirsch | Tactile control system |
| US3517446A (en) * | 1967-04-19 | 1970-06-30 | Singer General Precision | Vehicle trainer controls and control loading |
| US3623064A (en) * | 1968-10-11 | 1971-11-23 | Bell & Howell Co | Paging receiver having cycling eccentric mass |
| US3903614A (en) * | 1970-03-27 | 1975-09-09 | Singer Co | Apparatus for simulating aircraft control loading |
| US3765624A (en) | 1971-09-29 | 1973-10-16 | Us Navy | Fluidically augmented variable gain artificial feel system |
| JPS4990914U (ja) | 1972-11-25 | 1974-08-07 | ||
| JPS49118401U (ja) | 1973-02-07 | 1974-10-09 | ||
| US3902687A (en) * | 1973-06-25 | 1975-09-02 | Robert E Hightower | Aircraft indicator system |
| JPS5245921Y2 (ja) | 1973-06-30 | 1977-10-19 | ||
| US3911416A (en) * | 1974-08-05 | 1975-10-07 | Motorola Inc | Silent call pager |
| US4160508A (en) * | 1977-08-19 | 1979-07-10 | Nasa | Controller arm for a remotely related slave arm |
| JPS6022805B2 (ja) | 1977-08-23 | 1985-06-04 | オリンパス光学工業株式会社 | 拘束解除用電磁石装置 |
| US4127752A (en) * | 1977-10-13 | 1978-11-28 | Sheldahl, Inc. | Tactile touch switch panel |
| JPS54116618A (en) | 1978-03-02 | 1979-09-11 | Ricoh Co Ltd | Step motor driving control system |
| US4262549A (en) * | 1978-05-10 | 1981-04-21 | Schwellenbach Donald D | Variable mechanical vibrator |
| US4236325A (en) * | 1978-12-26 | 1980-12-02 | The Singer Company | Simulator control loading inertia compensator |
| US4334280A (en) | 1980-06-09 | 1982-06-08 | Texas Instruments Incorporated | System and method for providing an audible sound and a tactile feedback in an electronic data processing system |
| US4355348A (en) * | 1980-07-30 | 1982-10-19 | Williams Theodore R | Audio signal responsive optical display |
| US4464117A (en) * | 1980-08-27 | 1984-08-07 | Dr. Ing. Reiner Foerst Gmbh | Driving simulator apparatus |
| US4333070A (en) * | 1981-02-06 | 1982-06-01 | Barnes Robert W | Motor vehicle fuel-waste indicator |
| US4382217A (en) | 1981-05-15 | 1983-05-03 | Gould Inc. | Starting control circuit for an A.C. motor |
| US4599070A (en) * | 1981-07-29 | 1986-07-08 | Control Interface Company Limited | Aircraft simulator and simulated control system therefor |
| JPS5829754U (ja) | 1981-08-21 | 1983-02-26 | 日立金属株式会社 | ドアロツク用アクチユエ−タ |
| EP0085518B1 (en) * | 1982-01-22 | 1989-08-16 | British Aerospace Public Limited Company | Control apparatus |
| US4484191A (en) * | 1982-06-14 | 1984-11-20 | Vavra George S | Tactile signaling systems for aircraft |
| US4937685A (en) * | 1983-12-02 | 1990-06-26 | Lex Computer And Management Corporation | Method of display presentation for video editing |
| US4581491A (en) * | 1984-05-04 | 1986-04-08 | Research Corporation | Wearable tactile sensory aid providing information on voice pitch and intonation patterns |
| US4935728A (en) | 1985-01-02 | 1990-06-19 | Altra Corporation | Computer control |
| US5078152A (en) * | 1985-06-23 | 1992-01-07 | Loredan Biomedical, Inc. | Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient |
| GB2179775B (en) | 1985-08-30 | 1989-01-25 | Unisys Corp | Tactile alarm system for gaining the attention of an individual |
| US4713007A (en) * | 1985-10-11 | 1987-12-15 | Alban Eugene P | Aircraft controls simulator |
| US5275174B1 (en) * | 1985-10-30 | 1998-08-04 | Jonathan A Cook | Repetitive strain injury assessment |
| NL8503096A (nl) * | 1985-11-11 | 1987-06-01 | Fokker Bv | Simulator van mechanische eigenschappen van een besturingssysteem. |
| US4934694A (en) * | 1985-12-06 | 1990-06-19 | Mcintosh James L | Computer controlled exercise system |
| US4891764A (en) * | 1985-12-06 | 1990-01-02 | Tensor Development Inc. | Program controlled force measurement and control system |
| US5195179A (en) | 1986-01-29 | 1993-03-16 | Hitachi, Ltd. | Coordinate input apparatus |
| US4768412A (en) | 1986-05-09 | 1988-09-06 | Sanderson Stephen N | Low profile keyboard device and system for recording and scoring music |
| US4897582A (en) | 1987-01-06 | 1990-01-30 | Harris Corp. | Linear dc motor vibration controller |
| US4794392A (en) * | 1987-02-20 | 1988-12-27 | Motorola, Inc. | Vibrator alert device for a communication receiver |
| US5038089A (en) * | 1988-03-23 | 1991-08-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Synchronized computational architecture for generalized bilateral control of robot arms |
| US4885565A (en) * | 1988-06-01 | 1989-12-05 | General Motors Corporation | Touchscreen CRT with tactile feedback |
| NL8801653A (nl) | 1988-06-29 | 1990-01-16 | Stork Kwant Bv | Besturingsstelsel. |
| US4930770A (en) * | 1988-12-01 | 1990-06-05 | Baker Norman A | Eccentrically loaded computerized positive/negative exercise machine |
| US4933584A (en) | 1988-12-22 | 1990-06-12 | General Electric Company | Electronically commutated motor having skewed magnetics |
| JPH02185278A (ja) | 1989-01-12 | 1990-07-19 | Taito Corp | 光線銃射撃ゲーム装置 |
| US5186695A (en) * | 1989-02-03 | 1993-02-16 | Loredan Biomedical, Inc. | Apparatus for controlled exercise and diagnosis of human performance |
| US5019761A (en) * | 1989-02-21 | 1991-05-28 | Kraft Brett W | Force feedback control for backhoe |
| KR930010167B1 (ko) | 1989-03-31 | 1993-10-15 | 샤프 가부시끼가이샤 | 신호 발생회로 및 이 회로를 이용한 컴프레서 제어장치 |
| US5022407A (en) * | 1990-01-24 | 1991-06-11 | Topical Testing, Inc. | Apparatus for automated tactile testing |
| JPH03292524A (ja) | 1990-04-11 | 1991-12-24 | Oki Electric Ind Co Ltd | カーソル移動方式 |
| US5035242A (en) * | 1990-04-16 | 1991-07-30 | David Franklin | Method and apparatus for sound responsive tactile stimulation of deaf individuals |
| JPH0685820B2 (ja) | 1990-04-25 | 1994-11-02 | 株式会社エポック社 | 体感ゲーム機 |
| US5022384A (en) * | 1990-05-14 | 1991-06-11 | Capitol Systems | Vibrating/massage chair |
| JPH04230798A (ja) * | 1990-05-28 | 1992-08-19 | Matsushita Electric Ind Co Ltd | 雑音予測装置 |
| US5547382A (en) * | 1990-06-28 | 1996-08-20 | Honda Giken Kogyo Kabushiki Kaisha | Riding simulation system for motorcycles |
| US5165897A (en) * | 1990-08-10 | 1992-11-24 | Tini Alloy Company | Programmable tactile stimulator array system and method of operation |
| US5264836A (en) | 1991-01-15 | 1993-11-23 | Apple Computer, Inc. | Three dimensional cursor |
| US5212473A (en) * | 1991-02-21 | 1993-05-18 | Typeright Keyboard Corp. | Membrane keyboard and method of using same |
| US5334027A (en) * | 1991-02-25 | 1994-08-02 | Terry Wherlock | Big game fish training and exercise device and method |
| US5194786A (en) | 1991-02-27 | 1993-03-16 | Kollmorgen Corporation | Linear current source amplifier for brushless dc motor |
| US5240417A (en) * | 1991-03-14 | 1993-08-31 | Atari Games Corporation | System and method for bicycle riding simulation |
| JPH06507734A (ja) * | 1991-03-21 | 1994-09-01 | アタリ ゲームズ コーポレーション | 交差ネットワーク型フィードバックを含む乗物シミュレータ |
| US5203563A (en) * | 1991-03-21 | 1993-04-20 | Atari Games Corporation | Shaker control device |
| US5524187A (en) | 1991-03-25 | 1996-06-04 | The Trustees Of Columbia University | Worlds-within-worlds nested display and interaction system and method |
| US5351412A (en) | 1991-06-11 | 1994-10-04 | International Business Machines Corporation | Micro positioning device |
| US5388992A (en) * | 1991-06-19 | 1995-02-14 | Audiological Engineering Corporation | Method and apparatus for tactile transduction of acoustic signals from television receivers |
| DE69225972T2 (de) | 1991-07-12 | 1999-02-18 | Denne Developments Ltd., Bournemouth | Elektromagnetische Vorrichtung zum Erzeugen einer Linearbewegung |
| US5321762A (en) | 1991-08-05 | 1994-06-14 | Aura Systems, Inc. | Voice coil actuator |
| US5175459A (en) * | 1991-08-19 | 1992-12-29 | Motorola, Inc. | Low profile vibratory alerting device |
| US5186629A (en) * | 1991-08-22 | 1993-02-16 | International Business Machines Corporation | Virtual graphics display capable of presenting icons and windows to the blind computer user and method |
| US5889670A (en) * | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
| US5271290A (en) * | 1991-10-29 | 1993-12-21 | United Kingdom Atomic Energy Authority | Actuator assembly |
| US5309140A (en) * | 1991-11-26 | 1994-05-03 | The United States Of America As Represented By The Secretary Of The Navy | Feedback system for remotely operated vehicles |
| US5471571A (en) | 1991-12-27 | 1995-11-28 | Xerox Corporation | Method and apparatus for setting a graphical object's position and orientation with viscous dragging |
| JPH05192449A (ja) | 1992-01-20 | 1993-08-03 | Taito Corp | ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法 |
| FR2688105B1 (fr) | 1992-02-28 | 1994-05-06 | Moving Magnet Technologies Sa | Actionneur rotatif electromagnetique monophase de course entre 60 et 120 degres. |
| US5999185A (en) | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
| US5757358A (en) | 1992-03-31 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback |
| US5189355A (en) * | 1992-04-10 | 1993-02-23 | Ampex Corporation | Interactive rotary controller system with tactile feedback |
| JP2677315B2 (ja) * | 1992-04-27 | 1997-11-17 | 株式会社トミー | 運転玩具 |
| US5245245A (en) | 1992-05-04 | 1993-09-14 | Motorola, Inc. | Mass-loaded cantilever vibrator |
| US5437607A (en) * | 1992-06-02 | 1995-08-01 | Hwe, Inc. | Vibrating massage apparatus |
| US5327790A (en) | 1992-06-19 | 1994-07-12 | Massachusetts Institute Of Technology | Reaction sensing torque actuator |
| JP2605550B2 (ja) | 1992-07-14 | 1997-04-30 | 岩崎通信機株式会社 | レーザー光用電子写真式平版印刷版 |
| EP0580117A3 (en) | 1992-07-20 | 1994-08-24 | Tdk Corp | Moving magnet-type actuator |
| US6008800A (en) | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
| US5283970A (en) * | 1992-09-25 | 1994-02-08 | Strombecker Corporation | Toy guns |
| US5629594A (en) * | 1992-12-02 | 1997-05-13 | Cybernet Systems Corporation | Force feedback system |
| US6433771B1 (en) | 1992-12-02 | 2002-08-13 | Cybernet Haptic Systems Corporation | Haptic device attribute control |
| US6131097A (en) * | 1992-12-02 | 2000-10-10 | Immersion Corporation | Haptic authoring |
| US5526480A (en) | 1992-12-28 | 1996-06-11 | International Business Machines Corporation | Time domain scroll bar for multimedia presentations in a data processing system |
| US5550562A (en) | 1993-01-12 | 1996-08-27 | Fujitsu Limited | Data processing device that enables mouse-operated application programs to be operated from an operation pad, and an operation pad for use with the same |
| US5451924A (en) * | 1993-01-14 | 1995-09-19 | Massachusetts Institute Of Technology | Apparatus for providing sensory substitution of force feedback |
| US5675709A (en) * | 1993-01-21 | 1997-10-07 | Fuji Xerox Co., Ltd. | System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data |
| US5785630A (en) * | 1993-02-02 | 1998-07-28 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
| US5690582A (en) * | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
| US5374942A (en) | 1993-02-05 | 1994-12-20 | Gilligan; Federico G. | Mouse and method for concurrent cursor position and scrolling control |
| JPH0675438U (ja) * | 1993-04-07 | 1994-10-25 | 並木精密宝石株式会社 | ろうあ者向振動ペイジャー型音声検知装置 |
| US5456341A (en) | 1993-04-23 | 1995-10-10 | Moog Inc. | Method and apparatus for actively adjusting and controlling a resonant mass-spring system |
| US5524195A (en) | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
| US5405152A (en) * | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
| US5436622A (en) * | 1993-07-06 | 1995-07-25 | Motorola, Inc. | Variable frequency vibratory alert method and structure |
| US5466213A (en) * | 1993-07-06 | 1995-11-14 | Massachusetts Institute Of Technology | Interactive robotic therapist |
| JP2856036B2 (ja) | 1993-07-12 | 1999-02-10 | 株式会社セガ・エンタープライゼス | スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置 |
| US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
| US5461711A (en) | 1993-12-22 | 1995-10-24 | Interval Research Corporation | Method and system for spatial accessing of time-based information |
| US5438529A (en) | 1994-01-26 | 1995-08-01 | Immersion Human Interface Corporation | Percussion input device for personal computer systems |
| CA2140164A1 (en) | 1994-01-27 | 1995-07-28 | Kenneth R. Robertson | System and method for computer cursor control |
| US6404107B1 (en) | 1994-01-27 | 2002-06-11 | Active Control Experts, Inc. | Packaged strain actuator |
| US5554900A (en) | 1994-02-04 | 1996-09-10 | Schlenker Enterprises Ltd. | Motor including embedded permanent-magnet rotor |
| US5564004A (en) | 1994-04-13 | 1996-10-08 | International Business Machines Corporation | Method and system for facilitating the selection of icons |
| US5586257A (en) | 1994-05-05 | 1996-12-17 | Perlman; Stephen G. | Network architecture to support multiple site real-time video games |
| US6160489A (en) * | 1994-06-23 | 2000-12-12 | Motorola, Inc. | Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns |
| US5565887A (en) | 1994-06-29 | 1996-10-15 | Microsoft Corporation | Method and apparatus for moving a cursor on a computer screen |
| CA2195227C (en) | 1994-07-19 | 2002-10-29 | Junji Furusho | Virtual reality and telereality system |
| US5835693A (en) | 1994-07-22 | 1998-11-10 | Lynch; James D. | Interactive system for simulation and display of multi-body systems in three dimensions |
| US5575761A (en) * | 1994-07-27 | 1996-11-19 | Hajianpour; Mohammed-Ali | Massage device applying variable-frequency vibration in a variable pulse sequence |
| US5808381A (en) | 1994-08-09 | 1998-09-15 | Hitachi Metals, Ltd. | Linear motor |
| EP0776499B1 (en) * | 1994-08-18 | 2000-02-02 | Interval Research Corporation | Content-based haptic input device for video |
| US5649020A (en) | 1994-08-29 | 1997-07-15 | Motorola, Inc. | Electronic driver for an electromagnetic resonant transducer |
| US5669818A (en) * | 1995-03-23 | 1997-09-23 | Thorner; Craig | Seat-based tactile sensation generator |
| US5565840A (en) * | 1994-09-21 | 1996-10-15 | Thorner; Craig | Tactile sensation generator |
| US6422941B1 (en) | 1994-09-21 | 2002-07-23 | Craig Thorner | Universal tactile feedback system for computer video games and simulations |
| US5570111A (en) | 1994-10-03 | 1996-10-29 | International Business Machines Corporation | Graphical user interface cursor positioning device having a negative inertia transfer function |
| US5766016A (en) * | 1994-11-14 | 1998-06-16 | Georgia Tech Research Corporation | Surgical simulator and method for simulating surgical procedure |
| DE69525308T2 (de) | 1994-11-15 | 2002-07-04 | Microsoft Corp | Hinausgleitender Schnittstellenbalken |
| US5696535A (en) | 1994-11-17 | 1997-12-09 | International Business Machines Corporation | Graphics display pointer with integrated selection |
| IT1280212B1 (it) | 1995-02-14 | 1998-01-05 | Sintecna S R L | Procedimento di controllo di dispositivi per il puntamento del cursore sullo schermo di sistemi interattivi e logica per la sua attuazione |
| US5565888A (en) | 1995-02-17 | 1996-10-15 | International Business Machines Corporation | Method and apparatus for improving visibility and selectability of icons |
| JP3348265B2 (ja) | 1995-03-27 | 2002-11-20 | 富士通株式会社 | 架間転送制御方式 |
| EP0747807B1 (en) | 1995-04-11 | 2002-03-06 | Dragon Systems Inc. | Moving an element shown on a computer display |
| US5651070A (en) * | 1995-04-12 | 1997-07-22 | Blunt; Thomas O. | Warning device programmable to be sensitive to preselected sound frequencies |
| US5492312A (en) | 1995-04-17 | 1996-02-20 | Lord Corporation | Multi-degree of freedom magnetorheological devices and system for using same |
| US5661446A (en) | 1995-06-07 | 1997-08-26 | Mts Systems Corporation | Electromagnetic actuator |
| US6166723A (en) | 1995-11-17 | 2000-12-26 | Immersion Corporation | Mouse interface device providing force feedback |
| US5650704A (en) | 1995-06-29 | 1997-07-22 | Massachusetts Institute Of Technology | Elastic actuator for precise force control |
| JP3562049B2 (ja) | 1995-07-21 | 2004-09-08 | セイコーエプソン株式会社 | 映像表示方法および装置 |
| US5628686A (en) | 1995-07-31 | 1997-05-13 | Microsoft Corporation | Apparatus and method for bidirectional data communication in a game port |
| US5749533A (en) | 1995-08-03 | 1998-05-12 | Daniels; John J. | Fishing reel with electronically variable brake for preventing backlash |
| US5864342A (en) | 1995-08-04 | 1999-01-26 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks |
| US5977977A (en) | 1995-08-04 | 1999-11-02 | Microsoft Corporation | Method and system for multi-pass rendering |
| DE69630509T2 (de) | 1995-08-11 | 2004-08-12 | Ebara Corp. | Magnetschwebe-Dämpfungsgerät |
| US5805165A (en) | 1995-08-31 | 1998-09-08 | Microsoft Corporation | Method of selecting a displayed control item |
| US5808601A (en) | 1995-09-12 | 1998-09-15 | International Business Machines Corporation | Interactive object selection pointer method and apparatus |
| US5959613A (en) * | 1995-12-01 | 1999-09-28 | Immersion Corporation | Method and apparatus for shaping force signals for a force feedback device |
| KR100371456B1 (ko) | 1995-10-09 | 2004-03-30 | 닌텐도가부시키가이샤 | 삼차원화상처리시스템 |
| US5990875A (en) | 1995-10-16 | 1999-11-23 | Packard Bell Nec | Double pen up event |
| US5896125A (en) | 1995-11-06 | 1999-04-20 | Niedzwiecki; Richard H. | Configurable keyboard to personal computer video game controller adapter |
| US5767457A (en) * | 1995-11-13 | 1998-06-16 | Cirque Corporation | Apparatus and method for audible feedback from input device |
| US5710574A (en) | 1995-11-14 | 1998-01-20 | International Business Machines Corporation | Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface |
| JPH09140168A (ja) | 1995-11-15 | 1997-05-27 | Nikon Corp | 振動モータの駆動装置 |
| US6639581B1 (en) | 1995-11-17 | 2003-10-28 | Immersion Corporation | Flexure mechanism for interface device |
| US5877748A (en) | 1995-11-20 | 1999-03-02 | Redlich; Sanford I. | Computer control input interface system |
| AU1328597A (en) * | 1995-11-30 | 1997-06-19 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
| US6169540B1 (en) | 1995-12-01 | 2001-01-02 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback applications |
| US5956484A (en) | 1995-12-13 | 1999-09-21 | Immersion Corporation | Method and apparatus for providing force feedback over a computer network |
| US6028593A (en) | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
| US6147674A (en) | 1995-12-01 | 2000-11-14 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback computer applications |
| US6750877B2 (en) | 1995-12-13 | 2004-06-15 | Immersion Corporation | Controlling haptic feedback for enhancing navigation in a graphical environment |
| US6161126A (en) * | 1995-12-13 | 2000-12-12 | Immersion Corporation | Implementing force feedback over the World Wide Web and other computer networks |
| US6078308A (en) | 1995-12-13 | 2000-06-20 | Immersion Corporation | Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object |
| US6300936B1 (en) * | 1997-11-14 | 2001-10-09 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment and interface device |
| KR19980032013A (ko) | 1995-12-15 | 1998-07-25 | 모리시타요오이찌 | 진동 발생장치 |
| ATE250801T1 (de) * | 1996-03-08 | 2003-10-15 | Motorola Inc | Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch |
| ITPN960017A1 (it) | 1996-03-12 | 1997-09-12 | Sole Spa | Macchina elettrica, in particolare motore elettrico |
| DE19613025A1 (de) | 1996-03-19 | 1997-09-25 | Peter Klose | Eingabegerät zum Anschluß an einen Computer |
| US5668423A (en) | 1996-03-21 | 1997-09-16 | You; Dong-Ok | Exciter for generating vibration in a pager |
| US6111577A (en) * | 1996-04-04 | 2000-08-29 | Massachusetts Institute Of Technology | Method and apparatus for determining forces to be applied to a user through a haptic interface |
| JP3007047B2 (ja) * | 1996-04-19 | 2000-02-07 | 建司 高橋 | 音響識別装置 |
| US5857986A (en) * | 1996-05-24 | 1999-01-12 | Moriyasu; Hiro | Interactive vibrator for multimedia |
| US5737144A (en) | 1996-06-05 | 1998-04-07 | Quantum Corporation | Switched boost voltage generator for actuator retract in disk drive |
| US5802353A (en) | 1996-06-12 | 1998-09-01 | General Electric Company | Haptic computer modeling system |
| US5795228A (en) * | 1996-07-03 | 1998-08-18 | Ridefilm Corporation | Interactive computer-based entertainment system |
| US5791992A (en) | 1996-07-31 | 1998-08-11 | International Business Machines Corporation | Video game system with internet cartridge |
| US5896139A (en) | 1996-08-01 | 1999-04-20 | Platinum Technology Ip, Inc. | System and method for optimizing a scene graph for optimizing rendering performance |
| US6084587A (en) | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| US5877750A (en) | 1996-09-17 | 1999-03-02 | International Business Machines Corporation | Method and apparatus for in-place line width selection for graphics applications |
| JPH10111958A (ja) | 1996-10-04 | 1998-04-28 | Olympus Optical Co Ltd | コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法 |
| US5889506A (en) | 1996-10-25 | 1999-03-30 | Matsushita Electric Industrial Co., Ltd. | Video user's environment |
| GB9622556D0 (en) | 1996-10-30 | 1997-01-08 | Philips Electronics Nv | Cursor control with user feedback mechanism |
| US5884029A (en) | 1996-11-14 | 1999-03-16 | International Business Machines Corporation | User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users |
| US5973670A (en) | 1996-12-31 | 1999-10-26 | International Business Machines Corporation | Tactile feedback controller for computer cursor control device |
| US6111562A (en) | 1997-01-06 | 2000-08-29 | Intel Corporation | System for generating an audible cue indicating the status of a display object |
| US5841710A (en) | 1997-02-14 | 1998-11-24 | Micron Electronics, Inc. | Dynamic address remapping decoder |
| GB9706711D0 (en) | 1997-04-02 | 1997-05-21 | Philips Electronics Nv | User interface with compound cursor |
| US6160907A (en) | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
| JPH10295937A (ja) | 1997-04-24 | 1998-11-10 | Sony Computer Entertainment:Kk | ゲーム機用操作装置 |
| US7091948B2 (en) * | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
| US6005551A (en) * | 1997-04-25 | 1999-12-21 | Microsoft Corporation | Offline force effect rendering |
| US6285351B1 (en) * | 1997-04-25 | 2001-09-04 | Immersion Corporation | Designing force sensations for computer applications including sounds |
| US6292170B1 (en) * | 1997-04-25 | 2001-09-18 | Immersion Corporation | Designing compound force sensations for computer applications |
| US6215495B1 (en) | 1997-05-30 | 2001-04-10 | Silicon Graphics, Inc. | Platform independent application program interface for interactive 3D scene management |
| US6071194A (en) | 1997-06-19 | 2000-06-06 | Act Labs Ltd | Reconfigurable video game controller |
| US6057753A (en) | 1997-07-03 | 2000-05-02 | Projects Unlimited, Inc. | Vibrational transducer |
| AUPO794697A0 (en) | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | A device (MEMS10) |
| US6292174B1 (en) | 1997-08-23 | 2001-09-18 | Immersion Corporation | Enhanced cursor control using limited-workspace force feedback devices |
| US6002184A (en) | 1997-09-17 | 1999-12-14 | Coactive Drive Corporation | Actuator with opposing repulsive magnetic forces |
| JP3560450B2 (ja) | 1997-10-29 | 2004-09-02 | アルプス電気株式会社 | ゲーム機用操作装置 |
| US6394239B1 (en) | 1997-10-29 | 2002-05-28 | Lord Corporation | Controllable medium device and apparatus utilizing same |
| US6252583B1 (en) * | 1997-11-14 | 2001-06-26 | Immersion Corporation | Memory and force output management for a force feedback system |
| KR100263167B1 (ko) | 1997-11-21 | 2000-08-01 | 윤종용 | 엘씨디 모니터의 해상도 변환장치 |
| JPH11155955A (ja) * | 1997-11-26 | 1999-06-15 | Hisanobu Kaitani | 恐怖症治療装置 |
| US5896076A (en) | 1997-12-29 | 1999-04-20 | Motran Ind Inc | Force actuator with dual magnetic operation |
| US5984880A (en) * | 1998-01-20 | 1999-11-16 | Lander; Ralph H | Tactile feedback controlled by various medium |
| US6437770B1 (en) | 1998-01-26 | 2002-08-20 | University Of Washington | Flat-coil actuator having coil embedded in linkage |
| US6219034B1 (en) * | 1998-02-23 | 2001-04-17 | Kristofer E. Elbing | Tactile computer interface |
| US6139324A (en) * | 1998-03-04 | 2000-10-31 | D-Box Audio Inc. | Multi-sense home entertainment chair transducer system |
| US6210168B1 (en) | 1998-03-16 | 2001-04-03 | Medsim Ltd. | Doppler ultrasound simulator |
| US6198206B1 (en) * | 1998-03-20 | 2001-03-06 | Active Control Experts, Inc. | Inertial/audio unit and construction |
| US6266053B1 (en) | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
| US6078126A (en) | 1998-05-29 | 2000-06-20 | Motorola, Inc. | Resonant piezoelectric alerting device |
| US5945772A (en) | 1998-05-29 | 1999-08-31 | Motorla, Inc. | Damped resonant piezoelectric alerting device |
| US6686901B2 (en) | 1998-06-23 | 2004-02-03 | Immersion Corporation | Enhancing inertial tactile feedback in computer interface devices having increased mass |
| US6375471B1 (en) | 1998-07-10 | 2002-04-23 | Mitsubishi Electric Research Laboratories, Inc. | Actuator for independent axial and rotational actuation of a catheter or similar elongated object |
| US6421048B1 (en) | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
| US6373463B1 (en) | 1998-10-14 | 2002-04-16 | Honeywell International Inc. | Cursor control system with tactile feedback |
| US6282455B1 (en) | 1998-10-19 | 2001-08-28 | Rockwell Technologies, Llc | Walk-through human/machine interface for industrial control |
| US6373465B2 (en) | 1998-11-10 | 2002-04-16 | Lord Corporation | Magnetically-controllable, semi-active haptic interface system and apparatus |
| JP3457552B2 (ja) * | 1998-11-17 | 2003-10-20 | Ｎｅｃマイクロシステム株式会社 | 音声入力制御方法及び装置 |
| JP2000163099A (ja) * | 1998-11-25 | 2000-06-16 | Brother Ind Ltd | 雑音除去装置、音声認識装置および記憶媒体 |
| JP2000194427A (ja) | 1998-12-25 | 2000-07-14 | Tokai Rika Co Ltd | タッチ操作入力装置 |
| US6292776B1 (en) * | 1999-03-12 | 2001-09-18 | Lucent Technologies Inc. | Hierarchial subband linear predictive cepstral features for HMM-based speech recognition |
| US7061486B2 (en) | 1999-09-24 | 2006-06-13 | Sun Microsystems, Inc. | Using messaging to manage scene-based rendering |
| EP1104950B1 (de) | 1999-11-27 | 2004-12-08 | ebm-papst St. Georgen GmbH & Co. KG | Elektronisch kommutierter Gleichstrommotor |
| AU2001232972A1 (en) | 2000-01-25 | 2001-08-07 | Myth Tree Entertainment, Inc. | An actuation device having multiple degrees of freedom of movement and reduced inertia |
| JP2001236085A (ja) * | 2000-02-25 | 2001-08-31 | Matsushita Electric Ind Co Ltd | 音声区間検出装置、定常雑音区間検出装置、非定常雑音区間検出装置、及び雑音区間検出装置 |
| US6819922B1 (en) | 2000-08-14 | 2004-11-16 | Hewlett-Packard Development Company, L.P. | Personal digital assistant vehicle interface and method |
| EP1330811B1 (en) | 2000-09-28 | 2012-08-22 | Immersion Corporation | Directional tactile feedback for haptic feedback interface devices |
| US20020112035A1 (en) * | 2000-10-30 | 2002-08-15 | Carey Brian M. | System and method for performing content experience management |
| US6654003B2 (en) | 2000-12-01 | 2003-11-25 | International Business Machines Corporation | Cursor control device |
| US6727916B1 (en) | 2000-12-21 | 2004-04-27 | Sprint Spectrum, L.P. | Method and system for assisting a user to engage in a microbrowser-based interactive chat session |
| US6885876B2 (en) | 2001-03-12 | 2005-04-26 | Nokia Mobile Phones Ltd. | Mobile phone featuring audio-modulated vibrotactile module |
| JP3564501B2 (ja) * | 2001-03-22 | 2004-09-15 | 学校法人明治大学 | 乳幼児の音声解析システム |
| US6587091B2 (en) | 2001-04-23 | 2003-07-01 | Michael Lawrence Serpa | Stabilized tactile output mechanism for computer interface devices |
| US6963762B2 (en) | 2001-05-23 | 2005-11-08 | Nokia Corporation | Mobile phone using tactile icons |
| US6501203B2 (en) | 2001-06-01 | 2002-12-31 | Canadian Space Agency | Vibration control apparatus |
| US6664664B2 (en) | 2001-06-08 | 2003-12-16 | Aerotech, Inc. | Printed circuit linear motor |
| US6937211B2 (en) * | 2001-09-27 | 2005-08-30 | Koninklijke Philips Electronics N.V. | Apparatus and system for abstract visual representation of audio signals |
| US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
| US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
| US6940497B2 (en) | 2001-10-16 | 2005-09-06 | Hewlett-Packard Development Company, L.P. | Portable electronic reading apparatus |
| US7127271B1 (en) | 2001-10-18 | 2006-10-24 | Iwao Fujisaki | Communication device |
| US6854573B2 (en) | 2001-10-25 | 2005-02-15 | Lord Corporation | Brake with field responsive material |
| US7171191B2 (en) | 2002-04-08 | 2007-01-30 | Gateway Inc. | User dynamically definable centralized notification between portable devices |
| US7175642B2 (en) | 2002-04-19 | 2007-02-13 | Pelikan Technologies, Inc. | Methods and apparatus for lancet actuation |
| US7161580B2 (en) | 2002-04-25 | 2007-01-09 | Immersion Corporation | Haptic feedback using rotary harmonic moving mass |
| US7421088B2 (en) | 2003-08-28 | 2008-09-02 | Motorola, Inc. | Multifunction transducer |
| JP5192449B2 (ja) | 2009-06-18 | 2013-05-08 | 中外炉工業株式会社 | 鋼帯加熱装置 |
-
2001
- 2001-10-09 US US09/974,759 patent/US7623114B2/en not_active Expired - Fee Related
-
2002
- 2002-10-08 AT AT02786371T patent/ATE400032T1/de not_active IP Right Cessation
- 2002-10-08 WO PCT/US2002/031979 patent/WO2003032289A1/en active Application Filing
- 2002-10-08 JP JP2003535176A patent/JP2005506613A/ja active Pending
- 2002-10-08 DE DE60227398T patent/DE60227398D1/de not_active Expired - Fee Related
- 2002-10-08 CN CNB02824091XA patent/CN100445930C/zh not_active Expired - Fee Related
- 2002-10-08 CN CN2008101761451A patent/CN101424975B/zh not_active Expired - Fee Related
- 2002-10-08 KR KR1020047005145A patent/KR100925293B1/ko active IP Right Grant
- 2002-10-08 EP EP02786371A patent/EP1438706B1/en not_active Expired - Lifetime
-
2009
- 2009-11-23 US US12/623,685 patent/US8441437B2/en not_active Expired - Lifetime
-
2011
- 2011-03-14 JP JP2011055834A patent/JP5319719B2/ja not_active Expired - Fee Related
-
2012
- 2012-12-19 US US13/719,755 patent/US8686941B2/en not_active Expired - Fee Related
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4990914A (ja) * | 1972-12-28 | 1974-08-30 | ||
| JPS49118401A (ja) * | 1973-03-12 | 1974-11-12 | ||
| JPS5025201A (ja) * | 1973-07-05 | 1975-03-17 | ||
| JPS51123017A (en) * | 1975-04-18 | 1976-10-27 | Matsushita Electric Ind Co Ltd | Voice responce indecator |
| JPS5341127A (en) * | 1976-08-23 | 1978-04-14 | Atari Inc | Audio operating video display unit |
| JPS6443398U (ja) * | 1987-09-10 | 1989-03-15 | ||
| JPH0375694U (ja) * | 1989-11-24 | 1991-07-30 | ||
| JPH06126041A (ja) * | 1992-10-20 | 1994-05-10 | Casio Comput Co Ltd | ゲーム装置 |
| WO1996009617A1 (en) * | 1994-09-21 | 1996-03-28 | Craig Thorner | A tactile sensation generator |
| JPH10506508A (ja) * | 1994-09-21 | 1998-06-23 | クレイグ ソーナー， | 触感発生器用の制御信号を生成する装置及び方法 |
| JPH10513593A (ja) * | 1995-11-24 | 1998-12-22 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム |
| JP2001517347A (ja) * | 1998-01-23 | 2001-10-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多人数の触覚仮想環境 |
| JP2000024307A (ja) * | 1998-07-09 | 2000-01-25 | Sony Corp | ゲーム体感装置及びゲーム体感方法 |
| JP2000056943A (ja) * | 1998-08-07 | 2000-02-25 | Mitsubishi Electric Corp | 設定表示器 |
| JP2000157720A (ja) * | 1998-11-26 | 2000-06-13 | Square Co Ltd | ゲーム装置、ゲームの制御方法並びに情報記録媒体 |
| JP2001137553A (ja) * | 1999-08-31 | 2001-05-22 | Sony Computer Entertainment Inc | エンタテインメントシステム、エンタテインメント装置、記録媒体及びプログラム |
| JP2001314652A (ja) * | 2000-05-10 | 2001-11-13 | Sugiyama Electron:Kk | ゲーム機用オーディオシステム及びオーディオシステム |
| JP2002306849A (ja) * | 2001-04-13 | 2002-10-22 | Artoon:Kk | 電子ゲーム装置 |
Cited By (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005071157A (ja) * | 2003-08-26 | 2005-03-17 | Yamaha Corp | ポインティングデバイス |
| US8688251B2 (en) | 2006-04-13 | 2014-04-01 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| JP2009533714A (ja) * | 2006-04-13 | 2009-09-17 | イマージョン コーポレーション | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
| JP2012027509A (ja) * | 2006-04-13 | 2012-02-09 | Immersion Corp | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
| US9330546B2 (en) | 2006-04-13 | 2016-05-03 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
| US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| JP2016157136A (ja) * | 2006-04-13 | 2016-09-01 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
| JP2015045879A (ja) * | 2006-04-13 | 2015-03-12 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
| US8761915B2 (en) | 2006-04-13 | 2014-06-24 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
| US9239700B2 (en) | 2006-04-13 | 2016-01-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
| JP2010519649A (ja) * | 2007-02-20 | 2010-06-03 | イマーション コーポレーション | 記憶された効果を有する触覚フィードバックシステム |
| US8619051B2 (en) | 2007-02-20 | 2013-12-31 | Immersion Corporation | Haptic feedback system with stored effects |
| JP2009072600A (ja) * | 2007-09-21 | 2009-04-09 | Sony Computer Entertainment America Inc | 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 |
| JP2012168947A (ja) * | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
| JP2018139161A (ja) * | 2011-02-11 | 2018-09-06 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 波形を利用した音響−触覚効果変換システム |
| US10055950B2 (en) | 2011-02-11 | 2018-08-21 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
| US9606627B2 (en) | 2011-02-11 | 2017-03-28 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
| US10431057B2 (en) | 2011-02-11 | 2019-10-01 | Immersion Corporation | Method, system, and device for converting audio signal to one or more haptic effects |
| US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
| JP2017068874A (ja) * | 2012-02-03 | 2017-04-06 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 波形を利用した音響−触覚効果変換システム |
| JP2013161473A (ja) * | 2012-02-03 | 2013-08-19 | Immersion Corp | 波形を利用した音響−触覚効果変換システム |
| US10467870B2 (en) | 2012-04-04 | 2019-11-05 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| US10074246B2 (en) | 2012-04-04 | 2018-09-11 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
| JP2018037106A (ja) * | 2012-08-31 | 2018-03-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | マッピングを用いた音をハプティック効果に変換するシステム |
| JP2014174985A (ja) * | 2013-03-05 | 2014-09-22 | Immersion Corp | ハプティック効果の自動適合 |
| JP2019003700A (ja) * | 2013-03-05 | 2019-01-10 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | ハプティック効果の自動適合 |
| US9997032B2 (en) | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
| JP2014204445A (ja) * | 2013-04-09 | 2014-10-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | オフラインハプティック変換システム |
| CN110096136A (zh) * | 2013-09-06 | 2019-08-06 | 意美森公司 | 用于光谱图的视觉处理以生成触觉效果的系统 |
| US10409380B2 (en) | 2013-09-06 | 2019-09-10 | Immersion Corporation | Dynamic haptic conversion system |
| JP2015053047A (ja) * | 2013-09-06 | 2015-03-19 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 動的ハプティック変換システム |
| US10650645B2 (en) | 2013-09-06 | 2020-05-12 | Immersion Corporation | Method and apparatus of converting control tracks for providing haptic feedback |
| JP2015092654A (ja) * | 2013-09-06 | 2015-05-14 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚フィードバックを提供するための制御トラックを変換する方法及び装置 |
| US10162416B2 (en) | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
| JP2018206427A (ja) * | 2013-09-06 | 2018-12-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法 |
| JP2019145171A (ja) * | 2013-09-06 | 2019-08-29 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 分割および合成を用いたハプティック変換システム |
| JP2019046506A (ja) * | 2013-09-06 | 2019-03-22 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 動的ハプティック変換システム |
| JP2019046505A (ja) * | 2013-09-06 | 2019-03-22 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 動的ハプティック変換システム |
| CN109857256A (zh) * | 2013-09-06 | 2019-06-07 | 意美森公司 | 动态触觉转换系统 |
| JP2019133685A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
| JP2019133686A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 |
| JP2015215712A (ja) * | 2014-05-09 | 2015-12-03 | 和俊 尾花 | 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 |
| JP2015219917A (ja) * | 2014-05-20 | 2015-12-07 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚設計オーサリングツール |
| JP2016015131A (ja) * | 2014-06-16 | 2016-01-28 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | フォーリー式触覚コンテンツ作成のためのシステム及び方法 |
| US10503263B2 (en) | 2014-06-16 | 2019-12-10 | Immersion Corporation | Systems and methods for Foley-style haptic content creation |
| US10908773B2 (en) | 2014-08-26 | 2021-02-02 | Nintendo Co., Ltd. | Home screen settings for information processing device and information processing system, and recording medium therefor |
| US10126917B2 (en) | 2014-08-26 | 2018-11-13 | Nintendo Co., Ltd. | Information processing device, information processing system, and recording medium |
| US10534510B2 (en) | 2014-08-26 | 2020-01-14 | Nintendo Co., Ltd. | Information processing device, information processing system, and recording medium |
| JP2016045849A (ja) * | 2014-08-26 | 2016-04-04 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法 |
| JP2018032236A (ja) * | 2016-08-25 | 2018-03-01 | 株式会社ファセテラピー | 触質コンテンツ生成装置および触質コンテンツ生成方法 |
| JP2020537796A (ja) * | 2017-09-15 | 2020-12-24 | フォース・ディメンション・エスアーエルエル | 振動触覚をフィードバックする方法およびデバイス |
| JP7441787B2 (ja) | 2017-09-15 | 2024-03-01 | フォース・ディメンション・エスアーエルエル | 振動触覚をフィードバックする方法およびデバイス |
| JP2022063332A (ja) * | 2018-07-10 | 2022-04-21 | 株式会社ソニー・インタラクティブエンタテインメント | コントローラ装置、及びその制御方法 |
| JP7300028B2 (ja) | 2018-07-10 | 2023-06-28 | 株式会社ソニー・インタラクティブエンタテインメント | コントローラ装置、及びその制御方法 |
| JP2022521398A (ja) * | 2019-02-19 | 2022-04-07 | ドンウン アナテック カンパニー リミテッド | オーディオ信号パターンを用いたハプティック信号発生方法および装置 |
| KR20210088264A (ko) * | 2020-01-06 | 2021-07-14 | 김수영 | 음향을 촉각 효과로 변환하는 시스템 및 방법 |
| KR102286822B1 (ko) * | 2020-01-06 | 2021-08-06 | 김수영 | 음향을 촉각 효과로 변환하는 시스템 및 방법 |
| WO2022131343A1 (ja) * | 2020-12-18 | 2022-06-23 | 株式会社Ｊｖｃケンウッド | 情報提供装置、情報提供方法、およびプログラム |
| JP7552338B2 (ja) | 2020-12-18 | 2024-09-18 | 株式会社Ｊｖｃケンウッド | 情報提供装置、情報提供方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003032289A1 (en) | 2003-04-17 |
| EP1438706B1 (en) | 2008-07-02 |
| US20030067440A1 (en) | 2003-04-10 |
| US20100066512A1 (en) | 2010-03-18 |
| EP1438706A1 (en) | 2004-07-21 |
| EP1438706A4 (en) | 2006-01-18 |
| CN100445930C (zh) | 2008-12-24 |
| US20130106691A1 (en) | 2013-05-02 |
| US7623114B2 (en) | 2009-11-24 |
| JP2011141890A (ja) | 2011-07-21 |
| US8441437B2 (en) | 2013-05-14 |
| KR20040062559A (ko) | 2004-07-07 |
| CN1599925A (zh) | 2005-03-23 |
| JP5319719B2 (ja) | 2013-10-16 |
| US8686941B2 (en) | 2014-04-01 |
| KR100925293B1 (ko) | 2009-11-04 |
| CN101424975B (zh) | 2011-08-17 |
| ATE400032T1 (de) | 2008-07-15 |
| CN101424975A (zh) | 2009-05-06 |
| DE60227398D1 (de) | 2008-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5319719B2 (ja) | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 | |
| JP5662230B2 (ja) | 触覚フィードバックを使用する音声データ出力および操作 | |
| EP2873447B1 (en) | Haptic trigger control system | |
| JP5244702B2 (ja) | 触覚フィードバックインターフェースデバイス用の方向接触フィードバック | |
| JP2010061667A (ja) | ホストコンピュータを利用して力フィードバックインタフェースを制御する方法および装置 | |
| EP3261737B1 (en) | Modifying haptic effects for slow motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080201 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080411 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080411 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080430 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081009 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081020 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110314 |