JP2020173821A - ストリームに依存しない音をハプティック効果に変換するシステム - Google Patents
ストリームに依存しない音をハプティック効果に変換するシステム Download PDFInfo
- Publication number
- JP2020173821A JP2020173821A JP2020101184A JP2020101184A JP2020173821A JP 2020173821 A JP2020173821 A JP 2020173821A JP 2020101184 A JP2020101184 A JP 2020101184A JP 2020101184 A JP2020101184 A JP 2020101184A JP 2020173821 A JP2020173821 A JP 2020173821A
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- stream
- audio
- signal
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Apparatuses For Generation Of Mechanical Vibrations (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
前記システムは、前記オーディオ信号のストリームを受信し、前記ストリームは、一又はそれ以上のパラメータを含む。
前記システムは、さらに、前記一又はそれ以上のパラメータの少なくとも1つのパラメータが、ストリームがハプティック効果に変換されたことを示すかどうかを判定する。
前記システムは、さらに、前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示す場合に、前記ストリームに基づいてハプティック信号を生成する。
前記システムは、さらに、前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示す場合に、前記ハプティック効果を生成するためにアクチュエータに前記ハプティック信号を送信する。
ハプティック変換システムは、識別されたオーディオストリームのみに対してハプティック信号を生成し、それにより、ハプティック変換のストリーム非依存性を提供することができる。
よって、一又はそれ以上のパラメータをオーディオ信号の各オーディオストリームに割り当てることにより、ハプティック変換システムのユーザは、オーディオ信号の各オーディオストリームのオーディオ トゥ ハプティック変換(audio−to−haptic conversion、オーディオからハプティックへの変換)をオン又はオフにすることができる。
さらに、ハプティック変換システムは、各オーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいて個々のオーディオストリームそれぞれに対して生成される各ハプティック信号を構成することができる。
各ハプティック信号の構成は、オーディオ トゥ ハプティック変換の前、最中又は後に行うことができる。
したがって、一又はそれ以上のパラメータをオーディオ信号の各オーディオストリームに割り当てることにより、ハプティック変換システムのユーザは、対応するオーディオストリームに対して生成されるハプティック信号を個別に構成することにより個々のオーディオストリームのそれぞれに対するオーディオ トゥ ハプティック変換を個々に構成することができる。
生成された信号が複数のアクチュエータを通じてプレイされる実施形態では、一又はそれ以上のパラメータは、一又はそれ以上の特定されたアクチュエータを通じてプレイされる、生成された信号を構成しうる少なくとも1つのアクチュエータパラメータを含みうる。
一実施形態では、システム10は、モバイル装置の一部分であり、システム10は、モバイル装置のためにハプティック変換機能を提供する。
図では単一のシステムを示したが、システム10の機能は、分散されたシステムとして実装されることができる。
システム10は、情報を伝達するためのバス12又は他の通信機構と、情報を処理するために、バス12に接続されるプロセッサ22と、を含む。
プロセッサ22は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム10は、プロセッサ22により実行される情報及び命令を記憶するメモリ14をさらに含む。
メモリ14は、ランダムアクセスメモリ(“RAM”)、リードオンリーメモリ(“ROM”)、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。
通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。
ストレージ媒体は、RAM、フラッシュメモリ、ROM、erasable programmable read−only memory(“EPROM”)、electrically erasable programmable read−only memory(“EEPROM”)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ(“CD−ROM”)、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。
モジュールは、一実施形態のモバイル装置の他の部分と同様に、システム10にオペレーティングシステム機能を提供するオペレーティングシステム15を含む。
モジュールは、以下に詳細を記載するように、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号の一又はそれ以上のオーディオストリームへ変換するストリームに依存しない(stream−independent)ハプティック変換モジュール16を含む。
特定の実施形態では、ストリームに依存しないハプティック変換モジュール16は、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号の一又はそれ以上のオーディオストリームへ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。
システム10は、通常、Immersion CorporationによるIntegrator(登録商標)のような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール18を含む。
他の実施形態では、通信装置20は、イーサネット(登録商標)接続又はモデムのような有線通信を提供する。
ディスプレイ24は、タッチスクリーンのような、プロセッサ22から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。
プロセッサ22は、生成されたハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ26に送信し、次に、例えば振動触覚効果のようなハプティック効果を出力する。
アクチュエータ26は、アクチュエータ回路を含む。アクチュエータ26は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ(eccentric rotating mass motor(“ERM”))、リニア共振アクチュエータ(inear resonant actuator(“LRA”))、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー(electroactive polymer(“EAP”))アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。
別の実施形態では、システム10は、アクチュエータ26に加えて、一又はそれ以上の別のアクチュエータ(図1には図示せず)を含みうる。他の実施形態では、システム10から離れた装置は、ハプティック効果を生成するアクチュエータを含み、ハプティックフィードバックシステム10は、通信装置20を通じて当該装置へ生成したハプティック効果信号を送信する。
プロセッサ22は、スピーカ28へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。
スピーカ28は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。
図示された実施形態では、ハプティック変換システムは、アプリケーション210と、モバイルプラットフォームアーキテクチャ220と、インターフェース230と、ハプティック変換ブロック240と、を含む。
アプリケーション210は、装置(例えば、モバイル装置)で実行されうるソフトウェアアプリケーションであり、オーディオ信号を生成するように構成される。
図示された実施形態では、アプリケーション210は、ユーザの入力を受信し、ユーザの入力に応じてオーディオ信号を生成し、オーディオ信号は、一又はそれ以上のオーディオストリームを含む。
他の実施形態では、オーディオ信号は、Musical Instrument Digital Interface(“MIDI”)オーディオ信号のような構造ベースオーディオ信号(structure−based audio signal)を含み、各MIDIオーディオ信号は、一又はそれ以上のMIDIオーディオデータストリームを含む。
さらに別の実施形態では、オーディオ信号は、MPEG−2 オーディオ レイヤーIII(“MP3”)オーディオ信号のような周波数ドメインオーディオ信号を含み、各MP3オーディオ信号は、一又はそれ以上のMP3オーディオデータストリームを含む。
さらに別の実施形態では、オーディオ信号は、当業者に既に知られている複数のオーディオストリームを有する他のオーディオフォーマットを含む。
一又はそれ以上のパラメータは、ハプティック変換を示すパラメータを含みうる。ハプティック変換を示すパラメータは、以下により詳細に説明するように、対応するオーディオストリームがハプティック効果に変換されたかどうかを示すことができる。
一又はそれ以上のパラメータは、また、一又はそれ以上のハプティックパラメータを含みうる。一又はそれ以上のハプティックパラメータは、オーディオストリームに基づいて生成されるハプティック信号を構成するために用いられることができ、よって、以下により詳細に説明するように、オーディオストリームに基づいて生成されるハプティック効果を構成するために用いられることができる。
ハプティック信号の構成は、ハプティック信号の生成の前、最中又は後に行うことができる。
一又はそれ以上のハプティックパラメータのそれぞれは、値を含むことができ、各値は、一又はそれ以上のハプティックパラメータのそれぞれに対応する。
このようなハプティックパラメータのそれぞれは、強度パラメータ(ハプティック信号の強度を構成するために用いられうる)、密度パラメータ(ハプティック信号の密度を構成するために用いられうる)、振幅(magnitude)パラメータ(ハプティック信号の振幅を構成するために用いられうる)、周波数パラメータ(ハプティック信号の周波数を構成するために用いられうる)、アクチュエータパラメータ(一又はそれ以上の特定されたアクチュエータへ送信されるハプティック信号を構成するために用いられうる)、又はフェールセーフパラメータ(一又はそれ以上の無効なハプティックパラメータの場合に実行するためのフェールセーフオペレーションを示すために用いられる)。
モバイルプラットフォームオーディオアーキテクチャ220は、オーディオ信号の一又はそれ以上のオーディオストリームを一又はそれ以上のスピーカ(図2には図示せず)へ送信するように構成されるモジュール(又はモジュールの集合体)である。
モバイルプラットフォームオーディオアーキテクチャ220は、オーディオ信号の一又はそれ以上のオーディオストリームを一又はそれ以上のスピーカへストリームする機能を提供しうる一又はそれ以上のアプリケーションプログラミングインターフェース(application programming interfaces (“APIs”))を含みうる。
一実施形態では、モバイルプラットフォームオーディオアーキテクチャ220は、モバイル装置のAndroid(登録商標)オペレーティングシステムのAndroid AudioTrackモジュール(又はモジュールの集合体)である。
この実施形態では、モバイルプラットフォームオーディオアーキテクチャ220は、一又はそれ以上のAudioTrack APIsを含むことができ、各AudioTrack APIは、アプリケーション210がプレイするように構成されるオーディオ信号の異なるオーディオストリームを示すことができ、各AudioTrack APIは、一又はそれ以上のスピーカでオーディオストリームをプレイするために呼び出され(又は実行され)うる。
図示された実施形態では、各AudioTrack APIは、以下により詳細に説明するように、インターフェース230内の対応するAPIにより呼び出されうる。各AudioTrack APIが呼び出されたとき、各AudioTrack APIは、アプリケーション210によりプレイされるオーディオ信号のオーディオストリームをパスすることができ、各AudioTrack APIは、一又はそれ以上のスピーカで対応するオーディオストリームをプレイすることができる。
よって、図示された実施形態では、モバイルプラットフォームオーディオアーキテクチャ220は、アプリケーション210により送信されたオーディオ信号の一又はそれ以上のオーディオストリームを受信し、それらを一又はそれ以上のスピーカへ送信する。
実施形態によれば、インターフェース230内のAPIは、モバイルプラットフォームオーディオアーキテクチャ220又はハプティック変換ブロック240のいずれかのAPIよりも抽出が高いレベルにある。これは、インターフェース230内のAPIが、オーディオ信号のオーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいて、モバイルプラットフォームオーディオアーキテクチャ220内のAPI又はハプティック変換ブロック240内のAPIを呼び出すことができるためである。
一実施形態では、インターフェース230は、(HapticTrack APIsとして識別される)一又はそれ以上のAPIsを含むことができ、インターフェース230の各HapticTrack APIは、アプリケーション210がプレイするように構成されるオーディオ信号のオーディオストリームを示すことができ、インターフェース230の各HapticTrack APIは、モバイルプラットフォームオーディオアーキテクチャ220(例えばAudioTrack API)内のAPIに対応する。
実施形態によれば、各HapticTrack APIは、一又はそれ以上のスピーカでオーディオストリームをプレイするためにアプリケーション210により呼び出されることができ、潜在的に、オーディオストリームをハプティック信号に変換し、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータ(図2には図示せず)でハプティック信号をプレイすることができる。
パラメータの1つは、ハプティック変換を示すパラメータであってもよい。前述したように、ハプティック変換を示すパラメータは、対応するオーディオストリームがハプティック効果に変換されたかどうかを示すことができる。
AudioTrack APIは、その後、前述した一又はそれ以上のスピーカでオーディオストリームをプレイすることができる。
HapticTrack APIは、また、一又はそれ以上のパラメータを分析することもでき、ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含むかどうかを判定することができる。
ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含む場合には、HapticTrack APIは、以下により詳細に説明するように、オーディオストリームをハプティック効果に変換するためにハプティック変換ブロック240を呼び出すことができる。
ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含む場合には、HapticTrack APIは、ハプティック変換ブロック240を呼び出さず、オーディオストリームは、ハプティック効果に変換されない。
これらの実施形態のいくつかでは、インターフェース230は、また、どのようにオーディオストリームがハプティック効果に変換されるかを構成することもできる。
これらの実施形態のいくつかでは、構成は、ハプティック効果を生成するために、ハプティック効果を示すハプティック信号を送るためのアクチュエータを決定することを含むことができる。
例えば、インターフェース230は、一又はそれ以上のパラメータが無効(例えば、一又はそれ以上のパラメータが無効である値を含む)であるかどうかを判定することができる。パラメータの無効値の例は、予め設定された範囲外である強度パラメータ用の値、又は存在しないアクチュエータを示すアクチュエータパラメータ用の値を含むことができる。
インターフェース230が、一又はそれ以上のパラメータが無効であると判定した場合には、インターフェース230は、オーディオストリームをハプティック効果に変換するフェールセーフオペレーションを実行することができる。
フェールセーフオペレーションの一例は、デフォルトのオーディオ トゥ ハプティック変換を用いることである。
フェールセーフオペレーションの別の例は、オーディオストリームのオーディオ トゥ ハプティック変換を自動的にバイパスすることである。
一実施形態では、インターフェース230は、オーディオストリーム内に含まれるフェールセーフパラメータに基づいて実行するためにフェールセーフオペレーションを選択することができる。
実施形態によれば、一又はそれ以上のパラメータの数が有限であることができ、異なるHapticTrack APIは、オーディオストリーム内に含まれるパラメータの数及びタイプに応じて呼び出されうる。
また、一実施形態では、一又はそれ以上のパラメータは、AudioTrack APIへ送信されうる一又はそれ以上のパラメータの拡張(extension)でありうる。よって、AudioTrack APIへ送信されうる(パラメータの任意の組み合わせを含む)オーディオストリームは、また、HapticTrack APIへ送信されうる。一実施形態では、一又はそれ以上のパラメータは、一又はそれ以上のオーディオパラメータ及び一又はそれ以上の追加パラメータを含むことができる。
一実施形態では、インターフェース230は、オーディオストリームで行われる一又はそれ以上のオペレーションを決定するために、一又はそれ以上のパラメータを解釈することの責任を担うことができる。
ハプティック変換ブロック240により行われるオーディオ トゥ ハプティック変換処理のさらなる詳細は、“SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING AMPLITUDE VALUE”という発明の名称の米国特許出願番号第13/365,984号、“SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING WAVEFORM,”という発明の名称の米国特許出願番号第13/366,010号、及び“SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING MULTIPLE ACTUATORS,”という発明の名称の米国特許出願番号第13/439,241に説明されており、その開示が参照により本明細書に援用される。
これらの実施形態では、オーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含むオーディオストリームのみを呼び出すため、ハプティック変換ブロック240は、これらの特定のオーディオストリームを、一又はそれ以上のアクチュエータでその後プレイされるハプティック信号にのみ変換する。
これらの実施形態によれば、このようなハプティック変換を示すパラメータを含まないオーディオストリーム(又はハプティック変換を示すパラメータを含むが、ハプティック変換を示すパラメータは、オーティオストリームがハプティック効果に変換されないことを示す)は、ハプティック変換ブロック240によりハプティック信号に変換されない。
他の実施形態では、ハプティック変換ブロック240は、オーティオストリームが変換されたことを明示的に又はコンテキスト的に示す一又はそれ以上のパラメータを含むオーディオストリームのみが呼び出されうる。
オーディオストリームがハプティック効果に変換されることを明示的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を含む。
オーディオストリームがハプティック効果に変換されることをコンテキスト的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を必ず含むわけではないが、一又はそれ以上のパラメータの存在は、オーディオストリームがハプティック効果に変換されることを意味する。
特定の実施形態では、一又はそれ以上のパラメータのそれぞれは、値を含むことができ、各値は、一又はそれ以上のハプティックパラメータのそれぞれに対応する。
一又はそれ以上のパラメータが一又はそれ以上のハプティックパラメータを含む場合、HapticTrack APIは、ハプティック変換ブロック240により生成されるハプティック信号を構成するために一又はそれ以上のハプティックパラメータを用いることができる。
特定の実施形態では、HapticTrack APIは、ハプティック変換ブロック240により生成されるハプティック信号を構成するために一又はそれ以上のハプティックパラメータに対応する一又はそれ以上の値を用いることができる。
よって、ハプティック信号の構成は、一又はそれ以上のアクチュエータで生成されたハプティック信号を構成することができる。
例えば、ハプティックパラメータの1つが強度パラメータである場合、HapticTrack APIは、強度パラメータの値に基づいてハプティック変換ブロック240により生成されるハプティックパラメータの強度を構成しうる。この構成は、対応するハプティック効果の強度を構成しうる。
別の例として、ハプティックパラメータの1つが密度パラメータである場合、HapticTrack APIは、密度パラメータの値に基づいてハプティック変換ブロック240により生成されるハプティックパラメータの密度を構成しうる。この構成は、対応するハプティック効果の密度を構成しうる。
さらに別の例として、ハプティックパラメータの1つが振幅パラメータである場合、HapticTrack APIは、振幅パラメータの値に基づいてハプティック変換ブロック240により生成されるハプティックパラメータの振幅を構成しうる。この構成は、対応するハプティック効果の振幅を構成しうる。
さらに別の例として、ハプティックパラメータの1つが周波数パラメータである場合、HapticTrack APIは、周波数パラメータの値に基づいてハプティック変換ブロック240により生成されるハプティックパラメータの周波数を構成しうる。この構成は、対応するハプティック効果の周波数を構成しうる。
さらに別の例として、ハプティックパラメータの1つがアクチュエータパラメータである場合、HapticTrack APIは、アクチュエータパラメータの値に基づいてハプティック変換ブロック240により生成されるハプティックパラメータのアクチュエータを構成しうる。この構成は、特定の一又はそれ以上のアクチュエータにより生成される対応するハプティック効果を生じることにより、対応するハプティック効果のアクチュエータを構成しうる。
一実施形態では、アクチュエータパラメータの値は、アクチュエータインデックスのアレイであることができ、アクチュエータインデックスは、一又はそれ以上のアクチュエータの特定のアクチュエータを示す。
さらに別の例として、ハプティックパラメータの1つがフェールセーフパラメータである場合、HapticTrack APIは、少なくとも1つのハプティックパラメータが無効であるイベントでフェールセーフパラメータにより示されるフェールセーフオペレーションに基づいてハプティック信号を構成しうる。
いくつかの実施形態では、HapticTrack APIは、ハプティック信号がハプティック変換ブロック240により生成される前にハプティック信号を構成しうる。
これらの実施形態では、HapticTrack APIは、ハプティック信号を生成するためにハプティック変換ブロック240により用いられる一又はそれ以上の特性を構成するために一又はそれ以上のパラメータの値を用いる。
これらのいくつかの実施形態では、オーディオストリームは、対応するハプティック信号が、一又はそれ以上のパラメータで要求される特性を含むように操作されうる。
他の実施形態では、HapticTrack APIは、ハプティック信号がハプティック変換ブロック240により生成される間にハプティック信号を構成しうる。
これらのいくつかの実施形態では、ハプティック信号を生成する間に、一又はそれ以上のパラメータは、最終的なハプティック信号を生成する際に考慮される。
他の実施形態では、HapticTrack APIは、ハプティック信号がハプティック変換ブロック240により生成された後にハプティック信号を構成しうる。
これらのいくつかの実施形態では、初めにハプティック信号を生成した後に、ハプティック信号が、一又はそれ以上のパラメータで要求される特性を含むように操作されうる。
例えば、コンピュータゲーム内でプレイされるハプティック効果を開発するハプティック効果の開発者は、爆発を表現するオーディオ信号の一又はそれ以上のオーディオストリームに、最大値を有するハプティックパラメータを含ませることにより、コンピュータゲーム内での爆発を表すことができ、そのため、得られるハプティック効果は強くなる。
別の例として、ハプティック効果の開発者は、足音を表現するオーディオ信号の一又はそれ以上のオーディオストリームに、減少された値を有するハプティックパラメータを含ませることにより、コンピュータゲーム内での足音を表すことができ、そのため、得られるハプティック効果は、爆発を表現するハプティック効果とは異なる。
実施形態によれば、ハプティック変換システムは、インターフェース310及びオーディオ トゥ ハプティックモジュール320を含む。インターフェース310は、(a)オーディオ信号のオーディオストリームがオーディオ トゥ ハプティック変換を用いるか判定し、(b)オーディオ トゥ ハプティック変換を用いて各オーディオストリームに対してオーディオ トゥ ハプティック変換を構成する機能を提供するように構成されるモジュール(又はモジュールの集合体)である。
いくつかの実施形態では、インターフェース310は、図2のインターフェース230と同一である。
特定の実施形態では、オーディオ信号は、例えばPCMオーディオ信号のようなデジタルオーディオ信号であり、PCMオーディオ信号の複数のオーディオストリームは、複数のPCMオーディオストリームである。
各オーディオストリームに対して、インターフェース310は、オーディオストリーム内に含まれる少なくとも1つのパラメータが、オーディオストリームがハプティック効果に変換される値を含むハプティック変換を示すパラメータであるか判定する。
特定の実施形態では、インターフェース310は、オーディオストリームが、オーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含む場合に、この判定を行う。
他の実施形態では、インターフェース310は、オーディオストリームが、オーディオストリームがハプティック効果に変換されることを明示的又はコンテキスト的に示す一又はそれ以上のパラメータを含む場合に、この判定を行う。
オーディオストリームがハプティック効果に変換されることを明示的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を含む。
オーディオストリームがハプティック効果に変換されることをコンテキスト的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を必ず含むわけではないが、一又はそれ以上のパラメータの存在は、オーディオストリームがハプティック効果に変換されることを意味する。
インターフェース310は、続いて、これらの識別されたオーディオストリームをオーディオ トゥ ハプティックモジュール320へ送信する。
実施形態によれば、インターフェース310は、他のオーディオストリームをオーディオ トゥ ハプティックモジュール320へ送信しない(つまり、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含まないオーディオストリーム、又はオーディオストリームがハプティック効果に変換されないことを示すハプティック変換を示すパラメータを含むオーディオストリーム)。
よって、インターフェース310は、オーディオ トゥ ハプティックモジュール320をセットアップし、インターフェース310がオーディオ トゥ ハプティックモジュール320へ送信するオーディオストリームをどのように処理するかをオーディオ トゥ ハプティックモジュールに指示する。
さらに、オーディオストリーム311の3つの他のオーディオストリームは、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含まない。
よって、図示された実施形態では、インターフェース310は、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含むオーディオストリーム311の3つのオーディオストリームを識別し、これらの3つのオーディオストリームのみをオーディオ トゥ ハプティックモジュール320に送信する。
さらに、オーディオ トゥ ハプティックモジュール320は、これらの3つのオーディオストリームのみをオーディオ信号に変換し、3つのハプティック信号のみをアクチュエータに送信する。
しかし、図示された実施形態は、実施形態の一例であり、インターフェース310は、任意の数のオーディオストリームを識別し、オーディオ トゥ ハプティックモジュール320へ送信し、オーディオ トゥ ハプティックモジュール320は、任意の数のオーディオストリームを任意の数のハプティック信号に変換し、任意の数のハプティック信号を任意の数のアクチュエータに送信する構成されることができる。
いくつかの実施形態では、オーディオ トゥ ハプティックモジュール320は、図2のハプティック変換ブロック240と同一である。
実施形態では、オーディオ トゥ ハプティックモジュール320は、インターフェース310から一又はそれ以上のオーディオストリームを受信し、各オーディオストリームに対して、対応するハプティック信号を生成するように構成される。
オーディオ トゥ ハプティックモジュール320は、さらに、一又はそれ以上のハプティック信号を一又はそれ以上のアクチュエータに送信するように構成され(ハプティック信号321として図3に示される)、一又はそれ以上のハプティック信号は、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータでプレイされる。
特定の実施形態では、インターフェース310がオーディオ トゥ ハプティックモジュール320へ送信する各オーディオストリームに対して、インターフェース310は、さらに、対応するオーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいてオーディオ トゥ ハプティックモジュール320により生成されるハプティック信号を構成する。
よって、ハプティック信号の構成は、一又はそれ以上のアクチュエータで生成されるハプティック効果を構成しうる。
別の例として、ハプティックパラメータの1つが密度パラメータである場合、インターフェース310は、密度パラメータの値に基づいてオーディオ トゥ ハプティックモジュール320により生成されるハプティック信号の密度を構成しうる。この構成は、対応するハプティック効果の密度を構成しうる。
さらに別の例として、ハプティックパラメータの1つが振幅パラメータである場合、インターフェース310は、振幅パラメータの値に基づいてオーディオ トゥ ハプティックモジュール320により生成されるハプティック信号の振幅を構成しうる。この構成は、対応するハプティック効果の振幅を構成しうる。
さらに別の例として、ハプティックパラメータの1つが周波数パラメータである場合、インターフェース310は、周波数パラメータの値に基づいてオーディオ トゥ ハプティックモジュール320により生成されるハプティック信号の周波数を構成しうる。
さらに別の例として、ハプティックパラメータの1つがアクチュエータパラメータである場合、インターフェース310は、アクチュエータパラメータの値に基づいて、一又はそれ以上の特定のアクチュエータへ送信されるオーディオ トゥ ハプティックモジュール320により生成されるハプティック信号を構成しうる。
一実施形態では、アクチュエータパラメータの値は、アクチュエータインデックスのアレイであることができ、各アクチュエータインデックスは、一又はそれ以上のアクチュエータの特定のアクチュエータを示す。
さらに別の例として、ハプティックパラメータの1つがフェールセーフパラメータであり、ハプティックパラメータの少なくとも1つが無効である場合、HapticTrack APIは、フェールセーフパラメータにより示されるフェールセーフオペレーションに基づいてハプティック信号を構成しうる。
いくつかの実施形態では、インターフェース310は、オーディオ トゥ ハプティックモジュール320がハプティック信号を生成する前にハプティック信号を構成しうる。
これらの実施形態では、インターフェース310は、ハプティック信号を生成するためのオーディオ トゥ ハプティックモジュール320により用いられる一又はそれ以上の特性を構成するために一又はそれ以上のパラメータの値を用いる。
これらの実施形態のいくつかでは、オーディオストリームは、対応するハプティック信号が、一又はそれ以上のパラメータにより要求される特性を含むように操作されることができる。
いくつかの実施形態では、インターフェース310は、オーディオ トゥ ハプティックモジュール320がハプティック信号を生成する間にハプティック信号を構成しうる。
これらの実施形態のいくつかでは、ハプティック信号を生成する間に、一又はそれ以上のパラメータは、最終的なハプティック信号を生成する際に考慮される。
いくつかの実施形態では、インターフェース310は、オーディオ トゥ ハプティックモジュール320がハプティック信号を生成した後にハプティック信号を構成しうる。
これらの実施形態のいくつかでは、初めにハプティック信号を生成した後に、ハプティック信号は、ハプティック信号が、一又はそれ以上のパラメータにより要求される特性を含むように操作されうる。
一実施形態では、図4の機能は、メモリ又は他のコンピュータ可読媒体若しくは有形的表現媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。
別の実施形態では、当該機能は、(例えば、特定用途向け集積回路(“ASIC”)、プログラマブルゲートアレイ(“PGA”)、フィールドプログラマブルゲートアレイ(“FPGA”)等のアプリケーションを使用することによる)ハードウェアにより行われてもよく、ハードウェア及びソフトウェアの組み合わせにより行われてもよい。
また、別の実施形態では、機能は、アナログ構成要素を用いたハードウェアにより行われてもよい。
特定の実施形態では、一又はそれ以上のパラメータは、ハプティック変換を示すパラメータを含むことができ、ハプティック変換を示すパラメータは、ストリームがハプティック効果に変換されるかどうかを示すことができる。
これらの実施形態のいくつかでは、一又はそれ以上のパラメータは、さらに、一又はそれ以上のハプティックパラメータを含みうる。
一又はそれ以上のハプティックパラメータは、ストリームに基づいて生成されるハプティック信号を構成するために用いられることができ、ストリームに基づいて生成されるハプティック効果を構成するために用いられることができる。
これらの実施形態のいくつかでは、一又はそれ以上のパラメータは、強度パラメータ(ハプティック信号の強度を構成するために用いられうる)、密度パラメータ(ハプティック信号の密度を構成するために用いられうる)、振幅パラメータ(ハプティック信号の振幅を構成するために用いられうる)、周波数パラメータ(ハプティック信号の周波数を構成するために用いられうる)、アクチュエータパラメータ(一又はそれ以上の特定されたアクチュエータへ送信されるハプティック信号を構成するために用いられうる)、フェールセーフパラメータ(一又はそれ以上の無効パラメータの場合に実行されるフェールセーフオペレーションを示すために用いられる)の少なくとも1つを含みうる。
フローは420へ進む。
したがって、実施形態によれば、対応するストリームがハプティック効果に変換されることを示す少なくとも1つのパラメータを含む一又はそれ以上のストリームが識別される。
フローは430へ進む。
フローは440へ進む。
各ハプティック信号の構成は、一又はそれ以上のハプティックパラメータに基づいて各ハプティック信号の一又はそれ以上の特性を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つが強度パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の強度を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つが密度パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の密度を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つが振幅パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の振幅を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つが周波数パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の周波数を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つがアクチュエータパラメータである場合の実施形態では、各ハプティック信号の構成は、一又はそれ以上の特定のアクチュエータに送信される各ハプティック信号を構成することを含みうる。
一又はそれ以上のハプティックパラメータの1つがアクチュエータパラメータである場合の実施形態では、各ハプティック信号の構成は、一又はそれ以上の無効なパラメータの場合にフェールセーフパラメータにより示されるフェールセーフオペレーションを実行することを含みうる。
特定の実施形態では、440で行われる各ハプティック信号の構成は、430で行われる各ハプティック信号の生成の前に行われうる。
他の実施形態では、440で行われる各ハプティック信号の構成は、430で行われる各ハプティック信号の生成中に行われうる。
他の実施形態では、440で行われる各ハプティック信号の構成は、430で行われる各ハプティック信号を生成した後に行われうる。
フローは450へ進む。
特定の実施形態では、全てのストリームに対して、各ストリームは、また、ストリームのハプティック変換を示すパラメータが、ストリームがハプティック効果に変換されることを示すかどうかに関わらず、オーディオ効果を生成するためにスピーカへ送信される。
フローはその後終了する。
別の実施形態では、オーディオ信号は、MIDIオーディオ信号であり、MIDIオーディオ信号の各ストリームは、MIDIオーディオストリームである。
さらに別の実施形態では、オーディオ信号は、MP3オーディオ信号であり、MP3オーディオ信号の各ストリームは、MP3オーディオストリームである。
このようなハプティック変換システムは、オーディオ トゥ ハプティックが粒度のカスタマイズ可能なレベルで適用されることを可能にすることにより、ハプティック効果の開発者が、ユーザのためにハプティック体験を開発及び設計することにおいてよりよい制御を有することを可能にする。
さらに、ハプティック変換システムは、ユーザが、オーディオストリームがハプティック信号を生成すべきである制御を許可することを可能にするハプティック効果の開発者用の機構を提供することができる。
よって、個々のオーディオストリームに対して可能又は不可能であり得るカスタマイズされた信号は、ユーザの選択に基づいてオーディオ信号から生成されることができ、ハプティック信号は、ハプティック効果を生成するために用いられうる。
Claims (15)
- 一又はそれ以上のオーディオ信号のストリームを一又はそれ以上のハプティック効果に変換するコンピュータ実装方法であって、
前記オーディオ信号のストリームを受信するステップであって、前記ストリームは、一又はそれ以上のパラメータを含む、ステップと、
前記一又はそれ以上のパラメータの少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかを判定するステップと、
前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すときに、前記ストリームに基づいてハプティック信号を生成するステップと、
前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すときに、前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するステップと、を含む方法。 - 前記オーディオ信号の複数のストリームを受信するステップであって、各ストリームは、一又はそれ以上のパラメータを含む、ステップと、
前記複数のストリームの各ストリームに対して、前記一又はそれ以上のパラメータの少なくとも1つのパラメータが、対応するストリームがハプティック効果に変換されることを示すかどうかを判定するステップであって、前記対応するストリームが前記ハプティック効果に変換されることを示す少なくとも1つのパラメータを含む一又はそれ以上のストリームが識別される、ステップと、
識別された前記一又はそれ以上のストリームのみに対して、各対応するストリームに基づいてハプティック信号を生成するステップと、
識別された前記一又はそれ以上のストリームのみに対して、各ハプティック効果を生成するために、各ハプティック信号を前記アクチュエータに送信するステップと、をさらに含む請求項1に記載の方法。 - 前記一又はそれ以上のパラメータに基づいて前記ハプティック信号を構成するステップをさらに含む請求項1に記載の方法。
- 前記一又はそれ以上のパラメータは、強度パラメータ、密度パラメータ、振幅パラメータ、周波数パラメータ、アクチュエータパラメータ又はフェールセーフパラメータの少なくとも1つを含み、
前記ハプティック信号の強度を構成するステップ、前記ハプティック信号の密度を構成するステップ、前記ハプティック信号の振幅を構成するステップ、前記ハプティック信号の周波数を構成するステップ、前記ハプティック信号が送信される一又はそれ以上の特定のアクチュエータを構成するステップ又はフェールセーフオペレーションを実行するステップの少なくとも1つをさらに含む請求項3に記載の方法。 - 前記ハプティック信号を構成するステップは、前記ハプティック信号の生成前に行われる請求項3に記載の方法。
- 前記ハプティック信号を構成するステップは、前記ハプティック信号の生成時に行われる請求項3に記載の方法。
- 前記ハプティック信号を構成するステップは、前記ハプティック信号の生成後に行われる請求項3に記載の方法。
- 前記オーディオ信号は、パルスコード変調オーディオバッファであり、前記ストリームは、パルスコード変調ストリームである請求項1に記載の方法。
- 前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかに関わらずオーディオ効果を生成するために、前記オーディオ信号の前記ストリームをスピーカへ送信するステップをさらに含む請求項1に記載の方法。
- ストリームに依存しないハプティック変換モジュールを記憶するように構成されるメモリと、
前記メモリに記憶される前記ストリームに依存しないハプティック変換モジュールを実行するように構成されるプロセッサと、
一又はそれ以上のハプティック効果を出力するように構成されるアクチュエータと、を備え、
前記ストリームに依存しないハプティック変換モジュールは、
オーディオ信号のストリームを受信し、前記ストリームは、一又はそれ以上のパラメータを含み、
前記一又はそれ以上のパラメータの少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかを判定し、
前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すときに、前記ストリームに基づいてハプティック信号を生成し、
前記少なくとも1つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すときに、前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するように構成される、ハプティック変換システム。 - 前記ストリームに依存しないハプティック変換モジュールは、さらに、
前記オーディオ信号の複数のストリームを受信し、各ストリームは、一又はそれ以上のパラメータを含み、
前記複数のストリームの各ストリームに対して、前記一又はそれ以上のパラメータの少なくとも1つのパラメータが、対応するストリームがハプティック効果に変換されることを示すかどうかを判定し、前記対応するストリームが前記ハプティック効果に変換されることを示す少なくとも1つのパラメータを含む一又はそれ以上のストリームが識別され、
識別された前記一又はそれ以上のストリームのみに対して、各対応するストリームに基づいてハプティック信号を生成し、
識別された前記一又はそれ以上のストリームのみに対して、各ハプティック効果を生成するために、各ハプティック信号を前記アクチュエータに送信するように構成される、請求項10に記載のハプティック変換システム。 - 前記ストリームに依存しないハプティック変換モジュールは、さらに、前記一又はそれ以上のパラメータに基づいて前記ハプティック信号を構成するように構成される請求項10に記載のハプティック変換システム。
- 前記一又はそれ以上のパラメータは、強度パラメータ、密度パラメータ、振幅パラメータ、周波数パラメータ、アクチュエータパラメータ又はフェールセーフパラメータの少なくとも1つを含み、
前記ストリームに依存しないハプティック変換モジュールは、さらに、前記ハプティック信号の強度を構成する、前記ハプティック信号の密度を構成する前記ハプティック信号の振幅を構成する、前記ハプティック信号の周波数を構成する、前記ハプティック信号が送信される一又はそれ以上の特定のアクチュエータを構成する又はフェールセーフオペレーションを実行することの少なくとも1つを実行するように構成される請求項12に記載のハプティック変換システム。 - 前記オーディオ信号は、パルスコード変調オーディオバッファであり、前記ストリームは、パルスコード変調ストリームである請求項10に記載のハプティック変換システム。
- プロセッサにより実行されたときに、請求項1から9のいずれか一項に記載の方法を実行させる命令を有するコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/661,140 | 2012-10-26 | ||
US13/661,140 US9092059B2 (en) | 2012-10-26 | 2012-10-26 | Stream-independent sound to haptic effect conversion system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018073050A Division JP2018142966A (ja) | 2012-10-26 | 2018-04-05 | ストリームに依存しない音をハプティック効果に変換するシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020173821A true JP2020173821A (ja) | 2020-10-22 |
Family
ID=49161990
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013222561A Expired - Fee Related JP6321351B2 (ja) | 2012-10-26 | 2013-10-25 | ストリームに依存しない音をハプティック効果に変換するシステム |
JP2018073050A Pending JP2018142966A (ja) | 2012-10-26 | 2018-04-05 | ストリームに依存しない音をハプティック効果に変換するシステム |
JP2020101184A Pending JP2020173821A (ja) | 2012-10-26 | 2020-06-10 | ストリームに依存しない音をハプティック効果に変換するシステム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013222561A Expired - Fee Related JP6321351B2 (ja) | 2012-10-26 | 2013-10-25 | ストリームに依存しない音をハプティック効果に変換するシステム |
JP2018073050A Pending JP2018142966A (ja) | 2012-10-26 | 2018-04-05 | ストリームに依存しない音をハプティック効果に変換するシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9092059B2 (ja) |
EP (2) | EP3410266B1 (ja) |
JP (3) | JP6321351B2 (ja) |
KR (1) | KR102333336B1 (ja) |
CN (2) | CN108762506B (ja) |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
WO2012177719A2 (en) * | 2011-06-21 | 2012-12-27 | Northwestern University | Touch interface device and method for applying lateral forces on a human appendage |
US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US9368005B2 (en) | 2012-08-31 | 2016-06-14 | Immersion Corporation | Sound to haptic effect conversion system using mapping |
US9997032B2 (en) | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
US9519346B2 (en) | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
US10162416B2 (en) | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9443401B2 (en) | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
US9330547B2 (en) | 2014-05-20 | 2016-05-03 | Immersion Corporation | Haptic effect authoring tool based on a haptification model |
US9174134B1 (en) | 2014-11-12 | 2015-11-03 | Immersion Corporation | Peripheral device with haptic diminishment prevention component |
US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US10828672B2 (en) * | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
TWI747225B (zh) | 2019-04-15 | 2021-11-21 | 日商新川股份有限公司 | 搬送裝置 |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
CN114008569A (zh) | 2019-06-21 | 2022-02-01 | 思睿逻辑国际半导体有限公司 | 用于在装置上配置多个虚拟按钮的方法和设备 |
MX2022000669A (es) | 2019-07-16 | 2022-08-22 | Beta Bionics Inc | Sistema de control de glucosa en sangre. |
US11957876B2 (en) | 2019-07-16 | 2024-04-16 | Beta Bionics, Inc. | Glucose control system with automated backup therapy protocol generation |
US20210110841A1 (en) * | 2019-10-14 | 2021-04-15 | Lofelt Gmbh | System and method for transforming authored haptic data to fit into haptic bandwidth |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11278661B2 (en) | 2020-03-10 | 2022-03-22 | Beta Bionics, Inc. | Infusion system and components thereof |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
CN116194882A (zh) | 2020-07-12 | 2023-05-30 | 元平台公司 | 使用谱质心来创作沉浸式触觉体验的系统和方法 |
US20220265143A1 (en) | 2020-12-07 | 2022-08-25 | Beta Bionics, Inc. | Ambulatory medicament pumps with selective alarm muting |
US11497852B2 (en) | 2020-12-21 | 2022-11-15 | Beta Bionics, Inc. | Ambulatory medicament device with power saving mode |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
WO2024096812A1 (en) * | 2022-10-31 | 2024-05-10 | Razer (Asia-Pacific) Pte. Ltd. | Method and system for generating haptic effects |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009532808A (ja) * | 2006-04-06 | 2009-09-10 | イマージョン コーポレイション | 触覚効果強化のためのシステムおよび方法 |
JP2011501575A (ja) * | 2007-10-16 | 2011-01-06 | イマージョン コーポレイション | 媒体トランスポートストリームにおける触覚効果データの同期化 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL70153A0 (en) | 1983-11-07 | 1984-02-29 | Navot Technology Ltd | Audiotactile communication system |
US5675709A (en) | 1993-01-21 | 1997-10-07 | Fuji Xerox Co., Ltd. | System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data |
US5684722A (en) | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
US6422941B1 (en) | 1994-09-21 | 2002-07-23 | Craig Thorner | Universal tactile feedback system for computer video games and simulations |
US5842163A (en) | 1995-06-21 | 1998-11-24 | Sri International | Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech |
US7091948B2 (en) | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
US6285351B1 (en) | 1997-04-25 | 2001-09-04 | Immersion Corporation | Designing force sensations for computer applications including sounds |
JPH1133230A (ja) | 1997-07-16 | 1999-02-09 | Sega Enterp Ltd | 通信ゲームシステム |
JP2002232317A (ja) * | 2001-02-07 | 2002-08-16 | Nippon Telegr & Teleph Corp <Ntt> | 触覚通信装置 |
US7623114B2 (en) | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
US6703550B2 (en) | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US7791588B2 (en) | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
JP2005251133A (ja) * | 2004-03-08 | 2005-09-15 | Okayama Prefecture | 触覚に訴える身体的引き込み方法及びシステム |
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
TWI296787B (en) | 2005-01-19 | 2008-05-11 | Lightuning Tech Inc | Storage device and method for protecting data stored therein |
US8000825B2 (en) | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US7979146B2 (en) | 2006-04-13 | 2011-07-12 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US8098234B2 (en) * | 2007-02-20 | 2012-01-17 | Immersion Corporation | Haptic feedback system with stored effects |
JP5270118B2 (ja) | 2007-07-05 | 2013-08-21 | 富士通コンポーネント株式会社 | 触覚提示装置及び触覚提示方法 |
US8686952B2 (en) | 2008-12-23 | 2014-04-01 | Apple Inc. | Multi touch with multi haptics |
US20130044049A1 (en) | 2009-03-10 | 2013-02-21 | Bayer Materialscience Ag | Electroactive polymer transducers for tactile feedback devices |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US8279052B2 (en) * | 2009-11-04 | 2012-10-02 | Immersion Corporation | Systems and methods for haptic confirmation of commands |
EP2502215B1 (en) | 2009-11-17 | 2020-06-03 | Immersion Corporation | Systems and methods for increasing haptic bandwidth in an electronic device |
CN101820399A (zh) * | 2010-01-22 | 2010-09-01 | 曾超宁 | 形象表达情感信息的触觉通讯玩偶 |
JP2011242386A (ja) * | 2010-04-23 | 2011-12-01 | Immersion Corp | 接触センサと触覚アクチュエータとの透明複合圧電材結合体 |
US8717152B2 (en) * | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
KR101602663B1 (ko) * | 2011-10-10 | 2016-03-14 | 한국전자통신연구원 | 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법 |
US9513706B2 (en) | 2012-02-15 | 2016-12-06 | Immersion Corporation | High definition haptic effects generation using primitives |
-
2012
- 2012-10-26 US US13/661,140 patent/US9092059B2/en active Active
-
2013
- 2013-09-10 EP EP18186032.1A patent/EP3410266B1/en active Active
- 2013-09-10 EP EP13183711.4A patent/EP2725456B1/en active Active
- 2013-10-11 CN CN201810534355.7A patent/CN108762506B/zh active Active
- 2013-10-11 CN CN201310471457.6A patent/CN103793048B/zh active Active
- 2013-10-23 KR KR1020130126751A patent/KR102333336B1/ko active IP Right Grant
- 2013-10-25 JP JP2013222561A patent/JP6321351B2/ja not_active Expired - Fee Related
-
2018
- 2018-04-05 JP JP2018073050A patent/JP2018142966A/ja active Pending
-
2020
- 2020-06-10 JP JP2020101184A patent/JP2020173821A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009532808A (ja) * | 2006-04-06 | 2009-09-10 | イマージョン コーポレイション | 触覚効果強化のためのシステムおよび方法 |
JP2011501575A (ja) * | 2007-10-16 | 2011-01-06 | イマージョン コーポレイション | 媒体トランスポートストリームにおける触覚効果データの同期化 |
Also Published As
Publication number | Publication date |
---|---|
EP3410266B1 (en) | 2021-11-03 |
EP2725456B1 (en) | 2018-08-15 |
EP2725456A3 (en) | 2015-03-11 |
KR20140053782A (ko) | 2014-05-08 |
CN103793048A (zh) | 2014-05-14 |
KR102333336B1 (ko) | 2021-12-01 |
JP6321351B2 (ja) | 2018-05-09 |
CN108762506A (zh) | 2018-11-06 |
CN103793048B (zh) | 2018-06-26 |
US9092059B2 (en) | 2015-07-28 |
JP2018142966A (ja) | 2018-09-13 |
US20140118125A1 (en) | 2014-05-01 |
JP2014086093A (ja) | 2014-05-12 |
EP2725456A2 (en) | 2014-04-30 |
EP3410266A1 (en) | 2018-12-05 |
CN108762506B (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020173821A (ja) | ストリームに依存しない音をハプティック効果に変換するシステム | |
JP6730398B2 (ja) | 複数のアクチュエータを用いた音からハプティック効果への変換システム | |
JP6250985B2 (ja) | マッピングを用いた音をハプティック効果に変換するシステム | |
JP6584594B2 (ja) | 波形を利用した音響−触覚効果変換システム | |
JP6391724B2 (ja) | 波形を利用した音響−触覚効果変換システム | |
US20120206246A1 (en) | Sound to haptic effect conversion system using amplitude value |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220315 |