JP2019133685A - 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 - Google Patents
音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2019133685A JP2019133685A JP2019039407A JP2019039407A JP2019133685A JP 2019133685 A JP2019133685 A JP 2019133685A JP 2019039407 A JP2019039407 A JP 2019039407A JP 2019039407 A JP2019039407 A JP 2019039407A JP 2019133685 A JP2019133685 A JP 2019133685A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- time window
- haptic
- determining
- transitions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 179
- 230000005236 sound signal Effects 0.000 title claims abstract description 88
- 230000007704 transition Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims description 76
- 238000004891 communication Methods 0.000 claims abstract description 3
- 230000008859 change Effects 0.000 claims description 41
- 230000003595 spectral effect Effects 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 9
- 239000010410 layer Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001151 other effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 229920001746 electroactive polymer Polymers 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- -1 gravel Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000001640 nerve ending Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005686 electrostatic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011554 ferrofluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
- G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本願は、2013年9月6日に提出され、“Audio to Haptics”と題された米国仮出願第61/874,933号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
本開示の例示的な実施形態の1つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。一部の実施形態では、コンピュータシステムは、装着可能装置を含み、又は家具若しくは衣服に埋め込まれてもよい。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ(例えば、光学、抵抗性又は容量性)等の1つ以上のセンサを含み及び/又はこれらと通信してもよい。
図1Aは、音声信号の遷移に関係付けられる触覚効果を生成するための例示的なシステム100を示す。特に、この例示では、システム100は、バス106を介して他のハードウェアとインターフェース接続されるプロセッサ102を有するコンピュータ装置101を含む。RAM、ROM又はEEPROM等の任意の適切な有形の(及び一時的でない)コンピュータ可読媒体を含み得るメモリ104が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置101は、1つ以上のネットワークインターフェース装置110、入力/出力(I/O)インターフェース要素112、及び追加の記憶装置114を更に含む。
1つ以上のセンサ108は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ102によってユーザに適切なデータを提供するように構成される。
センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ108及びタッチ面116は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面116及びセンサ108は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ108は、LED検出器を含んでもよい。例えば、一実施形態では、タッチ面116は、ディスプレイの側部に取り付けられるLED指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ108と通信し、他の実施形態では、プロセッサは複数のセンサ108、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。センサ108は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ102に信号を送信するように構成される。一部の実施形態では、センサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
このような実施形態では、著者又は配布者は、音声トラックと共に触覚トラックを配布してもよい。
図4及び5は、音声信号の遷移に関係付けられる触覚効果を生成するための例示的な方法400及び500を示すフローチャートである。一部の実施形態では、フローチャート400及び500におけるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図4及び5に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図4及び5に示される1つ以上のステップはスキップされてもよく、又は図4及び5には示されていない追加のステップが行われてもよい。図4及び5におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。以下のステップは図1Aに示されたシステム100に関して記載された構成要素を参照して記載される。
一部の実施形態では、プロセッサ102は、遷移の時間に触覚効果を出力してもよい。他の実施形態では、触覚効果は、遷移の所定期間の後に出力されてもよい。例えば、一部の実施形態では、プロセッサ102は、エコーとして作用する触覚効果を出力してもよい。
例えば、一実施形態では、音声トラックは、砲撃をシミュレートする音を含んでもよい。
このような実施形態では、プロセッサは、音声効果と同時に起こる触覚効果を決定してもよい。プロセッサは、砲撃に関係付けられるエコーをシミュレートするために数秒後に出力される第2の触覚効果を更に決定してもよい。
図6は、音声信号の遷移を識別するための例示的な方法600を示すフローチャートであり、これは音声信号に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図6に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図6に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図6に示される1つ以上のステップはスキップされてもよく、又は図6には示されていない追加のステップが行われてもよい。図6におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。
図7に示されているように、プロット750は、プロット700に示された音声信号のパルス符号変調(PCM)752のビューを含む。
−遷移点に中心がある2 * y(n−1)の幅で信号の区画を取る。
−こうした区画の各々に対して、ウインドウサイズy(n) = y(n−1)/2でステップ902から916を実行する。
−総距離の最大値が遷移の正確な位置に対応する。
音声信号の遷移に関係付けられる触覚効果の生成には多数の利点がある。音声又はAVファイルから触覚効果を自動的に決定するために、単純なフィルタリング技術(例えば、ローパスフィルタリング)が使用されてもよい。しかしながら、このような方法は、結果として生ずる触覚効果と音声イベントとの間の同期を悪くする場合がある。これは、ユーザによって知覚される触覚効果の品質低下をもたらす場合がある。
一部の実施形態では、音声又はAVイベントが開始すると同時に触覚効果が開始する場合に強力な同期が発生してもよい。一部の実施形態では、これは、音声又はAVイベントの強度が低くても当てはまってもよい。一部の実施形態では、触覚効果は、ユーザが同時に発生している2つのイベントを知覚することを確実にするための所定の強度を超えている。単純なフィルタリング技術は低い強度の効果のみを提供する場合があり、効果の増強はユーザに効果を完全に感知させるには遅すぎる場合がある。こうした問題のそれぞれは、本明細書に記載の実施形態によって解決されてもよい。
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
Claims (36)
- 信号を受信し、
前記信号における1つ以上の遷移を識別すること、及び1つ以上の触覚効果を前記1つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定し、
前記触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを含む、触覚効果を出力するためのシステム。 - 前記信号は、音声信号、圧力信号、又は加速度信号の1つを含む、請求項1に記載のシステム。
- 前記信号を受信して、可聴効果を出力するように構成される音声出力装置と、
前記プロセッサと通信する触覚出力装置であって、前記触覚信号を受信して、前記触覚効果を出力するように構成される触覚出力装置と
を更に備える、請求項1に記載のシステム。 - 前記触覚信号を受信して、前記触覚効果を触覚トラックに記憶するように構成されるデータストアを更に備える、請求項1に記載のシステム。
- 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの1つ以上を含む、請求項1に記載のシステム。
- 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の1つ以上を含む、請求項1に記載のシステム。
- 1つ以上の遷移を識別することは、
一連の時間間隔で取得される前記信号に高速フーリエ変換を実行すること、
前記時間間隔の各々に対して変換された信号の平均値を決定すること、
前記平均値の各々を正規化して正規化信号を生成すること、
前記正規化信号を微分して微分信号を生成すること、及び
前記微分信号内で1つ以上の極大値を決定すること
を含む、請求項1に記載のシステム。 - 前記正規化信号をフィルタリングすることを更に含む、請求項7に記載のシステム。
- 前記1つ以上の極大値は、前記1つ以上の遷移を含む、請求項7に記載のシステム。
- 1つ以上の遷移を識別することは、
第1の時間ウインドウ及び第2の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第1の時間ウインドウ及び第2の時間ウインドウは前記信号における連続的な時間ウインドウであること、
時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
前記第1の時間ウインドウから前記第2の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第1の変化率を決定すること、
各周波数バンドの貢献によって重み付けられる前記第1の変化率の合計と等しい第1の距離を決定すること、
前記第1の時間ウインドウから第3の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第2の変化率を決定することであって、前記第2の時間ウインドウ及び前記第3の時間ウインドウは前記信号における連続的な時間ウインドウであること、
各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第2の変化率の合計と等しい第2の距離を決定すること、
前記第2の距離で前記第1の距離を乗算することによって、前記第1の時間ウインドウと前記第2の時間ウインドウとの間の総距離を決定すること、及び
極大を決定すること
を含む、請求項1に記載のシステム。 - 前記極大は、前記第1の距離、第2の距離、又は総距離の極大を含む、請求項10に記載のシステム。
- 前記極大は、前記信号における1つ以上の遷移を含む、請求項10に記載のシステム。
- 信号を受信するステップと、
前記信号における1つ以上の遷移を識別すること、及び1つ以上の触覚効果を前記1つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関係付けられる触覚信号を出力するステップと
を含む、触覚効果を出力するための方法。 - 前記信号は、音声信号、圧力信号、又は加速度信号の1つを含む、請求項14に記載の方法。
- 可聴効果を出力するステップと、
前記触覚効果を出力するステップと
を更に含む、請求項13に記載の方法。 - 前記触覚信号を触覚トラックに記憶するステップを更に含む、請求項13に記載の方法。
- 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の1つ以上を含む、請求項13に記載の方法。
- 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの1つ以上を含む、請求項15に記載の方法。
- 1つ以上の遷移を識別するステップは、
一連の時間間隔内の前記信号に高速フーリエ変換を実行するステップと、
前記時間間隔の各々に対して変換された信号の平均値を決定するステップと、
前記平均値の各々を正規化して正規化信号を生成するステップと、
前記正規化信号を微分して微分信号を生成するステップと、
前記微分信号内で1つ以上の極大値を決定するステップと
を含む、請求項15に記載の方法。 - 前記正規化信号をフィルタリングするステップを更に含む、請求項19に記載の方法。
- 前記1つ以上の極大値は、前記1つ以上の遷移を含む、請求項19載の方法。
- 1つ以上の遷移を識別するステップは、
第1の時間ウインドウ及び第2の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第1の時間ウインドウ及び第2の時間ウインドウは前記信号における連続的な時間ウインドウであること、
時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
前記第1の時間ウインドウから前記第2の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第1の変化率を決定すること、
各周波数バンドの貢献によって重み付けられる前記第1の変化率の合計と等しい第1の距離を決定すること、
前記第1の時間ウインドウから第3の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第2の変化率を決定することであって、前記第2の時間ウインドウ及び前記第3の時間ウインドウは前記信号における連続的な時間ウインドウであること、
各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第2の変化率の合計と等しい第2の距離を決定すること、
前記第2の距離で前記第1の距離を乗算することによって、前記第1の時間ウインドウと前記第2の時間ウインドウとの間の総距離を決定すること、及び
極大を決定すること
を含む、請求項15に記載の方法。 - 前記極大は、前記第1の距離、第2の距離、又は総距離の極大を含む、請求項22に記載の方法。
- 前記極大は、前記信号における1つ以上の遷移を含む、請求項22に記載の方法。
- プロセッサによって実行されると、前記プロセッサに
信号を受信すること、
前記信号における1つ以上の遷移を識別すること、及び1つ以上の触覚効果を前記1つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関係付けられる触覚信号を出力すること
を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。 - 前記信号は、音声信号、圧力信号、又は加速度信号の1つを含む、請求項25に記載の一時的でないコンピュータ可読媒体。
- プロセッサによって実行されると、前記プロセッサに
可聴効果を出力すること、及び
前記触覚効果を出力すること
を行わせるように構成されるプログラムコードを更に含む、請求項25に記載の一時的でないコンピュータ可読媒体。 - プロセッサによって実行されると、前記プロセッサに、前記触覚信号を触覚トラックに記憶させるように構成されるプログラムコードを更に含む、請求項25に記載の一時的でないコンピュータ可読媒体。
- 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の1つ以上を含む、請求項25に記載の一時的でないコンピュータ可読媒体。
- 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの1つ以上を含む、請求項27に記載の一時的でないコンピュータ可読媒体。
- 1つ以上の遷移を識別することは、
一連の時間間隔内の前記信号に高速フーリエ変換を実行すること、
前記時間間隔の各々に対して変換された信号の平均値を決定すること、
前記平均値の各々を正規化して正規化信号を生成すること、
前記正規化信号を微分して微分信号を生成すること、及び
前記微分信号内で1つ以上の極大値を決定すること
を含む、請求項27に記載の一時的でないコンピュータ可読媒体。 - 前記1つ以上の極大値は、前記1つ以上の遷移を含む、請求項31に記載の一時的でないコンピュータ可読媒体。
- 前記正規化信号をフィルタリングすることを更に含む、請求項31に記載の一時的でないコンピュータ可読媒体。
- 1つ以上の遷移を識別することは、
第1の時間ウインドウ及び第2の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第1の時間ウインドウ及び第2の時間ウインドウは前記信号における連続的な時間ウインドウであること、
時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
前記第1の時間ウインドウから前記第2の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第1の変化率を決定すること、
各周波数バンドの貢献によって重み付けられる前記第1の変化率の合計と等しい第1の距離を決定すること、
前記第1の時間ウインドウから第3の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第2の変化率を決定することであって、前記第2の時間ウインドウ及び前記第3の時間ウインドウは前記信号における連続的な時間ウインドウであること、
各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第2の変化率の合計と等しい第2の距離を決定すること、
前記第2の距離で前記第1の距離を乗算することによって、前記第1の時間ウインドウと前記第2の時間ウインドウとの間の総距離を決定すること、及び
極大を決定すること
を含む、請求項27に記載の一時的でないコンピュータ可読媒体。 - 前記極大は、前記信号における1つ以上の遷移を含む、請求項34に記載の一時的でないコンピュータ可読媒体。
- 前記極大は、前記第1の距離、第2の距離、又は総距離の極大を含む、請求項34に記載の一時的でないコンピュータ可読媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361874933P | 2013-09-06 | 2013-09-06 | |
US61/874,933 | 2013-09-06 | ||
US14/078,438 | 2013-11-12 | ||
US14/078,438 US9711014B2 (en) | 2013-09-06 | 2013-11-12 | Systems and methods for generating haptic effects associated with transitions in audio signals |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014179759A Division JP6494220B2 (ja) | 2013-09-06 | 2014-09-04 | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019133685A true JP2019133685A (ja) | 2019-08-08 |
JP6744940B2 JP6744940B2 (ja) | 2020-08-19 |
Family
ID=51492231
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014179759A Expired - Fee Related JP6494220B2 (ja) | 2013-09-06 | 2014-09-04 | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
JP2019039407A Expired - Fee Related JP6744940B2 (ja) | 2013-09-06 | 2019-03-05 | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014179759A Expired - Fee Related JP6494220B2 (ja) | 2013-09-06 | 2014-09-04 | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9711014B2 (ja) |
EP (1) | EP2846227A3 (ja) |
JP (2) | JP6494220B2 (ja) |
KR (1) | KR20150028736A (ja) |
CN (2) | CN104423593B (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012177719A2 (en) * | 2011-06-21 | 2012-12-27 | Northwestern University | Touch interface device and method for applying lateral forces on a human appendage |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9711014B2 (en) * | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
JP2015170174A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP2015170173A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
CN106716979B (zh) * | 2014-09-25 | 2020-09-01 | 瑞典爱立信有限公司 | 具有可变摩擦的移动通信设备 |
US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
US10073523B2 (en) | 2014-12-23 | 2018-09-11 | Immersion Corporation | Position control of a user input element associated with a haptic output device |
KR101606791B1 (ko) * | 2015-09-08 | 2016-03-28 | 박재성 | 주파수 변화에 따라 실시간 진동을 제공하는 진동 제공시스템 및 이것의 진동 제공방법 |
KR101756298B1 (ko) * | 2015-11-23 | 2017-07-10 | 씨제이포디플렉스 주식회사 | 진동 신호 생성 방법, 진동 신호를 이용한 영상 상영 방법 및 이를 수행하기 위한 프로그램 |
CN105553458B (zh) * | 2015-12-28 | 2018-07-03 | 哈尔滨工业大学 | 一种基于声音控制的形状记忆聚合物的驱动方法 |
US9981182B2 (en) | 2016-02-12 | 2018-05-29 | Disney Enterprises, Inc. | Systems and methods for providing immersive game feedback using haptic effects |
JP7248568B2 (ja) * | 2016-07-22 | 2023-03-29 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 触覚による操縦誘導システム |
CN107608567A (zh) * | 2017-08-30 | 2018-01-19 | 湖州佳格电子科技股份有限公司 | 交互式红外触摸装置及其交互方法 |
EP3579081A1 (en) * | 2018-06-07 | 2019-12-11 | Lofelt GmbH | Systems and methods for generating haptic output for enhanced user experience |
US10360775B1 (en) | 2018-06-11 | 2019-07-23 | Immersion Corporation | Systems and methods for designing haptics using speech commands |
US20200012347A1 (en) * | 2018-07-09 | 2020-01-09 | Immersion Corporation | Systems and Methods for Providing Automatic Haptic Generation for Video Content |
EP3844597A1 (en) * | 2018-08-29 | 2021-07-07 | Ecole Polytechnique Federale De Lausanne (Epfl) | Multisensory haptic system and method |
US10943445B2 (en) | 2019-05-13 | 2021-03-09 | Immersion Corporation | Systems and methods for providing haptic effects with airflow and thermal stimulation |
JP2021015488A (ja) * | 2019-07-12 | 2021-02-12 | 株式会社東海理化電機製作所 | 制御装置、呈示装置、およびデータ |
US11126267B2 (en) | 2019-12-19 | 2021-09-21 | Giantplus Technology Co., Ltd | Tactile feedback device and operation method thereof |
CN111312281B (zh) * | 2020-05-09 | 2020-09-08 | 北京小米移动软件有限公司 | 一种触感振动实现方法 |
WO2022008747A1 (en) * | 2020-07-10 | 2022-01-13 | Metaphysiks Engineering Sa | Method to accelerate sleep onset and/or to improve sleep quality in a subject |
CN112506341B (zh) * | 2020-12-01 | 2022-05-03 | 瑞声新能源发展(常州)有限公司科教城分公司 | 一种振动效果的生成方法、装置、终端设备及存储介质 |
US11797091B2 (en) | 2021-06-24 | 2023-10-24 | Microsoft Technology Licensing, Llc | Computing device with haptic trackpad |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110796A (ja) * | 1994-10-13 | 1996-04-30 | Hitachi Ltd | 音声強調方法および装置 |
JPH10506508A (ja) * | 1994-09-21 | 1998-06-23 | クレイグ ソーナー, | 触感発生器用の制御信号を生成する装置及び方法 |
JP2004118108A (ja) * | 2002-09-27 | 2004-04-15 | Nec Corp | ブロードバンド信号検出方法及び装置 |
JP2005506613A (ja) * | 2001-10-09 | 2005-03-03 | イマージョン コーポレイション | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
JP2006501498A (ja) * | 2002-09-30 | 2006-01-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 指紋抽出 |
WO2006006528A1 (ja) * | 2004-07-09 | 2006-01-19 | Nippon Telegraph And Telephone Corporation | 音響信号検出システム、音響信号検出サーバ、映像信号探索装置、映像信号探索方法、映像信号探索プログラムと記録媒体、信号探索装置、信号探索方法、及び、信号探索プログラムと記録媒体 |
WO2006043511A1 (ja) * | 2004-10-18 | 2006-04-27 | Nsk Ltd. | 機械設備の異常診断システム |
JP2009533714A (ja) * | 2006-04-13 | 2009-09-17 | イマージョン コーポレーション | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
JP2012159540A (ja) * | 2011-01-28 | 2012-08-23 | Nippon Hoso Kyokai <Nhk> | 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 |
JP2013509652A (ja) * | 2009-10-29 | 2013-03-14 | イマージョン コーポレイション | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2013528855A (ja) * | 2010-04-23 | 2013-07-11 | イマージョン コーポレイション | 触覚効果を与えるシステム及び方法 |
JP2013168153A (ja) * | 2012-02-15 | 2013-08-29 | Immersion Corp | プリミティブを用いた高解像度ハプティック効果生成 |
Family Cites Families (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4250637A (en) | 1979-06-13 | 1981-02-17 | Scott Instruments Company | Tactile aid to speech reception |
US5388992A (en) | 1991-06-19 | 1995-02-14 | Audiological Engineering Corporation | Method and apparatus for tactile transduction of acoustic signals from television receivers |
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
AU7097298A (en) * | 1996-12-18 | 1998-07-17 | Sanderford, Hugh Britton | Power spectral density technique |
US6650338B1 (en) | 1998-11-24 | 2003-11-18 | Interval Research Corporation | Haptic interaction with video and image data |
US7020701B1 (en) * | 1999-10-06 | 2006-03-28 | Sensoria Corporation | Method for collecting and processing data using internetworked wireless integrated network sensors (WINS) |
US6408696B1 (en) * | 1999-12-06 | 2002-06-25 | Ai Signal Research, Inc. | Coherent phase line enhancer spectral analysis technique |
US7159008B1 (en) | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
US6397154B1 (en) * | 2000-07-07 | 2002-05-28 | Research Electronics International | Correlation method for surveillance device detection |
US7069208B2 (en) | 2001-01-24 | 2006-06-27 | Nokia, Corp. | System and method for concealment of data loss in digital audio transmission |
US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US20030188020A1 (en) | 2002-03-29 | 2003-10-02 | Steven Barile | Tangible artifact referencing digital content |
EP1499406A1 (en) | 2002-04-22 | 2005-01-26 | Intellocity USA, Inc. | Method and apparatus for data receiver and controller |
US7899915B2 (en) | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
US8027482B2 (en) | 2003-02-13 | 2011-09-27 | Hollinbeck Mgmt. Gmbh, Llc | DVD audio encoding using environmental audio tracks |
KR100581060B1 (ko) | 2003-11-12 | 2006-05-22 | 한국전자통신연구원 | 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 |
CN1318191C (zh) * | 2003-12-01 | 2007-05-30 | 东南大学 | 时空双通道机器人触觉再现电流刺激方法及装置 |
DE602004014893D1 (de) | 2004-01-29 | 2008-08-21 | Daimler Ag | Multimodale Dateneingabe |
EP1582965A1 (en) | 2004-04-01 | 2005-10-05 | Sony Deutschland Gmbh | Emotion controlled system for processing multimedia data |
US8751616B2 (en) * | 2004-06-08 | 2014-06-10 | Siemens Industry, Inc. | System for accessing and browsing a PLC provided within a network |
US20060017691A1 (en) * | 2004-07-23 | 2006-01-26 | Juan Manuel Cruz-Hernandez | System and method for controlling audio output associated with haptic effects |
US20090023127A1 (en) * | 2004-10-12 | 2009-01-22 | Agency For Science, Technology And Research | Tissue system and methods of use |
US20080098331A1 (en) | 2005-09-16 | 2008-04-24 | Gregory Novick | Portable Multifunction Device with Soft Keyboards |
US8700791B2 (en) | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
US20070178942A1 (en) | 2006-01-30 | 2007-08-02 | Sadler Daniel J | Method for abruptly stopping a linear vibration motor in portable communication device |
US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US8000825B2 (en) * | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
JP5268895B2 (ja) | 2006-06-13 | 2013-08-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 周囲環境及びコンテンツの配信 |
US20080103558A1 (en) | 2006-10-30 | 2008-05-01 | Stuart Wenzel | Focused electromagnetic-wave and ultrasonic-wave structures for tissue stimulation |
CN101237317B (zh) * | 2006-11-27 | 2010-09-29 | 华为技术有限公司 | 确定发送频谱的方法和装置 |
US7882442B2 (en) | 2007-01-05 | 2011-02-01 | Eastman Kodak Company | Multi-frame display system with perspective based image arrangement |
KR100835297B1 (ko) | 2007-03-02 | 2008-06-05 | 광주과학기술원 | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 |
US8095646B2 (en) | 2007-08-16 | 2012-01-10 | Sony Computer Entertainment Inc. | Content ancillary to sensory work playback |
US9019087B2 (en) | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
US7911328B2 (en) | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
US8875212B2 (en) | 2008-04-15 | 2014-10-28 | Shlomo Selim Rakib | Systems and methods for remote control of interactive video |
US7816838B2 (en) * | 2007-12-11 | 2010-10-19 | Nokia Corporation | Piezoelectric force sensing |
JP2009159125A (ja) | 2007-12-25 | 2009-07-16 | Casio Hitachi Mobile Communications Co Ltd | 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム |
EP2277096A1 (en) | 2008-05-09 | 2011-01-26 | Koninklijke Philips Electronics N.V. | Method and system for conveying an emotion |
US8831948B2 (en) | 2008-06-06 | 2014-09-09 | At&T Intellectual Property I, L.P. | System and method for synthetically generated speech describing media content |
WO2010008232A2 (ko) | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
US8712958B2 (en) | 2008-07-16 | 2014-04-29 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata |
US20110125788A1 (en) | 2008-07-16 | 2011-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata |
WO2010008235A2 (ko) | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
CN102204225B (zh) | 2008-09-05 | 2013-12-11 | Sk电信有限公司 | 传送振动信息的移动通信终端及其方法 |
EP2164066B1 (en) * | 2008-09-15 | 2016-03-09 | Oticon A/S | Noise spectrum tracking in noisy acoustical signals |
KR20100033954A (ko) | 2008-09-22 | 2010-03-31 | 한국전자통신연구원 | 실감 효과 표현 방법 및 장치 |
EA201100984A1 (ru) | 2008-12-19 | 2012-01-30 | Грэйсуэй Фармасьютикалс, Ллс | Композиции с более низким содержанием имиквимода и короткие режимы дозирования для лечения актинического кератоза |
CA2750200C (en) * | 2009-01-05 | 2015-12-15 | Schlumberger Canada Limited | Processing time series data embedded in high noise |
WO2010093913A1 (en) | 2009-02-12 | 2010-08-19 | Brock Seiler | Multi-channel audio vibratory entertainment system |
US20130044049A1 (en) | 2009-03-10 | 2013-02-21 | Bayer Materialscience Ag | Electroactive polymer transducers for tactile feedback devices |
US9134796B2 (en) | 2009-04-15 | 2015-09-15 | Koninklijke Philips N.V. | Foldable tactile display |
KR20100114857A (ko) | 2009-04-16 | 2010-10-26 | 한국전자통신연구원 | 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치 |
KR20100114858A (ko) | 2009-04-16 | 2010-10-26 | 한국전자통신연구원 | 실감 기기 성능 메타데이터를 이용한 실감 효과 표현 방법 및 장치 |
EP2430607A4 (en) | 2009-05-08 | 2013-04-17 | Univ Washington | ADVERTISING DURING ACCELERATED MULTIMEDIA REPRODUCTION |
US8068025B2 (en) | 2009-05-28 | 2011-11-29 | Simon Paul Devenyi | Personal alerting device and method |
US8260715B2 (en) * | 2009-07-13 | 2012-09-04 | International Business Machines Corporation | Software license usage amongst workgroups using software usage data |
US8373759B2 (en) * | 2009-08-18 | 2013-02-12 | Wi-Lan, Inc. | White space spectrum sensor for television band devices |
CN102341766B (zh) | 2009-09-03 | 2014-09-24 | 松下电器产业株式会社 | 触感再现方法和装置 |
GB2474047B (en) | 2009-10-02 | 2014-12-17 | New Transducers Ltd | Touch sensitive device |
US10254824B2 (en) * | 2009-10-16 | 2019-04-09 | Immersion Corporation | Systems and methods for output of content based on sensing an environmental factor |
US20110099596A1 (en) | 2009-10-26 | 2011-04-28 | Ure Michael J | System and method for interactive communication with a media device user such as a television viewer |
KR101303648B1 (ko) | 2009-12-08 | 2013-09-04 | 한국전자통신연구원 | 감성신호 감지 장치 및 그 방법 |
KR20150008840A (ko) | 2010-02-24 | 2015-01-23 | 아이피플렉 홀딩스 코포레이션 | 시각 장애인들을 지원하는 증강 현실 파노라마 |
KR101635029B1 (ko) * | 2010-06-28 | 2016-06-30 | 엘지전자 주식회사 | 이동 단말기 |
KR101705206B1 (ko) | 2010-06-30 | 2017-02-09 | 롯데정밀화학 주식회사 | 클로로히드린류의 제조방법 및 그 방법에 의해 제조된 클로로히드린류를 사용하는 에피클로로히드린의 제조방법 |
US8798534B2 (en) | 2010-07-09 | 2014-08-05 | Digimarc Corporation | Mobile devices and methods employing haptics |
CA3011865C (en) | 2010-07-21 | 2022-04-26 | D-Box Technologies Inc. | Media recognition and synchronisation to a motion signal |
CN102385571B (zh) | 2010-09-06 | 2016-03-30 | 联想(北京)有限公司 | 一种显示方法及显示装置 |
EP2642920B1 (en) * | 2010-11-23 | 2020-01-01 | Feather Sensors LLC | Method and apparatus for intelligent flow sensors |
US20120150928A1 (en) | 2010-12-09 | 2012-06-14 | Peter Ward | Method and system for identifying media assets |
JP5543615B2 (ja) | 2010-12-22 | 2014-07-09 | 京セラ株式会社 | 電子機器 |
JP5602653B2 (ja) | 2011-01-31 | 2014-10-08 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報処理装置、情報処理方法、情報処理システム、およびプログラム |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8872011B2 (en) | 2011-02-25 | 2014-10-28 | Mark Fresolone | Visual, tactile and motion-sensation system for representing music for an audience |
US8593420B1 (en) | 2011-03-04 | 2013-11-26 | Amazon Technologies, Inc. | Providing tactile output and interaction |
CN103430556A (zh) | 2011-03-18 | 2013-12-04 | 松下电器产业株式会社 | 显示装置、3d眼镜及3d影像视听系统 |
US8948892B2 (en) | 2011-03-23 | 2015-02-03 | Audible, Inc. | Managing playback of synchronized content |
US8976980B2 (en) | 2011-03-24 | 2015-03-10 | Texas Instruments Incorporated | Modulation of audio signals in a parametric speaker |
AU2012236679B2 (en) * | 2011-03-30 | 2015-10-01 | Es Xplore, L.L.C. | Method and system for passive electroseismic surveying |
US9448713B2 (en) | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US8892391B2 (en) * | 2011-06-03 | 2014-11-18 | Apple Inc. | Activity detection |
US20130032545A1 (en) * | 2011-08-05 | 2013-02-07 | Freese Robert P | Methods for monitoring and modifying a fluid stream using opticoanalytical devices |
US10013857B2 (en) | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
KR101869562B1 (ko) | 2011-12-27 | 2018-07-24 | 삼성전자주식회사 | 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법 |
KR101880764B1 (ko) | 2012-02-03 | 2018-07-20 | 임머숀 코퍼레이션 | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US9132346B2 (en) | 2012-04-04 | 2015-09-15 | Kenneth J. Huebner | Connecting video objects and physical objects for handheld projectors |
US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US8847913B2 (en) | 2012-04-04 | 2014-09-30 | Kohler Co. | User interface device for a bath or shower |
US8896524B2 (en) | 2012-08-24 | 2014-11-25 | Immersion Corporation | Context-dependent haptic confirmation system |
US9092059B2 (en) | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US9352226B2 (en) | 2012-12-21 | 2016-05-31 | Sony Interactive Entertainment America Llc | Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay |
US9261960B2 (en) | 2013-01-24 | 2016-02-16 | Immersion Corporation | Haptic sensation recording and playback |
US9182890B2 (en) | 2013-01-31 | 2015-11-10 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
KR102099086B1 (ko) | 2013-02-20 | 2020-04-09 | 삼성전자주식회사 | 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스 |
US9992491B2 (en) | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
EP3399763A1 (en) | 2013-05-24 | 2018-11-07 | Immersion Corporation | Method and system for haptic data encoding |
US20140368349A1 (en) | 2013-06-14 | 2014-12-18 | Revolution Display | Sensory element projection system and method of use |
US9711014B2 (en) * | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9898086B2 (en) | 2013-09-06 | 2018-02-20 | Immersion Corporation | Systems and methods for visual processing of spectrograms to generate haptic effects |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
-
2013
- 2013-11-12 US US14/078,438 patent/US9711014B2/en not_active Expired - Fee Related
-
2014
- 2014-09-03 KR KR20140116782A patent/KR20150028736A/ko active IP Right Grant
- 2014-09-04 JP JP2014179759A patent/JP6494220B2/ja not_active Expired - Fee Related
- 2014-09-05 CN CN201410453219.7A patent/CN104423593B/zh not_active Expired - Fee Related
- 2014-09-05 CN CN201811182275.6A patent/CN109634402A/zh active Pending
- 2014-09-08 EP EP20140183980 patent/EP2846227A3/en not_active Withdrawn
-
2017
- 2017-06-08 US US15/617,172 patent/US10276004B2/en not_active Expired - Fee Related
-
2019
- 2019-03-05 JP JP2019039407A patent/JP6744940B2/ja not_active Expired - Fee Related
- 2019-03-12 US US16/299,908 patent/US20190221087A1/en not_active Abandoned
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10506508A (ja) * | 1994-09-21 | 1998-06-23 | クレイグ ソーナー, | 触感発生器用の制御信号を生成する装置及び方法 |
JPH08110796A (ja) * | 1994-10-13 | 1996-04-30 | Hitachi Ltd | 音声強調方法および装置 |
JP2005506613A (ja) * | 2001-10-09 | 2005-03-03 | イマージョン コーポレイション | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
JP2004118108A (ja) * | 2002-09-27 | 2004-04-15 | Nec Corp | ブロードバンド信号検出方法及び装置 |
JP2006501498A (ja) * | 2002-09-30 | 2006-01-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 指紋抽出 |
WO2006006528A1 (ja) * | 2004-07-09 | 2006-01-19 | Nippon Telegraph And Telephone Corporation | 音響信号検出システム、音響信号検出サーバ、映像信号探索装置、映像信号探索方法、映像信号探索プログラムと記録媒体、信号探索装置、信号探索方法、及び、信号探索プログラムと記録媒体 |
WO2006043511A1 (ja) * | 2004-10-18 | 2006-04-27 | Nsk Ltd. | 機械設備の異常診断システム |
JP2009533714A (ja) * | 2006-04-13 | 2009-09-17 | イマージョン コーポレーション | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 |
JP2013509652A (ja) * | 2009-10-29 | 2013-03-14 | イマージョン コーポレイション | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2013528855A (ja) * | 2010-04-23 | 2013-07-11 | イマージョン コーポレイション | 触覚効果を与えるシステム及び方法 |
JP2012159540A (ja) * | 2011-01-28 | 2012-08-23 | Nippon Hoso Kyokai <Nhk> | 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 |
JP2013168153A (ja) * | 2012-02-15 | 2013-08-29 | Immersion Corp | プリミティブを用いた高解像度ハプティック効果生成 |
Also Published As
Publication number | Publication date |
---|---|
US20150070146A1 (en) | 2015-03-12 |
JP2015053052A (ja) | 2015-03-19 |
US20190221087A1 (en) | 2019-07-18 |
JP6494220B2 (ja) | 2019-04-03 |
EP2846227A2 (en) | 2015-03-11 |
JP6744940B2 (ja) | 2020-08-19 |
CN104423593B (zh) | 2018-10-30 |
CN104423593A (zh) | 2015-03-18 |
CN109634402A (zh) | 2019-04-16 |
US20170270756A1 (en) | 2017-09-21 |
EP2846227A3 (en) | 2015-04-29 |
US10276004B2 (en) | 2019-04-30 |
US9711014B2 (en) | 2017-07-18 |
KR20150028736A (ko) | 2015-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744940B2 (ja) | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 | |
JP6794483B2 (ja) | 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 | |
US10388122B2 (en) | Systems and methods for generating haptic effects associated with audio signals | |
JP6557396B2 (ja) | 低周波数効果ハプティック変換システム | |
JP2019067396A (ja) | ハプティックピッチ制御 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |