JP2016123075A - 高帯域幅の触覚効果の音声増幅シミュレーション - Google Patents
高帯域幅の触覚効果の音声増幅シミュレーション Download PDFInfo
- Publication number
- JP2016123075A JP2016123075A JP2015218529A JP2015218529A JP2016123075A JP 2016123075 A JP2016123075 A JP 2016123075A JP 2015218529 A JP2015218529 A JP 2015218529A JP 2015218529 A JP2015218529 A JP 2015218529A JP 2016123075 A JP2016123075 A JP 2016123075A
- Authority
- JP
- Japan
- Prior art keywords
- haptic effect
- audio
- signal
- effect signal
- actuator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/013—Force feedback applied to a game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
【解決手段】システムは、高品位(「HD」)触覚効果信号と、音声が再生される場合には対応する音声信号とを受信する。システムは、少なくともHD触覚効果信号に基づいて標準品位(「SD」)触覚効果信号を生成し、かつ少なくともHD触覚効果信号に基づいて音声ベースの触覚効果信号を生成する。システムは、音声信号と音声ベースの触覚効果信号とを混合し、次いで、実質的に同時に、アクチュエータでSD触覚効果信号を再生し、かつ混合信号をスピーカで再生する。
【選択図】図1
Description
Claims (29)
- 少なくとも1つのアクチュエータと少なくとも1つのスピーカとを備える装置で触覚効果を生成する方法であって、
高品位(HD)触覚効果信号を受信するステップと、
少なくともHD触覚効果信号に基づいて標準品位(SD)触覚効果信号を生成するステップと、
少なくとも前記HD触覚効果信号に基づいて音声ベースの触覚効果信号を生成するステップと、
実質的に同時に、前記アクチュエータで前記SD触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するステップと、
を有する方法。 - 音声信号を受信するステップと、
前記音声信号と前記音声ベースの触覚効果信号とを混合するステップと、
をさらに含む方法であって、
前記スピーカで前記音声ベースの触覚効果を再生するステップが、前記スピーカで混合信号を再生するステップを含む、
請求項1に記載の方法。 - 前記SD触覚効果信号は、単一の周波数からなる、請求項1に記載の方法。
- 前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項1に記載の方法。
- 前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項1に記載の方法。
- 前記SD触覚効果信号は、前記HD触覚効果信号からの抽出によって生成される、請求項1に記載の方法。
- 前記アクチュエータは、リニア振動アクチュエータである、請求項1に記載の方法。
- 前記HD触覚効果信号は、オーサリングツールを用いて生成される、請求項5に記載の方法。
- 前記装置のプラントモデルを決定するステップは、前記オーサリングツールで標的装置を選択するステップを含み、前記音声ベースの触覚効果信号を生成するステップは、前記オーサリングツールによって実行される、請求項8に記載の方法。
- 前記音声ベースの触覚効果信号を生成するステップは、前記装置によって実行される、請求項1に記載の方法。
- 前記混合するステップは、前記音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するステップを含む、請求項2に記載の方法。
- プロセッサで実行されるとき、前記プロセッサに、少なくとも1つのアクチュエータと少なくとも1つのスピーカとを備える装置で触覚効果を生成させる命令を記憶したコンピュータ可読媒体であって、前記触覚効果を生成するステップは、
高品位(HD)触覚効果信号を受信するステップと、
少なくともHD触覚効果信号に基づいて標準品位(SD)触覚効果信号を生成するステップと、
少なくとも前記HD触覚効果信号に基づいて音声ベースの触覚効果信号を生成するステップと、
実質的に同時に、前記アクチュエータで前記SD触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するステップと、
を含む、コンピュータ可読媒体。 - 前記触覚効果を生成するステップは、
音声信号を受信するステップと、
前記音声信号と前記音声ベースの触覚効果信号とを混合するステップと、
をさらに含み、
前記スピーカで前記音声ベースの触覚効果を再生するステップは、前記スピーカで混合信号を再生するステップを含む、
請求項12に記載のコンピュータ可読媒体。 - 前記SD触覚効果信号は、単一の周波数からなる、請求項12に記載のコンピュータ可読媒体。
- 前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項12に記載のコンピュータ可読媒体。
- 前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項12に記載のコンピュータ可読媒体。
- 前記SD触覚効果信号は、前記HD触覚効果信号からの抽出によって生成される、請求項12に記載のコンピュータ可読媒体。
- 前記アクチュエータは、リニア振動アクチュエータである、請求項12に記載のコンピュータ可読媒体。
- 前記HD触覚効果信号は、オーサリングツールを用いて生成される、請求項16に記載のコンピュータ可読媒体。
- 前記装置のプラントモデルを決定するステップは、前記オーサリングツールで標的装置を選択するステップを含み、前記音声ベースの触覚効果信号を生成するステップは、前記オーサリングツールによって実行される、請求項19に記載のコンピュータ可読媒体。
- 前記音声ベースの触覚効果信号を生成するステップは、前記装置によって実行される、請求項12に記載のコンピュータ可読媒体。
- 混合するステップは、音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するステップを含む、請求項12に記載のコンピュータ可読媒体。
- 少なくとも1つのアクチュエータと、
少なくとも1つのスピーカと、
少なくとも受信された高品位(HD)触覚効果信号に基づいて標準品位(SD)触覚効果信号を生成するエクストラクタと、
少なくとも前記HD触覚効果信号に基づいて音声ベースの触覚効果信号を生成するフィルタと、
実質的に同時に、前記アクチュエータで前記SD触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するプレーヤと、
を含む、触覚的に使用可能な装置。 - 音声信号と前記音声ベースの触覚効果信号とを混合するミキサをさらに含み、
前記スピーカで前記音声ベースの触覚効果を再生することは、前記スピーカで混合信号を再生することを含む、
請求項23に記載の装置。 - 前記SD触覚効果信号は、単一の周波数からなる、請求項23に記載の装置。
- 前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項23に記載の装置。
- 前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項23に記載の装置。
- 前記ミキサは、前記音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するイコライザをさらに含む、請求項24に記載の装置。
- 前記アクチュエータは、リニア振動アクチュエータまたは偏心回転質量モータである、請求項23に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/582,404 | 2014-12-24 | ||
US14/582,404 US9891714B2 (en) | 2014-12-24 | 2014-12-24 | Audio enhanced simulation of high bandwidth haptic effects |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016123075A true JP2016123075A (ja) | 2016-07-07 |
Family
ID=54544946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015218529A Pending JP2016123075A (ja) | 2014-12-24 | 2015-11-06 | 高帯域幅の触覚効果の音声増幅シミュレーション |
Country Status (5)
Country | Link |
---|---|
US (2) | US9891714B2 (ja) |
EP (1) | EP3040810B1 (ja) |
JP (1) | JP2016123075A (ja) |
KR (1) | KR20160078226A (ja) |
CN (1) | CN105739674A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10758821B2 (en) | 2017-11-10 | 2020-09-01 | Bandai Namco Entertainment Inc. | Operation input system, operation input device, and game system for adjusting force feedback control |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699538B2 (en) | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
US10198076B2 (en) | 2016-09-06 | 2019-02-05 | Neosensory, Inc. | Method and system for providing adjunct sensory information to a user |
EP3907734B1 (en) * | 2016-11-14 | 2022-11-02 | Goodix Technology (HK) Company Limited | Linear resonant actuator controller |
US10104471B2 (en) * | 2016-11-30 | 2018-10-16 | Google Llc | Tactile bass response |
WO2018151770A1 (en) | 2017-02-16 | 2018-08-23 | Neosensory, Inc. | Method and system for transforming language inputs into haptic outputs |
US10744058B2 (en) | 2017-04-20 | 2020-08-18 | Neosensory, Inc. | Method and system for providing information to a user |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
KR101899538B1 (ko) * | 2017-11-13 | 2018-09-19 | 주식회사 씨케이머티리얼즈랩 | 햅틱 제어 신호 제공 장치 및 방법 |
US10360774B1 (en) * | 2018-01-05 | 2019-07-23 | Immersion Corporation | Method and device for enabling pitch control for a haptic effect |
IT201800002274A1 (it) * | 2018-01-31 | 2019-07-31 | Wugim Set S R L | Dispositivo per la stimolazione vibroacustica |
US10832537B2 (en) * | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11269415B2 (en) * | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
US20220050525A1 (en) * | 2018-09-18 | 2022-02-17 | Sony Corporation | Sensation induction device and sound output system |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
EP3677996B1 (en) | 2019-01-07 | 2022-03-23 | Goodix Technology (HK) Company Limited | Audio-haptic signal generator |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US20220113801A1 (en) * | 2019-04-26 | 2022-04-14 | Hewlett-Packard Development Company, L.P. | Spatial audio and haptics |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
GB2604215B (en) | 2019-06-21 | 2024-01-31 | Cirrus Logic Int Semiconductor Ltd | A method and apparatus for configuring a plurality of virtual buttons on a device |
CN110312038B (zh) * | 2019-06-28 | 2020-10-02 | Oppo(重庆)智能科技有限公司 | 信息提示方法及装置、电子设备、计算机可读存储介质 |
US11467667B2 (en) | 2019-09-25 | 2022-10-11 | Neosensory, Inc. | System and method for haptic stimulation |
EP4046001A1 (en) * | 2019-10-14 | 2022-08-24 | Lofelt GmbH | Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11467668B2 (en) | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11079854B2 (en) | 2020-01-07 | 2021-08-03 | Neosensory, Inc. | Method and system for haptic stimulation |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
CN112083807B (zh) * | 2020-09-20 | 2021-10-29 | 吉林大学 | 一种基于音触转换的足部地形触觉再现方法及装置 |
US11497675B2 (en) | 2020-10-23 | 2022-11-15 | Neosensory, Inc. | Method and system for multimodal stimulation |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11862147B2 (en) | 2021-08-13 | 2024-01-02 | Neosensory, Inc. | Method and system for enhancing the intelligibility of information for a user |
US20240045505A1 (en) * | 2022-08-03 | 2024-02-08 | Qualcomm Incorporated | Audio and haptic signal processing |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822635B2 (en) * | 2000-01-19 | 2004-11-23 | Immersion Corporation | Haptic interface for laptop computers and other portable devices |
US20040264705A1 (en) * | 2003-06-30 | 2004-12-30 | Nokia Corporation | Context aware adaptive equalization of user interface sounds |
US7791588B2 (en) * | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
US20060017691A1 (en) | 2004-07-23 | 2006-01-26 | Juan Manuel Cruz-Hernandez | System and method for controlling audio output associated with haptic effects |
WO2006067751A1 (en) * | 2004-12-21 | 2006-06-29 | Retract A Canopy (Pty) Ltd | A canopy for an open load carrying vehicle |
JP5025721B2 (ja) * | 2006-04-06 | 2012-09-12 | イマージョン コーポレイション | 触覚効果強化のためのシステムおよび方法 |
US8621348B2 (en) * | 2007-05-25 | 2013-12-31 | Immersion Corporation | Customizing haptic effects on an end user device |
EP2417776A1 (en) * | 2009-04-10 | 2012-02-15 | Immerz Inc. | Systems and methods for acousto-haptic speakers |
US8710968B2 (en) * | 2010-10-07 | 2014-04-29 | Motorola Mobility Llc | System and method for outputting virtual textures in electronic devices |
US9448626B2 (en) * | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
JP6081705B2 (ja) | 2012-02-03 | 2017-02-15 | イマージョン コーポレーションImmersion Corporation | 波形を利用した音響−触覚効果変換システム |
EP3321780A1 (en) * | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
US9143858B2 (en) * | 2012-03-29 | 2015-09-22 | Csr Technology Inc. | User designed active noise cancellation (ANC) controller for headphones |
US9128523B2 (en) * | 2012-12-20 | 2015-09-08 | Amazon Technologies, Inc. | Dynamically generating haptic effects from audio data |
US9158379B2 (en) | 2013-09-06 | 2015-10-13 | Immersion Corporation | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns |
US9245429B2 (en) | 2013-09-06 | 2016-01-26 | Immersion Corporation | Haptic warping system |
-
2014
- 2014-12-24 US US14/582,404 patent/US9891714B2/en not_active Expired - Fee Related
-
2015
- 2015-11-03 KR KR1020150153498A patent/KR20160078226A/ko unknown
- 2015-11-06 JP JP2015218529A patent/JP2016123075A/ja active Pending
- 2015-11-06 CN CN201510751549.9A patent/CN105739674A/zh active Pending
- 2015-11-12 EP EP15194333.9A patent/EP3040810B1/en not_active Not-in-force
-
2018
- 2018-02-12 US US15/894,168 patent/US10429933B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10758821B2 (en) | 2017-11-10 | 2020-09-01 | Bandai Namco Entertainment Inc. | Operation input system, operation input device, and game system for adjusting force feedback control |
Also Published As
Publication number | Publication date |
---|---|
US20160187987A1 (en) | 2016-06-30 |
US20180164896A1 (en) | 2018-06-14 |
KR20160078226A (ko) | 2016-07-04 |
EP3040810A1 (en) | 2016-07-06 |
US9891714B2 (en) | 2018-02-13 |
CN105739674A (zh) | 2016-07-06 |
US10429933B2 (en) | 2019-10-01 |
EP3040810B1 (en) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10429933B2 (en) | Audio enhanced simulation of high bandwidth haptic effects | |
JP6434669B2 (ja) | 低周波数効果ハプティック変換システム | |
JP6730398B2 (ja) | 複数のアクチュエータを用いた音からハプティック効果への変換システム | |
EP2703951B1 (en) | Sound to haptic effect conversion system using mapping | |
JP2020173821A (ja) | ストリームに依存しない音をハプティック効果に変換するシステム | |
EP2624099B1 (en) | Method and system for sound to haptic effect conversion using waveform | |
US20190267043A1 (en) | Automated haptic effect accompaniment | |
JP6757853B2 (ja) | 知覚可能な低音レスポンス | |
JP2018513430A (ja) | スローモーションのためのハプティック効果の修正 | |
US8494206B2 (en) | Electronic device and method thereof | |
JP2017506008A (ja) | 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス | |
JPWO2020003728A1 (ja) | 符号化装置、符号化方法、復号装置、復号方法、プログラム | |
WO2020176383A1 (en) | Audio data with embedded tags for rendering customized haptic effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200123 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200616 |