CN108874144B - 使用映射的声音-触觉效应转换系统 - Google Patents
使用映射的声音-触觉效应转换系统 Download PDFInfo
- Publication number
- CN108874144B CN108874144B CN201810716736.7A CN201810716736A CN108874144B CN 108874144 B CN108874144 B CN 108874144B CN 201810716736 A CN201810716736 A CN 201810716736A CN 108874144 B CN108874144 B CN 108874144B
- Authority
- CN
- China
- Prior art keywords
- haptic
- audio signal
- audio
- signal
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 63
- 238000013507 mapping Methods 0.000 title claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 title abstract description 51
- 230000005236 sound signal Effects 0.000 claims abstract description 131
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 239000000872 buffer Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本公开涉及使用映射的声音‑触觉效应转换系统。提供一种触觉转换系统,该系统截取诸如数字音频信号的音频数据,分析音频数据的频率,并且将被分析的音频数据划分成一个或多个音频频率区,其中每个音频频率区都包括一个或多个音频子信号。该触觉转换系统进一步将一个或多个音频频率区映射到一个或多个触觉频率区,其中每个触觉频率区都包括一个或多个触觉信号。该触觉转换系统进一步将一个或多个触觉效应映射到一个或多个执行器。该触觉转换系统进一步将一个或多个触觉信号发送至一个或多个执行器,以便产生一个或多个触觉效应。
Description
本申请是申请日为2013年8月19日、发明名称为“使用映射的声音-触觉效应转换系统”的中国专利申请201310359903.4的分案申请。
相关申请的交叉引用
本申请要求2012年8月31日提交的美国临时专利申请系列No.61/695,614的优先权,通过引入将其公开内容并入本文。
技术领域
一个实施例一般涉及一种设备,并且更具体地,涉及一种产生触觉效应的设备。
背景技术
触觉论是一种通过将诸如力、振动和运动的触觉反馈效应(即“触觉效应”)施加给用户而对用户的接触感知加以利用的触知和力反馈技术。诸如移动设备、触摸屏设备和个人计算机的设备能够被配置成产生触觉效应。一般地,能够在设备的操作系统(“OS”)内对调用能够产生触觉效应的嵌入式硬件(诸如执行器)进行编程。这些调用规定哪个触觉效应要播放。例如,当用户与使用例如按钮、触摸屏、控制杆、游戏棒、操纵轮或一些其它控制的设备交互时,设备的OS能够通过控制电路将播放命令发送至嵌入式硬件。然后嵌入式硬件产生适当的触觉效应。
这种设备还能够被配置成播放诸如数字音频信号的音频数据。例如,这种设备能够包括被配置成播放诸如含有音频部分的电影或视频游戏的视频数据、或诸如歌曲的音频数据的应用。与触觉论类似,能够在设备的OS内对调用能够产生音频效应的附加的嵌入式硬件(诸如扬声器)进行编程。因此,设备的OS能够通过控制电路将播放命令发送至附加的嵌入式硬件,其中附加的嵌入式硬件随后产生适当的音频效应。
发明内容
一个实施例是一种将音频信号转换成一个或多个触觉效应的系统。该系统分析音频信号。该系统进一步将音频信号划分成一个或多个音频频率区,其中每个音频频率区都包括一个或多个音频子信号。该系统进一步将一个或多个音频频率区映射到一个或多个触觉频率区,其中每个音频频率区都被映射到一个或多个对应的触觉频率区,并且其中每个触觉频率区都包括一个或多个触觉信号。该系统进一步将一个或多个触觉信号发送至执行器以产生一个或多个触觉效应。
附图说明
结合附图,从优选实施例的以下详细说明,进一步的实施例、细节、优点及更改将变得清楚。
图1示出根据本发明一个实施例的触觉转换系统的框图。
图2示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将音频信号转换成一个或多个触觉信号,其被发送至执行器以便产生一个或多个触觉效应。
图3示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将音频信号划分成一个或多个音频频率区,并且将每个音频频率区都映射到触觉频率区。
图4示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将一个或多个触觉频率区映射到多个执行器中的一个执行器。
图5示出根据本发明一个实施例的触觉转换模块的功能的流程图。
具体实施方式
一个实施例是一种触觉转换系统,其能够接收诸如数字音频信号的音频数据,分析音频数据的频率,并且将被分析的音频数据划分成一个或多个音频频率区,其中每个音频频率区都包括一个或多个音频子信号。触觉转换系统能够进一步将一个或多个音频频率区映射到一个或多个触觉频率区,其中每个触觉频率区都包括一个或多个触觉信号。触觉转换系统能够进一步将一个或多个触觉效应映射到一个或多个执行器。触觉转换系统能够进一步将一个或多个触觉信号发送至一个或多个执行器,以便产生一个或多个触觉效应。
图1示出根据本发明一个实施例的触觉转换系统10的框图。在一个实施例中,系统10是移动设备的一部分,并且系统10为移动设备提供触觉转换功能。虽然被示出为单个系统,但是系统10的功能能够被实施为分布式系统。系统10包括总线12或用于交流信息的其它通信机构,和被耦接至总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括用于储存信息和被处理器22执行的指令的存储器14。存储器14能够由随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储器、或任何其它类型的计算机可读介质的任何组合组成。
计算机可读介质可以是能够通过处理器22存取的任何可用介质,并且可以包括易失性和非易失性介质、可拆卸和不可拆卸介质、通信介质和储存介质。通信介质可以包括计算机可读指令、数据结构、程序模块或在诸如载波或其它传送机制的被调制数据信号中的其它数据,并且可以包括本领域已知的任何其它形式的信息传递介质。储存介质可以包括RAM、闪速存储器、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可拆卸磁盘、光盘只读存储器(“CD-ROM”)、或本领域已知的任何其它形式的储存介质。
在一个实施例中,存储器14储存在处理器22执行时提供功能的软件模块。该模块既包括为系统10提供操作系统功能的操作系统15,也包括在一个实施例中移动设备的其余部分。该模块进一步包括触觉转换模块16,其将音频信号转换成用于产生一个或多个触觉效应的一个或多个触觉信号,如下文更详细公开的那样。在某些实施例中,触觉转换模块16能够包含多个模块,其中每个模块都提供具体独特的功能,用于将音频信号转换成用于产生一个或多个触觉效应的一个或多个触觉信号。系统10将通常包括一个或多个附加的应用模块18以便包括附加的功能,诸如Immersion公司的IntegratorTM软件。
在发射和/或从远程源接收数据的实施例中,系统10进一步包括诸如网络接口卡的通信设备20,以提供诸如红外、无线电、无线上网系统(Wi-Fi)、或蜂窝网络通信的移动无线网络通信。在其它实施例中,通信设备20提供诸如以太网连接或调制解调器的有线网络连接。
处理器22经由总线12被进一步耦接至诸如液晶显示器(“LCD”)的显示器24,以便将图形表达或用户界面显示给用户。显示器24可以是被配置成发送和从处理器22接收信号的、诸如触摸屏的触摸感应输入设备,并且可以是多点触摸触摸屏。
系统10进一步包括多个执行器26(例如,执行器26A和26B)。本领域的一名普通技术人员将易于理解在图1示出的实施例中,多个执行器26包括两个执行器(即,执行器26A和26B),但是在可选实施例中,多个执行器26能够包括任何数量的执行器。处理器22可以将与触觉效应相关的触觉信号发射至多个执行器26中的一个或多个执行器,其中一个或多个执行器中的每个执行器都继而输出触觉效应。多个执行器26中的每个执行器都可以是,例如,电动机、电磁执行器、声圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、线性谐振执行器(“LRA”)、压电执行器、高带宽执行器、电活性聚合物(“EAP”)执行器、静电摩擦显示器、或超声波振动发生器。此外,多个执行器26中的每个执行器都可以是不同的执行器类型。
在一些实施例中,系统10进一步包括一个或多个扬声器28。处理器22可以将音频信号发射至扬声器28,其继而输出音频效应。扬声器28可以是,例如,动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面的磁性扩音器、弯曲波扩音器(bending wave loudspeaker)、平板扩音器(flat panel loudspeaker)、海尔气动式传感器(heil air motion transducer)、等离子弧扬声器和数字式扩音器。
图2示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将音频信号转换成一个或多个触觉信号,其被发送至执行器以便产生一个或多个触觉效应。根据一个实施例,提供一种机构以便基于输入音频信号和/或外部数据的不同测量来调节音频到触觉转换过程的一个或多个参数。从用户的视角看,结果是其响应更有选择性的触觉体验,启动用于前景事件的振动触知反馈(诸如游戏中的碰撞、爆炸等),并且减小用于背景事件的反馈(诸如在游戏音乐或环境噪声中)或使其静音。通过在音频信号可感知的重要性质之间进行区分,音频到触觉转换过程能够防止“背景噪声”,其能够出现在既具有声音效应又具有音乐曲目的游戏、或具有显著转变但还是具有环境噪声的媒体文件中。
图2示出的实施例使用虚线示出正在被更新的触觉转换系统的参数。在一个实施例中,触觉转换系统包括音频到触觉转换过程的参数的实时更改以便通过触觉强调音频文件的某些特性,这通过实时或在离线转换期间更改触觉转换系统的波型和内置扬声器模块的参数来完成,如进一步更详细描述的那样。另外,预处理模块可以使用音频处理算法来更改音频信号本身以便增强或更改整个音频到触觉转换过程。在一个可选实施例中,音频信号能够被预处理成通过音频到触觉转换过程来实时提取适当的信息并且随后被储存回待解释的音频信号内。
根据本实施例,触觉转换系统接收音频信号200。在某些实施例中,音频信号200包括一个或多个数字音频缓冲,诸如脉冲编码调制(“PCM”)音频缓冲,其中每个PCM音频缓冲都包含一个或多个PCM音频数据帧。在其它实施例中,音频信号200包括一个或多个基于结构的音频缓冲,诸如乐器数字接口(“MIDI”)音频缓冲,其中每个MIDI音频缓冲都包含一个或多个MIDI音频数据帧。在又一些实施例中,音频信号200包括一个或多个频域音频缓冲,诸如MPEG-2音频层III(“MP3”)音频缓冲,其中每个MP3音频缓冲都包含一个或多个MP3音频数据帧。在又一些实施例中,音频信号200包括本领域普通技术人员已知的其它音频格式的一个或多个音频缓冲。在又一些实施例中,音频信号200还含有触觉信息,其能够包括用于配置转换算法的参数或其它提示。
触觉转换系统随后将音频信号200发送至预处理模块210,其对音频信号200执行任何有必要的预处理。这种预处理能够包括欠采样音频信号200。音频信号200是欠采样的一个实例情况是,其中音频信号200具有大于8千赫(“kHz”)的采样频率。这种预处理能可选地包括融合音频信号200的两个或多个通道的平均,其中音频信号200是立体声音频信号。因此,预处理模块210的目标是无论音频信号200的格式如何都确保估计器模块接收一致的信号。预处理能够基于一个或多个参数。触觉转换系统随后将音频信号200发送至估计器模块220,其对音频信号200进行分析以确定音频信号200的一个或多个音频频率区。在某些实施例中,估计器模块220能够确定若干个滤波器以用于确定音频信号200的一个或多个音频频率区。估计器模块220能够进一步调节预处理模块210的一个或多个参数,并且能够进一步调节内置扬声器模块(在图2中表示为内置扬声器模块240和241)的一个或多个参数和/或波形模块(在图2中表示为波形模块250)的一个或多个参数。触觉转换系统随后将音频信号200发送至一个或多个滤波器(在图2中表示为滤波器230、231和232),其中音频信号200被划分成一个或多个确定的音频频率区。此外,作为将音频信号200发送至一个或多个滤波器的一部分,音频信号200的每个音频频率区都由单独的滤波器产生。能够基于一个或多个参数确定一个或多个音频频率区。关于图3更详细地描述这种划分。
触觉转换系统进一步将音频信号200的某些音频频率区发送至内置扬声器模块(在图2中表示为内置扬声器模块240和241),其中内置扬声器模块计算音频信号的每个音频频率区的最大值。内置扬声器模块基于计算出的最大值进一步产生包括一个或多个触觉信号的触觉频率区,并且将音频信号200的音频频率区映射到产生的触觉频率区。触觉频率区的产生能够基于一个或多个参数。关于图3进一步更详细地描述这种映射。触觉转换系统进一步将音频信号200的其它音频频率区发送至波形模块(在图2中表示为波形模块250),其中波形模块计算音频信号200的每个音频频率区的最大值,并且基于音频信号200的音频频率区的最大值进一步计算正弦载波波形。波形模块基于计算出的最大值和计算出的正弦载波波形进一步产生包括一个或多个触觉信号的触觉频率区,并且将音频信号200的音频频率区映射到产生的触觉频率区。触觉频率区的产生能够基于一个或多个参数。关于图3还进一步更详细地描述这种映射。
一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块260,其中混频器模块260将一个或多个触觉信号组合成单个组合的触觉信号,其可以包括附加的滤波步骤以便防止信号饱和。在一个可选实施例中,考虑到每个输出执行器的频率响应、幅度和物理位置,混频器模块260还将N个输入信号映射到M个输出执行器。组合的触觉信号随后被发送至触觉效应播放器模块270,诸如Immersion公司的5000播放器模块,其中触觉效应播放器模块270被配置成通过将组合的触觉信号发送至执行器280而在执行器280处播放一个或多个触觉效应。可选地,组合的触觉信号还被储存在诸如浸没式振动源(“IVS”)触觉效应文件的触觉效应文件290内或诸如MPEG-4的标准容器格式文件中嵌入式轨道内。
图3示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将音频信号划分成一个或多个音频频率区,并且将每个音频频率区都映射到触觉频率区。根据本实施例,音频到触觉转换过程能够包括频率从音频频率区映射到触觉频率。音频内容能够进行频率分析,并且随后被划分成一个或多个音频频率区,其中每个音频频率区都包括音频内容的一个或多个音频子信号。此外,每个音频频率区都能够被映射到一个或多个触觉频率区,其中每个触觉频率区都包括一个或多个触觉信号。能够基于执行器特性(例如,如果执行器在规定的频率处确实具有足够的动态范围)、通过能够被人感知的触觉效应的特性来确定为触觉频率区选择的频率,从而使触觉频率内容易于区分,或通过音频信号本身的频率内容来确定。例如,在每个音频频率区内的功率内容都能够被提取并且用于对每个触觉频率区中的触觉内容进行量值调制。
根据本实施例,触觉转换系统接收音频信号310。在某些实施例中,音频信号310类似于图2的音频信号200。触觉转换系统随后将音频信号310发送至预处理模块320,其执行对音频信号310任何有必要的预处理。之前关于图2描述过预处理的实例。触觉转换系统随后将音频信号310发送至估计器模块330,其分析音频信号310以确定音频信号310的一个或多个音频频率区。估计器模块330随后将音频信号310划分成一个或多个确定的音频频率区(在图3中表示为音频频率区340、341和342)。此外,作为将音频信号310划分成一个或多个确定的音频频率区的一部分,音频信号310的每个音频频率区都由单独的滤波器产生。估计器模块330能够响应于被处理音频信号中的更改而更改或更新这个映射。在某些实施例中,每个音频频率区都表示含在音频信号310内的子信号的一个频率范围。例如,在音频信号310被划分成三个音频频率区的一个实施例中,第一音频频率区能够包括低频范围内的子信号,第二音频频率区能够包括中频范围内的子信号,而第三音频频率区能够包括高频范围内的子信号。这仅仅是实例数量的音频频率区,并且音频信号能够被划分成任何数量的音频频率区。
随后,一个或多个音频频率区被映射到一个或多个触觉频率区(在图3中表示为触觉频率区350、351和352)。在某些实施例中,每个触觉频率区都表示用于一个或多个触觉信号的频率范围,其基于音频信号310而产生。例如,在包括三个触觉频率区的一个实施例中,第一触觉频率区能够包括低频范围内的触觉信号,第二触觉频率区能够包括中频范围内的触觉信号,而第三触觉频率区能够包括高频范围内的触觉信号。这仅仅是实例数量的触觉频率区,并且能够有任何数量的触觉频率区。在某些实施例中,图2的滤波器230对应于图3的音频频率范围340和触觉频率范围350,图2的滤波器231对应于图3的音频频率范围341和触觉频率范围351,而图2的滤波器232对应于图3的音频频率范围342和频率范围352。
在某些实施例中,包括较低频率范围的子信号的音频频率区能够被映射到触觉频率区,其包括较低频率范围内的触觉信号。同样,在这些实施例中,包括较高频率范围内的子信号的音频频率区能够被映射到触觉频率区,其包括较高频率范围内的触觉信号。在一个实例实施例中,触觉转换系统能够将音频信号300划分成多个音频频率区,并且将每个音频频率区映射到对应的触觉频率区,如下:
音频频率区 | 触觉频率区 |
<200Hz | 100Hz |
在200Hz和4000Hz之间 | 175Hz |
>4000Hz | 250Hz |
一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块360,其中混频器模块360将一个或多个触觉信号组合成单个组合的触觉信号。组合的触觉信号随后被发送至触觉效应播放器模块370,诸如Immersion公司的5000播放器模块,其中触觉效应播放器模块370被配置成通过将组合的触觉信号发送至执行器380而在执行器380处播放一个或多个触觉效应。可选地,组合的触觉信号还被储存在诸如IVS触觉效应文件的触觉效应文件390中。
图4示出根据本发明一个实施例的触觉转换系统的框图,该触觉转换系统将一个或多个触觉频率区映射到多个执行器中的一个执行器。众所周知,人能够具有不同的辨别频率,尤其当那些频率在某个范围内是接近的。还众所周知,一些用户更喜欢由某些执行器产生的低频触觉效应,而其他用户则更喜欢由宽频带执行器产生的高频触觉效应。根据本实施例,低频响应执行器的组合(诸如ERM)能够与宽带宽执行器(诸如压电执行器)进行组合以为应用产生更丰富的触觉内容,其中因为执行器的设计的动态和频率特性,触觉内容不能由单个执行器产生,如下列表格所述:
由于ERM能够产生低频振动(在60和200Hz之间),但在每个频率处具有固定的量值,因此不能为输出信号产生具有低频内容和高频内容的叠加效应。另一方面,压电执行器不具有低于100Hz的动态范围,因此不能在此范围内输出有意义的触觉效应。两个执行器的组合能够给触觉效应设计者提供能够从其选择的更丰富的调色板,增强用户体验。
此外,能够产生不同算法来组合两个执行器。例如,在一个例子中,压电执行器能够用于显示游戏中的背景音乐,而ERM能够用于显示交互效应(诸如爆炸、碰撞等)。两个执行器的组合还能够用于通过组合低频内容和高频内容来产生更丰富的纹理。
根据本实施例,触觉转换系统接收音频信号410。在某些实施例中,音频信号410类似于图2的音频信号200和图3的音频信号310。触觉转换系统随后将音频信号410发送至预处理模块420,其执行对音频信号400任何有必要的预处理。之前关于图2描述过预处理的实例。预处理模块420还将音频信号410划分成多个音频区(该音频区不同于音频频率区,因为音频信号基于对应的执行器、而非音频信号的子信号的频率被划分成区),其中每个音频区都对应于多个执行器中的一个执行器(在图4中表示为执行器470、471和472)。在示出的实施例中,预处理模块420将音频信号410划分成三个音频区。然而,这仅仅是实例实施例,而预处理模块420能够将音频信号410划分成任何数量的音频区。在某些实施例中,多个执行器包括至少一个低频执行器和一个高频执行器。
根据本实施例,每个音频区都被划分成一个或多个音频频率区,其中每个音频频率区都表示用于含在对应音频区内子信号的频率范围。在示出的实施例中,第一音频区被划分成音频频率区430,第二音频区被划分成音频频率区431,而第三音频区被划分成音频频率区432。随后,对于每个音频区而言,一个或多个音频频率区被映射到一个或多个触觉频率区,其中每个触觉频率区都表示基于音频区而产生的一个或多个触觉信号的频率范围。在示出的实施例中,音频频率区430被映射到触觉频率区440,音频频率区431被映射到触觉频率区441,而音频频率区432被映射到触觉频率区442。
随后,对于每个音频区而言,一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块,其中混频器模块将一个或多个触觉信号组合成单个组合的触觉信号。在示出的实施例中,触觉频率区440的一个或多个触觉信号被发送至混频器模块450,其中混频器模块450将一个或多个触觉信号组合成第一组合的触觉信号。触觉频率区441的一个或多个触觉信号被发送至混频器模块451,其中混频器模块451将一个或多个触觉信号组合成第二组合的触觉信号。触觉频率区442的一个或多个触觉信号被发送至混频器模块452,其中混频器模块452将一个或多个触觉信号组合成第三组合的触觉信号。
每个组合的触觉信号随后被发送至触觉效应播放器模块,诸如Immersion公司的5000的播放器模块,其中每个触觉效应播放器模块都被配置成通过将各自组合的信号发送至各自的执行器而在对应的执行器处播放一个或多个触觉效应。在示出的实施例中,混频器模块450将第一组合的触觉信号发送至触觉效应播放器模块460,其中触觉效应播放器模块460被配置成通过将第一组合的触觉信号发送至执行器470而在执行器470处播放一个或多个触觉效应。混频器模块451将第二组合的触觉信号发送至触觉效应播放器模块461,其中触觉效应播放器模块461被配置成通过将第二组合的触觉信号发送至执行器471而在执行器471处播放一个或多个触觉效应。混频器模块452将第三组合的触觉信号发送至触觉效应播放器模块462,其中触觉效应播放器模块462被配置成通过将第三组合的触觉信号发送至执行器472而在执行器472处播放一个或多个触觉效应。
图5示出根据本发明一个实施例的触觉转换模块(诸如图1的触觉转换模块16)的功能的流程图。在一个实施例中,图5的功能通过储存在存储器或另一种计算机可读介质或有形介质内的软件来进行实施,并且通过处理器执行。在其它实施例中,功能可以通过硬件(例如通过使用专用集成电路(“ASIC”)、可编程序门阵列(“PGA”)、现场可编程序门阵列(“FPGA”)等)、或硬件和软件的任何组合而被执行。此外,在可选实施例中,功能可以通过使用模拟组件的硬件而被执行。
流程开始并且进行到510。在510处,音频信号得到分析。在某些实施例中,音频信号还被预处理。并且,在某些实施例中,用于将音频信号划分成一个或多个音频频率区的一个或多个参数被调节。在一些实施例中,用于预处理音频信号的一个或多个参数被调节。流程进行到520。在520处,音频信号被划分成一个或多个音频频率区,其中每个音频频率区都包括音频信号的一个或多个音频子信号。流程进行到530。在530处,一个或多个音频频率区被映射到一个或多个触觉频率区,其中每个音频频率区都被映射到一个或多个对应的触觉频率区,并且其中每个触觉频率区都包括一个或多个触觉信号。流程进行到540。在540处,一个或多个触觉频率区的一个或多个触觉信号被映射到一个或多个执行器,其中每个触觉信号被映射到一个或多个对应的执行器。一个或多个执行器能够包括至少一个低频执行器和至少一个高频执行器。流程进行到550。在550处,一个或多个触觉信号被发送至一个或多个执行器以产生一个或多个触觉效应,其中每个触觉信号都被发送至它对应的执行器。然后流程结束。在某些实施例中,诸如其中音频信号包括歌曲的一部分,流程能够为了多个音频信号而被重复,其中每个音频信号都是该歌曲单独的一部分。例如,两分钟的歌曲能被划分成多个音频信号,其中每个音频信号都是17毫秒(“ms”)的持续时间,并且流程能够为了多个音频信号中的每个音频信号而被重复。这只是一个实例,并且该歌曲能是任何持续时间,并且多个音频信号中的每个音频信号都能是任何持续时间。
因此,根据一个实施例,触觉转换系统将音频信号划分成一个或多个音频频率区,将每个音频频率区映射到一个或多个触觉频率区,并且将一个或多个触觉频率区的一个或多个触觉信号发送至一个或多个执行器以产生一个或多个触觉效应。在触觉频率区内选择的频率能够使触觉转换系统更好地利用一个或多个执行器(诸如宽带宽的执行器)的特征,并且多于一个执行器的使用能够提供更丰富的触觉体验。
贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中按照任何适当的方式进行组合。例如,“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用,贯穿本说明书指的是与实施例相结合描述的特殊的特征、结构或特性可以被包括在本发明的至少一个实施例中的事实。因此,短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似语言的出现,贯穿本说明书都不必指的是相同组的实施例,并且所描述的特征、结构或特性可以按照任何适当的方式结合在一个或多个实施例中。
本领域普通技术人员将易于理解,如上所述的本发明可以按照不同顺序的步骤、和/或利用不同于被公开的那些构造中的元素来实践。因此,虽然已经基于这些优选实施例描述了本发明,但是对于本领域技术人员而言,某些更改、变化及可选构造将是显而易见的,并且仍在本发明的精神和范围内。因此,为了确定本发明的界限和范围,应该参考所附的权利要求。
Claims (20)
1.一种其上存储有指令的非暂时性计算机可读介质,所述指令在由处理器执行时使所述处理器生成触觉信号,所述处理器被配置用于:
接收音频信号;
通过修改所述音频信号以创建修改的音频信号来预处理所述音频信号;
基于所述修改的音频信号的测量来调整一个或多个参数,所述调整通过配置所述一个或多个参数以将所述修改的音频信号划分成一个或多个音频频率区,以启动用于前景事件的触觉反馈并且以减少或静音用于背景事件的触觉反馈;
基于所述一个或多个参数将所述修改的音频信号映射到触觉信号;和
将所述触觉信号发送给执行器以生成一个或多个触觉效果。
2.根据权利要求1所述的非暂时性计算机可读介质,其中修改所述音频信号包括对所述音频信号进行欠采样。
3.根据权利要求1所述的非暂时性计算机可读介质,其中修改所述音频信号包括融合所述音频信号的两个或更多个通道的平均值。
4.根据权利要求1所述的非暂时性计算机可读介质,其中修改所述音频信号包括对所述音频信号进行滤波。
5.根据权利要求1所述的非暂时性计算机可读介质,其中所述触觉信号中的一个或多个频率是基于所述执行器的一个或多个特性而选择的。
6.根据权利要求5所述的非暂时性计算机可读介质,其中所述修改的音频信号包括频率在由所述一个或多个参数限定的低范围内的一个或多个音频子信号,其中所述一个或多个音频子信号被映射到具有所述一个或多个频率的对应的触觉信号。
7.根据权利要求5所述的非暂时性计算机可读介质,其中所述修改的音频信号包括具有频率在由所述一个或多个参数限定的中间范围内的一个或多个音频子信号,其中所述一个或多个音频子信号被映射到具有所述一个或多个频率的对应的触觉信号。
8.根据权利要求5所述的非暂时性计算机可读介质,其中所述修改的音频信号包括具有频率在由所述一个或多个参数限定的高范围内的一个或多个音频子信号,其中,所述一个或多个音频子信号被映射到具有所述一个或多个频率的对应的触觉信号。
9.根据权利要求1所述的非暂时性计算机可读介质,其中将所述修改的音频信号映射到触觉信号包括:
将所述修改的音频信号映射到一个或多个触觉信号;和
将所述一个或多个触觉信号组合成所述触觉信号。
10.根据权利要求1所述的非暂时性计算机可读介质,其中将所述修改的音频信号映射到触觉信号包括基于所述执行器的一个或多个特性来修改所述触觉信号。
11.根据权利要求1所述的非暂时性计算机可读介质,其中所述一个或多个参数被调整以提供用于背景事件的减少的触觉反馈。
12.根据权利要求10所述的非暂时性计算机可读介质,其中映射所述触觉信号是基于所述执行器的动态范围、频率响应、幅度或物理位置的。
13.根据权利要求1所述的非暂时性计算机可读介质,其中所述处理器还被配置用于基于所述执行器的一个或多个特性将所述触觉信号映射到所述执行器。
14.根据权利要求13所述的非暂时性计算机可读介质,其中所述执行器的所述一个或多个特征包括所述执行器的动态范围、频率响应、幅度或物理位置。
15.根据权利要求1所述的非暂时性计算机可读介质,其中将所述触觉信号发送给执行器包括将所述触觉信号发送给触觉效果播放器,其中所述触觉效果播放器将所述触觉信号发送给所述执行器以生成所述一个或多个触觉效果。
16.一种用于生成触觉信号的计算机实现的方法,包括:
接收音频信号;
通过修改所述音频信号以创建修改的音频信号来预处理所述音频信号;
基于所述修改的音频信号的测量来调整一个或多个参数,所述调整通过配置所述一个或多个参数以将所述修改的音频信号划分成一个或多个音频频率区,以启动用于前景事件的触觉反馈以及减少或静音用于背景事件的触觉反馈;
基于所述一个或多个参数将所述修改的音频信号映射到触觉信号;和
将所述触觉信号发送给执行器以生成一个或多个触觉效果。
17.根据权利要求16所述的方法,其中修改所述音频信号包括对所述音频信号进行欠采样。
18.根据权利要求16所述的方法,其中修改所述音频信号包括融合所述音频信号的两个或更多个通道的平均值。
19.根据权利要求16所述的方法,其中修改所述音频信号包括对所述音频信号进行滤波。
20.一种触觉信号生成系统,包括:
被配置为存储触觉模块的存储器;
被配置成执行存储在所述存储器上的所述触觉模块的处理器;和
被配置成输出一个或多个触觉效果的执行器;
其中所述触觉模块被配置为:
接收音频信号,
通过修改所述音频信号以创建修改的音频信号来预处理所述音频信号,
基于所述修改的音频信号的测量来调整一个或多个参数,所述调整通过配置所述一个或多个参数以将所述修改的音频信号划分成一个或多个音频频率区,来启动用于前景事件的触觉反馈并且以减少或静音用于背景事件的触觉反馈,
基于所述一个或多个参数将所述修改的音频信号映射到触觉信号,和
将所述触觉信号发送给执行器以生成一个或多个触觉效果。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261695614P | 2012-08-31 | 2012-08-31 | |
US61/695,614 | 2012-08-31 | ||
US13/799,059 US9368005B2 (en) | 2012-08-31 | 2013-03-13 | Sound to haptic effect conversion system using mapping |
US13/799,059 | 2013-03-13 | ||
CN201310359903.4A CN103677249B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310359903.4A Division CN103677249B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108874144A CN108874144A (zh) | 2018-11-23 |
CN108874144B true CN108874144B (zh) | 2020-06-05 |
Family
ID=48900763
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810715868.8A Active CN108845673B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
CN201810716736.7A Active CN108874144B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
CN201310359903.4A Active CN103677249B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810715868.8A Active CN108845673B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310359903.4A Active CN103677249B (zh) | 2012-08-31 | 2013-08-19 | 使用映射的声音-触觉效应转换系统 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9368005B2 (zh) |
EP (1) | EP2703951B1 (zh) |
JP (2) | JP6250985B2 (zh) |
KR (1) | KR20140030053A (zh) |
CN (3) | CN108845673B (zh) |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US8754757B1 (en) | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9098984B2 (en) * | 2013-03-14 | 2015-08-04 | Immersion Corporation | Haptic effects broadcasting during a group event |
US9997032B2 (en) | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
US9519346B2 (en) | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
US10162416B2 (en) | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
US9443401B2 (en) | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
JP2015170174A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
CN104932681B (zh) * | 2014-03-21 | 2019-09-20 | 意美森公司 | 触觉效果的自动调整 |
US9946348B2 (en) | 2014-03-21 | 2018-04-17 | Immersion Corporation | Automatic tuning of haptic effects |
WO2015171452A1 (en) * | 2014-05-09 | 2015-11-12 | Sony Computer Entertainment Inc. | Scheme for embedding a control signal in an audio signal using pseudo white noise |
US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
US9174134B1 (en) | 2014-11-12 | 2015-11-03 | Immersion Corporation | Peripheral device with haptic diminishment prevention component |
CN107249704B (zh) * | 2015-02-27 | 2020-09-15 | 索尼公司 | 信息处理设备、信息处理方法和信息处理系统 |
KR102267474B1 (ko) | 2015-05-11 | 2021-06-21 | 삼성전자주식회사 | 진동 제어 장치와 이를 포함하는 컴퓨팅 장치 |
GB2549781B (en) * | 2016-04-29 | 2018-12-19 | Inoue Nicholas | Tactile stimulation apparatus |
KR101790892B1 (ko) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 |
US10699538B2 (en) * | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
CN109688990A (zh) | 2016-09-06 | 2019-04-26 | 新感知公司 | 用于向用户提供附属感觉信息的方法和系统 |
EP3907734B1 (en) * | 2016-11-14 | 2022-11-02 | Goodix Technology (HK) Company Limited | Linear resonant actuator controller |
US10075251B2 (en) | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
WO2018151770A1 (en) | 2017-02-16 | 2018-08-23 | Neosensory, Inc. | Method and system for transforming language inputs into haptic outputs |
KR102651705B1 (ko) | 2017-02-23 | 2024-03-28 | 삼성전자주식회사 | 전자 장치에서 진동 제공 방법 및 장치 |
US10744058B2 (en) * | 2017-04-20 | 2020-08-18 | Neosensory, Inc. | Method and system for providing information to a user |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US10366584B2 (en) | 2017-06-05 | 2019-07-30 | Immersion Corporation | Rendering haptics with an illusion of flexible joint movement |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US10477298B2 (en) | 2017-09-08 | 2019-11-12 | Immersion Corporation | Rendering haptics on headphones with non-audio data |
KR101901364B1 (ko) * | 2017-09-18 | 2018-11-22 | 주식회사 씨케이머티리얼즈랩 | 햅틱 장치를 위한 무선 제어 장치 및 방법 |
KR101899538B1 (ko) * | 2017-11-13 | 2018-09-19 | 주식회사 씨케이머티리얼즈랩 | 햅틱 제어 신호 제공 장치 및 방법 |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
EP3540567B1 (en) | 2018-03-16 | 2021-05-05 | Goodix Technology (HK) Company Limited | Haptic signal generator |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US10657779B2 (en) | 2018-06-07 | 2020-05-19 | Lofelt Gmbh | Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience |
EP3579081A1 (en) * | 2018-06-07 | 2019-12-11 | Lofelt GmbH | Systems and methods for generating haptic output for enhanced user experience |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
JPWO2020059758A1 (ja) * | 2018-09-20 | 2021-08-30 | 日本電産株式会社 | コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置 |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
FR3088454B1 (fr) * | 2018-11-12 | 2020-12-11 | Univ Sorbonne | Interface haptique |
KR102273805B1 (ko) * | 2019-02-19 | 2021-07-06 | 주식회사 동운아나텍 | 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치 |
KR102273804B1 (ko) * | 2019-02-19 | 2021-07-06 | 주식회사 동운아나텍 | 사용자 입력신호를 고려한 햅틱 모터 구동 방법 |
US10754428B1 (en) * | 2019-02-25 | 2020-08-25 | Facebook Technologies, Llc | Systems, methods, and devices for audio-tactile mapping |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US12035445B2 (en) | 2019-03-29 | 2024-07-09 | Cirrus Logic Inc. | Resonant tracking of an electromagnetic load |
EP3748474B1 (en) * | 2019-06-06 | 2022-09-28 | Goodix Technology (HK) Company Limited | Audio-haptic processor, method, system and computer program product |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
GB2604215B (en) | 2019-06-21 | 2024-01-31 | Cirrus Logic Int Semiconductor Ltd | A method and apparatus for configuring a plurality of virtual buttons on a device |
US11467667B2 (en) | 2019-09-25 | 2022-10-11 | Neosensory, Inc. | System and method for haptic stimulation |
US20210110841A1 (en) * | 2019-10-14 | 2021-04-15 | Lofelt Gmbh | System and method for transforming authored haptic data to fit into haptic bandwidth |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11467668B2 (en) | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11079854B2 (en) | 2020-01-07 | 2021-08-03 | Neosensory, Inc. | Method and system for haptic stimulation |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US11497675B2 (en) | 2020-10-23 | 2022-11-15 | Neosensory, Inc. | Method and system for multimodal stimulation |
CN112416477B (zh) * | 2020-11-27 | 2022-04-26 | 瑞声新能源发展(常州)有限公司科教城分公司 | 信号转换方法、装置、计算机设备和存储介质 |
JP7340556B2 (ja) * | 2021-02-26 | 2023-09-07 | 任天堂株式会社 | 振動制御システム |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11862147B2 (en) | 2021-08-13 | 2024-01-02 | Neosensory, Inc. | Method and system for enhancing the intelligibility of information for a user |
US11995240B2 (en) * | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
CN114995638B (zh) * | 2022-05-12 | 2024-08-23 | 北京有竹居网络技术有限公司 | 触觉信号生成方法、装置、可读介质及电子设备 |
US20240017166A1 (en) * | 2022-07-12 | 2024-01-18 | Tim Hoar | Systems and methods for generating real-time directional haptic output |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0144774A2 (en) * | 1983-11-07 | 1985-06-19 | Navot Technology Ltd. | Audiotactile communication system |
US6422941B1 (en) * | 1994-09-21 | 2002-07-23 | Craig Thorner | Universal tactile feedback system for computer video games and simulations |
CN1599925A (zh) * | 2001-10-09 | 2005-03-23 | 伊默逊股份有限公司 | 基于计算机设备的音频输出的触觉反馈感觉 |
CN101421707A (zh) * | 2006-04-13 | 2009-04-29 | 伊默生公司 | 从数字音频信号自动产生触觉事件的系统和方法 |
CN102272702A (zh) * | 2008-11-04 | 2011-12-07 | 拜尔材料科学股份公司 | 用于触觉反馈装置的电活性聚合物换能器 |
CN102349041A (zh) * | 2009-03-12 | 2012-02-08 | 伊梅森公司 | 用于摩擦显示和附加触觉效果的系统和方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0375694A (ja) | 1989-08-17 | 1991-03-29 | Toshiba Corp | 画像着色装置 |
JPH0633752Y2 (ja) * | 1989-11-24 | 1994-08-31 | サンデン株式会社 | 振動装置 |
US5684722A (en) | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
US7091948B2 (en) * | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
CN2386719Y (zh) * | 1999-09-03 | 2000-07-12 | 李德启 | 音乐自动摇床 |
US7027607B2 (en) * | 2000-09-22 | 2006-04-11 | Gn Resound A/S | Hearing aid with adaptive microphone matching |
US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US7791588B2 (en) | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
CN1868428A (zh) * | 2005-05-23 | 2006-11-29 | 李刚 | 用触觉及视觉替代听觉的腕式聋人辨声器 |
JP5208362B2 (ja) * | 2005-10-28 | 2013-06-12 | ソニー株式会社 | 電子機器 |
US8525778B2 (en) * | 2007-03-21 | 2013-09-03 | Northwestern University | Haptic device with controlled traction forces |
US8378964B2 (en) | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US8000825B2 (en) | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
KR20100065640A (ko) * | 2008-12-08 | 2010-06-17 | 삼성전자주식회사 | 터치스크린의 햅틱 피드백 방법 |
JP5668076B2 (ja) * | 2009-11-17 | 2015-02-12 | イマージョン コーポレーションImmersion Corporation | 電子デバイスにおける触覚帯域を増加するためのシステム及び方法 |
US8731214B2 (en) * | 2009-12-15 | 2014-05-20 | Stmicroelectronics International N.V. | Noise removal system |
US9058728B2 (en) * | 2010-11-05 | 2015-06-16 | Georgia Tech Research Corporation | Haptic systems, devices, and methods using transmission of pressure through a flexible medium |
CN102064832B (zh) * | 2010-11-11 | 2013-09-18 | 广东欧珀移动通信有限公司 | 一种随音乐变化振动效果的实现方法 |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
KR101121785B1 (ko) * | 2011-10-05 | 2012-03-09 | (주)이미지스테크놀로지 | 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법 |
JP6541292B2 (ja) | 2012-02-15 | 2019-07-10 | イマージョン コーポレーションImmersion Corporation | プリミティブを用いた高解像度ハプティック効果生成 |
US9715276B2 (en) | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US8860563B2 (en) | 2012-06-14 | 2014-10-14 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
US9092059B2 (en) | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US8754757B1 (en) | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
KR101666393B1 (ko) * | 2013-03-27 | 2016-10-14 | 한국전자통신연구원 | 음향효과를 이용한 촉각효과 재생 장치 및 방법 |
US9898085B2 (en) | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9443401B2 (en) | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US10599218B2 (en) | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
-
2013
- 2013-03-13 US US13/799,059 patent/US9368005B2/en active Active
- 2013-07-23 EP EP13177690.8A patent/EP2703951B1/en active Active
- 2013-08-19 CN CN201810715868.8A patent/CN108845673B/zh active Active
- 2013-08-19 CN CN201810716736.7A patent/CN108874144B/zh active Active
- 2013-08-19 CN CN201310359903.4A patent/CN103677249B/zh active Active
- 2013-08-27 KR KR1020130101714A patent/KR20140030053A/ko active IP Right Grant
- 2013-08-30 JP JP2013179476A patent/JP6250985B2/ja active Active
-
2016
- 2016-05-12 US US15/152,699 patent/US9818271B2/en active Active
-
2017
- 2017-10-20 US US15/789,250 patent/US10339772B2/en active Active
- 2017-11-24 JP JP2017226188A patent/JP2018037106A/ja not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0144774A2 (en) * | 1983-11-07 | 1985-06-19 | Navot Technology Ltd. | Audiotactile communication system |
US6422941B1 (en) * | 1994-09-21 | 2002-07-23 | Craig Thorner | Universal tactile feedback system for computer video games and simulations |
CN1599925A (zh) * | 2001-10-09 | 2005-03-23 | 伊默逊股份有限公司 | 基于计算机设备的音频输出的触觉反馈感觉 |
CN101421707A (zh) * | 2006-04-13 | 2009-04-29 | 伊默生公司 | 从数字音频信号自动产生触觉事件的系统和方法 |
CN102272702A (zh) * | 2008-11-04 | 2011-12-07 | 拜尔材料科学股份公司 | 用于触觉反馈装置的电活性聚合物换能器 |
CN102349041A (zh) * | 2009-03-12 | 2012-02-08 | 伊梅森公司 | 用于摩擦显示和附加触觉效果的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103677249A (zh) | 2014-03-26 |
KR20140030053A (ko) | 2014-03-11 |
CN108845673B (zh) | 2021-06-22 |
CN103677249B (zh) | 2018-07-31 |
US9818271B2 (en) | 2017-11-14 |
CN108845673A (zh) | 2018-11-20 |
US9368005B2 (en) | 2016-06-14 |
US20160260298A1 (en) | 2016-09-08 |
EP2703951B1 (en) | 2021-09-22 |
EP2703951A2 (en) | 2014-03-05 |
CN108874144A (zh) | 2018-11-23 |
JP2014049139A (ja) | 2014-03-17 |
JP6250985B2 (ja) | 2017-12-20 |
EP2703951A3 (en) | 2014-10-08 |
US20140064516A1 (en) | 2014-03-06 |
US10339772B2 (en) | 2019-07-02 |
JP2018037106A (ja) | 2018-03-08 |
US20180040211A1 (en) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108874144B (zh) | 使用映射的声音-触觉效应转换系统 | |
US10467870B2 (en) | Sound to haptic effect conversion system using multiple actuators | |
US10395488B2 (en) | Systems and methods for generating haptic effects associated with an envelope in audio signals | |
US10276004B2 (en) | Systems and methods for generating haptic effects associated with transitions in audio signals | |
US9448626B2 (en) | Sound to haptic effect conversion system using amplitude value | |
CN108762506B (zh) | 独立于流的声音到触觉效应转换系统 | |
KR20130086590A (ko) | 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템 | |
EP3674849A1 (en) | Haptic effect signal processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |