CN102750957A - 利用振幅值的声音到触觉效应转换系统 - Google Patents

利用振幅值的声音到触觉效应转换系统 Download PDF

Info

Publication number
CN102750957A
CN102750957A CN2012101311776A CN201210131177A CN102750957A CN 102750957 A CN102750957 A CN 102750957A CN 2012101311776 A CN2012101311776 A CN 2012101311776A CN 201210131177 A CN201210131177 A CN 201210131177A CN 102750957 A CN102750957 A CN 102750957A
Authority
CN
China
Prior art keywords
frame
haptic
maximal value
sense
frequency content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101311776A
Other languages
English (en)
Other versions
CN102750957B (zh
Inventor
J·M·克鲁兹-埃尔南德斯
H·T·提蒙
J·H·F·劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN102750957A publication Critical patent/CN102750957A/zh
Application granted granted Critical
Publication of CN102750957B publication Critical patent/CN102750957B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开涉及利用振幅值的声音到触觉效应转换系统。提供一种触觉转换系统，其截取音频数据的帧，例如数字音频信号，将帧转换为触觉信号，并通过致动器播放该生成的触觉信号来产生触觉效应。该触觉信号基于每个音频数据帧的最大值，其定义该触觉信号的振幅。该触觉信号被应用到配置为接收该触觉信号的致动器，其中该致动器利用该触觉信号来产生一个或多个触觉效应。

Description

利用振幅值的声音到触觉效应转换系统
相关申请的交叉引用
本申请要求2011年2月11日提交的序列号为No.61/441,792的美国临时专利申请为优先权，在此通过引用并入其全部公开内容。
技术领域
实施例一般指向一种设备，且更具体地，指向一种生成触觉效应的设备。
背景技术
触觉是一种通过向用户应用触觉反馈效应(即，“触觉效应”)，例如力、振动、以及运动，利用用户触摸感觉的触觉压力反馈技术。例如移动设备、触摸屏设备、以及个人计算机的设备，可以被配置为产生触觉效应。通常，能够产生触觉效应(例如致动器)的、到嵌入式硬件的调用能够在设备的操作系统(“OS”)中被编程。这些调用指定插放(play)哪个触觉效应。例如，当用户通过使用，例如按钮、触屏、杠杆、操纵杆、滚轮、或其他一些控制与设备进行交互时，设备的OS会经由控制电路发送播放命令给嵌入式硬件。该嵌入式硬件然后生成合适的触觉效应。
这种设备还可以被配置为播放音频数据，例如数字音频信号。例如，这种设备可以包括配置为播放视频数据的应用程序，例如电影或视频游戏，其包含音频部分或音频数据，例如歌曲。类似于触觉，能够产生音频效应(例如扬声器)的、到另外的嵌入式硬件的调用能够在设备的OS中被编程。因此，设备的OS能经由控制电路发送播放命令给另外的嵌入式硬件，其中另外的嵌入式硬件接着生成适当的听觉效应。
发明内容
一个实施例指向一种将音频信号转换成一个或多个触觉效应的系统。该系统接收该音频信号的数据帧。该系统进一步产生该数据帧的最大值。该系统基于该最大值进一步产生触觉信号，其中该最大值定义该触觉信号的振幅。该系统进一步发送该触觉信号到致动器来产生一个或多个触觉效应。
附图说明
更多的实施例、细节、优点、以及修改将从下面优选实施例的详细描述中变得明白，其将结合附图来考虑。
图1示出了根据本发明实施例的触觉转换系统的方框图。
图2示出了根据本发明实施例的触觉转换系统的结构图。
图3示出了根据本发明实施例，由触觉转换系统执行的功能(functionality)的流程图。
图4示出了根据本发明实施例，被应用来控制输出值范围的一线性转换函数。
图5示出了根据本发明实施例，基于数字音频信号产生的触觉效应的振幅的示例计算。
图6示出了根据本发明实施例，数字音频信号的包络的示例计算。
图7示出了根据本发明实施例，基于频率含量(frequency content)的数字音频信号的包络的示例计算。
图8示出了根据本发明实施例，触觉转换模块的功能性流程图。
具体实施方式
一个实施例是能够截取一个或多个帧音频数据的触觉转换(conversion)系统，例如数字音频信号，将一个或多个帧转换为触觉信号，并通过致动器播放该生成的触觉信号来产生一个或多个触觉效应。该触觉信号可以包括单独控制参数。该触觉信号可以应用于一种配置为接收单独控制参数的类型的致动器，其中该致动器能够利用单独控制参数来产生一个或多个触觉效应。
图1示出了根据本发明实施例的触觉转换系统10的方框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为该移动设备提供触觉转换功能。尽管示出为一个单独的系统，但系统10的功能性可以作为分布式系统来执行。系统10包括总线12或用于通信信息的其他通信机制，以及耦合于总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用或专用目的的处理器。系统10进一步包括用于存储信息和指令以被处理器22执行的存储器14。存储器14可以包括：随机存取存储器(“RAM”)、只读存储器(“ROM”)、静态存储器例如磁盘或光盘、或任何其他类型的计算机可读介质的任何组合。
计算机可读介质可以是任何可获得的介质，其能被处理器22访问并可以包括易失性和非易失性介质、可移动和不可移动介质、通信介质，以及存储介质。通信介质可以包括计算机可读指令、数据指令、程序模块或调制数据信号中的其他数据，例如载波或其他传输机制，并且可以包括本领域公知的任何其他形式的信息传输介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、移动磁盘、光盘只读存储器(“CD-ROM”)、或本领域公知的任何其他形式的存储介质。
在实施例中，存储器14存储软件模块，其在被处理器22执行时提供功能。在实施例中，该模块包括为系统10提供操作系统功能性的操作系统15，以及移动设备的剩余部分。该模块进一步包括触觉转换模块16，将音频信号转换为用来产生一个或多个触觉效应的触觉信号，下文将更详细地描述。在某些实施例中，触觉转换模块16包括多个模块，其中每一个提供专用各个功能，用于将音频信号转换为用来产生一个或多个触觉效应的触觉信号。系统10将典型地包括一个或多个另外的应用模块18以包括另外的其他的功能性，例如Immersion公司的
Figure BSA00000710086400031
触觉开发平台。
在实施例中，系统10从远程源发送和/或接收数据，其进一步包括例如网络接口卡的通信设备20，以提供移动的无线网络通信，例如红外的、射频的、Wi-Fi、蜂窝网络、或其他下一代无线数据网络通信。在其他实施例中，通信设备20提供一种有线的网络连接，例如以太网连接或调制解调器。
处理器22进一步经由总线12耦合到显示器24，例如液晶显示器(“LCD”)，用于为用户显示图形表示或用户接口。显示器24可以是一种触摸敏感输入设备，例如触摸屏，其被配置为发送和接收来自处理器22的信号，并且可以是多触摸的触摸屏。
系统10进一步包括一个或多个致动器26。处理器22可以传送触觉效应相关的触觉信号到致动器26，其进而输出触觉效应。致动器26可以是，例如，电子马达、电磁致动器、音圈、形状记忆合金、电活性的聚合物、螺线管、质量偏心旋转电机(“ERM”)、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、或超声波振动产生器。
在一些实施例中，系统10进一步包括一个或多个扬声器28。处理器22可以传送音频信号给扬声器28，其进而输出音频效应。扬声器28可以是，例如，动态喇叭、电动喇叭、压电扬声器、磁致伸缩喇叭、静电扬声器、带及平面磁喇叭、弯曲波喇叭、平板喇叭、海尔气动式喇叭、等离子弧扬声器、以及数字式音箱。
图2示出了根据本发明一实施例的一种触觉转换系统的结构图。在该示出的实施例中，触觉转换系统包括音频轨道模块210和扬声器220。音频轨道模块210是用于设备(例如移动设备)的操作系统塻块，其配置为接收一个或多个脉冲编码调制(“PCM”)音频缓冲，并使一个或多个PCM音频缓冲流向扬声器220，其中每个PCM音频缓冲包括一个或多个PCM音频数据帧。在一个实施例中，音频轨道模块210是用于移动设备的
Figure BSA00000710086400041
操作系统的一种Android音频轨道模块。扬声器220是一种配置为接收一个或多个PCM音频缓冲并配置为输出一个或多个音频效应的扬声器。扬声器220可以是，例如，动态喇叭、电动喇叭、压电扬声器、磁致伸缩喇叭、静电扬声器、带及平面磁喇叭、弯曲波喇叭、平板喇叭、带状空气运动变频器、等离子弧扬声器、以及数字式音箱。
根据该实施例，触觉转换系统还包括触觉转换模块230。在某些实施例中，触觉转换模块230和图1中的触觉转换模块16相同。在该示出的实施例中，触觉转换模块230包括两个模块：混响(reverb)模块231和内置扬声器(boombox)模块232。然而，这仅仅是一个示例性实施例，并且在可选实施例中，触觉转换模块230可以包括任何数量的子模块，或者触觉转换模块230可以是单个模块。
根据实施例，混响模块231配置为截取一个或多个由音频轨道模块210流向扬声器220的音频缓冲(buffer)。混响模块231进一步配置为发送每个音频缓冲的每个音频数据帧到内置扬声器模块232。内置扬声器模块232配置为分析每个音频数据帧并为每个音频数据帧计算最大值。由内置扬声器模块232执行对每个音频数据帧的最大值计算，并关于图4-7进一步更加详细地描述。内置扬声器模块232进一步配置为将每个音频数据帧的最大值返回给混响模块231。
触觉转换系统还包括触觉效应播放模块240和致动器250。触觉效应播放模块240是嵌入在设备(例如移动设备)中的模块，并被配置为通过发送一个或多个触觉信号到致动器，而在致动器上播放一个或多个触觉效应。在一个实施例中，触觉效应播放模块240是Immersion公司的TouchSense
Figure BSA00000710086400051
致动器250是配置为接收一个或多个触觉信号，并且为输出一个或多个触觉效应的致动器。在某些实施例中，致动器250是配置为接收单独控制参数(例如振幅参数)的致动器，该单独控制参数用于当通过致动器播放时控制周期性效应的振幅。致动器250可以是，例如电马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、ERM、或LRA。
根据实施例，混响模块231配置为利用由内置扬声器模块232返回的音频数据帧的最大值来生成触觉信号，其中触觉信号是一种周期性效应，并且其中最大值定义该触觉信号的振幅。在某些实施例中，该触觉信号为在致动器250谐振频率的周期性效应。混响模块231进一步配置为调用触觉效应播放模块240的应用程序接口(“API”)并将音频数据帧的最大值作为API的参数发送到触觉效应播放模块240。在某些实施例中，触觉效应播放模块240的API是Immersion公司的TouchSense
Figure BSA00000710086400052
的“播放周期性效应”API。触觉效应播放模块240的API发送该音频数据帧的最大值到致动器250，其中该致动器250配置为基于该音频数据帧的最大值播放适当的周期性效应。根据实施例，该音频数据帧的最大值用作致动器250的振幅参数，并且致动器250的振幅参数的变化在致动器250内播放适当的周期性效应。通过播放周期性效应，致动器250产生触觉效应。
图3示出了根据本发明实施例，由触觉转换系统执行的功能流程图。在一个实施例中，图3的功能以及图8的功能，都是由存储在存储器或其他计算机可读或有形介质中的软件来实施，并由处理器执行。在其他实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)、等)，或硬件和软件的任何组合来执行。此外，在可选实施例中，该功能可以利用模拟元件由硬件来执行。
根据实施例，触觉转换系统包括操作系统300，混响模块301，以及内置扬声器模块302。操作系统300是设备(例如移动设备)的操作系统。在例示的实施例中，操作系统300是用于移动设备的操作系统。混响模块301和内置扬声器模块302是触觉转换模块(例如图1中的触觉转换模块16)的子模块。在某些实施例中，混响模块301和内置扬声器模块302分别与图2中的混响模块231和内置扬声器模块232相同。
根据实施例，在305，生成配置为产生音频信号的应用。该应用是能够在操作系统300内部执行的任何应用。在例示的实施例中，该应用是应用。流程进行到310。在310，由应用生成“声音池”对象，其中声音池对象是声音池API的一个实例(其是一种
Figure BSA00000710086400063
并且其中，声音池对象为应用程序管理并播放音频资源。声音池对象包括音频样本的采集，其能被从设备内存储的资源或者从设备的文件系统内存储的文件载入设备的存储器中。该声音池对象能将音频样本的采集解码为原始16位PCM单声道或立体声缓冲。流程进行到315。在315，应用生成其他音频对象，其中其他音频对象是其他音频API的实例。其他音频对象还能够将音频样本解码为16位PCM音频缓冲。流程进行到320。在320，音频轨道对象是由声音池对象或其他音频对象之一生成的。音频轨道对象配置为接收一个或多个PCM音频缓冲并流出一个或多个PCM音频缓冲。
流程进行到325。在325，生成混响对象。混响对象是混响模块301的一个实例，其中混响对象配置为处理由音频轨道对象发送的PCM音频缓冲的一个或多个音频数据帧，如之前关于图2所描述的。流程进行到330。在330，混响对象的一个或多个设置被设定。混响设置的例子包括：激活/不激活触觉转换、激活/不激活用于媒体的触觉转换、从三个选项(例如，轻的、中度的、强的)中选择触觉转换的强度，以及选择为其激活触觉转换的一个或多个应用(例如，从列表中)。在某些实施例中，上述设置以可扩展标示语言(“XML”)文件被保存。上述设置能够从XML文件中读取并被保存在混响对象中，在那里混响对象能够为某些应用而激活，不为其他应用所激活。在某些实施例中，三个值被标识为强度、密度，以及锐度，是基于三个因素：(1)强度设置(例如，轻的、中度的、强的)、(2)触觉主题(将用户接口事件映射到触觉效应)、以及(3)致动器类型。强度、密度、和锐度值可以被生成并被保存在混响对象中。流程进行到335，在335，内置扬声器对象是由混响对象产生的。内置扬声器对象是内置扬声器模块302的实例，其中该内置扬声器对象配置为从混响对象接收音频数据帧，生成该音频数据帧的最大值，并发送该音频数据帧的最大值给混响模块，如之前关于图2所描述的。在某些实施例中，所生成并被保存在混响对象中的强度和密度值还可以被保存在内置扬声器对象中。
流程进行到340。在340，混响对象将从音频轨道对象接收的PCM音频缓冲的音频数据帧，发送到内置扬声器对象。流程进行到345。在345，内置扬声器对象采样包含在音频数据帧中的数据。关于图4-7进一步更加详细地描述这种采样。流程进行到350。在350，内置扬声器对象将音频数据帧中包含的数据转变为单个电压值(即，最大值)。这种转变还进一步关于图4-7更加详细地描述。内置扬声器对象接着返回该单个电压值给混响对象。流程进行到355。在355，混响对象在单个电压值上执行振幅过滤。这种振幅过滤还将关于图4-7进一步更加详细地描述。在某些实施例中，产生并被存储在混响对象中的锐度值用于执行单个电压值上的振幅过滤。流程进行到360。在360，混响对象利用该单个电压值在致动器处播放周期性效应。通过在致动器处播放该周期性效应，混响对象使得该致动器产生触觉效应。
如前所述，触觉转换模块(例如图1的触觉转换模块16)处理包含在PCM音频数据缓冲内的音频信号。同样如前所述，音频信号的处理包括采样PCM音频数据缓冲的每个音频数据帧，为PCM音频数据缓冲的每个音数据帧计算最大值，以及振幅过滤。现在更加详细地描述音频信号的这种处理。
根据某些实施例，音频信号的包络被首次提取。可以利用原始音频信号或原始音频信号的过滤版本的所有频率来提取包络。然而，包络本身不具有和原始音频信号相同的频率含量。
在一个实施例中，音频数据帧从音频信号中得到。作为例子，音频数据帧可以具有1ms的帧长。作为另一个例子，音频数据帧可以具有10ms的帧长。1ms音频数据帧捕获频率大于500Hz的包络，但是较低的频率未被捕获，并且“泄漏”通过。10ms帧捕获频率大于50Hz的包络等。在一个实施例中，帧中每个样本的绝对值被计算。在一可选实施例中，计算帧中每个样本的平方，而不是绝对值。这种处理构成了触觉转换模块(例如图1的触觉转换模块16)执行的音频数据帧的采样。
计算绝对样本值(或可选实施例中的平方样本值)的最大值“V1”。然后利用线性转换函数转换最大值“V1”，如下面关于图4描述的。
图4示出了根据本发明的实施例，用来控制输出值范围的一线性转换功能。根据实施例，线性转换函数400可以被用来控制输出值“V1”的范围来获取新的值“V2”，如图4所示。根据示出的实施例，“x0”可以在给定的范围内变化，例如[2...20]。“x0”定义将被转换为新的值“V2”的最小值“V1”。“ymax”可以在给定的范围内变化，例如例子[60...255]。“ymax”定义最大转换值“V2”。如果“V1”小于或等于“x0”，则输出值“V2”等于0。如果“V1”大于“x0”，则输出值“V2”由“V1”乘以函数的斜率得到。“V2”是收紧的(clamp)并且不会大于“Vmax”。在可选实施例中，还可以采用较为普遍的利用(x0，y0)和(x1，ymax)的映射。这种处理构成了由触觉转换模块(例如图1中的触觉转换模块16)执行的音频数据帧的最大值计算。
因此，根据实施例，音频信号的包络被映射到触觉信号的振幅，其中该触觉信号的振幅被过滤。在可选实施例中，该音频信号的包络被首次过滤，并且接着该音频信号的过滤包络被映射到触觉信号的振幅。
现在更详细地描述由触觉转换模块(例如图1的触觉转换模块)执行的振幅过滤。触觉效应的振幅(或强度)“V3”是利用之前的值“V2”来计算的。在某些实施例中，“V3”可以被映射到一种频率。在其他实施例中，“V3”可以被映射到一组频率值。如果迭代“i”的“V2”小于迭代“i-1”的“V2”，那么输出“V3”可以被设置为零或者其他一些小的值，否则输出保持不变(“V3”＝“V2”)。这种特殊的技术可以捕获由表示触觉事件的信号的峰值，并自动地关联触觉事件独立的触觉效应。这种技术还可以被用来在下一个触觉事件播放之前平息致动器，这样就避免过度地给用户太多的触觉信息。在一可选实施例中，可以用到平滑衰减，而不是锐减到0，当迭代“i”的“V2”小于迭代“i-1”的“V2”时。“锐度”参数的范围从0％到100％，可以用来定义衰减的数量，将其应用于“V2”∶V3＝V2×锐度/m，这里“m”是从1开始的整数，并且只要迭代“i”的“V2”小于迭代“i-1”的“V2”则递增。根据实施例，当迭代“i”的“V2”大于或等于迭代“i-1”的“V2”，或换句话说，当“V3”＝“V2”时，“m”被重置为1。在某些实施例中，在混响对象中生成并保存的锐度值被用作为锐度参数。
图5示出了根据本发明一实施例，基于数字音频信号生成的一触觉效应振幅的示例计算500。图5示出了在44100Hz采样的音频信号510，计算的最大值520用于20ms帧长，以及由振幅过滤获得的脉冲530。根据实施例，脉冲530捕获音频信号510的包络，并且因此，脉冲530可以通过一个或多个触觉效应将这个信息传递给用户。
图6示出了根据本发明实施例的数字音频信号的包络的示例计算600。图6示出了音频信号610、通过低通过滤音频信号610的绝对值而获得的包络620、以及计算在特定帧，在本例中为20ms的最大值绝对值的包络值630。
每个特定ms波期的帧都在频率域中被处理。因此，在某些实施例中，帧的快速傅里叶变换(FFT)可以用来提取频率含量。在其他实施例中，带通过滤器可以用来提取频率含量。
在实施例中，帧信息可以划分为低音或低频率(例如，小于200Hz)，中频(例如，介于240Hz和4000KHz之间)，以及高频(例如，大于4400KHz)，其中频率含量和高频率含量均利用信号的含量被提取。
图7示出了根据本发明实施例，基于频率含量的数字音频信号包络的示例计算700。根据实施例，一旦音频数据帧如前所述地被处理，则获得最大值。实际上，三个最大值被获得，一个用于低频波段，一个用于中频波段，一个用于高频波段。如图7中所示出的，图表710表示未被处理的最大值(基于全部音频信号)，图表720表示对应于音频信号低频范围的最大值，图表730表示对应于音频信号中频范围的最大值，以及图表740表示对应于音频信号高频范围的最大值。
根据实施例，当信号开始被处理时，第一帧包含较多的中频率含量(即，图表730)，考虑到获得的最大值大于低频波段(即，图表720)和高频波段(即，图表740)中的频率值。
根据实施例，当帧的含量频率不同于之前帧的频率含量时，播放触觉效应。如图7中所示出的，触觉效应将在箭头701-707指示的位置处被播放。
在可选实施例中，这类技术的变形可以包括：在具有如下振幅的每个频率变化处播放脉冲：未被处理的帧的最大振幅；对应于频率波段的最大振幅；在TouchSense软件中所允许的仅用于第一帧的最大振幅。
在某些可选实施例中，如果接下来的帧具有相同的频率含量，那么：该未被处理帧的振幅可以被播放或已处理帧的振幅可以被播放；或恒定振动(可能是小的)只要帧具有相同的频率含量就可以被播放；或者基于频率波段中的功率含量来改变振幅。
在某些可选实施例中，当发现具有不同频率含量的帧时可以播放不同的触觉效应。
此外，人类对于声音的理解不是线性的，而是依赖于声音的频率。更特别地，人类对于低频比对高频更敏感。性别和年龄也影响理解。因此，在某些实施例中，可能存在增强特定频率的补偿因子。增强因子可以基于人类对声音的理解或者甚至在一些频率波段被人为提高时的用户选择。通常，软件可以提高高频率含量，其中已知用户对声音具有较低的敏感度。这将允许对于特定波段的触觉效应变得更强，并且因此提高虽然被用户的听觉系统所感知和注意到、但可能没有足够的功率的声音。
在某些实施例中，触觉转换系统的用户可以定制声音-触觉效应转换算法。更特别地，用户可以选择是否利用低通过滤器、高通过滤器、或带通过滤器来过滤数字音频信号。可选地，或除了定制过滤器类型，用户可以指定过滤器参数而不是在预定参数之间选择。根据这些实施例，触觉转换系统可以显示图形用户接口内的一个或多个用户定义的参数。利用该图形用户接口，用户可以接着从一个或多个用户定义的参数中选择或者指定一个或多个用户定义的参数。例如，用户可以从低通过滤器、带通过滤器、高通过滤器中选择声音-触觉效应转换算法中利用的过滤器类型。作为另一个示例，用户能够指定一个或多个截止频率，其中代替250和500Hz之间的值，用户可以指定任何值。仍然作为另一个示例，用户可以指定声音-触觉效应转换算法中使用的增益。
在某些实施例中，不使用系统定义的过滤器参数，而是触觉转换系统可以基于用户定义的参数计算运行时的过滤器参数。更特别地，用户可以选择过滤器类型。例如，用户可以选择Butterworth设计、Bessel设计、或者Chebyshev设计，其中对于每个设计，用户可以选择低通过滤器、高通过滤器、带通过滤器、或带阻过滤器。如果用户选择Chebyshev设计，用户还可以指定脉动(ripple)。用户还可以指定过滤器顺序以及采样率。如果用户选择低通过滤器或高通过滤器，用户还可以指定拐点频率，并且如果用户选择带通过滤器或带阻过滤器，用户还可以指定两个拐点频率。用户还可以选择可选的附加零值，以及可选的振幅比例下限。此外，用户还可以选择过滤器是否由双线性变换方法设计，或由匹配的z变换方法设计。触觉转换系统能够基于用户指定的参数计算运行时的一个或多个过滤器参数。
图8示出了根据本发明实施例，触觉转换模块(例如图1的触觉转换模块16)的功能性流程图。在810，接收音频信号的数据帧。在某些实施例中，当音频信号流向扬声器时，音频信号被截取。而且，在某些实施例中，音频信号是PCM音频缓冲。流程进行到820。
在820，生成数据帧的最大值。在某些实施例中，通过采样数据帧来产生数据帧的一个或多个样本值以生成最大值，其中该最大值是一个或多个样本值的最大值。在实施例中，该一个或多个样本值是绝对值。在可选实施例中，该一个或多个样本值是平方值。在某些实施例中，该最大值是利用线性转换函数从原始的最大值特换的。流程进行到830。
在830，基于该最大值产生触觉信号。在某些实施例中，最大值定义该触觉信号的振幅。同样在某些实施例中，过滤该触觉信号的振幅。另外，在某些过滤触觉信号振幅的实施例中，锐度参数被用来定义应用于该触觉信号振幅衰减的量。流程进行到840。
在840，触觉信号通过致动器被发送以产生一个或多个触觉效应。在某些实施例中，触觉信号是周期性的效应。同样，在某些实施例中，产生和发送该触觉信号进一步包括将该最大值作为参数传送给触觉效应播放模块的应用编程接口。
因此，根据实施例，触觉转换系统截取作为音频信号一部分的音频数据帧，将该音频数据帧转换为触觉信号，其中每个音频数据帧的最大值定义该触觉信号的振幅，并且通过致动器播放该被转换的触觉信号来产生触觉效应。基于定义触觉信号振幅的最大值，通过致动器播放的触觉信号的强度可以非常强，由此生成充分定义的触觉效应。
贯穿说明书描述的本发明的功能、结构、或特征可以以任何适合的方式在一个或多个实施例中被组合。例如，使用“一个实施例，”“一些实施例，”“特定实施例，”“某些实施例”或其它类型的语言，贯穿说明书是指如下的事实，结合实施例描述的特定的功能、结构、或特征可以被包括在本发明的至少一个实施例中。因此，出现的语句“一个实施例，”“一些实施例，”“特定实施例，”“某些实施例”或其他类似的语言，贯穿本说明书不必都指代同一组实施例，并且描述的功能、结构、或特征可以以任何适合的方式在一个或多个实施例中被组合。
本领域普通技术人员容易理解，以上讨论的本发明可以通过不同顺序的步骤，和/或不同于那些已经被公开的配置中的元件来实施。因此，尽管已经基于这些优选实施例描述了本发明，但是显然对本领域技术人员而言某些修改、变化、以及可选的结构是明显的，同时仍在本发明的主旨和范围之内。因此，可以参考给出的附加的权利要求以便确定本发明的边界和范围。

Claims (21)

1.一种用于将音频信号转换为一个或多个触觉效应的方法，该方法包括：
接收该音频信号的数据帧；
产生该数据帧的最大值；
基于该最大值产生触觉信号，其中该最大值定义该触觉信号的振幅；以及
将该触觉信号发送到致动器以产生一个或多个触觉效应。
2.如权利要求1的方法，其中该触觉信号包括周期性效应。
3.如权利要求1所述的方法，进一步包括采样该数据帧以产生该数据帧的一个或多个样本值，其中该最大值是该一个或多个样本值的最大值。
4.如权利要求3所述的方法，其中该数据帧的一个或多个样本值是绝对值。
5.如权利要求1所述的方法，其中利用线性转换函数从原始的最大值转换该最大值。
6.如权利要求1所述的方法，进一步包括过滤该触觉信号的振幅。
7.如权利要求6所述的方法，其中锐度参数被用来定义要被应用于该触觉信号的该振幅的衰减量。
8.如权利要求1所述的方法，其中产生和发送该触觉信号进一步包括传送该最大值作为触觉效应执行模块的应用编程接口的一个参数。
9.如权利要求1所述的方法，进一步包括利用该数据帧的快速傅里叶变换从该数据帧提取频率含量。
10.如权利要求1所述的方法，进一步包括利用带通过滤器从该数据帧提取频率含量。
11.如权利要求1所述的方法，进一步包括：
将该数据帧划分为低频率含量、中频率含量、和高频率含量；以及
利用该数字音频信号的含量提取该中频率含量和高频率含量。
12.一种触觉转换系统，包括：
用于接收该音频信号的数据帧的装置；
用于产生该数据帧的最大值的装置，其中该最大值定义该触觉信号的振幅；
用于基于该最大值产生触觉信号的装置；以及
用于将该触觉信号发送到致动器以产生一个或多个触觉效应的装置。
13.如权利要求12所述的触觉转换系统，其中该触觉信号包括周期性效应。
14.如权利要求求12所述的触觉转换系统，进一步包括用于采样该数据帧以产生该数据帧的一个或多个样本值的装置，其中该最大值是该一个或多个样本值的最大值。
15.如权利要求14所述的触觉转换系统，其中该数据帧的一个或多个样本值是绝对值。
16.如权利要求12所述的触觉转换系统，其中利用线性转换函数从原始的最大值转换该最大值。
17.如权利要求12所述的触觉转换系统，进一步包括用于利用该数据帧的快速傅里叶变换从该数据帧提取频率含量的装置。
18.如权利要求12所述的触觉转换系统，进一步包括用于利用带通过滤器从该数据帧提取频率含量的装置。
19.如权利要求12所述的触觉转换系统，进一步包括：
用于将该数据帧划分为低频率含量、中频率含量、和高频率含量的装置；以及
用于利用该数字音频信号的含量提取该中频率含量和高频率含量的装置。
20.一种具有存储在其上的指令的计算机可读介质，当由处理器执行时，导致该处理器执行根据前述权利要求1-11中的一项的方法。
21.一种触觉转换系统，包括：
根据权利要求20的计算机可读介质；
处理器，耦合于该计算机可读介质，并配置为执行该计算机可读介质；以及
致动器，配置为输出一个或多个触觉效应。
CN201210131177.6A 2011-02-11 2012-02-10 利用振幅值的声音到触觉效应转换系统 Expired - Fee Related CN102750957B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161441792P 2011-02-11 2011-02-11
US61/441,792 2011-02-11

Publications (2)

Publication Number Publication Date
CN102750957A true CN102750957A (zh) 2012-10-24
CN102750957B CN102750957B (zh) 2016-12-14

Family

ID=46636445

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201810109498.3A Pending CN108181996A (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131186.5A Expired - Fee Related CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131177.6A Expired - Fee Related CN102750957B (zh) 2011-02-11 2012-02-10 利用振幅值的声音到触觉效应转换系统
CN201810109500.7A Expired - Fee Related CN108196683B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810109498.3A Pending CN108181996A (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131186.5A Expired - Fee Related CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810109500.7A Expired - Fee Related CN108196683B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Country Status (4)

Country Link
US (5) US8717152B2 (zh)
JP (2) JP6026751B2 (zh)
KR (4) KR102005115B1 (zh)
CN (4) CN108181996A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793048A (zh) * 2012-10-26 2014-05-14 英默森公司 独立于流的声音到触觉效应转换系统
CN103970270A (zh) * 2013-02-05 2014-08-06 英默森公司 过驱动致动器电压以生成触觉效果
CN104423592A (zh) * 2013-09-06 2015-03-18 意美森公司 用于生成与音频信号中的包络相关联的触觉效果的系统和方法
CN104423594A (zh) * 2013-09-06 2015-03-18 意美森公司 用于生成与音频信号相关联的触觉效果的系统和方法
CN106095085A (zh) * 2013-05-17 2016-11-09 意美森公司 低频效果触觉转换系统
US10140823B2 (en) 2013-09-06 2018-11-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
US10276004B2 (en) 2013-09-06 2019-04-30 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
CN110244850A (zh) * 2013-09-06 2019-09-17 意美森公司 使用分段和组合的触觉转换系统
CN110413118A (zh) * 2013-09-06 2019-11-05 意美森公司 使用频移的触觉转换系统
CN110531857A (zh) * 2013-04-09 2019-12-03 意美森公司 离线触觉转换系统
CN111966211A (zh) * 2014-03-31 2020-11-20 索尼公司 触觉再现设备、触觉再现系统和触觉再现方法
CN112083807A (zh) * 2020-09-20 2020-12-15 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
CN112669873A (zh) * 2020-12-25 2021-04-16 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
US11009956B2 (en) 2016-10-07 2021-05-18 Sony Corporation Information processing apparatus and information processing method for presentation of multiple haptic feedback channels based on sound characteristics extracted from multiple sound channels
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
US9977499B2 (en) 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
EP2901256B1 (en) * 2012-09-25 2021-02-24 Nokia Technologies Oy Method and display device with tactile feedback
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
EP2778852B1 (en) 2013-03-15 2017-05-03 Immersion Corporation Programmable haptic peripheral
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9273928B1 (en) * 2013-09-13 2016-03-01 Steven K. Uhlmann Device for cyclically operating a firearm trigger
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US20160019877A1 (en) * 2014-07-21 2016-01-21 Jesse Martin Remignanti System for networking audio effects processors, enabling bidirectional communication and storage/recall of data
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9841819B2 (en) * 2015-02-20 2017-12-12 Ultrahaptics Ip Ltd Perceptions in a haptic system
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
EP3304251B1 (en) * 2015-06-03 2023-10-11 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
US9967640B2 (en) * 2015-08-20 2018-05-08 Bodyrocks Audio Incorporation Devices, systems, and methods for vibrationally sensing audio
KR102373541B1 (ko) * 2015-08-31 2022-03-11 삼성전자주식회사 반도체 장치, 스택 반도체 장치 및 이의 테스트 방법
US10310804B2 (en) * 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
CN109688990A (zh) 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
WO2018066299A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10152296B2 (en) 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US10255825B2 (en) * 2017-04-17 2019-04-09 Facebook, Inc. Calibration of haptic device using sensor harness
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102443324B1 (ko) * 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
KR102100871B1 (ko) * 2018-08-09 2020-04-23 김정욱 음원 기반의 진동패턴 생성장치
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10852831B2 (en) * 2018-11-26 2020-12-01 Zinitix Co., Ltd. User interface device driving chip for providing improved input feedback and electronic device using the same
KR102656636B1 (ko) 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
DE112019006208T5 (de) 2018-12-12 2021-09-16 Alps Alpine Co., Ltd. Vorrichtung zur Bereitstellung einer taktilen Wahrnehmung, System zur Bereitstellung einer taktilen Wahrnehmung, Steuerverfahren und Programm
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
EP3783459A4 (en) * 2019-02-22 2021-11-10 CK Materials Lab Co., Ltd. HAPTICAL SUPPLY DEVICE AND PROCESS FOR CONVERTING SOUND SIGNAL INTO HAPTIC SIGNAL
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR20210088371A (ko) 2020-01-06 2021-07-14 주식회사 비햅틱스 촉각자극 제공 시스템
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
JP7552338B2 (ja) 2020-12-18 2024-09-18 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638B (zh) * 2022-05-12 2024-08-23 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
KR102516138B1 (ko) * 2022-10-12 2023-03-30 주식회사 비츠나인 진동 생성 방법 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6183367B1 (en) * 1997-07-16 2001-02-06 Kabushiki Kaisha Sega Enterprises Communicative game system
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5842163A (en) * 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) * 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JPH11196497A (ja) * 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
JPH11296126A (ja) 1998-04-15 1999-10-29 Iida Denshi Sekkei Kk 聴覚的情報の補助的提示方法及び聴覚的情報の補助的提示装置
KR20010111233A (ko) * 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
SE525056C2 (sv) 2003-11-26 2004-11-23 Gateway Security Ab Artikelövervakningssystem, samt sätt att detektera om ett larmtillstånd föreligger
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
TWI296787B (en) 2005-01-19 2008-05-11 Lightuning Tech Inc Storage device and method for protecting data stored therein
JP5208362B2 (ja) 2005-10-28 2013-06-12 ソニー株式会社 電子機器
EP3287874A1 (en) 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US20080084384A1 (en) 2006-10-05 2008-04-10 Immersion Corporation Multiple Mode Haptic Feedback System
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
JP2008203559A (ja) * 2007-02-20 2008-09-04 Toshiba Corp 対話装置及び方法
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP4467601B2 (ja) 2007-05-08 2010-05-26 ソニー株式会社 ビート強調装置、音声出力装置、電子機器、およびビート出力方法
JP5270118B2 (ja) 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
CN102204225B (zh) 2008-09-05 2013-12-11 Sk电信有限公司 传送振动信息的移动通信终端及其方法
CN102272702A (zh) * 2008-11-04 2011-12-07 拜尔材料科学股份公司 用于触觉反馈装置的电活性聚合物换能器
US20100141408A1 (en) 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR20110110212A (ko) 2009-01-21 2011-10-06 바이엘 머티리얼사이언스 아게 촉각 피드백 장치를 위한 전기활성 폴리머 트랜스듀서
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
JP5668076B2 (ja) 2009-11-17 2015-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイスにおける触覚帯域を増加するためのシステム及び方法
KR20120011548A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
EP3321780A1 (en) 2012-02-15 2018-05-16 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US10705610B2 (en) 2015-06-19 2020-07-07 Northwestern University Apparatus for unified audio tactile feedback
US10152296B2 (en) * 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6183367B1 (en) * 1997-07-16 2001-02-06 Kabushiki Kaisha Sega Enterprises Communicative game system
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762506B (zh) * 2012-10-26 2021-08-17 意美森公司 独立于流的声音到触觉效应转换系统
CN103793048A (zh) * 2012-10-26 2014-05-14 英默森公司 独立于流的声音到触觉效应转换系统
CN108762506A (zh) * 2012-10-26 2018-11-06 意美森公司 独立于流的声音到触觉效应转换系统
CN103793048B (zh) * 2012-10-26 2018-06-26 意美森公司 独立于流的声音到触觉效应转换系统
CN103970270B (zh) * 2013-02-05 2018-06-15 意美森公司 过驱动致动器电压以生成触觉效果
CN103970270A (zh) * 2013-02-05 2014-08-06 英默森公司 过驱动致动器电压以生成触觉效果
CN110531857A (zh) * 2013-04-09 2019-12-03 意美森公司 离线触觉转换系统
CN109375778A (zh) * 2013-05-17 2019-02-22 意美森公司 低频效果触觉转换系统
US10741189B2 (en) 2013-05-17 2020-08-11 Immersion Corporation Low-frequency effects haptic conversion system
CN106095085A (zh) * 2013-05-17 2016-11-09 意美森公司 低频效果触觉转换系统
CN106095085B (zh) * 2013-05-17 2019-06-18 意美森公司 低频效果触觉转换系统
CN110244850A (zh) * 2013-09-06 2019-09-17 意美森公司 使用分段和组合的触觉转换系统
CN110413118A (zh) * 2013-09-06 2019-11-05 意美森公司 使用频移的触觉转换系统
CN104423594B (zh) * 2013-09-06 2018-12-07 意美森公司 用于生成与音频信号相关联的触觉效果的系统和方法
US10276004B2 (en) 2013-09-06 2019-04-30 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US10140823B2 (en) 2013-09-06 2018-11-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10388122B2 (en) 2013-09-06 2019-08-20 Immerson Corporation Systems and methods for generating haptic effects associated with audio signals
US10395490B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10395488B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
US9947188B2 (en) 2013-09-06 2018-04-17 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
CN104423592A (zh) * 2013-09-06 2015-03-18 意美森公司 用于生成与音频信号中的包络相关联的触觉效果的系统和方法
CN104423594A (zh) * 2013-09-06 2015-03-18 意美森公司 用于生成与音频信号相关联的触觉效果的系统和方法
CN104423592B (zh) * 2013-09-06 2018-10-19 意美森公司 用于生成与音频信号中的包络相关联的触觉效果的系统和方法
CN111966211A (zh) * 2014-03-31 2020-11-20 索尼公司 触觉再现设备、触觉再现系统和触觉再现方法
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
US11009956B2 (en) 2016-10-07 2021-05-18 Sony Corporation Information processing apparatus and information processing method for presentation of multiple haptic feedback channels based on sound characteristics extracted from multiple sound channels
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉
CN112083807A (zh) * 2020-09-20 2020-12-15 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
CN112669873A (zh) * 2020-12-25 2021-04-16 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
CN112669873B (zh) * 2020-12-25 2024-05-03 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法

Also Published As

Publication number Publication date
US20190005782A1 (en) 2019-01-03
US10055950B2 (en) 2018-08-21
CN108196683A (zh) 2018-06-22
US20170213430A1 (en) 2017-07-27
KR102005115B1 (ko) 2019-07-29
KR20120094849A (ko) 2012-08-27
CN108196683B (zh) 2020-04-24
JP2012168947A (ja) 2012-09-06
KR101999565B1 (ko) 2019-07-15
US9064387B2 (en) 2015-06-23
JP2018139161A (ja) 2018-09-06
KR20130086590A (ko) 2013-08-02
CN103247296A (zh) 2013-08-14
KR20190084014A (ko) 2019-07-15
US20140152429A1 (en) 2014-06-05
JP6584594B2 (ja) 2019-10-02
US10431057B2 (en) 2019-10-01
CN103247296B (zh) 2018-03-06
CN102750957B (zh) 2016-12-14
US8717152B2 (en) 2014-05-06
CN108181996A (zh) 2018-06-19
KR20180084707A (ko) 2018-07-25
US20120206247A1 (en) 2012-08-16
US9606627B2 (en) 2017-03-28
US20150241975A1 (en) 2015-08-27
JP6026751B2 (ja) 2016-11-16

Similar Documents

Publication Publication Date Title
CN102750957A (zh) 利用振幅值的声音到触觉效应转换系统
US9448626B2 (en) Sound to haptic effect conversion system using amplitude value
CN103677249B (zh) 使用映射的声音-触觉效应转换系统
JP6391724B2 (ja) 波形を利用した音響−触覚効果変換システム
CN115442709B (zh) 音频处理方法、虚拟低音增强系统、设备和存储介质
CN110506425A (zh) 低音增强
CN108370467A (zh) 房间中的声音效应的控制
JP2008507934A (ja) 音声強調
CN102932710B (zh) 一种低音补偿的方法及装置
CN108154887A (zh) 一种信息处理方法、装置及终端
Berdahla et al. A physically motivated room reverberation enhancement system that is stable in any (dissipative) room: An application of sound portholes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: Immersion Corp.

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161214

Termination date: 20220210