CN103677249A - 使用映射的声音-触觉效应转换系统 - Google Patents

使用映射的声音-触觉效应转换系统 Download PDF

Info

Publication number
CN103677249A
CN103677249A CN201310359903.4A CN201310359903A CN103677249A CN 103677249 A CN103677249 A CN 103677249A CN 201310359903 A CN201310359903 A CN 201310359903A CN 103677249 A CN103677249 A CN 103677249A
Authority
CN
China
Prior art keywords
touch
frequency
sense
haptic
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310359903.4A
Other languages
English (en)
Other versions
CN103677249B (zh
Inventor
J·M·克鲁兹-埃尔南德斯
C·J·尤尔里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201810716736.7A priority Critical patent/CN108874144B/zh
Priority to CN201810715868.8A priority patent/CN108845673B/zh
Publication of CN103677249A publication Critical patent/CN103677249A/zh
Application granted granted Critical
Publication of CN103677249B publication Critical patent/CN103677249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及使用映射的声音-触觉效应转换系统。提供一种触觉转换系统，该系统截取诸如数字音频信号的音频数据，分析音频数据的频率，并且将被分析的音频数据划分成一个或多个音频频率区，其中每个音频频率区都包括一个或多个音频子信号。该触觉转换系统进一步将一个或多个音频频率区映射到一个或多个触觉频率区，其中每个触觉频率区都包括一个或多个触觉信号。该触觉转换系统进一步将一个或多个触觉效应映射到一个或多个执行器。该触觉转换系统进一步将一个或多个触觉信号发送至一个或多个执行器，以便产生一个或多个触觉效应。

Description

使用映射的声音-触觉效应转换系统
相关申请的交叉引用:
本申请要求2012年8月31日提交的美国临时专利申请系列No.61/695,614的优先权，通过引入将其公开内容并入本文。
技术领域
一个实施例一般涉及一种设备，并且更具体地，涉及一种产生触觉效应的设备。
背景技术
触觉论是一种通过将诸如力、振动和运动的触觉反馈效应（即“触觉效应”）施加给用户而对用户的接触感知加以利用的触知和力反馈技术。诸如移动设备、触摸屏设备和个人计算机的设备能够被配置成产生触觉效应。一般地，能够在设备的操作系统（“OS”）内对调用能够产生触觉效应的嵌入式硬件（诸如执行器）进行编程。这些调用规定哪个触觉效应要播放。例如，当用户与使用例如按钮、触摸屏、控制杆、游戏棒、操纵轮或一些其它控制的设备交互时，设备的OS能够通过控制电路将播放命令发送至嵌入式硬件。然后嵌入式硬件产生适当的触觉效应。
这种设备还能够被配置成播放诸如数字音频信号的音频数据。例如，这种设备能够包括被配置成播放诸如含有音频部分的电影或视频游戏的视频数据、或诸如歌曲的音频数据的应用。与触觉论类似，能够在设备的OS内对调用能够产生音频效应的附加的嵌入式硬件（诸如扬声器）进行编程。因此，设备的OS能够通过控制电路将播放命令发送至附加的嵌入式硬件，其中附加的嵌入式硬件随后产生适当的音频效应。
发明内容
一个实施例是一种将音频信号转换成一个或多个触觉效应的系统。该系统分析音频信号。该系统进一步将音频信号划分成一个或多个音频频率区，其中每个音频频率区都包括一个或多个音频子信号。该系统进一步将一个或多个音频频率区映射到一个或多个触觉频率区，其中每个音频频率区都被映射到一个或多个对应的触觉频率区，并且其中每个触觉频率区都包括一个或多个触觉信号。该系统进一步将一个或多个触觉信号发送至执行器以产生一个或多个触觉效应。
附图说明
结合附图，从优选实施例的以下详细说明，进一步的实施例、细节、优点及更改将变得清楚。
图1示出根据本发明一个实施例的触觉转换系统的框图。
图2示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将音频信号转换成一个或多个触觉信号，其被发送至执行器以便产生一个或多个触觉效应。
图3示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将音频信号划分成一个或多个音频频率区，并且将每个音频频率区都映射到触觉频率区。
图4示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将一个或多个触觉频率区映射到多个执行器中的一个执行器。
图5示出根据本发明一个实施例的触觉转换模块的功能的流程图。
具体实施方式
一个实施例是一种触觉转换系统，其能够接收诸如数字音频信号的音频数据，分析音频数据的频率，并且将被分析的音频数据划分成一个或多个音频频率区，其中每个音频频率区都包括一个或多个音频子信号。触觉转换系统能够进一步将一个或多个音频频率区映射到一个或多个触觉频率区，其中每个触觉频率区都包括一个或多个触觉信号。触觉转换系统能够进一步将一个或多个触觉效应映射到一个或多个执行器。触觉转换系统能够进一步将一个或多个触觉信号发送至一个或多个执行器，以便产生一个或多个触觉效应。
图1示出根据本发明一个实施例的触觉转换系统10的框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为移动设备提供触觉转换功能。虽然被示出为单个系统，但是系统10的功能能够被实施为分布式系统。系统10包括总线12或用于交流信息的其它通信机构，和被耦接至总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括用于储存信息和被处理器22执行的指令的存储器14。存储器14能够由随机存取存储器（“RAM”）、只读存储器（“ROM”）、诸如磁盘或光盘的静态存储器、或任何其它类型的计算机可读介质的任何组合组成。
计算机可读介质可以是能够通过处理器22存取的任何可用介质，并且可以包括易失性和非易失性介质、可拆卸和不可拆卸介质、通信介质和储存介质。通信介质可以包括计算机可读指令、数据结构、程序模块或在诸如载波或其它传送机制的被调制数据信号中的其它数据，并且可以包括本领域已知的任何其它形式的信息传递介质。储存介质可以包括RAM、闪速存储器、ROM、可擦除可编程只读存储器（“EPROM”）、电可擦除可编程只读存储器（“EEPROM”）、寄存器、硬盘、可拆卸磁盘、光盘只读存储器（“CD-ROM”）、或本领域已知的任何其它形式的储存介质。
在一个实施例中，存储器14储存在处理器22执行时提供功能的软件模块。该模块既包括为系统10提供操作系统功能的操作系统15，也包括在一个实施例中移动设备的其余部分。该模块进一步包括触觉转换模块16，其将音频信号转换成用于产生一个或多个触觉效应的一个或多个触觉信号，如下文更详细公开的那样。在某些实施例中，触觉转换模块16能够包含多个模块，其中每个模块都提供具体独特的功能，用于将音频信号转换成用于产生一个或多个触觉效应的一个或多个触觉信号。系统10将通常包括一个或多个附加的应用模块18以便包括附加的功能，诸如Immersion公司的IntegratorTM软件。
在发射和/或从远程源接收数据的实施例中，系统10进一步包括诸如网络接口卡的通信设备20，以提供诸如红外、无线电、无线上网系统（Wi-Fi）、或蜂窝网络通信的移动无线网络通信。在其它实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。
处理器22经由总线12被进一步耦接至诸如液晶显示器（“LCD”）的显示器24，以便将图形表达或用户界面显示给用户。显示器24可以是被配置成发送和从处理器22接收信号的、诸如触摸屏的触摸感应输入设备，并且可以是多点触摸触摸屏。
系统10进一步包括多个执行器26（例如，执行器26A和26B）。本领域的一名普通技术人员将易于理解在图1示出的实施例中，多个执行器26包括两个执行器（即，执行器26A和26B），但是在可选实施例中，多个执行器26能够包括任何数量的执行器。处理器22可以将与触觉效应相关的触觉信号发射至多个执行器26中的一个或多个执行器，其中一个或多个执行器中的每个执行器都继而输出触觉效应。多个执行器26中的每个执行器都可以是，例如，电动机、电磁执行器、声圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机（“ERM”）、线性谐振执行器（“LRA”）、压电执行器、高带宽执行器、电活性聚合物（“EAP”）执行器、静电摩擦显示器、或超声波振动发生器。此外，多个执行器26中的每个执行器都可以是不同的执行器类型。
在一些实施例中，系统10进一步包括一个或多个扬声器28。处理器22可以将音频信号发射至扬声器28，其继而输出音频效应。扬声器28可以是，例如，动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面的磁性扩音器、弯曲波扩音器（bending wave loudspeaker）、平板扩音器（flat panel loudspeaker）、海尔气动式传感器（heil air motion transducer）、等离子弧扬声器和数字式扩音器。
图2示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将音频信号转换成一个或多个触觉信号，其被发送至执行器以便产生一个或多个触觉效应。根据一个实施例，提供一种机构以便基于输入音频信号和/或外部数据的不同测量来调节音频到触觉转换过程的一个或多个参数。从用户的视角看，结果是其响应更有选择性的触觉体验，启动用于前景事件的振动触知反馈（诸如游戏中的碰撞、爆炸等），并且减小用于背景事件的反馈（诸如在游戏音乐或环境噪声中）或使其静音。通过在音频信号可感知的重要性质之间进行区分，音频到触觉转换过程能够防止“背景噪声”，其能够出现在既具有声音效应又具有音乐曲目的游戏、或具有显著转变但还是具有环境噪声的媒体文件中。
图2示出的实施例使用虚线示出正在被更新的触觉转换系统的参数。在一个实施例中，触觉转换系统包括音频到触觉转换过程的参数的实时更改以便通过触觉强调音频文件的某些特性，这通过实时或在离线转换期间更改触觉转换系统的波型和内置扬声器模块的参数来完成，如进一步更详细描述的那样。另外，预处理模块可以使用音频处理算法来更改音频信号本身以便增强或更改整个音频到触觉转换过程。在一个可选实施例中，音频信号能够被预处理成通过音频到触觉转换过程来实时提取适当的信息并且随后被储存回待解释的音频信号内。
根据本实施例，触觉转换系统接收音频信号200。在某些实施例中，音频信号200包括一个或多个数字音频缓冲，诸如脉冲编码调制（“PCM”）音频缓冲，其中每个PCM音频缓冲都包含一个或多个PCM音频数据帧。在其它实施例中，音频信号200包括一个或多个基于结构的音频缓冲，诸如乐器数字接口（“MIDI”）音频缓冲，其中每个MIDI音频缓冲都包含一个或多个MIDI音频数据帧。在又一些实施例中，音频信号200包括一个或多个频域音频缓冲，诸如MPEG-2音频层III（“MP3”）音频缓冲，其中每个MP3音频缓冲都包含一个或多个MP3音频数据帧。在又一些实施例中，音频信号200包括本领域普通技术人员已知的其它音频格式的一个或多个音频缓冲。在又一些实施例中，音频信号200还含有触觉信息，其能够包括用于配置转换算法的参数或其它提示。
触觉转换系统随后将音频信号200发送至预处理模块210，其对音频信号200执行任何有必要的预处理。这种预处理能够包括欠采样音频信号200。音频信号200是欠采样的一个实例情况是，其中音频信号200具有大于8千赫（“kHz”）的采样频率。这种预处理能可选地包括融合音频信号200的两个或多个通道的平均，其中音频信号200是立体声音频信号。因此，预处理模块210的目标是无论音频信号200的格式如何都确保估计器模块接收一致的信号。预处理能够基于一个或多个参数。触觉转换系统随后将音频信号200发送至估计器模块220，其对音频信号200进行分析以确定音频信号200的一个或多个音频频率区。在某些实施例中，估计器模块220能够确定若干个滤波器以用于确定音频信号200的一个或多个音频频率区。估计器模块220能够进一步调节预处理模块210的一个或多个参数，并且能够进一步调节内置扬声器模块（在图2中表示为内置扬声器模块240和241）的一个或多个参数和/或波形模块（在图2中表示为波形模块250）的一个或多个参数。触觉转换系统随后将音频信号200发送至一个或多个滤波器（在图2中表示为滤波器230、231和232），其中音频信号200被划分成一个或多个确定的音频频率区。此外，作为将音频信号200发送至一个或多个滤波器的一部分，音频信号200的每个音频频率区都由单独的滤波器产生。能够基于一个或多个参数确定一个或多个音频频率区。关于图3更详细地描述这种划分。
触觉转换系统进一步将音频信号200的某些音频频率区发送至内置扬声器模块（在图2中表示为内置扬声器模块240和241），其中内置扬声器模块计算音频信号的每个音频频率区的最大值。内置扬声器模块基于计算出的最大值进一步产生包括一个或多个触觉信号的触觉频率区，并且将音频信号200的音频频率区映射到产生的触觉频率区。触觉频率区的产生能够基于一个或多个参数。关于图3进一步更详细地描述这种映射。触觉转换系统进一步将音频信号200的其它音频频率区发送至波形模块（在图2中表示为波形模块250），其中波形模块计算音频信号200的每个音频频率区的最大值，并且基于音频信号200的音频频率区的最大值进一步计算正弦载波波形。波形模块基于计算出的最大值和计算出的正弦载波波形进一步产生包括一个或多个触觉信号的触觉频率区，并且将音频信号200的音频频率区映射到产生的触觉频率区。触觉频率区的产生能够基于一个或多个参数。关于图3还进一步更详细地描述这种映射。
一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块260，其中混频器模块260将一个或多个触觉信号组合成单个组合的触觉信号，其可以包括附加的滤波步骤以便防止信号饱和。在一个可选实施例中，考虑到每个输出执行器的频率响应、幅度和物理位置，混频器模块260还将N个输入信号映射到M个输出执行器。组合的触觉信号随后被发送至触觉效应播放器模块270，诸如Immersion公司的5000播放器模块，其中触觉效应播放器模块270被配置成通过将组合的触觉信号发送至执行器280而在执行器280处播放一个或多个触觉效应。可选地，组合的触觉信号还被储存在诸如浸没式振动源（“IVS”）触觉效应文件的触觉效应文件290内或诸如MPEG-4的标准容器格式文件中嵌入式轨道内。
图3示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将音频信号划分成一个或多个音频频率区，并且将每个音频频率区都映射到触觉频率区。根据本实施例，音频到触觉转换过程能够包括频率从音频频率区映射到触觉频率。音频内容能够进行频率分析，并且随后被划分成一个或多个音频频率区，其中每个音频频率区都包括音频内容的一个或多个音频子信号。此外，每个音频频率区都能够被映射到一个或多个触觉频率区，其中每个触觉频率区都包括一个或多个触觉信号。能够基于执行器特性（例如，如果执行器在规定的频率处确实具有足够的动态范围）、通过能够被人感知的触觉效应的特性来确定为触觉频率区选择的频率，从而使触觉频率内容易于区分，或通过音频信号本身的频率内容来确定。例如，在每个音频频率区内的功率内容都能够被提取并且用于对每个触觉频率区中的触觉内容进行量值调制。
根据本实施例，触觉转换系统接收音频信号310。在某些实施例中，音频信号310类似于图2的音频信号200。触觉转换系统随后将音频信号310发送至预处理模块320，其执行对音频信号310任何有必要的预处理。之前关于图2描述过预处理的实例。触觉转换系统随后将音频信号310发送至估计器模块330，其分析音频信号310以确定音频信号310的一个或多个音频频率区。估计器模块330随后将音频信号310划分成一个或多个确定的音频频率区（在图3中表示为音频频率区340、341和342）。此外，作为将音频信号310划分成一个或多个确定的音频频率区的一部分，音频信号310的每个音频频率区都由单独的滤波器产生。估计器模块330能够响应于被处理音频信号中的更改而更改或更新这个映射。在某些实施例中，每个音频频率区都表示含在音频信号310内的子信号的一个频率范围。例如，在音频信号310被划分成三个音频频率区的一个实施例中，第一音频频率区能够包括低频范围内的子信号，第二音频频率区能够包括中频范围内的子信号，而第三音频频率区能够包括高频范围内的子信号。这仅仅是实例数量的音频频率区，并且音频信号能够被划分成任何数量的音频频率区。
随后，一个或多个音频频率区被映射到一个或多个触觉频率区（在图3中表示为触觉频率区350、351和352）。在某些实施例中，每个触觉频率区都表示用于一个或多个触觉信号的频率范围，其基于音频信号310而产生。例如，在包括三个触觉频率区的一个实施例中，第一触觉频率区能够包括低频范围内的触觉信号，第二触觉频率区能够包括中频范围内的触觉信号，而第三触觉频率区能够包括高频范围内的触觉信号。这仅仅是实例数量的触觉频率区，并且能够有任何数量的触觉频率区。在某些实施例中，图2的滤波器230对应于图3的音频频率范围340和触觉频率范围350，图2的滤波器231对应于图3的音频频率范围341和触觉频率范围351，而图2的滤波器232对应于图3的音频频率范围342和频率范围352。
在某些实施例中，包括较低频率范围的子信号的音频频率区能够被映射到触觉频率区，其包括较低频率范围内的触觉信号。同样，在这些实施例中，包括较高频率范围内的子信号的音频频率区能够被映射到触觉频率区，其包括较高频率范围内的触觉信号。在一个实例实施例中，触觉转换系统能够将音频信号300划分成多个音频频率区，并且将每个音频频率区映射到对应的触觉频率区，如下：
音频频率区 触觉频率区
<200Hz 100Hz
在200Hz和4000Hz之间 175Hz
>4000Hz 250Hz
一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块360，其中混频器模块360将一个或多个触觉信号组合成单个组合的触觉信号。组合的触觉信号随后被发送至触觉效应播放器模块370，诸如Immersion公司的
Figure BDA0000368254840000091
5000播放器模块，其中触觉效应播放器模块370被配置成通过将组合的触觉信号发送至执行器380而在执行器380处播放一个或多个触觉效应。可选地，组合的触觉信号还被储存在诸如IVS触觉效应文件的触觉效应文件390中。
图4示出根据本发明一个实施例的触觉转换系统的框图，该触觉转换系统将一个或多个触觉频率区映射到多个执行器中的一个执行器。众所周知，人能够具有不同的辨别频率，尤其当那些频率在某个范围内是接近的。还众所周知，一些用户更喜欢由某些执行器产生的低频触觉效应，而其他用户则更喜欢由宽频带执行器产生的高频触觉效应。根据本实施例，低频响应执行器的组合（诸如ERM）能够与宽带宽执行器（诸如压电执行器）进行组合以为应用产生更丰富的触觉内容，其中因为执行器的设计的动态和频率特性，触觉内容不能由单个执行器产生，如下列表格所述：
Figure BDA0000368254840000101
由于ERM能够产生低频振动（在60和200Hz之间），但在每个频率处具有固定的量值，因此不能为输出信号产生具有低频内容和高频内容的叠加效应。另一方面，压电执行器不具有低于100Hz的动态范围，因此不能在此范围内输出有意义的触觉效应。两个执行器的组合能够给触觉效应设计者提供能够从其选择的更丰富的调色板，增强用户体验。
此外，能够产生不同算法来组合两个执行器。例如，在一个例子中，压电执行器能够用于显示游戏中的背景音乐，而ERM能够用于显示交互效应（诸如爆炸、碰撞等）。两个执行器的组合还能够用于通过组合低频内容和高频内容来产生更丰富的纹理。
根据本实施例，触觉转换系统接收音频信号410。在某些实施例中，音频信号410类似于图2的音频信号200和图3的音频信号310。触觉转换系统随后将音频信号410发送至预处理模块420，其执行对音频信号400任何有必要的预处理。之前关于图2描述过预处理的实例。预处理模块420还将音频信号410划分成多个音频区（该音频区不同于音频频率区，因为音频信号基于对应的执行器、而非音频信号的子信号的频率被划分成区），其中每个音频区都对应于多个执行器中的一个执行器（在图4中表示为执行器470、471和472）。在示出的实施例中，预处理模块420将音频信号410划分成三个音频区。然而，这仅仅是实例实施例，而预处理模块420能够将音频信号410划分成任何数量的音频区。在某些实施例中，多个执行器包括至少一个低频执行器和一个高频执行器。
根据本实施例，每个音频区都被划分成一个或多个音频频率区，其中每个音频频率区都表示用于含在对应音频区内子信号的频率范围。在示出的实施例中，第一音频区被划分成音频频率区430，第二音频区被划分成音频频率区431，而第三音频区被划分成音频频率区432。随后，对于每个音频区而言，一个或多个音频频率区被映射到一个或多个触觉频率区，其中每个触觉频率区都表示基于音频区而产生的一个或多个触觉信号的频率范围。在示出的实施例中，音频频率区430被映射到触觉频率区440，音频频率区431被映射到触觉频率区441，而音频频率区432被映射到触觉频率区442。
随后，对于每个音频区而言，一个或多个触觉频率区的一个或多个触觉信号被发送至混频器模块，其中混频器模块将一个或多个触觉信号组合成单个组合的触觉信号。在示出的实施例中，触觉频率区440的一个或多个触觉信号被发送至混频器模块450，其中混频器模块450将一个或多个触觉信号组合成第一组合的触觉信号。触觉频率区441的一个或多个触觉信号被发送至混频器模块451，其中混频器模块451将一个或多个触觉信号组合成第二组合的触觉信号。触觉频率区442的一个或多个触觉信号被发送至混频器模块452，其中混频器模块452将一个或多个触觉信号组合成第三组合的触觉信号。
每个组合的触觉信号随后被发送至触觉效应播放器模块，诸如Immersion公司的5000的播放器模块，其中每个触觉效应播放器模块都被配置成通过将各自组合的信号发送至各自的执行器而在对应的执行器处播放一个或多个触觉效应。在示出的实施例中，混频器模块450将第一组合的触觉信号发送至触觉效应播放器模块460，其中触觉效应播放器模块460被配置成通过将第一组合的触觉信号发送至执行器470而在执行器470处播放一个或多个触觉效应。混频器模块451将第二组合的触觉信号发送至触觉效应播放器模块461，其中触觉效应播放器模块461被配置成通过将第二组合的触觉信号发送至执行器471而在执行器471处播放一个或多个触觉效应。混频器模块452将第三组合的触觉信号发送至触觉效应播放器模块462，其中触觉效应播放器模块462被配置成通过将第三组合的触觉信号发送至执行器472而在执行器472处播放一个或多个触觉效应。
图5示出根据本发明一个实施例的触觉转换模块（诸如图1的触觉转换模块16）的功能的流程图。在一个实施例中，图5的功能通过储存在存储器或另一种计算机可读介质或有形介质内的软件来进行实施，并且通过处理器执行。在其它实施例中，功能可以通过硬件（例如通过使用专用集成电路（“ASIC”）、可编程序门阵列（“PGA”）、现场可编程序门阵列（“FPGA”）等）、或硬件和软件的任何组合而被执行。此外，在可选实施例中，功能可以通过使用模拟组件的硬件而被执行。
流程开始并且进行到510。在510处，音频信号得到分析。在某些实施例中，音频信号还被预处理。并且，在某些实施例中，用于将音频信号划分成一个或多个音频频率区的一个或多个参数被调节。在一些实施例中，用于预处理音频信号的一个或多个参数被调节。流程进行到520。在520处，音频信号被划分成一个或多个音频频率区，其中每个音频频率区都包括音频信号的一个或多个音频子信号。流程进行到530。在530处，一个或多个音频频率区被映射到一个或多个触觉频率区，其中每个音频频率区都被映射到一个或多个对应的触觉频率区，并且其中每个触觉频率区都包括一个或多个触觉信号。流程进行到540。在540处，一个或多个触觉频率区的一个或多个触觉信号被映射到一个或多个执行器，其中每个触觉信号被映射到一个或多个对应的执行器。一个或多个执行器能够包括至少一个低频执行器和至少一个高频执行器。流程进行到550。在550处，一个或多个触觉信号被发送至一个或多个执行器以产生一个或多个触觉效应，其中每个触觉信号都被发送至它对应的执行器。然后流程结束。在某些实施例中，诸如其中音频信号包括歌曲的一部分，流程能够为了多个音频信号而被重复，其中每个音频信号都是该歌曲单独的一部分。例如，两分钟的歌曲能被划分成多个音频信号，其中每个音频信号都是17毫秒（“ms”）的持续时间，并且流程能够为了多个音频信号中的每个音频信号而被重复。这只是一个实例，并且该歌曲能是任何持续时间，并且多个音频信号中的每个音频信号都能是任何持续时间。
因此，根据一个实施例，触觉转换系统将音频信号划分成一个或多个音频频率区，将每个音频频率区映射到一个或多个触觉频率区，并且将一个或多个触觉频率区的一个或多个触觉信号发送至一个或多个执行器以产生一个或多个触觉效应。在触觉频率区内选择的频率能够使触觉转换系统更好地利用一个或多个执行器（诸如宽带宽的执行器）的特征，并且多于一个执行器的使用能够提供更丰富的触觉体验。
贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中按照任何适当的方式进行组合。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用，贯穿本说明书指的是与实施例相结合描述的特殊的特征、结构或特性可以被包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似语言的出现，贯穿本说明书都不必指的是相同组的实施例，并且所描述的特征、结构或特性可以按照任何适当的方式结合在一个或多个实施例中。
本领域普通技术人员将易于理解，如上所述的本发明可以按照不同顺序的步骤、和/或利用不同于被公开的那些构造中的元素来实践。因此，虽然已经基于这些优选实施例描述了本发明，但是对于本领域技术人员而言，某些更改、变化及可选构造将是显而易见的，并且仍在本发明的精神和范围内。因此，为了确定本发明的界限和范围，应该参考所附的权利要求。

Claims (15)

1.一种计算机实施的方法，用于将音频信号转换成一个或多个触觉效应，所述计算机实施的方法包含：
分析所述音频信号；
将所述音频信号划分成一个或多个音频频率区，其中每个音频频率区都包含一个或多个音频子信号；
将所述一个或多个音频频率区映射到一个或多个触觉频率区，其中每个音频频率区都被映射到一个或多个对应的触觉频率区，并且其中每个触觉频率区都包含一个或多个触觉信号；并且
将所述一个或多个触觉信号发送至执行器以产生所述一个或多个触觉效应。
2.根据权利要求1所述的计算机实施的方法，进一步包含：
将所述一个或多个触觉信号映射到多个执行器，其中每个触觉信号都被映射到一个或多个对应的执行器；并且
将每个触觉信号都发送至它对应的执行器以产生所述一个或多个触觉效应。
3.根据权利要求1所述的计算机实施的方法，其中使用一个或多个滤波器将所述音频信号划分成所述一个或多个音频频率区。
4.根据权利要求1所述的计算机的实施方法，
其中为所述一个或多个音频频率区的每个音频频率区计算最大值；
其中基于所述最大值为每个音频频率区计算正弦载波波形；并且
其中基于所述最大值和所述正弦载波波形产生所述一个或多个触觉频率区的每个触觉频率区。
5.根据权利要求1所述的计算机实施的方法，其中基于所述执行器的一个或多个特性确定为所述一个或多个触觉频率区的每个触觉频率区选择的一个或多个频率。
6.根据权利要求1所述的计算机实施的方法，其中所述一个或多个音频区包含：
第一音频频率区，包含低频范围内的一个或多个音频子信号；
第二音频频率区，包含中频范围内的一个或多个音频子信号；和
第三音频频率区，包含高频范围内的一个或多个子信号。
7.根据权利要求6所述的计算机实施的方法，其中所述一个或多个触觉区包含：
第一触觉频率区，包含低频范围内的一个或多个触觉信号；
第二触觉频率区，包含中频范围内的一个或多个触觉信号；和
第三触觉频率区，包含高频范围内的一个或多个触觉信号。
8.根据权利要求1所述的计算机实施的方法，其中所述一个或多个触觉信号被组合成单个组合的触觉信号。
9.根据权利要求1所述的计算机实施的方法，进一步包含预处理所述信号。
10.根据权利要求1所述的计算机实施的方法，进一步包含调节用于将所述音频信号划分成一个或多个音频频率区的一个或多个参数。
11.一种触觉转换系统，包含：
存储器，被配置成储存触觉转换模块；
处理器，被配置成执行储存在所述存储器上的所述触觉转换模块；和
执行器，被配置成输出一个或多个触觉效应；
其中所述触觉转换模块被配置成：
分析所述音频信号；
将所述音频信号划分成一个或多个音频频率区，其中每个音频频率区都包含一个或多个音频子信号；
将所述一个或多个音频频率区映射到一个或多个触觉频率区，其中每个音频频率区都被映射到一个或多个对应的触觉频率区，并且其中每个触觉频率区都包含一个或多个触觉信号；和
将所述一个或多个触觉信号发送至执行器以产生所述一个或多个触觉效应。
12.根据权利要求11所述的触觉转换系统，进一步包含：
多个执行器，所述多个执行器中的每个执行器都被配置成输出一个或多个触觉效应；
其中所述触觉转换模块被进一步配置成：
将所述一个或多个触觉信号映射到多个执行器，其中每个触觉信号都被映射到一个或多个对应的执行器；并且
将每个触觉信号发送至它对应的执行器以产生所述一个或多个触觉效应。
13.根据权利要求11所述的触觉转换系统，其中所述一个或多个音频区包含：
第一音频频率区，包含低频范围内的一个或多个音频子信号；
第二音频频率区，包含中频范围内的一个或多个音频子信号；和
第三音频频率区，包含高频范围内的一个或多个子信号。
14.根据权利要求11所述的触觉转换系统，其中所述一个或多个触觉区包含：
第一触觉频率区，包含低频范围内的一个或多个触觉信号；
第二触觉频率区，包含中频范围内的一个或多个触觉信号；和
第三触觉频率区，包含高频范围内的一个或多个触觉信号。
15.一种具有储存在其上的指令的计算机可读介质，当被处理器执行时，使所述处理器实施根据权利要求1-10之一所述的方法。
CN201310359903.4A 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统 Active CN103677249B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810716736.7A CN108874144B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统
CN201810715868.8A CN108845673B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261695614P 2012-08-31 2012-08-31
US61/695,614 2012-08-31
US13/799,059 US9368005B2 (en) 2012-08-31 2013-03-13 Sound to haptic effect conversion system using mapping
US13/799,059 2013-03-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201810716736.7A Division CN108874144B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统
CN201810715868.8A Division CN108845673B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统

Publications (2)

Publication Number Publication Date
CN103677249A true CN103677249A (zh) 2014-03-26
CN103677249B CN103677249B (zh) 2018-07-31

Family

ID=48900763

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810715868.8A Active CN108845673B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统
CN201310359903.4A Active CN103677249B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统
CN201810716736.7A Active CN108874144B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810715868.8A Active CN108845673B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810716736.7A Active CN108874144B (zh) 2012-08-31 2013-08-19 使用映射的声音-触觉效应转换系统

Country Status (5)

Country Link
US (3) US9368005B2 (zh)
EP (1) EP2703951B1 (zh)
JP (2) JP6250985B2 (zh)
KR (1) KR20140030053A (zh)
CN (3) CN108845673B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662915A (zh) * 2014-05-09 2017-05-10 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
CN111095162A (zh) * 2017-09-18 2020-05-01 Ck高新材料有限公司 触觉装置的无线控制装置及方法
CN113498504A (zh) * 2019-02-19 2021-10-12 动运科学技术有限公司 考虑用户输入信号的触觉电机驱动方法
WO2023217224A1 (zh) * 2022-05-12 2023-11-16 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
US9946348B2 (en) 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
GB2549781B (en) * 2016-04-29 2018-12-19 Inoue Nicholas Tactile stimulation apparatus
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
EP3509549A4 (en) 2016-09-06 2020-04-01 Neosensory, Inc. METHOD AND SYSTEM FOR PROVIDING ADDITIONAL SENSORY INFORMATION TO A USER
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US10181331B2 (en) 2017-02-16 2019-01-15 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
KR102651705B1 (ko) 2017-02-23 2024-03-28 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US10657779B2 (en) 2018-06-07 2020-05-19 Lofelt Gmbh Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
JPWO2020059758A1 (ja) * 2018-09-20 2021-08-30 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
KR102273805B1 (ko) 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
EP3748474B1 (en) * 2019-06-06 2022-09-28 Goodix Technology (HK) Company Limited Audio-haptic processor, method, system and computer program product
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) * 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
CN112416477B (zh) * 2020-11-27 2022-04-26 瑞声新能源发展(常州)有限公司科教城分公司 信号转换方法、装置、计算机设备和存储介质
JP7340556B2 (ja) * 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20240017166A1 (en) * 2022-07-12 2024-01-18 Tim Hoar Systems and methods for generating real-time directional haptic output

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100350992C (zh) * 2001-10-10 2007-11-28 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理方法和设备
CN101421707A (zh) * 2006-04-13 2009-04-29 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20100066512A1 (en) * 2001-10-09 2010-03-18 Immersion Corporation Haptic Feedback Sensations Based on Audio Output From Computer Devices
US20100141606A1 (en) * 2008-12-08 2010-06-10 Samsung Electronics Co., Ltd. Method for providing haptic feedback in a touch screen

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
JPH0375694A (ja) 1989-08-17 1991-03-29 Toshiba Corp 画像着色装置
JPH0633752Y2 (ja) * 1989-11-24 1994-08-31 サンデン株式会社 振動装置
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
CN2386719Y (zh) * 1999-09-03 2000-07-12 李德启 音乐自动摇床
US7027607B2 (en) * 2000-09-22 2006-04-11 Gn Resound A/S Hearing aid with adaptive microphone matching
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
CN1868428A (zh) * 2005-05-23 2006-11-29 李刚 用触觉及视觉替代听觉的腕式聋人辨声器
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
US8525778B2 (en) * 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2012508421A (ja) 2008-11-04 2012-04-05 バイエル・マテリアルサイエンス・アクチェンゲゼルシャフト 触覚フィードバック装置のための電場応答性高分子変換器
EP2406703B1 (en) * 2009-03-12 2018-11-28 Immersion Corporation System and method for friction displays and additional haptic effects
KR101719507B1 (ko) * 2009-11-17 2017-03-24 임머숀 코퍼레이션 전자 디바이스에서 촉각 대역폭을 증가시키는 시스템들 및 방법들
US8731214B2 (en) * 2009-12-15 2014-05-20 Stmicroelectronics International N.V. Noise removal system
WO2012061840A1 (en) * 2010-11-05 2012-05-10 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
CN102064832B (zh) * 2010-11-11 2013-09-18 广东欧珀移动通信有限公司 一种随音乐变化振动效果的实现方法
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101121785B1 (ko) 2011-10-05 2012-03-09 (주)이미지스테크놀로지 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법
EP2629178B1 (en) 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066512A1 (en) * 2001-10-09 2010-03-18 Immersion Corporation Haptic Feedback Sensations Based on Audio Output From Computer Devices
CN100350992C (zh) * 2001-10-10 2007-11-28 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理方法和设备
CN101421707A (zh) * 2006-04-13 2009-04-29 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20100141606A1 (en) * 2008-12-08 2010-06-10 Samsung Electronics Co., Ltd. Method for providing haptic feedback in a touch screen

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662915A (zh) * 2014-05-09 2017-05-10 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案
CN106662915B (zh) * 2014-05-09 2020-09-29 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
CN111095162A (zh) * 2017-09-18 2020-05-01 Ck高新材料有限公司 触觉装置的无线控制装置及方法
CN111095162B (zh) * 2017-09-18 2023-08-25 Ck高新材料有限公司 触觉装置的无线控制装置及方法
CN113498504A (zh) * 2019-02-19 2021-10-12 动运科学技术有限公司 考虑用户输入信号的触觉电机驱动方法
CN113498504B (zh) * 2019-02-19 2024-06-11 动运科学技术有限公司 考虑用户输入信号的触觉电机驱动方法
WO2023217224A1 (zh) * 2022-05-12 2023-11-16 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备

Also Published As

Publication number Publication date
CN108845673B (zh) 2021-06-22
JP2018037106A (ja) 2018-03-08
CN108874144A (zh) 2018-11-23
CN103677249B (zh) 2018-07-31
US20160260298A1 (en) 2016-09-08
US20140064516A1 (en) 2014-03-06
CN108874144B (zh) 2020-06-05
US9818271B2 (en) 2017-11-14
US9368005B2 (en) 2016-06-14
JP6250985B2 (ja) 2017-12-20
EP2703951B1 (en) 2021-09-22
CN108845673A (zh) 2018-11-20
KR20140030053A (ko) 2014-03-11
EP2703951A2 (en) 2014-03-05
JP2014049139A (ja) 2014-03-17
US20180040211A1 (en) 2018-02-08
US10339772B2 (en) 2019-07-02
EP2703951A3 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
CN103677249A (zh) 使用映射的声音-触觉效应转换系统
JP6730398B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
US10276004B2 (en) Systems and methods for generating haptic effects associated with transitions in audio signals
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
CN103247296B (zh) 利用波形的声音到触觉效应转换系统
JP5746186B2 (ja) タッチ感知デバイス
CN104063056A (zh) 用于增强的触觉效果的系统和方法
WO2020176383A1 (en) Audio data with embedded tags for rendering customized haptic effects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: IMMERSION CORPORATION

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN COMPANY

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant