CN108196683B - 利用波形的声音到触觉效应转换系统 - Google Patents

利用波形的声音到触觉效应转换系统 Download PDF

Info

Publication number
CN108196683B
CN108196683B CN201810109500.7A CN201810109500A CN108196683B CN 108196683 B CN108196683 B CN 108196683B CN 201810109500 A CN201810109500 A CN 201810109500A CN 108196683 B CN108196683 B CN 108196683B
Authority
CN
China
Prior art keywords
data frame
haptic
signal
module
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810109500.7A
Other languages
English (en)
Other versions
CN108196683A (zh
Inventor
R·巴提亚
K·甘地
C·J·奥瑞奇
J·M·克鲁兹-埃尔南德斯
H·T·提蒙
J·H·F·劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN108196683A publication Critical patent/CN108196683A/zh
Application granted granted Critical
Publication of CN108196683B publication Critical patent/CN108196683B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开涉及利用波形的声音到触觉效应转换系统。提供了一种触觉转换系统，其截取音频数据的帧，例如数字音频信号，将帧转换为触觉信号，并通过致动器播放该生成的触觉信号来产生触觉效应。该触觉信号基于每个音频数据帧的最大值，其定义该触觉信号的振幅。该触觉信号被应用到配置为接收该触觉信号的致动器，该致动器利用该触觉信号来产生一个或多个触觉效应。

Description

利用波形的声音到触觉效应转换系统
本申请是申请日为2012年2月10日、申请号为201210131186.5、名称为“利用波形的声音到触觉效应转换系统”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2012年2月3日提交的序列号为No.13/366,010的美国临时专利申请为优先权，在此通过引用并入其全部公开内容。
技术领域
一种实施例一般指向一种设备，且更具体地，指向一种生成触觉效应的设备。
背景技术
触觉是一种通过向用户应用触觉反馈效应(即，“触觉效应”)，例如力、振动、以及运动，利用用户触摸感觉的触觉压力反馈技术。例如移动设备、触摸屏设备、以及个人计算机的设备，可以被配置为产生触觉效应。通常，能够产生触觉效应(例如致动器)的、到嵌入式硬件的调用能够在设备的操作系统(“OS”)中被编程。这些调用指定插放(play)哪个触觉效应。例如，当用户通过使用，例如，按钮、触摸屏、杠杆、操纵杆、滚轮、或一些其他控制与设备交互时，设备的OS会经由控制电路发送插放命令给嵌入式硬件。该嵌入式硬件然后生成合适的触觉效应。
这种设备还可以被配置为播放音频数据，例如数字音频信号。例如，这种设备可以包括配置为播放视频数据的应用程序，例如电影或视频游戏，其包含音频部分或音频数据，例如歌曲。类似于触觉，能够产生音频效应(例如扬声器)的、到另外的嵌入式硬件的调用能够在设备的OS中被编程。因此，设备的OS能经由控制电路发送播放命令给另外的嵌入式硬件，其中另外的嵌入式硬件接着生成适当的听觉效应。
发明内容
一个实施例指向一种将音频信号转换成一个或多个触觉效应的系统。该系统接收该音频信号的数据帧。该系统进一步产生该数据帧的最大值。该系统进一步变换该数据帧。该系统进一步基于该变换的数据帧的最大值产生至少一个正弦载波波形。该系统进一步混合该变换的数据帧与该至少一个正弦载波波形来产生调制数据帧。该系统进一步基于该最大值以及该调制数据帧产生触觉信号。该系统进一步发送该触觉信号到致动器来产生一个或多个触觉效应。
附图说明
更多的实施例、细节、优点、以及修改将从下面优选实施例的详细描述中变得明白，其将结合附图来考虑。
图1示出了根据本发明实施例的触觉转换系统的方框图。
图2示出了根据本发明实施例的触觉转换系统的结构图。
图3示出了根据本发明实施例，由触觉转换系统执行的功能(functionality)的流程图。
图4示出了根据本发明实施例，被应用来控制输出值范围的线性转换函数。
图5示出了根据本发明实施例，基于数字音频信号生成的触觉效应的振幅示例计算。
图6示出了根据本发明实施例，数字音频信号的包络的示例计算。
图7示出了根据本发明实施例，基于频率含量(frequency content)的数字音频信号的包络的示例计算。
图8A示出了根据本发明实施例，在数字音频信号被过滤之前数字音频信号的振幅谱的示例计算。
图8B示出了根据本发明实施例，在数字音频信号被过滤之后数字音频信号的振幅谱的示例计算。
图9示出了根据本发明实施例，触觉转换模块的功能流程图。
具体实施方式
一个实施例是能够截取一个或多个帧音频数据的触觉转换(conversion)系统，例如数字音频信号，变换(transform)该一个或多个帧，将一个或多个转换的帧转换(convert)为触觉信号，并通过致动器播放该生成的触觉信号来产生一个或多个触觉效应。该触觉信号可以包括波形，其中波形是以脉冲编码调制(“PCM”)格式的一个或多个信号值的集合。该触觉信号可以应用于一种类型的配置为接收波形的致动器，其中该致动器能够利用该波形来产生一个或多个触觉效应。
图1示出了根据本发明实施例的触觉转换系统10的方框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为该移动设备提供触觉转换功能。尽管示出为一个单独的系统，但系统10的功能可以作为分布式系统来实现。系统10包括总线12或用于通信信息的其他通信机制，以及耦合于总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用或专用目的的处理器。系统10进一步包括用于存储由处理器22执行的信息和指令的存储器14。存储器14可以包括：随机存取存储器(“RAM”)、只读存储器(“ROM”)、静态存储器例如磁盘或光盘、或任何其他类型的计算机可读介质的任何组合。
计算机可读介质可以是任何可获得的介质，其能被处理器22访问并可以包括易失性和非易失性介质、可移动和不可移动介质、通信介质、以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据，例如载波或其他传输机制，并且可以包括本领域公知的任何其他形式的信息传递介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、移动磁盘、光盘只读存储器(“CD-ROM”)、或本领域公知的任何其他形式的存储介质。
在实施例中，存储器14存储软件模块，其在被处理器22执行时提供功能。在实施例中，该模块包括为系统10提供操作系统功能性的操作系统15，以及移动设备的剩余部分。该模块进一步包括触觉转换模块16，其将音频信号转换为用来产生一个或多个触觉效应的触觉信号，下文将更详细描述。在某些实施例中，触觉转换模块16包括多个模块，其中每一个提供专用各个功能，用于将音频信号转换为用来产生一个或多个触觉效应的触觉信号。系统10将典型地包括一个或多个另外的应用程序模块18以包括另外其他的功能，例如Immersion公司的
Figure BDA0001568762700000031
触觉开发平台。
在实施例中，系统10从远程源发送和/或接收数据，其进一步包括例如网络接口卡的通信设备20，以提供移动无线的网络通信，例如红外的、射频的、Wi-Fi、蜂窝网络、或其他下一代无线数据网络通信。在其他实施例中，通信设备20提供一种有线的网络连接，例如以太网连接或调制解调器。
处理器22进一步经由总线12耦合到显示器24，例如液晶显示器(“LCD”)，用于为用户显示图形表示或用户接口。显示器24可以是一种触摸敏感输入设备，例如触摸屏，其被配置为发送和接收来自处理器22的信号，并且可以是多触摸的触摸屏。
系统10进一步包括一个或多个致动器26。处理器22可以传送触觉效应相关的触觉信号到致动器26，其进而输出触觉效应。致动器26可以是，例如，电子马达、电磁致动器、音圈、形状记忆合金、电活性的聚合物、螺线管、质量偏心旋转电机(“ERM”)、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、或超声波振动产生器。
在一些实施例中，系统10进一步包括一个或多个扬声器28。处理器22可以传送音频信号给扬声器28，其进而输出音频效应。扬声器28可以是，例如，动态喇叭、电动喇叭、压电扬声器、磁致伸缩喇叭、静电扬声器、带及平面磁喇叭、弯曲波喇叭、平板喇叭、海尔气动式喇叭、等离子弧扬声器、以及数字式音箱。
图2示出了根据本发明实施例的触觉转换系统的结构图。在该示出的实施例中，触觉转换系统包括音频轨道模块210和扬声器220。音频轨道模块210是用于设备(例如移动设备)的操作系统模块，其配置为接收一个或多个PCM音频缓冲，并使一个或多个PCM音频缓冲流向扬声器220，其中每个PCM音频缓冲包括一个或多个PCM音频数据帧。在一个实施例中，音频轨道模块210是用于移动设备的
Figure BDA0001568762700000041
操作系统的一种Android音频轨道模块。扬声器220是一种配置为接收一个或多个PCM音频缓冲并配置为输出一个或多个音频效应的扬声器。扬声器220可以是，例如，动态喇叭、电动喇叭、压电扬声器、磁致伸缩喇叭、静电扬声器、带及平面磁喇叭、弯曲波喇叭、平板喇叭、海尔气动式喇叭、等离子弧扬声器、以及数字式音箱。
根据该实施例，触觉转换系统还包括触觉转换模块230。在某些实施例中，触觉转换模块230和图1中的触觉转换模块16相同。在该示出的实施例中，触觉转换模块230包括三个子模块：混响(reverb)模块231、内置扬声器(boombox)模块232、以及带通过滤器233。然而，这仅仅是一个示例性实施例，并且在可选实施例中，触觉转换模块230可以包括任何数量的子模块，或者触觉转换模块230可以是单个模块。
根据实施例，混响模块231配置为截取一个或多个由音频轨道模块210流向扬声器220的音频缓冲(buffer)。混响模块231进一步配置为发送每个音频缓冲的每个音频数据帧到内置扬声器模块232。内置扬声器模块232配置为分析每个音频数据帧并为每个音频数据帧计算最大值。由内置扬声器模块232执行对每个音频数据帧最大值的计算，并关于图4-7进一步更加详细地描述。内置扬声器模块232进一步配置为将每个音频数据帧的最大值返回给混响模块231。
内置扬声器模块232进一步配置为发送每个音频缓冲的每个音频数据帧给带通过滤器233。带通过滤器233配置为带通过滤每个音频缓冲的每个音频数据帧。通过带通过滤每个音频数据帧，带通过滤器233可以过滤给定音频缓冲器中任何指定范围的频率信号的一个或更多频率波段(例如，0-500Hz范围内的频率信号的单独频率波段)。因此，这个频率范围内的所有信号都可以被提取来生成仅这些信号的新的音频缓冲。由这种过滤产生的效应是“低音增强
(bass-boost)”或者“超低音(subwoofer)”类型的信号。带通过滤器233进一步配置为返回每个带通过滤的音频数据帧给内置扬声器模块232。在可选实施例中，带通过滤器233不是一种过滤器，而是一种变换模块(例如，数字信号处理器(“DSP”)处理、状态机、或其他类型的编程逻辑块)。在这些可选实施例中，变换模块可以将接收的音频数据帧变换为一种新的音频数据帧，其中变换不一定是一种过滤变换。
内置扬声器模块232被进一步配置，对于每个带通过滤的音频数据帧，基于被带通过滤的音频数据帧的最大值产生正弦波周期载波频率(还可以称为“正弦载波波形”)。产生该正弦波周期载波频率将关于图3进一步详细描述。在可选实施例中，内置扬声器模块232可被进一步配置为产生多个正弦波周期频率。对于每个被带通过滤的音频数据帧，内置扬声器模块232进一步配置为将产生的正弦波周期载波频率添加到被带通过滤的音频数据帧(也被称为混合该产生的正弦波周期载波频率与被带通过滤的音频数据帧)，由此调制被带通过滤的音频数据帧。内置扬声器模块232被进一步配置为返回每个被调制的音频数据帧给混响模块231。
触觉转换系统还包括触觉效应播放模块240和致动器250。触觉效应播放模块240是一种嵌入在设备(例如移动设备)中的模块，并被配置为通过发送一个或多个触觉信号到致动器，而在致动器播放一个或多个触觉效应。在一个实施例中，触觉效应播放模块240是Immersion公司的TouchSense
Figure BDA0001568762700000061
致动器250是一种配置为接收一个或多个触觉信号，并且配置为输出一个或多个触觉效应的致动器。在某些实施例中，致动器250是一种配置为接收波形的致动器，其中当经由致动器播放时，该波形被用来控制波形效应的振幅和精度。致动器250可以是，例如，压电致动器、高带宽致动器、或者EAP致动器。
根据实施例，混响模块231配置为确定每个音频数据帧的每个最大值是否大于特定阈值。当音频数据帧的最大值大于该特定阈值时，混响模块231配置为调用触觉效应播放模块240的应用程序接口(“API”)并将相应的调制音频数据帧作为API的参数，发送给触觉效应播放模块240。当音频数据帧的最大值不大于特定阈值时，混响模块231配置为忽略该音频数据帧，并且不发送相应的调制音频数据帧给触觉效应播放模块240。在某些实施例中，触觉效应播放模块240的API是Immersion公司的TouchSense
Figure BDA0001568762700000062
的“ImmVibeAppendWaveformEffect”API。在其他实施例中，API可以是“ImmViberPlayMagSweepEffect”或者“ImmVibePlayPeriodicEffect”。触觉效应播放模块240的API发送该调制音频数据帧到致动器250，其中致动器250配置为基于该调制音频数据帧播放恰当的波形。根据实施例，该调制音频数据帧用作为由致动器250播放的波形，其中波形包括加强除了周期触觉信号之外的一个或多个频率波段，并且其中调制音频数据帧能够控制由致动器250播放的波形精度。通过播放波形，致动器250产生触觉效应。
图3示出了根据本发明实施例，由触觉转换系统执行的功能的流程图。在实施例中，图3的功能以及图9的功能，都是由存储在存储器或其他计算机可读或有形介质中的软件来实施，并由处理器执行。在其他实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)，等)、或硬件和软件的任何组合来执行。此外，在可选实施例中，该功能可以利用模拟元件由硬件来执行。
根据实施例，触觉转换系统包括一个操作系统300、混响模块301、以及内置扬声器模块302、以及无穷脉冲响应(“IIR”)过滤器303。操作系统300是设备(例如移动设备)的操作系统。在例示的实施例中，操作系统300是用于移动设备的
Figure BDA0001568762700000071
操作系统。混响模块301、内置扬声器模块302、以及IIR过滤器303是触觉转换模块(例如图1中的触觉转换模块16)的子模块。在某些实施例中，混响模块301、内置扬声器模块302、以及IIR过滤器303分别与图2中的混响模块231、内置扬声器模块232、以及带通过滤器233相同。
根据实施例，在305，生成配置为生成音频信号的应用。该应用是能够在操作系统300内部执行的任何应用。在例示的实施例中，该应用是
Figure BDA0001568762700000072
应用。流程进行到310。在310，由应用生成“声音池”对象，其中声音池对象是声音池API的一个实例(其是
Figure BDA0001568762700000073
)，并且其中，声音池对象为应用管理并播放音频资源。声音池对象可以包括音频样本的采集，其能被从设备内存储的资源或者从设备的文件系统内存储的文件载入设备的存储器中。该声音池对象能将音频样本的采集解码为原始16位PCM单声道或立体声缓冲。流程进行到315。在315，应用生成其他音频对象，其中其他音频对象是其他音频API的实例。其他音频对象还能够将音频样本解码为16位PCM音频缓冲。流程进行到320。在320，音频轨道对象是由声音池对象或其他音频对象之一生成的。音频轨道对象配置为接收一个或多个PCM音频缓冲并流出该一个或多个PCM音频缓冲。
流程进行到325。在325，生成混响对象。混响对象是混响模块301的一个实例，其中混响对象配置为处理由音频轨道对象发送的PCM音频缓冲的一个或多个音频数据帧，如之前关于图2所描述的。流程进行到330。在330，混响对象的一个或多个设置被设定。混响设置的例子包括：激活/不激活触觉转换、激活/不激活用于媒体的触觉转换、从三个选项(例如，轻的、中度的、强的)中选择触觉转换的强度，以及选择为其激活触觉转换的一个或多个应用(例如，从列表中)。在某些实施例中，上述设置以可扩展标示语言(“XML”)文件被保存。上述设置能够从XML文件中读取并被保存在混响对象中，其中混响对象能够为某些应用程序而激活，并不为其他应用程序激活。在某些实施例中，三个值被标识为强度、密度，以及锐度，是基于三个因素：(1)强度设置(例如，轻的、中度的、强的)、(2)触觉主题(将用户接口事件映射到触觉效应)、以及(3)致动器类型。强度、密度和锐度值可以被生成并被保存在混响对象中。流程进行到335。在335，内置扬声器对象由混响对象生成。内置扬声器对象是内置扬声器模块302的实例，其中该内置扬声器对象配置为从混响对象接收音频数据帧，生成该音频数据帧的最大值，发送该音频数据帧的最大值给混响对象，发送该音频数据帧给IIR过滤器303以被过滤，生成正弦波周期载波频率，并混合该生成的正弦波周期载波频率与该过滤的音频数据帧，如之前关于图2所描述的。在某些实施例中，所生成并被保存在混响对象中的强度和密度值还可以被保存在内置扬声器对象中。
流程进行到340。在340，混响对象将从音频轨道对象接收的PCM音频缓冲的音频数据帧，发送到内置扬声器对象。流程进行到345。在345，内置扬声器对象采样包含在音频数据帧中的数据。关于图4-7进一步更加详细地描述这种采样。流程进行到350。在350，内置扬声器对象将音频数据帧中包含的数据转变为单独的电压值(即，最大值)。这种转变还将关于图4-7进一步更加详细地描述。该内置扬声器对象接着返回该单独的电压值给混响对象。
流程进行到355。在355，混响对象执行阈值(thresholding)任务。更特别地，混响对象确定从内置扬声器对象接收的音频数据帧的最大值是否大于指定阈值。该返回的最大值首先被线性映射到压力值，在一个实施例中它可以在0和10000之间变化。例如，阈值可以被指定为1000。在这个例子中，如果压力值大于1000，那么该音频数据帧被写到音频缓冲，并被随后发送给致动器。如果压力值小于或等于1000，那么该音频数据帧被“丢弃”(即，不写到音频缓冲)，并且随后不发送到致动器。因此，根据该实施例，不是每个音频数据帧都需要在致动器播放。流程进行到360。在360，混响对象从音频缓冲读取音频数据帧，假设该音频数据帧没有在355被“丢弃”。
流程进行到365。在365，混响对象发送存储在音频数据缓冲内的音频数据帧给内置扬声器对象。流程进行到370。在370，内置扬声器对象重复采样音频数据帧，例如，8KHz单音频。内置扬声器对象随后发送被再采样的音频数据帧给IIR过滤器303。流程进行到375。在375，IIR过滤器303低通过滤所接收的音频数据帧，例如，在500Hz。在例子中，通过低通过滤音频数据帧，IIR过滤器303过滤音频数据帧内低频信号的单频波段(例如，0-500Hz)。IIR过滤器303随后返回该被低通过滤的音频数据帧给内置扬声器对象。在可选实施例中，IIR过滤器303不是一种过滤器，而是一种变换模块(例如DSP处理、状态机，或其他类型的编程逻辑)。在这些可选实施例中，变换模块可以将接收的音频数据帧变换为一种新的音频数据帧，其中变换不一定是一种过滤变换。
流程进行到380。在380，内置扬声器对象增强(boost)过滤的音频数据帧中所包含的音频数据信号。增强音频数据信号包括常量乘以音频数据信号的所有PCM值。流程进行到385。在385，内置扬声器对象在致动器谐振频率或任何想要的其他频率上生成正弦载波波形(也被标识为“正弦波周期载波频率”或“正弦波”)，并混合该正弦载波波形与被过滤的音频数据帧内所包含的音频数据信号。更特别地，内置扬声器对象关于最大值(即，振幅)扫描被过滤的音频数据帧，标识为A。接着，内置扬声器对象利用正弦函数(例如C++编程语言sin()函数)来利用公式val＝sin(2*pi*frequency*phase)取回被过滤的音频数据帧的被计算的正弦值，其中frequency是被过滤的音频数据帧的频率，以及phase是过滤的音频数据帧的相位。随后，内置扬声器对象将被计算的正弦值(即，val)乘以过滤的音频帧的最大值或振幅(即，A)。这种计算生成完整的正弦载波波形。内置扬声器对象接着计算混合值，其中混合值表示被过滤的音频数据帧和整个正弦载波波形的混合。更特别地，内置扬声器根据公式final＝(mix*bpSample)+((1-mix)*(A*val))对象计算该混合值，其中final是表示被过滤的音频数据帧与整个正弦载波波形的混合的混合值，bpSample是被过滤的音频数据帧，mix是介于0和1之间的小数值，A是过滤的音频帧的最大值或振幅，以及val是整个正弦载波波形被计算的正弦值。因此，根据实施例，被过滤的音频数据帧和整个正弦载波波形的混合通过确保表示被过滤的音频数据帧和整个正弦载波波形(即，final)的混合值永远不会大于1，而被标准化。可替换地，如果仅仅将被过滤的音频数据帧(即，bpSample)加上被过滤的音频帧(即，A)的最大值或振幅和整个正弦载波波形(即，val)计算得到的正弦值结果乘积，那么该结果得到强的、不希望的、并且嘈杂的触觉信号。这可以通过标准化被过滤的音频数据帧和整个正弦载波波形来避免，如上所述。内置扬声器对象然后将被过滤的音频数据帧和整个正弦载波波形的混合返回给混响对象。在其他实施例中，多个同时载波信号(以不同频率)可以用来生成高带宽输出信号。在这些实施例中，利用这里提供的算法扩展来执行单个载波的总和。
流程进行到390。在390，混响对象在致动器利用被过滤的音频数据帧和整个正弦载波波形的混合来播放波形效应。通过在致动器播放波形效应，混响对象使致动器产生触觉效应。
如前所述，触觉转换模块(例如图1的触觉转换模块16)处理包含在PCM音频数据缓冲内的音频信号。同样如前所述，音频信号的处理包括采用PCM音频数据缓冲的每个音频数据帧，为PCM音频数据缓冲的每个音频数据帧计算最大值，以及振幅过滤。现在更加详细地描述音频信号的这种处理。
根据某些实施例，音频信号的包络首先被提取。可以利用原始音频信号或原始音频信号的过滤版本的所有频率来提取包络。然而，包络本身不具有和原始音频信号相同的频率含量。
在实施例中，音频数据帧从音频信号中得到。作为例子，音频数据帧可以具有1ms的帧长。作为另一个例子，音频数据帧可以具有10ms的帧长。1ms音频数据帧捕获频率大于500Hz的包络，但是不捕获较低的频率，并且“泄漏”通过。10ms帧捕获频率大于50Hz的包络等。在一个实施例中，帧中每个样本的绝对值被计算。在可选实施例中，计算帧中每个样本的平方，而不是绝对值。这种处理构成了由触觉转换模块(例如图1中的触觉转换模块16)执行的音频数据帧采样。
绝对样本值(或可选实施例中的平方样本值)的最大值“V1”被计算。然后利用线性转换函数转换最大值“V1”，如下面关于图4描述的。
图4示出了根据本发明的实施例的用来控制输出值范围的线性转换功能400。根据实施例，线性转换函数400可以被用来控制输出值“V1”的范围来获取新的值“V2”，如图4所示。根据示出的实施例，“x0”可以在给定的范围内变化，例如[2...20]。“x0”定义将被转换为新的值“V2”的最小值“V1”。“ymax”可以在给定的范围内变化，例如例子[60...255]。“ymax”定义最大被转换值“V2”。如果“V1”小于或等于“x0”，则输出值“V2”等于0。如果“V1”大于“x0”，则输出值“V2”由“V1”乘以函数的斜率得到。“V2”是收紧的(clamp)并且不会大于“Vmax”。在可选实施例中，还可以采用使用了(x0，y0)和(x1，ymax)的较为普遍的映射。这种处理构成了由触觉转换模块(例如图1中的触觉转换模块16)执行的音频数据帧的最大值计算。
因此，根据实施例，音频信号的包络被映射到触觉信号的振幅，其中该触觉信号的振幅被过滤。在可选实施例中，该音频信号的包络首先被过滤，并且接着该音频信号的被过滤包络被映射到触觉信号的振幅。
现在更详细地描述由触觉转换模块(例如图1的触觉转换模块)执行的振幅过滤。触觉效应的振幅(或强度)“V3”是利用之前的值“V2”来计算的。在某些实施例中，“V3”可以被映射到一种频率。在其他实施例中，“V3”可以被映射到一组频率值。如果迭代“i”的“V2”小于迭代“i-1”的“V2”，那么输出“V3”可以被设置为零或者其他一些小的值，或者输出保持不变(“V3”＝“V2”)。这种特殊的技术可以捕获表示触觉事件的信号峰值，并自动地将独立的触觉效应关联到触觉事件。这种技术还可以被用来在下一个触觉事件播放之前平息致动器，并且因此避免过度地给用户太多的触觉信息。在可选实施例中，当迭代“i”的“V2”小于迭代“i-1”的“V2”时，可以使用平滑衰减，而不是锐减到0。参数“锐度”，范围从0％到100％，其可以用来定义衰减的数量，将其应用于“V2”：V3＝V2×锐度/m，这里“m”是从1开始的整数，并且只要迭代“i”的“V2”小于迭代“i-1”的“V2”则递增。根据实施例，当迭代“i”的“V2”大于或等于迭代“i-1”的“V2”，或换句话说，当“V3”＝“V2”时，“m”被重置为1。在某些实施例中，在混响对象中产生并保存的锐度值被用作为锐度参数。
图5示出了根据本发明实施例的基于数字音频信号生成的触觉效应的振幅的示例计算500。图5示出了在44100Hz采样的音频信号510，为20ms帧长计算的最大值520，以及由振幅过滤获得的脉冲530。根据实施例，脉冲530捕获音频信号510的包络，并且因此，脉冲530可以通过一个或多个触觉效应将这个信息传递给用户。
图6示出了根据本发明实施例的数字音频信号的包络的示例计算600。图6示出了音频信号610，通过低通过滤音频信号610的绝对值获得的包络620，以及计算在特定帧，在本例中为20ms的最大值绝对值的包络值630。
每个特定ms周期的帧都在频域中被处理。因此，在某些实施例中，帧的快速傅里叶变换(FFT)可以用来提取频谱。在其他实施例中，带通过滤器可以用来提取频谱。
在实施例中，帧信息可以划分为低音或低频率(例如，小于200Hz)，中频(例如，介于240Hz和4000KHz之间)，以及高频(例如，大于4400KHz)，其中频含量和高频含量均利用信号的含量被提取。
图7示出了根据本发明实施例的基于频率含量的数字音频信号的包络的示例计算700。根据实施例，一旦音频数据帧如前所述地被处理，则获得最大值。实际上，三个最大值被获得，一个用于低频波段，一个用于中频波段以及一个用于高频波段。如图7所示出的，图表710表示未被处理的最大值(基于全部音频信号)，图表720表示对应于音频信号的低频范围的最大值，图表730表示对应于音频信号中频范围的最大值，以及图表740表示对应于音频信号高频范围的最大值。
根据实施例，当信号开始被处理时，第一帧包含较多的中频含量(即，图表730)，考虑到获得的最大值大于低频波段(即，图表720)和高频波段(即，图表740)中的频率值。
根据实施例，当帧的频率含量不同于之前帧的频率含量时，可以播放触觉效应。如图7中所示出的，触觉效应将在箭头701-707指示的位置处被播放。
在可选实施例中，这类技术的变形可以包括：在具有如下振幅的每个频率变化处播放脉冲：未被处理的帧的最大振幅；对应于频率波段的最大振幅；在TouchSense软件中所允许的仅用于第一帧的最大振幅。
在某些可选实施例中，如果下面的帧具有相同的频率含量，那么：该未被处理的帧的振幅可以被播放；或已被处理的帧的振幅可以被播放；或恒定振动(可能是小的)只要帧具有相同的频率含量就能被播放；或者基于频率波段中的功率含量来改变振幅。
在某些可选实施例中，当发现具有不同频率含量的帧时可以播放不同的触觉效应。
此外，人类对于声音的理解不是线性的，而是依赖于声音的频率。更特别地，人类对于低频比对高频更敏感。性别和年龄也影响理解。因此，在某些实施例中，可能存在增强特定频率的补偿因子。增强因子可以基于人类对声音的理解或者甚至在一些频率波段被人为提高时的用户选择。通常，软件可以提高高频含量，其中已知用户对声音具有较低的敏感度。这将允许对于特定波段的触觉效应变得更强，并且因此提高虽然被用户的听觉系统所感知和注意到、但可能没有足够的功率的声音。
图8A示出了根据本发明实施例的在数字音频信号已经被过滤之前数字音频信号的振幅谱计算示例800。在计算示例800中，沿着x轴表示数字音频信号的频率，并且沿着y轴表示在数字音频信号的每个频率处功率的绝对值。如图8A所示，为所有频率表示一些振幅的功率。
图8B示出了根据本发明实施例的在数字音频信号已经被过滤之后数字音频信号的振幅谱的计算示例810。如前所述，数字音频信号可以在给定音频缓冲中以低频信号的单独频率波段来过滤(例如，0-500Hz)。类似于计算示例800，沿着x轴表示数字音频信号的频率，沿着y轴表示数字音频信号的振幅的绝对值。然而，如图8B所示，振幅仅仅表示低频信号的单独被过滤的频率波段(即，0-500Hz)。
在某些实施例中，触觉转换系统的用户可以定制声音-触觉效应转换系统。更特别地，用户可以选择是否利用低通过滤器、高通过滤器、或带通过滤器来过滤数字音频信号。可选地，除了定制过滤器类型，用户可以指定过滤器参数而不是在预定参数之间选择。根据这些实施例，触觉转换系统可以显示图形用户接口内的一个或多个用户定义的参数。利用该图形用户接口，用户可以接着从一个或多个用户定义的参数中选择或者指定一个或多个用户定义的参数。例如，用户可以从低通过滤器、带通过滤器、高通过滤器中选择声音-触觉效应转换算法中利用的过滤器类型。作为另一个示例，用户能够指定一个或多个截止频率，其中代替250和500Hz之间的值，用户可以指定任何值。仍然作为另一个示例，用户可以指定声音-触觉效应转换算法中使用的增益。
在某些实施例中，不使用预先定义的过滤器参数，而是触觉转换系统可以基于用户定义的参数计算运行时的过滤器参数。更特别地，用户可以选择过滤器类型。例如，用户可以选择Butterworth设计、Bessel设计、或者Chebyshev设计，其中对于每个设计，用户可以选择低通过滤器、高通过滤器、带通过滤器、或带阻过滤器。如果用户选择Chebyshev设计，用户还可以指定脉动(ripple)。用户还可以指定过滤器顺序以及采样率。如果用户选择低通过滤器或高通过滤器，用户还可以指定拐点频率，并且如果用户选择带通过滤器或带阻过滤器，则用户可以选择两个拐点频率。用户还可以选择可选的附加零值，以及可选的振幅比例下限。此外，用户还可以选择过滤器是否由双线性变换方法设计，或由匹配的z变换方法设计。触觉转换系统能够基于用户指定的参数计算运行时的一个或多个过滤器参数。
图9示出了根据本发明实施例的触觉转换模块(例如图1的触觉转换模块16)的功能性流程图。在910，接收音频信号的数据帧。在某些实施例中，当音频信号流向扬声器时，音频信号被截取。而且，在某些实施例中，音频信号是PCM音频缓冲。流程进行到920。
在920，生成数据帧的最大值。在某些实施例中，通过采样数据帧来产生数据帧的一个或多个样本值以产生最大值，其中该最大值是一个或多个样本值的最大值。在一个实施例中，该一个或多个样本值是绝对值。在一个可选实施例中，该一个或多个样本值是平方值。在某些实施例中，该最大值是利用线性转换函数从原始的最大值转换的。流程进行到930。
在930，数据帧被变换。在某些实施例中，利用带通过滤器带通过滤数据帧。在这些实施例中，数据帧中频率信号的单独频率波段被过滤。在可选实施例中，利用IIR过滤器低通过滤数据帧。在这些实施例中，数据帧中的频率信号的单独频率波段被过滤。例如，波段0-500Hz可以被过滤。在某些实施例中，在数据帧被变换之前，数据帧被再采样。在某些实施例中，在数据帧被变换之后，含有数据帧的数字音频信号被增强。流程进行到940。
在940，基于被变换的数据帧的最大值产生至少一个正弦载波波形。在某些实施例中，被变换的数据帧被扫描，以及被转换的数据帧的最大值被确定。接着，基于被变换的数据帧的频率，用正弦函数取回被变换的数据帧的计算出的正弦值，以及被变换的数据帧的相位。随后，计算出的正弦值乘以被变换的数据帧的最大值，从而生成至少一个正弦载波波形。
在950，该被变换的数据帧与至少一个正弦载波波形混合以产生调制数据帧。在某些实施例中，根据公式该被变换的数据帧与至少一个正弦载波波形混合，其中被变换的数据帧和至少一个正弦载波波形的混合被标准化(normalized)。
在960，基于最大值和调制数据帧产生触觉信号。在某些实施例中，最大值确定是否产生该触觉信号，并且该调制数据帧定义触觉信号的精度。在某些实施例中，其中最大值确定是否产生该触觉信号，这时仅当最大值大于指定阈值时产生该触觉信号。流程进行到970。
在970，通过致动器发送触觉信号来产生一个或多个触觉效应。在某些实施例中，触觉信号是波形效应。同样，在某些实施例中，产生和发送触觉信号进一步包括将调制数据帧作为参数传送给触觉效应播放模块的应用编程接口。
因此，根据实施例，触觉转换系统截取作为音频信号一部分的音频数据帧，将音频数据帧转换为触觉信号，其中每个音频数据帧的最大值定义正弦波周期载波频率，其与每个被过滤的音频数据帧混合来定义触觉信号的波形，并且通过致动器播放被转换的触觉信号来产生触觉效应。由触觉转换系统执行的对每个音频数据帧的调制显现出存在致动器自身中的大量的精度以及真实感受，并且导致在致动器处播放的触觉信号更加灵活。
贯穿说明书描述的本发明的功能、结构、或特征可以以任何适合的方式在一个或多个实施例中被组合。例如，使用一个“实施例，”“一些实施例，”“特定实施例，”“某些实施例”或其它类型的语言，贯穿说明书是指如下的事实，结合实施例描述的特定的功能、结构、或特征可以被包括在本发明的至少一个实施例中。因此，出现的语句“一个实施例，”“一些实施例，”“特定实施例，”“某些实施例”或其他类似的语言，贯穿本说明书不必都指代同一组实施例，并且描述的功能、结构、或特征可以以任何适合的方式在一个或多个实施例中被组合。
本领域普通技术人员容易理解，以上讨论的本发明可以通过不同顺序的步骤，和/或不同于那些已经被公开的配置中的元件来实施。因此，尽管已经基于这些优选实施例描述了本发明，但是显然对本领域技术人员而言某些修改、变化、以及可选的结构是明显的，同时仍在本发明的主旨和范围之内。因此，可以参考给出的附加的权利要求以便确定本发明的边界和范围。

Claims (41)

1.一种其上存储有指令的计算机可读介质，所述指令在由处理器执行时使所述处理器将音频信号转换为一个或多个触觉效应，所述转换包括：
接收所述音频信号的数据帧；
产生所述数据帧的最大幅值；
变换所述数据帧；
根据经变换的数据帧的最大幅值产生至少一个正弦载波波形；
混合经变换的数据帧与所述至少一个正弦载波波形以产生调制数据帧；
基于所述调制数据帧和所述数据帧的最大幅值产生触觉信号，其中所述数据帧的最大幅值确定是否产生所述触觉信号；以及
将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
2.如权利要求1所述的计算机可读介质，其中，所述调制数据帧定义所述触觉信号的波形。
3.如权利要求2所述的计算机可读介质，其中，仅当所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
4.如权利要求1所述的计算机可读介质，其中，变换所述数据帧包括对所述数据帧进行带通滤波。
5.如权利要求1所述的计算机可读介质，其中，变换所述数据帧包括对所述数据帧进行低通滤波。
6.如权利要求1所述的计算机可读介质，所述转换还包括在变换所述数据帧之前对所述数据帧进行再采样。
7.如权利要求1所述的计算机可读介质，所述转换还包括在变换所述数据帧之后增强所述数据帧内包含的所述音频信号。
8.如权利要求1所述的计算机可读介质，所述产生至少一个正弦载波波形还包括：基于所述经变换的数据帧的频率和所述经变换的数据帧的相位来计算所述经变换的数据帧的正弦值；以及将计算出的正弦值乘以所述经变换的数据帧的最大幅值。
9.如权利要求1所述的计算机可读介质，其中，所述经变换的数据帧与所述至少一个正弦载波波形根据公式进行混合，在所述公式中所述经变换的数据帧与所述至少一个正弦载波波形的混合被标准化。
10.如权利要求1所述的计算机可读介质，所述转换还包括：将所述数据帧划分为低频含量、中频含量和高频含量；以及提取所述中频含量和高频含量。
11.一种用于将音频信号转换为一个或多个触觉效应的计算机实现的方法，所述计算机实现的方法包括：
接收所述音频信号的数据帧；
产生所述数据帧的最大幅值；
变换所述数据帧；
根据经变换的数据帧的最大幅值产生至少一个正弦载波波形；
混合经变换的数据帧与所述至少一个正弦载波波形以产生调制数据帧；
基于所述调制数据帧和所述数据帧的最大幅值产生触觉信号，其中所述数据帧的最大幅值确定是否产生所述触觉信号；以及
将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
12.如权利要求11所述的计算机实现的方法，其中，所述调制数据帧定义所述触觉信号的波形。
13.如权利要求12所述的计算机实现的方法，其中，仅当所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
14.如权利要求11所述的计算机实现的方法，其中，变换所述数据帧包括对所述数据帧进行带通滤波。
15.如权利要求11所述的计算机实现的方法，还包括使用所述数据帧的快速傅里叶变换从所述数据帧提取频率含量。
16.如权利要求11所述的计算机实现的方法，还包括：将所述数据帧划分为低频含量、中频含量和高频含量；以及提取所述中频含量和高频含量。
17.一种触觉转换系统，包括：
存储器，被配置为存储触觉转换模块，其中，所述触觉转换模块包括混响模块、内置扬声器模块和变换模块；
处理器，被配置为执行存储在所述存储器上的所述触觉转换模块；和
致动器，被配置为输出一个或多个触觉效应；
其中所述混响模块被配置为接收音频信号的数据帧；
其中所述内置扬声器模块被配置为产生所述数据帧的最大幅值；
其中所述变换模块被配置为变换所述数据帧；
其中所述内置扬声器模块还被配置为根据经变换的数据帧的最大幅值产生至少一个正弦载波波形；
其中所述内置扬声器模块还被配置为混合所述经变换的数据帧与所述至少一个正弦载波波形以产生调制数据帧；
其中所述混响模块还被配置为基于所述调制数据帧和所述数据帧的最大幅值来产生触觉信号，其中所述数据帧的最大幅值确定是否产生所述触觉信号；以及
其中所述混响模块还被配置为将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
18.如权利要求17所述的触觉转换系统，其中，所述调制数据帧定义所述触觉信号的波形。
19.如权利要求18所述的触觉转换系统，其中，所述混响模块还被配置为仅当所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
20.如权利要求17所述的触觉转换系统，其中，所述变换模块还包括被配置为对所述数据帧进行带通滤波的带通滤波器。
21.如权利要求17所述的触觉转换系统，其中所述内置扬声器模块还被配置为：将所述数据帧划分为低频含量、中频含量和高频含量；以及提取所述中频含量和高频含量。
22.一种其上存储有指令的非暂态计算机可读介质，所述指令在由处理器执行时使得所述处理器将音频信号转换为一个或多个触觉效应，所述转换包括：
接收所述音频信号的多个数据帧；
确定数据帧中的每个数据帧的最大幅值；
基于数据帧中的每个数据帧的最大幅值产生触觉信号；以及
将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
23.如权利要求22所述的非暂态计算机可读介质，所述转换还包括：变换所述数据帧。
24.如权利要求23所述的非暂态计算机可读介质，所述转换还包括调制经变换的数据帧。
25.如权利要求24所述的非暂态计算机可读介质，所述转换还包括对调制数据帧进行标准化。
26.如权利要求24所述的非暂态计算机可读介质，其中所述调制数据帧至少部分地定义所述触觉信号。
27.如权利要求23所述的非暂态计算机可读介质，其中变换所述数据帧包括对所述数据帧进行带通滤波。
28.如权利要求23所述的非暂态计算机可读介质，其中变换所述数据帧包括对所述数据帧进行低通滤波。
29.如权利要求23所述的非暂态计算机可读介质，所述转换还包括在变换所述数据帧之前对所述数据帧进行再采样。
30.如权利要求23所述的非暂态计算机可读介质，所述转换还包括在变换所述数据帧之后增强所述数据帧内包含的所述音频信号。
31.如权利要求22所述的非暂态计算机可读介质，其中仅在所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
32.一种用于将音频信号转换为一个或多个触觉效应的计算机实现的方法，所述计算机实现的方法包括：
接收所述音频信号的多个数据帧；
确定数据帧中的每个数据帧的最大幅值；
基于数据帧中的每个数据帧的最大幅值产生触觉信号；以及
将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
33.如权利要求32所述的计算机实现的方法，还包括：变换所述数据帧。
34.如权利要求33所述的计算机实现的方法，还包括调制经变换的数据帧。
35.如权利要求34所述的计算机实现的方法，还包括对经调制的数据帧进行标准化。
36.如权利要求32所述的计算机实现的方法，其中仅在所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
37.一种触觉转换系统，包括：
存储器，被配置为存储触觉转换模块；
处理器，被配置为执行存储在所述存储器上的所述触觉转换模块；和
致动器，被配置为输出一个或多个触觉效应；
其中所述触觉转换模块被配置为接收音频信号的多个数据帧；
其中所述触觉转换模块还被配置为确定数据帧中的每个数据帧的最大幅值；
其中所述触觉转换模块还被配置为基于数据帧中的每个数据帧的最大幅值产生触觉信号；以及
其中所述触觉转换模块还被配置为将所述触觉信号发送到致动器以产生所述一个或多个触觉效应。
38.如权利要求37所述的触觉转换系统，其中所述触觉转换模块还被配置为变换所述数据帧。
39.如权利要求38所述的触觉转换系统，其中所述触觉转换模块还被配置为调制经变换的数据帧。
40.如权利要求39所述的触觉转换系统，其中所述触觉转换模块还被配置为对调制数据帧进行标准化。
41.如权利要求37所述的触觉转换系统，其中仅在所述数据帧的最大幅值大于指定阈值时才产生所述触觉信号。
CN201810109500.7A 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统 Expired - Fee Related CN108196683B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161441792P 2011-02-11 2011-02-11
US13/366,010 US8717152B2 (en) 2011-02-11 2012-02-03 Sound to haptic effect conversion system using waveform
US13/366,010 2012-02-03
CN201210131186.5A CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201210131186.5A Division CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Publications (2)

Publication Number Publication Date
CN108196683A CN108196683A (zh) 2018-06-22
CN108196683B true CN108196683B (zh) 2020-04-24

Family

ID=46636445

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201810109498.3A Pending CN108181996A (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131186.5A Expired - Fee Related CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131177.6A Expired - Fee Related CN102750957B (zh) 2011-02-11 2012-02-10 利用振幅值的声音到触觉效应转换系统
CN201810109500.7A Expired - Fee Related CN108196683B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201810109498.3A Pending CN108181996A (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131186.5A Expired - Fee Related CN103247296B (zh) 2011-02-11 2012-02-10 利用波形的声音到触觉效应转换系统
CN201210131177.6A Expired - Fee Related CN102750957B (zh) 2011-02-11 2012-02-10 利用振幅值的声音到触觉效应转换系统

Country Status (4)

Country Link
US (5) US8717152B2 (zh)
JP (2) JP6026751B2 (zh)
KR (4) KR102005115B1 (zh)
CN (4) CN108181996A (zh)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
US9977499B2 (en) 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
EP2901256B1 (en) * 2012-09-25 2021-02-24 Nokia Technologies Oy Method and display device with tactile feedback
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8866601B2 (en) * 2013-02-05 2014-10-21 Immersion Corporation Overdrive voltage for an actuator to generate haptic effects
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
EP2778852B1 (en) 2013-03-15 2017-05-03 Immersion Corporation Programmable haptic peripheral
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9273928B1 (en) * 2013-09-13 2016-03-01 Steven K. Uhlmann Device for cyclically operating a firearm trigger
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
WO2015151380A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 触覚提示装置、信号発生装置、触覚提示システム、および触覚提示方法
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US20160019877A1 (en) * 2014-07-21 2016-01-21 Jesse Martin Remignanti System for networking audio effects processors, enabling bidirectional communication and storage/recall of data
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9841819B2 (en) * 2015-02-20 2017-12-12 Ultrahaptics Ip Ltd Perceptions in a haptic system
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
EP3304251B1 (en) * 2015-06-03 2023-10-11 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
US9967640B2 (en) * 2015-08-20 2018-05-08 Bodyrocks Audio Incorporation Devices, systems, and methods for vibrationally sensing audio
KR102373541B1 (ko) * 2015-08-31 2022-03-11 삼성전자주식회사 반도체 장치, 스택 반도체 장치 및 이의 테스트 방법
US10310804B2 (en) * 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
CN109688990A (zh) 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
WO2018066299A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6977312B2 (ja) 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10152296B2 (en) 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US10255825B2 (en) * 2017-04-17 2019-04-09 Facebook, Inc. Calibration of haptic device using sensor harness
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102443324B1 (ko) * 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
KR102100871B1 (ko) * 2018-08-09 2020-04-23 김정욱 음원 기반의 진동패턴 생성장치
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10852831B2 (en) * 2018-11-26 2020-12-01 Zinitix Co., Ltd. User interface device driving chip for providing improved input feedback and electronic device using the same
KR102656636B1 (ko) 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
DE112019006208T5 (de) 2018-12-12 2021-09-16 Alps Alpine Co., Ltd. Vorrichtung zur Bereitstellung einer taktilen Wahrnehmung, System zur Bereitstellung einer taktilen Wahrnehmung, Steuerverfahren und Programm
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
EP3783459A4 (en) * 2019-02-22 2021-11-10 CK Materials Lab Co., Ltd. HAPTICAL SUPPLY DEVICE AND PROCESS FOR CONVERTING SOUND SIGNAL INTO HAPTIC SIGNAL
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
WO2020219073A1 (en) * 2019-04-26 2020-10-29 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR20210088371A (ko) 2020-01-06 2021-07-14 주식회사 비햅틱스 촉각자극 제공 시스템
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
JP7552338B2 (ja) 2020-12-18 2024-09-18 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
CN112669873B (zh) * 2020-12-25 2024-05-03 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638B (zh) * 2022-05-12 2024-08-23 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
KR102516138B1 (ko) * 2022-10-12 2023-03-30 주식회사 비츠나인 진동 생성 방법 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0144774A2 (en) * 1983-11-07 1985-06-19 Navot Technology Ltd. Audiotactile communication system
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5842163A (en) * 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) * 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JPH1133230A (ja) * 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JPH11196497A (ja) * 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
JPH11296126A (ja) 1998-04-15 1999-10-29 Iida Denshi Sekkei Kk 聴覚的情報の補助的提示方法及び聴覚的情報の補助的提示装置
KR20010111233A (ko) * 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
SE525056C2 (sv) 2003-11-26 2004-11-23 Gateway Security Ab Artikelövervakningssystem, samt sätt att detektera om ett larmtillstånd föreligger
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
TWI296787B (en) 2005-01-19 2008-05-11 Lightuning Tech Inc Storage device and method for protecting data stored therein
JP5208362B2 (ja) 2005-10-28 2013-06-12 ソニー株式会社 電子機器
EP3287874A1 (en) 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US20080084384A1 (en) 2006-10-05 2008-04-10 Immersion Corporation Multiple Mode Haptic Feedback System
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
JP2008203559A (ja) * 2007-02-20 2008-09-04 Toshiba Corp 対話装置及び方法
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP4467601B2 (ja) 2007-05-08 2010-05-26 ソニー株式会社 ビート強調装置、音声出力装置、電子機器、およびビート出力方法
JP5270118B2 (ja) 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
CN102204225B (zh) 2008-09-05 2013-12-11 Sk电信有限公司 传送振动信息的移动通信终端及其方法
CN102272702A (zh) * 2008-11-04 2011-12-07 拜尔材料科学股份公司 用于触觉反馈装置的电活性聚合物换能器
US20100141408A1 (en) 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR20110110212A (ko) 2009-01-21 2011-10-06 바이엘 머티리얼사이언스 아게 촉각 피드백 장치를 위한 전기활성 폴리머 트랜스듀서
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
JP5668076B2 (ja) 2009-11-17 2015-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイスにおける触覚帯域を増加するためのシステム及び方法
KR20120011548A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
EP3321780A1 (en) 2012-02-15 2018-05-16 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US10705610B2 (en) 2015-06-19 2020-07-07 Northwestern University Apparatus for unified audio tactile feedback
US10152296B2 (en) * 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0144774A2 (en) * 1983-11-07 1985-06-19 Navot Technology Ltd. Audiotactile communication system
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器

Also Published As

Publication number Publication date
US20190005782A1 (en) 2019-01-03
US10055950B2 (en) 2018-08-21
CN108196683A (zh) 2018-06-22
US20170213430A1 (en) 2017-07-27
KR102005115B1 (ko) 2019-07-29
KR20120094849A (ko) 2012-08-27
JP2012168947A (ja) 2012-09-06
KR101999565B1 (ko) 2019-07-15
US9064387B2 (en) 2015-06-23
JP2018139161A (ja) 2018-09-06
CN102750957A (zh) 2012-10-24
KR20130086590A (ko) 2013-08-02
CN103247296A (zh) 2013-08-14
KR20190084014A (ko) 2019-07-15
US20140152429A1 (en) 2014-06-05
JP6584594B2 (ja) 2019-10-02
US10431057B2 (en) 2019-10-01
CN103247296B (zh) 2018-03-06
CN102750957B (zh) 2016-12-14
US8717152B2 (en) 2014-05-06
CN108181996A (zh) 2018-06-19
KR20180084707A (ko) 2018-07-25
US20120206247A1 (en) 2012-08-16
US9606627B2 (en) 2017-03-28
US20150241975A1 (en) 2015-08-27
JP6026751B2 (ja) 2016-11-16

Similar Documents

Publication Publication Date Title
CN108196683B (zh) 利用波形的声音到触觉效应转换系统
JP6391724B2 (ja) 波形を利用した音響−触覚効果変換システム
US9448626B2 (en) Sound to haptic effect conversion system using amplitude value
JP6250985B2 (ja) マッピングを用いた音をハプティック効果に変換するシステム
EP3674849A1 (en) Haptic effect signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200424

Termination date: 20220210

CF01 Termination of patent right due to non-payment of annual fee