CN106095085A - 低频效果触觉转换系统 - Google Patents

低频效果触觉转换系统 Download PDF

Info

Publication number
CN106095085A
CN106095085A CN201610391467.2A CN201610391467A CN106095085A CN 106095085 A CN106095085 A CN 106095085A CN 201610391467 A CN201610391467 A CN 201610391467A CN 106095085 A CN106095085 A CN 106095085A
Authority
CN
China
Prior art keywords
haptic
audio signal
signal
frequency
sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610391467.2A
Other languages
English (en)
Other versions
CN106095085B (zh
Inventor
R·拉克罗伊克斯
S·S·巴哈迪亚
D·伯恩鲍姆
C·J·奥瑞奇
A·B·瓦黛尔
J·M·克鲁兹-埃尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN106095085A publication Critical patent/CN106095085A/zh
Application granted granted Critical
Publication of CN106095085B publication Critical patent/CN106095085B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)

Abstract

提供了一种低频效果触觉转换系统。该系统接收包括低频效果音频信号的音频信号。该系统还从音频信号提取低频效果音频信号。该系统还通过将低频效果音频信号的频率偏移到触觉输出设备的目标频率范围内的频率来将低频效果音频信号转换成触觉信号。该系统还将触觉信号发送到触觉输出设备，其中触觉信号使触觉输出设备输出一个或多个触觉效果。

Description

低频效果触觉转换系统
本分案申请是2014年5月19日递交的题为“低频效果触觉转换系统”的中国专利申请NO.201410210293.6的分案申请。
相关申请的交叉引用
本申请主张2013年5月17日提交的序列号为61/824442的美国临时专利申请的优先权，其公开内容通过引用合并于此。
技术领域
一实施例总体上涉及设备，更特别地，涉及产生触觉效果(haptic effect)的设备。
背景技术
电子设备制造商努力为用户产生丰富的界面。传统设备使用视觉和听觉线索来向用户提供反馈。在一些界面设备中，还向用户提供动觉反馈(例如主动力和阻力反馈)和/或触感反馈(例如振动、纹理和热)，它们一般泛称为“触觉反馈”或“触觉效果”。触觉反馈可提供增强和简化用户界面的线索。具体而言，振动效果或振动触感触觉效果在向电子设备的用户提供线索以就特定事件提醒用户或者提供逼真的反馈以在仿真或虚拟环境内产生更强的感官沉浸方面是有用的。
为了生成振动效果，许多设备利用某种类型的致动器或触觉输出设备。用于此目的的已知触觉输出设备包括电磁致动器，例如其中由电机来移动偏心质体的偏心旋转质体(Eccentric Rotating Mass，“ERM”)，其中来回驱动附着于弹簧的质体的线性谐振致动器(Linear Resonant Actuator，“LRA”)，或者诸如压电、电活性聚合物或形状记忆合金之类的“智能材料”。触觉输出设备还广泛地包括非机械或非振动设备，例如使用静电摩擦(electrostatic friction，“ESF”)、超声表面摩擦(ultrasonic surface friction，“USF”)的那些设备，或者以超声触觉换能器诱发声学辐射压力的那些设备，或者使用触觉基底和柔性或可变形表面的那些设备，或者提供投射的触觉输出(例如利用空气喷嘴提供一阵空气)的那些设备等。
在电影和电视工业中，为了向观看者提供更迷人的体验，已开发了改进的多通道音频系统。例如，被称为“5.1”的模拟六通道环绕声多通道音频系统最初被杜比实验室公司开发出来，用于70mm影院电影放映，提供三个屏幕通道、两个环绕通道和一低频增强通道。后来，为35mm胶片开发了被称为“Dolby Digital”的5.1多通道音频的数字版本，并且随后DTS公司开发了类似的5.1系统。从那时起，开发了各种多通道音频格式，包括6.1或7.1源素材和多达11.1通道以及以上的输出，并且现在几乎所有用于家庭观看的DVD、蓝光、广播和流式视频内容都包括了多通道音频。
随着近来的诸如智能电话和平板计算机之类的高分辨率移动设备的发展，用户现在能够在手持设备上观看传统上只能在电影院、电视或家庭影院系统中看到的高清晰度音频和视频。对于触觉使能的移动设备，经验表明，如果除了音频和视频内容成分以外还有触觉内容成分，则内容观看得到充分的增强，并且观看者喜欢这样。
发明内容
一实施例是一种产生触觉效果的系统。该系统接收包括低频效果音频信号的音频信号。该系统还从该音频信号提取低频效果音频信号。该系统还通过将低频效果音频信号的频率偏移到触觉输出设备的目标频率范围内的频率来将低频效果音频信号转换成触觉信号。该系统还将触觉信号发送到触觉输出设备，其中触觉信号使触觉输出设备输出一个或多个触觉效果。
附图说明
更多实施例、细节、优点和修改将从以下结合附图对优选实施例的详细描述而变得显然。
图1是根据本发明一实施例的触觉使能系统的框图。
图2是根据本发明一实施例的触觉致动器的LRA实现方式的剖开透视图。
图3是根据本发明一实施例的触觉致动器的ERM实现方式的剖开透视图。
图4A-4C是根据本发明一实施例的触觉致动器的压电实现方式的视图。
图5是根据本发明一实施例的使用静电摩擦(“ESF”)的触觉设备的视图。
图6是根据本发明一实施例的用超声触觉换能器诱发声学辐射压力的触觉设备的视图。
图7是根据本发明一实施例的使用触觉基底和柔性或可变形表面的触觉设备的视图。
图8A-8B是根据本发明一实施例的使用超声表面摩擦(“USF”)的触觉设备的视图。
图9是根据本发明一实施例的示例5.1多通道音频环绕配置。
图10是根据本发明一实施例的人类听觉系统等响图。
图11A-11B是示出根据本发明一实施例的经偏移、放大和压缩的音频信号的音频谱图。
图12A-12B是示出根据本发明一实施例的经偏移的音频信号的布莱克曼-哈里斯(Blackman-Harris)窗口。
图13是根据本发明一实施例的体验品质图和相应的低频效果(low-frequencyeffect，“LFE”)触觉图。
图14是根据本发明一实施例的体验品质图和相应的LFE触觉图。
图15是根据本发明一实施例的体验品质图和相应的LFE触觉图。
图16是根据本发明一实施例的体验品质图和相应的LFE触觉图。
图17是根据本发明一实施例的体验品质图和相应的LFE触觉图。
图18是根据本发明一实施例的沉浸度汇总图。
图19是根据本发明一实施例的体验品质汇总图。
图20是根据本发明一实施例的用于将LFE音频信号转换成触觉信号的流程图。
图21是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。
图22是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。
图23是根据本发明一实施例的用于将触觉信号编码在LFE音频信号内的流程图。
图24是根据本发明一实施例的用于从低频效果信号解码触觉信号的流程图。
图25是根据本发明一实施例的用于将LFE音频信号转换成多个触觉信号的流程图。
图26A-26D是根据本发明一实施例的示例前台和后台触觉应用的屏幕视图。
图27A-27B是根据本发明一实施例的触觉反馈的示例多数据通道的显示曲线图。
图28是根据本发明一实施例的用于显示基于优先级的触觉事件的触觉反馈的多个数据通道的流程图。
图29是根据本发明一实施例的用于显示基于优先级的触觉事件的触觉反馈的多个数据通道的流程图。
图30是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。
具体实施方式
一实施例是一种系统，其从源音频信号提取低频效果(“LFE”)音频信号并且将所提取的LFE音频信号转换成触觉信号，其中该触觉信号使诸如致动器之类的触觉输出设备输出一个或多个触觉效果。通过将所提取的LFE音频信号转换成触觉信号，音频信号频率可被偏移到触觉输出设备的目标频率范围内的频率。或者，通过将所提取的LFE音频信号转换成触觉信号，音频信号音高(pitch)可被偏移到触觉输出设备的目标音高范围内的音高。在所提取的LFE音频信号到触觉信号的转换是“离线的(offline)”的实施例中，触觉信号可被编码并存储在一格式内，例如存储在存储设备内，或者触觉信号可被编码并存储在包括在源音频信号内的LFE音频信号内。或者，在所提取的LFE音频信号到触觉信号的转换是“在线的(online)”的实施例中，触觉信号可被实时或近实时地发送到触觉输出设备，其中一个或多个触觉效果被实时或近实时地输出。在某些实施例中，源音频信号可被另一类型的输入信号所替换，并且LFE音频信号可被另一类型的LFE信号所替换。另外，在替换实施例中，系统可将所提取的LFE音频信号转换成多个触觉信号(同时地或顺序地)，其中这些触觉信号使多个触觉输出设备(例如致动器)输出一个或多个触觉效果。在这个替换实施例中，每个触觉输出设备可具有不同的目标频率范围，并且对于每个转换，所提取的LFE音频信号的音频信号频率可被偏移到各触觉输出设备的各目标频率范围内的频率。
如下所述，LFE通道是以基本上比人类听觉感知的完整频谱更少的音频谱编码的任何音频通道。LFE轨道通常用于编码具有在20Hz–120Hz范围中的可听频率的低频信息，但是可包括具有有限频率范围的任何其他音频信号，例如发送到“高音”扬声器的高频范围或者发送到“中音”扬声器的中档频率范围，或者发送到“低音”扬声器的低频范围。各种流行的音频编码支持此类轨道。其通常被称为5.1、7.1或11.1环绕声音频轨道中的“.1”。DVD和蓝光标准规定了在消费类编码中包括LFE轨道。LFE轨道也用在环绕声视频游戏中，尤其但不一定是诸如Sony PS3或Microsoft XBOX 360之类的第3代游戏机上的那些游戏。在此情况下，LFE轨道通过使用音频空间化引擎来实时地生成，该引擎依据诸如玩家的朝向之类的游戏状态来实时地合成5.1环绕音频通道。
传统的自动触觉回放体系架构可基于音频信号提供触觉输出。与从音频信号自动生成触觉相比，触觉效果专业人士编写的内容在许多情况下可提供更吸引人的内容观看体验，但其是昂贵的，因为对于长篇内容，其要求花费相对大量的时间来编写数百或数千的触觉效果。因此，需要一种改进的从LFE音频信号自动提供触觉效果的系统，其不要求与编写的触觉长篇内容相同的时间量。
因为LFE音频信号通常打算利用被配置为处理低频信号的音频输出设备来再现，所以LFE音频信号内包含的数据尤其很适合于转换为触觉信号。例如，LFE音频信号已被滤波和混频以包含低频(或有限频率)音频，但是处于全比特率。另外，LFE音频信号通常被内容制作者调节以相对于音频信号的其他音频通道具有更正确的幅度。此外，LFE音频信号通常包含对于触觉内容体验最自然的创造性内容成分。
与普通的立体声音频数据不同，LFE音频数据自然地转化成触觉信号。在立体声音频(或全范围音频)中，一般需要过滤和提取出那些最适合于触觉表现的信号成分。然而，这可能是一个可导致不一致的触觉体验的有挑战性的操作。在下文中更详细描述LFE音频信号到触觉信号的转换。
图1是根据本发明一实施例的触觉使能系统10的框图。系统10包括安装在壳体15内的触摸敏感表面11或其他类型的用户界面，并且可包括机械按键/按钮13。在系统10内部有在系统10上生成振动的触觉反馈系统。在一实施例中，在触摸表面11上生成振动。
触觉反馈系统包括处理器12。耦合到处理器12的是存储器20和致动器驱动电路16，致动器驱动电路16耦合到触觉致动器18。在某些实施例中，致动器18可被另一类型的触觉输出设备所替换。处理器12可以是任何类型的通用处理器，或者可以是特别设计来提供触觉效果的处理器，例如专用集成电路(“ASIC”)。处理器12可以就是操作整个系统10的那个处理器，或者可以是单独的处理器。处理器12可以基于高级别参数来决定要播放什么触觉效果以及播放效果的顺序。一般地，限定特定触觉效果的高级别参数包括幅值、频率和持续时间。诸如流式电机命令之类的低级别参数也可用于确定特定触觉效果。触觉效果如果在其被生成时包括这些参数的某种变体或者基于用户的交互包括这些参数的变体，则其可被认为是动态的。
处理器12向驱动电路16输出控制信号，驱动电路16包括用于向致动器18提供所需的电流和电压以引起期望的触觉效果的电子组件和电路。系统10可包括多于一个致动器18，并且每个致动器可包括单独的驱动电路16，它们全都耦合到公共处理器12。存储器设备20可以是任何类型的存储设备或计算机可读介质，例如随机访问存储器(“RAM”)或只读存储器(“ROM”)。存储器20存储被处理器12执行的指令。在这些指令之中，存储器20包括致动器驱动模块22，致动器驱动模块22是如下指令：这些指令当被处理器12执行时生用于致动器18的驱动信号，同时还确定来自致动器18的反馈并且相应地调整驱动信号。在某些实施例中，致动器驱动模块22可以是能基于低频效果音频信号生成驱动信号的低频效果转换模块。这些驱动信号也被确定为触觉信号。模块22的功能在下文更详细地论述。存储器20也可位于处理器12内部，或者内部和外部存储器的任何组合。
触摸表面11识别触摸，并且还可识别该表面上的触摸的位置和幅值或压力，例如触摸的数目、接触点的大小、压力等等。与触摸相对应的数据被发送到处理器12，或者系统10内的另一处理器，处理器12解释这些触摸并且作为响应生成触觉效果信号。触摸表面11可利用任何感测技术来感测触摸，包括电容式感测、电阻式感测、表面声波感测、压力感测、光学感测等等。触摸表面11可感测多点触摸接触，并且可以能够区分同时发生的多个触摸。触摸表面11可以是生成并显示图像——例如键、拨盘等等——来供用户交互的触摸屏，或者可以是具有最低限度图像或没有图像的触摸板。
系统10可以是手持设备，例如蜂窝电话、PDA、平板计算机、游戏机、可穿戴设备等等，或者可以是任何其他类型的提供用户界面并且包括触觉效果系统的设备，其中该触觉效果系统包括一个或多个ERM、LRA、静电或其他类型的致动器。该用户界面可以是触摸敏感表面，或者可以是任何其他类型的用户界面，例如鼠标、触摸板、微型操纵杆、滚轮、轨迹球、游戏板或游戏控制器等等。在具有多于一个致动器的实施例中，每个致动器可具有不同的输出能力，以便在设备上产生各种不同的触觉效果。每个致动器可以是任何类型的触觉致动器或者致动器的单个或多维阵列。
图2是根据一实施例的致动器18的LRA实现方式的剖开侧视图。LRA 38包括外壳25、磁体/质体27、线性弹簧26和电线圈28。磁体27借由弹簧26安装到外壳25。线圈28直接安装在外壳25底部，在磁体27下方。LRA 38是任何已知的LRA中的典型。在操作中，当电流流经线圈28时，磁场在线圈28周围形成，其与磁体27的磁场交互地推或拉磁体27。一个电流流动方向/极性引起推动作，另一个引起拉动作。弹簧26控制磁体27的上下运动，并且具有其被压缩的上偏位置和其被拉伸的下偏位置，以及其既不压缩也不偏移，等于没有电流被施加到线圈28并且磁体27没有运动/振荡时的休止状态的中性或过零位置。
对于LRA 38，可以测量机械品质因数或“Q因数”。一般地，机械Q因数是无量纲参数，其将振荡物理系统的幅度的衰减的时间常数与其振荡周期相比较。机械Q因数受到安装变型的显著影响。机械Q因数表示质体与弹簧之间循环的能量与在每个振荡周期损耗的能量之比。低Q因数意味着在每个周期损耗质体和弹簧中存储的能量的大部分。一般地，最小Q因数在系统10被手紧握着的情况下发生，这是由于能量被手的组织所吸收。最大Q因数一般在如下情况时发生：系统10被按在硬而厚重的表面上，该表面将所有振动能量反弹回到LRA38中。
与机械Q因数成正比地，在谐振时在磁体/质体27与弹簧26之间发生的力通常是线圈28为了维持振荡而必须产生的力的10-100倍那么大。结果，LRA 38的谐振频率主要由磁体27的质量和弹簧26的顺应性(compliance)限定。然而，当LRA被安装到浮动设备时(即，系统10被轻柔地握在手中)，LRA谐振频率大幅上移。另外，大幅频率偏移可由于影响系统10中LRA 38的表观安装重量的外部因素而发生，所述因素例如是蜂窝电话被翻开/关上或者电话被紧握。
图3是根据本发明一实施例的致动器18的ERM实现方式的剖开透视图。ERM 300包括旋转质体301，质体301具有绕旋转轴305旋转的偏心重量303。在操作中，任何类型的电机可耦合到ERM 300以响应于施加到电机的电压的量和极性来引起绕着旋转轴305的一个或两个方向上的旋转。将认识到，在与旋转相同的方向上施加电压将具有加速度效果并且使得ERM 300增大其旋转速度，而在与旋转相反的方向上施加电压将具有制动效果并引起ERM300减小或者甚至逆转其旋转速度。
本发明一实施例通过确定并修改ERM 300的角速度来提供触觉反馈。角速度是旋转速率的标量度量，表示向量角速度的幅值。以弧度每秒为单位的角速度或频率ω以2π的因数与以周期每秒——也称为Hz——为单位的频率ν相关。驱动信号包括驱动时段，其中至少一个驱动脉冲被施加到ERM 300，并且包括监视时段，其中旋转质体301的后向电磁场(electromagnetic field，“EMF”)被接收并用于确定ERM 300的角速度。在另一实施例中，驱动时段和监视时段是同时的，并且本发明的实施例在驱动时段和监视时段两者期间动态地确定ERM 300的角速度。
图4A-4C是根据本发明一实施例的触觉致动器18的压电实现方式的视图。图4A示出了盘状压电致动器，其包括电极401、压电陶瓷盘403和金属盘405。如图4B所示，当电压被施加到电极401时，压电致动器作为响应而弯曲，从松弛状态407变到变换状态409。当施加电压时，是致动器的弯曲产生了振动的基础。或者，图4C示出了束状压电致动器，其通过从松弛状态411变到变换状态413来与盘状压电致动器类似地操作。
图5是根据本发明一实施例的使用ESF的触觉设备的视图。该实施例是基于如下发现的：可利用电容性电耦合和适当大小的控制电压来激励皮下帕西尼氏小体，这是在没有对帕西尼氏小体的任何机械激励的情况下发生的或者作为与这种机械激励分开的额外激励发生的。适当大小的高电压被用作该控制电压。在这里的上下文中，高电压指的是如下这种电压：出于安全和/或用户舒适的原因，必须防止直接电流接触。这导致了帕西尼氏小体与引起激励的装置之间的电容性耦合，其中电容性耦合的一侧是由连接到激励装置的至少一个电流隔离电极形成的，而与电极紧邻的另一侧是由激励目标(例如装置的用户)的身体部分(优选为手指)形成的，更具体而言是由皮下帕西尼氏小体形成的。
本发明的实施例可能基于装置的活性表面与接近或触摸它的身体部分(例如手指)之间的电场的受控形成。该电场倾向于引起接近的手指上的相反电荷。在电荷之间可形成局部电场和电容性耦合。电场在手指组织的电荷上引出一力。通过适当地改变该电场，可产生能够移动组织的力，从而感官受体将这种运动感觉为振动。
如图5所示，一个或多个导电电极501设有绝缘体。当诸如手指之类的身体部分505接近导电电极501时，该绝缘体防止从导电电极到身体部分505的直接电流流动。在导电电极501与身体部分505之间形成绝缘体上的电容耦合场力503。该装置还包括高电压源，用于向该一个或多个导电电极施加电输入，其中该电输入包括10Hz–1000Hz之间频率范围中的低频成分。电容性耦合和电输入的大小被设定为产生电感感觉，该电感感觉是独立于该一个或多个导电电极或绝缘体的任何机械振动而产生的。
图6是用超声触觉换能器诱发声学辐射压力的触觉设备的视图。空中超声换能器阵列601被设计为在三维(“3D”)自由空间中提供触感反馈。该阵列辐射空中超声，并且在不使用手套或机械附件的情况下产生高保真压力场到用户的手上。该方法基于超声的非线性现象；声学辐射压力。当物体打断超声的传播时，压力场被施加在该物体的表面上。这个压力被称为声学辐射压力。声学辐射压力P[Pa]被简单描述为P＝αE，其中E[J＝m3]是超声的能量密度，α是依据物体表面的反射属性在从1到2的范围中的常数。该方程描述了声学辐射压力如何与超声的能量密度成比例。超声的能量密度的空间分布可利用波场合成技术来控制。利用超声换能器阵列，在3D自由空间中产生各种图案的压力场。与空气喷嘴不同，空间和时间分辨率是相当精细的。空间分辨率与超声的波长相当。频率特性直到1KHz都是充分精细的。
空中超声可被直接到应用到皮肤上，而没有刺穿的危险。当空中超声被应用到皮肤表面上时，由于空气的特性声学阻抗与皮肤的特性声学阻抗之间的大的差别，入射的声学能量的大约99.9％在皮肤的表面上被反射。因此，这个触感反馈系统不要求用户穿戴任何笨拙的手套或机械附件。
图7示出了图示根据本发明一实施例使用触觉基底和柔性表面的触觉设备701的三维(“3D”)图。设备701包括柔性表面层703、触觉基底705和变形机构711。应注意，设备701可以是用户界面设备，例如用于蜂窝电话、个人数字助理(“PDA”)、汽车数据输入系统等的界面。还应注意，如果向设备701添加或从设备701去除一个或多个块(电路或层)，本发明的示范性实施例的基本构思不会变化。
柔性表面层703在一实例中由诸如硅橡胶之类的柔软和/或弹性材料制成，硅橡胶也被称为聚硅氧烷。柔性表面层703的功能是在与触觉基底705的物理图案接触时改变其表面形状或纹理。触觉基底705的物理图案是可变的，因为触觉基底705的局部特征中的一个或多个可被升高或降低以呈现特征来在接触时影响柔性表面层703的表面。一旦确定了触觉基底705的物理图案，柔性表面层703的纹理就可变化以使其表面纹理符合触觉基底705的物理图案。应注意，柔性表面层703从一纹理到另一纹理的变形可由变形机构711来控制。例如，当变形机构711未被激活时，柔性表面层703维持其光滑配置，浮置或坐落在触觉基底705上方。然而，当变形机构711被激活并且触觉基底705与柔性表面层703接触时，柔性表面层703的表面配置从光滑配置变形或变化到粗糙配置，以在柔性表面层703的上表面形成类似的图案。
或者，柔性表面层703是能够接受用户输入的柔性触摸敏感表面。柔性触摸敏感表面可被划分成多个区域，其中柔性触摸敏感表面的每个区域在其被手指触摸或按压时可接受输入。在一实施例中，柔性触摸敏感表面包括传感器，该传感器能够检测附近的手指并且唤醒或开启设备。柔性表面层703还可包括柔性显示器，其能够与柔性表面层703一起变形。应注意，可以使用各种柔性显示器技术来制造柔性显示器，例如有机发光二极管(“OLED”)、有机或聚合物薄膜晶体管(“TFT”)。
触觉基底705是能够响应于一个或多个图案激活信号而改变其表面图案的表面可重配置触觉设备。触觉基底705也可被称为触觉机构、触觉层、触感元件等。触觉基底705在一实施例中包括多个触感或触觉区域707、709，其中每个区域可被独立地控制和激活。由于可以独立激活每个触感区域，所以可以响应于图案激活信号而构成触觉基底705的独特表面图案。在另一实施例中，每个触感区域被进一步划分成多个触觉小块，其中每个小块可被独立地激发或激活或者解除激活。
触觉基底705或触觉机构在一实施例中可操作来响应于激活命令或信号而提供触觉反馈。触觉基底705提供多个触感或触觉反馈，其中一触感反馈用于表面变形，而另一触感反馈用于输入确认。输入确认是将所选输入告知用户的触觉反馈。触觉机构705例如可由各种技术来实现，包括振动、垂直位移、横向位移、推/拉技术、气囊/液囊、材料的局部变形、谐振机械元件、压电材料、微机电系统(“MEMS”)元件、热液囊、MEMS泵、可变孔隙度薄膜、层流调制等。
触觉基底705在一实施例中是由半柔性或半刚性材料构造而成的。在一实施例中，触觉基底应比柔性表面703更刚性，从而柔性表面703的表面纹理可符合触觉基底705的表面图案。触觉基底705例如包括一个或多个致动器，这些致动器可由电活性聚合物(electroactive polymer，“EAP”)的纤维(或纳米管)、压电元件、形状记忆合金(shapememory alloy，“SMA”)的纤维等构造而成。也称为生物肌肉或人造肌肉的EAP能够响应于电压的施加而改变其形状。EAP的物理形状在其承受较大的力时可变形。EAP可由如下材料构造而成：电致伸缩聚合物、介电弹性体、导电聚合物、离子聚合物金属复合材料、响应性凝胶、巴基凝胶致动器、或者上述EAP材料的组合。
也称为记忆金属的形状记忆合金(“SMA”)是可用于构造触觉基底705的另一类材料。SMA可由铜-锌-铝、铜-铝-镍、镍-钛合金或者铜-锌-铝、铜-铝-镍和/或镍-钛合金的组合制成。SMA的特性是当其原始形状变形时，其根据环境温度和/或周围环境而恢复其原始形状。应注意，本实施例可组合EAP、压电元件和/或SMA来实现特定的触觉感受。
变形机构711提供拉力和/或推力来平移触觉基底705中的元件以使得柔性表面703变形。例如，当变形机构711在柔性表面703与触觉基底705之间产生真空时，柔性表面703被推得抵住触觉基底705，从而使得柔性表面703根据触觉基底705的表面图案而显现柔性表面703的纹理。换言之，一旦生成了触觉基底705的表面图案，柔性表面就被拉或推成抵住触觉基底705以通过柔性表面703的变形表面展现触觉基底705的图案。在一实施例中，触觉基底705和变形机构711被构造在相同或基本相同的层中。
在接收到第一激活信号时，触觉基底705生成第一表面图案。在触觉基底705的表面图案形成之后，变形机构711随后被激活以响应于触觉基底705的表面图案而改变柔性表面703的表面纹理。替代地，如果触觉基底705接收到第二激活信号，则其生成第二图案。
触觉基底705还包括多个触感区域，其中每个区域可被独立激活以形成基底的表面图案。触觉基底705还能够生成确认反馈以确认用户输入的输入选择。变形机构711被配置为将柔性表面703的表面纹理从第一表面特性变形到第二表面特性。应注意，触觉设备还包括传感器，其能够在其检测到柔性表面703上的触摸时激活该设备。变形机构711可以是真空生成器，其能够使得柔性表面703坍塌在第一表面图案上以根据触觉基底705的第一图案的配置来变换其表面配置。
触觉基底705例示了触感区域707和709被激活时的状态。触感区域707和709在z轴方向上升高。在接收到一个或多个激活信号时，触觉基底705根据激活信号确定表面图案。触觉基底705通过激活诸如区域707和709之类的各种触感区域以生成图案来提供所确定的图案。应注意，触感区域707和709模仿两个按钮或按键。在另一实施例中，触感区域707或709包括多个触觉小块，其中每个小块可被控制来激活或解除激活。
图8A-8B是使用USF的触觉设备的视图。超声振动显示器801产生大约几微米的超声振动。显示器801包括在超声范围振动的触摸界面表面803。当手指809与表面803接触并向表面803施加力807Ft时，振动805以速度vt沿触摸表面803传播。振动805产生表面803上的表观摩擦减小。一个解释是通过上下移动，触摸表面803在表面803与交互手指809之间产生空气隙813，空气隙813引起摩擦的减小。这可被认为是沿着表面803的兰姆波815，兰姆波815在某个时刻当手指809与波805的顶峰或波峰接触时与手指809接触，而有时当手指809在波805的波谷上方时则不与手指809接触。当以速度vf在横方向811上移动手指809时，表面803的表观摩擦由于表面803与手指809的断断续续的接触而减小。当表面803未被激活时，手指809始终与表面803接触，并且静态或动态摩擦系数保持恒定。
因为振动805在通常20KHz以上的超声范围中在表面803上发生，所以波长内容通常小于手指大小，从而允许了一致的体验。将会注意到，表面803的普通位移大约小于5微米，并且更小的位移导致更低的摩擦减小。
图9是根据本发明一实施例的示例5.1多通道音频环绕配置。5.1多通道音频环绕配置包括多个音频输出设备，例如扬声器。在图示的实施例中，5.1多通道音频环绕配置(即，音频输出设备C、Sub、L、R、LS和RS)被定位在围绕用户U的圆圈内。源音频信号包括多个源音频通道，其中一个或多个源音频通道被映射到一音频输出设备，其中该音频输出设备基于映射的(一个或多个)源音频通道输出音频效果。根据该实施例，源音频信号的LFE通道可被映射到音频输出设备Sub。如前所述，LFE通道是编码有基本上比人类听觉感知的完整频谱更少的音频谱的音频通道。LFE轨道通常用于对具有在20Hz–120Hz的范围中的可听频率的低频信息进行编码，但可包括任何其他具有有限频率范围的音频信号。5.1多通道音频环绕配置的“.1”指的是LFE通道，因为LFE通道通常只要求其他音频通道的带宽的一小部分。
图10是根据本发明一实施例的人类听觉系统等响图。等响图测量频率谱上的声压(“dB SPL”)，对于该声压，听者在被呈现以纯的稳定的音调时会感知到恒定的响度。响度水平的测量单位是“方”(phon)，并且是参考等响曲线得到的。最低等响曲线1010表示最安静的可听音调，也称为绝对听阈。最高等响曲线1020被称为痛阈。
图11A-11B是示出根据本发明一实施例的经偏移、放大和压缩的音频信号的音频谱图。更具体而言，图11A示出了从5.1音频信号提取的LFE音频信号1110。图11B示出了经音高偏移、压缩和放大的LFE音频信号1120。通过对音频信号进行音高偏移，音频信号的一个或多个原始频率被偏移到一个或多个新频率，其中新频率维持原始频率的谐波关系，从而新频率的比率与原始频率的比率相同。例如，包括1KHz的基波频率以及2KHz和5KHz两个谐波频率的音频信号可按2.5的系数被进行向上音高偏移，其中经音高偏移的音频信号包括2.5KHz的基波频率以及5KHz和12.5KHz两个谐波频率。在替换实施例中，可对LFE音频信号1120进行频率偏移，而不是音高偏移。通过对音频信号进行频率偏移，音频信号的一个或多个原始频率被偏移到一个或多个新频率，其中新频率不维持原始频率的谐波关系，从而新频率的比率不一定与原始频率的比率相同。例如，包括1KHz的基波频率以及2KHz和5KHz两个谐波频率的音频信号可按1.5KHz被进行向上频率偏移，其中经频率偏移的音频信号包括2.5KHz的基波频率以及3.5KHz和6.5KHz两个谐波频率。通过对LFE音频信号1110进行向上的音高偏移或频率偏移，LFE音频信号1110的一个或多个频率可被从原始频率范围偏移到触觉输出设备例如致动器的目标频率范围。因为LFE音频信号1120的一个或多个频率在触觉输出设备的目标频率范围内，所以LFE音频信号1120可以是触觉输出设备的适当触觉信号。在某些实施例中，原始频率范围可以是有限频率范围，例如20Hz–120Hz。在这些实施例中，LFE音频信号1110的一个或多个频率中的一个、一些或全部可被偏移到该有限频率范围之外。另外，在某些实施例中，触觉输出设备的目标频率范围可在运行时基于触觉输出设备的类型来确定。目标频率范围的示例可包括30Hz–120Hz(例如对于LRA致动器)以及120Hz–300Hz(例如对于压电致动器)。
另外，LFE音频信号1120可被压缩、放大或者这两者的组合。此外，LFE音频信号1120可被重采样到触觉输出设备的目标驱动频率。更具体而言，LFE音频信号1120的表现频率(rendering frequency)可被偏移到新的表现频率，其中该新的表现频率可等于触觉输出设备的目标驱动频率。这个重采样可以改变LFE音频信号1120如何被呈现(即，每秒播放多少样本)以更好地适应触觉输出设备的能力。重采样可在LFE音频信号1120被进行音高偏移(或者频率偏移)之后执行，或者重采样可在运行时当LFE音频信号1120作为触觉信号被发送到触觉输出设备时执行。另外，在一些实施例中，可以省略重采样。LFE音频信号1120可随后作为触觉信号被发送到触觉输出设备，其中触觉输出设备可基于该触觉信号输出一个或多个触觉效果。
图12A-12B是示出根据本发明一实施例的经偏移的音频信号的布莱克曼-哈里斯窗口。更具体而言，图12A示出了从5.1音频信号提取的LFE音频信号1210。图12B示出了已被音高偏移的LFE音频信号1220。通过对音频信号进行音高偏移，如前所述，音频信号的一个或多个原始频率被偏移到一个或多个新频率，其中新频率维持原始频率的谐波关系，从而新频率的比率与原始频率的比率相同。在替换实施例中，LFE音频信号1220可被进行频率偏移，而不是音高偏移。通过对音频信号进行频率偏移，如前所述，音频信号的一个或多个原始频率被偏移到一个或多个新频率，其中新频率不维持原始频率的谐波关系，从而新频率的比率不一定与原始频率的比率相同。
图13是根据本发明一实施例的体验品质图和LFE触觉图。根据该实施例，在有若干个参与者的情况下进行了研究，其中向参与者展示测试视频，其中测试视频被显示在平板设备上。一些测试视频包括基于从每个视频内包含的音频信号中提取LFE音频信号并将LFE音频信号转换成触觉信号而生成的触觉效果。其他测试视频不包括触觉效果。参与者在观看测试视频时佩戴高品质立体声耳机，并且将平板设备握持在其手中。参与者观看了测试视频并且利用体验时间线界面来作出实时评级。参与者还在每个测试视频结束时回答调查问题。改变了测试视频的实际呈现顺序以防止相同视频的重复展示。在参与者之间平衡了呈现顺序以针对顺序效果进行控制。总视频播放时间为约32-35分钟，总会话时间等于90分钟。另外，根据该实施例，总共有20个参与者，其中对参与者的群组进行了性别平衡。50％的参与者表明其拥有平板电脑，并且所有参与者都表明他们经常在智能电话或平板电脑上观看媒体(即，每周2-3次)。
根据该实施例，触觉信号1310是基于LFE音频信号生成的触觉信号，该LFE音频信号提取自该研究的第一视频内包括的音频信号。向该研究的一些参与者展示了第一视频的LFE触觉版本，其中第一视频的LFE触觉版本包括了基于触觉信号1310生成的触觉效果。向该研究的其他参与者展示了第一视频的非触觉版本，其中第一视频的非触觉版本不包括任何触觉效果。曲线图1320表示在第一视频的非触觉版本的持续时间期间参与者指示出的平均体验品质(“QoE”)评级，其中QoE评级是指示出观看体验品质的从0到100的评级，其中0表示最低品质，100表示最高品质。曲线图1330表示在第一视频的LFE触觉版本的持续时间期间参与者指出的平均QoE评级。另外，曲线图1340表示在第一视频的持续时间期间曲线1330的平均QoE评级与曲线1320的平均QoE评级的差值。从曲线图1320、1330和1340可见，体验了第一视频的LFE触觉版本的参与者与体验了第一视频的非触觉版本的参与者相比指示出更高的品质评级，尤其是在第一视频的如下部分期间更是如此：在这些部分中，基于触觉信号1310的内容，触觉效果更明显。
图14是根据本发明一实施例的体验品质图和LFE触觉图。触觉信号1410是基于从该研究的第二视频内包括的音频信号提取的LFE音频信号生成的触觉信号。向该研究的一些参与者展示了第二视频的LFE触觉版本，其中第二视频的LFE触觉版本包括基于触觉信号1410生成的触觉效果。向该研究的其他参与者展示了第二视频的非触觉版本，其中第二视频的非触觉版本不包括任何触觉效果。曲线图1420表示在第二视频的非触觉版本的持续时间期间参与者指示出的平均QoE评级。曲线图1430表示在第二视频的LFE触觉版本的持续时间期间参与者指示出的平均QoE评级。另外，曲线图1440表示在第二视频的持续时间期间曲线1430的平均QoE评级与曲线1420的平均QoE评级的差值。从曲线图1420、1430和1440可见，体验了第二视频的LFE触觉版本的参与者与体验了第二视频的非触觉版本的参与者相比指示出更高的品质评级，尤其是在第二视频的如下部分期间更是如此：在这些部分中，基于触觉信号1410的内容，触觉效果更明显。
图15是根据本发明一实施例的体验品质图和相应的LFE触觉图。触觉信号1510是基于从该研究的第三视频内包括的音频信号提取的LFE音频信号生成的触觉信号。向该研究的一些参与者展示了第三视频的LFE触觉版本，其中第三视频的LFE触觉版本包括基于触觉信号1510生成的触觉效果。向该研究的其他参与者展示了第三视频的非触觉版本，其中第三视频的非触觉版本不包括任何触觉效果。曲线图1520表示在第三视频的非触觉版本的持续时间期间参与者指示出的平均QoE评级。曲线图1530表示在第三视频的LFE触觉版本的持续时间期间参与者指示出的平均QoE评级。另外，曲线图1540表示在第三视频的持续时间期间曲线1530的平均QoE评级与曲线1520的平均QoE评级的差值。从曲线图1520、1530和1540可见，体验了第三视频的LFE触觉版本的参与者与体验了第三视频的非触觉版本的参与者相比指示出更高的品质评级，尤其是在第三视频的如下部分期间更是如此：在这些部分中，基于触觉信号1510的内容，触觉效果更明显。
图16是根据本发明一实施例的体验品质图和相应的LFE触觉图。触觉信号1610是基于从该研究的第四视频内包括的音频信号提取的LFE音频信号生成的触觉信号。向该研究的一些参与者展示了第四视频的LFE触觉版本，其中第四视频的LFE触觉版本包括基于触觉信号1610生成的触觉效果。向该研究的其他参与者展示了第四视频的非触觉版本，其中第四视频的非触觉版本不包括任何触觉效果。曲线图1620表示在第四视频的非触觉版本的持续时间期间参与者指示出的平均QoE评级。曲线图1630表示在第四视频的LFE触觉版本的持续时间期间参与者指示出的平均QoE评级。另外，曲线图1640表示在第四视频的持续时间期间曲线1630的平均QoE评级与曲线1620的平均QoE评级的差值。从曲线图1620、1630和1640可见，体验了第四视频的LFE触觉版本的参与者与体验了第四视频的非触觉版本的参与者相比指示出更高的品质评级，尤其是在第四视频的如下部分期间更是如此：在这些部分中，基于触觉信号1610的内容，触觉效果更明显。
图17是根据本发明一实施例的体验品质图和相应的LFE触觉图。触觉信号1710是基于从该研究的第五视频内包括的音频信号提取的LFE音频信号生成的触觉信号。向该研究的一些参与者展示了第五视频的LFE触觉版本，其中第五视频的LFE触觉版本包括基于触觉信号1710生成的触觉效果。向该研究的其他参与者展示了第五视频的非触觉版本，其中第五视频的非触觉版本不包括任何触觉效果。曲线图1720表示在第五视频的非触觉版本的持续时间期间参与者指示出的平均QoE评级。曲线图1730表示在第五视频的LFE触觉版本的持续时间期间参与者指示出的平均QoE评级。另外，曲线图1740表示在第五视频的持续时间期间曲线1730的平均QoE评级与曲线1720的平均QoE评级的差值。从曲线图1720、1730和1740可见，体验了第五视频的LFE触觉版本的参与者与体验了第五视频的非触觉版本的参与者相比指示出更高的品质评级，尤其是在第五视频的如下部分期间更是如此：在这些部分中，基于触觉信号1710的内容，触觉效果更明显。
图18是根据本发明一实施例的沉浸度汇总图。该沉浸度汇总图将研究的参与者对于视频的LFE触觉版本指示出的沉浸感评级与研究的参与者对于视频的非触觉版本指示出的沉浸感评级相比较，其中沉浸感评级是指示出参与者有多沉浸到观看体验中的从0到9的评级，其中0表示最低量的沉浸度，9表示最高量的沉浸度。
图18的沉浸度汇总图包括沉浸度评级集合1810、1815、1820、1825、1830、1835、1840、1845、1850和1855。沉浸度评级集合1810表示对于研究的第一视频的非触觉版本的沉浸度评级。沉浸度评级集合1815表示对于第一视频的LFE触觉版本的沉浸度评级。沉浸度评级集合1815的平均评级(即，6.15)高于沉浸度评级集合1810的平均评级(即，4.9)。此外，沉浸度评级集合1820表示对于研究的第二视频的非触觉版本的沉浸度评级。沉浸度评级集合1825表示对于第二视频的LFE触觉版本的沉浸度评级。沉浸度评级集合1825的平均评级(即，6.7)高于沉浸度评级集合1820的平均评级(即，5.2)。沉浸度评级集合1830表示对于研究的第三视频的非触觉版本的沉浸度评级。沉浸度评级集合1835表示对于第三视频的LFE触觉版本的沉浸度评级。沉浸度评级集合1835的平均评级(即，6.7)高于沉浸度评级集合1830的平均评级(即，5.4)。
此外，沉浸度评级集合1840表示对于研究的第四视频的非触觉版本的沉浸度评级。沉浸度评级集合1845表示对于第四视频的LFE触觉版本的沉浸度评级。沉浸度评级集合1845的平均评级(即，6.55)高于沉浸度评级集合1840的平均评级(即，4.65)。沉浸度评级集合1850表示对于研究的第五视频的非触觉版本的沉浸度评级。沉浸度评级集合1855表示对于第五视频的LFE触觉版本的沉浸度评级。沉浸度评级集合1855的平均评级(即，6.9)高于沉浸度评级集合1850的平均评级(即，5.15)。从而，视频的LFE触觉版本的沉浸度评级与视频的非触觉版本的沉浸度评级之间的所有差别都是统计上显著的。此外，平均起来，研究的参与者对视频的LFE触觉版本的沉浸感评级与视频的非触觉版本相比高30％。
图19是根据本发明一实施例的体验品质汇总图。该体验品质汇总图将研究的参与者对于视频的LFE触觉版本指示出的QoE评级与研究的参与者对于视频的非触觉版本指示出的QoE评级相比较，其中QoE评级是指示出观看体验的品质的从0到100的评级，其中0表示最低品质，100表示最高品质。
图19的体验品质汇总图包括QoE评级集合1910、1915、1920、1925、1930、1935、1940、1945、1950和1955。QoE评级集合1910表示对于研究的第一视频的非触觉版本的QoE评级。QoE评级集合1915表示对于第一视频的LFE触觉版本的QoE评级。QoE评级集合1915的平均评级(即，70.4)高于QoE评级集合1910的平均评级(即，58.6)。此外，QoE评级集合1920表示对于研究的第二视频的非触觉版本的QoE评级。QoE评级集合1925表示对于第二视频的LFE触觉版本的QoE评级。QoE评级集合1925的平均评级(即，74.1)高于QoE评级集合1920的平均评级(即，62.5)。QoE评级集合1930表示对于研究的第三视频的非触觉版本的QoE评级。QoE评级集合1935表示对于第三视频的LFE触觉版本的QoE评级。QoE评级集合1935的平均评级(即，74.5)高于QoE评级集合1930的平均评级(即，63.9)。
此外，QoE评级集合1940表示对于研究的第四视频的非触觉版本的QoE评级。QoE评级集合1945表示对于第四视频的LFE触觉版本的QoE评级。QoE评级集合1945的平均评级(即，75.1)高于QoE评级集合1940的平均评级(即，60)。QoE评级集合1950表示对于研究的第五视频的非触觉版本的QoE评级。QoE评级集合1955表示对于第五视频的LFE触觉版本的QoE评级。QoE评级集合1955的平均评级(即，75)高于QoE评级集合1950的平均评级(即，58.9)。从而，对于视频的LFE触觉版本的QoE评级与对于视频的非触觉版本的QoE评级之间的所有差别都是统计上显著的。另外，平均起来，研究的参与者对视频的LFE触觉版本的评级与视频的非触觉版本相比高21％。
图20是根据本发明一实施例的用于将LFE音频信号转换成触觉信号的流程图。在一实施例中，图20的流程图的功能以及图21、22、23、24、25、28、29和30的流程图的功能中的每一个是由存储在存储器或其他计算机可读或有形介质中并且由处理器执行的软件来实现的。在其他实施例中，每个功能可由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或者硬件和软件的任何组合来执行。在某些实施例中，可省略一些功能。
流程开始并前进到2001。在2001，接收源音频信号。源音频信号包括多个音频信号，其中这些音频信号可被包含在多个轨道或通道内。该多个音频信号中的至少一个可以是LFE音频信号，其中该LFE音频信号被包含在LFE轨道或LFE通道内。流程随后前进到2003。
在2003，源音频信号被下混频到包括LFE音频信号的环绕编码。在某些实施例中，该环绕编码可以是5.1环绕编码。流程随后前进到2005。
在2005，从源音频信号中提取LFE音频信号。在LFE音频信号被编码在源音频信号内的某些实施例中，所提取的LFE音频信号还被解码。流程随后前进到2007。
在2007，将LFE音频信号转换成触觉信号。在某些实施例中，可通过对LFE音频信号进行音高偏移来将LFE音频信号转换成触觉信号。通过对LFE音频信号进行音高偏移，可将LFE音频信号的原始音高偏移到触觉输出设备例如致动器的目标音高范围内的目标音高。另外，通过将LFE音频信号的原始音高偏移到目标音高，可将LFE音频信号的一个或多个原始频率偏移到一个或多个目标频率，其中一个或多个目标频率的比率与一个或多个原始频率的比率相同。在某些实施例中，LFE音频信号的原始音高可在有限音高范围内，例如20Hz–100Hz。在一些实施例中，LFE音频信号的原始音高的偏移是将原始音高偏移到该有限音高范围之外。在这些实施例的一些中，LFE音频信号的原始音高的偏移是将原始音高完全偏移到该有限音高范围之外。在其他实施例中，可通过对LFE音频信号进行频率偏移来将LFE音频信号转换成触觉信号。通过对LFE音频信号进行频率偏移，可将LFE音频信号的一个或多个原始频率偏移到目标频率范围内的一个或多个目标频率，其中一个或多个目标频率的比率与一个或多个原始频率的比率不相同。在某些实施例中，LFE音频信号的一个或多个原始频率可在有限频率范围内，例如20Hz–100Hz。在一些实施例中，LFE音频信号的一个或多个原始频率的偏移是将一个或多个原始频率偏移到该有限频率范围之外。在这些实施例的一些中，LFE音频信号的一个或多个原始频率的偏移是将一个或多个原始频率完全偏移到该有限频率范围之外。流程随后前进到2009。
在2009，将触觉信号重采样到触觉输出设备的目标驱动频率。示例目标驱动频率是8KHz。流程随后前进到2011。
在2011，将触觉信号编码在支持触觉数据编码的文件的容器或流数据格式中。在某些实施例中，触觉信号被编码在LFE音频信号内。触觉信号可随后被从容器中提取、被解码并被发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果。流程随后结束。
在某些实施例中，可(自动地或者由用户)提供一个或多个参数来调整音高偏移或频率偏移以控制音高偏移或频率偏移的量或位置。另外，在一些实施例中，在音高偏移或频率偏移之前或之后可执行对LFE音频信号的额外处理。该额外处理可包括滤波或其他“平滑”操作以去除由音高偏移或频率偏移引入的噪声。另外，在一些实施例中，可以实时或近实时地将触觉信号发送到触觉输出设备。
图21是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。流程开始并前进到2101。在2101，接收源音频信号。源音频信号包括多个音频信号，其中这些音频信号可被包含在多个轨道或通道内。该多个音频信号中的至少一个可以是LFE音频信号，其中该LFE音频信号被包含在LFE轨道或LFE通道内。流程随后前进到2103。
在2103，源音频信号被实时地空间化到包括LFE音频信号的环绕编码。在某些实施例中，该环绕编码可以是5.1环绕编码。流程随后前进到2105。
在2105，从源音频信号中提取LFE音频信号。在LFE音频信号被编码在源音频信号内的某些实施例中，所提取的LFE音频信号还被解码。流程随后前进到2107。
在2107，将LFE音频信号转换成触觉信号。在某些实施例中，可通过对LFE音频信号进行音高偏移来将LFE音频信号转换成触觉信号，如前文结合图20所述的那样。在另一些实施例中，可通过对LFE音频信号进行频率偏移来将LFE音频信号转换成触觉信号，如前文结合图20所述的那样。流程随后前进到2109。
在2109，将触觉信号重采样到触觉输出设备例如致动器的目标驱动频率。示例的目标驱动频率是8KHz。流程随后前进到2111。
在2111，将触觉信号实时地发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果。流程随后结束。
图22是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。流程开始并前进到2201。在2201，接收源音频信号。源音频信号包括多个音频信号，其中这些音频信号可被包含在多个轨道或通道内。该多个音频信号中的至少一个可以是LFE音频信号，其中该LFE音频信号被包含在源音频信号的LFE轨道或LFE通道内。流程随后前进到2203。
在2203，将源音频信号解码成多个音频信号，其中该多个音频信号包括LFE音频信号。流程随后前进到2205。
在2205，从源音频信号中提取LFE音频信号。在LFE音频信号被编码在源音频信号内的某些实施例中，所提取的LFE音频信号还被解码。流程随后前进到2207。
在2207，将LFE音频信号转换成触觉信号。在某些实施例中，可通过对LFE音频信号进行音高偏移来将LFE音频信号转换成触觉信号，如前文结合图20所述的那样。在其他实施例中，可通过对LFE音频信号进行频率偏移来将LFE音频信号转换成触觉信号，如前文结合图20所述的那样。流程随后前进到2209。
在2209，将触觉信号重采样到触觉输出设备例如致动器的目标驱动频率。示例的目标驱动频率是8KHz。流程随后前进到2211。
在2211，将触觉信号实时地发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果。流程随后结束。
图23是根据本发明一实施例的用于将触觉信号编码在低频效果信号内的流程图。将触觉信号编码在音频信号内可能是方便的，因为可在单个波形或其他类型的信号中记录、存储和传送用于两个不同输出的内容。在LFE音频信号的情况下，有限频率范围(例如20Hz–120Hz)中的音频信号被存储并且在具有相同频率范围的音频输出设备例如扬声器处被重放。从而，根据一实施例，触觉信号可被编码在LFE音频信号的任何有限带宽频率范围内，例如高频范围(例如大于200Hz)，而不干扰LFE音频信号内包含的音频数据。基于触觉信号生成的触觉效果的设计可在普通频率范围中进行，例如1Hz–200Hz，但在将触觉信号编码在LFE音频信号中时，触觉信号可被偏移到任何有限带宽频率范围，从而其可在不干扰LFE音频信号的音频数据的情况下被存储。此编码的一个优点在于触觉信号可直接从LFE音频信号得出，或者由触觉效果开发者编写，并且触觉信号可被编码在同一LFE音频信号中。
流程开始并前进到2301。在2301，创建包括音频数据的音频信号。该音频信号还包括LFE音频信号。该LFE音频信号可包括具有在有限频率范围例如20Hz–120Hz内的一个或多个频率的音频数据。流程随后前进到2303。
在2303，创建包括触觉数据的触觉信号。触觉数据可包括在普通频率范围例如1Hz–200Hz内的一个或多个频率。流程随后前进到2305。
在2305，将触觉信号编码在音频信号的LFE音频信号内。在某些实施例中，可将触觉信号编码在LFE音频信号的目标频率范围内。LFE音频信号的目标频率范围可以是任何有限带宽频率范围，例如高频范围(例如大于200Hz)。在这些实施例中，在将触觉信号编码在LFE音频信号的有限带宽频率范围内之前，可将触觉信号的一个或多个频率从普通频率范围内的一个或多个频率偏移到有限带宽频率范围内的一个或多个频率。流程随后前进到2307。
在2307，音频信号或者被存储在文件的容器或流数据格式内，或者被传送。流程随后结束。
图24是根据本发明一实施例的用于从低频效果信号解码触觉信号的流程图。如前所述，基于触觉信号生成的触觉效果的设计可在普通频率范围中完成，但在将触觉信号编码在LFE音频信号中时，可将触觉信号偏移到任何有限带宽频率范围，从而其可被存储而不干扰LFE音频信号的音频数据。在解码时，可以使用滤波技术来从音频信号中提取LFE音频信号，并且进一步从LFE音频信号中提取触觉信号。滤波技术还可用于对触觉信号进行从有限带宽频率范围到普通频率范围的频率偏移。
流程开始并前进到2401。在2401，确定执行解码的设备是否具有触觉支持(即，该设备是否能够输出触觉效果)。如果该设备不具有触觉支持，则流程前进到2403。如果该设备具有触觉支持，则流程前进到2405。
在2403，在音频输出设备处播放包括LFE音频信号的音频信号。在某些实施例中，音频信号被发送到音频输出设备，其中音频信号使音频输出设备输出一个或多个音频效果。流程随后结束。
在2405，从音频信号的LFE音频信号中提取触觉信号并对其进行解码。在某些实施例中，从LFE音频信号的目标频率范围中提取触觉信号。LFE音频信号的目标频率范围可以是任何有限带宽频率范围，例如高频范围(例如大于200Hz)。在这些实施例中，在对触觉信号解码之后，可将触觉信号的一个或多个频率从有限带宽频率范围内的一个或多个频率偏移到普通频率范围例如1Hz–200Hz内的一个或多个频率。流程随后前进到2407。
在2407，在触觉输出设备处播放触觉信号。在某些实施例中，触觉信号被发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果。流程随后前进到2409。
在2409，在音频输出设备处播放包括LFE音频信号的音频信号。在某些实施例中，音频信号被发送到音频输出设备，其中音频信号使得音频输出设备输出一个或多个音频效果。流程随后结束。
图25是根据本发明一实施例的用于将LFE音频信号转换成多个触觉信号的流程图。流程开始并前进到2501。在2501，接收源音频信号。源音频信号包括多个音频信号，其中这些音频信号可被包含在多个轨道或通道内。这多个音频信号中的至少一个可以是LFE音频信号，其中该LFE音频信号可被包含在LFE轨道或LFE通道内。流程随后前进到2503。
在2503，从源音频信号中提取LFE音频信号。在LFE音频信号被编码在源音频信号内的某些实施例中，所提取的LFE音频信号还被解码。流程随后前进到2505。
在2505，将LFE音频信号转换成多个触觉信号。在某些实施例中，LFE音频信号到触觉信号的转换可以是顺序的。在另一些实施例中，LFE音频信号到触觉信号的转换可以是同时的。另外，在某些实施例中，可通过对LFE音频信号进行音高偏移来将LFE音频信号转换成各个触觉信号。通过对LFE音频信号进行音高偏移，可将LFE音频信号的原始音高偏移到触觉输出设备例如致动器的目标音高范围内的目标音高。可以有多个触觉输出设备，并且各个触觉输出设备可具有不同的目标音高范围。从而，LFE音频信号的各个音高偏移可将LFE音频信号的原始音高偏移到各个触觉输出设备的各个不同的目标音高范围内的目标音高。在其他实施例中，可通过对LFE音频信号进行频率偏移来将LFE音频信号转换成各个触觉信号。通过对LFE音频信号进行频率偏移，可将LFE音频信号的一个或多个原始频率偏移到触觉输出设备例如致动器的目标频率范围内的一个或多个目标频率。可以有多个触觉输出设备，并且各个触觉输出设备可具有不同的目标频率范围。从而，LFE音频信号的各个频率偏移可将LFE音频信号的一个或多个原始频率偏移到各个触觉输出设备的各个不同的目标频率范围内的一个或多个目标频率。流程随后前进到2507。
在2507，实时地将触觉信号发送到触觉输出设备，其中每个触觉信号使得相应的触觉输出设备输出一个或多个触觉效果。在替换实施例中，每个触觉信号被编码在支持触觉数据编码的文件的容器或流数据格式中。在某些实施例中，至少一个触觉信号被编码在LFE音频信号内。每个触觉信号可随后被从容器中提取、被解码并被发送到相应的触觉输出设备，其中每个触觉信号使得相应的触觉输出设备输出一个或多个触觉效果。流程随后结束。
图26A-26D是根据本发明一实施例的示例前台和后台触觉应用的屏幕视图。将会认识到，多于一个触觉使能软件应用可同时在具有触觉致动器的设备上运行，并且在虚拟窗口环境顶部的窗口可重叠或遮蔽在底部的任何窗口的一些部分。图26A示出了具有位于屏幕中心的虚拟下载应用按钮的示例应用窗口的屏幕视图。在图26B中，用户选择下载应用按钮，于是图26C示出了在屏幕中心具有状态条的新屏幕视图，状态条指示下载完成百分比。状态条与紧挨在该状态条下方示出的完成百分比文本相对应地从左到右成比例地改变颜色。因为该状态条是触觉化的，所以与状态条的视觉显示同时地生成触觉效果信号并将其输出到触觉致动器。在一实施例中，该触觉效果信号与下载完成百分比相对应地随着时间而变化。
图26D示出了文本输入窗口的屏幕视图。被用户选择为活动窗口的文本输入窗口在前台运行并且完全遮蔽同时在后台运行的下载应用状态条。虽然下载应用窗口不再是活动窗口并且状态条在视觉显示上被完全遮蔽，但状态条触觉效果信号继续被生成并作为后台触觉效果被输出到触觉致动器。因为文本输入窗口也是触觉化的，所以对于每个键入的字符，与该键入的字符在文本输入窗口中的视觉显示同时地生成前台触觉效果信号并将其输出到触觉致动器。在一实施例中，前台和后台触觉效果信号被以如下这种方式来组合、修改或合成：使得用户将前台和后台触觉效果感知为不同的触觉效果，即使它们两者都是经由单个触觉致动器同时输出的。
触觉效果的感知具有三个不同的级别。第一级别是感知阈，其是用户察觉到触觉效果所需施加的最低限度触觉效果信号成分。这种触觉成分包括但不限于触觉效果信号的强度、频率、持续时间、节奏和动态。将会认识到，触觉感知阈可以是极为非线性的并且在各用户之间可以有很大的不同，并且取决于许多因素甚至对于单个用户也可有所不同，这些因素例如是用户对触摸的敏感度、用户可能在多紧地握着手持设备、环境温度、用户的年龄、或者用户的物理活动或环境(例如行走或驾驶车辆)等等。
触觉效果感知的第二级别是引起注意阈，其是导致将用户的注意力从主焦点吸引到引起注意的触觉效果本身的所施加的触觉效果信号的最小变化。将会认识到，引起注意阈在用户之间可有所不同或者取决于如上所述的许多因素对于单个用户可有所不同，并且也可取决于引起注意是否与各种类型的触觉效果有关而有所不同，所述各处类型的触觉效果包括正加性效果，或者负减性效果，或者触觉效果的变化。触觉效果感知的第三级别是痛阈，其也是在用户之间有所不同或者取决于如上所述的许多因素对于单个用户有所不同的。将会认识到，在一些情况下，感知阈可与引起注意阈相同，引起注意阈也可与痛阈相同。
本发明的实施例与多种多样的触觉致动器兼容，并且可呈现具有不同强度级别的多通道触觉效果数据。在一实施例中，该多个通道由前台通道以及一个或多个后台通道表示。后台触觉效果是达到或超过感知阈的任何触觉效果或触觉效果成分。前台触觉效果是达到或超过引起注意阈的任何触觉效果或触觉效果成分。在一实施例中，前台或后台触觉效果可以是一组限定的静态或动态触觉效果或效果成分。在另一实施例中，前台或后台触觉效果可以是响应于用户输入、系统输入、设备传感器输入或环境输入的一组自适应的静态或动态触觉效果或触觉效果成分。
利用多个触觉通道，例如前台和后台通道，使得能够与更明显的触觉效果同时地提供微妙触觉效果，从而允许了用户在不同效果之间进行区分并将它们识别为源自不同来源。在一实施例中，低重要度或高密度信息是可感知的，但不是压倒性的或导致从主任务分心，并且多个通道还实现了触觉环境知晓(awareness)。例如，在暴风雨期间监视本地天气的触觉使能手持或移动设备激活后台触觉通道来提供随着雨更大或更小而增大或减小的雨滴的感受。
在一实施例中，前台和后台通道用于区分源自本地设备的反馈和源自另一用户的反馈。例如，从另一用户到达的消息通知激活前台触觉效果，而本地设备上的工作中的时钟的状态激活后台触觉效果。
在一实施例中，前台和后台通道用于区分源自本地设备的反馈和源自主用户的反馈。例如，源自主用户在触觉使能键盘上键入的反馈激活前台触觉效果，而本地设备上的进度条的状态激活后台触觉效果。
在一实施例中，前台和后台通道用于区分虚拟仿真或动画之内或之间的反馈。例如，虚拟滚动球的运动激活前台触觉效果，而该球在其上滚动的虚拟纹理激活后台触觉效果。
在一实施例中，后台触觉效果是加性的，使得当同时或紧接着接收到多个后台效果时，整体结果是触觉效果的自然的或逐渐的前台化。例如，从非主用户接收的单个后台文本消息“推特”通知可能很容易被主用户漏掉或忽略，但当在短时间中接收到构成“推特风暴”的数百或数千个消息通知时，多个触觉效果加起来并且整体结果是在前台的触觉体验，其将主用户的注意力吸引到该事件。
在一实施例中，后台触觉效果用于提供商业广告或任何其他类型的触觉编码内容的不令人分心的或“礼貌”的增强。例如，一种碳酸软饮料的广告提供后台触觉“冒气泡”效果，如果用户在注意的话则该效果可被感觉到，但否则的话就很容易被忽略。
将会认识到，可在一个或多个前台或后台触觉通道上由任何数目的触觉事件表示诸如用户、设备、系统、应用或网络输入之类的任何类型的输入。示例包括但不限于多任务应用、传入的电子邮件、“推特”消息通知、被动通知、传出的消息、进度条、蓝牙或本地设备配对、网络添加或丢弃连接、连续天线信号水平，等等。
图27A-27B是根据本发明一实施例的触觉反馈的示例多数据通道的显示曲线图。图27A示出对于基于优先级的触觉事件，触觉信号随着时间的感知幅值的曲线图，以及通知活动的相应曲线图。在时刻T1，与中等优先级通知N1和N2相对应的触觉信号2701的感知幅值在后台通道2703中开始。在接收到高优先级通知N3时，在时刻T2，触觉信号2701开始升高，直到在时刻T3触觉信号2701越过从后台通道2703到前台通道2705的阈值为止。触觉信号2701继续增大直到峰值水平2707，其中在没有任何另外的通知的情况下，触觉信号2701减小并在时刻T4越过从前台通道2705到后台通道2703的阈值。
在时刻T5，对高优先级通知的接收再次使得触觉信号2701升高，直到在时刻T6触觉信号2701越过从后台通道2703到前台通道2705的阈值为止。触觉信号2701继续增大直到峰值水平2709，其中在没有任何另外的通知的情况下，触觉信号2701减小并在时刻T7越过从前台通道2705到后台通道2703的阈值。将会认识到，穿插有高优先级通知的低优先级或中等优先级的流导致在后台通道2703和前台通道2705之间转变而没有限制的触觉信号2701。
图27B示出对于基于频率的触觉事件，触觉信号随着时间的感知幅值的曲线图，以及通知活动的相应曲线图。在时刻T8，与相对不频繁的通知N1至N3对应的触觉信号2711的感知幅值在后台通道2713中开始。在接收到高频率通知时，在时刻T9，触觉信号2711开始升高，直到在时刻T10触觉信号2711越过从后台通道2713到前台通道2715的阈值为止。随着继续接收高频率通知，触觉信号2711继续增大直到峰值水平2717，其中在没有任何另外的通知的情况下，触觉信号2711减小并在时刻T11越过从前台通道2715到后台通道2713的阈值。将会认识到，穿插有高频率通知的低频率通知的流导致在后台通道2713和前台通道2715之间转变而没有限制的触觉信号2711。在一实施例中，基于优先级的触觉事件和基于频率的触觉事件可以彼此穿插或在任何时间或以任何顺序被接收，并且可按任何方式用于生成整体组合触觉信号。
图28是根据本发明一实施例的用于显示基于优先级的触觉事件的触觉反馈的多个数据通道的流程图。在2801，系统接收具有第一和第二优先级别的第一和第二触觉效果信号的输入。将会认识到，可以使用任何类型或数目的优先级别，例如前台和后台优先级别，或者任何数目的文字数字或任何其他顺序的或非顺序的优先级别，没有限制。第一和第二触觉效果信号可以按任何顺序或时间序列来接收，或者是顺序地、具有非重叠的时间段，或者是并行地、具有重叠的或同时发生的时间段。在2803，系统将第一优先级别与第二优先级别相比较。如果在2805，第一优先级别小于第二优先级别，则在2807，利用第二触觉信号生成交互参数。将会认识到，可以使用任何类型的输入合成方法来从一个或多个触觉效果信号生成交互参数，包括但不限于以下表1中列出的合成示例的方法。如果在2809，第一优先级别等于第二优先级别，则在2811，利用第一和第二触觉信号生成交互参数。如果在2813，第一优先级别大于第二优先级别，则在2815，利用第一触觉信号生成交互参数。在2817，根据交互参数向触觉致动器施加驱动信号。
表1–合成的方法
加性合成–组合通常具有不同幅度的输入
减性合成–对复杂信号或多个信号输入的滤波
频率调制合成–利用一个或多个算子调制载波信号
采样–使用记录的输入作为经历修改的输入源
复合合成–利用人造和采样的输入来建立所得“新”输入
相位失真–在重放期间更改存储在波表中的波形的速度
波形成形–故意使信号失真以产生经修改的结果
重合成–在重放前修改经数字采样的输入
粒状合成–将若干个小输入片段组合成新输入
线性预测编码–与用于语音合成类似的技术
直接数字合成–生成波形的计算机修改
波定序–对若干个小片段进行线性组合以创建新输入
向量合成–用于在任何数目的不同输入源之间渐变的技术
物理建模–虚拟运动的物理特性的数学方程
图29是根据本发明一实施例的用于显示基于频率的触觉事件的触觉反馈的多个数据通道的流程图。在2901，系统在非零时间段T中接收一个或多个触觉效果通知N。在2903，系统生成通知频率比率R，其是至少利用触觉效果通知N的数目和非零时间段T来计算的。在一实施例中，通知频率比率R被计算为N除以T。在2905，系统将通知频率比率R与前台触觉阈值F相比较。触觉阈值F可以是静态或动态的并且可取决于许多因素而随时间变化，这些因素例如是用户对触摸的敏感度、用户可能多紧地握着手持设备、环境温度、用户的年龄、或者用户的物理活动或环境(例如行走或驾驶车辆)等等。将会认识到，可以直接计算通知频率比率R或者可以与触觉阈值F的宽范围变化对应地对通知频率比率R进行规范化，并且可以直接计算触觉阈值F或者可以与通知频率比率R的宽范围变化对触觉阈值F进行规范化。
如果在2907，通知频率比率R小于前台触觉阈值F，则在2909，利用后台触觉信号生成交互参数。如果在2911，通知频率比率R大于或等于前台触觉阈值F，则在2913，利用前台触觉信号生成交互参数。在2915，根据交互参数向触觉致动器施加驱动信号。
图30是根据本发明另一实施例的用于将LFE音频信号转换成触觉信号的流程图。流程开始并前进到3001。在3001，接收LFE音频信号。流程随后前进到3003。
在3003，将LFE音频信号转换成触觉信号。在某些实施例中，LFE音频信号被变换，并且经变换的LFE音频信号被用作触觉信号。流程随后前进到3005。
在3005：(a)触觉信号被发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果；或者(b)触觉信号被编码在支持触觉数据编码的文件的容器或流数据格式中。在触觉信号被编码的某些实施例中，触觉信号被编码在LFE音频信号内。另外，在触觉信号被编码的实施例中，触觉信号可随后被从容器中提取、被解码并被发送到触觉输出设备，其中触觉信号使得触觉输出设备输出一个或多个触觉效果。流程随后结束。
从而，在一实施例中，系统可从源音频信号中提取LFE音频信号，并将LFE音频信号转换成触觉信号。触觉信号随后可被发送到触觉输出设备，例如致动器，其中触觉信号可使得触觉输出设备输出一个或多个触觉效果。系统可协调一个或多个触觉效果的输出与源音频信号的输出，这从体验到了音频内容和触觉内容两者的用户的角度来看可产生增强的体验。另外，通过仅转换源音频信号的分量(即，LFE音频信号)，而不是整个源音频信号，该系统与转换整个源音频信号的系统相比不那么计算密集。另外，在另一实施例中，系统可将触觉信号编码在音频信号的LFE音频信号内。利用LFE音频信号可降低编码、存储、传送和解码触觉信号的整个体系结构的复杂度。对音频信号的唯一添加是添加到音频信号的LFE音频信号的有限带宽频率范围(例如高频范围)的触觉数据。然而，这个附加数据不影响LFE音频数据，因为音频输出设备通常不具有输出有限带宽频率数据(例如高频数据)的能力。因此，这个编码可与非触觉重放设备后向兼容。该编码的另一个优点是同一音频效果设计者可在同一信号中设计LFE音频效果以及触觉效果。该信号随后可被相应地分发和重放。
本发明还可以实现在以下各项描述的实施例中。
项目1、一种计算机可读介质，其上存储有指令，所述指令在由处理器执行时使该处理器产生一个或多个触觉效果，所述产生包括：
接收包括低频效果音频信号的音频信号；
从所述音频信号提取所述低频效果音频信号；
通过将所述低频效果音频信号的一个或多个频率偏移到触觉输出设备的目标频率范围内的一个或多个频率来将所述低频效果音频信号转换成触觉信号；以及
将所述触觉信号发送到所述触觉输出设备，其中所述触觉信号使所述触觉输出设备输出一个或多个触觉效果。
项目2、如项目1所述的计算机可读介质，其中，所述触觉信号被实时地发送到所述触觉输出设备。
项目3、如项目1所述的计算机可读介质，其中，所述产生还包括将所述触觉信号编码在文件的容器内。
项目4、如项目1所述的计算机可读介质，其中，所述产生还包括将所述触觉信号编码在所述低频效果音频信号内。
项目5、如项目1所述的计算机可读介质，其中，所述产生还包括将所述触觉信号重采样到所述触觉输出设备的目标驱动频率。
项目6、如项目1所述的计算机可读介质，其中，所述产生还包括对所述音频信号进行下混频。
项目7、如项目1所述的计算机可读介质，其中，所述低频效果音频信号的一个或多个频率在有限频率范围内。
项目8、如项目7所述的计算机可读介质，其中，所述有限频率范围包括20Hz–120Hz的范围。
项目9、如项目7所述的计算机可读介质，其中，偏移所述低频效果音频信号的一个或多个频率还包括将所述低频效果音频信号的一个或多个频率偏移到所述有限频率范围之外。
项目10、如项目7所述的计算机可读介质，其中，偏移所述低频效果音频信号的一个或多个频率还包括将所述低频效果音频信号的一个或多个频率完全偏移到所述有限频率范围之外。
项目11、一种由计算机实施的用于产生一个或多个触觉效果的方法，所述由计算机实施的方法包括：
接收包括低频效果音频信号的音频信号；
从所述音频信号提取所述低频效果音频信号；
通过将所述低频效果音频信号的音高偏移到触觉输出设备的目标音高范围内的音高来将所述低频效果音频信号转换成触觉信号；以及
将所述触觉信号发送到所述触觉输出设备，其中所述触觉信号使所述触觉输出设备输出一个或多个触觉效果。
项目12、如项目11所述的由计算机实施的方法，还包括将所述触觉信号重采样到所述触觉输出设备的目标驱动频率。
项目13、如项目11所述的由计算机实施的方法，其中，所述低频效果音频信号的音高在有限音高范围内。
项目14、如项目13所述的由计算机实施的方法，其中，偏移所述低频效果音频信号的音高还包括将所述低频效果音频信号的音高偏移到所述有限音高范围之外。
项目15、如项目13所述的由计算机实施的方法，其中，偏移所述低频效果音频信号的音高还包括将所述低频效果音频信号的音高完全偏移到所述有限音高范围之外。
项目16、一种用于产生一个或多个触觉效果的系统，该系统包括：
存储器，被配置为存储低频效果转换模块；以及
处理器，被配置为执行存储在所述存储器上的所述低频效果转换模块；
其中，所述低频效果转换模块被配置为接收包括低频效果音频信号的音频信号；
其中，所述低频效果转换模块还被配置为从所述音频信号提取所述低频效果音频信号；
其中，所述低频效果转换模块还被配置为通过将所述低频效果音频信号的音高偏移到触觉输出设备的目标音高范围内的音高来将所述低频效果音频信号转换成触觉信号；并且
其中，所述低频效果转换模块还被配置为将所述触觉信号发送到所述触觉输出设备，其中所述触觉信号使所述触觉输出设备输出一个或多个触觉效果。
项目17、如项目16所述的系统，其中，所述低频效果转换模块还被配置为将所述触觉信号重采样到所述触觉输出设备的目标驱动频率。
项目18、如项目16所述的系统，其中，所述低频效果音频信号的音高在有限音高范围内。
项目19、如项目18所述的系统，其中，所述低频效果转换模块还被配置为将所述低频效果音频信号的音高偏移到所述有限音高范围之外。
项目20、如项目18所述的系统，其中，所述低频效果转换模块还被配置为将所述低频效果音频信号的音高完全偏移到所述有限音高范围之外。
项目21、一种计算机可读介质，其上存储有指令，所述指令在被处理器执行时使该处理器产生一个或多个触觉效果，所述产生包括：
创建包括低频效果音频信号的音频信号；
创建触觉信号；
将所述触觉信号编码在所述低频效果音频信号内；以及
将所述音频信号存储在文件的容器内。
项目22、如项目21所述的计算机可读介质，其中，将所述触觉信号编码在所述低频效果音频信号内还包括将所述触觉信号编码在所述低频效果音频信号的目标频率范围内。
项目23、如项目21所述的计算机可读介质，所述产生还包括传送所述音频信号。
项目24、如项目21所述的计算机可读介质，所述产生还包括：
从所述音频信号的所述低频效果音频信号中提取经编码的触觉信号；
对所述经编码的触觉信号进行解码；
将所述触觉信号发送到触觉输出设备，其中所述触觉信号使所述触觉输出设备输出一个或多个触觉效果；以及
将所述音频信号发送到音频输出设备，其中所述音频信号使所述音频输出设备输出一个或多个音频效果。
项目25、如项目21所述的计算机可读介质，所述产生还包括：
仅将所述音频信号发送到音频输出设备，其中所述音频信号使所述音频输出设备仅输出一个或多个音频效果。
项目26、一种计算机可读介质，其上存储有指令，所述指令在被处理器执行时使该处理器产生一个或多个触觉效果，所述产生包括：
接收包括低频效果音频信号的音频信号；
从所述音频信号提取所述低频效果音频信号；
通过将所述低频效果音频信号的一个或多个频率偏移到多个触觉输出设备的多个目标频率范围内的一个或多个频率来将所述低频效果音频信号转换成多个触觉信号；以及
将所述多个触觉信号发送到所述多个触觉输出设备，其中各个触觉信号使对应的触觉输出设备输出一个或多个触觉效果。
项目27、一种计算机可读介质，其上存储有指令，所述指令在被处理器执行时使该处理器产生一个或多个触觉效果，所述产生包括：
接收低频效果音频信号；
将所述低频效果音频信号转换成触觉信号；以及
进行以下操作之一：(a)将所述触觉信号发送到所述触觉输出设备，其中所述触觉信号使所述触觉输出设备输出一个或多个触觉效果；或者(b)将所述触觉信号编码在文件的容器内。
在本说明书各处描述的本发明的特征、结构或特性可在一个或多个实施例中按任何适当的方式被组合。例如，在本说明书各处对“一实施例”、“一些实施例”、“某实施例”、“某些实施例”或其他类似语言的使用指的是如下事实：联系该实施例描述的特定特征、结构或特性可被包括在本发明的至少一个实施例中。从而，在本说明书各处出现的短语“一实施例”、“一些实施例”、“某实施例”、“某些实施例”或其他类似语言不一定都指同一组实施例，并且所描述的特征、结构或特性可在一个或多个实施例中按任何方式被组合。
本领域普通技术人员将容易理解，如上所述的本发明可以以具有不同顺序的步骤来实现，和/或以具有与所公开的不同的配置的元素来实现。因此，虽然已基于这些优选实施例描述了本发明，但本领域技术人员将清楚，在维持在本发明的精神和范围内的同时，某些修改、变化和替换构造将是明显的。因此，为了确定本发明的界限和范围，应当参考所附权利要求。

Claims (14)

1.一种方法，包括：
基于多通道音频信号生成低频信息音频信号；
从低频信息音频信号合成触觉信号；
将触觉信号的一个或多个触觉效果参数提供给用户，用于调整所述一个或多个触觉效果参数；
接收对所述一个或多个触觉效果参数中的至少一个的一个或多个用户调整；
基于所述一个或多个用户调整来调整所述触觉信号，以获得调整后的触觉信号；以及
将调整后的触觉信号嵌入对至少所述多通道音频信号编码的数据流中，其中调整后的触觉信号在低频信息音频信号内编码。
2.如权利要求1所述的方法，其中生成低频信息音频信号包括从多通道音频信号中提取低频效果音频通道信号。
3.如权利要求1所述的方法，其中生成低频信息音频信号包括基于多通道音频信号的右通道、多通道音频信号的左通道、多通道音频信号的左环绕通道、多通道音频信号的右环绕通道和多通道音频信号的低频效果通道，生成复合音频信号。
4.如权利要求1所述的方法，其中所述一个或多个触觉效果参数中的一个是频率、大小或者基于一个或多个运算符修改触觉信号的频率调制合成触觉效果参数。
5.如权利要求1所述的方法，其中嵌入触觉信号包括压缩触觉信号以产生压缩后的触觉信号，并将压缩后的触觉信号嵌入容器或支持触觉数据编码的流式数据格式中。
6.如权利要求2所述的方法，其中触觉信号被编码在低频效果音频通道信号内。
7.如权利要求1所述的方法，其中通过对低频信息音频信号施加音高偏移来合成触觉信号。
8.如权利要求7所述的方法，其中所述一个或多个触觉效果参数中的一个是音高偏移。
9.如权利要求1所述的方法，其中嵌入包括在杜比数字音频信号的低频效果轨道中编码触觉信号。
10.如权利要求1所述的方法，其中通过对低频信息音频信号施加频率偏移来合成触觉信号。
11.如权利要求10所述的方法，其中所述一个或多个触觉效果参数中的一个是频率偏移。
12.一种方法，包括：
接收嵌入有调整后的触觉轨道和多通道音频信号的数据流，其中基于从多通道音频信号的低频信息音频信号合成的触觉轨道和对触觉轨道的至少一个触觉效果参数的一个或多个用户调整生成所述调整后的触觉轨道，其中调整后的触觉信号被编码在低频信息音频信号内；
解码数据流以产生多通道音频信号；
将多通道音频信号发送给一个或多个音频输出设备；
解码调整后的触觉轨道以产生触觉信号；和
将触觉信号发送给触觉致动器。
13.一种非暂态计算机可读介质，其上存储有指令，所述指令在被处理器执行时使该处理器实施如权利要求1-10任意之一所述的方法。
14.一种计算设备，包括：
被配置为存储低频效果转换模块的存储器；和
被配置为执行存储在存储器上的低频效果转换模块的处理器，其中低频效果转换模块被配置为在被处理器执行时实施如权利要求1-10任意之一所述的方法。
CN201610391467.2A 2013-05-17 2014-05-19 低频效果触觉转换系统 Expired - Fee Related CN106095085B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361824442P 2013-05-17 2013-05-17
US61/824,442 2013-05-17
US14/277,870 US9519346B2 (en) 2013-05-17 2014-05-15 Low-frequency effects haptic conversion system
US14/277,870 2014-05-15
CN201410210293.6A CN104238934B (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410210293.6A Division CN104238934B (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统

Publications (2)

Publication Number Publication Date
CN106095085A true CN106095085A (zh) 2016-11-09
CN106095085B CN106095085B (zh) 2019-06-18

Family

ID=51895344

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201410210293.6A Expired - Fee Related CN104238934B (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统
CN201610391467.2A Expired - Fee Related CN106095085B (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统
CN201811616162.2A Pending CN109683782A (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统
CN201811616161.8A Pending CN109375778A (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410210293.6A Expired - Fee Related CN104238934B (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201811616162.2A Pending CN109683782A (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统
CN201811616161.8A Pending CN109375778A (zh) 2013-05-17 2014-05-19 低频效果触觉转换系统

Country Status (5)

Country Link
US (4) US9519346B2 (zh)
EP (2) EP3206109B1 (zh)
JP (3) JP6370099B2 (zh)
KR (1) KR102224418B1 (zh)
CN (4) CN104238934B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076419A (zh) * 2016-11-14 2018-05-25 恩智浦有限公司 线性谐振致动器控制器

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
JP6093659B2 (ja) * 2013-06-24 2017-03-08 シャープ株式会社 情報処理装置、および情報処理プログラム
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
KR20170030510A (ko) 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
WO2016007920A1 (en) * 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
EP3041258B1 (en) * 2014-12-31 2018-02-28 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
CN104657072B (zh) * 2015-01-15 2018-06-12 小米科技有限责任公司 一种触发执行操作指令的方法和装置
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
DE102015215049A1 (de) * 2015-08-06 2017-02-09 Bayerische Motoren Werke Aktiengesellschaft Audio-System mit zumindest einem Körperschallwandler für ein Kraftfahrzeug
US9659468B2 (en) * 2015-09-16 2017-05-23 Immersion Corporation Haptic feedback in a haptically noisy environment
US10339915B2 (en) * 2015-10-22 2019-07-02 Disney Enterprises, Inc. Vibration speaker for audio headsets
EP3242187B1 (en) * 2016-05-04 2018-11-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for simulating a reaction force from a virtual object
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
JP2018092012A (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
EP3559653A1 (en) * 2016-12-21 2019-10-30 Fisher Controls International Llc Methods and apparatus to verify operation of acoustic emission sensors
US10152296B2 (en) 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DE102017116012A1 (de) * 2017-07-17 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
CN107564536A (zh) * 2017-09-06 2018-01-09 武汉大学 基于基音延迟子帧组组内差值Markov转移概率特征的AMR基音延迟隐写分析方法
US10556252B2 (en) * 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) * 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
KR102273804B1 (ko) 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
KR102141889B1 (ko) 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11468750B2 (en) * 2019-10-14 2022-10-11 Lofelt Gmbh Authoring an immersive haptic data file using an authoring tool
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
JP7476516B2 (ja) 2019-11-11 2024-05-01 Ｔｏｐｐａｎホールディングス株式会社 信号処理装置、信号処理システム、プログラム、信号処理方法
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11579695B2 (en) * 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US20230059333A1 (en) * 2021-08-18 2023-02-23 Cirrus Logic International Semiconductor Ltd. Haptics signal generation
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN115686195A (zh) * 2022-09-13 2023-02-03 瑞声开泰声学科技(上海)有限公司 一种触觉反馈信号的生成方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
WO2011043292A1 (ja) * 2009-10-06 2011-04-14 株式会社コト スピーカ型振動装置および振動機能付き電子機器
US20120059491A1 (en) * 2010-09-07 2012-03-08 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
US20120206247A1 (en) * 2011-02-11 2012-08-16 Immersion Corporation Sound to haptic effect conversion system using waveform

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
JPH1146391A (ja) 1997-07-28 1999-02-16 Akira Ishikawa 音響体感装置
JP3672700B2 (ja) 1997-07-29 2005-07-20 明 石川 体感装置付スクリーン
JP2002078066A (ja) * 2000-08-25 2002-03-15 Yamaha Corp 振動波形信号出力装置
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP4358775B2 (ja) * 2005-03-31 2009-11-04 ａｉｗｉｎ株式会社 体感音響装置用信号処理回路
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
CN103513764B (zh) 2007-09-18 2017-04-26 森赛格公司 用于感觉刺激的方法和设备
JP2011205603A (ja) * 2010-03-25 2011-10-13 Yasuo Sano 立体音響システム
JP2012050003A (ja) 2010-08-30 2012-03-08 Univ Of Electro-Communications 電気音響変換器および電気音響変換方法
WO2012028973A1 (en) 2010-09-01 2012-03-08 Woojer Ltd. Personal media playing system
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101830653B1 (ko) * 2011-07-18 2018-02-21 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9041647B2 (en) 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9322453B2 (en) * 2013-04-08 2016-04-26 Dayco Ip Holdings, Llc Material compensation joint and radial vibration damper having same
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9778743B2 (en) * 2013-04-22 2017-10-03 Immersion Corporation Gaming device having a haptic-enabled trigger
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US10162416B2 (en) * 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
WO2011043292A1 (ja) * 2009-10-06 2011-04-14 株式会社コト スピーカ型振動装置および振動機能付き電子機器
US20120059491A1 (en) * 2010-09-07 2012-03-08 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
US20120206247A1 (en) * 2011-02-11 2012-08-16 Immersion Corporation Sound to haptic effect conversion system using waveform
CN102750957A (zh) * 2011-02-11 2012-10-24 英默森公司 利用振幅值的声音到触觉效应转换系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KENT WALKER: "《Perception of Audio-Generated and Custom Motion Programs in Multimedia Display of Action-Oriented DVD Films》", 《HAPTIC AND AUDIO INTERACTION DESIGN LECTURE NOTES IN COMPUTER SCIENCE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076419A (zh) * 2016-11-14 2018-05-25 恩智浦有限公司 线性谐振致动器控制器
CN108076419B (zh) * 2016-11-14 2021-09-17 汇顶科技(香港)有限公司 线性谐振致动器控制器
CN113727243A (zh) * 2016-11-14 2021-11-30 汇顶科技(香港)有限公司 线性谐振致动器控制器

Also Published As

Publication number Publication date
CN109375778A (zh) 2019-02-22
JP2019021350A (ja) 2019-02-07
US9786287B2 (en) 2017-10-10
US9519346B2 (en) 2016-12-13
US20170352356A1 (en) 2017-12-07
US9354704B2 (en) 2016-05-31
US10741189B2 (en) 2020-08-11
CN106095085B (zh) 2019-06-18
US20140340209A1 (en) 2014-11-20
CN104238934B (zh) 2019-01-15
US20170053654A1 (en) 2017-02-23
JP2018191310A (ja) 2018-11-29
EP2818976A2 (en) 2014-12-31
CN104238934A (zh) 2014-12-24
US20150355713A1 (en) 2015-12-10
EP2818976B1 (en) 2017-03-29
EP2818976A3 (en) 2015-02-18
JP6434669B2 (ja) 2018-12-05
JP6370099B2 (ja) 2018-08-08
CN109683782A (zh) 2019-04-26
KR20140135669A (ko) 2014-11-26
EP3206109A1 (en) 2017-08-16
KR102224418B1 (ko) 2021-03-05
EP3206109B1 (en) 2020-03-11
JP6557396B2 (ja) 2019-08-07
JP2014229312A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
CN106095085B (zh) 低频效果触觉转换系统
CN104423589B (zh) 用于变换触觉信号的方法和系统
US8981915B2 (en) System and method for display of multiple data channels on a single haptic display
US8624864B2 (en) System and method for display of multiple data channels on a single haptic display
US20180164896A1 (en) Audio enhanced simulation of high bandwidth haptic effects
CN104423593B (zh) 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
US8279193B1 (en) Interactivity model for shared feedback on mobile devices
CN104423590B (zh) 解复用触觉信号的方法和系统
CN108874144A (zh) 使用映射的声音-触觉效应转换系统
CN107111374A (zh) 触觉效果的覆盖
CN109144261B (zh) 一种基于平面交互的三维触觉再现装置与方法
Law A vibrotactile floor for enabling interaction through walking in virtual spaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190618