CN104423594A - 用于生成与音频信号相关联的触觉效果的系统和方法 - Google Patents

用于生成与音频信号相关联的触觉效果的系统和方法 Download PDF

Info

Publication number
CN104423594A
CN104423594A CN201410453859.8A CN201410453859A CN104423594A CN 104423594 A CN104423594 A CN 104423594A CN 201410453859 A CN201410453859 A CN 201410453859A CN 104423594 A CN104423594 A CN 104423594A
Authority
CN
China
Prior art keywords
haptic effect
haptic
sound signal
signal
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410453859.8A
Other languages
English (en)
Other versions
CN104423594B (zh
Inventor
君·曼扭尔·克鲁斯-赫南德斯
贾迈勒·沙博恩
文森特·莱韦斯克
阿利·莫达雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201811374890.7A priority Critical patent/CN110032272A/zh
Publication of CN104423594A publication Critical patent/CN104423594A/zh
Application granted granted Critical
Publication of CN104423594B publication Critical patent/CN104423594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及一种用于生成与音频信号相关联的触觉效果的系统和方法。公开的用于输出触觉效果的系统包括处理器，该处理器被配置成接收音频信号；至少部分基于音频信号，通过下述操作来确定触觉效果：识别音频信号中的一个或多个分量；以及确定与一个或多个分量相关联的触觉效果；并且输出与触觉效果相关联的触觉信号。

Description

用于生成与音频信号相关联的触觉效果的系统和方法
相关申请的交叉引用
本申请要求于2013年9月6日提交的并且标题为“Audio toHaptics”的美国临时申请No.61/874,933的优先权，其全部内容通过引用被包含在此。
本申请涉及与本申请同一天提交的并且标题为“Systems andMethods for Generating Haptic Effects Associated with Transitions inAudio Signals”(代理人案号：No.IMM477(51851-879623))的美国专利申请No.14/078,438，其全部内容通过引用被包含在此。
本专利申请涉及与本申请同一天提交的并且标题为“Systems andMethods for Generating Haptic Effects Associated with an Envelope inAudio Signals”(代理人案号：No.IMM478(51851-879624))的美国专利申请No.14/078,442有关，其全部内容通过引用被包含在此。
技术领域
本发明一般涉及触觉反馈，更具体地，涉及用于生成与音频信号相关联的触觉效果的系统和方法。
背景技术
触摸使能设备已经日益变得普遍。例如，移动和其它设备可以配置有触敏显示器，使得用户能通过触摸显示器的部分提供输入。作为另一例子，与显示器分离的触觉使能表面可以用于输入，诸如触控板、鼠标或其它设备。此外，一些触摸使能设备利用触觉效果，例如，配置成模拟触摸表面上的纹理或摩擦的触觉效果。在一些设备中，这些触觉效果可以与由设备输出的音频或其它效果相关。然而，由于处理和输出音频和触觉效果的等待时间，这些效果可能不太引人注目。由此，需要与音频效果相关联的改进的触觉效果。
发明内容
本公开内容的实施例包括以在触摸区上感受并且与音频信号相关联的触觉效果为特征的设备。这些触觉效果可以包括但不限于纹理的变化、摩擦系数的变化和/或通过使用与表面接触的物体可以感知的触摸表面中的边界、障碍或其它不连续的模拟。
在一个实施例中，本公开内容的系统可以包括处理器，其被配置成：接收音频信号；通过识别音频信号中的一个或多个分量以及确定与一个或多个分量相关联的触觉效果，至少部分基于音频信号来确定触觉效果；以及输出与触觉效果相关联的触觉信号。另一实施例包括用于至少部分基于音频信号来确定触觉效果的方法。
所述的这些示例性实施例不限制或限定本主题的范围，而是提供帮助其理解的例子。在详细描述中论述了示例性实施例，并提供了进一步描述。通过检验本说明书和/或通过实施所要求的主题的一个或多个实施例，可以进一步理解由各个实施例提供的优点。
附图说明
在说明书的剩余部分中，更具体地阐述全面和详尽的公开内容。本说明书参考下述附图。
图1A示出用于生成与音频信号相关联的触觉效果的示例性系统；
图1B示出图1A中所示的系统的一个实施例的外部视图；
图1C示例图1A中所示的系统的另一实施例的外部视图；
图2A示例用于生成与音频信号相关联的触觉效果的示例性实施例；
图2B示例用于生成与音频信号相关联的触觉效果的示例性实施例；
图3示例根据一个实施例的用于生成与音频信号相关联的触觉效果的示例性实施例；
图4示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图；
图5示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图；
图6示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图；
图7示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图；
图8示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图；
图9A示例根据一个实施例的用于生成具有A/V信号的内容的系统概图；以及
图9B示例根据另一个实施例的用于生成具有A/V信号的内容的系统概图。
具体实施方式
现在，将详细地参考各个和替代示例性实施例和附图。通过说明，提供每一例子，而不是限制。对本领域的技术人员来说，能做出改进和变化是显而易见的。例如，示例或描述为一个实施例的部分的特征可以用在另一实施例上来产生又一实施例。因此，期望该公开内容包括落在所附权利要求及其等同物的范围内的改进和变化。
生成与音频信号相关联的触觉效果的设备的示例性例子
本公开内容的一个示例性实施例包括计算系统，诸如智能电话、平板电脑或便携式音乐设备。在一些实施例中，计算系统可以包括可穿戴设备，或嵌入家具或衣服中，或具有嵌入式致动器的任何其它设备。计算系统能包括一个或多个传感器和/或可以与一个或多个传感器，诸如加速度计，以及用于确定相对于该例子中对应于设备的屏幕的显示区的触摸位置的传感器(例如光学、电阻或电容式)通信。
当用户与设备交互时，一个或多个触觉输出设备，例如致动器被用来提供触觉效果。例如，可以输出触觉效果来模拟设备的表面上的纹理的存在。在一个这种实施例中，当用户的手指跨表面移动时，可以输出振动、电场或其它效果来模拟设备的表面上的纹理感。类似地，在另一实施例中，当用户移动手指跨过设备时，基于手指的位置、速度和/或加速度或手指已经与设备接触的时间长度，能改变(例如，增加或减小)所感知的屏幕的摩擦系数。在其它实施例中，移动设备可以输出诸如振动、上托、点击或表面变形的触觉效果。在一些实施例中，当某一事件发生时，可以在一定时间段(例如50ms)内输出触觉效果。在其它实施例中，触觉效果可以随固定周期改变，例如，在实施例中，可以输出以100Hz速率，例如100Hz正弦曲线改变的纹理。
在示例性实施例中，触觉效果包括与音频信号相关联的效果。例如，在一些实施例中，触觉效果可以包括与音频轨相关联的触觉效果。在一些实施例中，在确定触觉效果时，用户可能正收听音频轨(例如使用耳机、扬声器或一些其它类型的音频输出设备)。在其它实施例中，可以预先确定触觉效果，作为“触觉轨(haptic track)”的一部分。可以与音频文件一起，分发该触觉轨，以便其随音频轨播放。在一些实施例中，可以使触觉轨与音频轨同步，使得触觉效果对应于音频轨中的分量。在其它实施例中，触觉效果可以与音频-视觉(“AV”)轨，例如视频文件的音频部分相关联。
在一个所示的实施例中，可以通过分析音频信号来识别或确定音频信号内的分量，确定触觉效果。在一些实施例中，分量可以包括音频信号内的事件，诸如离散事件，例如枪击、爆炸、尖叫或战斗。此外，在一些实施例中，分量可以包括与经常性的音频效果，诸如吉他、钢琴或说话者相关联的源。此外，在一些实施例中，分量可以包括在音频信号内出现的特征。术语特征是表示音频段的描述符的专门术语，在一些实施例中，可以使算法来通过例如识别情绪，对音频信号的段进行分类。在一个实施例中，可以将Mel频率倒频谱(MFCC)用作用于分类的音频特征。在这种实施例中，系统可以使用那些MFCC或其它特征或描述符，识别事件或源。此外，在一些实施例中，音频信号可以包括音频分量，诸如语音的声音(例如，说话或唱歌)，以及与动作(例如开火、汽车噪声和特效)以及背景噪声(例如音乐或机械声)相关联的分量。在一个示例性实施例中，系统可以分析音频文件来确定这些分量的位置，以及向特定分量指定触觉效果。在另一实施例中，系统可以确定某些声音应当不包括相关触觉效果。由此，在一个实施例中，系统可以确定音频信号内的某些分量的存在并且确定不向这些分量指定触觉效果。
在一些实施例中，本公开内容的系统可以通过将音频信号分成多个基于时间、频率或振幅的段，确定音频信号中的分量。然后，对这些段单独地分析某些分量(例如语音、特效、背景噪声或音乐)的存在。然后，基于一个或多个分量的存在，系统可以对每一段进行分类。例如，段可以包括与开火、爆炸和车提速相关联的声音。在这种实施例中，系统可以将段分类成“动作”段。此外，在一些实施例中，系统可以基于分类指定触觉效果。在一个这种实施例中，在上述例子中，系统可以将音频文件的动作段与特定触觉效果，或触觉效果集，例如，与诸如开火和爆炸的分量的出现同步的高密集振动关联。
此外，在本公开内容的一些实施例中，系统可以分析音频信号和隔离音频信号中的一个或多个分量的源。例如，系统可以分析音频信号来检测和隔离各种声源。在一个实施例中，音频信号可以包括混频音频信号(例如包括语音、特效(例如爆炸、开火、机械噪声)、动物声音或乐器(例如钢琴、吉他、鼓、机器等等)的信号)，在这种实施例中，系统可以隔离音频信号中的某些源，例如隔离语音、音乐或特效。在这种实施例中，一旦系统分离声源，系统可以向该源指定触觉效果。例如，在一个示例性实施例中，系统可以将由吉他产生的声音与摇滚歌曲相关联的信号分离开来。在这种实施例中，系统可以将触觉效果应用于吉他，而不应用于音频信号的其它分量。或者，在一些实施例中，系统可以隔离多个源，并且向多个源中的一个或多个指定触觉效果。例如，在一个示例性实施例中，系统可以将吉他和贝斯与其余音频轨分离。在这种实施例中，系统可以将触觉效果应用于吉他信号和贝斯信号。此外，在一个实施例中，系统可以隔离分量(例如吉他或贝斯信号)并且确定移除与那些分量相关联的触觉效果。例如，在一个实施例中，系统可以清除由自动转换产生的触觉轨来消除与分量相关联的触觉效果。
在本公开内容的另一实施例中，系统可以被配置成检测音频文件中的语音。如上所述，在一些实施例中，系统可以隔离语音源，例如隔离一个说话者或多个说话者。此外，在一些实施例中，系统可以被配置成分析语音来确定与说话者相关联的一个或多个情绪。例如，系统可以分析频率、音高或音调来确定与说话者相关联的一个或多个情绪。此外，在一些实施例中，系统可以确定或修改触觉效果，使得它与说话者的情绪相关联。例如，在一些实施例中，与发怒说话者(或与发怒说话者相关联的场景)相关联的触觉效果可以比与多情说话者相关联的触觉效果更强烈。可替代地，在一些实施例中，特定情绪可以包括没有相关联的触觉效果的情绪。例如，在一些实施例中，诸如伤心的情绪可以不包括触觉效果，由此，在一些实施例中，当系统检测到说话者很悲伤时，系统不向说话者，或与说话者相关联的场景指定触觉效果。此外，在一些实施例中，系统可以隔离音频信号的分量，例如，与语音相关联的分量，以及确定消除与那些分量相关联的触觉效果。例如，在一个实施例中，系统可以清除由自动变换产生的触觉轨来消除与语音相关联的触觉效果。
如在下文进一步详细所述，可以在音频信号中找到任何数量的分量。本公开内容的实施例提供用于识别这些分量，然后确定和输出与这些分量同步的触觉效果的系统和方法。此外，在一些实施例中，在此所述的系统和方法可以用来确定与其它类型的信号，例如压力、加速度、速度或温度信号相关联的触觉效果。
生成与音频信号相关联的触觉效果的示例性系统
图1A示出用于生成与音频信号相关联的触觉效果的示例性系统100。具体地，在该例子中，系统100包括具有经由总线106与其它硬件对接的处理器102的计算设备101。能包括诸如RAM、ROM、EEPROM等等的任何适当的有形(且非瞬时)计算机可读介质的存储器104实施构成计算设备的操作的程序部件。在该例子中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口部件112和附加存储114。
网络接口110能表示便于网络连接的任何部件的一个或多个。例子包括但不限于诸如以太网、USB、IEEE 1394的有线接口，和/或诸如IEEE 802.11、蓝牙、或用于接入蜂窝电话网络的无线电接口(例如用于接入CDMA、GSM、UMTS或其它移动通信网络的收发器/天线)的无线接口。
I/O部件112可以用来便于与诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风、照相机和/或用来输入数据或输出数据的其它硬件的设备连接。例如，在一些实施例中，I/O部件112可以包括配置成播放由处理器102提供的音频信号的扬声器。存储114表示非易失存储器，诸如磁、光或包括在设备101中的其它存储介质。在一些实施例中，存储114可以被配置成存储音频文件，其被配置成经由I/O部件112被给用户播放。
系统100进一步包括触摸表面116，在该例子中，被集成到设备101中。触摸表面116表示被配置成感测用户的触摸输入的任何表示。一个或多个传感器108被配置成当物体接触触摸表面时检测触摸区中的触摸，并且提供适当的数据，用于由处理器102使用。能使用任何适当数量、类型、或排列的传感器。例如，可以将电阻和/或电容传感器嵌入触摸表面116中，并且用来确定触摸的位置和其它信息，诸如压力。作为另一例子，可以使用以触摸表面为目的的光传感器来确定触摸位置。在一些实施例中，传感器108和触摸表面116可以包括触摸屏或触摸板。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在被配置成接收显示信号和向用户输出图像的显示器的上面的触摸屏。在其它实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器的侧面上的LED手指检测器。在一些实施例中，处理器与单个传感器108通信，在其它实施例中，处理器与多个传感器108，例如第一触摸屏和第二触摸屏通信。传感器108被配置成检测用户交互，并且基于该用户交互，将信号传送到处理器102。在一些实施例中，传感器108可以被配置成检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力，以及将该信息包含到接口信号中。
设备101进一步包括触觉输出设备118。在图1A所示的例子中，触觉输出设备118与处理器102通信并且耦接到触摸表面116。在一些实施例中，触觉输出设备118被配置成响应于触觉信号，输出模拟触摸表面上的纹理的触觉效果。另外或者替代地，触觉输出设备118可以提供以受控方式，移动触摸表面的振动触觉效果。一些触觉效果可以利用耦接到设备的外壳的致动器，以及一些触觉效果可以依次和/或共同地使用多个致动器。例如，在一些实施例中，可以通过以不同频率振动表面，模拟表面纹理。在这种实施例中，触觉输出设备118可以包括例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电动机(ERM)，或线性谐振致动器(LRA)中的一个或多个。在一些实施例中，触觉输出设备118可以包括多个致动器，例如ERM和LRA。在一些实施例中，触觉设备118可以包括或嵌入在可穿戴设备、家具或衣服中。
尽管在此示出了单个触觉输出设备118，但实施例可以使用相同或不同类型的多个触觉输出设备来输出触觉效果，例如模拟表面纹理或改变所感知的触摸表面的摩擦系数。例如，在一个实施例中，压电致动器可以用来以超声频率垂直和/或水平地位移一些或全部触摸表面116，诸如在一些实施例中，通过使用以大于20-25kHz的频率移动的致动器。在一些实施例中，多个致动器，诸如偏心旋转质量电动机和线性谐振致动器能单独或共同使用来提供不同的纹理、摩擦系数的变化或其它触觉效果。
还在其它的实施例中，触觉输出设备118可以例如，通过使用静电表面致动器，应用静电摩擦或吸引，来模拟触摸表面116的表面上的纹理。类似地，在一些实施例中，触觉输出设备118可以使用静电吸引来改变用户在触摸表面116的表面上感受到的摩擦。例如，在一个实施例中，触觉输出设备118可以包括静电显示器或应用电压和电流，而不是机械运动来生成触觉效果的任何其它设备。在这种实施例中，静电致动器可以包括导电层和绝缘层。在这种实施例中，导电层可以是任何半导体或其它导电材料，诸如铜、铝、金或银。并且绝缘层可以是玻璃、塑料、聚合物或任何其它绝缘材料。此外，处理器102可以通过将电信号施加到导电层来操作静电致动器。电信号可以是AC信号，其在一些实施例中，通过在触摸表面116附近或接触触摸表面116的物体，与导电层电容耦合。在一些实施例中，由高压放大器生成AC信号。在其它实施例中，电容耦合可以模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可以是平滑的，但电容耦合可以在触摸表面116的表面附近的物体之间产生吸引力。在一些实施例中，改变物体和导电层之间的吸引水平会改变跨触摸表面116的表面移动的物体上的模拟纹理或改变当物体跨触摸表面116的表面移动时感受到的摩擦系数。此外，在一些实施例中，静电致动器可以结合传统的致动器一起使用来改变触摸表面116的表面上的模拟纹理。例如，致动器可以振动来模拟触摸表面116的表面的纹理的变化，同时，静电致动器可以模拟触摸表面116的表面上的不同纹理或其它效果。
本领域的普通技术人员将意识到除改变摩擦系数外，能使用其它技术或方法来例如模拟表面上的纹理。在一些实施例中，可以使用被配置成基于与表面可重构触觉基板(包括但不限于例如光纤、纳米管、电活化聚合物、压电元件或形状记忆合金)或磁流变液的接触，改变其纹理的柔性表面层，模拟或输出纹理。在另一实施例中，可以通过提高或降低一个或多个表面部件，例如，通过变形机构、空气或液体袋、材料的局部变形、谐振机械元件、压电材料、微机电系统(“MEMS”)元件、热流体袋、MEMS泵、可变多孔性膜或层流调制，改变表面纹理。
在一些实施例中，可以使用静电致动器来通过刺激触摸表面116附近或与其接触的本体的部分，生成触觉效果。例如，在一些实施例中，静电致动器可以刺激能响应于静电致动器的用户的手指的皮肤的神经末梢或尖笔中的部件。例如，皮肤中的神经末梢可以被刺激并且感测静电致动器(例如电容耦合)，作为振动或一些更具体的感觉。例如，在一个实施例中，静电致动器的导电层可以接收与用户的手指的导电部分耦合的AC电压信号。当用户触摸该触摸表面116并且在触摸表面上移动他或她的手指时，用户可以感测多刺、粒状、凸凹、粗糙、粘性的纹理或一些其它纹理。
此外，在一些实施例中，可以使用多个致动器来输出触觉效果。这可以用来增加触觉输出设备118能输出的效果的范围。例如，在一些实施例中，可以协同静电致动器一起，使用振动致动器来生成宽范围的效果。在另外的实施例中，另外类型的触觉输出设备，诸如配置成使触摸表面变形的设备可以协同其它触觉输出设备，诸如振动致动器一起使用。
转到存储器104，描绘了示例性程序部件124、126和128来示例如何将设备配置成生成与音频信号相关联的触觉效果。在该例子中，检测模块124配置处理器102来经由传感器108监视触摸表面116来确定触摸的位置。例如，模块124可以采样传感器108以便跟踪存在或不存在触摸，如果触摸存在，则跟踪位置、路径、速度、加速度、压力和/或随时间的触摸的其它特性的一个或多个。
触觉效果确定模块126表示分析音频数据，诸如来自音频效果的数据来选择要生成的触觉效果的程序部件。具体地，模块126包括基于音频数据，确定要输出的触觉效果的类型的代码。
触觉效果生成模块128表示使处理器102生成触觉信号并且将其传送到触觉输出设备118，使得触觉输出设备118生成所选择的触觉效果的编程。例如，生成模块128可以访问所存储的波形或命令来发送到触觉输出设备118。作为另一例子，触觉效果生成模块128可以接收所期望效果类型并且利用信号处理算法来生成发送到触觉输出设备118的适当信号。一些实施例可以共同利用多个触觉输出设备来输出触觉效果。在一些实施例中，处理器102可以流传输触觉信号或将其传送到触觉输出设备118。
触摸表面可以或可以不覆盖(或者对应于)显示器，取决于计算系统的具体结构。在图1B中，示出了计算系统100B的外部视图。计算设备101包括结合触摸表面和设备的显示器的触摸使能显示器116。触摸表面可以对应于在实际显示部件外的显示器或实际显示部件上的一个或多个材料层。
图1C示例其中触摸表面不覆盖显示器的触摸使能计算系统100C的另一例子。在该例子中，计算设备101包括触摸表面116，该触摸表面116被映射到在与设备101对接的计算系统120中包括的显示器122中提供的图形用户界面。例如，计算设备101可以包括鼠标、触控板或其它设备，而计算系统120可以包括台式或膝上型计算机、机顶盒(例如，DVD播放器、DVR、闭路电视盒)，或其它计算系统。作为另一例子，触摸表面116和显示器122可以位于同一设备中，诸如包括显示器122的膝上型计算机中的触摸使能的触控板。不管是否与显示器一体化，在此的例子中的平面触摸表面的描述不意味着限制。其它实施例包括进一步被配置成提供基于表面的触觉效果的弯曲或不规则触摸使能表面。
图2A-2B示例可以生成与音频信号相关联的触觉效果的设备的例子。图2A是示例由包括触摸使能显示器202的计算设备201组成的系统200的外部视图的图。图2B示出设备201的截面图。设备201可以被配置成与图1A的设备101类似，尽管为了清楚起见，在该视图中，未示出诸如处理器、存储器、传感器等等的部件。
如在图2B看到的，设备201的特征在于多个触觉输出设备218和附加触觉输出设备222。触觉输出设备218-1可以包括被配置成将垂直力施加到显示器202的致动器，而218-2可以横向移动显示器202。在该例子中，触觉输出设备218和222被直接耦接到显示器，但应当理解到触觉输出设备218和222能耦接到另一触摸表面，诸如显示器202的顶部上的材料层。此外，应当理解到，如上所述，一个或多个触觉输出设备218或222可以包括静电致动器。此外，触觉输出设备222可以耦接到包含设备201的部件的外壳。在图2A-2B的例子中，显示器202的区域对应于触摸区域，尽管该原理能应用于与显示器完全分离的触摸表面。
在一个实施例中，触觉输出设备218每个包括压电致动器，而附加触觉输出设备222包括偏心旋转质量电动机、线性谐振致动器，或另一压电致动器。触觉输出设备222能被配置成响应于来自处理器的触觉信号，提供振动触觉效果。振动触觉效果能与基于表面的触觉效果结合，和/或用于其它目的。例如，可以协同输出振动、模拟纹理或改变显示器202的表面的摩擦系数，使用每一致动器。
在一些实施例中，触觉输出设备218-1和218-2的每一个或两者能包括除压电致动器外的致动器。致动器的任何一个可以包括例如压电致动器、电磁致动器、电活化聚合物、形状记忆合金、柔性复合压电致动器(例如，由柔性材料组成的致动器)、静电和/或磁致伸缩致动器。另外，示出了触觉输出设备222，尽管多个其它触觉输出设备能耦接到设备201的外壳和/或在另外的地方耦接触觉输出设备222。设备201还可以包括在不同位置处耦接到触摸表面的多个触觉输出设备218-1/218-2。
现在转到图3，图3示出用于根据本公开内容，用于生成与音频信号相关联的触觉效果的系统的一个实施例。图3中所示的系统300包括计算设备301，具有示出包括火车304的视频的显示器302。在一些实施例中，计算设备301可以包括手持计算设备，例如移动电话、平板电脑、音乐播放器或膝上型计算机。在另一实施例中，计算设备301可以包括多功能控制器。例如，在公用电话亭、ATM或其它计算设备中使用的控制器。此外，在一个实施例中，计算设备301可以包括在车辆中使用的控制器。
视频304可以进一步包括由耦接到计算设备301的音频输出设备(例如扬声器或耳机)(图3中未示出)播放的可听效果。本公开内容的实施例包括用于基于音频信号，确定触觉效果的方法。例如，一些实施例可以将音频信号与视频信号分离，然后执行如在下文进一步详细所述的各种操作，确定随音频轨输出的触觉效果。
在一些实施例中，显示器302可以包括触摸使能显示器。此外，除了显示视频之外，显示器302可以为用户提供图形用户界面，例如，用于公用电话亭、ATM、立体声系统、汽车仪表盘、电话、计算机、音乐播放器的图形用户界面或本领域已知的一些其它图形用户界面。在这种实施例中，计算设备301可以基于与图形用户界面相关联的音频信号，确定触觉效果。例如，在一些实施例中，图形用户界面可以包括当用户与图标、按钮或其它界面元件交互时输出的音频效果。在一些实施例中，计算设备301可以进一步确定与这些音频效果的一个或多个相关联的触觉效果。在一些实施例中，计算设备301可以从音频信号中的包络或任何其它传感器导出信号，例如，来自诸如用户接口、加速度计、陀螺仪、惯性测量单元等等的传感器的信号，导出触觉效果。
在一些实施例中，可以不包括视频信号。例如，在一些实施例中，可以随不与视频关联的音频轨，播放触觉效果。在这种实施例中，当正播放信号或在正播放的信号前的时间，在此公开的系统和方法可以实时地操作音频信号。例如，在一些实施例中，可以处理音频信号来确定存储在数据仓库中，用于未来播放的触觉轨。在这种实施例中，可以由播放触觉轨的计算设备，确定触觉轨。在其它实施例中，可以由音频轨的作者或发布者创建触觉轨。在这种实施例中，作者或发布者可以与音频轨一起发布触觉轨。
用于生成与音频信号相关联的触觉效果的示例性方法
图4和5是示出用于生成与音频信号相关联的触觉效果的方法400和500的流程图。在一些实施例中，流程图400和500中的步骤可以用由处理器，例如通用计算机、移动设备或服务器中的处理器执行的程序代码来实现。在一些实施例中，这些步骤可以由一组处理器来实现。在一些实施例中，图4和5中所示的步骤可以以不同的顺序来执行。可替代地，在一些实施例中，可以跳过图4和5中所示的一个或多个步骤，或可以执行图4和5中未示出的另外的步骤。就音频信号而言，描述图4和5中的步骤。然而，在一些实施例中，可以使用上述方法来确定与其它类型的信号，例如压力、加速度、速度或温度信号相关联的触觉效果。参考就关于图1A中所示的系统100所述的部件，描述下述步骤。
当处理器102接收音频信号402时，方法400开始。在一些实施例中，音频信号可以包括与正在计算设备101上播放的视频相关联的信号。在其它实施例中，音频信号可以包括与目前正在计算设备101上播放的音频文件相关联的信号。在其它实施例中，音频信号可以与在计算设备101上本地存储或在远程服务器上存储的音频文件相关联。例如，在一些实施例中，音频信号可以包括存储在服务器上并且按需下载到用户的音频文件。
当处理器102基于音频信号404，确定触觉效果时，方法400继续。在一些实施例中，触觉效果可以包括由一个或多个触觉输出设备118输出的振动。在一些实施例中，该振动可以用来增强在计算设备101上播放的音频轨的用户感知。类似地，在一些实施例中，触觉效果可以包括触摸表面116上摩擦系数的变化。在其它实施例中，触觉效果可以包括触摸表面116的表面上的模拟纹理(例如，水、草、冰、金属、沙滩、碎石、砖块、毛皮、皮革、皮肤、织物、橡胶、树叶或任何其它可用纹理中的一个或多个的纹理)。
在一些实施例中，处理器102可以依赖于包含在触觉效果确定模块126中的编程来确定该触觉效果。例如，处理器102可以访问在存储器104中存储的并且与特定触觉效果相关联的驱动信号。作为另一例子，可以通过访问所存储的算法和输入与效果相关联的参数，生成信号。例如，算法可以输出在基于振幅和频率参数，生成驱动信号中使用的数据。作为另一例子，触觉信号可以包括发送到致动器以便由致动器解码的数据。例如，致动器本身可以响应于指定诸如振幅和频率的参数的命令。
此外，在一些实施例中，用户能选择与音频文件相关联的振动、纹理、摩擦系数的变化或其它触觉效果以便定制计算设备101。例如，在一些实施例中，用户可以选择诸如允许触摸界面的感觉的个性化的表面纹理的触觉效果。在一些实施例中，该触觉效果可以与例如用于来电呼叫、电子邮件、文本消息、警报或其它事件的铃声相关联。在一些实施例中，用户可以通过修改设定或下载与特定效果相关联的软件，选择这些个性化的触觉效果或表面纹理。在其它实施例中，用户可以通过所检测的与设备的交互指定效果。在一些实施例中，该个性化的触觉效果会增加用户的拥有感以及用户和他或她的设备之间的连接。
还在其它实施例中，设备制造商、艺术家、电视录像制作人或软件开发商可以选择诸如表面纹理的不同触觉效果来在他们的设备、用户界面或艺术作品(例如歌曲、视频或音频轨)上加品牌。在一些实施例中，这些触觉效果对品牌设备是唯一的并且与可以增加品牌意识的其它不同要素类似。例如，许多移动设备和平板电脑包括定制或品牌主屏环境。例如，在一些实施例中，由不同制造商生产的设备可以包括相同操作系统，然而，制造商可以通过修改该主屏环境区分他们的设备。类似地，由某一公司生产的视频或音频轨可以包括特定类型的触觉效果。由此，在一些实施例中，一些设备制造商、生产公司或软件开发人员可以使用触觉效果，诸如基于纹理或摩擦的效果来创建唯一和可区分的用户体验。
在一些实施例中，处理器102可以实现“触觉简档”。触觉简档可以包括配置成使处理器102确定具有某些特征的触觉效果的特定算法或设定。在一些实施例中，触觉简档可以由用户或设计得创建或指定。此外，在一些实施例中，设备可以包括预编程触觉简档。在一些实施例中，这些触觉简档可以包括例如设计成输出：活动效果、微妙效果的触觉简档，或用于特定类型的音频信号(例如用于音乐、语音、特效、电影类型(例如动作、戏剧、惊悚、恐怖、喜剧))、体育赛事或在此所述的其它类型信号的定制简档。例如，在一个实施例中，用户可以指定与摇滚音乐相关联的特定触觉简档和与体育赛事相关联的不同触觉简档。
当处理器102输出与触觉效果406相关联的触觉信号时，方法400继续。处理器102将触觉信号输出到被配置成输出触觉效果的触觉输出设备118。在一些实施例中，触觉输出设备118可以将触觉效果输出到触摸表面116上。在一些实施例中，触觉输出设备118可以包括耦接到触摸表面116的传统的致动器，诸如压电致动器或电动机，或计算设备101内的其它部件。在其它实施例中，触觉输出设备118可以包括被配置成模拟纹理或使用电场，改变摩擦系数的静电致动器。在一些实施例中，处理器102可以控制多个触觉输出设备来模拟多个触觉效果。例如，在一个实施例中，处理器102可以控制静电致动器来模拟触摸表面116的表面上的纹理以及处理器102可以进一步控制其它触觉输出设备118来模拟其它特性。例如，触觉输出设备118可以包括被配置成输出诸如被配置成模拟障碍物、止动器、运动的其它效果或对触摸表面116的影响的致动器。在一些实施例中，处理器102可以协调效果，使得用户当与触摸表面116交互时能一起感到多种效果。
然后，处理器102输出音频信号408。在一些实施例中，处理器102可以将音频信号输出到音频输出设备，诸如扬声器、耳机或耳塞。在一些实施例中，音频输出设备可以集成在计算设备101中。在其它实施例中，音频输出设备可以耦接到计算设备101。此外，在一些实施例中，音频信号可以与触觉效果同步，例如，在一些实施例中，触觉效果可以基本上同时输出为相应的音频效果。
现在转到图5，图5是示出用于确定与音频信号相关联的触觉效果的示例性方法500的流程图。当处理器102识别音频信号502中的分量时，方法500开始。在下文中，将进一步详细地描述用于识别音频信号中的分量的各种示例方法。在一些实施例中，这些分量可以与音频信号的振幅、频率、音调、音高或速度的变化相关联。这些变化可以与例如乐器的变化、电影场景的变化、源的变化(例如扬声器的变化)或音频文件中常见的一些其它过渡相关联。
在步骤504处，当处理器102确定与步骤502中确定的分量相关联的触觉效果时，方法500继续。在一些实施例中，可以将触觉效果配置成模拟分量。例如，如果所确定的分量与动作(例如开火或爆炸)相关联，则触觉效果可以包括高强度触觉效果。在其它实施例中，触觉效果可以包括低强度触觉效果，例如，与诸如由排箫生成的和平音乐相关联的效果。可替代地，在一些实施例中，确定触觉效果包括确定触觉效果不应当与分量相关联。例如，在一个实施例中，背景噪声可以不包括触觉效果。由此，当系统确定或识别与背景噪声相关联的分量时，系统可以确定无触觉效果。类似地，在一些实施例中，系统可以确定与语音相关联的分量应当不具有触觉效果。此外，在一个实施例中，系统可以隔离分量(例如背景噪声)并确定移除与这些分量相关联的触觉效果。例如，在一个实施例中，系统可以清除由自动转换产生的触觉轨来消除与该分量相关联的触觉效果。
此外，在一些实施例中，处理器102可以使触觉效果与分量同步。在一些实施例中，使触觉效果与分量同步包括配置处理器102在基本上对应于音频效果时输出与触觉效果相关联的触觉信号。在其它实施例中，可以在音频效果后的一些时段处输出触觉效果。例如，在一些实施例中，处理器102可以输出充当回声的触觉效果。例如，在一个实施例中，音频轨可以包括诸如模拟开火的声音的分量。在这种实施例中，处理器可以确定与音频效果相符的触觉效果。处理器可以进一步确定稍后几秒要输出的第二触觉效果来模拟与开火相关联的回声。
用于确定与音频信号相关联的触觉效果的示例性方法
图6-8是示出用于确定与音频信号相关联的触觉效果的示例性方法600、700和800的流程图。在一些实施例中，可以用由处理器，例如通用计算机、移动设备或服务器中的处理器执行的程序代码，实现图6-8中的步骤。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中，可以以不同顺序执行图6-8中所示的步骤。可替代地，在一些实施例中，可以跳过图6-8中所示的一个或多个步骤，或可以执行图6-8中未示出的另外的步骤。就音频信号而言，描述图6-8中的步骤。然而，在一些实施例中，可以使用方法来确定与其它类型的信号，例如压力、加速度、速度或温度信号相关联的触觉效果。
在一些实施例中，图6-8中所述的方法可以由耦接到最终输出触觉效果的触觉输出设备的设备来实现。在其它实施例中，图6-8中所述的方法可以由触觉开发人员或内容创作者实现。在这种实施例中，上述方法可以实现为帮助设计者或内容创作者向多媒体内容指定触觉效果的工具箱的一部分。例如，在一些实施例中，这些方法可以被发现为用于音频或音频-视觉编辑软件(例如触觉工作室或用于开发触觉的移动应用)的插件的一部分。
现在转到图6，图6示例根据一个实施例，用于生成与音频信号相关联的触觉效果的方法600的流程图。如图6所示，当处理器102接收与一个或多个分量相关联的信号时，方法600开始。在一些实施例中，这些分量可以包括与声事件检测(AED)或自动语音识别(ASR)相关联的方法或系统。此外，在一些实施例中，这些方法使用与Mel频率倒频谱系数(MFCC)连同它们的第一和第二导数、MPEG-7频谱特征、与Teager能量算子特征结合的临界频带(CB-TEO)、信号的周期性、基于小波倒频谱系数、光谱矩心、光谱不对称性、光谱带宽、零交叉率(ZCR)、线性预测系数(LPC)、线性预测倒频谱系数(LPCC)、对数式频率倒频谱系数(LFCC)或基频中的一个或多个相关联的音频特征。在一些实施例中，可以由想收听音频文件的用户识别或标记这些分量。在其它实施例中，这些分量可以由程序员或开发音频轨的艺术家识别或标记。
接着，在步骤604处，处理器102将音频信号划分成一个或多个段604。在一些实施例中，这些段可以包括重叠段，或者可替代地，在一些实施例中，段可以包括非重叠段。在一些实施例中，这些段可以包括时间段。例如，在一些实施例中，段可以包括例如，每1,.5,.1,或.01秒的预定周期的时间段。在其它实施例中，段可以包括值改变的时间段。还在其它实施例中，段可以包括音频信号的不同度量。例如，在一个实施例中，段可以包括振幅段，例如，某一振幅范围内的信号的分量可以形成段。还在其它实施例中，段可以包括信号内的频率范围。在这种实施例中，该频率范围内的音频信号的分量可以形成段。在一些实施例中，示例频率范围可以包括从50Hz到200Hz，或1,000Hz至10,000Hz的范围。
然后，在步骤606处，处理器102分析段。处理器102分析该段来识别在步骤602中上述的一个或多个分量。例如，处理器102可以确定诸如语音或音乐的分量是否存在。在一些实施例中，处理器102可以使用声事件检测(AED)或自动语音识别(ASR)中的一个分析段。在一些实施例中，分析可以包括基于频率、振幅、音调或音高的分析中的一个或多个。例如，在一些实施例中，处理器可以在音频信号上执行快速傅立叶变换(FFT)，并且然后分析频域中的音频信号。例如，在一个实施例中，处理器102可以通过执行FFT，然后分离峰值频率分量，分析段。处理器可以进一步访问音频信号数据的数据库(例如，可经由网络110访问的远程数据库或存储114中存储的本地数据库)并且将段与数据库进行比较。在一些实施例中，这可以使处理器隔离音频效果的来源，例如，隔离扬声器或隔离乐器或特效(例如，在动作电影中发现的效果，诸如开枪、爆炸或引擎声)。
接着，在步骤608处，处理器102对段进行分类。在一些实施例中，处理器102可以基于段中的特定音频特征的值或段中的特定分量的存在，对段进行分类。在一些实施例中，用于分类的算法(例如识别算法)可以将段的分量或特征值与描述不同分量或特征的不同模型比较。基于最可能模型标签，该算法可以进一步对段进行分类。
在一些实施例中，基于与模型相关联的分量的类型，可以设计该模型。在一个实施例中，可以使用来自先前自动或手动标记有同一类型的音频段的数据库的分量或特征，构建用于一种类型的分量或特征的模型。在一些实施例中，该数据库可以包括由被配置成使能与音频效果相关联的高速搜索的多个分类器组成的大数据库。在一个实施例中，示例分类可以包括每一分量的分类系统(例如语音识别系统)或将段指定到集合中的一个分量的分类系统。用于AED的分类技术的例子可以包括高斯混合模型(GMM)、支持矢量机器(SVM)、隐马尔科夫模型(HMM)、K最近邻域(KNN)、判决树、人工神经网络(ANN)、矢量量化(VQ)或贝叶斯网络(BN)。此外，在一些实施例中，处理器102可以访问数据库来存储特定特征或分量，或者可替代地，在与特征或分量相关联的数据库上执行搜索。
然后，在步骤610处，处理器102基于分类指定触觉效果。在一些实施例中，触觉效果可以包括与分类相关联的特定类型的效果。例如，在一些实施例中，特定种类的信号可以包括特定触觉效果。在这样的实施例中，例如，语音可以包括特定频率振动，而诸如汽车运行的另一可听效果可以包括不同频率振动。此外，在一些实施例中，处理器102可以确定某些种类的音频信号应当不具有触觉效果。例如，在一些实施例中，处理器102可以确定背景噪声或语音不应当与任何触觉效果关联。例如，在一个实施例中，用户或设计者可以调整设定，使得处理器102将确定不输出与背景噪声或语音相关联的触觉效果。此外，在一个实施例中，用户或设计者可以调整设定，使得处理器102执行音频文件的搜索和清除触觉轨来消除与背景噪声或语音相关联的触觉效果。
现在转到图7，图7示例根据一个实施例，用于生成与音频信号相关联的触觉效果的方法700的流程图。如图7所示，当处理器102隔离音频信号内的源702时，方法700开始。在一些实施例中，处理器102可以实现用于隔离音频源的多个不同方法中的一个或多个。在一些实施例中，这些方法可以包括用于声事件检测(AED)或自动语音识别(ASR)的方法。此外，在一些实施例中，这些方法可以包括被配置成使用Mel频率倒频谱系数(MFCC)连同它们的第一和第二导数、MPEG-7频谱特征、与Teager能量算子特征结合的临界频带(CB-TEO)、信号的周期性、基于小波倒频谱系数、光谱矩心、光谱不对称性、光谱带宽、零交叉率(ZCR)、线性预测系数(LPC)、线性预测倒频谱系数(LPCC)、对数式频率倒频谱系数(LFCC)或基频中的一个或多个的算法。
接着，在步骤704处，处理器102将触觉效果指定给源。例如，在一些实施例中，处理器可以确定触觉效果应当仅与某些源关联。例如，处理器可以将触觉效果应用于与音乐相关联的音频，但消除或“清除”与说话相关联的触觉效果。类似地，处理器可以确定用于与诸如开火、引擎噪声、天气噪声或背景噪声的效果相关联的音频的特定效果。在一些实施例中，处理器102可以将多个致动器指定到不同音频效果。例如，处理器102可以指定第一触觉输出设备118来生成与一个源(例如第一扬声器或第一吉他)相关联的触觉效果，以及指定第二触觉输出设备118来生成与第二源(例如，音频信号中的第二扬声器或特效)相关联的触觉效果。
现在转到图8，图8示例根据一个实施例，用于生成与音频信号相关联的触觉效果的方法800的流程图。如图8所示，在步骤802处，当处理器102隔离音频信号中的语音时，方法800开始。在一些实施例中，处理器102通过将音频信号中的段进行分类，例如，通过使用识别音频信号中的音频特征或分量，隔离语音。在一些实施例中，处理器102可以访问预标记的音频信号的本地或远程数据库。该数据库可以包括不同类型、不同扬声器和具有不同噪声级的声音。在一些实施例中，处理器可以使用下述的一个或多个将信号分类为语音：信号能量、高/低能量、Mel频率倒频谱系数(MFCC)及其导数、线性频率倒频谱系数(LFCC)及其导数、零交叉率(ZCR)、自关联频率或频谱重心。此外，在一些实施例中，用于判别任务的分类器可以包括：神经网络、高斯混合模型(GMM)或隐马尔科夫模型(HMM)。
当处理器102确定与语音相关联的一个或多个情绪804时，方法800继续。说话者的情绪状态影响他或她的语音模式。例如，说话者的情绪可以使说话者改变声调、音量、速度或其它语音参数。在一些实施例中，处理器102通过再次对信号进行分类，确定语音中的情绪。在一些实施例中，该分类包括从音频信号估算一个或多个特征值或分量以及针对标记有说话者的情绪状态的语音样本的本地或远程数据库进行分类。在一些实施例中，用于分类的算法(例如识别算法)可以将段的分量或特征值与描述不同情绪的不同模型比较。基于最可能情绪，该算法可以进一步对段进行分类。在一些实施例中，可以基于与模型相关联的情绪类型，设计该模型。在一个实施例中，可以使用来自先前标记(例如手动或自动)相同情绪的音频段的数据库的分量或特征，构建用于一种情绪的模型。在一些实施例中，数据库可以足够大来包括不同年龄、性别、情绪状态和口音/语言的说话者的样本。另外，在一些实施例中，能检测的情绪类型包括：中性、玩笑、发怒、悲伤、挑衅、厌烦、厌恶、害怕、紧张、惊喜或愤怒。
处理器102可以将多个不同的分量用于情绪检测。在一些实施例中，这些分量可以包括基于频率的分量，例如基频变化、平均音高、音高范围、频谱特征、MFCC、LFCC、共振峰特征或轮廓斜率。在其它实施例中，这些分量可以包括基于时间的分量，例如语速、应力频率、能量或ZCR。在其它实施例中，这些分量可以包括话音质量参数，诸如气息声、逼真度、响度、暂停不连续或音高不连续。例如，在一些实施例中，愤怒和挑衅能被转化成具有强的高频能量和更宽音高范围的高振幅和快语音。在其它实施例中，悲伤能产生慢且低的音高信号。在一些实施例中，可以用于情绪分类任务的分类器可以包括：神经网络、SVM、GMM、HMM、KNN或判决树。
此外，在一些实施例中，音频信号可以包括充当音频段的描述符的特征，在一些实施例中，可以使算法来对音频信号的段进行分类，例如，通过识别情绪。在一个实施例中，可以将Mel频率倒频谱(MFCC)用作用于分类的音频特征。在这种实施例中，系统可以使用那些MFCC或其它特征或描述符，识别事件或源。
当处理器102确定与情绪相关联的触觉效果806时，方法800继续。在一些实施例中，处理器102可以确定生成触觉静音而不是生成触觉效果。例如，对于一些情绪(例如沮丧、悲伤)，处理器102可以取消该段中的所有触觉效果。处理器102也可以向段指定触觉主题。例如，所检测的情绪可以用来调制段/场景中的触觉效果来使其更相关。可以通过自动变换(音频和/或视频)，创建这些触觉效果并且能与语音或任何其它声音相关联。例如，在具有来自演员的愤怒和紧张情绪的动作电影场景中，可以确定触觉效果来模拟用于观众的类似紧张状态。在这种实施例中，处理器102可以被配置成放大紧张场景中的所有触觉效果。在其它实施例中，当场景愉快时，处理器可以被配置成衰减与场景相关联的一个或多个触觉效果。还在其它实施例中，处理器102可以被配置成确定预定效果。在这种实施例中，除了使用自动变换之外，处理器102可以从标记的情绪直接生成效果。例如，在一个实施例中，可以由用户、程序员或内容作者标记情绪。在一些实施例中，能设计预定效果来配合说话者的情绪状态，在这种实施例中，可以与话音一起播放来反映和强调该状态。还在其它实施例中，代替使用可以不适合语音信号的自动变换算法，可以将处理器102配置成取消与自动创建的触觉轨中的语音相关的所有效果。在这种实施例中，处理器102可以独立于为所检测的情绪特别设计的算法处理该语音。此外，在一些实施例中，基于所确定的情绪处理器102可以将用于语音的预定算法应用于触觉。例如，在一个实施例中，处理器可以包括分别与多种情绪关联的多个自动语音至触觉算法。在这种实施例中，当处理器102确定一个情绪时，处理器102可以使用相应的算法确定触觉效果。
用于生成与音频信号相关联的触觉内容来产生触觉媒体的示例性系统
现在转到图9A和9B，阐述用于创建触觉内容的系统环境的实施例。如图9A所示，系统900包括在一个或多个媒体服务器904上存储的A/V内容902和在一个或多个触觉媒体服务器910上存储的触觉内容908。如系统900所示，每一媒体服务器904和触觉媒体服务器910包括具有本领域已知的标准部件，例如处理器、存储器、数据存储器、网络连接和配置成存储和访问服务器上存储的数据的软件的一个或多个服务器。媒体服务器904和触觉媒体服务器910耦接到云连接906(a)或906(b)中的一个。云连接906(a)或906(b)包括本领域公知的有线和/或无线互联网连接。
如系统900所示，与触觉内容908(诸如上述的触觉轨)分离，传送A/V内容902(诸如音频、图像或视频文件)。当接收时，例如，通过如上所述的类型的计算设备，可以访问应用，诸如发布者应用912(例如触觉使能安卓应用或触觉媒体SDK)来同步和/或播放视频和触觉流。
在另一实施例中，图9B中示为系统950，将具有嵌入式触觉信息952的A/V内容存储在一个或多个媒体服务器954上。这些媒体服务器可以耦接到一个或多个云连接956。在这种实施例中，可以访问应用，诸如发布者应用958(例如，触觉使能安卓应用或触觉媒体SDK)来确定和/或播放A/V内容和嵌入式触觉内容952。
用于生成与音频信号相关联的触觉效果的系统和方法的优点
生成具有与音频信号相关联的触觉效果具有许多优点。例如，自动音频触觉变换算法可以尝试感触尽可能多的音频内容，在信号中混合中的不同声音之间没有任何区别。然而，该方法导致未预期的触觉效果，因为触觉效果会变得不可抗拒的。例如，当使用其音频轨，自动地创建用于电影的触觉效果时，语音和背景音乐可能变为有触觉的。那些效果与大多数用户无关，由此，能降低他们的体验。然而，本公开内容的实施例允许仅向某些音频效果巧妙地指定触觉效果的自动音频触觉变换。这防止最终触觉效果成为不可抗拒的。
此外，本公开内容的实施例允许用户、内容作者或系统设计者指定应当包括触觉效果的音频信号的分量。这使得用户、内容作者或系统设计者自动地创建用于音频信号的更引人注目的触觉效果，因为用户能指定没有触觉输出的某些源。例如，一些类型的分量如果被感触，则可能是恼人的，在一些实施例中，这些分量可以包括例如键盘敲击、音乐节拍、鼓掌、欢呼、古典音乐、喊叫等待。在此公开的系统和方法可以允许设计者避免感触这些分量，或从触觉轨移除与这些分量相关联的触觉效果。
一般考虑
上述方法、系统和设备是示例性的。适当时，各种配置可以省略、替代或添加不同的过程或部件。例如，在替代配置中，可以以不同于上述的顺序，执行方法，和/或可以添加、省略和/或组合不同的步骤。同时，参考某些配置所述的特征可以结合在不同的其它配置中。可以以类似的方式组合配置的不同方面和要素。同时，技术在发展，由此，许多的要素是示例性的，不限制本公开内容或权利要求的范围。
在说明书中给出具体的细节以便提供示例性结构(包括实现)的全面理解。然而，在没有这些具体细节的情况下，也可以实施配置。例如，在没有非必要细节的情况下，已经示出了非常公知的电路、过程、算法、结构和技术，以避免混淆配置。本说明书仅提供示例性配置，以及不限制权利要求的范围、可用性或配置。相反，配置的前述描述将为本领域的技术人员提供用于实现所述技术的开放描述。在不背离本公开内容的精神或范围的情况下，可以在要素的功能或排列方面做出各种改变。
同时，配置可以描述为图示为流程图或框图的过程。尽管每一配置可以将操作描述为顺序过程，但可以并行或同时地执行许多操作。此外，可以重新排列操作的次序。过程可以具有未包括在图中的另外的步骤。此外，可以由硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现方法的例子。当用软件、固件、中间件或微代码实现时，可以将执行必要任务的程序代码或代码段存储在非瞬时计算机可读介质，诸如存储介质中。处理器可以执行所述任务。
已经描述了若干示例结构，在不背离本公开内容的精神的情况下，可以使用各种改进、替代结构和等同物。例如，上述要素可以是较大系统的部件，其中，其它规则可以优先于或者另外修改本发明的应用。同时，在考虑上述要素前、期间或之后，可以进行许多步骤。因此，上述描述不限定权利要求书的范围。
在此使用“用来”或“被配置成”意为不排除用来或被配置成执行另外的任务或步骤的设备的开放和包含性语言。此外，使用“基于”是指开放和包含性的，即，“基于”一个或多个所述条件或值的过程、步骤、计算或其它动作实际上可以基于除那些所述的外的另外的条件或值。其中所包括的标题、列表和编号仅为了易于说明而不打算限制。
能在数字电子电路中、计算机硬件、固件、软件中或前述的组合中实现根据本主题的方面的实施例。在一个实施例中，计算机可以包括一个处理器或多个处理器。处理器包括或能够存取计算机可读介质，诸如耦接到处理器的随机存取存储器(RAM)。处理器执行在存储器中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、选择例程和执行上述方法的其它例程的一个或多个计算机程序。
这些处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这些处理器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)或其它类似的设备。
这些处理器可以包括可以存储当由处理器执行时，能使处理器执行如由处理器执行或辅助的在此所述的步骤的介质，例如有形计算机可读介质或可以与其通信。计算机可读介质的实施例可以包括但不限于能为诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电子、光学、磁性或其它存储设备。介质的其它例子包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、结构处理器、所有光学介质、所有磁带或其它磁性介质、或计算机处理器能读取的任何其它介质。同时，各种其它设备可以包括计算机可读介质，诸如路由器、专用或公用网络，或其它传输设备。所述的处理器或处理可以在一个或多个结构中，以及可以分散在一个或多个结构中。处理器可以包括用于执行在此所述的一个或多个方法(或部分方法)的代码。
尽管已经参考具体实施例详细地描述了本主题，但将意识到本领域的技术人员在完成上文的理解后，可以易于产生对这些实施例的变更、变形和等同物。因此，应理解到为了示例性而不是限制目的给出了本公开内容，以及对本领域的普通技术人员来说，不排除包括对本领域的技术人员显而易见的本主题的这些改进、变形和/或增加。

Claims (40)

1.一种用于输出触觉效果的系统，包括：
处理器，所述处理器被配置成：
接收音频信号；
至少部分基于所述音频信号，通过下述操作来确定触觉效果：
识别所述音频信号中的一个或多个分量；以及
确定与所述一个或多个分量相关联的触觉效果；
以及
输出与所述触觉效果相关联的触觉信号。
2.如权利要求1所述的系统，其中，识别所述音频信号的一个或多个分量包括：
接收与一个或多个分量相关联的信号；
将所述音频信号分成多个段；
分析所述多个段中的一个来确定所述一个或多个分量是否存在；以及
基于所述一个或多个分量的存在，对所述段进行分类。
3.如权利要求2所述的系统，其中，分析所述多个音频段中的一个包括实施声事件检测技术。
4.如权利要求3所述的系统，其中，所述声事件检测技术包括自动语音识别。
5.如权利要求2所述的系统，其中，对所述多个音频段中的一个进行分类包括将该音频段和与所述一个或多个分量相关联的数据的数据库进行比较。
6.如权利要求2所述的系统，其中，确定触觉效果包括基于所述段的分类来指定触觉效果。
7.如权利要求1所述的系统，其中，识别所述音频信号的一个或多个分量包括隔离所述音频信号中的音频效果的源。
8.如权利要求7所述的系统，其中，确定与所述一个或多个分量相关联的触觉效果包括向所述源指定触觉效果。
9.如权利要求7所述的系统，其中，隔离所述音频信号中的音频效果的源包括隔离所述音频信号中的语音。
10.如权利要求9所述的系统，其中，确定与所述一个或多个分量相关联的触觉效果包括：
确定与所述语音相关联的一个或多个情绪；以及
确定与所述一个或多个情绪相关联的触觉效果。
11.如权利要求10所述的系统，其中，确定与语音相关联的一个或多个情绪包括下述中的一个或多个：基于频率的分析、基于时间的分析、话音质量分析或将所述语音的特征和与所述语音中的情绪相关联的数据的数据库进行比较。
12.如权利要求1所述的系统，进一步包括：
音频输出设备，所述音频输出设备被配置成接收所述音频信号并且输出可听效果；以及
与所述处理器通信的触觉输出设备，所述触觉输出设备被配置成接收所述触觉信号并且输出所述触觉效果。
13.如权利要求1所述的系统，进一步包括数据存储，所述数据存储被配置成接收所述触觉信号并且将所述触觉信号存储在触觉轨中。
14.如权利要求1所述的系统，其中，所述触觉效果包括下述中的一个或多个：摩擦系数的变化、模拟纹理或振动。
15.一种用于输出触觉效果的方法，包括：
接收音频信号；
至少部分基于所述音频信号，通过下述操作来确定触觉效果：
识别所述音频信号中的一个或多个分量；以及
确定与所述一个或多个分量相关联的触觉效果；以及
输出与所述触觉效果相关联的触觉信号。
16.如权利要求15所述的方法，其中，识别所述音频信号的一个或多个分量包括：
接收与一个或多个分量相关联的信号；
将所述音频信号分成多个段；
分析所述多个段中的一个来确定所述一个或多个分量是否存在；以及
基于所述一个或多个分量的存在，对所述段进行分类。
17.如权利要求16所述的方法，其中，分析所述多个音频段中的一个包括实施声事件检测技术。
18.如权利要求17所述的方法，其中，所述声事件检测技术包括自动语音识别。
19.如权利要16所述的方法，其中，对所述多个音频段中的一个进行分类包括将所述音频段和与所述一个或多个分量相关联的数据的数据库进行比较。
20.如权利要求16所述的方法，其中，确定触觉效果包括基于所述段的分类来指定触觉效果。
21.如权利要求15所述的方法，其中，识别所述音频信号的一个或多个分量包括隔离所述音频信号中的音频效果的源。
22.如权利要求21所述的方法，其中，确定与所述一个或多个分量相关联的触觉效果包括向所述源指定触觉效果。
23.如权利要求21所述的方法，其中，隔离所述音频信号中的音频效果的源包括隔离所述音频信号中的语音。
24.如权利要求23所述的方法，其中，确定与所述一个或多个分量相关联的触觉效果包括：
确定与所述语音相关联的一个或多个情绪；以及
确定与所述一个或多个情绪相关联的触觉效果。
25.如权利要求24所述的方法，其中，确定与语音相关联的一个或多个情绪包括下述中的一个或多个：基于频率的分析、基于时间的分析、话音质量分析或将所述语音的特征与所述语音中的情绪相关联的数据的数据库进行比较。
26.如权利要求15所述的方法，进一步包括：
输出可听效果；以及
输出所述触觉效果。
27.如权利要求15所述的方法，进一步包括将所述触觉信号存储在触觉轨中。
28.如权利要求15所述的方法，其中，所述触觉效果包括下述中的一个或多个：摩擦系数的变化、模拟纹理或振动。
29.一种非瞬时计算机可读介质，包括程序代码，所述程序代码在被处理器执行时被配置成使所述处理器：
接收音频信号；
至少部分基于所述音频信号，通过下述操作来确定触觉效果：
识别所述音频信号中的一个或多个分量；以及
确定与所述一个或多个分量相关联的触觉效果；以及
输出与所述触觉效果相关联的触觉信号。
30.如权利要求29所述的非瞬时计算机可读介质，其中，识别所述音频信号的一个或多个分量包括：
接收与一个或多个分量相关联的信号；
将所述音频信号分成多个段；
分析所述多个段中的一个来确定所述一个或多个分量是否存在；以及
基于所述一个或多个分量的存在，对所述段进行分类。
31.如权利要求30所述的非瞬时计算机可读介质，其中，分析所述多个音频段中的一个包括实施声事件检测技术。
32.如权利要求31所述的非瞬时计算机可读介质，其中，所述声事件检测技术包括自动语音识别。
33.如权利要求31所述的非瞬时计算机可读介质，其中，对所述多个音频段中的一个进行分类包括将所述音频段和与所述一个或多个分量相关联的数据的数据库进行比较。
34.如权利要求30所述的非瞬时计算机可读介质，其中，确定触觉效果包括基于所述段的分类来指定触觉效果。
35.如权利要求29所述的非瞬时计算机可读介质，其中，识别所述音频信号的一个或多个分量包括隔离所述音频信号中的音频效果的源。
36.如权利要求35所述的非瞬时计算机可读介质，其中，确定与所述一个或多个分量相关联的触觉效果包括向所述源指定触觉效果。
37.如权利要求35所述的非瞬时计算机可读介质，其中，隔离所述音频信号中的音频效果的源包括隔离所述音频信号中的语音。
38.如权利要求37所述的非瞬时计算机可读介质，其中，确定与所述一个或多个分量相关联的触觉效果包括：
确定与所述语音相关联的一个或多个情绪；以及
确定与所述一个或多个情绪相关联的触觉效果。
39.如权利要求38所述的非瞬时计算机可读介质，其中，确定与语音相关联的一个或多个情绪包括下述中的一个或多个：基于频率的分析、基于时间的分析、话音质量分析或将所述语音的特征和与所述语音中的情绪相关联的数据的数据库进行比较。
40.如权利要求29所述的非瞬时计算机可读介质，进一步包括程序代码，所述程序代码在被处理器执行时被配置成使所述处理器将所述触觉信号存储在触觉轨中。
CN201410453859.8A 2013-09-06 2014-09-05 用于生成与音频信号相关联的触觉效果的系统和方法 Active CN104423594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811374890.7A CN110032272A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统、方法和非瞬时计算机可读介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874933P 2013-09-06 2013-09-06
US61/874,933 2013-09-06
US14/078,445 US9619980B2 (en) 2013-09-06 2013-11-12 Systems and methods for generating haptic effects associated with audio signals
US14/078,445 2013-11-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811374890.7A Division CN110032272A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统、方法和非瞬时计算机可读介质

Publications (2)

Publication Number Publication Date
CN104423594A true CN104423594A (zh) 2015-03-18
CN104423594B CN104423594B (zh) 2018-12-07

Family

ID=51492233

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811374890.7A Pending CN110032272A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统、方法和非瞬时计算机可读介质
CN201410453859.8A Active CN104423594B (zh) 2013-09-06 2014-09-05 用于生成与音频信号相关联的触觉效果的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811374890.7A Pending CN110032272A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统、方法和非瞬时计算机可读介质

Country Status (5)

Country Link
US (4) US9619980B2 (zh)
EP (1) EP2846229A3 (zh)
JP (1) JP6734623B2 (zh)
KR (1) KR20150028724A (zh)
CN (2) CN110032272A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934660B2 (en) 2013-09-06 2018-04-03 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
US9947188B2 (en) 2013-09-06 2018-04-17 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
CN111346300A (zh) * 2018-12-20 2020-06-30 索林Crm联合股份公司 用于检测室性颤动的设备和方法
CN113407148A (zh) * 2015-09-30 2021-09-17 苹果公司 智能设备识别
TWI749663B (zh) * 2019-07-26 2021-12-11 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 發聲監控之方法及系統
CN116013137A (zh) * 2023-02-13 2023-04-25 重庆大学 一种磁流体科普展品

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
JP6532666B2 (ja) * 2014-11-07 2019-06-19 Ｄｙｎａｂｏｏｋ株式会社 方法、電子機器、およびプログラム
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
CN113037926B (zh) 2015-11-13 2023-08-22 索尼公司 通信系统、信息通信方法和存储介质
US10235848B2 (en) * 2015-12-09 2019-03-19 Immersion Corporation Public network transmission of haptic effect signals
US10176161B2 (en) * 2016-01-28 2019-01-08 International Business Machines Corporation Detection of emotional indications in information artefacts
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
WO2018017210A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic guidance system
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
US10475471B2 (en) * 2016-10-11 2019-11-12 Cirrus Logic, Inc. Detection of acoustic impulse events in voice applications using a neural network
US10242696B2 (en) 2016-10-11 2019-03-26 Cirrus Logic, Inc. Detection of acoustic impulse events in voice applications
JP6588421B2 (ja) * 2016-12-28 2019-10-09 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2018159759A (ja) * 2017-03-22 2018-10-11 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP6646001B2 (ja) * 2017-03-22 2020-02-14 株式会社東芝 音声処理装置、音声処理方法およびプログラム
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2019220495A1 (ja) * 2018-05-14 2019-11-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10360775B1 (en) 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US10382143B1 (en) * 2018-08-21 2019-08-13 AC Global Risk, Inc. Method for increasing tone marker signal detection reliability, and system therefor
US11688255B2 (en) * 2018-09-07 2023-06-27 Technologies Novhaptix Inc. Methods and systems applied to transposing audio signals to haptic stimuli in the body for multichannel immersion
JP6644293B1 (ja) * 2018-09-07 2020-02-12 株式会社ファセテラピー コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ提供方法およびコンテンツ提供用プログラム
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation
US11100814B2 (en) * 2019-03-14 2021-08-24 Peter Stevens Haptic and visual communication system for the hearing impaired
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US11335347B2 (en) * 2019-06-03 2022-05-17 Amazon Technologies, Inc. Multiple classifications of audio data
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
CN112148067B (zh) * 2019-06-27 2022-09-02 北京小米移动软件有限公司 屏幕部件和移动终端
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CA3176352A1 (en) * 2020-04-21 2021-10-28 Cary Chu Systems and methods for improved accuracy of bullying or altercation detection or identification of excessive machine noise
WO2022013168A2 (en) * 2020-07-12 2022-01-20 Lofelt Gmbh Systems and methods for authoring immersive haptic experience using spectral centriod
CN112151071B (zh) * 2020-09-23 2022-10-28 哈尔滨工程大学 一种基于混合小波包特征深度学习的语音情感识别方法
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
CN116848497A (zh) * 2021-02-08 2023-10-03 索尼集团公司 施加触觉刺激的控制装置
JPWO2022181702A1 (zh) * 2021-02-25 2022-09-01
US11606636B2 (en) * 2021-06-03 2023-03-14 Feng-Chou Lin Somatosensory vibration generating device and method for forming somatosensory vibration
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
CN113642604B (zh) * 2021-07-09 2023-08-18 南京邮电大学 一种基于云边协同的音视频辅助触觉信号重建方法
CN113823278B (zh) * 2021-09-13 2023-12-08 北京声智科技有限公司 语音识别方法、装置、电子设备及存储介质
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
EP4375829A1 (en) * 2022-11-24 2024-05-29 Go Touch VR Method and apparatus of generating haptic effect from audio content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
US20090231276A1 (en) * 2006-04-13 2009-09-17 Immersion Corporation System And Method For Automatically Producing Haptic Events From A Digital Audio File
US20100302033A1 (en) * 2009-05-28 2010-12-02 Simon Paul Devenyi Personal alerting device and method
US20110102160A1 (en) * 2009-10-29 2011-05-05 Immersion Corporation Systems And Methods For Haptic Augmentation Of Voice-To-Text Conversion
US20110169908A1 (en) * 2008-09-05 2011-07-14 Sk Telecom Co., Ltd. Mobile communication terminal that delivers vibration information, and method thereof
CN102750957A (zh) * 2011-02-11 2012-10-24 英默森公司 利用振幅值的声音到触觉效应转换系统

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4250637A (en) 1979-06-13 1981-02-17 Scott Instruments Company Tactile aid to speech reception
US4382251A (en) 1980-09-23 1983-05-03 Casio Computer Co., Ltd. Envelope control device for piezoelectric buzzer
US5056251A (en) 1989-07-07 1991-10-15 Collector's Products Corporation Card display apparatus
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
WO1998027802A2 (en) 1996-12-18 1998-07-02 Sanderford, Hugh, Britton Power spectral density technique
CA2225586A1 (en) * 1997-12-23 1999-06-23 Elmer H. Hara Tactile and visual hearing aids utilizing sonogram pattern
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6332120B1 (en) 1999-04-20 2001-12-18 Solana Technology Development Corporation Broadcast speech recognition system for keyword monitoring
US7020701B1 (en) 1999-10-06 2006-03-28 Sensoria Corporation Method for collecting and processing data using internetworked wireless integrated network sensors (WINS)
US6408696B1 (en) 1999-12-06 2002-06-25 Ai Signal Research, Inc. Coherent phase line enhancer spectral analysis technique
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US6397154B1 (en) 2000-07-07 2002-05-28 Research Electronics International Correlation method for surveillance device detection
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7739601B1 (en) 2002-01-23 2010-06-15 Microsoft Corporation Media authoring and presentation
FR2835125B1 (fr) 2002-01-24 2004-06-18 Telediffusion De France Tdf Procede d'evaluation d'un signal audio numerique
US20030188020A1 (en) 2002-03-29 2003-10-02 Steven Barile Tangible artifact referencing digital content
WO2003089100A1 (en) 2002-04-22 2003-10-30 Intellocity Usa, Inc. Method and apparatus for data receiver and controller
US7899915B2 (en) 2002-05-10 2011-03-01 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
EP1550297B1 (en) 2002-09-30 2009-03-18 Gracenote, Inc. Fingerprint extraction
US8027482B2 (en) 2003-02-13 2011-09-27 Hollinbeck Mgmt. Gmbh, Llc DVD audio encoding using environmental audio tracks
KR100581060B1 (ko) 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
CN1318191C (zh) 2003-12-01 2007-05-30 东南大学 时空双通道机器人触觉再现电流刺激方法及装置
US8064752B1 (en) 2003-12-09 2011-11-22 Apple Inc. Video encoding
EP1560199B1 (en) * 2004-01-29 2008-07-09 Harman Becker Automotive Systems GmbH Multimodal data input
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US8751616B2 (en) 2004-06-08 2014-06-10 Siemens Industry, Inc. System for accessing and browsing a PLC provided within a network
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
WO2006043511A1 (ja) 2004-10-18 2006-04-27 Nsk Ltd. 機械設備の異常診断システム
US10741089B2 (en) 2004-12-23 2020-08-11 Carl Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
US20080098331A1 (en) 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US7650192B2 (en) 2005-12-02 2010-01-19 Medtronic, Inc. Passive charge of implantable medical device utilizing external power source and method
US20070178942A1 (en) 2006-01-30 2007-08-02 Sadler Daniel J Method for abruptly stopping a linear vibration motor in portable communication device
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
WO2007144823A1 (en) 2006-06-13 2007-12-21 Koninklijke Philips Electronics N.V. Distribution of ambience and content
US7567165B2 (en) 2006-10-27 2009-07-28 At&T Intellectual Property, I, L.P. Methods, devices, and computer program products for providing ambient noise sensitive alerting
US20080103558A1 (en) 2006-10-30 2008-05-01 Stuart Wenzel Focused electromagnetic-wave and ultrasonic-wave structures for tissue stimulation
CN101237317B (zh) 2006-11-27 2010-09-29 华为技术有限公司 确定发送频谱的方法和装置
US7882442B2 (en) 2007-01-05 2011-02-01 Eastman Kodak Company Multi-frame display system with perspective based image arrangement
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8095646B2 (en) 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8325144B1 (en) 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
US8655663B2 (en) 2007-10-26 2014-02-18 D&M Holdings, Inc. Audio signal interpolation device and audio signal interpolation method
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US7816838B2 (en) 2007-12-11 2010-10-19 Nokia Corporation Piezoelectric force sensing
JP2009159125A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム
US8952888B2 (en) 2008-05-09 2015-02-10 Koninklijke Philips N.V. Method and system for conveying an emotion
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
EP2741177B1 (en) 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
US8712958B2 (en) 2008-07-16 2014-04-29 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata
KR101667416B1 (ko) 2008-07-16 2016-10-19 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008235A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20110125790A1 (en) 2008-07-16 2011-05-26 Bum-Suk Choi Method and apparatus for representing sensory effects and computer readable recording medium storing sensory effect metadata
EP2164066B1 (en) 2008-09-15 2016-03-09 Oticon A/S Noise spectrum tracking in noisy acoustical signals
WO2010033006A2 (ko) 2008-09-22 2010-03-25 한국전자통신연구원 실감 효과 표현 방법 및 장치
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US20100153995A1 (en) 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
ES2720149T3 (es) 2008-12-19 2019-07-18 Medicis Pharmaceutical Corp Formulaciones de imiquimod con un contenido de dosificación menor y regímenes de dosificación cortos para tratar queratosis actínica
US9334718B2 (en) 2009-01-05 2016-05-10 Schlumberger Technology Corporation Processing time series data embedded in high noise
US9402133B2 (en) 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
US20130044049A1 (en) 2009-03-10 2013-02-21 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
WO2010119397A2 (en) 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. A foldable tactile display
KR20100114858A (ko) 2009-04-16 2010-10-26 한국전자통신연구원 실감 기기 성능 메타데이터를 이용한 실감 효과 표현 방법 및 장치
US20100274817A1 (en) 2009-04-16 2010-10-28 Bum-Suk Choi Method and apparatus for representing sensory effects using user's sensory effect preference metadata
US20120059697A1 (en) 2009-05-08 2012-03-08 University Of Washington Advertising during accelerated media playback
US8634928B1 (en) 2009-06-16 2014-01-21 The Board Of Trustees Of The Leland Stanford Junior University Wireless power transmission for implantable medical devices
CN104679247B (zh) 2009-07-22 2018-07-24 意美森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法
CN102341766B (zh) 2009-09-03 2014-09-24 松下电器产业株式会社 触感再现方法和装置
GB2474047B (en) 2009-10-02 2014-12-17 New Transducers Ltd Touch sensitive device
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US20110099596A1 (en) * 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
US20110124413A1 (en) 2009-11-23 2011-05-26 Levanon Ofer Haptic-simulation home-video game
US20130316826A1 (en) 2009-11-23 2013-11-28 Ofer LEVANON Haptic-simulation home-video game
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20110153768A1 (en) 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
KR101487944B1 (ko) 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
US8934857B2 (en) 2010-05-14 2015-01-13 Qualcomm Incorporated Controlling field distribution of a wireless power transmitter
KR101635029B1 (ko) 2010-06-28 2016-06-30 엘지전자 주식회사 이동 단말기
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
KR101884483B1 (ko) 2010-07-21 2018-08-01 디-박스 테크놀러지스 인코포레이트 미디어 인식 및 움직임 신호와의 동기화
CN102385571B (zh) 2010-09-06 2016-03-30 联想(北京)有限公司 一种显示方法及显示装置
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
KR101719653B1 (ko) 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
US9058728B2 (en) 2010-11-05 2015-06-16 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
CN102480612A (zh) 2010-11-21 2012-05-30 余浪 用于传输视频数据和触觉数据的方法以及视频采集装置
IN2013MN01227A (zh) 2010-11-23 2015-06-05 Feather Sensors Llc
US20120150928A1 (en) 2010-12-09 2012-06-14 Peter Ward Method and system for identifying media assets
WO2012086208A1 (ja) 2010-12-22 2012-06-28 京セラ株式会社 電子機器
JP5593244B2 (ja) 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP5602653B2 (ja) 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8872011B2 (en) 2011-02-25 2014-10-28 Mark Fresolone Visual, tactile and motion-sensation system for representing music for an audience
US8593420B1 (en) 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
WO2012127837A1 (ja) 2011-03-18 2012-09-27 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
US8849663B2 (en) 2011-03-21 2014-09-30 The Intellisis Corporation Systems and methods for segmenting and/or classifying an audio signal from transformed audio information
US8948892B2 (en) 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
US8976980B2 (en) 2011-03-24 2015-03-10 Texas Instruments Incorporated Modulation of audio signals in a parametric speaker
AU2012236679B2 (en) 2011-03-30 2015-10-01 Es Xplore, L.L.C. Method and system for passive electroseismic surveying
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
KR101840644B1 (ko) * 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
US8892391B2 (en) 2011-06-03 2014-11-18 Apple Inc. Activity detection
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US8694375B2 (en) 2011-09-30 2014-04-08 Microsoft Corporation Determining whether to display message to user in application based on user message viewing history
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
EP3557388A1 (en) 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8847913B2 (en) 2012-04-04 2014-09-30 Kohler Co. User interface device for a bath or shower
JP6269480B2 (ja) 2012-04-06 2018-01-31 株式会社ニコン データ処理装置、及びデータ処理プログラム
US20130307829A1 (en) 2012-05-16 2013-11-21 Evernote Corporation Haptic-acoustic pen
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
WO2013177663A1 (en) 2012-06-01 2013-12-05 Research In Motion Limited Methods and devices for providing companion services to video
US9831551B2 (en) 2012-06-22 2017-11-28 Adant Technologies, Inc. Reconfigurable antenna system
WO2014018974A1 (en) 2012-07-27 2014-01-30 Thoratec Corporation Magnetic power transmission utilizing phased transmitter coil arrays and phased receiver coil arrays
GB2519475A (en) 2012-08-21 2015-04-22 Immerz Inc Systems and methods for a vibrating input device
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9402576B2 (en) * 2012-09-12 2016-08-02 International Business Machines Corporation Electronic communication warning and modification
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9182890B2 (en) 2013-01-31 2015-11-10 Lg Electronics Inc. Image display apparatus and method for operating the same
KR102099086B1 (ko) 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US10521015B2 (en) 2013-03-01 2019-12-31 Nokia Technologies Oy Control apparatus for a tactile audio display
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9489965B2 (en) * 2013-03-15 2016-11-08 Sri International Method and apparatus for acoustic signal characterization
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9363131B2 (en) 2013-03-15 2016-06-07 Imagine Communications Corp. Generating a plurality of streams
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
JP6411069B2 (ja) 2013-05-24 2018-10-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚データを符号化及びストリーミングする方法及びシステム
US20140368349A1 (en) 2013-06-14 2014-12-18 Revolution Display Sensory element projection system and method of use
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
US20090231276A1 (en) * 2006-04-13 2009-09-17 Immersion Corporation System And Method For Automatically Producing Haptic Events From A Digital Audio File
US20110169908A1 (en) * 2008-09-05 2011-07-14 Sk Telecom Co., Ltd. Mobile communication terminal that delivers vibration information, and method thereof
US20100302033A1 (en) * 2009-05-28 2010-12-02 Simon Paul Devenyi Personal alerting device and method
US20110102160A1 (en) * 2009-10-29 2011-05-05 Immersion Corporation Systems And Methods For Haptic Augmentation Of Voice-To-Text Conversion
CN102750957A (zh) * 2011-02-11 2012-10-24 英默森公司 利用振幅值的声音到触觉效应转换系统
CN103247296A (zh) * 2011-02-11 2013-08-14 英默森公司 利用波形的声音到触觉效应转换系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934660B2 (en) 2013-09-06 2018-04-03 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
US9947188B2 (en) 2013-09-06 2018-04-17 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US10388122B2 (en) 2013-09-06 2019-08-20 Immerson Corporation Systems and methods for generating haptic effects associated with audio signals
US10395488B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
CN113407148A (zh) * 2015-09-30 2021-09-17 苹果公司 智能设备识别
CN111346300A (zh) * 2018-12-20 2020-06-30 索林Crm联合股份公司 用于检测室性颤动的设备和方法
CN111346300B (zh) * 2018-12-20 2023-07-28 索林Crm联合股份公司 用于检测室性颤动的设备和方法
TWI749663B (zh) * 2019-07-26 2021-12-11 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 發聲監控之方法及系統
CN116013137A (zh) * 2023-02-13 2023-04-25 重庆大学 一种磁流体科普展品

Also Published As

Publication number Publication date
US20150070148A1 (en) 2015-03-12
US10388122B2 (en) 2019-08-20
CN110032272A (zh) 2019-07-19
US20200043301A1 (en) 2020-02-06
US20180204427A1 (en) 2018-07-19
JP6734623B2 (ja) 2020-08-05
EP2846229A2 (en) 2015-03-11
EP2846229A3 (en) 2015-05-06
KR20150028724A (ko) 2015-03-16
US9947188B2 (en) 2018-04-17
US9619980B2 (en) 2017-04-11
JP2015053054A (ja) 2015-03-19
US20170162010A1 (en) 2017-06-08
CN104423594B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN104423594B (zh) 用于生成与音频信号相关联的触觉效果的系统和方法
CN104423592B (zh) 用于生成与音频信号中的包络相关联的触觉效果的系统和方法
CN104423593B (zh) 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
JP6595686B2 (ja) ハプティック効果の自動適合
CN110853618B (zh) 一种语种识别的方法、模型训练的方法、装置及设备
JP6544991B2 (ja) 触覚設計オーサリングツール
Visi et al. Gesture in performance with traditional musical instruments and electronics: Use of embodied music cognition and multimodal motion capture to design gestural mapping strategies
Gillian et al. A Machine Learning Toolbox For Musician Computer Interaction.
Skogstad et al. Using IR optical marker based motion capture for exploring musical interaction
Chiu et al. The Design of Music Conducting System Using Kinect and Dynamic Time Warping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant