CN103365415A - 使用多执行器的声音-触觉效应转换系统 - Google Patents

Abstract

本公开涉及使用多执行器的声音-触觉效应转换系统。触觉转换系统提供：分析音频信号，基于对音频信号的分析产生多个触觉信号，并且通过多个执行器播放所产生的多个触觉信号以产生一个或多个触觉效应。触觉转换系统基于音频信号的一个或多个音频特性将所产生的多个触觉信号映射到多个执行器。每个产生的触觉信号都包括一个或多个触觉参数，并且在其映射的执行器被播放以产生一个或多个触觉效应。

Description

使用多执行器的声音-触觉效应转换系统

技术领域

一个实施例一般涉及一种设备，尤其涉及一种产生触觉效应的设备。

背景技术

触觉是通过将诸如力、振动和运动的触觉反馈效应（即“触觉效应”）施加给用户而对用户的接触感知加以利用的触知和力反馈技术。诸如移动设备、触摸屏设备和个人计算机的设备能够被配置成产生触觉效应。一般地，能够在设备的操作系统（“OS”）内对调用能够产生触觉效应的嵌入式硬件（诸如执行器）进行编程。这些调用指定哪个触觉效应要播放。例如，当用户与使用例如按钮、触摸屏、控制杆、游戏棒、操纵轮或一些其它控制器的设备交互时，设备的OS能够通过控制电路将播放命令发送至嵌入式硬件。然后嵌入式硬件产生适当的触觉效应。

这种设备还能够被配置成播放诸如数字音频信号的音频数据。例如，这种设备能够包括被配置成播放诸如含有音频部分的电影或视频游戏的视频数据、或诸如歌曲的音频数据的应用程序（应用）。与触觉论类似，能够在设备的OS内对调用能够产生音频效果的附加的嵌入式硬件（诸如扬声器）进行编程。因此，设备的OS能够通过控制电路将播放命令发送至附加的嵌入式硬件，其中附加的嵌入式硬件随后产生适当的音频效果。

发明内容

一个实施例涉及一种将音频信号转换成在多个执行器处播放的一个或多个触觉效应的系统。该系统分析音频信号。该系统基于音频信号的一个或多个音频特性进一步产生一个或多个触觉信号，其中一个或多个触觉信号的每个触觉信号都包括一个或多个触觉参数。该系统进一步将多个触觉信号映射到多个执行器，其中每个触觉信号都被映射到相应的执行器。该系统进一步将每个触觉信号发送至其映射的执行器。该系统进一步在每个触觉信号映射的执行器处播放该触觉信号以产生一个或多个触觉效应中的一个触觉效应。

附图说明

结合附图，通过优选实施例的下列详细说明，进一步的实施例、细节、优点及更改将是显而易见的。

图1示出根据本发明一个实施例的触觉转换系统的框图。

图2示出根据本发明一个实施例的触觉转换系统的结构图。

图3示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对单个音频特性的分析而将一个或多个触觉信号同时输出至两个或多个执行器。

图4示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对单个音频特性的分析而在不同时间将一个或多个触觉信号输出至两个或多个执行器。

图5示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。

图6示出根据本发明一个实施例的触觉转换系统的实例，其分析多声道音频信号并且使用对一个或多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。

图7A示出根据本发明一个实施例的触觉转换系统的实例用户界面，该触觉转换系统对基于多声道结构的音频文件进行分析，并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。

图7B示出根据本发明一个实施例的触觉转换系统的另一个实例用户界面，该触觉转换系统对基于多声道结构的音频文件进行分析，并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。

图8示出根据本发明一个实施例的触觉转换模块的功能性的流程图。

图9示出根据本发明一个实施例的设备。

具体实施方式

一个实施例是一种触觉转换系统，其能够分析音频信号，基于对音频信号的分析产生多个触觉信号，并且通过多个执行器播放所产生的多个触觉信号以产生一个或多个触觉效应。产生的多个触觉信号能够基于音频信号的一个或多个音频特性而被映射到多个执行器。每个所产生的触觉信号都能够包括一个或多个触觉参数，并且能够在它映射的执行器处播放以产生一个或多个触觉效应。

图1示出根据本发明一个实施例的触觉转换系统10的框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为移动设备提供触觉转换功能性。虽然作为单个系统示出，但是系统10的功能性能够被实施为分布式系统。系统10包括总线12或用于交流信息的其它通信机构，和被耦接至总线12的用于处理信息的处理器22。处理器22可以是任何类型的一般或专用处理器。系统10进一步包括用于存储信息和通过处理器22执行的指令的存储器14。存储器14能够由随机存取存储器（“RAM”）、只读存储器（“ROM”）、诸如磁盘或光盘的静态存储器、或任何其它类型计算机可读介质的任何组合组成。

计算机可读介质可以是能够通过处理器22存取的任何可用介质，并且可以包括易失性和非易失性介质、可拆卸和不可拆卸介质、通信介质和储存介质。通信介质可以包括计算机可读指令、数据结构、程序模块或在诸如载波的被调制数据信号或其它传送机构中的其它数据，并且可以包括本领域已知的任何其它形式的信息传递介质。储存介质可以包括RAM、闪速存储器、ROM、可擦除可编程只读存储器（“EPROM”）、电可擦除可编程只读存储器（“EEPROM”）、寄存器、硬盘、可拆卸磁盘、光盘只读存储器（“CD-ROM”）或本领域已知的任何其它形式的储存介质。

在一个实施例中，存储器14存储通过处理器22执行时提供功能性的软件模块。该模块既包括为系统10提供操作系统功能性的操作系统15，也包括在一个实施例中移动设备的其余部分。该模块进一步包括触觉转换模块16，其将音频信号转换成用于在多个执行器处产生一个或多个触觉效应的一个或多个触觉信号，如下文更详细地公开的那样。在某些实施例中，触觉转换模块16能够包含多个模块，每个模块都提供具体独特的功能性，用于将音频信号转换成用于在多个执行器处产生一个或多个触觉效应的一个或多个触觉信号。系统10通常将包括一个或多个附加的应用模块18以便包括附加的功能性，诸如Immersion公司的

触觉开发平台。

在发射和/或从远程源接收数据的实施例中，系统10进一步包括诸如网络接口卡的通信设备20，以便提供诸如红外、无线电、无线上网系统（Wi-Fi）、或蜂窝网络通信的移动无线网络通信。在其它实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。

处理器22经由总线12被进一步耦接至诸如液晶显示器（“LCD”）的显示器24，以便将图形表达或用户界面显示给用户。显示器24可以是被配置成发送和从处理器22接收信号的诸如触摸屏的触摸感应输入设备，并且可以是多点触摸触摸屏。

系统10进一步包括多个执行器26（例如，执行器26A和26B）。本领域的一名普通技术人员将易于理解在图1示出的实施例中，多个执行器26包括两个执行器（即，执行器26A和26B），但是在可选实施例中，多个执行器26能够包括任何数量的执行器。处理器22可以将与触觉效应相关的触觉信号发射至多个执行器26中的一个或多个执行器，其中一个或多个执行器中的每个执行器都继而输出触觉效应。多个执行器26中的每个执行器都可以是，例如，电动机、电磁执行器、声圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机（“ERM”）、线性谐振执行器（“LRA”）、压电执行器、高带宽执行器、电活性聚合物（“EAP”）执行器、静电摩擦显示器、或超声波振动发生器。此外，多个执行器26中的每个执行器都可以是不同的执行器类型。

在一些实施例中，系统10进一步包括一个或多个扬声器28。处理器22可以将音频信号发射至扬声器28，其继而输出音频效果。扬声器28可以是，例如，动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面的磁性扩音器（planarmagnetic loudspeaker）、弯曲波扩音器（bending wave loudspeaker）、平板扩音器（flat panel loudspeaker）、海尔气动式传感器（heil airmotion transducer）、等离子弧扬声器和数字式扩音器。

图2示出根据本发明一个实施例的触觉转换系统的结构图。在示出的实施例中，触觉转换系统包括音频模块210和扬声器220。音频模块210是用于设备（诸如移动设备）的操作系统的模块，该设备被配置成接收一个或多个音频缓冲（audio buffers），并且将一个或多个音频缓冲流出（stream）至扬声器220，其中每个音频缓冲都包含一个或多个音频数据帧。在某些实施中，一个或多个音频缓冲是数字音频缓冲，诸如脉冲编码调制（“PCM”）音频缓冲，其中每个PCM音频缓冲都包含一个或多个PCM音频数据帧。在其它实施例中，一个或多个音频缓冲是基于结构的音频缓冲，诸如乐器数字接口（“MIDI”）音频缓冲，其中每个MIDI音频缓冲都包含一个或多个MIDI音频数据帧。在又一些实施例中，一个或多个音频缓冲是频域音频缓冲，诸如MPEG-2音频层III（“MP3”）音频缓冲，其中每个MP3音频缓冲都包含一个或多个MP3音频数据帧。在又一些实施例中，一个或多个音频缓冲是本领域普通技术人员已知的任何其它音频格式。在一个实施例中，音频模块210是用于移动设备的

操作系统的Android音频轨道模块。

扬声器220是被配置成接收一个或多个音频缓冲和被配置成输出一个或多个音频效果的扬声器。扬声器220能够是，例如，动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面磁性扩音器、弯曲波扩音器、平板扩音器、海尔气动式传感器、等离子弧扬声器和数字式扩音器。

根据该实施例，触觉转换系统还包括触觉转换模块230。在某些实施例中，触觉转换模块230和图1的触觉转换模块16相同。根据该实施例，触觉转换模块230被配置成截取从音频模块210流出至扬声器220的一个或多个音频缓冲。触觉转换模块230被进一步配置成分析一个或多个音频缓冲。更具体地，触觉转换模块230被配置成分析含在一个或多个音频缓冲内的一个或多个音频数据帧。根据该实施例，触觉转换模块230被配置成分析一个或多个音频数据帧中的每个音频数据帧的一个或多个音频特性。在实例实施例中，触觉转换模块230被配置成分析每个音频数据帧的下列音频特性中的一个或多个：音频数据帧的振幅、音频数据帧的频率、或音频数据帧的持续时间。在某些实施例中，触觉转换模块230能够在分析一个或多个音频数据帧中的每个音频数据帧的一个或多个音频特性前，将一个或多个音频缓冲从第一种音频格式变成第二种音频格式。通过触觉转换模块230执行的分析过程的进一步的细节在其公开内容通过引用并入本文的美国申请系列No.13/365,984“SOUND TO HAPTIC EFFECTCONVERSION SYSTEM USING AMPLITUDE VALUE（使用振幅值的声音-触觉效应转换系统）”，和其公开内容也通过引用并入本文的美国申请系列No.13/366,010“SOUND TO HAPTIC EFFECTCONVERSION SYSTEM USING WAVEFORM（使用波形的声音-触觉效应转换系统）”中被描述。

触觉转换模块230被进一步配置成基于一个或多个音频缓冲的被分析的音频特性产生一个或多个触觉信号。根据某些实施例，触觉信号是包括一个或多个触觉参数的信号，其中触觉信号，当在执行器处播放时，使执行器产生一个或多个触觉效应。在一个实施例中，触觉信号能够包括一个或多个下列触觉参数：执行器振动的振幅、执行器振动的持续时间、或执行器振动的频率。根据某些实施例，一个或多个触觉参数能够基于一个或多个音频缓冲的被分析的音频特性而被确定。音频特性能够包括以下的至少一个：音频数据帧的振幅、音频数据帧的频率、或音频数据帧的持续时间。例如，如果音频缓冲的音频帧具有低频，则触觉信号能够利用具有低值的触觉频率参数来产生。同样，如果音频缓冲的音频帧具有高频，则触觉信号能够利用具有高值的触觉频率参数来产生。作为另一个实例，如果音频缓冲的音频帧具有低振幅，则触觉信号能够利用具有低值的触觉振幅参数来产生。同样，如果音频缓冲的音频帧具有高振幅，则触觉信号能够利用高值的触觉振幅参数来产生。在一些实施例中，触觉信号的一个或多个触觉参数能够基于触觉信号能够被映射到的执行器的一个或多个特性而被确定。例如，如果触觉信号能够被映射到被配置成产生具有高频的触觉效应的执行器，则触觉信号能够利用具有高值的触觉频率参数来产生。在其它实施例中，触觉信号能够包括波形，其中波形是格式为诸如PCM格式的一组一个或多个信号值。

在某些实施例中，一个或多个所产生的触觉信号是相同的触觉信号。更具体地，在这些实施例中，一个或多个所产生的触觉信号包括相同的触觉参数（即，具有相同值的触觉参数）。在其它实施例中，一个或多个所产生的触觉信号中的每个都是不同的触觉信号。更具体地，在这些实施例中，每个所产生的触觉信号都包括不同的触觉参数（即，具有不同值的触觉参数）。在又一些实施例中，一个或多个所产生的触觉信号的一些是相同的信号，而另一些是不同的触觉信号。

触觉转换模块230被进一步配置成将一个或多个所产生的触觉信号映射到多个执行器。根据该实施例，为每个所产生的触觉信号，从多个执行器中识别一个或多个执行器，并且每个所产生的触觉信号都被映射到所识别的一个或多个执行器。例如，为具有低频的音频缓冲的音频帧产生的触觉信号能够被映射到第一执行器（例如，ERM执行器），而为具有高频的音频缓冲的音频帧产生的触觉信号能够被映射到第二执行器（例如，压电执行器）。在某些实施例中，映射是系统定义的，并且能够基于一个或多个音频缓冲的被分析的音频特性的一个或多个音频特性，或所述一个或多个音频特性与每个所识别的执行器的一个或多个特性的组合。在其它实施例中，映射是用户定义的，其中触觉转换系统的用户能够将音频信号的一个或多个音频特性映射到一种或多种执行器类型，或映射到一个或多个特定执行器。

触觉转换系统还包括触觉效应播放器模块240和260，以及执行器250和270。本领域普通技术人员将易于理解这仅仅是实例实施例，并且在可选实施例中，触觉转换系统能够包括任何数量的触觉效应播放器模块和任何数量的执行器。

触觉效应播放器模块240和260是嵌入在设备（诸如移动设备）内、并且被配置成通过将一个或多个触觉信号发送至一个或多个执行器而在一个或多个执行器处播放一个或多个触觉效应的模块的实例。在示出的实施例中，触觉效应播放器模块240和260每个都被配置成在单个执行器处播放一个或多个触觉效应。然而，这仅仅是实例实施例，并且在可选实施例中，触觉效应播放器模块能够被配置成在多个执行器处播放一个或多个触觉效应。在一个实施例中，触觉效应播放器模块（诸如触觉效应播放器模块240和260）是Immersion公司的

播放器模块。

执行器250和270是被配置成接收一个或多个触觉信号、并且被配置成输出一个或多个触觉效应的执行器的实例。在某些实施例中，执行器（诸如执行器250和270）是被配置成接收单个控制参数（诸如振幅参数、频率参数、或持续时间参数）的执行器，其中当通过执行器播放时单个控制参数用于控制周期性效应。在其它实施例中，执行器（诸如执行器250和270）是被配置成接收波形的执行器，其中当通过执行器播放时波形用于控制波形效应。执行器能够是，例如，电动机、电磁执行器、声圈、形状记忆合金、电活性聚合物、螺线管、ERM、LRA、压电执行器、高带宽执行器或EAP执行器。此外，在某些实施例中，执行器250能够是第一种类型的执行器，而执行器270能够是第二种类型的执行器。在触觉转换系统包括多个执行器、有多于两个的执行器的可选实施例中，多个执行器中的每个执行器都能够是不同的执行器类型。

根据该实施例，一个或多个产生的触觉信号中的每个所产生的触觉信号都被发送至触觉效应播放器模块。在示出的实施例中，第一产生的触觉信号被发送至触觉效应播放器模块240，而第二产生的触觉信号被发送至触觉效应播放器模块260。触觉效应播放器模块之后将所产生的触觉信号发送至各自的执行器，其中所产生的触觉信号使执行器播放一个或多个触觉效应。在示出的实施例中，触觉效应播放器模块240将第一产生的触觉信号发送至执行器250，并且使执行器250播放一个或多个触觉效应，而触觉效应播放器模块260将第二产生的触觉信号发送至执行器270，并且使执行器270播放一个或多个触觉效应。

在一个或多个音频缓冲是基于结构的音频缓冲或频域音频缓冲的实施例中，一个或多个音频缓冲的一个或多个数据帧的每个音频数据帧都能够包括音频数据帧内的一个或多个声道。在这些实施例中，触觉转换模块230能够执行声道分析，其中音频数据帧的每个声道都被分析，并且为每个声道产生触觉信号。在这些实施例中，每个产生的触觉信号都能够被发送至它自己的触觉效应播放器模块（诸如触觉效应播放器模块240和260），并且随后被发送至它自己的执行器（诸如执行器250和270）。例如，其中一个或多个音频缓冲是MIDI音频缓冲，每个MIDI音频数据帧的每个声道都能够表示不同的乐器。在这个实例中，触觉信号能够为每个乐器而产生，并且能够被发送至不同的执行器以便播放对应于每个乐器的一个或多个触觉效应。

在某些实施例中，并非基于一个或多个音频缓冲的被分析的音频特性而产生一个或多个触觉信号，而是触觉转换模块230能够选择含在能够存储在触觉转换模块230内的通用触觉层（“UHL”）库（未在图2中示出）内的一个或多个预先定义的触觉信号，并且触觉转换模块230能够使UHL层将一个或多个预先定义的触觉信号发送至触觉效应播放器模块（诸如触觉效应播放器模块240和260），其中每个预先定义的触觉信号随后被发送至它自己的执行器（诸如执行器250和270）。在这些实施例中，并非触觉转换模块230产生触觉信号的一个或多个触觉参数，而是一个或多个触觉参数在每个预先定义的触觉信号内被预先定义，并且触觉转换模块230基于一个或多个音频缓冲的被分析的音频特性而选择每个预先定义的触觉信号。

在某些实施例中，如上所述，触觉转换模块230能够产生一个或多个触觉信号，并且将每个触觉信号都发送至执行器（经由触觉效应播放器模块），其中触觉信号用于在执行器处播放一个或多个触觉效应。然而，在可选实施例中，触觉转换模块230能够首先产生单个触觉信号，将单个触觉信号划分成多个触觉信号分量，并且将每个触觉信号分量发送至执行器（经由触觉效应播放器模块），其中触觉信号分量用于在执行器处播放一个或多个触觉效应。

在某些实施例中，触觉转换模块230被进一步配置成存储一个或多个定义，其中每个定义声明（state）：当一级（primary）触觉信号被产生并且被发送至一级执行器时，二级（secondary）触觉信号也被产生并且被发送至二级执行器，与音频信号的分析无关。二级执行器能够用于播放一个或多个触觉效应，其“补充（complement）”或“完成（round-out）”在一级执行器处播放的一个或多个触觉效应。根据某些实施例，一个或多个定义中的每个定义都是包括条件和声明（语句，statement），其中条件是被发送至一级执行器的一级触觉信号产生的发生，声明是产生被发送至二级执行器的二级触觉信号的指令。在这些实施例中，触觉转换模块230被进一步配置成对一级触觉信号执行后处理，其中后处理包括产生二级触觉信号并且将触觉信号发送至二级执行器（经由触觉效应播放器模块）。

例如，基于对音频信号的分析，触觉转换模块230能够产生第一触觉信号，并且能够将触觉信号发送至ERM执行器，其中第一触觉信号在ERM执行器处播放，并且产生第一触觉效应。另外，与音频信号的分析无关，触觉转换模块230能够评估定义的条件，并且基于用于ERM执行器的第一触觉信号的产生，能够确定对定义的声明需要被执行。声明能够包括产生第二触觉信号并且将第二触觉信号发送至压电执行器的指令。基于定义的声明，触觉转换模块230能够产生第二触觉信号并且将第二触觉信号发送至压电执行器，其中第二触觉信号在压电执行器处播放，并且产生第二触觉效应。根据该实例，通过压电执行器输出的第二触觉效应能够用于“补充”或“完成”通过ERM执行器输出的第一触觉效应。因此，能够存储在触觉转换模块230内的一个或多个定义能够用于定制一个或多个触觉效应以创建“主题”输出。

在某些实施例中，继一级触觉效应在一级执行器播放后，二级触觉效应在二级执行器播放。在其它实施例中，在一级触觉效应在一级执行器播放前，二级触觉效应在二级执行器播放。在某些实施例中，二级执行器是不同于一级执行器的执行器类型。

图3示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对单个音频特性的分析而将一个或多个触觉信号同时输出至两个或多个执行器。根据示出的实施例，触觉转换系统包括两个执行器：4mm ERM执行器（即，“执行器一”）和8mm ERM执行器（即，“执行器二”）。通过触觉转换系统分析音频信号300，并且触觉转换系统识别音频信号300的分量，其具有如图3中区域310和320所指示的特定振幅峰值。基于对音频信号300的分析，触觉转换系统产生触觉信号，其被发送至执行器一，并且使执行器一重播振幅为100%、频率为10Hz和持续时间为100ms的一个或多个触觉效应。此外，还基于对音频信号300分析，触觉转换系统产生触觉信号，其被发送至执行器二，并且使执行器二重播振幅为50%、频率为20Hz、持续时间为25ms的一个或多个触觉效应。在示出的实施例中，执行器一和执行器二都同时重播它们的触觉效应。因此，图3示出的实施例示出触觉转换系统能够产生一个或多个触觉信号，其使一个或多个触觉效应同时在两个不同类型的执行器被播放，其中两个执行器具有不同振幅、不同频率和不同持续时间。

图4示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对单个音频特性的分析而在不同时间将一个或多个触觉信号至输出两个或多个执行器。根据示出的实施例，触觉转换系统包括两个执行器：ERM执行器（即，“执行器一”）和压电执行器（即，“执行器二”），它们不同于图3所示实例中的执行器。通过触觉转换系统分析音频信号400，并且触觉转换系统识别音频信号400的分量，其具有如图4中区域410和420所指示的特定振幅峰值。基于对音频信号400的分析，触觉转换系统产生触觉信号，其被发送至执行器一，并且使执行器一重播振幅为100%、频率为10Hz和持续时间为100ms的一个或多个触觉效应。此外，还基于对音频信号400的分析，触觉转换系统产生触觉信号，其被发送至执行器二，并且使执行器二重播振幅为50%、频率为200Hz、持续时间为10ms的一个或多个触觉效应。此外，通过执行器二播放的一个或多个触觉效应比通过执行器一播放的一个或多个触觉效应晚90ms播放。在某些实施例中，执行器一和二的交错重播能够补偿执行器一和二重播速度的差异。因此，在这些实施例中，用户能够体验同步重播，尽管每个执行器的一个或多个效应是在不同时间播放的。因此，图4示出的实施例示出触觉转换系统能够产生一个或多个触觉信号，其使一个或多个触觉效应于两个不同时间在两个不同类型的执行器播放，其中两个执行器具有不同振幅、不同频率和不同持续时间。

图5示出根据本发明一个实施例的触觉转换系统的实例，其分析音频信号并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。根据示出的实施例，触觉转换系统包括两个执行器：ERM执行器（即，“执行器一”）和压电执行器（即，“执行器二”）。通过触觉转换系统分析音频信号500，并且触觉转换系统识别：（a）具有如图5中区域510和520所指示的特定振幅峰值的音频信号500的分量；（b）具有如区域530所指示的特定频率的音频信号500的分量；和（c）具有如区域540所指示的特定持续时间的音频信号500的分量。

基于对音频信号500（尤其是，具有如区域540所指示的特定持续时间的音频信号500的分量）的分析，触觉转换系统产生触觉信号，其被发送至执行器一，并且使执行器一重播振幅为100%、频率为10Hz和持续时间为100ms的一个或多个触觉效应。此外，还基于对音频信号500（尤其是，具有如区域530所指示的特定频率的音频信号500的分量）的分析，触觉转换系统产生触觉信号，其被发送至执行器二，并且使执行器二重播振幅为50%、频率为200Hz、持续时间为10ms的一个或多个触觉效应，其中通过执行器二播放的一个或多个触觉效应比通过执行器一播放的一个或多个触觉效应晚90ms播放。在某些实施例中，执行器一和二的交错重播能够补偿执行器一和二重播速度的差异。因此，在这些实施例中，用户能够体验同步重播，尽管每个执行器的一个或多个效应是在不同时间播放的。

此外，还基于对音频信号500（尤其是，具有如图5中区域510和520所指示的特定振幅峰值的音频信号500的分量）的分析，触觉转换系统产生被发送至执行器一和二两者（或在可选实施例中，至未在图5中示出的第三个执行器）的触觉信号，其中触觉信号使执行器一和二（或在可选实施例中的第三个执行器）都产生一个或多个触觉效应。基于具有特定振幅峰值的音频信号500的分量的一个或多个触觉效应能够基于与下列相同的触觉参数（例如，振幅、频率和持续时间）：（a）基于具有特定持续时间的音频信号500的分量的一个或多个触觉效应；或（b）基于具有特定频率的音频信号500的分量的一个或多个触觉效应。可选地是，基于具有特定振幅峰值的音频信号500的分量的一个或多个触觉效应能够基于不同的触觉参数。此外，基于具有特定振幅峰值的音频信号500的分量的一个或多个触觉效应能够与下列同时播放：（a）基于具有特定持续时间的音频信号500的分量的一个或多个触觉效应；或（b）基于具有特定频率的音频信号500的分量的一个或多个触觉效应。可选地是，基于具有特定振幅峰值的音频信号500的分量的一个或多个触觉效应能够在不同时间播放。

因此，图5示出的实施例示出触觉转换系统能够产生一个或多个触觉信号，其使一个或多个触觉效应于两个不同时间在两个或多个不同类型的执行器播放，其中两个或多个执行器具有不同振幅、不同频率和不同持续时间。

图6示出根据本发明一个实施例的触觉转换系统的实例，其分析多个声道音频信号并且使用对一个或多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。音频信号包括左声道600和右声道610，其中音频信号包括包含在左声道600内的一部分音频信号（即，音频信号601）和包含在右声道610内的一部分音频信号（即，音频信号611）。图6中示出的音频信号内的声道的数量只是实例数量，在可选实施例中，音频信号能够具有任何数量的声道。通过触觉转换系统分析音频信号601，并且触觉转换系统识别：（a）具有如图6中区域602所指示的特定振幅峰值的音频信号601的分量；（b）具有如区域603所指示的特定频率的音频信号601的分量；和（c）具有如区域604所指示的特定持续时间的音频信号601的分量。类似地，通过触觉转换系统分析音频信号602，并且触觉转换系统识别：（a）具有如图6中区域612所指示的特定振幅峰值的音频信号602的分量；和（b）具有如区域613所指示的特定频率的音频信号602的分量。

基于对音频信号601和602的分析，触觉转换系统产生被发送至一个或多个执行器的一个或多个触觉信号，其中一个或多个触觉信号使一个或多个执行器产生一个或多个触觉效应。在某些实施例中，第一组一个或多个触觉信号基于对音频信号601的分析而产生，并且被发送至第一组一个或多个执行器，而第二组一个或多个触觉信号基于对音频信号602的分析而产生，并且被发送至第二组一个或多个执行器。在其它实施例中，第一组一个或多个触觉信号基于对音频信号601和602的组合分析而产生，并且被发送至第一组一个或多个执行器，而第二组一个或多个触觉信号也基于对音频信号601和602的组合分析而产生，并且被发送至第二组一个或多个执行器。在又一些其他实施例中，第一组一个或多个触觉信号基于对音频信号601的分析而产生，第二组一个或多个触觉信号基于对音频信号602的分析而产生，第一和第二组触觉信号被组合成一组合组的一个或多个触觉信号，并且该组合组的一个或多个触觉信号被发送至一组一个或多个执行器。在又一些其他实施中，音频信号601和602能够被组合成组合的音频信号，并且能够对组合音频信号执行分析以产生被发送至一个或多个执行器的一个或多个触觉信号。

图7A示出根据本发明一个实施例的触觉转换系统的实例用户界面710，其分析基于多声道结构的音频文件并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。用户界面710为触觉转换系统显示基于多声道结构的音频文件转换选项菜单。在某些实施例中，基于多声道结构的音频文件能够是MIDI音频文件。用户界面710能够包括选项，其用于为多个执行器类型定义一个或多个触觉效应，也为每个执行器定义用于一个或多个触觉效应的一个或多个触觉特性。在示出的实施例中，基于多声道结构的音频文件包括多个声道（即，声道1、3、5、8和10）。图7A中示出的基于多声道结构的音频文件内的声道的数量只是实例数量，而在可选实施例中，基于多声道结构的音频文件能够具有任何数量的声道。触觉转换系统能够分别分析每个声道。在示出的实施例中，声道组711表示4个声道（即，声道1、3、5和8），其能够分别被分析。触觉转换系统还能够将声道分成多个声道分量并且分别分析这些声道分量。在示出的实施例中，声道分量组712表示已经被分成多个声道分量的声道（即，声道10），其中每个声道分量都能够分别被分析。

基于多声道结构的音频文件的每个声道（或声道分量）随后通过触觉转换系统进行分析，并且触觉转换系统识别：（a）具有特定振幅峰值的每个声道的分量/声道分量；（b）具有特定频率的每个声道的分量/声道分量；和（c）具有特定持续时间的每个声道的分量/声道分量。基于对声道组711和声道分量组712的分析，触觉转换系统产生被发送至一个或多个执行器的一个或多个触觉信号，其中一个或多个触觉信号使一个或多个执行器产生一个或多个触觉效应。

图7B示出根据本发明一个实施例的触觉转换系统的另一个实例用户界面720，其分析基于多声道结构的音频文件并且使用对多个音频特性的分析而同时或在不同时间将一个或多个触觉信号输出至两个或多个执行器。用户界面720显示一个或多个触觉效应的图形表示，该一个或多个触觉效应是由执行器基于与图7A有关的在前描述的基于对多声道结构的音频文件的分析而产生的。如图7B中能够看到的那样，在每个执行器处为基于多声道结构的音频文件的每个声道（或声道分量）产生的一个或多个触觉效应能够是不同的。在某些实施例中，基于多声道结构的音频文件能够是MIDI音频文件。

图8示出根据本发明一个实施例的触觉转换模块（诸如图1的触觉转换模块16）的功能性的流程图。在一个实施例中，图8的功能性通过存储在存储器或另一种计算机可读介质或有形介质内的软件进行实施，并且通过处理器执行。在其它实施例中，功能性可以通过硬件（例如通过使用专用集成电路（“ASIC”）、可编程序门阵列（“PGA”）、现场可编程序门阵列（“FPGA”）等）、或硬件和软件的任何组合被执行。此外，在可选实施例中，功能性可以通过使用模拟分量的硬件被执行。

流程开始并且进行到810。在810处，音频信号得到分析。音频信号能够包括一个或多个音频缓冲，其中每个音频缓冲都包括一个或多个音频数据帧。在一些实施例中，一个或多个音频缓冲是数字音频缓冲。在其它实施例中，一个或多个音频缓冲是基于结构的音频缓冲。在其它实施例中，一个或多个音频缓冲是频域缓冲。作为对音频信号分析的一部分，一个或多个音频数据帧中的每个音频数据帧的一个或多个音频特性能够得到分析。一个或多个音频特性能够包括音频数据帧的振幅、音频数据帧的频率、或音频数据帧的持续时间中的至少一个。流程进行到820。

在820处，基于音频信号的一个或多个音频特性产生多个触觉信号。多个触觉信号中的每个触觉信号都能够包括一个或多个触觉参数。在这些实施例中，一个或多个触觉参数包括下列的至少其中一个：振幅参数、持续时间参数、或频率参数。另外，音频信号的一个或多个音频特性能够包括下列的至少其中一个：音频数据帧的振幅、音频数据帧的频率、或音频数据帧的持续时间。在某些实施例中，基于音频信号的一个或多个音频特性确定一个或多个触觉参数。

多个触觉信号能够全部都是相同的触觉信号。可选地是，多个触觉信号能够全部都是不同的触觉信号。在一些实施例中，多个触觉信号中的一些是相同的触觉信号，而其它的触觉信号是不同的触觉信号。在某些实施例中，至少一个触觉信号被划分成两个或更多个触觉信号分量。在其它实施例中，至少两个触觉信号被组合成组合触觉信号。在某些实施例中，一个或多个预先定义的触觉信号能够是来自基于音频信号的一个或多个音频特性的通用触觉层库。流程进行到830。

在830处，多个触觉信号被映射到多个执行器，其中每个触觉信号都被映射到相应的执行器。在某些实施例中，映射是系统定义的，其中映射是基于所分析的音频信号的一个或多个音频特性，或基于一个或多个音频特性和多个执行器中的每个执行器的一个或多个特性的组合。在其它实施例中，映射是用户定义的。在触觉信号分量、组合触觉信号、预先定义的触觉信号或其组合也已经被产生的实施例中，这些触觉信号也被映射到它们各自相应的执行器。流程进行到840。

在840处，多个触觉信号中的每个触觉信号都被发送至它映射的执行器。在触觉信号分量、组合触觉信号、预先定义的触觉信号或其组合也已经被产生的实施例中，这些触觉信号也被发送至它们各自映射的执行器。流程进行到850。

在850处，多个触觉信号中的每个触觉信号都在它映射的执行器处被播放以产生一个或多个触觉效应中的一个触觉效应。在某些实施例中，至少一个二级触觉信号也基于存储的定义被产生。根据这些实施例，定义包括条件语句（condition statement），其包括条件和声明。条件是产生被发送至一级执行器的至少一个一级触觉信号，声明是用于产生被发送至二级执行器的至少一个二级触觉信号的指令。因此，当一个或多个触觉信号中的至少一个匹配一级触觉信号时，条件被触发，并且至少一个二级触觉信号被产生。然后至少一个二级触觉信号被映射到多个执行器中的一个执行器并且基于所存储的定义而发送至执行器。然后流程结束。

图9示出根据本发明一个实施例的设备910。设备910能够是触摸屏设备。设备910包括表面，其能够包括触摸屏并且是触摸感应的，而且包括多个区。在示出的实施例中，设备910包括区920、930和940。设备910的每个区都能够包括不同类型的执行器。在示出的实施例中，区920包括执行器921，区930包括执行器931，区940包括执行器941，其中执行器921、931和941能够是不同类型的执行器。执行器921、931和941每个都能够输出一个或多个音频效果，其中每个音频效果（或每组音频效果）从设备910的表面的不同部分输出。以类似的方式，执行器921、931和941每个都能够输出一个或多个触觉效应，其中每个触觉效应（或每组触觉效应）从设备910的表面的不同部分输出。在某些实施例中，每个触觉效应（或每组触觉效应）都能够是不同的触觉效应。例如，每个触觉效应（或每组触觉效应）都能够是不同的频率。

在某些实施例中，每个触觉效应都能够作为在一个位置播放的音频效果的结果，诸如用户手指与设备910的表面交互的位置。在这些实施例中，执行器921、931和941每个都能够同时输出音频效果和触觉效应。在某些实施例中，输出的触觉效应基于编码方案而产生。在这些实施例中，这个编码方案能够是被应用到触觉效应的杜比数字编码方案。在可选实施例中，触觉编码是通过将低频含量增加至音频信息、但是强调触觉效应而作为音频编码的一部分来执行的。

在可选实施例中，除执行器921、931和941之外，设备910还包括定位在设备910后部（图9中未示出）上的一个或多个附加的执行器。在这些实施例中，这些附加的执行器能够是全身（full body）执行器，其能够以不同频率提供一个或多个触觉效应。

因此，根据实施例，触觉转换系统基于所分析的音频信号产生多个触觉信号，将每个触觉信号发送至触觉信号被映射到的执行器，并且在每个触觉信号映射的执行器处播放这个触觉信号以产生触觉效应。根据该实施例，基于音频信号的音频特性将触觉信号发送至多个执行器显著地增加触觉体验的“丰富性”。更具体地，在多个执行器上基于音频信号的音频特性应用触觉信号产生更完全的触觉体验。

贯穿本说明书描述的本发明的特征、结构或特性可以按照任何适当的方式在一个或多个实施例中被组合。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用，贯穿本说明书指的都是与实施例有关描述的特殊的特征、结构或特性可以被包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似语言的出现，贯穿本说明书都不必指的是相同组的实施例，并且所描述的特征、结构或特性可以按照任何适当的方式结合在一个或多个实施例中。

本领域普通技术人员将易于理解，如上所述的本发明可以按照不同顺序的步骤、和/或利用不同于被公开的那些的构造中的元素来实践。因此，虽然本发明已经基于这些优选实施例被描述过，但是对于本领域技术人员来说，某些更改、变化及可选构造将是显而易见的，而仍在本发明的精神和范围内。因此，为了确定本发明的界限和范围，应该参考所附的权利要求。

Claims (15)

1.一种用于将音频信号转换成一个或多个触觉效应的计算机实施的方法，所述计算机实施的方法包含：

分析所述音频信号；

基于所述音频信号的一个或多个音频特性产生多个触觉信号，其中每个触觉信号都包含一个或多个触觉参数；

将所述多个触觉信号映射到多个执行器，其中每个触觉信号都被映射到相应的执行器；

将每个触觉信号发送至其映射的执行器；和

在每个触觉信号映射的执行器处播放该触觉信号以产生所述一个或多个触觉效应中的触觉效应。

2.根据权利要求1所述的计算机实施的方法，进一步包含：

基于音频信号的所述一个或多个音频特性从通用触觉层库选择一个或多个预先定义的触觉信号；

将所述一个或多个预先定义的触觉信号映射到所述多个执行器，其中每个预先定义的触觉信号都被映射到相应的执行器；和

将每个预先定义的触觉信号都发送至其映射的执行器。

3.根据权利要求1所述的计算机实施的方法，进一步包含：

基于所存储的定义产生一个或多个二级触觉信号，其中所述定义包含条件语句，该条件语句包含条件和声明，其中所述条件是产生被发送至一级执行器的一个或多个一级触觉信号，并且所述声明是产生被发送至二级执行器的所述一个或多个二级触觉信号的指令；

将所述一个或多个二级触觉信号映射到所述二级执行器；和

基于所存储的定义将每个二级触觉信号都发送至所述二级执行器。

4.根据权利要求1所述的计算机实施的方法，进一步包含：

将至少一个触觉信号划分成多个触觉信号分量；

将所述多个触觉信号分量映射到所述多个执行器，其中每个触觉信号分量都被映射到所述相应的执行器；和

将所述多个触觉信号分量发送至其映射的执行器。

5.根据权利要求1所述的计算机实施的方法，进一步包含：

将所述一个或多个触觉信号中的至少两个信号组合成组合触觉信号；

将所述组合触觉信号映射到执行器；和

将所述组合触觉信号发送至所述执行器。

6.根据权利要求1所述的计算机实施的方法，其中所述一个或多个触觉参数包含下列的至少其中一个：振幅参数、持续时间参数、或频率参数。

7.根据权利要求1所述的计算机实施的方法，其中所述一个或多个触觉参数基于所述音频信号的所述一个或多个音频特性被确定。

8.根据权利要求1所述的计算机实施的方法，其中所述一个或多个音频特性包含下列的至少其中一个：音频数据帧的振幅、音频数据帧的频率、或音频数据帧的持续时间。

9.根据权利要求1所述的计算机实施的方法，

其中所述映射是系统定义的，和

其中所述映射是基于所述所分析的音频信号的所述一个或多个音频特性，或基于所述一个或多个音频特性和所述多个执行器的每个执行器的一个或多个特性的组合。

10.根据权利要求1所述的计算机实施的方法，其中所述映射是用户定义的。

11.一种触觉转换系统，包含：

存储器，其被配置成存储触觉转换模块；

处理器，其被配置成执行存储在所述存储器上的所述触觉转换模块；和

多个执行器，所述多个执行器中的每个执行器都被配置成输出一个或多个触觉效应；

其中所述触觉转换模块被配置成：

分析所述音频信号；

基于所述音频信号的一个或多个音频特性产生一个或多个触觉信号，其中所述一个或多个触觉信号中的每个触觉信号都包含一个或多个触觉参数；

将所述多个触觉信号映射到多个执行器，其中每个触觉信号都被映射到相应的执行器；

将每个触觉信号都发送至其映射的执行器；和

在每个触觉信号映射的执行器处播放该触觉信号以产生所述一个或多个触觉效应中的一个触觉效应。

12.根据权利要求11所述的触觉转换系统，其中所述触觉转换模块被进一步配置成：

基于音频信号的所述一个或多个音频特性从通用触觉层库选择一个或多个预先定义的触觉信号；

将所述一个或多个预先定义的触觉信号映射到所述多个执行器，其中每个预先定义的触觉信号都被映射到相应的执行器；和

将每个预先定义的触觉信号都发送至其映射的执行器。

13.根据权利要求11所述的触觉转换系统，其中所述触觉转换模块被进一步配置成：

基于所存储的定义产生一个或多个二级触觉信号，其中所述定义包含条件语句，该条件语句包含条件和声明，其中所述条件是产生被发送至一级执行器的一个或多个一级触觉信号，所述声明是产生被发送至二级执行器的所述一个或多个二级触觉信号的指令；

将所述一个或多个二级触觉信号映射到所述二级执行器；和

基于所存储的定义将每个二级触觉信号都发送至所述二级执行器。

14.根据权利要求11所述的触觉转换系统，其中所述触觉转换模块被进一步配置成：

将至少一个触觉信号划分成多个触觉信号分量；

将所述多个触觉信号分量映射到所述多个执行器，其中每个触觉信号分量都被映射到所述相应的执行器；和

将所述多个触觉信号分量发送至其映射的执行器。

15.一种具有存储在其上的指令的计算机可读介质，当通过处理器执行时，使所述处理器实施根据权利要求1-10之一所述的方法。

Images