CN104102341A - 离线触觉转换系统 - Google Patents

离线触觉转换系统 Download PDF

Info

Publication number
CN104102341A
CN104102341A CN201410140291.4A CN201410140291A CN104102341A CN 104102341 A CN104102341 A CN 104102341A CN 201410140291 A CN201410140291 A CN 201410140291A CN 104102341 A CN104102341 A CN 104102341A
Authority
CN
China
Prior art keywords
signal
haptic
touch
sense
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410140291.4A
Other languages
English (en)
Inventor
R·拉克罗伊克斯
S·S·巴哈迪亚
J·F·布朗夏尔迪翁
S·D·兰克
C·J·奥瑞奇
L·T·番
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201910814889.XA priority Critical patent/CN110531857A/zh
Publication of CN104102341A publication Critical patent/CN104102341A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Abstract

本发明提供了一种控制离线触觉转换的系统。该系统从源接收输入。该系统进一步将输入转换为触觉信号。该系统进一步对触觉信号进行编码。该系统进一步将触觉信号存储在源内，其中，在该源内将触觉信号与输入组合。可替代地，不是对触觉信号进行编码并且将触觉信号存储在源内，该系统而是独立于源，单独地对触觉信号进行处理。

Description

离线触觉转换系统
相关申请的交叉引用
本申请要求于2013年4月9日提交的序号为61/810,196的美国临时专利申请（其公开内容特此通过引用并入）的优先权，并且还要求于2013年5月24日提交的序号为61/827,341的美国临时专利申请（其公开内容特此通过引用并入）的优先权。
技术领域
一个实施例一般涉及一种装置，并尤其涉及一种生成触觉效果的装置。
背景技术
触觉是通过向用户施加触觉反馈效果（即，“触觉效果”）来利用用户的触摸感觉的触感和力反馈技术，触觉效果诸如力、振动和运动。诸如移动装置、触摸屏装置和个人计算机的装置可以被配置为产生触觉效果。通常，可以在装置的操作系统（“OS”）内对对于能够产生触觉效果的嵌入式硬件（诸如致动器）的调用进行编程。这些调用指定要播放哪种触觉效果。例如，当用户使用例如按钮、触摸屏、杠杆、控制杆、轮盘或一些其他控件来与装置交互时，装置的OS可以通过控制电路系统将播放命令发送到嵌入式硬件。嵌入式硬件然后生成适当的触觉效果。
装置可以被配置为协调触觉效果的输出与诸如音频的其他内容的输出，以使得触觉效果被合并到所述其他内容中。例如，音频效果开发者可以开发装置可以输出的音频效果，诸如机关枪炮火、爆炸或撞车。此外，可以开发其他类型的内容，诸如视频效果，随后装置可以输出该内容。触觉效果开发者随后可以为装置制作触觉效果，并且该装置可以被配置为将该触觉效果与其他内容一起输出。然而，这种处理通常需要触觉效果开发者的个人判断来制作正确地美化音频效果或其他类型的内容的触觉效果。没有美化音频效果或其他类型的内容的制作不良的触觉效果可以生成其中触觉效果与音频效果或其他内容不“配合”的整体不谐和的效果。这种类型的用户体验通常并不是所期望的。
发明内容
一个实施例是一种控制离线触觉转换的系统。该系统从源接收输入。该系统进一步将所述输入转换为触觉信号。该系统进一步对触觉信号进行编码。该系统进一步将触觉信号存储在所述源内，其中，在所述源内将触觉信号与所述输入组合。在替代实施例中，不是对触觉信号进行编码并且将触觉信号存储在所述源内，该系统而是独立于所述源，单独地对触觉信号进行处理。
附图说明
从以下对优选实施例的详细描述，更多实施例、细节、优点和修改将变得清楚，以下详细描述是结合附图进行的。
图1例示根据本发明的一个实施例的系统的框图。
图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触觉信号的编码的系统。
图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的系统。
图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信号的编码的流程图。
图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的流程图。
图6例示根据本发明的实施例的用于编码的多媒体信号的音频分量的处理器箱式结构。
图7例示根据本发明的实施例的用于编码的多媒体信号的视频分量的处理器箱式结构。
图8例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的处理器箱式结构。
图9例示根据本发明的实施例的用于编码的多媒体信号的音频分量、视频分量和触觉分量的处理器箱式结构。
图10例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的有效对象配置文件类型。
图11例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的无效对象配置文件类型。
图12例示根据本发明的实施例的离线触觉转换模块的功能的流程图。
具体实施方式
一个实施例是一种可以执行诸如音频信号、视频信号或多媒体信号的输入到触觉信号的“离线”转换的系统，其中，触觉信号可以使诸如致动器的触觉输出装置输出一个或多个触觉效果。在“离线地”执行触觉转换时，与“实时地”或者在回放输入期间执行触觉转换完全不同，该系统可以在回放输入之前执行触觉转换。在执行离线触觉转换时，该系统可以首先从源接收输入，诸如多媒体文件或一些其他类型的计算机文件。该系统然后可以将输入转换为触觉信号。该系统随后可以对触觉信号进行编码，其中，该系统可以将触觉信号嵌入在原始信号的源内，并且其中，该系统可以在该源内将触觉信号与原始输入组合。可替代地，在对触觉信号进行编码之后，该系统可以将触觉信号嵌入在单独的源内。此外，该系统可以从源提取编码的触觉信号并且对该编码的触觉信号进行解码。该系统然后可以将解码的触觉信号发送到一个触觉输出装置或一组触觉输出装置（诸如一个致动器或一组致动器），并且使触觉输出装置基于解码的触觉信号产生触觉效果。该系统可以进一步来使触觉效果的回放与基于输入或利用输入由系统产生的其他效果（诸如音频效果和视频效果）的回放同步。
图1例示根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10是移动装置的一部分，并且系统10为该移动装置提供离线触觉转换功能。在另一实施例中，系统10是可佩戴装置的一部分，并且系统10为该可佩戴装置提供触觉效果模式变换功能。可佩戴装置的例子包括护腕、发箍、眼镜、环形饰物、脚环、与衣物形成一体的衣饰、或用户可以佩戴在身体上或者可以由用户持有的任何其他类型的装置。一些可佩戴装置可以“以触觉的方式启用”，这意味着它们包括产生触觉效果的机制。在另一实施例中，系统10与装置（例如，移动装置或可佩戴装置）分离，并且远程地向该装置提供触觉效果模式变换功能。尽管被示为单个系统，但是可以将系统10的功能实现为分布式系统。系统10包括用于传送信息的总线12或其他通信机制、以及耦合到总线12的用于对信息进行处理的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10还包括用于存储将被处理器22执行的信息和指令的存储器14。存储器14可以由随机存取存储器（“RAM”）、只读存储器（“ROM”）、诸如磁盘或光学盘的静态储存器、或任何其他类型的计算机可读介质的任何组合组成。
计算机可读介质可以是可以被处理器22访问的任何可用介质，并且可以包括易失性介质和非易失性介质、可移动介质和非可移动介质、通信介质以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块、或诸如载波或其他传输机制的调制数据信号中的其他数据，并且可以包括本领域中已知的任何其他形式的信息递送介质。存储介质可以包括RAM、闪存、ROM、可擦式可编程只读存储器（“EPROM”）、电可擦式可编程只读存储器（“EEPROM”）、寄存器、硬盘、可移动盘、紧凑盘只读存储器（“CD-ROM”）、或本领域中已知的任何其他形式的存储介质。
在一个实施例中，存储器14存储当被处理器22执行时提供功能的软件模块。在一个实施例中，这些模块包括向系统10以及移动装置的其余部分提供操作系统功能的操作系统15。这些模块还包括如下面更详细地公开的离线触觉转换模块16，其控制输入到触觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对一个或多个触觉效果的回放。在某些实施例中，离线触觉转换模块16可以包括多个模块，其中，每个模块提供用于控制输入到触觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对一个或多个触觉效果的回放的特定的个人功能。系统10通常将包括包括附加功能的一个或多个附加应用模块18，诸如Immersion Corporation的IntegratorTM软件。
从远程源发送和/或接收数据的实施例中，系统10还包括提供移动无线网络通信的通信装置20，诸如网络接口卡，移动无线网络通信诸如红外线、无线电、Wi-Fi或蜂窝网络通信。在其他实施例中，通信装置20提供有线网络连接，诸如以太网连接或调制解调器。
处理器22进一步经由总线12耦合到用于向用户显示图形表示或用户界面的显示器24，诸如液晶显示器（“LCD”）。显示器24可以是被配置为从处理器22发送和接收信号的触摸敏感的输入装置，诸如触摸屏，并且可以是多触摸触摸屏。
在一个实施例中，系统10还包括致动器26。处理器22可以将与所产生的触觉效果相关联的触觉信号发送到致动器26，致动器26继而输出触觉效果，诸如振动触感的触觉效果、静电摩擦触觉效果、或变形触觉效果。致动器26包括致动器驱动电路。致动器26可以是例如电机、静电致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机（“ERM”）、线性共振致动器（“LRA”）、压电致动器、高带宽致动器、电活性聚合物（“EAP”）致动器、静电摩擦显示器、或超声振动发生器。在替代实施例中，除了致动器26（图1中未示出）之外，系统10还可以包括一个或多个附加致动器。致动器26是触觉输出装置的例子，其中，触觉输出装置是被配置为响应于驱动信号输出触觉效果的装置，触觉效果诸如振动触感触觉效果、静电摩擦触觉效果或变形触觉效果。在替代实施例中，致动器26可以用一些其他类型的触觉输出装置取代。此外，在其他替代实施例中，系统10可以不包括致动器26，而是与系统10分离的装置包括致动器或产生触觉效果的其他触觉输出装置，并且系统10通过通信装置20将所产生的触觉信号发送到该装置。
在一个实施例中，系统10还包括扬声器28。处理器22可以将音频信号发送到扬声器28，扬声器28继而输出音频效果。扬声器28可以是例如动态扩音器、电动态扩音器压电扩音器、磁致伸缩扩音器、静电扩音器、带式或平面式磁性扩音器、弯曲波扩音器、平板扩音器、海尔空气运动换能器、等离子体弧扬声器、以及数字扩音器。在替代实施例中，除了扬声器28（图1中未示出）之外，系统10还可以包括一个或多个附加扬声器。此外，在其他替代实施例中，系统10可以不包括扬声器28，而是与系统10分离的系统包括输出音频效果的扬声器，并且系统10通过通信装置20将音频信号发送到该装置。
在一个实施例中，系统10还包括传感器30。传感器30可以被配置为检测能量形式或其他物理性质，诸如，但不限于，声音、移动、加速度、生物信号、距离、流、力/压力/应变/弯曲、湿度、直线位置、方位/倾角、射频、旋转位置、旋转速度、开关操纵、温度、振动或可见光强度。传感器30可以进一步被配置为将所检测的能量或其他物理性质转换为电信号或表示视觉传感器信息的任何信号。传感器30可以是任何装置，诸如，但不限于，加速度计、心电图描记器、脑电图描记器、肌电图描记器、眼电图描记器、电腭动描记器、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器（或弯曲传感器）、力敏感电阻器、称重传感器、LuSense CPS2155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计（或滑动器）、线性可变差动变压器、指南针、倾角计、磁性标签（或射频标识标签）、旋转编码器、旋转电位计、陀螺仪、开关开关、温度传感器（诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集成电路）、麦克风、光度计、高度计、生物监视器、照相机或光相关电阻器。在替代实施例中，除了传感器30（图1中未示出）之外，系统10还可以包括一个或多个附加传感器。在这些实施例中的一些中，传感器30和所述一个或多个附加传感器可以是传感器阵列的一部分、或一些其他类型的传感器集合。此外，在其他替代实施例中，系统10可以不包括传感器30，而是与系统10分离的装置包括传感器，该传感器检测某一形式的能量或其他物理性质，将所检测的能量或其他物理性质转换为电信号或表示视觉传感器信息的其他类型的信号。该装置然后可以通过通信装置20将转换的信号发送到系统10。
图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触觉信号的编码的系统。在一个实施例中，图2的功能以及下述图3、4、5和12的功能用存储在存储器或其他计算机可读或有形介质中的软件实现，并且被处理器执行。在其他实施例中，每个功能可以由硬件（例如，通过使用专用集成电路（“ASIC”）、可编程门阵列（“PGA”）、现场可编程门阵列（“FPGA”）等）或硬件和软件的任何组合执行。在某些实施例中，可以略去该功能中的一些。
图2中所示的系统包括媒体编辑应用200。媒体编辑应用200是被配置为执行编辑输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。在执行编辑输入信号的功能时，媒体编辑应用200可以向用户显示用户界面，其中，该用户界面包括输入信号的视觉表示，并且其中，用户可以通过与该用户界面交互来修改输入信号的一个或多个部分、或整个输入信号。在所示的实施例中，输入信号是包括一个视频信号和两个音频信号的多媒体信号。然而，这是示例实施例，在替代实施例中，多媒体信号可以包括任何数量的音频信号，并且可以包括任何数量的视频信号。在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信号、视频信号、加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一类型的信号。此外，在输入信号是多媒体信号的其他替代实施例中，除了音频信号和视频信号之外，多媒体信号还可以包括其他类型的信号，诸如加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的其他类型的信号。
媒体编辑应用200可以通过从多媒体文件210提取编码的多媒体信号并且对该编码的多媒体信号进行解码来接收多媒体信号。多媒体文件210是存储数据的计算机文件，所述数据诸如编码的多媒体信号或其他类型的编码信号。在一个示例实施例中，多媒体文件210可以MPEG-4Part14（“MP4”）文件。可以在MPEG-4Part14标准（ISO/IEC14496-1系统）、MPEG4Part-3标准（ISO/IEC14496-3音频）以及MPEG4Part-12标准（ISO/IEC14496-12媒体文件格式）中找到关于MP4文件的具体细节，这些标准的全部内容通过引用并入本文。
在1，用户选择多媒体信号内所包含的音频信号的一个或多个部分（在图2中被标识为“音频区域”）。系统创建编辑列表220，其是包括所述音频信号的所述一个或多个部分的列表。在替代实施例中，不是选择音频信号的一个或多个部分，而是用户可以选择整个音频信号。此外，在替代实施例中，用户可以选择多媒体信号内所包含的另一类型的信号，诸如视频信号。
在2，用户指示系统将音频信号的所述一个或多个部分转换为一个或多个触觉信号（在图2中被标识为“启动‘产生触觉’特征”）。触觉信号是可以与一个或多个触觉效果相关联的信号，可以将触觉信号发送到诸如致动器的触觉输出装置，其中，触觉输出装置可以基于触觉信号输出一个或多个触觉效果。触觉效果的例子是可以生成被触觉输出装置的用户感觉到的振动的振动触感触觉效果。触觉效果的其他例子可以包括静电摩擦触觉效果或变形触觉效果。触觉信号可以包括诸如波形的数据，其中，波形是脉冲编码调制（“PCM”）格式的一个或多个信号值的集合。根据实施例，系统调用触觉管理控制台模块230，其中，触觉管理控制台模块230是控制音频信号的一个或多个部分到一个或多个触觉信号的转换、并且还控制所述一个或多个触觉信号的编码的模块。在用户选择整个音频信号的替代实施例中，用户可以指示系统将整个音频信号转换为一个或多个触觉信号，触觉管理控制台模块230可以控制整个音频信号到一个或多个触觉信号的转换。
在3，触觉管理控制台模块230读取编辑列表220，从编辑列表220选择第一项（即，音频信号的第一部分），并调用离线触觉转换器模块240。离线触觉转换器模块240是将诸如音频信号或音频信号的一部分的输入转换为一个或多个触觉信号的模块。离线触觉转换器模块240可以采取下列作为输入：(1)包括数据的任意大小的数据缓冲器，所述数据诸如PCM音频数据；(2)数据缓冲器中的若干个通道；(3)数据缓冲器的每采样比特；以及(4)数据缓冲器的采样速率。离线触觉转换器模块240可以进一步生成下列作为输出：包含包括触觉数据的触觉信号的数据缓冲器，所述触觉数据控制经由触觉输出装置的一个或多个触觉效果的产生。在一个实施例中，触觉信号可以是包括以“触觉帧率”改变的幅值的序列的单个通道。触觉帧率定义离线触觉转换器模块240输出触觉数据的速率。可以将触觉帧率设置为与输入信号的音频帧率或视频帧率匹配的速率，所述输入信号诸如音频信号、视频信号或多媒体信号。可替代地，可以将触觉帧率定义为每一触觉采样的音频（或视频）采样的数量。在一个实施例中，离线触觉转换器模块240可以包括使得用户可以设置触觉帧率（例如，从每秒15帧到每秒60帧）的配置界面。此外，在一个实施例中，离线触觉转换器模块240还可以披露使得用户可以在触觉转换操作开始之前改变现有触觉参数（诸如强度、密度或清晰度）的方法。
离线触觉转换器模块240可以使用相关领域中的普通技术人员已知的将输入转换为一个或多个触觉信号的任何触觉转换算法。例如，离线触觉转换器模块240可以使用识别输入的每个部分的最大振幅值的触觉转换算法，并基于所识别的最大振幅值来产生输入的每个部分的触觉信号，其中，所识别的最大振幅值定义触觉信号的幅度。在以下专利或专利申请（这些专利或专利申请的全部内容全都特此通过引用并入）中描述了示例触觉转换算法：美国专利No.7,979,146；美国专利No.8,000,825；美国专利No.8,378,964；美国专利申请公开No.2011/0202155；美国专利申请公开No.2011/0215913；美国专利申请公开No.2012/0206246；美国专利申请公开No.2012/0206247；美国专利申请公开No.2013/0265286；美国专利申请公开No.2013/0131851；美国专利申请公开No.2013/0207917；美国专利申请公开No.2013/0335209；美国专利申请公开No.2014/0064516；美国专利申请序号No.13/661,140；美国专利申请序号No.13/785,166；美国专利申请序号No.13/788,487；美国专利申请序号No.14/078,438；美国专利申请序号No.14/078,442；美国专利申请序号No.14/078,445；美国专利申请序号No.14/051,933；美国专利申请序号14/020,461；以及美国专利申请序号No.14/020,502。
在一个实施例中，可以从多媒体文件210提取编码的音频信号或其他类型的信号的一个或多个部分，对这些部分进行解码，并经由离线触觉转换器模块240的一次或多次调用将这些部分发送到离线触觉转换器模块240，其中，离线触觉转换器模块240可以将音频信号的每个部分转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。这被标识为“逐步转换”，并且在图2中示出。在替代实施例中，可以从多媒体文件210提取整个音频信号或其他类型的信号，对该信号进行解码，并经由离线触觉转换器模块240的单次调用将该信号发送到离线触觉转换器模块240，其中，离线触觉转换器模块240可以将整个音频信号转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。这被标识为“整个转换”。
根据实施例，离线触觉转换模块240可以“离线地”执行整个输入信号（或输入信号的一个或多个部分）到一个或多个触觉信号的触觉转换。在“离线地”执行触觉转换时，离线触觉转换模块240可以在媒体编辑应用200回放输入信号之前执行触觉转换。
在4，触觉管理控制台模块230调用触觉编码器模块250。触觉编码器模块250是将一个或多个触觉信号编码为编码格式并且将编码的一个或多个触觉信号存储在多媒体文件210内的模块。在将编码的一个或多个触觉信号存储在多媒体文件210内过程中，触觉编码器模块250可以定义所述一个或多个触觉信号的每个触觉信号，并将该触觉信号放置在多媒体文件210内。因此，可以将所述一个或多个触觉信号嵌入在多媒体文件210内，其中，将所述一个或多个触觉信号与原始多媒体信号组合。在替代实施例中，触觉编码器模块250可以将编码的一个或多个触觉信号存储在与多媒体文件210分开的多媒体文件（图2中未示出）内。此外，在另一替代实施例中，触觉编码器模块250可以另外将基于一个或多个预定义触觉效果的一个或多个编码的触觉信号存储在多媒体文件210或单独的多媒体文件内。下面结合图6-11更详细地进一步描述对触觉信号进行编码并且将编码的触觉信号存储在多媒体文件内的功能。此外，系统对于编辑列表220中的每项（即，音频信号的每个部分）重复3和4。
在5，媒体编辑应用200更新多媒体信号的视觉表示以包括所产生的一个或多个触觉信号的表示。
图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的系统。图3中所示的系统包括媒体编辑应用200和/或媒体播放器应用300。先前在上面结合图2描述了媒体编辑应用200。媒体播放器应用300是被配置为执行播放输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。
在1，用户指示系统播放被编码并且被存储在多媒体文件210内的输入信号，诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。在所示的实施例中，存储在多媒体文件210内的编码的输入信号是编码的多媒体信号。先前在上面结合图2描述了多媒体文件210。根据实施例，多媒体文件210还包括在多媒体文件210内与编码的多媒体信号组合的一个或多个编码的触觉信号。在一个实施例中，用户可以通过与媒体编辑应用200的用户界面进行交互来指示系统播放多媒体信号。在替代实施例中，用户可以通过与媒体播放器应用300的用户界面进行交互来指示系统播放多媒体信号。
在2，媒体编辑应用200或媒体播放器应用300播放多媒体信号。根据实施例，媒体编辑应用200或媒体播放器应用300从多媒体文件210检索编码的多媒体信号，对该编码的多媒体信号进行解码，并播放解码的多媒体信号。
在3，操作系统模块310调用触觉解码器模块320，操作系统模块310是被配置为提供操作系统功能的模块。触觉解码器模块320是被配置为从多媒体文件210提取一个或多个编码的触觉信号并且对所述一个或多个编码的触觉信号进行解码的模块。下面结合图6-11更详细地进一步描述对编码的触觉信号进行解码的功能。
在4，触觉解码器模块320生成触觉输出330。触觉解码器模块320可以通过将所述一个或多个触觉信号发送到诸如致动器的一个或多个触觉输出装置来生成触觉输出330，其中，所述一个或多个触觉信号使所述一个或多个触觉输出装置生成一个或多个触觉效果。触觉输出330可以包括振动触感效果，诸如振动触感效果340和350。
触觉解码器模块320进一步使触觉输出的回放与诸如音频效果360和视频效果370的音频输出和/或视频输出的回放同步。因此，触觉解码器模块320可以使所述一个或多个触觉信号到一个或多个触觉输出装置的发送与一个或多个音频信号到诸如扬声器的音频输出装置的发送、和/或一个或多个视频信号到诸如显示器的视频输出装置的发送同步。为了便利于这个同步，触觉解码器模块320可以使所述一个或多个触觉信号的触觉数据与所述一个或多个音频信号的音频数据和/或所述一个或多个触觉信号的视频数据同步。更具体地，触觉解码器模块320可以重复地调用被配置为以等于触觉帧率的速率将触觉信号发送到触觉输出装置的模块，其中，触觉帧率被定义为与用于将音频信号发送到音频输出装置的音频帧率或用于将视频信号发送到视频输出装置的视频帧率相同的速率。因此，因为触觉帧率与音频帧率和/或视频帧率相同，所以可以在与当输出触觉效果时的时间相同或基本上相同的时间输出音频效果和/或视频效果。
图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信号的编码的流程图。根据实施例，输入信号是包括音频信号和视频信号的多媒体信号405。然而，在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信号、视频信号、加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一类型的信号。此外，在其中输入信号是多媒体信号的替代实施例中，多媒体信号可以包括任何数量的音频信号，可以包括任何数量的视频信号，和/或除了音频信号和视频信号之外，还可以包括其他类型的信号，诸如加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的其他类型的信号。根据实施例，多媒体信号405可以是编码的多媒体信号，并且可以被存储在诸如多媒体文件的源内。
在410，提取多媒体信号405的音频信号，并将该音频信号解码为音频信号415。然后将音频信号415作为输入发送到离线触觉转换器模块420。离线触觉转换器模块420将音频信号415转换为触觉信号425。触觉信号425是包括触觉数据的信号，其中，触觉数据包括PCM流或振幅值序列。根据实施例，离线触觉转换器模块415可以使用相关领域中的普通技术人员已知的将音频信号415转换为触觉信号425的任何触觉转换算法。此外，在实施例中，离线触觉转换器模块415可以“离线地”执行触觉转换，其中，离线触觉转换模块420可以在回放音频信号之前执行触觉转换。
在430，将触觉信号425编码为编码的触觉信号435。此外，在440，将编码的触觉信号435和多媒体信号450复用（即，组合）为多媒体信号445，其中，多媒体信号445包括音频信号、视频信号和触觉信号（即，编码的触觉信号435）。下面结合图6-11更详细地进一步描述触觉信号425到编码的触觉信号435的编码、以及编码的触觉信号435和多媒体信号405的复用。
图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号的一个或多个触觉效果的回放的流程图。在510，将多媒体信号445解复用（即，分割）为音频信号511、视频信号512和触觉信号513。先前在上面结合图4描述了多媒体信号445，不再对多媒体信号445进行描述。
在520，对音频信号511、视频信号512和触觉信号513均进行解码。此外，在对音频信号511和视频信号512进行解码之后，将它们发送到音频/视频呈现器530，其中，音频/视频呈现器530控制一个或多个音频输出装置处的一个或多个音频效果的输出、以及一个或多个视频输出装置处的一个或多个视频效果的输出。根据实施例，基于音频信号511输出所述一个或多个音频效果，并且基于视频信号512输出所述一个或多个视频效果。在某些实施例中，每个音频输出装置是扬声器，每个视频输出装置是显示器。此外，将触觉信号513解码为解码的触觉信号525。根据实施例，解码的触觉信号525是包括解码的触觉数据的信号，其中，解码的触觉数据包括PCM流或振幅值序列。在触觉信号513被解码为解码的触觉信号525之后，将解码的触觉信号525发送到振动呈现器570，其中，下面更详细地进一步描述触觉信号525到振动呈现器570的发送。根据实施例，振动呈现器570控制触觉输出装置处的一个或多个触觉效果的输出，其中，下面更详细地进一步描述所述一个或多个触觉效果的输出。此外，可以使音频信号511和视频信号512到音频/视频呈现器530的发送、以及解码的触觉信号520到振动呈现器570的发送同步，以使得在与当输出所述一个或多个触觉效果时的时间相同或基本上相同的时间输出所述一个或多个音频效果和所述一个或多个视频效果。
在540，选择一个或多个触觉输出装置。在550，对解码的触觉信号525的振幅触觉参数进行调制，该参数配置用于所选触觉输出装置的解码的触觉信号525。在560，对其他触觉参数进行调制，以使得解码的触觉信号525被配置用于所选触觉输出装置，所述其他触觉参数诸如强度触觉参数、密度触觉参数或清晰度触觉参数。在某些实施例中，可以略去在540、550和560执行的功能。此外，在解码的触觉信号525被调制之后，将解码的触觉信号525发送到振动呈现器570，其中，振动呈现器570控制致动器580处的一个或多个触觉效果的输出，其中，该致动器是触觉输出装置的例子。根据实施例，基于解码的触觉信号525输出一个或多个触觉效果。
现在更详细地描述根据示例实施例的对触觉信号进行编码并且将编码的触觉信号存储在诸如MP4文件的多媒体文件内的功能。尽管描述了对触觉信号进行编码并且将编码的触觉信号存储在多媒体文件内的示例实现，但是相关领域中的普通技术人员将容易意识到，在其他替代实施例中可以不同地实现触觉信号的编码以及编码的触觉信号在多媒体文件内的存储。如前所述，多媒体文件可以包括编码的多媒体信号，其中，编码的多媒体信号可以包括任何数量的编码信号，诸如编码的音频信号和编码的视频信号。根据实施例，可以对触觉信号进行编码，并将该触觉信号存储在多媒体文件内，其中，对编码的触觉信号进行交织、或将编码的触觉信号与存储在该多媒体文件内的其他编码的音频信号和/或编码的视频信号组合。
根据实施例，编码的触觉信号类似于编码的音频信号（或另一类型的编码信号），因为这两个编码信号都包括诸如波形的数据，其中，波形是PCM格式的一个或多个信号值的集合。因此，重要的是，在多媒体文件内对编码的触觉信号进行格式化，以使得编码的触觉信号不被误认为另一类型的编码信号（诸如编码的音频信号），反之亦然。此外，多媒体文件是被标识为箱的一系列对象。所有数据都被存储在箱中；不存在存储在多媒体文件内的其他数据。因此，多媒体文件的编码信号被存储在多媒体文件的箱中。因此，根据实施例，编码的触觉信号与为音频和视频而存在的其他trak箱一起被存储在标准“moov”箱内的单独的“trak”箱内。下表例示了触觉箱结构：
根据实施例，单独的“hapt”箱可以指示编码的信号是编码的触觉信号，以便确保编码的触觉信号不被呈现为另一类型的媒体，诸如音频或视频。另外，为了进一步确保编码的触觉信号不被呈现为另一类型的媒体，可以将编码的触觉信号表示为定时元数据轨道（即，“meta”）。这可以通过将handler_type字段设置为“hdlr”箱中的“meta”的值来进行。定时元数据轨道被配置为存储基于时间的媒体数据。将编码的触觉信号存储在这种类型的轨道或流中使得编码的触觉信号可以被认为是媒体，但不是作为除了触觉格式之外的格式（诸如音频格式或视频格式）的媒体格式。因此，指定用于编码的触觉信号的定时元数据流可以确保在回放期间，编码的触觉信号不被呈现为另一类型的媒体，诸如音频或视频，尽管编码的触觉信号的格式类似于另一类型的编码信号（诸如编码的音频信号或编码的视频信号）的格式。
图6例示根据本发明的实施例的用于编码的多媒体信号的音频分量的处理器箱结构600。根据实施例，编码的多媒体信号包括音频分量，其为编码的音频信号。编码的音频信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构600的处理器（或“hdlr”）箱。处理器箱结构600包括具有值“soun”的handlerType字段610，值“soun”指示轨道是音频轨道。
图7例示根据本发明的实施例的用于编码的多媒体信号的视频分量的处理器箱结构。根据实施例，编码的多媒体信号包括视频分量，其为编码的视频信号。编码的视频信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构700的hdlr箱。处理器箱结构700包括具有值“vide”的handlerType字段710，值“vide”指示轨道是视频轨道。
图8例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的处理器箱结构。根据实施例，编码的多媒体信号包括触觉分量，其为编码的触觉信号。编码的触觉信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构800的hdlr箱。处理器箱结构800包括具有值“meta”的handlerType字段810，值“meta”指示轨道是触觉轨道。
图9例示根据本发明的实施例的用于编码的多媒体信号的音频分量、视频分量和触觉分量的头箱结构。根据实施例，多媒体信号包括音频分量、视频分量和触觉分量，音频分量是编码的音频信号，视频分量是编码的视频信号，触觉分量是编码的触觉信号。编码的音频信号被存储在多媒体文件的trak箱910内。Trak箱910包括在“minf”容器箱下面的“smhd”箱911，其中，smhd箱911是指示轨道是音频轨道的声音媒体头箱。编码的视频信号被存储在多媒体文件的trak箱920内。Trak箱920包括在minf容器箱下面的“vmhd”箱921，其中，vmhd箱921是指示轨道是视频轨道的视频媒体头箱。编码的触觉信号被存储在多媒体文件的trak箱930内。Trak箱930包括在minf容器箱下面的“nmhd”箱931，其中，nmhd箱931是指示轨道是触觉轨道的空媒体头箱。更具体地，nmhd箱931可以指示轨道不是音频轨道或视频轨道，但是仍可以被解释为触觉轨道。
此外，如前所述，在触觉箱结构（诸如前面的表中所示的触觉箱结构）内，存在采样表箱（即，“stbl”箱）。在stbl箱下面，存在采样描述箱（即，“stsd”箱）。在stsd箱中，可以指定轨道的格式。对于触觉轨道，如前所述，可以定义hapt箱，其中，hapt箱指示定时元数据轨道包含编码的触觉信号。在某些实施例中，“meta”处理器类型可以要求实现MetaDataSampleEntry类，但是可以将MetaDataSampleEntry类定义为可以通过新的子类扩展的空类。此外，如下面更详细地进一步描述的，可以将任何触觉特定的数据存储在“esds”箱中。
另外，诸如轨道持续时间和时间尺度的任何定时数据可以存在于“mdhd”箱中，其中，mdhd箱描述触觉轨道的总持续时间和时间尺度。“timescale”是包含一秒内过去的若干个时间单位的32位无符号整数。例如，如果触觉轨道具有每秒50个采样的更新速率，则将这个timescale设置为50。“duration”是声明触觉轨道在timescale的尺度中的长度的64位无符号整数。例如，如果timescale被设置为值50，则每一个采样具有20毫秒的长度。如果触觉轨道有5秒长，则持续时间应具有值250（即，5*1000/20）。
此外，如前所述，在触觉箱结构（诸如前面的表中所示的触觉箱结构）内，在hapt容器箱下面的子箱是基本流描述箱（即，“esds”箱），其也被称为ES_Descriptor。当应用于触觉时，该箱包含对与流驻留在其中的trak箱相关联的流进行解码所需的信息。
根据实施例，ES_Descriptor箱包含DecoderConfigDescriptor结果，其包含解释和读取基本流的参数和要求。在DecoderConfigDescriptor内，存在用于objectProfileIndication值和DecoderSpecificInfo结构的字段。objectProfileIndication值提供用于流的对象配置文件类型。可以将该字段设置为0xC0与0xFE（用户提供的对象配置文件类型的范围）之间的值，当在hapt箱结构内使用该值时，该值可以被称为haptic类型。如下面结合图10和11更详细地描述的，根据实施例，仅将仅包含使用0xC0与0xFE之间的值作为对象配置文件类型的hapt箱的trak箱结构认为是有效触觉流。DecoderSpecificInfo结构是通过其他类基于objectProfileIndication值扩展的抽象类。在一个实施例中，可以通过HapticSpecificConfig类来扩展该结果，HapticSpecificConfig类包含触觉特定的数据，诸如信号类型和为其创建编码的触觉信号的触觉输出装置（例如，致动器）。下面更详细地进一步描述HapticSpecificConfig类。
图10例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的有效对象配置文件类型。根据实施例，编码的多媒体信号包括触觉分量，其是编码的触觉信号。此外，对于存储编码的多媒体信号的多媒体文件，定义触觉箱结构1000。触觉箱结构1000包括具有0xC0和0xFE的范围内的值的objectProfileIndication字段1010。因为objectProfileIndication字段1010的值在有效范围内，所以认为包含编码的触觉信号的轨道是有效触觉轨道。
图11例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的无效对象配置文件类型。根据实施例，编码的多媒体信号包括触觉分量，其是编码的触觉信号。此外，对于存储编码的多媒体信号的多媒体文件，定义触觉箱结构1100。触觉箱结构1100包括具有值0x40的objectProfileIndication字段1110。因为objectProfileIndication字段1110的值不在有效范围内，所以认为包含编码的触觉信号的轨道不是有效触觉轨道。
媒体播放器应用和媒体编辑应用通常需要多媒体文件的基本流描述箱中的配置信息，其中，该配置信息对于解码处理是必要的。因此，DecoderConfigDescriptor可以包含DecoderSpecificInfo抽象类的子类。对于触觉流，根据本发明的实施例，可以通过HapticSpecificConfig类来扩展DecoderSpecificInfo抽象类。当objectTypeIndication值和streamType值分别为0xC0和0x20（指示流包含触觉数据）时，HapticSpecificConfig可以扩展抽象类DecoderSpecificInfo。下面在以下的表中示出了HapticSpecificConfig类的示例语法：
触觉流类型 描述
0x0 保留
0x1 保留
0x2 触觉编码流
0x3 音频编码流
采样频率索引 值
0x0 保留
0x1 200
0x2 8000
0x3–0xE 保留
0xF 逸出值
致动器配置 描述
0x0 保留
0x1 单个致动器
0x2–0xF 保留
值 通道数量
0 -
1 单通道
端点配置 描述
0x0 时序振幅
0x1 PCM波形
0x2–0xFF 保留
触觉解码器类型 描述
0x0 原始流
0x1–0xF 保留
根据实施例，对编码的触觉信号进行交织，或者将编码的触觉信号与编码的音频信号和/或编码的视频信号组合在多媒体文件内。更具体地，包括编码的音频信号的流可以与声音类型的trak对象相关联。此外，包括编码的视频信号的流可以与视频类型的trak对象相关联。另外，包括编码的触觉信号的流可以与定时元数据类型的trak对象相关联。可以对这些流进行交织，或者可以将这些流组合在“mdat”箱中，mdat箱驻留在与箱结构中的moov箱相同的层次上。mdat箱包含媒体编辑应用或媒体播放器应用解析、解码和呈现的实际数据。在从交织的数据箱提取编码的触觉信号并且对该编码的触觉信号进行解码时，媒体编辑应用或媒体播放器应用可以参照采样表内的编码的触觉信号的数据块或部分的偏移。
图12例示根据本发明的一个实施例的离线触觉转换模块（诸如图1的离线触觉转换模块16）的功能的流程图。该流程开始，并且进入1210。在1210，从源接收输入。在某些实施例中，输入可以是下列之一：音频信号的至少一部分；视频信号的至少一部分；或包括音频信号和视频信号两者的多媒体信号的至少一部分。此外，在某些实施例中，源是多媒体文件。在其中源是多媒体文件的实施例中，可以从该多媒体文件提取输入信号，并且可以对该输入信号进行解码。所述流程然后进入1220。
在1220，将输入转换为一个或多个触觉信号。在某些实施例中，从源提取输入信号，并将该输入信号转换为一个或多个触觉信号。在其他实施例中，从源提取输入信号的一个或多个部分，并将输入信号的所述一个或多个部分转换为一个或多个触觉信号。此外，在某些实施例中，可以在回放输入之前执行将输入转换为一个或多个触觉信号。所述流程然后进入1230。
在1230，对所述一个或多个触觉信号进行编码。所述流程然后进入1240。
在1240，存储所述一个或多个触觉信号。在某些实施例中，可以将所述一个或多个触觉信号存储在源内，其中，将所述一个或多个触觉信号与输入组合在源的容器内。在其他实施例中，可以将所述一个或多个触觉信号存储在单独的文件或流中。所述流程然后进入1250。
在1250，提取所述一个或多个触觉信号。在其中所述一个或多个触觉信号被存储在源内的实施例中，可以从存储在该源内的输入提取所述一个或多个触觉信号。在其中所述一个或多个触觉信号被存储在单独的文件或流内的实施例中，可以从该单独的文件或流提取所述一个或多个触觉信号。所述流程然后进入1260。
在1260，对所述一个或多个触觉信号进行解码。所述流程然后进入1270。
在1270，基于所述一个或多个触觉信号来产生一个或多个触觉效果。在某些实施例中，可以将所述一个或多个触觉信号发送到触觉输出装置以产生一个或多个触觉效果。在这些实施例中的一些中，触觉输出装置是致动器。此外，在这些实施例中的一些中，所述一个或多个触觉信号均可以包括一个或多个幅值的序列，并且可以配置触觉帧率，其定义所述一个或多个幅值的序列中每秒发送到触觉输出装置的部分。所述流程然后进入1280。
在1280，使所述一个或多个触觉效果与来自相关联的媒体的一个或多个效果同步。在某些实施例中，相关联的媒体可以是输入。在这些实施例中的一些实施例中，来自相关联的媒体的一个或多个效果可以是基于输入或利用输入而产生的一个或多个效果。所述流程然后结束。
因此，在一个实施例中，一种系统可以“离线地”将诸如音频信号的输入信号转换为触觉信号。然后可以将触觉信号嵌入到多媒体文件中，其中，可以将触觉信号与该多媒体文件内所包含的音频信号和视频信号组合。然后可以使使用触觉信号而产生的触觉效果与使用音频信号而产生的音频效果和使用视频信号而产生的视频效果同步。触觉效果与音频效果和视频效果的同步可以为多媒体文件的用户提供附加娱乐层。因此，系统可以为用户提供对于多媒体文件内所包含的多媒体信号创建触觉效果的快速简单的方式。系统还可以提供在触觉输出装置上呈现触觉效果的可靠方式。
在一个或多个实施例中，可以以任何合适的方式组合在整个本说明书中描述的本发明的特征、结构或特性。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似的语言在整个本说明书中指的是结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似语言在整个本说明书中的出现不一定全都指的是同一组实施例，并且在一个或多个实施例中可以以任何合适的方式组合所描述的特征、结构或特性。
本领域的普通技术人员将容易理解，可以用不同顺序的步骤、和/或用与所公开的元件的配置不同的配置的元件来实施如以上所讨论的本发明。因此，尽管已经基于这些优选实施例描述了本发明，但是本领域的技术人员将明白，某些修改、变化和替代构造将是显而易见的，同时仍保留在本发明的精神和范围内。因此，为了确定本发明的界限，应参照所附权利要求书。

Claims (15)

1.一种用于控制离线触觉转换的方法，所述方法包括：
从源接收输入；
将所述输入转换为一个或多个触觉信号，其中，在回放所述输入之前执行将所述输入转换为所述一个或多个触觉信号；
对所述一个或多个触觉信号进行编码；和
存储所述一个或多个触觉信号。
2.根据权利要求1所述的方法，还包括：
提取所述一个或多个触觉信号；
对所述一个或多个触觉信号进行解码；
基于所述一个或多个触觉信号来产生一个或多个触觉效果；和
使所述一个或多个触觉效果与所述输入同步。
3.根据权利要求2所述的方法，其中，产生所述一个或多个触觉效果还包括将所述一个或多个触觉信号发送到触觉输出装置以产生所述一个或多个触觉效果。
4.根据权利要求3所述的方法，其中，所述触觉输出装置包括致动器。
5.根据权利要求3所述的方法，其中，所述一个或多个触觉信号均包括一个或多个幅值的序列；
所述控制还包括配置触觉帧率，所述触觉帧率定义所述一个或多个幅值的序列中每秒发送到触觉输出装置的部分。
6.根据权利要求1所述的方法，其中，将所述输入转换为所述一个或多个触觉信号还包括：
从所述源提取输入信号；和
将所述输入信号转换为所述一个或多个触觉信号。
7.根据权利要求1所述的方法，其中，将所述输入转换为所述一个或多个触觉信号还包括：
从所述源提取输入信号的一个或多个部分；和
将所述输入信号的所述一个或多个部分转换为所述一个或多个触觉信号。
8.根据权利要求1所述的方法，其中，所述输入包括以下之一：音频信号的至少一部分；视频信号的至少一部分；或包括音频信号和视频信号两者的多媒体信号的至少一部分。
9.根据权利要求1所述的方法，其中，所述源包括多媒体文件。
10.根据权利要求1所述的方法，其中，存储所述一个或多个触觉信号还包括将所述一个或多个触觉信号存储在所述源内，其中，在所述源的容器内将所述一个或多个触觉信号与所述输入组合。
11.根据权利要求1所述的方法，其中，存储所述一个或多个触觉信号还包括将所述一个或多个触觉信号存储在单独的文件或流内。
12.一种用于控制离线触觉转换的系统，所述系统包括：
存储器，所述存储器被配置为存储离线触觉转换模块；和
处理器，所述处理器被配置为执行存储在所述存储器上的离线触觉转换；
其中，所述离线触觉转换模块被配置为从源接收输入；
其中，所述离线触觉转换模块被进一步配置为在回放所述输入之前将所述输入转换为一个或多个触觉信号；
其中，所述离线触觉转换模块被进一步配置为对所述一个或多个触觉信号进行编码；和
其中，所述离线触觉转换模块被进一步配置为存储所述一个或多个触觉信号。
13.根据权利要求12所述的系统，
其中，所述离线触觉转换模块被进一步配置为提取所述一个或多个触觉信号；
其中，所述离线触觉转换模块被进一步配置为对所述一个或多个触觉信号进行解码；
其中，所述离线触觉转换模块被进一步配置为基于所述一个或多个触觉信号来产生一个或多个触觉效果；和
其中，所述离线触觉转换模块被进一步配置为使所述一个或多个触觉效果与所述输入同步。
14.根据权利要求12所述的系统，
其中，所述离线触觉转换模块被进一步配置为从所述源提取输入信号；和
其中，所述离线触觉转换模块被进一步配置为将所述输入信号转换为所述一个或多个触觉信号。
15.一种用于控制离线触觉转换的设备，所述设备包括：
从源接收输入的装置；
将所述输入转换为一个或多个触觉信号的装置，其中，在回放所述输入之前执行将所述输入转换为所述一个或多个触觉信号；
对所述一个或多个触觉信号进行编码的装置；和
存储所述一个或多个触觉信号的装置。
CN201410140291.4A 2013-04-09 2014-04-09 离线触觉转换系统 Pending CN104102341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814889.XA CN110531857A (zh) 2013-04-09 2014-04-09 离线触觉转换系统

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361810196P 2013-04-09 2013-04-09
US61/810,196 2013-04-09
US201361827341P 2013-05-24 2013-05-24
US61/827,341 2013-05-24
US14/246,817 US9997032B2 (en) 2013-04-09 2014-04-07 Offline haptic conversion system
US14/246,817 2014-04-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910814889.XA Division CN110531857A (zh) 2013-04-09 2014-04-09 离线触觉转换系统

Publications (1)

Publication Number Publication Date
CN104102341A true CN104102341A (zh) 2014-10-15

Family

ID=50513683

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910814889.XA Pending CN110531857A (zh) 2013-04-09 2014-04-09 离线触觉转换系统
CN201410140291.4A Pending CN104102341A (zh) 2013-04-09 2014-04-09 离线触觉转换系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910814889.XA Pending CN110531857A (zh) 2013-04-09 2014-04-09 离线触觉转换系统

Country Status (5)

Country Link
US (2) US9997032B2 (zh)
EP (2) EP2790099A1 (zh)
JP (2) JP6416490B2 (zh)
KR (1) KR20140122210A (zh)
CN (2) CN110531857A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124221A (zh) * 2016-11-30 2018-06-05 谷歌有限责任公司 触觉低音响应

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10437341B2 (en) 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
US9847000B2 (en) 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179278B1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
EP3293611B1 (en) * 2016-09-06 2019-05-15 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN112585982B (zh) 2018-08-30 2024-04-16 索尼公司 发送装置、发送方法、接收装置和接收方法
CN109982426B (zh) * 2019-03-21 2021-04-13 中国科学院合肥物质科学研究院 一种无人驾驶车辆传感器数据离线同步方法
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
DE112020006048T5 (de) 2019-12-09 2022-09-29 Sumitomo Bakelite Co., Ltd. Wärmehärtbare harzzusammensetzung, harzplatte und metallgrundsubstrat
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080294984A1 (en) * 2007-05-25 2008-11-27 Immersion Corporation Customizing Haptic Effects On An End User Device
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
US20100066512A1 (en) * 2001-10-09 2010-03-18 Immersion Corporation Haptic Feedback Sensations Based on Audio Output From Computer Devices
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
JPH11133850A (ja) * 1997-11-04 1999-05-21 Sony Corp 触覚による情報伝達装置
JP3072293B2 (ja) 1999-05-14 2000-07-31 松下電子工業株式会社 半導体装置およびその製造方法
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
KR101384434B1 (ko) * 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
KR100835297B1 (ko) * 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
EP2629178B1 (en) 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066512A1 (en) * 2001-10-09 2010-03-18 Immersion Corporation Haptic Feedback Sensations Based on Audio Output From Computer Devices
US20080294984A1 (en) * 2007-05-25 2008-11-27 Immersion Corporation Customizing Haptic Effects On An End User Device
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124221A (zh) * 2016-11-30 2018-06-05 谷歌有限责任公司 触觉低音响应

Also Published As

Publication number Publication date
US20180268667A1 (en) 2018-09-20
US20140300454A1 (en) 2014-10-09
US9997032B2 (en) 2018-06-12
CN110531857A (zh) 2019-12-03
JP6416490B2 (ja) 2018-10-31
KR20140122210A (ko) 2014-10-17
JP6639602B2 (ja) 2020-02-05
US10529197B2 (en) 2020-01-07
JP2019022223A (ja) 2019-02-07
EP3495941A1 (en) 2019-06-12
JP2014204445A (ja) 2014-10-27
EP2790099A1 (en) 2014-10-15

Similar Documents

Publication Publication Date Title
CN104102341A (zh) 离线触觉转换系统
JP6615307B2 (ja) 動的ハプティック変換システム
EP2846221B1 (en) Method, system and computer program product for transforming haptic signals
CN103970266B (zh) 触觉感知记录和回放
EP3040810B1 (en) Audio enhanced simulation of high bandwidth haptic effects
CN104423707B (zh) 使用分段和组合的触觉转换系统
CN104035556A (zh) 触觉效果的自动适配
CN104423848A (zh) 使用频移的触觉转换系统
CN104932681B (zh) 触觉效果的自动调整
CN104423590A (zh) 解复用触觉信号的方法和系统
CN107465972A (zh) 一种移动终端的音频播放控制方法及无线耳机
US20210166532A1 (en) Drive control device, drive control method, and program
CN106028217B (zh) 一种基于音频识别技术的智能设备互动系统及方法
CN108513152A (zh) 图像显示设备及其操作方法
US20190103004A1 (en) Haptic pitch control
CN114035686A (zh) 融合触觉的多模态微动效广告情境构建方法
CN115171741A (zh) 一种数据记录方法以及装置
CN116708909A (zh) 直播方法、终端设备及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141015