CN106095069A - 触觉回放调节系统 - Google Patents

Abstract

本公开涉及一种触觉回放调节系统。具体提供了用于将触觉效果的回放速率调节至期望的回放速率的方法。确定期望的回放速率。基于期望的回放速率生成触觉信号的一部分。触觉信号的该部分被发送到触觉输出设备，从而使触觉输出设备以对应于期望的回放速率的回放速率输出触觉效果。

Description

触觉回放调节系统

对相关申请的交叉引用

本申请要求于2015年4月28日提交的临时专利申请序列No.62/153,576的优先权，其内容通过引用被结合于此。

技术领域

一种实施例一般而言针对设备，并且更具体而言，针对产生触觉效果的设备。

背景技术

触觉是一种触感与力反馈技术，这种技术通过向用户施加触觉反馈效果(即，“触觉反馈”或“触摸效果”)，诸如力、振动和运动，来利用用户的触摸感觉。诸如移动设备、触摸屏设备、个人计算机和可穿戴设备的设备可以配置成生成触觉效果。一般而言，对能够生成触觉效果的嵌入式硬件(例如致动器)的调用可以在设备中编程。这些调用规定播放哪些触觉效果。例如，当用户利用例如按钮、触摸屏、杠杆、操纵杆、滚轮或者某种其它控制与设备交互时，设备可以通过控制电路系统向嵌入式硬件发送播放命令。然后，嵌入式硬件产生适当的触觉效果。

当触觉效果被触觉设计者创作时，触觉效果可以依据触觉效果的回放以特定的回放速度或速率发生的假设进行创作。但是，基于设备，触觉效果的回放可以以不同的回放速率发生。触觉效果以不同回放速度的回放会使最终用户的触觉效果体验失真。另外，触觉效果的回放可以与另一种类型的输入，诸如音频输入、视频输入、加速度输入等，的回放同步。如果该另一输入的播放速率被调节，使得该另一输入的回放速率不匹配触觉效果的回放速率，则触觉效果的回放可能不再与该另一输入同步，这会进一步使最终用户的体验失真。

发明内容

一种实施例包括调节触觉效果的回放的方法。确定期望的回放速率。基于期望的回放速率生成触觉信号的一部分。触觉信号的该部分被发送到触觉输出设备，从而使触觉输出设备以对应于期望的回放速率的回放速率输出触觉效果。

附图说明

从以下对示例实施例的具体描述，进一步的实施例、细节、优点和修改将变得显然，其中示例实施例要联系附图来理解。

图1示出了根据本发明一种实施例的系统的框图。

图2示出了根据本发明实施例的触觉反馈调节模块的功能的流程图。

图3示出了根据本发明实施例的静态触觉反馈调节模块的功能的流程图。

图4示出了根据一种实施例、用于静态调节触觉信号以便以不同速度提供多个触觉信号的系统。

图5示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。

图6示出了根据一种实施例、通过重新采样输入信号对触觉信号进行静态调节的系统。

图7示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。

图8示出了根据一种实施例、通过重新采样触觉信号对触觉信号进行静态调节的系统。

图9示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。

图10示出了根据一种实施例、通过分析关键事件对触觉信号进行静态调节的系统。

图11示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图12示出了根据一种实施例、通过选择触觉信号对触觉信号进行动态调节的系统。

图13示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图14示出了根据一种实施例、通过选择子触觉信号(haptlet)对触觉信号进行动态调节的系统。

图15示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图16示出了根据一种实施例、通过播放触觉块对触觉信号进行动态调节的系统。

图17示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图18示出了根据一种实施例、通过播放触觉信号的范围对触觉信号进行动态调节的系统。

图19示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图20示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图21示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。

图22示出了根据一些实施例、通过将样本插入触觉信号或从触觉信号去除样本对触觉信号进行动态调节的系统。

具体实施方式

一种实施例是触觉回放调节系统，该系统调节触觉数据(诸如触觉信号)的回放以对应于期望的回放速率，其中触觉数据的回放可对应于不同的回放速率，或速度。

在一种实施例中，触觉回放调节系统可以静态地调节触觉信号的回放。换句话说，在启动触觉信号的回放之前，触觉回放调节系统可以调节触觉信号的回放，以对应于期望的回放速率。触觉回放调节系统可以利用下面进一步详细描述的一种或多种静态调节技术调节触觉信号的回放，以对应于期望的回放速率。触觉信号可以随后被发送到触觉输出设备，在那里触觉信号使触觉输出设备输出一个或多个触觉效果，并且在那里一个或多个触觉效果的回放对应于期望的播放速率。

例如，用户可以在视频捕获设备，诸如智能电话或动作相机，上以每秒240帧(“fps”)的高帧速率拍摄视频。触觉信号可以利用触觉创作工具、视频、伴音和/或其它输入传感器数据来创建。用户可能希望放慢视频，即，以慢动作播放视频，以便更好地感知快速动作序列。例如，用户可能想以1/4速度播放视频。用户可以选择以60fps播放视频。换句话说，以1秒的1/240(0.004167秒)拍摄的帧现在将以一秒的1/60(0.0167)播放，从而导致比原始捕获的慢四倍的回放速度。如本文所述的触觉回放调节系统还可以调节触觉信号，以提供适于新回放速度的触觉信号。

在另一实施例中，触觉回放调节系统可以动态地调节触觉信号的回放。换句话说，在触觉信号的回放被启动之后，触觉回放调节系统可以调节触觉信号的回放，以对应于期望的回放速率。触觉回放调节系统可以利用在下面进一步详细描述的一种或多种动态调节技术调节触觉信号的回放，以对应于期望的回放速率。触觉信号可以随后被发送到触觉输出设备，在那里触觉信号使触觉输出设备输出一个或多个触觉效果，并且在那里一个或多个触觉效果的回放对应于期望的播放速率。

例如，用户可以在用户的移动设备上接收动画，该动画具有与动画的部分关联的触觉效果。依赖于设备的能力，动画可以比最初设计更慢或更快地播放。相应地，关联的触觉效果可能不像预期的那样在动画播放时与动画一致。假设动画播放慢于原本打算的。触觉效果可能在动画元素之前被触发，从而导致差的用户体验。假设动画播放快于原本打算的。触觉效果可能晚于动画元素被触发，从而导致差的用户体验。触觉信号的回放的动态调节可以利用如本文所述的触觉回放调节系统来实现。

根据实施例，触觉信号的回放是当触觉信号的至少一部分被发送到触觉输出设备时并导致触觉输出设备输出至少一个触觉效果。另外，触觉信号的回放在接收到向触觉输出设备发送触觉信号的至少一部分的指令时被启动。更进一步，当触觉信号的回放速率等于期望的回放速率；或者触觉信号的回放与其它输入的回放同步(其中其它输入的回放等于期望的播放速率)时，触觉信号的回放(即，一个或多个触觉效果的回放)对应于期望的回放速率。

图1示出了根据本发明一种实施例的系统10的框图。在一种实施例中，系统10是设备(例如，移动设备或可穿戴设备)的一部分，并且系统10为设备提供触觉回放调节功能。可穿戴设备的例子包括腕带、头带、眼镜、戒指、腿带、集成到衣服中的阵列，或者用户可以穿戴在身体上或可以由用户持有的任何其它类型的设备。一些可穿戴设备可以是“触觉启用的”，这意味着它们包括生成触觉效果的机制。在另一种实施例中，系统10与设备(例如，移动设备或可穿戴设备)分离，并且远程地为设备提供上述功能。虽然被示为单个系统，但系统10的功能性可以实现为分布式系统。系统10包括用于传送信息的总线12或者其它通信介质，及耦合到总线12用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括用于存储信息和要由处理器22执行的指令的存储器14。存储器14可以由随机存取存储器(“RAM”)、只读存储器(“ROM”)、例如磁或光盘的静态储存器或任何其它类型的计算机可读介质的任意组合构成。

计算机可读介质可以是可以被处理器22访问的任何可用介质，而且可以包括易失性和非易失性介质、可移除的和不可移除的介质、通信介质及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或者在例如载波或其它传输机制的调制数据信号中的其它数据，而且可以包括本领域中已知的任何其它形式的信息输送介质。存储介质可以包括RAM、闪存存储器、ROM、可擦可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移除盘、光盘只读存储器(“CD-ROM”)或者本领域中已知的任何其它形式的存储介质。

在一种实施例中，存储器14存储在被处理器22执行时提供功能的软件模块。在一种实施例中，这些模块包括为系统10及移动设备的剩余部分提供操作系统功能的操作系统15。这些模块还包括调节触觉效果的回放的触觉回放调节模块16，如以下更详细公开的。在某些实施例中，触觉回放调节模块16可以包括多个模块，其中每个模块提供用于调节触觉效果的回放的单独功能。系统10将通常包括一个或多个包括附加功能的附加应用模块18，诸如Immersion公司的Integrator^TM软件。

在从远端源发送和/或接收数据的实施例中，系统10还包括通信设备20，诸如网络接口卡，以便提供移动无线网络通信，诸如红外线、无线电、Wi-Fi或蜂窝网络通信。在其它实施例中，通信设备20提供有线网络连接，诸如以太网连接或调制解调器。

处理器22还经总线12耦合到显示器24，诸如液晶显示器(“LCD”)，用于向用户显示图形表示或用户接口。显示器24可以是被配置为从处理器22发送和接收信号的触摸敏感输入设备，例如触摸屏，而且可以是多触摸触摸屏。

在一种实施例中，系统10还包括致动器26。处理器22可以向致动器26发送与所生成的触觉效果关联的触觉信号，然后致动器26又输出诸如振动触感触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果。致动器26包括致动器驱动电路。致动器26可以是例如电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、线性共振致动器(“LRA”)、压电式致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器或者超声波振动发生器。在备选实施例中，除了致动器26，系统10可以包括一个或多个附加的致动器(在图1中未示出)。致动器26是触觉输出设备的例子，其中触觉输出设备是被配置为响应于驱动信号输出触觉效果，诸如振动触感触觉效果、静电摩擦触觉效果或变形触觉效果，的设备。在备选实施例中，致动器26可以被某种其它类型的触觉输出设备代替。另外，在其它备选实施例中，系统10可以不包括致动器26，并且与系统10分离的设备包括生成触觉效果的致动器或其它触觉输出设备，并且系统10通过通信设备20把所生成的触觉信号发送到那个设备。

在一种实施例中，系统10还包括扬声器28。处理器22可以将音频信号发送到扬声器28，而扬声器又输出音频效果。扬声器28可以是，例如，动态扩音器、电动力学扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带式和平面磁性扩音器、弯曲波扩音器、平板扩音器、Heil空气运动换能器、等离子体弧扬声器和数字式扩音器。在备选实施例中，除了扬声器28，系统10还可以包括一个或多个附加的扬声器(在图1中未示出)。另外，在其它备选实施例中，系统10可以不包括扬声器28，并且与系统10分离的设备包括输出音频效果的扬声器，并且系统10通过通信设备20向那个设备发送音频信号。

在一种实施例中，系统10还包括传感器30。传感器30可被配置为检测能量的形式或者其它的物理特性，诸如但不限于声音、运动、加速度、生物信号、距离、流量、力/压力/应变/弯曲、湿度、线性位置、朝向/倾度、射频、旋转位置、旋转速度、开关的操纵、温度、振动或可见光强度。传感器30还可被配置为把检测到的能量，或者其它物理属性，转换成电信号，或者代表虚拟传感器信息的任何信号。传感器30可以是任何设备，诸如但不限于加速计、心电图、脑电图、肌电图、眼电图、电腭图、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、挠曲传感器(或者弯曲传感器)、力敏感电阻器、称重传感器、LuSense CPS² 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或者滑块)、线性可变差分变压器、指南针、测斜器、磁性标签(或者射频标识标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻、温度-换能集成电路)、麦克风、光度计、高度计、生物检测器、相机或光敏电阻器。在备选实施例中，除了传感器30(在图1中未示出)，系统10还可以包括一个或多个附加传感器。在这些实施例的一些当中，传感器30和一个或多个附加传感器可以是传感器阵列的一部分，或者是传感器的某种其它类型的集合。另外，在其它备选实施例中，系统10可以不包括传感器30，并且与系统10分离的设备包括检测能量形式或其它物理特性并且将检测到的能量或其它物理特性转换成电信号或表示虚拟传感器信息的其它类型信号的传感器。然后，设备可以将转换后的信号通过通信设备20发送到系统10。

根据本发明的实施例，如前所述，诸如系统10的触觉回放调节系统可以或者静态地或者动态地调节触觉信号的回放。为了静态地调节触觉信号的回放，触觉回放调节系统10可以实现在以下静态调节技术的概述中讨论的一种或多种静态调节技术。

在一种实施例中，触觉回放调节系统10可以允许触觉设计者通过生成多个触觉信号来创作用于多个回放速率的触觉效果，其中每个触觉信号对应于唯一的回放速率。触觉回放调节系统10随后可以基于期望的回放速率从多个触觉信号中选择触觉信号，其中触觉信号的选择可以是在触觉信号的回放被启动之前。触觉回放调节系统10随后可以将所选的触觉信号发送到触觉输出设备，在那里所选的触觉信号的回放对应于期望的回放速率。

在另一实施例中，如果原始触觉信号最初通过触觉转换算法生成(即，最初从原始输入信号，诸如音频信号、视频信号、加速度信号、传感器输出等等，转换)，则触觉回放调节系统10可以通过重新采样(例如，上采样或下采样)原始输入信号到期望的采样率将原始输入信号转换成新的输入信号。触觉回放调节系统10可以利用触觉转换算法和新的输入信号(即，经重新采样的输入信号)生成新的触觉信号。结果产生的新触觉信号将对应于期望的回放速率，如由原始输入信号的期望重新采样率所设置的。触觉回放调节系统10随后可以将新的触觉信号发送到触觉输出设备，其中所选的触觉信号的回放对应于期望的回放速率。

在另一实施例中，触觉回放调节系统10可以通过重新采样(例如，上采样或下采样)原始触觉信号将原始触觉信号转换成对应于期望回放速率的新触觉信号。触觉回放调节系统10随后可以将新触觉信号发送到触觉输出设备，在那里新触觉信号的回放对应于期望的回放速率。

在另一实施例中，触觉回放调节系统10可以通过重新采样(例如，上采样或下采样)原始输入信号将原始输入信号转换成对应于期望回放速率的新输入信号。触觉回放调节系统10还可以分析该新输入信号并识别一个或多个“关键输入事件”，其中“关键输入事件”是具有一个或多个指定特性(例如，频率、振幅、包络等等)的输入数据的一部分。触觉回放调节系统10还可以通过识别一个或多个“关键触觉事件”将原始触觉信号转换成新触觉信号，其中“关键触觉事件”是具有一个或多个指定特性(例如，频率、振幅、包络等等)的触觉数据的一部分，并且在新触觉信号中移位一个或多个关键触觉事件，使得一个或多个关键触觉事件与新输入信号的一个或多个关键输入事件对齐。通过移位新触觉信号中的关键触觉事件，使得关键触觉事件与新输入信号的关键输入事件对齐，新触觉信号中关键触觉事件的位置被调节，使得关键触觉事件的位置与新输入信号中关键输入事件的位置对齐。另外，关键触觉事件的位置与关键输入事件的位置对齐，其中关键触觉事件的位置：或者(a)与关键输入事件的位置完全相同，或者(b)基本上与关键输入事件的位置完全相同，其中由输出设备基于关键输入效果输出的效果和由触觉输出设备基于关键触觉效果输出的触觉效果几乎都同时发生或者被体验。在对齐关键触觉事件的位置与关键输入事件的位置之后，触觉回放调节系统10可以可选地拉伸(或收缩)触觉信号，以便与关键输入事件发生的帧数一致。触觉回放调节系统10随后可以向触觉输出设备发送新的触觉信号，其中新触觉信号的回放对应于期望的回放速率。

上面提到的静态调节技术还在下面进一步详细描述。

为了动态地调节触觉信号的回放，触觉回放调节系统10可以实现在下面动态调节技术的概述中讨论的一种或多种动态调节技术。

在一种实施例中，触觉回放调节系统10可以允许触觉设计者通过生成多个触觉信号来创作用于多个回放速率的触觉效果，其中每个触觉信号对应于唯一的回放速率。多个触觉信号可以根据唯一的比特率进行编码。多个触觉信号还可以被存储在单个文件或容器内。触觉回放调节系统10随后可以基于期望的回放速率从多个触觉信号中选择触觉信号，其中触觉信号的选择可以是在触觉信号的回放被启动之后。触觉回放调节系统10随后可以将所选的触觉信号发送到触觉输出设备，其中所选的触觉信号的回放对应于期望的回放速率。

在另一实施例中，触觉回放调节系统10可以将触觉信号划分成一个或多个子触觉信号(haptlet)，其中子触觉信号是触觉信号的一部分，它包括指示该子触觉信号在触觉信号中的位置的索引。触觉信号的划分可以或者在触觉信号的回放被启动之前或者在触觉信号的回放被启动之后执行。随后，在触觉信号的回放被启动之后，触觉回放调节系统10可以协调选定数量的一个或多个子触觉信号的回放。更具体而言，对于每个子触觉信号，触觉回放调节系统10可以确定该子触觉信号是否要被发送到触觉输出设备。如果子触觉信号被选择，则触觉回放调节系统10可以将所选的子触觉信号发送到触觉输出设备，其中所选的子触觉信号使触觉输出设备输出一个或多个触觉效果。如果子触觉信号未被选择，则触觉回放调节系统10不将该子触觉信号发送到触觉输出设备。在一些实施例中，子触觉信号可以被指定优先级并且优先级可以被用作用于确定子触觉信号是否要被发送到触觉输出设备的基础的一部分。

在另一实施例中，触觉回放调节系统10可以将触觉信号划分成一个或多个触觉块，其中触觉块是触觉信号的一部分。触觉信号的划分可以或者在触觉信号的回放被启动之前或者在触觉信号的回放被启动之后执行。随后，在触觉信号的回放被启动之后，触觉回放调节系统10可以配置指定的连续触觉块的回放之间的延迟(也被识别作为“睡眠期”或“等待期”)。更具体而言，触觉回放调节系统10可以基于第一触觉块的回放之后和第二触觉块的回放之前的延迟参数(其中第一和第二触觉块是连续的触觉块)指定特定时段的延迟。在此期间，触觉回放调节系统10不回放触觉块。换句话说，在此时段期间，触觉回放调节系统10不向触觉输出设备发送触觉块。

在另一实施例中，在触觉信号的回放被启动之后，触觉回放调节系统10可以在指定的包括开始时间和结束时间的时间范围内接收对触觉信号的回放一个或多个请求。响应于请求，触觉回放调节系统10可以协调触觉信号的回放，使得触觉信号的回放只在开始时间和结束时间之间发生，并且一旦到达结束时间，触觉信号的回放就停止。这种由触觉回放调节系统进行的协调可以对每个请求重复。

在另一实施例中，在触觉信号的回放被启动之后，触觉回放调节系统10可以接收基于时间戳将回放速率调节至期望的回放速率的请求。触觉回放调节系统10可以计算要添加到触觉信号的至少一部分或者从中去除的触觉样本的数量，其中触觉样本是包含在触觉信号中的触觉数据的一部分。基于计算出的要被添加或去除的触觉样本的数量，触觉回放调节系统10可以通过重新采样(例如，上采样或下采样)触觉信号的至少该部分将触觉信号的至少该部分转换成新的触觉信号。在某些实施例中，触觉回放调节系统10可以利用以下更详细描述的重新采样技术之一重新采样触觉信号的至少该部分。

一种重新采样技术涉及从触觉信号去除“沉默的触觉样本”(也被识别为“零触觉样本”)，其中“沉默的触觉样本”是包含其一个或多个值低于预定义阈值的触觉数据的触觉样本。触觉信号的当前触觉块(即，触觉数据的块)可以被评估，以选择其中沉默的触觉样本可被去除的一个或多个位置，并且一个或多个沉默的触觉样品可以从这一个或多个选定的位置被去除。随后，如果没有足够多从之前的调节高速缓冲的触觉样本，则新的触觉块可以被获取。这种重新采样技术可以响应于对回放速率到增加的回放速率的请求的调节而被使用。

另一种重新采样技术涉及将沉默的触觉样本添加到触觉信号。触觉信号的当前触觉块可以被评估，以选择沉默的触觉样本可以被添加的一个或多个位置，并且一个或多个沉默的触觉样本可以被添加到这一个或多个选定的位置。随后，触觉块可以被发送给触觉输出设备。随后，触觉块可以被保持，以供后续播放。这种重新采样技术可以响应于对回放速率到减小的回放速率的调节的请求而被使用。

另一种重新采样技术涉及识别触觉信号中可以添加触觉样本的一个或多个位置。一个或多个触觉样本可以被添加到这一个或多个选定的位置。另外，对于每个触觉样本，一个或多个值可以被定义为等于触觉信号的剩余部分中“最近的触觉样本”。“最近的触觉样本”可以是在物理上或逻辑上位于所添加的触觉样本之前或之后的触觉样本。这种重新采样技术可以响应于对回放速率到减小的回放速率的调节的请求而被使用。

另一种重新采样技术涉及识别触觉信号中可以添加触觉样本的一个或多个位置。一个或多个触觉样本可以被添加到这一个或多个选定的位置。另外，对于每个触觉样本，一个或多个值可以被定义为触觉信号的剩余部分中两个最近的触觉样本的平均值。这种重新采样技术可以响应于对回放速率到减小的回放速率的调节的请求而被使用。

另一种重新采样技术涉及响应于对回放速率到期望的回放速率的调节的请求而以指定速率重新采样触觉信号的触觉块。任何后续的调节都可以被应用到之前没有重新采样的触觉信号的触觉块。换句话说，已经被重新采样的触觉信号的任何触觉块都不再被重新采样。这种重新采样技术可以响应于对回放速率到增加的回放速率或减小的回放速率的调节的请求而被使用。

上面提到的动态调节技术在下面更详细地进行进一步描述。

图2示出了根据本发明实施例的触觉回放调节模块的功能的流程图。在一种实施例中，图2以及下面的图3、5、7、9、11、13、15、17、19、20和21的功能是由存储在存储器或者其它计算机可读或有形介质中并且由处理器执行的软件实现的。在其它实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)，等等)，或者硬件和软件的任意组合来执行。在某些实施例中，一些功能可以被省略。

流程开始并前进到210。在210，确定期望的回放速率。在某些实施例中，期望的回放速率可以在触觉信号的回放被启动之前确定。在其它实施例中，期望的回放速率可以在触觉信号的回放被启动之后确定。然后，流程前进到220。在220，基于期望的回放速率生成触觉信号的至少一部分。在某些实施例中，触觉信号的仅一部分基于期望的回放速率生成。在其它实施例中，整个触觉信号基于期望的回放速率生成。在期望的回放速率在触觉信号的回放被启动之前确定的实施例中，触觉信号的至少该部分可以利用上面提到的一种或多种静态技术生成，其中上面提到的一种或多种静态技术也在下面更详细地进一步描述。在期望的回放速率在触觉信号的回放被启动之后确定的其它实施例中，触觉信号的至少该部分可以利用上面提到的一种或多种动态调节技术生成，其中上面提到的一种或多种动态调节技术也在下面更详细地进一步描述。然后，流程前进到230。在230，触觉信号的至少该部分被发送到触觉输出设备。触觉信号的至少该部分使触觉输出设备输出一个或多个触觉效果。另外，一个或多个触觉效果的回放对应于期望的回放速率。然后，流程结束。

图3示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。流程开始并前进到310。在310，可以确定用于触觉信号的多个期望的回放速率。额定回放速率可以被描述为1倍速，即，以其正常速度播放。其它回放速率可以是0.7倍速、1.5倍速、2.0倍速、2.5倍速，并依此类推。这些速度当中每一个表示额定1倍速的倍数。在320，为每个期望的回放速率生成触觉信号。例如，触觉信号可以利用触觉信号创作工具创作或者通过本申请中所描述的用于创建触觉信号的任何方法创建。在330，对应于期望触觉回放速率的触觉信号可以被选择。例如，用户可能想减慢或加速对应于触觉信号的视频轨道。用户可以减慢或加速视频轨道并通过选择可用的触觉信号之一减慢或加速对应的触觉信号相同的量。例如，如果用户加速视频信号至两倍，则对应的触觉信号也可被选择为2倍速触觉信号。在340，播放触觉信号的指令可以被接收，诸如当回放具有关联的包含触觉信号的触觉轨道的媒体时可以被接收的指令。在350中，触觉信号的至少一部分可以被发送到触觉输出设备，诸如以上结合图1所述的触觉输出设备之一。然后，流程结束。

图4示出了根据一种实施例、用于静态调节触觉信号以便以不同速度提供多个触觉信号的系统。输入信号源410可以向触觉信号创建工具420提供一个或多个输入信号。如上所述，输入信号可以来自任何输入源，包括音频、视频或一个或多个传感器，或者它们的任意组合。触觉信号创建工具420可以是被触觉创作者用来基于由一个或多个输入信号源提供的输入信号创作触觉信号的工具。触觉创建工具420可以包括软件，诸如Haptic Studio、ProTools、Audacity等等。在一些实施例中，触觉信号创建工具420可以是自动分析输入信号并基于输入信号提供触觉信号的转换工具。触觉信号1 430、触觉信号2 431、触觉信号3 432，依此类推，直到触觉信号N 435，各自表示来自触觉信号创建工具420的输出触觉信号。触觉信号430、431、432和435是相同输入源信号的不同触觉信号表示，但是以不同的采样率提供。例如，触觉信号1 430可以处于1倍速，即，处于与输入源信号相同的采样率。触觉信号2 431可以处于0.7倍速、触觉信号3 432可以处于2倍速，并且触觉信号N 435可以处于4倍速，其中这些不同的速度是原始输入源信号的采样率的倍数。这些仅仅是示例并且不同的触觉信号可以以任何离散的速度提供。结果产生的触觉信号430、431、432和435当中每一个可以表示用于触觉输入源的准确触觉信号，因为每个信号可以由触觉设计者单独创作，其中触觉设计者可以识别“关键时刻”并且手动对准这些并且可以基于它们相对于对应事件应当多长来内插触觉信号。但是，对于大量的触觉信号，让触觉设计者产生所需那么多的触觉信号–每个倍数一个–是乏味或不切实际的。

图5示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。流程开始并进行到510。在510，确定期望的回放速率。这可以通过指示对其期望伴随触觉信号的输入(诸如像视频或音频的媒体元素，或传感器输入)的回放速率的加速或减慢的设置来确定。在520，输入数据可以基于期望的回放速率被重新采样。适当的采样技术包括丢弃帧、插入帧、利用插值插入帧，插值诸如是线性、多项式、样条、高斯、最近邻居，或其它重新采样技术。所选的重新采样技术可以基于输入数据的类型或源。例如，利用一种技术重新采样音频可以被使用，并且利用另一种技术重新采样视频可以被使用。

在530，重新采样的输入数据被转换成触觉信号。转换工具可以将输入信号提供到触觉信号转换。因为输入信号被重新采样，所以所产生的触觉信号将处于期望的回放速率。在540，可以接收播放触觉信号的指令。在550，至少触觉信号的一部分可以被发送到触觉输出设备，诸如上面结合图1所描述的触觉输出设备之一。然后，流程结束。

重新采样输入信号可以附加地或者代替通常用来生成触觉信号的另一重新采样操作进行。例如，在正常的回放情况下，传感器的数据可以在1kHz被捕获，然后上采样到8kHz并被利用触觉转换器转换为触觉轨道。在2倍回放的情况下，传感器数据可以被再次上采样(或代替地)至16kHz并利用相同的触觉转换器被转换，以产生2倍的触觉信号。同样，对于4倍回放，传感器数据可以被上采样到32kHz并被转换为触觉信号，以产生4倍的触觉信号。对于0.5倍回放，传感器数据可以被上采样至4kHz并被转换。类似地，如果传感器数据被下采样至200Hz以生成正常触觉信号，则它可以被下采样至低于400Hz，以生成2倍触觉信号或进一步下采样至100Hz，以生成0.5倍触觉信号。

图6示出了根据一种实施例、通过重新采样输入信号对触觉信号进行静态调节的系统。输入信号源610可以向输入信号重新采样器615提供一个或多个输入信号。如上所述，每个输入信号可以来自任何输入源，包括音频、视频、一个或多个传感器或者它们的任意组合。输入信号重新采样器615可以重新采样一个或多个输入信号，以便使它们更慢(即，通过拉长它们而更长)或更快(即，通过压缩它们而更短)。给定输入信号的初始采样率和对应的转换算法需求(即，不同类型的输入信号可以具有用于不同需求的不同转换算法)，这一个或多个输入信号可以各自在不同的速率被重新采样。重新采样的一个或多个输入信号可以被提供给触觉信号转换器620，触觉信号转换器620将取得一个或多个重新采样的信号并将其转换成一个触觉信号630。

图7示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。触觉信号已经基于一个或多个输入信号被创作或提供。流程开始并前进到710。在710，确定期望的回放速率。这可以通过指示对应于触觉信号的、触觉信号被设计为伴随的媒体元素的回放速率的加速或放慢的设置来确定。在720，触觉信号可以被重新采样，以拉伸或收缩触觉信号的回放时间。例如，为了收缩触觉信号，样本可被丢弃、求平均(即，被多个样本的平均值替换)，或者由通过组合它们的值的另一个值或特征来表示。为了拉伸触觉信号，附加的样本可以被添加。样本可以利用上面讨论的技术来添加，包括插入零值样本、利用插值插入样本，诸如线性、多项式、样条、高斯、最近邻居等等。在一些实施例中，触觉信号的回放速率可以代替地被更改。例如，具有8kHz回放速率的触觉信号可以代替地在10kHz被播放，有效地收缩信号达25％。或者，例如，具有8kHz回放速率的触觉信号可以代替地在4kHz被播放，有效地拉伸信号达200％。

在一些实施例中，音频处理工具可以用于重新采样。触觉信号可以被视为音频轨道并利用在音频处理工具箱中实现的拉伸/收缩过滤器来处理。在730，可以接收播放重新采样的触觉信号的指令。在740，至少重新采样的触觉信号的一部分可以被发送到触觉输出设备，诸如上面结合图1所描述的触觉输出设备之一。触觉信号可以以原始采样率被播放，因为该信号本身已被更改。然后流程结束。

图8示出了根据一种实施例、通过重新采样触觉信号对触觉信号进行静态调节的系统。输入信号源810可以向触觉信号发生器或转换器820提供一个或多个输入信号。触觉信号发生器或转换器820可以利用触觉创作工具(未绘出)或触觉转换器从这一个或多个输入信号创建触觉信号。触觉设计者可以基于这一个或多个输入信号使用触觉创作工具来创建触觉信号。触觉转换器可以将一个或多个输入信号转换为单个或组合的触觉信号。结果产生的触觉信号可被提供给触觉信号重新采样器825。触觉信号重新采样器可以重新采样信号，以基于期望的回放速率输入或设置提供拉伸或收缩的触觉信号。为了收缩触觉信号，触觉重新采样器825可以丢弃样本、求它们的平均值(即，用多个样本的平均替换两个或更多个)，或者通过组合它们的值的另一个值或特征表示样本值。为了拉伸触觉信号，触觉重新采样器825可以利用诸如插入零值样本，利用线性插值确定的值插入样本，利用最近邻值确定的值插入样本，或者利用从其它重新采样技术得出的值插入帧的技术添加样本。重新采样的触觉信号可被提供给触觉输出设备830，其可以对应于图1的触觉输出设备26。

拉伸或收缩触觉信号，诸如由图7的流程或图8的系统所提供的，可能会在触觉轨道中造成假象，因为新创建的触觉信号会产生可能感觉到稍有不同步的触觉效果。例如，在滑雪视频剪辑中，滑雪板着陆可以伴随覆盖正常回放的视频的2帧的触觉效果。为了将回放延伸8倍的慢动作回放，相同的效果会被拉长到视频的16帧。但是，慢动作播放可以显示着陆仅持续新视频信号的4帧，这使得触感效果对于剩余的12帧造成干扰、不相干并感觉到不同步。图9的流程可以提供针对这个问题的解决方案。

图9示出了根据本发明实施例的静态触觉回放调节模块的功能的流程图。触觉信号已经基于一个或多个输入信号被创作或提供。流程开始并前进到910。在910，确定期望的回放速率。这可以通过指示对应于触觉信号的、触觉信号被设计为伴随的媒体元素的回放速率的加速或放慢的设置来确定。在920，输入的数据可以基于期望的回放速率被重新采样。适当的重新采样技术在以上进行了讨论并且可以包括丢弃帧、插入帧、利用插值插入帧，插值诸如线性、多项式、样条、高斯、最近邻居等等，或其它的重新采样技术。所选择的重新采样技术可以基于输入数据的类型或源而不同。例如，利用一种技术重新采样音频可以被使用并且利用另一种技术重新采样视频可以被使用。

例如，视频回放可以以不同的方式放慢。给定30fps的“正常”回放速度，视频通常显示33.333ms。以120fps捕获并以30fps回放的视频将被感知为4倍慢动作视频。通过丢弃每隔一帧，从而120fps中仅60fps可用，120fps的视频可以被感知为2倍慢动作，但是仍然显示每帧33.333ms。通过显示每一帧超过33.333ms长，以30fps捕获的视频可以提供慢动作效果。例如，如果每一帧代替地被显示100ms(10fps)，则视频将看起来比正常速度慢3倍。通过在每一帧之间插入另一帧并且利用相邻帧的值内插所插入的帧的值，以30fps捕获的视频可以提供2倍慢动作。

在930，一个或多个“关键输入事件”在一个或多个输入源信号中被识别。当识别出“关键输入事件”时，事件的定时和持续时间被估计。如上所述，“关键输入事件”是具有一个或多个指定特性(例如，频率、振幅、包络等等)的输入数据的一部分。例如，可以发现关键输入事件，其中一个或多个指定的特性满足可以与将触发触觉输出的事件关联的某个阈值或模式。这个想法是因为事件大部分时间是瞬时的，因而，例如，在视频源中放慢该事件并不一定放慢触觉相同的量。瞬时事件将被强调为在放慢的剪辑中更谨慎。例如，在正常回放中，猛击(punch)会对视频的单个帧发生。在8倍慢动作，相同的猛击在慢动作回放中仍然对视频的单个帧而不是8帧发生。但是，对于滑雪板，一些事件可能在慢动作中仍然跨越多个帧，但不会跨越两倍数量的帧。例如，爆炸在视频的正常回放中可以跨越2帧，在视频的慢动作回放中可以跨越8帧(但不是16帧)。

任何可用的有效数据都可被用来尝试和定位关键输入事件的确切时刻及其持续时间。例如，滑雪板例子也可以具有作为可用有效数据的输入感官数据，包括陀螺仪和加速计馈送。这些馈送可被用来找出比可以由视频馈送所提供的更具体的关键事件定时。

有效数据信号是描述利用小于要显示的帧之间的原始时间间隙的采样时间间隙捕获的媒体内容(音频、视频或传感器)的任何数据。例如，在以120fps捕获的4倍慢动作视频中，所有可用的帧都可以由通过以30fps回放所捕获的帧而被使用。每帧的开始之间的时间间隙是8.333ms，如所捕获的。对于有效的数据信号，它也应当具有120Hz或更高的采样率。否则，会引入错误。例如，如果采样率只有20Hz，则样本之间存在50ms。使关键时刻基于这个数据偏离会将视频的关键时刻偏移多达6帧，这将导致差的触觉效果，如下面更详细解释的。在以120fps捕获的2倍慢动作视频中，每隔一帧可以被丢弃，从而导致60fps和所显示的帧之间16.667ms的时间间隙，如最初显示的那样。在这里，有效数据信号可以以60Hz或更高被采样。定位事件定时和持续时间可以通过用于视觉信息数据的计算机视觉技术(例如，块和边缘分析)或者用于其它数据类型的任何其它适当的音频或信号处理方法(例如，频率分析、包络分析、声学事件检测等等)来进行。

在940，一个或多个“关键触觉事件”可以在触觉信号中被识别，其中触觉信号对应于从原始的一个或多个输入信号创建的触觉信号。如上所述，“关键触觉事件”是具有一个或多个指定特性(例如，频率、振幅、包络等等)的触觉数据的一部分。在950，每个关键触觉事件可以在触觉流中被移位，以对应于重新采样的输入数据的关键输入事件，来创建新的移位触觉信号。在将关键触觉事件移位到关键输入事件时，关键触觉事件(以及关联的触觉输出信号)的对准可以比简单地重新采样触觉信号更准确地实现。但是，移位现有的触觉信号，而不是从重新采样的输入数据创建新的触觉信号，可以被更高效地实现。关键输入事件与关键触觉事件的对准可以根据先前描述的标准进行，即，当关键触觉事件的位置：或者(a)与关键输入事件的位置完全相同；或者(b)基本上与关键输入事件的位置完全相同时，关键触觉事件的位置与关键输入事件的位置对准，其中由输出设备基于关键输入效果输出的效果与由触觉输出设备基于关键触觉效果输出的触觉效果都几乎同时发生或被体验。

在960，在关键触觉事件的触觉信号可以可选地被拉伸或收缩，以便与关键输入事件的帧数或持续时间一致。例如，重新采样信号的关键输入事件可以持续30帧。关键触觉事件可以持续10帧。对应于关键触觉事件的触觉信号可以被拉伸，以便与在30帧的输入事件一致或者与在20帧的输入事件(或者一些其它数量的帧)部分地一致。例如，如果关键输入事件是爆炸，则初始爆炸可以持续15帧，对应的关键触觉事件持续20帧。如果期望的回放速率是将回放放慢到0.5倍速度，则输入信号可通过重新采样被拉伸到30帧。但是，重新采样的输入数据可以指示关键输入事件实际在新重新采样的数据的相对帧2开始发生。对应于该关键触觉事件的触觉信号可以被移位到关键输入事件，以便在帧2开始并延伸20帧。接下来，触觉关键事件信号可被拉伸另外9帧，以匹配关键输入事件的持续时间。

在970，可以接收播放移位的触觉信号的指令。在980，移位的触觉信号的至少一部分可以被发送到触觉输出设备，诸如上面结合图1所述的触觉输出设备之一。然后流程结束。

如以上所讨论的，视频回放可以以不同方式放慢。例如，以120fps捕获的视频可以以30fps被回放，以便被感知为4倍慢动作视频。在这种情况下，如以上所讨论的，处于120Hz或以上的任何有效数据信号都可被用来定位关键输入事件。

在30fps捕获的视频可以通过显示每一帧比33.333ms更长时间来提供慢动作效果，例如，100ms(10fps)用于3倍慢动作。在这种情况下，如以上所讨论的，在30Hz或以上的有效数据信号可以被使用。虽然在正常回放中触觉效果可以跨越3帧，但是，通过找出最靠近局部化时间的中心帧，图9的流程中所描述的技术可被用来将触觉效果局部化到中心帧。而且，触觉效果可被拉伸或收缩，以便对整个帧播放，即使事件可以利用在120Hz捕获的有效数据信号进行局部化，使得事件实际上可以在短于100ms的时间发生。换句话说，触觉效果可以被调节，以便与视频帧，而不是绝对定时，对齐。从而，视频回放可以被调节为2倍，或66.667ms并且触觉信号将仍然与帧对齐，无论是开始时刻还是持续时间。作为例子，帧序列通常被显示为1、2、3。对应的触觉信号可以被输出为x、x、x(其中“x”是触觉效果)，持续100ms。如果显示每一帧更长，在3倍，则帧将被显示为1、1、1，2、2、2、3、3、3。如果触觉信号被拉伸以进行补偿，则触觉信号将被输出为x、x、x、x、x、x、x、x、x，持续300ms。关键时刻分析可以确定关键时刻最靠近帧2发生。在前三帧和最后三帧中回放触觉效果将超出典型的感知整合窗口阈值并且因此用户将注意到结果产生的触觉效果不与视频对齐。利用图9的流程，触觉信号可以与帧2关联，使得触觉信号输出如下：o、o、o、x、x、x、o、o、o。

在30fps捕获的视频可以通过在每一帧之间插入另一个帧并且利用相邻帧的值来内插所插入的帧的值提供2倍慢动作。在这种情况下，有效采样率被内插成60fps。从而，有效数据信号应当以60Hz或以上被采样，以局部化关键输入事件。

为了继续上述滑雪板例子，图9的流程可以识别重新采样的输入信号的关键输入事件，从而产生对应于滑雪板着陆并占用4帧的所识别出的关键输入事件。触觉信号可以为关键触觉事件而被分析并且对齐到关键输入事件。然后，2帧触觉信号可以被拉伸成4帧，以便与关键输入事件一致。

在另一个例子中，拳击比赛可以利用触觉反馈增强。当重放击倒猛击时，如果不拉伸触觉效果，则触觉效果可能会消失，因为可能没有任何方式来拉伸触觉信息。在另一配置中，该系统可以简单地将触觉信号放慢与对应的视频信号相同的量并且结果产生的触觉效果可能不正确地与视频信号对齐，从而破坏触觉效果。这在正常回放速度中可能不是问题，因为效果也会迅速覆盖实际猛击前后的帧，但不是以可与猛击着陆辨别的方式。在另一配置中，在慢回放速度，触觉信号可以基于在重新采样的信号中发现的关键输入事件和触觉信号中的关键触觉事件而移位。触觉信号可以进一步被拉伸以与关键输入事件持续时间一致。

图10示出了根据一种实施例、通过分析关键事件对触觉信号进行静态调节的系统。输入信号源1010可以向触觉信号发生器1020提供一个或多个输入信号。输入信号源1010还可以向触觉信号发生器1020提供一个或多个输入信号。如上所述，每个输入信号可以来自任何输入源，包括音频、视频、一个或多个传感器或者它们的任意组合。输入信号重新采样器1020可以重新采样一个或多个输入信号，以便使它们更慢(即，通过拉长它们而更长)或更快(即，通过压缩它们而更短)。重新采样的一个或多个输入信号可以提供给关键输入事件分析器1040，关键输入事件分析器1040可以取得一个或多个重新采样的信号并识别输入数据中的关键事件。来自触觉信号发生器1020的触觉信号可被提供给关键触觉事件分析器1050并且识别触觉信号中的关键事件。触觉信号移位器1060可以移位触觉信号，以便与关键输入事件对齐，并提供经修改的触觉信号。经修改的触觉信号可以可选地由触觉拉伸或收缩调节器1070在触觉信号中的一个或多个关键触觉事件外被拉伸或收缩。触觉拉伸或收缩调节器1070可以向触觉输出设备1080提供进一步修改的触觉信号。在没有触觉拉伸或收缩调节器1070的实施例中，来自触觉信号移位器1060的经修改的触觉信号可被直接提供给触觉输出设备1080。触觉输出设备1080可以播放触觉信号的至少一部分并提供触觉效果。

在动态触觉回放调节系统中，触觉信号可以连同媒体元素一起被播放。媒体元素可以是可具有对应触觉效果的任何类型的视频、动画、视觉警报、音频、听觉警报或游戏效果。媒体元素的一个例子可以是短视频动画，诸如聊天会话中的贴纸(sticker)动画可以连同对应的触觉信号一起播放，当其在触觉输出设备上呈现或播放时，提供触觉效果。依赖于动画在其上播放的设备，触觉信息可以以与动画不同的回放速率播放。例如，动画可以在具有快速处理器或者很少后台进程运行的设备上快速播放，或者动画可以在具有慢速处理器或者许多后台进程运行的设备上更慢地播放。而且，依赖于媒体元素，诸如动画，动画可以具有其中多个元素在运动的部分，从而使动画更慢地播放，因为回放系统应付处理动画的所有元素。动画的回放中的任何变化都会引起对应的触觉信号的回放变得不与媒体元素同步。不仅触觉效果将不具有增强动画的预期效果，而且将有可能减损动画的有效性。

在一些实施例中，触觉信号的回放速度可以基于参数，诸如与传感器关联的参数，被动态调节。例如，指定手指在触摸屏上的移动速率的参数可以对应于基于纹理的触觉效果，其基于运动的速率而变。另一个参数可以是对应于设备的地面速度的传感器的输出。

图11示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。流程开始并前进到1110。在1110，以对应于多个回放速率当中每一个的比特率生成触觉信号。每个生成的触觉信号可以单独创作或者得自来自一个或多个输入信号的数据的转换处理。回放速率可以基于每个触觉信号的比特率而变。例如，具有200bps比特率的触觉信号可以表示正常回放速度。具有300bps比特率的触觉信号可以表示是正常回放速度的速度的1.5倍的快速回放速度。这是因为触觉信号中相同的数据量可以以每秒更快的速率被播放，从而导致更快的回放。类似地，具有100bps比特率的触觉信号可以表示是正常回放速度的速度的0.5倍的慢回放速度。每个单个的触觉信号都可以进一步被调节，以便除比特率之外还调节触觉信号的值。在1120，每个触觉信号可以被组合到单个文件或容器中。这些可以被多路复用、交织或一个接一个列出，具有描述每个触觉信号在文件中什么地方开始和/或结束的指针或头部。

在1130，播放触觉信号的指令可以被接收并且触觉信号的回放被启动。在1140，可以确定期望的回放速率。期望的回放速率可以基于对应媒体元素的一个或多个回放速率、播放媒体元素和触觉信号的设备的已知能力、或者计算出的媒体元素和触觉信号的实际回放之间的不足来确定。例如，计算出的不足可以指出媒体元素比触觉元素播放得更快。在回放速率基于参数的实施例中，期望的回放速率可以基于该参数来确定，参数例如是手指在触摸屏上的运动速率或者设备的地面速度。在1150，触觉信号可以从可用触觉信号的文件或容器中选择，其中所选的信号对应于期望的回放速率。在1160，所选触觉信号的至少一部分可以被发送到触觉输出设备。在1170，如果剩余更多的触觉信号要播放，则流程可以继续返回到1140，以确定期望的回放速率是否应当再次被调节。在1170，如果没有剩余更多的触觉信号要播放，则流程可以结束。

图12示出了根据一种实施例、通过选择触觉信号对触觉信号进行动态调节的系统。一个或多个输入信号源1210可以被提供给触觉信号发生器1220，以产生多个触觉信号，每个触觉信号处于不同的比特率，以表示触觉信号的不同回放速度。触觉信号1 1230可以处于第一比特率；触觉信号2 1231可以处于另一比特率；触觉信号31232可以处于另一比特率；触觉信号N 1235可以处于另一比特率，等等。所有的触觉信号都可以被包含在文件或容器1240中。容器1240可被提供给触觉回放信号选择器1250，触觉回放信号选择器1250可以动态地选择触觉信号播放，具有伴随的媒体元素(未示出)，或者响应于参数并向触觉输出设备1260提供所选的触觉信号。

图13示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。触觉信号已经从与输入源相关的输入数据创建。流程开始并前进到1310。在1310，触觉信号可以被接收，以便在触觉输出设备上播放。在1320，切割点可以被选择，用于将触觉信号切割成子触觉信号。如上所述，子触觉信号是包括指示该子触觉信号在触觉信号中的位置的索引的触觉信号的一部分。子触觉信号切割点可以在触觉信号中触觉沉默(零值)点或几乎沉默点的地方被发现。子触觉信号的数目可以是可配置的并且可以匹配媒体元素的帧数。子触觉信号切割点也可以对应于对应媒体元素的帧的开始。在1330，触觉信号可以在切割点被分割成子触觉信号并且索引可以被指定给每个子触觉信号。在一些实施例中，子触觉信号可以在回放被启动之前创建，例如，在触觉信号创建之后但是在请求触觉信号的回放之前。在一些实施例中，子触觉信号可以在回放已经被启动之后创建。在1340，在一些实施例中，子触觉信号优先级值还可以可选地被指定给每个子触觉信号。例如，包含比相邻子触觉信号更少触觉信息或更低触觉值的子触觉信号可以被指定更低的优先级。

在1350，子触觉信号可以被选择为基于子触觉信号索引以及，如果适用的话，优先级索引进行播放。例如，媒体元素可以参考子触觉信号索引并且，当在媒体元素的回放中遇到每个索引时，子触觉信号被选择。在1360，选定的子触觉信号可以被发送到触觉输出设备。如果触觉输出设备已经在播放子触觉信号，则在一些实施例中，子触觉信号的回放可以被打断，以播放新子触觉信号，而在其它实施例中，这两个子触觉信号的回放可以对重叠的时段同时发生。在1370，当子触觉信号已经播放完毕时，没有其它子触觉信号将播放，直到选择另一子触觉信号。在1380，如果有附加子触觉信号要播放，则流程将继续至1350，以选择另一子触觉信号，并且如果没有其它子触觉信号要播放，则流程将结束。利用图13的流程，触觉信号的回放可以根据媒体元素的播放速度或输入参数来调节。回放可以动态地调节，使得如果媒体元素回放放慢(可能是由于回放设备上后台活动性的增加或者是由于媒体元素中的复杂性)或者参数指定更慢的回放，则对应的触觉回放也可以通过延迟下一个子触觉信号的回放来放慢。另外，例如，如果对应媒体元素的回放比触觉信号将播放得更快，或者如果参数指定触觉信号比正常回放速度的更快回放，低优先级的子触觉信号可以被跳过。

图14示出了根据一种实施例、通过选择子触觉信号对触觉信号进行动态调节的系统。触觉信号源1410可以向触觉信号分析器1420提供触觉信号，用于选择触觉信号的切割点。触觉信号分离器1430可以使用切割点将触觉信号切割成子触觉信号1 1440、子触觉信号2 1441、子触觉信号3 1442，依此类推到子触觉信号N1445。子触觉信号可被组织成触觉信号。触觉信号可作为子触觉信号流被发送到子触觉信号回放选择器1250，子触觉信号回放选择器1250将基于子触觉信号的索引选择子触觉信号来播放。用于子触觉信号的可选优先级值也可以在选择子触觉信号时被子触觉信号回放选择器1250用作评估的附加标准。所选的子触觉信号可以被发送到触觉输出设备1260供回放，从而产生触觉效果。

图15示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。触觉信号已经从与输入源相关的输入数据创建。流程开始并前进到1510。触觉信号可以被接收。在1520，触觉信号可以被划分为触觉块。如上所述，触觉块是触觉信号的一部分。触觉信号的划分可以或者在触觉信号的回放被启动之前或者在触觉信号的回放被启动之后执行。触觉信号到触觉块的划分可以均匀地或以变化的方式进行，使得触觉块可以各自具有相同的长度或不同的长度。在一些实施例中，触觉块长度可以基于触觉信号的总长度来确定。例如，信号可以被分割成8000块，使得每个触觉块表示触觉信号的长度除以8000的时间。在一些实施例中，触觉块可以为设定量的触觉信号数据创建。例如，触觉块可以为每50ms的触觉信号创建。然后，用于触觉信号的触觉块总数将是按秒为单位的触觉信号的长度乘以20的时间。

在1530，第一触觉块可以被发送到触觉输出设备。在1540，如果没有附加触觉块要播放，则流程将结束。如果有附加的触觉块要播放，则在1550，如果下一触觉块的回放应当被延迟，则在1560等待时间将发生。在等待时段之后，在1570，下一个连续的触觉块可以被发送到触觉输出设备。如果从1550没有等待时段，则下一个连续的触觉块可以立即在1570被发送到触觉输出设备。然后，流程将继续返回到1540，以确定是否有附加的块要播放。在1560的等待时段可以基于对应于触觉信号的媒体元素的回放速度或基于输入参数来计算。从而，在1560的等待时段可以或者由客户端提供或者基于媒体元素和触觉信号的回放速率计算。回放可以被动态调节，使得，如果媒体元素回放放慢(可能是由于回放设备上增加的后台活动性或者由于媒体元素的复杂性)或者参数指定更慢的回放，则对应的触觉回放也可以通过延迟下一个触觉块的回放来放慢。

图16示出了根据一种实施例、通过播放触觉块对触觉信号进行动态调节的系统。触觉信号源1610可以向触觉信号分离器1620提供触觉信号，用于将触觉信号分离成触觉块1 1630、触觉块2 1631、触觉块3 1632等等，一直到触觉块N 1635。如上所述，触觉块可以根据多种不同的方案进行分割。触觉块可以作为触觉信号被发送到触觉回放/等待逻辑1650。触觉回放/等待逻辑1650将按顺序播放触觉块，但可以在每个块的回放之间等待，以放慢触觉信号的总体回放。触觉回放/等待逻辑1650可以向触觉输出设备1660发送触觉块，以播放它们来产生触觉效果。

图17示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。触觉信号已经从与输入源相关的输入数据创建。流程开始并前进到1710。在1710，触觉信号可以被接收。在1720，可以接收播放触觉信号的范围的请求。例如，请求可以包含要播放的触觉信号的部分的起始时间和持续时间或者起始时间和结束时间。可以从例如播放媒体元素并从对应于该媒体元素的触觉信号请求触觉信号范围的回放设备接收该请求，其中触觉信号范围对应于在回放设备上回放的媒体元素的范围。或者，可以例如基于输入参数，诸如手指运动参数或地面速度参数，接收该请求。在1730，触觉信号的一部分可以被发送到触觉输出设备，其中该部分对应于触觉信号的被请求的范围。在一些实施例中，对应于被请求的范围的触觉信号的子集可被发送到回放设备，回放设备又可以在触觉输出设备上播放该范围。触觉信号的范围将从开始位置到结束位置(或者对于指定的持续时间)连续播放。在1740，如果文件中有附加的触觉要播放，则另一个请求可以在1720被接收，以播放触觉信号的范围。在1740，如果没有附加的触觉可用于在触觉信号中播放，则流程可以结束。

图18示出了根据一种实施例、通过播放触觉信号的范围对触觉信号进行动态调节的系统。触觉信号源1810可以向触觉范围提取器1820提供触觉信号，用于提取触觉信号的指定范围作为提取的触觉信号。提取出的触觉信号可被提供给触觉回放逻辑1830，触觉回放逻辑1830又可以将其提供给触觉输出设备1840，以产生触觉效果。在一些实施例中，元素1820和1830可以是相同的元素。

图19示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。触觉信号已经从与输入源相关的输入数据创建。流程开始并前进到1910。在1910，触觉信号可以被接收。在1920，可以接收调节触觉信号的回放速率的请求。在1930，可以计算要添加或去除的样本的数量，以实现期望的回放速率调节。在一种实施例中，样本的数量可以基于当前的触觉信号位置或时间戳以及对应的媒体元素的位置或时间戳。例如，媒体元素可以在位置300，并且触觉信号可以在位置330。因此，可以确定30个样本需要从触觉信号中去除，使其与媒体元素近似对齐。

在其中触觉回放调节基于参数，诸如手指运动参数，的一些实施例中，样本的数量可以基于该参数。例如，如果触觉回放速度为500Hz，则通过基于参数分别计算要去除或添加的触觉样本的数量，该参数可以提供可引起触觉信号的回放速度的增加或减小的瞬时值。

在一些实施例中，被记忆的重新采样器可以保存重新采样率，以便对触觉信号的将来部分使用。例如，可以确定每十个样本中大约有一个样本需要从触觉信号中被去除，因为它比媒体元素回放更快地播放。从上面的例子，触觉信号回放位置330可以被看作是从媒体元素回放位置300偏离10％((330-300)/300＝10％偏离)。

在1940，通过经由添加或去除样本来重新采样触觉信号的部分，触觉信号的至少一部分可以被转换成经调节的触觉信号。继续该例，触觉信号的一部分可以被调节，以便从触觉信号中去除30个样本。在1950，经调节的触觉信号可以被发送到触觉输出设备，以提供触觉效果。在同步到媒体元素的实施例中，结果产生的触觉效果可以比调节前播放的更紧密地与媒体元素对齐。

图20示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。图20为图19的流程提供一些具体的实施例。流程开始并前进到2010。触觉信号已经根据图19的1910被接收。在图20的2010，触觉信号和(在适用的实施例中)对应的媒体元素数据可以被解码以便回放并且回放可以开始，回放包括触觉信号和在一些实施例中媒体元素的回放。在2020，在回放开始之后的时间，可以计算触觉信号的回放位置与媒体元素的回放位置之间的时间增量。在触觉回放速率基于输入参数的实施例中，可以计算当前回放速率与期望回放速率之间的时间增量。在2030，触觉信号的样本数量可以被计算，以便添加到触觉信号或从中去除，以便使时间增量接近零。例如，如果触觉信号在以8kHz播放，则触觉信号与媒体元素之间0.05秒的时间差会导致400个样本的差异计算(8000乘以0.05)。因此，可以确定400个样本必须添加到触觉信号或从中去除，以便使增量接近零。

在一些实施例中，被记忆的重新采样器可以保存重新采样率，以便对触觉信号的将来部分使用。例如，可以确定，对于触觉块，一次大约200个样本需要被插入。下一个触觉块可以被自动重新采样，以添加200个样本，而无需最初的附加计算。在重新采样之后，流程可以返回到2020，以分析作为适用的触觉信号的重新采样的触觉信号，来确定时间增量是否仍然存在。流程可以从那里继续并且新计算的重新采样值可被用来通过调节该值来更新先前记忆的重新采样器。例如，如果200个样本被插入触觉块，则该块被关于时间增量重新分析，并确定13个样本需要被去除，然后，对于下一个处理块，记忆的值可被更新为200-13＝187。

在2040，触觉信号的至少一部分可以被分析，以找到样本低于给定阈值的窗口。这些窗口可以表示有很少或几乎没有触觉信号活动性的触觉信号的区域或周期。这种窗口可以被认为是触觉信号中低熵的时段。例如，包含从0到255的样本值的触觉信号可具有其中每个信号值处于或接近0的周期。例如，有可能在给定的触觉信号中仅仅信号的相对小百分比包含高于阈值的触觉信息。阈值的值可以被选择，使得具有处于阈值的值的触觉信号是典型人类无法感知或几乎无法感知的。阈值有助于识别触觉信号中可以被去除，而不会不利地影响触觉信号中具有高于阈值的触觉值的部分的低熵的窗口。在2050，样本可以在识别出的区域被插入触觉样本或从中去除。为了去除样本以缩短触觉信号，可以去除降至低于阈值的样本。在一些实施例中，长度限制可以指定仅样本的某个数量或百分比可以从一个这样的触觉低熵窗口被去除。长度限制可以帮助保存触觉信号的感觉(并且在触觉信号由触觉设计者产生的情况下，保存设计者的意图)，并有助于防止发生完全不同的触觉输出。例如，可以指定一次不超过窗口样本的三分之一被去除，以有助于保存在高于阈值发生的触觉信号活动性的时间之间存在的某种空间信息。为了添加样本以加长触觉信号，零值样本(或接近零值样本)可以被插入在窗口中。在一些实施例中，长度限制可以指定仅某个数量的样本可以从一个这样识别出的区域被添加。例如，可以指定窗口可以生长不超过三分之一。因此，如果窗口包含240个样本，则不超过80个样本可以插入在该窗口中。

在2060，经修改的触觉信号可以被发送到触觉输出设备。在2070，如果还剩下样本要进一步调节触觉信号，则在2080，被调节的样本的数量可以被提供并且流程可以继续返回到2030，以计算要添加到触觉信号或从中去除的样本的数量，以便使时间增量接近零。例如，在400个要插入的样本中，如果只有240个样本在被分析的触觉信号部分中插入，则剩余数字160或主动调节数字240可以被提供，以更新剩下要调节的样本的数量。如果没有更多的样本要插入或去除，则流程可以继续返回到2010，以解码更多触觉信号数据和对应的媒体元素数据，以供回放。流程可以前进到2020等并根据需要进一步调节回放，直到没有剩下更多触觉信号要在2010处理。

图21示出了根据本发明实施例的动态触觉回放调节模块的功能的流程图。图20仅对于在某些情况下插入样本的情况为图19的流程提供一些具体的实施例。流程开始并前进到2110。触觉信号已经根据图19的1910被接收。在图21的2110，触觉信号数据和(在适用的实施例中)对应的媒体元素数据可以被解码以便回放并且回放可以开始，回放包括触觉信号以及，在一些实施例中，媒体元素的回放。在2120，在回放开始之后的时间，可以计算触觉信号的回放位置与媒体元素的回放位置之间的时间增量。在其中触觉回放速率基于输入参数的实施例中，可以计算当前回放速率与期望回放速率之间的时间增量。在2130，可以计算要添加到触觉信号或从中去除的触觉信号的样本的数量，以便使时间增量更接近零。如果情况是去除样本，则流程可以继续到图20的2040。如果情况是添加样本，则流程可以继续到图21的2140。例如，如果触觉信号在以8kHz播放，则触觉信号与媒体元素之间0.05秒的时间差(显示触觉信号在媒体元素的回放之后)会导致400个样本的差异计算(8000乘以0.05)。因此，可以确定400个样本必须添加到触觉信号，以便使增量更接近零。

在一些实施例中，被记忆的重新采样器可以保存重新采样率，以便对触觉信号的将来部分使用。例如，可以确定，对于触觉块，一次大约200个样本需要被插入。下一个触觉块可以被自动重新采样，以添加200个样本，而无需最初的附加计算。在重新采样之后，流程可以返回到2120，以分析作为适用的触觉信号的重新采样的触觉信号，来确定时间增量是否仍然存在。流程可以从那里继续并且新计算的重新采样值可被用来通过调节该值来更新先前记忆的重新采样器。例如，如果200个样本被插入触觉块，则该块被关于时间增量重新分析，并确定15个样本需要被添加，于是，对于下一个处理块，记忆的值可被更新为200+15＝215。

在2140，触觉信号的解码部分可以对要添加样本的区域进行分析。要添加的样本可以在触觉信号的部分中随机或均匀地分布。例如，如果触觉信号部分是2000个样本并且调节是400个样本，则在每5个样本之后可以添加1个样本，以使更改后的触觉信号中样本的总数是2400个样本。在2150，可以计算每个样本的值。不同的方法可以被用来计算每个样本的值。例如，如果样本要插在原始样本20和21之间，则插入的样本的值可以从样本20拷贝、从样本21拷贝，或者可以是两者的平均。在一些实施例中，其它相邻的样本可以被分析，以计算用于新样本的值。例如，样本19和22也可以被分析，以确定哪个值要被放到新样本中。换句话说，插值可被用来确定要插入到新样本中的值。在2160，新样本可在识别出的区域被插入触觉信号。

在2170，经修改的触觉信号可以被发送到触觉输出设备，用于回放。在2180，如果还剩下样本要进一步调节触觉信号，则在2190，经调节的样本的数量可以被提供并且流程可以继续返回到2130，以计算要添加到触觉信号的样本的数量，以便使时间增量更接近零。例如，在400个要插入的样本中，如果只有240个样本在被分析的触觉信号部分中插入，则剩余数字160或主动调节数字240可以被提供，以更新剩下要调节的样本的数量。如果没有更多的样本要插入，则流程可以继续返回到2110，以解码更多触觉信号数据和对应的媒体元素数据，供回放。流程可以前进到2120并根据需要进一步调节回放，直到没有剩下更多触觉信号要在2110处理。

图22示出了根据一种实施例通过将样本插入触觉信号或者从中去除样本对触觉信号进行动态调节的系统。触觉信号源2210可以向触觉样本计算器2220提供触觉信号，用于计算要添加到触觉信号的至少一部分或从中去除的样本的数量。样本的数量可以被提供给触觉信号重新采样器2230，触觉信号重新采样器2230可以利用前面讨论的方法之一，诸如插入或去除样本，重新采样触觉信号(或至少其一部分)。而且，如果是插入，则插入零值样本(或低值样本)或插入分布式样本并基于其周围一个或多个样本的值为插入的样本选择适当的值。重新采样的触觉信号可以被发送到触觉输出设备2240，以用于提供触觉效果。

因此，根据一种实施例，可以提供调节触觉数据，诸如触觉信号，的回放以对应于期望回放速率的触觉回放调节系统。因此，触觉回放调节系统可以适应其中触觉数据的经调节的回放会有益的场景，诸如：触觉数据的回放与某种其它类型的数据(诸如音频数据、视频数据或加速度数据)的回放的同步，其中其它数据可以根据不同的回放速率输出；或者触觉数据在具有不同硬件规范并且因此具有不同回放能力的不同设备的回放。

本领域技术人员将理解，重新采样可以以任何实用次序利用上述一种或多种技术(结合在一起或串行地)来实现。

贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。例如，“一种实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用贯穿本说明书指联系该实施例描述的特定特征、结构或特性可以被包括在本发明的至少一种实施例中。因此，短语“一种实施例”、“一些实施例”、“某个实施例”，“某些实施例”或其它类似的语言贯穿本说明书不一定都指同一组实施例，并且所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。

本领域普通技术人员将容易理解，如上面所讨论的本发明可以利用不同次序的步骤和/或利用处于与所公开的不同的配置中的元素来实践。因此，虽然本发明已基于这些优选实施例进行了描述，但是对本领域技术人员显而易见的是某些修改、变化和替换构造将是显而易见的，同时仍然保持在本发明的精神和范围之内。因此，为了确定本发明的边界和范围，应当参考所附权利要求。

Claims (29)

1.一种调整触觉效果的回放的方法，所述方法包括：

确定回放速率；

基于所述回放速率生成触觉信号；以及

对触觉输出设备应用该触觉信号，以便以所述回放速率产生触觉效果。

2.如权利要求1所述的方法，

其中确定回放速率包括在生成触觉信号之前确定回放速率。

3.如权利要求1所述的方法，

其中确定回放速率包括在生成触觉信号之后确定回放速率。

4.如权利要求1所述的方法，

其中生成触觉信号包括：

生成多个触觉信号，每个触觉信号具有不同的触觉回放速率，包括基于所述回放速率的触觉信号。

5.如权利要求1所述的方法，

其中生成触觉信号包括：

基于回放速率重新采样输入数据；以及

从重新采样的输入数据生成触觉信号。

6.如权利要求1所述的方法，

其中生成触觉信号包括：

将原始触觉信号重新采样为所述触觉信号。

7.如权利要求1所述的方法，

其中生成触觉信号包括：

基于回放速率重新采样输入数据；

识别重新采样的输入数据中的关键输入事件；

识别原始触觉信号中的关键触觉事件；以及

将关键触觉事件与关键输入事件对齐，以创建所述触觉信号。

8.如权利要求7所述的方法，

其中识别关键输入事件还包括识别关键输入事件的长度，并且生成触觉信号还包括：

基于关键输入事件的长度重新采样关键触觉事件。

9.如权利要求1所述的方法，

其中生成触觉信号包括：

生成包括基于所述回放速率的触觉信号的多个触觉信号，每个触觉信号具有对应于不同回放速率的不同触觉比特率；以及

将所述多个触觉信号组合到容器中。

10.如权利要求1所述的方法，

其中生成触觉信号包括：

选择切割点；

将触觉信号在切割点分割成子触觉信号；以及

给子触觉信号加索引，其中触觉信号的至少一部分对应于该触觉信号的子触觉信号。

11.如权利要求1所述的方法，

其中生成触觉信号包括将触觉信号分割成触觉块；以及

其中应用触觉信号包括将触觉块发送到触觉输出设备，等待一等待时段，并且将另一连续的触觉块发送到触觉输出设备。

12.如权利要求1所述的方法，

其中触觉信号包括触觉信号的提取部分，其中提取是基于触觉信号的范围选择。

13.如权利要求1所述的方法，

其中生成触觉信号包括：

计算要添加到触觉信号或者从触觉信号去除的样本的数量；

重新采样触觉信号，以便将样本添加到触觉信号或者从触觉信号去除，以创建经调节的触觉信号；以及

用经调节的触觉信号代替触觉信号。

14.如权利要求13所述的方法，

其中重新采样包括在低熵的时段添加零值样本。

15.如权利要求13所述的方法，

其中重新采样包括在低熵的时段去除低于触觉阈值的样本。

16.如权利要求13所述的方法，

其中重新采样包括：

基于要添加的样本的数量确定触觉信号中要添加样本的位置；以及

基于一个或多个相邻样本的值计算所添加的样本的值。

17.一种用于调节触觉效果的回放的系统，包括：

回放速率确定器，被配置为确定回放速率；

触觉信号发生器，被配置为基于选定的回放速率生成触觉信号；以及

触觉输出设备，被配置为应用所述触觉信号，以便以所述回放速率产生触觉效果。

18.如权利要求17所述的系统，

其中触觉信号发生器还被配置为生成包括基于所述回放速率的触觉信号的多个触觉信号，每个触觉信号具有不同的触觉回放速率。

19.如权利要求17所述的系统，还包括：

重新采样器，被配置为基于回放速率重新采样输入数据；以及

其中触觉信号发生器还被配置为从重新采样的输入数据生成触觉信号。

20.如权利要求17所述的系统，

其中触觉信号发生器被配置为将原始触觉信号重新采样为所述触觉信号。

21.如权利要求17所述的系统，还包括：

重新采样器，被配置为基于回放速率重新采样输入数据；及

关键事件识别器，被配置为：

识别重新采样的输入数据中的关键输入事件，以及

识别原始触觉信号中的关键触觉事件；以及

其中触觉信号发生器被配置为对齐关键触觉事件与关键输入事件，以生成所述触觉信号。

22.如权利要求17所述的系统，

其中触觉信号发生器还被配置为生成包括基于所述回放速率的触觉信号的多个触觉信号，每个触觉信号具有对应于不同回放速率的不同触觉比特率；并且所述系统还包括：

容器，保持所述多个触觉信号。

23.如权利要求17所述的系统，还包括：

子触觉信号发生器，被配置为：

选择切割点；

将触觉信号在切割点分割成子触觉信号；以及

给子触觉信号加索引，其中触觉信号的至少一部分对应于所述触觉信号的子触觉信号。

24.如权利要求17所述的系统，还包括：

子触觉信号块发生器，被配置为将触觉信号分割成触觉块，将触觉块发送到触觉输出设备，等待一等待时段，并且将另一连续的触觉块发送到触觉输出设备。

25.如权利要求17所述的系统，

其中触觉信号包括触觉信号的提取部分，其中提取是基于所述触觉信号的范围选择。

26.如权利要求17所述的系统，还包括：

重新采样器，被配置为：

计算要添加到触觉信号或者从触觉信号去除的样本的数量；

重新采样触觉信号，以便将样本添加到触觉信号或者从触觉信号去除，以创建经调节的触觉信号；以及

用经调节的触觉信号代替所述触觉信号。

27.如权利要求26所述的系统，

其中重新采样包括在低熵的时段添加零值样本或去除低于触觉阈值的样本。

28.如权利要求26所述的系统，

其中重新采样包括：

基于要添加的样本的数量确定触觉信号中要添加样本的位置；以及

基于一个或多个相邻样本的值计算所添加的样本的值。

29.一种调节触觉效果的回放的系统，所述系统包括用于执行如权利要求1-16中任一项所述的方法的各步骤的模块。