CN111142658A - 用于提供可定制的触觉回放的系统和方法 - Google Patents

Abstract

本公开涉及用于提供可定制的触觉回放的系统和方法。本文公开的一个说明性系统包括计算设备，该计算设备包括存储器和与该存储器进行通信的处理器。处理器可以生成可以提供给用户的内容。处理器可以获得指示与内容中的各种内容元素相关联的各种触觉轨迹的数据。处理器可以确定对与各种内容元素的特定内容元素相关联的各种触觉轨迹中的触觉轨迹的选择。处理器可以确定触觉轨迹的特性，并且然后将与触觉轨迹相关联的触觉信号发送到触觉输出设备，该触觉输出设备可以接收触觉信号并且输出触觉轨迹。

Description

用于提供可定制的触觉回放的系统和方法

技术领域

本公开一般涉及用户界面设备。更具体地，但不作为限制，本公开涉及用于提供可定制的触觉回放的系统和方法。

背景技术

显示设备可以被用于提供内容，例如视频或模拟环境(例如，虚拟或增强现实环境)。当内容被提供给用户时或当用户与内容交互时，许多现代的用户界面设备可以被用于向用户提供触觉反馈。

然而，许多用户界面设备或反馈系统可能缺乏提供与内容相对应的触觉反馈的能力，该内容与用户相关。

发明内容

本公开的各种实施例提供了用于提供可定制的触觉回放的系统和方法。一个示例性系统包括非暂态计算机可读介质；以及处理器，其通信地耦合到非暂态计算机可读介质，其中，该处理器被配置成执行存储在非暂态计算机可读介质中的处理器可执行指令以执行以下操作：获得要提供给用户的内容；获得标识与内容的多个内容元素相关联的多个触觉轨迹的数据；确定对多个内容元素中的内容元素的选择；识别多个触觉轨迹中的触觉轨迹，触觉轨迹与所选择的内容元素相关联；基于触觉轨迹来确定触觉效果；将基于内容的内容信号发送到输出设备，该输出设备被配置为输出内容的至少部分；以及向触觉输出设备发送触觉信号，该触觉信号被配置为使得触觉输出设备输出与内容的至少部分相对应的触觉效果。

一个示例性方法包括：获得要提供给用户的内容；获得标识与内容的多个内容元素相关联的多个触觉轨迹的数据；确定对多个内容元素中的内容元素的选择；识别多个触觉轨迹中的触觉轨迹，触觉轨迹与所选择的内容元素相关联；基于触觉轨迹来确定触觉效果；确定触觉效果的特性；将基于内容的内容信号发送到输出设备，该输出设备被配置为输出内容的至少部分；以及将触觉信号发送到触觉输出设备，该触觉信号被配置为使得触觉输出设备输出基于该特性的并且与内容的至少部分相对应的触觉效果。

提及这些说明性实施例不是为了限制或限定本主题的限制，而是为了提供示例以帮助理解本主题。在详细的描述中讨论了说明性实施例，并且在此提供了进一步的描述。通过研究本说明书和/或通过实践所要求保护的主题的一个或多个实施例，可以进一步理解由各种实施例所提供的优点。

附图说明

被并入到本说明书中并且构成本说明书的部分的附图示出了一个或多个特定示例，并且与示例的描述一起用于解释特定示例的原理和实现方式。

图1-图2示出了用于提供可定制的触觉回放的示例性系统；

图3示出了用于提供可定制的触觉回放的示例性计算设备；

图4示出了示例性模拟现实环境和耳机；以及

图5示出了用于提供可定制的触觉回放的示例性方法。

具体实施方式

本文在用于提供可定制的触觉回放的系统和方法的上下文中描述了示例。本领域普通技术人员将意识到，以下描述仅是说明性的，并且不旨在以任何方式进行限制。现在将详细参考如附图中所示的示例的实现方式。在整个附图和以下描述中将使用相同的附图标记来表示相同或相似的条目。

为了清楚起见，并未示出和描述本文描述的示例的所有常规特征。当然，应该理解，在任何这种实际实现方式的开发中，必须作出许多实现方式特定的决定以便达到开发者的特定目标，例如符合与应用相关和商业相关的约束，并且这些特定目标将随着实现方式的不同以及开发者的不同而不同。

在虚拟现实(“VR”)或增强现实(“AR”)环境(它们二者都是“模拟现实”或“SR”的类型)的上下文中，用户可以进行以下操作：观看预先录制的事件、沉浸入模拟现实电影、玩视频游戏、在不需要旅行的情况下探索现实世界环境、或无数用途中的任何一种。沉浸式SR环境可能包括触觉效果，以提供与SR环境中的对象或事件相关的触感。然而，这种触觉效果可能源于许多不同的情况，但是用户可能希望专注于特定的事物，例如环境中的特定角色(character)。因此，示例性SR环境可以允许用户选择感兴趣的条目或事件，并且将SR提供的触觉效果集中在与那些条目有关的触觉上。然后，SR系统可以优先化或强调与那些条目相关联的触觉效果，或者可以过滤出与那些条目无关的触觉效果。

这些触觉效果的集合，也可以称为“触觉轨迹”，因此可以针对用户选择性地启用、禁用、强调、削弱或以其他方式优先化。优先化的触觉轨迹可以基于用户对对象、角色等的明确选择，或者甚至是感兴趣的触觉轨迹(或轨迹)本身。可选地，它们可以基于用户经由凝视跟踪对特定对象的视线聚焦来选择，该凝视跟踪是根据进入SR环境中的用户输入推断的，例如通过瞄准武器，或者通过检测关于内容的可听提示，例如用户表达针对电影中特定角色的喜欢或在SR环境中的场景处的笑声。

为了提供这种功能，一个说明性实施例包括一种可以生成和输出内容(例如，虚拟或增强现实环境、视频、用户界面等)的计算设备。计算设备的存储器可以包括数据库，该数据库包括对应于与角色、对象、事件等相关联的各种触觉轨迹的数据。触觉轨迹可以包括触觉效果(例如，振动)或与提供的内容中发生的事件相对应的一系列触觉效果。

例如，如果视频包括一系列爆炸，则(一个或多个)触觉轨迹可以是与每个爆炸相对应的一系列振动。在该示例中，用户可以提供用户输入以指示用户想要感知的感兴趣的特定角色、对象、事件等或感兴趣的触觉轨迹。例如，如果视频包括第一角色和第二角色，则第一角色可以与第一触觉轨迹相关联，并且第二角色可以与第二触觉轨迹相关联，并且用户可以提供指示对第一触觉轨迹的选择的用户输入(例如，通过经由图形用户界面来选择特定触觉效果或角色，通过查看关于触觉轨迹的特定字符或数据，通过在角色、对象附近移动等)。在该示例中，用户还可以提供用户输入以使第二触觉轨迹静音。

在该说明性示例中，计算设备的处理器还可以为用户自动选择感兴趣的特定角色、对象、事件等或感兴趣的触觉轨迹。作为示例，如果内容包括SR环境，该SR环境包括与第一触觉轨迹相关联的第一角色和与第二触觉轨迹相关联的第二角色，则处理器可以基于用户与第一或第二角色之间的虚拟距离、或用户的视野或眼睛凝视的方向，来选择触觉轨迹。例如，当用户与SR环境进行交互时，如果用户更接近(在SR环境中或“实际上更接近”)第二角色(与第一角色相比)，则处理器可以自动地选择与第二角色相关联的第二触觉轨迹。作为另一示例，计算设备可以包括具有传感器的显示设备，该传感器用于检测相对于提供给用户的内容的用户的视野。传感器可以将信号发送到处理器，该处理器确定用户的眼睛凝视更专注于第一角色(与第二角色相比)。在该示例中，处理器可以响应于确定用户更加专注于第一角色来自动地选择与第一角色相关联的第一触觉轨迹。

继续该说明性实施例，用户可以提供用户输入以修改所选择的感兴趣的触觉轨迹。作为示例，用户可以提供用户输入以修改所选择的触觉轨迹的特性(例如，触觉输出设备的用于输出触觉轨迹的强度、频率、类型等)或触觉轨迹的触觉效果。作为示例，计算设备可以包括触敏表面，用户可以经由该触敏表面来提供用户输入(例如，通过触摸触敏表面)。触敏表面可以包括压力传感器，该压力传感器检测用户与触敏表面接触的压力量。例如，处理器可以响应于确定用户的接触的压力量高于阈值来修改触觉轨迹从而增加振动强度，这表明用户旨在增加振动的幅度，或者相反地，基于所施加的压力低于相同或不同阈值来降低振动强度，这表明期望降低振动强度。

在另一示例中，处理器可以基于所检测到的用户动作来确定或修改所选择的触觉轨迹的特性。例如，用户可以握住或穿戴包括用于检测或感测用户的动作(例如，手势)的传感器的用户设备，并且用户的动作可以被用于修改触觉效果的特性。例如，用户可以举起手(例如，用户佩戴用户设备或用户握住用户设备的手)，并且用户设备的传感器可以检测用户的动作。在该示例中，传感器可以将指示所检测到的动作的一个或多个信号发送到处理器，该处理器然后可以基于所检测到的动作来确定或修改所选择的触觉轨迹的特性，例如，通过响应于确定用户正在举起手来增加触觉轨迹的幅度，或者在用户放下他的手时削弱触觉轨迹的幅度。

作为另一示例，处理器可以基于用户的视野或眼睛凝视的方向来确定或修改所选择的触觉轨迹的特性。例如，计算设备可以包括具有传感器的显示设备，该传感器用于检测相对于提供给用户的内容的用户的凝视方向。传感器可以将信号发送到处理器，该处理器确定用户的眼睛凝视集中在与所选择的第一触觉轨迹相关联的第一角色上。在该示例中，处理器可以响应于确定用户专注于第一角色来确定触觉轨迹包括一个或多个强烈振动。

作为又一示例，如果内容包括模拟现实环境，则处理器可以基于用户和与所选择的第一触觉轨迹相关联的第一角色之间的虚拟距离来确定或修改所选择的触觉轨迹的特性。例如，当用户与模拟现实环境进行交互时，如果用户靠近第一角色，则处理器可以响应于确定用户接近第一角色来确定用于第一角色的触觉轨迹具有增大幅度的振动。

在一些示例中，处理器可以训练机器学习技术，以基于关于用户对一个或多个触觉轨迹或触觉轨迹的特性的选择的历史或实时数据，来预测可由用户选择的触觉轨迹、或所选择的触觉轨迹的特性。例如，处理器可以训练机器学习算法以预测或推荐选择与用户选择的触觉轨迹相似的一个或多个触觉轨迹。

在说明性实施例中，处理器可以将与所选择的触觉轨迹相关联的触觉信号发送到触觉输出设备(例如，计算设备的触觉输出设备或与用户相关联的用户设备的触觉输出设备)。触觉输出设备被配置为从处理器接收触觉信号并且基于该触觉信号来输出所选择的触觉轨迹。在说明性实施例中，触觉轨迹可以包括与一个或多个事件相对应的触觉效果，该一个或多个事件与用户感兴趣的内容有关。作为示例，如果用户选择与第一角色相关联的第一触觉轨迹，则触觉输出设备可以输出第一触觉轨迹，这可以允许用户感知与第一角色相关联的触觉效果。因此，例如，用户可以定制触觉回放以与用户想要感知的感兴趣的特定角色、对象、事件等或感兴趣的触觉轨迹相关。

给出该说明性示例以向读者介绍本文所讨论的一般主题，并且本公开并不限于该示例。以下部分描述了各种附加的非限制性示例以及用于提供可定制的触觉回放的系统和方法的示例。

现在参考图1，图1是示出根据一个实施例的用于提供可定制的触觉回放的系统的框图。该示例性系统包括与服务器120进行无线通信的两个用户设备110a-110b。在该示例中，用户设备110a-110b是从服务器120接收内容并且将其提供给它们各自的用户102、104的计算设备。内容可以是输出设备能够向用户输出的任何合适形式的内容，包括音频、视频(包括全景、可全景化或360度视频内容)、游戏内容、电影、文本、SR环境等。“可全景化”视频内容是指用户可以从不同的有利点观看的视频内容，例如通过在不同的取向和位置上移动他们的观看设备(例如，智能电话)。取向或位置的这种改变导致视频内的视点的改变，并且可以使得能够观看视频内容内的场景的不同方面。此外，内容可以具有一个或多个关联的触觉轨迹。每个触觉轨迹均可以与内容本身或与内容内的一个或多个内容元素相关联，并且可以被标识为输出，如下面将更详细地讨论的。

触觉轨迹一般地涉及与内容条目或与内容特征的一个或多个方面相关联的触觉信息，该内容条目可以包括内容特征本身，例如电影、电视(“TV”)节目、视频游戏等。针对内容特征的触觉轨迹可以包括在与内容特征相关联的文件或元数据中描述的、或由与内容特征相关联的文件或元数据引用的一个或多个触觉效果。例如，360度电影可以具有一个或多个视频信息的轨迹、一个或多个音频信息的轨迹以及一个或多个触觉信息的轨迹。因此，触觉轨迹可以与内容特定的轨迹分离，但是可以包括将触觉轨迹内的触觉信息与音频或视频轨迹的部分相关联的信息。例如，触觉轨迹可以包括时间线以及触觉效果的位置。当输出音频和视频轨迹时，也会“播放”触觉轨迹，并且当达到触觉效果时，会输出可能与音频或视频事件同步的触觉效果。

然而，在一些示例中，触觉轨迹可以包括触觉信息和相关联的标记。然后，音频或视频轨迹可以包括标识触觉轨迹内的标记的元数据。因此，当输出音频和视频轨迹时，当遇到引用触觉轨迹中的标记的元数据时，可以基于触觉信息来输出相应的触觉效果。

可选地，(一个或多个)触觉轨迹可以包括标识音频或视频轨迹内的标记的元数据标签。例如，音频或视频轨迹可以包括标识场景或事件的标记，并且当输出音频和视频轨迹时，可能会遇到标记。然后，内容播放器可以识别与音频或视频轨迹中的标记相关联的触觉效果，并且输出触觉效果。这种技术可以使得触觉轨迹能够被创建并且与现有内容相关联，该现有内容最初不具有触觉，但是其确实包括识别关于该内容的上下文信息的信息。例如，流内容可以包括各种各样的元数据，包括识别屏幕上的演员、场景、音乐片段的名称、屏幕上的事件等，这些元数据可以被用于与经由一个或多个触觉轨迹添加到内容上的触觉效果同步。

应当理解，尽管上面的触觉轨迹已经被描述为包括关于多个触觉效果的触觉信息，但是触觉轨迹可以仅包括单个触觉效果，或者可以仅引用存储在另一位置处(例如，触觉库内或远程存储在服务器处)的触觉效果。

再次参考图1，在该示例中，用户设备110a-110b中的每一个均为SR耳机，其包括显示器、具有扬声器的耳机、能够被用于检测SR耳机的位置以及SR耳机的移动的传感器、以及触觉输出设备。传感器可以包括以下各项中的一项或多项：加速度计、陀螺仪、无线电射频(“RF”)接收器、一个或多个光检测器(例如，光电二极管)、相机和超声换能器等。在一些示例中，用户设备110a-110b可以包括一个或多个发送器，其可以由位于用户设备外部的传感器进行检测。合适的发送器包括RF发送器、发光器(例如，发光二极管)等。

当用户与由服务器120提供的SR环境进行交互时，他们可能遇到环境中的对象或感知环境内的事件。例如，用户102、104可能遇到虚拟的非玩家角色，例如敌人、卖方等，或者可能观看到事件(例如，闪电、降雨、爆炸等)。这些内容元素中的一个或多个可以具有相关联的触觉轨迹，该触觉轨迹可以由相应SR耳机中的触觉输出设备进行输出。触觉轨迹可以指定一个或多个触觉效果，其可以模拟降雨或撞击，或者可以提供信息，例如与重要角色的接近程度等。在一些情况下，用户可能希望将其注意力集中在环境中的某物上，例如卖方，这可以使得服务器对提供给用户的触觉效果进行定制。

例如，用户102、104可以转动她的头部或身体，使得SR耳机在SR环境内朝向卖方的视线方向。用户102、104然后可以查看卖方。服务器120可以检测到用户正在看卖方，例如通过单独地或者结合确定SR耳机的取向来采用凝视跟踪技术。一旦确定用户的凝视在卖方身上时，服务器120然后可以检测到用户102、104开始向卖方移动，该服务器120用于推断用户102、104聚焦在卖方身上。服务器然后可以选择卖方作为用户聚焦的内容元素，并且识别与卖方相关联的触觉轨迹。服务器120然后可以调整触觉效果的特性，例如幅度、频率、持续时间等。

例如，服务器120可以基于用户或卖方(例如，基于他们在SR环境中的距离、卖方是友好的还是敌对的等)、基于游戏中的事件或条件(例如，对食物或水的紧急需要等)，来调整特性。服务器120然后可以将经调整的触觉轨迹以及内容信号的流发送到SR耳机，以使得SR耳机能够输出内容和相应的触觉轨迹两者。然后，这可以连续地继续，直到用户改变焦点或者以其他方式取消选择卖方。

除了选择内容元素和识别相应的触觉轨迹之外，服务器120还可以削弱或禁用可能被输出的其他触觉效果，以使得用户能够接收与服务器120检测到用户所聚焦的卖方或其他内容元素相关联的触觉效果。可选地，用户可以选择感兴趣的特定内容元素，例如通过显式地选择模拟现实环境中的对象，或者隐式地选择感兴趣的内容元素，例如通过选择活动探险或进入特定游戏模式(例如，秘密行动或战斗)。使用这种选择，服务器120然后可以定制触觉轨迹以强调与感兴趣的内容元素相关联的那些触觉轨迹，同时削弱或禁用针对其他内容元素的触觉轨迹。

强调触觉轨迹可以涉及调整触觉轨迹的特性，例如通过增加其强度(即，其幅度)、增加其持续时间或重复率等。相反，可以通过降低其强度、持续时间或重复率，或者通过完全禁用除了要强调的那些触觉轨迹之外的一些或所有触觉轨迹，来削弱触觉轨迹。服务器120可以基于用户上下文来确定是削弱还是禁用这种触觉轨迹。例如，如果用户正在进入战斗，则系统可以削弱与用户界面组件相关联的触觉轨迹，但是仍然输出它们，因为它们可以向用户提供有用的信息，但是服务器120可以禁用与环境条件相关联的触觉轨迹。还可以采用触觉轨迹的其他排列来加强或削弱。

虽然图1中所示的示例性系统是相对于SR环境来描述的，但是触觉轨迹可以被提供有其他种类的内容，例如电影或其他视频内容。在这种情况下，用户可以选择一个或多个感兴趣的角色或感兴趣的场景，这可以使得服务器强调与所选择的角色、或者与所选择的场景或未来提供的类似场景相关联的触觉轨迹。下面将更详细地描述进一步的示例。

此外，虽然图1中所示的系统100示出了在公共位置处参与SR环境的两个用户102、104，但是应当理解，根据本公开的示例性系统可以容纳任何合适数量的用户，从仅一个用户到仅由服务器120(或多个服务器)提供的计算资源所限制的任何数量的用户。

现在参考图2，图2示出了用于提供可定制的触觉回放的示例性系统200。在该示例中，两个用户设备210a-210b经由一个或多个通信网络230与远程服务器220进行通信。在该示例中，用户设备210a-210b包括计算设备，并且还可以包括一个或多个其他相关联的设备，例如VR或AR耳机、一个或多个用户界面设备(例如，游戏控制器、触笔、驱动轮和踏板等)、一个或多个可佩戴的设备等。相应的用户设备210a-210b中的每一个均可以参与彼此相同的环境，或者每个用户可以从服务器220获得她自己的特定内容，例如电影、视频、视频游戏、音乐等。因此，虽然图1中所示的系统100示出了与服务器120基本上处于相同位置的用户设备110a-110b，但是图2的系统200使得用户能够从远程服务器220获得内容。服务器220仍然可以基于如本文所讨论的所选择的内容元素向一个或多个用户设备210a-210b提供内容以及相关联的触觉轨迹和可定制的触觉轨迹。

现在参考图3，图3示出了根据本公开的用于提供可定制的触觉回放的示例性计算设备300。计算设备300包括经由总线306与其他硬件进行通信的处理器302。例如，计算设备300可以是个人计算机、移动设备(例如，智能电话)、头戴式显示器、手持式设备(例如，平板电脑)、或任何其他类型的用户设备。在一些示例中，计算设备300可以是可用于向用户提供内容(例如，文本、图像、声音、视频、虚拟或增强现实环境等)的任何类型的用户界面设备。在一些示例中，计算设备300可以是可用于与内容进行交互(例如，与模拟现实环境(例如，增强或虚拟现实环境)进行交互)的任何类型的用户界面设备。

存储器304，其可以是任何合适的有形(和非暂态)计算机可读介质，例如随机存取存储器(“RAM”)、只读存储器(“ROM”)、可擦除和可编程只读存储器(“EEPROM”)等，其包含配置计算设备300的操作的程序组件。在所示实施例中，计算设备300还包括一个或多个网络接口设备308、输入/输出(I/O)接口组件310和存储装置312。

网络接口设备308可以表示促进网络连接的任何组件中的一个或多个。示例包括但不限于有线接口(例如，以太网、USB、IEEE 1394)和/或无线接口(例如，IEEE 802.11、蓝牙)或用于存取蜂窝电话网络的无线电接口(例如，用于存取CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。

I/O组件310可以被用于促进到设备(例如，一个或多个显示器314、游戏控制器、键盘、鼠标、操纵杆、相机、按钮、扬声器、麦克风和/或用于输入或输出数据的其他硬件)的有线或无线连接。存储装置312表示非易失性存储装置，例如包括在计算设备300中或耦合到处理器302的磁性、光学或其他存储介质。

在一些实施例中，计算设备300包括触摸表面316(例如，触摸板或触敏表面)，其可以通信地连接到总线306并且被配置为感测用户的触觉输入。例如，触摸表面316可以包括一个或多个触摸传感器(未示出)，其可以被配置为检测触摸区域中的触摸(例如，当物体接触触摸表面316时)，并且将与触摸相关联的信号发送到处理器302。在一些示例中，例如，触摸表面316可以包括任何合适数量、类型或布置的触摸传感器，例如可以嵌入在触摸表面316中并且被用于确定触摸的位置和关于触摸(例如，压力、速度和/或方向)的其他信息的电阻和/或电容传感器。因此，例如，计算设备300可以是智能电话，其包括触摸表面316(例如，触敏屏幕)，并且当智能电话的用户对触摸表面316进行触摸时，触摸表面316的触摸传感器可以检测用户输入。

在一些实施例中，计算设备300包括触摸启用显示器，其将计算设备300的触摸表面316和显示设备314相结合。触摸表面316可以被覆盖在显示设备314上，可以位于显示设备314的外部，或者可以是显示设备314的组件上方的一个或多个材料层。在其他实施例中，计算设备300可以在触摸启用显示器上显示图形用户界面(“GUI”)，其包括一个或多个虚拟用户界面组件(例如，按钮、旋钮、滑块等)，并且触摸表面316可以允许与虚拟用户界面组件进行交互。

在一些实施例中，计算设备300包括相机320。虽然在图3中将相机320描绘为位于计算设备300的内部，但是在一些实施例中，相机320可以位于计算设备300的外部并且与计算设备300进行通信。作为示例，例如，相机320可以位于计算设备300的外部，并且经由有线接口(例如，以太网、USB、IEEE 1394)和/或无线接口(例如，IEEE 802.11、蓝牙)或无线电接口与计算设备300进行通信。

在一些实施例中，计算设备300包括一个或多个传感器318。在一些实施例中，传感器318可以包括诸如陀螺仪、加速度计、成像传感器、相机、磁力计、麦克风、力传感器、压力传感器和/或能够检测、监视或以其他方式捕捉关于用户的信息(例如，关于用户的动作的信息)的其他传感器。例如，传感器318可以是可穿戴传感器、手持式传感器或可以耦合(例如，附接)到用户或以其他方式与用户相关联以捕获用户的动作(例如，用户的身体部位的动作)的任何传感器。在一些实施例中，传感器318可以向处理器302发送一个或多个传感器信号，该传感器信号指示关于用户的动作的信息。例如，该设备可以包括两个或更多个加速度计，其可以在两个或更多个维度上提供动作的指示。在一些示例中，该设备可以使用一个或多个传感器来捕获用户相对于不同身体部位的动作。例如，传感器可以检测用户的手臂、腿、头、手、手指等的移动。作为另一示例，传感器318可以是压力传感器，其捕获关于用户与物体接触的压力量或用户的接触的压力量的变化的信息。

在一些实施例中，传感器318可以包括能够检测、监视或以其他方式捕获关于计算设备的用户或用户设备与内容(例如，虚拟或增强现实环境)进行交互的信息的任何设备或传感器。例如，传感器318可以是在用户与模拟现实环境进行交互时能够捕获关于用户的动作的信息的任何传感器。

在一些实施例中，计算设备300可以包括可穿戴设备(例如，眼镜、耳机等)，并且传感器318可以包括用于检测计算设备300的用户的眼睛凝视、视距或视野的任何设备。例如，现在参考图4，图4示出了示例性系统400，其包括计算设备300，该计算设备300包括AR或VR耳机410或与AR或VR耳机410进行通信，该AR或VR耳机410包括一个或多个传感器412。(一个或多个)传感器412可以相对于经由显示设备314或另一显示设备显示的内容(例如，角色、对象、虚拟对象、虚拟动画等)来检测用户的视野420的方向。在该示例中，显示设备314输出多个虚拟对象430-434，该多个虚拟对象430-434中的一个在用户的视野420内。因此，在该示例中，传感器412可以检测用户的凝视或眼睛方向，并且将此类信息提供给处理器302或其他计算设备(例如，服务器120、220)，它们可以确定用户正在看的内容元素，例如对象432。

在一些示例中，传感器412可以包括相机或者被并入到相机320中。这种传感器可以被配置为捕获计算设备300(在该示例中为耳机410)的用户的眼睛的图像，并且处理器302可以通过使用一种或多种眼睛跟踪或凝视跟踪方法和技术，至少部分地基于图像来确定用户的视野相对于显示设备314或其他显示器上的内容的方向。在另一实施例中，传感器410可以被配置为监视计算设备300的用户的眼睛或用户的眼睛附近的肌肉的移动，并且处理器302被配置为至少部分地基于所监视的移动来确定用户的视野相对于显示设备314上的内容的方向。在又一实施例中，传感器318可以被配置为监视或测量移动用户的眼睛的肌肉的电活动，并且处理器302可以被配置为确定用户的视野相对于显示设备314或另一显示设备上的内容的方向。

再次参考图3，在一些实施例中，传感器318可以包括用于确定用户的意图或意志的其他传感器，包括诸如与功能磁性共振成像(“fMRI”)或脑电图(“EEG”)相关联的传感器。在又一实施例中，传感器318可以通过各种方法和技术(包括诸如分析用户的身体或头部姿势)来检测用户的眼睛凝视、视距或视野。作为示例，传感器318可以被包括在头戴式显示器中或者可以是头戴式传感器，其用于检测用户的头部的动作或者用于检测用户的头部姿势并且向处理器302发送关于用户的头部的动作的数据或关于用户的头部姿势的数据，处理器302可以基于该数据来确定计算设备300或用户设备124的用户的视野的方向。

在一些实施例中，计算设备300还包括与处理器302进行通信的触觉输出设备322。触觉输出设备322被配置为响应于触觉信号来输出触觉轨迹或触觉效果。例如，触觉输出设备322可以响应于来自计算设备300的处理器302的触觉信号来输出触觉轨迹。在一些实施例中，触觉输出设备322被配置为输出触觉轨迹，该触觉轨迹包括诸如振动、挤压、猛击、感知摩擦系数的变化、模拟纹理、敲击感觉、电触觉效果、表面变形(例如，与计算设备300相关联的表面的变形)和/或固体、液体或气体的喷出。此外，一些触觉轨迹可以顺序地和/或一致地使用相同或不同类型的多个触觉输出设备322。

尽管在图3中示出了单个触觉输出设备322，但是一些实施例可以使用相同或不同类型的多个触觉输出设备322来产生触觉效果。在一些实施例中，触觉输出设备322位于计算设备300的内部或外部，并且与计算设备300进行通信(例如，经由有线接口(例如，以太网、USB、IEEE 1394)和/或无线接口(例如，IEEE 802.11、蓝牙或无线电接口)。例如，触觉输出设备322可以与计算设备300相关联(例如，耦合到计算设备300或者位于计算设备300内)，并且被配置为从处理器302接收触觉信号。

例如，触觉输出设备322可以包括以下各项中的一项或多项：压电致动器、电动机、电磁性致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(ERM)、线性谐振致动器(LRA)、自旋或可缩放旋转致动器(SRA)、超声致动器、压电材料、变形设备、静电致动器、包括金属、聚合物或复合物的形状记忆材料、或螺线管谐振致动器。在一些实施例中，触觉输出设备322包括流体，该流体被配置用于输出变形触觉效果(例如，用于使与计算设备300相关联的表面弯曲或变形)。在一些实施例中，触觉输出设备322包括机械变形设备。例如，在一些实施例中，触觉输出设备322可以包括致动器，该致动器被耦合至使得变形组件旋转的臂。致动器可以包括压电致动器、旋转/线性致动器、螺线管、电活性聚合物致动器、大纤维复合物(MFC)致动器、形状记忆合金(SMA)致动器和/或其他致动器。如本文所使用的，术语“MFC元件”用于指代既充当致动器又充当传感器的组件或元件。

在一些实施例中，计算设备300可以包括用户设备，该用户设备可以是诸如移动设备(例如，智能电话)、智能手表、头戴式显示器、可穿戴设备、手持式设备(例如，平板电脑、视频游戏控制器)或任何其他类型的用户界面设备。在一些示例中，用户设备可以是可以被用于向用户提供内容(例如，文本、图像、声音、视频、虚拟或增强现实环境等)的任何类型的用户界面设备。在一些示例中，用户设备可以是可以被用于与内容进行交互(例如，与模拟现实环境(例如，增强现实或虚拟现实环境)进行交互)的任何类型的用户界面设备。

可以采用计算设备300来向用户提供内容并且提供可定制的触觉效果。例如，计算设备300可以诸如通过在显示器314上显示图像来向用户提供内容。这种内容可以被本地存储在存储器304或存储装置312中，或者可以从远程计算设备接收，例如上面相对于图1和图2所描述的。

如上所述，内容可以具有一个或多个关联的触觉轨迹。例如，内容或内容元素与一个或多个触觉轨迹之间的对应关系可以被存储在查找表或数据库中。每个触觉轨迹可以与被提供给用户的内容中的一个或多个内容元素(例如，角色、对象、事件等)相关联，并且每个内容元素可以与一个或多个触觉轨迹相关联。触觉轨迹可以包括触觉效果(例如，振动、摩擦效果、变形效果、热效果)或者与所提供的内容内的内容元素相对应的一系列触觉效果。在一些实施例中，可以提供不同的触觉轨迹并且将其与内容元素以及内容的特定视角图二者相关联。例如，与特定内容元素相关联的前视图可以具有一个触觉轨迹(例如，车辆的前视图可以具有引擎触觉轨迹)，而后视图可以具有不同的触觉轨迹(例如，排气触觉轨迹)。

在另一示例中，如果视频包括角色，则触觉轨迹可以包括与和视频中的角色相关联的每个动作或事件相对应的一系列振动或其他触觉效果，并且查找表或数据库可以包括数据，该数据指示角色到触觉轨迹的映射。在该示例中，计算设备300可以访问查找表或数据库并且生成用于显示数据的交互式用户界面，该数据指示角色与触觉轨迹之间的映射。作为示例，交互式用户界面可以包括菜单、列表等，其包括与视频中的每个角色、事件、对象等相关联的触觉轨迹。在另一示例中，如果内容包括模拟现实环境，则触觉轨迹可以包括与模拟现实环境的各个视点(例如，来自用户背后、在用户的前方的视点等)相对应的各种触觉效果。在该示例中，计算设备300可以访问查找表并且生成交互式用户界面，该交互式用户界面显示模拟现实环境的各个视点与各个触觉轨迹之间的映射。在一些实施例中，计算设备300可以生成交互式用户界面，该交互式用户界面显示与内容中的每个角色、事件、对象等相关联的每个触觉轨迹以及针对每个角色、事件、对象等的每个视点。

例如，计算设备300可以经由交互式用户界面来接收用户输入，该用户输入指示对触觉轨迹或角色的选择。例如，用户可以通过点击第一触觉轨迹或第一角色、对触摸表面316或触摸表面138进行触摸以选择第一触觉轨迹或第一角色、指向第一触觉轨迹或第一角色(例如，使用用户设备124)等，来提供指示感兴趣的触觉轨迹的用户输入。在该示例中，用户还可以提供用户输入以使与第二角色相关联的第二触觉轨迹静音，这可以使得用户更好地专注于第一角色。

在一些示例中，代替获得用户选择，计算设备300可以自动地选择(例如，没有用户输入)与提供给用户的内容内的内容元素相关联的触觉轨迹。例如，计算设备300可以提供要在显示设备314或显示设备136上输出的内容，该内容包括具有与第一触觉轨迹相关联的第一角色和与第二触觉轨迹相关联的第二字角色的模拟环境。为了选择角色或触觉轨迹，计算设备300可以确定用户和第一或第二角色在环境中的距离。可以使用用户和角色在模拟环境中的相应坐标、或者用户和另一用户(或另一用户的化身)在模拟环境中的相应坐标来确定距离。

在确定用户与其他角色之间的相应距离之后，计算设备300可以确定第一虚拟角色比第二虚拟角色更靠近用户。在该示例中，计算设备300然后可以基于所确定的用户与第一和第二角色之间的距离来自动地选择触觉轨迹。例如，响应于确定用户更靠近第一虚拟角色(与第二虚拟角色相比)，计算设备300可以自动地选择与第一虚拟角色相关联的第一触觉轨迹。计算设备300还可以选择与第二角色相关联的第二触觉轨迹，但是可以强调第一触觉轨迹并且削弱第二触觉轨迹。

作为另一示例，计算设备300可以是可穿戴设备(例如，眼镜、耳机等)或者与其进行通信，并且传感器(例如，传感器412)可以检测用户的眼睛凝视、视距或视野的方向。传感器可以向处理器302发送传感器信号或者关于交互式用户界面中的第一触觉轨迹的数据，处理器302可以确定用户正在注视着第一触觉角色或者第一触觉角色的方向。在该示例中，处理器302可以响应于确定用户正在注视着第一角色或者第一角色的方向来选择第一触觉轨迹。

在一些实施例中，选择与提供给用户的内容中的感兴趣的特定角色、对象、事件等相关联的特定触觉轨迹(例如，基于用户输入或如上所述的自动地)可以指示未选中的触觉轨迹的静音。例如，如果用户选择与第一角色相关联的第一触觉轨迹并且没有选择与第二角色相关联的第二触觉轨迹，则处理器302可以使得第二触觉轨迹静音。以这种方式，系统100可以选择与用户感兴趣的特定角色、对象、事件等相关联的特定触觉轨迹。

触觉轨迹可以以许多不同的方式实现。例如，触觉轨迹可以具有描述单个触觉效果或多个触觉效果的信息，所述触觉轨迹可以被串行、并行或两者的组合输出。此外，触觉轨迹可以包括一个或多个嵌套的触觉轨迹。例如，针对电影中的场景的触觉轨迹可以具有针对场景中存在的每个角色的嵌套的触觉轨迹、针对场景的设置或上下文的触觉轨迹、针对场景内的环境条件的一个或多个触觉轨迹等。在一些示例中，触觉轨迹可以包括元数据，该元数据指示触觉轨迹的与所关联的内容内的不同内容元素相关联的部分。例如，触觉轨迹可以包括跟踪场景内的不同镜头的触觉效果的序列。例如，触觉轨迹可以具有与出现在屏幕上的主要角色相对应的第一触觉效果以及标识主要角色的相应元数据标签。第二触觉效果可以对应于在场景中接下来出现的辅助角色，并且触觉轨迹可以具有与第二触觉效果相对应的第二标签。因此，触觉轨迹可以具有触觉效果的集合，每个触觉效果均可以被一个或多个内容元素所标记。这种标签可以使得根据本公开的系统和方法能够将触觉轨迹的特定部分标识为与所选择的内容元素相关联。然后，可以如本文所述来修改触觉轨迹的这些特定部分，而触觉轨迹的其他部分可以保持不变、削弱或禁用，这取决于实现方式或特定配置。

在一些示例中，可以基于与触觉轨迹相关联的一种或多种类型来推断触觉轨迹与内容元素之间的关联。例如，数据库可以包括大量的触觉轨迹，其可以被用于为任何合适的内容提供触觉轨迹。可以基于内容元素的类型(例如，“爆炸”、“降雨”、“汽车引擎”)来识别每个触觉轨迹。稍后，可以开发内容并且利用元数据来标记内容，该元数据指示不同的对象、事件、上下文或环境条件。当计算设备接收到要输出的内容时，它可以检查内容内的标签并且存取数据库以获得与内容内的标签相匹配的触觉轨迹。此外，这种标签的使用可以使得计算设备300能够基于所选择的内容元素来强调、削弱或禁用一个或多个触觉轨迹，或者诸如通过将两个或多个触觉轨迹组合在一起来修改触觉轨迹，如本文中更详细地讨论的。

一些示例可以采用与内容元素相关联的多个不同的触觉轨迹。例如，不同的触觉轨迹可以与内容元素的不同视角图相关联。赛车模拟器可以允许用户模拟在赛道上驾驶赛车。例如，比赛中的其他汽车可以基于相应汽车的构造和型号而各自具有与它们相关联的不同的触觉轨迹。此外，不同的触觉轨迹可以与相应汽车的不同视图相关联。例如，一个触觉轨迹可以与汽车的发动机所在的前部相关联，而第二触觉轨迹可以与汽车的排气所在的后部相关联。另外的触觉轨迹可以与汽车的侧面相关联、与路面上的轮胎的声音相关。并且，尽管多个不同的触觉轨迹与不同的视角相关联，但是在一些示例中，一些或所有触觉轨迹可以被混合在一起，而与特定的视角无关，其中每个触觉轨迹根据用户在某一时刻的特定视点来进行加权。

在一些实施例中，计算设备300可以修改所识别的触觉轨迹。例如，计算设备300可以接收用户输入以修改所识别的触觉轨迹的特性(例如，强度、幅度等)，并且计算设备300可以响应于接收到用户输入来修改触觉轨迹。作为示例，用户可以经由触摸表面316上的接触来提供用户输入以修改触觉轨迹的强度，并且触摸表面316的触摸传感器可以将指示用户输入的传感器信号发送到计算设备300。在该示例中，计算设备300可以确定用户与触摸表面316接触的压力量，并且基于该压力量来确定触觉轨迹的强度。例如，响应于确定用户接触的压力量高于阈值，计算设备300可以确定所识别的触觉轨迹包括一个或多个强振动。在一些示例中，一个或多个振动的强度可以与所施加的力的量成比例(或成反比)。例如，高水平的力可以用信号通知用户想要降低振动的强度，并且因此可以播放较弱的振动，而低水平的力可以指示期望应该播放较强的振动。

在另一示例中，计算设备300可以基于一个或多个传感器信号来确定或修改所识别的触觉轨迹的特性。例如，计算设备300可以基于用户的动作来确定或修改所识别的触觉轨迹的特性。例如，计算设备300可以确定用户正在接近所选择的内容元素(例如，门或另一角色)，并且增加所识别的触觉轨迹的强度，或者它可以削弱与所选择的内容元素不相关联的一个或多个其他的触觉轨迹。在一些示例中，计算设备300可以确定针对具有所选择的内容元素(例如，角色)的场景的上下文，并且基于该上下文来修改触觉轨迹。例如，如果用户已经选择了电影中的角色，则计算设备300可以在该角色在屏幕上的任何时候强调与该角色相关联的触觉轨迹。然而，如果所选择的角色出现在他处于危险中的场景中，则计算设备300可以修改该角色的触觉轨迹。例如，计算设备300可以将心跳效果叠加在触觉轨迹上以指示角色的压力。或者，如果角色处于轻松的场景中，则计算设备可以修改触觉轨迹以消除任何剧烈的触觉效果，例如颠簸效果。例如，计算设备可以从触觉轨迹中滤除高频效果，例如，具有超过大约1000Hz的频率的效果。

在又一示例中，处理器302可以基于用户与内容元素之间的距离来确定或修改所选择的触觉轨迹的特性。例如，计算设备300可以接收或提供要在显示设备314上输出的内容，并且内容可以包括模拟环境，该模拟环境包括一个或多个其他角色。然后，当用户与模拟环境进行交互时，计算设备300可以基于用户与角色之间的变化距离来确定或修改所选择的触觉轨迹的特性。例如，如果诸如基于用户的凝视而选择了第一角色，则计算设备300可以确定用户靠近第一角色并且修改所识别的触觉轨迹以增加触觉效果的强度。

在一些实施例中，计算设备300可以通过将一个或多个触觉轨迹组合在一起来修改触觉轨迹的特性。例如，可以选择内容元素并且识别相关联的触觉轨迹。然而，与角色相关联的上下文，诸如危险情况，也可以具有相关联的触觉轨迹。然后，计算设备300可以组合两个触觉轨迹，尽管用户已经选择了第一角色。为了组合触觉轨迹，计算设备300可以对两个触觉轨迹求和，这可以包括将权重值应用于一个或两个触觉轨迹，并且对经加权的触觉轨迹进行求和。在一些示例中，可以提取附加触觉轨迹的特性并且将其应用于所选择的角色的触觉轨迹。例如，附加触觉轨迹可以具有与其一个或多个触觉效果相关联的幅度或频率。计算设备300可以分析角色的触觉轨迹和附加触觉轨迹以识别类似的触觉效果。计算设备300然后可以将来自附加触觉轨迹的触觉效果的一个或多个参数应用于角色的触觉轨迹。

在一些实施例中，计算设备300可以基于事件来确定触觉轨迹。如本文所使用的，事件是在计算设备300的操作期间发生的任何交互、动作、碰撞或其他事件，其可能具有相关联的触觉效果。在一些实施例中，事件可以包括用户输入(例如，按钮按下、操纵操纵杆、与触摸表面316或触摸表面138进行交互、倾斜或定向计算设备300)、系统状态(例如，电池电量低、内存不足或系统通知(例如，基于接收到消息、来电、通知或更新的系统而生成的通知))、发送数据、接收数据、程序事件(例如，如果程序是在游戏中，则程序事件可能包括爆炸、枪声、碰撞、游戏角色之间的互动、用户与一个或多个元素在模拟环境中的互动、角色在模拟环境中的移动等)或用户的行动(例如，用户的动作)。

一旦已经识别了触觉轨迹并且已经修改了触觉轨迹的一个或多个特性，计算设备300就可以生成触觉信号并且将该触觉信号发送到触觉输出设备。例如，计算设备300可以向触觉输出设备发送信号以输出经修改的触觉轨迹。

在一些实施例中，计算设备可以采用机器学习技术来基于所学习到的用户偏好来自动地选择或取消选择内容元素，这可以由此自动地强调、削弱或禁用一个或多个触觉轨迹而无需进一步的用户交互。例如，计算设备300可以随着时间的过去来确定用户不喜欢与暴力(例如，枪火、爆炸等)相关联的触觉效果，但是喜欢与特定演员扮演的角色相关联的触觉效果或者与特定角色(例如，英雄)相关联的触觉效果。基于这些所学习到的偏好，计算设备300可以自动地选择内容元素并且识别相关联的触觉轨迹。基于这种选择，计算设备300可以基于用户偏好来强调、削弱或禁用一个或多个这样的触觉轨迹。

例如，如果用户选择内容中的角色，但是取消选择内容中的一个或多个爆炸，则处理器302可以分析内容，并且确定与第一触觉轨迹或第二触觉轨迹相似的一个或多个其他触觉轨迹。作为示例，如果角色是内容中的主要角色，则处理器302可以分析内容并且确定内容包括与内容中的另一主要角色相关联的触觉轨迹，该触觉轨迹类似于与第一角色相关联的所选择的触觉轨迹。作为另一示例，处理器302可以分析内容，确定内容包括与枪击或碰撞相关联的触觉轨迹，并且与枪击或碰撞相关联的触觉轨迹类似于与爆炸相关联的静音的触觉轨迹。在该示例中，处理器302可以训练机器学习技术，以预测用户更喜欢与角色相关联的触觉轨迹，而不喜欢与枪击、爆炸、碰撞等相关联的触觉轨迹。

在一些实施例中，计算设备300可以向用户征求关于自动地选择的内容元素的反馈，并且使用响应来进一步训练机器学习技术。例如，计算设备可以向用户输出询问用户是否想要选择主要角色或取消选择其他枪击或碰撞的查询。在一些实施例中，处理器302可以使用实时数据(例如，当用户选择或取消选择一个或多个内容元素时)或使用历史数据(例如，由处理器302获得的或接收的指示用户对内容元素的历史选择或取消选择的数据)来训练机器学习技术以预测用户的触觉轨迹偏好。例如，处理器302获得或接收数据，该数据指示用户选择或静音与提供给用户的内容中的角色、事件、对象等相关联的一个或多个触觉轨迹。在该示例中，当用户选择或静音一个或多个触觉轨迹时或者当自动地选择或静音一个或多个触觉轨迹时，处理器302可以训练机器学习技术以识别如上所述的类似触觉轨迹，并且处理器302可以输出推荐以基本上实时地选择或静音相似的触觉轨迹(例如，当触觉轨迹被选择或静音时)和/或请求用户输入，该用户输入指示用户是否想要选择或静音所推荐的触觉轨迹。

在一些实施例中，计算设备300可以使用关于所选择的触觉轨迹的特性(例如，用户对触觉轨迹的特性的修改或对触觉轨迹的特性的自动的修改)的数据来以与上述基本相同的方式训练机器学习算法，以预测触觉轨迹的特性或修改。

例如，计算设备300可以获取或接收指示用户对所选择的触觉轨迹的修改或对所选择的触觉轨迹的自动的修改(例如，对所选择的触觉轨迹的强度的修改)的数据。在该示例中，随着所选择的触觉轨迹被修改，计算设备300可以训练机器学习技术来确定相似触觉轨迹，并且以相同的方式基本上实时地输出对相似触觉轨迹的修改和/或请求指示用户是否想要修改所选择的触觉轨迹的用户输入。例如，如果用户提供用户输入以增加所选择的触觉轨迹的强度，则计算设备300可以使用该输入来训练机器学习技术以识别内容中的相似触觉轨迹并且输出修改以增加相似触觉轨迹的强度，或者请求指示用户是否想要增加相似触觉轨迹的强度的用户输入。

虽然在上述一些示例中，计算设备300输出内容、生成交互式用户界面、确定所选择的内容元素、识别触觉轨迹、修改所识别的触觉轨迹和/或训练机器学习技术，但是本公开不限于这种配置。

虽然图3的示例性计算设备300被描绘为具有一定数量的组件，但是在其他实施例中，计算设备300可以具有任何数量的附加或替代组件。

现在参考图5，图5示出了用于提供可定制的触觉回放的示例性方法500。在一些示例中，可以利用可由处理器(例如，通用计算机、移动设备或服务器中的处理器)执行的程序代码来实现图5中所示的框。在一些实施例中，这些步骤可以由一组处理器来实现。在一些实施例中，图5中所示的一个或多个步骤可以被省略或者以不同的顺序来执行。类似地，在一些实施例中，还可以执行图5中未示出的附加步骤。为了说明的目的，下面参考以上关于图1中所示的系统100所描述的组件来描述方法500的步骤，但是可以采用根据本公开的任何合适的系统。

当服务器120或用户设备110a、110b获得要提供给用户的内容时，方法500开始于步骤510处。在该示例中，用户设备110a、110b从服务器120接收内容；然而，在一些示例中，用户设备110a、110b诸如通过生成游戏环境或模拟现实环境，从其自己的本地存储装置获得内容或动态地生成内容。如上所述，可以获得任何合适的内容，包括模拟现实环境、视频游戏内容、电影、音乐等。

在框520处，服务器120或用户设备110a、110b获得标识与内容中的一个或多个内容元素相关联的多个触觉轨迹的数据。例如，用户设备110a、110b可以在框510处获得内容之前、同时或之后从服务器120接收一个或多个触觉轨迹。在一些示例中，用户设备110a、110b可以具有本地存储在用户设备110a、110b中(例如，存储在存储器中的数据库中)的一个或多个触觉轨迹。

除了获得触觉轨迹之外，用户设备110a、110b获得标识与内容中的一个或多个内容元素相关联的多个触觉轨迹的数据。在该示例中，标识多个触觉轨迹的数据包括包含在内容内的元数据。例如，这种元数据可以包括标识一个或多个触觉轨迹的一个或多个元数据标签。然而，在其他示例中，数据可以包括对数据库记录的引用、用于从触觉轨迹的储存库中选择触觉轨迹的一个或多个过滤器参数等。在一个示例中，数据可以是触觉轨迹本身，其包括与内容内的一个或多个内容元素或一种或多种类型的内容元素的关联。

在一些示例中，触觉轨迹可以与内容分开地提供；然而，在一些示例中，内容可以包含触觉轨迹以及触觉轨迹与一个或多个内容元素之间的关联。在一些示例中，触觉轨迹可以是内容内的类似于音频轨迹的轨迹，其中，一个或多个触觉效果在时间上与音频或视频数据同步。在一个这种实施例中，由用户设备110a、110b(例如，视频播放器)执行的回放软件可以使来自内容的音频、视频和触觉数据成流，并且将相应的信号发送到显示器、扬声器和一个或多个触觉输出设备。

作为示例，例如，如果内容包括含有对象(例如，网球)的模拟现实环境，则与对象相关联的触觉轨迹可以包括一系列振动或对应于与对象相关联的每个动作或事件的其他触觉效果，例如网球的反弹、网球的击打等。在该示例中，触觉轨迹的数据库可以包括指示对象与触觉轨迹之间的映射的数据。作为另一示例，例如，如果内容包括视频，例如网球比赛的视频，则例如与网球比赛中的角色或对象的视点或视角相关联的触觉轨迹可以包括与角色或对象的视角或视点(例如，网球比赛中的运动员、观众等的视角)相对应的一个或多个触觉效果。

在框530处，服务器120或用户设备110a、110b确定对多个内容元素中的内容元素的选择。在该示例中，用户102、104正在使用他们各自的VR耳机110a-110b与模拟现实环境进行交互，并且能够识别环境中显示的对象并且与环境中显示的对象进行交互。服务器120能够基于从VR耳机接收的传感器信号来确定所选择的内容元素，例如对象、角色等，基于相应VR耳机的位置和取向以及用户的眼睛正在注视的方向来确定用户凝视的方向。在一些示例中，用户还可以使用用户界面设备(例如，手持式控制设备、操纵杆、棒等)，用户可以利用该用户界面设备向服务器120发送命令。一些示例可以允许用户做出诸如在触摸屏上或在露天中的手势以与环境内的对象进行交互。这种命令可以指示对模拟现实环境内的内容元素的选择或与模拟现实环境内的内容元素进行交互。此外，在一些示例中，环境内的对象或角色可以与用户进行交互，并且因此可以选择它们自己，例如当用户进入相应内容元素的阈值距离内时、在完成探险(quest)或任务时、或在触发环境中的事件时。

在其他上下文中，用户可以明确选择特定的内容元素，例如电影中的角色。该选择可以在播放电影的同时执行，或者在一些示例中，可以在播放电影之前向用户呈现这些选项。在其他示例中，用户可以选择音乐片段中具有相关联的触觉轨迹的一个或多个乐器轨迹。例如，管弦乐片段可以具有与管弦乐队的不同乐器或部分(例如，小提琴、大提琴、木琴等)相对应的触觉轨迹。无论是相对于模拟现实环境、电影、音乐片段等，这种选择可以是相对于特定内容片段中的特定内容元素作出的，或者可以是在更全局的级别处作出的，例如对于所有电影或音乐，或者是在中间级别处作出的，例如对于来自特定音乐组或作曲家的所有专辑，或者是电影系列内的电影中的角色，例如，Leia公主。

在框540处，服务器120或用户设备110a、110b识别与所选择的内容元素相关联的触觉轨迹。在该示例中，用户设备110a、110b使用先前在框520处获得的数据来识别与所选择的内容元素相关联的触觉轨迹；然而，在一些示例中，在框520处描述的功能可以实时执行。例如，当在框530处选择内容元素时，在框520处描述的功能可以获取标识与所选择的内容元素相关联的一个或多个触觉轨迹的数据。在接收到这些触觉轨迹之后，服务器120或用户设备110a、110b可以识别一个或多个这种触觉轨迹。

在一些示例中，所识别的触觉轨迹可以与所选择的内容元素间接地关联。例如，当选择主要角色时，可以识别与辅助角色相关联的触觉轨迹。如果辅助角色和主要角色进行对抗或浪漫地联系在一起，则可以进行这种识别。在一些示例中，可以基于所选择的内容元素的类型来识别触觉轨迹。例如，如果内容元素是爆炸，则特定触觉轨迹可能未明确与爆炸相关联，然而，可以识别被指示为与爆炸、枪声和炸弹相关联的触觉轨迹。可以通过存储在内容内的元数据标签来启用这种识别，该元数据标签指示事件、出现或离开屏幕的角色等。因此，即使所获得的内容不具有其自己的自定义触觉轨迹，内容内的元数据也可以启动识别库中的触觉轨迹。

在一些示例中，用户可以明确地识别触觉轨迹。例如，服务器120或用户设备110a、110b可以生成交互式用户界面，该交互式用户界面显示关于角色、对象或事件以及与该角色、对象或事件相关联的触觉轨迹的数据。作为示例，用户设备110a、110b可以生成包括菜单、列表等的交互式用户界面，该菜单、列表等包括关于与所获得的内容中的每个角色、事件、对象等相关联的触觉轨迹的数据。然后，用户可以识别一个或多个这种触觉轨迹。作为另一示例，用户设备110a、110b可以生成包括菜单、列表等的交互式用户界面，该菜单、列表等包括指示与内容的一个或多个视点或内容中的角色、事件、对象的视点相关联的触觉轨迹的数据。例如，用户设备110a、110b可以生成包括菜单的交互式用户界面，该菜单包括与用户或角色后面、用户或角色前面、用户或角色旁边等的视点相关联的触觉轨迹。在一些实施例中，用户设备110a、110b可以生成交互式用户界面，用于显示与内容中的每个角色、事件、对象等以及针对每个角色、事件、对象等的每个视点相关联的每个触觉轨迹。

在一些示例中，可以训练机器学习技术以基于在所获得的内容内检测到的内容元素来选择内容元素，并且进一步识别与所选择的内容元素相关联的触觉轨迹。例如，可以训练机器学习技术以诸如使用面部识别来识别内容元素(例如，角色)，或者诸如使用对象识别来识别对象。此外，一些事件可能是可检测的，例如爆炸、枪声、雨、火等，并且可以通过机器学习技术来识别一个或多个触觉轨迹。已经根据用户的偏好进行训练的示例性机器学习技术可以自动地选择或可以建议一个或多个内容元素，或者相反地，可以自动地取消选择或建议取消选择一个或多个内容元素。

在一些示例中，服务器120或用户设备110a、110b可以基于用户与模拟现实环境内的一个或多个角色或虚拟对象之间的距离来识别触觉轨迹。作为示例，当用户与模拟环境进行交互时，处理器302可以确定虚拟对象在模拟环境中比附近的角色更靠近用户。服务器120或用户设备110a、110b可以响应于确定用户更靠近虚拟对象(与角色相比)来识别与虚拟对象相关联的触觉轨迹。然而，在一些示例中，服务器120或用户设备110a、110b可以基于对多个内容元素的接近度来识别多个触觉轨迹。

作为另一示例，用户设备110a、110b可以是可穿戴设备(例如，眼镜、耳机等)，并且用户设备110a、110b的传感器可以检测用户的眼睛凝视、视距、或视野的方向。用户设备110a、110b(或服务器120)可以接收一个或多个传感器信号，并且确定用户正在注视角色或朝向角色的方向。在又一示例中，用户设备110a、110b可以是手持式设备(例如，游戏控制器、操纵杆等)，并且用户设备的传感器可以检测用户的动作，并且将传感器信号发送给服务器120或用户设备110a、110b，其可以确定用户正在指向角色或将用户设备110a、110b指向角色。

在一些实施例中，与提供给用户的内容中的感兴趣的特定角色、对象、事件等相关联的特定触觉轨迹的识别(例如，基于如上所述的用户输入或自动地)可以导致取消选择未选中的触觉轨迹或使得未选中的触觉轨迹静音。以这种方式，系统100可以选择与用户感兴趣的特定角色、对象、事件等相关联的特定触觉轨迹，同时使得可能以其他方式从所选择的内容元素中分散注意力的其他触觉轨迹静音。

在框550处，系统100基于所识别的触觉轨迹来确定触觉效果。在一些示例中，触觉轨迹可以包括嵌入在触觉轨迹内的一个或多个触觉效果；然而，触觉轨迹还可以包括对存储在其他位置(例如，数据库)中的触觉效果的引用。此外，示例可以采用包括与多个不同的内容元素相关联的触觉效果的触觉轨迹，其可以利用标识(一个或多个)相关联的内容元素的元数据来标记。

作为触觉轨迹的部分的触觉效果可以以特定顺序或以特定时序输出。在一些示例中，可以基于相对于所选择的内容元素或涉及该元素的事件所采取的动作来输出触觉轨迹的特定触觉效果。因此，可以基于所选择的内容元素的状态、用户与所选择的内容的交互、或者涉及或接近(例如，在模拟现实环境中)该内容元素的事件来选择触觉效果。

在框560处，系统100修改触觉效果的特性。例如，处理器302可以接收用户输入以修改触觉效果的特性(例如，强度、幅度等)，并且系统100(例如，服务器120或用户设备110a、110b)可以响应于接收到用户输入来修改触觉效果。作为示例，用户可以经由触摸表面316上的接触来提供用户输入以修改触觉轨迹的强度，并且触摸表面316的触摸传感器可以将指示用户输入的传感器信号发送到处理器302。在该示例中，用户设备110a、110b可以确定用户与触摸表面316接触的压力量，并且基于该压力量来确定触觉轨迹的强度。例如，处理器302可以响应于确定用户接触的压力量高于阈值来修改触觉轨迹的特性以减小触觉轨迹或触觉效果的幅度。

在另一示例中，计算设备300可以基于用户的动作来修改所选择的触觉轨迹的特性。例如，用户设备110a、110b可以基于用户对内容元素的选择来修改触觉轨迹的特性。这种命令可以指示用户正在关注内容元素，并且因此可以增加相关联的触觉轨迹的强度或持续时间以强调它。在一些示例中，可以基于用户对相关联的内容元素或触觉轨迹本身的取消选择来削弱或禁用(例如，静音)触觉轨迹。

在另一示例中，计算设备300可以基于用户的眼睛凝视、视距或视野来确定或修改所选择的触觉轨迹的特性。例如，可以根据用户的凝视来修改与所选择的内容元素相关联的触觉轨迹。如果用户直接注视所选择的内容元素，则计算设备可以修改触觉轨迹的特性，以为(一个或多个)相关联的触觉效果提供最大幅度；然而，如果用户改变了他的凝视的方向，则计算设备300可以与用户的凝视远离对象的角度成比例地减小触觉轨迹的幅度。换句话说，第一条线可以从用户的眼睛朝向所选择的内容元素投影，而第二条线可以在所感测的凝视方向上投影，并且可以确定两条线之间的角度。此外，在一些示例中，计算设备300可以修改触觉效果以提供定向触觉效果，以帮助将用户引导向所选择的内容元素。例如，如果VR或AR耳机具有布置在不同位置处的多个触觉输出设备，则计算设备300可以生成幅度变化的触觉效果，使得与用户的凝视的方向或耳机的取向无关，该触觉轨迹可能显然是从所选择的内容元素的方向发出的，这可以使得用户能够移动其头部以找到所选择的内容元素。因此，可以修改发送到各种触觉输出设备的触觉信号的幅度以提供视线定向触觉效果。

可以在手持式设备的上下文中采用这种技术，该手持式设备可以在空间中操纵以与内容进行交互。例如，如果用户能够改变手持式设备的取向以观看内容的不同部分，则可以基于手持式设备相对于所选择的内容元素的取向来修改触觉轨迹。

在又一示例中，计算设备可以基于用户与模拟现实环境内的所选择的内容元素之间的距离来确定或修改所选择的触觉轨迹的特性，或者基于所选择的内容元素与屏幕的视距来确定或修改图片或视频中的特性。例如，如果所选择的触觉轨迹是与第一角色相关联的第一触觉轨迹，则计算设备300可以确定用户在模拟环境中接近第一角色并且增加所选择的触觉轨迹的幅度或持续时间。

在框570处，计算设备将内容信号发送到输出设备(例如，显示器或扬声器)，并且将与修改后的触觉轨迹相关联的触觉信号发送到触觉输出设备。在一些示例中，输出内容信号和触觉信号以提供内容和相应触觉效果的同步输出。

在一些示例中，另外的框580可以被采用以基于对内容元素、触觉轨迹的选择或者基于用户提供的对触觉轨迹的修改，来训练机器学习技术。例如，如果用户取消选择特定触觉轨迹或一个或多个触觉效果，则机器学习技术可能偏向于将来对这种触觉轨迹或效果的选择。在一些示例中，用户对特定角色或演员的选择可能会使机器学习技术在将来偏向于选择这种内容元素。此外，用户可以取消选择与某些类型的事件有关的触觉轨迹，例如爆炸或其他大声噪声。因此，机器学习技术可以使自身偏向于与这种事件或角色相关联的触觉轨迹或内容元素。

以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替代或添加各种过程或组件。例如，在可选配置中，可以以与所描述的顺序不同的顺序来执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，相对于某些配置所描述的特征可以以各种其他配置进行组合。可以以类似方式对配置的不同方面和元素进行组合。此外，技术在发展，并且因此，许多元件是示例，并且不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对示例性配置(包括实现方式)的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使得配置模糊。该说明书仅提供示例性配置，并且不限制权利要求的范围、适用性或配置。相反，配置的先前描述将为本领域技术人员提供用于实现所描述的技术的启用描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，可以将配置描述为过程，该过程被描绘为流程图或框图。尽管每个都可以将操作描述为顺序的过程，但是许多操作可以并行或同时执行。此外，可以重新排列操作的顺序。过程可能具有图中未包括的附加步骤。此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或前述的任意组合来实现方法的示例。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以被存储在非暂态计算机可读介质(例如，存储介质)中。处理器可以执行所描述的任务。

虽然根据在各种机器上执行的软件描述了本文中的方法和系统的一些示例，但是该方法和系统也可以被实现为专门配置的硬件，例如专门用于执行各种方法的现场可编程门阵列(FPGA)。例如，示例可以以数字电子电路或者以计算机硬件、固件、软件或前述的组合来实现。在一个示例中，设备可以包括一个或多个处理器。处理器包括计算机可读介质，例如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，例如执行一个或多个计算机程序。这种处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这种处理器还可以包括可编程电子设备，例如PLC、可编程中断控制器(PIC)、可编程逻辑设备(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似设备。

这种处理器可以包括介质(例如，计算机可读存储介质)，或者可以与该介质进行通信，该介质可以存储指令，当该指令由处理器执行时，可以使得处理器执行本文所描述的由处理器执行或辅助的步骤。计算机可读介质的示例可以包括但不限于能够向处理器(例如，Web服务器中的处理器)提供计算机可读指令的电子、光学、磁性或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁性盘、存储器芯片、ROM、RAM、ASIC、经配置的处理器、所有光学介质、所有磁性带或其他磁性介质或计算机处理器可以从其读取的任何其它介质。所描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可以包括用于执行本文所描述的一个或多个方法(或方法的部分)的代码。

仅出于说明和描述的目的给出了一些示例的前述描述，而并非旨在穷举或将本公开限制为所公开的精确形式。在不脱离本公开的精神和范围的情况下，其许多修改和改编对于本领域技术人员将是显而易见的。

本文所使用的“适应于”或“被配置为”意味着开放的和包容的语言，其不排除适应于或被配置为执行附加任务或步骤的设备。另外，“基于”的使用意味着开放的和包容性的，因为“基于”一个或多个所列举的条件或值的过程、步骤、计算或其它动作在实践中可以基于超出所列举的那些条件或值的附加条件或值。本文包含的标题、列表和编号仅是为了便于说明，并不意味着限制。

本文对示例或实现方式的引用意味着结合该示例描述的特定特征、结构、操作或其他特性可以被包括在本公开的至少一个实现方式中。本公开不限于这样描述的特定示例或实现方式。短语“在一个示例中”、“在示例中”、“在一个实现方式中”或“在实现方式中”的出现，或者其在说明书中的各个地方的变型不一定表示相同的示例或实现方式。在本说明书中关于一个示例或实现方式描述的任何特定特征、结构、操作或其他特性可以与关于任何其他示例或实现方式描述的其他特征、结构、操作或其他特性进行组合。

本文使用的词语“或”旨在涵盖包容性的和排他性的或条件。换句话说，A或B或C包括任何或所有下列适于特定用途的可选组合：单独的A；单独的B；单独的C；仅A和B；仅A和C；仅B和C；以及A和B和C。

Claims (20)

1.一种系统，包括：

非暂态计算机可读介质；以及

处理器，所述处理器通信地耦合到所述非暂态计算机可读介质，其中，所述处理器被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以执行以下操作：

获得要提供给用户的内容；

获得标识与所述内容的多个内容元素相关联的多个触觉轨迹的数据；

确定对所述多个内容元素中的内容元素的选择；

识别所述多个触觉轨迹中的触觉轨迹，所述触觉轨迹与所选择的内容元素相关联；

基于所述触觉轨迹来确定触觉效果；

将基于所述内容的内容信号发送到输出设备，所述输出设备被配置为输出所述内容的至少部分；以及

将触觉信号发送到触觉输出设备，所述触觉信号被配置为使得所述触觉输出设备输出与所述内容的所述至少部分相对应的所述触觉效果。

2.根据权利要求1所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以修改所述触觉效果的特性。

3.根据权利要求1所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以通过以下操作来识别所述触觉轨迹：

经由图形用户界面输出指示与所述内容中的多个内容元素相关联的所述多个触觉轨迹的数据；以及

经由所述图形用户界面来接收对所述触觉轨迹的选择。

4.根据权利要求1所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以通过以下操作来识别所述触觉轨迹：

确定在模拟现实环境中所述用户与所选择的内容元素之间的距离；并且其中

基于所述用户与所选择的内容元素之间的距离来识别所述触觉轨迹。

5.根据权利要求1所述的系统，还包括：

传感器，所述传感器通信地耦合到所述处理器，其中，所述处理器还被配置为通过以下操作来确定对所述内容元素的选择：

从所述传感器接收一个或多个信号；以及

响应于基于所述一个或多个信号确定所述用户的凝视指向所述内容元素，选择所述内容元素。

6.根据权利要求1所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以通过以下操作来确定对所述内容元素的选择：

响应于确定所述用户正在指向所述多个内容元素中的所述内容元素，选择所述内容元素。

7.根据权利要求1所述的系统，还包括：

触摸表面；

传感器，所述传感器通信地耦合到所述处理器和所述触摸表面，所述传感器被配置为执行以下操作：

检测与所述触摸表面上的接触相关联的压力；以及

发送与所述压力相关联的一个或多个信号，

其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以执行以下操作：

从所述传感器接收与所述压力相关联的信号；

基于所述一个或多个信号来确定压力量；以及

基于所述压力量来确定所述触觉轨迹的特性。

8.根据权利要求1所述的系统，其中，所述处理器还被配置为：

确定所述用户与所选择的内容元素之间的距离；以及

基于所述距离来确定所述触觉轨迹的特性。

9.根据权利要求1所述的系统，还包括：

传感器，所述传感器通信地耦合到所述处理器，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以执行以下操作：

从所述传感器接收一个或多个信号；

基于所述一个或多个信号来确定所述用户的移动；以及

基于所述用户的移动来确定所述触觉轨迹的特性。

10.根据权利要求1所述的系统，还包括：

传感器，所述传感器通信地耦合到所述处理器，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以执行以下操作：

从所述传感器接收一个或多个信号；以及

响应于基于所述一个或多个信号确定所述用户的凝视指向与所述触觉轨迹相关联的所选择的内容元素，确定所述触觉轨迹的特性。

11.根据权利要求1所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以执行以下操作：

使用机器学习技术基于对所述触觉轨迹的识别来预测第二触觉轨迹；以及

输出对所述第二触觉轨迹的推荐。

12.根据权利要求11所述的系统，其中，所述处理器还被配置为执行存储在所述非暂态计算机可读介质中的处理器可执行指令，以通过以下操作使用所述机器学习技术来预测所述第二触觉轨迹：

使用所述机器学习技术，将所述触觉轨迹与所述多个触觉轨迹中的一个或多个其他触觉轨迹进行比较，以确定所述触觉轨迹与所述第二触觉轨迹之间的相似度；以及

使用所述机器学习技术基于所述触觉轨迹与所述第二触觉轨迹之间的相似度来预测所述第二触觉轨迹。

13.一种方法，包括：

获得要提供给用户的内容；

获得标识与所述内容的多个内容元素相关联的多个触觉轨迹的数据；

确定对所述多个内容元素中的内容元素的选择；

识别所述多个触觉轨迹中的触觉轨迹，所述触觉轨迹与所选择的内容元素相关联；

基于所述触觉轨迹来确定触觉效果；

确定所述触觉效果的特性；

将基于所述内容的内容信号发送到输出设备，所述输出设备被配置为输出所述内容的至少部分；以及

将触觉信号发送到触觉输出设备，所述触觉信号被配置为使得所述触觉输出设备输出基于所述特性的并且与所述内容的所述至少部分相对应的所述触觉效果。

14.根据权利要求13所述的方法，还包括：修改所述触觉效果的特性。

15.根据权利要求13所述的方法，其中，识别所述触觉轨迹包括：

输出指示与所述内容中的多个内容元素相关联的多个触觉轨迹的数据；以及

接收对所述触觉轨迹的选择。

16.根据权利要求13所述的方法，其中，识别所述触觉轨迹包括：

确定所述用户与所选择的内容元素之间的距离；以及

基于所述距离来选择所述多个触觉轨迹中的所述触觉轨迹。

17.根据权利要求13所述的方法，其中，识别所述触觉轨迹包括：

从传感器接收传感器信号；以及

响应于基于所述传感器信号确定用户的凝视指向所选择的内容元素，识别与特定内容元素相关联的所述触觉轨迹。

18.根据权利要求13所述的方法，其中，确定所述触觉轨迹的特性包括：

从传感器接收传感器信号，所述传感器信号指示与计算设备的触摸表面上的接触相关联的压力；

基于所述传感器信号来确定压力量；以及

基于所述压力量来确定所述触觉轨迹的特性。

19.根据权利要求13所述的方法，其中，确定所述触觉轨迹的特性包括：

确定所述用户与所选择的内容元素之间的距离；以及

基于所述距离来确定所述触觉轨迹的特性。

20.根据权利要求13所述的方法，其中，确定所述触觉轨迹的特性包括：

从传感器接收传感器信号，所述传感器信号指示所述用户的移动；以及

基于所述用户的移动来确定所述触觉轨迹的特性。

Images