CN106406512A - 基于人群的触觉 - Google Patents

Abstract

本公开涉及基于人群的触觉。一种系统产生触觉效果。该系统接收与事件相关联的输入数据、识别输入数据中事件的要素、基于事件的要素生成触觉效果并且经由触觉输出设备产生触觉效果。在一种实施例中，触觉效果通过触觉化事件的要素来生成。在一种实施例中，触觉效果是经设计的触觉效果并且基于事件的要素进行调整。在一种实施例中，输入数据与参加事件的人群相关联，并且事件的要素由人群引起。在一种实施例中，输入数据包括由与人群相关联的一个或多个个人设备收集到的触觉数据。在一种实施例中，输入数据指示与人群相关联的一个或多个个人设备的位置。

Description

基于人群的触觉

对相关申请的交叉引用

本申请要求于2015年7月29日提交的美国临时专利申请序列No.62/198,615的优先权，其公开内容通过引用被结合于此。

技术领域

一种实施例一般而言针对触觉系统，并且具体而言针对提供与事件相关的触觉效果的触觉系统。

背景技术

“触觉”涉及通过向用户施加触觉反馈效果(即，“触觉效果”)利用用户的触觉的触感与力反馈技术，其中的触觉反馈效果诸如力、振动和运动。诸如移动设备、触摸屏设备和个人计算机的设备可以配置为生成触觉效果。一般而言，对能够生成触觉效果的嵌入式硬件(诸如致动器)的调用可以在设备的操作系统(“OS”)内编程。这些调用指定要播放的触觉效果。例如，当用户使用例如按钮、触摸屏、控制杆、操纵杆、轮子或者某种其它控制与设备交互时，设备的OS可以通过控制电路系统向嵌入式硬件发送播放命令。接着，嵌入式硬件产生适当的触觉效果。

触觉已在最近的技术进步中被充分利用，以增强事件的虚拟体验，其中事件诸如现场直播的体育比赛、音乐会演出、时装演出、喜剧演出、电视剧等。为此，对应的触觉效果可以经由各种方式来提供，例如，经由诸如无线电广播或电视的传统媒体、经由诸如新闻流和移动应用的基于互联网的新媒体、或者经由诸如Oculus Virtual Reality的OculusRift头戴式显示器(“HMD”)的事件虚拟现实平台。虽然这样的技术使得用户有可能经由虚拟通道远程“参加”事件，但是它们无法提供如当亲自参加事件时所体验到的现场事件气氛的完整体验。

发明内容

一种实施例是产生一个或多个触觉效果的系统。该系统接收与事件相关联的输入数据、识别输入数据中事件的要素、基于事件的要素生成这一个或多个触觉效果、并且经由触觉输出设备产生一个或多个触觉效果。在一种实施例中，触觉效果通过触觉化事件的要素来生成。在一种实施例中，触觉效果是被设计的并且基于事件的要素进行调整。在一种实施例中，输入数据与参加事件的人群相关联，并且事件的要素由人群引起。在一种实施例中，输入数据包括由与人群相关联的一个或多个个人设备收集到的触觉数据。在一种实施例中，输入数据指示与人群相关联的一个或多个个人设备的位置。

附图说明

图1是根据本发明实施例的计算机服务器/系统的框图。

图2-7示出了根据本发明实施例的由触觉系统执行的触觉功能的流程图。

图8是根据本发明实施例的当执行触觉功能时图1的基于人群的触觉模块的操作的流程图。

具体实施方式

一种实施例提供了在内容中的触觉，或者更具体而言，在现场内容(或预先记录内容)中的触觉，以允许用户体验现场事件或预先记录事件的氛围。一种实施例将来自现场媒体广播的输入信号(例如，音频信号、传感器信号、由人类操作员输入的信号等)转换为可用来生成触觉效果以模拟现场或预先记录事件的氛围的触觉信号。在一种实施例中，触觉信号对应于由人群观察到的事件要素(例如，比赛强度水平、比赛事件等)或人群关键要素(例如，人群情绪、欢呼声、嘘声等)。一种实施例使用由人群的个人设备收集到的触觉数据并且在提供远程触觉反馈时使用该数据。相应地，通过提供模拟物理上出现在现场事件中的体验的触觉效果，实施例提供了改进的事件虚拟体验。

图1示出了根据本发明一种实施例的系统10的框图。在一种实施例中，系统10是移动设备的一部分，并且系统10为移动设备提供触觉转换功能。在另一种实施例中，系统10是结合到以任何方式与用户接触的物体(例如，家具)中的设备的一部分，并且系统10为这种设备提供触觉转换功能。例如，在一种实施例中，系统10是可穿戴设备的一部分，并且系统10为该可穿戴设备提供触觉转换功能。可穿戴设备的例子包括腕带、头带、眼镜、戒指、腿带、集成到衣服中的阵列，或者用户可以穿在身体上或可以由用户把持的任何其它类型的设备。一些可穿戴设备可以是“启用触觉的”，这意味着它们包括生成触觉效果的机制。在另一种实施例中，系统10与设备(例如，移动设备或可穿戴设备)分离，并且远程地为设备提供触觉转换功能。

虽然被示为单个系统，但是系统10的功能可以被实现为分布式系统。系统10包括用于传送信息的总线12或者其它通信机制，以及耦合到总线12用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10还包括用于存储信息和要由处理器22执行的指令的存储器14。存储器14可以包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁或光盘的静态储存器或者任何其它类型的计算机可读介质的任意组合。

计算机可读介质可以是可以被处理器22访问的任何可用介质并且可以包括易失性和非易失性介质、可移除和不可移除介质、通信介质以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或诸如载波或其它传输机制的调制数据信号中的其它数据，并且可以包括本领域中已知的任何其它形式的信息递送介质。存储介质可以包括RAM、闪存存储器、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移除盘、紧凑盘只读存储器(“CD-ROM”)，或者本领域中已知的任何其它形式的存储介质。

在一种实施例中，存储器14存储当被处理器22执行时提供功能的软件模块。模块包括为系统10、以及在一种实施例中为移动设备的其余部分提供操作系统功能的操作系统15。模块还包括提供触觉功能的基于人群的触觉模块16，如以下更详细公开的。在某些实施例中，基于人群的触觉模块16可以包括多个模块，其中每个模块提供用于提供触觉效果的特定单独的功能。系统10通常将包括一个或多个附加的应用模块18以包括附加的功能，诸如Immersion公司的Integrator^TM软件。

在从远程源接收和/或发送数据的实施例中，系统10还包括通信设备20，诸如网络接口卡，以提供移动无线网络通信，诸如红外线、无线电、Wi-Fi或者蜂窝网络通信。在其它实施例中，通信设备20提供有线网络连接，诸如以太网连接或调制解调器。

处理器22经由总线12进一步耦合到显示器24，诸如液晶显示器(“LCD”)，用于向用户显示图形表示或用户界面。显示器24可以是被配置为从处理器22接收和发送信号的触摸敏感输入设备，诸如触摸屏，并且可以是多点触摸触摸屏。

在一种实施例中，系统10还包括致动器26。处理器22可以把与触觉效果相关联的触觉信号发送到致动器26，致动器26又输出诸如振动触感触觉效果、静电摩擦触觉效果或者变形触觉效果的触觉效果。致动器26包括致动器驱动电路。致动器26可以是例如电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质块电动机(“ERM”)、线性共振致动器(“LRA”)、压电致动器、高带宽致动器或电活性聚合物(“EAP”)致动器。在可替代的实施例中，除致动器26之外，系统10还可以包括一个或多个附加的致动器(未在图1中示出)。

致动器26是触觉输出设备的例子，其中触觉输出设备是被配置为响应于驱动信号而输出任何形式的触觉效果的设备，其中触觉效果诸如振动触感触觉效果、静电摩擦触觉效果或者变形触觉效果等。相应地，在可替代的实施例中，致动器26可以被某种其它类型的触觉输出设备(未示出)代替，该触觉输出设备可以是非机械或非振动设备，诸如使用静电摩擦(“ESF”)或超声波表面摩擦(“USF”)的设备、利用超声波触觉换能器引起声辐射压力的设备、使用触觉基板和柔性或可变形表面或形状改变设备并可以附连到用户身体的设备、提供突出的触觉输出的设备，其中突出的触觉输出诸如利用空气喷嘴的一股空气、基于激光的抛射物、基于声音的抛射物等等。

例如，一种实施例提供基于激光的抛射物，其中激光能量电离浓缩区域半空中的空气分子，以提供等离子体(正和负粒子的浓缩的混合物)。在一种实施例中，激光器可以是飞秒激光器，它以非常快和非常紧张的节奏发射脉冲，并且激光越快，人类触摸越安全。抛射物可以作为触觉和交互式的全息图出现。当等离子体与用户皮肤接触时，用户可以感觉到浓缩区域中带电空气分子的振动。用户皮肤上的感觉由当用户与在半空中的等离子体交互时产生的波引起。相应地，触觉效果可以通过使用户经受这种浓缩区域而提供给用户。可替代地或附加地，触觉效果可以通过使用户经受由定向声能生成的振动而提供给用户。

此外，在其它可替代的实施例中，系统10可以不包括致动器26或任何其它触觉输出设备，并且与系统10分离的设备包括生成触觉效果的致动器或者另一个触觉输出设备，并且系统10通过通信设备20把生成的触觉信号发送到那个设备。

在一种实施例中，系统10还包括扬声器28。处理器22可以将音频信号发送到扬声器28，扬声器又输出音频效果。扬声器28可以是，例如，动态扬声器、电动力学扬声器、压电扬声器、磁致伸缩扬声器、静电扬声器、丝带和平面磁性扬声器、弯曲波扬声器、平板扬声器、欢呼声(heil)空气运动换能器、等离子体弧扬声器和数字式扬声器。在可替代的实施例中，除了扬声器28，系统10还可以包括一个或多个附加的扬声器(未在图1中示出)。此外，在其它可替代的实施例中，系统10可以不包括扬声器28，并且与系统10分离的设备包括输出音频效果的扬声器，并且系统10通过通信设备20将音频信号发送到那个设备。

在一种实施例中，系统10还包括传感器30。传感器30可以被配置为检测某种形式的能量，或者其它物理属性，诸如但不限于声音、移动、加速度、生理信号、距离、流量、力/压力/应变/弯曲、湿度、线性位置、朝向/倾度、射频、旋转位置、旋转速度、开关的操纵、温度、振动或可见光强度。传感器30还可以被配置为把检测到的能量或其它物理属性转换为电信号或表示虚拟传感器信息的任何信号。传感器30可以是任何设备，诸如但不限于加速度计、心电图、脑电图、肌电图、眼电图、电鄂图(electropalatograph)、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、挠曲传感器(或者弯曲传感器)、力敏电阻器、负荷传感器、LuSense CPS2 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或者滑动触头)、线性可变差分变压器、指南针、测斜器、磁性标签(或者射频标识标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度-换能集成电路)、麦克风、光度计、高度计、生物监视器、相机或光敏电阻器。

在可替代的实施例中，除了传感器30之外，系统10还可以包括一个或多个附加的传感器(在图1中未示出)。在这些实施例的一些当中，处理器30和一个或多个附加传感器可以是传感器阵列的一部分，或者是传感器的某种其它类型的集合。此外，在其它可替代的实施例中，系统10可以不包括传感器30，并且与系统10分离的设备包括检测某种形式的能量或其它物理属性并且将检测到的能量或其它物理属性转换为电信号或表示虚拟传感器信息的其它类型信号的传感器。接着，设备可以将转换后的信号通过通信设备20发送到系统10。

一般而言，利用已知的系统，用户可以在接收对应的触觉感觉的同时远程地和虚拟地参加事件或查看预先记录的事件。例如，D-BOX Technologies公司提供的运动系统提供与特定视频内容同步的运动效果，以允许观看者更真实地体验视频内容。这种运动系统使用媒体剪辑的低频音频内容或者使用人的制作来创建触觉效果。一些其它已知的系统，诸如Guitammer公司的“Buttkicker”系统，产生增强由远程用户感觉到的视觉/音频效果的触觉效果。Buttkicker系统使用低频音频内容以及场馆中的传感器来捕捉比赛的要素。一些其它已知的系统，诸如Fanmode公司的“Fanmode”应用，通过将远程用户的反馈(例如，挥手、尖叫等)中继回到场馆中以允许远程用户参与现场体育比赛的场馆交互。利用这些已知的系统，虽然用户可以远程地和虚拟地参加现场事件或预先记录的事件，但他/她至少部分地丢失了由亲自参加事件的用户所体验到的事件气氛的体验。

与已知系统相比，本发明的一些实施例提供了捕捉对应于事件(例如，体育事件、音乐会、表演等)的气氛的要素的触觉反馈，气氛诸如激动人心的时刻和人群情绪(例如，人群能量、紧张、欢呼等)。实施例向远程用户重新渲染这种触觉反馈。一种实施例基于音频、视频和/或传感器信号，或者基于由事件的参加者或观众输入的数据进行人群情绪推断，并且接着提供对应于推断出的人群情绪的触觉反馈。进一步的实施例使用由人群的个人设备收集到的触觉数据，并且在提供远程触觉反馈时使用该数据。相应地，当用户不能亲自参加事件时(例如，由于事件是远程的或者因为事件在过去发生)，实施例提供捕获不止事件的音频/视频记录内容的触觉反馈，使得用户可以看到、听到并且还感觉到真实的参加者将会看到、听到和感觉到的。

在一种实施例中，与人群和/或事件相关的数据被捕获并且接着被分析，以检测相关时刻和可以触觉上提供给远程用户的关键要素。这种要素可以包括，例如，人群的欢呼声、嘘声、以特定节奏的合唱、对裁判的喊叫、用其脚踩踏、鼓掌等。在一种实施例中，这些关键要素从捕获的音频信号中被推断出(例如，从事件的主音频馈送中、从专用于人群的音频馈送中、从由人群的个人设备记录的音频或视频数据中，等等)。在一种实施例中，音频事件检测可以如在例如美国专利申请序列No.14/078,445中所描述的那样被执行，该专利申请的公开内容通过引用被整体地结合于此。

在一种实施例中，一旦关键要素被检测到，它就通过利用可以被调节以与关键要素特性(例如，强度、长度等)匹配的设计效果来触觉化(例如，基于存储在数据库中的设计效果的查找表)。在附加的或可替代的实施例中，识别出的关键要素通过利用如在例如美国专利申请序列No.14/078,442、美国专利申请序列No.14/078,445、美国专利申请序列No.14/020,461和/或美国专利申请序列No.14/020,502中描述的音频到触觉转换算法来触觉化，其中这些专利申请中的每一个的公开内容通过引用被整体地结合于此。

在一种实施例中，其它人群要素可以经由放置在现场事件处的传感器和/或人群的个人设备内的或附连到人群的个人设备的传感器来捕获。例如，诸如人站起、离开事件、坐一段时间等的人群要素可以经由安装在人群座位上、下或周围的压力传感器来捕获。附加地或可替代地，这些人群要素可以基于经由人群的个人设备捕获的信号来捕获和/或识别。例如，可以使用人群的智能电话来测量指示诸如加速度、变形等的人群的活动的信号。在另一个例子中，可以使用人群的智能电话来记录指示人群的活动的音频或视频信号。

在可替代的或附加的实施例中，可以使用放置在现场事件处和/或人群的个人设备内的或附连到人群的个人设备的各种传感器来感测与事件相关的触觉信息，诸如由舞台上的来源引起的振动、由驾驶路过的赛车引起的振动等。相应地，诸如人群情绪的人群要素可以单独基于由这些触觉传感器提供的信号，或与来自本文所描述的其它传感器/设备/来源的信号组合推导出。在一种实施例中，人群情绪的估计可以从每个单独信号或者从多组信号中推断出，并且人群情绪接着可以通过轮询所估计的人群情绪来确定。例如，在一种实施例中，如果轮询指示人群的80％感受到强触觉效果(例如，由于赛车在某个时间经过)，则人群情绪被确定为“兴奋”。可替代地，从多个来源接收到的信号可以首先被合并/融合，并且接着人群情绪可以从合并/融合的信号中推断出。

在一种实施例中，可以使用这种人群信息(例如，人群的活动)以及描述参赛者或表演者移动的数据(例如，加速度、速度等)和人群音频馈送(和/或由人群的个人设备捕获的音频数据)来推断事件特性，诸如人群的情绪、比赛/事件剧烈强度和高潮等。在一种实施例中，可以使用这些事件特性来调整与比赛或人群相关联地创建的触觉效果。例如，在曲棍球比赛中，所有的触觉效果(例如，与参赛者、比赛、人群等相关的触觉效果)就比赛自身的强度水平可以被强化(即，利用较大的强度提供)或被降低(即，利用较小的强度提供)。

在一种实施例中，诸如情绪、强度和比赛事件的关键要素的检测利用诸如神经网络、支持向量机(“SVM”)、贝叶斯网络等的基于人工智能(“Al”)的模型来执行。基于AI的模型从传感器(例如，压力传感器、加速度传感器、音频馈送、人群个人设备等)接收数据、推断由这些数据导致的诸如最可能的情绪或强度水平的要素、以及使用这些要素来调节/调整与比赛或事件相关的触觉效果。

在可替代的或附加的实施例中，关键要素(例如，人群的欢呼声、嘘声等)和/或事件的特性(例如，情绪、强度等)由外部观察者/馆长(即，人类操作员)来识别。外部观察者/馆长的命令和关键要素的特性(例如，幅度、持续时间等)接着利用将关键要素与对应的预先配置的触觉效果相关联的预先配置的查找表被转译为触觉效果。可替代地或附加地，识别出的关键要素和事件特性可以利用将音频或数据转换为触觉效果的对应的转换算法被转译为触觉效果。

在一种实施例中，事件由终端用户现场观看，并且用来创建触觉效果的音频和感觉(sensory)数据、触觉效果轨道自身和/或操作员命令被实时地传送到终端用户设备。在可替代的实施例中，事件在以后的时间被观看，并且用来创建触觉效果的音频和感觉数据、触觉效果轨道自身和/或操作员命令连同对应的媒体内容一起被存储，以便在以后的时间显示/提供给终端用户。

在一种实施例中，触觉效果可以在事件的传输链的不同部分处生成。例如，触觉效果可以利用感觉/音频数据或命令在用户播放设备处，或者在接收数据和命令并且接着将触觉效果发送到终端用户设备的远程服务器处生成。可替代地或者附加地，触觉效果可以在传感器处本地生成和/或在人群的个人设备内生成。例如，一些传感器平台可以具有使它们能够本地检测事件关键要素和/或执行触觉效果转换/调节的处理能力，使得只有生成的/调节的触觉效果从传感器平台被发送。在可替代的或附加的实施例中，位于事件场所的专用服务器可以从在场所处实现的一些或全部传感器和/或从一些或全部人群个人设备接收数据，并且接着检测事件关键要素和/或执行触觉效果转换/调节。

在一种实施例中，与人群或事件有关的触觉效果可以在任何触觉播放媒体上提供给用户。例如，触觉效果可以在移动设备(例如，平板计算机、智能电话等)、可穿戴设备(例如，腕带、智能服装等)、配备有致动器的家具、启用触觉的头戴式显示器(“HMD”，诸如Oculus Rift)等处提供。在这些实施例中，音频/视频媒体内容可以显示在提供触觉效果的同一媒体上，或具有播放能力的任何其它媒体(例如，电视)上。

在一种实施例中，终端用户可以利用触觉播放设备用户界面根据他/她自己的品味来定制触觉体验。例如，终端用户可以配置触觉播放来强调一些事件、忽略一些其它事件等。例如，在一种实施例中，基于忽略特定事件的用户偏好，当该事件发生时，触觉播放不创建触觉效果。在可替代的或附加的实施例中，当用户指示忽略事件的偏好时，对应的触觉效果不发送或播放给用户。类似地，基于强调特定事件的用户偏好，当那个事件发生时，与那个事件相关的触觉效果利用较高的强度显示/提供给用户。

在一种实施例中，终端用户可以配置触觉播放来提供与在事件处的某个位置或视点(“POV”)相关联的反馈。例如，基于用户偏好，只有来自在场所处实现的传感器和/或来自人群个人设备的数据的子集可以用来提供触觉播放。例如，当终端用户指示对就像在事件场所处的某个位置处出现一样远程地体验事件的偏好时，只有来自在那个位置处或周围或者与其相关联地实现的传感器的数据和/或来自在那个位置处或周围的人群个人设备的数据被用来向远程用户提供触觉反馈。

在一种实施例中，用户可以在启用触觉的环境中观看远程的或预先记录的事件。例如，用户可以在启用触觉的房间里观看事件、可以使用可穿戴的启用触觉的设备、可以使用虚拟现实(“VR”)系统(例如，诸如NextVR或Occulus Rift的HMD)等。当有趣的事件在事件期间发生并且对应于用户关心的事情时(例如，曲棍球比赛中命中)，系统识别那个事件(例如，利用传感器或通过馆长)并且将事件或事件的预处理版本发送到用户播放系统，以提供对应于该事件的触觉效果。相应地，用户通过触觉渲染系统“感觉到”事件。

在一种实施例中，不同“类型”的触觉效果可以对应于不同类型的事件。例如，在一种实施例中，不同的触觉效果可以变化并且是独特的，以让用户知道人群是兴奋的或放松的。在附加的或可替代的实施例中，一种类型的触觉效果可以相对于人群关键要素提供，而不同类型的触觉效果可以相对于表演者/参赛者/比赛事件提供。在一种实施例中，触觉效果可以通过改变一个或多个参数来改变，并且因此与其它触觉效果不同(即，不同的触觉效果类型)。一般而言，定义特定触觉效果的高级参数包括幅度、频率和持续时间。也可以使用诸如流电机(streaming motor)命令的低级参数来确定特定的触觉效果。这些参数的一些变化形式可以改变触觉效果的感觉，并且可以进一步使触觉效果被认为是“动态的”。示例类型的触觉效果包括振动、摇晃、止动、弹出等，并且每个这些触觉效果的参数可以被改变，以产生不同的触觉效果。在一个例子中，第一类型的触觉效果可以指示人群关键要素(例如，欢呼声、嘘声等)，而第二类型的触觉效果可以指示比赛事件(例如，得分、超时等)。此外，可以使用不同类型的触觉效果来指示不同的信息，诸如人群欢呼声、人群嘘声等。

在一个例子中，用户可能对某个乐队感兴趣，但是可能住在离乐队计划现场表演的位置太远。用户可以替代地通过互联网观看表演的现场广播，同时接收渲染场景的强度和能量的触觉反馈。在一种实施例中，用户可以利用家庭影院系统和高清晰度电视在他/她舒适的家中观看表演，同时坐在提供与表演相关的触觉效果的触觉椅子上。例如，椅子可以在当人群合唱时在表演最激动人心的时刻摇晃。在一种实施例中，触觉效果可以通过改变对应的高级参数(例如，幅度、频率、持续时间等)、对应的低级参数(例如，流电机命令等)、或这些参数的变化形式或组合来调节/调整，以改变触觉效果的感觉，例如使触觉效果被认为是“动态的”。

在一种实施例中，当推断人群情绪时，诸如事件的强度和人群的兴奋度的人群要素被确定，并且对应的触觉效果被相应地调节/调整。在一种实施例中，对应于关键要素的触觉效果的参数可以根据同一关键要素或不同关键要素的特性来调节/调整。例如，渲染人群情绪的触觉效果可以根据人群情绪要素的强度和/或根据比赛的强度或比赛事件的出现来调节。

在一种实施例中，通过确定音频馈送中的某些事件或与信号相关的其它事件并且只触觉化对应于那些事件的那些部分，可以向用户提供增强的、有针对性的以及可配置的触觉反馈。此外，由于信号的特定部分而不是整个信号被触觉化，因此实施例可以使用被配置用于信号的那些部分的并与对应的事件相关的触觉转换算法，以提供更准确的和增强的触觉反馈。

实施例适用于任何现场或预先记录的事件。实施例适用于具有现场人群的事件的任何音频/视频表示，其中触觉效果被用来渲染如由现场人群感觉到的事件的气氛。

在一种实施例中，诸如音频、视频、触觉的事件信号和对应于事件或现场人群的感觉信号可以从人群的用户设备获得，用户设备例如智能电话、可穿戴设备、生理传感器等。例如，事件的触觉信号可以以变形、加速度、振动、音频等形式被人群个人设备捕获。在一种实施例中，这种用户设备可以经由诸如互联网的任何通信介质传送事件信号，并且触觉效果可以通过从通信介质获得事件信号来产生。例如，在一种实施例中，事件信号可以经由人群个人设备(例如，可以附连到或嵌入在参加现场事件的人的智能电话内的麦克风、相机、加速度计等)捕获，或者可以从接触传感器、压力传感器、或与参加事件的一个或多个用户相关联的任何生理传感器获得。

在一种实施例中，生理传感器可以测量指示诸如人群情绪的事件关键要素的信号。例如，生理传感器可以包括提供指示由参加事件的人体验的激动水平的信号的血压传感器或温度传感器。在一种实施例中，其它信号可以从人群身体中进行测量，并且可以被用来获取指示人群关键要素的生理信号。例如，可穿戴设备可以被用来测量参加事件的人的心率，并且心率的上升会指示在事件时兴奋水平的上升。相应地，对应的触觉效果可以提供给远程用户。

在一种实施例中，人群的用户设备可以被轮询，以识别人群的子集是否正在移动(例如，是否多个参加者正在跳舞或摇动)，并且人群情绪可以被相应地推断出。在一种实施例中，人群的移动可以经由可穿戴或手持式用户设备内配置的传感器(诸如加速度计、计步器等)来测量。在一个例子中，如果正在竭力移动的参加者数量大于阈值，则人群情绪可以被推断为兴奋。在一种实施例中，一个或多个参加者可以允许人群信息经由他们的用户设备和/或可穿戴物被收集，并且人群信息可以只从被其用户授权共享信息的那些设备中拉取。

在一种实施例中，人群关键要素可以经由由参加者通过诸如Twitter、Facebook等通信网络上传和/或共享的事件信息来获得/推断出。在一种实施例中，与某个事件相关的上传/共享的事件信息通过观察与事件相关联的事件标识符来识别，事件标识符诸如散列标签(hashtag)、位置信息、事件名称、事件日期/时间等。在一种实施例中，用于一些事件关键要素的对应的触觉效果基于与事件相关联的一个或多个记录来确定，并且接着当为同一事件或为其它事件渲染用于类似事件关键要素的触觉效果时，这些效果被重用。

在一种实施例中，当用户创建和共享事件的视频时，用户被给予选项来提供用于将触觉效果与视频或者与视频的一个或多个部分相关联的推荐/建议。在一种实施例中，用户可以从一组预先记录的效果中选择触觉效果并且将那个触觉效果与上传/共享视频或者与上传/共享视频的一个或多个部分相关联。在一种实施例中，用户还可以利用用于创建视频的相同设备或利用不同设备记录触觉事件信息，并且将该触觉信息共享为与视频相关联的触觉轨道或者共享为可用来创建与视频相关联的触觉轨道的触觉信息。

一种实施例使用事件的多个上传/共享的视频来生成与由那些视频捕获的事件的事件关键要素相关的触觉效果。在一种实施例中，这种触觉效果与捕获相同或不同事件中的相同或类似事件关键要素的将来上传/共享的视频相关联。一种实施例使用多个人群个人设备的捕获的触觉信息来生成事件的触觉轨道和/或生成与由触觉信息捕获的事件的事件关键要素相关的触觉效果。

在一种实施例中，事件关键要素从由参加者和/或其它远程观众上传/共享的事件信息中推断出。在一种实施例中，事件关键要素可以通过利用数据融合功能和/或关联各种信息来源来推断出，信息来源诸如音频馈送、视频馈送、在事件处配置的参加者/参赛者/比赛传感器、事件的上传视频(例如，可以基于对应的散列标签与事件相关联的视频)、在上传视频上做出的指示事件关键要素的评论(例如，“人群在欢呼！”)、在上传视频上做出的某个评论的时间戳、与事件相关的并在特定时间戳时提交的Twitter消息、来源于人群个人设备的信息，等等。在一种实施例中，上述提到的信息被关联并且用来推断各种事件和/或创建对应的触觉效果。

在一种实施例中，事件的多个上传/共享的视频或触觉轨道被处理，以获得某个事件或某个事件关键要素的模型。在一种实施例中，这种模型在新的上传/共享视频或触觉轨道可用时被动态地更新，并且应用到将来的视频或触觉轨道，以识别对应的事件或事件关键要素，并且潜在地调节/调整模型。

一种实施例提供了用于广播现场事件的触觉播放系统，并且触觉效果被提供给接收现场事件的广播的远程用户。在一种实施例中，触觉播放系统包括接收用于现场事件的视频数据和对应于视频数据的触觉数据的分离信号、或者接收包括视频数据和触觉数据的复合信号的终端用户设备。触觉数据可以包括直接触觉效果流或指示哪些触觉效果必须被执行的一组命令。

图2示出了根据实施例的由触觉系统200执行的触觉功能的流程图。在202处，接收事件的一个或多个音频馈送，并且在204处，在接收到的音频数据上执行声学(即，音频)事件检测。可替代地或者附加地，可以在203处从一个或多个人群设备(例如，参加事件的人群的个人设备)接收音频数据。基于音频事件检测，在206处，事件的关键要素被识别。在一种实施例中，关键要素可以对应于人群关键要素，例如欢呼声、嘘声等。在208处，音频到触觉的转换只对在事件的音频信号内检测到的人群关键要素执行，并且在210处，对应的人群触觉效果被提供给终端用户。

图3示出了根据实施例的由触觉系统300执行的触觉功能的流程图。触觉系统300在202、203、204、206和210处执行如在图2的触觉系统200中的相同的功能。但是，在触觉系统300中，一旦人群关键要素在206处被识别，则在302处，对每个识别出的人群关键要素调节和注入预先设定的效果。预先设定的效果可以与将响应于识别出某个人群关键要素而提供给用户的触觉效果的特性相对应。例如，对于诸如欢呼声、嘘声等的每个识别出的人群关键要素，诸如强度、持续时间等的预先设定的效果可以被确定，并且具有这种预先设定的效果的触觉效果在210处被提供给终端用户。

图4示出了根据实施例的由触觉系统400执行的触觉功能的流程图。在402、404、406、424和426处，事件信息分别经由人群传感器和/或参赛者/比赛传感器和/或一个或多个音频馈送和/或上传/共享的信息和/或人群设备被接收到。在一种实施例中，人群传感器可以包括放置在人群座位上、下或周围的压力传感器。在一种实施例中，上传/共享的信息包括，例如，由事件的参加者经由他们的个人通信设备共享的信息、由事件的观众在社交网络上共享的信息、在互联网上上传的事件的视频、与事件相关的Twitter消息、对与事件相关的视频或Twitter消息的评论，等等。在408处，音频分析在音频馈送信号和/或从人群设备接收到的音频数据上执行。在一种实施例中，音频分析包括声学事件检测。在可替代的实施例中，音频分析包括检测一个或多个音频属性，诸如音频馈送平均音量/强度、特定频率范围内容，等等。

在410处，来自402、404、408、424和426的事件信号被馈送到AI决策支持模型，以识别各种关键要素。在412、414和416处，诸如人群情绪和/或比赛强度水平和/或比赛事件的事件关键要素被分别识别。在418处，使用识别出的关键要素来调节从420获得的触觉轨道。例如，在一种实施例中，可以使用识别出的关键要素来调节触觉轨道中的特定触觉效果的强度和持续时间。在一种实施例中，触觉轨道可以被制作或者可以通过从来自事件的音频/视频/传感器/触觉信息的转换来获得。最后，在422处，调节的触觉轨道被提供给终端用户。

图5示出了根据实施例的由触觉系统500执行的触觉功能的流程图。触觉系统500在206、208和210处执行与在图2的触觉系统200中的相同的功能。但是，在触觉系统500中，在502处，事件信息由人类操作员组织并且提供到206。在一种实施例中，人类操作员可以在事件现场，或者可以从事件接收音频/视频馈送。在一种实施例中，人类操作员提供标记对应于诸如欢呼声、嘘声等的人群关键要素的事件的反馈。

图6示出了根据实施例的由触觉系统600执行的触觉功能的流程图。触觉系统600在502、206和210处执行如在图5的触觉系统500中的相同的功能。但是，在触觉系统600中，一旦人群关键要素在206处被识别出，则在302处，预先设定的效果如本文参考图3描述的对每个识别出的人群关键要素被调节并且被注入，并且具有这种预先设定的效果的触觉效果在210处被提供给终端用户。

图7示出了根据实施例的由触觉系统700执行的触觉功能的流程图。触觉系统700在412、414、416、418、420和422处执行如在图4的触觉系统400中的相同的功能。但是，在触觉系统700中，在502处，事件信息由人类操作员组织，如本文参考图5所描述的。这种事件信息接着被用来在412、414和416中识别事件关键要素。

一种实施例使用人群个人设备(例如，智能电话、可穿戴设备等)来记录用于连同事件的视频轨道在以后/远程播放的触觉轨道(例如，振动)。在一种实施例中，人群注意力在于将视频/音频轨道与由相应设备记录的触觉轨道相关联。一种实施例可以在这种人群个人设备中的一个或多个处实现触觉传感器的阵列。一种实施例提供用于收集和合并由在人群中(例如，在音乐会处、在赛车比赛处等)存在的大量此类设备生成的振动数据的功能。可以使用多个记录来提高触觉轨道的质量和/或提供用于在VR中播放的本地化触觉数据。相应地，如果在单个人群用户设备中可用的传感器不能提供触觉体验的准确再现，则由多个人群个人设备记录的触觉数据被使用/合并，以提供更好的触觉轨道。当部署更准确的记录设备是昂贵的和困难的时，该益处更加显著。此外，当期望在不同位置处的触觉体验被再现时，例如，在诸如VR的环境中，多个触觉轨道记录可能是必要的。

在一种实施例中，在智能电话和可穿戴设备(例如，平板计算机、智能手表等)上可用的传感器被用来生成用于音频-视频内容的触觉轨道。传感器可以包括，例如，加速度计、麦克风、专用触觉记录设备(例如，激光振动计、干涉振动计)等。可替代地或附加地，触觉信息可以基于视频运动估计(例如，基于由智能电话或可穿戴设备捕获的连续帧之间的变化)导出。一种实施例还使用由在事件处分布的其它设备捕获的数据，其它设备诸如使用与在消费者设备中使用的相同的传感器技术(例如，加速度计、麦克风、激光振动计等)但是更昂贵并且具有更好的性能(例如，更好的精度、分辨率、信噪比、采样速率、方向性等)的专业设备。

一种实施例提供用于从人群中(例如，在音乐会处、在赛车比赛处等)的多个用户设备收集触觉数据的功能。该多个记录接着可以例如在后处理中或实时地被合并。在一种实施例中，合并后的记录可以用来生成具有比其构成触觉轨道高的质量的触觉轨道。例如，该多个记录可以被平均以降低噪声，或者多个记录的子集可以被选择作为最佳记录并且接着被平均或合并。可替代地，可以使用数据融合算法来合并多个记录，如本文将参考各种实施例进行描述的。

在一个可替代的或附加的实施例中，可以使用合并后的记录来生成用于诸如VR的环境的一个或多个空间化触觉轨道。触觉轨道接着可以与体验的音频-视觉记录相关联。在这种实施例中，触觉轨道可以通过在与VR中被模拟的虚拟位置相关的多个记录之间进行插值来生成。例如，触觉轨道可以基于与在VR中被模拟的虚拟位置最近的记录、基于在VR中被模拟的虚拟位置周围的多个记录等来生成。在一种实施例中，可以使用传播的模型来预测在特定空间位置处的触觉记录。例如，可以使用传播的模型来基于一个或多个触觉记录重建触觉反馈的来源，并且接着预测如它将会在该特定空间位置处被体验的触觉效果。

一种实施例通过利用云服务来收集和合并若干人群个人设备的记录。例如，在一种实施例中，每个人群个人设备记录触觉轨道并且将记录传送到云服务内的服务器。服务器接着合并和/或平均化接收到的记录，并且将它提供给远程用户的播放设备。

在一种实施例中，由各种人群个人设备收集到/记录的各种触觉轨道在被合并/平均之前被同步。例如，在一种实施例中，每个人群个人设备对它的记录打时间戳并且使用该时间戳来同步各种人群个人设备的记录。在一种实施例中，由人群个人设备收集到的数据连同关于传送的记录的位置信息和元数据被传送到服务器或中央设备进行分析。传送的数据可以包括时间戳，以便于与其它记录同步，使得实施例可以确定在各个位置处和/或由各种设备/可穿戴物/传感器记录的各种测量之间的时序关系。

一种实施例检测从人群个人设备接收到的记录中的缺失信息(例如，间隙)并且朝具有弱覆盖/记录或者没有覆盖/记录的点引导参加记录的人群的成员。检测从人群中接收到的记录中的缺失信息并且相应地引导人群的成员的一个例子在Schofield等人的“Bootlegger:Turning Fans into Film Crew”CHI 2015Proceedings of the 33rdAnnual ACM Conference on Human Factors in Computing Systems,Pages 767-776(“Schofield”)中被公开。人群的引导可以是基于人群的期望位置(例如，向左移动)、期望的对象(例如，拍摄歌手或鼓手)等。

在一种实施例中，人群的引导通过向人群提供反馈(例如，视觉反馈、触觉反馈等)来执行。一种实施例从人群收集不同类型的记录，诸如音频记录、视频记录、触觉记录等。例如，人群个人设备可以提供视频记录和相关联的触觉记录两者，并且触觉记录可以被用来与视频记录的播放一起提供远程触觉反馈。在一种实施例中，人群的引导可以是根据事件的远程观众的偏好的。例如，事件的一个或多个现场参加者可以充当事件广播的远程观众的代理。例如，远程观众可以基于参加者的位置、由参加者的记录捕获的对象等确定哪个现场触觉记录要被转发用于播放。在一种实施例中，远程观众可以替代地或附加地选择从其接收反馈的参赛者/表演者。例如，远程观众可以选择接收由附连到足球比赛的参赛者的传感器/设备捕获的触觉和/或其它反馈，并且观众可以在以后的时间改变选择，以从不同的参赛者和/或从比赛的现场参加者得到反馈。

例如，在一种实施例中，参加音乐会的人群中的人可以使用个人设备(例如，智能电话)上的应用来记录表演的触觉轨道。用户接着可以通过利用Oculus Rift在以后的时间重新体验该事件。例如，人可以虚拟地移动穿过人群并且感觉到触觉体验的变化，就像在事件中出现的一样。

例如，在一种实施例中，用户可以在其平板计算机上观看赛车事件，并且当赛车驾驶通过时，感觉到振动，就像是在现场人群内一样。这种振动可能已被在赛道处的多个人群用户设备(例如，智能电话)记录。相应地，当广播该事件以被人观看时，可以基于在特定时间使用的相机选择和提供最好的振动记录。例如，当相机聚焦于赛道中的特定位置时，可以使用来自靠近那个特定位置和/或观察那个特定位置的人群个人设备的振动记录来向正在观看事件广播的人提供触觉反馈。

在一种实施例中，人群个人设备确定其在三维空间中的位置(即，提供空间反馈)。这可以经由诸如全球定位系统(“GPS”)的室外定位系统或者通过实现室内定位功能(诸如检测在空间中分布的邻近蓝牙信标)来执行。一种可替代的或附加的实施例可以通过让不同设备彼此通信(例如，通过WiFi直连或蓝牙)并且估计信号强度来估计它们的相对位置。一种可替代的或附加的实施例可以基于其它传感器信号来估计设备的位置，其它传感器信号诸如由相机捕获的图像或由设备捕获的声音的强度。例如，人群个人设备的位置可以基于由相机捕获的图像中在那个位置处的光强度来确定。在另一个例子中，人群个人设备的位置可以基于由相机捕获的图像中的模式识别来确定。在另一个例子中，人群个人设备的位置可以基于如由设备捕获的指示声音的来源和/或该设备离舞台多远的声音强度来确定。

在一种实施例中，在各种事件数据被收集到之后(例如，从在事件处的不同位置处的不同传感器、从人群个人设备等)，这些数据被融合成用于以后和/或远程播放的一致的数据集。一种实施例将收集到的数据融合成可以连同对应的音频-视觉内容一起播放的单个触觉轨道中，从而提供单POV反馈。可替代或附加的实施例使用收集到的数据来产生基于事件处各种位置的振动的映射，从而提供多POV反馈。

在一种实施例中，为了提供单POV反馈，收集到的数据被合并，使得最佳结果产生的触觉轨道被获得。合并可以利用本领域中已知的任何传感器融合算法来执行，该算法基于例如由每个传感器/设备记录的信号的噪声或变化、每个传感器的特性(例如，信噪比、记录质量等级等)、记录的信号的幅度、距记录的振动的来源(例如，在音乐会处的舞台或扬声器)的距离等执行数据融合。例如，在一种实施例中，传感器融合功能可以获得传感器信号的加权平均，其中权重是基于每个传感器的质量等级的。

一个可替代或附加的实施例提供了映射在各种位置处感受到的振动的多POV反馈。这种实施例适用于例如其中用户可以查看周围和/或在空间中移动的VR环境。它也适用于其中相机角度可以被正在接收触觉反馈的用户选择、并且触觉反馈与所选择的相机相关联地提供(例如，不同的触觉轨道被提供用于不同的视频轨道)的非VR环境。在这种实施例中，传感器融合功能可以是如在单个POV场景中，但是只适用于收集到的对应于在事件处的某些位置的数据。例如，为了提供对应于特定位置(例如，空间中的点)的触觉反馈，一种实施例确定来自在那个位置附近的传感器/设备(例如，在那个位置的某个邻近范围中的传感器/设备)的记录的最佳融合。相应地，该实施例提供了用于空间中的一些位置的一组触觉轨道，从中可以对于空间中的任意点推导出(例如，基于插值)触觉轨道。

但是，一种可替代的实施例可以通过利用收集到的数据来确定单个融合的触觉轨道和在各种空间位置处振动强度的映射来提供多POV反馈。这种实施例基于融合的触觉轨道和在特定空间位置处振动的强度产生用于那个特定空间位置的触觉反馈(例如，通过基于在那个特定空间位置处测得或预测的振动的强度来缩放融合的触觉轨道)。

一种实施例在提供触觉反馈时实现多个致动器。例如，通过本文相对于多POV反馈描述的功能得到的一个或多个触觉反馈可以分配给具有多个致动器的设备的各个致动器。这种实施例适用于，例如，在左侧和右侧具有致动器的平板计算机上提供播放、通过用户的左和右手腕上的可穿戴物提供播放，等等。在一种实施例中，本文参考多POV反馈描述的功能可以被实现，以得出每致动器一个触觉轨道。例如，基于在事件处由在各种位置处的各种传感器/设备收集到的数据，如果在感兴趣位置的左侧感测到较强的振动，则平板计算机的左手致动器与它的右手致动器相比可以提供较强的播放振动。

在一种实施例中，触觉反馈连同音频-视觉和/或VR内容一起提供。音频-视觉和/或VR内容可以被提供在例如电视、智能电话、平板计算机、VR耳机等上。伴随的触觉反馈可以被提供在例如智能电话、平板计算机、可穿戴物(例如，智能手表)等上。在一种实施例中，触觉反馈可以是根据本文描述的任何类型的触觉刺激(例如，振动、戳、挤压、变形等)的，并且基于记录的振动和相应的触觉刺激之间的映射来生成。例如，在一种实施例中，记录的振动的强度可以被映射到播放设备上变形的强度。在一种实施例中，播放设备连同触觉数据一起接收音频-视频内容，并且同步地播放它们。

在提供本文参考多POV反馈描述的功能的一种实施例中，播放客户端可以基于远程用户在VR环境中的位置/朝向来识别用于播放的触觉轨道。例如，播放客户端可以通过在由数据融合功能提供的两个最接近的触觉数据点之间线性插值来识别触觉轨道。

一种实施例可以在一个或多个人群用户设备上实现从这些设备收集数据的应用。应用也可以可选地提供指导，以提高经由人群用户设备执行的记录的质量。例如，通过基于已经从事件处的传感器/设备收集到的数据执行传感器融合功能的至少一部分，一种实施例确定记录的当前质量的估计。如果该估计指示在记录中存在对应于与事件处的某个空间位置相关的不充分或缺失信息的间隙，则应用指引人群中的一个或多个用户朝对应的空间位置移动，以便提高那个区域的覆盖。

在一种实施例中，在音乐会人群中的用户智能电话和/或可穿戴物被用来记录振动。记录接着由服务器收集并且收集到的数据被处理，以生成最佳地合并所有记录的高质量触觉轨道。可替代地或附加地，收集到的数据被处理，以生成再现在人群中不同位置处的触觉体验的空间化触觉轨道。

一种实施例提供用于融合从在事件处的各种传感器/设备收集到的数据的数据融合功能。在一种实施例中，取决于所使用的传感器的性质和分布，数据的来源可能是冗余的(例如，两个或更多个来源提供相同的数据)、合作的(例如，融合来自两个或更多个来源的数据提供比每个来源更精确的数据)、或互补的(例如，来自不同来源的数据对应于环境的不同部分)。数据融合功能可以是根据例如贝叶斯推理、最大似然法、最小二乘法、卡尔曼滤波器、颗粒滤波器、集成方法等的。贝叶斯推理是其中在获取证据时使用贝叶斯定理来更新假设的概率的统计推理。贝叶斯推理可以是基于拉普拉斯的、基于高斯的，等等。最大似然法包括找出最大化其似然分布的给定统计的一个或多个参数的值。最小二乘法的方法是找出最小化误差的平方和的解的过程。最小二乘法可以被执行为无迹的(unscented)、加权的，等等。卡尔曼滤波器使用一系列随着时间推移观察到的并且包括统计噪声和其它不准确性的测量，并且产生比那些基于单个测量自身所获得的更精确的未知变量的估计。卡尔曼滤波器可以是扩展的、无迹的，等等。颗粒滤波器方法是基于概率密度的点质量(或“颗粒”)表示的顺序蒙特卡洛方法。集成方法使用多个学习算法来获得可以从任何组成的学习算法中获得的更好的预测性能。

在一种实施例中，数据融合功能的选择可以基于数据特性，诸如记录的数量、记录的相对位置、记录中的噪声量、记录中的噪声类型(例如，高斯、随机等)等。例如，当使用来自具有可能的各种误差的不同来源/记录/设备的不同观察来预测同一变量(例如，在某个位置处的振动)时，来自各种来源的数据可以被输入到卡尔曼滤波器中，其鉴于振动传播的模型可以确定在没有对应记录的位置处的有价值的最佳预测。在一种实施例中，参考特定记录被输入到数据融合算法中的观察可以是在某个时间段内(例如，5毫秒窗口)记录的信号的均方根(“RMS”)值、在某个时间段内的信号的最大值，等等。在一种实施例中，由其中一个传感器/设备交付的关于加速度/振动的每个值(例如，测得的加速度值)被认为是对应的状态变量的观察。

本文描述的数据融合功能可以被实现用于任何播放配置，诸如提供单POV反馈、提供多POV反馈、将一个或多个不同的触觉轨道分配给具有多个致动器的设备的各个致动器等。在一种实施例中，为了提供多POV反馈和/或将不同的触觉轨道分配给不同的致动器，对于位于事件处的特定区域中的每个传感器/设备，对应的读数被认为是对应于那个位置的状态变量的观察。取决于所使用的数据融合功能的类型，一种实施例还应用状态变量随着时间演变的建模。演变模型可以是将状态变量在时间“t”的值链接到其在时间“t-1”的值的等式系统，并且可以取决于被使用的数据和正在被估计的变量。一种可替代的或附加的实施例使用如本文描述的数据融合功能来估计其中没有感测/记录信息可用、但是相关的感测/记录信息从在周围区域处可用的传感器/设备被收集的区域中的触觉信息(例如，加速度/振动的值)。

在实现用于数据融合的卡尔曼滤波器的一种实施例中，为了将收集到的数据融合到单个触觉轨道中以提供单POV反馈，围绕点P的每个传感器/智能电话/设备都提供要被估计的状态变量的观察，该状态变量即在点P处的振动水平。假设过程噪声和观察噪声两者都是具有已知的协方差矩阵的白高斯噪声并且状态变量遵循高斯分布，则状态变量通过与白噪声相加而在时间上演变。在这种实施例中，观察模型还集成了确定在离振动源某个距离处的振动的振动传播模型。

图8是根据本发明实施例的当产生一个或多个触觉效果时图1的基于人群的触觉模块16的流程图。在一种实施例中，图8的流程图的功能由存储在存储器或者其它计算机可读或有形介质中并且由处理器执行的软件来实现。在其它实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)，等等)或者硬件和软件的任意组合来执行。

在802处，基于人群的触觉模块16接收与事件相关联的输入数据。在一种实施例中，输入数据源自音频馈送、视频馈送、传感器、人类操作员、网站或事件参加者的用户设备当中的一个或多个。在一种实施例中，输入数据与参加事件的人群相关联。在一种实施例中，与人群相关联的数据包括由人群发源/生成的数据(例如，欢呼声、嘘声、合唱等)和/或捕获如由人群体验的事件的数据(比赛强度、情绪、参赛者表现等)。

在804处，基于人群的触觉模块16识别输入数据中事件的要素。在一种实施例中，输入数据源自两个或更多个数据来源，并且事件的要素通过关联所述两个或更多个数据来源中的信息来识别。在一种实施例中，事件的要素由人群引起。在一种实施例中，事件的要素可以对应于人群情绪，诸如兴奋、激动、跳舞等的人群。在一种实施例中，事件的要素对应于不同的人群噪声，诸如欢呼声、嘘声、喘气声等。

在806处，基于人群的触觉模块16基于事件的要素生成一个或多个触觉效果。在一种实施例中，一个或多个触觉效果的生成可以包括调整所述一个或多个触觉效果。在一种实施例中，一个或多个触觉效果通过触觉化事件的要素来生成。在可替代的实施例中，一个或多个触觉效果是基于事件的要素被调整的经设计的触觉效果。在一种实施例中，调整包括基于事件的要素调节一个或多个触觉效果的参数(例如，强度、持续时间等)。在一种实施例中，一个或多个触觉效果基于事件的不同要素或基于与事件相关联不同的输入数据来生成，其中事件的不同的要素基于输入数据或基于不同的输入数据来获得。

在808处，经由触觉输出设备产生一个或多个触觉效果。在一种实施例中，输入数据捕获位于特定位置处和/或从特定POV/角度观看事件的事件的参加者的体验。相应地，这样的触觉效果帮助用户体验事件，就像位于这种位置一样和/或就像从这种特定POV/角度观看事件一样。在这种实施例中，触觉效果可以基于由用户在事件处的各种位置/POV/角度当中选择的位置/POV/角度进行修改和/或进行调整。在一种实施例中，用于提供对应于每个位置/POV/角度的触觉效果的输入数据从出现在那个位置/POV/角度的人群中和/或从在那个位置/POV/角度捕获事件信息的传感器中收集。

在一种实施例中，输入数据包括由与参加事件的人群相关联的一个或多个个人设备收集到的触觉数据。在一种实施例中，输入数据还包括由与参加事件的人群相关联的一个或多个个人设备收集到的视频或音频数据。在一种实施例中，输入数据指示与参加事件的人群相关联的一个或多个个人设备的位置。在一种实施例中，在接收到输入数据时，基于人群的触觉模块16确定触觉数据缺少与事件处的位置相关联的触觉信息，并且引导人群中的一个或多个朝该位置移动。在一种实施例中，在接收到输入数据时，基于人群的触觉模块16确定触觉数据缺少与事件处的表演者相关联的触觉信息，并且引导人群中的一个或多个捕获关于表演者的触觉信息。

在一种实施例中，基于人群的触觉模块16基于由与参加事件的人群相关联的一个或多个个人设备收集到的触觉数据生成事件的触觉轨道。在一种实施例中，基于人群的触觉模块16基于由与参加事件的人群相关联的一个或多个个人设备收集到的触觉数据生成与在事件处的相应不同位置相关联的一个或多个触觉轨道。

在一种实施例中，基于人群的触觉模块16确定远程用户指示对于接收与在事件处的某个位置相关联的触觉反馈的偏好。在一种实施例中，基于人群的触觉模块16基于该偏好选择一个或多个触觉轨道内的触觉轨道，并且基于该触觉轨道向远程用户提供触觉反馈。

如所公开的，实施例允许现场事件气氛被远程用户体验到。一种实施例捕获事件数据(例如，音频、视频、感觉数据、上传/共享的事件信息等)并且分析事件数据(自动地或通过人类操作员)，以识别要被触觉化的事件关键要素。一个可替代的或附加的实施例使用所捕获的数据来获得用于调节与事件关键要素相关的触觉效果的参数。实施例将相关的所捕获的数据转换为触觉效果(通过自动转换或基于设计的效果)。一种实施例存储用来生成或调节触觉效果的数据和/或触觉效果轨道本身，使得存储的数据和/或触觉轨道可以在以后的时间提供给用户播放设备。可替代的实施例将用来生成或调节触觉效果的数据和/或触觉效果轨道本身发送到用户播放设备。触觉效果接着连同现场或注册事件的媒体内容一起提供给终端用户。相应地，实施例给予终端用户更好地虚拟沉浸到远程或预先记录的事件的氛围中的可能性。

本文具体地图示和/或描述了若干实施例。但是，应该认识到，在不背离本发明的精神和预期范围的情况下，所公开的实施例的修改和变化被上述示教涵盖并且在权利要求的范围之内。

Claims (20)

1.一种用于产生一个或多个触觉效果的方法，包括：

接收与事件相关联的输入数据；

识别输入数据中的事件的要素；

基于事件的要素生成所述一个或多个触觉效果；以及

经由触觉输出设备产生所述一个或多个触觉效果。

2.如权利要求1所述的方法，其中所述一个或多个触觉效果通过触觉化事件的要素来生成。

3.如权利要求1所述的方法，其中所述生成包括基于事件的要素调节所述一个或多个触觉效果的参数。

4.如权利要求1所述的方法，其中所述一个或多个触觉效果是基于事件的要素被调整的经设计的触觉效果。

5.如权利要求1所述的方法，其中所述一个或多个触觉效果基于事件的不同要素或基于与事件相关联的不同的输入数据来生成，其中事件的不同要素基于所述输入数据或基于所述不同的输入数据来获得。

6.如权利要求1所述的方法，其中所述输入数据源自音频馈送、视频馈送、传感器、人类操作员、网站或事件的参加者的用户设备中的一个或多个。

7.如权利要求1所述的方法，其中所述输入数据源自两个或更多个数据来源，其中事件的要素通过关联所述两个或更多个数据来源中的信息来识别。

8.如权利要求1所述的方法，其中所述输入数据与参加事件的人群相关联。

9.如权利要求8所述的方法，其中事件的要素由人群引起。

10.如权利要求8所述的方法，其中所述输入数据包括由与参加事件的人群相关联的一个或多个个人设备收集到的触觉数据。

11.如权利要求10所述的方法，其中所述输入数据还包括由与参加事件的人群相关联的所述一个或多个个人设备收集到的视频或音频数据。

12.如权利要求10所述的方法，其中所述输入数据指示与参加事件的人群相关联的所述一个或多个个人设备的位置。

13.如权利要求10所述的方法，还包括：

确定触觉数据缺少与事件处的位置相关联的触觉信息；以及

引导人群中的一个或多个朝该位置移动。

14.如权利要求10所述的方法，还包括：

确定触觉数据缺少与事件处的表演者相关联的触觉信息；以及

引导人群中的一个或多个捕获关于表演者的触觉信息。

15.如权利要求10所述的方法，还包括：

基于由与参加事件的人群相关联的所述一个或多个个人设备收集到的触觉数据生成事件的触觉轨道。

16.如权利要求10所述的方法，还包括：

基于由与参加事件的人群相关联的所述一个或多个个人设备收集到的触觉数据生成与事件处的各个不同位置相关联的一个或多个触觉轨道。

17.如权利要求16所述的方法，还包括：

确定远程用户指示对于接收与事件处的某个位置相关联的触觉反馈的偏好。

18.如权利要求17所述的方法，还包括：

基于所述偏好在所述一个或多个触觉轨道内选择触觉轨道；以及

基于该触觉轨道向远程用户提供触觉反馈。

19.一种用于产生一个或多个触觉效果的设备，包括：

处理器；以及

具有存储在其上的指令的计算机可读存储单元，所述指令当被处理器执行时使得所述处理器：

接收与事件相关联的输入数据；

识别输入数据中的事件的要素；

基于事件的要素生成所述一个或多个触觉效果；以及

经由触觉输出设备产生所述一个或多个触觉效果。

20.一种用于产生一个或多个触觉效果的系统，包括：

接收与事件相关联的输入数据的接收模块；

识别输入数据中的事件的要素的识别模块；

基于事件的要素生成所述一个或多个触觉效果的生成模块；以及

经由触觉输出设备产生所述一个或多个触觉效果的产生模块。