CN106249868A - 广播触觉架构 - Google Patents

广播触觉架构 Download PDF

Info

Publication number
CN106249868A
CN106249868A CN201610402546.9A CN201610402546A CN106249868A CN 106249868 A CN106249868 A CN 106249868A CN 201610402546 A CN201610402546 A CN 201610402546A CN 106249868 A CN106249868 A CN 106249868A
Authority
CN
China
Prior art keywords
data
haptic
sensor
user device
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610402546.9A
Other languages
English (en)
Inventor
A·哈马姆
J·M·克鲁兹赫南德兹
J·萨博尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN106249868A publication Critical patent/CN106249868A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于将触觉数据从直播事件传递给终端用户设备的系统。记录器被配置为记录直播事件的视频数据。传感器被配置为感测与所述直播事件相关联的参数并且将所述所感测的参数输出为传感器数据。变换器被配置为从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据。终端用户设备被配置为从所述变换器接收所述触觉数据并且被配置为接收所述直播事件的所述视频数据。所述终端用户设备包括触觉输出设备，其被配置为基于所述触觉数据向用户生成触觉效果，并且包括显示器，其被配置为显示所述视频数据。

Description

广播触觉架构
技术领域
其实施例大体涉及多媒体内容处理和呈现，并且更特别地，涉及具有触觉效果的增强音视频内容。
背景技术
通常使用在视频游戏产业中的触觉效果可以提供触觉提示，其增强用户体验并且针对用户使虚拟环境更交互。例如，震动效果或震动触觉效果在将提示提供给电子设备的用户以对于特定事件警报用户或提供现实反馈以创建模拟环境或虚拟环境内的较大的感官沉浸可以是有用的。可以通过将触觉效果添加到直播事件的音频分量和视频分量增强在观看诸如体育事件的直播事件中的用户的体验。其实施例涉及用于将触觉数据从直播事件传递给终端用户设备的架构。
发明内容
其实施例涉及一种用于将触觉数据从直播事件传递给终端用户设备的系统。所述系统包括记录器、传感器、变换器和终端用户设备。所述记录器配置为记录直播事件的视频数据。所述传感器配置为感测与所述直播事件相关联的参数并且将所感测的参数输出为传感器数据。所述变换器配置为从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据。所述终端用户设备配置为从所述变换器接收所述触觉数据并且配置为接收所述直播事件的所述视频数据。所述终端用户设备包括触觉输出设备，其配置为基于所述触觉数据向用户生成触觉效果，并且包括显示器，其配置为显示所述视频数据。
其实施例涉及一种系统，包括记录器、传感器、现场传输站、变换器和终端用户设备。所述记录器配置为记录直播事件的视频数据。所述传感器配置为感测与所述直播事件相关联的参数并且将所感测的参数输出为传感器数据。所述现场传输站定位在所述直播事件的现场。所述现场传输站配置为接收所述直播事件的所述视频数据并且包括用于处理所述直播事件的所述视频数据的处理器。所述变换器配置为从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据。所述终端用户设备配置为从所述变换器接收所述触觉数据并且配置为从所述现场传输站的所述处理器接收所处理的视频数据。所述终端用户设备包括触觉输出设备，其配置为基于所述触觉数据向用户生成触觉效果，并且包括显示器，其配置为显示所述视频数据。
其实施例还涉及一种将触觉数据从直播事件传递给终端用户设备的方法。记录直播事件的所述视频数据。感测与所述直播事件相关联的参数，并且将所感测的参数输出为传感器数据。接收来自所述传感器的所述传感器数据，并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据。在终端用户设备处接收所述触觉数据。所述终端用户设备包括显示器，其配置为显示所述视频数据。在所述终端用户设备处接收所述直播事件的所述视频数据。所述终端用户设备包括触觉输出设备，其配置为基于所述触觉数据向用户生成触觉效果。基于所述触觉数据，利用所述触觉输出设备生成至少一个触觉效果，并且将所述视频数据显示在所述显示器上。
附图说明
本发明的前述和其他特征和优点通过其如附图中所示的实施例的以下描述将变得显而易见。并入本文并且形成说明书的一部分的附图还用于解释本发明的原理并且使得相关领域的技术人员能够制造和使用本发明。附图不按比例。
图1图示了用于将触觉数据从直播事件传递给终端用户设备的简化流程图。
图2图示了包括在将触觉数据从直播事件传递给终端用户设备时所利用的基本分量的更详细的流程图，其中，将经处理的音频数据和/或视频数据和触觉数据传送给终端用户设备作为分离或不同的信号。
图3图示了根据其另一实施例的包括在将触觉数据从直播事件传递给终端用户设备时所利用的基本分量的更详细的流程图，其中，将经处理的音频数据和/或视频数据和触觉数据传送给终端用户设备作为复合信号。
图4是根据其实施例的终端用户设备的框图。
图5是可以用作其实施例中的终端用户设备的多设备系统的框图，其中，多设备系统包括初级终端用户设备和次级终端用户设备。
图6是根据其实施例的广播触觉架构的图示，其中，触觉数据的变换经由触觉事件的手动插入在现场处理或传输站处发生。
图7是根据其另一实施例的广播触觉架构的图示，其中，将原始传感器数据变换为触觉数据在现场处理或传输站之后但是在到达终端用户设备之前发生。
图8是根据其另一实施例的广播触觉架构的图示，其中，将原始传感器数据变换为触觉数据在现场处理或传输站之前或其处发生并且对终端用户设备的分布利用中央处理服务器。
图9是根据其另一实施例的广播触觉架构的图示，其中，将原始传感器数据变换为触觉数据在现场处理或传输站之前或其处发生并且对终端用户设备的分布未利用中央处理服务器。
图10是根据其另一实施例的广播触觉架构的图示，其中，将原始传感器数据变换为触觉数据在传感器自身处发生。
图11是根据其另一实施例的广播触觉架构的图示，其中，将原始传感器数据变换为触觉数据在终端用户设备处发生。
具体实施方式
现在参考附图描述本发明的特定实施例，其中，相同的附图标记指示相同或功能类似的元件。以下详细描述实际上仅是示范性的并且不旨在限制本发明或者本发明的应用和使用。而且，不旨在由前述技术领域、背景技术、发明内容和以下具体实施方式中所呈现的任何所表达或所隐含的理论进行限制。
其实施例涉及用于将触觉数据从直播事件传递给终端用户设备以便实现直播视频连同直播触觉效果的观看的架构。换句话说，本文所描述的架构适于嵌入或包括具有直播视频和/或音频广播的触觉数据以增强用户的体验。期望能够记录直播事件的视频，而同时记录直播事件的实时方面，使得事件的实时方面可以与直播视频一起回放作为触觉效果或感觉以为观看直播视频的用户提供甚至更多的现实和沉浸式体验。当与离线美术利用编程工具编辑并且写入同步代码以试图使触觉效果与视频同步相比较时，记录来自场景中的对象的实时数据并且触觉地再现其体验是采集或重新创建体验的更直观的方式。而且，当与触觉信号的手授权合成相比较时，记录和变换真实世界传感器数据以产生触觉输出是生成触觉内容的更成本效益的方式。
更特别地，参考图1的流程图100，直播事件(诸如但不限于将广播给远程用户的体育事件)生成各种形式的原始数据，诸如音频、视频和/或传感器数据，如步骤102处所示。如本文将更详细描述的，配置为输出传感器数据的传感器与直播事件中所利用的设备相关联或与参与直播事件的一个或多个运动员相关联。原始数据(即，原始音频、视频和/或传感器数据)经历一个或多个处置或处理，如在步骤104处所示，使得一个或多个终端设备可以将从传感器数据所导出的音频、视频和/或触觉数据输出给用户，如在步骤106处所示。本文的实施例涉及用于将从一个或多个传感器所导出的触觉数据进行读取、分析和/或变换从直播事件传递给终端用户设备的架构。如本文所使用的触觉数据包括被用于创建或被转换为传达触觉信息的数据的传感器数据，并且因此触觉数据涉及直播事件或与其相关联。更特别地，触觉数据包括手动地被用于创建传达触觉信息的数据的传感器数据(即，通过人类设计者或操作者)以及自动地被转换为传达触觉信息的数据(即，经由一个或多个处理器通过自动转换)。触觉数据是馈送或提供到触觉输出设备或发挥或输出触觉效果的触觉外围的致动器的控制信号。在与音频和/或视频传输信道分离或独立的独立信道中传送触觉数据。创建针对触觉数据的独立信道提供植入的多功能性并且对不能必然地仅由音频或视频数据标识的各种事件进行区分(即，当直接从音频或视频数据生成触觉时)，从而确保这些事件被转换为触觉效果并且不被察觉。
图2图示了包括当将触觉数据从直播事件传递给终端用户设备时所利用的基本分量的更详细的流程图200。音频和/或视频记录器108定位在直播事件处以便采集原始音频和/或视频数据，而传感器110定位在直播事件处并且与直播事件中所利用的设备相关联以便采集原始传感器数据。包括原始音频和/或视频数据的信号112从音频和/或视频记录器108传送给处理器或编码器116，并且包括原始传感器数据的信号114从传感器110传送给处理器或变换器118。处理器或编码器116处置或处理包括原始音频和/或视频数据的信号112，并且包括经处置或经处理的音频和/或视频数据的信号112从处理器或编码器116传送或广播给终端用户设备，所述终端用户设备相应地具有用于输出经处置的音频和/或视频数据的扬声器和/或显示器124。更特别地，可以自动地或通过人类操作者手动地完成原始音频和/或视频数据的处置，所述人类操作者能够例如控制馈送的延迟或质量和/或能够选择对哪个音频馈送或视角进行广播。变换器118将包括原始传感器数据的信号114处置或处理为触觉信号，并且包括触觉数据的信号122从变换器118传送或广播给终端用户设备，所述终端用户设备具有用于输出触觉数据的触觉输出设备126。在步骤104中，不要求包括原始音频和/或视频数据的信号112的处置在与包括原始传感器数据的信号114的处置在相同时间或地点处执行。关于图6-11的实施例在本文中所公开的架构描述了针对包括原始传感器数据的信号114的处置的不同的时间和地点。
在图2的实施例中，包括经处置或经处理的音频和/或视频数据的信号120和包括触觉数据的信号122图示为递送给一个或多个终端设备的分离或不同的信号。然而，在图3中所描绘的其另一实施例中，包括经处理或经处置的音频和/或视频数据以及触觉数据(即，已经由变换器118处置或处理的传感器数据)的复合信号328递送给一个或多个终端设备。复合信号328包括视频内容或数据、音频内容或数据和触觉内容或数据，这样的部分要么以时间顺序交错递送，要么这样的部分无序递送，但是包含可以被解释用于以正确时间顺序重新组装以用于由终端设备呈现给用户的排序信息。编码器(未示出)可以取得包括触觉数据的信号122并且将其编码为包括经处理的音频和/或视频数据的信号120。在Phan等人的美国专利申请公开2014/0347177(代理人案号IMM489)中描述了用于编码的适合的编码器和方法，其通过引用并入本文。编码可以以运动图像专家组(“MPEG”)容器中的专用轨道或作为现有音频和/或视频流的未使用/未充分利用的光谱分量的形式。可以经由空中(“OTA”)模拟广播、卫星、网际协议(“IP”)网络或其他现有体育传输方法将编码流分布给远程观看者。在本文所描述的架构实施例的处理或变换步骤中的任一个之前和/或之后，经处置或经处理的音频和/或视频数据和触觉数据可以采取任何形式，即分离或不同的信号或复合信号。换句话说，触觉数据和经处置或经处理的音频和/或视频数据可以在与本文所描述的任何实施例中在相同的容器中一起编码或作为分离的馈送进行馈送或传送。而且，解码器可以存在于本文所描述的架构实施例的变换或处理阶段中的任一个处以从复合信号提取馈送(即音频、视频和触觉)中的任一个并且然后处理或变换所提取的馈送。在处理或变换之后，所变换的馈送可以被广播为分离的馈送或在编码器的帮助下重新编码为复合信号。另外，在其任何实施例中，本文所描述的信号(包括信号112、114、120、122和/或328)可以包括元数据。在实施例中，元数据可被用于触觉效果和音频和/或视频数据的同步，如在Lacroix等人的美国专利公开号2008/0223627(代理人案号IMM250)中所描述的，和/或可被用于至少部分确定触觉效果、事件和/或在触觉效果与事件之间相关联，如在Birmbaum等人的美国专利公开号2013/09311811(代理人案号IMM392)中所描述的，和/或可以以其他方式利用，如在Lacroix等人的美国专利公开号2014/0340209(代理人案号IMM459)中所描述的，其中的每一个以其整体内容通过引用并入本文。
在图2或图3的步骤106中，一个或多个终端用户设备用于输出经处理的音频和/或视频数据和触觉数据。换句话说，一个或多个终端用户设备将广播流(即，信号120、122)解码为视频、音频和触觉分量，并且每个分量可以由相同物理终端用户设备或不同物理终端用户设备显示或输出(即，针对视频的计算机或电视、针对音频的扬声器或头戴式耳机和针对触觉的可穿戴触觉外围或移动设备)。
更特别地，在实施例中，单个终端用户设备可以包括扬声器和/或显示器124以及触觉输出设备126，并且可被用于输出经处理的音频和/或视频数据以及触觉数据。例如，远程用户可以正在观看诸如电话或平板电脑等移动设备上的体育事件。在该实施例中，蜂窝或Wi-Fi技术可被用于传输，并且视觉、音频和触觉内容将经由相同设备输出。在另一实施例中，用户可以正在观看体育场或竞技场中的体育事件直播。在该实施例中，移动设备将提供相同位置中的附加沉浸并且将增强游戏的整体氛围和设置。移动设备将保持在用户的手中或保持在用户的口袋中，同时仍然输出触觉内容。
更特别地，图4图示了单个终端用户设备430的框图，其包括用于输出声音内容或数据的扬声器424A、用于输出视频内容或数据的显示屏424B和用于输出触觉内容或数据的触觉输出设备426。为了感知或感觉触觉效果，终端用户设备430是由用户保持、附接或耦合到用户的设备或具有可以将触觉或触感效果传达给用户的表面。在实施例中，终端用户设备430是包括触觉效果渲染能力的电子手持式设备，诸如移动电话、平板计算机、游戏设备、个人数字助理(“PDA”)等等。例如，终端用户设备430可以是在市场中众所周知并且可购得的平板计算机，诸如和Galaxy针对终端用户设备430的其他适合的设备包括但不限于个人数字助理(PDA)、计算机、游戏外围和本领域的技术人员已知的其他设备。
如图4的框图上所示，终端用户设备430包括接收器434、处理器432、存储器436、触觉输出设备426、显示屏424B和扬声器424A。终端用户设备430执行存储在存储器436中并且由处理器432执行的软件应用。处理器432可以是任何类型的通用处理器，或者可以是特别地被设计为提供触觉效果信号的处理器。存储器436可以是任何类型的存储设备或计算机可读介质，诸如但不限于随机存取存储器(RAM)或只读存储器(ROM)。存储器436还可以定位在处理器或内部存储器和外部存储器的任何组合的内部。扬声器424A可以是例如内置或耦合到终端用户设备430使得终端用户设备430具有经由扬声器424A输出音频的能力的扬声器。终端用户设备430还具有经由显示屏424B输出视频的能力。显示屏424B可以耦合到终端用户设备430，或者如本领域的技术人员已知，终端用户设备430和显示屏424B可以组合为单个设备。另外，取决于所利用的广播信号的类型，终端用户设备430可以包括用于从因特网接收流信号的内置有线或无线调制解调器(未示出)。
在操作中，终端用户设备430的接收器434接收包括触觉数据的信号122或接收复合信号328并且识别其触觉分量。包括触觉数据的信号122或复合信号328的触觉分量然后路由或传送给处理器432。包括触觉数据的信号122或复合信号328的触觉分量可以例如包括直接触觉效果流或指示哪些触觉效果必须执行的命令集。响应于接收包括触觉数据的信号122或复合信号328的触觉分量，处理器432命令触觉输出设备426将一个或多个触觉效果提供或输出给用户。处理器432可以决定将什么触觉效果发送给触觉输出设备426并且以什么顺序发送触觉效果。例如，包括触觉数据的信号122或复合信号328的触觉分量可以包括电压幅值和持续时间。在另一示例中，包括触觉数据的信号122或复合信号328的触觉分量可以将高级命令提供给处理器432，诸如待由触觉输出设备426输出的触觉效果的类型(例如，震动、摇动、掣动、弹出等等)，其中，处理器432关于待输出的触觉效果的特定特性(例如，幅值、频率、持续时间等等)命令触觉输出设备426。处理器432可以从耦合到其的存储器436检索触觉效果的类型、幅值、频率、持续时间或其他特性。在另一实施例中，包括触觉数据的信号122或复合信号328的触觉分量可以将代码或标识号提供给处理器432，其与先前存储在处理器432的存储器中的触觉效果相对应。
触觉反馈增强用户体验。如本文所使用的，动感效果(诸如活动或阻力触觉反馈)和/或触感效果(诸如震动、纹理和热)统称为“触觉反馈”或“触觉效果”。共同触觉效果给用户提供对音视频内容的较大的沉浸感，因为多个模态同时接合，例如视频、音频和触觉。例如，震动效果或震动触觉效果在将提示提供给用户以对于特定事件警报用户或提供现实反馈以创建模拟环境或虚拟环境内的较大的感官沉浸是有用的。终端用户设备430的处理器432可以正在运行软件算法，其还裁剪或调谐触觉数据以优化将渲染触觉数据的特定类型的终端用户设备430。
由触觉输出设备426所提供的触觉效果可以包括但不限于暂态效果，诸如掣动或震动。触觉输出设备426可以是物理和/或非物理致动器。可能的物理致动器包括但不限于其中偏心质量由电动机移动的偏心旋转质量(“ERM”)致动器、其中来回地驱动附接到弹簧的质量的线性谐振致动器(“LRA”)、压电致动器、其中偏心质量由电动机移动的电磁电动机、震动触觉致动器、惯性致动器或其他适合类型的致动设备。可能的非物理致动器包括但不限于静电摩擦(ESF)、超声表面摩擦(USF)和其他非物理致动器。在另一实施例中，(一个或多个)触觉输出设备426可以使用动觉触觉反馈，包括例如改变终端用户设备430的外壳的硬度/阻尼的螺线管、改变外壳的大小的小气袋或形变材料
由触觉输出设备426所输出的触觉效果可以包括但不限于不同程度的震动、不同程度的掣动或其他类型的触觉效果。如果终端用户设备包括多个触觉致动器，那么处理器432可以确定在哪个触觉致动器处每个触觉效果将执行并且提供给用户。在这样的实施例中，在存储在终端用户设备的存储器中的软件代码中生成高级触觉参数或流动值(streaming value)。通过处理器处理参数或值，并且从而生成针对每个触觉致动器的适当的电压电平。这允许终端用户设备将适当的触觉效果提供给用户并且通过针对每个触觉输出设备426所生成的不同的电压电平使触觉效果的数量或类型变化。
在另一实施例中，终端用户设备430可以是可穿戴触觉外围，其配置为耦合到用户或邻近用户定位。例如，终端用户设备430不要求包括扬声器424A或显示屏424B而是可配置为附接到用户的身体或附接到邻近用户定位的衣服或家具，使得可穿戴触觉外围的(一个或多个)触觉输出设备可以将触觉效果递送给用户的相关身体部分(即，其中冲压机已经到达的身体部分)。
在图5中所描绘的另一实施例中，多设备系统538包括输出经处理的音频和/或视频数据的第一或初级终端用户设备540(诸如电视)和输出触觉数据的次级终端用户设备530。例如，用户还可以正在观看大屏幕电视或初级终端用户设备540上的体育事件，但是将次级终端用户设备530(诸如电话、平板电脑或遥控器)用作“第二屏幕”。在体育事件期间，第二屏幕设备日益被用于观看关于事件的元数据或扩展信息，诸如体育统计和广告。在该实施例中，视频和/或音频数据或内容将主要消耗在初级终端用户设备540的大屏幕上，但是触觉数据或内容可以利用次级终端用户设备530体验。次级终端用户设备530可以保持在用户的手中或保持在用户的口袋中，同时仍然输出触觉内容。在题为“Second ScreenHaptics”的Lacroix等人的美国专利临时专利申请62/021,663(代理人案号IMM533P)中描述了针对多设备系统的各种架构，其以整体内容通过引用并入本文。
初级终端用户设备540是诸如电视或TV的音视频显示设备，其配置为输出包括经处理的音频和/或视频数据的信号120或复合信号328的音频和/或视频分量。如图5的框图上所示，初级终端用户设备540包括接收器542、扬声器524D和显示屏524C。接收器542接收包括经处理的音频和/或视频数据的信号120或复合信号328的音频和/或视频分量并且将信号转换为可以处理为图像和声音的电气信号。扬声器524D可以是例如内置或耦合到初级终端用户设备540并且将电气信号转换为连同视频图像播放音频的声波。因此，初级终端用户设备540经由扬声器524D输出音频。显示屏524C配置为将电气信号转换为可见光并且可以是将视频输出给用户的任何类型的介质；这包括但不限于监视器、电视屏幕、等离子、LCD、投影仪或任何其他类型的显示设备。因此，初级终端用户设备540经由显示屏524C输出视频。除TV外的音视频显示设备可以用作初级终端用户设备540，包括但不限于智能电话、游戏控制台、个人数字组织器、笔记本计算机和具有耦合到其的显示屏的其他类型的计算机。取决于所利用的广播信号的类型，初级终端用户设备540可以包括用于从因特网接收流信号的内置有线或无线调制解调器(未示出)。虽然上文所描述的初级终端用户设备540包括用于相应地输出音频和视频内容的显示屏和声音设备，但是初级终端用户设备可以备选地仅输出音频内容(例如，没有视频内容的音乐)或可以备选地仅输出视频内容(例如，没有音频内容的无声电影)。
如图5的框图上所示，次级终端用户设备530与终端用户设备430类似并且包括接收器534、处理器532、存储器536、触觉输出设备526、显示屏524B和扬声器524A。次级终端用户设备530执行存储在存储器536中并且由处理器532执行的软件应用。处理器532可以是任何类型的通用处理器，或者可以是特别地设计为提供触觉效果信号的处理器。存储器536可以是任何类型的存储设备或计算机可读介质，诸如但不限于随机存取存储器(RAM)或只读存储器(ROM)。存储器536还可以定位在处理器或内部存储器和外部存储器的任何组合的内部。扬声器524A可以是例如内置或耦合到次级终端用户设备530的扬声器或头戴式耳机使得次级终端用户设备530具有经由扬声器524A输出音频的能力。次级终端用户设备530还具有经由显示屏524B输出视频的能力。另外，取决于所利用的广播信号的类型，次级终端用户设备530可以包括用于从因特网接收流信号的内置有线或无线调制解调器(未示出)。虽然本文所描述的次级终端用户设备530可以包括用于可选地输出音频和/或视频内容的显示屏和/或声音设备，但是次级终端用户设备不要求具有这些分量和功能性。例如，除触觉输出外，次级设备可以具有视频输出、可以具有音频输出、可以具有视频输出和音频输出二者或既不具有视频输出也不具有音频输出。
多设备系统538可以包括确保在次级终端用户设备530上输出触觉内容和在初级终端用户设备540上输出音视频内容的同步的装置。例如，初级终端用户设备540和次级终端用户设备530可以彼此直接通信以便确保在相应的设备上输出内容的同步。回放定位器信号548可以在初级终端用户设备540与次级终端用户设备530之间通信并且用于确定针对信号120、122或复合信号328的时间参考点。时间参考点可以是例如时间码、计数器、所消耗的媒体回放的秒数、媒体文件中的当前时间回放位置或回放位置的任何其他指示。初级终端用户设备540的回放定位器546有时将回放位置传递给次级终端用户设备530的回放定位器544，或者反之亦然，以确保以与在次级终端用户设备530上输出的信号122或信号328的触觉分量足够地同步的方式渲染在初级终端用户设备540上输出的信号120或信号328的音频和/或视频分量。
如先前所提到的，关于图6-11的实施例在本文中所公开的架构描述了针对将包括原始传感器数据的信号114处置为触觉数据的不同的时间和地点。换句话说，关于图6-11的实施例在本文中所公开的架构描述了在沿着从直播事件位置到终端用户设备发生的分布链的哪个阶段处，将具有原始传感器数据的信号114变换为具有触觉数据的信号122或复合信号328的触觉分量将发生。
图6图示了根据其实施例的广播触觉架构650。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在现场处理或传输站652处发生。如本文所使用的“处理或传输站”是指用于处理包括原始音频和/或视频数据的直播信号的存在于或定位在直播事件处的处理设施。
在广播触觉架构650中，音视频记录器608记录直播事件处的直播音频和视频数据。更特别地，音视频记录器608是记录设备，其配置为记录或采集这两个图像作为视频数据并且记录或采集声音作为音频数据，诸如但不限于视频摄影录像机、智能电话等等。在本文所描述的任何架构实施例中，可以分离地采集或记录场景或事件的视频和音频(即，音频和视频能力可以在分离的或不同的设备上)，或可以仅采集或记录视频，或可以仅采集或记录音频。而且，在本文所描述的任何架构实施例中，音视频记录器可以包括针对多个视频和/或音频馈送的多个视频和/或音频记录设备的系统。包括原始音频和/或视频数据的直播信号612传送给现场处理或传输站652。为了回顾或处理原始音频和/或视频数据以确定其内容适合或适用于广播，在直播信号612从现场处理或传输站652广播之前存在缓冲时段，例如七秒。在该实施例中，人类操作者在现场处理或传输站652处观看直播信号612并且将触觉效果手动地插入缓冲时段内，如由插入654所表示的。换句话说，人类操作者在缓冲时段或强制性的广播延迟期间利用已知触觉效果创作工具创作触觉效果。利用触觉效果的手动插入，在直播事件处不需要智能设备或传感器。相反，人类操作者利用对应的事件插入或嵌入预定或相关联的触觉效果。作为示例，直播事件可以是拳击比赛，并且操作者正从现场处理或传输站652观看比赛。当操作者目睹头部重击时，她将预定或相关联的头部重击触觉效果插入传输流中。作为另一示例，直播事件可以是网球比赛，并且操作者正从现场处理或传输站652观看比赛。当操作者目睹运动员击中球时，她将预定或相关联的球接触触觉效果插入传输流中。
在包括原始音频和/或视频数据的直播信号612在现场处理或传输站652处已经处理或回顾并且插入654已经发生使得触觉效果插入传输流之后，将具有经处理的音频和/或视频数据和嵌入的触觉数据二者的复合信号628传送给广播站656。然后，广播站656将具有经处理的音频和/或视频数据和嵌入的触觉数据二者的复合信号628传送给一个或多个终端用户设备430。如图6上所示，可以将复合信号628传送给多设备终端用户设备，并且因此，终端用户设备430被描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将复合信号628传送给多设备系统，诸如本文所描述的多设备系统538。在其另一实施例中，手动地插入的触觉效果传送给终端用户设备430作为不同的或分离的信号。
如上文所描述的，由于触觉效果的手动插入，因而广播触觉架构650在直播事件处不要求智能设备或传感器。然而，在其另一实施例中，一个或多个传感器(未示出)在直播事件处记录传感器数据并且人类操作者在现场处理或传输站652处接收传感器数据。如由插入654所表示的手动地插入的触觉效果可以基于传感器数据和/或包括原始音频和/或视频数据的直播信号612。因此，在该实施例中，传感器数据连同包括原始音频和/或视频数据的直播信号612采集和传送给现场处理或传输站652。关于广播触觉架构750和传感器710在本文中描述了待利用在该实施例中的示例性传感器和所感测的数据。
图7图示了根据其另一实施例的广播触觉架构750。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在现场处理或传输站752处的音频和/或视频数据的处理之后但是在到达终端用户设备430之前发生。换句话说，在远离直播事件和终端用户设备定位的非现场处理器上执行处置或变换为触觉数据。
在广播触觉架构750中，音视频记录器708在直播事件处记录直播音频和视频数据，并且传感器710在直播事件处记录传感器数据。在本文所描述的任何架构实施例中，传感器可以是针对多个传感器馈送的多个传感器的系统(即，虽然被描述为单个传感器，但是可以利用多个传感器)。概括地说，传感器710是配置用于感测与直播事件相关联的对象、设备或人员的参数并且将所感测的参数转换为传感器数据的传感器。在实施例中，传感器710耦合或附接到在直播事件处所利用的一件设备760，诸如拳击手套、足球、球、网球拍、头盔或其他类型的体育事件相关物品，并且传感器710配置为感测对象的移动或速度并且将所感测的移动转换为传感器数据。传感器710可以是加速度计、陀螺仪、接触压力传感器、全球定位系统(“GPS”)传感器、旋转速度传感器或某种其他类型的传感器，配置为检测加速度、倾斜、惯性、移动或位置的改变。在其另一实施例中，传感器710与参与直播事件的一个或多个运动员相关联并且可以是生理信号(即，体积描记器)传感器。如本文所使用的生理信号包括描述还可以转译为其情绪状态的运动员的物理或生理状态的任何信号。例如，生理信号包括但不限于涉及皮肤电反应、血压、体温的信号、ECG信号、EMG信号和/或EEG信号。在另一实施例中，传感器710配置为感测与直播事件相关联的对象或设备的另一参数并且将所感测的参数转换为传感器数据，但是不要求耦合到对象或设备。例如，传感器710可配置为记录将转换为触觉效果的特定音频和/或视频信号或馈送。例如，传感器710可以是用于采集能够转译为触觉效果的特定噪声(即，引擎噪声)的专用麦克风。不像来自音视频记录器708的信号，来自传感器710的音频和/或视频信号未广播并且未被用于递送视觉和听觉反馈而是仅被用于触觉目的。
在该实施例中，所有原始数据(即，原始视频、音频和传感器数据)一起同时传递到用于其处理或变换的远程或非现场位置。更特别地，将包括原始音频和/或视频数据的直播信号712传送给现场处理或传输站752，并且将包括原始传感器数据的直播信号712也传送给现场处理或传输站752。在不在其上执行任何处理的情况下，现场处理或传输站752相应地将具有原始音频和/或视频数据和原始传感器数据的直播信号712和714传送给广播站756。然后，广播站756相应地将具有原始音频和/或视频数据和原始传感器数据的直播信号712和714传送给本地或区域处理站758。本地或区域处理站758包括处理器(即，图2或3的处理器或编码器116)以回顾或处理原始音频和/或视频数据以确定其内容适合或适用于广播，并且还包括处理器或变换器(即，图2或3的变换器118)以将来自传感器710的原始数据变换为触觉数据。本地或区域处理站758远离直播事件和终端用户设备。在其另一实施例中，现场处理或传输站752包括处理器(即，图2或3的处理器或编码器116)以回顾或处理直播信号712的原始音频和/或视频数据来确定其内容适合或适用于广播，同时在本地或区域处理站758处处理或处置包括原始传感器数据的直播信号714，如上文所描述的。
在实施例中，取决于事件的类型和伴随的传感器信息(诸如力和强度)，将来自传感器710的原始数据变换为包括触觉事件检测或标识的触觉数据。将来自传感器710的原始数据从n(输入)转换到表示为m(输出)的触觉事件检测或标识，如Saboune等人的美国专利申请公开号2015/0054727(代理人案号IMM450)中更详细描述的，其以整体内容通过引用并入本文。待发挥的触觉效果的位置、强度和性质可以相对于触觉事件标识的特性。例如，可以将敲出命中转译为强碰撞，同时错过的反冲可以由轻微震动表示。可以利用用于将原始传感器数据转换或变换为触觉数据或命令的其他处理技术，其包括但不限于震动、表面摩擦调制、皮肤夹紧、皮肤挤压等等。例如，Lacroix等人的美国专利申请公开号2014/0205260(代理人案号IMM439)和Saboune等人的美国专利临时专利申请号61/968,799(代理人案号IMM520P)描述了用于将传感器数据转换为触觉效果的系统和方法，其中的每一个以其整体内容通过引用并入本文。
在本地或区域处理站758回顾或处理来自信号712、714的所有原始数据之后，本地或区域处理站758将触觉的直播事件传送给其具有终端用户设备430的本地用户。如图7上所示，本地或区域处理站758可以同时传送两个分离的或不同的信号，其包括具有经处理的音频和/或视频数据的信号720和具有触觉数据的信号722。在另一实施例中，本地或区域处理站758还可以包括编码器(未示出)，其取得包括触觉数据的信号722并且将其编码为包括经处理的音频和/或视频数据的信号720以形成复合信号，所述复合信号包括经处理的音频和/或视频数据以及触觉数据传送给一个或多个终端设备，如关于图3的以上描述。如图7上所示，可以将信号720、722传送给多设备终端用户设备，并且因此，终端用户设备430描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将信号720、722传送给多设备系统，诸如本文所描述的多设备系统538。
作为广播触觉架构750的示例，直播事件是足球比赛，其利用装备有传感器710的足球，所述传感器710通过放大器(未示出)将包括原始传感器数据的信号传送给现场处理或传输站752。现场处理或传输站752将原始音频/视频/传感器信号传送给很多本地或区域处理站758。本地或区域处理站758处理所有信息并且将触觉的直播事件传送给终端用户设备430。
图8图示了根据其另一实施例的广播触觉架构850。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在现场处理或传输站852处的音频和/或视频数据的处理之前或与其同时发生。
在广播触觉架构850中，音视频记录器808在直播事件处记录直播音频和视频数据，并且传感器810在直播事件处记录传感器数据。与传感器710类似，传感器810是配置为感测与直播事件相关联的对象、设备或人员的参数并且将所感测的参数转换为传感器数据的传感器。在实施例中，传感器810耦合或附接到在直播事件处所利用的一件设备860，诸如拳击手套、足球、球、网球拍、头盔或其他类型的体育事件相关物品，并且传感器810被配置为感测对象的移动或速度并且将所感测的移动转换为传感器数据。传感器810可以是加速度计、陀螺仪、接触压力传感器、全球定位系统(“GPS”)传感器、旋转速度传感器或某种其他类型的传感器，配置为检测加速度、倾斜、惯性、移动或位置的改变。在其另一实施例中，传感器810与参与直播事件的一个或多个运动员相关联并且可以是生理信号(即，体积描记器)传感器。在另一实施例中，传感器810被配置为感测与直播事件相关联的对象或设备的另一参数并且将所感测的参数转换为传感器数据，但是不要求耦合到对象或设备，如上文关于传感器710的描述。
在该实施例中，具有来自传感器810的原始数据的信号814首先在现场处理或传输站852之前或其处进行本地处置并且然后通过现场处理或传输站852传送给负责分配给不同终端用户设备的中央处理服务器864。更特别地，将包括原始音频和/或视频数据的直播信号812传送给现场处理或传输站852，并且将包括原始传感器数据的直播信号814传送给现场变换器或处理器862。现场变换器或处理器862(即，图2或3的变换器118)将来自传感器810的原始数据变换为触觉数据并且然后将包括触觉数据的信号822传送给现场处理或传输站852。如关于广播触觉架构750所描述的，取决于事件的类型和伴随的传感器信息(诸如力和强度)，可以将来自传感器810的原始数据变换为包括触觉事件检测或标识的触觉数据或者可以利用用于将原始传感器数据转换或变换为触觉数据或命令的其他处理技术。现场变换器或处理器862可以物理地定位在与直播事件相同建筑物或现场中或可以定位在现场处理或传输站852内。
现场处理或传输站852包括处理器(即，图2或图3的处理器或编码器116)，以回顾或处理原始音频和/或视频数据来确定其内容适合或适用于广播。现场处理或传输站852然后同时将两个分离的或不同的信号传送给广播站856，所述信号包括具有经处理的音频和/或视频数据的信号820和具有触觉数据的信号822。广播站856将信号820、822传送给中央处理服务器864，中央处理服务器864负责分配给不同的终端用户设备430。如图8上所示，可以将信号820、822传送给多设备终端用户设备，并且因此，终端用户设备430被描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将信号820、822传送给多设备系统，诸如本文所描述的多设备系统538。在另一实施例中，现场处理或传输站852或中央处理服务器864还可以包括编码器(未示出)，其取得包括触觉数据的信号822并且将其编码为包括经处理的音频和/或视频数据的信号820以形成复合信号，其包括经处理或经处置的音频和/或视频数据以及触觉数据传送给一个或多个终端设备，如关于图3上文所描述的。
图9图示了根据其另一实施例的广播触觉架构950。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在现场处理或传输站852处的音频和/或视频数据的处理之前或与其同时发生。
在广播触觉架构950中，音视频记录器908在直播事件处记录直播音频和视频数据，并且传感器910在直播事件处记录传感器数据。与传感器710类似，传感器910是配置为感测与直播事件相关联的对象、设备或人员的参数并且将所感测的参数转换为传感器数据的传感器。在实施例中，传感器910耦合或附接到在直播事件处所利用的一件设备960，诸如拳击手套、足球、球、网球拍、头盔或其他类型的体育事件相关物品，并且传感器910配置为感测对象的移动或速度并且将所感测的移动转换为传感器数据。传感器910可以是加速度计、陀螺仪、接触压力传感器、全球定位系统(“GPS”)传感器、旋转速度传感器或某种其他类型的传感器，配置为检测加速度、倾斜、惯性、移动或位置的改变。在其另一实施例中，传感器910与参与直播事件的一个或多个运动员相关联并且可以是生理信号(即，体积描记器)传感器。在另一实施例中，传感器910配置为感测与直播事件相关联的对象或设备的另一参数并且将所感测的参数转换为传感器数据，但是不要求耦合到对象或设备，如上文关于传感器710所描述的。
在该实施例中，具有来自传感器910的原始数据的信号914首先在现场处理或传输站952之前或其处进行本地处置并且然后在没有中央处理服务器的情况下通过现场处理或传输站952直接传送给不同的终端用户设备，如图8中的实施例所描述的。通过播放经由信号920的流动的经处理的音频和/或视频数据和经由信号922的触觉数据，每个终端用户设备430充当其自身的服务器。如果这是期望的，那么广播触觉架构850之上的广播触觉架构950的优点是对本地附近终端用户设备的传输。作为示例，直播事件是网球比赛，其利用装备有传感器910的球拍，所述传感器910传送加速度和陀螺仪信息。在体育馆中的现场变换器或处理器962处处置原始传感器数据或信号914并且通过现场处理或传输站952将经由信号922的触觉数据与经由信号920的经处理的音频和/或视频数据传输给体育馆周围的具有终端用户设备的人们，其由于直播事件的票券售完而不可以进入体育馆中。附近人们将在其电话或平板电脑上观看比赛并且根据具有触觉数据的信号922感觉触觉效果。
更特别地，将包括原始音频和/或视频数据的直播信号912传送给现场处理或传输站952，并且将包括原始传感器数据的直播信号914传送给现场变换器或处理器962。现场变换器或处理器962(即，图2或3的变换器118)将来自传感器910的原始数据变换为触觉数据并且然后将包括触觉数据的信号922传送给现场处理或传输站952。如关于广播触觉架构750所描述的，取决于事件的类型和伴随的传感器信息(诸如力和强度)，可以将来自传感器910的原始数据变换为包括触觉事件检测或标识的触觉数据或者可以利用用于将原始传感器数据转换或变换为触觉数据或命令的其他处理技术。现场变换器或处理器962可以物理地定位在与直播事件相同建筑物或现场中或可以定位在现场处理或传输站952内。
现场处理或传输站952包括处理器(即，图2或图3的处理器或编码器116)，以回顾或处理原始音频和/或视频数据来确定其内容适合或适用于广播。现场处理或传输站952然后同时将两个分离的或不同的信号直接分配给不同的终端用户设备430，所述信号包括具有经处理的音频和/或视频数据的信号920和具有触觉数据的信号922。如图9上所示，可以将信号920、922传送给多设备终端用户设备，并且因此，终端用户设备430被描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将信号920、922传送给多设备系统，诸如本文所描述的多设备系统538。在另一实施例中，现场处理或传输站952还可以包括编码器(未示出)，其取得包括触觉数据的信号922并且将其编码为包括经处理的音频和/或视频数据的信号920以形成复合信号，所述复合信号包括经处理或经处置的音频和/或视频数据以及触觉数据传送给一个或多个终端设备，如关于图3上文所描述的。
图10图示了根据其另一实施例的广播触觉架构1050。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在现场处理传输站1052处的音频/或视频数据的处理之前发生。
在广播触觉架构1050中，音视频记录器1008在直播事件处记录直播音频和视频数据，并且传感器1010A在直播事件处记录传感器数据。除传感器1010A包括微处理器或微控制器(即，图2或3的变换器118)外，传感器1010A与传感器710类似，其配置为将来自传感器1010A的原始数据变换为触觉数据，如下文将更详细描述的。传感器1010A是配置为感测与直播事件相关联的对象、设备或人员的参数并且将所感测的参数转换为传感器数据的传感器。在实施例中，传感器1010A耦合或附接到在直播事件处所利用的一件设备1060，诸如拳击手套、足球、球、网球拍、头盔或其他类型的体育事件相关物品，并且传感器1010A配置为感测对象的移动或速度并且将所感测的移动转换为传感器数据。传感器1010A可以是加速度计、陀螺仪、接触压力传感器、全球定位系统(“GPS”)传感器、旋转速度传感器或某种其他类型的传感器，配置为检测加速度、倾斜、惯性、移动或位置的改变。在其另一实施例中，传感器1010A与参与直播事件的一个或多个运动员相关联并且可以是生理信号(即，体积描记器)传感器。在另一实施例中，传感器1010A配置为感测与直播事件相关联的对象或设备的另一参数并且将所感测的参数转换为传感器数据，但是不要求耦合到对象或设备。例如，传感器1010A可配置为记录将转换为触觉效果的特定音频和/或视频信号或馈送，如上文关于传感器710所描述的。
在该实施例中，传感器信号的变换在传感器自身内发生。传感器1010A包括微处理器或微控制器，其配置为处理原始传感器数据并且将原始传感器数据变换为触觉数据。广播触觉架构1050的优点在于，本地传感器处理可导致归因于本地较高环路速率的经改进或较好的触觉事件检测或标识。如关于广播触觉架构750所描述的，取决于事件的类型和伴随的传感器信息(诸如力和强度)，可以将来自传感器1010A的原始数据变换为包括触觉事件检测或标识的触觉数据或者可以利用用于将原始传感器数据转换或变换为触觉数据或命令的其他处理技术。
更特别地，将包括原始音频和/或视频数据的直播信号1012传送给现场处理或传输站1052，并且将包括触觉数据的信号1022传送给现场处理或传输站1052。现场处理或传输站1052包括处理器(即，图2或图3的处理器或编码器116)，以回顾或处理原始音频和/或视频数据来确定其内容适合或适用于广播。现场处理或传输站1052然后同时将两个分离的或不同的信号传送给不同的终端用户设备430，所述信号包括具有经处理的音频和/或视频数据的信号1020和具有触觉数据的信号1022。如图10上所示，可以将信号1020、1022传送给多设备终端用户设备，并且因此，终端用户设备430被描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将信号1020、1022传送给多设备系统，诸如本文所描述的多设备系统538。在另一实施例中，现场处理或传输站1052还可以包括编码器(未示出)，其取得包括触觉数据的信号1022并且将其编码为包括经处理的音频和/或视频数据的信号1020以形成复合信号，所述复合信号包括经处理或经处置的音频和/或视频数据以及触觉数据传送给一个或多个终端设备，如关于图3上文所描述的。
虽然未示出，但是广播触觉架构1050还可以包括用于分配给终端用户设备的广播站和/或中央处理服务器。更特别地，现场处理或传输站1052可以同时将两个分离的或不同的信号传送给广播站，所述信号包括具有经处理的音频和/或视频数据的信号1020和具有触觉数据的信号1022，并且然后广播站可以将信号1020、1022传送给负责分配给不同的终端用户设备430的中央处理服务器。换句话说，可以实现将信号1020、1022递送给不同终端用户设备430的方法，如先前实施例中的任一个中所描述的，即如关于图8的广播触觉架构850或图9的广播触觉架构950所描述的。
图11图示了根据其另一实施例的广播触觉架构1150。在该实施例中，处置或变换为触觉数据(即，图2或图3的变换器118)在终端用户设备430的处理器处发生。虽然从带宽观点是最低效的，因为具有原始传感器数据的信号1114自始至终完全地传送给终端用户设备430，但是广播触觉架构1150从处理观点是最高效的，因为全部传感器数据的变换/处理卸载到端点。
在广播触觉架构1150中，音视频记录器1108在直播事件处记录直播音频和视频数据，并且传感器1110在直播事件处记录传感器数据。传感器1110与传感器710类似，并且传感器1110是配置为感测与直播事件相关联的对象、设备或人员的参数并且将所感测的参数转换为传感器数据的传感器。在实施例中，传感器1110耦合或附接到在直播事件处所利用的一件设备1160，诸如拳击手套、足球、球、网球拍、头盔或其他类型的体育事件相关物品，并且传感器1110配置为感测对象的移动或速度并且将所感测的移动转换为传感器数据。传感器1110可以是加速度计、陀螺仪、接触压力传感器、全球定位系统(“GPS”)传感器、旋转速度传感器或某种其他类型的传感器，配置为检测加速度、倾斜、惯性、移动或位置的改变。在其另一实施例中，传感器1110与参与直播事件的一个或多个运动员相关联并且可以是生理信号(即，体积描记器)传感器。在另一实施例中，传感器1110配置为感测与直播事件相关联的对象或设备的另一参数并且将所感测的参数转换为传感器数据，但是不要求耦合到对象或设备，如上文关于传感器710所描述的。
将包括原始音频和/或视频数据的直播信号1112传送给现场处理或传输站1152，并且还将包括来自(一个或多个)传感器1160的原始数据的信号1114传送给现场处理或传输站1152。现场处理或传输站1152包括处理器(即，图2或图3的处理器或编码器116)，以回顾或处理原始音频和/或视频数据来确定其内容适合或适用于广播。现场处理或传输站1152然后同时将两个分离的或不同的信号传送给不同的终端用户设备430，所述信号包括具有经处理的音频和/或视频数据的信号1120和包括来自(一个或多个)传感器1160的原始数据的信号1114。如图11上所示，可以将信号1120、1114传送给多设备终端用户设备，并且因此，终端用户设备430被描绘为终端用户设备4301、终端用户设备4302和终端用户设备430N。虽然被描绘为传送给针对其视频、音频和触觉分量的输出的单个物理终端用户设备430，但是可以备选地将信号1120、1114传送给多设备系统，诸如本文所描述的多设备系统538。
虽然未示出，但是广播触觉架构1150还可以包括用于分配给终端用户设备的广播站和/或中央处理服务器。更特别地，现场处理或传输站1152可以同时将两个分离的或不同的信号传送给广播站，所述信号包括具有经处理的音频和/或视频数据的信号1120和包括来自(一个或多个)传感器1160的原始数据的信号1114，并且然后广播站可以将信号1120、1114传送给负责分配给不同的终端用户设备430的中央处理服务器。换句话说，可以实现将信号1120、1122递送给不同终端用户设备430的方法，如先前实施例中的任一个中所描述的，即如关于图8的广播触觉架构850或图9的广播触觉架构950所描述的。信号1120、1122可以本地分配给直播事件的参加者，或者在另一实施例中可以在到达远程终端用户设备之前通过广播站和/或中央处理传送。
虽然上文已经描述根据本发明的各种实施例，但是应当理解，其已经仅以图示和示例而非限制的方式呈现。对于相关领域的技术人员而言将明显的是，在不脱离本发明的精神和范围的情况下，可以在其中做出形式和细节的各种改变。例如，虽然本文所描述的架构包括对针对直播事件的视频和/或音频数据连同触觉数据的传输或广播，但是本文所描述的架构可以修改为仅广播来自直播事件的触觉数据，与无线电仅广播音频数据的方式类似。例如，仅广播触觉数据可以利用在体育比赛中，其中，其得分每分钟或其他预定时间触觉地广播或其得分每次得分改变时触觉地广播。因此，本发明的宽度和范围不应当由上文所描述的示例性实施例中的任一个限定，而是应当仅根据随附的权利要求书和其等价方案限定。还将理解到，本文所讨论的每个实施例和本文所引用的每个参考文献的每个特征可以组合任何其他实施例的特征使用。本文所讨论的所有专利和出版物以其整体内容通过引用并入本文。

Claims (20)

1.一种用于将触觉数据从直播事件传递给终端用户设备的系统，包括：
记录器，其配置为记录直播事件的视频数据；
传感器，其配置为感测与所述直播事件相关联的参数并且将所感测的参数输出为传感器数据；
变换器，其配置为从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据；以及
终端用户设备，其配置为从所述变换器接收所述触觉数据并且配置为接收所述直播事件的所述视频数据，其中，所述终端用户设备包括触觉输出设备，所述触觉输出设备配置为基于所述触觉数据向用户生成触觉效果，并且包括显示器，其配置为显示所述视频数据。
2.根据权利要求1所述的系统，其中，所述变换器是定位在所述传感器上的微控制器。
3.根据权利要求1所述的系统，其中，所述变换器是定位在所述终端用户设备内的处理器。
4.根据权利要求1所述的系统，还包括：
现场传输站，其定位在所述直播事件的现场，其中，所述现场传输站包括用于处理所述直播事件的所述视频数据的处理器。
5.根据权利要求4所述的系统，其中，所述变换器是定位在所述直播事件的现场或所述现场传输站内的现场处理器，并且配置为将所述触觉数据传送给所述现场传输站。
6.根据权利要求5所述的系统，还包括：
广播站，其中，所述广播站配置为从所述现场传输站接收所处理的视频数据和所述触觉数据。
7.根据权利要求6所述的系统，其中，中央处理服务器配置为从所述广播站接收所处理的视频数据和所述触觉数据，并且配置为将所处理的视频数据和所述触觉数据传送给所述终端用户设备。
8.根据权利要求5所述的系统，其中，现场传输站配置为将所处理的视频数据和所述触觉数据传送给所述终端用户设备。
9.根据权利要求1所述的系统，还包括：
现场传输站，其定位在所述直播事件的现场，其中，所述现场传输站配置为从所述传感器接收所述直播事件的所述视频数据和所述传感器数据；
广播站，其配置为从所述现场传输站接收所述直播事件的所述视频数据和所述传感器数据；以及
区域处理站，其配置为从所述广播站接收所述视频数据和所述传感器数据，其中，所述变换器是定位在所述区域处理站中的处理器，并且所述区域处理站配置为将所述触觉数据传送给所述终端用户设备。
10.根据权利要求9所述的系统，其中，所述区域处理站还包括第二处理器，其配置为处理所述直播事件的所述视频数据，并且所述区域处理站配置为将所处理的视频数据和所述触觉数据传送给所述终端用户设备。
11.根据权利要求1所述的系统，其中，所述触觉输出设备和所述显示器是相同电子设备的一部分。
12.根据权利要求1所述的系统，其中，所述终端用户设备包括初级终端用户设备和次级用户设备，所述初级终端用户设备包括所述显示器，并且所述次级用户设备包括所述触觉输出设备。
13.根据权利要求1所述的系统，其中，所述记录器还配置为记录所述直播事件的音频数据连同所述视频数据，并且所述终端用户设备包括扬声器，其配置为输出所述音频数据。
14.根据权利要求1所述的系统，其中，所述传感器耦合到所述直播事件中所利用的一件设备或所述直播事件的参与者。
15.一种用于将触觉数据从直播事件传递给终端用户设备的系统，包括：
记录器，其配置为记录直播事件的视频数据；
传感器，其配置为感测与所述直播事件相关联的参数并且将所感测的参数输出为传感器数据；
现场传输站，其定位在所述直播事件的现场，所述现场传输站配置为接收所述直播事件的所述视频数据，其中，所述现场传输站包括用于处理所述直播事件的所述视频数据的处理器；
变换器，其配置为从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据；以及
终端用户设备，其配置为从所述变换器接收所述触觉数据并且配置为从所述现场传输站的所述处理器接收所处理的视频数据，其中，所述终端用户设备包括触觉输出设备，其配置为基于所述触觉数据向用户生成触觉效果，并且包括显示器，其配置为显示所述视频数据。
16.一种将触觉数据从直播事件传递给终端用户设备的方法，所述方法包括以下步骤：
记录直播事件的视频数据；
感测与所述直播事件相关联的参数并且将所感测的参数输出为传感器数据；
从所述传感器接收所述传感器数据并且将所述传感器数据变换为信号，所述信号包括与所述直播事件相关联的触觉数据；以及
在终端用户设备处接收所述触觉数据，其中，所述终端用户设备包括显示器，其配置为显示所述视频数据；
在所述终端用户设备处接收所述直播事件的所述视频数据，其中，所述终端用户设备包括触觉输出设备，其配置为基于所述触觉数据向用户生成触觉效果；
基于所述触觉数据，利用所述触觉输出设备生成至少一个触觉效果；以及
将所述视频数据显示在所述显示器上。
17.根据权利要求16所述的方法，其中，从所述传感器接收所述传感器数据和将所述传感器数据变换为信号的步骤包括在定位在所述传感器上的微控制器上执行触觉数据。
18.根据权利要求16所述的方法，其中，从所述传感器接收所述传感器数据和将所述传感器数据变换为信号的步骤包括在定位在所述终端用户设备内的处理器上执行触觉数据。
19.根据权利要求16所述的方法，其中，从所述传感器接收所述传感器数据和将所述传感器数据变换为信号的步骤包括在定位在所述直播事件的现场的现场处理器上或在定位在所述直播事件的现场的现场传输站内执行触觉数据。
20.根据权利要求16所述的方法，其中，从所述传感器接收所述传感器数据和将所述传感器数据变换为信号的步骤包括在远离所述直播事件和所述终端用户设备定位的非现场处理器上执行触觉数据。
CN201610402546.9A 2015-06-12 2016-06-07 广播触觉架构 Pending CN106249868A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/738,707 2015-06-12
US14/738,707 US20160366450A1 (en) 2015-06-12 2015-06-12 Broadcast haptics architectures

Publications (1)

Publication Number Publication Date
CN106249868A true CN106249868A (zh) 2016-12-21

Family

ID=56134121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610402546.9A Pending CN106249868A (zh) 2015-06-12 2016-06-07 广播触觉架构

Country Status (5)

Country Link
US (1) US20160366450A1 (zh)
EP (1) EP3104258A1 (zh)
JP (1) JP2017005709A (zh)
KR (1) KR20160146551A (zh)
CN (1) CN106249868A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095003A1 (zh) * 2016-11-22 2018-05-31 包磊 多媒体数据的实时传输方法及装置
CN108399003A (zh) * 2017-02-08 2018-08-14 意美森公司 带有选择的触觉元数据的触觉广播
CN111095166A (zh) * 2017-10-20 2020-05-01 Ck高新材料有限公司 触觉信息提供系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017531930A (ja) * 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
KR101766892B1 (ko) 2017-01-16 2017-08-23 안병문 연동장치, 이를 포함하는 전동장치 시스템 및 그 제어방법
US10477298B2 (en) * 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
KR101901364B1 (ko) * 2017-09-18 2018-11-22 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법
WO2020059758A1 (ja) * 2018-09-20 2020-03-26 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
US11740600B2 (en) * 2019-08-30 2023-08-29 Vrx Ventures Ltd. Computerized method, processing structure and server for controlling a target-motion device based on source-motion object
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
WO2021172040A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置および方法
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
JP7587230B2 (ja) 2020-10-06 2024-11-20 Ｔｏｐｐａｎホールディングス株式会社 信号処理システム、信号処理装置、信号処理方法、及びプログラム
US20230396815A1 (en) * 2020-10-21 2023-12-07 Interactive Cyber Experience Holdings, Llc System for communicating sensations from a first person perspective
WO2023204289A1 (ja) * 2022-04-22 2023-10-26 ソニーグループ株式会社 情報処理装置および方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010023436A1 (en) * 1998-09-16 2001-09-20 Anand Srinivasan Method and apparatus for multiplexing seperately-authored metadata for insertion into a video data stream
US20080198139A1 (en) * 2007-02-20 2008-08-21 Immersion Corporation Haptic Feedback System with Stored Effects
US20090128306A1 (en) * 2007-11-21 2009-05-21 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20100023436A1 (en) * 2008-07-22 2010-01-28 Weild Iv David Perpetual revenue participation interests and methods related thereto
US20120221148A1 (en) * 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
US20140063259A1 (en) * 2012-08-31 2014-03-06 Ihigh.Com, Inc. Method and system for video production
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法
CN104423701A (zh) * 2013-08-23 2015-03-18 意美森公司 体育事件的触感使能的观看

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2904811A4 (en) * 2012-10-01 2016-05-25 Internet Services Llc SYSTEM AND METHOD FOR SYNCHRONIZING HAPTIC DATA AND MEDIA DATA

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010023436A1 (en) * 1998-09-16 2001-09-20 Anand Srinivasan Method and apparatus for multiplexing seperately-authored metadata for insertion into a video data stream
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法
US20080198139A1 (en) * 2007-02-20 2008-08-21 Immersion Corporation Haptic Feedback System with Stored Effects
US20090128306A1 (en) * 2007-11-21 2009-05-21 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20100023436A1 (en) * 2008-07-22 2010-01-28 Weild Iv David Perpetual revenue participation interests and methods related thereto
US20120221148A1 (en) * 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
US20140063259A1 (en) * 2012-08-31 2014-03-06 Ihigh.Com, Inc. Method and system for video production
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN104423701A (zh) * 2013-08-23 2015-03-18 意美森公司 体育事件的触感使能的观看

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095003A1 (zh) * 2016-11-22 2018-05-31 包磊 多媒体数据的实时传输方法及装置
CN108399003A (zh) * 2017-02-08 2018-08-14 意美森公司 带有选择的触觉元数据的触觉广播
CN108399003B (zh) * 2017-02-08 2021-11-16 意美森公司 带有选择的触觉元数据的触觉广播
CN111095166A (zh) * 2017-10-20 2020-05-01 Ck高新材料有限公司 触觉信息提供系统

Also Published As

Publication number Publication date
EP3104258A1 (en) 2016-12-14
KR20160146551A (ko) 2016-12-21
JP2017005709A (ja) 2017-01-05
US20160366450A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
CN106249868A (zh) 广播触觉架构
US10667022B2 (en) Second screen haptics
US20150054727A1 (en) Haptically enabled viewing of sporting events
JP6664071B2 (ja) マルチメディアデータで使用する触覚データを記録するシステムおよび方法
US8990842B2 (en) Presenting content and augmenting a broadcast
US10083578B2 (en) Crowd-based haptics
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US20180374268A1 (en) Interactive mixed reality system for a real-world event
CN105915849A (zh) 一种虚拟现实体育赛事播放方法及系统
US20120093481A1 (en) Intelligent determination of replays based on event identification
US8869199B2 (en) Media content transmission method and apparatus, and reception method and apparatus for providing augmenting media content using graphic object
CN106303555A (zh) 一种基于混合现实的直播方法、装置和系统
Kim et al. A tactile glove design and authoring system for immersive multimedia
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
JP6523038B2 (ja) 感覚提示装置
JP6254852B2 (ja) 放送通信連携触覚提示システム、サービスサーバおよびプログラム、並びに、携帯端末
Ariyasu et al. Tactile sensibility presentation service for Smart TV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161221

WD01 Invention patent application deemed withdrawn after publication