CN106537291A - 第二屏幕触觉 - Google Patents

第二屏幕触觉 Download PDF

Info

Publication number
CN106537291A
CN106537291A CN201580036974.8A CN201580036974A CN106537291A CN 106537291 A CN106537291 A CN 106537291A CN 201580036974 A CN201580036974 A CN 201580036974A CN 106537291 A CN106537291 A CN 106537291A
Authority
CN
China
Prior art keywords
equipment
haptic
subjectivity
content
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580036974.8A
Other languages
English (en)
Inventor
R·拉克鲁瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Eyefluence Inc
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN106537291A publication Critical patent/CN106537291A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种多设备系统，包括：至少一个媒体服务器系统、包括显示屏幕的主观看设备和包括触觉输出设备的辅助设备。至少一个媒体服务器系统包括音频‑视频内容和触觉内容的源并被配置为传送音频‑视频内容和触觉内容。触觉内容与音频‑视频内容相关联。主观看设备被配置为输出从至少一个媒体服务器系统所接收的音频‑视频内容。辅助设备被配置为经由触觉输出设备将从至少一个媒体服务器系统所接收的触觉内容输出为触觉效果。

Description

第二屏幕触觉
相关申请的交叉引用
本申请要求2014年7月7日递交的美国临时专利申请序列号No.62/021,663的权益，该申请的全部内容出于所有目的通过引用的方式结合于此。
技术领域
于此的实施方式一般涉及多媒体内容处理和展示，且特别地涉及利用触觉效果增强音频-视频内容。
背景技术
术语“第二屏幕”指的是将计算设备用于对在第一或主要的设备或屏幕(诸如电视)上所看到的内容提供增强的视觉体验。换句话说，第二屏幕是由电视观看者用于改善他们正在收看的节目的第二电子设备。第二屏幕通常是智能电话或平板电脑，其中特定的补充性应用可以允许观看者以不同的方式与电视节目交互，从而平板或智能电话成为电视配套设备。例如，这些辅助显示中的一些使关于视觉广播的实时聊天成为可能，视觉广播为诸如新闻或当前事件广播。第二屏幕现象展示了使电视与观看者有更多的交互的意图。
通常在视频游戏产业中使用的触觉效果可能提供可触知的提示，可触知的提示增强用户体验并使虚拟环境与用户有更多的交互。例如，振动效果或振动可触知的触觉效果在向电子设备的用户提供提示以向用户警告特定事件中是可能有用的，或者可以提供实际的反馈以在模拟的或虚拟的环境中创建更多的感官沉浸。
然而，触觉效果通常未广播或未另外提供给主观看设备，诸如电视。相应地，于此的实施方式是关于将第二屏幕用于进一步增加用户的观看体验。更特别地，于此的实施方式是关于在多设备环境中利用触觉效果增强音频-视频内容。
发明内容
其中的实施方式涉及多设备系统，系统包括至少一个媒体服务器系统、包括显示屏幕的主观看设备和包括触觉输出设备的辅助设备。至少一个媒体服务器系统包括音频-视频内容和触觉内容的源并被配置为传送音频-视频内容和触觉内容。触觉内容与音频-视频内容相关联。主观看设备被配置为输出从至少一个媒体服务器系统所接收的音频-视频内容。辅助设备被配置为接收用户输入并被配置为经由触觉输出设备将从至少一个媒体服务器系统所接收的触觉内容输出为触觉效果。
其中的实施方式还涉及多设备系统，系统包括至少一个媒体服务器系统、包括显示屏幕并被配置为输出音频-视频内容的主观看设备及被配置为接收用户输入并包括触觉输出设备的辅助设备，触觉输出设备被配置为向用户输出触觉效果。至少一个媒体服务器系统包括音频-视频内容和触觉内容的源并被配置为传送音频-视频内容和触觉内容。触觉内容与音频-视频内容相关联。至少一个媒体服务器系统被配置为将音频-视频内容和触觉内容传送至主观看设备和辅助设备中的至少一者。主观看设备被配置为输出从至少一个媒体服务器系统所接收的音频-视频内容及辅助设备被配置为输出从至少一个媒体服务器系统所接收的触觉内容，触觉内容经由触觉输出设备被输出为触觉效果。
其中的实施方式还涉及将触觉效果传播至音频-视频内容的观看者的方法。在主观看设备接收音频-视频内容，主观看设备包括显示屏幕。在辅助设备接收触觉内容，辅助设备被配置为接收用户输入并包括触觉输出设备，触觉输出设备被配置为向用户输出触觉效果。触觉内容与音频-视频内容相关联。在主观看设备上输出或显示音频-视频内容，以及在辅助设备上输出或显示触觉内容。触觉内容经由触觉输出设备被输出为触觉效果。
附图说明
本发明的前述和其他特征和优势通过以下的所附附图所示的其中的实施方式的描述将是显而易见的。于此所结合的并且形成说明的一部分的所附附图进一步用作解释本发明的原理并使相关领域技术人员能够进行和使用本发明。附图并非是按比例的。
图1是多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容传送至主观看设备并将触觉内容传送至辅助设备。
图2是图1的系统的框图。
图3是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容传送至主观看设备并将触觉内容传送至辅助设备以及回放定位器信号用于确保音频-视频内容和触觉内容的同步。
图4是图3的系统的框图。
图5是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至主观看设备及第二媒体服务器将触觉内容传送至辅助设备以及回放定位器信号用于确保音频-视频内容和触觉内容的同步。
图6是图4的系统的框图。
图7是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容和触觉内容传送至辅助设备及辅助设备将至少音频-视频内容传送至主观看设备。
图8是图7的系统的框图。
图9是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至辅助设备及第二媒体服务器将触觉内容传送至辅助设备，并且辅助设备将至少音频-视频内容传送至主观看设备。
图10是图9的系统的框图。
图11是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容和触觉内容传送至主观看设备及主观看设备将至少触觉内容传送至辅助设备。
图12是图11的系统的框图。
图13是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至主观看设备，第二媒体服务器将触觉内容传送至主观看设备，及主观看设备将至少触觉内容传送至辅助设备。
图14是图13的系统的框图。
图15是根据其中的实施方式的将触觉效果传播至音频-视频内容的观看者的方法的流程图。
图16示出了根据其中的实施方式的多设备系统，其中多设备系统的主观看设备和辅助设备可以相互交互。
图17示出了与图16的辅助设备交互的用户，其中在辅助设备的屏幕上显示了弓和箭。
图18示出了与图16的辅助设备交互的用户，其中用户在辅助设备的屏幕上部署弓和箭。
图19示出了图16的主观看设备，其中移动的目标正显示在主观看设备上并且目标与正显示在辅助设备上的弓和箭相关联。
图20示出了图16的多设备系统，其中箭已经被部署并且不再显示在辅助设备上但是箭接着显示在主观看设备上。
图21示出了图16的主观看设备，其中主观看设备显示了击中了主观看设备上的内容的箭。
图22示出了多设备系统的主观看设备和辅助设备可以相互交互的另一示例，其中球显示在辅助设备的屏幕上并且手套和目标显示在主观看设备的屏幕上。
图23示出了与图22的辅助设备交互的用户，其中用户实际上投掷了一球并且球不再显示在辅助设备上但是球接着显示在主观看设备上。
图24示出了图22的主观看设备，其中主观看设备显示了实际上正在用手套抓住的球。
具体实施方式
现在参考附图对本发明的特定实施方式进行描述，其中同样的附图标记指示相同的或功能上类似的元件。以下具体的说明实际上仅是示例性的并不意图限制本发明或本发明的应用或使用。此外，没有通过前述技术领域、背景技术、发明内容或以下具体的描述所表达的或所暗示的原理进行限制的意图。
其中的实施方式涉及用于将触觉内容传播至音频-视频内容的观看者的多设备系统。更特别地，音频-视频内容和与音频-视频内容相关联的触觉内容被储存或者起源于至少一个媒体服务器系统。音频-视频内容包括但不限于电视表演、电影、体育广播、新闻广播、用户产生的内容或其他另外包括视频和音频成分二者的其他节目。如于此所使用的与音频-视频内容“相关联”的触觉内容包括但不限于关联的、连接的、链接的或其他关于音频-视频内容的任何触觉或可触知的效果，从而伴随、增强、补充或补足音频-视频内容的实质。音频-视频内容在诸如电视的主观看设备上显示或输出，以及触觉内容在诸如智能电话或平板电脑的辅助设备上显示或输出。例如，用户在如电视的主观看设备上收看视频、持有如智能电话或平板电脑的辅助设备或已经附着至或连接至其身体的辅助设备，附着至或连接至其身体的辅助设备即可穿戴设备，可穿戴设备诸如但不限于连接至用户手腕的手表、连接至用户手臂的臂带或连接至其他身体部分的可穿戴设备。在在主观看设备上收看视频的同时，辅助设备被配置为将可触知或触觉效果传播至用户。触觉效果与正在主观看设备上收看的视频相关或相关联并因而系统引起用户在多设备环境中的触觉增强媒体体验。
更特别地，参考图1和图2，显示了根据其中实施方式的多设备系统100。图1是系统100的示意性图示，而图2是图1的框图。系统100包括媒体服务器102、主观看设备130和辅助设备110。媒体服务器102是音频-视频内容或数据及相关联的触觉内容或数据的源。媒体服务器102与主观看设备130通信，从而传送或发送音频-视频内容至主观看设备。音频-视频内容作为音频-视频信号106从媒体服务器102进行传送。音频-视频信号106可以是如通过无线电或电缆的广播标准的信号，或者可以是互联网向用户提供各种应用服务技术(Overthe Top Technology)(OTT)单播类型信号，如针对SmartTV(智能电视)的Netflix。媒体服务器102还与辅助设备110进行通信，从而传送或发送触觉内容至辅助设备。触觉内容作为触觉信号104从媒体服务器102进行传送。媒体服务器102可以是例如广播网络服务、电缆通信服务、卫星通信服务、云视频流服务、游戏控制台或任意其他类型的服务器。媒体服务器102使用本领域技术人员已知的有线或无线通信装置与主观看设备130和辅助设备110通信。此外，虽然在远程定位的设备中显示以使得来自其的信号通过有线或无线链接进行传达，但是媒体服务器102可替换地可以位于辅助设备110或主观看设备130内或储存在辅助设备110或主观看设备130上。
主观看设备130是诸如电视的音频-视频显示设备，音频-视频设备被配置为输出从媒体服务器102所接收的音频-视频内容。如在图2的框图所显示的，主观看设备130包括接收机132、声音设备146和显示屏幕140。接收机132接收音频-视频信号106并将音频-视频信号106转变为可以处理为图像和声音的电信号。声音设备146可以例如是扬声器，扬声器可以内置于或连接至主观看设备130并将电信号转变为声波以连同视频图像一起播放音频。主观看设备130从而经由声音设备146输出音频。显示屏幕140被配置为将电信号转变为可见光并且可以是将视频输出至用户的任意类型的媒体；这里任意类型的媒体包括但不限于监控器、电视屏幕、等离子体、LCD、投影仪或任意其他显示设备。主观看设备130从而经由显示屏幕140输出视频。除了电视，音频-视频显示设备可以用作主观看设备130，主观看设备130包括但不限于智能电话、游戏控制台、个人数字整理器(organizers)、笔记本电脑及具有连接至音频-视频显示设备的显示屏幕的任何其他类型的计算机。根据所利用的媒体服务器102的类型，主观看设备130可以包括内置的有线或无线调制解调器148以用于从因特网接收流信号。可替换地，调制解调器148可以连接至主观看设备130而不是内置。
辅助设备110被配置为输出从媒体服务器102接收的触觉内容作为用户感觉或感知的触觉效果。为了感知触觉效果，辅助设备110是用户持有的设备、附着或连接至用户的设备或者另外具有能够将触觉或可触知的效果传播至用户的表面的设备。在实施方式中，辅助设备还被配置为或能够经由用户诸如元件接收用户输入或控制，用户输入元件诸如触摸屏、触摸板、计算机外围设备、控制按钮、触发器、操纵杆或控制棒等。例如，在实施方式中，辅助设备110是包括触觉效果显示能力的移动电话或平板电脑。例如，辅助设备110可以是众所周知的并且在市场上可获得的平板电脑，诸如和Galaxy 用于辅助设备110的其他合适的设备包括但不限于个人数字助理(PDA)、计算机、游戏外围设备及本领域技术人员已知的其他设备，这些设备被配置为输出触觉内容并被配置为或能够接收用户输入。
如图2的框图所示，辅助设备110包括接收机112、处理器114、存储器116、至少一个触觉输出设备118、显示屏幕120和声音设备126。辅助设备110执行储存在存储器116中的软件应用并通过处理器114执行。处理器114可以是任意类型的通用处理器，或者可以是特别设计为提供触觉效果信号的处理器。存储器116可以是任意类型的存储设备或计算机可读媒体，诸如但不限于随机存取存储器(RAM)或只读存储器(ROM)。存储器116还可以位于处理器内部，或者可以是内部和外部存储器的组合。声音设备126可以例如是内置于或耦合至辅助设备110的扬声器，以使得辅助设备110具有经由声音设备126输出音频的能力。在本实施方式中，辅助设备110还具有经由显示屏幕120输出视频的能力。显示120可以耦合至辅助设备110或可以是本领域技术人员已知的，辅助设备110和显示120可以结合为单个设备。在实施方式中，显示屏幕120是配置为接收用户输入的触摸屏。此外，根据所利用的媒体服务器102的类型，辅助设备110可以包括内置的有线或无线调制解调器128以用于从因特网接收流信号。可替换地，调制解调器128可以耦合至辅助设备110而不是内置。
在操作中，辅助设备110的接收机112接收触觉信号104并识别触觉信号104。触觉信号104然后被路由至或传送至处理器114。触觉信号104例如可以包括直接触觉效果流或指示了必须执行哪些触觉效果的命令集合。响应于从媒体服务器102接收触觉信号104，处理器114指示触觉输出设备118向用户提供或输出一种或多种触觉效果。处理器114可以决定向触觉输出设备118发送什么触觉效果及以什么次序来发送触觉效果。例如，触觉信号104可以包括从媒体服务器102流至辅助设备110的电压幅值和持续时间。在另一示例中，触觉信号104可以向处理器114提供高等级命令，诸如即将由触觉输出设备118输出的触觉效果的类型(如振动、摇晃、止动、弹出等)，从而处理器114向触觉输出设备118指示即将输出的触觉效果的特定特征(如，幅值、频率、持续时间等)。处理器114可以从耦合至其的存储器116检索触觉效果的类型、幅值、频率、持续时间或其他特征。
触觉反馈增强了用户体验。如于此所使用的，动觉效果(诸如主动的或有阻力的触觉反馈)和/或可触知的效果(诸如振动、纹理和高温)共同称为“触觉反馈”或“触觉效果”。在多种形态同时使用时，共同的触觉效果向用户提供了对音频-视频内容更大的感官沉浸，所述多种形态为如视频、音频和触觉。例如，振动效果或振动可触知的触觉效果可以用于在向用户提供警告用户特定时间的提示，或者提供真实的反馈以在模拟的或虚拟的环境中形成更大的感官沉浸。在用户经由主设备130观看音频-视频内容时可以有利地由辅助设备110输出的触觉效果的示例包括但不限于(1)直播运动赛事的混频工作间(mixing booth)，其中几个加速计、陀螺仪和其他传感器测量感兴趣对象(如，足球)的动态特性并且通过算法变换为有意义的触觉效果数据；(2)音频和视频分析设备和算法，观察音频-视频内容并确定什么时候适合生成触觉效果数据，例如创建展现在看到两个曲棍球运动员在屏幕上碰撞时的用身体阻挡的感觉的触觉效果；(3)艺术家使用便于创建触觉效果数据的工具生成的手工制作的触觉效果，例如，触觉知觉由艺术家设计用于好莱坞动作电影，其中穿插有机关枪火力的一系列巨大的爆炸；以及(4)非接触测量设备，针对感兴趣的对象，测量对象的动态特性，并将测量数据供给至将要将测量数据变换为有意义的触觉效果数据的算法，例如，指向用小槌撞击的锣的激光振动计，振动计获得通过敲击产生的锣的运动和震荡，并将振动计数据供给至运行算法的设备，该算法将振动计数据变换为触觉知觉。辅助设备110的处理器114可能正在运行进一步裁剪或校准触觉内容的软件算法以优化用于特定类型的显示触觉内容的辅助设备。
由触觉输出设备118提供的触觉效果可以包括但不限于诸如止动或振动的暂时效果。触觉输出设备118可以是物理和/或非物理致动器。可能的物理致动器包括但不限于由电机移动偏心质量的偏心旋转质量(“ERM”)致动器、附着至弹簧的质量被来回驱动的线性共振致动器(“LRA”)、压电致动器、由电机移动偏心质量的电磁电机、振动可触知的致动器、惯性致动器及于此所描述的致动器的任意组合。可能的非物理致动器包括但不限于静电摩擦(ESF)、超声表面摩擦(USF)及于此所描述的致动器的任意组合。在另一实施方式中，一个或多个触觉输出设备118可以使用动觉触觉反馈，一个或多个触觉输出设备118包括例如改变辅助设备110的外壳的刚度/阻尼的螺线管、改变外壳的大小的小气囊或者形变材料。
在图1-2的实施方式中，系统100为“媒体服务器驱动的”，意为媒体服务器102分别直接向辅助设备110和主观看设备130传送或通信触觉信号104和音频-视频信号106。在媒体服务器驱动的实施方式中，希望观看触觉增强内容的用户打开或开启辅助设备110和主观看设备130。例如，可以使用在电视CPU上运行的应用经由机顶盒或通过直接空中数字广播从媒体服务器102向主观看设备130供给音频-视频信号106。辅助设备110建立与媒体服务器102的数据连接。在实施方式中，辅助设备110可能需要与内容相关联的应用(如，通过触觉内容的源/拥有者创建的应用)，或者可能需要经由辅助设备的浏览器连接至特定HTTP地址。在媒体服务器102将音频-视频信号106串流至或另外传送至主观看设备130时，媒体服务器102还同时将触觉信号104串流或伺服至辅助设备110。
在其中的实施方式中，多设备系统可以包括确保在辅助设备上正在输出的触觉内容与在主观看设备上正在输出的音频-视频内容同步的装置。更特别地，参考图3和图4，显示了根据其中实施方式的多设备系统300。图3是系统300的示意性图示，而图4是其中的框图。系统300包括媒体服务器302、主观看设备330和辅助设备310。与多设备系统100类似，多设备系统300是媒体服务器驱动的，以使得媒体服务器302直接与主观看设备330通信从而传送或发送音频-视频信号306至主观看设备并且还直接与辅助设备310通信从而传送或发送触觉信号304至辅助设备。与以上所描述的多设备系统100的和图4的框图所显示的组件类似，主观看设备330包括接收机332、声音设备346和显示屏幕340，而辅助设备310包括接收机312、处理器314、存储器316、至少一个触觉输出设备318、显示屏幕320和声音设备326。然而，在本实施方式中，主观看设备330与辅助设备310通信从而确保在各个设备上正在输出的内容的同步。回放定位器信号350在主观看设备330与辅助设备310之间通信。回放定位器信号350可以通过包括流过媒体服务器302的通信路径的任意装置进行有线或无线通信。在实施方式中，回放定位器信号350可以通过对音频和/或视频信号的不可感知的修改进行通信以编码并广播来自主观看设备的定时信息。
更特别地，辅助设备310包括回放定位器322及主观看设备330包括回放定位器342。回放定位器322、342进行作用以分别针对触觉信号304、音频-视频信号306确定暂时参考点。暂时参考点可以例如是时间代码、计数器、媒体回放所耗费的秒数、媒体文件中当前暂时回放位置或回放位置的任何其他指示。主观看设备330的回放定位器342有时将回放位置传达至辅助设备310的回放定位器322，反之亦然。辅助设备310使用所接收的回放位置定位信息以确保触觉信号304的触觉部分以与正在主观看设备330上显示的音频-视频信号306充分同步的方式显示。
虽然用仅传送触觉和音频-视频信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以用于将触觉内容传送至辅助设备并将音频-视频内容传送至主观看设备。换句话说，于此所描述的一个或多个媒体服务器可以认为是媒体服务器系统。更特别地，参考图5和图6，显示了根据其中实施方式的多设备系统500。图5是系统500的示意性图示，而图6是图5的框图。系统500包括第一媒体服务器502A、第二媒体服务器502B、主观看设备530和辅助设备510。音频-视频内容和触觉内容因而源自分开的且有区别的媒体服务器502A、502B。媒体服务器502B与主观看设备530直接通信以传送或发送音频-视频信号506至主观看设备及媒体服务器502A与辅助设备510直接通信以传送或发送触觉信号504至辅助设备。与以上所描述的和如图6的框图所显示的实施方式类似，主观看设备530包括接收机532、声音设备546和显示屏幕540而辅助设备510包括接收机512、处理器514、存储器516、至少一个触觉输出设备518、显示屏幕520和声音设备526。此外，与图3-4的实施方式类似，主观看设备530和辅助设备510进行通信以确保在各个设备正在输出的内容的同步。辅助设备510包括回放定位器522，主观看设备530包括回放定位器542及回放定位器信号550在主观看设备530与辅助设备510之间通信。
根据其中的另一实施方式，多设备系统可以是“辅助设备驱动的”，意为一个或多个媒体服务器仅直接将数据信号传送至或伺服至辅助设备。更特别地，在辅助设备驱动的实施方式中，媒体服务器将信号——音频、视频、触觉——的完整补充传送至辅助设备。辅助设备然后转而定向发出(beams)或传送信号的至少音频-视频部分至主观看设备而辅助设备显示触觉内容。在辅助设备驱动的实施方式中，辅助设备可以被配置为连接至媒体服务器并接收音频-视频和触觉内容。辅助设备然后可以经由有线或无线通信装置建立与主观看设备的连接，从而发送音频-视频内容至主观看设备以在其上进行显示。
更特别地，图7-8中显示了辅助设备驱动的实施方式。多设备系统700包括媒体服务器702、主观看设备730和辅助设备710。与以上所描述的和在图8的框图所显示的实施方式类似，主观看设备730包括接收机732、声音设备746和显示屏幕740而辅助设备710包括接收机712、处理器714、存储器716、至少一个触觉输出设备718、显示屏幕720和声音设备726。所设备系统700是辅助设备驱动的，其中媒体服务器702仅直接与辅助设备710通信。媒体服务器702传送或发送复合信号708至辅助设备710。复合信号708包括视频内容或数据、音频内容或数据及触觉内容或数据，该部分按时序交错传送，或者该部分不按次序传送，但是包含排序信息，排序信息可以解释为以通过辅助设备710展示给用户的正确时序进行重组。以另一方式进行陈述，复合信号708的触觉内容或数据可以离散地作为整个媒体信号内或其另一实施方式中的分开的或独立的部分而被包括，触觉内容或数据还可以嵌入至音频和/或视觉内容或数据中并然后从音频和/或视觉内容或数据中提取。
辅助设备710在接收到复合信号708时识别其中的触觉部分并对其进行解码以用于用接收机712回放。响应于复合信号708内的触觉命令，处理器714指示触觉输出设备718输出触觉效果。在实施方式中，辅助设备710还可以分别经由声音设备726和显示屏幕720向用户展示或输出复合信号708的音频和视频部分。在另一实施方式中，辅助设备710可以分别从其他源经由声音设备726和显示屏幕720展示或输出其他音频和视频内容。
此外，在接收到复合信号708时，辅助设备710识别其中的音频-视频部分。辅助设备710包括将复合信号708的至少音频-视频部分传送至主观看设备730的变换器724。在图7-8的实施方式中，辅助设备710从复合信号708中提取或剥离音频-视频部分及变换器724仅将音频-视频信号706传送至主观看设备730。换句话说，复合信号708的触觉部分在辅助设备710将信号输出至主观看设备730之前被移除。这种移除在主观看设备730不能解译具有触觉部分的复合信号708的情况下是必要的。除了复合信号708的触觉部分之外，变换器724可能需要将音频-视频信号706修改或变换为主观看设备730能够解译并显示的格式。音频-视频信号706经由有线或无线通信装置从辅助设备710传送至主观看设备730。
在另一实施方式中(未示出)，辅助设备710可以将复合信号708传送至主观看设备730，而在其中没有进行修改或变换。在此类实施方式中，主观看设备730可以忽略复合信号708的触觉部分或者通过主观看设备对额外的观看者具有可用性的任何装置显示触觉效果。
虽然图7-8的辅助设备驱动的实施方式仅用用于传送复合信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以将触觉内容和音频-视频内容作为有区别的或分开的信号分别传送至辅助设备。更特别地，参考图9和图10，显示了根据于此实施方式的多设备系统900。图9是系统900的示意性图示，而图10是图9的框图。系统900包括第一媒体服务器902A、第二媒体服务器902B、主观看设备930和辅助设备910。音频-视频内容和触觉内容因而源自分开的或有区别的媒体服务器902A、902B。媒体服务器902B与辅助设备910直接通信以传送或发送音频-视频信号906至辅助设备及媒体服务器902A与辅助设备910直接通信以传送或发送触觉信号904至辅助设备。
与以上所描述的和如图10的框图所显示的实施方式类似，主观看设备930包括接收机932、声音设备946和显示屏幕940而辅助设备910包括接收机912、处理器914、存储器916、至少一个触觉输出设备918、显示屏幕920和声音设备926。辅助设备910的接收机912在接收到触觉信号904和音频-视频信号906二者时同步信号以确保触觉信号408的显示保持与音频-视频信号906的显示的充分同步。响应于触觉信号904，处理器914指示触觉输出设备918输出触觉效果。此外，辅助设备910的发射机924将音频-视频906传达至主观看设备930。如果需要的话，在其传送之前，发射机924可以将音频-视频信号906修改或变换为主观看设备930能够解译和显示的格式。虽然图9-10的实施方式用两个有区别的或分开的服务器进行显示，但是可以利用传送有区别的或分开的触觉和音频-视频信号(而不是诸如图7-8的实施方式的复合信号)的单个服务器。
根据其中的另一实施方式，多设备系统可以是“主观看设备驱动的”，意为一个或多个媒体服务器仅将数据信号直接传送至或用于主观看设备。更特别地，在主观看设备驱动的实施方式中，媒体服务器将信号——音频、视频、触觉——的完整补充传送至主观看设备。主观看设备然后转而定向发出(beams)或传送信号的至少触觉部分至主观看设备而主观看设备显示音频-视频内容。在主观看设备驱动的实施方式中，主观看设备可以被配置为建立经由有线或无线通信装置至辅助设备的连接，从而将触觉内容发送至辅助设备以用于在其上显示。将触觉内容连接至并用于辅助设备的功能可以存在于连接至电视的机顶盒中，该功能可以存在于打包在智能电视内的CPU上运行的软件中，或者该功能可以存在于诸如媒体中心PC的设备或具有处理能力的其他设备上，这里的其他设备诸如但不限于AppleTV、Chromecast或类似设备。与主观看设备相关联的软件支持建立至主观看设备的有线或无线连接的辅助设备。连接的目的至少部分是为了将触觉内容传送至辅助设备以进行显示。
更特别地，图11-12中显示了主观看设备驱动的实施方式。多设备系统1100包括媒体服务器1102、主观看设备1130和辅助设备1110。与以上和如图12的框图所显示的实施方式类似，主观看设备1130包括接收机1132、声音设备1146和显示屏幕1140而辅助设备1110包括接收机1112、处理器1114、存储器1116、至少一个触觉输出设备1118、显示屏幕1120和声音设备1126。多设备系统110是主观看设备驱动的，其中媒体服务器1102仅与主观看设备1130直接通信。媒体服务器1102传送或发送复合信号1108至主观看设备1130。复合信号1108包括视频内容或数据、音频内容或数据及触觉内容或数据，该部分按时序交错传送，或者该部分不按次序传送，但是包含排序信息，排序信息可以解释为以通过主观看设备1130展示给用户的正确时序进行重组。换句话说，复合信号1108的触觉内容或数据可以离散地作为整个媒体信号内或其另一实施方式中的分开的或独立的部分而被包括，触觉内容或数据还可以嵌入至音频和/或视觉内容或数据中并然后从音频和/或视觉内容或数据中提取。
主观看设备1130在接收到复合信号1108时识别其中的音频-视频部分并经由显示屏幕1140和声音设备1146输出音频-视频内容。此外，在接收到复合信号1108时，主观看设备1130识别其中的触觉部分。主观看设备1130包括将复合信号1108的至少触觉部分传送至辅助设备1110的变换器1144。在图11-12的实施方式中，主观看设备1130从复合信号1108中提取或剥离触觉部分及变换器1144仅将触觉信号1104传送至辅助设备1110以用于触觉效果的显示。换句话说，复合信号1108的音频-视频部分在主观看设备1130将信号输出至辅助设备730之前被移除。触觉信号1104经由有线或无线通信装置从主观看设备1130传送至辅助设备1110。
在另一实施方式中(未示出)，主观看设备1130可以将复合信号1108传送至辅助设备1110，而在其中没有进行修改或变换。在此类实施方式中，辅助设备730可以忽略复合信号1108的音频-视频部分或者经由显示屏幕1120和声音设备1126输出音频-视频内容。
虽然图11-12的主观看设备驱动的实施方式仅用用于传送复合信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以将触觉内容和音频-视频内容分别传送至主观看设备。更特别地，参考图13和图14，显示了根据于此实施方式的多设备系统1300。图13是系统1300的示意性图示，而图14是图13的框图。系统1300包括第一媒体服务器1302A、第二媒体服务器1302B、主观看设备1330和辅助设备1310。音频-视频内容和触觉内容因而源自分开的或有区别的媒体服务器1302A、1302B。媒体服务器1302B与主观看设备1330直接通信以传送或发送音频-视频信号1306至主观看设备及媒体服务器1302A与主观看设备1330直接通信以传送或发送触觉信号1304至主观看设备。
与以上所描述的和如图14的框图所显示的实施方式类似，主观看设备1330包括接收机1332、声音设备1346和显示屏幕1340而辅助设备1310包括接收机912、处理器1314、存储器1316、至少一个触觉输出设备1318、显示屏幕1320和声音设备1326。主观看设备1330的接收机1332在接收到触觉信号1304和音频-视频信号1306二者时同步信号以确保触觉信号1308的显示保持与音频-视频信号1306的显示充分同步。此外，主观看设备1330的发射机1344将触觉信号1304传达至辅助设备1310以用于触觉效果的显示。虽然图13-14的实施方式用两个有区别的或分开的服务器进行显示，但是可以利用传送有区别的或分开的触觉和音频-视频信号(而不是诸如图11-12的实施方式的复合信号)的单个服务器。
图15是根据本发明的一个实施方式的将触觉效果传播至音频-视频内容的观看者的流程图。在实施方式中，图15的流程图的功能通过储存在辅助设备中的软件实现并通过辅助设备的处理器和/或通过主观看设备实行。在其他实施方式中，功能可以由硬件通过使用特定用途集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)或硬件和软件的任意组合来执行。
在步骤1560中，具有音频-视频内容的音频-视频信号和具有触觉内容的触觉信号从至少一个媒体服务系统传送。触觉内容与音频-视频内容相关联。音频-视频信号和触觉信号可以作为有区别的信号分别从一个或多个媒体服务器分开发送，或者音频-视频信号和触觉信号可以作为复合信号从媒体服务器发送。如果在媒体服务器驱动的实施方式中，音频-视频信号和触觉信号作为有区别的信号分别直接被发送至主观看设备和辅助设备。如果在主观看设备驱动的实施方式中，从主观看设备将两个信号传送至辅助设备。如果在辅助设备驱动的实施方式中，两个信号被传送至辅助设备并然后将至少一个音频-视频信号从辅助设备传送至主观看设备。
在步骤1562中，主观看设备接收包括音频-视频内容的音频-视频信号。如果在媒体服务器驱动的实施方式或主观看设备驱动的实施方式中，从媒体服务器发送音频-视频信号。如果在辅助设备驱动的实施方式中，从辅助设备发送音频-视频信号。在接收到音频-视频信号时，主观看设备在步骤1564在其上输出音频-视频内容。
在步骤1566中，辅助设备接收包括触觉内容的触觉信号。如果在媒体服务器驱动的实施方式或辅助设备驱动的实施方式中，从媒体服务器发送触觉信号。如果在主观看设备驱动的实施方式中，从主观看设备发送触觉信号。
在接收到触觉信号时，辅助设备的处理器在步骤1568确定信号是触觉信号还是一些其他非触觉相关的信号。如果确定信号不是触觉信号，那么处理器继续进行而不会将任何触觉效果应用于用户并等待从媒体服务器和/或主观看设备接收另一信号。如果确定信号是触觉信号，那么处理器将在步骤1570将命令或指示发送至触觉输出设备并然后触觉输出设备将在步骤1572输出所指示的触觉效果。由触觉输出设备输出的触觉效果可以包括但不限于不同程度的振动、不同程度的止动或者其他类型的触觉效果。
如果辅助设备包括多个触觉输出设备，那么辅助设备的处理器可以确定每一个触觉效果将会在哪个触觉输出设备实行并提供给用户。在此类实施方式中，高等级触觉参数或流的值在储存在辅助设备的存储器中的软件代码中生成。参数或至由处理器处理并且针对每一个触觉输出设备的合适的电压电平因而生成。这允许辅助设备向用户提供合适的触觉效果并通过针对每一个输出设备生成的不同的电压电平改变触觉效果的量或类型。
在其中的实施方式中，音频-视频内容可以是虚拟视频游戏。更特别地，在此类实施方式中，多设备系统包括具有在其上运行的软件的游戏控制台(即，Xbox One或PlayStation 4)和被配置为诸如经由可以用作触觉输出设备的震动马达来输出触觉反馈的游戏外围设备。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源。游戏控制台是显示视频游戏的主观看设备，以及游戏外围设备是输出触觉内容的辅助设备。
虽然于此所描述的多设备系统包括主观看设备和单个辅助设备，但是本领域普通技术人员应当理解的是系统可以包括每一者输出触觉内容的多个辅助设备和/或每一者输出音频-视频内容的多个主观看设备。例如，如果几个用户正在收看相同的、单一的主观看设备，那么每一个用户可以持有其自己的辅助设备并感受到从其输出的触觉效果。可以同时从一个或多个媒体服务器将一个或多个触觉信号、一个或多个音频-视频信号和/或具有触觉和音频-视频内容二者的一个或多个复合信号传送至几个设备。在实施方式中，主观看设备和/或媒体服务器可以对任何触觉能够激活的辅助设备进行初始扫描或检索且然后主观看设备和/或媒体服务器将至少触觉信号传送至位于初始检索/扫描中的每一个触觉能够激活的辅助设备。
在其中的其他实施方式中，主观看设备和辅助设备可以相互交互。更特别地，用户可以与辅助设备交互并且这种交互可以在主观看设备上显示，从而使虚拟环境与用户有更多的交互。在图16-21中显示了这种交互的第二屏幕触觉的一个示例。在本实施方式中，如图16所示，多设备系统1600包括具有在其上运行的软件的游戏控制台(未示出)、主观看设备1630和辅助设备1610。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源，及主观看设备1630被配置为输出从媒体服务器所接收的音频-视频内容，而辅助设备1610包括触觉输出设备并被配置为经由触觉输出设备将从媒体服务器所接收的触觉内容输出为触觉效果。参考图17和图18，用户交互或控制辅助设备1610上的内容。图17示出了在辅助设备1610的屏幕上显示的弓和箭，而图18示出了用户在辅助设备1610的屏幕上部署弓和箭。如图19所示，移动的目标在主观看设备1630上显示。主观看设备1630上的目标与在辅助设备1610上显示的弓和箭的位置相关联。同样地，当用户移动辅助设备1610(及在其上的弓和箭)时，主观看设备1630上的目标也会移动。在用户准备好时，他部署或释放辅助设备1610上的箭并且箭不再显示在辅助设备上但是箭然后显示在主观看设备1630上，如图20所示。在预定的逝去时间之后，主观看设备1630显示击中图21中的主观看设备上的内容的箭(即，显示了击中城堡的箭)。以交互方式在两个设备之间传送包括触觉内容的消息的系统和方法进一步在Birnbaum等的美国专利No.8,976,112、Birnbaum等的美国专利No.8,638,301和Birnbaum等的美国专利公开No.2010/0214243中进一步描述，每一者转让给与本申请相同的受让人并且每一者整体通过引用的方式结合于此。
在图22-24中显示了这种交互的第二屏幕触觉的另一示例。在本实施方式中，如图22所示，多设备系统2200包括具有在其上运行的软件的游戏控制台(未示出)、主观看设备2230和辅助设备2210。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源，以及主观看设备2230被配置为输出从媒体服务器所接收的音频-视频内容而辅助设备2210包括触觉输出设备并被配置为经由触觉输出设备将从媒体服务器所接收的触觉内容输出为触觉效果。参考图22-24，用户交互或控制辅助设备2210上的内容。图22示出了在辅助设备2210的屏幕上显示的球和在主观看设备2230的屏幕上显示的手套或目标。图23示出了用户实际上投掷了一球。用户以投掷动作移动辅助设备2210，并且球不再显示在辅助设备上而球然后显示在主观看设备2230上，如图23所示。图24示出了实际上用手套抓住的球。更特别地，在预定逝去的时间之后，主观看设备2230显示了在主观看设备上显示的手套内抓住的球。
虽然以上参考图16-21和图22-24描述的交互的第二屏幕触觉示例包括主观看设备和单个辅助设备，但是本领域普通技术人员应当理解的是系统可以包括每一者与相同的主观看设备交互的多个辅助设备。例如，如果几个用户正在收看并参与在单一的主观看设备上显示的视频游戏，那么每一个用户可以持有其各自的辅助设备以单独与在主观看设备上显示的虚拟环境交互。在实施方式中，主观看设备和/或媒体服务器可以对任何触觉能够激活的的辅助设备进行初始扫描或检索并然后主观看设备和/或媒体服务器将至少触觉信号传送至位于初始检索/扫描中的每一个触觉能够激活的的辅助设备。同样地，在初始检索/扫描中找到的任何触觉能够激活的的辅助设备可以与在主观看设备上的视频游戏交互。
虽然以上已经描述了根据本发明的各个实施方式，但是应当理解的是这些实施方式仅通过示出和示例的方式而不是限制的方式展示。对相关领域技术人员显而易见的是在形式和细节上的各种改变可以在不背离本发明的思想和范围的情况下在其中进行。例如，虽然于此所描述的辅助设备可以包括显示屏幕和/或声音设备用于选择输出音频和/或视频内容，但是辅助设备不需要具有这些组件和功能。例如，除了触觉输出之外，辅助设备可以具有视频输出、可以具有音频输出、可以具有视频和音频输出二者或者可以既没有视频输出也没有音频输出。进一步地，虽然以上所描述的主观看设备包括显示屏幕和声音设备以用于分别输出音频和视频内容，但是主观看设备可以可替换地仅输出音频内容(如，在没有视频内容的情况下的音乐)或者可以可替换地仅输出视频内容(如，在没有音频内容情况下的无声电影)或者可以包括分开的或有区别的显示以用于音频内容和视频内容中的每一者。此外，于此的实施方式描述了由辅助设备输出的触觉内容与由主观看设备输出的视频-音频内容相关联或者与由主观看设备输出的视频-音频内容有关。然而，在其中的另一实施方式中，触觉内容可能出于一目的而不得不吸引用户对辅助设备的注意，以鼓励辅助设备上的交互，而不考虑在主观看设备上显示的内容。例如，触觉内容可以具有广告目的。因而，本发明的宽度和范围不应当受到以上所描述的任何示例性实施方式的限制，而仅应当仅根据所附权利要求及其等价方案来定义。还应当理解的是于此所讨论的每一个实施方式和于此所陈述的每一个参考的每一个特性可以在与任何其他实施方式的特性的组合中使用。于此所讨论的所有专利和公开的全部通过引用的方式结合于此。

Claims (20)

1.一种多设备系统，包括：
至少一个媒体服务器系统，其中所述至少一个媒体服务器系统包括音频-视频内容和触觉内容的源并被配置为传送所述音频-视频内容和所述触觉内容，所述触觉内容与所述音频-视频内容相关联；
包括显示屏幕的主观看设备，其中所述主观看设备被配置为输出从所述至少一个媒体服务器系统所接收的所述音频-视频内容；以及
包括触觉输出设备的辅助设备，所述辅助设备被配置为接收用户输入，其中辅助设备被配置为经由所述触觉输出设备将从所述至少一个媒体服务器系统所接收的所述触觉内容输出为触觉效果。
2.根据权利要求1所述的多设备系统，其中所述辅助设备包括显示屏幕并被配置为输出音频-视频内容。
3.根据权利要求1所述的多设备系统，其中所述至少一个媒体服务器系统将包括音频-视频内容的第一信号传送至所述主观看设备并将包括所述触觉内容的第二信号传送至所述辅助设备。
4.根据权利要求1所述的多设备系统，其中所述至少一个媒体服务器系统将包括所述音频-视频内容和所述触觉内容二者的信号传送至所述主观看设备以及所述主观看设备将至少所述触觉内容传送至所述辅助设备。
5.根据权利要求4所述的多设备系统，其中所述主观看设备将所述触觉内容而不是所述音频-视频内容传送至所述辅助设备。
6.根据权利要求4所述的多设备系统，其中所述主观看设备将所述触觉内容和所述音频-视频内容二者传送至所述辅助设备。
7.根据权利要求1所述的多设备系统，其中所述至少一个媒体服务器系统将包括所述音频-视频内容和所述触觉内容二者的信号传送至所述辅助设备以及所述辅助设备将至少所述音频-视频内容传送至所述主观看设备。
8.根据权利要求7所述的多设备系统，其中所述辅助设备将所述音频-视频内容而不是所述触觉内容传送至所述主观看设备。
9.根据权利要求7所述的多设备系统，其中所述辅助设备将所述触觉内容和所述音频-视频内容传送至所述主观看设备。
10.根据权利要求1所述的多设备系统，其中所述至少一个媒体服务器系统包括单个服务器，该单个服务器包括所述音频-视频内容和所述触觉内容二者的源。
11.根据权利要求1所述的多设备系统，其中所述至少一个媒体服务器系统包括第一媒体服务器和第二媒体服务器，所述第一媒体服务器包括音频-视频内容的源以及所述第二媒体服务器包括触觉内容的源。
12.根据权利要求1所述的多设备系统，其中所述辅助设备被配置为被用户持有或连接至用户。
13.根据权利要求12所述的多设备系统，其中所述辅助设备是平板电脑或移动电话。
14.根据权利要求1所述的多设备系统，其中所述主观看设备和所述辅助设备二者中的每一者包括回放定位器，以确保所述触觉内容以与在所述主观看设备上显示的所述音频-视频内容充分同步的方式在所述辅助设备上显示。
15.一种多设备系统，包括：
至少一个媒体服务器系统，其中所述至少一个媒体服务器系统包括音频-视频内容和触觉内容的源，所述触觉内容与所述音频-视频内容相关联；
主观看设备，包括显示屏幕并被配置为输出音频-视频内容；以及
辅助设备，包括触觉输出设备，触觉输出设备被配置为向用户输出触觉效果，所述辅助设备被配置为接收用户输入；
其中所述至少一个媒体服务器系统被配置为将所述音频-视频内容和所述触觉内容传送至所述主观看设备和所述辅助设备中的至少一者，并且其中所述主观看设备被配置为输出从所述至少一个媒体服务器系统所接收的所述音频-视频内容及所述辅助设备被配置为输出从所述至少一个媒体服务器系统所接收的所述触觉内容，所述触觉内容经由所述触觉输出设备被输出为触觉效果。
16.一种将触觉效果传播至音频-视频内容的观看者的方法，所述方法包括以下步骤：
在主观看设备接收音频-视频内容，所述主观看设备包括显示屏幕；以及
在辅助设备接收触觉内容，所述辅助设备被配置为接收用户输入并包括触觉输出设备，触觉输出设备被配置为向用户输出触觉效果，其中所述触觉内容与所述音频-视频内容相关联；
在所述主观看设备上输出所述音频-视频内容；以及
在所述辅助设备上输出所述触觉内容，其中所述触觉内容经由所述触觉输出设备被输出为触觉效果。
17.根据权利要求16所述的方法，其中至少一个媒体服务器系统将包括所述音频-视频内容的第一信号传送至所述主观看设备及将包括所述触觉内容的第二信号传送至所述辅助设备。
18.根据权利要求16所述的方法，其中至少一个媒体服务器系统将包括所述音频-视频内容和所述触觉内容二者的信号传送至所述主观看设备及所述主观看设备将至少所述触觉内容传送至所述辅助设备。
19.根据权利要求16所述的方法，其中至少一个媒体服务器系统将包括所述音频-视频内容和所述触觉内容二者的信号传送至所述辅助设备及所述辅助设备将至少所述音频-视频内容传送至所述主观看设备。
20.根据权利要求16所述的方法，进一步包括以下步骤：将在所述辅助设备上输出的所述触觉内容与在所述主观看设备上输出的所述音频-视频内容同步。
CN201580036974.8A 2014-07-07 2015-07-06 第二屏幕触觉 Pending CN106537291A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021663P 2014-07-07 2014-07-07
US62/021,663 2014-07-07
PCT/US2015/039233 WO2016007426A1 (en) 2014-07-07 2015-07-06 Second screen haptics

Publications (1)

Publication Number Publication Date
CN106537291A true CN106537291A (zh) 2017-03-22

Family

ID=55017965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036974.8A Pending CN106537291A (zh) 2014-07-07 2015-07-06 第二屏幕触觉

Country Status (6)

Country Link
US (3) US9635440B2 (zh)
EP (1) EP3167350A4 (zh)
JP (2) JP2017531930A (zh)
KR (1) KR20170030510A (zh)
CN (1) CN106537291A (zh)
WO (1) WO2016007426A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2815582B1 (en) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
JP2018045270A (ja) * 2016-09-12 2018-03-22 ソニー株式会社 通信装置および方法、並びにプログラム
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) * 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
JP7155643B2 (ja) * 2018-06-18 2022-10-19 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11269415B2 (en) * 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
WO2021158441A1 (en) * 2020-02-07 2021-08-12 Arris Enterprises Llc Transfer of media content viewing experience using epg guide
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11571617B2 (en) * 2020-12-18 2023-02-07 Dell Products, Lp System and method for coordinating gaming haptic response across peripheral device ecosystem
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20240024783A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Contextual scene enhancement
WO2024063867A1 (en) * 2022-09-22 2024-03-28 Qualcomm Incorporated Multi-source multimedia output and synchronization

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297554A (zh) * 2005-10-25 2008-10-29 索尼爱立信移动通讯股份有限公司 在辅助显示设备上显示移动电视信号
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
CN102566813A (zh) * 2010-09-14 2012-07-11 泰勒斯公司 用于生成触觉和声音效果的触觉交互设备和方法
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
CN103576856A (zh) * 2012-08-02 2014-02-12 伊梅森公司 用于触觉遥控游戏的系统和方法
US20140071342A1 (en) * 2012-09-13 2014-03-13 Verance Corporation Second screen content
CN104012098A (zh) * 2011-12-21 2014-08-27 高通股份有限公司 使用触觉技术提供增强的媒体体验
US8977376B1 (en) * 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0776499B1 (en) * 1994-08-18 2000-02-02 Interval Research Corporation Content-based haptic input device for video
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
US6357042B2 (en) 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US8667553B2 (en) * 2001-06-19 2014-03-04 Opentv, Inc. Automated input in an interactive television system
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7950033B2 (en) * 2001-10-10 2011-05-24 Opentv, Inc. Utilization of relational metadata in a television system
US20030128859A1 (en) * 2002-01-08 2003-07-10 International Business Machines Corporation System and method for audio enhancement of digital devices for hearing impaired
US7634795B2 (en) * 2002-01-11 2009-12-15 Opentv, Inc. Next generation television receiver
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
WO2004053671A1 (en) * 2002-12-08 2004-06-24 Immersion Corporation Haptic messaging in handheld communication devices
US7302468B2 (en) * 2004-11-01 2007-11-27 Motorola Inc. Local area preference determination system and method
US8290192B2 (en) * 2005-02-03 2012-10-16 Nokia Corporation Gaming headset vibrator
US8139803B2 (en) * 2005-08-15 2012-03-20 Immerz, Inc. Systems and methods for haptic sound
US20070083895A1 (en) * 2005-10-12 2007-04-12 Sbc Knowledge Ventures, L.P. System and method of managing television information
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20080112581A1 (en) * 2006-11-09 2008-05-15 Stanley Kim Vibrating earphone with enhanced base sound effect
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US8095646B2 (en) * 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
WO2009051426A2 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
WO2009051428A1 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US8875212B2 (en) * 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
JP2011520302A (ja) * 2007-12-10 2011-07-14 デラックス・デジタル・スタジオズ，インコーポレイテッド マルチメディアデバイスを連係させる際に使用するための方法およびシステム
KR101442836B1 (ko) 2008-01-07 2014-11-04 삼성전자주식회사 가시광 통신을 이용한 영상 부가정보 제공방법 및 장치
US8190683B2 (en) * 2008-02-29 2012-05-29 Microsoft Corporation Synchronizing multiple user remote content playback
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
CN102099767A (zh) 2008-07-15 2011-06-15 伊梅森公司 用于基于物理的触觉消息发送的系统和方法
KR20100033954A (ko) * 2008-09-22 2010-03-31 한국전자통신연구원 실감 효과 표현 방법 및 장치
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20100132003A1 (en) * 2008-11-25 2010-05-27 Bennett James D Providing Wireless Pathway Adapter Support Via Set-Top Boxes
WO2010088515A1 (en) 2009-01-30 2010-08-05 Priya Narasimhan Systems and methods for providing interactive video services
JP2012524452A (ja) * 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
KR20110111251A (ko) * 2010-04-02 2011-10-10 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
US8424037B2 (en) 2010-06-29 2013-04-16 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content in response to selection of a presented object
US9049494B2 (en) * 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
US20120221148A1 (en) 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
KR101276846B1 (ko) * 2011-04-22 2013-06-18 엘지전자 주식회사 미디어 데이터의 스트리밍 제어방법 및 제어장치
RU2017118159A (ru) * 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
EP2767084A4 (en) * 2011-10-14 2015-04-29 Google Inc PORTABLE COMPUTERS AS MEDIA MEASURING INSTRUMENTS
KR20130048035A (ko) 2011-11-01 2013-05-09 엘지전자 주식회사 미디어 장치, 컨텐츠 서버 및 그 동작방법
US9281013B2 (en) 2011-11-22 2016-03-08 Cyberlink Corp. Systems and methods for transmission of media content
US8917971B2 (en) * 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
JP2015510708A (ja) * 2012-01-08 2015-04-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツ・ディレクトリ・サーバー呈示のための方法および装置
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
KR20140138763A (ko) * 2012-03-23 2014-12-04 톰슨 라이센싱 상관된 미디어 프리젠테이션들을 동기화하기 위한 버퍼 관리 방법
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US20140063259A1 (en) 2012-08-31 2014-03-06 Ihigh.Com, Inc. Method and system for video production
US9866899B2 (en) * 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US20140089815A1 (en) * 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9648389B1 (en) * 2013-03-14 2017-05-09 Citizen, Inc. In-stream association of media content for video presentation
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US10135887B1 (en) * 2013-03-15 2018-11-20 Cox Communications, Inc Shared multimedia annotations for group-distributed video content
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP2806353B1 (en) 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US11016718B2 (en) * 2013-06-13 2021-05-25 Jawb Acquisition Llc Conforming local and remote media characteristics data to target media presentation profiles
US9703379B2 (en) * 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US20150054727A1 (en) 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US8767996B1 (en) * 2014-01-06 2014-07-01 Alpine Electronics of Silicon Valley, Inc. Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones
KR102016644B1 (ko) * 2014-02-23 2019-08-30 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US9812165B2 (en) * 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297554A (zh) * 2005-10-25 2008-10-29 索尼爱立信移动通讯股份有限公司 在辅助显示设备上显示移动电视信号
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20090096632A1 (en) * 2007-10-16 2009-04-16 Immersion Corporation Synchronization of haptic effect data in a media stream
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
CN102566813A (zh) * 2010-09-14 2012-07-11 泰勒斯公司 用于生成触觉和声音效果的触觉交互设备和方法
CN104012098A (zh) * 2011-12-21 2014-08-27 高通股份有限公司 使用触觉技术提供增强的媒体体验
CN103576856A (zh) * 2012-08-02 2014-02-12 伊梅森公司 用于触觉遥控游戏的系统和方法
US20140071342A1 (en) * 2012-09-13 2014-03-13 Verance Corporation Second screen content
US8977376B1 (en) * 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement

Also Published As

Publication number Publication date
EP3167350A4 (en) 2018-01-24
JP2017531930A (ja) 2017-10-26
EP3167350A1 (en) 2017-05-17
JP2020191642A (ja) 2020-11-26
US9635440B2 (en) 2017-04-25
KR20170030510A (ko) 2017-03-17
US20200245038A1 (en) 2020-07-30
US20160007095A1 (en) 2016-01-07
WO2016007426A1 (en) 2016-01-14
US10667022B2 (en) 2020-05-26
US20170188119A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN106537291A (zh) 第二屏幕触觉
US10320501B2 (en) Haptic broadcast with select haptic metadata based on haptic playback capability
CN104423701A (zh) 体育事件的触感使能的观看
CN107636605B (zh) 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套
CN106249868A (zh) 广播触觉架构
CN106997238A (zh) 用于修改触觉效果以补偿音频‑触觉干扰的可编程触觉装置和方法
JP7421736B2 (ja) 仮想現実提供システム
CN109660817A (zh) 视频直播方法、装置及系统
CN108024134A (zh) 一种基于直播的数据分析方法、装置和终端设备
CN107948702A (zh) 应用程序状态的同步方法、装置、终端和存储介质
JP2023076444A (ja) 情報処理プログラム、情報処理方法及び情報処理装置
JP2015148931A (ja) 提示制御装置
Saint-Louis et al. Survey of haptic technology and entertainment applications
CN114945893A (zh) 信息处理设备以及信息处理终端
CN110460719A (zh) 一种语音通话方法及移动终端
CN117369627A (zh) 人机交互方法、装置、设备和存储介质
KR101574993B1 (ko) 모션 커맨드 입력 방식의 가상 대전 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220913

AD01 Patent right deemed abandoned