JP2020191642A - セカンドスクリーン触覚 - Google Patents

セカンドスクリーン触覚 Download PDF

Info

Publication number
JP2020191642A
JP2020191642A JP2020118561A JP2020118561A JP2020191642A JP 2020191642 A JP2020191642 A JP 2020191642A JP 2020118561 A JP2020118561 A JP 2020118561A JP 2020118561 A JP2020118561 A JP 2020118561A JP 2020191642 A JP2020191642 A JP 2020191642A
Authority
JP
Japan
Prior art keywords
tactile
audio
content
primary viewing
media server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020118561A
Other languages
English (en)
Inventor
ラクロイ，ロバート
Lacroix Robert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2020191642A publication Critical patent/JP2020191642A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】マルチデバイス環境において触覚効果を用いてオーディオビデオコンテンツを向上させる。【解決手段】マルチデバイスシステムが、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備える１次視聴デバイスと、触覚出力デバイスを備える２次デバイスとを備える。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに相関付けられている。１次視聴デバイスは、受信したオーディオビデオコンテンツを出力するように構成されている。２次デバイスは、受信した触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。【選択図】図１

Description

［関連出願の相互参照］
本出願は、２０１４年７月７日に出願された米国仮特許出願第６２／０２１，６６３号の恩典を主張し、その特許出願は引用することによりその全体が本明細書の一部をなす。
本発明の実施の形態は、包括的には、マルチメディアコンテンツの処理及び提示に関し、特に、触覚効果を用いてオーディオビデオコンテンツを向上させることに関する。
「セカンドスクリーン」という用語は、コンピューティングデバイスを用いて、テレビ等の第１のデバイス若しくは１次デバイス又は第１のスクリーン若しくは１次スクリーン上で視聴されているコンテンツの向上された視聴エクスペリエンスを提供することを指す。言い換えると、セカンドスクリーンは、テレビ視聴者が鑑賞している番組を向上させるためにテレビ視聴者によって用いられる第２の電子デバイスである。セカンドスクリーンは、多くの場合、タブレット又はスマートフォンがＴＶコンパニオンデバイスとなるような異なる方法で視聴者がテレビ番組とインタラクトすることを特殊な補完ａｐｐが可能にすることができるスマートフォン又はタブレットコンピューターである。例えば、これらの２次ディスプレイのうちの幾つかは、ニュース又は現在の出来事の放送等の視覚的な放送についてのリアルタイムチャットを可能にする。セカンドスクリーン現象は、ＴＶを視聴者にとってよりインタラクティブなものにする試みを表す。
ビデオゲーム業界において一般に用いられる触覚効果は、ユーザーエクスペリエンスを向上させるとともに、仮想環境をユーザーにとってよりインタラクティブなものにする触知的な合図（cues）を提供することができる。例えば、振動効果、すなわち振動触知触覚効果は、特定のイベントをユーザーに警告する合図を電子デバイスのユーザーに提供することに役立つこともできるし、シミュレーションされた環境又は仮想的な環境内でより大きな感覚的没入を生み出すリアル感のあるフィードバックを提供することもできる。
しかしながら、触覚効果は、通常、テレビ等の１次視聴デバイスに放送されず、別の方法で提供もされない。したがって、本発明の実施の形態は、セカンドスクリーンを用いてユーザーの視聴エクスペリエンスを更に向上させることに関係したものである。より詳細には、本発明の実施の形態は、マルチデバイス環境において触覚効果を用いてオーディオビデオコンテンツを向上させることに関係したものである。
本発明の実施の形態は、マルチデバイスシステムであって、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備える１次視聴デバイスと、触覚出力デバイスを備える２次デバイスとを備える、マルチデバイスシステムに関する。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソース(source)を備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。１次視聴デバイスは、少なくとも１つのメディアサーバーシステムから受信されたオーディオビデオコンテンツを出力するように構成されている。２次デバイスは、ユーザー入力を受信するように構成され、少なくとも１つのメディアサーバーシステムから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。
本発明の実施の形態は、マルチデバイスシステムであって、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備え、オーディオビデオコンテンツを出力するように構成された１次視聴デバイスと、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える２次デバイスとを備える、マルチデバイスシステムにも関する。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツを１次視聴デバイス及び２次デバイスのうちの少なくとも一方に転送するように構成されている。１次視聴デバイスは、少なくとも１つのメディアサーバーシステムから受信されたオーディオビデオコンテンツを出力するように構成され、２次デバイスは、少なくとも１つのメディアサーバーシステムから受信された触覚コンテンツを出力するように構成され、触覚コンテンツは、触覚出力デバイスを介して触覚効果として出力される。
本発明の実施の形態は、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法にも関する。オーディオビデオコンテンツが、１次視聴デバイスにおいて受信され、この１次視聴デバイスは、表示スクリーンを備える。触覚コンテンツが、２次デバイスにおいて受信され、この２次デバイスは、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。オーディオビデオコンテンツは、１次視聴デバイス上に出力又はレンダリングされ、触覚コンテンツは、２次デバイス上に出力又はレンダリングされる。触覚コンテンツは、触覚出力デバイスを介して触覚効果として出力される。
本発明の上述の特徴及び利点並びに他の特徴及び利点は、添付の図面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。
メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーがオーディオビデオコンテンツを１次視聴デバイスに配信するとともに触覚コンテンツを２次デバイスに配信するマルチデバイスシステムの説明図である。 図１のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信するとともに触覚コンテンツを２次デバイスに配信し、再生ロケーター信号がオーディオビデオコンテンツ及び触覚コンテンツの同期を確保するのに利用される。 図３のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信し、第２のメディアサーバーは触覚コンテンツを２次デバイスに配信し、再生ロケーター信号がオーディオビデオコンテンツ及び触覚コンテンツの同期を確保するのに利用される。 図５のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツ及び触覚コンテンツを２次デバイスに配信し、２次デバイスは少なくともオーディオビデオコンテンツを１次視聴デバイスに配信する。 図７のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーがオーディオビデオコンテンツを２次デバイスに配信し、第２のメディアサーバーが触覚コンテンツを２次デバイスに配信し、２次デバイスが少なくともオーディオビデオコンテンツを１次視聴デバイスに配信する。 図９のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツ及び触覚コンテンツを１次視聴デバイスに配信し、１次視聴デバイスは少なくとも触覚コンテンツを２次デバイスに配信する。 図１１のシステムのブロック図である。 本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信し、第２のメディアサーバーは触覚コンテンツを１次視聴デバイスに配信し、１次視聴デバイスは少なくとも触覚コンテンツを２次デバイスに配信する。 図１３のシステムのブロック図である。 本発明の一実施形態による、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法のフロー図である。 本発明の別の実施形態によるマルチデバイスシステムを示す図であり、このマルチデバイスシステムの１次視聴デバイス及び２次デバイスは互いにインタラクトすることができる。 ユーザーが図１６の２次デバイスとインタラクトしているところを示す図であり、弓矢が、２次デバイスのスクリーン上に表示されている。 ユーザーが図１６の２次デバイスとインタラクトしているところを示す図であり、ユーザーは、弓矢を２次デバイスのスクリーン上に配備している。 図１６の１次視聴デバイスを示す図であり、移動する標的が１次視聴デバイス上に表示されており、この標的は２次デバイス上に表示されている弓矢の位置に関連付けられている。 図１６のマルチデバイスシステムを示す図であり、矢が配備され、２次デバイス上にもはや表示されず、一方で、この矢は、その後、１次視聴デバイス上に表示される。 図１６の１次視聴デバイスを示す図であり、１次視聴デバイスは、矢が１次視聴デバイス上のコンテンツに命中したことを表示している。 マルチデバイスシステムの１次視聴デバイス及び２次デバイスが互いにインタラクトすることができる別の例を示す図であり、ボールが２次デバイスのスクリーン上に表示され、グローブ、すなわち標的が１次視聴デバイスのスクリーン上に表示されている。 ユーザーが図２２の２次デバイスとインタラクトしているところを示す図であり、ユーザーはボールを仮想的に投球し、このボールは２次デバイス上に表示されておらず、一方で、このボールは、その後、１次視聴デバイス上に表示される。 図２２の１次視聴デバイスを示す図であり、この１次視聴デバイスは、ボールがグローブによって仮想的に捕球されていることを表示している。
ここで本発明の特定の実施形態を、同様の参照符号が同一又は機能的に類似した要素を示す図面を参照して説明する。以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。
本発明の実施形態は、触覚コンテンツをオーディオビデオコンテンツの視聴者に伝達するマルチデバイスシステムに関する。より詳細には、オーディオビデオコンテンツと、このオーディオビデオコンテンツに関連付けられた触覚コンテンツは、少なくとも１つのメディアサーバーシステムに記憶されているか、又はこの少なくとも１つのメディアサーバーシステムが発信元である。オーディオビデオコンテンツは、このコンテンツに対するビデオコンポーネント及びオーディオコンポーネントの双方を含むテレビ番組、映画、スポーツ放送、ニュース放送、ユーザーが作成したコンテンツ、又は他の番組を含むが、これらに限定されるものではない。オーディオビデオコンテンツに「関連付けられた」触覚コンテンツは、本明細書において用いられるとき、このオーディオビデオコンテンツの内容に付随し、この内容を向上させ、補足し、又は補完するためにこのオーディオビデオコンテンツに相関、関連、リンク、又は別の方法で関係する任意の触覚効果又は触知効果を含むが、これらに限定されるものではない。オーディオビデオコンテンツは、ＴＶ等の１次視聴デバイス上にレンダリング又は出力され、触覚コンテンツは、スマートフォン又はタブレットコンピューター等の２次デバイス上にレンダリング又は出力される。例えば、ユーザーは、１次視聴デバイス、すなわちＴＶにおいてビデオを鑑賞し、２次デバイス、すなわちスマートフォン若しくはタブレットコンピューターを保持するか又は２次デバイス、すなわちウェアラブルデバイスを自身の身体に取り付けているか若しくは結合している。このウェアラブルデバイスは、ユーザーの手首に結合される腕時計、ユーザーの腕に結合されるアームバンド又は別の身体部分に結合されるウェアラブルデバイス等であるが、これらに限定されるものではない。１次視聴デバイスにおいてビデオを鑑賞している間、２次デバイスは、触知効果又は触覚効果をユーザーに伝達するように構成されている。触覚効果は、１次視聴デバイスにおいて鑑賞されているビデオに関係又は関連付けられ、このため、システムは、マルチデバイス環境においてユーザーにとって触覚的に向上されたメディアエクスペリエンスをもたらす。
より詳細には、図１及び図２を参照すると、本発明の一実施形態によるマルチデバイスシステム１００が示されている。図１はシステム１００の概略説明図である一方、図２はシステム１００のブロック図である。システム１００は、メディアサーバー１０２、１次視聴デバイス１３０、及び２次デバイス１１０を備える。メディアサーバー１０２は、オーディオビデオコンテンツ又はオーディオビデオデータと、関連付けられた触覚コンテンツ又は触覚データとのソース(source)である。メディアサーバー１０２は、オーディオビデオコンテンツを１次視聴デバイスに送信又は送出するために１次視聴デバイス１３０と通信する。オーディオビデオコンテンツは、メディアサーバー１０２からオーディオビデオ信号１０６として送信される。オーディオビデオ信号１０６は、例えば、無線又はケーブルによる放送基準信号とすることもできるし、オーバーザトップテクノロジー（ＯＴＴ：Over the Top Technology）ユニキャストタイプ信号、例えば、スマートテレビ（SmartTV）へのネットフリックス（Netflix）とすることもできる。メディアサーバー１０２は、触覚コンテンツを２次デバイスに送信又は送出するために２次デバイス１１０とも通信する。触覚コンテンツは、メディアサーバー１０２から触覚信号１０４として送信される。メディアサーバー１０２は、例えば、放送ネットワークサービスサーバー、ケーブル通信サービスサーバー、衛星通信サービスサーバー、クラウドビデオストリーミングサービスサーバー、ゲーミングコンソールサーバー、又は他の任意のタイプのサーバーとすることができる。メディアサーバー１０２は、当業者に既知の有線通信手段又は無線通信手段を用いて１次視聴デバイス１３０及び２次デバイス１１０と通信する。加えて、メディアサーバー１０２は、リモート配置されたデバイス内に示され、このデバイスからの信号が有線接続又は無線接続を通じて通信されるようになっているが、メディアサーバー１０２は、代替的に、２次デバイス１１０又は１次視聴デバイス１３０内に配置することもできるし、２次デバイス１１０又は１次視聴デバイス１３０上に備えることもできる。
１次視聴デバイス１３０は、メディアサーバー１０２から受信されたオーディオビデオコンテンツを出力するように構成されたテレビジョン、すなわちＴＶ等のオーディオビデオ表示デバイスである。図２のブロック図に示すように、１次視聴デバイス１３０は、受信機１３２、サウンドデバイス１４６、及び表示スクリーン１４０を備える。受信機１３２は、オーディオビデオ信号１０６を受信し、このオーディオビデオ信号１０６を、画像及び音に処理することができる電気信号に変換する。サウンドデバイス１４６は、例えば、１次視聴デバイス１３０に内蔵又は結合されたスピーカーとすることができ、電気信号を音波に変換して、ビデオ画像とともにオーディオを再生することができる。１次視聴デバイス１３０は、このように、サウンドデバイス１４６を介してオーディオを出力する。表示スクリーン１４０は、電気信号を可視光に変換するように構成され、ビデオをユーザーに出力する任意のタイプの媒体とすることができる。この任意のタイプの媒体は、モニター、テレビスクリーン、プラズマディスプレイ、ＬＣＤ、プロジェクター、又は他の任意の表示デバイスを含むが、これらに限定されるものではない。１次視聴デバイス１３０は、このように、表示スクリーン１４０を介してビデオを出力する。ＴＶ以外のオーディオビデオ表示デバイスは、限定されるものではないがスマートフォン、ゲームコンソール、パーソナルデジタルオーガナイザー、ノートブックコンピューター及び表示スクリーンが結合された他のタイプのコンピューターを含めて、１次視聴デバイス１３０として用いることができる。利用されるメディアサーバー１０２のタイプに応じて、１次視聴デバイス１３０は、インターネットからストリーミング信号を受信する内蔵式の有線モデム又は無線モデム１４８を備えることができる。代替的に、モデム１４８は、内蔵式ではなく１次視聴デバイス１３０に結合することができる。
２次デバイス１１０は、メディアサーバー１０２から受信された触覚コンテンツを、ユーザーによって感知又は知覚される触覚効果として出力するように構成されている。触覚効果を知覚するために、２次デバイス１１０は、ユーザーによって保持されるデバイス、ユーザーに取り付けられるデバイス若しくはユーザーに結合されるデバイス、又はこれら以外で、触覚効果又は触知効果をユーザーに伝達することができる表面を有するデバイスである。一実施形態では、２次デバイスは、タッチスクリーン、タッチパッド、コンピューター周辺機器、制御ボタン、トリガー、ジョイスティック又はサムスティック等のユーザー入力要素を介してユーザーの入力又は制御を受信するように構成されているか又は受信することが可能である。例えば、一実施形態では、２次デバイス１１０は、触覚効果レンダリング能力を備えるモバイルフォン又はタブレットコンピューターである。例えば、２次デバイス１１０は、Ａｐｐｌｅ（商標）Ｉｐａｄ（商標）、Ｋｉｎｄｌｅ（商標）Ｆｉｒｅ（商標）、及びＳａｍｓｕｎｇ（商標）Ｇａｌａｘｙ Ｔａｂ（商標）等のよく知られており市場において入手可能なタブレットコンピューターとすることができる。２次デバイス１１０の他の適したデバイスは、携帯情報端末（ＰＤＡ）、コンピューター、ゲーミング周辺機器、及び触覚コンテンツを出力するように構成されているとともにユーザー入力も受信するように構成されているか又は受信することが可能な当業者に既知の他のデバイスを含むが、これらに限定されるものではない。
図２のブロック図に示すように、２次デバイス１１０は、受信機１１２、プロセッサ１１４、メモリ１１６、少なくとも１つの触覚出力デバイス１１８、表示スクリーン１２０、及びサウンドデバイス１２６を備える。２次デバイス１１０は、メモリ１１６に記憶されてプロセッサ１１４によって実行されるソフトウェアアプリケーションを実行する。プロセッサ１１４は、任意のタイプの汎用プロセッサとすることもできるし、触覚効果信号を提供するように特に設計されたプロセッサとすることもできる。メモリ１１６は、限定されるものではないがランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）等の任意のタイプの記憶デバイス又はコンピューター可読媒体とすることができる。メモリ１１６は、プロセッサの内部に配置することもできるし、内部メモリ及び外部メモリの任意の組み合わせとすることもできる。サウンドデバイス１２６は、例えば、２次デバイス１１０がこのサウンドデバイス１２６を介してオーディオを出力することができるような、２次デバイス１１０に内蔵又は結合されたスピーカーとすることができる。この実施形態では、２次デバイス１１０は、表示スクリーン１２０を介してビデオを出力することもできる。ディスプレイ１２０は、２次デバイス１１０に結合することもできるし、当業者に知られているように、２次デバイス１１０及びディスプレイ１２０を組み合わせて単一のデバイスにすることもできる。一実施形態では、表示スクリーン１２０は、ユーザー入力を受信するように構成されたタッチスクリーンである。加えて、利用されるメディアサーバー１０２のタイプに応じて、２次デバイス１１０は、ストリーミング信号をインターネットから受信する内蔵式の有線モデム又は無線モデム１２８を備えることができる。代替的に、モデム１２８は、内蔵式ではなく２次デバイス１１０に結合することができる。
動作時において、２次デバイス１１０の受信機１１２は、触覚信号１０４を受信し、触覚信号１０４を認識する。触覚信号１０４は、その後、プロセッサ１１４に転送又は送信される。触覚信号１０４は、例えば、直接的な触覚効果ストリーム又はどの触覚効果を実施しなければならないのかを示す一組のコマンドを含むことができる。メディアサーバー１０２からの触覚信号１０４の受信に応答して、プロセッサ１１４は、１つ又は複数の触覚効果をユーザーに提供又は出力するように触覚出力デバイス１１８に命令する。プロセッサ１１４は、いかなる触覚効果を触覚出力デバイス１１８に送出するのか及び触覚効果をいかなる順序で送出するのかを決定することができる。例えば、触覚信号１０４は、メディアサーバー１０２から２次デバイス１１０にストリーミングされる電圧の大きさ及び継続時間を含むことができる。別の例では、触覚信号１０４は、触覚出力デバイス１１８によって出力される触覚効果のタイプ（例えば、振動、ジョルト(jolt)、デテント(detent)、ポップ等）等の高レベルコマンドをプロセッサ１１４に提供することができ、それによって、プロセッサ１１４は、出力される触覚効果の特定の特性（例えば、大きさ、周波数、継続時間等）に関して触覚出力デバイス１１８に命令する。プロセッサ１１４は、触覚効果のタイプ、大きさ、周波数、継続時間、又は他の特性を、このプロセッサに結合されたメモリ１１６から取り出すことができる。
触覚フィードバックは、ユーザーエクスペリエンスを向上させる。運動感覚効果（能動（active）触覚フィードバック及び抵抗触覚フィードバック等）及び／又は触知効果（振動、テクスチャ、及び熱等）は、本明細書において用いられるとき、「触覚フィードバック」又は「触覚効果」と総称される。この集合的な触覚効果は、複数のモダリティ(modality)、例えば、ビデオ、オーディオ、及び触覚が同時に関与しているので、オーディオビデオコンテンツへのより大きな没入感をユーザーに提供する。例えば、振動効果、すなわち振動触知触覚効果は、特定のイベントをユーザーに警告する合図をユーザーに提供することに役立つこともできるし、シミュレーションされた環境又は仮想的な環境内でより大きな感覚的没入を生み出すリアル感のあるフィードバックを提供することもできる。ユーザーが１次デバイス１３０を介してオーディオビデオコンテンツを視聴している間に２次デバイス１１０によって有利に出力することができる触覚効果の例は、以下のものを含むが、これらに限定されるものではない。（１）幾つかの加速度計、ジャイロスコープ、及び他のセンサーが、対象物体（例えば、バスケットボール）の動的性質の測定を行っており、これらの測定が、アルゴリズムを通じて意味のある触覚効果データに変換されている、ライブスポーツイベントにおけるミキシングブース(mixing booth)；（２）オーディオビデオコンテンツを観察し、例えば、２人のホッケー選手がスクリーン上で衝突するのが見えたときのボディチェックの感触を表す触覚効果の作成といった触覚効果データの生成をいつ行うのが適切であるのかを判断するオーディオ及びビデオの解析機器及びアルゴリズム；（３）触覚効果データの作成を容易にするツールを用いてアーティストによって生成された手細工(hand-crafted)の触覚効果、例えば、触覚感覚は、一連の巨大な爆発が機銃掃射を用いて散りばめられているハリウッドアクション映画のアーティストによって設計される；並びに（４）対象物体に向けられ、それらの物体の動的性質を測定し、測定データを意味のある触覚効果データに変換するアルゴリズムに測定データを供給する非接触測定機器、例えば、木槌によって打たれているゴングを対象としたレーザー振動計であって、ゴングの動作及び打撃によって生成された発振をピックアップし、振動計データを触覚感覚に変換するアルゴリズムを実行する機器に振動計データを供給する振動計。２次デバイス１１０のプロセッサ１１４は、触覚コンテンツをレンダリングしている特定のタイプの２次デバイス用に最適化するように触覚コンテンツを更に調整又は調節するソフトウェアアルゴリズムを実行している場合がある。
触覚出力デバイス１１８によって提供される触覚効果は、デテント又は振動等の一時的な効果を含むことができるが、これらに限定されるものではない。触覚出力デバイス１１８は、力学的及び／又は非力学的なアクチュエーターとすることができる。可能な力学的アクチュエーターは、偏心質量体がモーターによって移動される偏心回転質量体（「ＥＲＭ」）アクチュエーター、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、偏心質量体がモーターによって移動される電磁モーター、振動触知アクチュエーター、慣性アクチュエーター、及びここで説明したアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。可能な非力学的アクチュエーターは、静電摩擦（ＥＳＦ）アクチュエーター、超音波表面摩擦（ＵＳＦ）アクチュエーター、及びここで説明したアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。別の実施形態では、触覚出力デバイス１１８は、運動感覚触覚フィードバックを用いることができ、例えば、２次デバイス１１０のハウジングの剛性／ダンピングを変化させるソレノイド、ハウジング内のサイズを変化させる小さなエアバッグ、又は形状変化材料を含む。
図１及び図２の実施形態では、システム１００は、メディアサーバー１０２が触覚信号１０４及びオーディオビデオ信号１０６をそれぞれ２次デバイス１１０及び１次視聴デバイス１３０に直接送信又は通信することを意味する「メディアサーバー駆動型」である。メディアサーバー駆動型の実施形態では、触覚的に向上されたコンテンツの視聴を所望するユーザーは、２次デバイス１１０及び１次視聴デバイス１３０のスイッチ又は電源をオンにする。例えば、１次視聴デバイス１３０は、ＴＶのＣＰＵ上で動作しているａｐｐを用いてセットトップボックスを介して、又は直接的な無線によるデジタル放送を通じて、メディアサーバー１０２からオーディオビデオ信号１０６の供給を受けることができる。２次デバイス１１０は、メディアサーバー１０２とのデータ接続を確立する。一実施形態では、２次デバイス１１０は、コンテンツに関連付けられたａｐｐ（例えば、触覚コンテンツのソース／所有者によって作成されたａｐｐ）を必要とする場合もあるし、２次デバイスのブラウザーを介して特定のＨＴＴＰアドレスに接続することが必要な場合もある。メディアサーバー１０２は、オーディオビデオ信号１０６を１次視聴デバイス１３０にストリーミング又は別の方法で送信するとき、メディアサーバー１０２は、同時に触覚信号１０４も２次デバイス１１０にストリーミング又は別の方法で供給する。
本発明の一実施形態では、マルチデバイスシステムは、２次デバイス上に出力されている触覚コンテンツと、１次視聴デバイス上に出力されているオーディオビデオコンテンツとの同期を確保する手段を備えることができる。より詳細には、図３及び図４を参照すると、本発明の一実施形態によるマルチデバイスシステム３００が示されている。図３はシステム３００の概略説明図である一方、図４はシステム３００のブロック図である。システム３００は、メディアサーバー３０２、１次視聴デバイス３３０、及び２次デバイス３１０を備える。マルチデバイスシステム１００と同様に、マルチデバイスシステム３００は、メディアサーバー駆動型であり、メディアサーバー３０２は、オーディオビデオ信号３０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス３３０と直接通信し、触覚信号３０４を２次デバイスに送信又は送出するために２次デバイス３１０とも直接通信するようになっている。上記で説明したマルチデバイスシステム１００の構成要素と同様に、図４のブロック図に示すように、１次視聴デバイス３３０は、受信機３３２、サウンドデバイス３４６、及び表示スクリーン３４０を備える一方、２次デバイス３１０は、受信機３１２、プロセッサ３１４、メモリ３１６、少なくとも１つの触覚出力デバイス３１８、表示スクリーン３２０、及びサウンドデバイス３２６を備える。一方、この実施形態では、１次視聴デバイス３３０及び２次デバイス３１０は、それぞれのデバイス上に出力されているコンテンツの同期を確保するために通信する。再生ロケーター信号(playback locator signal)３５０が、１次視聴デバイス３３０と２次デバイス３１０との間で通信される。再生ロケーター信号３５０は、メディアサーバー３０２を通過する通信パスを含む任意の手段を通じて有線又は無線で通信することができる。一実施形態では、再生ロケーター信号３５０は、知覚できない変更をオーディオ信号及び／又はビデオ信号に加えてタイミング情報を符号化し、１次視聴デバイスから放送することによって通信することができる。
より詳細には、２次デバイス３１０は、再生ロケーター(playback locator)３２２を備え、１次視聴デバイス３３０は、再生ロケーター３４２を備える。再生ロケーター３２２、３４２は、それぞれ触覚信号３０４、オーディオビデオ信号３０６の時間的基準点を求めるように機能する。この時間的基準点は、例えば、タイムコード、カウンター、消費されたメディア再生の秒数、メディアファイルにおける現在の時間的再生位置、又は再生位置の他の任意の表示とすることができる。１次視聴デバイス３３０の再生ロケーター３４２は、２次デバイス３１０の再生ロケーター３２２に時折再生位置を通信し、この逆方向の通信についても同様である。２次デバイス３１０は、受信された再生位置のロケーション情報を用いて、触覚信号３０４の触覚部分が、１次視聴デバイス３３０上にレンダリングされているオーディオビデオ信号３０６と十分に同期してレンダリングされることを確保する。
マルチデバイスシステムは、触覚信号及びオーディオビデオ信号の双方を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、触覚コンテンツを２次デバイスに配信し、オーディオビデオコンテンツを１次視聴デバイスに配信する２つの別個の又は分離したサーバーを備えることができる。言い換えると、本明細書において説明する１つ又は複数のメディアサーバーは、メディアサーバーシステムとみなすことができる。より詳細には、図５及び図６を参照すると、本発明の一実施形態によるマルチデバイスシステム５００が示されている。図５はシステム５００の概略説明図である一方、図６はシステム５００のブロック図である。システム５００は、第１のメディアサーバー５０２Ａ、第２のメディアサーバー５０２Ｂ、１次視聴デバイス５３０、及び２次デバイス５１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー５０２Ａ、５０２Ｂから供給される。メディアサーバー５０２Ｂは、オーディオビデオ信号５０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス５３０と直接通信し、メディアサーバー５０２Ａは、触覚信号５０４を２次デバイスに送信又は送出するために２次デバイス５１０と直接通信する。上記で説明した実施形態と同様に、図６のブロック図に示すように、１次視聴デバイス５３０は、受信機５３２、サウンドデバイス５４６、及び表示スクリーン５４０を備える一方、２次デバイス５１０は、受信機５１２、プロセッサ５１４、メモリ５１６、少なくとも１つの触覚出力デバイス５１８、表示スクリーン５２０、及びサウンドデバイス５２６を備える。加えて、図３及び図４の実施形態と同様に、１次視聴デバイス５３０及び２次デバイス５１０は、それぞれのデバイス上に出力されているコンテンツの同期を確保するために通信する。２次デバイス５１０は、再生ロケーター５２２を備え、１次視聴デバイス５３０は、再生ロケーター５４２を備え、再生ロケーター信号５５０が、１次視聴デバイス５３０と２次デバイス５１０との間で通信される。
本発明の別の実施形態によれば、マルチデバイスシステムは、メディアサーバーがデータ信号を２次デバイスにのみ直接送信又は供給することを意味する「２次デバイス駆動型」とすることができる。より詳細には、２次デバイス駆動型の実施形態では、メディアサーバーは、オーディオ、ビデオ、触覚のフル装備の信号を２次デバイスに送信する。その場合、２次デバイスは、次に、信号の少なくともオーディオビデオ部分を１次視聴デバイスに発信又は送信するとともに、２次デバイスは、触覚コンテンツをレンダリングする。２次デバイス駆動型の実施形態では、２次デバイスは、メディアサーバーに接続し、オーディオビデオコンテンツ及び触覚コンテンツを受信するように構成される。２次デバイスは、その場合、オーディオビデオコンテンツを１次視聴デバイスに送出して１次視聴デバイス上に表示するために、有線通信手段又は無線通信手段を介して１次視聴デバイスへの接続を確立する。
より詳細には、２次デバイス駆動型の実施形態は、図７及び図８に示されている。マルチデバイスシステム７００は、メディアサーバー７０２、１次視聴デバイス７３０、及び２次デバイス７１０を備える。上記で説明した実施形態と同様に、図８のブロック図に示すように、１次視聴デバイス７３０は、受信機７３２、サウンドデバイス７４６、及び表示スクリーン７４０を備える一方、２次デバイス７１０は、受信機７１２、プロセッサ７１４、メモリ７１６、少なくとも１つの触覚出力デバイス７１８、表示スクリーン７２０、及びサウンドデバイス７２６を備える。マルチデバイスシステム７００は、メディアサーバー７０２が２次デバイス７１０とのみ直接通信するという点で、２次デバイス駆動型である。メディアサーバー７０２は、複合信号７０８を２次デバイス７１０に送信又は送出する。複合信号７０８は、ビデオコンテンツ又はビデオデータと、オーディオコンテンツ又はオーディオデータと、触覚コンテンツ又は触覚データとを含み、そのような部分は、時間的順序でインターリーブ(interleave)されて配信されるか、又はそのような部分は、順序付けされずに配信されるが、２次デバイス７１０によってユーザーに提示するための正しい時間的順序で再組み立てされるように解釈することができるシーケンス情報を含む。言い換えると、複合信号７０８の触覚コンテンツ又は触覚データは、全体のメディア信号内に分離又は独立した部分として離散的に含めることもできるし、本発明の別の実施形態では、触覚コンテンツ又は触覚データは、オーディオコンテンツ若しくはオーディオデータ及び／又はビジュアルコンテンツ若しくはビジュアルデータ内に同様に組み込み、その後、そこから抽出することもできる。
２次デバイス７１０は、複合信号７０８を受信すると、受信機７１２を用いて、この複合信号の触覚部分を認識し、この触覚部分を再生用に復号化する。複合信号７０８内の触覚コマンドに応答して、プロセッサ７１４は、触覚効果を出力するように触覚出力デバイス７１８に命令する。一実施形態では、２次デバイス７１０は、複合信号７０８のオーディオ部分及びビデオ部分もそれぞれサウンドデバイス７２６及び表示スクリーン７２０を介してユーザーに提示又は出力することができる。別の実施形態では、２次デバイス７１０は、他のソースからの他のオーディオコンテンツ及び他のビデオコンテンツをそれぞれサウンドデバイス７２６及び表示スクリーン７２０を介して提示又は出力することができる。
加えて、２次デバイス７１０は、複合信号７０８を受信すると、この複合信号のオーディオビデオ部分を認識する。２次デバイス７１０は、複合信号７０８の少なくともオーディオビデオ部分を１次視聴デバイス７３０に通信する変換器７２４を備える。図７及び図８の実施形態では、２次デバイス７１０は、オーディオビデオ部分を複合信号７０８から抽出するか又は取り去り、変換器７２４は、オーディオビデオ信号７０６のみを１次視聴デバイス７３０に通信する。換言すれば、複合信号７０８の触覚部分は、２次デバイス７１０が信号を１次視聴デバイス７３０に出力する前に除去される。そのような除去は、１次視聴デバイス７３０が、触覚部分を有する複合信号７０８を解釈することが可能でない場合に必要となる場合がある。複合信号７０８の触覚部分を除去することに加えて、変換器７２４は、１次視聴デバイス７３０が解釈及び表示することができるフォーマットにオーディオビデオ信号７０６を変更又は変換するのに必要とされる場合がある。オーディオビデオ信号７０６は、２次デバイス７１０から有線通信手段又は無線通信手段を介して１次視聴デバイス７３０に通信される。
別の実施形態（不図示）では、２次デバイス７１０は、複合信号７０８を変更することも変換することもなく、この信号を１次視聴デバイス７３０に送信することができる。そのような実施形態では、１次視聴デバイス７３０は、複合信号７０８の触覚部分を無視することもできるし、１次視聴デバイスが有する手段であって、追加の視聴者に利用可能な手段であれば、あらゆる手段を通じて触覚効果をレンダリングすることもできる。
図７及び図８の２次デバイス駆動型の実施形態は、複合信号を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、マルチデバイスシステムは、触覚コンテンツ及びオーディオビデオコンテンツを別個の又は分離した信号として２次デバイスに分離して配信する２つの別個の又は分離したサーバーを備えることができる。より詳細には、図９及び図１０を参照すると、本発明の一実施形態によるマルチデバイスシステム９００が示されている。図９はシステム９００の概略説明図である一方、図１０はシステム９００のブロック図である。システム９００は、第１のメディアサーバー９０２Ａ、第２のメディアサーバー９０２Ｂ、１次視聴デバイス９３０、及び２次デバイス９１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー９０２Ａ、９０２Ｂから供給される。メディアサーバー９０２Ｂは、オーディオビデオ信号９０６を２次デバイスに送信又は送出するために２次デバイス９１０と直接通信し、メディアサーバー９０２Ａは、触覚信号９０４を２次デバイスに送信又は送出するために２次デバイス９１０と直接通信する。
上記で説明した実施形態と同様に、図１０のブロック図に示すように、１次視聴デバイス９３０は、受信機９３２、サウンドデバイス９４６、及び表示スクリーン９４０を備える一方、２次デバイス９１０は、受信機９１２、プロセッサ９１４、メモリ９１６、少なくとも１つの触覚出力デバイス９１８、表示スクリーン９２０、及びサウンドデバイス９２６を備える。２次デバイス９１０の受信機９１２は、触覚信号９０４及びオーディオビデオ信号９０６の双方を受信すると、これらの信号を同期させて、触覚信号９０４のレンダリングが、オーディオビデオ信号９０６のレンダリングと十分に同期された状態を維持することを確保する。触覚信号９０４に応答して、プロセッサ９１４は、触覚効果を出力するように触覚出力デバイス９１８に命令する。加えて、２次デバイス９１０の送信機９２４は、オーディオビデオ信号９０６を１次視聴デバイス９３０に通信する。必要に応じて、オーディオビデオ信号の送信前に、送信機９２４は、１次視聴デバイス９３０が解釈及び表示することができるフォーマットにオーディオビデオ信号９０６を変更又は変換することができる。図９及び図１０の実施形態は、２つの別個の又は分離したサーバーを用いて示されているが、（図７及び図８の実施形態のような複合信号ではなく）別個の又は分離した触覚信号及びオーディオビデオ信号を配信する単一のサーバーを利用することができる。
本発明の別の実施形態によれば、マルチデバイスシステムは、メディアサーバーが、データ信号を１次視聴デバイスにのみ直接送信又は供給することを意味する「１次視聴デバイス駆動型」とすることができる。より詳細には、１次視聴デバイス駆動型の実施形態では、メディアサーバーは、オーディオ、ビデオ、触知のフル装備の信号を１次視聴デバイスに送信する。その場合、１次視聴デバイスは、次に、信号の少なくとも触覚部分を２次デバイスに発信又は送信するとともに、１次視聴デバイスは、オーディオビデオコンテンツをレンダリングする。１次視聴デバイス駆動型の実施形態では、１次視聴デバイスは、触覚コンテンツを２次デバイスに送出して２次デバイス上でレンダリングするために、有線通信手段又は無線通信手段を介して２次デバイスへの接続を確立するように構成される。２次デバイスに接続して２次デバイスに触覚コンテンツを供給する機能は、ＴＶに接続されたセットトップボックスに存在することもできるし、スマートテレビ内にパッケージされたＣＰＵ上で動作するソフトウェアに存在することもできるし、メディアセンターのＰＣ等のデバイス、又は限定されるものではないがＡｐｐｌｅ ＴＶ、Ｃｈｒｏｍｅｃａｓｔ、若しくは類似のデバイス等の処理能力を有する他のデバイスに存在することもできる。１次視聴デバイスに関連付けられたソフトウェアは、２次デバイスが１次視聴デバイスへの有線又は無線の接続を確立することをサポートする。この接続の目的は、少なくとも部分的には、触覚コンテンツをレンダリングするために２次デバイスに送信することである。
より詳細には、１次視聴デバイス駆動型の実施形態は、図１１及び図１２に示されている。マルチデバイスシステム１１００は、メディアサーバー１１０２、１次視聴デバイス１１３０、及び２次デバイス１１１０を備える。上記の実施形態と同様に、図１２のブロック図に示すように、１次視聴デバイス１１３０は、受信機１１３２、サウンドデバイス１１４６、及び表示スクリーン１１４０を備える一方、２次デバイス１１１０は、受信機１１１２、プロセッサ１１１４、メモリ１１１６、少なくとも１つの触覚出力デバイス１１１８、表示スクリーン１１２０、及びサウンドデバイス１１２６を備える。マルチデバイスシステム１１００は、メディアサーバー１１０２が１次視聴デバイス１１３０とのみ直接通信するという点で１次視聴デバイス駆動型である。メディアサーバー１１０２は、複合信号１１０８を１次視聴デバイス１１３０に送信又は送出する。複合信号１１０８は、ビデオコンテンツ又はビデオデータと、オーディオコンテンツ又はオーディオデータと、触覚コンテンツ又は触覚データとを含み、そのような部分は、時間的順序でインターリーブされて配信されるか、又はそのような部分は、順序付けされずに配信されるが、１次視聴デバイス１１３０によってユーザーに提示するための正しい時間的順序で再組み立てされるように解釈することができるシーケンス情報を含む。言い換えると、複合信号１１０８の触覚コンテンツ又は触覚データは、全体のメディア信号内に分離又は独立した部分として離散的に含めることもできるし、本発明の別の実施形態では、触覚コンテンツ又は触覚データは、オーディオコンテンツ若しくはオーディオデータ及び／又はビジュアルコンテンツ若しくはビジュアルデータ内に同様に組み込み、その後、そこから抽出することもできる。
１次視聴デバイス１１３０は、複合信号１１０８を受信すると、この複合信号のオーディオビデオ部分を認識し、表示スクリーン１１４０及びサウンドデバイス１１４６を介してオーディオビデオコンテンツを出力する。加えて、複合信号１１０８を受信すると、１次視聴デバイス１１３０は、この複合信号の触覚部分を認識する。１次視聴デバイス１１３０は、複合信号１１０８の少なくとも触覚部分を２次デバイス１１１０に通信する変換器１１４４を備える。図１１及び図１２の実施形態では、１次視聴デバイス１１３０は、複合信号１１０８から触覚部分を抽出するか又は取り去り、変換器１１４４は、触覚効果のレンダリングのために触覚信号１１０４のみを２次デバイス１１１０に通信する。換言すれば、複合信号１１０８のオーディオビデオ部分は、１次視聴デバイス１１３０が信号を２次デバイス１１１０に出力する前に除去される。触覚信号１１０４は、１次視聴デバイス１１３０から有線通信手段又は無線通信手段を介して２次デバイス１１１０に通信される。
別の実施形態では（不図示）、１次視聴デバイス１１３０は、複合信号１１０８を変更することも変換することもなく、この信号を２次デバイス１１１０に送信することができる。そのような実施形態では、２次デバイス１１１０は、複合信号１１０８のオーディオビデオ部分を無視することもできるし、表示スクリーン１１２０及びサウンドデバイス１１２６を介してオーディオビデオコンテンツを出力することもできる。
図１１及び図１２の１次視聴デバイス駆動型の実施形態は、複合信号を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、マルチデバイスシステムは、触覚コンテンツ及びオーディオビデオコンテンツを１次視聴デバイスに分離して配信する２つの別個の又は分離したサーバーを備えることができる。より詳細には、図１３及び図１４を参照すると、本発明の一実施形態によるマルチデバイスシステム１３００が示されている。図１３はシステム１３００の概略説明図である一方、図１４はシステム１３００のブロック図である。システム１３００は、第１のメディアサーバー１３０２Ａ、第２のメディアサーバー１３０２Ｂ、１次視聴デバイス１３３０、及び２次デバイス１３１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー１３０２Ａ、１３０２Ｂから供給される。メディアサーバー１３０２Ｂは、オーディオビデオ信号１３０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス１３３０と直接通信し、メディアサーバー１３０２Ａは、触覚信号１３０４を１次視聴デバイスに送信又は送出するために１次視聴デバイス１３３０と直接通信する。
上記で説明した実施形態と同様に、図１４のブロック図に示すように、１次視聴デバイス１３３０は、受信機１３３２、サウンドデバイス１３４６、及び表示スクリーン１３４０を備える一方、２次デバイス１３１０は、受信機１３１２、プロセッサ１３１４、メモリ１３１６、少なくとも１つの触覚出力デバイス１３１８、表示スクリーン１３２０、及びサウンドデバイス１３２６を備える。１次視聴デバイス１３３０の受信機１３３２は、触覚信号１３０４及びオーディオビデオ信号１３０６の双方を受信すると、これらの信号を同期させて、触覚信号１３０４のレンダリングが、オーディオビデオ信号１３０６のレンダリングと十分に同期された状態を維持することを確保する。加えて、１次視聴デバイス１３３０の送信機１３４４は、触覚効果のレンダリングのために触覚信号１３０４を２次デバイス１３１０に通信する。図１３及び図１４の実施形態は、２つの別個の又は分離したサーバーを用いて示されているが、（図１１及び図１２の実施形態のような複合信号ではなく）別個の又は分離した触覚信号及びオーディオビデオ信号を配信する単一のサーバーを利用することができる。
図１５は、本発明の１つの実施形態による、触覚効果をオーディオビデオコンテンツの視聴者に伝達するフロー図である。一実施形態では、図１５のフロー図の機能は、２次デバイスのメモリに記憶されたソフトウェアによって実施され、２次デバイスのプロセッサによって及び／又は１次視聴デバイスによって実行される。他の実施形態では、この機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、又はハードウェア及びソフトウェアの任意の組み合わせを用いてハードウェアによって実行することができる。
ステップ１５６０において、オーディオビデオコンテンツを有するオーディオビデオ信号と、触覚コンテンツを有する触覚信号とが、少なくとも１つのメディアサーバーシステムから転送される。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。これらのオーディオビデオ信号及び触覚信号は、１つ又は複数のメディアサーバーから別個の信号として分離して送出することもできるし、これらのオーディオビデオ信号及び触覚信号は、メディアサーバーから複合信号として送出することもできる。メディアサーバー駆動型の実施形態の場合、オーディオビデオ信号及び触覚信号は、それぞれ１次視聴デバイス及び２次デバイスに別個の信号として直接送出される。１次視聴デバイス駆動型の実施形態の場合、双方の信号は、１次視聴デバイスに転送され、その後、少なくとも触覚信号は、１次視聴デバイスから２次デバイスに転送される。２次デバイス駆動型の実施形態の場合、双方の信号は、２次デバイスに転送され、その後、少なくともオーディオビデオ信号は、２次デバイスから１次視聴デバイスに転送される。
ステップ１５６２において、１次視聴デバイスが、オーディオビデオコンテンツを含むオーディオビデオ信号を受信する。メディアサーバー駆動型の実施形態又は１次視聴デバイス駆動型の実施形態の場合、オーディオビデオ信号はメディアサーバーから送出される。２次デバイス駆動型の実施形態の場合、オーディオビデオ信号は２次デバイスから送出される。１次視聴デバイスは、オーディオビデオ信号を受信すると、ステップ１５６４において、オーディオビデオコンテンツをこの１次視聴デバイス上に出力する。
ステップ１５６６において、２次デバイスが、触覚コンテンツを含む触覚信号を受信する。メディアサーバー駆動型の実施形態又は２次デバイス駆動型の実施形態の場合、触覚信号はメディアサーバーから送出される。１次視聴デバイス駆動型の実施形態の場合、触覚信号は１次視聴デバイスから送出される。
２次デバイスのプロセッサは、触覚信号を受信すると、ステップ１５６８において、この信号が触覚信号であるのか又は他の或る非触覚関連信号であるのかを判断する。信号が触覚信号でないと判断された場合、プロセッサは、いずれの触覚効果もユーザーに適用することなく機能し続け、メディアサーバー及び／又は１次視聴デバイスからの別の信号の受信を待機する。信号が触覚信号であると判断された場合、プロセッサは、ステップ１５７０において、コマンド又は命令を触覚出力デバイスに送出し、その後、触覚出力デバイスは、ステップ１５７２において、命令された触覚効果を出力する。触覚出力デバイスによって出力される触覚効果は、様々な度合いの振動、様々な度合いのデテント、又は他のタイプの触覚効果を含むことができるが、これらに限定されるものではない。
２次デバイスが、複数の触覚出力デバイスを備える場合、２次デバイスのプロセッサは、いずれの触覚出力デバイスにおいて各触覚効果を実行してユーザーに提供するのかを判断することができる。そのような実施形態では、高レベルの触覚パラメーター又はストリーミング値が、２次デバイスのメモリに記憶されたソフトウェアコードに生成される。これらのパラメーター又は値は、プロセッサによって処理され、それによって、各触覚出力デバイスの適切な電圧レベルが生成される。これによって、２次デバイスは、適切な触覚効果をユーザーに提供し、出力デバイスごとに生成される異なる電圧レベルを通じて触覚効果の量又はタイプを変化させることが可能になる。
本発明の一実施形態では、オーディオビデオコンテンツは、仮想ビデオゲームとすることができる。より詳細には、そのような実施形態では、マルチデバイスシステムは、ソフトウェアが動作するゲーミングコンソール（すなわち、Ｘｂｏｘ Ｏｎｅ又はＰｌａｙＳｔａｔｉｏｎ ４）と、触覚出力デバイスとしての機能を果たすことができるランブルモーター（rumble motor）等を介して触覚フィードバックを出力するように構成されているゲーミング周辺機器とを備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースである。ゲーミングコンソールは、ビデオゲームを表示する１次視聴デバイスであり、ゲーミング周辺機器は、触覚コンテンツを出力する２次デバイスである。
本明細書において説明したマルチデバイスシステムは、１次視聴デバイス及び単一の２次デバイスを備えるが、これらのシステムは、触覚コンテンツをそれぞれ出力する複数の２次デバイス及び／又はオーディオビデオコンテンツをそれぞれ出力する複数の１次視聴デバイスを備えることができることが当業者によって理解されるであろう。例えば、数人のユーザーが同じ単数の１次視聴デバイスを鑑賞している場合、各ユーザーは、それらのユーザー自身の２次デバイスを保持しており、それによって出力される触覚効果を知覚している場合がある。触覚信号、オーディオビデオ信号、及び／又は触覚コンテンツ及びオーディオビデオコンテンツの双方を有する複合信号は、メディアサーバーから幾つかのデバイスに同時に配信することができる。一実施形態では、１次視聴デバイス及び／又はメディアサーバーは、触覚対応２次デバイスの有無についての初期スキャン又は初期サーチを行うことができ、次に、１次視聴デバイス及び／又はメディアサーバーは、初期サーチ／スキャンにおいて突き止められた各触覚対応２次デバイスに少なくとも触覚信号を配信する。
本発明の他の実施形態では、１次視聴デバイス及び２次デバイスは、互いにインタラクトすることができる。より詳細には、ユーザーは、２次デバイスとインタラクトすることができ、そのようなインタラクションは、１次視聴デバイス上に表示することができ、それによって、仮想環境が、ユーザーにとってよりインタラクティブなものになる。そのようなインタラクティブなセカンドスクリーン触覚の１つの例が、図１６乃至図２１に示されている。この実施形態では、図１６に示すように、マルチデバイスシステム１６００は、ソフトウェアが動作するゲーミングコンソール（不図示）と、１次視聴デバイス１６３０と、２次デバイス１６１０とを備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースであり、１次視聴デバイス１６３０は、メディアサーバーから受信されたオーディオビデオコンテンツを出力するように構成されている一方、２次デバイス１６１０は、触覚出力デバイスを備え、メディアサーバーから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。図１７及び図１８を参照すると、ユーザーは、２次デバイス１６１０上のコンテンツとインタラクトするか又はこのコンテンツを制御する。図１７は、弓矢が２次デバイス１６１０のスクリーン上に表示されているところを示す一方、図１８は、ユーザーが２次デバイス１６１０のスクリーン上で弓矢を配備しているところを示している。図１９に示すように、移動する標的が、１次視聴デバイス１６３０上に表示されている。１次視聴デバイス１６３０上のこの標的は、２次デバイス１６１０上に表示されている弓矢の位置に関連付けられている。したがって、ユーザーが２次デバイス１６１０（及び２次デバイス上の弓矢）を移動させると、１次視聴デバイス１６３０上の標的も同様に移動する。ユーザーが準備できると、ユーザーは、２次デバイス１６１０上の矢を配備又は放ち、矢は、２次デバイス上にもはや表示されないが、一方で、この矢は、その後、図２０に示すように、１次視聴デバイス１６３０上に表示される。所定の経過時間の後、１次視聴デバイス１６３０は、矢が、図２１における１次視聴デバイス上のコンテンツに命中したところを表示する（すなわち、矢が城に命中しているところが示されている）。触覚コンテンツを含むメッセージを２つのデバイス間でインタラクティブな方法で送信するシステム及び方法は、Birnbaum他に対する米国特許第８，９７６，１１２号、Birnbaum他に対する米国特許第８，６３８，３０１号、及びBirnbaum他に対する米国特許出願公開第２０１０／０２１４２４３号に更に記載されている。これらの特許及び特許出願のそれぞれは、本出願と同じ譲受人に譲渡されており、これらの文献のそれぞれは、引用することによってその全内容が本明細書の一部をなす。
そのようなインタラクティブなセカンドスクリーン触覚の別の例は、図２２乃至図２４に示されている。この実施形態では、図２２に示すように、マルチデバイスシステム２２００が、ソフトウェアが動作するゲーミングコンソール（不図示）、１次視聴デバイス２２３０、及び２次デバイス２２１０を備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースであり、１次視聴デバイス２２３０は、メディアサーバーから受信されたオーディオビデオコンテンツを出力するように構成されている一方、２次デバイス２２１０は、触覚出力デバイスを備え、メディアサーバーから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。図２２乃至図２４を参照すると、ユーザーは、２次デバイス２２１０上のコンテンツとインタラクトするか又はこのコンテンツを制御する。図２２は、２次デバイス２２１０のスクリーン上に表示されたボールと、１次視聴デバイス２２３０のスクリーン上に表示されたグローブ、すなわち標的とを示している。図２３は、ユーザーがボールを仮想的に投げているところを示している。ユーザーは、投球動作で２次デバイス２２１０を移動させ、ボールは、２次デバイス上にもはや表示されないが、一方で、ボールは、その後、図２３に示すように１次視聴デバイス２２３０上に表示される。図２４は、ボールがグローブによって仮想的に捕球されるところを示している。より詳細には、所定の経過時間の後に、１次視聴デバイス２２３０は、ボールが１次視聴デバイス上に表示されたグローブ内に捕球されるところを表示する。
図１６乃至図２１及び図２２乃至図２４に関して上記で説明したインタラクティブなセカンドスクリーン触覚の例は、１次視聴デバイス及び単一の２次デバイスを備えるが、システムは、同じ１次視聴デバイスとそれぞれインタラクトする複数の２次デバイスを備えることができることが、当業者によって理解されるであろう。例えば、数人のユーザーが、単一の１次視聴デバイス上に表示されたビデオゲームを鑑賞し、このビデオゲームに参加している場合、各ユーザーは、自身の２次デバイスをそれぞれ保持して、１次視聴デバイス上に表示された仮想環境と個々にインタラクトすることができる。一実施形態では、１次視聴デバイス及び／又はメディアサーバーは、触覚対応２次デバイスの有無についての初期スキャン又は初期サーチを行うことができ、次に、１次視聴デバイス及び／又はメディアサーバーは、初期サーチ／スキャンにおいて突き止められた各触覚対応２次デバイスに少なくとも触覚信号を配信する。したがって、初期サーチ／スキャンにおいて見つかった任意の触覚対応２次デバイスが、１次視聴デバイス上のビデオゲームとインタラクトすることができる。
本発明による種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく本発明の単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。例えば、本明細書において説明した２次デバイスは、オーディオコンテンツ及び／又はビデオコンテンツをオプションとして出力する表示スクリーン及び／又はサウンドデバイスを備えることができるが、２次デバイスは、これらの構成要素及び機能を有することを要しない。例えば、触覚出力に加えて、２次デバイスは、ビデオ出力を有する場合もあるし、オーディオ出力を有する場合もあるし、ビデオ出力及びオーディオ出力の双方を有する場合もあるし、ビデオ出力もオーディオ出力も有しない場合もある。さらに、上記で説明した１次視聴デバイスは、オーディオコンテンツ及びビデオコンテンツをそれぞれ出力する表示スクリーン及びサウンドデバイスを備えるが、１次視聴デバイスは、代替的にオーディオコンテンツのみ（例えば、ビデオコンテンツを伴わない音楽）を出力することもできるし、代替的にビデオコンテンツのみ（例えば、オーディオコンテンツを伴わない無声映画）を出力することもできるし、オーディオコンテンツ及びビデオコンテンツのそれぞれについて分離した又は別個の表示を備えることもできる。加えて、本明細書における実施形態は、２次デバイスによって出力される触覚コンテンツが、１次視聴デバイスによって出力されるビデオオーディオコンテンツに関連付けられ又は関係付けられていることを説明している。しかしながら、本発明の別の実施形態では、触覚コンテンツは、コンテンツが１次視聴デバイス上に表示されていることにかかわらず、２次デバイスにおけるインタラクションを促進するためにユーザーの注意を２次デバイスに引き寄せる目的を有する場合がある。例えば、触覚コンテンツは、広告目的を有する場合がある。したがって、本発明の範囲は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。本明細書において論考された全ての特許及び刊行物はその全体が、引用することにより本明細書の一部をなす。

Claims (20)

  1. 少なくとも１つのメディアサーバーシステムであって、該少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、該オーディオビデオコンテンツ及び該触覚コンテンツを転送するように構成され、該触覚コンテンツは、該オーディオビデオコンテンツに関連付けられている、少なくとも１つのメディアサーバーシステムと、
    表示スクリーンを備える１次視聴デバイスであって、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成されている、１次視聴デバイスと、
    触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成され、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを、前記触覚出力デバイスを介して触覚効果として出力するように構成されている、２次デバイスと、
    を備える、マルチデバイスシステム。
  2. 前記２次デバイスは、表示スクリーンを備え、前記オーディオビデオコンテンツを出力するように構成されている、請求項１に記載のマルチデバイスシステム。
  3. 前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツを含む第１の信号を前記１次視聴デバイスに転送し、前記触覚コンテンツを含む第２の信号を前記２次デバイスに転送する、請求項１に記載のマルチデバイスシステム。
  4. 前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記１次視聴デバイスに転送し、前記１次視聴デバイスは、少なくとも前記触覚コンテンツを前記２次デバイスに転送する、請求項１に記載のマルチデバイスシステム。
  5. 前記１次視聴デバイスは、前記２次デバイスに前記触覚コンテンツを転送するが、前記オーディオビデオコンテンツは転送しない、請求項４に記載のマルチデバイスシステム。
  6. 前記１次視聴デバイスは、前記触覚コンテンツ及び前記オーディオビデオコンテンツの双方を前記２次デバイスに転送する、請求項４に記載のマルチデバイスシステム。
  7. 前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記２次デバイスに転送し、前記２次デバイスは、少なくとも前記オーディオビデオコンテンツを前記１次視聴デバイスに転送する、請求項１に記載のマルチデバイスシステム。
  8. 前記２次デバイスは、前記１次視聴デバイスに前記オーディオビデオコンテンツを転送するが、前記触覚コンテンツは転送しない、請求項７に記載のマルチデバイスシステム。
  9. 前記２次デバイスは、前記触覚コンテンツ及び前記オーディオビデオコンテンツの双方を前記１次視聴デバイスに転送する、請求項７に記載のマルチデバイスシステム。
  10. 前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方の前記ソースを備える単一のサーバーを備える、請求項１に記載のマルチデバイスシステム。
  11. 前記少なくとも１つのメディアサーバーシステムは、第１のメディアサーバー及び第２のメディアサーバーを備え、該第１のメディアサーバーは、前記オーディオビデオコンテンツのソースを備え、前記第２のメディアサーバーは、前記触覚コンテンツのソースを備える、請求項１に記載のマルチデバイスシステム。
  12. 前記２次デバイスは、ユーザーによって保持されるか又はユーザーに結合されるように構成されている、請求項１に記載のマルチデバイスシステム。
  13. 前記２次デバイスは、タブレットコンピューター又はモバイルフォンである、請求項１２に記載のマルチデバイスシステム。
  14. 前記１次視聴デバイス及び前記２次デバイスの双方はそれぞれ、前記触覚コンテンツが、前記１次視聴デバイス上にレンダリングされている前記オーディオビデオコンテンツと十分に同期して前記２次デバイス上にレンダリングされることを確保する再生ロケーターを備える、請求項１に記載のマルチデバイスシステム。
  15. 少なくとも１つのメディアサーバーシステムであって、該少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、該触覚コンテンツは、該オーディオビデオコンテンツに関連付けられている、少なくとも１つのメディアサーバーシステムと、
    表示スクリーンを備え、前記オーディオビデオコンテンツを出力するように構成されている１次視聴デバイスと、
    触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成されている、２次デバイスと、
    を備え、
    前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツを前記１次視聴デバイス及び前記２次デバイスのうちの少なくとも一方に転送するように構成され、前記１次視聴デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成され、前記２次デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを出力するように構成され、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、マルチデバイスシステム。
  16. １次視聴デバイスにおいてオーディオビデオコンテンツを受信するステップであって、該１次視聴デバイスは表示スクリーンを備える、ステップと、
    ２次デバイスにおいて触覚コンテンツを受信するステップであって、該２次デバイスは、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備え、前記触覚コンテンツは前記オーディオビデオコンテンツに関連付けられている、ステップと、
    前記オーディオビデオコンテンツを前記１次視聴デバイス上に出力するステップと、
    前記触覚コンテンツを前記２次デバイス上に出力するステップであって、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、ステップと、
    を含む、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法。
  17. 少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツを含む第１の信号を前記１次視聴デバイスに転送し、前記触覚コンテンツを含む第２の信号を前記２次デバイスに転送する、請求項１６に記載の方法。
  18. 少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記１次視聴デバイスに転送し、前記１次視聴デバイスは、少なくとも前記触覚コンテンツを前記２次デバイスに転送する、請求項１６に記載の方法。
  19. 少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記２次デバイスに転送し、前記２次デバイスは、少なくとも前記オーディオビデオコンテンツを前記１次視聴デバイスに転送する、請求項１６に記載の方法。
  20. 前記２次デバイス上に出力される前記触覚コンテンツを、前記１次視聴デバイス上に出力される前記オーディオビデオコンテンツと同期させるステップを更に含む、請求項１６に記載の方法。
JP2020118561A 2014-07-07 2020-07-09 セカンドスクリーン触覚 Pending JP2020191642A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462021663P 2014-07-07 2014-07-07
US62/021,663 2014-07-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017500807A Division JP2017531930A (ja) 2014-07-07 2015-07-06 セカンドスクリーン触覚

Publications (1)

Publication Number Publication Date
JP2020191642A true JP2020191642A (ja) 2020-11-26

Family

ID=55017965

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017500807A Pending JP2017531930A (ja) 2014-07-07 2015-07-06 セカンドスクリーン触覚
JP2020118561A Pending JP2020191642A (ja) 2014-07-07 2020-07-09 セカンドスクリーン触覚

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017500807A Pending JP2017531930A (ja) 2014-07-07 2015-07-06 セカンドスクリーン触覚

Country Status (6)

Country Link
US (3) US9635440B2 (ja)
EP (1) EP3167350A4 (ja)
JP (2) JP2017531930A (ja)
KR (1) KR20170030510A (ja)
CN (1) CN106537291A (ja)
WO (1) WO2016007426A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
JP2018045270A (ja) * 2016-09-12 2018-03-22 ソニー株式会社 通信装置および方法、並びにプログラム
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) * 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
JP7155643B2 (ja) 2018-06-18 2022-10-19 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11269415B2 (en) * 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
CA3167126A1 (en) * 2020-02-07 2021-08-12 Albert F. Elcock Transfer of media content viewing experience using epg guide
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11571617B2 (en) * 2020-12-18 2023-02-07 Dell Products, Lp System and method for coordinating gaming haptic response across peripheral device ecosystem
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20240024783A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Contextual scene enhancement
WO2024063867A1 (en) * 2022-09-22 2024-03-28 Qualcomm Incorporated Multi-source multimedia output and synchronization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3329595A (en) * 1994-08-18 1996-03-14 Interval Research Corporation Content-based haptic input device for video
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
US6357042B2 (en) 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US8667553B2 (en) * 2001-06-19 2014-03-04 Opentv, Inc. Automated input in an interactive television system
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7950033B2 (en) * 2001-10-10 2011-05-24 Opentv, Inc. Utilization of relational metadata in a television system
US20030128859A1 (en) * 2002-01-08 2003-07-10 International Business Machines Corporation System and method for audio enhancement of digital devices for hearing impaired
US7634795B2 (en) * 2002-01-11 2009-12-15 Opentv, Inc. Next generation television receiver
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
AU2003297716A1 (en) * 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7302468B2 (en) * 2004-11-01 2007-11-27 Motorola Inc. Local area preference determination system and method
US8290192B2 (en) * 2005-02-03 2012-10-16 Nokia Corporation Gaming headset vibrator
US8139803B2 (en) * 2005-08-15 2012-03-20 Immerz, Inc. Systems and methods for haptic sound
US20070083895A1 (en) * 2005-10-12 2007-04-12 Sbc Knowledge Ventures, L.P. System and method of managing television information
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20070093275A1 (en) * 2005-10-25 2007-04-26 Sony Ericsson Mobile Communications Ab Displaying mobile television signals on a secondary display device
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080112581A1 (en) * 2006-11-09 2008-05-15 Stanley Kim Vibrating earphone with enhanced base sound effect
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US8095646B2 (en) * 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR20090038835A (ko) * 2007-10-16 2009-04-21 한국전자통신연구원 실감 미디어 생성 및 소비 방법 및 그 장치 및 실감 미디어메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체
US20100275235A1 (en) * 2007-10-16 2010-10-28 Sanghyun Joo Sensory effect media generating and consuming method and apparatus thereof
US8875212B2 (en) * 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
JP2011520302A (ja) * 2007-12-10 2011-07-14 デラックス・デジタル・スタジオズ，インコーポレイテッド マルチメディアデバイスを連係させる際に使用するための方法およびシステム
KR101442836B1 (ko) 2008-01-07 2014-11-04 삼성전자주식회사 가시광 통신을 이용한 영상 부가정보 제공방법 및 장치
US8190683B2 (en) * 2008-02-29 2012-05-29 Microsoft Corporation Synchronizing multiple user remote content playback
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
CN102099766B (zh) 2008-07-15 2015-01-14 意美森公司 用于在无源和有源模式之间变换触觉反馈功能的系统和方法
WO2010033006A2 (ko) * 2008-09-22 2010-03-25 한국전자통신연구원 실감 효과 표현 방법 및 장치
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20100132003A1 (en) * 2008-11-25 2010-05-27 Bennett James D Providing Wireless Pathway Adapter Support Via Set-Top Boxes
US9137495B2 (en) 2009-01-30 2015-09-15 Yinzcam, Inc. Systems and methods for providing interactive video services
JP2012524452A (ja) * 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
US8675010B2 (en) * 2010-04-02 2014-03-18 Electronics And Telecommunications Research Institute Method and apparatus for providing metadata for sensory effect, computer readable record medium on which metadata for sensory effect is recorded, method and apparatus for representating sensory effect
US9009339B2 (en) 2010-06-29 2015-04-14 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
US9049494B2 (en) * 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
US20120221148A1 (en) 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
KR101276846B1 (ko) * 2011-04-22 2013-06-18 엘지전자 주식회사 미디어 데이터의 스트리밍 제어방법 및 제어장치
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
CN104012100A (zh) * 2011-10-14 2014-08-27 谷歌公司 作为媒体曝光计的可穿戴计算机
KR20130048035A (ko) 2011-11-01 2013-05-09 엘지전자 주식회사 미디어 장치, 컨텐츠 서버 및 그 동작방법
US9281013B2 (en) 2011-11-22 2016-03-08 Cyberlink Corp. Systems and methods for transmission of media content
US8917971B2 (en) * 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
BR112014016509B1 (pt) * 2012-01-08 2022-06-21 Interdigital Ce Patent Holdings Método e aparelho para apresentação de servidor de diretório de conteúdo, e aparelho de conteúdo de mídia conectado a uma pluralidade de fontes de conteúdo de mídia
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
JP2015515208A (ja) * 2012-03-23 2015-05-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 相関したメディアプレゼンテーションの同期のためのバッファ管理方法
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
US20140063259A1 (en) 2012-08-31 2014-03-06 Ihigh.Com, Inc. Method and system for video production
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9866899B2 (en) * 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US20140089815A1 (en) * 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9648389B1 (en) * 2013-03-14 2017-05-09 Citizen, Inc. In-stream association of media content for video presentation
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US10135887B1 (en) * 2013-03-15 2018-11-20 Cox Communications, Inc Shared multimedia annotations for group-distributed video content
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP2806353B1 (en) 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US11016718B2 (en) * 2013-06-13 2021-05-25 Jawb Acquisition Llc Conforming local and remote media characteristics data to target media presentation profiles
US9703379B2 (en) * 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US20150054727A1 (en) 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US8977376B1 (en) * 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
US8767996B1 (en) * 2014-01-06 2014-07-01 Alpine Electronics of Silicon Valley, Inc. Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones
KR102016644B1 (ko) * 2014-02-23 2019-08-30 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US9812165B2 (en) * 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法

Also Published As

Publication number Publication date
EP3167350A4 (en) 2018-01-24
US20160007095A1 (en) 2016-01-07
US20200245038A1 (en) 2020-07-30
US10667022B2 (en) 2020-05-26
JP2017531930A (ja) 2017-10-26
US20170188119A1 (en) 2017-06-29
EP3167350A1 (en) 2017-05-17
CN106537291A (zh) 2017-03-22
KR20170030510A (ko) 2017-03-17
US9635440B2 (en) 2017-04-25
WO2016007426A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP2020191642A (ja) セカンドスクリーン触覚
US10477202B2 (en) Method and apparatus for encoding and decoding haptic information in multi-media files
US20150054727A1 (en) Haptically enabled viewing of sporting events
US10075251B2 (en) Haptic broadcast with select haptic metadata based on haptic playback capability
EP3104258A1 (en) Broadcast haptics architectures
CN107835971B (zh) 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置
US20190267043A1 (en) Automated haptic effect accompaniment
WO2016043976A1 (en) Continuation of playback of media content by different output devices
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
US20220214749A1 (en) Real-time immersive content providing system, and haptic effect transmission method thereof
KR101731476B1 (ko) 가상 인체를 통한 촉각 상호작용 방법과 장치
WO2023046899A1 (en) Location-based haptic signal compression
JP7377093B2 (ja) プログラム、情報処理装置、及び情報処理方法
KR20110040128A (ko) 헵틱 콘텐츠 스트리밍 시스템
GB2610591A (en) Apparatus, systems and methods for haptics

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220405