KR20170030510A - 제2 스크린 햅틱 - Google Patents

제2 스크린 햅틱 Download PDF

Info

Publication number
KR20170030510A
KR20170030510A KR1020177000232A KR20177000232A KR20170030510A KR 20170030510 A KR20170030510 A KR 20170030510A KR 1020177000232 A KR1020177000232 A KR 1020177000232A KR 20177000232 A KR20177000232 A KR 20177000232A KR 20170030510 A KR20170030510 A KR 20170030510A
Authority
KR
South Korea
Prior art keywords
haptic
content
audio
main viewing
media server
Prior art date
Application number
KR1020177000232A
Other languages
English (en)
Inventor
로버트 라크로와
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170030510A publication Critical patent/KR20170030510A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다중 장치 시스템은 적어도 하나의 미디어 서버 시스템, 디스플레이 스크린을 포함하는 주요 시청 장치 및 햅틱 출력 장치를 포함하는 보조 장치를 포함한다. 상기 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스를 포함하며, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 전송하도록 구성된다. 햅틱 콘텐츠는 오디오-비디오 콘텐츠와 관련된다. 주요 시청 장치는 적어도 하나의 미디어 서버 시스템으로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성된다. 보조 장치는 적어도 하나의 미디어 서버 시스템으로부터 수신된 햅틱 콘텐츠를 햅틱 출력 장치를 통해 햅틱 효과로서 출력하도록 구성된다.

Description

제2 스크린 햅틱{SECOND SCREEN HAPTICS}
관련 출원의 상호 참조
본 출원은 2014년 7월 7일자로 출원된 미국 특허 가출원 제62/021,663호의 이익을 주장하며, 이는 본 명세서에 그 전문이 모든 목적을 위해 포함된다.
발명의 분야
본 발명의 실시예는 일반적으로 멀티미디어 콘텐츠 처리 및 제공에 관한 것으로, 특히 햅틱 효과를 갖는 오디오-비디오 콘텐츠의 향상에 관한 것이다.
"제2 스크린"이라는 용어는 텔레비전과 같은 제1 또는 주요 장치 또는 스크린 상에서 시청되는 콘텐츠에 대한 향상된 시청 경험을 제공하기 위한 컴퓨팅 장치의 사용을 의미한다. 다시 말해, 제2 스크린은 텔레비전 시청자가 보고 있는 프로그램을 향상시키기 위해 그가 사용하는 제2 전자 장치이다. 제2 스크린은 종종 스마트폰이나 태블릿 컴퓨터이며, 이 경우에 특별한 보완 앱을 사용하면 시청자는 태블릿이나 스마트폰이 TV 동료 장치가 되도록 다른 방식으로 TV 프로그램과 상호 작용할 수 있다. 예를 들어, 이러한 보조 디스플레이 중 일부는 뉴스 또는 현재 이벤트 방송과 같은 시각적 방송에 대한 실시간 채팅을 가능하게 한다. 제2 스크린 현상은 시청자에게 TV를 더 상호작용 가능하게 하기 위한 시도를 나타낸다.
비디오 게임 산업에서 일반적으로 사용되는 햅틱 효과는 사용자 경험을 향상시키고 사용자에게 가상 환경을 더 상호작용 가능하게 하는 촉각 큐를 제공할 수 있다. 예를 들어, 진동 효과 또는 진동 촉각 햅틱 효과는 전자 장치 사용자에게 특정 이벤트를 알리기 위해 사용자에게 큐를 제공하거나, 시뮬레이션 또는 가상 환경 내에서 더 큰 감각적 몰입을 생성하기 위해 사실적인 피드백을 제공하는 데 유용할 수 있다.
그러나, 햅틱 효과는 전형적으로 텔레비전과 같은 주요 시청 장치에 방송되거나 달리 제공되지 않는다. 따라서, 본 발명의 실시예는 사용자에 대한 시청 경험을 더욱 향상시키기 위해 제2 스크린을 사용하는 것에 관한 것이다. 보다 상세하게는, 본 발명의 실시예는 다중 장치 환경에서 햅틱 효과로 오디오-비디오 콘텐츠를 향상시키는 것에 관한 것이다.
발명의 요약
본 발명의 실시예는 다중 장치 시스템에 관한 것으로, 시스템은 적어도 하나의 미디어 서버 시스템, 디스플레이 스크린을 포함하는 주요 시청 장치, 및 햅틱 출력 장치를 포함하는 보조 장치를 포함한다. 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스를 포함하며, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 전송하도록 구성된다. 햅틱 콘텐츠는 오디오-비디오 콘텐츠와 관련된다. 주요 시청 장치는 적어도 하나의 미디어 서버 시스템으로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성된다. 보조 장치는 사용자 입력을 수신하도록 구성되고, 적어도 하나의 미디어 서버 시스템으로부터 수신된 햅틱 콘텐츠를 햅틱 출력 장치를 통해 햅틱 효과로서 출력하도록 구성된다.
본 발명의 실시예는 또한 다중 장치 시스템과 관련되며, 시스템은 적어도 하나의 미디어 서버 시스템, 디스플레이 스크린을 포함하고 오디오-비디오 콘텐츠를 출력하도록 구성된 주요 시청 장치, 및 사용자 입력을 수신하도록 구성되고, 사용자에게 햅틱 효과를 출력하도록 구성되는 햅틱 출력 장치를 포함하는 보조 장치를 포함한다. 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스를 포함하며, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 전송하도록 구성된다. 햅틱 콘텐츠는 오디오-비디오 콘텐츠와 관련된다. 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 주요 시청 장치 및 보조 장치 중 적어도 하나에 전송하도록 구성된다. 주요 시청 장치는 적어도 하나의 미디어 서버 시스템으로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성되고, 보조 장치는 적어도 하나의 미디어 서버 시스템으로부터 수신된 햅틱 콘텐츠를 출력하도록 구성되며, 햅틱 콘텐츠는 햅틱 출력 장치를 통해 햅틱 효과로서 출력된다.
본 발명의 실시예는 또한 햅틱 효과를 오디오-비디오 콘텐츠의 시청자에게 전달하는 방법에 관한 것이다. 오디오-비디오 콘텐츠는 주요 시청 장치에서 수신되고, 주요 시청 장치는 디스플레이 스크린을 포함한다. 햅틱 콘텐츠는 보조 장치에서 수신되고, 보조 장치는 사용자 입력을 수신하도록 구성되고, 햅틱 효과를 사용자에게 출력하도록 구성된 햅틱 출력 장치를 포함한다. 햅틱 콘텐츠는 오디오-비디오 콘텐츠와 관련된다. 오디오-비디오 콘텐츠는 주요 시청 장치 상에 출력되거나 렌더링되고, 햅틱 콘텐츠는 보조 장치 상에 출력되거나 렌더링된다. 햅틱 콘텐츠는 햅틱 출력 장치를 통해 햅틱 효과로서 출력된다.
본 발명의 전술한 특징 및 다른 특징 및 이점은 첨부된 도면에 도시된 실시예에 대한 다음의 설명으로부터 명백해질 것이다. 본 명세서에 통합되어 명세서의 일부를 형성하는 첨부 도면은 또한 본 발명의 원리를 설명하고 이 분야의 기술자가 본 발명을 제작하고 사용할 수 있게 하는 데 사용된다. 도면은 축척으로 도시되지 않는다.
도 1은 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하는 다중 장치 시스템의 예시이며, 미디어 서버는 오디오-비디오 콘텐츠를 주요 시청 장치에 전달하고 햅틱 콘텐츠를 보조 장치에 전달한다.
도 2는 도 1의 시스템의 블록도이다.
도 3은 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하며, 미디어 서버는 오디오-비디오 콘텐츠를 주요 시청 장치에 그리고 햅틱 콘텐츠를 보조 장치에 전달하고, 재생 로케이터 신호가 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 동기화를 보장하기 위해 이용된다.
도 4는 도 3의 시스템의 블록도이다.
도 5는 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 두 개의 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하고, 제1 미디어 서버는 오디오-비디오 콘텐츠를 주요 시청 장치에 전달하고, 제2 미디어 서버는 햅틱 콘텐츠를 보조 장치에 전달하고, 재생 로케이터 신호가 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 동기화를 보장하기 위해 이용된다.
도 6은 도 4의 시스템의 블록도이다.
도 7은 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하며, 미디어 서버는 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 보조 장치에 전달하고, 보조 장치는 적어도 오디오-비디오 콘텐츠를 주요 시청 장치에 전달한다.
도 8은 도 7의 시스템의 블록도이다.
도 9는 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 두 개의 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하고, 제1 미디어 서버는 보조 장치에 오디오-비디오 콘텐츠를 전달하고, 제2 미디어 서버는 햅틱 콘텐츠를 보조 장치에 전달하고, 보조 장치는 적어도 오디오-비디오 콘텐츠를 주요 시청 장치에 전달한다.
도 10은 도 9의 시스템의 블록도이다.
도 11은 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하며, 미디어 서버는 오디오-비디오 콘텐츠 및 햅틱 콘텐츠를 주요 시청 장치에 전달하고, 주요 시청 장치는 적어도 햅틱 콘텐츠를 보조 장치에 전달한다.
도 12는 도 11의 시스템의 블록도이다.
도 13은 다른 실시예에 따른 다중 장치 시스템의 예시이며, 다중 장치 시스템은 두 개의 미디어 서버, 주요 시청 장치 및 보조 장치를 포함하고, 제1 미디어 서버는 주요 시청 장치에 오디오-비디오 콘텐츠를 전달하고, 제2 미디어 서버는 햅틱 콘텐츠를 주요 시청 장치에 전달하고, 주요 시청 장치는 적어도 햅틱 콘텐츠를 보조 장치에 전달한다.
도 14는 도 13의 시스템의 블록도이다.
도 15는 일 실시예에 따른, 햅틱 효과를 오디오-비디오 콘텐츠의 시청자에게 전달하는 방법의 흐름도이다.
도 16은 다른 실시예에 따른 다중 장치 시스템을 도시하며, 다중 장치 시스템의 주요 시청 장치 및 보조 장치는 서로 상호 작용할 수 있다.
도 17은 도 16의 보조 장치와 상호 작용하는 사용자를 도시하며, 사용자는 보조 장치의 스크린 상에 활과 화살을 배치한다.
도 18은 도 16의 보조 장치와 상호 작용하는 사용자를 도시하며, 사용자는 보조 장치의 스크린 상에 활 및 화살을 배치한다.
도 19는 도 16의 주요 시청 장치를 도시하며, 움직이는 표적이 주요 시청 장치 상에 표시되고, 표적은 보조 장치 상에 표시되는 활 및 화살의 위치와 관련된다.
도 20은 도 16의 다중 장치 시스템을 도시하며, 화살은 배치되었고, 더 이상 보조 장치 상에 표시되지 않지만, 화살은 주요 시청 장치 상에 표시된다.
도 21은 도 16의 주요 시청 장치를 도시하며, 주요 시청 장치는 주요 시청 장치 상의 콘텐츠를 맞히는 화살을 표시한다.
도 22는 다중 장치 시스템의 주요 시청 장치 및 보조 장치가 서로 상호 작용할 수 있는 다른 예를 도시하며, 볼이 보조 장치의 스크린 상에 표시되고, 글러브 또는 표적이 주요 시청 장치의 스크린 상에 표시된다.
도 23은 도 22의 보조 장치와 상호 작용하는 사용자를 도시하며, 사용자가 가상적으로 볼을 던지고, 볼이 보조 장치 상에 더 이상 표시되지 않고 오히려 볼이 주요 시청 장치 상에 표시된다.
도 24는 도 22의 주요 시청 장치를 도시하며, 주요 시청 장치는 글러브에 의해 가상적으로 포구되는 볼을 표시한다.
본 발명의 특정 실시예가 이제 도면을 참조하여 설명되며, 동일한 참조 번호는 동일하거나 기능적으로 유사한 요소를 나타낸다. 이하의 상세한 설명은 본질적으로 단지 예시적인 것이며, 본 발명 또는 본 발명의 응용 및 용도를 제한하고자 하는 것은 아니다. 또한, 앞의 기술 분야, 배경, 요약 또는 다음의 상세한 설명에 제시된 임의의 표현되거나 암시된 이론에 구속될 의도는 없다.
본 발명의 실시예는 햅틱 콘텐츠를 오디오-비디오 콘텐츠의 시청자에게 전달하기 위한 다중 장치 시스템에 관한 것이다. 특히, 오디오-비디오 콘텐츠 및 오디오-비디오 콘텐츠와 관련된 햅틱 콘텐츠는 적어도 하나의 미디어 서버 시스템으로부터 저장되거나 발생한다. 오디오-비디오 콘텐츠는 텔레비전 쇼, 영화, 스포츠 방송, 뉴스 방송, 사용자 생성 콘텐츠 또는 비디오 및 오디오 구성 요소를 모두 포함하는 다른 프로그래밍을 포함하지만 이에 한정되지 않는다. 본 명세서에 사용된 바와 같이, 오디오-비디오 콘텐츠와 "관련된" 햅틱 콘텐츠는 오디오-비디오 콘텐츠의 내용을 동반하거나, 강화하거나, 보완하거나, 보충하기 위해 오디오-비디오 콘텐츠와 상관되거나, 접속되거나, 링크되거나, 달리 관련된 임의의 햅틱 또는 촉각 효과를 포함하지만 이에 제한되지 않는다. 오디오-비디오 콘텐츠는 TV와 같은 주요 시청 장치 상에 렌더링되거나 출력되고, 햅틱 콘텐츠는 스마트폰 또는 태블릿 컴퓨터와 같은 보조 장치 상에 렌더링되거나 출력된다. 예를 들어, 사용자는 주요 시청 장치, 즉 TV에서 비디오를 보며, 보조 장치, 즉 스마트폰 또는 태블릿 컴퓨터를 보유하거나, 보조 장치, 즉 사용자의 손목에 결합된 손목 시계, 사용자의 팔에 결합된 팔-밴드 또는 다른 몸체 부분에 결합된 착용식 장치를 포함하지만 이에 한정되지는 않는 착용식 장치를 그에 몸에 부착 또는 결합하고 있다. 주요 시청 장치에서 비디오를 보는 동안, 보조 장치는 촉각 또는 햅틱 효과를 사용자에게 전달하도록 구성된다. 햅틱 효과는 주요 시청 장치에서 시청되는 비디오와 관련되거나 연관되며, 따라서 시스템은 다중 장치 환경에서 사용자에 대한 햅틱 향상 미디어 경험을 유발한다.
특히, 도 1 및 도 2를 참조하면, 실시예에 따른 다중 장치 시스템(100)이 도시된다. 도 1은 시스템(100)의 개략도이고, 도 2는 그 블록도이다. 시스템(100)은 미디어 서버(102), 주요 시청 장치(130), 및 보조 장치(110)를 포함한다. 미디어 서버(102)는 오디오-비디오 콘텐츠 또는 데이터 및 연관된 햅틱 콘텐츠 또는 데이터의 소스이다. 미디어 서버(102)는 주요 시청 장치(130)와 통신하여 오디오-비디오 콘텐츠를 주요 시청 장치에 송신 또는 전송한다. 오디오-비디오 콘텐츠는 미디어 서버(102)로부터 오디오-비디오 신호(106)로서 전송된다. 오디오-비디오 신호(106)는 방송 표준 신호, 예로서 무선 또는 케이블 신호일 수 있거나, OTT(Over the Top Technology) 유니캐스트 유형의 신호, 예로서 Netflix to SmartTV일 수 있다. 또한, 미디어 서버(102)는 보조 장치로 햅틱 콘텐츠를 송신 또는 전송하기 위해 보조 장치(110)와 통신한다. 햅틱 콘텐츠는 햅틱 신호(104)로서 미디어 서버(102)로부터 전송된다. 미디어 서버(102)는 예를 들어 방송 네트워크 서비스, 케이블 통신 서비스, 위성 통신 서비스, 클라우드 비디오 스트리밍 서비스, 게임 콘솔 또는 임의의 다른 유형의 서버일 수 있다. 미디어 서버(102)는 이 분야의 기술자에게 공지된 유선 또는 무선 통신 수단을 사용하여 주요 시청 장치(130) 및 보조 장치(110)와 통신한다. 또한, 원격 배치된 장치로 도시되어 그로부터의 신호가 유선 또는 무선 접속을 통해 통신되지만, 미디어 서버(102)는 대안적으로 보조 장치(110) 또는 주요 시청 장치(130) 내에 배치되거나 저장될 수 있다.
주요 시청 장치(130)는 미디어 서버(102)로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성된 텔레비전 또는 TV와 같은 오디오-비디오 디스플레이 장치이다. 도 2의 블록도에 도시된 바와 같이, 주요 시청 장치(130)는 수신기(132), 사운드 장치(146) 및 디스플레이 스크린(140)을 포함한다. 수신기(132)는 오디오-비디오 신호(106)를 수신하고 오디오-비디오 신호(106)를 이미지 및 사운드로 처리될 수 있는 전기 신호로 변환한다. 사운드 장치(146)는 예를 들어 주요 시청 장치(130)에 내장되거나 결합된 스피커일 수 있고, 비디오 이미지와 함께 오디오를 재생하기 위해 전기 신호를 음파로 변환할 수 있다. 따라서, 주요 시청 장치(130)는 사운드 장치(146)를 통해 오디오를 출력한다. 디스플레이 스크린(140)은 전기 신호를 가시광으로 변환하도록 구성되며, 비디오를 사용자에게 출력하는 임의의 유형의 매체일 수 있고; 이는 모니터, 텔레비전 스크린, 플라즈마, LCD, 프로젝터 또는 임의의 다른 디스플레이 장치를 포함하지만 이에 국한되지 않는다. 따라서, 주요 시청 장치(130)는 디스플레이 스크린(140)을 통해 비디오를 출력한다. 스마트폰, 게임 콘솔, 개인 디지털 오거나이저, 노트북 컴퓨터 및 디스플레이 스크린이 결합된 다른 유형의 컴퓨터를 포함하지만 이에 한정되지 않는, TV 외의 다른 오디오-비디오 디스플레이 장치가 주요 시청 장치(130)로서 사용될 수 있다. 이용되는 미디어 서버(102)의 유형에 따라, 주요 시청 장치(130)는 인터넷으로부터 스트리밍 신호를 수신하기 위한 내장형 유선 또는 무선 모뎀(148)을 포함할 수 있다. 대안적으로, 모뎀(148)은 내장형이 아니라 주요 시청 장치(130)에 결합될 수 있다.
보조 장치(110)는 사용자에 의해 느끼거나 인식되는 햅틱 효과로서 미디어 서버(102)로부터 수신된 햅틱 콘텐츠를 출력하도록 구성된다. 햅틱 효과를 인식하기 위해, 보조 장치(110)는 사용자에 의해 유지되거나, 사용자에게 부착 또는 결합되거나, 햅틱 또는 촉각 효과를 사용자에게 전달할 수 있는 표면을 갖는 장치이다. 실시예에서, 보조 장치는 또한 터치 스크린, 터치 패드, 컴퓨터 주변 장치, 제어 버튼, 트리거, 조이스틱 또는 썸스틱 등과 같은 사용자 입력 요소를 통해 사용자 입력 또는 제어를 수신하도록 구성되거나 수신할 수 있다. 예를 들어, 실시예에서, 보조 장치(110)는 햅틱 효과 렌더링 능력을 포함하는 이동 전화 또는 태블릿 컴퓨터이다. 예를 들어, 보조 장치(110)는 Apple® Ipad®, Kindle® Fire® 및 Samsung® Galaxy Tab®과 같이 잘 알려지거나 시장에서 입수 가능한 태블릿 컴퓨터일 수 있다. 보조 장치(110)를 위한 다른 적절한 장치는 PDA(personal digital assistants), 컴퓨터, 게임 주변 장치, 및 햅틱 콘텐츠를 출력하도록 구성되고, 또한 사용자 입력을 수신하도록 구성되거나 수신할 수 있는 이 분야의 기술자에게 알려진 다른 장치를 포함하지만, 이에 한정되지는 않는다.
도 2의 블록도에 도시된 바와 같이, 보조 장치(110)는 수신기(112), 프로세서(114), 메모리(116), 적어도 하나의 햅틱 출력 장치(118), 디스플레이 스크린(120) 및 사운드 장치(126)를 포함한다. 보조 장치(110)는 메모리(116)에 저장되고 프로세서(114)에 의해 실행되는 소프트웨어 애플리케이션을 실행한다. 프로세서(114)는 임의 유형의 범용 프로세서일 수 있거나 햅틱 효과 신호를 제공하도록 특별히 설계된 프로세서일 수 있다. 메모리(116)는 임의의 유형의 저장 장치 또는 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM)와 같은, 그러나 이에 한정되지 않는 컴퓨터 판독 가능 매체일 수 있다. 메모리(116)는 또한 프로세서 내부에 위치하거나 내부 및 외부 메모리의 임의의 조합일 수 있다. 사운드 장치(126)는 예를 들어 보조 장치(110)가 사운드 장치(126)를 통해 오디오를 출력하는 능력을 갖도록 보조 장치(110)에 내장되거나 결합된 스피커일 수 있다. 이 실시예에서, 보조 장치(110)는 디스플레이 스크린(120)을 통해 비디오를 출력하기 위한 능력도 갖는다. 디스플레이(120)는 보조 장치(110)에 결합될 수 있거나, 이 분야의 기술자에게 공지된 바와 같이, 보조 장치(110) 및 디스플레이(120)는 단일 장치로 결합될 수 있다. 실시예에서, 디스플레이 스크린(120)은 사용자 입력을 수신하도록 구성된 터치 스크린이다. 또한, 사용되는 미디어 서버(102)의 유형에 따라, 보조 장치(110)는 인터넷으로부터 스트리밍 신호를 수신하기 위한 내장형 유선 또는 무선 모뎀(128)을 포함할 수 있다. 대안적으로, 모뎀(128)은 내장형이 아니라 보조 장치(110)에 결합될 수 있다.
동작시, 보조 장치(110)의 수신기(112)는 햅틱 신호(104)를 수신하고 햅틱 신호(104)를 인식한다. 이어서, 햅틱 신호(104)는 프로세서(114)에 라우팅되거나 송신된다. 햅틱 신호(104)는 예를 들어 어떤 햅틱 효과가 수행되어야 하는지를 나타내는 직접 햅틱 효과 스트림 또는 커맨드 세트를 포함할 수 있다. 미디어 서버(102)로부터 햅틱 신호(104)를 수신하는 것에 응답하여, 프로세서(114)는 햅틱 출력 장치(118)에게 사용자에게 하나 이상의 햅틱 효과를 제공하거나 출력하도록 명령한다. 프로세서(114)는 햅틱 출력 장치(118)에 어떤 햅틱 효과를 전송할지 그리고 햅틱 효과를 어떤 순서를 전송할지를 결정할 수 있다. 예를 들어, 햅틱 신호(104)는 미디어 서버(102)로부터 보조 장치(110)로 스트리밍되는 전압 크기 및 지속 시간을 포함할 수 있다. 다른 예에서, 햅틱 신호(104)는 햅틱 출력 장치(118)에 의해 출력될 햅틱 효과의 유형(예로서, 진동, 충격, 디텐트, 팝 등)과 같은 프로세서(114)에 대한 하이 레벨 커맨드를 제공할 수 있으며, 따라서 프로세서(114)는 출력될 햅틱 효과의 특정 특성(예로서, 크기, 주파수, 지속기간 등)에 대해 햅틱 출력 장치(118)에 지시한다. 프로세서(114)는 햅틱 효과의 유형, 크기, 주파수, 지속 기간 또는 다른 특성을 그에 결합된 메모리(116)로부터 검색할 수 있다.
햅틱 피드백은 사용자 경험을 향상시킨다. 본 명세서에서 사용되는 바와 같이, 운동 감각 효과(예로서, 능동 및 저항 햅틱 피드백) 및/또는 촉각 효과(예로서, 진동, 텍스처 및 열)는 집합적으로 "햅틱 피드백" 또는 "햅틱 효과"로 알려져 있다. 집합적 햅틱 효과는 다수의 양식, 예로서 비디오, 오디오 및 햅틱이 동시에 관련됨에 따라 오디오-비디오 콘텐츠에 대한 더 큰 몰입감을 사용자에게 제공한다. 예를 들어, 진동 효과 또는 진동 촉각 햅틱 효과는 사용자에게 특정 이벤트를 알리거나 시뮬레이션 또는 가상 환경 내에서 더 큰 몰입감을 생성하는 사실적인 피드백을 제공하기 위해 사용자에게 큐를 제공하는 데 유용할 수 있다. 사용자가 주요 장치(130)를 통해 오디오-비디오 콘텐츠를 시청하는 동안 보조 장치(110)에 의해 유익하게 출력할 수 있는 햅틱 효과의 예는 (1) 여러 가속도계, 자이로스코프 및 다른 센서가 관심 대상(예로서, 농구)의 동적 특성을 측정하고 알고리즘을 통해 의미있는 햅틱 효과 데이터로 변환하는 생방송 스포츠 이벤트에서의 믹싱 부스; (2) 오디오-비디오 콘텐츠를 관찰하고, 햅틱 효과 데이터 생성에 적합한 시기를 결정하는, 예를 들어 두 명의 하키 선수가 스크린 상에서 충돌하는 것이 관찰될 때 바디첵 느낌을 나타내는 햅틱 효과를 생성하는 오디오 및 비디오 분석 장비 및 알고리즘; (3) 햅틱 효과 데이터 생성을 용이하게 하는 도구를 이용하여 아티스트에 의해 생성되는 핸드크래프트 햅틱 효과 - 예로서, 일련의 거대한 폭발이 머신 건 파이어와 혼재하는 헐리우드 액션 영화를 위해 아티스트에 의해 햅틱 감각이 설계됨 -; 및 (4) 관심 대상과 관련되고, 대상의 동적 특성을 측정하고, 측정 데이터를 의미있는 햅틱 효과 데이터로 변환하는 알고리즘에 공급하는 비접촉 측정 장비, 예로서 타구 봉에 의해 가격되는 징을 가리키는 레이저 진동계로서, 가격에 의해 생성되는 징 모션 및 진동을 픽업하고 진동계 데이터를 햅틱 감각으로 변환하는 알고리즘을 실행하는 장비에 진동계 데이터를 공급하는 진동계를 포함하지만 이에 한정되지 않는다. 보조 장치(110)의 프로세서(114)는 햅틱 콘텐츠를 렌더링하는 특정 유형의 보조 장치에 대해 최적화되도록 햅틱 콘텐츠를 추가로 조정하거나 조절하는 소프트웨어 알고리즘을 실행할 수 있다.
햅틱 출력 장치(118)에 의해 제공되는 햅틱 효과는 디텐트 또는 진동과 같은 과도 효과를 포함할 수 있지만 이에 국한되지는 않는다. 햅틱 출력 장치(118)는 물리적 및/또는 비물리적 액추에이터일 수 있다. 가능한 물리적 액추에이터는 편심 질량이 모터에 의해 이동되는 편심 회전 질량("ERM") 액추에이터, 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액추에이터("LRA"), 압전 액추에이터, 모터에 의해 편심 질량이 움직이는 전자기 모터, 진동 촉각 액추에이터, 관성 액추에이터 및 여기에 설명된 액추에이터의 임의의 조합을 포함하지만 이에 한정되지 않는다. 가능한 비물리적 액추에이터는 정전기 마찰(ESF), 초음파 표면 마찰(USF) 및 여기에 설명된 액추에이터의 임의 조합을 포함하지만 이에 국한되지는 않는다. 다른 실시예에서, 햅틱 출력 장치(들)(118)는 예를 들어 보조 장치(110)의 하우징의 강성/댐핑을 변화시키는 솔레노이드, 하우징 내의 크기를 변화시키는 소형 에어백, 또는 형상 변경 재료를 포함하는 운동 감각 햅틱 피드백을 사용할 수 있다.
도 1-2의 실시예에서, 시스템(100)은 "미디어 서버 기반"이며, 이는 미디어 서버(102)가 햅틱 신호(104) 및 오디오-비디오 신호(106)를 보조 장치(110) 및 주요 시청 장치(130)로 각각 직접 전송 또는 통신한다는 것을 의미한다. 미디어 서버 기반 실시예에서, 햅틱 향상 콘텐츠를 시청하기를 원하는 사용자는 보조 장치(110) 및 주요 시청 장치(130)를 턴온 또는 파워온한다. 예를 들어, 주요 시청 장치(130)는 셋톱 박스를 통해, TV CPU 상에서 실행되는 앱을 이용하여, 또는 직접 무선 디지털 방송을 통해 미디어 서버(102)로부터 오디오-비디오 신호(106)를 공급받을 수 있다. 보조 장치(110)는 미디어 서버(102)와의 데이터 접속을 설정한다. 실시예에서, 보조 장치(110)는 콘텐츠와 관련된 앱(예를 들어, 햅틱 콘텐츠의 소스/소유자에 의해 생성된 앱)을 요구할 수 있거나, 보조 장치의 브라우저를 통해 특정 HTTP 주소에 접속하는 것이 필요할 수 있다. 미디어 서버(102)가 오디오-비디오 신호(106)를 주요 시청 장치(130)로 스트리밍 또는 전송할 때, 미디어 서버(102)는 또한 햅틱 신호(104)를 보조 장치(110)로 동시에 스트리밍하거나 다른 방식으로 제공한다.
실시예에서, 다중 장치 시스템은 보조 장치 상에 출력되는 햅틱 콘텐츠와 주요 시청 장치 상에 출력되는 오디오-비디오 콘텐츠의 동기화를 보장하는 수단을 포함할 수 있다. 특히, 도 3 및 4를 참조하면, 본 발명의 실시예에 따른 다중 장치 시스템(300)이 도시된다. 도 3은 시스템(300)의 개략도이고, 도 4는 그 블록도이다. 시스템(300)은 미디어 서버(302), 주요 시청 장치(330) 및 보조 장치(310)를 포함한다. 다중 장치 시스템(100)과 유사하게, 다중 장치 시스템(300)은 미디어 서버 기반이며, 따라서 미디어 서버(302)는 주요 시청 장치(330)와 직접 통신하여 오디오-비디오 신호(306)를 주요 시청 장치로 송신 또는 전송하고, 또한 보조 장치(310)와 직접 통신하여 보조 장치로 햅틱 신호(304)를 송신 또는 전송한다. 전술한 다중 장치 시스템(100)의 구성 요소와 유사하게 그리고 도 4의 블록도에 도시된 바와 같이, 주요 시청 장치(330)는 수신기(332), 사운드 장치(346) 및 디스플레이 스크린(340)을 포함하고, 보조 장치(310)는 수신기(312), 프로세서(314), 메모리(316), 적어도 하나의 햅틱 출력 장치(318), 디스플레이 스크린(320) 및 사운드 장치(326)를 포함한다. 그러나, 이 실시예에서, 주요 시청 장치(330) 및 보조 장치(310)는 각각의 장치들 상에 출력되는 콘텐츠의 동기화를 보장하기 위해 통신한다. 재생 로케이터 신호(350)가 주요 시청 장치(330)와 보조 장치(310) 사이에서 통신된다. 재생 로케이터 신호(350)는 미디어 서버(302)를 통해 흐르는 통신 경로를 포함하는 유선 또는 무선의 임의의 수단을 통해 통신될 수 있다. 실시예에서, 재생 로케이터 신호(350)는 주요 시청 장치로부터 타이밍 정보를 인코딩 및 방송하기 위해 오디오 및/또는 비디오 신호에 대한 지각할 수 없는 변경을 통해 통신될 수 있다.
특히, 보조 장치(310)는 재생 로케이터(322)를 포함하고, 주요 시청 장치(330)는 재생 로케이터(342)를 포함한다. 재생 로케이터(322, 342)는 햅틱 신호(304), 오디오-비디오 신호(306) 각각에 대한 시간 기준점을 결정하는 기능을 한다. 시간 기준점은 예를 들어 시간 코드, 카운터, 소비된 미디어 재생 초 수, 미디어 파일의 현재 시간 재생 위치, 또는 재생 위치의 임의의 다른 지시일 수 있다. 주요 시청 장치(330)의 재생 로케이터(342)는 경우에 따라 재생 위치를 보조 장치(310)의 재생 로케이터(322)에 통신하거나 그 반대이다. 보조 장치(310)는 수신된 재생 위치 로케이션 정보를 사용하여 햅틱 신호(304)의 햅틱 부분이 주요 시청 장치(330) 상에 렌더링되는 오디오-비디오 신호(306)와 충분히 동기화된 방식으로 렌더링되는 것을 보장한다.
햅틱 및 오디오-비디오 신호 모두를 전달하기 위해 단지 하나의 서버를 갖는 것으로 도시되지만, 다른 실시예에서, 다중 장치 시스템은 햅틱 콘텐츠를 보조 장치로 그리고 오디오-비디오 콘텐츠를 주요 시청 장치로 전달하기 위해 2개의 상이한 또는 별개의 서버를 포함할 수 있다. 달리 말하면, 여기에 설명된 하나 이상의 미디어 서버는 미디어 서버 시스템으로 간주될 수 있다. 특히, 도 5 및 6을 참조하면, 실시예에 따른 다중 장치 시스템(500)이 도시된다. 도 5는 시스템(500)의 개략도이고, 도 6은 그 블록도이다. 시스템(500)은 제1 미디어 서버(502A), 제2 미디어 서버(502B), 주요 시청 장치(530) 및 보조 장치(510)를 포함한다. 따라서, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠는 별개의 상이한 미디어 서버(502A, 502B)로부터 소싱된다. 미디어 서버(502B)는 주요 시청 장치(530)와 직접 통신하여 오디오-비디오 신호(506)를 주요 시청 장치에 송신 또는 전송하고, 미디어 서버(502A)는 보조 장치(510)와 직접 통신하여 햅틱 신호(504)를 보조 장치에 송신 또는 전송한다. 전술한 실시예와 유사하게 그리고 도 6의 블록도에 도시된 바와 같이, 주요 시청 장치(530)는 수신기(532), 사운드 장치(546) 및 디스플레이 스크린(540)을 포함하고, 보조 장치(510)는 수신기(512), 프로세서(514), 메모리(516), 적어도 하나의 햅틱 출력 장치(518), 디스플레이 스크린(520) 및 사운드 장치(526)를 포함한다. 또한, 도 3-4의 실시예와 유사하게, 주요 시청 장치(530) 및 보조 장치(510)는 각각의 장치 상에 출력되는 콘텐츠의 동기화를 보장하기 위해 통신한다. 보조 장치(510)는 재생 로케이터(522)를 포함하고, 주요 시청 장치(530)는 재생 로케이터(542)를 포함하고, 재생 로케이터 신호(550)가 주요 시청 장치(530)와 보조 장치(510) 사이에서 통신된다.
다른 실시예에 따르면, 다중 장치 시스템은 "보조 장치 기반"일 수 있는데, 이는 미디어 서버(들)만이 보조 장치로 데이터 신호를 직접 송신 또는 제공한다는 것을 의미한다. 특히, 보조 장치 기반 실시예에서, 미디어 서버는 신호의 완전 보완 - 오디오, 비디오, 햅틱 -을 보조 장치로 송신한다. 이어서, 보조 장치는 또한 보조 장치가 햅틱 콘텐츠를 렌더링하는 동안 주요 시청 장치로 적어도 신호의 오디오-비디오 부분을 발하거나 전송한다. 보조 장치 기반 실시예에서, 보조 장치는 미디어 서버에 접속하여 오디오-비디오 및 햅틱 콘텐츠를 수신하도록 구성될 것이다. 보조 장치는 또한 유선 또는 무선 통신 수단을 통해 주요 시청 장치로의 접속을 설정하여 오디오-비디오 콘텐츠를 표시를 위해 주요 시청 장치로 전송할 것이다.
보다 구체적으로, 보조 장치 기반 실시예가 도 7-8에 도시된다. 다중 장치 시스템(700)은 미디어 서버(702), 주요 시청 장치(730), 및 보조 장치(710)를 포함한다. 전술한 실시예와 유사하게 그리고 도 8의 블록도에 도시된 바와 같이, 주요 시청 장치(730)는 수신기(732), 사운드 장치(746) 및 디스플레이 스크린(740)을 포함하고, 보조 장치(710)는 수신기(712), 프로세서(714), 메모리(716), 적어도 하나의 햅틱 출력 장치(718), 디스플레이 스크린(720) 및 사운드 장치(726)를 포함한다. 다중 장치 시스템(700)은 보조 장치 기반인데, 이는 미디어 서버(702)가 보조 장치(710)와만 직접 통신하기 때문이다. 미디어 서버(702)는 복합 신호(708)를 보조 장치(710)로 송신 또는 전송한다. 복합 신호(708)는 비디오 콘텐츠 또는 데이터, 오디오 콘텐츠 또는 데이터, 및 햅틱 콘텐츠 또는 데이터를 포함하며, 이러한 부분은 시간 순서로 인터리빙된 상태로 전달되거나, 이러한 부분은 정렬되지 않은 상태에 전달되지만, 보조 장치(710)에 의해 사용자에게 제시하기 위해 정확한 시간 순서로의 재조립을 위해 해석될 수 있는 시퀀싱 정보를 포함한다. 달리 말하면, 복합 신호(708)의 햅틱 콘텐츠 또는 데이터는 전체 미디어 신호 내의 분리된 또는 독립적인 부분으로서 이산적으로 포함될 수 있거나, 다른 실시예에서, 햅틱 콘텐츠 또는 데이터는 또한 오디오 및/또는 시각적 콘텐츠 또는 데이터 내에 내장된 후에 그로부터 추출될 수 있다.
보조 장치(710)는 복합 신호(708)의 수신 시에 그의 햅틱 부분을 인식하여, 수신기(712)와 관련된 재생을 위해 디코딩한다. 복합 신호(708) 내의 햅틱 커맨드에 응답하여, 프로세서(714)는 햅틱 효과를 출력하도록 햅틱 출력 장치(718)에 지시한다. 실시예에서, 보조 장치(710)는 또한 각각 사운드 장치(726) 및 디스플레이 스크린(720)을 통해 복합 신호(708)의 오디오 및 비디오 부분을 사용자에게 제시하거나 출력할 수 있다. 다른 실시예에서, 보조 장치(710)는 각각 사운드 장치(726) 및 디스플레이 스크린(720)을 통해 다른 소스로부터 각각 다른 오디오 및 비디오 콘텐츠를 제시하거나 출력할 수 있다.
또한, 복합 신호(708)를 수신하면, 보조 장치(710)는 그의 오디오-비디오 부분을 인식한다. 보조 장치(710)는 복합 신호(708)의 적어도 오디오-비디오 부분을 주요 시청 장치(730)에 통신하는 변환기(724)를 포함한다. 도 7-8의 실시예에서, 보조 장치(710)는 복합 신호(708)로부터 오디오-비디오 부분을 추출 또는 스트립하고, 변환기(724)는 오디오-비디오 신호(706)만을 주요 시청 장치(730)에 전달한다. 다시 말하면, 복합 신호(708)의 햅틱 부분은 보조 장치(710)가 주요 시청 장치(730)에 신호를 출력하기 전에 제거된다. 그러한 제거는 주요 시청 장치(730)가 햅틱 부분을 갖는 복합 신호(708)를 해석할 수 없는 경우에 필요할 수 있다. 복합 신호(708)의 햅틱 부분을 제거하는 것 이외에, 변압기(724)는 오디오-비디오 신호(706)를 주요 시청 장치(730)가 해석 및 표시할 수 있는 포맷으로 변경 또는 변환하도록 요구될 수 있다. 오디오-비디오 신호(706)는 유선 또는 무선 통신 수단을 통해 보조 장치(710)로부터 주요 시청 장치(730)로 통신된다.
다른 실시예(미도시)에서, 보조 장치(710)는 복합 신호(708)를 변경 또는 변환하지 않고 주요 시청 장치(730)에 전송할 수 있다. 이러한 실시예에서, 주요 시청 장치(730)는 복합 신호(708)의 햅틱 부분을 무시하거나 주요 시청 장치가 추가적인 시청자에 대해 이용 가능한 임의의 수단을 통해 햅틱 효과를 렌더링할 수 있다.
도 7-8의 보조 장치 기반 실시예가 복합 신호를 전달하기 위한 단지 하나의 서버를 갖는 것으로 도시되어 있지만, 다른 실시예에서, 다중 장치 시스템은 햅틱 콘텐츠 및 오디오-비디오 콘텐츠를 상이한 또는 별개의 신호로서 보조 장치로 개별적으로 전달하기 위한 2개의 상이한 또는 별개의 서버를 포함할 수 있다. 특히, 도 9 및 10을 참조하면, 실시예에 따른 다중 장치 시스템(900)이 도시되어 있다. 도 9는 시스템(900)의 개략도이고, 도 10은 그 블록도이다. 시스템(900)은 제1 미디어 서버(902A), 제2 미디어 서버(902B), 주요 시청 장치(930) 및 보조 장치(910)를 포함한다. 따라서, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠는 별개의 상이한 미디어 서버(902A, 902B)로부터 소싱된다. 미디어 서버(902B)는 보조 장치에 오디오-비디오 신호(906)를 송신 또는 전송하기 위해 보조 장치(910)와 직접 통신하고, 미디어 서버(902A)는 보조 장치에 햅틱 신호(904)를 송신 또는 전송하기 위해 보조 장치(910)와 직접 통신한다.
전술한 실시예와 유사하게 그리고 도 10의 블록도에 도시된 바와 같이, 주요 시청 장치(930)는 수신기(932), 사운드 장치(946) 및 디스플레이 스크린(940)을 포함하고, 보조 장치(910)는 수신기(912), 프로세서(914), 메모리(916), 적어도 하나의 햅틱 출력 장치(918), 디스플레이 스크린(920) 및 사운드 장치(926)를 포함한다. 보조 장치(910)의 수신기(912)는 햅틱 신호(904) 및 오디오-비디오 신호(906) 양자를 수신하면 햅틱 신호(408)의 렌더링이 오디오-비디오 신호(906)의 렌더링과 충분히 동기화된 상태로 유지되는 것을 보증하도록 신호를 동기화한다. 햅틱 신호(904)에 응답하여, 프로세서(914)는 햅틱 출력 장치(918)에 햅틱 효과를 출력하도록 명령한다. 게다가, 보조 장치(910)의 송신기(924)는 오디오-비디오(906)를 주요 시청 장치(930)로 통신한다. 필요한 경우, 송신기(924)는 송신 전에 오디오-비디오 신호(906)를 주요 시청 장치(930)가 해석하고 표시할 수 있는 포맷으로 변경 또는 변환할 수 있다. 도 9-10의 실시예가 2개의 상이한 또는 별개의 서버를 갖는 것으로 도시되었지만, (도 7-8의 실시예와 같이 복합 신호가 아니라) 상이한 또는 별개의 햅틱 및 오디오-비디오 신호를 전달하는 단일 서버가 이용될 수 있다.
다른 실시예에 따르면, 다중 장치 시스템은 "주요 시청 장치 기반"일 수 있는데, 이는 미디어 서버(들)만이 데이터 신호를 주요 시청 장치에 직접 송신 또는 제공한다는 것을 의미한다. 보다 상세하게는, 주요 시청 장치 기반 실시예에서, 미디어 서버는 신호의 완전한 보완 - 오디오, 비디오, 촉각 -을 주요 시청 장치에 전송한다. 그 다음, 주요 시청 장치는 또한 주요 시청 장치가 오디오-비디오 콘텐츠를 렌더링하는 동안 신호의 적어도 햅틱 부분을 보조 장치로 발하거나 송신한다. 주요 시청 장치 기반 실시예에서, 주요 시청 장치는 유선 또는 무선 통신 수단을 통해 보조 장치에 대한 접속을 설정하여, 렌더링을 위해 보조 장치에 햅틱 콘텐츠를 전송하도록 구성될 것이다. 보조 장치에 햅틱 콘텐츠를 접속하고 제공하는 기능은 TV에 접속된 셋톱 박스에 존재할 수 있거나, 스마트 TV 내에 패키징된 CPU에서 실행되는 소프트웨어 내에 존재할 수 있거나, Apple TV, Chromecast 또는 이와 유사한 장치와 같은, 그러나 이에 한정되지 않는 처리 능력을 갖춘 미디어 센터 PC 또는 기타 장치와 같은 장치 내에 존재할 수 있다. 주요 시청 장치와 관련된 소프트웨어는 보조 장치가 주요 시청 장치에 대해 유선 또는 무선 접속을 설정하는 것을 지원할 것이다. 접속의 목적은 적어도 부분적으로는 햅틱 콘텐츠를 렌더링을 위해 보조 장치에 전송하는 것이다.
특히, 주요 시청 장치 기반 실시예가 도 11-12에 도시된다. 다중 장치 시스템(1100)은 미디어 서버(1102), 주요 시청 장치(1130), 및 보조 장치(1110)를 포함한다. 위의 실시예와 유사하게 그리고 도 12의 블록도에 도시된 바와 같이, 주요 시청 장치(1130)는 수신기(1132), 사운드 장치(1146) 및 디스플레이 스크린(1140)을 포함하고, 보조 장치(1110)는 수신기(1112), 프로세서(1114), 메모리(1116), 적어도 하나의 햅틱 출력 장치(1118), 디스플레이 스크린(1120) 및 사운드 장치(1126)를 포함한다. 다중 장치 시스템(1100)은 미디어 서버(1102)가 주요 시청 장치(1130)와만 직접 통신한다는 점에서 주요 시청 장치 기반이다. 미디어 서버(1102)는 복합 신호(1108)를 주요 시청 장치(1130)로 송신 또는 전송한다. 복합 신호(1108)는 비디오 콘텐츠 또는 데이터, 오디오 콘텐츠 또는 데이터, 및 햅틱 콘텐츠 또는 데이터를 포함하며, 그러한 부분은 시간 순서로 인터리빙된 상태로 전달되거나, 그러한 부분은 정렬되지 않은 상태에 전달되지만, 주요 시청 장치(1130)에 의해 사용자에게 제시하기 위해 정확한 시간 순서로의 재조립을 위해 해석될 수 있는 시퀀싱 정보를 포함한다. 달리 말하면, 복합 신호(1108)의 햅틱 콘텐츠 또는 데이터는 전체 미디어 신호 내의 분리된 또는 독립적인 부분으로서 이산적으로 포함될 수 있거나, 다른 실시예에서, 햅틱 콘텐츠 또는 데이터는 또한 오디오 및/또는 시각적 콘텐츠 또는 데이터 내에 내장된 후에 그로부터 추출될 수 있다.
주요 시청 장치(1130)는 복합 신호(1108)를 수신하면 그의 오디오-비디오 부분을 인식하고, 오디오-비디오 콘텐츠를 디스플레이 스크린(1140) 및 사운드 장치(1146)를 통해 출력한다. 게다가, 주요 시청 장치(1130)는 복합 신호(1108)를 수신하면 그의 햅틱 부분을 인식한다. 주요 시청 장치(1130)는 복합 신호(1108)의 적어도 햅틱 부분을 보조 장치(1110)에 통신하는 변환기(1144)를 포함한다. 도 11-12의 실시예에서, 주요 시청 장치(1130)는 복합 신호(1108)로부터 햅틱 부분을 추출 또는 스트립하고, 햅틱 효과를 렌더링하기 위해 변환기(1144)는 햅틱 신호(1104)만을 보조 장치(1110)에 통신한다. 즉, 복합 신호(1108)의 오디오-비디오 부분은 주요 시청 장치(1130)가 보조 장치(1110)에 신호를 출력하기 전에 제거된다. 햅틱 신호(1104)는 유선 또는 무선 통신 수단을 통해 주요 시청 장치(1130)로부터 보조 장치(1110)에 통신된다.
다른 실시예(미도시)에서, 주요 시청 장치(1130)는 복합 신호(1108)를 변경 또는 변환하지 않고 보조 장치(1110)에 전송할 수 있다. 이러한 실시예에서, 보조 장치(1110)는 복합 신호(1108)의 오디오-비디오 부분을 무시하거나 디스플레이 스크린(1120) 및 사운드 장치(1126)를 통해 오디오-비디오 콘텐츠를 출력할 수 있다.
도 11-12의 주요 시청 장치 기반 실시예는 복합 신호를 전달하기 위한 단지 하나의 서버를 갖는 것으로 도시되지만, 다른 실시예에서, 다중 장치 시스템은 햅틱 콘텐츠 및 오디오-비디오 콘텐츠를 주요 시청 장치에 개별적으로 전달하기 위한 2개의 상이한 또는 별개의 서버를 포함할 수 있다. 특히, 도 13 및 14를 참조하면, 실시예에 따른 다중 장치 시스템(1300)이 도시된다. 도 13은 시스템(1300)의 개략도이고, 도 14는 그 블록도이다. 시스템(1300)은 제1 미디어 서버(1302A), 제2 미디어 서버(1302B), 주요 시청 장치(1330) 및 보조 장치(1310)를 포함한다. 따라서, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠는 별개의 상이한 미디어 서버(1302A, 1302B)로부터 소싱된다. 미디어 서버(1302B)는 주요 시청 장치(1330)와 직접 통신하여 주요 시청 장치에 오디오-비디오 신호(1306)를 송신 또는 전송하고, 미디어 서버(1302A)는 주요 시청 장치(1330)와 직접 통신하여 햅틱 신호(1304)를 주요 시청 장치에 송신 또는 전송한다.
전술한 실시예와 유사하게 그리고 도 14의 블록도에 도시된 바와 같이, 주요 시청 장치(1330)는 수신기(1332), 사운드 장치(1346) 및 디스플레이 스크린(1340)을 포함하고, 보조 장치(1310)는 수신기(912), 프로세서(1314), 메모리(1316), 적어도 하나의 햅틱 출력 장치(1318), 디스플레이 스크린(1320) 및 사운드 장치(1326)를 포함한다. 주요 시청 장치(1330)의 수신기(1332)는 햅틱 신호(1304) 및 오디오-비디오 신호(1306) 양자를 수신하면, 햅틱 신호(1308)의 렌더링이 오디오-비디오 신호(1306)의 렌더링과 충분히 동기화된 상태로 유지되는 것을 보증하기 위해 신호를 동기화한다. 게다가, 주요 시청 장치(1330)의 송신기(1344)는 햅틱 효과를 렌더링하기 위해 햅틱 신호(1304)를 보조 장치(1310)에 통신한다. 도 13-14의 실시예는 두 개의 상이한 또는 별개의 서버를 갖는 것으로 도시되었지만, (도 11-12의 실시예와 같이 복합 신호보다는) 상이한 또는 별개의 햅틱 및 오디오-비디오 신호를 전달하는 단일 서버가 이용될 수 있다.
도 15는 본 발명의 일 실시예에 따른, 햅틱 효과를 오디오-비디오 콘텐츠의 시청자에게 전달하는 흐름도이다. 실시예에서, 도 15의 흐름도의 기능은 보조 장치의 메모리에 저장되고 보조 장치의 프로세서에 의해 그리고/또는 주요 시청 장치에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 기능은 "ASIC"(Application Specific Integrated Circuit), "PGA"(Programmable Gate Array), "FPGA"(Field Programmable Gate Array)의 사용을 통해 하드웨어에 의해 또는 하드웨어와 소프트웨어의 임의 조합에 의해 수행될 수 있다.
단계 1560에서, 오디오-비디오 콘텐츠를 갖는 오디오-비디오 신호 및 햅틱 콘텐츠를 갖는 햅틱 신호가 적어도 하나의 미디어 서버 시스템으로부터 전송된다. 햅틱 콘텐츠는 오디오-비디오 콘텐츠와 관련된다. 오디오-비디오 신호 및 햅틱 신호는 하나 이상의 미디어 서버로부터 별개의 신호로서 개별적으로 전송되거나, 오디오-비디오 신호 및 햅틱 신호는 미디어 서버로부터 복합물로서 전송될 수 있다. 미디어 서버 기반 실시예의 경우, 오디오-비디오 신호 및 햅틱 신호는 상이한 신호로서 각각 주요 시청 장치 및 보조 장치에 직접 전송된다. 주요 시청 장치 기반 실시예의 경우, 양 신호는 주요 시청 장치에 전송된 후, 적어도 햅틱 신호가 주요 시청 장치로부터 보조 장치에 전송된다. 보조 장치 기반 실시예의 경우, 양 신호가 보조 장치로 전송된 다음, 적어도 오디오-비디오 신호가 보조 장치로부터 주요 시청 장치로 전송된다.
단계 1562에서, 주요 시청 장치는 오디오-비디오 콘텐츠를 포함하는 오디오-비디오 신호를 수신한다. 미디어 서버 기반 실시예 또는 주요 시청 장치 기반 실시예의 경우, 오디오-비디오 신호가 미디어 서버로부터 송신된다. 보조 장치 기반 실시예의 경우, 오디오-비디오 신호가 보조 장치로부터 송신된다. 오디오-비디오 신호를 수신하면, 주요 시청 장치는 단계 1564에서 오디오-비디오 콘텐츠를 출력한다.
단계 1566에서, 보조 장치는 햅틱 콘텐츠를 포함하는 햅틱 신호를 수신한다. 미디어 서버 기반 실시예 또는 보조 장치 기반 실시예의 경우, 햅틱 신호가 미디어 서버로부터 전송된다. 주요 시청 장치 기반 실시예의 경우, 햅틱 신호가 주요 시청 장치로부터 전송된다.
햅틱 신호를 수신하면, 보조 장치의 프로세서는 단계 1568에서 신호가 햅틱 신호인지 다른 비햅틱 관련 신호인지를 결정한다. 신호가 햅틱 신호가 아니라고 결정되면, 프로세서는 사용자에게 어떠한 햅틱 효과도 적용하지 않고 계속 기능하고, 미디어 서버 및/또는 주요 시청 장치로부터 다른 신호를 수신하기를 기다린다. 신호가 햅틱 신호라고 결정되면, 프로세서는 단계 1570에서 햅틱 출력 장치에 커맨드 또는 명령을 전송할 것이고, 이어서 햅틱 출력 장치는 단계 1572에서 지시된 햅틱 효과를 출력할 것이다. 햅틱 출력 장치에 의해 출력되는 햅틱 효과는 다양한 정도의 진동, 다양한 정도의 디텐트 또는 다른 유형의 햅틱 효과를 포함할 수 있지만 이에 한정되지는 않는다.
보조 장치가 다수의 햅틱 출력 장치를 포함하는 경우, 보조 장치의 프로세서는 어느 햅틱 출력 장치에서 각 햅틱 효과가 실행되어 사용자에게 제공되는지를 결정할 수 있다. 이러한 실시예에서, 하이 레벨 햅틱 파라미터 또는 스트리밍 값이 보조 장치의 메모리에 저장된 소프트웨어 코드에서 생성된다. 파라미터 또는 값은 프로세서에 의해 처리되고, 이에 따라 각각의 햅틱 출력 장치에 대한 적절한 전압 레벨이 생성된다. 이는 보조 장치가 사용자에게 적절한 햅틱 효과를 제공하고 각각의 출력 장치에 대해 생성된 상이한 전압 레벨을 통해 햅틱 효과의 양 또는 유형을 변화시킬 수 있게 한다.
실시예에서, 오디오-비디오 콘텐츠는 가상 비디오 게임일 수 있다. 보다 구체적으로, 이러한 실시예에서, 다중 장치 시스템은 소프트웨어가 실행중인 게임 콘솔(즉, Xbox One 또는 PlayStation 4) 및 예로서 햅틱 출력 장치로서 사용될 수 있는 럼블 모터를 통해 햅틱 피드백을 출력하도록 구성된 게임 주변 장치를 포함한다. 게임 콘솔의 소프트웨어는 미디어 서버이며 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스이다. 게임 콘솔은 비디오 게임을 표시하는 주요 시청 장치이며, 게임 주변 장치는 햅틱 콘텐츠를 출력하는 보조 장치이다.
본 명세서에 설명된 다중 장치 시스템이 주요 시청 장치 및 단일 보조 장치를 포함하지만, 시스템은 각각 햅틱 콘텐츠를 출력하는 다수의 보조 장치 및/또는 각각 오디오-비디오 콘텐츠를 출력하는 다수의 주요 시청 장치를 포함할 수 있다는 것이 이 분야의 기술자에게 이해될 것이다. 예를 들어, 여러 명의 사용자가 동일한 하나의 주요 시청 장치를 시청하는 경우, 각 사용자는 자신의 보조 장치를 들고서 그에 의해 출력되는 햅틱 효과를 느낄 수 있다. 햅틱 신호(들), 오디오-비디오 신호(들) 및/또는 햅틱 및 오디오-비디오 콘텐츠를 모두 갖는 복합 신호(들)가 미디어 서버(들)로부터 여러 장치로 동시에 전달될 수 있다. 실시예에서, 주요 시청 장치 및/또는 미디어 서버는 임의의 햅틱 가능 보조 장치에 대한 초기 스캔 또는 검색을 수행한 다음, 주요 시청 장치 및/또는 미디어 서버는 적어도 햅틱 신호를 초기 검색/스캔에서 찾은 각 햅틱 가능 보조 장치에 전달한다.
다른 실시예에서, 주요 시청 장치와 보조 장치는 서로 상호 작용할 수 있다. 보다 구체적으로, 사용자는 보조 장치와 상호 작용할 수 있고, 이러한 상호 작용은 주요 시청 장치 상에 표시될 수 있으며, 이에 의해 사용자에 대한 가상 환경을 보다 상호작용 가능하게 한다. 이러한 상호작용 제2 스크린 햅틱의 한 예가 도 16-21에 도시되어 있다. 이 실시예에서, 도 16에 도시된 바와 같이, 다중 장치 시스템(1600)은 소프트웨어가 실행되는 게임 콘솔(도시되지 않음), 주요 시청 장치(1630) 및 보조 장치(1610)를 포함한다. 게임 콘솔 상의 소프트웨어는 미디어 서버이고, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스이며, 주요 시청 장치(1630)는 미디어 서버로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성되고, 보조 장치(1610)는 햅틱 출력 장치를 포함하고, 미디어 서버로부터 수신된 햅틱 콘텐츠를 햅틱 출력 장치를 통해 햅틱 효과로서 출력하도록 구성된다. 도 17 및 18을 참조하면, 사용자는 보조 장치(1610) 상의 콘텐츠와 상호 작용하거나 제어한다. 도 17은 보조 장치(1610)의 스크린 상에 표시되는 활과 화살을 도시하고, 도 18은 보조 장치(1610)의 스크린 상에 활 및 화살을 배치하는 사용자를 도시한다. 도 19에 도시된 바와 같이, 이동 표적이 주요 시청 장치(1630) 상에 표시된다. 주요 시청 장치(1630) 상의 표적은 보조 장치(1610) 상에 표시되는 활 및 화살의 위치와 관련된다. 이와 같이, 사용자가 보조 장치(1610)(및 그 위의 활 및 화살)를 움직일 때, 주요 시청 장치(1630) 상의 표적도 움직인다. 사용자가 준비가 되면, 그는 보조 장치(1610) 상의 화살을 전개 또는 발사하고, 화살은 보조 장치 상에 더 이상 표시되지 않지만, 화살은 도 20에 도시된 바와 같이 주요 시청 장치(1630) 상에 표시된다. 미리 결정된 경과 시간 후에, 주요 시청 장치(1630)는 도 21의 주요 시청 장치상의 콘텐츠를 맞히는 화살을 표시한다(즉, 화살이 성을 맞히는 것이 도시된다). 상호 작용 방식으로 2개의 장치 사이에서 햅틱 콘텐츠를 포함하는 메시지를 전송하는 시스템 및 방법이 Birnbaum 등의 미국 특허 제8,976,112호, Birnbaum 등의 미국 특허 제8,638,301호 및 Birnbaum 등의 미국 특허 공개 번호 2010/0214243에 더 설명되며, 이들 각각은 본 출원과 동일한 양수인에게 양도되었으며, 각각은 그 전체가 본 명세서에 참고로 포함된다.
이러한 상호 작용 제2 스크린 햅틱의 다른 예가 도 22-24에 도시되어 있다. 이 실시예에서, 도 22에 도시된 바와 같이, 다중 장치 시스템(2200)은 소프트웨어가 실행되는 게임 콘솔(미도시), 주요 시청 장치(2230) 및 보조 장치(2210)를 포함한다. 게임 콘솔 상의 소프트웨어는 미디어 서버이고, 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스이며, 주요 시청 장치(2230)는 미디어 서버로부터 수신된 오디오-비디오 콘텐츠를 출력하도록 구성되며, 보조 장치(2210)는 햅틱 출력 장치를 포함하고, 미디어 서버로부터 수신된 햅틱 콘텐츠를 햅틱 출력 장치를 통해 햅틱 효과로서 출력하도록 구성된다. 도 22-24를 참조하면, 사용자는 보조 장치(2210) 상의 콘텐츠와 상호 작용하거나 제어한다. 도 22는 보조 장치(2210)의 스크린 상에 표시된 볼 및 주요 시청 장치(2230)의 스크린 상에 표시된 글러브 또는 표적을 도시한다. 도 23은 사용자가 가상적으로 볼을 던지는 것을 도시한다. 사용자는 보조 장치(2210)를 투구 동작으로 이동시키고, 볼은 보조 장치 상에 더 이상 표시되지 않고, 오히려 도 23에 도시된 바와 같이 주요 시청 장치(2230) 상에 표시된다. 도 24는 글러브가 가상적으로 볼을 잡는 것을 도시한다. 보다 상세하게는, 미리 결정된 경과 시간 후에, 주요 시청 장치(2230)는 주요 시청 장치 상에 표시된 글러브 안에 잡힌 볼을 표시한다.
도 16-21 및 22-24와 관련하여 전술한 상호 작용 제2 스크린 햅틱 예는 주요 시청 장치 및 단일 보조 장치를 포함하지만, 시스템은 각각 동일한 주요 시청 장치와 상호 작용하는 다수의 보조 장치를 포함할 수 있다는 것을 이 분야의 기술자는 이해할 것이다. 예를 들어, 여러 사용자가 단일 주요 시청 장치에 표시된 비디오 게임을 보고 참여하는 경우, 각 사용자는 각각 자신의 보조 장치를 보유하여 주요 시청 장치 상에 표시된 가상 환경과 개별적으로 상호 작용할 수 있다. 실시예에서, 주요 시청 장치 및/또는 미디어 서버는 임의의 햅틱 가능 보조 장치에 대한 초기 스캔 또는 검색을 수행할 수 있으며, 이어서 주요 시청 장치 및/또는 미디어 서버는 적어도 햅틱 신호를 초기 검색/스캔에서 찾은 각각의 햅틱 가능 보조 장치에 전달한다. 이와 같이, 초기 검색/스캔에서 발견된 임의의 햅틱 가능 보조 장치는 주요 시청 장치 상의 비디오 게임과 상호 작용할 수 있다.
이상, 본 발명에 따른 다양한 실시예가 설명되었지만, 이들 실시예는 단지 예시 및 예일 뿐이며, 한정이 아닌 것으로 이해되어야 한다. 본 발명의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항에서 다양한 변화가 이루어질 수 있음은 이 분야의 기술자에게 명백할 것이다. 예를 들어, 본 명세서에 설명된 보조 장치는 선택적으로 오디오 및/또는 비디오 콘텐츠를 출력하기 위한 디스플레이 스크린 및/또는 사운드 장치를 포함할 수 있지만, 보조 장치는 이들 구성 요소 및 기능을 가질 필요가 없다. 예를 들어, 햅틱 출력 외에, 보조 장치는 비디오 출력을 가질 수 있거나, 오디오 출력을 가질 수 있거나, 비디오 및 오디오 출력을 모두 가질 수 있거나, 비디오 출력도 오디오 출력도 갖지 않을 수 있다. 또한, 전술한 주요 시청 장치는 오디오 및 비디오 콘텐츠를 각각 출력하기 위한 디스플레이 스크린 및 사운드 장치를 포함하지만, 주요 시청 장치는 오디오 콘텐츠(예를 들면, 비디오 콘텐츠가 없는 음악)만을 출력하거나, 대안적으로 비디오 콘텐츠(예로서, 오디오 콘텐츠가 없는 무음 필름)만을 출력하거나, 오디오 콘텐츠 및 비디오 콘텐츠 각각에 대해 별개의 또는 상이한 디스플레이를 포함할 수 있다. 또한, 본 명세서의 실시예는 보조 장치에 의해 출력된 햅틱 콘텐츠가 주요 시청 장치에 의해 출력된 비디오-오디오 콘텐츠와 연관되거나 관련된다는 것을 설명한다. 그러나, 다른 실시예에서, 햅틱 콘텐츠는 주요 시청 장치에 표시되는 콘텐츠에 관계없이 보조 장치에 대한 상호 작용을 장려하기 위해 보조 장치에 사용자의 주의를 끌기 위한 목적을 가질 수 있다. 예를 들어, 햅틱 콘텐츠는 광고 목적을 가질 수 있다. 따라서, 본 발명의 폭 및 범위는 전술한 예시적인 실시예 중 어느 것에 의해서도 제한되어서는 안 되며, 첨부된 청구 범위 및 그 등가물에 따라서만 정의되어야 한다. 본원에서 논의된 각 실시예의 각 특징 및 본원에서 인용된 각각의 참고 문헌의 각 특징은 임의의 다른 실시예의 특징과 조합하여 사용될 수 있음이 또한 이해될 것이다. 본 명세서에서 논의된 모든 특허 및 공보는 그 전체가 본원에 참고로 포함된다.

Claims (20)

  1. 다중 장치 시스템으로서,
    적어도 하나의 미디어 서버 시스템 - 상기 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스를 포함하고, 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠를 전송하도록 구성되며, 상기 햅틱 콘텐츠는 상기 오디오-비디오 콘텐츠와 관련됨 -;
    디스플레이 스크린을 포함하는 주요 시청 장치 - 상기 주요 시청 장치는 상기 적어도 하나의 미디어 서버 시스템으로부터 수신되는 상기 오디오-비디오 콘텐츠를 출력하도록 구성됨 -; 및
    햅틱 출력 장치를 포함하는 보조 장치 - 상기 보조 장치는 사용자 입력을 수신하도록 구성되고, 상기 보조 장치는 상기 적어도 하나의 미디어 서버 시스템으로부터 수신되는 상기 햅틱 콘텐츠를 상기 햅틱 출력 장치를 통해 햅틱 효과로서 출력하도록 구성됨 -
    를 포함하는 다중 장치 시스템.
  2. 제1항에 있어서,
    상기 보조 장치는 디스플레이 스크린을 포함하고, 오디오-비디오 콘텐츠를 출력하도록 구성되는 다중 장치 시스템.
  3. 제1항에 있어서,
    상기 적어도 하나의 미디어 서버 시스템은 상기 오디오-비디오 콘텐츠를 포함하는 제1 신호를 상기 주요 시청 장치로 그리고 상기 햅틱 콘텐츠를 포함하는 제2 신호를 상기 보조 장치로 전송하는 다중 장치 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 미디어 서버 시스템은 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠 양자를 포함하는 신호를 상기 주요 시청 장치로 전송하고, 상기 주요 시청 장치는 적어도 상기 햅틱 콘텐츠를 상기 보조 장치로 전송하는 다중 장치 시스템.
  5. 제4항에 있어서,
    상기 주요 시청 장치는 상기 햅틱 콘텐츠를 상기 보조 장치로 전송하지만 상기 오디오-비디오 콘텐츠는 전송하지 않는 다중 장치 시스템.
  6. 제4항에 있어서,
    상기 주요 시청 장치는 상기 햅틱 콘텐츠 및 상기 오디오-비디오 콘텐츠 양자를 상기 보조 장치로 전송하는 다중 장치 시스템.
  7. 제1항에 있어서,
    상기 적어도 하나의 미디어 서버 시스템은 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠 양자를 포함하는 신호를 상기 보조 장치로 전송하고, 상기 보조 장치는 적어도 상기 오디오-비디오 콘텐츠를 상기 주요 시청 장치로 전송하는 다중 장치 시스템.
  8. 제7항에 있어서,
    상기 보조 장치는 상기 오디오-비디오 콘텐츠를 상기 주요 시청 장치로 전송하지만 상기 햅틱 콘텐츠는 전송하지 않는 다중 장치 시스템.
  9. 제7항에 있어서,
    상기 보조 장치는 상기 햅틱 콘텐츠 및 상기 오디오-비디오 콘텐츠 양자를 상기 주요 시청 장치로 전송하는 다중 장치 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 미디어 서버 시스템은 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠 양자의 상기 소스를 포함하는 단일 서버를 포함하는 다중 장치 시스템.
  11. 제1항에 있어서,
    상기 적어도 하나의 미디어 서버 시스템은 제1 미디어 서버 및 제2 미디어 서버를 포함하고, 상기 제1 미디어 서버는 오디오-비디오 콘텐츠의 상기 소스를 포함하고, 상기 제2 미디어 서버는 햅틱 콘텐츠의 상기 소스를 포함하는 다중 장치 시스템.
  12. 제1항에 있어서,
    상기 보조 장치는 사용자에게 유지되거나 결합되도록 구성되는 다중 장치 시스템.
  13. 제12항에 있어서,
    상기 보조 장치는 태블릿 컴퓨터 또는 이동 전화인 다중 장치 시스템.
  14. 제1항에 있어서,
    상기 주요 시청 장치 및 상기 보조 장치 양자 각각은 상기 오디오-비디오 콘텐츠가 상기 주요 시청 장치 상에 렌더링되는 것과 충분히 동기화되는 방식으로 상기 햅틱 콘텐츠가 상기 보조 장치 상에 렌더링되는 것을 보장하기 위한 재생 로케이터를 포함하는 다중 장치 시스템.
  15. 다중 장치 시스템으로서,
    적어도 하나의 미디어 서버 시스템 - 상기 적어도 하나의 미디어 서버 시스템은 오디오-비디오 콘텐츠 및 햅틱 콘텐츠의 소스를 포함하고, 상기 햅틱 콘텐츠는 상기 오디오-비디오 콘텐츠와 관련됨 -;
    디스플레이 스크린을 포함하고, 오디오-비디오 콘텐츠를 출력하도록 구성되는 주요 시청 장치; 및
    햅틱 효과를 사용자에게 출력하도록 구성되는 햅틱 출력 장치를 포함하는 보조 장치 - 상기 보조 장치는 사용자 입력을 수신하도록 구성됨 -
    를 포함하고,
    상기 적어도 하나의 미디어 서버 시스템은 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠를 상기 주요 시청 장치 및 상기 보조 장치 중 적어도 하나로 전송하도록 구성되고, 상기 주요 시청 장치는 상기 적어도 하나의 미디어 서버 시스템으로부터 수신되는 상기 오디오-비디오 콘텐츠를 출력하도록 구성되고, 상기 보조 장치는 상기 적어도 하나의 미디어 서버 시스템으로부터 수신되는 상기 햅틱 콘텐츠를 출력하도록 구성되고, 상기 햅틱 콘텐츠는 상기 햅틱 출력 장치를 통해 햅틱 효과로서 출력되는 다중 장치 시스템.
  16. 햅틱 효과를 오디오-비디오 콘텐츠의 시청자에게 전달하는 방법으로서,
    주요 시청 장치에서 오디오-비디오 콘텐츠를 수신하는 단계 - 상기 주요 시청 장치는 디스플레이 스크린을 포함함 -;
    보조 장치에서 햅틱 콘텐츠를 수신하는 단계 - 상기 보조 장치는 사용자 입력을 수신하도록 구성되고, 사용자에게 햅틱 효과를 출력하도록 구성되는 햅틱 출력 장치를 포함하며, 상기 햅틱 콘텐츠는 상기 오디오-비디오 콘텐츠와 관련됨 -;
    상기 주요 시청 장치 상에 상기 오디오-비디오 콘텐츠를 출력하는 단계; 및
    상기 보조 장치 상에 상기 햅틱 콘텐츠를 출력하는 단계 - 상기 햅틱 콘텐츠는 상기 햅틱 출력 장치를 통해 햅틱 효과로서 출력됨 -
    를 포함하는 방법.
  17. 제16항에 있어서,
    적어도 하나의 미디어 서버 시스템이 상기 오디오-비디오 콘텐츠를 포함하는 제1 신호를 상기 주요 시청 장치로 그리고 상기 햅틱 콘텐츠를 포함하는 제2 신호를 상기 보조 장치로 전송하는 방법.
  18. 제16항에 있어서,
    적어도 하나의 미디어 서버 시스템이 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠 양자를 포함하는 신호를 상기 주요 시청 장치로 전송하고, 상기 주요 시청 장치는 적어도 상기 햅틱 콘텐츠를 상기 보조 장치로 전송하는 방법.
  19. 제16항에 있어서,
    적어도 하나의 미디어 서버 시스템이 상기 오디오-비디오 콘텐츠 및 상기 햅틱 콘텐츠 양자를 포함하는 신호를 상기 보조 장치로 전송하고, 상기 보조 장치는 적어도 상기 오디오-비디오 콘텐츠를 상기 주요 시청 장치로 전송하는 방법.
  20. 제16항에 있어서,
    상기 보조 장치 상에 출력되는 상기 햅틱 콘텐츠를 상기 주요 시청 장치 상에 출력되는 상기 오디오-비디오 콘텐츠와 동기화하는 단계를 추가로 포함하는 방법.
KR1020177000232A 2014-07-07 2015-07-06 제2 스크린 햅틱 KR20170030510A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021663P 2014-07-07 2014-07-07
US62/021,663 2014-07-07
PCT/US2015/039233 WO2016007426A1 (en) 2014-07-07 2015-07-06 Second screen haptics

Publications (1)

Publication Number Publication Date
KR20170030510A true KR20170030510A (ko) 2017-03-17

Family

ID=55017965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177000232A KR20170030510A (ko) 2014-07-07 2015-07-06 제2 스크린 햅틱

Country Status (6)

Country Link
US (3) US9635440B2 (ko)
EP (1) EP3167350A4 (ko)
JP (2) JP2017531930A (ko)
KR (1) KR20170030510A (ko)
CN (1) CN106537291A (ko)
WO (1) WO2016007426A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
JP2018045270A (ja) * 2016-09-12 2018-03-22 ソニー株式会社 通信装置および方法、並びにプログラム
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) * 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
JP7155643B2 (ja) 2018-06-18 2022-10-19 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
WO2021158441A1 (en) * 2020-02-07 2021-08-12 Arris Enterprises Llc Transfer of media content viewing experience using epg guide
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11571617B2 (en) * 2020-12-18 2023-02-07 Dell Products, Lp System and method for coordinating gaming haptic response across peripheral device ecosystem
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20240024783A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Contextual scene enhancement
WO2024063867A1 (en) * 2022-09-22 2024-03-28 Qualcomm Incorporated Multi-source multimedia output and synchronization

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69514926T2 (de) * 1994-08-18 2000-10-05 Interval Research Corp Eingabevorrichtung für video mit taktilem feedback, das von dem inhalt des videos abhängt
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
US6357042B2 (en) 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US8667553B2 (en) * 2001-06-19 2014-03-04 Opentv, Inc. Automated input in an interactive television system
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7950033B2 (en) * 2001-10-10 2011-05-24 Opentv, Inc. Utilization of relational metadata in a television system
US20030128859A1 (en) * 2002-01-08 2003-07-10 International Business Machines Corporation System and method for audio enhancement of digital devices for hearing impaired
US7634795B2 (en) * 2002-01-11 2009-12-15 Opentv, Inc. Next generation television receiver
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
GB2412989B (en) * 2002-12-08 2007-02-14 Immersion Corp Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US7302468B2 (en) * 2004-11-01 2007-11-27 Motorola Inc. Local area preference determination system and method
US8290192B2 (en) * 2005-02-03 2012-10-16 Nokia Corporation Gaming headset vibrator
US8139803B2 (en) * 2005-08-15 2012-03-20 Immerz, Inc. Systems and methods for haptic sound
US20070083895A1 (en) * 2005-10-12 2007-04-12 Sbc Knowledge Ventures, L.P. System and method of managing television information
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20070093275A1 (en) * 2005-10-25 2007-04-26 Sony Ericsson Mobile Communications Ab Displaying mobile television signals on a secondary display device
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080112581A1 (en) * 2006-11-09 2008-05-15 Stanley Kim Vibrating earphone with enhanced base sound effect
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US8095646B2 (en) * 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR20090038835A (ko) * 2007-10-16 2009-04-21 한국전자통신연구원 실감 미디어 생성 및 소비 방법 및 그 장치 및 실감 미디어메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2009051426A2 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8875212B2 (en) * 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
WO2009076474A2 (en) * 2007-12-10 2009-06-18 Deluxe Digital Studios, Inc. Method and system for use in coordinating multimedia devices
KR101442836B1 (ko) 2008-01-07 2014-11-04 삼성전자주식회사 가시광 통신을 이용한 영상 부가정보 제공방법 및 장치
US8190683B2 (en) * 2008-02-29 2012-05-29 Microsoft Corporation Synchronizing multiple user remote content playback
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
WO2010009152A1 (en) 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
KR20100033954A (ko) * 2008-09-22 2010-03-31 한국전자통신연구원 실감 효과 표현 방법 및 장치
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
EP2350773B1 (en) 2008-10-10 2017-04-19 Internet Services, Llc Haptic otuput device for use with haptic encoded media
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20100132003A1 (en) * 2008-11-25 2010-05-27 Bennett James D Providing Wireless Pathway Adapter Support Via Set-Top Boxes
WO2010088515A1 (en) 2009-01-30 2010-08-05 Priya Narasimhan Systems and methods for providing interactive video services
WO2010120137A2 (ko) * 2009-04-15 2010-10-21 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
KR20110111251A (ko) * 2010-04-02 2011-10-10 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
US8424037B2 (en) 2010-06-29 2013-04-16 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content in response to selection of a presented object
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
US9049494B2 (en) * 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
US20120221148A1 (en) 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
KR101276846B1 (ko) * 2011-04-22 2013-06-18 엘지전자 주식회사 미디어 데이터의 스트리밍 제어방법 및 제어장치
CA2835120C (en) * 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
WO2013056146A1 (en) * 2011-10-14 2013-04-18 Google Inc. Wearable computers as media exposure meters
KR20130048035A (ko) * 2011-11-01 2013-05-09 엘지전자 주식회사 미디어 장치, 컨텐츠 서버 및 그 동작방법
US9281013B2 (en) 2011-11-22 2016-03-08 Cyberlink Corp. Systems and methods for transmission of media content
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US8917971B2 (en) * 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
CN104041060A (zh) * 2012-01-08 2014-09-10 汤姆逊许可公司 用于内容目录服务器呈现的设备和方法
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
KR20140138763A (ko) * 2012-03-23 2014-12-04 톰슨 라이센싱 상관된 미디어 프리젠테이션들을 동기화하기 위한 버퍼 관리 방법
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
US20140063259A1 (en) 2012-08-31 2014-03-06 Ihigh.Com, Inc. Method and system for video production
US8869222B2 (en) * 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9866899B2 (en) * 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US20140089815A1 (en) * 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9648389B1 (en) * 2013-03-14 2017-05-09 Citizen, Inc. In-stream association of media content for video presentation
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US10135887B1 (en) * 2013-03-15 2018-11-20 Cox Communications, Inc Shared multimedia annotations for group-distributed video content
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP3399763A1 (en) 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US11016718B2 (en) * 2013-06-13 2021-05-25 Jawb Acquisition Llc Conforming local and remote media characteristics data to target media presentation profiles
US9703379B2 (en) * 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US20150054727A1 (en) 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US8977376B1 (en) * 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
US8767996B1 (en) * 2014-01-06 2014-07-01 Alpine Electronics of Silicon Valley, Inc. Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones
KR102016644B1 (ko) * 2014-02-23 2019-08-30 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US9812165B2 (en) * 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK

Also Published As

Publication number Publication date
US20160007095A1 (en) 2016-01-07
EP3167350A1 (en) 2017-05-17
JP2020191642A (ja) 2020-11-26
US20200245038A1 (en) 2020-07-30
EP3167350A4 (en) 2018-01-24
JP2017531930A (ja) 2017-10-26
US20170188119A1 (en) 2017-06-29
US9635440B2 (en) 2017-04-25
US10667022B2 (en) 2020-05-26
WO2016007426A1 (en) 2016-01-14
CN106537291A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
US20200245038A1 (en) Second screen haptics
US10320501B2 (en) Haptic broadcast with select haptic metadata based on haptic playback capability
US20200128236A1 (en) Method and apparatus for encoding and decoding haptic information in multi-media files
US20150054727A1 (en) Haptically enabled viewing of sporting events
EP2795909B1 (en) Using haptic technologies to provide enhanced media experiences
CN112929687B (zh) 基于直播视频的互动方法、装置、设备及存储介质
EP3104258A1 (en) Broadcast haptics architectures
CN108683927B (zh) 主播推荐方法、装置及存储介质
CN109660855B (zh) 贴纸显示方法、装置、终端及存储介质
WO2019114514A1 (zh) 在直播间显示音高信息的方法及装置、存储介质
CN113965807B (zh) 消息推送方法、装置、终端、服务器及存储介质
US20190267043A1 (en) Automated haptic effect accompaniment
CN112118477A (zh) 虚拟礼物展示方法、装置、设备以及存储介质
WO2015109836A1 (zh) 视频跨屏播放方法及装置
CN112969093A (zh) 互动业务处理方法、装置、设备及存储介质
CN111045945B (zh) 模拟直播的方法、装置、终端、存储介质及程序产品
WO2018035442A1 (en) Systems and methods for multimedia tactile augmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application