KR20160022307A - 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법 - Google Patents

콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160022307A
KR20160022307A KR1020157035800A KR20157035800A KR20160022307A KR 20160022307 A KR20160022307 A KR 20160022307A KR 1020157035800 A KR1020157035800 A KR 1020157035800A KR 20157035800 A KR20157035800 A KR 20157035800A KR 20160022307 A KR20160022307 A KR 20160022307A
Authority
KR
South Korea
Prior art keywords
station
stations
features
audio
content
Prior art date
Application number
KR1020157035800A
Other languages
English (en)
Inventor
스콧 프란시스
윌리엄 기벤스 레드맨
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160022307A publication Critical patent/KR20160022307A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04748—Detection of scanning velocity or position by detecting synchronisation signals or driving signals, e.g. page sync

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

제1 및 제2 스테이션들에서 재생 중인 콘텐츠를 동기화하는 방법은, 제1 및 제2 스테이션들 간에 대기 시간이 존재하는지 결정하기 위해 제1 스테이션 상에서 재생 중인 콘텐츠 내의 오디오와 제2 스테이션 상에서 재생 중인 콘텐츠 내의 오디오를 비교함으로써 시작된다. 그런 대기 시간이 존재한다면, 2개의 스테이션을 실질적인 동기화로 가져오기 위해 하나의 스테이션이 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 제1 및 제2 스테이션 중 적어도 하나에 의해 콘텐츠 재생과 관련하여 일시 정지 또는 점프 동작들 중 적어도 하나가 수행된다.

Description

콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법{SYSTEM AND METHOD TO ASSIST SYNCHRONIZATION OF DISTRIBUTED PLAY OUT OF CONTROL}
비디오 장비와 네트워크 전송의 진보는, 개인들 또는 개인들의 그룹들이 지나치게 높은 대역폭을 요구함이 없이 종래의 네트워크를 통해 비디오 이미지와 오디오 정보를 서로 공유하면서 콘텐츠를 동시에 시청할 수 있는 저렴한 화상 회의 시스템들의 개발을 유발했다. 용어들 "텔레프레즌스(telepresence)" 및 "소셜 TV"는 이런 유형의 화상 회의를 지칭한다. 텔레프레즌스 참가자들이 동일하든지 상이하든지 상관없는 콘텐츠 소스들로부터 동일한 텔레비전 쇼를 시청할 때, 콘텐츠를 개인 참가자들에 재생하는 타이밍은 실질적으로 상이하다. 타이밍 차이의 원인은, 콘텐츠 공급에서의 차이(예를 들어, 하나의 그룹은 지상파 방송을 통해 콘텐츠를 수신하는 반면 다른 그룹은 위성 신호 또는 오버-더-톱 스트리밍(over-the-top streaming)을 통해 콘텐츠를 수신한다), 장비에서의 차이(예를 들어, 각각의 참가자는 디지털 비디오 리코더 또는 'DVR'을 통해 콘텐츠를 수신하지만, 상이하게 부과된 지연들을 갖는다), 또는 상이한 콘텐츠 시작 시간(예를 들어, DVD들, 주문형 비디오, 또는 오버-더-톱 스트리밍에 대해)을 포함한다. 비 DVR 수신기에 의해 수신되는 동일한 전송기로부터의 텔레비전 생방송의 경우를 제외하고, 실질적으로 동기화된 방식으로 텔레비전 쇼의 재생을 다수의 스테이션에 제공할 때 어려움이 일어난다.
여러 시스템은 (DVD 등과 같은 콘텐츠의 소스에 상관없이) 국지적으로 재생하는 텔레비전 프로그램과 이에 트래킹된 개별 콘텐츠 사이에 동기화를 제공한다. 캘리포니아주 샌디에고의 RiffTrax, LLC가 만든 "RiffPlayer" 애플리케이션은 DVD가 재생될 때 오디오를 청취하는 동안에 유머러스한 해설 트랙(humorous commentary track)을 DVD에 동기화한다. Technicolor Creative Services USA, Inc.가 만든 "MediaEcho" 애플리케이션은 DVD 및 방송 TV에게 유사한 능력을 제공하고, 국제특허출원 PCT/US12/071822(2012년 12월 12일자 출원)에서 본 발명을 구체화하였다.
이런 기술은 단일 콘텐츠 소스의 맥락에서 동기화를 다룬다. 그러나 상이한 콘텐츠 소스들의 맥락에서 동기화를 달성하기 위한 필요가 존재한다.
간략하게, 본 발명의 원리의 예시된 실시예들에 따르면, 제1 및 제2 스테이션들에서 재생 중인 콘텐츠를 동기화하는 방법은 제1 스테이션과 제2 스테이션 사이에 대기 시간이 존재하는지 결정하기 위해, 제1 스테이션 상에서 재생 중인 콘텐츠 내의 오디오와 제2 스테이션 상에서 재생 중인 콘텐츠 내의 오디오를 비교함으로써 시작된다. 그런 대기 시간이 존재한다면, 2개의 스테이션을 실질적인 동기화로 가져오기 위해 하나의 스테이션이 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 제1 및 제2 스테이션 중 적어도 하나에 의해 콘텐츠 재생과 관련하여 일시 정지 또는 점프 동작 중 적어도 하나가 수행된다.
도 1은 본 발명의 원리에 따르는, 각각이 대응하는 텔레프레즌스 참가자에게 콘텐츠를 표시하는 2개의 스테이션을 나타내는, 이런 콘텐츠를 동기화하기 위한 텔레프레즌스 시스템의 블록 개요도를 도시한다;
도 2는 도 1의 텔레프레즌스 시스템의 2개의 스테이션에서 재생 중인 콘텐츠의 일부를 포함하는 오디오 신호들의 타임라인 표현을 도시하며, 스테이션들은 앞선 스테이션이 앞선 양만큼 콘텐츠에서 뒤로 점프하는 것에 의해 동기화를 달성한다;
도 3은 도 1의 텔레프레즌스 시스템의 2개의 스테이션에서 재생 중인 콘텐츠의 일부를 포함하는 오디오 신호들의 타임라인 표현을 도시하며, 스테이션들은 앞선 스테이션이 콘텐츠에서 앞선 양만큼 콘텐츠 재생 동안 일시 정지하는 것에 의해 동기화를 달성한다;
도 4는 도 2 및 3의 동기화들을 수행하기 위한, 도 1의 텔레프레즌스 시스템의 2개 스테이션 사이의 일련의 트랜잭션들을 도시한다;
도 5는 원격 스테이션과 통신하는 로컬 스테이션에서 오디오 특징화를 위한 예시적인 프로세스의 단계들을 흐름도 형태로 도시한다;
도 6은 도 1의 로컬 및 원격 텔레프레즌스 스테이션들로부터의 오디오 신호들 사이의 동기화 상태를 결정하고 이들 사이의 실질적인 차이를 나타내고/나타내거나 수정하는 예시적인 프로세스의 단계들을 흐름도 형태로 도시한다;
도 7은 로컬 오디오 소스의 동기화의 결정이 원격 오디오 소스와 관련해서 일어나는, 재생 동기화를 위한 예시적인 프로세스의 단계들을 흐름도 형태로 도시한다; 및
도 8은 본 발명의 원리에 따르는 동기화와 관련하여, 도 1의 텔레프레즌스 시스템의 각각의 스테이션들에서 상황들을 나타내는 비네트(vignette)들을 도시한다.
도 1은 또한 본 명세서에서 "미디어 프로그램"으로 불리는 동일한 콘텐츠(예를 들어, 텔레비전 프로그램, 영화)를 재생하는 2개의 스테이션(110 및 120)으로 구성되는 텔레프레즌스 시스템의 블록 개요도를 도시한다. 그런 콘텐츠는 시청각 프로그램들, 비디오 전용 프로그램들 또는 오디오 전용 프로그램들을 포함할 수 있다. 도 1의 예시된 실시예에서, 방송사(101)는 콘텐츠를 스테이션들(110 및 120)에 공급하며, 콘텐츠는 그런 스테이션들에서 플레이어들(111 및 121) 각각에 의한 수신을 위한 것이다. 각각의 플레이어는 방송사(101)로부터의 방송을 수신하도록 튜닝된 수신기(예를 들어, 텔레비전 세트), 및 디지털 비디오 리코더(DVR)를 조합하여 포함할 수 있다. 다른 실시예들에서, 플레이어들(111 및 121)은 DVR와 셋톱 박스를 포함할 수 있고, 후자는 위성 제공자, 케이블 텔레비전 제공자 중 어느 하나로부터 콘텐츠를 수신한다. 대안적으로, 플레이어들은 인터넷 스트리밍 제공자(예를 들어, CA, Los Gatos의 Netflix)를 위한 수신기를 포함할 수 있다. 각각의 플레이어는 디지털 비디오 디스크 플레이어(DVD)(도시 생략)로부터 콘텐츠를 수신할 수 있다. 2개의 플레이어(111 및 121)는 동일한 형태를 가질 필요도 없으며, 이들이 동일한 콘텐츠 소스(예를 들어, 방송사(101))를 요구하지도 않지만, 콘텐츠 내의 일부 요소들(예를 들어, 광고들)이 상이할지라도, 콘텐츠는 동일해야만 한다. 스테이션들 중 적어도 하나는 콘텐츠를 전체적으로 일지 정지 및/또는 뒤로 스킵하거나 되감기하는 능력, 특히 최근에 재생된 콘텐츠의 해당 부분을 통해 전체적으로 적어도 일시 정지 및/또는 뒤로 스킵 또는 되감기하는 능력을 갖는다.
스테이션들(110 및 120)은 플레이어들(111 및 121) 상에 각각 재생될 때 콘텐츠를 표시하기 위한 모니터들(112 및 122)을 각각 갖는다. 스테이션들(110 및 120)은 또한 스테이션들에서 재생 중인 콘텐츠와 연관된, 동반하는 오디오(114 및 124) 각각을 재생하기 위한 스피커들(113 및 123)을 각각 포함한다. 일반적으로, 각각의 스테이션은 스테이션(110)에서 사용자(115)로 예시되는 사용자를 갖는다. 텔레프레즌스 세션 동안, 스테이션들에서의 사용자들은 도 8과 관련하여 이하 더 상세히 논의되는 바와 같이, 오디오/비디오, 비디오 전용 또는 오디오 전용 화상 회의를 통해 그들의 스테이션들을 서로 상호 연결하기 위한 단계들을 실행한다. 스테이션(110)에서의 사용자(115)는 플레이어(111) 및/또는 모니터(112)의 제어를 위해 원격 제어(116)를 이용할 수 있다. 도시되지는 않았지만, 다른 스테이션들에서의 사용자들도 물론 원격 제어들을 전형적으로 갖는다.
스테이션들(110 및 120)은 동기화 유닛들(130 및 140)을 각각 가지며, 이들 각각은 오디오(114 및 124)를 각각 캡처하기 위해 마이크로폰들(131 및 141) 중 하나를 포함한다. 동기화 유닛들(130 및 140)은 또한 대응하는 마이크로폰들(131 및 141) 각각에 의해 캡처된 오디오로부터 특징들을 추출하기 위한 특징 검출 모듈들(132 및 142)을 각각 포함한다. 각각의 동기화 유닛들(130 및 140) 내에서, 중앙 처리 장치(CPU) 또는 각각의 제어기(133 및 143) 중 대응하는 하나는 추출된 특징들을 처리하고 이들을 메모리들(134 및 144) 중 하나에 각각 저장한다. CPU(133 및 143)와 통신하는 통신 모듈들(135 및 145) 각각은 인터넷(150)을 포함할 수 있는 통신 채널(151)을 통해 추출된 특징들을 다른 동기화 유닛(들)에 전송할 수 있다.
이에 따라, 동기화 유닛들(130 및 140) 내의 CPU들(133 및 143) 각각은 또한 통신 채널(151) 및 그들의 각각의 통신 모듈(135 및 145)을 통해 원격 특징들을 수신하고, 검출된 로컬 특징들과 수신된 원격 특징들로부터 콘텐츠의 동기화에 대한 정보를 결정할 수 있다. 동기화 유닛들(130 및 140) 내에서, 디스플레이들(137 및 147) 각각은 동기화 정보를 표시할 수 있다. 일부 실시예들에서, 동기화 유닛들(130 및 140) 내의 CPU들(133 및 143) 각각은 본 발명의 원리에 따르는 동기화를 달성하기 위해, 원격 제어 이미터들(138 및 148)을 각각 구동하여, 플레이어들(111 및 121)(또는 셋톱 박스들 또는 DVD 플레이어들 등) 각각의 이송이 일시 정지, 되감기, 뒤로 스킵, 재개하게 하고 필요하다면 스테이션들 간의 재생시 타이밍 차이를 교정하게 하도록 명령할 수 있다.
도 1의 예시된 실시예에서, 동기화 유닛들(130 및 140)은 독립형 디바이스들로서 존재한다. 그러나 플레이어들(111 및 121) 각각 또는 모니터들(112 및 122) 각각은 내장된 동기화 유닛들(130 및 140)을 포함할 수 있다. 동기화 유닛들(130 및 140)을 모니터들에 내장하면, 모니터들(112 및 122)은 이들이 각각의 디스플레이들(137 및 147) 대신에 동기화 정보를 표시할 수 있을 것이다.
다른 기술이 이 목적에 도움이 될 수 있을지라도, 도 1의 동기화 유닛들(130 및 140)은 서로를 찾기 위해 프레즌스 서비스(160)를 이용할 수 있다. 프레즌스 서비스(160)는 스테이션들(110 및 120) 각각에서 동기화 유닛들(130 및 140)의 존재, 가용성 및 위치를 트래킹하기 위해 프레즌스 서버(161)와 데이터베이스(162)를 포함한다. 동기화 유닛(130 및 140)은 각각의 대응하는 통신 모듈들(135 및 145)과 각각의 통신 채널들(152 및 153)을 통해 프레즌스 서버(161)와 통신하고, 이들 각각은 인터넷(150)을 포함할 수 있다. 이런 식으로, 동기화 유닛들(130 및 140)은 통신 채널(151)을 통해 직접 통신하는 대신에 프레즌스 서버(161)를 통해 서로 메시지들을 교환할 수 있다. 예시된 실시예와 관련하여, 각각의 통신 모듈들(135 및 145)은 통신 채널(151)을 통해 서버(161)와 통신함으로써 다른 통신 모듈(들)의 어드레스를 결정한다. 그러나 동기화 유닛들(130 및 140) 간의 트랜잭션들은 직접 발생할 수 있거나(통신 채널(151)을 통해), 또는 프레즌스 서버(161)에 의해 중재되는 바와 같이 간접적으로 발생할 수 있다.
특징 검출기들(132 및 142)에 의해 추출된 특징들은 각각의 스테이션에서 최근의 로컬 오디오 특징들의 제1 타임라인을 형성하기 위해 각각의 로컬 메모리들(134 및 144)에 저장된다. 통신 모듈들(135 및 145)은 또한 이들이 수신하는 원격 특징들을 최근의 원격 오디오 특징들의 제2 타임라인을 형성하기 위해 각각의 로컬 메모리들(134 및 144)에 저장한다. 2개의 타임라인은 일반적으로 동기화되어 유지된다. 즉, 각각의 타임라인에서 동일한 위치는 대응하는 스테이션들에서 대략 동일한 시간에 발생하는 특징들을 나타낸다.
일부 실시예들에서, 동기화 유닛들(130 및 140)은 서로 동기화되거나 또는 다른 공통으로 액세스 가능한 클록(도시되지는 않았지만, 서버(161) 또는 예를 들어, 공지된 네트워크 시간 프로토콜을 이용하는 다른 서비스에 의해 제공됨)에 동기화되는 로컬 클록들(136 및 146)을 각각 유지할 수 있다. 다른 실시예들에서, 동기화 유닛들(130 및 140) 간의 통신 대기 시간(통신 채널(151)을 통한)은 중요치 않거나(예를 들어, 1/4초 미만) 또는 미리 정해진 값(예를 들어, 1/2초)으로 고정된 것으로 간주될 수 있다. 또 다른 실시예들에서, 통신 대기 시간의 측정은 이 목적을 위한 공지된 방법들을 이용하여 다시, 왕복 통신 시간을 측정하고 2로 나눔으로써, 한번 또는 주기적으로 발생할 수 있다. 클록들(136 및 146)이 존재하는 실시예들에서, 동기화 유닛들(130 및 140)은 각각 스테이션들(110 및 120) 사이에서 통신을 타임 스탬프할 수 있다. 클록들(136 및 146)이 존재하지 않은 그런 실시예들에서, 원격 스테이션으로부터 수신된 특징들은 로컬 스테이션에 순차적으로 저장될 수 있고 현재인 것으로(또는 미리 결정되거나 측정된 대기 시간만큼만 지연된 것으로) 간주될 수 있고, 이에 따라 메모리에 버퍼링될 수 있다. 그런 특징들을 운반하는 메시지들은 운반 중 손실된 메시지들(따라서 특징들)이 타임라인에 수신된 이들 특징의 배치에 영향을 미치지 않도록 시퀀스 번호를 포함할 수 있다. 따라서, 클록들(136 및 146)이 있든 없든, 로컬 및 원격 특징들을 각각의 스테이션의 메모리에서 그들 각각의 타임라인들에 배치하는 것은 각각의 스테이션에서 동시에 획득된 특징들이 메모리들에서 대응하는 타임라인들에 유사하게 배치된 것으로 보이도록 하는 방식으로 발생할 수 있다.
도 2는 도 1의 동기화 유닛들(130 및 140)에 의해 수행된 본 발명의 원리의 동기화의 방법을 예시한다. 도 2의 상부에 나타난 파형은 좌측에서 시작하여 우측으로 진행하는 타임라인에 따라 진행하는 엔벨로프를 가지고, 오디오(114)가 스피커(113)로부터 재생하는 스테이션(110)에서의 상황을 나타낸다. 도 2의 하부에 나타난 파형은 타임라인을 따라 진행하는 엔벨로프를 가지고, 오디오(124)가 도 1의 스피커(123)로부터 재생하는 스테이션(120)에서의 상황을 나타낸다. 스테이션(110)은 시간 211에서 청취를 시작하고, 반면에 스테이션(120)은 시간 221에서 청취를 시작한다. 통신이 도 1의 통신 채널(151)을 통해 스테이션들(110 및 120) 사이에 존재한다고 가정할 때, 스테이션들(110 및 120)은 각각 그들의 로컬 오디오 신호들(114 및 124)로부터 그들의 각각의 검출기들(132 및 142)에 의해 검출된 추출된 특징들을 교환할 수 있다. 시간 221 직후에, 스테이션(110)은 매칭 특징들이 메모리(134)에 버퍼링된 것과 같이, 오디오(114)에서 해당 시간 221보다 빨리 나타나는지 결정하기 위해 스테이션(120)에서 오디오(124)로부터 추출된 특징들을 충분히 수신할 것이다. 전형적으로, 스테이션은 이런 특징 추출 및 인식을 위해 약 10초의 시간이 필요하지만, 인식 시간은 오디오 프로그램에 의해 현재 드러난 특성들 및 특징 검출기들의 실시예에 따라 더 길거나 짧을 수도 있다. 스테이션(120)으로부터 수신된 특징들과 메모리(134)에 매칭된 특징들 사이에 경과된 시간의 양에 유의하면서, 스테이션(110)은 오디오(114)가 시간의 양 "t"에 대응하는 상호 대기 시간(213)만큼 오디오(124)를 앞선다고 결정할 수 있다. 다시 말하면, 콘텐츠의 오디오 부분(212)은 오디오 부분(222)보다 더 빠른(또는 앞선) 시간 "t"에서 현재 재생한다.
시간 214에서, 동기화 유닛(130)은 플레이어(111)(예를 들어, STB, DVR, DVD, 스트리밍 미디어 플레이어 등)에게 "t"와 실질적으로 동일한 양(215)(상호 대기 시간(213)의 크기)만큼 콘텐츠에서 뒤로 스킵하도록 명령한다. 오디오 부분(216)(해시된 것으로 도 2에 도시됨)은 오디오(114)의 부분(217)이 시간 214에서 부분(216)의 반복으로 시작하고 (도 2의 타임라인을 따라 우측으로) 계속되도록 플레이어(111)의 미디어 버퍼로부터 리플레이할 것이다. 부분(217)의 시작은 부분(227)과 실질적으로 매칭되고 이에 동기화된다(즉, 시간 214 후에, 오디오(124)는 오디오(114)에 실질적으로 동기화되어 재생한다). 따라서, 시간이 시간 214 후로 진행할 때, 스테이션들(110 및 120)에서의 오디오(114 및 124)는 서로 실질적으로 동기화되고, 그래서 다른 콘텐츠(예를 들어, 비디오)도 유사하게 동기화된다.
3 이상의 스테이션들이 동기화를 시도하는 상황에서, 가장 멀리 앞선 스테이션은 다른 것보다 가장 뒤에 있는 스테이션과 동기화를 시도할 것이다. 논의의 목적상 스테이션(120)이 오디오의 지연의 관점에서 다른 스테이션들보다 가장 뒤에서 유지된다고 가정한다. 따라서, 스테이션(110)이 자신이 하나 이상의 다른 스테이션보다 앞선 상태에 있다고 인식하는 경우, 스테이션(110)은 그보다 가장 뒤에 있는 스테이션, 즉 대기 시간 측정(213)(즉, "t"가 가장 큰 값을 갖는 경우)에 해당하는 스테이션과 동기화하도록 선택될 것이다. 앞선 상태에 있는 모든 스테이션(즉, 이들의 오디오는 "뒤진" 스테이션의 오디오를 앞선다)이 이런 절차를 따른다. 결국, 모든 스테이션들은 가장 뒤에 있는 스테이션과 동기화될 것이고 이에 따라 실질적으로 서로 동기화될 것이다. 본 실시예에서, 모든 다른 스테이션들보다 뒤에 있다고 자신을 발견한 스테이션(120)과 같은 스테이션은 액션을 취하지 않고 그와 동기화하기 위한 다른 스테이션을 대기할 것이다.
또 다른 실시예에서, 뒤에 놓여있는 스테이션은 다른 스테이션들을 따라잡기 위해 앞으로 점프할 수 있다. 그러나, 앞으로 점핑은 스테이션(120)에서의 플레이어(121)와 같은 로컬 플레이어가, 플레이어가 점프할 필요가 있는 콘텐츠의 해당 일부를 이미 수신했는지에 대한 불확실성 때문에 더 어렵게 판명될 수 있다. 또한, 원격 콘텐츠를 통한 앞으로 점프는 크게 변화하는 응답 시간(스트리밍 미디어 소스에서와 같이)을 가질 수 있다. 또한, 스킵 오버되었기 때문에 앞으로 점프하는 스테이션의 사용자에게 보이지 않는 콘텐츠가 있을 것이라는 것은 사실이다.
또 다른 실시예들에서, 동기화 응답성(synchronization responsibility)은 여러 스테이션들 사이에 존재할 수 있다. 예를 들어, 다른 것보다 뒤에 놓여있는 스테이션(120)과 같은 스테이션은 큰 부분, 아마도 초기에 알려진 상호 대기 시간(213)의 대부분을 나타내는 양만큼 앞으로 점프할 수 있다. 미디어 스트림(즉, 콘텐츠)을 재확립한 후, 일부 추가 간격 이후의 스테이션(120)은 아마도 수정된 보다 작은 상호 대기 시간의 결정을 허용하기 위해 특징들을 검출하고 교환할 수 있다. 이 시점에서, "앞선" 스테이션(110)은 콘텐츠 재생의 더욱 완벽한 동기화를 달성하기 위해 정확히 앞으로 점프를 행할 것이다(그러나 전술한 바와 같이 수정된 상호 대기 시간을 이용한다). 이 접근법은 "앞선" 스테이션(110)에서의 사용자(115)가 초기 상호 대기 시간에 대응하는 전체 간격을 반복할 필요가 없다는 장점을 제공한다. 오히려, 스테이션(110)은 더 짧은 수정된 대기 시간만을 반복할 것이다. 이 접근법은 사용자(115)가 영화를 보기 시작하고 늦게 합류한 친구가 이미 영화의 초반부를 적어도 봤고 다시 그 부분을 볼 필요가 엄밀하게 없을 때 바람직하게 유지된다. 늦게 합류한 사용자가 처음부터 영화를 보기를 원하는 다른 경우들에서, 스테이션들은 도 2에 관해 전술한 동기화 방법을 사용할 수 있거나 또는 사용자들은 다른 것을 보기로 선택할 수 있다.
도 3은 도 2에 도시된 방법과 유사하게, 도 1의 동기화 유닛들(130 및 140)에 의해 수행되는 본 발명의 원리에 따르는 동기화의 선택적인 방법을 예시한다. 도 2의 상부에 있는 파형과 같이, 도 3의 상부에 나타나는 파형은 도면의 좌측에서 시작하여 우측으로 진행하는 타임라인을 따라 진행하는 엔벨로프를 가지고, 오디오(114)가 스피커(113)로부터 도 1의 모든 것을 재생하는 스테이션(110)에서의 상황을 나타낸다. 도 3의 하부에 나타나는 파형은 타임라인을 따라 진행하는 엔벨로프를 가지고, 오디오(124)가 스피커(123)로부터 도 1의 모든 것을 재생하는 스테이션(120)에서의 상황을 나타낸다. 스테이션(110)은 도 3의 시간 311에서 청취를 시작하는 반면, 스테이션(120)은 도 3의 시간 321에서 청취를 시작한다. 통신이 도 1의 통신 채널(151)을 통해 스테이션들(110 및 120) 사이에 존재한다고 가정할 때, 스테이션들(110 및 120)은 그들의 각각의 로컬 오디오 신호들(114 및 124)로부터 그들의 각각의 검출기들(132 및 142)에 의해 검출된 추출된 특징들을 교환할 수 있다.
시간 321 직후에, 스테이션(110)은 매칭 특징들이 메모리(134)에 버퍼링된 것처럼 오디오(114)에서 더 빨리 나타나는지 결정하기 위해 오디오(124)로부터의 충분히 추출된 특징들을 스테이션(120)으로부터 수신할 것이다. 스테이션(120)으로부터 수신된 특징들과 메모리(134)에서 매칭된 특징들 사이에서 경과된 시간의 양에 유의하면서, 스테이션(110)은 오디오(114)가 시간 "t"에 대응하는 상호 대기 시간(313)만큼 오디오(124)에 앞선 상태에 있다고 결정할 수 있고, 이는 오디오 부분(312)이 오디오 부분(322)보다 더 빠른(즉, 앞선) 시간 "t"에서 재생하고 있음을 의미한다. 시간 314에서, 동기화 유닛(130)은 플레이어(111)에게 "t"와 실질적으로 동일한 지속 시간(315) 동안 일시 정지하게 명령하고, 따라서 오디오 부분(316)은 플레이어(111)가 시간 318에서 재개할 때까지(지속시간(315)이 경과한 후까지) 무음으로 유지된다. 이는 오디오(114)의 부분(317)이 부분(327), 즉 시간 318(실질적으로 시간 314에 "t"를 더한 것임) 이후의 오디오(124)에 실질적으로 매칭되고 실질적으로 동기화되게 유발한다. 따라서, 시간이 시간 318 이후로 진행할 때, 스테이션들(110 및 120)에서의 오디오(114 및 124)는 각각 실질적으로 동기화되고, 이로 인해 2개의 스테이션에서 재생 중인 콘텐츠를 실질적으로 동기화한다.
일부 실시예들에서, 시간 314에서, 동기화 유닛(130)은 도 8에 도시된 바와 같이, 디스플레이(137)를 통해 사용자(115)에게 원격 제어(116)를 이용해 커맨드들을 플레이어(111)에게 발행하도록 명령하여 지속 시간(315) 동안 일시 정지하고 지속 시간(315)이 경과될 때 재개하게 할 수 있다.
도 4는 도 2 및 3의 동기화들을 수행하기 위한, 도 1의 텔레프레즌스 시스템의 2개의 스테이션(110 및 120) 사이의 일련의 트랜잭션들을 도시한다. 수직선들(411 및 421) 각각은 스테이션들(110 및 120)에 대응하고, 시간은 위에서 아래로 진행된다. 동기화를 개시하기 위해, 스테이션(110)은 스테이션(120)에서 차후 수신을 위해 초기 메시지(412)를 전송하고, 초기 메시지는 라인(411)에서 라인(421)을 향해 아래로 기울어진 동일한 참조 번호(412)를 포함하는 화살표에 의해 표시된다. "차후"가 어느 정도인지는 통신 채널(151)의 운송 대기 시간에 의존하지만, 전형적인 대기 시간은 대륙 내 통신을 위해 250mS보다 작게 유지된다.
초기 메시지(412)는 스테이션(120)(도 1의 양쪽에서)의 동기화 유닛(140)에서 수신을 위해 스테이션(110)(도 1의 양쪽에서)에서 동기화 유닛(130)으로부터 발생한다. 메시지(412)는 특징 추출 모듈(132)(도 1의 양쪽에서)에 의해 오디오(114)로부터 추출된 하나 이상의 특징을 포함한다. 동기화 유닛(130)이 그 자신의 클록(136)을 포함하면, 동기화 유닛은 메시지(412)를 타임 스탬프할 수 있다. 그렇지 않으면, 동기화 유닛(130)은 시퀀스 번호를 메시지(412)에 할당할 것이다. 시각 스탬프 또는 시퀀스 번호를 이용하여, 스테이션(120)에서의 동기화 유닛(140)은 메시지(412)를 통해 전송된 특징들을 해당 원격 동기화 유닛(130)과 연관된 원격 특징 타임라인에 적절히 배치할 수 있다.
동기화 유닛(130)과 관련된 응답으로서 또는 메시지(412)를 수신하는 것에 응답하여, 동기화 유닛(140)은 유사하게 도 4에 도시된 메시지(422)에서 오디오 특징들을 도 1의 동기화 유닛(130)에 전송하기 시작할 것이다. 독립적으로, 동기화 유닛(130)은 추가 추출된 오디오 특징들을 포함하는 하나 이상의 연속적 메시지(413)(명료성을 위해 단지 하나만 도시됨)를 전송할 것이다. 마찬가지로, 동기화 유닛(140)은 추가 추출된 오디오 특징들을 포함하는 하나 이상의 연속적 메시지(423)(또한 단지 하나만 도시됨)를 전송할 것이다.
초기 메시지(412)가 전송될 때, 동기화 유닛(130)은 로컬 오디오 특징들을 추출하고 기록하는 일부 기간에 이미 관여될 수 있다. 메시지(412)는 가장 빨리 추출된 특징들을 운반할 필요가 없다. 오히려, 초기 메시지(412)는 도 1의 특징 검출 모듈(132)에 의해 추출된 가장 최근의 로컬 특징들만을 운반할 필요가 있다. 다른 실시예들에서, 각각의 동기화 유닛은 원격 스테이션(들)에게 더 빨리 추출된 오래된 특징들을 통지하기 위해 추가 메시지들을 전송할 수 있지만, 그렇게 하라는 요건은 존재하지 않는다. 예로서, 스테이션(110)은 시간 311(도 3)에서 로컬 오디오(114)의 특징들을 기록하기 시작하며 그 후에 오디오(114)로부터 추출된 특징들을 수집하기 시작할 수 있다. 대략 시간 321 이후에 스테이션(120)과의 연결시, 도 1의 스테이션들(110 및 120)은 시간 321에서 또는 그 무렵에서 오디오로부터 추출된 특징들을 나타내는 초기 메시지들(412 및 422)을 교환할 수 있다. 메시지들(422 및 423)의 수신시, 스테이션(110)은 시간 321보다 상당히 빠른 매치를 찾을 수 있다. 이런 방식으로, 스테이션(110)과 같은 스테이션은, 단지 2개의 스테이션이 메시지들을 교환한 동안만이 아니라, 도 1의 메모리(134)에 제공된 버퍼의 크기만큼 더 빨리 추출된 특징들의 매치를 인식할 수 있다.
도 4를 참고하면, 시간 431에서, 스테이션(110)은 메시지(들)(422), 및 아마도 메시지들(423) 중 하나 이상을 수신할 것이고, 그 후 만약 있다면 스테이션(120)에 의해 전송된 원격 오디오 특징들과 메모리(134)에서 기록된 이들 로컬 오디오 특징들 사이에 매치를 인식할 것이다. 매칭된 특징들이 그들 각각의 타임라인들에 놓여있는 경우들 간의 오프셋은 상호 대기 시간(313)(또는 213)을 구성한다. 이 예는 한 스테이션이 스테이션들 중 하나에 의해 아직 공유되지 않는 일부 특징들 사이에서 매치를 발견할 수 있는 것을 예시한다(즉, 스테이션(110)은 특징들을 추출하지만 아직 이들을 스테이션(120)과 공유하지 않았고, 그러나 이런 특징들을 스테이션(120)에 의해 메시지들(422 및/또는 423)에서 추출되고 공유된 특징들과 매칭할 것이다).
로컬 및 원격 특징들의 매칭에 기초하여, 스테이션(110)은 양 "t"를 구성하는 것으로서 상호 대기 시간(313)(또는 상호 대기 시간(213))을 결정할 수 있고, 원격 제어 이미터(138)를 이용해 플레이어(111)에게 커맨드를 발행함으로써 액션을 취하거나 또는 사용자(115)가 적절한 액션(예를 들어, 원격(116)을 이용하여)을 보고 취하기 위해 디스플레이(137) 상에 동기화 정보를 게시함으로써 액션을 취할 수 있다. 예를 들어, 스테이션(110)은 원격 제어 이미터(138)를 이용해 플레이어(111)에게 커맨드를 전송하여, (도 2에서와 같이) 양 "t"만큼 뒤로 스킵하거나 지속 시간 "t" 동안 재생을 일시 정지하고 도 3에서와 같이 차후에 재개할 수 있고, 또는 플레이어(111)에 대한 개별 원격 제어(116)를 이용하여 이렇게 하도록 디스플레이(137)을 통해 사용자(115)에게 지시할 수 있다. 동기화 정보의 개시의 예는 이하 논의되는 도 8에 나타난다. 도 4의 시간 432에서 대기 시간을 스테이션(110)에 추가하기 위한 액션(예를 들어, 도 1의 플레이어(111)가 뒤로 스킵하거나 일시 정지하고 재생을 연속해서 재개하는)을 취한 후에 언제든지, 마이크로폰(131)은 다시 오디오(114)를 검출할 것이고, 도 1의 특징 검출 모듈(132)은 검출된 오디오에서 특징들을 추출할 것이다.
도 2의 경우에, 시간 432에 나타난 액션을 취한 후, 도 1의 동기화 유닛(130)은 시간 433에서와 같이, 오디오 부분(217)의 시작에 대응하는 특징들을 오디오 간격(216)과 관련하여 이전에 추출된 특징들에 매칭하도록 시도할 것이다. 매칭의 발견시, 동기화 유닛(130)은 도 2의 수정 뒤감기 단계 215의 정확한 크기를 결정할 수 있다. 단계 215가 너무 작거나 너무 큰 점프(예를 들어, 2초보다 크게 떨어진)를 구성한다면, 동기화 유닛(130)은 후속 액션을 취할 것이고, 이는 플레이어에게 앞으로 또는 뒤로 스킵을 명령하여 콘텐츠 동기화를 달성하기 위한 조절을 개선한다. 시간 433에서 그 자신의 버퍼로부터 특징들의 재발생을 인식할 때, 동기화 유닛(130)은 스테이션(110)의 타임라인의 연속에서 중단을 나타내기 위해 리셋 통지 메시지(414)를 원격 동기화 유닛(140)에 전송할 수 있다. 이는 동기화 유닛(140)이 더이상 유효하게 남아있지 않은 원격 타임라인의 일부에 대한 불필요한 매칭 시도를 회피하기 위해 원격 특징들의 버퍼를 비우는 것을 가능하게 한다.
도 3의 경우에, 스테이션(110)과 연관된 동기화 유닛(130)이 시간 432에서 대기 시간을 추가한 후, 시간 433에서 특징들의 인식은 도 1의 플레이어(111)가 콘텐츠 재생 동안 백업하지 않기 때문에 리셋 메시지(414)의 전송을 트리거하지 않을 것이다. 플레이어(111)가 일시 정지되지 않게 돼서야 비로소 동기화 유닛(130)은 다시 프로그램 오디오를 캡처하고 이런 오디오로부터 특징들을 추출할 것이다. 이 때, 동기화 유닛(130)은 원격 동기화 유닛(140)으로부터 수신된 특징들이 시간 434에서와 같이 로컬 오디오 부분(317)으로부터 새롭게 추출된 특징들과 매칭되고 이에 실질적으로 동기화된 것을 관찰할 수 있다. 플레이어(111)가 간격(315) 동안 일시 정지할 때, 동기화 유닛(130)은 묵음 간격(316)이 일시 정지의 결과로서 일어날 수 있기 때문에 수정 액션의 타이밍을 확인하는데 어려움을 가질 수 있을 것이나, 또한 재생 중인 콘텐츠에도 묵음 부분을 포함할 것이다(또는, 플레이어(111)에 의한 재생과 관련되지 않은 배경 노이즈에 의해 교란될 수 있다). 그럼에도 불구하고, 부분(317)에서 오디오로부터 특징들의 추출이 발생할 때, 동기화 유닛(130)은 추출된 특징들을 동기화 유닛(140)으로부터 수신된 특징들과 비교하고 이에 매칭할 것이고, 실질적인 동기화는 시간 434에서 인식되는 바와 같이 매우 짧은 간격 동안(예를 들어, 2초 내, 또는 1/4초 내) 발생한다. 그 후에, 인식 유닛(130)은 리셋/재동기화 통지 메시지(도시되지는 않았지만 메시지(414)와 유사함)를 이용하여 인식 유닛(140)에 시그널링할 수 있지만, 이는 메시지(434)를 전송한 후의 시간에 발생한다. 어느 경우나, 리셋 메시지(414) 등의 이후에, 동기화 유닛(130)은 메시지들(415 및 416)에서와 같이, 특징 추출 모듈(132)로부터의 추출된 오디오 특징들을 원격 동기화 유닛(140)으로 전송을 계속할 것이다.
일부 실시예들에서, 414와 유사한 리셋 메시지는 시간 432에서, 즉 동기화 유닛(130)이 그 대기 시간을 조절하기 위한 액션을 취한다고 결정하자마자 전송될 수 있다. 그러한 실시예에서, 원격 동기화 유닛(140)은 바로 원격 오디오 특징 타임라인에 대한 대응하는 버퍼를 비울 수 있다.
도 5-7은 도 4에 대하여 위에서 설명된 행동들을 달성하기 위한 프로세스들을 도시한다. 도 5는 원격 스테이션, 예를 들어 스테이션(120)과 통신하는, 로컬 스테이션, 예를 들어 도 1의 스테이션(110)에서 오디오 특성화(모니터링)을 위한 예시적인 프로세스(500)의 단계들을 흐름도 형태로 도시한다. 프로세스(500)는 시작 단계 501에서 개시되고, 그 시간에 오디오 특징 버퍼(520)의 클리어링이 발생한다. (오디오 특징 버퍼(520)는 메모리(134)에서 그 일부를 포함한다). 또한, 단계 501 동안, 특징 버퍼(520)로의 삽입점의 리셋은 삽입점을 시작에 배치하기 위해 일어나고 그래서 버퍼는 검출된 특징들을 지금 기록할 수 있다. 단계 502에서, 도 1의 마이크로폰(131)은 활성화되어 오디오(114)를 캡처하고 이를 도 1의 특징 추출 모듈(132)에 제공한다.
단계 503 동안, 특징 추출 모듈(132)은 중요한 특징들에 대한 캡처된 오디오를 검사한다. 오디오 특징 추출은 여전히 잘 알려졌고, 도 1의 특징 추출 모듈(132)에 대한 수많은 가능한 구현들이 존재한다. 도 2 및 3에서, 오디오의 엔벨로프는 오디오에서 특징들의 속성들, 예를 들어 묵음 부분들 및 피크를 표현할 수 있다. 그러나, 엔벨로프 또는 파형 관련 특징들은 환경적 노이즈에 의해 숨겨지거나 변질될 수 있고, 일부 경우에는 찾고자 하는 최상의 특징들을 표현할 수 없다. 다양한 형태들의 스펙트럼 분석, 예를 들어 오디오의 작은 윈도(예를 들어, 10-100mS)를 통해 만들어진 STFT(Short-Time Fourier Transform) 또는 MFCC(Mel Frequency Cepstral Coefficients)는 원하는 특징들을 검출할 수 있다. 가장 큰 값들을 갖는 미리 정해진 개수(예를 들어, 3)에 달하는, 특정한 스팩트럼 대역들 또는 계수들은 관심 특징들을 포함할 것이다. 후보로서 자격을 얻기 위해, 특징은 적어도 미리 결정된 수의 데시벨을 절대 레벨 또는 배경 노이즈 레벨보다 높게 요구하여 오디오(114)와 무관한 노이즈 또는 다른 배경 소스들로부터 도출된 특징들을 제거하는데 도울 수 있다. 윈도 함수(windowing function)(예를 들어, Hanning, Hamming, Gaussian 등)는 윈도 프로세스로부터 외부 스펙트럼 아티팩트들을 감소시키기 위한, 캡처된 오디오에 대한 멀티플라이어의 역할을 할 수 있다.
일부 실시예들에서, 각각의 연속적인 스펙트럼 분석은 윈도와 분석중인 캡처된 오디오 사이의 타이밍 관계에 기인한 특징 검출들에서의 변동들을 최소화하기 위해 이전 분석과 연관돼서 오버랩하는 윈도를 이용하여 일어날 수 있다(예를 들어, 50mS 폭의 윈도를 이용하여, 특징 추출이 모든 25mS 마다, 또는 초당 40회 일어날 수 있다). 발명자 Lamb 등의 미국 특허 제5,437,050호는 유사한 특징 추출 기술을 설명한다.
Wang 등의 미국 특허 제8,190,435호(발명의 명칭 "System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion")에서는 "랜드마크 타임포인트들 및 연관된 지문들"을 이용하는 방법을 개시하며, 랜드마크 타임포인트들은 콘텐츠에서 재생 가능하게 검출 가능한 위치들(예를 들어, 엔벨로프에서 피크들 또는 변곡점들)을 구성하며, 지문들은 이런 랜드마크 타임포인트에서 또는 그 근방에서 신호의 특징을 나타낸다. 타임포인트들의 이용은 정규적이고 주기적인 샘플에 비해 특징들을 나타내는 더욱 세선화된 세트의 데이터를 달성하는 장점을 제공한다. Wang의 사운드 인식 방법론은 거대한 데이터베이스들, 예를 들어 10,000 이상의 노래들을 갖는 데이터베이스들 내에서 검색을 용이하게 할 수 있다. Wang 등의 랜드마킹 및 지문들이 본 발명의 원리와 관련된 특징 추출을 수행할 수 있을지라도, 추출된 특성 버퍼(예를 들어, 30분 이하의 오디오 저장 용량을 가진 버퍼)에 예상되는 상대적으로 제한된 크기는, 정규적으로 샘플링된 오디오로부터 특징들을 추출했을 때조차도, 메모리(314)에서 국부적으로 추출된 특징들 내에서 매칭을 찾는 문제를 실질적으로 쉽게 한다. 랜드마크 타임포인트들을 정확하게 기록하기 위해서는, 원격 클록(146)과의 동기화가 불필요하거나 클록이 실제 일시를 나타낼 필요가 없다 할지라도 안정한 클록(136)이 랜드마크의 상대 시간을 결정하는데 유용하게 판명될 것임에 유의한다. 대안적으로, 랜드마크 타임포인트는 캡처된 각각의 오디오 샘플로 증분되는 샘플 카운터와 연관을 가질 수 있다.
논문 "A Large Set of Audio Features for Sound Description", Ircam, Paris, 2004에서, Peter는 사운드 샘플에 대한 다수의 순간 기술자(instantaneous descriptor)들을 열거하고, 이들을 계산하기 위한 수학식들을 요약한다. 이들 중에는, STFT 외에, 멜 주파수 켑스트랄 계수(Mel Frequency Cepstral Coefficient)들 및 노이지니스(noisiness)가 있다. 이들 특징 중 모두는 아니지만 대부분의 추출은 11차 ISMIR 컨퍼런스, Utrecht, Netherlands, 2010의 회의록에 기술된 바와 같은, "B. Mathieu 등 의한 "YAAFE, an Easy to use and Efficient Audio Feature Extraction Software"를 이용하여 일어날 수 있고, Telecom Paristech에 의해 개발된 오픈 소스 소프트웨어 프로젝트로서 이용 가능하고 yaafe.sourceforge.net에서 이용 가능하다.
도 5의 단계 504 동안, 동기화 유닛, 예를 들어 도 1의 동기화 유닛(130)은 플레이어(111)가 되감기 또는 뒤로 스킵하고 그 후 재생을 재개하기 위한 커맨드를 수신하는 경우에 일어날 수 있는 것처럼, 오디오(114)로부터 추출된 특징들이 최근에 재생된 부분과 관련하여 반복하는 인스턴스를 찾을 수 있다. 그러한 인스턴스에서, 단계 503 동안 추출된 특징들은, 이미 로컬 버퍼(520)에 저장된 것들과 비교할 때, 실질적인 매치를 생성할 것이다(지금 또는 이전에 수신된 오디오(114)와 연관되지 않는 배경 노이즈가 개별 특징들을 억제, 은닉 또는 변질할 것이고, 반면에 동일한 샘플 또는 동일한 시간적인 이웃에서 획득된 다른 특징들은 매칭될 것이다). 더욱이, 도 1의 특징 검출 모듈들(132 및 142)은 각각, 의미있는 시간 간격(예를 들어, 2-10초)에 걸쳐 추출된 특징들의 상당 부분이 매칭이라고 고려되기 전에 자격이 있을 것을 요구하는 규칙을 이용한다.
오디오(114)가 더 빠른 부분의 반복을 구성한다는 결정에 대응하는, 단계 504의 실행시 매칭을 찾았을 때, 그 후 단계 505 동안, 도 1의 로컬 스테이션(110)은, 기록이 더이상 로컬 스테이션의 새롭게 리셋된 타임라인을 나타내지 못하기 때문에, 원격 스테이션이 로컬 스테이션(110)에 의해 전송된 특징들의 버퍼를 비울 것을 제안하기 위한 메시지를 원격 스테이션(120)에 전송한다. 단계 506 동안, 로컬 버퍼(520)를 클리어(대안적인 실시예에서 발생할 수 있는)하기 보다는, 로컬 스테이션(110)은 매칭이 일어난 로컬 버퍼 내의 위치에 대응하도록 삽입점을 버퍼로 수정할 수 있다. 이런 방식으로, 적어도 잠깐 동안, 로컬 버퍼(520)는 오디오 프로그램의 최근 이력을 나타낼 뿐만 아니라, 해당 프로그램에 대한 가까운 미래를 다소 예측한다. 이는 뒤로 스킵의 크기(215)가 매우 크다면 유용하다고 판명될 수 있고, 원격 스테이션(120)으로부터 수신된 현재 특징들은 삽입점과 관련되는 미래에 있는 한 포인트에 약하게 매칭되고 동기화를 미세 튜닝하는데 유용한 정보를 제공할 것이다(도 6을 참조하여 추가 설명되는 바와 같이).
단계 507 동안, 단계 503 동안에 추출된 특징들은 로컬 버퍼(520)에서 현재 삽입점에 저장되고, 동기화 유닛은 삽입점을 증분시킨다. 삽입점이 버퍼의 끝에 상주하는 경우, 저장되는 있는 특징들은 버퍼의 현재 길이를 확장한다. 버퍼가 미리 결정된 크기를 초과할 수 없다면, 가장 오래된 특징들(버퍼에서 가장 빠른 특징들)은 새로운 것들이 삽입될 때 삭제된다. 일부 실시예들에서, 원형 버퍼는 오래된 데이터를 새로운 데이터로 중복 기입하는 이런 기술을 구현할 수 있다.
도 5의 단계 508 동안, 도 1의 로컬 스테이션(110)은 단계 503 동안 추출된 특징들을 도 1의 원격 스테이션(120)에 전송한다. 일부 실시예들에서, 로컬 스테이션(110)은 클록(136)으로부터의 정보를 이들 특징들에 타임 스탬프할 수 있고/있거나, 로컬 스테이션은 시퀀스 번호를 가진 특징들을 전송할 수 있다. 이런 방식으로, 원격 스테이션(120)은 개입 메시지들이 상실되거나 또는 원격 스테이션이 잘못된 메시지들을 수신한다 할지라도, 수신된 특징들을 다른 수신된 특징들과 관련하여 위치시킬 수 있다.
단계 509 동안, 오디오의 현재 간격의 처리는 종료되고, 완료되며, 그래서 프로세스는 단계 502에서 시작을 반복할 수 있다. 단계 501의 버퍼 클리어링 및 삽입점 리셋은 프로세스의 각각의 반복과 함께 일어날 필요는 없다. 일 실시예에서, 로컬 오디오 모니터링 프로세스(500)는, 전형적으로 오디오 취득 카드들 또는 디지털 마이크로폰 인터페이스들 및 그들의 대응하는 드라이버들과 함께 일어날 수 있는 것처럼, 하드웨어 오디오 버퍼가 가득 찰 때마다 반복될 수 있다.
도 6은, 도 1의 로컬 및 원격 텔레프레즌스 스테이션들로부터의 오디오 신호들 사이의 동기화 상태를 결정하고 콘텐츠 재생을 동기화하기 위해 이들 간의 임의의 실질적인 차이를 수정하는 예시적인 프로세스(600)의 단계들을 흐름도 형태로 도시한다. 프로세스(600)는 원격 동기화 유닛으로부터의 도착 메시지(예를 들어, 스테이션(120)/동기화 유닛(140)에 의해 수신되는, 도 1의 스테이션(110)/동기화 유닛(130)으로부터의 임의의 메시지들(412-416), 또는 스테이션(110)/동기화 유닛(130)에 의해 수신되는, 스테이션(120)/동기화 유닛(140)으로부터의 메시지들(422-423))에 의해 트리거된 시작 단계 601에서 시작된다.
단계 602 동안, 단계 601 동안에 수신된 메시지가 리셋 메시지(예를 들어, 도 2의 메시지(414)) 또는 원격 특징 메시지(예를 들어, 메시지(414)와 다른 도 2의 임의의 메시지들)를 구성하는지에 대한 결정이 일어난다. 단계 602 동안, 로컬 스테이션(예를 들어, 스테이션(110))이, 원격 스테이션(예를 들어, 스테이션(120))이 그 타임라인을 리셋한다고 결정하면, 단계 603 동안, 로컬 스테이션은 로컬 메모리에 저장된 원격 특징들의 버퍼(630)를 비운다. 그 후에, 단계 610에서 지금 완성된 리셋 메시지의 처리를 실행한다.
그러나 단계 602 동안 로컬 스테이션이, 메시지가 특징들을 포함한다고 결정하면, 단계 604 동안, 로컬 스테이션은 원격 특징들을 수신할 것이다. 타임 스탬프 및/또는 시퀀스 번호가 수신된 원격 특징들을 수반하면, 로컬 스테이션은 단계 605 동안 특징들이 원격 특징 버퍼(630)에 저장될 때 수신된 특징들을 타임라인을 따라 적절히 연관시킬 것이다.
단계 606 동안, 로컬 스테이션은 버퍼(520)에서 국부적으로 검출된 특징들의 일부(도 5의 프로세스(500) 동안 저장된 것)가 버퍼(630)에서 원격 특징들의 최근 타임라인에 대응하는지 확인한다. 확인되지 않으면, 단계 601 동안 수신된 메시지의 처리는 단계 610 동안 완료된다. 그러나 단계 606 동안, 로컬 스테이션이, 원격 버퍼(630)에서 원격 특징들의 최근 일부가 로컬 버퍼(520) 내의 특징들의 시퀀스에 대응한다고 결정하면, 단계 607 동안, 로컬 스테이션은 로컬 버퍼(520)와 원격 버퍼(630)에서 최근 특징들의 대응 관계를 발견한 후, (프로세스(500)와 관련하여 전술한 바와 같은) 로컬 버퍼(520)에서 현재 삽입점에 대한 타이밍 차이를 결정한다.
단계 508에서, 로컬 재생이 원격 재생보다 훨씬 앞서는지에 대한 결정이 이루어지고, 그렇다면, 수정 액션(예를 들어, 일시 정지 또는 뒤로 스킵하기 위한)은 단계 609에서 개시된다. 508에서, 로컬 및 원격 오디오가 충분히 동기화되었다는 결정(예를 들어, 몇 분의 일 초 내에서)이 행해진다면, 액션이 취해지지 않고 610에서 현재 메시지의 처리를 종료한다. 일부 실시예들에서, 삽입점에 앞선 대응 관계(예를 들어, 단계 506 동안과 같은, 로컬 플레이어가 뒤로 스킵하고 삽입점이 지금 과거로 이동하는 경우)를 찾을 때, 폴리시(policy)는 그러한 상황하에서 원격 동기화 유닛이 그 문제를 다룰 책임을 가지고 있다고 지시할 수 있으며, 그런 경우에, 단계 601 동안 수신된 메시지의 로컬 처리는 단계 610 동안 완료된다. 그러나 원격 버퍼(630)에서 최근 특징들의 대응 관계의 포인트가 삽입점 뒤에 놓여있고 사실상 충분한 양(예를 들어, 하나의 폴리시 하에서, 500mS 이상)만큼 삽입점 뒤에 놓인다면, 단계 609에서, 로컬 동기화 유닛은 동기화 커맨드(예를 들어, 앞으로 스킵)를 제공할 것이다.
단계 609 동안, 로컬 동기화 유닛은 동기화 커맨드를 단지 권고로서 제공할 수 있다. 다시 말하면, 로컬 동기화 유닛(130)은 디스플레이(137) 상에 사용자(115)에 대한 경고로서 동기화 커맨드를 보여줄 수 있고, 그로 의해 사용자에게 자신의 로컬 플레이어(111)가 특정 시간량 동안 되감기 또는 일시 정지할 필요가 있다고 지시한다. 다른 실시예들에서, 동기화 유닛(130)은 필요에 따라 플레이어(111)을 되감기 또는 일시 정지하기 위해 통합 원격 제어 전송기(138)를 이용할 수 있다. 또 다른 실시예들에서, 로컬 동기화 유닛(130)은 상호 대기 시간 값(예를 들어, 대기 시간 값들(213/313))을 사용자(115)에게 경고하고 원격 제어(138)를 이용하여 적절한 액션을 취할 것을 제안할 것이다. 이 후자의 접근법은 상호 대기 시간 값이 상당한 값(예를 들어, 몇 분 이상)이 되고 로컬 사용자(115)에 의한 중요한 "검토"(이는 고맙게 여겨지지 않을 수 있다)를 나타낸다면 특별한 유용성을 가진다.
텔레프레즌스 세션에 참여하는 3 이상의 스테이션(110 및 120)을 갖는 실시예들에서, 개별 프로세스(600)는 각각의 참여하는 원격 스테이션에서 국부적으로 실행할 수 있고, 각각의 스테이션은 그 자신의 원격 버퍼(630)를 갖는다. 대안적으로, 발신하는 원격 스테이션에 따라서, 단계들(603, 605 및 606) 각각에 관여된 원격 버퍼의 선택은 메시지의 발신 스테이션에 의존할 것이다. 또한, 2 이상의 원격 스테이션이 참여하면, 단계 609 동안 제공된 동기화 커맨드는 다른 스테이션보다 가장 뒤에 있는 원격 스테이션에 대응해야 한다.
3개의 스테이션 각각이 그 자신의 동기화 유닛을 갖는다고 가정하는 다음의 예를 고려한다. 스테이션들 중 하나(예를 들어, "로컬" 스테이션)가 2개의 다른("원격") 스테이션들과 통신하고 로컬 스테이션이 제1 원격 스테이션을 5초만큼 앞서고, 제2 원격 스테이션을 12초만큼 앞선다고 가정한다(즉, 로컬 스테이션은 둘다 앞서나, 상이한 양만큼 앞선다). 그러한 상황하에, 단계 609 동안 로컬 스테이션에 의해 제공된 동기화 커맨드는 로컬 스테이션과 제2 원격 스테이션 사이에서 앞선 콘텐츠와 연관된 12초의 상호 대기 시간에 대응해야 한다. 그러한 상황에서, 제1 원격 스테이션은 제2 원격 스테이션을 7초 앞서고 로컬 스테이션보다 5초 지연되는 것으로 그 자신을 간주할 것이다. 따라서, 로컬 스테이션은 12초 동안 콘텐츠 재생을 뒤로 스킵하거나 일시 정지할 것이고, 반면에 제1 원격 스테이션은 7초 동안 뒤로 스킵하거나 일시 정지할 것이고, 그 결과 로컬 및 제1 원격 스테이션들 모두는 자신들을 제2 원격 스테이션과 동기화시키기 위한 액션을 취한다. 제2 원격 스테이션은 동기화 액션을 취하지 않을 것이지만, 그 원격 버퍼들을 비우기 위한 2개의 메시지의 수신인일 것이고, 이들 중 하나는 다른 2개의 스테이션 각각으로부터 온다.
도 7은 로컬 오디오 소스의 동기화의 결정이 원격 오디오 소스에 대해 발생하는 경우 콘텐츠 재생 동기화를 위한 예시적인 프로세스(700)의 단계들을 흐름도 형태로 도시한다. 프로세스(700)는 원격 동기화 유닛과 통신을 개시하는 로컬 동기화 유닛을 이용하여 단계 701에서 시작한다. 단계 702 동안, 로컬 동기화 유닛은 오디오의 간격을 캡처한다. 단계 703의 실행시, 로컬 동기화 유닛은 캡처된 오디오로부터 특징들을 추출한다. 단계 704 동안, 검출된 로컬 특징들은 로컬 특징 버퍼(520)에서 로컬 특징 타임라인에 저장된다. 이 때, 로컬 동기화 유닛은 이들 로컬 특징을 원격 동기화 유닛에 전송할 것이다(도시되지 않은 단계). 단계 705 동안, 로컬 동기화 유닛은 원격 동기화 유닛으로부터 특징들을 수신할 것이고, 그 후에 단계 706 동안 그런 원격 특징들을 원격 특징 버퍼(630)에 국부적으로 저장할 것이다. 단계 707 동안, 로컬 동기화 유닛은 원격 버퍼(630)에 저장된 최근 특징들이 로컬 버퍼(520)에 있는 특징들과 매칭하는지 결정한다. 만약 그렇다면, 단계 708 동안, 로컬 동기화 유닛은 상호 대기 시간(예를 들어, 대기 시간들(213/313))을 결정하고 그 후에 단계 709 동안 이에 따라 동기화 정보를 제공한다. 그렇지 않으면, 또는 단계 707에서 적당한 매칭이 존재하지 않으면, 프로세스(700)의 현재 반복은 단계 710에서 종료한다.
예를 들어, 단계들 504, 606 및 707 동안 결정된 것과 같은 매치의 "상당함"(substantialness)은 튜닝의 문제를 구성한다. 원격 특징들이 원격 오디오의 짧은 간격(예를 들어, 10-100mS의 지속시간)과 연관된다고 고려할 때, 로컬 버퍼(520) 내에서 특징들에 대한 매치를 검출하는 것은 상대적으로 쉽게 판명될 수 있지만(왜냐하면, 가장 최근의 원격 특징들만이 매칭되기 때문에), 이들 원격 특징에 의해 특징화되는 원격 오디오가 두번 이상 발생하거나 또는 배경 노이즈로부터 일어나기 때문에, 상호 대기 시간들(213/313)의 신뢰성 있는 지시를 제공하지 않을 수 있다. 유사하게, 요구된 매치의 엄격함은 시스템에 영향을 미친다. 예를 들어, 4개의 검출된 특징을 생성하는 짧은 간격과 관련하여, 엄격한 규칙은 매치를 선언하기 위해 원격 특징들에서 모든 4개의 존재를 요구할 수 있다. 덜 엄격한 규칙은 4개 중 임의의 3개의 존재에 기초한 매치를 선언할 수 있다. 더 긴 간격들을 비교할 때, 스테이션은 그것이 이런 매치를 행한 간격이 너무 길게 된 경우(예를 들어, 20초) 무반응으로 나타날 수 있다. 스테이션은 더 긴 간격(예를 들어, 5초)에 걸친 매칭이 너무 많은 연속적인 짧은 간격들(예를 들어, 10-100mS) 또는 매치를 인식하기 전에 짧은 간격들의 너무 많은 소부분에서 특징들의 대응 관계를 요구하는 경우 너무 까다로운 것으로 나타날 수 있다. 예를 들어, 짧은 간격들 사이에서 계속되는 매치들의 연속 5초가 필요하게 되는 경우, 시스템은 배경 노이즈의 존재에서 매치들에 민감하지 않을 수 있다. 시스템이 5초의 간격 동안 특징들의 90-100%의 매칭을 요구한다면 동일하게 말해질 수 있으며, 여기서 적당히 구별할 수 있는 스테이션은 매칭되고 있는 타임라인 상에 적당히 간격을 둔 가급적 50% 또는 심지어 그보다 적은 특징들로 성공할 수 있다.
그런 튜닝은 재생 중인 콘텐츠에 의존한다. 콘텐츠 오디오가 음악을 포함할 때, 코러스는 특정 간격들에서 반복할 수 있다. 그런 경우들에서, 원격 스테이션에 의해 보고되는 코러스에 대응하는 특징들이 국부적으로 검출된 여러 이력 인스턴스들 중 하나 또는 미래 인스턴스(아직 국부적으로 검출되지 않음)를 포함하는지에 관한 모호함이 존재할 수 있다. 다행히, 대부분의 현대 텔레비전과 영화 프로그램들에서, 그런 상황들은 또한 다이얼로그, 음향 효과들 및 다른 반주에 의해 또는 운문들에 의해 구별되고, 이는 타임라인에서 배치를 해결하는데 도움이 될 수 있다. 모호함이 존재할 수 있는 경우(즉, 원격 특징들의 동일한 시리즈가 로컬 특성 버퍼에서 2 이상의 위치에 나타나기 때문에), 동기화 유닛은 모호함이 명확하게 될 때까지 비교되고 있는 간격의 크기를 늘릴 수 있다. 예를 들어, 로컬 버퍼에 5초의 특징들의 시리즈의 3개의 카피가 존재하는 경우, 로컬 동기화 유닛은 비교되고 있는 특징들의 간격의 길이, 예를 들어 10 또는 15초를 일시적으로 늘림으로써 이런 모호함을 해결할 수 있다.
가능한 경우, 로컬 플레이어(111)가 앞으로 스킵하거나 또는 동기화 유닛(130)에 의해 추천된 것과는 다른 채널들로 변경하기 위한 커맨드를 수신하고 동기화 유닛(130)이 그런 액션을 검출할 수 있다면, 메모리(134)에 있는 로컬 특성 버퍼(520)는 비워져야 하고, 메시지(예를 들어, 414와 같은)는 각각의 원격 동기화 유닛에게 그 버퍼의 리셋을 통지하도록 전송되고, 따라서 이들은 자신의 대응하는 원격 특징 버퍼들(630)에 대해 동일한 것을 할 수 있다. 일부 플레이어들(111)이 채널들을 변경하거나 앞으로 스킵할 때 미리 결정된 묵음의 간격을 생성하기 때문에, 그런 검출은 오디오(114)에서 불연속의 모니터링에 의해 일어날 수 있다. 다른 경우들에서, 수동 원격 제어(116)를 도청함으로써, 동기화 유닛(130)은 도시되지 않는 원격 제어 수신기를 이용하여 플레이어(111)를 위해 의도된 수동으로 개시된 원격 제어 커맨드들을 검출할 수 있고, 원격 제어 수신기는 제어기(133)에 연결되어 그런 커맨드들의 검출을 허용한다. 그런 불연속 또는 커맨드를 검출할 때, 로컬 동기화 유닛은, 새로운 재생 포인트가 계속 로컬 버퍼 내에 놓여있는지 결정하기 위해, 예를 들어 단계 506 동안, 검색을 수행할 수 있고, 그렇지 않다면, 로컬 동기화 유닛은 로컬 버퍼를 비울 것이다.
도 8은 본 발명의 원리를 따르는, 동기화와 관련된 도 1의 텔레프레즌스 시스템의 스테이션들(110 및 120)에서의 상황들을 나타내는 일련의 비네트들(800)을 도시한다. 도 1의 상부 좌측 코너의 비네트는 함께 위치한 텔레프레즌스 카메라(830)을 가진 텔레프레즌스 모니터(137) 앞에서 카우치(816)에 앉아 있으면서 모니터(112) 상에서 프로그램을 시청하는 스테이션(110)의 사용자(115)를 도시한다. 도 8의 상부 우측 코너의 비네트는 함께 위치한 텔레프레즌스 카메라(840)를 가진 텔레프레즌스 모니터(147) 앞에서 카우치(826)에 앉아 있으면서 모니터(122) 상에서 동일한 쇼를 시청하는 스테이션(120)의 사용자(825)를 도시한다. 텔레프레즌스 카메라들(830 및 840) 각각에 의해 캡처된 이미지들은 서로 원격의 각각의 텔레프레즌스 모니터들(147 및 137) 상에서 표시된다. 따라서, 텔레프레즌스 모니터(147)은 텔레프레즌스 카메라(830)에 의해 캡처된 사용자(115)의 프로필 뷰를 포함하는 이미지(820)를 도시한다(도 8의 하부 우측 코너에서). 유사하게, 텔레프레즌스 모니터(137)는 텔레프레즌스 카메라(840)에 의해 캡처된 사용자(825)의 프로필 뷰를 포함하는 이미지(810)를 도시한다(도 8의 하부 좌측 코너에서). 본 실시예에서는 텔레프레즌스 스테이션들(110 및 120)이 각각 내장된 동기화 유닛들(130 및 140)을 갖고, 텔레프레즌스 모니터들(137 및 147)이 각각 또한 동기화 유닛들(130 및 140)을 위한 디스플레이로서 역할을 한다.
동기화 유닛(130)이 도 6의 프로세스(600)를 실행할 때, 이는 이에 따라 사용자(115)에 대한 메시지들을 콘텐츠 동기화와 관련된 텔레프레즌스 모니터(137) 상에 표시한다. 예를 들어, 동기화 유닛(130)이 스테이션(120)으로부터 수신된 원격 특징 메시지에 기초하여, 모니터(112) 상에서 재생 중인 로컬 프로그램이 모니터(122) 상의 프로그램의 원격 재생을 6초 앞선다고 결정한다고 가정한다. 그런 상황하에서, 동기화 유닛(130)은 디스플레이/텔레프레즌스 모니터(137) 상에 표시된 동기화 커맨드(812)를 사용자(115)에게 제공할 것이고, 사용자에게는 6초 동안 재생을 일시 정지하도록 지시하고, 사용자는 이에 따라 플레이어(111)에게 명령하기 위해 원격 제어(116)를 이용하여 이렇게 할 수 있다. 플레이어(111)를 일시 정지함으로써, 사용자(115)는 로컬 재생 중인 콘텐츠를 원격 재생 중인 콘텐츠에 효율적으로 동기화할 것이다.
위에서는 로컬 및 원격 스테이션에서 콘텐츠의 재생을 동기화하기 위한 기술을 설명했다.

Claims (14)

  1. 제1 및 제2 스테이션들에서 재생 중인(undergoing play out) 콘텐츠를 동기화하는 방법으로서,
    상기 제1 및 제2 스테이션들 간에 대기 시간(latency)이 존재하는지 결정하기 위해 상기 제1 스테이션 상에서 재생 중인 콘텐츠 내의 오디오와 상기 제2 스테이션 상에서 재생 중인 콘텐츠 내의 오디오를 비교하는 단계, 및
    만약 대기 시간이 존재한다면, 상기 2개의 스테이션을 실질적인 동기화로 가져오기 위해 하나의 스테이션이 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 상기 제1 및 제2 스테이션 중 적어도 하나에 의해 콘텐츠 재생과 관련하여 일시 정지 또는 점프 동작 중 적어도 하나를 수행하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 비교하는 단계는,
    제1 버퍼에 저장을 위해 상기 제1 스테이션에서 재생 중인 상기 콘텐츠의 오디오 내에서 적어도 복수의 제1 특징을 추출하는 단계;
    제2 버퍼에 저장을 위해 상기 제2 스테이션에서 재생 중인 상기 콘텐츠의 오디오 내에서 적어도 복수의 제2 특징을 추출하는 단계;
    상기 복수의 제1 특징 중 적어도 일부를 상기 복수의 제2 특징 중 적어도 일부와 매칭하는 단계; 및
    상기 제1 및 제2 스테이션 중 어느 스테이션이 다른 스테이션보다 앞서는지 결정하기 위해 상기 매칭된 제1 및 제2 특징들 사이에 대기 시간(time latency)을 확립하는 단계
    를 포함하는 방법.
  3. 제2항에 있어서, 상기 매칭하는 단계는 상당수의 상기 제1 특징들을 상당수의 상기 제2 특징들과 매칭하는 단계를 포함하는 방법.
  4. 제2항에 있어서, 상기 스테이션들이 실질적인 동기화가 될 때 상기 제2 버퍼를 비우는 단계를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 일시 정지 또는 점프 동작 중 적어도 하나는, 조작자에게 상기 제1 및 제2 스테이션들 중 하나가 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 이런 동작을 수행하도록 명령하는 메시지의 표시에 응답하여, 상기 조작자에 의해 수동으로 수행되는, 방법.
  6. 제1항에 있어서, 일시 정지 또는 뒤로 점프 동작들 중 하나가 상기 제1 및 제2 스테이션들 중 앞선 스테이션에 의해 수행되는, 방법.
  7. 제1항에 있어서, 상기 제1 및 제2 스테이션 중 뒤진 스테이션이 앞으로 점프를 수행하는, 방법.
  8. 제1항에 있어서, 상기 제1 및 제2 스테이션들 중 앞선 스테이션이 일시 정지 또는 뒤로 점프 동작들 중 하나를 수행하는 동안에 상기 제1 및 제2 스테이션들 중 뒤진 스테이션이 앞으로 점프 동작을 수행하는, 방법.
  9. 제1 스테이션에서 재생 중인 콘텐츠를 제2 스테이션에서 재생 중인 콘텐츠에 동기화하기 위한 제1 스테이션에서의 장치로서,
    상기 제1 스테이션에서 재생 중인 상기 콘텐츠의 오디오 내에서 적어도 복수의 제1 특징을 추출하기 위한, 상기 제1 스테이션에서의 특징 검출 수단;
    (a) 상기 제2 스테이션에서 재생 중인 상기 콘텐츠의 오디오로부터 추출된 적어도 복수의 제2 특징을 수신하고, (b) 상기 제1 및 제2 스테이션들 간에 대기 시간이 존재하는지 결정하기 위해 상기 추출된 제1 및 제2의 복수의 오디오 특징을 비교하기 위한, 상기 제1 스테이션에서의 동기화 유닛; 및
    상기 제1 및 제2 스테이션들을 실질적인 동기화로 가져오기 위해 하나의 스테이션이 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 상기 제1 및 제2 스테이션들 중 하나의 앞선 스테이션에서 콘텐츠 재생과 관련하여 일시 정지 또는 점프 동작들 중 적어도 하나를 개시하기 위한 동기화 정보를 생성하기 위한 수단
    을 포함하는 장치.
  10. 제9항에 있어서, 상기 동기화 유닛은 상당수의 상기 제1 특징들을 상당수의 상기 제2 특징들과 매칭함으로써 상기 추출된 제1 및 제2의 복수의 오디오 특징들을 비교하는, 장치.
  11. 제9항에 있어서, 상기 동기화 정보는, 상기 제1 및 제2 스테이션들 중 하나가 다른 스테이션보다 앞선 간격에 대응하는 간격 동안 일시 정지 또는 점프 동작들 중 하나를 수동으로 수행하도록 조작자에게 시그널링하기 위한, 조작자에 대한 표시 메시지를 포함하는, 장치.
  12. 제9항에 있어서, 상기 동기화 정보는 상기 제1 스테이션이 상기 제2 스테이션을 앞설 때 일시 정지 또는 뒤로 점프 동작을 수행하기 위한, 상기 제1 스테이션에서의 콘텐츠 플레이어에 대한 커맨드를 포함하는, 장치.
  13. 제9항에 있어서, 상기 동기화 정보는 상기 제1 스테이션이 상기 제2 스테이션을 앞설 때 앞으로 점프 동작을 수행하기 위한, 상기 제2 스테이션에서의 콘텐츠 플레이어에 대한 커맨드를 포함하는, 장치.
  14. 제9항에 있어서, 상기 동기화 정보는 상기 제1 스테이션이 상기 제2 스테이션을 앞설 때 일시 정지 또는 뒤로 점프 동작들 중 하나를 수행하기 위한, 상기 제1 스테이션에서의 콘텐츠 플레이어에 대한 제1 커맨드, 및 상기 제1 스테이션이 상기 제2 스테이션을 앞설 때 앞으로 점프 동작을 수행하기 위한, 상기 제2 스테이션에서의 콘텐츠 플레이어에 대한 제2 커맨드를 포함하는, 장치.
KR1020157035800A 2013-06-20 2013-06-20 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법 KR20160022307A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/046676 WO2014204459A1 (en) 2013-06-20 2013-06-20 System and method to assist synchronization of distributed play out of control

Publications (1)

Publication Number Publication Date
KR20160022307A true KR20160022307A (ko) 2016-02-29

Family

ID=48741574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157035800A KR20160022307A (ko) 2013-06-20 2013-06-20 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US10284887B2 (ko)
EP (1) EP3011691B1 (ko)
JP (1) JP2016526826A (ko)
KR (1) KR20160022307A (ko)
CN (1) CN105493422A (ko)
WO (1) WO2014204459A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021222683A1 (en) * 2020-05-01 2021-11-04 Arris Enterprises Llc Method and system for synchronized viewing of content over multiple remote media play devices

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686222B (zh) * 2012-08-31 2017-02-08 华为终端有限公司 虚拟空间中媒体内容控制的方法及终端、设备
CN104092654B (zh) * 2014-01-22 2016-03-02 腾讯科技（深圳）有限公司 媒体播放方法、客户端及系统
US9973448B2 (en) * 2015-02-25 2018-05-15 At&T Mobility Ii Llc Predictive cached buffer for communication devices
US10264537B2 (en) * 2015-11-13 2019-04-16 Walter D. Barker Time code controlled logic device
GB2545181A (en) * 2015-12-07 2017-06-14 Fujitsu Ltd Synchronisation device, method, program and system
CN106162237A (zh) * 2016-06-30 2016-11-23 乐视控股（北京）有限公司 电视节目识别方法、装置及系统
CN107509139B (zh) * 2017-08-17 2021-01-26 京东方科技集团股份有限公司 音频处理装置、方法和可发声的媒体装置
US10263717B1 (en) 2018-01-04 2019-04-16 Yamaha Corporation Method of synchronizing pause process and system of synchronizing pause process
US10827043B2 (en) * 2018-04-04 2020-11-03 Hall Labs Llc Normalization of communication between devices
US11812090B2 (en) * 2020-04-09 2023-11-07 Caavo Inc System and method for social multi-platform media playback synchronization
US11741976B2 (en) * 2021-02-24 2023-08-29 Brian Karl Ales Time-aligned additive recording

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5437050A (en) 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US5548324A (en) 1994-05-16 1996-08-20 Intel Corporation Process, apparatus and system for displaying multiple video streams using linked control blocks
US5896128A (en) 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
US5808662A (en) 1995-11-08 1998-09-15 Silicon Graphics, Inc. Synchronized, interactive playback of digital movies across a network
JPH09282133A (ja) 1996-04-09 1997-10-31 Hitachi Ltd 映像通信システム
US6959220B1 (en) * 1997-11-07 2005-10-25 Microsoft Corporation Digital audio signal filtering mechanism and method
WO2002095534A2 (en) 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
CN1222911C (zh) 1998-05-19 2005-10-12 索尼电脑娱乐公司 图像处理装置和方法
TW447221B (en) 1998-08-26 2001-07-21 United Video Properties Inc Television message system
US7146330B1 (en) 1999-02-08 2006-12-05 Vulcan Portals, Inc. Method and system for creating and managing groups for increasing buying power on the world wide web
US20040194131A1 (en) 1999-03-11 2004-09-30 Ellis Michael D. Television system with scheduling of advertisements
US7076447B1 (en) 1999-06-10 2006-07-11 Inphonic, Inc. Systems and methods for aggregating buyers for the purchase of telecommunication services via a network
JP2001054084A (ja) 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd テレビ電話装置
US6754904B1 (en) 1999-12-30 2004-06-22 America Online, Inc. Informing network users of television programming viewed by other network users
US8527345B2 (en) 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
US7340760B2 (en) 2000-01-14 2008-03-04 Nds Limited Advertisements in an end-user controlled playback environment
US6678700B1 (en) * 2000-04-27 2004-01-13 General Atomics System of and method for transparent management of data objects in containers across distributed heterogenous resources
US6954728B1 (en) 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
CN100538701C (zh) * 2000-07-31 2009-09-09 兰德马克数字服务公司 用于从媒体样本辨认媒体实体的方法
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US20070022375A1 (en) 2000-10-19 2007-01-25 David Walker Apparatus, system, and method for an electronic payment system
US8996698B1 (en) 2000-11-03 2015-03-31 Truphone Limited Cooperative network for mobile internet access
US6894714B2 (en) 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP3573203B2 (ja) 2001-01-22 2004-10-06 日本電気株式会社 情報再生方法及び情報再生システム。
WO2002101587A1 (en) 2001-06-06 2002-12-19 Sony Corporation Advertisement selection apparatus, advertisement selection method, and storage medium
KR20030023415A (ko) 2001-09-13 2003-03-19 김승현 네트워크상 연락물을 이용한 컨텐츠 동시 이용 서비스제공방법
JP2003163911A (ja) 2001-11-22 2003-06-06 Nippon Telegr & Teleph Corp <Ntt> 好感度情報に基づく映像再生制御方法、映像再生制御システム、サーバ装置、クライアント装置、並びに、映像再生制御プログラム及びその記録媒体
WO2003061285A2 (en) * 2001-12-24 2003-07-24 Scientific Generics Limited Captioning system
US6653545B2 (en) 2002-03-01 2003-11-25 Ejamming, Inc. Method and apparatus for remote real time collaborative music performance
JP2004007539A (ja) 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録／再生方法、その装置及び通信システム
US8312504B2 (en) 2002-05-03 2012-11-13 Time Warner Cable LLC Program storage, retrieval and management based on segmentation messages
US20040003413A1 (en) 2002-06-27 2004-01-01 International Business Machines Corporation System and method for priority sponsorship of multimedia content
US20070055566A1 (en) 2005-09-02 2007-03-08 Aws Convergence Technologies, Inc. System, method, apparatus and computer media for user control of advertising
GB0222926D0 (en) 2002-10-03 2002-11-13 Koninkl Philips Electronics Nv Media communications apparatus and method
JP2004135062A (ja) 2002-10-10 2004-04-30 Matsushita Electric Ind Co Ltd 映像コミュニケーションシステム及び映像コミュニケーション方法
US20050091311A1 (en) 2003-07-29 2005-04-28 Lund Christopher D. Method and apparatus for distributing multimedia to remote clients
US8156444B1 (en) 2003-12-31 2012-04-10 Google Inc. Systems and methods for determining a user interface attribute
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
KR100939904B1 (ko) 2004-03-31 2010-02-03 엔에이치엔(주) 동영상 공동 관람 서비스 제공 방법 및 시스템
US8682995B1 (en) 2004-04-07 2014-03-25 Cisco Technology, Inc. Methods and apparatus for targeting communications using social network metrics
US7236615B2 (en) 2004-04-21 2007-06-26 Nec Laboratories America, Inc. Synergistic face detection and pose estimation with energy-based models
JP4300419B2 (ja) 2004-06-15 2009-07-22 船井電機株式会社 テレビジョン受信チュ−ナ
US7865834B1 (en) 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
US20060013557A1 (en) 2004-07-01 2006-01-19 Thomas Poslinski Suppression of trick modes in commercial playback
US7457796B2 (en) * 2004-07-08 2008-11-25 International Business Machines Corporation Method using virtual replicated tables in a cluster database management system
JP2006041885A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
KR100488595B1 (ko) 2004-07-29 2005-05-11 엔에이치엔(주) 동영상 공동 관람 서비스 제공 방법 및 시스템
JP4623497B2 (ja) 2004-10-01 2011-02-02 株式会社オプティム 遠隔制御システムおよびその処理方法
US8051425B2 (en) 2004-10-29 2011-11-01 Emc Corporation Distributed system with asynchronous execution systems and methods
EP2302055B1 (en) 2004-11-12 2014-08-27 Asuragen, Inc. Methods and compositions involving miRNA and miRNA inhibitor molecules
US7882530B2 (en) 2004-11-23 2011-02-01 Palo Alto Research Center Incorporated Method, apparatus, and program products for socially synchronizing an experiential data stream
US7873983B2 (en) 2004-11-23 2011-01-18 Palo Alto Research Center Incorporated Method and apparatus for controlling an experiential data stream in a social space
US7818770B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products to support a shared viewing experience from remote locations
US8392938B2 (en) 2004-12-21 2013-03-05 Swift Creek Systems, Llc System for providing a distributed audience response to a broadcast
US7657829B2 (en) * 2005-01-20 2010-02-02 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
US7665107B2 (en) 2005-03-11 2010-02-16 Microsoft Corporation Viral advertising for interactive services
US7669219B2 (en) * 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
US7817180B2 (en) 2005-04-28 2010-10-19 Apple Inc. Video processing in a multi-participant video conference
US7528860B2 (en) 2005-04-29 2009-05-05 Hewlett-Packard Development Company, L.P. Method and system for videoconferencing between parties at N sites
JP4587384B2 (ja) 2005-06-08 2010-11-24 シャープ株式会社 データ通信システム及びデータ通信装置
US7518051B2 (en) 2005-08-19 2009-04-14 William Gibbens Redmann Method and apparatus for remote real time collaborative music performance and recording thereof
EP1969562B1 (en) 2005-12-30 2016-11-09 Telecom Italia S.p.A. Edge-guided morphological closing in segmentation of video sequences
US8571932B2 (en) 2005-12-30 2013-10-29 Google Inc. Using search query information to determine relevant ads for a landing page of an ad
US20070157105A1 (en) 2006-01-04 2007-07-05 Stephen Owens Network user database for a sidebar
KR100747699B1 (ko) 2006-01-05 2007-08-08 에스케이 텔레콤주식회사 무선 데이터 콘텐츠 함께 보기 서비스 제공 방법 및 시스템
US7917583B2 (en) 2006-02-17 2011-03-29 Verizon Patent And Licensing Inc. Television integrated chat and presence systems and methods
WO2008063819A2 (en) 2006-10-25 2008-05-29 Google Inc. User-specified online advertising
US8875217B2 (en) * 2006-11-06 2014-10-28 Panasonic Corporation Receiver
WO2008063624A2 (en) 2006-11-17 2008-05-29 Globaltel Media, Inc. System and method for delivering web content to a mobile network
TWI442773B (zh) * 2006-11-30 2014-06-21 Dolby Lab Licensing Corp 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術
US20100082727A1 (en) 2007-02-26 2010-04-01 Sony Computer Entertainment America Inc. Social network-driven media player system and method
US8249992B2 (en) 2007-03-22 2012-08-21 The Nielsen Company (Us), Llc Digital rights management and audience measurement systems and methods
EP1975938A1 (en) * 2007-03-31 2008-10-01 Sony Deutschland Gmbh Method for determining a point in time within an audio signal
US8330791B2 (en) 2007-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Video conference system with symmetric reference
DE202007006958U1 (de) 2007-05-11 2007-07-26 X-Technology Swiss Gmbh Kleidungsstück
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US20080307412A1 (en) 2007-06-06 2008-12-11 Sony Computer Entertainment Inc. Cached content consistency management
US20090024718A1 (en) 2007-07-20 2009-01-22 Aris Anagnostopoulos Just-In-Time Contextual Advertising Techniques
US8279254B2 (en) 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
WO2009036415A1 (en) 2007-09-12 2009-03-19 Event Mall, Inc. System, apparatus, software and process for integrating video images
CN101132516B (zh) 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
US8606634B2 (en) 2007-10-09 2013-12-10 Microsoft Corporation Providing advertising in a virtual world
US8330789B2 (en) 2007-10-31 2012-12-11 At&T Intellectual Property I, L.P. Integrated devices for multimedia content delivery and video conferencing
US9536233B2 (en) 2007-11-16 2017-01-03 At&T Intellectual Property I, L.P. Purchasing a gift using a service provider network
US20090132356A1 (en) 2007-11-19 2009-05-21 Booth Cory J System and method for profile based advertisement insertion into content for single and multi-user scenarios
US8856833B2 (en) 2007-11-21 2014-10-07 United Video Properties, Inc. Maintaining a user profile based on dynamic data
US8060525B2 (en) 2007-12-21 2011-11-15 Napo Enterprises, Llc Method and system for generating media recommendations in a distributed environment based on tagging play history information with location information
US20090169171A1 (en) 2007-12-27 2009-07-02 Motorola, Inc. Methods and devices for coordinating functions of multimedia devices
US8527334B2 (en) 2007-12-27 2013-09-03 Microsoft Corporation Advertising revenue sharing
GB2487499B (en) * 2008-02-21 2013-02-27 Snell Ltd Method of comparing audio data
US20090215538A1 (en) 2008-02-22 2009-08-27 Samuel Jew Method for dynamically synchronizing computer network latency
US20090232285A1 (en) 2008-03-13 2009-09-17 Babu Mani Method and system for providing personally endorsed advertising content to a calling party
US8554891B2 (en) 2008-03-20 2013-10-08 Sony Corporation Method and apparatus for providing feedback regarding digital content within a social network
US8245262B2 (en) 2008-04-07 2012-08-14 Samsung Electronics Co., Ltd. System and method for synchronization of television signals associated with multiple broadcast networks
US9246613B2 (en) 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
US20090307047A1 (en) 2008-06-02 2009-12-10 International Business Machines Corporation System to Defer and Refer Advertisements Presented in Conjunction with Media Device Control Interfaces
US9445045B2 (en) 2008-06-23 2016-09-13 Alcatel Lucent Video conferencing device for a communications device and method of manufacturing and using the same
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US20100030648A1 (en) 2008-08-01 2010-02-04 Microsoft Corporation Social media driven advertisement targeting
US20100043020A1 (en) 2008-08-15 2010-02-18 At&T Labs, Inc. System and method for fine grain payment for media services
US8144182B2 (en) 2008-09-16 2012-03-27 Biscotti Inc. Real time video communications system
US9070149B2 (en) 2008-09-30 2015-06-30 Apple Inc. Media gifting devices and methods
WO2010039860A1 (en) 2008-09-30 2010-04-08 Brand Affinity Technologies, Inc. System and method for brand affinity content distribution and placement
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8345082B2 (en) 2008-10-08 2013-01-01 Cisco Technology, Inc. System and associated methodology for multi-layered site video conferencing
WO2010068497A2 (en) 2008-11-25 2010-06-17 Jeffrey Harrang Viral distribution of digital media content over social networks
US8812699B2 (en) * 2008-12-04 2014-08-19 Lenovo (Singapore) Pte. Ltd. Apparatus, system, and method for data synchronization in a multi-path environment
US8141115B2 (en) 2008-12-17 2012-03-20 At&T Labs, Inc. Systems and methods for multiple media coordination
US20100199310A1 (en) 2009-01-30 2010-08-05 Echostar Technologies L.L.C. Methods and devices for recommending media content
JP2010206349A (ja) 2009-03-02 2010-09-16 Nec Corp 動画コンテンツの再生制御方法、動画コンテンツ再生システム、コンピュータ端末、サーバ、及びプログラム
US20100223119A1 (en) 2009-03-02 2010-09-02 Yahoo! Inc. Advertising Through Product Endorsements in Social Networks
US8677282B2 (en) 2009-05-13 2014-03-18 International Business Machines Corporation Multi-finger touch adaptations for medical imaging systems
US8830293B2 (en) 2009-05-26 2014-09-09 Cisco Technology, Inc. Video superposition for continuous presence
US8711198B2 (en) 2009-06-04 2014-04-29 Hewlett-Packard Development Company, L.P. Video conference
US20100318405A1 (en) 2009-06-16 2010-12-16 Accenture Global Services Gmbh Product placement for the masses
CA2712961A1 (en) 2009-08-13 2011-02-13 Media Core Pty Limited Media trading
US8325276B2 (en) 2009-08-26 2012-12-04 Samsung Electronics Co., Ltd. System and method for real-time video content sharing with synchronization via closed-caption metadata
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
KR20110059199A (ko) 2009-11-27 2011-06-02 삼성전자주식회사 단말장치와, 그 단말 장치와 연결된 미디어 처리 장치 및 그 제어 방법
US20110138018A1 (en) 2009-12-04 2011-06-09 Qualcomm Incorporated Mobile media server
US8910208B2 (en) 2009-12-07 2014-12-09 Anthony Hartman Interactive video system
WO2011087727A1 (en) 2009-12-22 2011-07-21 Delta Vidyo, Inc. System and method for interactive synchronized video watching
US20110154386A1 (en) 2009-12-22 2011-06-23 Telcordia Technologies, Inc. Annotated advertisement referral system and methods
US7970661B1 (en) 2010-01-20 2011-06-28 International Business Machines Corporation Method, medium, and system for allocating a transaction discount during a collaborative shopping session
US20110191288A1 (en) 2010-01-29 2011-08-04 Spears Joseph L Systems and Methods for Generation of Content Alternatives for Content Management Systems Using Globally Aggregated Data and Metadata
US9209987B2 (en) 2010-03-02 2015-12-08 Microsoft Technology Licensing, Llc Social media playback
US20110219405A1 (en) 2010-03-03 2011-09-08 Vizio, Inc. System, method and apparatus for integrating social functions into a device
JP5625450B2 (ja) * 2010-03-31 2014-11-19 富士通株式会社 分散処理装置、分散処理プログラムおよび分散処理方法
US20110258050A1 (en) 2010-04-16 2011-10-20 Bread Labs Inc. A Delaware Corporation Social advertising platform
US8717404B2 (en) 2010-04-27 2014-05-06 Lifesize Communications, Inc. Recording a videoconference based on recording configurations
KR20110125548A (ko) 2010-05-13 2011-11-21 엘지전자 주식회사 카메라 제어 장치 및 그 방법
US8928659B2 (en) 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
KR101189608B1 (ko) 2010-06-23 2012-10-10 (주)엔써즈 콘텐츠 공동 구매 서비스 제공 방법
WO2012008972A1 (en) 2010-07-16 2012-01-19 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
US7921156B1 (en) 2010-08-05 2011-04-05 Solariat, Inc. Methods and apparatus for inserting content into conversations in on-line and digital environments
US8395655B2 (en) 2010-08-15 2013-03-12 Hewlett-Packard Development Company, L.P. System and method for enabling collaboration in a video conferencing system
CN103329560B (zh) 2010-08-26 2017-02-08 泰瑞克·塔勒布 用于创建为社交网络定制的多媒体内容频道的系统和方法
US20120084160A1 (en) 2010-10-05 2012-04-05 Gregory Joseph Badros Providing Social Endorsements with Online Advertising
US9490998B1 (en) 2010-11-08 2016-11-08 Google Inc. Network-based remote control
US8515875B1 (en) 2010-11-19 2013-08-20 Cuipo Systems and methods for sponsorship of selected causes
US8928810B2 (en) 2010-12-15 2015-01-06 Bernhard Fritsch System for combining video data streams into a composite video data stream
US8902833B2 (en) * 2010-12-23 2014-12-02 Qualcomm Incorporated System and method for performing a radio link control (RLC) reset in a downlink multipoint system
US20120166349A1 (en) 2010-12-28 2012-06-28 Anastasia Dedis Social media communication and relationship management
US9058611B2 (en) 2011-03-17 2015-06-16 Xerox Corporation System and method for advertising using image search and classification
AU2012101979A4 (en) 2011-06-03 2017-09-28 Instant Sponsor.Com Pty Ltd Sponsorship system
US8970704B2 (en) 2011-06-07 2015-03-03 Verizon Patent And Licensing Inc. Network synchronized camera settings
US20130030987A1 (en) 2011-07-27 2013-01-31 Zuckerberg Mark E Paid Profile Personalization
US9160965B2 (en) 2011-08-01 2015-10-13 Thomson Licensing Telepresence communications system and method
US8929920B2 (en) * 2011-08-19 2015-01-06 Qualcomm Incorporated Peer device supported location-based service provider check-in
US20130076980A1 (en) * 2011-09-26 2013-03-28 Amichay Oren Systems and methods for synchronizing the presentation of a combined video program
US8271334B1 (en) 2011-10-05 2012-09-18 Google Inc. Generating a media content availability notification
US8973066B2 (en) 2011-11-14 2015-03-03 Comcast Cable Communications, Llc Media content delivery
US20130173742A1 (en) 2011-12-28 2013-07-04 United Video Properties, Inc. Systems and methods for latency-based synchronized playback at multiple locations
KR20140121387A (ko) 2012-01-06 2014-10-15 톰슨 라이센싱 제 1 스크린의 콘텐츠에 동기된 제 2 스크린에 사회적 메시지의 디스플레이를 제공하기 위한 방법 및 시스템
US9807438B2 (en) 2012-02-10 2017-10-31 Verizon Patent And Licensing Inc. Video on demand gifting
WO2014055058A1 (en) 2012-02-15 2014-04-10 Thomson Licensing Video conference system and method for maintaining participant eye contact
EP2823642B1 (en) 2012-03-09 2024-04-24 InterDigital Madison Patent Holdings, SAS Distributed control of synchronized content
US20130246155A1 (en) 2012-03-15 2013-09-19 Verizon Patent And Licensing Inc. Digital content purchase offers via set-top box
US20140229288A2 (en) 2012-03-21 2014-08-14 Lester Teichner System and method for providing a platform for private referrals among social contacts
EP2648418A1 (en) * 2012-04-05 2013-10-09 Thomson Licensing Synchronization of multimedia streams
US20130282454A1 (en) 2012-04-19 2013-10-24 Landslide IP Group, LLC Virtual Environment with Targeted Advertising and Rewards
WO2013165341A2 (en) 2012-04-30 2013-11-07 Thomson Licensing Method and apparatus for advertising in a social, distributed content viewing system
US20130347033A1 (en) 2012-06-22 2013-12-26 United Video Properties, Inc. Methods and systems for user-induced content insertion
WO2014030580A1 (ja) * 2012-08-23 2014-02-27 三菱電機株式会社 同期配信サーバ
US20150089372A1 (en) * 2012-09-18 2015-03-26 General Instrument Corporation Method of user interaction for showing and interacting with friend statsu on timeline
EP2909695B1 (en) 2012-10-22 2019-08-28 InterDigital CE Patent Holdings Electronic device with combination heat sink/blower or fan assembly having air duct
US8806544B1 (en) * 2013-01-31 2014-08-12 Cable Television Laboratories, Inc. Content synchronization
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
WO2014175876A1 (en) 2013-04-24 2014-10-30 Thomson Licensing Social television telepresence system and method
FR3006525B1 (fr) * 2013-06-04 2016-10-14 Visiware Synchronisation de contenus multimedia sur deuxieme ecran
US20150199727A1 (en) 2014-01-10 2015-07-16 Facebook, Inc. Sponsoring Brands Detected in User-Generated Social Networking Content
US9973795B2 (en) * 2014-08-27 2018-05-15 ClearOne Inc. Method for video synchronization in video distribution systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021222683A1 (en) * 2020-05-01 2021-11-04 Arris Enterprises Llc Method and system for synchronized viewing of content over multiple remote media play devices
US11722725B2 (en) 2020-05-01 2023-08-08 Arris Enterprises Llc Method and system for synchronized viewing of content over multiple remote media play devices

Also Published As

Publication number Publication date
US10284887B2 (en) 2019-05-07
US20160142749A1 (en) 2016-05-19
EP3011691B1 (en) 2022-11-30
EP3011691A1 (en) 2016-04-27
WO2014204459A1 (en) 2014-12-24
JP2016526826A (ja) 2016-09-05
CN105493422A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
US10284887B2 (en) System and method to assist synchronization of distributed play out of content
US11386932B2 (en) Audio modification for adjustable playback rate
US10382511B2 (en) Synchronizing playback of digital media content
US10440430B2 (en) Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
KR102043088B1 (ko) 멀티미디어 스트림들의 동기화
US20170034263A1 (en) Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
US9094738B2 (en) Apparatus, systems and methods for presenting highlights of a media content event
CN109842795B (zh) 音视频同步性能测试方法、装置、电子设备、存储介质
US20130104179A1 (en) Supplemental synchronization to time-based media
JP2006528859A (ja) オーディオとビデオを同期させるための指紋生成及び検出の方法及び装置
US10503460B2 (en) Method for synchronizing an alternative audio stream
JP2021534699A (ja) 置換コンテンツの最後を被置換コンテンツの最後と揃えるのに役立つ置換コンテンツ再生における動的短縮
US20080175568A1 (en) System and method for associating presented digital content within recorded digital stream and method for its playback from precise location
JP6433273B2 (ja) 端末装置、サーバ装置、及びプログラム
JP7314102B2 (ja) 制御信号生成回路、受信装置、システム、生成方法、およびプログラム
EP1990996A1 (en) Information reproducing device, information reproducing method, information reproducing program and recording medium
JP2014067292A (ja) 情報処理装置及び情報処理方法
FR2996398A1 (fr) Enregistrement d&#39;un contenu multimedia

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid