KR101217370B1 - Method and system for sharing annotations in a communication network - Google Patents

Method and system for sharing annotations in a communication network Download PDF

Info

Publication number
KR101217370B1
KR101217370B1 KR1020107013262A KR20107013262A KR101217370B1 KR 101217370 B1 KR101217370 B1 KR 101217370B1 KR 1020107013262 A KR1020107013262 A KR 1020107013262A KR 20107013262 A KR20107013262 A KR 20107013262A KR 101217370 B1 KR101217370 B1 KR 101217370B1
Authority
KR
South Korea
Prior art keywords
annotation
user media
media terminal
user
terminal
Prior art date
Application number
KR1020107013262A
Other languages
Korean (ko)
Other versions
KR20100096177A (en
Inventor
베누 바스데반
마이클 피어스
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20100096177A publication Critical patent/KR20100096177A/en
Application granted granted Critical
Publication of KR101217370B1 publication Critical patent/KR101217370B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

통신 네트워크(100)에서 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 적어도 하나의 애노테이션(annotation)을 공유하는 방법이 제공된다. 이 방법은 상기 제1 사용자 미디어 단말에 상기 적어도 하나의 애노테이션을 입력하는 단계(404)를 포함한다. 더욱이 이 방법은 상기 적어도 하나의 애노테이션을, 제1 시작 시간에서 상기 제1 사용자 미디어 단말에서 실행되는 상기 미디어 스트림에 앵커링하는(anchoring) 단계(406)를 포함한다. 상기 적어도 하나의 애노테이션은 상기 제2 사용자 미디어 단말로 보내진다(408). 상기 적어도 하나의 애노테이션은 상기 제2 사용자 미디어 단말에서 수신된다(410). 더욱이 상기 적어도 하나의 애노테이션은 상대 시작 시간에 기초하여 상기 제2 사용자 미디어 단말에서 동기화된다(412). 그런 다음에 상기 제2 사용자 미디어 단말에서 상기 적어도 하나의 동기화된 애노테이션은 상기 미디어 스트림으로 렌더링된다(414).A method of sharing at least one annotation between a first user media terminal 102 and a second user media terminal 104 in a communication network 100 is provided. The method includes inputting the at least one annotation to the first user media terminal (404). Moreover, the method includes anchoring the at least one annotation to the media stream executed at the first user media terminal at a first start time (406). The at least one annotation is sent 408 to the second user media terminal. The at least one annotation is received at the second user media terminal (410). Furthermore, the at least one annotation is synchronized 412 at the second user media terminal based on a relative start time. The at least one synchronized annotation at the second user media terminal is then rendered 414 to the media stream.

Description

통신 네트워크에서 애노테이션을 공유하는 방법 및 시스템{METHOD AND SYSTEM FOR SHARING ANNOTATIONS IN A COMMUNICATION NETWORK}METHOD AND SYSTEM FOR SHARING ANNOTATIONS IN A COMMUNICATION NETWORK}

본 발명은 일반적으로 통신 및 방송 네트워크에 관한 것으로, 특히 통신 및 방법 네트워크에서 디지털 비디오 레코더(DVR)들 간에 미디어 콘텐츠를 공유하는 방법 및 시스템에 관한 것이다.The present invention relates generally to telecommunications and broadcast networks, and more particularly to a method and system for sharing media content between digital video recorders (DVRs) in telecommunications and method networks.

디지털 비디오 레코더(DVR)는 시청자가 녹화된 텔레비전 프로그램을 보는데 널리 이용되고 있다. DVR은 개인용 비디오 레코더(PVR)라고도 한다. 텔레비전 프로그램은 녹화되어 DVR의 하드 드라이브에 저장될 수 있으며 나중에 볼 수 있다. DVR을 이용하면 시청자는 시간 이동된(time-shifted) 텔레비전 프로그램을 볼 수 있다. 예컨대 시청자는 자신의 DVR이 텔레비전 프로그램을 수신하면 곧 바로 그 텔레비전 프로그램의 녹화를 시작할 수 있다. 시간 이동의 개념에 따라 시청자는 생방송 텔레비전 프로그램이라도 일시 정지, 빨리 감기, 되감기 및 재생할 수 있다.Digital video recorders (DVRs) are widely used by viewers to watch recorded television programs. DVRs are also known as personal video recorders (PVRs). Television programs can be recorded and stored on the DVR's hard drive for later viewing. The DVR allows viewers to watch time-shifted television programs. For example, a viewer can begin recording a television program as soon as his DVR receives it. The concept of time-shifting allows viewers to pause, fast-forward, rewind, and play live television programs.

DVR은 통신 또는 방송 네트워크에서 2개 이상의 DVR들 간의 콘텐츠 공유를 가능하게 하는 네트워크 장치로서 기능한다. 통상적으로 DVR 시청자들은 통신 네트워크를 통해 녹화 텔레비전 콘텐츠를 공유한다. 그러나 어떤 시청자가 다른 시청자와 텔레비전 프로그램에 대한 개인 코멘트를 공유하고자하는 경우가 있을 수 있다. 예컨대 DVR A로 생방송 크리켓 경기를 보고 있는 시청자 A가 DVR B로 그 크리켓 경기를 보고 있는 다른 시청자 B와 그 크리켓 경기의 어떤 포인트에서 자신의 개인적 코멘트를 공유하고자 할 수 있다. 이러한 코멘트는 그 크리켓 경기에 대한 오디오, 비디오, 텍스트 및 이미지 코멘트를 포함할 수 있다. 시청자 A의 코멘트는 DVR B에 그 생방송 크리켓 경기에 대한 애노테이션(annotation)으로서 제시되어야 한다. 만일 시청자 A가 그 경기의 특정 포인트에 대한 애노테이션을 보냈다면 시청자 B는 그 경기의 재생 시에 그 포인트에서의 애노테이션을 수신해야 한다. 그러나 DVR B에서의 크리켓 경기는 DVR A에서의 크리켓 경기보다 수 초 늦게 시작할 수 있다.The DVR functions as a network device that enables content sharing between two or more DVRs in a communication or broadcast network. DVR viewers typically share recorded television content over a communications network. However, there may be times when a viewer wants to share a personal comment about a television program with another viewer. For example, viewer A watching a live cricket game with DVR A may wish to share his personal comment at some point in the cricket game with another viewer B watching the cricket game with DVR B. Such comments may include audio, video, text and image comments for the cricket match. Viewer A's comment should be presented to DVR B as an annotation for the live cricket match. If viewer A sent an annotation for a particular point in the game, viewer B should receive the annotation at that point at the time of playing the game. However, a cricket match on DVR B may start several seconds later than a cricket match on DVR A.

종래에는 여러 가지 방법을 이용하여 DVR들 간에 애노테이션을 부가하고 공유하였다. 그와 같은 종래의 방법들 중 하나는 닫힌 자막 태깅 방식(closed caption tagging system)이다. 이 닫힌 자막 태깅 방식은 오디오 또는 비디오 텔레비전 방송 스트림을 시청자에게 전송하기 전에 또는 전송할 때에 이 스트림 내에 태그를 삽입하는 메커니즘을 제공한다. 이 태그를 이용하여 그 프로그램 내에 인덱스를 생성하고 프로그램 세그먼트에 사용자가 사용하기 편리한 아이콘을 생성한다. 이들 아이콘을 이용하여 시청자는 프로그램에서 특정 인덱스로 점프할 수 있다. 그러나, 이 방법은 또 다른 시청자로부터 수신되는 프로그램에 애노테이션들을 부가하는 것에 관해서는 제공하지 않는다.Conventionally, annotations have been added and shared between DVRs using various methods. One such conventional method is a closed caption tagging system. This closed caption tagging scheme provides a mechanism to insert a tag within or before transmitting an audio or video television broadcast stream to a viewer. This tag is used to create an index within the program and to create a user-friendly icon for the program segment. These icons allow viewers to jump to a specific index in the program. However, this method does not provide for adding annotations to a program received from another viewer.

다른 종래의 방법은 사용자 미디어 단말에서 애노테이션을 미디어 콘텐츠에 강하게 앵커링하는(anchoring) 시스템을 개시한다. 이 시스템은 시청자가 사용자 미디어 단말에서 입력 제어 장치를 이용하여 입력할 수 있는 애노테이션을 미디어 콘텐츠의 일부에 앵커링하는 방법을 개시한다. 이 입력된 애노테이션들은 사용자 미디어 단말에서 미디어 콘텐츠의 오른쪽 지점에 앵커링되도록 동기화된다. 그러나 이 방법은 다른 사용자 미디어 단말에서 미디어 콘텐츠에 대한 애노테이션의 시간 동기화를 개시하지는 않는다.Another conventional method discloses a system for strongly anchoring annotations to media content at a user media terminal. The system discloses a method for anchoring an annotation to a portion of media content that a viewer can input using an input control device at a user media terminal. These input annotations are synchronized to be anchored to the right point of the media content at the user media terminal. However, this method does not initiate time synchronization of annotations for media content at other user media terminals.

더욱이 보충적 미디어와 함께 미디어를 제시하는 것과 같은 종래의 시스템은 보충적 콘텐츠를 음악에 부가하는 것을 개시한다. 음성과 오디오의 여러 가지 조합은 보충적 콘텐츠로서 음악에 부가될 수 있다. 미디어 모노그램들을 이어붙여서 음악을 만든다. 음악 콘텐츠는 변경될 수 없는 것이며 보충적 콘텐츠는 이 음악의 알려진 위치에 포함된다. 이 방법은 특히 음악과 오디오에 대해서만 설명하고 있다. 그러나 상기 방법과 시스템은 2명의 사용자 간의 시간 동기 애노테이션들의 공유에 대해서는 개시하고 있지 않다.Moreover, conventional systems, such as presenting media with supplemental media, begin adding supplemental content to music. Various combinations of voice and audio can be added to the music as supplemental content. Create music by joining media monograms. The music content is immutable and supplemental content is included in this music's known location. This method specifically addresses music and audio only. However, the method and system do not disclose the sharing of time-synchronized annotations between two users.

첨부 도면은 하기의 상세한 설명과 함께 본 명세서에 포함되어 그 일부를 구성하며, 본 발명에 따른 여러 가지 실시예들을 예시하고 여러 가지 원리와 이점들을 설명하며, 도면 전체에 걸쳐 동일 또는 기능적으로 유사한 구성 요소에 대해서는 동일 도면 부호를 병기한다.
도 1은 본 발명의 여러 가지 실시예들이 실시될 수 있는 통신 네트워크를 도시한 도.
도 2는 본 발명의 여러 가지 실시예들이 실시될 수 있는 다른 통신 네트워크를 도시한 도.
도 3은 본 발명의 여러 가지 실시예에 따른, 제1 및 제2 사용자 미디어 단말의 여러 가지 시스템 구성 요소를 도시한 도.
도 4는 본 발명의 여러 가지 실시예에 따른, 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하는 방법을 설명하는 흐름도.
도 5는 본 발명의 일 실시예에 따른, 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하는 방법을 설명하는 흐름도.
당업자라면 도면 중의 구성 요소들은 간단하고 명료하게 되도록 도시되어 있으며 반드시 일정 비율에 따라 도시된 것은 아님을 잘 알 것이다. 예컨대 본 발명의 실시예를 더 잘 이해할 수 있도록 도면 중 일부 구성 요소의 치수는 다른 구성 요소에 비해 과장되어 있을 수 있다.The accompanying drawings, which are incorporated in and constitute a part of this specification, together with the following detailed description, illustrate various embodiments in accordance with the invention, illustrate various principles and advantages, and the same or functionally similar configurations throughout the drawings. The same reference numerals are used together for the elements.
1 illustrates a communication network in which various embodiments of the present invention may be practiced.
2 illustrates another communication network in which various embodiments of the invention may be practiced.
3 illustrates various system components of the first and second user media terminals, in accordance with various embodiments of the present invention.
4 is a flow diagram illustrating a method of sharing at least one annotation between a first user media terminal and a second user media terminal, in accordance with various embodiments of the present invention.
5 is a flow diagram illustrating a method of sharing at least one annotation between a first user media terminal and a second user media terminal, in accordance with an embodiment of the present invention.
Those skilled in the art will appreciate that the components in the figures are shown to be simple and clear and are not necessarily drawn to scale. For example, the dimensions of some of the components in the drawings may be exaggerated compared to other components in order to better understand the embodiments of the present invention.

본 발명에 따라서 통신 네트워크에서 애노테이션을 공유하는 특정 방법과 시스템에 대해 상세히 설명하기에 앞서, 본 발명은 주로 애노테이션을 공유하는 방법과 시스템에 관한 방법 단계들과 장치 성분들의 조합으로 이루어짐을 알아야 한다. 따라서 장치 구성 요소들과 방법 단계들은 도면에서 적당한 위치에 관행적인 기호들로 나타내어, 본 발명의 실시예들을 이해하는데 적당한 특정의 세부 사항만을 보여 주고, 본 발명의 이익을 향유하는 당업자에 명백할 세부 사항으로 본 발명을 불명료하게 하지 않도록 하였다.Prior to describing in detail the particular method and system for sharing annotation in a communication network in accordance with the present invention, it should be understood that the present invention consists primarily of a combination of method steps and device components relating to the method and system for sharing annotation. The device components and method steps are therefore represented in the drawings by conventional symbols at the appropriate locations, showing only specific details suitable for understanding the embodiments of the present invention and which will be apparent to those skilled in the art having the benefit of the present invention. It is not intended to obscure the present invention as matters.

본 발명의 여러 가지 실시예에 따라서, 통신 네트워크에서 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션(annotation)을 공유하는 방법이 제공된다. 상기 적어도 하나의 애노테이션은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 중 적어도 하나에서 실행되는 미디어 스트림과 연관된다. 본 방법은 상기 제1 사용자 미디어 단말상에 상기 적어도 하나의 애노테이션을 입력하는 단계를 포함한다. 더욱이 본 방법은 상기 제1 사용자 미디어 단말에서 상기 적어도 하나의 애노테이션을 상기 미디어 스트림에 앵커링하는(anchoring) 단계를 포함한다. 상기 제1 사용자 미디어 단말에서 상기 미디어 스트림은 제1 시작 시간에서 실행된다. 더욱이 상기 적어도 하나의 애노테이션은 상기 제2 사용자 미디어 단말로 보내진다. 상기 제2 사용자 미디어 단말에서 수신된 상기 적어도 하나의 애노테이션은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 상의 상기 미디어 스트림의 상대 시작 시간에 기초하여 동기화된다.According to various embodiments of the present invention, a method for sharing at least one annotation between a first user media terminal and a second user media terminal in a communication network is provided. The at least one annotation is associated with a media stream running on at least one of the first user media terminal and the second user media terminal. The method includes inputting the at least one annotation on the first user media terminal. Moreover, the method comprises anchoring the at least one annotation to the media stream at the first user media terminal. At the first user media terminal the media stream is executed at a first start time. Furthermore, the at least one annotation is sent to the second user media terminal. The at least one annotation received at the second user media terminal is synchronized based on a relative start time of the media stream on the first user media terminal and the second user media terminal.

통신 네트워크에서 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하는 방법이 제공된다. 본 방법은 상기 적어도 하나의 애노테이션을 상기 제1 사용자 미디어 단말로부터 상기 제2 사용자 미디어 단말에서 수신하는 단계를 포함한다. 더욱이 본 방법은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 상의 상기 미디어 스트림의 상대 시작 시간에 기초하여 상기 적어도 하나의 애노테이션을 동기화하는 단계를 포함한다. 그런 다음에 상기 제2 사용자 미디어 단말에서 상기 동기화된 애노테이션은 상기 미디어 스트림으로 렌더링된다(rendered). 상기 제2 사용자 미디어 단말에서 상기 미디어 스트림은 제2 시작 시간에서 실행된다.A method is provided for sharing at least one annotation between a first user media terminal and a second user media terminal in a communication network. The method includes receiving the at least one annotation from the first user media terminal at the second user media terminal. The method further comprises synchronizing the at least one annotation based on the relative start time of the media stream on the first user media terminal and the second user media terminal. The synchronized annotation at the second user media terminal is then rendered to the media stream. At the second user media terminal the media stream is executed at a second start time.

제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하기 위한 통신 네트워크가 제공된다. 상기 적어도 하나의 애노테이션은 미디어 스트림과 연관된다. 상기 미디어 스트림은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 중 적어도 하나에서 실행된다. 상기 제1 사용자 미디어 단말은 상기 적어도 하나의 애노테이션을 입력하도록 구성된다. 상기 제1 사용자 미디어 단말은 상기 적어도 하나의 애노테이션을, 제1 시작 시간에서 상기 제1 사용자 미디어 단말에서 실행되는 상기 미디어 스트림에 앵커링하도록 더 구성된다. 더욱이 상기 제1 사용자 미디어 단말은 상기 적어도 하나의 애노테이션을 상기 제2 사용자 미디어 단말로 보내도록 구성된다. 상기 제2 사용자 미디어 단말은 상기 적어도 하나의 애노테이션을 상기 제1 사용자 미디어 단말로부터 수신하도록 구성된다. 상기 제2 사용자 미디어 단말은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 상의 상기 미디어 스트림의 상대 시작 시간에 기초하여 상기 적어도 하나의 애노테이션을 동기화하도록 더 구성된다. 더욱이 상기 제2 사용자 미디어 단말은 상기 동기화된 적어도 하나의 애노테이션을 상기 제2 사용자 미디어 단말 상의 상기 미디어 스트림으로 렌더링하도록 구성된다. 상기 제2 사용자 미디어 단말에서 상기 미디어 스트림은 제2 시작 시간에서 실행된다.A communication network is provided for sharing at least one annotation between a first user media terminal and a second user media terminal. The at least one annotation is associated with a media stream. The media stream is executed in at least one of the first user media terminal and the second user media terminal. The first user media terminal is configured to input the at least one annotation. The first user media terminal is further configured to anchor the at least one annotation to the media stream running on the first user media terminal at a first start time. Furthermore, the first user media terminal is configured to send the at least one annotation to the second user media terminal. The second user media terminal is configured to receive the at least one annotation from the first user media terminal. The second user media terminal is further configured to synchronize the at least one annotation based on a relative start time of the media stream on the first user media terminal and the second user media terminal. Furthermore, the second user media terminal is configured to render the synchronized at least one annotation into the media stream on the second user media terminal. At the second user media terminal the media stream is executed at a second start time.

도 1은 본 발명의 여러 가지 실시예들이 실시될 수 있는 통신 네트워크(100)를 보여준다. 통신 네트워크(100)는 하나 이상의 사용자 미디어 단말들이 서로 연결되어 비디오, 오디오 및 텍스트와 같은 콘텐츠를 서로 공유하는 네트워크이다. 통신 네트워크(100)는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)을 포함한다. 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)의 예로는 디지털 비디오 레코더(DVR)과 개인용 비디오 레코더(PVR)가 있으나 이에 한정되는 것은 아니다. DVR과 PVR은 시청자를 위해 텔레비전 프로그램과 같은 미디어 콘텐츠를 동시에 표시하고 녹화한다. 이하에서는 제1 사용자 미디어 단말(102)에서의 시청자를 제1 시청자라 한다. 또한 이하에서는 제2 사용자 미디어 단말(104)을 제2 시청자라 한다.1 shows a communication network 100 in which various embodiments of the invention may be practiced. The communication network 100 is a network in which one or more user media terminals are connected to each other to share content such as video, audio, and text. The communication network 100 includes a first user media terminal 102 and a second user media terminal 104. Examples of the first user media terminal 102 and the second user media terminal 104 include, but are not limited to, a digital video recorder (DVR) and a personal video recorder (PVR). The DVR and PVR simultaneously display and record media content such as television programs for the viewer. Hereinafter, the viewer in the first user media terminal 102 is called a first viewer. In addition, hereinafter, the second user media terminal 104 is referred to as a second viewer.

제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 공통의 콘텐츠 소스(106)로부터 미디어 콘텐츠를 미디어 스트림 형태로 동시에 수신할 수 있다. 그러나 제1 및 제2 시청자는 각자의 사용자 미디어 단말에서 서로 다른 시작 시간에서 미디어 콘텐츠 녹화를 시작할 수 있다. 더욱이 미디어 스트림은 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)의 클록이 동기화되어 있지 않기 때문에 녹화 시작 시간이 서로 다를 수 있다. 이것은 미디어 콘텐츠의 미디어 스트림이 서로 다른 시간에서 각자의 사용자 미디어 단말에서 실행/녹화되고 있음을 의미한다. 예컨대 미디어 스트림은 제1 시작 시간에서 제1 사용자 미디어 단말(102)에서 실행되고 제2 시작 시간에서 제2 사용자 미디어 단말(104)에서 실행될 수 있다. 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 상에서의 미디어 스트림의 상대 시작 시간은 제1 시작 시간과 제2 시작 시간 간의 차이라고 할 수 있다.The first user media terminal 102 and the second user media terminal 104 may simultaneously receive media content in the form of a media stream from a common content source 106. However, the first and second viewers can start recording media content at different start times on their respective user media terminals. Furthermore, the media stream may have different recording start times because the clocks of the first user media terminal 102 and the second user media terminal 104 are not synchronized. This means that media streams of media content are being executed / recorded at respective user media terminals at different times. For example, the media stream may be executed at the first user media terminal 102 at the first start time and at the second user media terminal 104 at the second start time. The relative start time of the media stream on the first user media terminal 102 and the second user media terminal 104 may be referred to as the difference between the first start time and the second start time.

본 발명의 일 실시예에 따라서, 제1 및 제2 사용자 미디어 단말은 공통 콘텐츠 소스(106)로부터 토크쇼의 미디어 스트림을 수신할 수 있다. 그러나 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 그 토크쇼의 녹화 시작 시간이 다를 수 있다. 그 결과, 이들 단말은 그 토크쇼를 시청하는 시간이 서로 다를 수가 있다. 본 발명의 다른 실시예에 따라서, 2명의 시청자가 그 토크쇼에 대한 각자의 코멘트를 서로 공유할 수 있다. 코멘트는 토크쇼에 대한 오디오, 비디오, 텍스트 및 이미지 코멘트를 포함할 수 있다. 시청자의 코멘트는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)에 그 토크쇼에 대한 애노테이션으로서 제시된다. 예컨대 제2 시청자는 제1 시청자의 코멘트를 제2 사용자 미디어 단말(104)에서 오디오, 비디오, 텍스트 및 이미지 애노테이션 형태로 수신할 수 있다. 애노테이션은 미디어 스트림의 메타데이터라고도 할 수 있다.According to one embodiment of the invention, the first and second user media terminals may receive the media stream of the talk show from the common content source 106. However, the first user media terminal 102 and the second user media terminal 104 may have different recording start times of the talk show. As a result, these terminals may have different time to watch the talk show. According to another embodiment of the present invention, two viewers can share their respective comments about the talk show. The comments can include audio, video, text and image comments for the talk show. The viewer's comments are presented to the first user media terminal 102 and the second user media terminal 104 as annotations for the talk show. For example, the second viewer may receive comments from the first viewer in the form of audio, video, text and image annotations at the second user media terminal 104. Annotations can also be referred to as metadata of a media stream.

통상적으로 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 이 2개의 사용자 미디어 단말에서의 미디어 스트림의 예정된 상대 시작 시간을 알고 있다. 따라서 제2 사용자 미디어 단말(104)은 제1 사용자 미디어 단말(102)로부터 수신된 애노테이션을 제2 사용자 미디어 단말(104) 상의 미디어 스트림에 제공한다. 그러나 이 미디어 스트림이 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)의 클록들이 동기화되지 않아 녹화 시작 시간이 달라지는 경우에는 제2 사용자 미디어 단말(104)은 예정된 상대 시작 시간의 변동에 따라서 그 수신된 애노테이션을 동기화시킨다. 애노테이션은 토크쇼의 특정 포인트에 대해 보내진 애노테이션이 그 토크쇼의 포인트에서 제2 시청자에 의해 표현되도록 동기화된다.Typically, the first user media terminal 102 and the second user media terminal 104 know the predetermined relative start time of the media streams at these two user media terminals. The second user media terminal 104 thus provides the annotation received from the first user media terminal 102 to the media stream on the second user media terminal 104. However, when the recording start time is different because the clocks of the first user media terminal 102 and the second user media terminal 104 are not synchronized with each other, the second user media terminal 104 changes the scheduled relative start time. Synchronize the received annotation accordingly. The annotation is synchronized such that an annotation sent for a particular point in the talk show is represented by the second viewer at the point in that talk show.

콘텐츠 공유 서버(108)는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 애노테이션을 공유하도록 구성된다. 예컨대 콘텐츠 공유 서버(108)는 제1 사용자 미디어 단말(102)로부터 적어도 하나의 애노테이션을 수신하고 이들을 제2 사용자 미디어 단말(104)에 보낸다. 마찬가지로 콘텐츠 공유 서버(108)는 제2 사용자 미디어 단말(104)로부터 적어도 하나의 애노테이션을 수신하고 이들을 제1 사용자 미디어 단말(102)에 보낼 수 있다.The content sharing server 108 is configured to share the annotation between the first user media terminal 102 and the second user media terminal 104. For example, the content sharing server 108 receives at least one annotation from the first user media terminal 102 and sends them to the second user media terminal 104. Similarly, content sharing server 108 may receive at least one annotation from second user media terminal 104 and send them to first user media terminal 102.

도 2는 본 발명의 여러 가지 실시예들이 실시될 수 있는 다른 통신 네트워크(200)를 보여준다. 통신 네트워크(200)에서 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 서로 다른 소스로부터 유사한 미디어 스트림을 수신한다. 예컨대 제1 사용자 미디어 단말(102)은 제1 콘텐츠 소스(202)로부터 미디어 스트림을 수신하고 제2 사용자 미디어 단말(104)은 제2 콘텐츠 소스(204)로부터 미디어 스트림을 수신한다. 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 유사한 미디어 스트림을 수신하지만, 이 2개의 사용자 미디어 단말에서는 이 미디어 스트림의 방송 시간이 서로 다를 수 있다. 예컨대 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 서로 다른 지역에 있고 미디어 스트림을 서로 다른 시간에서 수신하기 시작할 수 있다.2 shows another communication network 200 in which various embodiments of the present invention may be practiced. In communication network 200, first user media terminal 102 and second user media terminal 104 receive similar media streams from different sources. For example, first user media terminal 102 receives a media stream from first content source 202 and second user media terminal 104 receives a media stream from second content source 204. The first user media terminal 102 and the second user media terminal 104 receive similar media streams, but the broadcast times of these media streams may be different in these two user media terminals. For example, the first user media terminal 102 and the second user media terminal 104 may be in different regions and begin to receive the media stream at different times.

미디어 스트림은 제1 사용자 미디어 단말(102)에서 제1 시작 시간에서 녹화되도록 예정되는 반면에, 미디어 스트림은 제2 사용자 미디어 단말(104)에서 제2 시작 시간에서 녹화되도록 예정될 수 있다. 그러나 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)에서의 클록이 동기화되지 않으므로 인해 이 2개의 사용자 미디어 단말 상의 미디어 스트림의 상대 시작 시간에 차이가 있을 수 있다. 예컨대 제1 사용자 미디어 단말(102)은 오후 1시에 미디어 콘텐츠를 보여주도록 예정될 수 있고 제2 사용자 미디어 단말(104)은 오후 2시에 미디어 콘텐츠를 보여주도록 예정될 수 있다. 그러나 제1 사용자 미디어 단말(102)이 오후 1시 30초에 그 미디어 스트림을 보여주기 시작하고 제2 사용자 미디어 단말(104)이 오후 1시 15초에 그 미디어 스트림을 보여주기 시작하는 경우가 있을 수 있다. 상대 시작 시간에서 15초 차이는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간의 상대 클록 스큐(skew)로 인한 것이다. 이 상대 클록 스큐는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)의 클록의 비동기로 인해 유발될 수 있다. 제1 시청자와 제2 시청자는 같은 미디어 콘텐츠를 보고 콘텐츠 공유 서버(108)를 통해 애노테이션을 서로 공유할 수 있다. 제1 시청자와 제2 시청자가 유사한 미디어 콘텐츠를 보는 경우에는 이들이 공유하는 애노테이션은 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 상의 미디어 스트림의 상대 시작 시간에 기초하여 동기화된다. 예컨대 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 공유되는 애노테이션은 15초 상대 클록 스큐에 기초하여 동기화된다.The media stream may be scheduled to be recorded at the first start time at the first user media terminal 102, while the media stream may be scheduled to be recorded at the second start time at the second user media terminal 104. However, because the clocks at the first user media terminal 102 and the second user media terminal 104 are not synchronized, there may be a difference in the relative start time of the media streams on these two user media terminals. For example, first user media terminal 102 may be scheduled to show media content at 1 pm and second user media terminal 104 may be scheduled to show media content at 2 pm. However, there may be cases where the first user media terminal 102 starts showing the media stream at 1:30 pm and the second user media terminal 104 starts showing the media stream at 1:15 pm Can be. The 15 second difference in relative start time is due to the relative clock skew between the first user media terminal 102 and the second user media terminal 104. This relative clock skew can be caused by the asynchronous of the clocks of the first user media terminal 102 and the second user media terminal 104. The first viewer and the second viewer may view the same media content and share the annotations with each other via the content sharing server 108. When the first viewer and the second viewer view similar media content, the annotations they share are synchronized based on the relative start time of the media streams on the first user media terminal 102 and the second user media terminal 104. For example, annotations shared between the first user media terminal 102 and the second user media terminal 104 are synchronized based on a 15 second relative clock skew.

도 3은 본 발명의 여러 가지 실시예에 따른, 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)의 여러 가지 시스템 구성 요소를 보여준다. 제1 시청자(302)는 제1 사용자 미디어 단말(102)과 연관되고 제2 시청자(304)는 제2 사용자 미디어 단말(104)과 연관된다. 제1 시청자(302)와 제2 시청자(304)는 그들 각자의 사용자 미디어 단말에서 유사한 미디어 콘텐츠 스트림을 볼 수 있다. 제1 시청자(302)가 미디어 스트림 상의 적어도 하나의 애노테이션을 제2 시청자(304)와 공유하고자 한다면 제1 시청자(302)는 애노테이션 입력 인터페이스(306)를 이용하여 제1 사용자 미디어 단말(102)상에 적어도 하나의 애노테이션을 입력할 수 있다. 애노테이션 입력 인터페이스(306)는 제1 시청자(302)와 제1 사용자 미디어 단말(102) 간의 인터페이스이다. 이후로는 제1 시청자(302)가 입력한 애노테이션을 입력된 애노테이션이라 한다.3 illustrates various system components of a first user media terminal 102 and a second user media terminal 104 in accordance with various embodiments of the present invention. The first viewer 302 is associated with the first user media terminal 102 and the second viewer 304 is associated with the second user media terminal 104. The first viewer 302 and the second viewer 304 can watch similar media content streams on their respective user media terminals. If the first viewer 302 wants to share at least one annotation on the media stream with the second viewer 304, the first viewer 302 uses the annotation input interface 306 on the first user media terminal 102. You can enter at least one annotation in. Annotation input interface 306 is an interface between first viewer 302 and first user media terminal 102. Hereinafter, the annotation input by the first viewer 302 is called an input annotation.

애노테이션 입력 인터페이스(306)는 제1 시청자(302)가 제1 사용자 미디어 단말(102)에서 실행되는 미디어 스트림을 보면서 애노테이션을 작성하는 것을 가능하게 한다. 이후로는 제1 사용자 미디어 단말(102)에서 실행되는 미디어 스트림을 제1 미디어 스트림이라 한다. 제1 시청자(302)는 애노테이션들을 생성하여 이들을 제2 사용자 미디어 단말(104)상에서 유사한 미디어 스트림을 볼 수 있는 제2 시청자와 공유한다. 이후로는 제2 사용자 미디어 단말(104)에서 실행되고 있는 제2 미디어 스트림을 제2 미디어 스트림이라 한다. 애노테이션 입력 인터페이스(306)의 예로는 원격 장치와 녹화 장치가 있으나 이들에 한정되는 것은 아니다. 원격 장치는 제1 사용자 미디어 단말(102)의 원격 제어 장치일 수 있다. 본 발명의 일 실시예에 따라서, 원격 제어 장치는 몇 개의 "스마일리(smiley)" 또는 감성 버튼을 포함할 수 있다. 제1 시청자(302)는 원격 제어 장치를 이용하여 제1 미디어 스트림의 특정 포인트에서 스마일리 또는 감성을 입력할 수 있다. 본 발명의 다른 실시예에 따라서, 제1 시청자(302)는 녹화 장치를 이용하여 제1 미디어 스트림의 어떤 포인트에서 음성 메시지(이하, 음성 애노테이션이라 함)를 입력할 수 있다.The annotation input interface 306 enables the first viewer 302 to create an annotation while watching the media stream running on the first user media terminal 102. Hereinafter, the media stream executed in the first user media terminal 102 is called a first media stream. The first viewer 302 creates annotations and shares them with a second viewer who can view a similar media stream on the second user media terminal 104. Hereinafter, the second media stream executed in the second user media terminal 104 is called a second media stream. Examples of annotation input interface 306 include, but are not limited to, remote devices and recording devices. The remote device may be a remote control device of the first user media terminal 102. According to one embodiment of the invention, the remote control device may include several "smiley" or emotional buttons. The first viewer 302 may input a smiley or emotion at a particular point in the first media stream using the remote control device. According to another embodiment of the present invention, the first viewer 302 may input a voice message (hereinafter referred to as a voice annotation) at any point of the first media stream using the recording device.

이 도면에 도시된 바와 같이 제1 사용자 미디어 단말(102)은 애노테이션 앵커링(anchoring) 인터페이스(308)를 포함한다. 애노테이션 앵커링 인터페이스(308)는 적어도 하나의 애노테이션을 제1 미디어 스트림의 특정 포인트에 앵커할 수 있다. 예컨대 애노테이션 앵커링 인터페이스(308)는 입력된 애노테이션을 제1 미디어 스트림에 앵커할 수 있다. 애노테이션을 미디어 스트림에 앵커하는 것은 입력된 애노테이션을 제1 미디어 스트림에 부가하는 것을 포함할 수 있다. 이러한 앵커링은 미디어 스트림을 일의적으로 식별하는 충분한 설명 자료와 함께 미디어 스트림 내의 각 애노테이션의 정확한 타임 오프셋을 녹화하는 것을 더 포함한다. 각 애노테이션의 타임 오프셋은 애노테이션이 미디어 스트림에 나타날 시간과 이 미디어 스트림의 시작 시간 간의 차이이다. 애노테이션의 타임 오프셋은 미디어 스트림의 시작부터 계산된다. 제1 미디어 스트림에 앵커된 애노테이션은 제1 미디어 스트림과 함께 제1 시청자(302)에 제시될 수 있다.As shown in this figure, the first user media terminal 102 includes an annotation anchoring interface 308. The annotation anchoring interface 308 can anchor at least one annotation to a particular point in the first media stream. For example, the annotation anchoring interface 308 can anchor the input annotation to the first media stream. Anchoring the annotation to the media stream may include adding the input annotation to the first media stream. This anchoring further includes recording the exact time offset of each annotation in the media stream with sufficient descriptive material to uniquely identify the media stream. The time offset of each annotation is the difference between the time the annotation will appear in the media stream and the start time of this media stream. The time offset of the annotation is calculated from the beginning of the media stream. Annotations anchored to the first media stream can be presented to the first viewer 302 along with the first media stream.

애노테이션 앵커링 인터페이스(308)는 콘텐츠 공유 인터페이스(310)에 연결되어 있다. 콘텐츠 공유 인터페이스(310)는 콘텐츠 공유 서버(108) 상의 애노테이션을 업로드할 수 있다. 본 발명의 일 실시예에서 콘텐츠 공유 서버(108)는 제1 및 제2 미디어 스트림의 상대 시작 시간에 기초하여 어떤 입력된 애노테이션을 동기화할 수 있다. 입력된 애노테이션을 동기화하는 것은 이 애노테이션이 제2 미디어 스트림에 나타나는 시각이 이 애노테이션이 제1 미디어 스트림에 나타난 시각과 유사하도록 그 입력된 애노테이션을 타임 시프트하는 것을 포함한다. 더욱이 콘텐츠 공유 인터페이스(310)는 이 동기화된 애노테이션을 콘텐츠 공유 서버(108)로부터 다운로드하여 이를 애노테이션 랜더링(rendering) 엔진(312)에 보낼 수 있다. 애노테이션 렌더링 엔진(312)은 제2 미디어 스트림 내의 적당한 지점에서 그 수신된 애노테이션을 렌더링할 수 있으며, 이에 따라 이를 제2 시청자(304)에게 단일 경험으로서 제시할 수 있다. 본 발명의 일 실시예에 따라서 애노테이션 렌더링 엔진(312)은 미디어 스플라이싱(splicing) 및 렌더링 엔진이라고도 한다.Annotation anchoring interface 308 is coupled to content sharing interface 310. The content sharing interface 310 can upload the annotation on the content sharing server 108. In one embodiment of the invention, the content sharing server 108 may synchronize any input annotation based on the relative start time of the first and second media streams. Synchronizing the input annotation includes time shifting the input annotation such that the time at which the annotation appears in the second media stream is similar to the time this annotation appears in the first media stream. Furthermore, the content sharing interface 310 can download this synchronized annotation from the content sharing server 108 and send it to the annotation rendering engine 312. Annotation rendering engine 312 can render the received annotation at an appropriate point in the second media stream, thus presenting it as a single experience to second viewer 304. In accordance with one embodiment of the invention, the annotation rendering engine 312 is also referred to as a media splicing and rendering engine.

본 발명의 일 실시예에 따라서 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)은 피어 투 피어(P2P) 프로토콜을 이용하여 애노테이션을 서로 공유할 수 있다. P2P 프로토콜에서 콘텐츠 공유 서버(108)는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 애노테이션을 공유하는데 반드시 필요한 것은 아니다. P2P 프로토콜을 구현함으로써 콘텐츠 공유 인터페이스(310)를 이용하여 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 애노테이션이 공유될 수 있다.According to an embodiment of the present invention, the first user media terminal 102 and the second user media terminal 104 may share annotations with each other using a peer-to-peer (P2P) protocol. In the P2P protocol, the content sharing server 108 is not necessary to share the annotation between the first user media terminal 102 and the second user media terminal 104. By implementing the P2P protocol, annotations may be shared between the first user media terminal 102 and the second user media terminal 104 using the content sharing interface 310.

도 4는 본 발명의 여러 가지 실시예에 따른, 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 적어도 하나의 애노테이션을 공유하는 방법을 설명하는 흐름도이다. 이 방법은 단계(402)에서 개시한다. 단계(404)에서 제1 시청자(302)는 제1 미디어 스트림의 어떤 포인트에 대해 애노테이션 입력 인터페이스(306)를 이용하여 적어도 하나의 애노테이션을 입력한다. 제1 시청자(302)는 녹화 장치를 이용하여 음성 애노테이션을 녹화할 수 있다. 더욱이 단계(406)에서 애노테이션 앵커링 인터페이스(308)는 그 적어도 하나의 입력된 애노테이션을 제1 미디어 스트림에 앵커링한다. 애노테이션을 앵커링하는 것은 그 입력된 애노테이션을 제1 미디어 스트림에 부가하는 것을 포함한다. 더욱이 이 앵커링은 미디어 스트림을 일의적으로 식별하는 충분한 설명 자료와 함께 미디어 스트림 내의 각 애노테이션의 정확한 타임 오프셋을 녹화하는 것을 포함한다. 각 애노테이션의 타임 오프셋은 미디어 스트림의 시작부터 계산된다.4 is a flowchart illustrating a method of sharing at least one annotation between a first user media terminal 102 and a second user media terminal 104, in accordance with various embodiments of the present invention. This method begins at step 402. In step 404 the first viewer 302 inputs at least one annotation using an annotation input interface 306 for any point in the first media stream. The first viewer 302 may record a voice annotation using a recording device. Furthermore, at step 406 the annotation anchoring interface 308 anchors the at least one input annotation to the first media stream. Anchoring the annotation includes adding the input annotation to the first media stream. Moreover, this anchoring involves recording the exact time offset of each annotation in the media stream with sufficient descriptive material to uniquely identify the media stream. The time offset of each annotation is calculated from the beginning of the media stream.

더욱이, 단계(408)에서 그 입력된 애노테이션은 제2 사용자 미디어 단말(104)로 보내진다. 애노테이션은 콘텐츠 공유 인터페이스(310)에 의해 콘텐츠 공유 서버(108)로 업로드된다. 제2 사용자 미디어 단말(104)은 콘텐츠 공유 인터페이스(310)로부터 애노테이션을 다운로드하여 단계(410)에서 애노테이션을 수신한다. 더욱이 단계(412)에서 그 수신된 애노테이션은 제1 및 제2 미디어 스트림의 상대 시작 시간에 기초하여 동기화된다. 일 실시예에서는 제1 사용자 미디어 단말(102)이 애노테이션들을 동기화한다. 다른 실시예에서는 콘텐츠 공유 서버(108)가 제1 및 제2 미디어 스트림의 상대 시작 시간에 기초하여 애노테이션을 동기화한다. 콘텐츠 공유 서버(108)와 제2 사용자 미디어 단말(104)은 여러 가지 방법을 이용하여 제1 및 제2 미디어 스트림의 상대 시작 시간에 기초하여 어떤 입력된 애노테이션을 동기화한다.Furthermore, in step 408 the input annotation is sent to the second user media terminal 104. The annotation is uploaded to the content sharing server 108 by the content sharing interface 310. The second user media terminal 104 downloads the annotation from the content sharing interface 310 and receives the annotation in step 410. Furthermore, in step 412 the received annotations are synchronized based on the relative start times of the first and second media streams. In one embodiment, the first user media terminal 102 synchronizes the annotations. In another embodiment, the content sharing server 108 synchronizes the annotations based on the relative start times of the first and second media streams. The content sharing server 108 and the second user media terminal 104 use several methods to synchronize any input annotation based on the relative start time of the first and second media streams.

본 발명의 일 실시예에 따라서 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간의 상대 클록 스큐를 이용하여 어떤 입력된 애노테이션을 동기화한다. 상대 클록 스큐는 제1 미디어 스트림의 시작 시간에 대한 제2 미디어 스트림의 상대 시작 시간을 결정하는데 이용된다. 제1 사용자 미디어 단말(102)과 콘텐츠 공유 서버(108) 간의 클록 스큐가 결정된다. 더욱이 제2 사용자 미디어 단말(104)과 콘텐츠 공유 서버(108) 간의 클록 스큐가 결정된다. 이 2개의 클록 스큐는 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간의 상대 클록 스큐를 결정하는데 이용된다. 이 상대 클록 스큐는 입력된 애노테이션의 타이밍을 조정하고 이를 제2 미디어 스트림 내의 적당한 지점에서 렌더링하는데 이용된다.In accordance with one embodiment of the present invention, certain input annotations are synchronized using relative clock skew between the first user media terminal 102 and the second user media terminal 104. Relative clock skew is used to determine the relative start time of the second media stream relative to the start time of the first media stream. Clock skew between the first user media terminal 102 and the content sharing server 108 is determined. Furthermore, clock skew between the second user media terminal 104 and the content sharing server 108 is determined. These two clock skews are used to determine the relative clock skew between the first user media terminal 102 and the second user media terminal 104. This relative clock skew is used to adjust the timing of the input annotation and render it at a suitable point in the second media stream.

본 발명의 일 실시예에 따라서 피어 투 피어(P2P) 프로토콜을 이용하여 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 애노테이션을 공유하는 경우에 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간의 상대 클록 스큐는 콘텐츠 공유 서버(108)를 이용하지 않고 바로 계산된다.According to an embodiment of the present invention, the first user media terminal 102 when an annotation is shared between the first user media terminal 102 and the second user media terminal 104 using a peer-to-peer (P2P) protocol. The relative clock skew between the second user media terminal 104 and the second user media terminal 104 is calculated directly without using the content sharing server 108.

본 발명의 다른 실시예에 따라서 제2 미디어 스트림의 AMOL(Automated Measurement of Line-Up)을 이용하여 어떤 입력된 애노테이션을 동기화한다. 제2 미디어 스트림의 수직 귀소 기간으로부터의 AMOL 데이터는 디코딩된다. 이 디코딩된 AMOL 데이터는 입력된 애노테이션의 타이밍을 조정하고 이를 제1 및 제2 미디어 스트림의 상대 시작 시간에 기초하여 동기화하는데 이용된다. 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)가 서로 다른 콘텐츠 소스로부터 미디어 스트림을 수신하는 경우에는 대개는 AMOL 데이터가 이용된다. 예컨대 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)이 각각 제1 콘텐츠 소스(202)와 제2 콘텐츠 소스(204)로부터 수신하는 경우에 이 AMOL 데이터는 동기화를 위해 이용된다.According to another embodiment of the present invention, certain input annotations are synchronized using the automated measurement of line-up (AMOL) of the second media stream. AMOL data from the vertical homing period of the second media stream is decoded. This decoded AMOL data is used to adjust the timing of the input annotation and synchronize it based on the relative start times of the first and second media streams. When the first user media terminal 102 and the second user media terminal 104 receive media streams from different content sources, AMOL data is usually used. For example, when the first user media terminal 102 and the second user media terminal 104 receive from the first content source 202 and the second content source 204 respectively, this AMOL data is used for synchronization.

본 발명의 다른 실시예에 따라서 미디어 스트림의 오디오 채널을 샘플링하여 얻은 정보도 입력된 애노테이션을 동기화하는데 이용된다. 제2 미디어 스트림의 오디오 채널은 수 초 동안 샘플링되며, 제2 미디어 스트림의 지문(fingerprint)은 이산 코사인 변환이나 푸리에 변환을 이용하여 계산된다. 이 지문은 대략 200 바이트로서 입력된 애노테이션의 시작부에 포함되어 이 입력된 애노테이션을 미디어 스트림 내의 적당한 지점과 동기화시킨다.According to another embodiment of the present invention, information obtained by sampling the audio channel of the media stream is also used to synchronize the input annotation. The audio channel of the second media stream is sampled for a few seconds and the fingerprint of the second media stream is calculated using a discrete cosine transform or a Fourier transform. This fingerprint is included at the beginning of the input annotation as approximately 200 bytes to synchronize this input annotation with the appropriate point in the media stream.

더욱이 단계(414)에서 이 동기화된 애노테이션은 애노테이션 렌더링 엔진(312)으로 보내진다. 애노테이션 레더링 엔진(312)은 이 동기화된 애노테이션을 제2 미디어 스트림으로 렌더링한다. 제2 시청자(304)는 제2 사용자 미디어 단말(104) 상의 실행된 미디어 스트림과 함께 제1 시청자(302)의 애노테이션을 수신한다. 제2 시청자(304)에 있어서 그 수신된 애노테이션은 제2 미디어 스트림의 일부이다. 본 방법은 단계(416)에서 종료한다.Moreover, in step 414 this synchronized annotation is sent to the annotation rendering engine 312. Annotation leathering engine 312 renders this synchronized annotation into a second media stream. The second viewer 304 receives the annotation of the first viewer 302 along with the executed media stream on the second user media terminal 104. For the second viewer 304 the received annotation is part of the second media stream. The method ends at step 416.

제2 시청자(304)가 제1 시청자(302)로부터 적어도 하나의 애노테이션을 수신하면, 제2 시청자(304)는 적어도 하나의 형태로 제1 시청자(302)에 응답할 수 있다. 그 결과, 제1 시청자(302)와 제2 시청자(304) 간에는 반복적인 대화가 일어날 수 있다. 예컨대 제1 시청자(302)는 애노테이션 입력 인터페이스(306)를 이용하여 음성 쪽지 형태로 음성 애노테이션을 입력할 수 있다.When the second viewer 304 receives at least one annotation from the first viewer 302, the second viewer 304 may respond to the first viewer 302 in at least one form. As a result, repetitive conversations may occur between the first viewer 302 and the second viewer 304. For example, the first viewer 302 may input the voice annotation in the form of a voice note using the annotation input interface 306.

본 발명의 일 실시예에 따라서 제2 시청자(304)와 제2 사용자 미디어 단말(104) 간에는 애노테이션 입력 인터페이스(306)가 존재하여 제2 시청자(304)가 적어도 애노테이션을 입력할 수 있도록 한다. 더욱이 제2 사용자 미디어 단말(104)은 제2 사용자 미디어 단말(104)에 입력된 애노테이션을 제2 미디어 스트림에 앵커링하는 애노테이션 앵커링 인터페이스(308)를 포함할 수 있다. 더욱이 제1 사용자 미디어 단말(102)은 제1 사용자 미디어 단말(102)에서 수신된 애노테이션을 제1 미디어 스트림으로 렌더링하는 애노테이션 렌더링 엔진(312)을 포함할 수 있다.In accordance with one embodiment of the present invention, an annotation input interface 306 exists between the second viewer 304 and the second user media terminal 104 such that the second viewer 304 can at least input the annotation. Furthermore, the second user media terminal 104 may include an annotation anchoring interface 308 that anchors the annotations input to the second user media terminal 104 to the second media stream. Furthermore, the first user media terminal 102 can include an annotation rendering engine 312 that renders the annotation received at the first user media terminal 102 into a first media stream.

도 5는 본 발명의 다른 실시예에 따른, 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104) 간에 적어도 하나의 애노테이션을 공유하는 방법을 설명하는 흐름도이다. 제1 시청자(302)와 제2 시청자(304)는 공통 소스로부터 또는 서로 다른 소스로부터 유사한 미디어 스트림을 수신하는 경우에 도 4에서 설명된 방법에 따라서 애노테이션을 공유한다. 그러나 제1 시청자(302)와 제2 시청자(304)가 그 유사한 미디어 스트림을 수신하지 않는 경우에는 그들은 다른 방식으로 애노테이션을 공유할 수 있다. 예컨대 제1 시청자(302)는 개인적인 미디어 콘텐츠 카피를 소유하고 있고 이와 연관된 애노테이션을 제2 시청자(304)와 공유하고자 할 수 있다. 제2 시청자(304)는 미디어 콘텐츠 카피를 수신하여 소유하지 않을 수 있다.5 is a flowchart illustrating a method of sharing at least one annotation between a first user media terminal 102 and a second user media terminal 104 in accordance with another embodiment of the present invention. The first viewer 302 and the second viewer 304 share the annotation according to the method described in FIG. 4 when receiving a similar media stream from a common source or from different sources. However, if the first viewer 302 and the second viewer 304 do not receive the similar media stream, they can share the annotation in other ways. For example, the first viewer 302 may own a copy of personal media content and wish to share an annotation associated with it with the second viewer 304. The second viewer 304 may not receive and own a copy of the media content.

이 방법은 단계(502)에서 시작한다. 단계(504)에서 제1 시청자(302)는 자신의 개인적인 미디어 콘텐츠 카피에 대해 애노테이션 입력 인터페이스(306)를 이용하여 애노테이션을 입력할 수 있다. 단계(506)에서 그 입력된 애노테이션은 애노테이션 앵커링 인터페이스(308)를 이용하여 제1 사용자 미디어 단말(102) 상의 미디어 스트림에 앵커링된다. 더욱이 단계(508)에서 그 앵커링된 미디어 스트림은 콘텐츠 공유 서버(108)를 이용하여 제2 사용자 미디어 단말(104)에 보내진다. 그러므로 이런 식으로 제2 사용자 미디어 단말(104)은 제1 사용자 미디어 단말(102)로부터 미디어 스트림을 수신한다. 그 결과, 제2 사용자 미디어 단말(104)도 그 미디어 콘텐츠 카피를 소유한다. 그 수신된 미디어 스트림은 제1 시청자(302)에 의해 입력된 애노테이션에 앵커링된다. 이 미디어 스트림은 이 미디어 스트림 상의 애노테이션의 상호 공유를 위해 제1 사용자 미디어 단말(102)과 제2 사용자 미디어 단말(104)에서 동시에 실행될 수 있다. 그러므로 이런 식으로 제1 시청자(302)와 제2 시청자(304)는 유사한 미디어 스트림을 수신하여 소유하지 않더라도 애노테이션을 서로 공유할 수 있다. 본 방법은 단계(510)에서 종료한다.The method begins at step 502. In step 504, the first viewer 302 can input the annotation using the annotation input interface 306 for its own copy of the media content. In step 506 the input annotation is anchored to the media stream on the first user media terminal 102 using the annotation anchoring interface 308. Furthermore, in step 508 the anchored media stream is sent to the second user media terminal 104 using the content sharing server 108. Thus in this way the second user media terminal 104 receives the media stream from the first user media terminal 102. As a result, the second user media terminal 104 also possesses its media content copy. The received media stream is anchored to the annotation entered by the first viewer 302. This media stream may be executed simultaneously on the first user media terminal 102 and the second user media terminal 104 for mutual sharing of annotations on the media stream. Thus, in this manner, the first viewer 302 and the second viewer 304 can share the annotations with each other even if they do not receive and own a similar media stream. The method ends at step 510.

본 발명의 여러 가지 실시예는 기존의 방법과 시스템이 비해 큰 이점을 갖고 있다. 본 발명에서 설명된 방법은 디지털 비디오 레코더(DVR)과 같은 사용자 미디어 단말들 간에 애노테이션 공유를 가능하게 한다. 본 발명은 DVR 시청자가 미디어 콘텐츠에 대한 개인적인 코멘트를 작성하여 다른 시청자 시청자와 공유하는 것을 가능하게 한다. 더욱이 본 발명은 DVR들에 걸쳐 개인적인 미디어 콘텐츠 카피들을 공유하는 것을 가능하게 한다. 더욱이 본 발명은 지역에 따라 방송시간이 다를 수 있고 클록 스큐도 가변적임에도 불구하고 DVR들에 걸친 서로 다른 미디어 스트림 내의 똑 같은 지점에서 애노테이션을 유지하는 것을 가능하게 한다. 더욱이 본 발명은 미디어 콘텐츠와는 별도로 애노테이션을 공유하는 것을 가능하게 하며, 따라서 DVR들 간의 미디어 교환에 대한 DRM(Digital Rights Management) 규칙을 보존할 수 있다.Various embodiments of the present invention have significant advantages over existing methods and systems. The method described in the present invention enables annotation sharing between user media terminals, such as a digital video recorder (DVR). The present invention allows DVR viewers to create personal comments on media content and share them with other viewers. Moreover, the present invention makes it possible to share private media content copies across DVRs. Moreover, the present invention makes it possible to maintain annotation at the same point in different media streams across DVRs, although broadcast times may vary from region to region and clock skew is variable. Moreover, the present invention makes it possible to share the annotation separately from the media content, thus preserving the Digital Rights Management (DRM) rules for media exchange between DVRs.

통신 네트워크에서 애노테이션을 공유하는 방법과 시스템은 하나 이상의 종래의 프로세서와, 이 하나 이상의 프로세서를 제어하여 특정의 비프로세서 회로와 함께 여기서 설명된 시스템의 기능의 일부, 대부분 또는 전부를 구현하는 독창적인 저장된 프로그램 명령들을 포함할 수 있음을 잘 알 것이다. 비프로세서 회로는 신호 구동기, 클록 회로, 전원 회로 및 사용자 입력 장치를 포함할 수 있으나 이에 한정되는 것은 아니다. 따라서 이들 기능은 통신 네트워크에서 애노테이션을 공유하는 방법의 단계들로서 해석될 수 있다. 또는 이들 기능의 일부 또는 전부는 프로그램 명령어를 저장하지 않은 상태 머신에 의해 구현되거나, 각 기능 또는 이들 기능들의 조합이 커스텀 로직으로 구현되는 하나 이상의 주문형 집적 회로(ASIC)에서 구현될 수 있다. 물론 이들 2가지 방식의 조합도 이용될 수 있다. 이리하여 여기서는 이들 기능들에 대한 방법과 수단들에 대해 설명하였다.A method and system for sharing annotation in a communication network may include one or more conventional processors, and original stored controls that control one or more processors to implement some, most, or all of the functionality of the system described herein with specific nonprocessor circuits. It will be appreciated that it may include program instructions. Non-processor circuits may include, but are not limited to, signal drivers, clock circuits, power supply circuits, and user input devices. These functions can thus be interpreted as steps in a method of sharing annotations in a communication network. Alternatively, some or all of these functions may be implemented by a state machine that does not store program instructions, or may be implemented in one or more application specific integrated circuits (ASICs) in which each function or combination of these functions is implemented in custom logic. Of course, a combination of these two approaches could also be used. Thus, the method and means for these functions have been described here.

당업자라면, 예컨대 가용 시간, 현재 기술 및 경제적 상황에 따라 상당한 노력과 많은 설계 선택이 있을 수 있겠지만, 본 명세서에 공개된 개념과 원리에 따르면 최소의 실험으로 그와 같은 소프트웨어 명령어, 프로그램 및 IC를 쉽게 만들어 낼 수 있을 것으로 기대한다.Those skilled in the art may have considerable effort and many design choices, for example, depending on available time, current technical and economic circumstances, but according to the concepts and principles disclosed herein, such software instructions, programs, and ICs can be easily made with minimal experimentation. I expect to be able to make it.

본 명세서에서 특정 실시예들을 참조로 본 발명과 그 이점 및 장점들에 대해서 설명하였다. 그러나 당업자라면 하기의 청구범위에 기재된 본 발명의 범위로부터 벗어남이 없이 여러 가지 변형과 수정이 가능함을 잘 알 것이다. 따라서 본 명세서와 도면은 제한적인 것이 아니라 예시적인 것이며, 그와 같은 모든 변형도 본 발명의 범위에 속한다고 할 것이다. 종래 기술과 비교한 이점, 장점, 해결책과, 임의의 다른 이점, 장점 또는 해결책을 가져다 주거나 더욱 명백하게 하는 다른 요소(들)는 임의의 또는 전체 청구 범위의 중요한, 필요한 또는 필수적인 특성과 요소인 것으로 해석되어서는 안 된다. 본 발명은 본 출원의 계류 중에 행한 보정을 포함하는 청구 범위와 그 등가물에 의해서만 정해진다.The invention and its advantages and advantages have been described herein with reference to specific embodiments. However, one of ordinary skill in the art appreciates that various modifications and changes can be made without departing from the scope of the present invention as set forth in the claims below. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense, and all such modifications are intended to fall within the scope of the present invention. Advantages, advantages, solutions compared to the prior art, and any other benefit, advantage or solution, other element (s) which lead to or clarify are interpreted as being important, necessary or necessary characteristics and elements of any or all claims. It should not be. The invention is defined only by the claims and their equivalents, including the amendments made during the pending of the present application.

Claims (16)

통신 네트워크에서 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션(annotation)을 공유하는 방법으로서 - 상기 적어도 하나의 애노테이션은 미디어 스트림과 연관되고, 상기 미디어 스트림은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 중 적어도 하나상에서 실행됨 -,
상기 제1 사용자 미디어 단말상에 상기 적어도 하나의 애노테이션을 입력하는 단계;
상기 적어도 하나의 애노테이션을, 제1 시작 시간에서 상기 제1 사용자 미디어 단말상에서 실행되는 상기 미디어 스트림에 앵커링하는(anchoring) 단계; 및
상기 적어도 하나의 애노테이션을 상기 제1 사용자 미디어 단말로부터 상기 제2 사용자 미디어 단말에게 보내는 단계 - 상기 제2 사용자 미디어 단말에서 수신된 상기 적어도 하나의 애노테이션이 동기화됨 -
를 포함하는 애노테이션 공유 방법.A method of sharing at least one annotation between a first user media terminal and a second user media terminal in a communication network, wherein the at least one annotation is associated with a media stream, the media stream being the first user media terminal. And executed on at least one of the second user media terminal-,
Inputting the at least one annotation on the first user media terminal;
Anchoring the at least one annotation to the media stream running on the first user media terminal at a first start time; And
Sending the at least one annotation from the first user media terminal to the second user media terminal, wherein the at least one annotation received at the second user media terminal is synchronized
Annotation sharing method comprising a. 제1항에 있어서,
상기 제2 사용자 미디어 단말에서 수신된 상기 적어도 하나의 애노테이션은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말상에서의 미디어 스트림의 상대 시작 시간에 기초하여 상기 미디어 스트림과 동기화되는 애노테이션 공유 방법.The method of claim 1,
And the at least one annotation received at the second user media terminal is synchronized with the media stream based on a relative start time of the media stream on the first user media terminal and the second user media terminal. 제1항에 있어서,
상기 적어도 하나의 애노테이션 입력 단계는 사용자의 음성 메시지를 녹화하거나 원격 장치를 이용하는 단계를 포함하는 애노테이션 공유 방법.The method of claim 1,
The at least one annotation input step includes recording a user's voice message or using a remote device. 제1항에 있어서,
앵커링된 미디어 스트림을 상기 제2 사용자 미디어 단말에게 보내는 단계를 더 포함하고, 상기 앵커링된 미디어 스트림은 상기 제1 사용자 미디어 단말상에서 상기 미디어 스트림에게 상기 적어도 하나의 애노테이션을 앵커링함으로써 형성되는 애노테이션 공유 방법.The method of claim 1,
Sending an anchored media stream to the second user media terminal, wherein the anchored media stream is formed by anchoring the at least one annotation to the media stream on the first user media terminal. 제1항에 있어서,
상기 적어도 하나의 애노테이션에 응답하여 상기 제2 사용자 미디어 단말로부터 상기 적어도 하나의 애노테이션을 수신하는 단계를 더 포함하는 애노테이션 공유 방법.The method of claim 1,
Receiving the at least one annotation from the second user media terminal in response to the at least one annotation. 통신 네트워크에서 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하는 방법으로서 - 상기 적어도 하나의 애노테이션은 미디어 스트림과 연관되고, 상기 미디어 스트림은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 중 적어도 하나상에서 실행됨 -,
상기 적어도 하나의 애노테이션을 상기 제1 사용자 미디어 단말로부터 상기 제2 사용자 미디어 단말에서 수신하는 단계;
상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말상에서의 상기 미디어 스트림의 상대 시작 시간에 기초하여 상기 적어도 하나의 애노테이션을 동기화하는 단계; 및
상기 동기화된 적어도 하나의 애노테이션을 상기 미디어 스트림에게 렌더링하는(rendering) 단계 - 상기 미디어 스트림은 제2 시작 시간에서 상기 제2 사용자 미디어 단말상에 실행됨 -
를 포함하는 애노테이션 공유 방법.A method of sharing at least one annotation between a first user media terminal and a second user media terminal in a communication network, the at least one annotation associated with a media stream, wherein the media stream is associated with the first user media terminal and the first user media terminal. 2 executed on at least one of the user media terminal-,
Receiving the at least one annotation from the first user media terminal at the second user media terminal;
Synchronizing the at least one annotation based on a relative start time of the media stream on the first user media terminal and the second user media terminal; And
Rendering the synchronized at least one annotation to the media stream, wherein the media stream is executed on the second user media terminal at a second start time.
Annotation sharing method comprising a. 제6항에 있어서,
상기 적어도 하나의 애노테이션 동기화 단계는 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 간의 상대 클록 스큐(skew)를 이용하여 상기 적어도 하나의 애노테이션을 동기화하는 단계를 포함하는 애노테이션 공유 방법.The method according to claim 6,
The at least one annotation synchronization step includes synchronizing the at least one annotation using a relative clock skew between the first user media terminal and the second user media terminal. 제6항에 있어서,
상기 적어도 하나의 애노테이션 동기화 단계는 상기 제2 사용자 미디어 단말상에서의 상기 미디어 스트림의 AMOL(Automated Measurement of line-up) 데이터를 이용하여 상기 적어도 하나의 애노테이션을 동기화하는 단계를 포함하는 애노테이션 공유 방법.The method according to claim 6,
The at least one annotation synchronization step includes synchronizing the at least one annotation using automated measurement of line-up (AMOL) data of the media stream on the second user media terminal. 제6항에 있어서,
상기 적어도 하나의 애노테이션 동기화 단계는 상기 제2 사용자 미디어 단말 상에서 상기 미디어 스트림의 오디오 채널을 샘플링하여 얻은 정보를 이용하여 상기 적어도 하나의 애노테이션을 동기화하는 단계를 포함하는 애노테이션 공유 방법.The method according to claim 6,
The at least one annotation synchronization step includes synchronizing the at least one annotation using information obtained by sampling an audio channel of the media stream on the second user media terminal. 제1 사용자 미디어 단말과 제2 사용자 미디어 단말 간에 적어도 하나의 애노테이션을 공유하기 위한 통신 네트워크로서 - 상기 적어도 하나의 애노테이션은 미디어 스트림과 연관되고, 상기 미디어 스트림은 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 중 적어도 하나상에 실행됨 -,
상기 제1 사용자 미디어 단말은,
상기 적어도 하나의 애노테이션을 입력하고;
상기 적어도 하나의 애노테이션을, 제1 시작 시간에서 상기 제1 사용자 미디어 단말상에 실행되는 상기 미디어 스트림에 앵커링하고; 그리고
상기 적어도 하나의 애노테이션을 상기 제2 사용자 미디어 단말로 보내도록 구성되고,
상기 제2 사용자 미디어 단말은,
상기 적어도 하나의 애노테이션을 상기 제1 사용자 미디어 단말로부터 수신하고;
상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말상에서의 상기 미디어 스트림의 상대 시작 시간에 기초하여 상기 적어도 하나의 애노테이션을 동기화하고; 그리고
상기 동기화된 적어도 하나의 애노테이션을 상기 미디어 스트림에게 렌더링하도록 - 상기 미디어 스트림은 제2 시작 시간에서 상기 제2 사용자 미디어 단말상에 실행됨 - 구성된
통신 네트워크.A communication network for sharing at least one annotation between a first user media terminal and a second user media terminal, the at least one annotation associated with a media stream, wherein the media stream is associated with the first user media terminal and the second user media terminal. Executed on at least one of the user media terminals-,
The first user media terminal,
Input the at least one annotation;
Anchoring the at least one annotation to the media stream running on the first user media terminal at a first start time; And
Send the at least one annotation to the second user media terminal,
The second user media terminal,
Receive the at least one annotation from the first user media terminal;
Synchronize the at least one annotation based on a relative start time of the media stream on the first user media terminal and the second user media terminal; And
Render the synchronized at least one annotation to the media stream, the media stream being executed on the second user media terminal at a second start time.
Communication network. 제10항에 있어서,
상기 적어도 하나의 애노테이션의 입력을 받아들이도록 구성된 애노테이션 입력 인터페이스를 더 포함하는 통신 네트워크.The method of claim 10,
And an annotation input interface configured to accept input of the at least one annotation. 제10항에 있어서,
사용자의 음성 메시지를 녹화하도록 구성된 녹화 장치를 더 포함하는 통신 네트워크.The method of claim 10,
And a recording device configured to record a voice message of the user. 제10항에 있어서,
상기 제1 사용자 미디어 단말상에서 상기 미디어 스트림에게 상기 적어도 하나의 애노테이션을 앵커링하도록 구성된 앵커링 인터페이스를 더 포함하는 통신 네트워크.The method of claim 10,
And an anchoring interface configured to anchor the at least one annotation to the media stream on the first user media terminal. 제10항에 있어서,
상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 간에 상기 적어도 하나의 애노테이션을 공유하도록 구성된 콘텐츠 공유 인터페이스를 더 포함하는 통신 네트워크.The method of claim 10,
And a content sharing interface configured to share the at least one annotation between the first user media terminal and the second user media terminal. 제14항에 있어서,
상기 콘텐츠 공유 인터페이스는 상기 제1 사용자 미디어 단말과 상기 제2 사용자 미디어 단말 간에 상기 미디어 스트림을 공유하도록 또한 구성된 통신 네트워크.15. The method of claim 14,
The content sharing interface is further configured to share the media stream between the first user media terminal and the second user media terminal. 제10항에 있어서,
상기 제2 사용자 미디어 단말 상에서 상기 미디어 스트림 및 상기 동기화된 적어도 하나의 애노테이션을 렌더링하도록 구성된 미디어 스플라이싱 및 렌더링 엔진을 더 포함하는 통신 네트워크.The method of claim 10,
And a media splicing and rendering engine configured to render the media stream and the synchronized at least one annotation on the second user media terminal.
KR1020107013262A 2007-12-17 2008-12-11 Method and system for sharing annotations in a communication network KR101217370B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/958,093 2007-12-17
US11/958,093 US8340492B2 (en) 2007-12-17 2007-12-17 Method and system for sharing annotations in a communication network

Publications (2)

Publication Number Publication Date
KR20100096177A KR20100096177A (en) 2010-09-01
KR101217370B1 true KR101217370B1 (en) 2012-12-31

Family

ID=40753408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107013262A KR101217370B1 (en) 2007-12-17 2008-12-11 Method and system for sharing annotations in a communication network

Country Status (5)

Country Link
US (1) US8340492B2 (en)
EP (1) EP2235944B1 (en)
KR (1) KR101217370B1 (en)
CN (1) CN101897185B (en)
WO (1) WO2009079324A1 (en)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135018B1 (en) 2007-03-29 2012-03-13 Qurio Holdings, Inc. Message propagation in a distributed virtual world
US9058090B1 (en) * 2008-06-02 2015-06-16 Qurio Holdings, Inc. Collaborative information sharing in a virtual world
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US8438131B2 (en) * 2009-11-06 2013-05-07 Altus365, Inc. Synchronization of media resources in a media archive
US20110125560A1 (en) * 2009-11-25 2011-05-26 Altus Learning Systems, Inc. Augmenting a synchronized media archive with additional media resources
US9588951B2 (en) 2010-12-06 2017-03-07 Smart Technologies Ulc Annotation method and system for conferencing
US20120159527A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Simulated group interaction with multimedia content
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
KR101328270B1 (en) * 2012-03-26 2013-11-14 인하대학교 산학협력단 Annotation method and augmenting video process in video stream for smart tv contents and system thereof
FR2988965A1 (en) * 2012-03-27 2013-10-04 France Telecom Method for division of contents at e.g. teleconference session, entered by communication terminal, involves performing association of metadatum to content element, and transmitting metadatum in communication session
EP2856328A4 (en) * 2012-05-28 2016-02-24 Samsung Electronics Co Ltd A method and system for enhancing user experience during an ongoing content viewing activity
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9798457B2 (en) * 2012-06-01 2017-10-24 Microsoft Technology Licensing, Llc Synchronization of media interactions using context
CN103517158B (en) * 2012-06-25 2017-02-22 华为技术有限公司 Method, device and system for generating videos capable of showing video notations
US8990303B2 (en) 2013-01-31 2015-03-24 Paramount Pictures Corporation System and method for interactive remote movie watching, scheduling, and social connection
US9191422B2 (en) 2013-03-15 2015-11-17 Arris Technology, Inc. Processing of social media for selected time-shifted multimedia content
JP2014219762A (en) * 2013-05-02 2014-11-20 株式会社リコー Data sharing system, data sharing method, and information processing device
KR101812398B1 (en) * 2013-05-16 2017-12-26 콘비다 와이어리스, 엘엘씨 Data annotation as a service for iot systems
US9924130B2 (en) * 2013-07-15 2018-03-20 Allego Inc. Computer based training techniques for geographically distributed individuals
CN104967876B (en) * 2014-09-30 2019-01-08 腾讯科技（深圳）有限公司 Barrage information processing method and device, barrage information displaying method and device
CN105578017B (en) * 2014-10-09 2020-06-19 深圳富泰宏精密工业有限公司 Photographing and photo sharing system and method
US11025569B2 (en) * 2015-09-30 2021-06-01 Apple Inc. Shared content presentation with integrated messaging
US10063408B2 (en) 2015-12-22 2018-08-28 Rovi Guides, Inc. System and methods for alerting a user consuming media to the progress of others consuming media
US10965743B2 (en) 2018-03-16 2021-03-30 Microsoft Technology Licensing, Llc Synchronized annotations in fixed digital documents

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030196164A1 (en) * 1998-09-15 2003-10-16 Anoop Gupta Annotations for multiple versions of media content
US20040031058A1 (en) * 2002-05-10 2004-02-12 Richard Reisman Method and apparatus for browsing using alternative linkbases

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969716A (en) * 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
US6006241A (en) 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6259445B1 (en) * 1997-07-07 2001-07-10 Informix, Inc. Computer-based documentation and instruction
WO2000053004A1 (en) * 1999-03-12 2000-09-14 Kaul, Rashmi Non-human model for human endometriosis
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
US7313808B1 (en) * 1999-07-08 2007-12-25 Microsoft Corporation Browsing continuous multimedia content
EP1214842B1 (en) 1999-09-20 2010-11-17 TiVo, Inc. Closed caption tagging system
US7747943B2 (en) 2001-09-07 2010-06-29 Microsoft Corporation Robust anchoring of annotations to content
US8046689B2 (en) 2004-11-04 2011-10-25 Apple Inc. Media presentation with supplementary media
JP4025185B2 (en) * 2002-12-10 2007-12-19 株式会社東芝 Media data viewing apparatus and metadata sharing system
BRPI0418908A (en) * 2004-05-26 2007-11-27 Nokia Corp method, computer program, mobile terminal, and storage system for managing media items
CA2576865C (en) * 2004-08-09 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus to monitor audio/visual content from various sources
US20060074980A1 (en) * 2004-09-29 2006-04-06 Sarkar Pte. Ltd. System for semantically disambiguating text information
US20060109854A1 (en) 2004-11-22 2006-05-25 Cancel Ramon C Systems and methods to share information between digital video recorders
US10210159B2 (en) * 2005-04-21 2019-02-19 Oath Inc. Media object metadata association and ranking
US7716572B2 (en) * 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030196164A1 (en) * 1998-09-15 2003-10-16 Anoop Gupta Annotations for multiple versions of media content
US20040031058A1 (en) * 2002-05-10 2004-02-12 Richard Reisman Method and apparatus for browsing using alternative linkbases

Also Published As

Publication number Publication date
EP2235944A1 (en) 2010-10-06
WO2009079324A1 (en) 2009-06-25
US8340492B2 (en) 2012-12-25
US20090154893A1 (en) 2009-06-18
CN101897185B (en) 2013-10-02
CN101897185A (en) 2010-11-24
EP2235944B1 (en) 2019-11-13
KR20100096177A (en) 2010-09-01
EP2235944A4 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
KR101217370B1 (en) Method and system for sharing annotations in a communication network
US20220303599A1 (en) Synchronizing Program Presentation
AU2014212300B2 (en) User control of replacement television advertisements inserted by a smart television
US8107786B2 (en) Systems and methods to modify playout or playback
EP2925003A1 (en) A system and method for synchronized presentation of video timeline metadata
US9549219B1 (en) Shared DVR programming via a web page
JP2010177915A (en) Moving picture reproducing apparatus, moving picture reproducing method, program for making computer implement moving picture reproducing method, and recording medium where the program is recorded
US10129592B2 (en) Audience measurement and feedback system
CN109905749B (en) Video playing method and device, storage medium and electronic device
US9609398B2 (en) Content and posted-information time-series link method, and information processing terminal
US20240107087A1 (en) Server, terminal and non-transitory computer-readable medium
US20190394539A1 (en) Systems and methods for proximal multimedia event synchronization
CN107852523B (en) Method, terminal and equipment for synchronizing media rendering between terminals
US20240040161A1 (en) Method and server for handling streaming data
JP5899718B2 (en) Information processing system, information processing apparatus, and information processing program
JP2017188841A (en) Distribution system, mid-roll server, terminal device, advertisement firing device, information processing method, and program
US20140226956A1 (en) Method and apparatus for changing the recording of digital content
JP2008131401A (en) Program playback device and program playback system using the same
JP2004304306A (en) Information exchanger, receiver and memory for av stream
JP2018046539A (en) Information device
JP2017055323A (en) Reproduction device
TW201735647A (en) Method for transmitting a video on demand
JP2010287280A (en) Apparatus, system and method for processing data, program and computer readable recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191213

Year of fee payment: 8