JP2011521576A - インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法 - Google Patents

インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法 Download PDF

Info

Publication number
JP2011521576A
JP2011521576A JP2011509935A JP2011509935A JP2011521576A JP 2011521576 A JP2011521576 A JP 2011521576A JP 2011509935 A JP2011509935 A JP 2011509935A JP 2011509935 A JP2011509935 A JP 2011509935A JP 2011521576 A JP2011521576 A JP 2011521576A
Authority
JP
Japan
Prior art keywords
content
format
frame
video
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011509935A
Other languages
English (en)
Other versions
JP5372143B2 (ja
Inventor
ルガレ，イヴォン
ガッシュ，ステファン
ビショー，ギヨーム
ローレン，アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011521576A publication Critical patent/JP2011521576A/ja
Application granted granted Critical
Publication of JP5372143B2 publication Critical patent/JP5372143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本発明は、インターラクティブマークをストリーミング・コンテンツに挿入するデバイス、及び方法に関する。前記方法は、第１のフォーマットのストリーミング・コンテンツを受信する（Ｓ１）ステップと、第２のフォーマットの同じストリーミング・コンテンツを受信する（Ｓ２）ステップと、第１のフォーマットで前記コンテンツの第１のフレームに対応するインターラクティブマークを受信し（Ｓ３）するステップと、前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信（Ｓ５）するステップであって、前記第２のフレームのコンテンツは前記第１のフレームの前記コンテンツに対応するステップと、を有する。

Description

本発明は、一般にストリーミング・コンテンツに関する。より詳細には、ストリーミング・コンテンツに同期したインターラクティブマークの伝送に関する。
本章では、技術のさまざまな態様を説明することを目的とする。これは、以下に記載し、また請求項に定義するさまざまな本発明の態様に関連し得る。ここでの説明は、さまざまな本発明の態様に関し、理解をより容易にするために、背景情報を提供する。したがって、これらの記載は、この観点から理解されなければならず、かつ従来技術の存在を認めるものではないと理解すべきである。インターラクティブ・サービス・メカニズムは、ビデオ番組と、ユーザが対話するアプリケーションとの同期化を提供し、ユーザに対し、追加的、又はインターラクティブなサービスを提供する。
インターラクティブ・サービスの例としては、投票アプリケーション、インターラクティブ・ゲーム、製品情報の取得、製品の注文等が挙げられる。ビデオプログラムは、ライブであり、カメラから放送局そしてユーザにストリーミングされる。あるいは、事前に録画され、サーバから端末にストリーミングされる。また、これは、ローカルにおいてファイルから再生される。インターラクティブ・サービスは、ビデオプログラムと同期することが必要とされる。同期情報は管理され、かつ、ネットワーク側から送られ、端末によって読み出される。これによって、関連するインターラクティブ・アプリケーションまたはインターラクティブ・オブジェクトと呼ばれるインターラクティブ・アプリケーションの部分を、どの時期にアクティベートするかが分かる。インターラクティブ・オブジェクトは、（プロセッサによって実行可能か、仮想マシンによって解釈可能な）ソフトウェアの一部である。これは、例えばいわゆるアプレット又はスクリプトであり、マンマシンインターフェースを利用し、端末のユーザに対して、見ているビデオプログラムと対話する能力を与える。ビデオ分配システムにおいて、インターラクティブ・コンテンツは、エンド・ツー・エンドの技術を使い、コンテンツプロバイダから、放送局を経て、端末に伝送される。コンテンツプロバイダと放送局は、場合によっては、一つの実体であることがある。
トムソンライセンシングの欧州特許出願０７３００７６９．２は、ＲＴＰタイムスタンプを使用し、同期化マークの形式によって、インターラクティブ・コンテンツを伝送する技術を開示している。
インターラクティブ・コンテンツの挿入は、必ずしもビデオエンコーダで実行されるというわけではない。インターラクティブ・コンテンツは、ビデオエンコーダの出力において、ビデオ・コンテンツに正確に同期しない。
本発明は、少なくとも従来技術の同期化に関するいくつかの懸念を解決することを試みる。この目的のために、本願発明は、インターラクティブマークをストリーミング・コンテンツに挿入するためのマーク挿入デバイスにおける方法であって、前記デバイスにおいて、第１の形式のストリーミング・コンテンツを受信するステップと、第２の形式の同じストリーミング・コンテンツを受信するステップと、第１の形式の前記コンテンツの第１のフレームに対応するインターラクティブマークを受信するステップと、前記第２の形式で受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップと、を有する方法に関連する。
実施例によれば、本方法は、前記第１の形式の前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２の形式の前記ストリーミング・コンテンツの第２のフレームの前記受信との間の遅延を計算するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップ、を有する。
実施例によれば、前記計算するステップは、前記第１及び第２のコンテンツの前記受信の開始時に１回又は繰り返し実行される。
実施例によれば、前記インターラクティブマークが、前記第２のフレームに付加される。
実施例によれば、前記インターラクティブマークが前記第２のフレームとは異なるパケットで送信される。
実施例によれば、前記第１の形式が非圧縮の形式であり、かつ、前記第２の形式が圧縮形式である。
実施例によれば、前記コンテンツがビデオ・コンテンツである。
実施例によれば、前記圧縮コンテンツは、ＲＴＰタイムスタンプを含み、かつ、前記インターラクティブ・のマークは、前記ＲＴＰタイムスタンプに同期される。
本発明の別の目的は、デバイスである。このデバイスは、第１の形式で、ストリーミング・コンテンツを受信し、第２の形式で、同じストリーミング・コンテンツを受信し、かつ、第３の形式で、前記ストリーミング・コンテンツを送信するための通信手段と、第１の形式の前記コンテンツの第１のフレームに対応するインターラクティブマークの受信によって、前記第２の形式で受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するためのマーキング手段と、を有し、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する。
実施例によれば、デバイスは、前記第１の形式の前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２の形式の前記ストリーミング・コンテンツの第２のフレームの受信との間の遅延を計算するためのキャリブレーション手段であって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、キャリブレーション手段を含む。
実施例によれば、前記第１の形式は非圧縮の形式であり、かつ、前記第２の形式は、圧縮形式である。
本発明の別の目的は、本発明の方法のステップを、コンピュータに実行させるための命令を含むコンピュータ・プログラム製品である。「コンピュータ・プログラム製品」とは、ディスケット又はカセットのような、コンピュータ・プログラムを保持するスペースだけでなく、例えば電気的あるいは光学信号のような信号をも意味する。
開示された実施例の範囲を規定する特定の態様を以下に記載する。これらの態様は、単に本発明が必要とし得る特定の形式の概要を提供するだけであり、かつ、これらの態様が本発明の範囲を制限することを目的としない点を理解すべきである。実際、本発明は、後述しない態様を含んでもよい。
本発明は、図面を参照し、以下の実施例及び実施の態様によってより良く理解されるが、これらの記載は、発明の範囲を制限するものではない。
実施例に対応するシステムのブロック図である。 実施例に従った本発明のブロック図である。 実施例に対応するモジュールのブロック図である。 実施例に従ったマーク挿入方法を例示するフローチャートである。
図１〜図３に示されたブロックは単に機能要素であり、そして、必ずしもそれが物理的に別々の要素に対応するというわけではない。すなわち、これらは、ハードウェア又はソフトウェアの形で開発することができ、あるいは１又はいくつかの集積回路でインプリメントすることができる。
［好適な実施例の詳細な説明］
例示的実施形態はＲＴＰによる圧縮ビデオの伝送のフレームワークで行われる。しかし、本発明はこの特定の環境に限られるわけではなく、ストリーミング・コンテンツが非圧縮、及び圧縮された形態で連続して伝送される他のフレームワークに対して適用されてもよい。
実施例によるシステムが図１に示されている。なお、１つの端末だけが示されているが、複数の端末がシステムに存在することは明らかである。ビデオソース１は、サーバ又はその他のいかなるビデオ番組ソースであってもよい。これは、非圧縮フォーマットでビデオ番組を放送する。ビデオ番組は、ビデオエンコーダ２、及びマーク挿入デバイス３（以下ＭＩＤ（Ｍａｒｋ Ｉｎｓｅｒｔｉｏｎ Ｄｅｖｉｃｅ）と呼ぶ）によって受信される。ビデオ番組は、オーディオビデオのコンテンツを含み、かつ、インターラクティブ・コンテンツ（例えばテレテキスト又は字幕）を有してもよい。
ビデオエンコーダ２は、非圧縮のビデオを、圧縮ストリームに圧縮する。これは、ＲＴＰ／ＲＴＣＰを使用して送信される。ビデオは、例えばＵＩＴ−Ｔ Ｈ．２６４標準に従ってエンコードされる。そしてＲＴＰストリームは、ＩＰネットワーク５を介して端末６に配信される。ＩＰネットワークは、マルチキャスト伝送をサポートするＩＰネットワーク（例えばインターネット）であってもよい。
ＭＩＤは、また、エンコーダから圧縮ストリーミング・コンテンツを受信する。ＭＩＤは、マークをプログラムに挿入するのに適している。インターラクティブ・コントローラ４は適切なときに、コンテンツに挿入するインターラクティブマークをＭＩＤに提供する。インターラクティブ・コントローラは、オペレータが放送されるビデオ番組を見ることを可能とするモニタを有する。インターラクティブ・コントローラのオーサリング・ツールは、前もってインターラクティブ・シーケンスを生成し、かつ、それらをＭＩＤに提供する。ＭＩＤは、専用チャネルによって、あるいは、関連するメディアストリームに埋め込むことにより、これらを転送する。もちろん、インターラクティブ・コントローラ、及びＭＩＤは、同じデバイスに共存させることができる。
例えば、サッカーの試合の間、ボタンを押すことによって、ゴールがマークされた場合、オペレータは、端末に対して、事前にロードされたアプリケーションを実行するよう指示するマークを生成することを開始させる。このアプリケーションは、例えば、サッカーの試合のベスト・プレイヤに投票することを促すものであってもよい。このＭＩＤは、入力として、アクティベートするオブジェクトの参照を取得する。例えば、ＵＲＩ、あるいは端末が容易に解釈できるアイデンティファイアを取得する。そして、このマークは、ターミナルのイネーブラ（ｅｎａｂｌｅｒ）として使用され、ビデオ・レンダリングに従って特定の時刻にアクションを動作させる。
マークは、ヘッダ・エクステンションを使用して、ビデオＲＴＰパケットに埋め込まれていてもよい。あるいは、マークストリームによって送信される専用のパケットであって、ビデオストリームにシンクロナイズするものであってもよい。ビデオのレンダリング時刻は、ＲＴＰタイムスタンプに基づく。このＲＴＰタイムスタンプは、ＲＴＰヘッダ・エクステンションがマーキングのために使用されている場合、ビデオストリームＲＴＰパケットの何処にこのマークを挿入するかを示す。もしマークが、別個のマークストリームによって送信される場合、絶対時刻に対応する適切なタイムスタンプによって適切な時刻に対応するマークストリームＲＴＰパケットを生成するために、このビデオＲＴＰタイムスタンプは、絶対的な時刻に変換される。ビデオＲＴＰタイムスタンプを絶対時刻に変換することは、ビデオエンコーダから受信されたＲＴＣＰ送信レポートによって行われる。
ＭＩＤ３が図２に例示されている。これは、処理モジュール３２、通信モジュール３１、記憶モジュール３３、及びマーキングモジュール３４を含む。内部バス３６は、これらの間で、制御及びデータパケット、及び信号を伝送することを可能とする。通信モジュール３１は、ビデオソース及びビデオエンコーダからビデオ・データを受信するための手段を備えている。これは、ビデオエンコーダによりデータを送信し受信する手段、及びインターラクティブ・コントローラを備えている。それは、また、移動端末にデータを送信するための手段を含む。
マーキングモジュール３４は、ビデオに対応するインターラクティブ情報を挿入する手段を提供することを目的とする。インターラクティブマークがビデオフレームに挿入され得るときに、タイミング・モジュール３４１は、タイミングを提供することを目的とする。挿入モジュール３４２は、マークをビデオフレームに挿入することを目的とする。これは、インターラクティブ・コントローラから受信される情報によってマークを生成する。キャリブレーションモジュール３４３は、出力時刻を、入力時刻にキャリブレーションすることを実行する。
ＭＩＤは、フレームがエンコーダの出力に伝送されたとき、このビデオフレームのビジュアライゼーションの時刻と、このパケットのＲＴＰタイムスタンプとの対応付けを行う。
より詳細には、オペレータが、ディスプレイを見てビデオプログラムに対応するインターラクティブマークを生成したときの時刻と、ＭＩＤによってビデオプログラムに対応するエンコードされたフレームが出力される時刻とを対応づける。
更に、キャリブレーションモジュール３４３が図３に例示されている。第１の通信モジュール３．１、及び第２の通信モジュール３．２は、図２の通信モジュール３１の一部である。第１の通信モジュールは、ビデオソース１から非圧縮のビデオを受信する。第２の通信モジュールは、ビデオエンコーダ２から圧縮ビデオを受信する。キャリブレーションモジュールは、第１の通信モジュール３．１から非圧縮のビデオ（第１のビデオ）を受信するビデオ取得モジュール３．３を含む。ビデオフレームは、ＭＩＤクロックｔ０の値とともにキャプチャされる。ｔ０は、ＭＩＤでビデオフレームがキャプチャされた時刻の値であり、この値は、ＭＩＤでのクロックの値に対応する。ビデオ取得モジュール３．３は、ビデオマッチングモジュール３．６に、第１のビデオフレームを送信する。エンコードされたビデオ取得モジュール３．４は、第２の通信モジュール３．２から圧縮ビデオを受信する。これは、圧縮されたビデオをビデオエンコードモジュール３．５に送信する。このビデオエンコードモジュール３．５は、ビデオフレームｆｒａｍｅ＿ｉをデコードし、ＲＴＰタイムスタンプＲＴＰ１、及び対応するエンコーダのクロック値ｔＶ１の値を得る。この両者の値は、エンコーダ２によって生成されるＲＴＣＰ発信者報告によって計算される。
第１のビデオ及びデコーディングの後の第２のビデオのフォーマット及びサイズは同じである。例えば、第１のビデオのフォーマットは、ＹＵＶ４２０フォーマットである。そして、第２のインターフェース（エンコーダからＲＴＰパケットを受信するイーサネット（登録商標）・インターフェース）によってキャプチャされるＲＴＰストリームは、ビデオコーディングモジュール３．５によって、生の（ｒａｗ）ＹＵＶ４２０ビデオフレームにデコードされる。そして、これは、デコードされたビデオ・フレーム（第２のビデオ・フレームと呼ばれる）をビデオマッチングモジュールに送信する。これは、対応するＲＴＰＶｉ、及びｔＶｉと共に、各々のｆｒａｍｅ＿ｉを送信する。全てのｔＶｉの値は、以下の式を使用することによりＲＴＰビデオストリームを伴うＲＴＣＰ発信者報告によって計算される。
Figure 2011521576
 ここで：
・ｔＲＴＣＰは、ＲＴＣＰ発信者報告において与えられた時間値である。
・ＲＴＰＲＴＣＰは、ＲＴＣＰ発信者報告において与えられたｔＲＴＣＰに対応するＲＴＰタイムスタンプである。
・ＲＴＰＶｉは、ｆｒａｍｅ＿ｉのＲＴＰタイムスタンプである。
・１秒毎のＲＴＰタイムスタンプで、Ｖｉｄｅｏタイムスケールが、ビデオエンコーダのフレームを送出する周波数に対応する。
このＶｉｄｅｏタイムスケールは、基準タイムスケールと、ＲＴＰタイムスタンプとの間の対応関係を提供することができる。Ｖｉｄｅｏタイムスケールは、ビデオエンコーダのフレーム送出周波数に対応する。これは、エンコーダによって、ＳＤＰアナウンスメント（ＲＦＣ ４５６６）を介して、レシーバに提供される。このＲＦＣは、ＲＴＰによるメディア（ビデオ、オーディオ等）ブロードキャストの記述が「クロックレート」フィールドを定義する「ｒｔｐｍａｐ」と呼ばれる属性を含むことを示す。エンコーダは、また、オーディオタイムスケールを配信する。
このキャリブレーションは、ビデオマッチングモジュールで実行される。下式に示すように、各々の第２のフレームのピクセルは、第１のフレームのそれぞれと比較される。ここで、ＭＳＥは平均二乗誤差である。
Figure 2011521576
 ここで、
・Ｍは、ピクセル数で表されるフレームの幅である。
・Ｎは、ピクセル数で表されるフレームの高さである。
・ｆ（ｉ，ｊ）は、第2のフレームのピクセル（ｉ，ｊ）である
・Ｆ（ｉ，ｊ）は、第１のフレームのピクセル（ｉ，ｊ）である。
計算は、フレームのＹ（ルマ）平面のみにおいて実行される。Ｕ、及びＶ（クロマ）平面は無視される。あるいは、計算は、平面毎に、フレームの全ての平面で実行される。そして、以下の重みで平均化される：Ｙについては４、Ｕについては１、Ｖについては１。そして、ビデオマッチングモジュールは、デシベル（ｄＢ）の単位を用いて、ピークの信号対雑音比（ＰＳＮＲ）を計算する。以下の式によって、これは、ＭＳＥの二乗根である二乗平均平方根誤差（ＲＭＳＥ）を使用する。
Figure 2011521576
 最も高い値ＰＳＮＲが選択される。これは、入力フレームによりよくマッチするｆｒａｍｅ＿ｉに対応する。ビデオマッチングモジュールは、そのｆｒａｍｅ＿ｉのクロック値ｔＶｉ、及びＲＴＰＶｉ値を得る。そのＲＴＰＶｉ値は、よりよく、ｔ０で受信された第１のフレームにマッチするＲＴＰフレームの値である。これは、ＲＴＰＶ０という名前がつけられ、かつ、関連するＲＴＰインターラクティブ・ストリーム・タイムライン・レフェレンシャルのタイムスタンプ値ＲＴＰ０に対応する。
この時点で、エンコーダの入力における時刻と、ＲＴＰタイムラインとの関係が確立される。キャリブレーションは終了する。この情報は、後述するように、その後マーク挿入で使用される。
オペレータは、時刻ｔｉで受信される第１のフレームの受信時にマーク挿入を実行する。マークは、フレームにアタッチされ、ＲＴＰタイムスタンプ値ＲＴＰｉと共に送信される。ＲＴＰｉは、以下の式によって対応付けられる。
Figure 2011521576
 ここで、
・Δｄは、コンスタントな遅延値であり、ディスプレイのチェーンによって生じるものである。これは、定数であり、ＭＩＤにおいてセットされる。
・インターラクティブ・タイムスケールは、（毎秒のＲＴＰタイムスタンプにおける）ＭＩＤのＩｎｔｅｒａｃｔｉｖｅ Ｔｒｉｇｇｅｒ送信周波数である。
インターラクティブ・タイムスケールは、ＭＩＤによってレシーバに配信される。ＭＩＤは、ＳＤＰファイルをインターセプトし、かつ、インターラクティブタイムスケールパラメータを挿入する。これは、修正されたＳＤＰファイルをレシーバに送信する。
さらに一般的にいえば、ＳＤＰファイルは、デコーダ、及びＭＩＤ以外のデバイスで作り上げられる。このデバイスは、エンコーダ、及びＭＩＤから受信される情報から、完全なＳＤＰファイルを作り上げる。
実施例によれば、マークは専用のＲＴＰストリームの部分である。そして、これは、マークストリームと呼ばれている。図１に示されるように、マークストリームはＩＰネットワークを介して端末６に送信される。もちろん、マークは、ビデオＲＴＰストリームそのものに挿入することができる。この場合、ＭＩＤは、エンコーダの出力に位置し、プロキシとして機能する。これによって、入来するＲＴＰヘッダ・エクステンションが付け加えられているＲＴＰパケットをフィルタリングする。エンコーダは、直接ＲＴＰパケットをＩＰネットワークに送信せず、それらをＭＩＤに送信する。マークがビデオＲＴＰストリームそのものに挿入される場合、ＲＴＰＶ０、及びＲＴＰ０は同じであり、かつ、インターラクティブ・タイムスケールはビデオタイムスケールに等しい。
実施例によれば、エンコーダのクロック、及びＭＩＤのクロックは、同期する。クロックを同じ値にセットするために、ネットワーク・タイム・プロトコル（ＮＴＰ）が、使用される。エンコーダ、及びＭＩＤは、同じＮＴＰサーバを使用する。ＲＴＰタイムスタンプの間の相互関係は、全てが一度に計算される。
あるいは、ＭＩＤは、ＲＴＰ予測を調整するために、ドリフト補償ファクタＣを計算する。このファクタは、エンコーダの出力でＲＴＰパケットをキャプチャすることによって取得される。（キャプチャタイム；ＲＴＰタイムスタンプ）として定義されるデータ・ポイントと、これらのデータ・ポイントによる線形回帰線の傾斜であるｂを用いて、Ｃの値は、Ｃ＝ｂ／ＶｉｄｅｏＴｉｍｅｓｃａｌｅ、で設定される。ＲＴＰ予測の式は、以下のようになる。
Figure 2011521576
 上記のマーク挿入方法は、図４に示される。
ステップＳ１で、ＭＩＤが、非圧縮のストリーミング・コンテンツのフレームを受信する。
ステップＳ２で、ＭＩＤは、圧縮ストリーミング・コンテンツのフレームを受信する。これは、非圧縮の形で受信したストリーミング・コンテンツと同じである。ステップＳ３で、ＭＩＤは、ｔ０で受信された非圧縮のストリーミング・コンテンツのフレームに対応するインターラクティブマークを受信する。このＭＩＤは、インターラクティブマークをストリーミング・コンテンツに挿入する。特に、これは、圧縮ストリーミング・コンテンツによってインターラクティブマークを送信する。
ステップＳ４で、ＭＩＤは、ｔ０で受信された非圧縮のストリーミング・コンテンツのフレームに対応する圧縮コンテンツフレームに、インターラクティブマークを同期させる。ステップＳ５で、ＭＩＤは、インターラクティブマークを送信する。
ビデオストリームに対する実施例を記載した。これは、もちろんオーディオストリームにも適用できる。その場合、システムは、ビデオエンコーダ及びデコーダの代わりに、オーディオ・エンコーダ及びデコーダを含む。キャリブレーションは、ＭＩＤにおける入力、及び出力の間で実行される。非圧縮のオーディオ、及びエンコードされたオーディオは、ＭＩＤの入力及び出力でキャプチャされる。これは、十分に長い期間、入力信号のために約１０秒、及び出力信号のために約１分を要する。
オーディオ・サンプリングレートは、非圧縮のオーディオと、エンコードされたオーディオとでは、同じではない。サンプリング・パラメータは、ＳＤＰ信号を通して入手可能である。これによって、ＭＩＤが、従来のサンプリング・レート変換を行い、必要に応じて、チャネル数の修正を行うことができる。例えば、単一のモノチャネルを得るために平均によって左右のチャネルを平均化することである。入力、及び出力信号の変換された信号の間の相互関係は、以下のように推定される。ここで、ｆｎ、及びｇｎは、離散的な関数である。
Figure 2011521576
 関数ｆ及びｇの相関が高い場合、関数ｆ及びｇの値は高くなる。入力信号及び出力信号の間のギャップは、ｎｍａｘ値であり、これは、最も高い相互関係に対応する。
そして、ＲＴＰ値は以下のようになる。
Figure 2011521576
 そして、ＲＴＰタイムスタンプは、以下のように推定される。
Figure 2011521576
 詳細な説明、請求の範囲、及び図面に記載された参照は、それぞれ独立であってもよく、また、適切な組合せを構成しても良い。発明の特長は、必要に応じて、ハードウェア、ソフトウェア又はこれらの組合せによってインプリメントされる。
本願明細書において、「一実施例」又は「実施例」とは、実施例に対応して記載されている特定の特徴、構造又は特徴が本発明の少なくとも一つのインプリメンテーションに含まれてもよいことを意味する。詳細な説明の様々な場所における、「実施例において」という表現は、必ずしも同一の実施例を指し示しているわけではない。あるいは、ある実施例と相容れない別個のあるいは代替の実施例を示しているわけでもない。
請求項に示されている参照番号は、例示的な目的のために記載したものであり、請求項の範囲に、制限あるいは影響を及ぼすものではない。

Claims (12)

  1. インターラクティブマークをストリーミング・コンテンツに挿入するためのマーク挿入デバイスにおける方法であって、前記デバイスにおいて：
    第１のソースデバイスから第１のフォーマットのストリーミング・コンテンツを受信するステップと；
    第２のデバイスから第２のフォーマットの前記ストリーミング・コンテンツを受信するステップと；
    第３のデバイスから第１のフォーマットの前記コンテンツの第１のフレームに対応するインターラクティブマークを受信するステップと；
    前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップと；
    を有する方法。
  2. 前記第１のフォーマットの前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２のフォーマットの前記ストリーミング・コンテンツの第２のフレームの前記受信との間の遅延を計算するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップ、を有する請求項１記載の方法。
  3. 前記計算するステップは、前記第１及び第２のコンテンツの前記受信の開始時に１回又は繰り返し実行される、請求項２記載の方法。
  4. 前記インターラクティブマークが、前記第２のフレームに付加される、請求項１ないし３のうち何れか１項記載の方法。
  5. 前記インターラクティブマークが前記第２のフレームとは異なるパケットで送信される、請求項１ないし４のうち何れか１項記載の方法。
  6. 前記第１のフォーマットが非圧縮のフォーマットであり、かつ、前記第２のフォーマットが圧縮フォーマットである、請求項１ないし５のうち何れか１項記載の方法。
  7. 前記コンテンツがビデオ・コンテンツである、請求項１ないし６のうち何れか１項記載の方法。
  8. 前記圧縮コンテンツは、ＲＴＰタイムスタンプを含み、かつ、前記インターラクティブマークは、前記ＲＴＰタイムスタンプに同期される、請求項６又は７記載の方法。
  9. 第１のフォーマットで、第１の装置からストリーミング・コンテンツ・フォーマットを受信し、第２のフォーマットで、第２のデバイスから前記ストリーミング・コンテンツを受信し、かつ、第３のフォーマットで、前記ストリーミング・コンテンツを送信するための通信手段と、第１のフォーマットの前記コンテンツの第１のフレームに対応する第３のデバイスからのインターラクティブマークの受信によって、前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するためのマーキング手段と、を有し、
    前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、デバイス。
  10. 前記第１のフォーマットの前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２のフォーマットの前記ストリーミング・コンテンツの第２のフレームの受信との間の遅延を計算するためのキャリブレーション手段であって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、キャリブレーション手段を含む、請求項９記載のデバイス。
  11. 前記第１のフォーマットは非圧縮のフォーマットであり、かつ、前記第２のフォーマットは、圧縮フォーマットである、請求項９又は１０記載のデバイス。
  12. 請求項１ないし８のうち何れか１項記載の方法のステップを、コンピュータに実行させるための命令を含むコンピュータ・プログラム。
JP2011509935A 2008-05-19 2009-05-14 インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法 Active JP5372143B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08305178A EP2124449A1 (en) 2008-05-19 2008-05-19 Device and method for synchronizing an interactive mark to streaming content
EP08305178.9 2008-05-19
PCT/EP2009/055880 WO2009141271A1 (en) 2008-05-19 2009-05-14 Device and method for synchronizing an interactive mark to streaming content

Publications (2)

Publication Number Publication Date
JP2011521576A true JP2011521576A (ja) 2011-07-21
JP5372143B2 JP5372143B2 (ja) 2013-12-18

Family

ID=39864921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011509935A Active JP5372143B2 (ja) 2008-05-19 2009-05-14 インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法

Country Status (6)

Country Link
US (1) US9596505B2 (ja)
EP (2) EP2124449A1 (ja)
JP (1) JP5372143B2 (ja)
KR (1) KR101640148B1 (ja)
CN (1) CN102037728B (ja)
WO (1) WO2009141271A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503340B (zh) * 2011-03-04 2016-01-13 株式会社电通 同步内容广播分发系统
JP2013134119A (ja) * 2011-12-26 2013-07-08 Sony Corp 送信装置、送信方法、受信装置、受信方法、同期伝送システム、同期伝送方法、およびプログラム
WO2013103580A1 (en) * 2012-01-06 2013-07-11 Thomson Licensing Method and system for providing a display of social messages on a second screen which is synched to content on a first screen
US9420322B2 (en) * 2012-03-14 2016-08-16 Time Warner Cable Enterprises Llc System and method for delivering compressed applications
US9883361B2 (en) * 2012-07-27 2018-01-30 Qualcomm Incorporated Delivering time synchronized arbitrary data in an RTP session
CN104735552A (zh) * 2013-12-23 2015-06-24 北京中传数广技术有限公司 一种直播视频标签插入的方法与系统
CN105100963B (zh) * 2014-05-22 2017-12-22 纬创资通股份有限公司 影音媒体文件合成方法与服务系统
CN110998726B (zh) * 2017-06-29 2021-09-17 杜比国际公司 用于使外部内容适配视频流的方法、系统和计算机可读媒体
CN110191367B (zh) * 2018-02-23 2022-02-11 阿里巴巴集团控股有限公司 信息同步处理方法、装置及电子设备
EP4176586A1 (en) * 2020-07-03 2023-05-10 Luminex Lighting Control Equipment NV Method, transmitting device and receiving device for streaming events

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146362A (ja) * 1997-11-12 1999-05-28 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに送受信装置および送受信方法
JP2005012361A (ja) * 2003-06-17 2005-01-13 Mitsubishi Electric Corp 情報配信装置及び情報再生装置
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
WO2005057931A2 (en) * 2003-12-09 2005-06-23 Koninklijke Philips Electronics N.V. Method and system for generating highlights
JP2006279294A (ja) * 2005-03-28 2006-10-12 Tdk Corp コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065050A (en) * 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US20030001880A1 (en) * 2001-04-18 2003-01-02 Parkervision, Inc. Method, system, and computer program product for producing and distributing enhanced media
JP4407007B2 (ja) 2000-05-02 2010-02-03 ソニー株式会社 データ送信装置及び方法
US20020083091A1 (en) * 2000-11-29 2002-06-27 Gregory Pulier Seamless integration of video on a background object
US7530086B2 (en) * 2000-12-12 2009-05-05 Hewlett-Packard Development Company, L.P. Media program timing and identity delivery method and system
KR100441589B1 (ko) 2002-04-01 2004-07-23 삼성전자주식회사 Ｒｔｐ패킷 생성/복원 장치 및 방법
US7111314B2 (en) * 2002-05-03 2006-09-19 Time Warner Entertainment Company, L.P. Technique for delivering entertainment programming content including interactive features in a communications network
US7206327B2 (en) 2002-05-17 2007-04-17 Broadcom Corporation Method and circuit for insertion of time stamp into real time data
EP1554883A1 (en) * 2002-10-15 2005-07-20 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US7403536B2 (en) 2002-12-19 2008-07-22 International Business Machines Corporation Method and system for resequencing data packets switched through a parallel packet switch
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR20060012299A (ko) * 2003-05-16 2006-02-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 레코딩 및 리플레이 방법과 비디오 레코딩 및 리플레이시스템
KR20050001242A (ko) 2003-06-27 2005-01-06 엘지전자 주식회사 이동 통신 단말기의 화상 통화 방법
FR2857813A1 (fr) 2003-07-16 2005-01-21 St Microelectronics Sa Methode d'insertion de marques de synchronisation dans un flux video, compatible avec un chiffrage par blocs
KR100565333B1 (ko) 2004-06-22 2006-03-30 엘지전자 주식회사 휴대단말기의 비디오 오디오 동기장치 및 방법
GB2419975A (en) 2004-11-09 2006-05-10 Nokia Corp Auxiliary content handling
WO2006129236A2 (en) 2005-06-03 2006-12-07 Koninklijke Philips Electronics N.V. Method and apparatus for recording and trick playing interactive digital tv program
US20070064813A1 (en) 2005-09-16 2007-03-22 Terayon Communication Systems, Inc., A Delaware Corporation Distributed synchronous program superimposition
US8994879B2 (en) 2005-10-21 2015-03-31 Thomson Licensing Method and apparatus for audio and video synchronization timestamp rollover correction
US7869420B2 (en) * 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
US7706740B2 (en) * 2006-01-06 2010-04-27 Qualcomm Incorporated Apparatus and methods of selective collection and selective presentation of content
KR100871236B1 (ko) 2006-02-27 2008-11-28 삼성전자주식회사 휴대형 디지털 비디오 방송 방통융합 서비스 시스템에서이동성을 지원하는 방법 및 장치
EP1855402A1 (en) 2006-05-11 2007-11-14 Koninklijke Philips Electronics N.V. Transmission, reception and synchronisation of two data streams
EP1954054A1 (en) 2007-02-02 2008-08-06 Thomson Licensing System and method for transporting interactive marks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146362A (ja) * 1997-11-12 1999-05-28 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに送受信装置および送受信方法
JP2005012361A (ja) * 2003-06-17 2005-01-13 Mitsubishi Electric Corp 情報配信装置及び情報再生装置
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
WO2005057931A2 (en) * 2003-12-09 2005-06-23 Koninklijke Philips Electronics N.V. Method and system for generating highlights
JP2006279294A (ja) * 2005-03-28 2006-10-12 Tdk Corp コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
US20110063502A1 (en) 2011-03-17
EP2124449A1 (en) 2009-11-25
EP2277310A1 (en) 2011-01-26
CN102037728A (zh) 2011-04-27
JP5372143B2 (ja) 2013-12-18
WO2009141271A1 (en) 2009-11-26
KR20110014990A (ko) 2011-02-14
CN102037728B (zh) 2013-03-27
KR101640148B1 (ko) 2016-07-15
US9596505B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
JP5372143B2 (ja) インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
KR101291990B1 (ko) 변경된 스트림 동기화
EP2832109B1 (en) Marker-based inter-destination media synchronization
US8776144B2 (en) Mobile TV system and method for synchronizing the rendering of streaming services thereof
US8819714B2 (en) Ratings and quality measurements for digital broadcast viewers
US20200260132A1 (en) Video distribution synchronization
EP1954054A1 (en) System and method for transporting interactive marks
WO2010092848A1 (ja) 映像品質推定装置および映像品質推定方法
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
EP2003844A1 (en) System and method for transport of a constant bit rate stream
KR20160114586A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20100205317A1 (en) Transmission, reception and synchronisation of two data streams
JP5092493B2 (ja) 受信プログラム、受信装置、通信システム、及び、通信方法
AU2015204359A1 (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130917

R150 Certificate of patent or registration of utility model

Ref document number: 5372143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250