JP2016537834A - メディア・ストリーム間におけるタイムライン情報の相関付け - Google Patents

Abstract

第１メディア・ストリームと第２ストリームとの間においてタイムライン情報を相関付けることを可能にするシステムを提供する。第１メディア・ストリームおよび第２ストリームの双方は、共通再生タイムラインに関連付けられている。このシステムは、メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、この永続的識別に関連つけられたタイムスタンプ値を判定し、このタイムスタンプ値および永続的識別を識別情報として提供することによって、メディア・ストリームについての識別情報を提供するように構成された少なくとも２つのストリーム・モニタを含む。更に、第１メディア・ストリームの第１永続的識別を第２メディア・ストリームの第２永続的識別と照合し、これによって第１メディア・ストリームの第１タイムスタンプ値を第２メディア・ストリームの第２タイムスタンプ値と照合することによって、識別情報を組み合わせて、第１メディア・ストリームのタイムライン情報を第２メディア・ストリームのタイムライン情報と相関付けることを可能にする相関サブシステムも提供する。このシステムは、計算上の複雑さおよび／または帯域幅を減らして、メディア配給ネットワークのセグメントにおける複数のデバイスのために、メディア同期を行うことを可能にする。【選択図】図４

Description

本発明は、第１メディア・ストリームと第２メディア・ストリームとの間においてタイムライン情報を相関付けるシステムおよび方法に関する。更に、本発明は、前述のシステムを含むメディア配給ネットワーク、前述のシステムにおいて使用されるストリーム・モニタまたは相関サブシステム、ならびにプロセッサ・システムに前述の方法を実行させる命令を含むコンピュータ・プログラム製品に関する。更に、本発明は同期クライアントにも関する。

従来技術

ビデオ・コンテンツおよびオーディオ・コンテンツのようなメディア・コンテンツは、一般にはディジタル形態でユーザに配信される。メディア・コンテンツが時間的側面(temporal aspect)を有し、特に、メディア・コンテンツが時の経過においてどのように再生されなければならないか指示するタイムラインに関連付けられている場合、このようなディジタル形態は通例メディア・ストリームと呼ばれる。メディア・ストリームは、メディア配給ネットワークを通じてユーザの受信機に配信することができる。具体的には、メディア・ストリームを受信機にストリーミングすることができ、メディア・ストリーム全体を受信し終える前に、受信機がメディア・ストリームの再生を開始することを可能にする。しかしながら、メディア・ストリームは、例えば、ファイル形態で受信機に配信されることによって、非ストリーミング様式でユーザの受信機に配信されることもある。

メディア・ストリームの例には、カメラで記録したストリームまたはコンピュータによってレンダリングしたストリームというようなビデオ・ストリーム、マイクロフォンで記録したストリームというようなオーディオ・ストリーム、字幕ストリームまたはソーシャル・メディア・ストリームというような定時テキスト・ストリーム(timed text streams)、受信機において広告画像を示すまたはアクションを実行する定時イベント・ストリーム、ならびに異なる形式のメディア・ストリームを含むマルチメディア・ストリームが含まれる。

異なるメディア・ストリームは、これらのメディア・ストリーム間に時間的関係があり得ることから、共通の再生タイムラインに関連付けられるとよい。具体的には、メディア・ストリームは、同期して再生されることが意図される場合がある。これに該当するのは、メディア・ストリームが同じイベントの異なる記録に関係し、例えば、第１メディア・ストリームがビデオ・ストリームであり、第２メディア・ストリームがオーディオ・ストリームである場合、または第１メディア・ストリームが第１カメラ・アングルからのイベントの記録を表すビデオ・ストリームであり、第２メディア・ストリームもビデオ・ストリームであるが異なるカメラ・アングルからの記録を表す場合もある。

したがって、異なるメディア・ストリームの同期再生を可能にすることが求められることがある。加えて、例えば、異なる受信機間にわたって同期して同一の、同様の、または異なるメディア・ストリームの再生を可能にすることが求められることもある。以下に、このようなメディア同期が採用されるとよい既知の例を挙げる。

・ソーシャルＴＶでは、多数のユーザの多数のＴＶまたは他のデバイスにわたる同一または同様のメディア・ストリームの同期が望まれる。同一または同様のメディア・ストリームは、同じストリームの技術的変形(variations)を含むこともあるが、これらは、同じイベントの異なるカメラ・アングルからの記録というような、同じイベントであるが異なるコンテンツを構成するストリームを含むこともある。

・ハイブリッドＴＶでは、潜在的に多数の経路を経て１つのＴＶに到達する多数のメディア・ストリームの同期が望まれる。このような多数の経路には、例えば、ディジタル・ビデオ・ブロードキャスト（ＤＶＢ）、インターネット・プロトコル（ＩＰ）マルチキャスト、およびＩＰユニキャストが含まれることがある。

・コンパニオン・スクリーン(companion screen)では、ＴＶとコンパニオン・スクリーン、例えば、タブレット・デバイスとの間において同じまたは異なるメディアを同期させることが望まれる。尚、「コンパニオン・スクリーン」という用語は、第２スクリーンという別名もあることを注記しておく。

以上の例は主にテレビジョンに言及したが、同様の例は他の形式のデバイスまたは受信機にも存在することを注記しておく。更に、以上の例では、前述のメディア・ストリームの一部または全部が、リアル・タイムまたは擬似リアル・タイム・メディア・ストリームであってもよい。加えてまたは代わりに、前述のメディア・ストリームの一部または全部が、例えば、メディア配給ネットワークによってキャッシュされてもよく、あるいは、例えば、個人ビデオ・レコーダ（ＰＶＲ）によって記録されてもよく、あるいはいわゆるキャッチアップＴＶまたはユーザ・トリック・モード・メディア・ストリーム(user trick-mode media streams)を構成するのでもよい。

ブロードキャスタ(broadcaster)は、同期サービスを提供するために、メディア同期を採用することもあり、この場合、ユーザは多数の経路を経たメディア・ストリームを組み合わせること、および／または種々のブロードキャスタによって提供される組み合わせで多数のデバイス上でメディア・ストリームを組み合わせることができる。このような同期は、全てのメディア・ストリームが集まるブロードキャスタのスタジオ・システムにおいて行うことができる。また、付加価値サービス・プロバイダが、付加価値同期サービスを提供するために、メディア同期を採用することもできる。付加価値メディア・ストリームの例には、他のメディア・ストリーム、例えば、ブロードキャストされたビデオ・ストリームの論評、字幕、放送解説放送(audio description)、または手話解釈を提供するメディア・ストリームが含まれる。

メディア同期に伴う問題の１つは、異なるメディア・ストリームがブロードキャスタまたは第三者において同期されることがあり得るが、エンド・ユーザに配給される間に、その共時性(synchronicity)を失うおそれがあることである。例えば、メディア・ストリームが異なる経路を経て配信されることが考えられる。これらの経路は、距離の相違（送信速度）、多重化およびルーティング（バッファ）、キャッシュおよび記録配信、信号処理（例えば、ミキシング、トランスコード処理）等のために、異なる遅延を有する。同様に、付加価値サービス・プロバイダの場合、付加価値メディア・ストリームはサービス・プロバイダから配信されるが、元のブロードキャスト・ストリームは、ブロードキャスタから、即ち、異なる経路を経て配信されるであろう。

"Multimedia group and inter-stream synchronization techniques: A comparative study"（マルチメディア・グループおよびストリーム間同期技法：比較研究）by F. Boronat et al., Elsevier Information Systems, 34, 2009, pp. 108-131という論文が、既知の宛先間同期技法、即ち、異なる端末間における同期についての総合的全体像を示す。

引用された宛先間同期技法の殆どは、メディア・ストリーム内に含まれるタイムライン情報を利用する。ここで、「タイムライン情報」という用語は、受信機が再生タイムラインにしたがってメディア・ストリームのメディア・サンプルを再生することを可能にするメタデータのことを言う。例えば、メディア・ストリームがリアル・タイム・トランスポート・プロトコル（ＲＴＰ）によって配信される場合、即ち、ＲＴＰメディア・ストリームを構成する場合、ＲＴＰタイムスタンプのようなタイムライン情報を使用することができる。タイムライン情報の他の例には、いわゆるプログラム・クロック基準（ＰＣＲ）、プレゼンテーション・タイムスタンプ（ＰＴＳ）、およびデコード・タイム・スタンプ（ＤＴＳ）が含まれる。このようなタイムライン情報を異なる受信機間にわたって比較することによって、しかるべきストリーム調節値を計算することができる。このような受信機にわたる比較を可能にするために、受信機において同期実経過時間を使用することができ、または代わりに、遅延が殆どないおよび／または遅延が分かっている高品質シグナリング接続を使用することができる。例えば、メディア・ストリームの再生時刻の遅延は、受信機においてメディア・ストリームをバッファすることによって行うことができる。

メディア・ストリームがそれらの元のタイムライン情報をメディア配給ネットワークにおいて失うおそれがあることが認められている。このようなメディア配給ネットワークは、通例、ケーブルテレビの事業者、電気通信事業者、およびインターネット・サービス・プロバイダによって所有され、これらの事業者は、通例、ブロードキャスタや付加価値サービス・プロバイダとは異なる。このようなメディア配給ネットワークでは、メディア・ストリームをネットワーク上での配給に適合させるために、メディア・ストリームがヘッド・エンドにおいて修正される場合がある。このようなネットワークは、例えば、ＤＶＢ系（ＤＶＢ−Ｔ、ＤＶＢ−Ｃ，ＤＶＢ−Ｈ）、ＩＰ系（ＲＴＰ／ＲＴＣＰ、ＩＰマルチキャスト、ＩＰユニキャスト）が考えられる。異なるコデック（ＭＰＥＧ２、Ｈ．２６４、ＨＥＶＣ）、トランスポート技術（ブロードキャスト、ストリーミング、プログレッシブ・ダウンロード、適応ストリーミング）等が、メディア・ストリームの最終的な配信において使用される場合がある。これらのプロセスの１つ以上の間に、メディア・ストリームからその元のメタデータがはぎ取られるおそれがある。その結果、元のタイムライン情報が修正メディア・ストリームには含まれないおそれがある。代わりに、新たなメタデータが含まれるが、これらは新たなタイムライン情報を含むこともある。

このようなメディア・ストリームの修正例には、下記のことが含まれる。

・（再）多重化。ＭＰＥＧ ＴＳ（トランスポート・ストリーム）用のマルチプレクサはその殆どが、多重化の間に新たなＰＣＲ／ＰＴＳ／ＤＴＳ値を生成する。しかしながら、通例では、ＰＣＲ／ＰＴＳ／ＤＴＳの絶対値だけが変化させられる一方、メディア・ストリームにわたるそれらの関係は維持される。したがって、オーディオ−ビデオの音声同期(lip sync)は保存することができる。

・トランスコード処理および再エンコード処理。ここでは、着信および発信メディア・サンプル間における全ての関係が失われるおそれがある。例えば、ビデオ・ストリームの場合、このビデオ・ストリームのフレームは、異なる形式になる、例えば、Ｉ−フレームからＢ−フレームになる場合がある。加えて、トランスコード処理および再エンコード処理中にフレーム・レートが変化した場合、着信および発信フレーム間における１対１の関係が失われるおそれがある。更に、メディア・ストリームのコンテナ全体が、例えば、いわゆるＴＳからＩＳＯＢＦＦに変化させられる場合もあり、これによってタイムライン情報の形式も変化する。

・技術的または業務上の理由。メディア配給ネットワークが、タイムライン情報を通すことを拒否する場合もある。例えば、ＤＶＢ同期補助データ・パケット識別子（ＳＡＤ−ＰＩＤ： DVB Synchronized Auxiliary Data Packet Identifier）が、トランスポート・ストリーム（ＴＳ）からデフォルトではぎ取られることもあり得る。これは、例えば、前述した業務上の理由のために、故意に行われる場合もあり、または単に現行のネットワークによってパラメータがサポートされていない場合もあり、つまり技術的な理由を構成する。

メディア・ストリームが修正され、これによってそれらの元のタイムライン情報を失うことに加えて、同期して再生されることが意図されるが、既に初めから、例えば、メディア・ストリームの生成において、異なるメディア・ストリーム間では、共通のタイムライン情報が提供されず、このようなタイムライン情報は本質的に異なることもあり得る。ここでも、メディア同期に対する必要性があると考えられる。

ＷＯ２０１０１０６０７５Ａ１は、少なくとも第１および第２（メディア）ストリームの宛先間メディア同期のための方法およびシステムについて記載し、第２ストリームは、第１ストリームを入力ストリームとして使用するストリーム修正ユニットの出力ストリームである。この方法は、第１同期地点に到達した第１ストリームにおけるパケットの第１到達時刻情報、および第２同期地点に到達した第２ストリームにおけるパケットの第２到達時刻情報を提供するステップと、前記入力ストリームと前記出力ストリームとの間における共時性関係についての同期相関情報を提供するステップと、第１および第２到達時刻情報、ならびに同期相関情報に基づいて、遅延情報を計算するステップとを含む。

ＷＯ２０１０１０６０７５Ａ１は、修正および未修正メディア・ストリーム間、または異なって修正された２つのストリーム間における宛先間メディア同期を可能にするが、前記メディア同期の少なくとも１つの態様に対して更に改良するシステムまたは方法を提供できれば有利であろう。

本発明の第１の態様は、第１メディア・ストリームと第２メディア・ストリームとの間におけるタイムライン情報を相関付けることを可能にするシステムを提供する。第１メディア・ストリームおよび第２メディア・ストリームの双方は、共通再生タイムラインに関連付けられる。このシステムは、
−少なくとも２つのストリーム・モニタであって、前記ストリーム・モニタの各々が、
ｉ）メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、この永続的識別が、メディア・ストリームを使用して再現可能に入手することができるデータであり、
ｉｉ）永続的識別に関連付けられたタイムスタンプ値を、メディア・ストリームに含まれるタイムライン情報から判定し、
ｉｉｉ）タイムスタンプ値と、１つ以上のメディア・サンプルの永続的識別を識別情報として提供することによって、
メディア・ストリームについての識別情報を提供するように構成され、
第１メディア・ストリームについての第１識別情報を提供する第１ストリーム・モニタと、第２メディア・ストリームについての第２識別情報を提供する第２ストリーム・モニタとを含む、少なくとも２つのストリーム・モニタと、
−第１メディア・ストリームの第１永続的識別を第２メディア・ストリームの第２永続的識別と照合し、これによって第１メディア・ストリームの第１タイムスタンプ値を第２メディア・ストリームの第２タイムスタンプ値と照合することによって、第１識別情報を第２識別情報と組み合わせて、第１メディア・ストリームのタイムライン情報を第２メディア・ストリームのタイムライン情報に相関付けることを可能にする相関サブシステムと、
を含む。

実施形態は、従属請求項において定められる。

以上の手段は、少なくとも２つのストリーム・モニタを含むシステムを提供する。２つのストリーム・モニタの各々は、異なるメディア・ストリーム、即ち、第１メディア・ストリームおよび第２メディア・ストリームについての識別情報を提供する。識別情報を提供するために、各ストリーム・モニタは、それぞれのメディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手する。ここで、「永続的識別」という用語は、メディア・ストリームを使用して再現可能に入手することができるデータを指す。永続的識別の例には、指紋、透かし、およびマーカが含まれ、これらはメディア・ストリームに永続的な形で含まれる。尚、このような識別は、例えば、メディア配給ネットワークを通じて、メディア・ストリームの配給中にメディア・ストリームに行われ得る種々の処理に対してこれらがロバストであるとよいということから、永続的であるのでもよいことは認められよう。更に、各ストリーム・モニタは、１つ以上のメディア・サンプルの永続的識別に関連付けられた、つまり前記メディア・サンプル（１つまたは複数）自体に関連付けられたタイムスタンプ値も判定する。タイムスタンプ値は、プレゼンテーション・タイムスタンプまたはＲＴＰタイムスタンプのような、それぞれのメディア・ストリームに含まれ得るタイムライン情報から判定される。

したがって、第１ストリーム・モニタは、第１メディア・ストリームの１つ以上のメディア・サンプルの少なくとも第１永続的識別、および第１メディア・ストリームの第１タイムライン情報から得られる関連第１タイムスタンプ値を供給し、一方第２ストリーム・モニタは、第２メディア・ストリームの１つ以上のメディア・サンプルの少なくとも第２永続的識別、および第２メディア・ストリームの第２タイムライン情報から得られる関連第２タイムスタンプ値を提供する。

更に、続いて第１ストリーム・モニタから得られる第１識別情報および第２ストリーム・モニタから得られる第２識別情報を入手し、続いてこれらを組み合わせる相関サブシステムが設けられる。したがって、相関サブシステムには、少なくとも第１永続的識別およびその関連第１タイムスタンプ値、ならびに第２永続的識別およびその関連第２タイムスタンプ値が供給される。双方のメディア・ストリームは共通再生タイムラインと関連付けられているので、双方のメディア・ストリームを同期させて再生する、またそうでなければ処理する必要がある場合がある。しかしながら、双方のメディア・ストリームは、例えば、ストリームにおける同じ位置、即ち、コンテンツの同じ部分に対して異なるタイムスタンプ値を有することにより、異なるタイムライン情報を含むことができる。

以上の手段は、第１メディア・ストリームと第２メディア・ストリームとの間においてこのような異なるタイムライン情報を相関付けることを可能にする。ここで、「相関付け」という用語は、本システムが、第１メディア・ストリームのタイムライン情報を第２メディア・ストリームのタイムライン情報に関係付けることを可能にすることを指す。したがって、第１メディア・ストリームのタイムライン情報からのタイムスタンプまたは他のタイミング・データを、第２メディア・ストリームのタイムライン情報からのタイミング・データに関係付けることができ、更にその逆にすることもできる。これが可能なのは、組み合わせられた第１識別情報および第２識別情報が、第１メディア・ストリームの第１永続的識別を第２メディア・ストリームの第２永続的識別と照合することを可能にするからである。ここで、「照合」という用語は、第１永続的識別が第２永続的識別と関係付けられることを言う。このような照合は、例えば、それらの特性の類似性に基づいて直接的であってもよく、または、例えば、共通再生タイムライン上におけるこれらの相対的位置に基づいて間接的であってもよい。具体的には、照合は、双方の永続的識別が時間的に、例えば、共通再生タイムラインに関して関係付けられてもよいことから、時間的な照合であってもよい。例えば、双方の永続的識別が同じ指紋を含む場合、これは、双方の永続的識別が共通再生タイムライン上における同じ再生時間に関係することを示すことができる。

第１永続的識別が第２永続的識別と照合された内在的な結果として、それぞれの関連タイムスタンプ値が互いに照合されたことになる。したがって、前記照合が少なくとも第１タイムスタンプ値を第２タイムスタンプ値と相関付けることを可能にすることから、第１メディア・ストリームのタイムライン情報を第２メディア・ストリームのタイムライン情報に相関付けることができ、前記相関付けは、通例、双方のメディア・ストリーム間におけるタイムライン情報全体の相関付けを可能にするために、一般化が可能である。したがって、それぞれのメディア・ストリームの永続的識別を１回または限定された回数だけ照合した後、直接、即ち、永続的識別を更に使用することなく、双方のメディア・ストリームのタイムライン情報を相関付けることができる。

本発明者は、以下のことを認識している。メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手することは、メディア・ストリームに含まれるタイムライン情報からタイムスタンプ値を判定することに比較して、比較的計算的に複雑である可能性が高い。同様に、永続的識別は、タイムスタンプ値よりも、送信するために多くの帯域幅を必要とするおそれがある。したがって、メディア同期が適用されようとする全てのデバイスに、このような永続的識別を供給することを要求するのは欠点であるかもしれない。しかしながら、本発明者は、このようなデバイスの集合体が、同じタイムライン情報を含む第１メディア・ストリームの同じバージョンにアクセスできればよいことがわかった。例えば、デバイスの一群がメディア配給ネットワークの同じセグメント内に配置されるのでもよい。ここで、セグメントという用語は、メディア・ストリームが配給されるメディア配給ネットワークの一部を指し、第１境界においてメディア・ストリームの入力を含み、第２境界においてメディア・ストリームの少なくとも１つの出力または終点を含み、メディア・ストリームは入力および出力において本質的に同一である。したがって、メディア・ストリームのタイムライン情報は、セグメントにわたる配給の間維持される。

タイムライン情報のみに基づく第１セグメントにおける第１群のデバイスと第２セグメントにおける第２群のデバイスとの間のメディア同期は、先に述べた理由のため信頼性に欠ける可能性があるが、本発明は、例えば、第１セグメントに配置され第１メディア・ストリームについての第１識別情報を提供する第１ストリーム・モニタ、および例えば、第２セグメントに配置され第２メディア・ストリームについての第２識別情報を提供する第２ストリーム・モニタを設けることによって、このようなメディア同期を可能にする。したがって、第１セグメントおよび／または第２セグメント内にある全てのデバイスが、このような永続的識別を入手し供給することは必要ではない。むしろ、第１識別情報を第２識別情報と組み合わせた後、前記デバイスがそれぞれのメディア・ストリームのタイムライン情報を提供し、次いで相関サブシステムによって他方のメディア・ストリームのタイムライン情報と相関付けできることに基づいて、双方のセグメント間、即ち、双方のセグメントにおけるデバイス上で、続いてメディア同期を行うことができる。

したがって、本発明は、１つのデバイス上においてストリーム間同期または音声同期を行うため、あるいはコンパニオン・スクリーン同期、または宛先間同期というような、デバイス間においてストリーム間およびデバイス間同期を行うために、以前に関係付けられていないタイムスタンプを有するメディア・ストリームの同期を可能にすることができる。具体的には、本発明は、タイムライン情報はこのようなメディア・ストリーム間では直接的に関係付けることができない可能性があるという事実による、このようなメディア同期に通例付随する信頼性欠如を生ずることなく、それぞれのメディア・ストリームのタイムライン情報に基づいて、第１メディア・ストリームと第２メディア・ストリームとの間においてメディア同期を可能にすることができる。更に他の利点を挙げるとすれば、このようなメディア同期が適用されようとするデバイスが永続的識別を供給しなくてもよいことである。むしろ、このようなデバイスは、メディア・ストリームの現在のメディア・サンプルに関連付けられたタイムスタンプというような、メディア・ストリームのタイムライン情報を提供すれば十分である。したがって、デバイスの一群にわたってメディア同期を実行するために必要な帯域幅および／または計算的複雑さが低減する。

実施形態では、第２メディア・ストリームが、第１メディア・ストリームの修正バージョンであり、前記修正バージョンが、第１メディア・ストリームのタイムライン情報とは異なるタイムライン情報を含むのでもよい。本システムは、第１メディア・ストリームとこの第１メディア・ストリームの修正バージョンとの間においてタイムライン情報を相関付けることを可能にするために使用されてもよい。このような修正は、メディア・ストリームの配給の間に頻繁に起こる可能性がある。したがって、本システムは、（未修正）第１メディア・ストリームのタイムライン情報に基づいて、第１メディア・ストリームの修正バージョンのメディア同期を可能にすることもできる。何故なら、第１メディア・ストリームの未修正バージョンおよび修正バージョン双方からの再現可能な永続的識別を使用するからであり、即ち、このような修正に対して影響を受けないからである。

実施形態では、第１メディア・ストリームがメディア配給ネットワークを通じて配給されてもよく、このメディア配給ネットワークが、第１メディア・ストリームの修正バージョンを生成するストリーム・モディファイアを含み、第１ストリーム・モニタが、ストリーム・モディファイアのアップストリームにおいてメディア配給ネットワークに含まれてもよく、第２ストリーム・モニタが、ストリーム・モディファイアのダウンストリームにおいてメディア配給ネットワークに含まれてもよい。（再）マルチプレクサ、トランスコーダ、および再エンコーダのようなストリーム・モディファイアが、第１メディア・ストリームのタイムライン情報を修正または置換させてもよく、両方の場合に新たなタイムライン情報が形成される。メディア配給ネットワークに沿って設置されることによって、ストリーム・モディファイアは、事実上、メディア配給ネットワークのアップストリーム・セグメント、即ち、第１メディア・ストリームが配給されるときに通るセグメントと、メディア配給ネットワークのダウンストリーム・セグメント、即ち、第１メディア・ストリームの修正バージョンが配給されるときに通るセグメントとを形成する。アップストリーム・セグメントに第１ストリーム・モニタを設け、ダウンストリーム・セグメントに第２ストリーム・モニタを設けることによって、第１メディア・ストリームからのタイムライン情報を第１メディア・ストリームの修正バージョンからのタイムライン情報と相関付けることができることから、双方のセグメント間におけるメディア同期が可能になる。したがって、第１メディア・ストリームの修正バージョンのメディア同期は、（未修正）第１メディア・ストリームのタイムライン情報に基づいて可能となる。この実施形態の利点を挙げるとすれば、メディア・ストリーム発信、例えば、ブロードキャスタにおけるメディア・ストリームのタイムライン情報に関して定義されることが頻繁にある、受信機におけるアプリケーションのトリガというような同期アクションを、このようなメディア・ストリームの修正バージョンにも同様に適用できることである。

実施形態では、相関サブシステムは、第１永続的識別および第２永続的識別を共通再生タイムラインにリンクする第３識別情報に基づいて、第１永続的識別を第２永続的識別と照合するように構成されるのでもよい。したがって、相関サブシステムは、共通の再生タイムラインを通じて、第１永続的識別を第２永続的識別と関係付けることができる。例えば、相関サブシステムは、第３識別情報を使用して、第１永続的識別を共通再生タイムライン上の第１再生時間と照合し、第２永続的識別を共通再生タイムライン上の第２再生時間と照合することができる。この目的のために、第３識別情報は、例えば、複数の永続的識別、および共通再生タイムライン上における、関連する複数の再生時間を含むとよい。前記照合の内在的な結果として、それぞれの関連するタイムスタンプ値も、共通再生タイムライン上におけるそれぞれの再生時間と照合されたことになる。したがって、第１再生時間が第２再生時間と異なる場合、相関サブシステムは、第１タイムライン情報を第２タイムライン情報に相関付けるときに、この差を考慮に入れることができる。この実施形態の利点を挙げるとすれば、第１メディア・ストリームおよび第２メディア・ストリームが異なる形式のメディア・ストリームであるか、または双方の永続的識別が、コンテンツに関して、同一または同様のメディア・ストリームの異なる再生時間において得られた場合にあり得るように、双方の永続的識別が互いに異なっても、第１永続的識別を第２永続的識別と照合できることである。

実施形態では、第１メディア・ストリームおよび第２メディア・ストリームが、共通タイムライン情報を含むメディア・ストリームの複合体の一部であってもよく、本システムが、更に、メディア・ストリームの複合体についての前記第３識別情報を提供する第３ストリーム・モニタを含んでもよい。ここで、「メディア・ストリームの複合体」という用語は、共通再生タイムラインと意図的に関連付けられることにより、このようなメディア・ストリームの複合体を形成するメディア・ストリームを指す。尚、メディア・ストリームの複合体は、複合メディア・ストリームの形態で配給されてもよいが、そうされなくてもよいことを注記しておく。ここでは、「複合メディア・ストリーム」という用語は、２つ以上のメディア・ストリームで構成された、即ち、複合されたメディア・ストリームを指す。メディア・ストリームの複合体は、配給の間、メディア・ストリームの少なくとも１つがタイムライン情報を含み、このタイムライン情報がメディア・ストリームの複合体の共通再生タイムラインを確立する役割を果たすことができることから、共通タイムライン情報を含むことができる。例えば、第３ストリーム・モニタは、メディア配給ネットワークにおいてメディア・ストリームの複合体の発信地の近くに設けられてもよく、メディア・ストリームの各々に対する複数の永続的識別と共通再生タイムライン上における関連する複数の再生時間とを含む識別情報を本システムに提供することができる。前記第３識別情報を提供する第３ストリーム・モニタを設けることによって、本システムは、第１永続的識別および第２永続的識別を共通再生タイムラインにリンクすることができる。

実施形態では、第２メディア・ストリームが、メディア配給ネットワークを通じて配給されてもよく、メディア配給ネットワークが、更に、第２メディア・ストリームに関して同期アクションを実行する同期サブシステムを含んでもよく、相関サブシステムが、第１メディア・ストリームのタイムライン情報に基づいて同期サブシステムが同期アクションを実行することを可能にするためのタイミング情報を提供するように構成されてもよい。ここで、同期サブシステムは、特許請求するメディア配給ネットワークおよび／または本システムの一部であってもよいが、その必要はないことから、「サブシステム」である。相関サブシステムは、同期サブシステムのエンティティと相互作用して、第１メディア・ストリームのタイムライン情報に基づいて、同期アクションを第２メディア・ストリームに関して実行することを可能にするのでもよい。尚、このような相互作用は、クエリ−応答型相互作用のような、種々の形態を取ることができることは認められよう。クエリ−応答型相互作用では、同期サブシステムのエンティティが、第２メディア・ストリームのタイムライン情報からのタイムスタンプを含むクエリを供給し、相関サブシステムが、タイミング情報の形態の応答を供給する。この応答は、共通再生タイムライン上において同じ再生時間に関係する第１メディア・ストリームのタイムライン情報からのタイムスタンプを含む。ここで、タイミング情報は、したがって、相関サブシステムの出力を構成するのでもよい。タイミング情報は、相関サブシステムによって、第１メディア・ストリームと第２メディア・ストリームとの間においてタイムライン情報を相関付けることによって、入手可能である。このようなクエリ−応答型相互作用のフォーマットは、例えば、アプリケーション・プログラミング・インターフェース（ＡＰＩ）によって指定されてもよい。事実上、相関サブシステムは、同期サブシステムのエンティティに変換サービスを提供することができ、この変換サービスは、タイムスタンプおよび第２メディア・ストリームのタイムライン情報からの他のタイミング・データを、第１メディア・ストリームのタイムライン情報に変換することを含む。

実施形態では、同期アクションが、
−複数の受信機上において第１メディア・ストリームおよび／または第２メディア・ストリームの同期再生を可能にするために、メディア・ストリームがバッファするか、または先にスキップするアクション、
−受信機上において第１メディア・ストリームの第２メディア・ストリームとの同期再生を可能にするために、メディア・ストリームがバッファするかまたは先にスキップするアクション、および
−受信機上におけるメディア・ストリームの再生と同期する、受信機上におけるアプリケーションのトリガ、
から成る一群の内の１つであってもよい。

メディア・ストリームがバッファするまたは先にスキップすることに関する同期アクションは、多数のユーザの多数の受信機にわたる同一または同様のメディア・ストリームの同期が望まれる前述のソーシャルＴＶのシナリオ、異なるメディア・ストリームの１つの受信機に対する同期が望まれるハイブリッドＴＶのシナリオ、およびＴＶ受像機とコンパニオン・スクリーンとの間において同一のまたは異なるメディア・ストリームを同期させることが望まれるコンパニオン・スクリーンのシナリオにおいてメディア同期を実行するために、望まれるであろう。尚、メディア・ストリームのバッファ処理は、受信機自体において、即ち、内部同期クライアントを使用して実行されるのでもよいが、そうされなくてもよいことを注記しておく。例えば、メディア・ストリームのバッファ処理または前方へのスキップは、受信機のアップストリームにおいて、メディア配給ネットワークに含まれる同期クライアントによって実行されてもよい。アプリケーションのトリガに関する同期アクションは、クイズの問題、広告等の同期表示(synchronized presentation)を実行するため、またはアプリケーションを起動して他の形式のアクションを実行させるために望まれるであろう。

実施形態では、同期サブシステムが、同期サーバと、複数の同期クライアントとを含んでもよく、複数の同期クライアントが、第２メディア・ストリームを配給するように構成されたメディア配給ネットワークのセグメントに含まれてもよく、第２ストリーム・モニタが、複数の同期クライアント間においてセグメントに含まれてもよい。ここで、「同期サーバ」という用語は、同期サブシステムにおいて、クライアント−サーバ・モデルにしたがって、即ち、分散型でメディア同期を実行するために同期クライアントと協働するエンティティを指す。具体的には、複数の同期クライアントの各々はエンド・ユーザの受信機に含まれてもよく、一方同期サーバは、複数の受信機にわたるメディア同期を調整することを可能にするために、前記受信機の外部に設けられてもよい。同期サーバは、ＷＯ２０１０１０６０７５Ａ１に、具体的には［００７３］段落以降に記載されているメディア同期アプリケーション・サーバ（ＭＳＡＳ）と同様の機能を同期クライアントに提供するために、本発明による相関サブシステムを含んでもよい。この実施形態の利点を挙げるとすると、第２メディア・ストリームがセグメントにわたって配給されるので、セグメント内部では、セグメントにわたるタイミング情報を第１メディア・ストリームのタイミング情報と相関付けることを可能にするためには、１つまたは限定数のストリーム・モニタだけがあればよいことである。限定数のストリーム・モニタは、バックアップの理由のためでもよい。したがって、各受信機がストリーム・モニタを含まなくてもよい。むしろ、１つの受信機だけがストリーム・モニタを含めばよく、または１つのストリーム・モニタだけが、セグメントにおいて別個の、即ち、単体のエンティティとして含まれればよい。あるいは、セグメントが複数のストリーム・モニタを含んでもよいが、これらのストリーム・モニタの内１つだけを作動させればよい。

実施形態では、相関サブシステムが、第２ストリーム・モニタによる第２メディア・ストリームの監視に基づいて、第２メディア・ストリームに関して前記同期クライアントが同期アクションを実行することを可能にするために、セグメントにおける複数の同期クライアントにタイミング情報を提供するように構成されてもよい。したがって、１つのみまたは限定数のストリーム・モニタによる第２メディア・ストリームの監視に基づいて、複数の同期クライアントにわたってメディア同期を採用することもできる。例えば、メディア同期は、複数の受信機にわたって採用されてもよい。各受信機は、同期クライアントの１つを含み、メディア配給ネットワークの同じセグメントに、例えば、同じヘッド・エンドのダウンストリームに配置され、これらの受信機の内１つまたは限定数のみが識別情報を提供すればよく、つまり比較的高い計算の複雑さおよび／または高い帯域幅をサポートすればよい。

実施形態では、永続的識別が、指紋、透かし、およびマーカ、または１つ以上のメディア・サンプルから成る一群の内の１つであってもよい。指紋および透かしは、メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を提供するというそれらの能力が良く知られている。これは、各々が、メディア・ストリームの配給中にメディア・ストリームから再現可能に入手することができるデータを生成するからである。また、永続的にメディア・ストリームに含まれるマーカも、このようなデータが前記配給の間にメディア・ストリームから再現可能に得られることを可能にする。

実施形態では、メディア配給ネットワークが、ストリーム・モディファイアのダウンストリームにヘッド・エンドを含んでもよく、第２ストリーム・モニタがヘッド・エンドにまたはそのダウンストリームに含まれてもよい。ここで、「ヘッド・エンド」という用語は、それぞれのエンド・ユーザの複数の受信機のような、複数のデバイスのために配給地点として機能する、メディア配給ネットワークにおける機能エンティティを指す。ヘッド・エンドにおいてまたはそのダウンストリームにおいて第２ストリーム・モニタを設けることによって、ヘッド・エンドを介して配給されている第１メディア・ストリームの修正バージョンのタイムライン情報を、（未修正）第１メディア・ストリームのタイムライン情報と相関付けることができる。したがって、ヘッド・エンドを介して第１メディア・ストリームの修正バージョンを入手する全てのデバイスに対して、メディア同期を可能にすることができる。具体的には、ヘッド・エンドのダウンストリーム側のメディア配給ネットワークをセグメントと見なす場合、前記セグメント内に配置された１つまたは限定数のストリーム・モニタのみに基づいて、セグメント内部にある全てのデバイスに対してメディア同期を可能にすることができ、これによってセグメント外部のデバイスとの同期、即ち、他のセグメントにおいて、または（未修正）第１ストリームと以前は時間に関してのみ関係付けられていたストリームとの同期を可能にする。

本発明の他の態様では、メディア配給ネットワークが本システムを含んでもよい。

本発明の他の態様では、ストリーム・モニタおよび／または相関サブシステムが、本システムにおいて使用されるように設けられてもよい。

本発明の他の態様では、本システムと共に使用するための同期クライアントを提供することができる。同期クライアントは、同期クライアントが含まれるセグメントを、相関サブシステムに対して識別するように構成されてもよい。相関サブシステムは、異なるセグメントに含まれるストリーム・モニタから受信された異なる識別情報に基づいて、メディア配給ネットワークの異なるセグメントにおける使用のために、タイミング情報を提供するように構成されてもよい。同期クライアントが含まれるセグメントを識別することによって、例えば、手動で設定されたパラメータ、電子プログラム・ガイド（ＥＰＧ）からのパラメータ、受信されたストリームからのパラメータ等を報告することによって、相関システムがしかるべきタイミング情報を同期クライアントに提供することを可能にする。即ち、このタイミング情報は、同期クライアントと同じセグメントに含まれるストリーム・モニタの識別情報に基づく。

本発明の他の態様では、 第１メディア・ストリームと第２メディア・ストリームの間においてタイムライン情報を相関付けることを可能にする方法を提供する。第１メディア・ストリームおよび第２メディア・ストリームの双方が、共通の再生タイムラインに関連付けられており、前記相関付けが、少なくとも２つのストリーム・モニタから得られる識別情報に基づき、前記ストリーム・モニタの各々が、
ｉ）メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、永続的識別が、メディア・ストリームを使用して再現可能に入手することができるデータであり、
ｉｉ）永続的識別に関連付けられたタイムスタンプ値を、メディア・ストリームに含まれるタイムライン情報から判定し、
ｉｉｉ）タイムスタンプ値と、１つ以上のメディア・サンプルの永続的識別を識別情報として提供することによって、
メディア・ストリームについての識別情報を提供するように構成される。

この方法は、
−少なくとも２つのストリーム・モニタの内第１ストリーム・モニタから、第１メディア・ストリームについての第１識別情報を入手するステップと、
−少なくとも２つのストリーム・モニタの内第２ストリーム・モニタから、第２メディア・ストリームについての第２識別情報を入手するステップと、
−第１メディア・ストリームの第１永続的識別を第２メディア・ストリームの第２永続的識別と照合し、これによって第１メディア・ストリームの第１タイムスタンプ値を第２メディア・ストリームの第２タイムスタンプ値と照合することによって、第１識別情報を第２識別情報と組み合わせて、第１メディア・ストリームのタイムライン情報を第２メディア・ストリームのタイムライン情報に相関付けることを可能にするステップとを含む。

本発明の他の態様では、先の方法をプロセッサ・システムに実行させるための命令を含むコンピュータ・プログラム製品を提供することができる。

尚、以上で述べた本発明の実施形態、実施態様、および／または態様の内２つ以上を、有用と考えられる任意の方法で組み合わされてもよいことは、当業者によって認められよう。

説明した本システムの変更および変形に対応する、前述の方法および／またはコンピュータ・プログラム製品の変更および変形は、この記載に基づいて、当業者によって実行することができる。

本発明は、独立請求項において定められる。有利であるが任意である実施形態は、従属請求項において定められる。

本発明のこれらおよびその他の態様は、以下で説明する実施形態から明白となり、これらの実施形態を参照することにより解明されるであろう。

図１は、多数のメディア同期の使用事例を示す。 図２は、本発明によるストリーム・モディファイアおよびストリームの修正バージョンと（未修正）ストリームとの間においてタイムライン情報を相関付けるシステムを含むメディア配給ネットワークを示す。 図３は、セグメント化メディア配給ネットワークを示す。 図４は、このようなセグメント化メディア配給ネットワークのコンテキストの中における、本発明によるシステムを示す。 図５は、メディア・ストリームにファイルに基づいてアクセスすることができる受信機のコンテキストの中における、本発明によるシステムを示す。

尚、異なる図において同じ参照番号を有する項目は、同じ構造的特徴および同じ機能を有する、あるいは同じ信号であることは注記してしかるべきである。このような項目の機能および／または構造が既に説明されている場合、詳細な説明においてその説明を繰り返すことは不要である。

図１は、メディア配給ネットワーク１０１を示し、このネットワークにおいて、複数のメディア・ストリーム０２０〜０２４が種々のユーザ機器（ＵＥ）１８１〜１８５に配信される。ここでは、ユーザ機器という用語は、１つ以上のメディア・ストリームを受信し、そして通例では再生も行うように構成されたエンド・ユーザのデバイスを指す。このようなデバイスは、受信機、端末、またはエンド端末(end-terminal)とも呼ぶ。図１は、メディア同期の種々の使用事例を総合的に示す。メディア・ストリームＡ０２０およびメディア・ストリームＢ０２２は、メディア・ストリームＡ発信元１１０およびメディア・ストリームＢ発信元１１２からそれぞれ発信し、２つの異なるカメラ・ビューを供給する。一方、メディア・ストリームＣ発信元１１４は、付加価値サービス・プロバイダからのものとすることができ、例えば、コメンテータ・オーディオ・ストリームの形態でメディア・ストリームＣ０２４を供給する。例えば、コメンテータがメディア・ストリームＢ０２２を見て、メディア・ストリームＣ０２４を使用して彼または彼女のコメントを提示しているのでもよい。

メディア配給ネットワーク１０１は、トランスコーダ１２０およびマルチプレクサ１２２の形態としたストリーム・モディファイア１２０、１２２を含むことが示されている。これらを省略してミキサとも呼ぶ。トランスコーダ１２０は、メディア・ストリームＢ０２２をトランスコードすることによって、メディア・ストリームのトランスコード・バージョンＢ０４０を供給することが示され、一方マルチプレクサ１２２は、メディア・ストリームＢ０２２をメディア・ストリームＣ０２４と多重化することによって、混合メディア・ストリーム０４２を形成する(establish)ことが示されている。以上のメディア・ストリーム０２０〜０４２は、以下の使用事例を例示するために、種々のユーザ機器に配信されることが示されている。

ハイブリッドＴＶの使用事例：
１．ＵＥ１ １８１はハイブリッドＴＶであってもよく、主ブロードキャスト・メディア・ストリームをＤＶＢストリームとしてメディア・ストリーム発信元１から受信し、付随メディア・ストリームをＭＰＥＧ−ＤＡＳＨストリームとしてメディア・ストリーム発信元２から受信する。

２．また、ＵＥ１ １８１は、主ブロードキャスト・メディア・ストリームをＤＶＢストリームとしてメディア・ストリーム発信元１から受信し、付随メディア・ストリームをＲＴＰ／ＩＰストリームとしてメディア・ストリーム発信元２から受信するハイブリッドＴＶであってもよい。

３．また、ＵＥ１ １８１は、主ブロードキャスト・メディア・ストリームをインターネット・プロトコルＴＶ（ＩＰＴＶ）マルチキャスト・ストリームとしてメディア・ストリーム発信元１から受信し、付随メディア・ストリームをＲＴＰ／ＩＰストリームとしてメディア・ストリーム発信元２から受信するハイブリッドＴＶであってもよい。

ソーシャルＴＶの使用事例：
１．ＵＥ２ １８２およびＵＥ３ １８３は、ソーシャルＴＶに使用される２台のＴＶであってもよい。ＵＥ２は、メディア・ストリーム発信元２からメディア・ストリームを受信することができ、一方ＵＥ３は同じメディア・ストリームのトランスコード・バージョンを受信することができる。

２．ＵＥ２ １８２およびＵＥ４ １８４は、ソーシャルＴＶに使用される２台のＴＶであってもよい。ＵＥ４は、メディア・ストリーム発信元２および３からのメディア・ストリームを組み合わせた混合メディア・ストリームを受信することができる。

コンパニオン・スクリーンの使用事例：
１．ＵＥ２ １８２はＴＶであってもよく、そしてＵＥ３ １８３はタブレット・デバイスであってもよい。１つのメディア・ストリームがＴＶ上で再生され、このメディア・ストリームのトランスコード・バージョンがタブレット・デバイス上で再生されるのでもよい。

２．ＵＥ２ １８２はＴＶであってもよく、そしてＵＥ５ １８５がタブレット・デバイスであってもよい。１つのメディア・ストリームがＴＶ上で再生され、異なるメディア・ストリームがタブレット・デバイス上で再生されるのでもよい。

本発明は、これらのメディア・ストリームの２つ以上の間においてメディア同期を可能にするために、以上で説明した使用事例に適用することができる。本発明について、図２〜図７を参照して更に説明する。

図２は、本発明による第１実施形態を示す。ここでは、メディア配給ネットワーク１０２が示されており、タイムスタンプＴＳ_Ａの形態でタイムライン情報を含むメディア・ストリームＡ０２０を供給するメディア・ストリーム発信元Ａ１１０を含む。メディア・ストリームＡ０２０は、ＵＥ１ １８１に配信され、更にトランスコーダ１２０の形態のストリーム・モディファイア１２０に配信されることが示されている。トランスコーダ１２０は、メディア・ストリームＡ０２０をトランスコードして、短いメディア・ストリームＢ４０において、メディア・ストリームＡのトランスコード・バージョンを生成することが示されている。メディア・ストリームＢ４０は、タイムスタンプＴＳ_Ｂの形態で新たなタイムライン情報を含む。したがって、メディア・ストリームＡおよびメディア・ストリームＢは、双方共共通の再生タイムラインに関連付けられているが、異なるタイムライン情報を含む。メディア・ストリームＢ０４０は、ＵＥ１８２に配信されることが示されている。

図２は、更に、メディア・ストリームＡとメディア・ストリームＢとの間においてタイムライン情報を相関付けるシステムも示す。このシステムは、２つのストリーム・モニタ（ＳＭ）、即ち、ストリーム・モニタＡ２０１およびストリーム・モニタＢ２０２を含む。本発明によれば、前記ストリーム・モニタの各々は、メディア・ストリームについての識別情報を提供するように構成することができ、ｉ）メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、この永続的識別が、メディア・ストリームを使用して再現可能に入手することができるデータであり、ｉｉ）メディア・ストリーム内に含まれるタイムライン情報から永続的識別に関連付けられたタイムスタンプ値を判定し、ｉｉｉ）１つ以上のメディア・サンプルのタイムスタンプ値および永続的識別を、識別情報として提供する。

具体的には、図２は、メディア・ストリームＡ０２０についての識別情報Ａ０８０を提供するメディア・モニタＡ２０１、およびメディア・ストリームＢ０４０についての識別情報Ｂ０８２を提供するストリーム・モニタＢを示す。

図２は、更に、相関サブシステム３００も示す。相関サブシステム３００は、先に述べたシステムの一部であり、メディア・ストリームＡとメディア・ストリームＢとの間においてタイムライン情報を相関付けることを可能にする。相関サブシステム３００は、識別情報Ａ０８０をストリーム・モニタＡ２０１から、そして識別情報Ｂ０８２をストリーム・モニタＢ２０２から受信することが示されている。本発明によれば、相関サブシステムは、識別情報Ａを識別情報Ｂと組み合わせて、メディア・ストリームＡのタイムライン情報を、メディア・ストリームＢのタイムライン情報に相関付けることを可能にするように構成することができる。この目的のために、相関サブシステム３００は、メディア・ストリームＡの永続的識別をメディア・ストリームＢの永続的識別と照合し、これによって、第１メディア・ストリームのタイムスタンプ値、例えば、タイムスタンプＴＳ_Ａの１つを、第２メディア・ストリームのタイムスタンプ値、例えば、タイムスタンプＴＳ_Ｂの１つと照合することができる。

以下に、本システムの動作の更に詳細な例を示す。この例では、ストリーム・モニタＡおよびストリーム・モニタＢが、これらそれぞれの識別情報の一部として、以下のタイムスタンプ値を供給すると仮定する。

−ストリーム・モニタＡは、１：４３：３２，２００．のタイムスタンプ値Ａを供給することができる。これは、正規のクロック・フォーマットであり、正規のクロックと同様に増加することができる。

−ストリーム・モニタＢは、３，６００，０００のタイムスタンプ値Ｂを供給することができる。これは、ＲＴＰタイムスタンプであり、これに対するクロック・レートは分からない場合もある。

次いで、相関サブシステム３００は、関連付けられた永続的識別を時間的に照合することによって、双方のタイムスタンプ値を相関付けることができる。例えば、相関サブシステム３００は、永続的識別ＡおよびＢが、再生時間において４秒の差を有し、メディア・ストリームＡが先行すると判定することができる。この目的のために、相関サブシステム３００は、複数の永続的識別、および共通再生タイムライン上において関連する複数の再生時間を含む追加の識別情報を使用することができる。このような追加の識別情報は、ストリーム・モニタＡまたはＢの一方から、あるいはこのような識別情報を所定の形態で含むデータベースから得られたのでもよい。あるいは、相関サブシステム３００が、このような追加の識別情報なく、永続的識別ＡおよびＢを時間的に照合するのでもよい。例えば、永続的識別ＡおよびＢが同一または同様である場合、相関サブシステム３００は、双方が同一または同様の再生時間に関係すると判定することができる。また、永続的識別ＡおよびＢ自体が、これらがどのように時間的に一致するか示すこともできる。

３，６００，０００のタイムスタンプ値Ｂに対するクロック・レートは未知であるが、メディア・ストリームＡのタイムライン情報を、それでもなお、メディア・ストリームＢのタイムライン情報に相関付けることができる。即ち、４秒の差をタイムスタンプ値Ａから減算して、１：４３：２８．２００．のタイムスタンプ値を求めることによって相関付けることができる。したがって、メディア・ストリームＡに対する１：４３：２８．２００．のタイムスタンプ値は、メディア・ストリームＢに対する３，６００，０００のタイムスタンプ値と対応すると判定することができる。

しかしながら、ある場合には、タイムスタンプに関連付けられたクロック・レートというような追加情報が必要とされることもある。以下の例では、ストリーム・モニタＡおよびストリーム・モニタＢが以下のタイムスタンプ値をそれらそれぞれの識別情報の一部として供給すると仮定する。

−ストリーム・モニタＡは、５１２，０００のタイムスタンプ値Ａを供給することができる。

−ストリーム・モニタＢは、１，３１２，０００のタイムスタンプ値Ｂを供給することができる。

この場合も、永続的識別ＡおよびＢは、再生時間に４秒の差があり、メディア・ストリームＡが先行すると仮定する。以上のタイムスタンプ値ＡおよびＢを相関付けるために、それぞれに使用されたクロック・レートが必要とされるであろう。これは、例えば、ストリーム・モニタＡ２０１および／またはＢ２０２によって判定される、使用されたＡ／Ｖプロファイルから導き出すことができ、あるいはＵＥによって相関サブシステム３００に伝達されてもよい。この特定例では、双方のストリームがオーディオを搬送するＲＴＰストリームである。したがって、相関サブシステムは、メディア・ストリームＡのクロック・レートは１６，０００であり、メディア・ストリームＢのクロック・レートは８，０００であると判定することができる。

この追加情報は、タイムスタンプ値ＡおよびＢを相関付けることを可能にする。メディア・ストリームＡは４秒だけ先行するので、２つのタイムスタンプを相関付けるためには、４秒をタイムスタンプ値Ａから減算すればよい（または、４秒をタイムスタンプ値Ｂに加算してもよい）。メディア・ストリームＡのタイムライン情報において、４秒に１６，０００を乗算した値は６４，０００に等しいので、５１２，０００−６４，０００＝４４８，０００のタイムスタンプ値Ａが、１，３１２，０００のタイムスタンプ値Ｂに対応すると判定される。

これに関して、タイムライン情報が一定の粒度を有するとよい、即ち、収容されるタイムスタンプまたは他のタイミング・データが合法値および違法値を有するとよいことを注記しておく。また、この情報は、相関サブシステム３００によって、例えば、タイムライン情報の粒度、したがってタイムスタンプを考慮して、計算されたタイムスタンプ値を最も近い合法値に丸めるために使用されてもよい。

図２は、相関サブシステム３００の出力、即ち、タイミング情報０９０を示す。これは、定時イベントをブロードキャストと同期させるとき、具体的には、受信機、即ち、ＥＵ２ １８２上においてメディア・ストリーム再生と同期させて、受信機上でアプリケーションをトリガするときに使用される。このような同期は、同期アクションの一例である。相関サブシステム３００の出力に基づいて実行することができる同期アクションの他の例には、複数の受信機上において１つ以上のストリーム(one or media stream)の同期再生(playback)を可能にするために、メディア・ストリームがバッファすることまたは先にスキップすること、あるいは（１つの）受信機上において２つ以上のメディア・ストリームの同期再生を可能にするために、メディア・ストリームがバッファすることまたは先にスキップすることが含まれる。

１つ以上のブロードキャストされるメディア・ストリームと定時イベントとの同期は、それ自体周知である。このような同期は、例えば、自宅にいるユーザが、ブロードキャストにおける回答者と同時に質問を見ることを可能にすることによって一緒に参加することができ、回答者を一緒に参加させる(play)クイズ・ショーを可能にする。このようなイベントは、ブロードキャスタがこれらのイベントを、例えば、メタデータの形態で、メディア・コンテンツを搬送するコンテナに挿入することによって、受信機に指示することができ、これによってイベントを直接メディア・ストリームにリンクする。しかしながら、このようなメタデータが種々のメディア配給ネットワークを通過できない場合がある。また、クイズ・ショーにおいて一緒に出される質問(play-along question)が、タブレット・デバイスのような二次デバイス上に示されることもあり、この場合、この二次デバイスにＴＶのような主ディスプレイ・デバイスとの同期が必要となる。

図２は、イベント・サーバ３５０を示す。イベント・サーバ３５０は、イベント情報３２２をＵＥ１ １８２およびＵＥ２ １８２に提供することによって、タイムスタンプＴＳ_Ａ，１、即ち、メディア・ストリームＡにおける特定のタイムスタンプにおけるある種のイベントＡを指示するように構成される。このイベントは、テレビジョン・ゲーム・ショーにおいて尋ねられるクイズの質問に対応するのでもよく、または投票を提出するための時間が終了したことを示すのでもよい。ＵＥ１ １８１は、このイベントに対して適した時点において直接動作することができる。これは、イベント・サーバ３５０によって示されるタイムスタンプＴＳ_Ａ，１がメディア・ストリームＡにおけるこれらに対応するからである。ここで、「〜に対応する」という用語は、受信されたメディア・ストリームのタイムライン情報に関して、即ち、他のタイムスタンプＴＳ_Ａとして、表現されたタイムスタンプＴＳ_Ａ，１を指す。したがって、ＵＥ１ １８１は、直接的にそして正しい時点で、即ち、メディア・ストリームＡのメディア・ストリーム再生と同期して、ＵＥ１上において、例えば、クイズの質問を図式的に提示するアプリケーションを起動することができる。しかしながら、ＵＥ２ １８２はイベント情報３２２を直接使用することはできない。とは言え、ＵＥ２ １８２がイベント情報３２２を使用することを可能にするために、相関サブシステム３００は、相関情報０９０をＵＥ２ １８２に提供することが示されている。これによって、ＵＥ２ １８２がタイムスタンプＴＳ_Ａ，１をタイムスタンプＴＳ_Ｂ，１に変換することが可能になる。タイムスタンプＴＳ_Ｂ，１は、メディア・ストリームＢに含まれるタイムライン情報のタイムスタンプＴＳ_Ｂに対応する。

尚、相関サブシステム３００が相関情報０９０をＵＥ２ １８２に提供することを示したが、このような情報はイベント・サーバ３５０にも提供してもよいことは認められよう。したがって、それぞれのメディア・ストリームのタイムライン情報のタイムスタンプに対応する受信機の各々に、イベント・サーバ３５０がイベント情報３２２を、即ち、ＵＥ１ １８２にはタイムスタンプＴＳ_Ａ，１の形態で、そしてＵＥ２ １８２にはタイムスタンプＴＳ_Ｂ，１の形態で、提供することを可能にするのでもよい。

本発明は、セグメント化メディア配給ネットワークにおいてメディア同期を可能にするために使用できるという利点がある。ここでは、セグメント化メディア配給ネットワークという用語は、各々が１つ以上のメディア・ストリームを配給する数個のセグメントを含むメディア配給ネットワークを指す。

図３は、そのようなセグメント化メディア配給ネットワーク１０３の例を示す。メディア配給ネットワーク１０３は、メディア・ストリーム発信元１１０〜１１４と、トランスコーダ１２０およびマルチプレクサ１２２の形態であるストリーム・モディファイア１２０、１２２とを含むことが示されている。図１のメディア配給ネットワークに関する相違は、図３では、メディア・ストリームがメディア配給ネットワーク１０３のヘッド・エンド１４１〜１４５に配信されることが示され、ヘッド・エンドの各々が、それぞれのエンド・ユーザの複数の受信機というような、複数のデバイスのための配給地点として機能することである。したがって、ヘッド・エンドは、メディア配給ネットワーク１０３の多数のセグメント１６１〜１６５を形成し、その各々が異なる複数のデバイスを含む。図３は、このようなメディア配給ネットワーク１０３においてよく見られる構成を示し、ストリーム・モディファイア１２０、１２２は、ヘッド・エンド内やダウンストリーム側ではなく、ヘッド・エンド１４１〜１４５のアップストリーム側において、メディア配給ネットワーク１０３に含まれてもよい。

本発明は、それぞれのセグメントにおけるメディア・ストリームのタイムライン情報がセグメントの実質的に全体にわたって同じであるという仮定に基づいて、特に、このような変更を受信機自体において除外するときに、このようなセグメント化メディア配給ネットワークに適用することができる。

図４は、これの結果を示し、図４は、このようなセグメント化メディア配給ネットワーク１０４のコンテキストの中における本発明によるシステムを示す。ここでは、３つのメディア・ストリーム発信元１１０〜１１４と、４つのヘッド・エンド１４１〜１４４が示されている。ヘッド・エンド１４１〜１４４の各々は、１組の受信機を配備し(serve)、各受信機は同期クライアントＳＣを含む。明確化の理由のために、図４は、受信機自体を示さず、代わりに、セグメントの各々において同期クライアント４００のみを示す。更に、図４における各セグメントは３つの同期クライアントだけを含み、したがって３台の受信機だけの使用を示すが、実際には、このようなセグメントはそれよりもかなり多い数の受信機および付随する同期クライアントを含むこともあることは認められよう。図４は、更に、セグメントの各々に、即ち、ヘッド・エンド１４１〜１４４の各々のダウンストリーム側に配置されたストリーム・モディファイア２０１〜２０４も示す。

図４のコンテキストの中における本システムの動作について、以下のように説明する。各メディア・ストリームは、永続的識別ユニットを通ることができ、このユニットは、それぞれのメディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手する。永続的識別ユニットは、図４では、指紋、透かし、および／またはマーカ（ＦＷＭ）ユニット２１０〜２１４として示されている。図４に示すように、異なるＦＷＭユニット２１０〜２１４が互いに通信し、マスタ・ウォール・クロック(master wall clock)を有することができ、これによって、永続的識別を時間的に関係付けることが可能になる。加えてまたは代わりに、ＦＷＭユニット２１０〜２１４の地点(point)においてメディア・ストリーム間に正確な同期を確立するために、ブロードキャスタまたは付加価値サービス・プロバイダによる手動編集制御(manual editorial control)があってもよい。ＦＷＭユニットは、永続的識別（１つまたは複数）を入手するために指紋を採用することもできる。この場合、ＦＷＭユニットはメディア・ストリームを受動的に監視することができる。また、ＦＷＭユニットは透かしまたはマーキングを採用することもできる。これらの場合、ＦＷＭユニットはこれらの（透かし）マークをそれぞれのメディア・ストリーム内に能動的に入れることができる。その結果、ＦＷＭユニット２１０〜２１４は、同時に再生すべき異なるセグメントからのメディア・サンプルを相関付ける複数の永続的識別を供給することができる。このような情報は、図４において破線の矢印で示すように、相関サブシステム３００に識別情報の形態で提供されてもよい。このような識別情報は、更に、メディア・ストリームのタイムライン情報の関連タイムスタンプ、即ち、コンテンツ・タイムスタンプも含むことができる。事実上、各ＦＷＭユニット２１０〜２１４は、永続的識別およびメディア・ストリームのメディア・サンプルの関連タイムスタンプを供給することから、ストリーム・モニタを構成することもできる。

ヘッド・エンド１４１〜１４４によって形成された各セグメントにおいて、ストリーム・モニタ２０１〜２０４が置かれ、セグメントの各々において配信されるメディア・ストリームから永続的識別を入手する。この永続的識別の形式を、ＦＷＭユニット２１０〜２１４のそれと照合すればよい。次いで、各ストリーム・モニタ２０１〜２０４は、識別情報を相関サブシステム３００に提供する。この識別情報は、１つ以上の永続的識別と、メディア・ストリームのタイムライン情報からの関連タイムスタンプとを含む。次いで、相関サブシステム３００は、セグメントの各々においてメディア・ストリームのタイムライン情報を相関付けることを可能にするために、この識別情報を組み合わせることができる。即ち、１つのセグメントにおけるメディア・ストリームの永続的識別を、他のセグメントにおける第２メディア・ストリームの永続的識別と時間的に照合することによって、関連タイムスタンプ値を時間的に照合する。このようにして、相関サブシステム３００は、異なるセグメント間においてメディア・ストリームのタイムスタンプがどのように相関するか判定することが可能になるとよい。

尚、図４には示されないが、ヘッド・エンド１４１〜１４４が同じメディア・ストリームの異なる修正バージョンおよび／または未修正バージョンを受信した場合、１つのセグメントからの永続的識別を他のセグメントからの永続的識別と直接時間的に照合することができるので、ＦＷＭユニットを不要にすることもできる。

図４は、同期サーバ、即ち、メディア同期アプリケーション・サーバ（ＭＳＡＳ）に含まれる相関サブシステム３００を示す。ＭＳＡＳ３００および同期クライアント４００は、これらがメディア・ストリームに関して同期アクションを実行することを可能にすることから、同期サブシステムを形成する。図４のＭＳＡＳ３００は、ＦＷＭユニット２１０〜２１４および同期モニタ２０１〜２０４から識別情報を受信することが示されている。ＭＳＡＭ３００は、この情報を組み合わせて、１つ以上の同期クライアント４００のためにタイミング情報を生成することができる。例えば、タイミング情報は、受信機が受信しているメディア・ストリームからのタイムライン情報に関して表現されたタイムスタンプを含むことができ、これによって１つ以上の同期クライアント４００が、受信されたメディア・ストリームに関して同期アクションを実行することが可能になる。

図４に示すように、そして本発明によれば、それぞれのセグメント各々における同期クライアント４００の数と比較して、１つまたは限定数のストリーム・モニタ２０１〜２０４だけを設ければ十分な場合もある。ＭＳＡＳ３００が多数のセグメントにサービスを提供する場合、ＭＳＡＳ３００が、それぞれの同期クライアント４００がどのセグメントに属するのか判定することが必要になることもある。ここで、セグメントは、ストリーム・モニタに関してＭＳＡＳ３００内部で定義されてもよいことを注記しておく。したがって、ストリーム・モニタがセグメントに関連付けられる必要はなく、代わりに、同期クライアントがストリーム・モニタと関連付けられ、これによってセグメントを形成すればよい。このような情報は、各同期クライアント４００によって暗示的または明示的に提供されてもよい。例えば、同期クライアントは、手動で設定されたパラメータ、電子プログラム・ガイド（ＥＰＧ）からのパラメータ、受信されたストリームからのパラメータ等について報告することもできる。後者の一例には、ＲＴＰストリームからの同期ソース、ＳＳＲＣパラメータを挙げることができる。あるいは、ＭＳＡＳ３００が、ネットワーク・アドレス、ルーティング情報等に基づいて、セグメントを検出することもできる。

以上、１つ以上のメディア・ストリームがストリーミングされるというコンテキストの中において、本発明について説明した。しかしながら、このようなメディア・ストリームは、ストリーミング以外の様式で、例えば、ファイルからアクセスされることによって、受信機によってアクセスすることもできる。

図５は、メディア・ストリームに対してファイルに基づくアクセスを行うことができる受信機のコンテキストの中における本発明によるシステムを示す。この実施形態は、記録されたメディア・ストリームを種々の方法で入手することができる以下の使用事例に基づく。例えば、個人用ビデオ・レコーダ（ＰＶＲ）によって、それら自体の位置で（ユーザ−ＰＲＶ）またはネットワークにおける記録機能を使用して（ネットワーク−ＰＶＲ）ムービーを記録するのでもよい。また、同じムービーが、例えば、ビデオ・オン・デマンド（ＶｏＤ）インターネット・サービスによってダウンロードされても、あるいはＤＶＤまたはブルー・レイを購入することによって入手されるのでもよい。

このようにソースが異なる記録のタイムライン情報は異なる場合があるが、これらの記録のメディア・ストリームを同期させて再生することを可能にすることが必要になる場合や、または一般にタイムライン情報をこのようなメディア・ストリーム間で相関付けることが必要になる場合がある。図５は、各々２つの受信機を有する２つのクラスタ、即ち、第１および第２受信機１９１，１９２を含む第１クラスタ１７１と、第３および第４受信機１９３，１９４を含む第２クラスタ１７２を示すことによって、このような使用事例を示す。第１クラスタ１７１における受信機１９１，１９２は、各々、第１ファイルにアクセスすることができ、第２クラスタ１７２における受信機１９３，１９４は、各々、第２ファイルにアクセスすることができる。即ち、これらの受信機の各々のローカル・ストレージ内にそれぞれのファイルを格納することによって、アクセスすることができる。第１ファイルおよび第２ファイルは、例えば、同じムービーの異なる記録を含んでもよく、したがって、各々が異なるメディア・ストリームを供給する。したがって、それぞれのファイルに含まれるメディア・ストリームは、異なるタイムライン情報を含むであろう。

図５の例では、第１受信機１９１および第３受信機１９３は、各々、ストリーム・モニタＳＭ１，ＳＭ３を含み、各ストリーム・モニタが、ファイルのメディア・ストリームについて識別情報を提供するように構成され、ｉ）メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、ｉｉ）メディア・ストリームに含まれるタイムライン情報からの永続的識別に関連付けられたタイムスタンプ値を判定し、ｉｉｉ）このタイムスタンプ値、および１つ以上のメディア・サンプルの永続的識別を識別情報として提供する。

具体的には、図５は、識別情報をＭＳＡＳ３００に提供するストリーム・モニタＳＭ１およびストリーム・モニタＳＭ３を示す。第１ファイルのメディア・ストリームからの第１永続的識別を第２ファイルのメディア・ストリームからの第２永続的識別と照合するために、ＭＳＡＳ３００は、複数の永続的識別と共通再生タイムライン上において関連する複数の再生時間とを含む識別情報にアクセスすることができる。識別情報は、データベース３１０上に含まれてもよく、そして、例えば、１つ以上のムービー、ビデオ・プログラム等の全ての指紋を含むことができることから、これが基準識別情報を構成してもよい。したがって、ＭＳＡＳ３００は、第１永続的識別を第２メディア・ストリームの第２永続的識別と時間的に照合することによって、第１ファイルのメディア・ストリームの第１タイムスタンプ値を第２ファイルのメディア・ストリームの第２タイムスタンプ値と照合することができる。

受信機にわたる宛先間メディア同期を得るために、受信機の各々における同期クライアントはこの時点において、ファイルのメディア・ストリームのタイムスタンプに基づいて、それらのメディア受信および／または再生タイミングについて報告し、応答して、タイミング情報をＭＳＡＳ３００から受信することができ、それぞれのメディア・ストリームに関して同期アクションを実行することを可能にする。

図３および図４のセグメントと同様、ＭＳＡＳ３００は、受信機またはその同期クライアントがどのクラスタに属するか判定する必要がある場合がある。クラスタはＭＳＡＳ３００内部でストリーミング・モニタ２０１、２０３に関して定義されてもよいので、図５の例では、ストリーム・モニタＳＭ１を含む第１クラスタ１７１またはストリーム・モニタＳＭ２を含む第２クラスタ１７２のどちらにそれぞれの受信機が配置されているかＭＳＡＳ３００に識別させる情報を提供する必要があるとすれば、第２受信機１９２および第４受信機１９４だけであろう。このような情報は、各受信機の同期クライアント４０２，４０４によって、例えば、ＴＶプログラムを記録するとき、記録されるＴＶプログラム、記録をプログラミングするために使用されるＥＰＧ、レコーダの形式、ＴＶ供給業者、記録されている事前ショー・タイミング設定（recorded pre-show timing setting)等のような詳細を供給することによって、提供されればよい。ファイルがＶｏＤプロバイダからダウンロードされる場合、このプロバイダも、ダウンロードされるコンテンツ項目の識別と一緒に示されればよい。ファイルがＤＶＤまたはブルー・レイ・ディスクから入手される場合、ディスク上にある他の識別子と共に、コンテンツ項目を使用すればよい。他の情報には、コンテンツの正確な長さ、使用されるコデック、入手可能なＥＰＧ情報等が含まれる。

尚、図５の例は、ＩＰＴＶプロバイダのドメインにおけるように、ＩＰＴＶ環境にも適用できる利点があり、限定された数の異なる形式の受信機、即ち、セット・トップ・ボックスだけがあればよいことは認められよう。したがって、識別情報を提供するためには、少数の受信機だけがあればよい。例えば、ストリーム・モニタを構成する(comprise)ためには、異なる形式の各受信機が１台だけあれば済み、このような情報はその後同じ形式の他の全ての受信機のためにタイミング情報を提供するために使用される。

本発明による方法は、第１メディア・ストリームと第２メディア・ストリームとの間においてタイムライン情報を相関付けることを可能にし、第１メディア・ストリームおよび第２メディア・ストリームは双方共、共通の再生タイムラインに関連付けられる。前記相関付けは、少なくとも２つのストリーム・モニタから得られる識別情報に基づき、前記ストリーム・モニタの各々は、
ｉ）メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、永続的識別はメディア・ストリームを使用して再現可能に入手することができるデータであり、
ｉｉ）メディア・ストリームに含まれるタイムライン情報から、永続的識別に関連付けられたタイムスタンプ値を判定し、
ｉｉｉ）タイムスタンプ値、および１つ以上のメディア・サンプルの永続的識別を識別情報として提供する、
ことによって、メディア・ストリームについての識別情報を提供するように構成される。

この方法は、「第１メディア・ストリームについての識別情報を入手する」と称される第１ステップにおいて、第１メディア・ストリームについての第１識別情報を、少なくとも２つのストリーム・モニタの内第１ストリーム・モニタから入手することを含むのでもよい。更に、この方法は、「第２メディア・ストリームについての識別情報を入手する」と称される第２ステップにおいて、第２メディア・ストリームについての第２識別情報を、少なくとも２つのストリーム・モニタの内第２ストリーム・モニタから入手することを含むのでもよい。更に、この方法は、「識別情報を組み合わせて、双方のメディア・ストリーム間においてタイムライン情報を相関付けることを可能にする」と称される第３ステップにおいて、第１メディア・ストリームの第１永続的識別を第２メディア・ストリームの第２永続的識別と照合し、したがって、第１メディア・ストリームの第１タイムスタンプ値を第２メディア・ストリームの第２タイムスタンプ値と照合することによって、第１識別情報を第２識別情報と組み合わせて、第１メディア・ストリームのタイムライン情報を、第２メディア・ストリームのタイムライン情報に相関付けることを可能にすることを含むのでもよい。

尚、第１ステップおよび第２ステップは、任意の適した順序で、および同時に実行されてもよいことを注記しておく。更に、第１ステップおよび第２ステップのいずれかまたは双方を繰り返し実行することにより、第１永続的識別を複数の永続的識別と照合し、これによって第２の、即ち、一致する、永続的識別を識別することによって、またはこの逆によって、第３ステップの間に、照合を実行することを可能にしてもよい。この方法のステップは、メディア配給ネットワークに含まれる１つ以上のエンティティによって実行されてもよく、このエンティティはメディア配給ネットワークの終点を形成することができる受信機を含む。更に、コンピュータ・プログラム製品が、プロセッサ・システムにこの方法を実行させる命令を含むのでもよい。また、このコンピュータ・プログラム製品は、異なるプロセッサ・システムに共同でこの方法を実行させるために異なる命令が供給されてもよいことから、分散型(distributed)であってもよい。

尚、一般に、ストリーム・モニタによって得られる永続的識別は、指紋、透かし、またはマーカ、あるいは前記永続的識別の組み合わせで構成されてもよいが、これらの例に限定されるのではないことを注記しておく。

これに関して、「指紋」という用語は、コンピュータ科学の分野からそれ自体周知であり、比較的少量のデータ、即ち、指紋を使用して、比較的大量のデータの識別情報(identity)を一意に識別する、即ち、確立する(establish)ことを試みる技法を指す。例えば、大量のデータのハッシュ、またはその（小さな）範囲のハッシュでさえも、使用されてもよい。ストリーム・モニタは、ビデオ指紋および／またはオーディ指紋というような、このような既知の技法を利用するのでもよい。指紋は、特定のメディア・サンプル、例えば、ビデオ・フレーム、オーディオ・サンプル、時間−テキスト−サンプル等に基づくのでもよく、あるいは（短い）範囲のメディア・サンプル、例えば、数秒のオーディオまたはある数の連続ビデオ・フレームに基づくのでもよい。したがって、任意の指紋を他の任意の指紋と時間的に照合することが望まれる場合には、指紋が規則的に繰り返されなければならない場合もある。あるいは、複数の指紋を互いに直接比較して、これらが一致するか否か、したがって同じ再生時間に関係するか否か判定してもよい。「透かし」という用語は、同様にコンピュータ科学の分野からそれ自体周知である技法を指す。また、透かしも規則的に繰り返されなければならない場合もある。「マーカ」という用語は、コデックにおけるディジタル・マーカ、ＭＰＥＧ−ＴＳにおけるマーカ、ＲＴＰまたはＲＴＣＰにおけるマーカ等というように、永続的にメディア・ストリーム内に含まれるマーカを指す。

一般に、ストリーム・モニタは、メディア配給ネットワーク内における別個のエンティティであってもよい。具体的には、ストリーム・モニタは、ヘッド・エンドのような、セグメントの起点(origin)内またはその付近に配置されてもよい。また、ストリーム・モニタは同期クライアントと同じ場所に配置されてもよい。また、ストリーム・モニタは、複数の同期クライアントにおいてソフトウェア・コンポーネントとして実装されてもよいが、セグメント毎に１回または限定された回数だけ等で作動されればよい。また、同期クライアントが同じセグメント、例えば、ＩＰＴＶセグメントにおいて多数のストリームを受信することができる場合、異なるクライアントが各々異なるストリームのために、例えば、異なるＴＶチャネルのために監視機能を実行するのでもよい。

ストリーム・モニタは、識別情報をＭＳＡＳにおける相関サブシステムに報告することもできる。また、ストリーム・モニタは、識別情報を同期クライアント内に含まれる相関サブシステムに報告することもできる。ストリーム・モニタは、識別情報を相関サブシステムに規則的な間隔で提供するのでもよい。識別情報は、それよりも前の識別情報から外挿補間されてもよい。また、識別情報は、タイムスタンプにおける不連続点、または他のタイミング・データにおいてのみ、例えば、新たなプログラムが開始される毎に、または現在のプログラムが介在物(interstitial)によって割り込まれたときに、提供されるのでもよい。

一般に、相関サブシステムは、メディア配給ネットワーク内における別個のエンティティであってもよい。相関サブシステムは、識別情報を、それよりも前に入手した識別情報からの以前のまたは以降のメディア・サンプルに外挿補間することができる。相関サブシステムは、ハイブリッドＴＶの使用事例では、識別情報を同期クライアントに中継することもできる。また、相関サブシステムは、ソーシャルＴＶおよびコンパニオン・スクリーンの使用事例では、識別情報を使用して、同期クライアントのためにタイミング情報を生成することもできる。相関サブシステムは、多数の相互接続する、恐らくは階層的に構成されたＭＳＡＳを有する分散型システムとして具体化されてもよい。相関サブシステムが手動構成設定に基づいて同期クライアントをセグメントに割り当てることを可能にするのでもよい。また、相関サブシステムが、シグナリング・ソリューション(signaling solution)に基づいて、同期クライアントをセグメントに割り当てることを可能にするのでもよい。

更に、本願における例は、いわゆる同期マエストロ方式(synchronization maestro scheme)（ＳＭＳ、クライアント−サーバ・モデル）に従うことも注記しておく。しかしながら、本発明は、先に挙げた論文 "Multimedia group and inter-stream synchronization techniques: A comparative study"（マルチメディア・グループおよびストリーム間同期技法：比較研究）by F. Boronat et al., Elsevier Information Systems, 34, 2009, pp. 108-131において論じられているように、分散型制御方式（ＤＳＣ）またはマスター・スレーブ方式というような、他の同期方式にも適用可能である。

一般に、同期は常に全体的に精度が高い必要はないことを注記しておく。例えば、ソーシャルＴＶの使用事例では、数百ｍｓの再生タイミング差、そして１または２秒までの再生タイミング差があっても、ユーザに気付かれない場合もある。しかしながら、様々なメディア・ストリームのローカル同期の場合、ハイブリッド・ブロードキャスト・ブロードバンドＴＶ（ＨｂｂＴＶ）というような１つのデバイス上であっても、またはＴＶおよびコンパニオン・スクリーン上であっても、一層精度が高い同期が求められる可能性がある。これらの使用事例においてでさえも、約１２０ｍｓまでは音声同期の誤差は検出できずにいる（１００ｍｓビデオの最前部 (on front) から先行する約３０ｍｓオーディオまでの間）。したがって、本発明のコンテキストの中では、「メディア同期」という用語は、満足できるエンド・ユーザ体験を達成する同期の程度を指すのでもよいことは認められよう。

更に、このような全体的に精度が高い同期は、再生タイミングに対してのみ実行できればよい、即ち、メディアがユーザに提示される実際の時間を伝え、この時間に影響を及ぼすことができればよい。しかしながら、このタイミングは常に入手可能ではない。タイミングを報告すべき、またはタイミングに影響を及ぼすべき他の時点がある。即ち、受信デバイスにおけるコンテンツ・チェーンにおいてアドレス可能な任意の時点が挙げられよう。これは、コンテンツが受信されたとき（パケット受信時点）、パケットが処理されたとき、パケットがデコードされたとき等からとすることができる。この文書において同期を目的としてタイミングが論じられる場合、これらのタイミングはそのいずれもが該当する。

尚、本発明は、ＨｂｂＴＶ−ＴＦ−メディアおよびＤＶＢ−ＴＭ−ＣＯＳにおいてメディア同期を実現するために使用できるという利点があることは認められよう。ここでは、メディア配給ネットワーク全域における遅延は、以下のように管理することができる。ブロードキャスタは、ネットワーク・セグメント毎のストリーム・モニタをチャネル毎に設け、ネットワーク・セグメント毎の可変バッファをチャネル毎に設けることによって、メディア配給ネットワークのセグメント間の遅延を粗く等化することができる。更に、精細な同期をＴＶおよびコンパニオン・スクリーンにおいて／間で設けることができる。ブロードキャスタは、元のメディア・ストリームの指紋または透かしに基づいて、配信されたコンテンツのタイムラインを元のコンテンツのタイムラインと相関付けることができ、ストリーム・モニタは、ネットワーク・セグメント毎に配信されたメディア・ストリームの指紋または透かしについて報告する。

尚、以上で述べた実施形態は、本発明を限定するのではなく例示するのであり、当業者は多くの代替実施形態を設計できることは注記してしかるべきである。

特許請求の範囲において、括弧間に入れられた参照符号はいずれも、請求項を限定するように解釈しないこととする。「含む」(comprise)という用語およびその人称変化の使用は、請求項に述べられるエレメントまたはステップ以外のものの存在を除外するのではない。あるエレメントに先立つ冠詞「ａ」または「ａｎ」は、複数のこのようなエレメントの存在を除外するのではない。本発明は、様々な全く異なるエレメントを含むハードウェアによって、そして相応しくプログラミングされたコンピュータによって実現することができる。様々な手段を列挙するデバイスの請求項では、これらの手段の内いくつかが、ハードウェアの全く同一の品目によって具体化されてもよい。ある種の手段(measure)が相互に異なる従属請求項において述べられるという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すのではない。

Claims (15)

1. 第１メディア・ストリームと第２メディア・ストリームの間においてタイムライン情報を相関付けることを可能にするシステムであって、前記第１メディア・ストリームおよび前記第２メディア・ストリームの双方が、共通の再生タイムラインに関連付けられると共に、異なるタイムライン情報を含み、当該システムが、
   −少なくとも２つのストリーム・モニタであって、該ストリーム・モニタの各々が、
   ｉ）前記メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、前記永続的識別が、前記メディア・ストリームの処理に対してロバストであるデータであり、前記メディア・ストリームを使用して再現可能に入手することができ、
   ｉｉ）前記永続的識別に関連付けられたタイムスタンプ値を、前記メディア・ストリームに含まれるタイムライン情報から判定し、
   ｉｉｉ）前記タイムスタンプ値と、前記１つ以上のメディア・サンプルの前記永続的識別とを前記識別情報として提供する
   ことによって、メディア・ストリームについての識別情報を提供するように構成され、
   前記第１メディア・ストリームについての第１識別情報を提供する第１ストリーム・モニタと、前記第２メディア・ストリームについての第２識別情報を提供する第２ストリーム・モニタとを含む、前記少なくとも２つのストリーム・モニタと、
   −前記第１メディア・ストリームの第１永続的識別を前記第２メディア・ストリームの第２永続的識別と照合し、これによって前記第１メディア・ストリームの第１タイムスタンプ値を前記第２メディア・ストリームの第２タイムスタンプ値と照合することによって、前記第１識別情報を前記第２識別情報と組み合わせて、前記第１メディア・ストリームのタイムライン情報を前記第２メディア・ストリームのタイムライン情報に相関付けることを可能にする相関サブシステムと
   を含む、システム。
2. 請求項１記載のシステムにおいて、前記第２メディア・ストリームが、前記第１メディア・ストリームの修正バージョンであり、前記修正バージョンが、前記第１メディア・ストリームのタイムライン情報とは異なるタイムライン情報を含む、システム。
3. 請求項２記載のシステムにおいて、前記第１メディア・ストリームがメディア配給ネットワークを通じて配給され、前記メディア配給ネットワークが、前記第１メディア・ストリームの修正バージョンを生成するストリーム・モディファイアを含み、前記第１ストリーム・モニタが、前記ストリーム・モディファイアのアップストリームにおいて前記メディア配給ネットワークに含まれ、前記第２ストリーム・モニタが、前記ストリーム・モディファイアのダウンストリームにおいて前記メディア配給ネットワークに含まれる、システム。
4. 請求項１記載のシステムにおいて、前記相関サブシステムが、前記第１永続的識別および前記第２永続的識別を前記共通再生タイムラインにリンクする第３識別情報に基づいて、前記第１永続的識別を前記第２永続的識別と照合するように構成される、システム。
5. 請求項４記載のシステムにおいて、前記第１メディア・ストリームおよび前記第２メディア・ストリームが、共通タイムライン情報を含むメディア・ストリームの複合体の一部であり、当該システムが、更に、前記メディア・ストリームの複合体についての前記第３識別情報を提供する第３ストリーム・モニタを含む、システム。
6. 請求項１から５のいずれか１項に記載のシステムにおいて、前記第２メディア・ストリームが、メディア配給ネットワークを通じて配給され、前記メディア配給ネットワークが、更に、前記第２メディア・ストリームに関して同期アクションを実行する同期サブシステムを含み、前記相関サブシステムが、前記第１メディア・ストリームのタイムライン情報に基づいて前記同期サブシステムが前記同期アクションを実行することを可能にするためのタイミング情報を提供するように構成される、システム。
7. 請求項６記載のシステムにおいて、前記同期アクションが、
   −複数の受信機上において前記第１メディア・ストリームおよび／または前記第２メディア・ストリームの同期再生を可能にするために、メディア・ストリームがバッファするか、または先にスキップするアクション、
   −受信機上において前記第１メディア・ストリームの前記第２メディア・ストリームとの同期再生を可能にするために、メディア・ストリームがバッファするかまたは先にスキップするアクション、および
   −受信機上におけるメディア・ストリームの再生と同期する、前記受信機上におけるアプリケーションのトリガ、
   から成る一群の内の１つである、システム。
8. 請求項６または７記載のシステムにおいて、前記同期サブシステムが、同期サーバと、複数の同期クライアントとを含み、前記複数の同期クライアントが、前記第２メディア・ストリームを配給するように構成された前記メディア配給ネットワークのセグメントに含まれ、前記第２ストリーム・モニタが、前記複数の同期クライアント間において前記セグメントに含まれる、システム。
9. 請求項８記載のシステムにおいて、前記相関サブシステムが、前記第２ストリーム・モニタによる前記第２メディア・ストリームの監視に基づいて、前記第２メディア・ストリームに関して前記同期クライアントが前記同期アクションを実行することを可能にするために、前記セグメントにおける前記複数の同期クライアントに前記タイミング情報を提供するように構成される、システム。
10. 請求項１から９のいずれか１項に記載のシステムにおいて、前記永続的識別が、指紋、透かし、およびマーカ、または前記１つ以上のメディア・サンプルから成る一群の内の１つである、システム。
11. 請求項１から１０のいずれか１項記載のシステムを含むメディア配給ネットワーク。
12. 請求項１から１１のいずれか１項記載のシステムにおいて使用されるストリーム・モニタおよび／または相関サブシステム。
13. 請求項８または９記載のシステムと共に使用するための同期クライアントであって、当該同期クライアントが含まれる前記セグメントを、前記相関サブシステムに対して識別するように構成される、同期クライアント。
14. 第１メディア・ストリームと第２メディア・ストリームの間においてタイムライン情報を相関付けることを可能にする方法であって、前記第１メディア・ストリームおよび前記第２メディア・ストリームの双方が、共通の再生タイムラインに関連付けられると共に、異なるタイムライン情報を含み、前記相関付けが、少なくとも２つのストリーム・モニタから得られる識別情報に基づき、前記ストリーム・モニタの各々が、
    ｉ）前記メディア・ストリームの１つ以上のメディア・サンプルの永続的識別を入手し、前記永続的識別が、前記メディア・ストリームの処理に対してロバストであるデータであり、前記メディア・ストリームを使用して再現可能に入手することができ、
    ｉｉ）前記永続的識別に関連付けられたタイムスタンプ値を、前記メディア・ストリームに含まれるタイムライン情報から判定し、
    ｉｉｉ）前記タイムスタンプ値と、前記１つ以上のメディア・サンプルの前記永続的識別とを前記識別情報として提供する
    ことによって、メディア・ストリームについての識別情報を提供するように構成され、
    当該方法が、
    −前記少なくとも２つのストリーム・モニタの内第１ストリーム・モニタから、前記第１メディア・ストリームについての第１識別情報を入手するステップと、
    −前記少なくとも２つのストリーム・モニタの内第２ストリーム・モニタから、前記第２メディア・ストリームについての第２識別情報を入手するステップと、
    −前記第１メディア・ストリームの第１永続的識別を前記第２メディア・ストリームの第２永続的識別と照合し、これによって前記第１メディア・ストリームの第１タイムスタンプ値を前記第２メディア・ストリームの第２タイムスタンプ値と照合することによって、前記第１識別情報を前記第２識別情報と組み合わせて、前記第１メディア・ストリームのタイムライン情報を前記第２メディア・ストリームのタイムライン情報に相関付けることを可能にするステップと
    を含む、方法。
15. 請求項１４記載の方法をプロセッサ・システムに実行させるための命令を含む、コンピュータ・プログラム製品。

Images