JP2011519216A - トランスポート・データストリーム内で参照するフレキシブル・サブストリーム - Google Patents

Abstract

第１のデータ部を含む第１のデータストリームを有するビデオ・シーケンスの表現であって、第１のデータ部は第１のタイミング情報および第２のデータストリームを含み、第２のデータストリームは第２のタイミング情報を有する第２のデータ部を含むビデオ・シーケンスの表現が導き出される。連関情報は、第２のデータストリームの第２のデータ部に関連付けられ、連関情報は第１のデータストリームの所定の第１のデータ部を示す。ビデオ・シーケンスの表現として第１および第２のデータストリームを含むトランスポート・ストリームが生成される。

Description

本発明の実施例は、２つ以上のサブストリームを含むトランスポート・データストリームの異なるサブストリームの個々のデータ部分を柔軟に参照するためのスキームに関する。特に、いくつかの実施例は、異なるタイミング特性を有するビデオストリームが１つのトランスポート・ストリームに一体化されるときに、スケーラブル・ビデオストリームの上位レイヤーのビデオストリームの復号化のために必要な参照用ピクチャに関する情報を含む参照データ部を確認するための方法および装置に関する。

複数のデータストリームが一つのトランスポート・ストリームの中に一体化されるアプリケーションは多い。異なるデータストリームの組合せまたは多重化は、生成されたトランスポート・ストリームを送信するために１つの物理トランスポート・チャネルだけを使用して全ての情報を送信することができるようにするために、しばしば必要とされる。

例えば、複数のビデオプログラムの衛星通信のために使用されるＭＰＥＧ−２トランスポート・ストリームにおいて、各ビデオプログラムは、１つの基本ストリームに含まれる。すなわち、（いわゆるＰＥＳパケットにおいてパケット化される）１つの特定の基本ストリームのデータの一部分は、他の基本ストリームのデータの一部分と交互配置される。さらに、例えば、プログラムが１つの音声基本ストリームおよび１つの別のビデオ基本ストリームを用いて送信されるので、異なる基本ストリームまたはサブストリームは１つのプログラムに帰属する。したがって、オーディオおよびビデオ基本ストリームは互いに依存している。スケーラブル・ビデオ・コード（ＳＶＣ）を使用するとき、後方互換性を有するＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ）基本レイヤー（Ｈ．２６４／ＡＶＣ）のビデオが、付加情報、つまり忠実度、空間分解能および／または時間分解能に関してＡＶＣ基本レイヤーの品質を強化するいわゆるサブビットストリームを加えることによって強調されるので、相互依存性はさらに複雑になる。すなわち、強化レイヤー（付加的なＳＶＣサブビットストリーム）において、ビデオフレームのための付加情報は、その知覚品質を強化するために送信される。

復元のために、１つのビデオフレームに帰属しているすべての情報は、それぞれのビデオフレームの復号化の前に、異なるストリームから集められる。１つのフレームに帰属する異なるストリームに含まれる情報は、ＮＡＬユニット（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ Ｕｎｉｔ）と呼ばれている。１つの画像に帰属している情報は、異なる伝送チャネルを通じて送信されることさえできる。例えば、１つの別の物理チャネルが、各々のサブビットストリームとして使用される。しかしながら、個々のサブビットストリームの異なるデータパケットは互いに依存する。依存状態は、ビットストリーム構文の１つの特定のシンタックス要素（ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ：ＤＩＤ）によってしばしば顕著になる。すなわち、可能なスケーラビリティの忠実度、空間的または時間的分解能の少なくとも１つにおけるＡＶＣ基本レイヤーまたは１つの下位サブビットストリームを強化する、ＳＶＣサブビットストリーム（Ｈ．２６４／ＳＶＣ ＮＡＬユニットヘッダシンタックス要素において異なる：ＤＩＤ）は、異なるＰＩＤ番号（パケット識別子）を有するトランスポート・ストリームにおいて搬送される。それらは、同じプログラムのための異なるメディアタイプ（例えば、オーディオまたはビデオ）が搬送されるのと同様にして搬送される。これらのサブストリームの存在は、トランスポート・ストリームに関連するトランスポート・ストリーム・パケットヘッダにおいて定められる。

しかしながら、画像および関連する音声データを復元および復号化するために、異なるメディアタイプが、復号化の前または後において、同期されなければならない。復号化の後の同期は、それぞれ、ビデオフレームまたは音声フレームの実効出力／プレゼンテーションタイムｔｐを示すいわゆる「プレゼンテーション・タイムスタンプ」（ＰＴＳ）の伝送によって、しばしば成し遂げられる。復号化画像バッファ（ＤＰＢ）が、複合化の後に、搬送されたビデオストリームの復号化画像（フレーム）を一時的に格納するために用いられる場合、プレゼンテーション・タイムスタンプｔｐは、それぞれのバッファからの復号化画像の除去を示す。例えばｐタイプ（予測）およびｂタイプ（双方向性）フレームのような異なるフレームタイプが用いられるので、ビデオフレームは、必ずしもそれらのプレゼンテーションの順序で復号化される必要はない。したがって、いわゆる「復号化タイムスタンプ」が通常送信され、それは、全ての情報が次のフレームのためにあることを保証するために、フレームの復号化の最後の可能な時間を示す。

トランスポート・ストリームの受信情報が基本ストリームバッファ（ＥＢ）においてバッファリングされるとき、復号化タイムスタンプ（ＤＴＳ）は基本ストリームバッファ（ＥＢ）から問題になっている情報の除去の最後の可能な時間を示す。したがって、従来の復号化プロセスは、システムレイヤーのための仮定に基づくバッファ・モデル（Ｔ−ＳＴＤ）およびビデオレイヤーのためのバッファ・モデル（ＨＲＤ）に関して定められる。システムレイヤーはトランスポートレイヤーであると理解され、すなわち、１つのトランスポート・ストリーム内の異なるプログラム・ストリームまたは基本ストリームを提供するために必要な多重化および逆多重化の正確なタイミングが不可欠である。ビデオレイヤーは、使用されるビデオ・コーデックによって必要とされるパケット化され参照される情報であると理解される。ビデオレイヤーのデータパケットの情報は、トランスポート・チャネルのシリアル伝送を可能にするために、システムレイヤーによってパケット化され組み合わされる。

単一のトランスポート・チャネルを有するＭＰＥＧ−２ビデオ伝送により用いられる仮定に基づくバッファ・モデルの１つの実施例が図１に示される。ビデオレイヤーのタイムスタンプおよびシステムレイヤーのタイムスタンプ（ＰＥＳヘッダにおいて示される）は、同じ時刻を示す。しかしながら、（通常のケースであるように）ビデオレイヤーおよびシステムレイヤーのクロック周波数が異なる場合、時間は２つの異なるバッファモデル（ＳＴＤおよびＨＲＤ）により用いられる異なるクロックによって与えられる最小限の許容範囲内で等しい。

図１によって示されるモデルにおいて、時刻ｔ（ｉ）でレシーバに到達しているトランスポート・ストリーム・データパケット２は、トランスポート・ストリームから異なる独立ストリーム４ａ〜４ｄに逆多重化され、異なるストリームは、各トランスポート・ストリーム・パケットヘッダ内にある異なるＰＩＤ番号によって区別される。

トランスポート・ストリーム・データパケットは、トランスポート・バッファ６（ＴＢ）に格納され、多重化バッファ８（ＭＢ）に伝送される。トランスポート・バッファＴＢから多重化バッファＭＢへの移動は定率で実行される。

単純なビデオ・データをビデオデコーダに供給する前に、システムレイヤー（トランスポートレイヤー）によって加えられる付加情報、すなわち、ＰＥＳヘッダは除去される。これは、データを基本ストリームバッファ１０（ＥＢ）へ伝送される前に実行される。すなわち、データがＭＢからＥＢへ移されるときに、例えば、復号化タイムスタンプｔｄおよび／またはプレゼンテーション・タイムスタンプｔｐとして削除された対応するタイミング情報は、更なる処理のためのサイド情報として格納されなければならない。順序よく復元することを可能にするために、ＰＥＳヘッダにおいて運ばれる復号化タイムスタンプによって示されるように、アクセスユニットＡ（ｊ）のデータ（１つの特定のフレームに対応するデータ）は基本ストリームバッファ１０から遅くともｔｄ（ｊ）までに削除される。また、（各アクセスユニットＡ（ｊ）のための、いわゆるＳＥＩメッセージによって示される）ビデオレイヤーの復号化タイムスタンプは、ビデオ・ビットストリーム内でプレーンテキストにおいて送信されないため、システムレイヤーの復号化タイムスタンプがビデオレイヤーにおける復号化タイムスタンプに等しくなければならないと強調される。したがって、ビデオレイヤーの復号化タイムスタンプを利用することは、ビデオストリームの更なる復号化を必要とし、従って、単純で効率的な多重化の実施を実現不可能にする。

デコーダ１２は、復号化ピクチャ・バッファ１４に格納される復号化画像を提供するためにプレーンなビデオコンテンツを復号化する。上述したように、ビデオ・コーデックによって与えられるプレゼンテーション・タイムスタンプは、プレゼンテーションを制御するために用いられ、それは復号化ピクチャ・バッファ１４（ＤＰＢ）に格納された内容の除去である。

前に示されているように、スケーラブル・ビデオコード（ＳＶＣ）の伝送のための現在の規格は、サブビットストリームの伝送を異なるＰＩＤ番号を有するトランスポート・ストリームパケットを有する基本ストリームとして定義する。これは、１つのフレームを表す個々のアクセスユニットを導き出すために、トランスポート・ストリームパケットに含まれる基本ストリーム・データの付加的な順序付けを必要とする。

順序付けスキームは、図２において例示される。デマルチプレクサ４は、異なるＰＩＤ番号を有するパケットを別のバッファチェーン２０ａ〜２０ｃに逆多重化する。すなわち、ＳＶＣビデオストリームが送信されるとき、異なるサブストリームにおいて伝送される同一のアクセスユニットの部分は、異なるバッファチェーン２０ａ〜２０ｃの異なる依存表現バッファ（ＤＲＢｎ）に提供される。最後に、それは、デコーダ２２に提供される前にデータをバッファリングして、一般の基本ストリームバッファ１０（ＥＢ）に提供されるべきである。復号化画像は、それから一般の復号化ピクチャ・バッファ２４に格納される。

換言すれば、それらが除去のために基本ストリームバッファ１０（ＥＢ）に届けられるまで、異なるサブビットストリーム（それは、依存表現ＤＲとも呼ばれている）における同じアクセスユニットの部分は、依存表現バッファ（ＤＲＢ）に前もって格納される。ＮＡＬユニットヘッダー内で示される最も高いシンタックス要素「ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ」（ＤＩＤ）を有するサブビットストリームは、すべてのアクセスユニットまたは最高のフレームレートを有するアクセスユニット（それは、依存表現ＤＲである）の部分を含む。例えば、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ＝２によって確認されているサブストリームは、５０Ｈｚのフレームレートで符号化される画像情報を含むが、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ＝１を有するサブストリームは２５Ｈｚのフレームレートのための情報を含む。

この実施によれば、同一の復号化時間ｔｄを有するサブビットストリームのすべての依存表現は、ＤＩＤの最も高い利用できる値を有する依存表現の１つの特定のアクセスユニットとしてのデコーダに供給される。すなわち、ＤＩＤ＝２を有する依存表現が復号化されるとき、ＤＩＤ＝１およびＤＩＤ＝０を有する依存表現の情報が考慮される。アクセスユニットは、同一の復号化タイムスタンプｔｄを有する３つのレイヤーのすべてのデータパケットを用いて形成される。異なる依存表現がデコーダに提供される順序は、考慮されるサブストリームのＤＩＤによって定義される。逆多重化および順序付けは、図２に示すように実行される。アクセスユニットはＡによって略記される。ＤＢＰは復号化ピクチャ・バッファを示し、ＤＲは依存表現を示す。依存表現は依存表現バッファＤＲＢに一時的に格納され、再多重化ストリームはデコーダ２２に搬送される前に基本ストリームバッファＥＢに格納される。ＭＢは多重化バッファを意味し、ＰＩＤは個々のサブストリームのプログラムＩＤを意味する。ＴＢはトランスポート・バッファを示し、ｔｄは、符号化タイムスタンプを示す。

しかしながら、先に述べたアプローチは、同じタイミング情報が同じアクセスユニット（フレーム）に関連付けられるサブビットストリームのすべての依存表現の範囲内であると常に仮定している。しかしながら、これは、復号化タイムスタンプのためにも、ＳＶＣタイミングで支持されるプレゼンテーション・タイムスタンプのためにもＳＶＣ内容について正確でなく、または達成可能ではない。

Ｈ．２６４／ＡＶＣ規格のアネックスＡはいくつかの異なるプロフィルおよびレベルを定めるため、このような課題が発生する。通常、プロフィルは、特定のプロフィルに準拠しているデコーダがサポートしなければならない特徴を定める。レベルは、デコーダ内の異なるバッファのサイズを定める。さらに、いわゆる「仮定的参照デコーダ」（ＨＲＤ）は、デコーダの、特に選択されたレベルにおける関連するバッファの所望の反応をシミュレーションするモデルとして定義される。エンコーダによって符号化されたビデオストリームにもたらされるタイミング情報がＨＲＤモデルおよび、それとともに、デコーダにおけるバッファサイズの制約を壊さないことを保証するために、ＨＲＤモデルはエンコーダでも用いられる。これは、従って、規格に適合するデコーダでの復号化を不可能にする。ＳＶＣストリームは、異なるサブストリーム内の異なるレベルをサポートする。すなわち、映像符号化に対するＳＶＣ拡張は、異なるタイミング情報を有する異なるサブストリームを作成するという可能性を提供する。例えば、異なるフレームレートは、ＳＶＣビデオストリームの個々のサブストリーム内で符号化される。

Ｈ．２６４／ＡＶＣ（ＳＶＣ）のスケーラブル拡張は、各サブストリームにおいて異なるフレームレートでスケーラブル・ストリームを符号化することを可能にする。フレームレートは、互いに倍数、例えば基本レイヤーを１５Ｈｚとし、時間的強化レイヤーを３０Ｈｚとすることができる。さらに、ＳＶＣも、サブストリーム間で変化するフレームレートの割合、例えば、基本レイヤーを２５Ｈｚとし、強化レイヤーを３０Ｈｚとすることができる。ＳＶＣ強化されたＩＴＵ―Ｔ Ｈ．２２２．０規格がこの種の符号化構造をサポートすることが可能である（システムレイヤー）ことに注意されたい。

図３は、トランスポート・ビデオストリームの２つのサブストリーム内の異なるフレームレートのための１つの実施例を示す。基本レイヤー（第１のデータストリーム）４０が３０Ｈｚのフレームレートを有し、チャネル２（第２のデータストリーム）の時間的強化レイヤー４２が５０Ｈｚのフレームレートを有する。基本レイヤーに対して、トランスポート・ストリームのＰＥＳヘッダにおけるタイミング情報（ＤＴＳおよびＰＴＳ）またはビデオストリームのＳＥＩｓにおけるタイミングは、基本レイヤーの低いフレームレートを復号化するのに十分である。

ビデオフレームの完全な情報が強化レイヤーのデータパケットに含まれる場合、ＰＥＳヘッダにおける、または、強化レイヤーのインストリームＳＥＩｓにおけるタイミング情報もより高いフレームレートを復号化するために充分であった。しかしながら、ＭＰＥＧがｐ−フレームまたはｉ−フレームを導入することによって複合参照メカニズムを提供するので、強化レイヤーのデータパケットは参照フレームとして基本レイヤーのデータパケットを利用する。すなわち、強化レイヤーから復号化されるフレームは、基本レイヤーによって与えられるフレームに関する情報を利用する。この状況は図３に示されており、そこにおいて、基本レイヤー４０の２つの示されたデータ部４０ａおよび４０ｂが、さらに遅い基本レイヤーデコーダのためのＨＲＤ−モデルの要求を満たすためにプレゼンテーションタイムに対応する復号化タイムスタンプを有する。全てのフレームを完全に復号化するために強化レイヤーデコーダに必要な情報は、データブロック４４ａ，４４ｄによって与えられる。

より高いフレームレートによって復元される第１のフレーム４４ａは、基本レイヤーの第１のフレーム４０ａの、および強化レイヤーの最初の３つのデータ部４２ａの全ての情報を必要とする。より高いフレームレートで復号化される第２のフレーム４４ｂは、基本レイヤーの第２のフレーム４０ｂの、および強化レイヤーのデータ部４２ｂの全ての情報を必要とする。

従来のデコーダは、同じ復号化タイムスタンプＤＴＳまたはプレゼンテーション・タイムスタンプＰＴＳを有する基本レイヤーおよび強化レイヤーの全てのＮＡＬユニットを結合する。基本バッファからの生成されたアクセスユニットＡＵの除去の時間は、最上位レイヤー（第２のデータストリーム）のＤＴＳによって与えられる。しかしながら、対応するデータパケットの値が異なるため、異なるレイヤー内のＤＴＳまたはＰＴＳの値に従った関連付けはもはや可能でない。ＰＴＳまたはＤＴＳ値に従った関連付けの可能性を維持するために、基本レイヤーの仮想フレーム４０ｃによって示されるように、基本レイヤーの第２のフレーム４０ｂには復号化タイムスタンプ値が理論的に与えられることができる。しかしながら、少ない復号化タイムオフセットで２つの次のフレームを復号化するには、関連するバッファはあまりに小さく、または、処理パワーはあまりに遅いため、基本レイヤー・スタンダード（基本レイヤーに対応するＨＲＤモデル）のみに準拠するデコーダは、もはや基本レイヤーさえ復号化することができない。

換言すれば、従来技術は、上位レイヤーの情報を復号化するための参照フレームとして下位レイヤーの先のＮＡＬユニット（フレーム４０ｂ）の情報を柔軟に使用することを不可能にする。しかしながら、特にＳＶＣストリームの異なるレイヤーとしての範囲内で不均等な比率を有する異なるフレームレートでビデオを伝送するときに、この柔軟性は必要とされる。１つの重要な実施例は、例えば、強化レイヤーにおける（映画作品において用いられているように）２４フレーム／秒、および基本レイヤーにおける２０フレーム／秒のフレームレートを有するスケーラブル・ビデオストリームである。この種のシナリオにおいて、基本レイヤーのｉ−フレーム０に応じてｐ−フレームとして強化レイヤーの第１のフレームを符号化することは、大変なビット節約となる。しかしながら、これらの２つのレイヤーのフレームは、明らかに、異なるタイムスタンプを有する。後のデコーダのための正確な順序におけるフレームのシーケンスを提供するための適当な逆多重化および順序付けは、従来の技術および前述の存在しているトランスポート・ストリームメカニズムを用いても可能ではない。両方のレイヤーが異なるフレームレートのための異なるタイミング情報を含むため、スケーラブル・ビデオまたは相互依存しているデータストリームの伝送のためのＭＰＥＧトランスポート・ストリーム規格および他の周知のビットストリーム伝送メカニズムは、対応するＮＡＬユニットまたは異なるレイヤーにおける同じ画像のデータ部を規定するかまたは参照することを可能にする必要な柔軟性を提供しない。

相互関係のあるデータ部を含む異なるサブストリームの異なるデータ部の間により柔軟な参照スキームを提供する必要がある。

本発明のいくつかの実施例によれば、この可能性は、トランスポート・ストリームの範囲内で第１および第２のデータストリームに帰属しているデータ部に対する復号化または連関方法を導き出す方法によって与えられる。異なるデータストリームは異なるタイミング情報を含み、１つのデータストリーム内の相対的時間が一致するように、タイミング情報が定められる。本発明のいくつかの実施例によれば、異なるデータストリームのデータ部の間の関連付けは、第１のデータストリームのデータ部を参照する必要のある第２のデータストリームに連関情報を含めることによって成し遂げられる。いくつかの実施例によれば、連関情報は、第１のデータストリームのデータパケットのすでに存在するデータフィールドの１つを参照する。このように、第１のデータストリーム内の個々のパケットは、第２のデータストリームのデータパケットによって、明白に参照されることができる。

本発明の更なる実施例によれば、第２のデータストリームのデータ部によって参照される第１のデータ部の情報は、第１のデータストリーム内のデータ部のタイミング情報である。更なる実施例によれば、第１のデータストリームの第１のデータ部の他の明白な情報は、例えば、連続パケットＩＤ番号等のように参照される。

本発明の更なる実施例によれば、すでに存在するデータフィールドが連関情報を含めるために異なって利用される一方、付加データは第２のデータストリームのデータ部に導入されない。すなわち、例えば、第２のデータストリームにおけるタイミング情報のために留保されるデータフィールドは、異なるデータストリームのデータ部の明白な参照を可能にする付加的な連関情報を入れるために利用されることができる。

一般に、本発明のいくつかの実施例も、トランスポート・ストリーム内の異なるデータストリームのデータ部の間で柔軟な参照が可能である第１および第２のデータストリームを含むビデオ・データ表現を生成する可能性を提供する。
本発明のいくつかの実施例は、以下において、図面を参照して記載される。

トランスポート・ストリーム逆多重化の実施例を示す図である。 ＳＶＣ−トランスポート・ストリーム逆多重化の実施例を示す図である。 ＳＶＣトランスポート・ストリームの実施例を示す図である。 トランスポート・ストリームの表現を生成する方法の実施例を示す図である。 トランスポート・ストリームの表現を生成する方法の更なる実施例を示す図である。 復号化方法を導き出す方法の実施例を示す図である。 復号化方法を導き出す方法の更なる実施例を示す図である。 トランスポート・ストリームシンタックスの実施例を示す図である。 トランスポート・ストリームシンタックスの更なる実施例を示す図である。 復号化方法発生器の実施例を示す図である。 データパケット・スケジューラの実施例を示す図である。

図４は、トランスポート・データストリーム１００内でビデオ・シーケンスの表現を生成する本発明の方法の可能な実施例を示す。第１のデータ部１０２ａ〜１０２ｃを有する第１のデータストリーム１０２および第２のデータ部１０４ａおよび１０４ｂを有する第２のデータストリーム１０４は、トランスポート・データストリーム１００を生成するために結合される。第２のデータストリームの第２のデータ部１０６に第１のデータストリーム１０２の所定の第１のデータ部を関連付ける連関情報が生成される。図４の実施例において、関連付けは、第２のデータ部１０４ａに連関情報１０８を埋めることによって成し遂げられる。図４に示される実施例において、例えば、連関情報１０８は、ポインタを含むかまたは連関情報としてタイミング情報を複製することによって、第１のデータ部１０２ａの第１のタイミング情報１１２を参照する。それは、更なる実施例が、例えば、独自のヘッダＩＤ番号、ＭＰＥＧストリーム・フレーム番号などのような他の連関情報を利用することができることは言うまでもない。

第１のデータ部１０２ａおよび第２のデータ部１０６ａを含むトランスポート・ストリームは、それらの最初のタイミング情報の順序でデータ部を多重送信することにより生成されることができる。

追加ビット・スペースを必要としている新しいデータフィールドとして連関情報を導入する代わりに、例えば第２のタイミング情報１１０を含むデータフィールドのような、既存のデータフィールドが、連関情報を受信するために利用される。

図５は、第１のタイミング情報を有する第１のデータ部を含む第１のデータストリーム、および第２のタイミング情報を有する第２のデータ部を含む第２のデータストリームを含むビデオ・シーケンスの表現を生成するための方法の実施例を簡単に示す。関連付けステップ１２０において、連関情報は第２のデータストリームの第２のデータ部に関連付けられ、連関情報が第１のデータストリームの所定の第１のデータ部を示す。

デコーダ側において、復号化方法は、図６ａに示すように、生成されたトランスポート・ストリーム２１０のために導き出される。図６ａは、参照データ部４０２に応じて第２のデータ部２００に対する復号化方法を導き出す一般の概念を示し、第２のデータ部２００は第１のデータストリームと第２のデータストリームを含むトランスポート・ストリーム２１０の第２のデータストリームの一部であり、第１のデータストリームの所定の第１のデータ部２０２を示す連関情報２１６と同様に、第１のデータスリームの第１のデータ部２０２は第１のタイミング情報２１２を含み、第２のデータストリームの第２のデータ部２００は第２のタイミング情報２１４を含む。特に、連関情報は、第１のタイミング情報２１２または第１のタイミング情報２１２への参照またはポインタを含み、明白に第１のデータストリームの中の第１のデータ部２０２をはっきり確認できるようにする。

第２のデータ部２００に対する復号化方法は、第２のデータ部および参照データ部としての第１のデータストリームの参照された第１のデータ部２０２のための処理時間（復号化時間またはプレゼンテーションタイム）に対する表示として第２のタイミング情報２１４を用いて導き出される。すなわち、一旦復号化方法が方法生成ステップ２２０において導き出されると、データ部は次の復号化方法２３０によって、さらに処理されまたは復号化される（ビデオ・データの場合）。第２のタイミング情報２１４が処理時間ｔ₂のための表示として用いられ、特定の参照データ部が公知であるため、デコーダは正確な時刻に正しい順序でデータ部を与えられることができる。すなわち、まず第１のデータ部２０２に対応するデータ内容がデコーダに提供され、第２のデータ部２００に対応するデータ内容が続く。両方のデータ内容がデコーダ２３２に提供される時刻は、第２のデータ部２００の第２のタイミング情報２１４によって与えられる。

一旦復号化方法が導き出されると、第１のデータ部は第２のデータ部の前に処理される。ある実施例において、処理は、第２のデータ部に先立って第１のデータ部がアクセスされることを意味する。さらなる実施例において、アクセスすることは、次のデコーダにおいて第２のデータ部を復号化するのに必要な情報の抽出を含む。これは、例えば、ビデオストリームに関連付けられるサイド情報である。

以下のパラグラフにおいて、特定の実施例は、データ部を柔軟に参照する発明概念をＭＰＥＧトランスポート・ストリーム規格に適用することによって記載されている（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２２２．０｜ＩＳＯ／ＩＥＣ １３８１８−１：２００７ ＦＰＤＡＭ３．２（ＳＶＣ Ｅｘｔｅｎｓｉｏｎｓ），Ａｎｔａｌｙａ、トルコ、２００８年１月：[３] ＩＴＵ−Ｔ ｒｅｃ． Ｈ．２６４ ２００Ｘ ４ｔｈ Ｅｄｉｔｉｏｎ（ＳＶＣ）｜ＩＳＯ／ＩＥＣ １４４９６−１０：２００Ｘ ４ｔｈ ｅｄｉｔｉｏｎ （ＳＶＣ））。

先に要約したように、本発明の実施例は、サブストリーム（データストリーム）におけるタイムスタンプを低いＤＩＤ値（例えば、２つのデータストリームを含むトランスポート・ストリームの第１のデータストリーム）に従って分類するための付加情報を含むか、または追加することができる。順序付けされたアクセスユニットＡ（ｊ）のタイムスタンプは、２つ以上のデータストリームがある場合には、ＤＩＤ（第２のデータストリーム）のより高い値、または、最も高いＤＩＤを有するサブストリームによって与えられる。システムレイヤーの最も高いＤＩＤを有するサブストリームのタイムスタンプが復号化および／または出力タイミングのために使われる一方、順序付けはＤＩＤの他の（例えば次の低い）値を有するサブストリームの対応する依存表現を示している付加的なタイミング情報ｔｒｅｆによって成し遂げられる。この手順は、図７において例示される。いくつかの実施例において、付加情報は、付加的なデータフィールドにおいて、例えばＳＶＣ依存表現デリミターにおいて、または、例えば、ＰＥＳヘッダの拡張としてもたらされる。あるいは、それぞれのデータフィールドの内容が二者択一的に使われることが示されるとき、それは既存のタイミング情報フィールド（例えばＰＥＳヘッダーフィールド）で担持される。図６ｂに示されるＭＰＥＧ２トランスポート・ストリームに合わせて調整される実施例において、順序付けは下記のようにして実行される。図６ｂは、機能性が以下の略記によって記載されている多重構造を示す。

Ａ_n（ｊ）=サブビットストリームｎのｊ番目のアクセスユニットは、ｔｄ_n（ｊ_n）で復号化され、そこにおいて、ｎ＝＝０は、基本レイヤーを示す
ＤＩＤ_n=サブビットストリームｎにおけるＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ
ＤＰＢ_n=サブビットストリームの復号化ピクチャ・バッファ
ＤＲ_n（ｊ_n）=サブビットストリームｎにおけるｊ_n番目の依存表現
ＤＲＢ_n=サブビットストリームｎの依存表現バッファ
ＥＢ_n=サブビットストリームｎの基本のストリームバッファ
ＭＢ_n=サブビットストリームｎの多重化バッファ
ＰＩＤ_n=トランスポート・ストリームにおけるサブビットストリームｎのプログラムＩＤ
ＴＢ_n=サブビットストリームｎのトランスポート・バッファ
ｔｄ_n（ｊ_n）=サブビットストリームｎにおけるｊ番目の依存表現の復号化タイムスタンプ ｔｄ_n（ｊ_n）は、同じアクセスユニットＡ_n（ｊ）における少なくとも1つのｔｄ_m（ｊ_m）と異なる
ｔｐ_n（ｊ_n）=サブビットストリームｎにおけるｊ_n番目の依存表現の表現タイムスタンプ ｔｐ_n（ｊ_n）は、同じアクセスユニットＡ_n（ｊ）における少なくとも1つのｔｐ_m（ｊ_m）と異なる
ｔｒｅｆ_n（Ｊ_n）=ｊ_n番目の低い（直接、参照される）サブビットストリームに対するタイムスタンプ参照
ｔｒｅｆ ｔｒｅｆ_n（ｊ_n）がｔｄ_n（ｊ_n）に加えて担持されるサブビットストリームｎにおける依存表現は、ＰＥＳパケットに、例えば、ＳＶＣ依存表現デリミターＮＡＬに持ち込まれる

受信したトランスポート・ストリーム３００は、以下の通りに処理される。
サブストリームｎにおけるＤＲ_n（ｊ_n）の受信順序ｊ_nにおいて最も高い値、ｚ＝ｎから始めているすべての依存表現ＤＲ_z（ｊ_z）。すなわち、個々のＰＩＤ番号によって示されるように、サブストリームはデマルチプレクサ４によって逆多重化される。受信したデータ部の内容は、異なるサブビットストリームの個々のバッファチェーンのＤＲＢｓに格納される。ＤＲＢｓのデータは、以下の規則に従ってサブストリームｎのｊ_n番目のアクセスユニットＡ_n（ｊ_n）を作成するために、ｚの順に抽出される。

以下のように、サブビットストリームｙは、サブビットストリームｘより高いＤＩＤを有するサブビットストリームであると仮定される。すなわち、サブビットストリームｙにおける情報は、サブビットストリームｘにおける情報に依存する。２つの対応するＤＲ_x（ｊ_x）およびＤＲ_y（ｊ_y）のそれぞれに対して、ｔｒｅｆ_y（ｊ_y）は、ｔｄ_x（ｊ_x）に等しくなければならない。この教示をＭＰＥＧ２トランスポート・ストリーム規格に適用して、これは、例えば、以下の通りに達成されることができる。

連関情報ｔｒｅｆはＰＥＳヘッダ拡張にフィールドを加えることによって示され、それは将来のスケーラブル／マルチビュー・コーディング規格により用いられる。評価されるそれぞれのフィールドのために、ＰＥＳ＿ｅｘｔｅｎｓｉｏｎ・ｆｌａｇおよびＰＥＳ＿ｅｘｔｅｎｓｉｏｎ・ｆｌａｇ・２は統一することになっており、ｓｔｒｅａｍ・ｉｄ・ｅｘｔｅｎｓｉｏｎ・ｆｌａｇは０にセットされる。連関情報ｔ・ｒｅｆは、ＰＥＳ拡張部の予約ビットを用いることにより示される。

さらに、付加的なＰＥＳ拡張タイプを定めることを更に決定することができ、それは将来の拡張も提供する。

更なる実施例によれば、連関情報のための付加的なデータフィールドは、ＳＶＣ依存表現デリミターに加えられる。それから、シグナリングビットは、ＳＶＣ依存表現の中で新しいフィールドの存在を示すために導入される。このような付加ビットは、例えば、ＳＶＣデスクリプタにおいて、または、階層デスクリプタにおいて導入される。

一実施例によれば、ＰＥＳパケットヘッダの拡張は、以下の通り既存のフラグを用いて、または、以下の付加的なフラグを導入することによって実施される。

ＴｉｍｅＳｔａｍｐＲｅｆｅｒｅｎｃｅ＿ｆｌａｇ − 存在を示すことを「１」にセットしたき、これは１ビットフラグである。
ＰＴＳ＿ＤＴＳ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ − これは、１ビットフラグである。
ＰＴＲ＿ＤＴＲ＿ｆｌａｇｓ − これは、２ビットフィールドである。ＰＴＲ＿ＤＴＲ＿ｆｌａｇｓフィールドが「１０」に設定されるとき、以下のＰＴＲフィールドは他のＳＶＣビデオサブビットストリームにおけるＰＴＳフィールドまたはＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ＩＤの次の低い値を有するＡＶＣ基本レイヤーに対する参照を含み、ＳＶＣビデオサブビットストリームに存在するようなｄｅｐｅｎｄｅｎｃｙ＿ＩＤはＰＥＳヘッダの範囲内でこの拡張を含む。ＰＴＲ＿ＤＴＲ＿ｆｌａｇｓフィールドが「０１」に設定されるとき、以下のＤＴＲフィールドは他のＳＶＣビデオサブビットストリームにおけるＤＴＳフィールドまたはＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ＩＤの次の低い値を有するＡＶＣ基本レイヤーに対する参照を含み、ＳＶＣビデオサブビットストリームに存在するようなｄｅｐｅｎｄｅｎｃｙ＿ＩＤはＰＥＳヘッダの範囲内でこの拡張を含む。ＰＴＲ＿ＤＴＲ＿ｆｌａｇｓフィールドが「００」に設定されるとき、ＰＴＳまたはＤＴＳ参照はＰＥＳパケットヘッダに存在しない。値「１１」は、禁じられている。
ＰＴＲ（プレゼンテーション・タイム・リファレンス） − これは、３つの別々のフィールドにおいて符号化される３３ビット数である。これは、他のＳＶＣビデオサブビットストリームにおけるＰＴＳフィールドまたはＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ＩＤの次の低い値を有するＡＶＣ基本レイヤーに対する参照を含み、ＳＶＣビデオサブビットストリームに存在するようなｄｅｐｅｎｄｅｎｃｙ＿ＩＤはＰＥＳヘッダの範囲内でこの拡張を含む。
ＤＴＲ（プレゼンテーション・タイム・リファレンス） − これは、３つの別々のフィールドにおいて符号化される３３ビット数である。これは、他のＳＶＣビデオサブビットストリームにおけるＤＴＳフィールドまたはＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ＩＤの次の低い値を有するＡＶＣ基本レイヤーに対する参照であり、ＳＶＣビデオサブビットストリームに存在するようなｄｅｐｅｎｄｅｎｃｙ＿ＩＤはＰＥＳヘッダの範囲内でこの拡張を含む。

既存のおよび更に付加的なデータフラグを利用している対応するシンタックスの実施例は、図７において挙げられる。

先に述べた第２のオプションを実施するときに用いられるシンタックスの実施例は、図８において挙げられる。付加的な連関情報をインプリメントするために、シンタックス要素は、以下の数または値に起因している。

ＳＶＣ依存表現デリミターｎａｌユニットの意味論
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ―ｂｉｔ − ０ｘ００に等しい
ｎａｌ＿ｒｅｆ＿ｉｄｃ − ０ｘ００に等しい
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ − ０ｘ１８に等しい
ｔ＿ｒｅｆ［３２…０］ − ＮＡＬユニットヘッダシンタックス要素ｄｅｐｅｎｄｅｎｃｙ＿ＩＤの次の低い値を有する依存表現のためのＰＥＳヘッダに示されているような復号化タイムスタンプＤＴＳに等しく、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤはＳＶＣビデオサブビットストリームまたはＡＶＣ基本レイヤーにおけるのと同じアクセスユニットである。
ここで、ｔ＿ｒｅｆは、参照された依存表現のＤＴＳに関して以下の通りに設定される。
ＤＴＳ［１４．．０］はｔ＿ｒｅｆ［１４．．０］に等しく、ＤＴＳ［２９．．１５］はｔ＿ｒｅｆ［２９．．１５］に等しく、ＤＴＳ［３２．．３０］はｔ＿ｒｅｆ［３２．．３０］に等しい。
ｍａｋｅｒ＿ｂｉｔ − １ビットフィールドであって、「１」に等しい。

本発明の更なる実施例は、専用ハードウエアとして、または、ハードウェア回路において実施される。

図９は、例えば、参照データ部に応じた第２のデータ部のための復号化方法発生器を示し、第２のデータ部は第１および第２のデータストリームを含むトランスポート・ストリームの第２のデータストリームの一部であって、第１のデータストリームの第１のデータ部は第１のタイミング情報を含み、第２のデータストリームの第２のデータ部は、第１のデータストリームの所定の第１のデータ部を示す連関情報と同様に第２のタイミング情報を含む。

復号化方法発生器４００は、方法発生器４０４と同様に参照情報発生器４０２を含む。
参照情報発生器４０２は、第１のデータストリームの参照された所定の第１のデータ部を用いて第２のデータ部のための参照データ部を導き出すのに適している。方法発生器４０４は、第２のデータ部および参照情報発生器４０２によって導き出された参照データ部のための処理時間のための表示として第２のタイミング情報を用いて第２のデータ部のための復号化方法を導き出すのに適している。

本発明の他の実施例によれば、ビデオデコーダは、スケーラブル・ビデオ・コーデックの異なるレベルに関連する異なるデータストリームのデータパケットの中に含まれるビデオ・データ部のための復号化順序方法を作成するために、図９に示すような復号化方法発生器を含む。

本発明の実施例は、従って、符号化されたビデオストリームの異なる特性に関する情報を含む効率的に符号化されたビデオストリームを作成することができる。柔軟な参照によって、個々のレイヤー内の不必要な情報伝送が回避されるため、相当量のビットレートが保存される。

異なるデータストリームの異なるデータ部の間の範囲内における柔軟な参照のアプリケーションは、映像符号化の状況に役立つだけでない。一般に、それは、異なるデータストリームのいかなる種類のデータパケットにも適用されることができる。

図１０は、処理順序発生器５０２、オプションのレシーバ５０４およびオプションの順序付け器５０６を含むデータパケット・スケジューラ５００の実施例を示す。レシーバは、第１および第２のデータ部を有する第１のデータストリームおよび第２のデータストリームを含むトランスポート・ストリームを受信するのに適しており、第１のデータ部は第１のタイミング情報を含み、第２のデータ部は第２のタイミング情報および連関情報を含む。

処理順序発生器５０２は処理順序を有する処理スケジュールを生成するのに適しており、第２のデータ部は第１のデータストリームの参照された第１のデータ部の後で処理される。順序付け器５０６は、第１のデータ部４５０の後で第２のデータ部４５２を出力するのに適している。

さらに図１０に示すように、第１および第２のデータストリームは、オプションＡに示されるように、必ずしも１つの多重化トランスポート・データストリームに含まれる必要はない。それとは反対に、図１０のオプションＢに示されているように、第１および第２のデータストリームを別のデータストリームとして送信することも可能である。

多重伝送およびデータストリームのシナリオは、前述した柔軟な参照によって強化される。更なるアプリケーション・シナリオは、以下の記述によって与えられる。

メディアを論理的サブセットに分割することを可能にする、スケーラブルな、または複数の見方、または複数の記述、または他のさまざまな特性を有するメディアストリームは、異なるチャネルを通じて伝送されるか、または異なる蓄積器に格納される。メディアストリームを分割することは、全体として、サブパーツに復号化するために必要とされる個々のメディアフレームまたはアクセスユニットを分割することを必要とする。異なるチャネルにおける伝送順序または異なる蓄積器における蓄積順序に依存することは完全なメディアストリームまたは完全なメディアストリームのそれぞれに使用可能なサブセットの復号化順序も回復することができないため、異なるチャネルを通じた伝送または異なる蓄積器における蓄積の後に、フレームまたはアクセスユニットの復号化順序を正常な状態に戻すために、復号化順序回復のための処理が必要である。完全なメディアストリームのサブセットは、アクセスユニットの特定のサブパーツから、メディアストリーム・サブセットの新規なアクセスユニットにつくられる。メディアストリーム・サブセットは、アクセスユニットを回復するために用いられるメディアストリームのサブセットの数に応じて、フレーム／アクセスユニットにつき異なる復号化およびプレゼンテーション・タイムスタンプを必要とする。いくつかのチャネルは、チャネルにおける復号化および／またはプレゼンテーョン・タイムスタンプを提供し、それが復号化順序を回復するために用いられる。さらに、チャネルは、通常、伝送または蓄積順序によって、または、付加装置によってチャネル内で復号化順序を提供する。異なるチャネルまたは異なる蓄積器との間に復号化順序を回復するために付加情報が必要である。少なくとも一つの伝送チャネルまたは蓄積器のために、復号化順序は、いかなる手段によっても導き出せなくてはならない。他のチャネルの復号化順序は、異なる伝送チャネルまたは蓄積器におけるフレーム／アクセスユニットまたはそのサブパーツのために示される導き出せる復号化順序プラス値によって与えられ、伝送チャネルまたは蓄積器における対応するフレーム／アクセスユニットまたはそのサブパーツは復号化順序のために導き出される。ポインタは、復号化タイムスタンプまたはプレゼンテーション・タイムスタンプであってもよく、特定のチャネルまたは蓄積器における伝送または蓄積順序を示すシーケンス番号であってもよく、または、復号化のために順序が導き出されるメディアストリーム・サブセットにおけるフレーム／アクセスユニットを確認することができる他のいかなるインジケータであってもよい。

メディアストリームは媒体ストリーム・サブセットに分割されることができ、異なる伝送チャネルを通じて伝送され、または、異なる蓄積器に格納され、すなわち、完全なメディアフレーム／メディアアクセスユニットまたはそのサブパーツは異なるチャネルまたは異なる蓄積器に存在する。メディアストリームのフレーム／アクセスユニットのサブパーツを結合することは、メディアストリームの復号化可能なサブセットという結果になる。

少なくとも１つの伝送チャネルまたは蓄積器において、メディアは復号化順序で伝送されるかまたは格納され、少なくとも１つの伝送チャネルまたは蓄積器において、復号化順序は他の手段によっても導き出すことができる。

少なくとも、そのために復号化順序が回復されることができるチャネルは、特定のフレーム／アクセスユニットまたはそのサブパーツを確認するために用いられることができる少なくとも１つのインジケータを提供する。このインジケータは、復号化順序のために導き出されるものに比べて、少なくとも１つの他のチャネルまたは蓄積器においてフレーム／アクセスユニットまたはそのサブパーツに割り当てられる。

復号化順序のために導き出されるものに比べて、いくつかの他のチャネルまたは蓄積器におけるフレーム／アクセスユニットまたはそのサブパーツの復号化順序は、復号化順序のためにチャネルまたは蓄積器において対応するフレーム／アクセスユニットまたはそのサブセットを見つけることができる識別子によって与えられる。それぞれの復号化順序は、復号化のために順序が導き出されるチャネルにおける参照された復号化順序によって与えられる以上である。

復号化および／またはプレゼンテーション・タイムスタンプが、インジケータとして使われることができる。

もっぱら、または、さらに、マルチビュー符号化メディアストリームのビューインジケータが、インジケータとして用いられることができる。

もっぱら、または、さらに、複数表現符号化メディアストリームの分割を示すインジケータが、インジケータとして用いられることができる。

タイムスタンプがインジケータとして使われるときに、最高水準のタイムスタンプが全部のアクセスユニットのためにフレーム／アクセスユニットの低いサブパーツに存在するタイムスタンプを更新するために使われる。

先に述べた実施例が普通は映像符号化および映像伝送に関するが、柔軟な参照は映像アプリケーションに限定されない。反対に、例えば異なる特性または他のマルチ・ストリーム・アプリケーションの音声ストリームを使用している音声ストリーミング・アプリケーションとして、他の全てのパケット化伝送アプリケーションは、前述した復号化方法または符号化方法から強く恩恵を得ることができる。

アプリケーションが選ばれた伝送チャネルに依存していないことは言うまでもない。例えば無線通信、有線通信、ファイバ通信、衛星通信などのいかなるタイプの伝送チャネルも使われることができる。さらに、異なるデータストリームは、異なる伝送チャネルによって提供される。例えば、限られた帯域幅だけを必要としているストリームの基本チャネルは、ＧＳＭネットワークを介して送信されるが、ＵＭＴＳ携帯電話を有する人々だけはより高いビットレートを必要とする強化レイヤーを受信することができる。

発明の方法の特定の実施要求に応じて、発明の方法は、ハードウェアにおいて、または、ソフトウェアにおいて実施することができる。実施はその上に格納される電子的に読み込み可能な制御信号を有し、発明の方法が実行されるように、それはプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、特にディスク、ＤＶＤまたはＣＤを使用して実行されることができる。通常、本発明は、機械可読キャリアに格納されるプログラムコードを有するコンピュータ・プログラム製品であって、コンピュータ・プログラム製品がコンピュータで動くときに、プログラムコードが発明の方法を実行するために実施されている。換言すれば、発明の方法は、コンピュータ・プログラムがコンピュータで動くときに、発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

前述においては特にその特定の実施例を参照して図と共に記載されたが、形状および詳細のさまざまな他の変化が、その趣旨および範囲から逸脱することなくなされることができることは当業者によってよく理解されている。異なる実施例に適応する際に、本願明細書において開示される上位概念から逸脱することなく、さまざまな変更がなされることができ、続く請求項によって理解されることができることを理解すべきである。

Claims (30)

1. 参照データ部に依存した第２のデータ部のための復号化方法を導き出すための方法において、前記第２のデータ部はトランスポート・ストリームの第２のデータストリームの一部であり、前記トランスポート・ストリームは前記第２のデータストリームと第１のデータ部を含む第１のデータストリームとを含み、前記第１のデータ部は第１のタイミング情報を含み、前記第２のデータストリームの前記第２のデータ部は第２のタイミング情報を含み、連関情報は前記第１のデータストリームの所定の第１のデータ部を示す方法であって、
   前記第２のデータ部のための処理時間のための指示としての前記第２のタイミンク情報および参照データ部としての第１のデータストリームの参照された所定の前記第１のデータ部を用いて前記第２のデータ部のための復号化方法を導き出すステップを含む、方法。
2. 前記第２のデータ部の連関情報が前記所定の第１のデータ部の第１のタイミング情報である、請求項１に記載の方法。
3. さらに、前記第２のデータ部の前に前記第１のデータ部を処理するステップを含む、請求項１または請求項２に記載の方法。
4. さらに、前記参照された所定の第１のデータ部が前記第２のデータ部の前に出力されるように、前記第１および前記第２のデータ部を出力するステップを含む、請求項１ないし請求項３のいずれかに記載の方法。
5. 出力された第１および第２のデータ部がデコーダに提供される、請求項４に記載の方法。
6. 前記第２のタイミング情報に加えて前記連関情報を含む第２のデータ部が処理される、請求項１ないし請求項５のいずれかに記載の方法。
7. 前記第２のタイミング情報と異なる連関情報を有する第２のデータ部が処理される、請求項１ないし請求項６のいずれかに記載の方法。
8. 前記第２のデータ部の依存は、前記第２のデータ部の復号化が前記第１のデータ部内に含まれる情報を必要とするようなものである、請求項１ないし請求項７のいずれかに記載の方法。
9. 前記第１のデータストリームの前記第１のデータ部は、レイヤー構造のビデオ・データストリームの第１レイヤーの符号化されたビデオフレームに関連付けられ、
   前記第２のデータストリームのデータ部は、スケーラブル・ビデオ・データストリームの第２のより上位のレイヤーの符号化されたビデオフレームに関連付けられる、請求項１ないし請求項８のいずれかに記載の方法。
10. 前記第１のデータストリームの前記第１のデータ部は、スケーラブル・ビデオ・データストリームの１つまたはそれ以上のＮＡＬユニットに関連付けられ、
    前記第２のデータストリームのデータ部は、スケーラブル・ビデオ・データストリームの１つまたはそれ以上の第２の異なるＮＡＬユニットに関連付けられる、請求項９に記載の方法。
11. 前記第２のデータ部が連関情報として所定の第１のデータ部の復号化タイムスタンプを用いて所定の第１のデータ部に関連付けられ、前記復号化タイムスタンプはスケーラブル・ビデオ・データストリームの第１レイヤー内の所定の第１のデータ部の処理時間を示す、請求項９または請求項１０に記載の方法。
12. 前記第２のデータ部が連関情報として第１の所定のデータ部のプレゼンテーション・タイムスタンプを用いて第１の所定のデータ部に関連付けられ、前記プレゼンテーション・タイムスタンプはスケーラブル・ビデオ・データストリームの第１レイヤー内の第１の所定のデータ部のプレゼンテーションタイムを示す、請求項９ないし請求項１１のいずれかに記載の方法。
13. さらに、連関情報として、スケーラブル・ビデオ・データストリーム内の可能な異なる表示の１つを示す表示情報、または、前記第１のデータ部のマルチ記述符号化メディアストリームの異なる可能なパーティションの１つを示すパーティション情報を用いるステップを含む、請求項１１または請求項１２に記載の方法。
14. さらに、前記第２のデータストリームのための復号化方法モードを示すモード・データであって、前記第２のデータストリームに関連するモード・データを評価するステップを含み、
    第１モードが示される場合には、復号化方法は請求項１ないし請求項８のいずれかにしたがって導き出され、
    第２モードが示される場合には、前記第２のデータ部のための復号化方法は、処理された第２のデータ部のための処理時間として前記第２のタイミング情報を用い、前記参照データ部としての前記第２のタイミング情報と同一の前記第１のタイミング情報を有する前記第１のデータストリームの第１のデータ部を用いて導き出される、請求項１ないし請求項１３のいずれかに記載の方法。
15. 第１および第２のデータストリームを含むトランスポート・ストリームを含むビデオ・データ表現であって、
    第１のデータストリームの第１のデータ部は第１のタイミング情報を含み、
    第２のデータストリームの第２のデータ部は、第２のタイミング情報と前記第１のデータストリームの所定の第１のデータ部を示す連関情報とを含む、ビデオ・データ表現。
16. さらに、前記第２のデータストリームに関連付けられるモード・データを含み、前記モード・データは、前記第２のデータストリームのための少なくとも２つの復号化方法モードのうちの選び出されたものを示す、請求項１５に記載のビデオ・データ表現。
17. 所定の第１のデータ部の第１のタイミング情報が前記第２のデータ部の連関情報として用いられる、請求項１５または請求項１６に記載のビデオ・データ表現。
18. ビデオ・シーケンスの表現を生成するための方法において、前記ビデオ・シーケンスは第１のデータ部を含む第１のデータストリームを含み、前記第１のデータ部は第１のタイミング情報と第２のデータストリームとを含み、前記第２のデータストリームは第２のタイミング情報を有する第２のデータ部を含む方法であって、
    前記第１のデータストリームの所定の第１のデータ部を示す連関情報を前記第２のデータストリームの第２のデータ部に関連付けるステップ、および
    前記ビデオ・シーケンスの表現として前記第１および前記第２のデータストリームを含むトランスポート・ストリームを生成するステップを含む、方法。
19. 前記連関情報が前記第２のデータ部への付加データフィールドとして導入される、請求項１８に記載のビデオ・シーケンスの表現を生成する方法。
20. 前記連関情報は、前記第２のデータ部の既存のデータフィールドにおいて導入される、請求項１８に記載のビデオ・シーケンスの表現を生成する方法。
21. さらに、前記第２のデータストリームのための少なくとも２つの可能な復号化方法モードの中の復号化方法モードを示すモード・データを前記第２のデータストリームに関連付けるステップを含む、請求項１８ないし請求項２０のいずれかに記載のビデオ・シーケンスの表現を生成する方法。
22. 前記モード・データは、付加データフィールドとして前記第２のデータストリームの第２のデータ部に導入される、請求項２１に記載のビデオ・シーケンスの表現を生成する方法。
23. 前記連関情報は、前記第２のデータストリームの第２のデータ部の既存のデータフィールドにおいて導入される、請求項２１に記載のビデオ・シーケンスの表現を生成する方法。
24. 参照データ部に依存した第２のデータ部のための復号化方法発生器において、前記第２のデータ部はトランスポート・ストリームの第２のデータストリームの一部であり、前記トランスポート・ストリームは前記第２のデータストリームと第１のデータ部を含む第１のデータストリームとを含み、前記第１のデータ部は第１のタイミング情報を含み、前記第２のデータストリームの前記第２のデータ部は第２のタイミング情報を含み、連関情報は前記第１のデータストリームの所定の第１のデータ部を示す復号化方法発生器であって、
    前記第１のデータストリームの所定の第１のデータ部を用いて前記第２のデータ部のための参照データ部を導き出すのに適している参照情報発生器、および
    前記第２のデータ部のための処理時間のための指示としての前記第２のタイミング情報および前記参照情報発生器によって導き出される参照データ部を用いて、前記第２のデータ部のための復号化方法を導き出すのに適している方法発生器を含む、復号化方法発生器。
25. ビデオ・シーケンスの表現を生成するのに適しているビデオ表現発生器において、前記ビデオ・シーケンスは第１のデータ部を含む第１のデータストリームを含み、前記第１のデータ部は第１のタイミング情報および第２のデータストリームを含み、前記第２のデータストリームは第２のタイミング情報を有する第２のデータ部を含むビデオ表現発生器であって、
    前記第１のデータストリームの所定の第１のデータ部を示す連関情報を前記第２のデータストリームの前記第２のデータ部に関連付けるのに適している参照情報発生器、および
    前記ビデオ・シーケンスの表現として前記第１および前記第２のデータストリームおよび前記連関情報を含むトランスポート・ストリームを生成するのに適しているマルチプレクサを含む、ビデオ表現発生器。
26. 参照データ部に依存した第２のデータ部のための処理スケジュールを導き出すための方法において、前記第２のデータ部はトランスポート・ストリームの第２のデータストリームの一部であり、前記トランスポート・ストリームは前記第２のデータストリームと第１のデータ部を含む第１のデータストリームとを含み、前記第１のデータ部は第１のタイミング情報を含み、前記第２のデータストリームの前記第２のデータ部は第２のタイミング情報を含み、連関情報は前記第１のデータストリームの所定の第１のデータ部を示す方法であって、
    前記第２のデータ部が前記第１のデータストリームの所定の第１のデータ部の後で処理されるような処理順序を有する処理スケジュールを導き出すステップを含む、方法。
27. さらに、前記第１および第２のデータ部を受信するステップ、および
    出力ビットストリームにおいて前記第１のデータ部に前記第２のデータ部を追加するステップを含む、請求項２６に記載の処理スケジュールを導き出すための方法。
28. 参照データ部に依存した第２のデータ部のための処理スケジュールを生成するのに適しているデータパケット・スケジューラにおいて、前記第２のデータ部はトランスポート・ストリームの第２のデータストリームの一部であり、前記トランスポート・ストリームは前記第２のデータストリームと第１のデータ部を含む第１のデータストリームとを含み、前記第１のデータ部は第１のタイミング情報を含み、前記第２のデータストリームの前記第２のデータ部は第２のタイミング情報を含み、連関情報は前記第１のデータストリームの所定の第１のデータ部を示すデータパケット・スケジューラであって、
    前記第２のデータ部が前記第１のデータストリームの所定の第１のデータ部の後で処理されるような処理順序を有する処理スケジュールを生成するのに適応する処理順序発生器を含む、データパケット・スケジューラ。
29. さらに、前記第１および第２のデータ部を受信するのに適している受信器、および
    前記第１のデータ部の後で前記第２のデータ部を出力するのに適している順序付け器を含む、請求項２８に記載のデータパケット・スケジューラ。
30. コンピュータ上で実行させるとき、請求項１、１８、２６のいずれかに記載の方法を実行するためのプログラムコードを有する、コンピュータ・プログラム。

Images