JP2010501141A - デジタル映像の可変解像度エンコードおよびデコード技術 - Google Patents

Abstract

デジタル映像の可変解像度エンコードおよびデコード技術が記載される。装置は、映像情報を、基本レイヤおよび強化レイヤを有するビデオストリームに符号化するビデオエンコーダから成ることができる。基本レイヤは、第１レベルの空間的解像度および第１レベルの時間的解像度を持つことができる。強化レイヤは、第１レベルの空間的解像度または第１レベルの時間的解像度を増大させることができる。他の実施形態が記載され請求される。

Description

デジタル映像（digital video）は、大量の記憶および伝送容量を消費する。典型的な、生のデジタル映像シーケンスは、１秒当たり１５、３０または６０ものフレーム（フレーム／秒）を含む。フレームは数十万の画素を含むことができる。各画素すなわちピクセルは、ピクチャの極めて小さな要素を表す。例えば、生の形式では、コンピュータは共通して１画素を２４ビットで表す。従って、典型的な生のデジタル映像シーケンスのビットレートすなわち１秒辺りのビット数は、１秒当たり５００万ビット以上のオーダーであり得る。

ほとんどの媒体処理装置および通信ネットワークは、生のデジタル映像を処理するための資源が不足している。このため、技術者は、圧縮（また、符号化またはエンコーディングとも呼ばれる）を利用して、デジタル映像のビットレートを減らす。解凍（またはデコーディング）は、圧縮の逆である。

一般に、所定の処理装置および／または通信ネットワークのための特定のタイプの映像圧縮を選択するにあたっては、設計トレードオフがある。例えば圧縮は、より高いビットレートを費やした、映像品質が高いままのところでは損失が無く、または、映像品質が劣化しているところでは損失があるが、ビットレートがより劇的に減少する。ほとんどのシステム設計では、設計制約および性能用件の所定の組に基づいて、品質とビットレートの間である程度の妥協をする。そのため、所定の映像圧縮技術は一般的に、異なるタイプの媒体処理装置および／または通信ネットワークに対して適応しない。

この要約は、以下の「発明を実施するための形態」でさらに述べる概念を選択して簡略化した形式で紹介するために提供するものである。この要約は、請求の主題の重要な特徴または主要な特徴を確認することを意図していない。また、請求の主題の範囲を限定するために使用されることを意図してもいない。

種々の実施形態は、一般に映像、画像、ピクチャ等のデジタルメディアコンテンツのデジタルエンコード、デコードおよび処理を対象とする。ある実施形態では、デジタルメディアコンテンツのデジタルエンコード、デコードおよび処理は、映画テレビ技術者協会（ＳＭＰＴＥ）規格４２１Ｍ（「ＶＣ−１」）の規格および改良型ビデオコーデックシリーズに基づき得る。より詳細には、ある実施形態は、多重解像度エンコードおよびデコード技術、および、下位互換性を切ることなくＶＣ−１ビットストリームにおいてそのような技術をどのように可能にするか、を対象とする。一実施形態においては、例えば、一装置が、デジタル映像情報を増大されたＳＭＰＴＥ ＶＣ−１ビデオストリームまたはビットストリームに圧縮または符号化するようにされたビデオエンコーダを含むことができる。ビデオエンコーダは、デジタル映像情報を基本レイヤおよび１つまたは複数の空間的および／または時間的強化レイヤ等の多重レイヤの形式に符号化することができる。基本レイヤは、空間的解像度の定義された最低限度および時間的解像度の基本レベルを提示することができる。１つまたは複数の強化レイヤは、基本レイヤに符号化された映像情報の空間的解像度の基本レベルおよび／または時間的解像度の基本レベルを増加させるのに使用されることができる、符号化された映像情報を含むことができる。ビデオデコーダは、基本レイヤおよび、１つまたは複数の強化レイヤから映像情報を選択的にデコードし、その映像情報を所望の品質レベルで再生または再現することができる。同様に、オーディオビデオマルチポイントコントロールユニット（ＡＶＭＣＵ）は、基本レイヤおよび、１つまたは複数の強化レイヤから映像情報を選択して、現在利用できるネットワークの帯域幅および受信機のデコード能力等の情報に基づき、会議の参加者に転送することができる。他の実施形態は記載され請求される。

ビデオキャプチャ／再生システムのための実施形態を図解した図である。 一般的なビデオエンコーダシステムのための実施形態を図解した図である。 ビデオデコーダシステムのための実施形態を図解した図である。 ビデオレイヤ階層のための実施形態を図解した図である。 第１ビデオストリームのための実施形態を図解した図である。 第２ビデオストリームのための実施形態を図解した図である。 第３ビデオストリームのための実施形態を図解した図である。 第４ビデオストリームのための実施形態を図解した図である。 論理フローのための実施形態を図解した図である。 第１の変形映像システムのための実施形態を図解した図である。 第２の変形映像システムのための実施形態を図解した図である。 コンピュータ環境のための実施形態を図解した図である。

種々の媒体処理装置は、デジタル映像等のデジタルメディアコンテンツの一定レベルの圧縮を行う、ビデオコーダおよび／またはデコーダ（まとめて「コーデック」と称される）を実装することができる。選択される圧縮のレベルは、多くの要因、例えば映像ソースのタイプ、映像圧縮技術のタイプ、通信回線で利用可能な帯域幅またはプロトコル、所定の受信装置で利用可能な処理またメモリリソース、デジタル映像を再現するのに使用される表示装置のタイプ、等によって変更することができる。一度実装されると、媒体処理装置は典型的には、エンコードおよびデコード両方の動作が、ビデオコーデックによって設定された圧縮のレベルに制限される。この手法は、典型的にはほとんど柔軟性を提供しない。異なるレベルの圧縮が所望される場合は、媒体処理装置は典型的には、各圧縮レベルに対して異なるビデオコーデックを実装する。この手法は、媒体処理装置ごとに多数のビデオコーデックの使用を必要とすることになり、従って媒体処理装置の複雑さとコストを増大させる。

これらおよび他の問題を解決するため、種々の実施形態が、多重解像度エンコードおよびデコード技術を対象とすることができる。スケーラブルビデオエンコーダは、共通のビデオストリーム内の多数のビデオレイヤとしてデジタル映像情報を符号化することができ、ビデオストリームでは各ビデオレイヤが、空間的解像度および／または時間的解像度の１つまたは複数のレベルを提示する。ビデオエンコーダは、基本レイヤおよび強化レイヤ等の多数のビデオレイヤのためのデジタル映像情報を、単一の共通のビデオストリームにマルチプレクス(multiplex：多重化)することができる。ビデオデコーダは、共通のビデオストリームから映像情報をデマルチプレクスまたは選択的にデコードし、基本レイヤおよび、１つまたは複数の強化レイヤから映像情報を検索し、典型的には信号対ノイズ比（ＳＮ比）または他の測定基準で定義された所望の品質レベルで、該映像情報を再生または再現する。ビデオデコーダは、各ビデオレイヤに対して定義されるような種々のスタートコードを使用して、映像情報を選択的にデコードすることができる。同様に、ＡＶＭＣＵは、利用可能な現在の帯域幅およびデコーダ能力のような情報に基づき、基本レイヤおよび強化レイヤの１サブセットのみを１人または複数の参加者へ選択して転送することができる。ＡＶＭＣＵは、ビデオビットストリーム内のスタートコードを使用してレイヤを選択する。

空間的解像度は一般的に、測定されている空間の詳細に関する精度の基準を参照することができる。デジタル映像においては、空間的解像度は、フレーム、ピクチャ、画像内の画素の数として測定または表現されることができる。例えば、６４０×４８０画素のデジタル画像サイズは、３２６，６８８の個々の画素と等しい。一般に、高い空間的解像度を有する画像は、低い空間的解像度の画像よりも多くの画素で構成される。空間的解像度は、とりわけ映像フレーム、ピクチャまたは画像の画質に影響を及ぼす。

時間的解像度は一般的に、時間に関する特定の測定の精度を参照することができる。デジタル映像においては、時間的解像度は、フレームレート、すなわち、１５フレーム／秒、３０フレーム／秒、６０フレーム／秒等の１秒当たりのキャプチャされる映像情報のフレーム数として測定され、または表現されることができる。一般に、高い時間的解像度は、低い時間的解像度のフレーム数／秒よりも大きいフレーム数／秒を参照する。時間的解像度は、とりわけ、映像画像またはフレームのシーケンスにおける動き表現に影響を及ぼすことができる。ビデオストリームまたはビットストリームは、オーディオおよび／または映像情報を表すセグメント（例えば、ビットまたはバイト）の連続シーケンスを参照することができる。

一実施形態において、例えば、スケーラブルビデオエンコーダは、基本レイヤ、および１つまたは複数の時間的および／または空間的強化レイヤとして、デジタル映像情報を符号化することができる。基本レイヤは、デジタル映像情報の空間的解像度および／または時間的解像度の基本または最低レベルを提供することができる。時間的および／または空間的強化レイヤは、デジタル映像情報の、スケールされ強化された映像空間的解像度のレベルおよび／または時間的解像度のレベルを提供することができる。ビデオストリーム内の異なるビデオレイヤを描くために、種々のタイプのエントリーポイントおよびスタートコードが定義されることができる。この方法で、単一のスケーラブルビデオエンコーダは、空間的解像度および／または時間的解像度の多数のレベルを単一のビデオストリームに提供し、マルチプレクスすることができる。

種々の実施形態において、多数の異なるビデオデコーダは、符号化されたビデオストリームの所定のビデオレイヤからデジタル映像情報を選択的にデコードし、空間的解像度および／または時間的解像度の所望のレベルを所定の媒体処理装置に提供することができる。例えば、あるタイプのビデオデコーダは、基本レイヤをビデオストリームからデコードすることができ、一方、別のタイプのビデオデコーダは、基本レイヤおよび、１つまたは複数の強化レイヤをビデオストリームからデコードすることができる。媒体処理装置は、各ビデオレイヤからデコードされたデジタル映像情報を種々の方法で合成し、空間的解像度および／または時間的解像度に関する映像品質の異なるレベルを提供することができる。そして、媒体処理装置は、デコードされたデジタル映像情報を空間的解像度および時間的解像度の選択されたレベルで、１つまたは複数のディスプレイ上に再現することができる。

スケーラブルまたは多重解像度ビデオエンコーダおよびデコーダは、従来のビデオエンコーダおよびデコーダを越えるいくつかの利点を提供することができる。例えば、種々にスケールまたは分化されたデジタル映像サービスは、単一のスケーラブルビデオエンコーダおよび１つまたは複数のタイプのビデオデコーダを使用して、提供されることができる。旧式の(legacy)ビデオデコーダは、強化レイヤへのアクセスを必ずしも有することなく、デジタル映像情報をビデオストリームの基本レイヤからデコードすることができる一方、改良されたビデオデコーダは、同一のビデオストリーム内の基本レイヤおよび、１つまたは複数の強化レイヤ両方にアクセスすることができる。別の実施形態において、さまざまな暗号化技術が各レイヤに使用され、それによって各レイヤへのアクセスをコントロールすることができる。同様に、異なるデジタル著作権が各レイヤに割り当てられ、各レイヤへのアクセスを許可することができる。さらに別の例では、空間的および／または時間的解像度のあるレベルは、映像ソースのタイプ、映像圧縮技術のタイプ、通信回線で利用可能な帯域幅またはプロトコル、所定の受信装置で利用可能な処理またはメモリリソース、デジタル映像を再生するのに使用される表示装置のタイプ、等に基づき増減されることができる。

特に、改善された可変映像符号化解像度の実現により、ビデオストリーム内のディスプレイ解像度の大きさを特定するパラメータを持つという利点がもたらされる。映像の一部の符号化解像度は、エントリーポイントレベルにおいて信号で伝えられる。エントリーポイントは、イントラ符号化フレーム（「Ｉフレーム」とも称される）と共に始まりイントラ符号化フレームに対して予測して符号化される１つまたは複数の予測符号化フレーム（「Ｐフレーム」または「Ｂフレーム」とも称される）を含有することもできるビデオシーケンスのピクチャの、１つまたは複数のサブシーケンスまたはグループの近傍にあるかまたは隣接している。所定のエントリーポイントレベルにおいて信号で伝えられた符号化解像度は、基本レイヤにおけるＩフレーム、およびＩフレームを参照するＰフレームまたはＢフレームを含むピクチャのグループにこのようにして適用される。

後に続く記載は、ビデオシーケンスの一部が異なる解像度で可変的に符号化されることを可能にする改善された可変符号化解像度技術の実現を対象とする。この技術の例示的な適用は、ビデオコーデックシステムにおいてなされている。従って、可変符号化解像度技術は、符号化されたビットストリームシンタックスを利用して、例示的なビデオエンコーダ／デコーダの文脈で記載される。特に、改善された可変符号化解像度技術の記載される１つの実現は、ＳＭＰＴＥ規格４２１Ｍ（ＶＣ−１）のビデオコーデックシリーズの規格および改良型アドバンスト・プロファイルに準拠するビデオコーデックにおいてなされる。代替として、この技術は、後述される例示のビデオコーデックおよびシンタックスとは細部において異なる、種々のビデオコーデックの実現および規格において組み込まれることができる。

図１は、ビデオキャプチャ／再生システム１００の実装を図解する。図１は、可変符号化解像度技術が、典型的なアプリケーションまたは利用シナリオにおいて実現される、ビデオコーデックを採用するビデオキャプチャ／再生システム１００を図解する。ビデオキャプチャ／再生システム１００は一般的に、映像コンテンツを、入力されたデジタル映像ソース１１０から、通信チャネル１４０上で、圧縮されたビデオビットストリームにキャプチャして符号化する映像ソース／エンコーダ１２０と、映像を該チャネルから受け取りデコードし、該映像をビデオディスプレイ１７０上に表示するビデオプレーヤ／デコーダ１５０と、を含む。可変符号化解像度を有する後述されるビデオコーデックが実現されるこのようなシステムのいくつかの例は、ビデオキャプチャ、エンコード、デコードおよび再生が、全て単一の機器で実行されるシステム、また、これらの動作が別個の地理的に離れた機器で実行されるシステム、を包含する。例えば、デジタルビデオレコーダまたはテレビチューナーカード付のパーソナルコンピュータは、映像信号をキャプチャし、映像をハードドライブにエンコードすることが可能で、同様に、映像をハードドライブからリードバックし、デコードしモニタ上に表示することができる。別の例として、映像の商業出版者もしくは放送者は、ビデオエンコーダを組み込んだビデオマスタリングシステムを使用して、エンコードされた映像を有する、映像伝送（例えば、デジタル衛星チャンネル、またはウェブビデオストリーム）または記憶装置（例えば、テープまたはディスク）を生成することができ、そしてこのマスタリングシステムは、ユーザのデコーダおよび再生機（例えば、パーソナルコンピュータ、ビデオプレーヤ、ビデオ受信機等）へ映像を配布するために使用される。

図解のシステム１００において、映像ソース／エンコーダ１２０は、ソースプリプロセッサ１２２、ソース圧縮エンコーダ１２４、マルチプレクサ１２６、およびチャネルエンコーダ１２８を含む。プリプロセッサ１２２は、ビデオカメラ、アナログテレビキャプチャ、または他のソース等のデジタル映像ソース１１０から非圧縮デジタル映像を受け取り、その映像を圧縮エンコーダ１２４への入力のために処理する。圧縮エンコーダ１２４は、例として、図２を参照して記載されるようなビデオエンコーダ２００が挙げられ、映像の圧縮および符号化を実行する。マルチプレクサ１２６は、得られた圧縮ビデオビットストリームをパケット化し、通信チャネル１４０上に符号化するために、チャネルエンコーダ１２８に配信する。通信チャネル１４０は、デジタル映像放送、衛星または他の無線伝送、またはケーブル、電話または他の有線伝送、等の映像伝送であり得る。通信チャネル１４０はまた、コンピュータハードドライブまたは他の記憶ディスク等の記録映像媒体、テープ、光ディスク（ＤＶＤ）または他の着脱可能記録媒体であり得る。チャネルエンコーダ１２８は、圧縮ビデオビットストリームをファイルコンテナ、伝送搬送波信号等に符号化する。

ビデオプレーヤ／デコーダ１５０において、チャネルデコーダ１５２は、通信チャネル１４０上の圧縮ビデオビットストリームをデコードする。デマルチプレクサ１５４は、圧縮ビデオビットストリームをチャネルデコーダから圧縮デコーダ１５６へデマルチプレクスし、配信する。圧縮デコーダ１５６の例として、図３を参照して記載されるようなビデオデコーダ３００が挙げられる。そして圧縮デコーダは、映像を圧縮ビデオビットストリームからデコードし再構成する。最後に、ポストプロセッサ１５８は、映像を処理しビデオディスプレイ１７０上に表示させる。後処理動作の例には、デブロッキング、デリンギングまたは他のアーチファクト除去、レンジリマッピング、色変換、および他の同様の動作が含まれる。

図２は、汎用のビデオエンコーダ２００のブロック図、図３は、汎用のビデオデコーダ３００のブロック図であり、ここにおいて可変符号化解像度技術が組み込まれることが可能である。エンコーダおよびデコーダ内のモジュール間に示される関係はエンコーダおよびデコーダ内の情報のメインフローを表し、他の関係は、明確にする目的のため、省略されている。特に、図２および３は、通常、ビデオシーケンス、フレーム、マクロブロック、ブロック等に使用されるような、エンコーダの設定、モード、テーブル等を表すサイド情報（side information）を示さない。このようなサイド情報は、典型的にはサイド情報をエントロピー符号化した後に、出力ビットストリーム内に送信される。出力ビットストリームのフォーマットは、例えば、ＳＭＰＴＥ ＶＣ−１フォーマット、リアルタイムコミュニケーションズ(Real Time Communications)に適用されるＳＭＰＴＥ ＶＣ−１フォーマット、Ｈ．２６３フォーマット、Ｈ．２６４フォーマットまたは他の映像フォーマットであり得る。

一実施形態において、例えば、エンコーダ２００およびデコーダ３００は、ブロックベースであり、４：２：０のマクロブロックフォーマットを使用する。この各マクロブロックは、４つの８×８輝度ブロック（時には、１つの１６×１６マクロブロックとして扱われる）および２つの８×８色差ブロックを含む。代替として、エンコーダ２００およびデコーダ３００は、オブジェクト・ベースであり、異なるマクロブロックまたはブロックフォーマットを使用するか、または８×８ブロックおよび１６×１６マクロブロックとは異なるサイズまたは構造の画素の組で、動作を実行する。マクロブロックは、プログレッシブまたはインターレース映像コンテンツのどちらかを表示するために使用される。

種々の実施形態におけるスケーラブルビデオエンコードおよびデコード技術およびツールは、ビデオエンコーダおよび／またはデコーダで実現されることが可能である。ビデオエンコーダおよびデコーダは、その内部に異なるモジュールを含むことができ、この異なるモジュールは、多数のさまざまな方法でお互いに関連しあい通信することができる。後述されるモジュールおよび関係は、例であり制限ではない。所望の圧縮の実現およびタイプによって、ビデオエンコーダまたはビデオデコーダのモジュールは、追加、省略、多数のモジュールへの分割、他のモジュールへ結合および／または同様のモジュールとの交換が可能である。代替実施形態において、異なるモジュールおよび／または他の構造のモジュールを有するビデオエンコーダまたはビデオデコーダは、１つまたは複数の記載された技術を実行することができる。

一般に、映像圧縮技術は、イントラフレーム圧縮およびインターフレーム圧縮を含む。イントラフレーム圧縮技術は、典型的にはＩフレーム、キーフレーム、または参照フレームと呼ばれる、個々のフレームを圧縮する。インターフレーム圧縮技術は、先行するおよび／または後行するフレームを参照してフレームを圧縮し、典型的には予測フレームと呼ばれる。予測フレームの例には、プレディクティブ（Ｐ）フレーム、スーパー・プレディクティブ（ＳＰ）フレーム、およびバイ・プレディクティブまたはバイ・ディレクショナル（Ｂ）フレームが含まれる。予測フレームは、１つまたは複数の他のフレームからの動き補償予測（または差）の観点から表される。予測残差は、予測されたフレームと元のフレームとの差である。対照的に、Ｉフレームまたはキーフレームは、他のフレームを参照せずに圧縮される。

ビデオエンコーダは、典型的にはカレントフレームを含む映像のシーケンスを受け取り、圧縮された映像情報を出力として生成する。エンコーダは、予測フレームおよびキーフレームを圧縮する。エンコーダの多くの構成要素は、キーフレームおよび予測フレームの両方を圧縮するために使用される。これらの構成要素によって実行される正確な動作は、圧縮されている情報のタイプによって変化することが可能である。

図２は、一般的なビデオエンコーダシステム２００のブロック図である。エンコーダシステム２００は、カレントフレーム２０５を含む映像フレームのシーケンスを受け取り、圧縮映像情報２９５を出力として生成する。ビデオエンコーダの特定の実施形態では、典型的には、変形または補足バージョンの汎用のエンコーダ２００を使用する。

エンコーダシステム２００は、予測フレームおよびキーフレームを圧縮する。提示の目的のため、図２は、エンコーダシステム２００を通るキーフレーム用の経路と、前方予測フレーム用の経路を示す。エンコーダシステム２００の多くの構成要素は、キーフレームおよび予測フレームの両方を圧縮するために使用される。それらの構成要素によって実行される正確な動作は、圧縮されている情報のタイプによって変化することが可能である。

予測フレーム（例えば、Ｐフレーム、ＳＰフレーム、およびＢフレーム）は、１つまたは複数の他のフレームからの予測（または差）の観点から表される。予測残差は、予測されたものと元のフレームとの差である。対照的に、キーフレーム（例えば、Ｉフレーム）は、他のフレームを参照せずに圧縮される。

カレントフレーム２０５が前方予測フレームの場合、動き推定器２１０は、カレントフレーム２０５のマクロブロックまたは他の画素の組（例えば、１６×８、８×１６または８×８ブロック）の動きを、参照フレームに対して推定する。参照フレームは、フレームストア２２０にバッファリングされた、再構成された前フレーム２２５である。代替実施形態において、参照フレームは後フレームであるか、またはカレントフレームは双方向に予測される。動き推定器２１０は、サイド情報として、動きベクトル等の動き情報２１５を出力する。動き補償器２３０は、動き情報２１５を再構成された前フレーム２２５に適用し、動き補償カレントフレーム２３５を形成する。予測は完璧であることはまれで、動き補償カレントフレーム２３５と元のカレントフレーム２０５間の差は予測残差２４５である。代替として、動き推定器および動き補償器は、別のタイプの動き推定器／補償器を適用する。

周波数変換機２６０は、空間ドメイン映像情報を周波数ドメイン（スペクトル）データに変換する。ブロックベースの映像フレームに対して、周波数変換器２６０は、離散コサイン変換（ＤＣＴ）と同様の性質を有する、下記の項で記載される変換を適用する。いくつかの実施形態において周波数変換器２６０は、キーフレームに対する空間的予測残差のブロックに、周波数変換を適用する。周波数変成器２６０は、８×８、８×４、４×８または他のサイズの周波数変換を適用することができる。

そして、量子化器２７０が、スペクトルデータ係数のブロックを量子化する。量子化器は、フレーム単位にまたは他の単位によって変わるステップサイズで、スペクトルデータに均一なスカラー量子化を適用する。代替として、量子化器は、スペクトルデータ係数に別のタイプの量子化、例えば、均一でない量子化、ベクトル量子化、または非適応量子化を適用し、または周波数変換を使用しないエンコーダシステムにおいて、空間ドメインデータを直接量子化する。適応量子化に加え、エンコーダ２００は、フレームドロップ、適応フィルタリング、またはレート制御のための他の技術を使うことができる。

再構成されたカレントフレームが、後続の動き推定／補償用に必要とされる場合、逆量子化器２７６が、量子化されたスペクトルデータ係数に対して逆量子化を実行する。次に、逆周波数変換器２６６が、周波数変換器２６０の動作の逆を実施し、（予測フレーム対する）再構成された予測残差、または再構成されたキーフレーム生成する。カレントフレーム２０５がキーフレームだった場合、再構成されたキーフレームは、再構成されたカレントフレームとみなされる。カレントフレーム２０５が予測フレームだった場合、再構成された予測残差が、動き補償されたカレントフレーム２３５に追加されて、再構成されたカレントフレームを形成する。フレームストア２２０が、次のフレームの予測に使用するために、再構成されたカレントフレームをバッファリングする。いくつかの実施形態では、エンコーダは、再構成されたフレームにデブロッキングフィルタを適用して、フレームのブロックにおける不連続を適合的に平滑化する。

エントロピーコーダ２８０が、量子化器２７０の出力、ならびに特定のサイド情報（例えば、動き情報２１５、量子化ステップサイズ）を圧縮する。典型的なエントロピー符号化技術は、算術符号化、差分符号化、ハフマン符号化、ランレングス符号化、ＬＺ符号化、ディクショナリ符号化、および上記の組合せを含む。エントロピーコーダ２８０は典型的には、異なる種類の情報（例えば、ＤＣ係数、ＡＣ係数、異なる種類のサイド情報）に対して異なる符号化技術を使用し、ある特定の符号化技術において、多数のコードテーブルの中から選択を行うことができる。

エントロピーコーダ２８０は、バッファ２９０に、圧縮映像情報２９５を提供する。バッファレベル指示子は、ビットレート適応モジュールにフィードバックされることができる。圧縮映像情報２９５は、一定のまたは比較的一定のビットレートでバッファ２９０から使い切られ、そのビットレートで後続のストリーミングのために格納される。代替としてエンコーダ２００は、圧縮映像情報を圧縮の直後に流す。

バッファ２９０の前または後で、圧縮映像情報２９５は、ネットワークを介した伝送用にチャネル符号化されることができる。チャネル符号化は、圧縮映像情報２９５に、誤差検出および修正データを加えることができる。

図３は、一般的なビデオデコーダシステム３００のブロック図である。デコーダシステム３００は、映像フレームの圧縮シーケンスに関する情報３９５を受け取り、再構成されたフレーム３０５を含む出力を生成する。ビデオデコーダの特定の実施形態では典型的には、変形または補足バージョンの汎用のデコーダ３００を使用する。

デコーダシステム３００は、予測フレームおよびキーフレームを解凍する。提示の目的のため、図３は、デコーダシステム３００を通るキーフレーム用の経路、および前方予測フレーム用の経路を示す。デコーダシステム３００の多くの構成要素は、キーフレームおよび予測フレーム両方の圧縮に使われる。それらの構成要素によって実行される正確な動作は、圧縮される情報のタイプによって変化することが可能である。

バッファ３９０は、圧縮されたビデオシーケンスに関する情報３９５を受け取り、受け取った情報をエントロピーデコーダ３８０が利用できるようにする。バッファ３９０は典型的には、長時間にわたって極めて一定のレートで情報を受け取り、帯域幅または伝送における短期間の変化を平滑化するジッタバッファを含む。バッファ３９０は、再生バッファおよび他のバッファを同様に含むことできる。代替として、バッファ３９０は、変動するレートで情報を受け取る。バッファ３９０の前または後で、圧縮映像情報は、チャネルデコードされ、誤差検出および修正のために処理されることができる。

エントロピーデコーダ３８０は、エントロピー符号化・量子化されたデータ、ならびにエントロピー符号化されたサイド情報（たとえば、動き情報、量子化ステップサイズ）をエントロピーデコードするが、典型的には、エンコーダにおいて実行されたエントロピーエンコードの逆を適用する。エントロピーデコード技術は、算術デコード、差分デコード、ハフマンデコード、ランレングスデコード、ＬＺデコード、ディクショナリデコード、および上記の組合せを含む。エントロピーデコーダ３８０は頻繁に、異なる種類の情報（例えば、ＤＣ係数、ＡＣ係数、異なる種類のサイド情報）に対して異なるデコード技術を使用し、ある特定のデコード技術において、多数のコードテーブルの中から選択を行うことができる。

再構成されるべきフレーム３０５が前方予測フレームである場合、動き補償器３３０は、動き情報３１５を参照フレーム３２５に適用し、再構成されているフレーム３０５の予測３３５を形成する。例えば、動き補償器３３０は、マクロブロック動きベクトルを使用して、参照フレーム３２５内の対応するマクロブロックを見つける。予測３３５は従って、先にデコードされた映像フレームからの動きを補償されたビデオブロックの組である。フレームバッファ３２０は、参照フレームとして使用するために先に再構成されたフレームを格納する。代替として、動き補償器は別のタイプの動き補償を適用する。動き補償器による予測は、完璧であることはまれなので、デコーダ３００は、予測残差も再構成する。

デコーダが、再構成されたフレームを後続の動き補償のために必要とする時は、フレームストア３２０は、次のフレームの予測に使用するために、再構成されたフレームをバッファリングする。いくつかの実施形態において、エンコーダは、デブロッキングフィルタを再構成されたフレームに適用して、フレームのブロックにおける不連続を適合的に平滑化する。

逆量子化器３７０は、エントロピーデコードされたデータを逆量子化する。一般に、逆量子化器は、フレーム単位または他の単位で変化するステップサイズで、エントロピーデコードされたデータに均一なスカラー逆量子化を適用する。代替として、逆量子化器は、別のタイプの逆量子化、例えば、均一でない量子化、ベクトル量子化、または非適応量子化をデータに適用し、あるいは逆周波数変換を使用しないデコーダシステムにおいて、空間ドメインデータを直接逆量子化する。

逆周波数変換器３６０は、量子化された、周波数ドメインデータを、空間ドメイン映像情報に変換する。ブロックベースの映像フレームに対して、逆周波数変換器３６０は、下記の項で記載される変換を適用する。いくつかの実施形態において、逆周波数変換器３６０は、キーフレームに対する空間的予測残差のブロックに逆周波数変換を適用する。逆周波数変換器３６０は、８×８、８×４、４×８、または他のサイズの逆周波数変換を適用することができる。

可変符号化解像度技術は、デコーダが所望の映像ディスプレイ解像度を保持することを許可し、一方で、ディスプレイ解像度とは異なる符号化された解像度の多様なレベルにおいて、映像の一部分またはいくつかの部分を符号化することを選択する柔軟性を、エンコーダに許可する。エンコーダは、低く符号化された解像度において、ビデオシーケンスのいくつかのピクチャを符号化し、より低く符号化されたビットレート、表示サイズまたは表示品質を実現することができる。より低い符号化解像度の使用が所望される時は、エンコーダは、ピクチャをより低い解像度にフィルタしダウンサンプルする。デコード時、デコーダは、ディスプレイ解像度で表示するために、より低い符号化解像度でビデオストリームのそれらの部分を選択的にデコードする。デコーダはまた、映像が大きな画素アドレス指定能力でスクリーンに表示される前に、映像の低い解像度をアップサンプルすることができる。同様に、エンコーダは、より高く符号化された解像度において、ビデオシーケンスのいくつかのピクチャを符号化し、より高く符号化されたビットレート、表示サイズまたは表示品質を実現することができる。より高い符号化解像度の使用が所望される時は、エンコーダフィルタは、元の映像解像度の多くの部分を維持する。これは、典型的には、大きな解像度を有する映像と、大きな解像度の映像のサイズに適合させるために補間されたより低い解像度のレイヤのバージョンとの間の差を表す追加レイヤを符号化することによってなされる。例えば、元の映像は、それぞれ６４０および４８０画素の、水平および垂直方向の画素解像度を持つことができる。符号化された基本レイヤは、１６０×１２０画素を持つことができる。第１空間的強化レイヤは、３２０×２４０画素の解像度を提供することができる。この空間的強化レイヤは、元の映像を、水平および垂直解像度を２分の１ダウンサンプルすることによって得られる。３２０×２４０の映像と、第１強化レイヤの３２０×２４０の解像度に適合させるために水平におよび垂直に２分の１に補間された１６０×１２０の基本レイヤとの間の差を、計算することによって符号化される。デコード時、デコーダは、ディスプレイ解像度で表示するために、またはディスプレイの解像度に関わらず映像の詳細を大きな度合いで提供するために、ベース解像度およびより高い空間的符号化解像度で、ビデオストリームのそれらの部分を選択的にデコードする。

種々の実施形態において、ビデオエンコーダ２００は、フレーム単位または他の単位で可変符号化解像度を提供することができる。種々のレベルの符号化解像度は、多重ビデオレイヤの形式に体系化されることができ、各ビデオレイヤは、所定の組の映像情報のための空間的解像度および／または時間的解像度の異なるレベルを提供する。例えば、ビデオエンコーダ２００は、映像情報を、ビデオストリーム内に基本レイヤおよび強化レイヤと共に符号化するようにされてもよい。映像情報は、例えば、１つまたは複数のフレームシーケンス、フレーム、画像、ピクチャ、スチル、ブロック、マクロブロック、画素の組、または他の定義された組の映像データ（まとめて「フレーム」と称される）を備えることができる。基本レイヤは、第１レベルの空間的解像度および第１レベルの時間的解像度を持つことができる。強化レイヤは、第１レベルの空間的解像度、第１レベルの時間的解像度、または両方を増加させることができる。多数の強化レイヤがあり得、所定の組の映像情報のための空間的解像度または時間的解像度を向上させる時に、所望のレベルの精度を提供する。ビデオレイヤは、図４を参照してさらに詳細に述べられる。

図４は、ビデオレイヤの階層の例示的な実施形態を図解する。図４は、ビデオストリーム内の符号化されたデジタル映像の、多数の独立したビデオレイヤ４００の階層的表示を図解する。図４に示すように、ビデオレイヤ４００は、基本レイヤ（ＢＬ）を備えることができる。ＢＬは、ビデオストリームの空間的解像度の基本レベルおよび時間的解像度（例えば、フレームレート）の基本レベルを表すことができる。一実施形態において、例えば、時間的解像度の基本レベルは、Ｔフレーム／秒から成り、ここでＴ＝１５フレームである。映像の符号化は、後続のＢＬ映像フレームのデコードが、同一のレイヤ（例えば、基本レイヤ内の、１つまたは複数のＰ、ＳＰまたはＢフレーム）から先行する映像フレームに依存するだけであるようになされる。

ビデオレイヤ４００は、１つまたは複数の強化レイヤを備えることもできる。例えば、該強化レイヤは、第１空間的強化レイヤ（ＳＬ０）、第２空間的強化レイヤ（ＳＬｌ）、および第３空間的強化レイヤ（ＳＬ２）等の、１つまたは複数の空間的強化レイヤを備えることができる。ＳＬ０は、ＢＬに追加されてＢＬシーケンスとして同一のフレームレート（例えば、１５フレーム／秒）でより高い解像度の映像を提供することができる、空間的強化レイヤを表す。ＳＬ１は、ＢＬに追加されて、ＢＬシーケンスより高い中間フレームレートで、より高い解像度の映像を提供することができる、空間的強化レイヤを表す。一実施形態において、例えば、中間フレームレートは、Ｔ＝３０フレームであるとすると、Ｔ／２フレーム／秒を備えることができる。ＳＬ２は、ＢＬに追加されて、ＢＬシーケンスよりさらに高い高フレームレートでより高い解像度の映像を提供することができる、空間的強化レイヤである。一実施形態において、例えば、高フレームレートは、Ｔフレーム／秒から成り、ここでＴ＝６０フレームである。Ｔに与えられる値は、例示のみのためのもので制限ではないことは理解されるであろう。

強化レイヤは、第１時間的強化レイヤ（ＴＬ１）および第２時間的強化レイヤ（ＴＬ２）等の、１つまたは複数の時間的強化レイヤを含むこともできる。ＴＬ１は、ＢＬに追加されて、ＢＬと同じ低解像度映像をＢＬフレームのフレームレートの２倍であるフレームレートで生成することができる、時間的強化レイヤを表す。その結果、動き表現が、このシーケンスで向上される。ＴＬ２は、ＢＬおよびＴＬ１のフレームレートを２倍にする時間的強化レイヤを表す。このレベルの動き表現は、ＢＬまたはＴＬ１より良い。

図４に破線矢印で示すような、基本レイヤおよび強化レイヤの使用のために利用可能な多くの組み合わせがある。いくつかの組み合わせは、例示の目的であり制限ではなく、下記の組み合わせを含む。

・ＢＬ
・ＢＬ＋ＳＬ０
・ＢＬ＋ＴＬ１
・ＢＬ＋ＴＬ１＋ＴＬ２
・ＢＬ＋ＳＬ０＋ＴＬ１＋ＳＬ１
・ＢＬ＋ＳＬ０＋ＴＬ１＋ＳＬ１＋ＴＬ２＋ＳＬ２

これらのおよび他のビデオレイヤの組み合わせは、映像品質が時間で整合することを確実にすることができる。場合によっては、映像品質が時間で整合するように、全ての時間的レイヤに対して同数の空間的強化レイヤを選択することが望ましい。

以下にさらに十分に述べられるように、エンコーダ２００は、圧縮ビデオビットストリーム２９５（図２）内のシーケンスヘッダにおける最高解像度を特定する。コンテナファイルフォーマットまたは伝送搬送波フォーマットのヘッダ情報等の、ビットストリームの外側を搬送されるヘッダ情報に比べて、ビデオビットストリームのシーケンスヘッダ内の符号化解像度のレベルの符号化は、最高解像度が直接ビデオデコーダによってデコードされるという利点を有する。最高解像度は、コンテナファイルまたは伝送搬送波デコーダ（例えば、チャネルデコーダ１５２）によって、ビデオデコーダへ別個に渡される必要は無い。

エンコーダ２００はさらに、ビデオビットストリーム内のエントリーポイントに続く１つまたは複数のピクチャのグループが、エントリーポイントヘッダ内の定義されたフラグまたはスタートコードを使用して、より低い解像度で符号化されることを、信号で伝える。いくつかの実施形態において、フラグがより低いまたはより高い符号化解像度を示す場合、符号化されるサイズはエントリーポイントヘッダ内に同様に符号化されうる。

圧縮ビデオビットストリーム２９５（図２）は、圧縮されたプログレッシブ映像フレームまたは他のピクチャ（例えば、インターレースフレームまたはインターレースフィールドフォーマットのピクチャ）のシーケンスのための情報を含む。ビットストリーム２９５は、図３のデコーダ３００等のデコーダによりデコードされるいくつかの階層的レイヤに体系化される。最上位のレイヤは、フレームのシーケンス全体の情報を有するシーケンスレイヤである。加えて、各圧縮映像フレームは、３つの階層的レイヤすなわちピクチャ、マクロブロック、およびブロック（上位から下位）で構成される、データで作成される。可変符号化解像度技術を採用する代替の映像実現は、シンタックス要素の種々の異なる構成を有する、他のシンタックス構造を利用することができる。

さらに、圧縮ビデオビットストリームは、１つまたは複数のエントリーポイントを含有することができる。ビットストリーム内の有効なエントリーポイントは、媒体処理システムが、そこからビットストリーム内の先行する情報（ビット）を何ら必要とせずに、ビットストリームをデコードまたは処理することができる、基本ビットストリーム内の位置である。エントリーポイントヘッダ（ピクチャヘッダのグループとも呼ばれる）は典型的には、例えば、映像フレームの水平および垂直サイズ、要求される基本ストリームバッファの状態および量子化パラメータ等の、重要なデコーダ初期化情報を含有する。先行するフレームを参照することなしにデコードされることができるフレームは、独立フレームまたはキーフレームと称される。

エントリーポイントは、エントリーポイント指示子によってビットストリーム内に信号で伝えられる。エントリーポイント指示子の目的は、デコードを開始または再開する、ビットストリーム内の特定の位置の存在（例えば、そこでは、以前デコードされた映像フィールドまたはフレームに依存せず、エントリーポイント指示子の直後の映像フレームをデコードする）を、信号で伝えることである。エントリーポイント指示子および関連するエントリーポイント構造は、ビットストリーム内に規則的または不規則な間隔で挿入されることができる。従って、エンコーダは、ビットストリーム内へのエントリーポイント指示子の挿入を管理するための、異なる規定を採用することができる。典型的な動作は、エントリーポイント指示子および構造を、ビデオビットストリーム内の規則的なフレーム位置に挿入することだが、いくつかのシナリオ（例えば、エラー復旧または高速チャネル変更）では、エントリーポイント挿入の周期的な性質を変更することができる。例として、下記のようなＶＣ−１ビデオ基本ストリーム内のエントリーポイントの構造を示す以下の表１を参照のこと。

種々の実施形態において、エントリーポイント指示子は、所定の標準、プロトコル、またはアーキテクチャに従って定義されることができる。いくつかの場合、エントリーポイント指示子が定義されて、所定の標準プロトコルまたはアーキテクチャを拡張することができる。下記の表１および２において、種々のエントリーポイント指示子が、ＳＭＰＴＥ４２１Ｍ（ＶＣ−１）ビットストリーム内に埋め込まれたビットストリームのセグメントに適合する、スタートコードサッフィクスおよび、これに対応する意味として、定義される。スタートコードは、基本レイヤおよび、１つまたは複数の強化レイヤ等の異なるビデオレイヤに対する異なるスタートコードで、一意的に識別可能であるべきである。しかしスタートコードは、パースと識別の簡素化のために、ビデオレイヤ間で同様な構造識別子を使用することができる。構造識別子の例には、シーケンスヘッダ、エントリーポイントヘッダ、フレームヘッダ、フィールドヘッダ、スライスヘッダ等が含まれることできるが、これに制限されない。従って、スタートコードエミュレーション技術は、所定のビデオレイヤに対するスタートコードが、ビデオストリーム内でランダムに発生する可能性を低減するために利用されることができる。

特定のスタートコードに応じて、各ビデオレイヤに対して特定の構造パーサ・デコーダが呼出され起動され、ビデオストリームから映像情報をデコードする。特定の構造パーサ・デコーダは、所定のビデオレイヤに適切な、必要とされる参照フレーム、量子化器、レートコントロール、動き補償モード等の、特定の組のデコーダツールを実装することができる。本実施形態は、この文脈に制限されない。

種々の実施形態において、スタートコードサフィックスは、現在のＶＣ−１ビットストリームと下位互換性があり得るので、レガシーなＶＣ−１デコーダは、ＶＣ−１ビットストリームがそのような新しいセグメントを含む場合でも、動作を継続することが可能である。スタートコードサフィックスは、ＳＭＰＴＥ４２１Ｍビデオビットストリームの現在のフォーマットを拡張し構築するために使用される、スケーラブルな映像表現をサポートすることができる。

表２に示すスタートコードサフィックスは、「０ｘ０００００１」３バイトシーケンスの終わりに付加され、種々のスタートコードを作成する。そのようなスタートコードは、ＶＣ−１ビットストリーム内に統合され、ビデオデコーダがビットストリームのどの部分をパースするかをビデオデコーダに決定させる。例えば、シーケンススタートコードは、ＶＣ−１ビットストリーム内のシーケンスヘッダの発生を知らせる。スタートコードのように見えるビットシーケンスの発生は、そのようなシーケンスを、スタートコードをそれ以上エミュレートしない数片のビットストリームに分割する、スタートコードエミュレーション防止を通して排除されることができる。

種々の実施形態において、追加ビデオレイヤを表すビットストリームフラグメントの追加は、新しいスタートコードを追加してビットストリーム内の強化レイヤフラグメントの存在を識別して信号で伝えることによって、達成される。例えば、図４に図解される２つの空間的レイヤおよび３つの時間的レイヤでは、下記のサフィックスを割り当てて、これらが持つ、表３で下記に示すような内容に関連する種々のレイヤのビットストリームセグメントを、信号で伝えることができよう。

フラグメントの挿入は、一組の定義された範囲の規則に従わなければならない。例えば、シーケンスレベルＳＬ０情報は、シーケンスレベルＢＬ情報等に従わなければならない。これについては、さらに詳細に図５から８を参照して述べられるが、そこでは元のＶＣ−１ビットストリームは、例として、映像のＢＬレイヤのみである。

図５は、ビデオストリーム５００のシンタックスダイアグラムである。図５は、映像フレームのみを有するＶＣ−１ビットストリームを表すビデオストリーム５００を図解し、コンテンツがプログレッシブ映像でありインターレース映像ではないことを意味する。これは、映像ソースが、ウェブ映像等のプログレッシブ映像のみを生成する、種々のリアルタイムコミュニケーションシナリオの典型的例である。

図５に示すように、ビデオストリーム５００は、映像フレームのシーケンス用のシーケンススタートコードおよびシーケンスヘッダを含有する第１ブロックを含むことができる。第２ブロックは、エントリーポイントスタートコードおよびエントリーポイントヘッダを含有することができる。第３ブロックは、第１映像フレーム用のフレームスタートコードおよびフレームヘッダを含有することができる。第４ブロックは、実質的なフレームペイロードを含有することができる。第５ブロックは、第２映像フレーム用のフレームスタートコードおよびフレームヘッダを含有することができる。これは、所定の組のデジタル映像コンテンツ用のフレームのシーケンス内の各フレームに対して続く。

異なるビデオレイヤを使用して、多重解像度符号化を実現するために、表２および／または表３からの１つまたは複数のスタートコードが、ビデオストリーム５００に挿入され、ＢＬ映像セグメントおよび強化レイヤ（例えば、ＳＬ０、ＳＬｌ、ＳＬ２、ＴＬｌ、ＴＬ２等）映像セグメントを提示または描写することができる。下部の矢印は、他のビデオレイヤに対する追加のシーケンスヘッダ、エントリーポイントヘッダ、フレームヘッダおよびペイロードがＶＣ−１ＢＬビットストリーム内に挿入される位置を示す。

図６は、ビデオストリーム６００のシンタックスダイアグラムである。図６は、各フレームが一組の独立したスライスとして符号化されることを除いて、ビデオストリーム５００と同様なＶＣ−１ビットストリームを表すビデオストリーム６００を図解する。スライス符号化は、パケット損失が起こり得る通信ネットワーク内に追加のエラー弾力性を提供するために使用される。スライド符号化では、全フレームではなく映像フレームの一部分のみが、パケット損失によって影響を受ける。図６に示すように、ビデオストリーム６００内の、スライススタートコードおよびスライスヘッダ用の種々の位置が、上部の矢印によって示される。下部の矢印は、追加のビデオレイヤがスライスヘッダおよびスライスペイロードに対して挿入される位置を示す。

図７は、ビデオストリーム７００のシンタックスダイアグラムである。図７は、インターレース映像を有するＶＣ−１ビットストリームを表すビデオストリーム７００を図解する。この場合、映像フレームは２つの映像フィールドから成る。ＢＬの第１フィールドに関連するスケールのスタートコード、ヘッダおよび映像ペイロードは、ＢＬの第２フィールドのスタートコードおよびヘッダの前の、ＶＣ−１ビットストリームに挿入される。ＢＬの第２フィールドに関連するスケールのスタートコード、ヘッダおよび映像ペイロードは、次の映像フレームの始まりの前のＶＣ−１ビットストリームに挿入される。

図８は、ビデオストリーム８００のシンタックスダイアグラムである。図８は、各インターレースフレームが一組の独立したスライスに符号化されることを除いて、ビデオストリーム７００に同様なＶＣ−１ビットストリームを表すビデオストリーム８００を図解する。追加のビデオレイヤに関するスライスのスタートコード、ヘッダおよび映像ペイロードが、図８の下部の矢印によって示される。ＢＬの第２フィールドのフィールドヘッダは、ＢＬの第１フィールドのＢＬおよび任意の追加のビデオレイヤデータを、ＢＬの第２フィールドのＢＬおよび任意の追加のビデオレイヤデータから区別する。

上記実施形態の動作について、以下の図面および付随する例を参照してさらに述べられるであろう。図面のいくつかは、論理フローを含むことができる。ここに提示される図面は、特定の論理フローを含むことができるが、論理フローはここに記載されるような一般的機能がどのように実現されるかの例を、単に提供するに過ぎないことは理解されるであろう。さらに、所定の論理フローは、特に指摘されない限り、必ずしも提示された順番で実行される必要は無い。加えて、所定の論理フローは、ハードウェア要素、プロセッサによって実行されるソフトウェア要素、または任意のこれらの組み合わせによって実現され得る。本実施形態は、この文脈に制限されない。

図９は、論理デコーダフロー９００の一実施形態を図解する。論理フロー９００は、ビデオキャプチャ／再生システム１００、ビデオエンコーダ２００またはビデオデコーダ３００等の、ここで述べられた１つまたは複数の実施形態により実行される動作の、代表的なものであり得る。図９に示すように、ビデオデコーダ３００用のパーサは、ひし形９０２にてＢＬスタートコードのビデオストリームを測定する。パーサが、ＢＬスタートコードを認識しない場合、認識されるまでひし形９０２を通ってループを続ける。パーサがＢＬスタートコードを認識すると、パーサはブロック９０４において、スタートコードに関連するヘッダまたはヘッダ＋ペイロードを取得する。これが一度なされると、パーサは、ひし形９０６にて追加のビデオレイヤのスタートコードの存在をチェックする。パーサが、所定のビデオストリームまたは時間周期内に、追加のビデオレイヤの任意のスタートコードを認識しない場合、制御はひし形９０２へ渡される。パーサが、ひし形９０６にて追加のビデオレイヤのスタートコードを認識しない場合、パーサは、ブロック９０８にて追加のビデオレイヤに関連するヘッダまたはヘッダ＋ペイロードを取得し、制御はひし形９０６へ戻される。ひし形９０６およびブロック９０８間の制御ループは、所定のＶＣ−１ビットストリーム内で使用されている多くのビデオレイヤに対して続く。スタートコードがひし形９０６にて追加のビデオスケールの１つであると、認識されない時、パーサは、前に戻り、ひし形９０２にてＶＣ−１基本レイヤに関するスタートコードの探索を開始する。

図１０は、第１変形ビデオキャプチャ／再生システム１００のブロック図を図解しており、ここで、映像ソース／エンコーダ１２０は暗号化モジュール１００２を含み、多数のビデオプレーヤ／デコーダ１５０−１−ｐはそれぞれが復号化モジュール１００４を含む。暗号化モジュール１００２は、各ビデオレイヤを異なる暗号化キーで独立して暗号化するために使用されることができる。暗号化モジュール１００２は、暗号化情報１０１２（例えば、復号化キーおよび暗号）各ビデオレイヤに提供することができる。この情報の配信は、帯域内でまたは他の外部通信チャネルによってなされる。暗号化情報１０１２は、動的であり、時間とともに変化してセキュリティを向上させることができる。図１０に示すように、矢印１００６−１−ｑは、基本レイヤを表すことができ、矢印１００８−１−ｒは空間的強化レイヤを表すことができ、矢印１０１０−１−ｓは、時間的強化レイヤを表すことができる。暗号化モジュール１００２から受け取られた復号化情報１０１２に基づいて、各受信機の復号化モジュール１００４は、各ビデオレイヤを復号することができる（またはできない）。復号化キーの有用性は、通常はセキュリティ・ポリシーまたは予約／購入サービスにより供与される権利に結び付けられる。例えばビデオプレーヤ／デコーダ１５０−２は、ビデオストリームの基本レイヤおよび空間的強化レイヤを受け取り、復号化できるのみであり、一方、ビデオプレーヤ／デコーダ１５０−１は、基本レイヤのみデコードすることができる。破線矢印によって表わされるような認証されないビデオレイヤを受け取り、復号化する、ビデオプレーヤ／デコーダ１５０−１−ｐによる任意の試みは失敗するであろう。この方式で、映像ソース／エンコーダ１２０は、異なるサービスの支払いまたはアクセス権に付加される低解像度ビデオストリームおよび高解像度ビデオストリームを送信することができる。例えば、（例えば、テレビ会議電話用の）高解像度ビデオストリームの有用性は、サービスの割増の支払いに結び付けられる。

図１１は、第２変形ビデオキャプチャおよび再生システム１００のブロック図を図解しており、映像ソース／エンコーダ１２０は、デジタル著作権管理（ＤＲＭ）サーバ１１０２を含み、多数のビデオプレーヤ／デコーダ１５０−１−ｐはそれぞれＤＲＭモジュール１１０４を含む。ＤＲＭサーバ１１０２は、各ビデオレイヤに異なる組のデジタル著作権を割り当てることができる。マルチメディア会議ルータ１１１４を含む実装のために、各ビデオレイヤは特定の組のＤＲＭガイドラインまたはポリシーと関連することができる。ＤＲＭサーバ１１０２の制御下では、マルチメディア会議ルータ１１１４は、各ビデオプレーヤ／デコーダ１５０−１−ｐに付与された権利に従って、ビデオレイヤを転送する。ＤＲＭサーバ１１０２は、各ビデオレイヤのＤＲＭ情報１１１２をビデオプレーヤ／デコーダ１５０−１−ｐに提供することができる。図１１に示すように、矢印１１０６−１−ｑは、基本レイヤを表すことができ、矢印１１０８−１−ｒは空間的強化レイヤを表すことができ、矢印１１１０−１−ｓは、時間的強化レイヤを表すことができる。ＤＲＭサーバ１１０２から受け取られたＤＲＭ情報１１１２に基づいて、各受信機のＤＲＭモジュール１１０４は、各ビデオレイヤを受け取りまたはそれにアクセスすることを認証される（または認証されない）。ＤＲＭ情報１１１２の有用性は、通常ＤＲＭポリシーに結び付けられる。例えば、ビデオプレーヤ／デコーダ１５０−２は、ビデオストリームの基本レイヤおよび空間的強化レイヤを受け取り、それにアクセスすることができるのみであり、一方ビデオプレーヤ／デコーダ１５０−１は、基本レイヤのみを受け取り、それにアクセスできる。破線矢印によって表わされるような認証されないビデオレイヤを受け取り、それにアクセスする、ビデオプレーヤ／デコーダ１５０−１−ｐによる任意の試みは失敗するであろう。メディアルータ１１１４は、各ビデオプレーヤ／デコーダ１５０−１−ｐ用のＤＲＭポリシーの組に従って、ビデオストリームを送信する。ビデオソース／エンコーダ１２０により提供される多重符号化解像度は、リアルタイムな会議において参加者が持ち得るアクセス権における多様性の制御と管理を可能にする。

図１２は、コンピュータ環境１２００のブロック図を図解する。コンピュータ環境１２００は、種々の実施形態の実現に適切な一般的なシステムアーキテクチャを表すことができる。コンピュータ環境１２００は、多数の要素を含む。ある要素は、特定の動作を実行するために用意された任意の物理的または論理的構造を備えることができる。各要素は、所定の組の設計パラメータまたは性能制約に対して所望されるような、ハードウェア、ソフトウェア、またはこれらの任意の組み合わせとして実現されることができる。ハードウェア要素の例には、デバイス、構成要素、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理回路（ＰＬＤ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、メモリユニット、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等が含まれ得る。ソフトウェアの例には、ソフトウェア構成要素、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、インターフェース、ソフトウェアインターフェース、アプリケーションプログラムインターフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、言語、値、記号、ソフトウェアオブジェクト、またはこれらの任意の組み合わせが含まれ得る。図１に示されるコンピューティングデバイス１２００は、特定の接続形態で制限された数の要素を持つが、コンピュータ環境１２００は、所定の実装に対して所望される代替えの接続形態にて、より多くのまたはより少ない要素を含むことができることは、理解されよう。本実施形態は、この文脈に制限されない。

種々の実施形態において、コンピュータ環境１２００は、メディア情報を処理するのに適したターゲットデバイスの一部として実現されることができる。ターゲットデバイスの例には、コンピュータ、コンピュータシステム、コンピュータサブシステム、ワークステーション、端末、サーバ、ウェブサーバ、仮想サーバ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、ラップトップコンピュータ、薄型ラップトップコンピュータ、携帯型コンピュータ、ハンドヘルドコンピュータ、携帯情報端末（ＰＤＡ）、モバイル・コンピューティング・デバイス、携帯電話、媒体装置（例えば、オーディオ装置、映像装置、テキスト装置等）、メディアプレーヤ、媒体処理装置、メディアサーバ、家庭用娯楽システム、家庭用電化製品、デジタル多用途ディスク（ＤＶＤ）装置、ビデオ・ホーム・システム（ＶＨＳ）装置、デジタルＶＨＳ装置、パーソナルビデオレコーダ、ゲーム機、コンパクトディスク（ＣＤ）プレーヤ、デジタルカメラ、デジタル・カムコーダ、監視テレビ装置、テレビ会議システム、テレビ電話システム、および任意の他の電子、電気機械、または電気装置、が含まれ得るが、これに限定されない。本実施形態は、この文脈に制限されない。

媒体処理装置として実現されるとき、コンピュータ環境１２００はまた、媒体処理用の種々の標準および／またはプロトコルに従って動作するように、配置されることができる。媒体処理標準の例には、制限ではなく、ＳＭＰＴＥ規格４２１Ｍ（ＶＣ−１）、リアルタイムコミュニケーションズのために実装されるＶＣ−１、ＷＭＶ−９および改良型として実装されるＶＣ−１、地上デジタルテレビジョン放送（ＤＶＢ−Ｔ）の放送規格、ＩＴＵ／ＩＥＣＨ．２６３規格、低ビットレート通信用ビデオ符号化方式、２０００年１１月に公表されたＩＴＵ−Ｔ勧告Ｈ．２６３ｖ３および／またはＩＴＵ／ＩＥＣＨ．２６４規格超低ビットレート通信用ビデオ符号化方式ビデオ、２００３年５月に公表されたＩＴＵ−Ｔ勧告Ｈ．２６４、モーション・ピクチャー・エクスパーツ・グループ（ＭＰＥＧ）規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）、および／または高性能無線ローカルエリア・ネットワーク（ＨｉｐｅｒＬＡＮ）規格、が含まれる。媒体処理プロトコルの例には、制限ではなく、セッション記述プロトコル（ＳＤＰ）、リアルタイム・ストリーミング・プロトコル（ＲＴＳＰ）、リアルタイム・データ転送プロトコル（ＲＴＰ）、同期化マルチメディア統合言語（ＳＭＩＬ）プロトコル、ＭＰＥＧ−２転送およびＭＰＥＧ−２プログラムストリーム、および／またはインターネット・ストリーミング・メディア・アライアンス（ＩＳＭＡ）プロトコル、が含まれる。ここに述べられるような多重解像度映像エンコードおよびデコード技術の実現の１つは、例えば、アメリカ合衆国ワシントン州レドモンドの本件特許出願人により配布およびライセンスされた、ウィンドウズ（登録商標）メディアビデオバージョン９（ＷＭＶ−９）ビデオコーデック（後の改定版および改良型を含む）のアドバンスト・プロファイルに内蔵されることであり得る。本実施形態は、この文脈に制限されない。

図１２を参照すると、コンピュータ環境１２００は、少なくとも１つの処理ユニット１２１０およびメモリ１２２０を含む。図１２では、この非常に基本的な構成１２３０は、破線内に含まれる。処理ユニット１２１０は、汎用のプロセッサ、専用のプロセッサ、メディアプロセッサ、コントローラ、マイクロコントローラ、組み込みプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）等の、任意のタイプのソフトウェア実行可能なプロセッサであり得る。処理ユニット１２１０は、コンピュータ実行可能命令を実行しかつ、リアルまたは仮想プロセッサであり得る。マルチプロセシングシステムでは、マルチプロセシングユニットが、コンピュータ実行可能命令を実行し処理能力を増大させる。メモリ１２２０は、揮発性および不揮発性メモリを含む、データを記憶することができる任意の機械可読またはコンピュータ可読媒体を使用して、実現される。例えば、メモリ１２２０は、読み取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブル・データ・レートＤＲＡＭ（ＤＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、強誘電性ポリマーメモリ等のポリマーメモリ、オボニック・メモリ、相変化または強誘電性メモリ、シリコン酸化窒化酸化シリコン（ＳＯＮＯＳ）メモリ、磁気または光カード、または情報を記憶するのに適した任意の他のタイプの媒体、を含むことができる。種々の実施形態において、メモリ１２２０は、スケーラブル映像エンコードおよび／またはデコード技術を実現するソフトウェア１２８０を記憶する。

コンピュータ環境は、追加の特徴を有することができる。例えば、コンピュータ環境１２００は、記憶装置１２４０、１つまたは複数の入力装置１２５０、１つまたは複数の出力装置１２６０、および１つまたは複数の通信接続１２７０を含む。バス、コントローラ、またはネットワーク等の相互接続機構は、コンピュータ環境１２００の構成要素を相互接続する。典型的には、オペレーティングシステムソフトウェアは、コンピュータ環境１２００内で実行する他のソフトウェアに動作環境を提供し、コンピュータ環境１２００の構成要素の動作を調整する。

記憶装置１２４０は、着脱可能または着脱不可能であり得、かつ磁気ディスク、磁気テープまたはカセット、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、記録可能コンパクトディスク（ＣＤ−Ｒ）、書き換え可能コンパクトディスク（ＣＤ−ＲＷ）、光ディスク、磁気媒体、磁気光学媒体、着脱可能メモリカードまたはディスク、種々のタイプのデジタル多用途ディスク（ＤＶＤ）、または情報の記憶に使用されることが可能でかつコンピュータ環境１２００内でアクセスされることが可能な任意の他の媒体、を含む。記憶装置１２４０は、マルチ空間的解像度符号化および／またはデコード技術を実現するソフトウェア１２８０のための命令を記憶する。

入力装置１２５０は、キーボード、マウス、ペン、またはトラックボール等のタッチ入力装置、音声入力装置、スキャニング装置、ネットワーク・アダプタ、またはコンピュータ環境１２００に入力を提供する別の装置であり得る。映像に対しては、入力装置１２５０は、テレビチューナーカード、ウェブ映像またはカメラ映像インターフェース、または、アナログまたはデジタル形式で映像入力を受け取る同様の装置、またはコンピュータ環境に映像入力を提供するＣＤ−ＲＯＭ／ＤＶＤリーダであり得る。出力装置１２６０は、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ＣＤ／ＤＶＤライタ、ネットワーク・アダプタ、またはコンピュータ環境１２００から出力を提供する別の装置であり得る。

種々の実施形態において、コンピュータ環境１２００はさらに、コンピュータ環境１２００が通信媒体１２９０を介して他のデバイスと通信することを可能にする１つまたは複数の通信接続１２７０を含むことができる。通信接続１２７０は、１つまたは複数の通信インターフェース、ネットワークインターフェース、ネットワークインターフェースカード（ＮＩＣ）、ラジオ、無線送信機／受信機（送受信機）、有線および／または無線通信媒体、物理的連結装置等の、種々のタイプの標準通信要素を含むことができる。通信媒体１２９０は典型的には、コンピュータ可読命令、データ構造、プログラムモジュールまたは、搬送波または他の輸送機構等の変調されたデータ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調されたデータ信号」という語は、その１つまたは複数の特性が、信号内の情報を符号化する方式で設定または変更された信号、を意味する。例として、制限ではなく、通信媒体１２９０は、有線通信媒体および無線通信媒体を含む。有線通信媒体の例には、ワイヤ、ケーブル、金属導線、プリント基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体物質、ツイストペア線、同軸ケーブル、光ファイバ、伝播信号等が含まれ得る。無線通信媒体の例には、音響、無線周波数（ＲＦ）スペクトル、赤外線、および他の無線媒体が含まれ得る。ここで使用される機械可読媒体およびコンピュータ可読媒体という語は、例として、制限ではなく、メモリ１２２０、記憶装置１２４０、通信媒体１２９０、および上記の任意の組み合わせを含むことが意図されている。

いくつかの実施形態は、プログラムモジュールに含まれ、かつターゲットのリアルまたは仮想プロセッサ上のコンピュータ環境にて実行されるような、コンピュータ実行可能命令の一般的な文脈で記載されることが可能である。一般的に、プログラムモジュールは、特定のタスクを実行し、特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、構成要素、データ構造、等を含む。プログラムモジュールの機能は、プログラムモジュール間で、種々の実施形態において所望の通りに組み合わせまたは分割されることができる。プログラムモジュールのコンピュータ実行可能命令は、ローカルまたは分散型コンピュータ環境内で実行されることができる。

多数の具体的な詳細がここに記載され、実施形態の完全な理解を提供する。当業者は理解するであろうが、本実施形態はこれらの具体的詳細無しで実践されることができる。別の例では、公知の動作、構成要素および回路は、本実施形態を不明瞭にしないようにするために、詳細には記載さなかった。ここに開示された特定の構造のおよび機能の詳細は、代表的なものであり、本実施形態の範囲を必ずしも制限するものではないことは理解されよう。

また、言及するに値することとして、「一実施形態」または「ある実施形態」への任意の参照は、本実施形態との関連において述べられる、特定の特徴、構造、または特性が、少なくとも１つの実施形態に含まれるということを意味する。本明細書内の様々な場所に「一実施形態において」というフレーズが現れることは、必ずしも全て同一の実施形態を参照することではない。

いくつかの実施形態は、「連結される」および「接続される」という表現をその派生語と共に使用して、記載されることができる。これらの語が、お互いに同義語として意図されてはいないことは、理解されるべきである。例えば、いくつかの実施形態は「接続される」という語を使用して記載され、２またはそれ以上の要素がお互いに、物理的または電気的に直接接触することを示す。別の例では、いくつかの実施形態は「連結される」という語を使用して記載され、２またはそれ以上の要素が、物理的または電気的に直接接触することを示す。しかし、「連結される」という語はまた、２またはそれ以上の要素がお互いに直接接触せず、しかしお互いに協働しまたは相互作用することをも意味することができる。本実施形態は、この文脈に制限されない。

いくつかの実施形態は、例えば、機械によって実行されると、実施形態に従って、機械に方法および／または動作を実行させる、命令または命令の組を格納することができる、機械可読媒体またはアーティクルを使用して、実現されることができる。そのような機械には、例えば、任意の適切な処理プラットフォーム、コンピュータプラットフォーム、コンピュータデバイス、コンピュータデバイス、コンピュータシステム、処理システム、コンピュータ、プロセッサ、等が含まれ得、ハードウェアおよび／またはソフトウェアの任意の適切な組み合わせを使用して実現される。機械可読媒体またはアーティクルは、例えば、任意の適切なタイプの、メモリユニット、メモリ装置、メモリアーティクル、メモリ媒体、記憶装置、記憶アーティクル、記憶媒体および／または記憶ユニット（例えば、メモリ、着脱可能または着脱不可能媒体、消去可能または消去不可能媒体、書き込み可能または書き換え可能媒体、デジタルまたはアナログ媒体、ハードディスク、フロッピーディスク（商標登録）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、光ディスク、磁気媒体、磁気光学媒体、着脱可能メモリカードまたはディスク、種々のタイプのＤＶＤ、テープ、カセット等）を含むことができる。

主題が、構造の特徴および／または方法論的な動作に特有の言葉で記載されたが、添付の請求項で定義される主題は、必ずしも上述の特有の特徴または動作に限定されないことは理解されよう。むしろ、上述の特有の特徴および動作は、請求項を実現するための例示の形として開示される。

Claims (29)

1. 映像情報を受け取るステップと、
   前記映像情報を、基本レイヤおよび強化レイヤを含む異なるビデオレイヤを有するビデオストリームに符号化するステップと、を含む方法であって、前記基本レイヤは第１レベルの空間的解像度および第１レベルの時間的解像度を有し、前記強化レイヤは前記第１レベルの空間的解像度または前記第１レベルの時間的解像度を増加させる、ことを特徴とする方法。
2. 映像情報を、第２レベルの時間的解像度で第１時間的強化レイヤとして、前記ビデオストリームに符号化するステップを含むことを特徴とする、請求項１に記載の方法。
3. 映像情報を、第２レベルの空間的解像度で第１空間的強化レイヤとして、前記ビデオストリームに符号化するステップを含むことを特徴とする、請求項１または２に記載の方法。
4. 一意的に識別可能なスタートコードを挿入して、スタートポイントを前記ビデオストリーム内に前記強化レイヤに対して示すステップを含むことを特徴とする、請求項１から３のいずれか１項に記載の方法。
5. 前記強化レイヤの種々の構造識別子およびペイロードを、前記基本レイヤの種々の構造識別子およびペイロードとマルチプレクスするステップを含むことを特徴とする、請求項１から４のいずれか１項に記載の方法。
6. 各ビデオレイヤを異なる暗号化キーで暗号化するステップを含むことを特徴とする、請求項１から５のいずれか１項に記載の方法。
7. 各ビデオレイヤに、異なる組のデジタル著作権を割り当てるステップを含むことを特徴とする、請求項１から６のいずれか１項に記載の方法。
8. エンコードされたビデオストリームを受け取るステップと、
   映像情報を、前記エンコードされたビデオストリームの基本レイヤおよび強化レイヤを含む、異なるビデオレイヤからデコードするステップとを含む方法であって、前記基本レイヤは第１レベルの空間的解像度および第１レベルの時間的解像度を有し、前記強化レイヤは前記第１レベルの空間的解像度または前記第１レベルの時間的解像度を増大させる、ことを特徴とする方法。
9. 映像情報を、第２レベルの時間的解像度で第１時間的強化レイヤからデコードするステップを含むことを特徴とする、請求項８に記載の方法。
10. 映像情報を、第２レベルの空間的解像度で第１空間的強化レイヤからデコードするステップを含むことを特徴とする、請求項８または９に記載の方法。
11. 前記ビデオストリームをパースするステップと、
    スタートコードを検索してスタートポイントを前記ビデオストリーム内に前記強化レイヤに対して示すステップを含むことを特徴とする、請求項８から１０のいずれか１項に記載の方法。
12. 前記強化レイヤの特定の構造パーサおよびデコーダを、強化レイヤのスタートコードの値に基づいて起動するステップを含むことを特徴とする、請求項８から１１のいずれか１項に記載の方法。
13. 前記強化レイヤと関連するスタートコードを認識し、前記強化レイヤのデコードツールの組を起動させるステップを含むことを特徴とする、請求項８から１２のいずれか１項に記載の方法。
14. 各ビデオレイヤを異なる暗号化キーで復号化するステップを含むことを特徴とする、請求項８から１３のいずれか１項に記載の方法。
15. 異なる組のデジタル著作権を各ビデオレイヤに対して検索するステップと、
    各ビデオレイヤからの映像情報へのアクセスを各組のデジタル著作権に従って制御するステップと、を含むことを特徴とする、請求項８から１４のいずれか１項に記載の方法。
16. 映像情報を前記基本レイヤから再現し、映像情報を前記強化レイヤから再現し、前記第１レベルの空間的解像度または前記第１レベルの時間的解像度をディスプレイ上で増大させるステップを含むことを特徴とする、請求項８から１５のいずれか１項に記載の方法。
17. 映像情報を、基本レイヤおよび強化レイヤを有するビデオストリームに符号化するビデオエンコーダ（２００）を備える装置であって、前記基本レイヤは第１レベルの空間的解像度および第１レベルの時間的解像度を有し、前記強化レイヤは前記第１レベルの空間的解像度または前記第１レベルの時間的解像度を増大させる、ことを特徴とする装置。
18. 前記ビデオエンコーダは、映像情報を、第２レベルの時間的解像度または第３レベルの時間的解像度で時間的強化レイヤとして前記ビデオストリームに符号化することを特徴とする、請求項１７に記載の装置。
19. 前記ビデオエンコーダは、映像情報を、第２レベルの空間的解像度、および前記第１レベルの時間的解像度、第２レベルの時間的解像度または第３レベルの時間的解像度で、空間的強化レイヤとして、前記ビデオストリームに符号化することを特徴とする、請求項１７または１８に記載の装置。
20. 前記ビデオエンコーダに連結される暗号化モジュール（１００２）から成り、前記暗号化モジュールが異なる暗号化キーで各レイヤを暗号化することを特徴とする、請求項１７から１９のいずれか１項に記載の装置。
21. 前記ビデオエンコーダに連結されたデジタル著作権管理モジュール（１１０２）から成り、前記デジタル著作権管理モジュールが、各レイヤに異なる組のデジタル著作権を割り当てることを特徴とする、請求項１７から２０のいずれか１項に記載の装置。
22. 映像情報を、符号化されたビデオストリームの基本レイヤおよび強化レイヤからデコードするビデオデコーダ（３００）を備える装置であって、前記基本レイヤは第１レベルの空間的解像度および第１レベルの時間的解像度を有し、前記強化レイヤは前記第１レベルの空間的解像度または前記第１レベルの時間的解像度を増大させる、ことを特徴とする装置。
23. 前記ビデオデコーダは、映像情報を、第２レベルの時間的解像度または第３レベルの時間的解像度で、時間的強化レイヤからデコードすることを特徴とする、請求項２２に記載の装置。
24. 前記ビデオデコーダは、映像情報を、第２レベルの空間的解像度、および前記第１レベルの時間的解像度、第２レベルの時間的解像度または第３レベルの時間的解像度で、空間的強化レイヤからデコードすることを特徴とする、請求項２２または２３に記載の装置。
25. 前記ビデオデコーダに連結された復号化モジュール（１００４）から成り、前記復号化モジュールが各レイヤを異なる復号化キーで復号化することを特徴とする、請求項２２から２４のいずれか１項に記載の装置。
26. 前記ビデオデコーダに連結されたデジタル著作権管理モジュール（１１０４）から成り、前記デジタル著作権管理モジュールは各レイヤに割り当てられた異なる組のデジタル著作権を使用して、各レイヤからの映像情報へのアクセスを制御することを特徴とする、請求項２２から２５のいずれか１項に記載の装置。
27. 前記ビデオデコーダに連結された表示装置（１２６０）から成り、前記表示装置は、前記基本レイヤから映像情報を表示し、前記強化レイヤから映像情報を表示し、前記第１レベルの空間的解像度または前記第１レベルの時間的解像度をディスプレイ上で増大させることを特徴とする、請求項２２から２６のいずれか１項に記載の装置。
28. データ処理装置上で実行されるとき、請求項１から１６のいずれか１項の方法を実現し、および／または請求項１７から２１のいずれか１項のビデオエンコーダを実現し、および／または請求項２２から２７のいずれか１項のビデオデコーダを実現するコンピュータプログラム要素から成る、コンピュータプログラム。
29. 請求項２８に記載のコンピュータプログラムを搬送する、コンピュータプログラム搬送媒体。

Images