JP2015537446A - ビデオコーディングにおけるターゲット出力レイヤ - Google Patents

Abstract

一例では、デバイスは、複数のレイヤセットに関連付けられたビデオデータの複数のレイヤを備えるマルチレイヤビットストリームをコーディングし、ここにおいて、各レイヤセットは複数のレイヤのビデオデータの１つまたは複数のレイヤを含み、各々が複数のレイヤセットのうちの１つのレイヤセットと複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示すビットストリームの１つまたは複数のシンタックス要素をコーディングするように構成されたビデオコーダを含む。

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年１０月３０日に出願された米国仮特許出願第６１／７２０，３６４号の利益を主張する。

[0002]本開示は、ビデオコーディングに関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、ならびにスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）などの、そのような規格の拡張に記載されているビデオコーディング技法などの、ビデオコーディング技法を実装する。ＨＥＶＣのワー
キングドラフト（ＷＤ）のバージョン６、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ６」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第８回会合：サンノゼ、カリフォルニア州、米国、２０１２年２月１日〜１０日は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝５０９６から入手できる。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化することができる。量子化変換係数は、最初に２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査することができ、なお一層の圧縮を達成するためにエントロピーコーディングを適用することができる。

[0006]本開示の技法は、マルチビュービデオコーディングおよび／またはスケーラブルビデオコーディングにおいて１つまたは複数のターゲット出力レイヤを特定することを含む。たとえば、現行のＨＥＶＣ基本仕様（上述のＷＤ６）に定義された動作点は、動作点がビデオデータビットストリームの１つまたは複数のレイヤを有するレイヤセットを参照するように、ビデオデータのいくつかのレイヤを含み得る。いくつかの事例では、そのようなレイヤのサブセットのみが、出力、たとえば表示のために復号され得る。本開示の態様によれば、出力用のビデオデータのターゲットレイヤを特に識別する出力動作点が定義され得る。

[0007]一例では、ビデオデータを復号する方法は、マルチレイヤビットストリームから、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む、複数のレイヤセットを含むビデオデータの複数のレイヤを取得することと、ビットストリームの１つまたは複数のシンタックス要素に基づいて、各々が複数のレイヤセットのうちの１つのレイヤセットと、複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を特定することとを含む。

[0008]別の例では、ビデオデータを符号化する方法は、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む、複数のレイヤセットを含むビデオデータの複数のレイヤを符号化することと、各々が複数のレイヤセットのうちの１つのレイヤセットと、複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す１つまたは複数のシンタックス要素を符号化することとを含む。

[0009]別の例では、装置は、複数のレイヤセットに関連付けられたビデオデータの複数のレイヤを備えるマルチレイヤビットストリームをコーディングし、ここにおいて、各レイヤセットは複数のレイヤのビデオデータの１つまたは複数のレイヤを含み、各々が複数のレイヤセットのうちの１つのレイヤセットと複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示すビットストリームの１つまたは複数のシンタックス要素をコーディングするように構成された１つまたは複数のプロセッサを含む。

[0010]別の例では、ビデオデータをコーディングするためのデバイスは、複数のレイヤセットに関連付けられたビデオデータの複数のレイヤを備えるマルチレイヤビットストリームをコーディングするための手段と、ここにおいて、各レイヤセットは複数のレイヤのビデオデータの１つまたは複数のレイヤを含み、各々が複数のレイヤセットのうちの１つのレイヤセットと複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示すビットストリームの１つまたは複数のシンタックス要素をコーディングするための手段とを含む。

[0011]別の例では、非一時的コンピュータ可読記憶媒体は、実行される際、ビデオデータをコーディングするためのデバイスのプロセッサに、複数のレイヤセットに関連付けられたビデオデータの複数のレイヤを備えるマルチレイヤビットストリームをコーディングさせ、ここにおいて、各レイヤセットは複数のレイヤのビデオデータの１つまたは複数のレイヤを含み、各々が複数のレイヤセットのうちの１つのレイヤセットと複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示すビットストリームの１つまたは複数のシンタックス要素をコーディングさせる命令をその上に記憶した。

[0012]１つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

[0013]本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0014]本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0015]本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を実装し得るビデオデコーダ３０の一例を示すブロック図。 [0016]例示的なＭＶＣの予測パターンを示す概念図。 [0017]例示的なスケーラブルビデオコーディングシーケンスを示す概念図。 [0018]本開示の態様による、出力動作点を符号化するための例示的なプロセスを示すフローチャート。 [0019]本開示の態様による、出力動作点を復号するための例示的なプロセスを示すフローチャート。

[0020]本開示の技法は、マルチビュービデオコーディングおよび／またはスケーラブルビデオコーディングにおいて１つまたは複数のターゲット出力レイヤを特定することを含む。現在、モーションピクチャーズエクスパーツグループ（ＭＰＥＧ）は、次回の高効率ビデオコーディング（ＨＥＶＣ）規格に基づいて３次元ビデオ（３ＤＶ）規格を開発している。規格化の取組みの一部は、ＨＥＶＣに基づいてＨＥＶＣに基づいてマルチビュービデオコーデックおよびスケーラブルビデオコーデックの規格化も含む。たとえば、１つの規格化の取組みは、ＭＶ−ＨＥＶＣと呼ばれる、ＨＥＶＣのマルチビュー拡張の開発を含み、別の規格化の取組みは、３Ｄ−ＨＥＶＣと呼ばれる、奥行きが強調されたＨＥＶＣベースのフル３ＤＶコーデックである。スケーラブルビデオコーディングに関して、ビュースケーラビリティおよび／または空間スケーラビリティは、３次元ビデオサービスにも寄与する可能性があり、したがって、スケーラビリティは、より多くのビューに関する後方互換性がある拡張、および／またはレガシーデバイスによる復号を可能にする方法でのビューの解像度の向上を可能にする。

[0021]３次元ビデオデータでは、一般に、各ビューは、共通のシーンの対応するビデオデータがキャプチャされた異なる視点または角度に対応する。コーディングされたビューは、ビデオデータの３次元（３Ｄ）ディスプレイに使用され得る。たとえば、２つのビュー（たとえば、観察者の左眼のビューおよび右眼のビュー）は、光の異なる偏光を使用して同時に、またはほぼ同時に表示することができ、観察者の眼の各々がビューのそれぞれ１つを受け取るように、観察者はパッシブ偏光眼鏡を着用することができる。代替的に、観察者は、各眼を単独に遮断するアクティブ眼鏡を着用することができ、ディスプレイは、眼鏡と同期して各眼の画像間を高速に交互することができる。

[0022]ＩＴＵ−Ｔ Ｈ．２６４規格（あるいは、ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）規格と呼ばれる）の付属書類Ｈに記載されているマルチビュービデオコーディング（ＭＶＣ）などのマルチビューコーディングがある場合、特定のビューの特定のピクチャは、ビュー成分と呼ばれる。すなわち、ビューのビュー成分は、ビューの特定の時間インスタンスに対応する。マルチビューデータをキャプチャするために使用されるすべてのカメラが、様々な視点から同じシーンをキャプチャするので、マルチビュービデオは、比較的大量のビュー間の統計的な依存性を含んでいる場合がある。そのような依存性は、合成された時間的予測および／またはビュー間予測のために活用することができ、画像は時間的に近接する画像からだけでなく、他のビューからの対応する画像からも予測される。すなわち、ビュー間予測は、同じアクセスユニット内（すなわち、同じ時間インスタンスの内部）の画像間で実行され得る。

[0023]上述のように、スケーラブルビデオコーディングは、ビュースケーラビリティおよび／または空間スケーラビリティを提供するために複数のビューをコーディングするのに使用することもできる。たとえば、スケーラブルビデオコーディング（ＳＶＣ）は、Ｈ．２６４／ＡＶＣ規格の付属書類Ｇに記載され、ビデオデータの複数のレイヤをコーディングするために使用され得る。いくつかの事例では、各レイヤは、特定のビューに対応する可能性がある。

[0024]本明細書で説明するように、ビデオ「レイヤ」は、一般に、ビュー、フレームレート、解像度などの、少なくとも１つの共通の特性を有するピクチャのシーケンスを指す可能性がある。たとえば、レイヤは、マルチビュービデオデータの特定のビューに関連するビデオデータを含む可能性がある。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤに関連するビデオデータを含む可能性がある。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指す可能性がある。

[0025]いずれの場合でも、ビデオコーダ（以下でより詳細に説明する、ビデオエンコーダまたはビデオデコーダなど）は、コーディングビデオデータの様々な特性を記述または特定するために１つまたは複数のパラメータセットを使用することができる。パラメータセットがある場合、まれに変化する情報は、ピクチャごとまたはピクチャのシーケンスごとに繰り返される必要がなく、したがってコーディング効率を向上させる。いくつかの事例では、パラメータセットは、ビデオビットストリームの一部を形成し得る。他の事例では、パラメータセットは、他の方法（たとえば、帯域外送信、ハードコーディングなど）でビデオデコーダによって受信され得る。コーディングビデオシーケンスは、その関連するパラメータセットとともに、ビデオビットストリームの独立して復号可能な部分を表し得る。

[0026]ＨＥＶＣは、Ｈ．２６４／ＡＶＣのパラメータセットの概念を継承するが、いくつかの変更および追加を含む。一般に、シーケンスパラメータセット（ＳＰＳ）は、コーディングビデオシーケンスのすべてのスライスに適用する情報を含む。ＨＥＶＣでは、コーディングビデオシーケンスは、（シーケンスに含まれる）第１の瞬時復号リフレッシュ（ＩＤＲ）ピクチャと、（シーケンスに含まれない）次のＩＤＲピクチャまたはビットストリームの終端部（第１のＩＤＲピクチャがビットストリーム中の最後のピクチャである場合）との間のすべてのピクチャを含む。ピクチャパラメータセット（ＰＰＳ）は、ピクチャごとに変化し得る情報を含む。

[0027]ＨＥＶＣは、ビデオパラメータセット（ＶＰＳ）構造も含む。一般に、ＶＰＳは、時間サブレイヤ間の依存性を含む、コーディングビデオシーケンスの特性全体を記述する。ＶＰＳは、システムレイヤにおけるＨＥＶＣ規格の互換性がある拡張を可能にし得る。たとえば、ＶＰＳは、そのようなレイヤを復号することが可能なデコーダに適している可能性があるが、レガシーデコーダがベースレイヤを復号しそのようなレイヤを無視することを可能にする、スケーラブルビットストリーム構造またはマルチビュービットストリーム構造に関する追加情報を提供することができる。

[0028]ビデオデータの複数のレイヤがビットストリームに含まれるとき、ビットストリームからいくつかのレイヤを構文解析するか、または抽出するために、動作点が使用され得る。たとえば、マルチレイヤビットストリームは、受信された符号化データのサブセットを復号し、表示することを容易にするために複数の動作点を含み得る。本明細書で説明するように、「動作点」は、一般に、ビデオデータの１つまたは複数のレイヤを含み得るレイヤセットを指す可能性がある。上述のように、レイヤは、一般に、ビュー、フレームレート、解像度など（たとえば、ビデオデータのビュー、スケーラブルビデオデータのレイヤなど）の、少なくとも１つの共通の特性を有するピクチャのシーケンスを指す可能性がある。したがって、動作点は、ビデオデータの１つまたは複数のビュー、ビデオデータの１つまたは複数のレイヤなどを有するレイヤセットを指す可能性がある。したがって、「動作点」および「レイヤセット」は、本明細書では互換的に使用され得る。

[0029]異なる動作点を使用することは、様々なクライアントデバイスが適合を実行することを可能にし得る。すなわち、異なるレンダリングおよび復号能力を有するクライアントデバイスが、２次元または３次元ビデオデータを表示するために様々なビューを抽出し得る。クライアントデバイスはまた、様々な帯域幅能力のトランスポーテーション媒体に適合するように、変動するビットレートのデータを取り出すために、サーバデバイスと交渉し得る。

[0030]したがって、各動作点は、マルチビュービデオデータのビューの様々な組合せ、ならびに／または、変動する時間フレームレートおよび空間解像度で符号化されたスケーラブルビデオデータのレイヤの様々な組合せ、たとえば様々なレイヤセットを表し得る。言い換えると、動作点は、ビュー次元（ビューの数を反映する）と、時間次元（フレームレートを反映する）と、空間次元（空間解像度を反映する）とを含む、３次元でのマルチビュービデオデータの符号化を指し得る。いくつかの事例では、同じビットストリームサブセットに２つ以上の動作点が関連付けられ得る。すなわち、２つ以上のレイヤセットは、ビットストリームがレイヤの１つまたは複数の組を含むように、同じビットストリームに関連付けられ得る。

[0031]ビデオエンコーダは、ベースビュー／レイヤと強調ビュー／レイヤとの様々な組合せに関するいくつかのレイヤセットを定義し得る。特定のレイヤは、表示用の１つまたは複数のターゲット出力レイヤを含む、ビデオデータのいくつかのレイヤを含み得る。たとえば、ターゲット出力ビューは、たとえば表示される際に閲覧可能に出力されることを意図されるマルチビュービデオデータのビューを含み得る。同様に、ターゲット出力レイヤは、出力されることを意図されるスケーラブルビデオデータのレイヤを含み得る。本明細書で説明するように、ターゲット出力ビューおよびターゲット出力レイヤは、互換的に使用され得る。

[0032]たとえば、ＭＶＣに関して、動作点は、ＳＰＳにおいてシグナリングされ得る。ＭＶＣデータのターゲット出力ビューは、ＭＶＣデータのターゲット最高時間レベルとともにシグナリングされ得る。ＳＶＣに関して、ターゲット出力レイヤは、動作点の最上位レイヤに応じて、たとえば最上位のｄｅｐｅｎｄｅｎｃｙ＿ｉｄおよびｑｕａｌｉｔｙ＿ｉｄによって自動的に選択され得る。ＨＥＶＣに関して、動作点は、サブビットストリームの最高時間レベルに基づいて抽出され得るサブビットストリームを指定し得る。ＨＥＶＣは、ｌａｙｅｒ＿ｉｄｓに改名され得る、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のリストを使用することもできる。

[0033]ＨＥＶＣのマルチビューコーディング拡張（ＭＶ−ＨＥＶＣ）のように、ビデオデータの複数のレイヤとともに使用するためにＨＥＶＣを適合させるとき、動作点は、ＶＰＳにおいて単独でシグナリングされ得る。たとえば、（復号されるべき）ビットストリームに存在するビューは、各動作点に関するＶＰＳにおいてシグナリングされ得る。ＨＥＶＣ（ＨＳＶＣ、または代わりにＳＨＶＣ）のスケーラブル拡張の規格化に関して、最上位のｌａｙｅｒ＿ｉｄを有するレイヤが、特定の動作点に関するターゲット出力レイヤであることが予想される。

[0034]ＶＰＳ構造を使用することを含む、ＨＥＶＣにおける動作点に対する現在の手法は、複数のレイヤとともにコーディングする際に欠点を有する可能性がある。たとえば、ＨＥＶＣに定義される動作点は、ビットストリーム抽出のためには十分である可能性があるが、ＶＰＳは、動作点のターゲット出力ビュー／レイヤを指定しない。すなわち、ＶＰＳは、表示されることが意図される、ビデオデータの特定のレイヤを識別しない。

[0035]どのレイヤがターゲット出力レイヤであるかがわからない場合、出力に使用されないいくつかのレイヤの復号ピクチャは、必要とされるよりも長い間、復号ピクチャバッファ（ＤＰＢ）に保持される可能性があり、それによって、マルチビューシーケンスの格納要求を増大させる。加えて、複数のビューがサブビットストリームに含まれるとき、コンテンツプロバイダは、閲覧エクスペリエンスを制御するために、どのサブビットストリームが復号されディスプレイに出力として提供されるかを制御したい場合がある。たとえば、コンテンツプロバイダは、ユーザが、あるサブビットストリームまたはサブビットストリームの組合せからのピクチャを見ることを可能にしたくない場合がある。そのような制御は、ＨＥＶＣの現行のＶＰＳ方式とともには利用できない可能性がある。

[0036]本開示の技法は、いくつかのレイヤセット（各々がビデオデータの１つまたは複数のレイヤを含む）を含むビデオデータの複数のレイヤから、いくつかのレイヤセットのうちの１つのレイヤセットと１つまたは複数のターゲット出力レイヤとに関連する１つまたは複数の出力動作点を特定することを含む。たとえば、本開示の技法は、マルチビュービデオデータ用の１つまたは複数のターゲット出力ビュー、および／またはスケーラブルビデオデータ用のターゲット出力レイヤを識別する出力動作点を特定することを含む。

[0037]本開示の技法はまた、ビデオエンコーダによって、出力動作点および／またはターゲット出力レイヤを示す１つまたは複数のシンタックス要素をシグナリングすることと、符号化ビットストリームからビデオデコーダによって、出力動作点および／またはターゲット出力レイヤを示す１つまたは複数のシンタックス要素を構文解析することとを含む。ターゲット出力レイヤとともに出力動作点の表示を提供し利用することは、復号ピクチャバッファ管理に関する効率を増大させる可能性があり、出力される（たとえば、表示される）べき特定のビューおよび／またはレイヤを示すことに関するフレキシビリティを増大させる可能性がある。

[0038]本開示の態様によれば、現行のＨＥＶＣ基本仕様（たとえば、上述のＷＤ６）に定義される１つの動作点は、各々が様々なターゲット出力ビューおよび／またはレイヤを有する、１つまたは複数の出力動作点に対応する可能性がある。たとえば、いくつかの事例では、ビデオコーダ（ビデオエンコーダまたはビデオデコーダなど）は、ビデオデータを適切にコーディングするためにレイヤセットのビデオデータのいくつかのレイヤを使用し得る。しかしながら、復号レイヤのサブセットのみが、出力、たとえば表示にとって望ましい可能性がある。本開示の態様によれば、ビデオコーダは、出力用のビデオデータのターゲットレイヤを特に識別する出力動作点を特定することができる。いくつかの事例では、ビデオコーダは、たとえば、出力用のビデオデータのレイヤの様々な組合せに適応するために、レイヤセットに関する２つ以上の出力動作点を特定することができる。

[0039]例示のための例では、レイヤセットが、立体適用のためのベースビュー（ビュー０）と、第１のビュー（ビュー１）と、第２のビュー（ビュー２）と、第３のビュー（ビュー３）とを含むことを仮定されたい。ビュー２およびビュー３が、最適の立体出力を提供することをさらに仮定されたい。この例では、ビデオデコーダは、ビュー２およびビュー３を復号するために参照としてベースビューを使用し得る。加えて、ビデオデコーダがいくつかの従来のコーディング規格（上述のＨ．２６４／ＡＶＣに対するＭＶＣまたはＳＶＣ拡張など）に準拠する場合、ビデオデコーダは、出力用の動作点の最上位のレベル、すなわちビュー２およびビュー３が出力には最適のビューであるにもかかわらず、ベースレイヤを選択する可能性がある。

[0040]本開示の態様によれば、レイヤセットは、復号される１つまたは複数のサブビットストリームを指定し、出力動作点は、出力されるべき、レイヤセット内のレイヤのサブセットを示す。したがって、上記の例では、ビデオデコーダは、ベースビューと、第１のビューと、第２のビューと、第３のビューとを有するレイヤセットを復号し得る。加えて、ビデオデコーダは、レイヤセットに関する出力動作点を特定することができ、出力動作点は、ビュー２およびビュー３を含む。したがって、ビデオコーダは、表示のためにビュー２およびビュー３を復号し出力することができる。

[0041]上記で説明したように、出力動作点は、ＨＥＶＣではあらかじめ明記されなかった。加えて、Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張は、動作点のどのサブビットストリームが表示の対象であるかを特定する問題に遭遇しなかったが、それは、ＭＶＣが動作点の概念を使用せず、ＭＶＣビットストリームのすべてのターゲットビューがビットストリーム中のすべてのビューによって指定されるからである。したがって、本開示の技法は様々な規格とともに実装され得るが、本開示の態様は、ＨＥＶＣ規格を使用して指定されるべき動作点の特定のターゲット出力ビューに関する機構を提供する。

[0042]図１は、本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0043]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、符号化ビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[0044]いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイスから、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

[0045]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0046]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、１つまたは複数のターゲット出力レイヤを特定するための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0047]図１の図示のシステム１０は一例にすぎない。１つまたは複数のターゲット出力レイヤを特定するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコーディングされたビデオデータを生成する、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャストまたはビデオ電話のための、ビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートすることができる。

[0048]ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話またはビデオ電話を形成することができる。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各々の場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。

[0049]コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたは有線ネットワーク送信などの時間媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非時間的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化されたビデオデータを受信し、宛先デバイス１４に符号化されたビデオデータを与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含むディスクを生成し得る。したがって、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解されよう。

[0050]宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコーディングユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0051]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオコーディング規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。

[0052]ビデオエンコーダ２０およびビデオデコーダ３０は各々、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非時間的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0053]図１に示された例では、システム１０はまた、ルータ３６を有するサーバ／コンテンツ配信ネットワーク３４を含む。いくつかの例では、ソースデバイス１２は、上記で説明したように、様々なワイヤレス送信および／もしくは有線送信または記憶媒体を介して、サーバ／コンテンツ配信ネットワーク３４と通信することができる。さらに、図１の例では別々に示されたが、いくつかの例では、ソースデバイス１２とサーバ／コンテンツ配信ネットワーク３４は同じデバイスを備える。サーバ／コンテンツ配信ネットワーク３４は、（ソースデバイス１２のビデオエンコーダ２０からの）コーディングビデオデータの１つまたは複数のバージョンを記憶することができ、そのようなコーディングビデオデータを宛先デバイス１４およびビデオデコーダ３０によるアクセスのために利用可能にすることができる。いくつかの例では、ルータ３６は、要求されたフォーマットで、コーディングビデオデータを宛先デバイス１４に提供することを担い得る。

[0054]本開示は、概して、ビデオエンコーダ２０および／またはサーバ／コンテンツ配信ネットワーク３４が、ある情報をビデオデコーダ３０などの別のデバイスに「シグナリング」することに言及することがある。しかしながら、ビデオエンコーダ２０および／またはサーバ／コンテンツ配信ネットワーク３４は、いくつかのシンタックス要素をビデオデータの様々な符号化部分に関連付けることによって情報をシグナリングすることができることを理解されたい。すなわち、ビデオエンコーダ２０および／またはサーバ／コンテンツ配信ネットワーク３４は、ビデオデータの様々な符号化部分のヘッダにいくつかのシンタックス要素を格納することによって、データを「シグナリング」することができる。いくつかの場合には、そのようなシンタックス要素は、ビデオデコーダ３０によって受信および復号される前に、符号化および記憶され（たとえば、記憶デバイス２４に記憶され）得る。したがって、「シグナリング」という用語は、通信がリアルタイムもしくはほぼリアルタイムで行われるか、または、符号化時にシンタックス要素を媒体に記憶し、次いで、この媒体に記憶された後の任意の時間にそのシンタックス要素が復号デバイスによって取り出され得るときなどに行われ得る、ある時間期間にわたって行われるかどうかにかかわらず、概して、圧縮ビデオデータを復号するためのシンタックスまたは他のデータの通信を指し得る。

[0055]ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの、ビデオ圧縮規格、またはそのような規格の拡張に従って動作し得る。ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。いくつかの態様では、本開示で説明する技法は、一般にＨ．２６４規格に準拠するデバイスに適用することができる。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と呼ぶ。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

[0056]本開示の技法は、任意の特定のコーディング規格に限定されないが、本技法は、ＨＥＶＣ規格に関係し得る。より詳細には、ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣ規格の拡張、たとえば、スケーラブルビデオコーディング（ＳＶＣ）拡張を含む、マルチビュー拡張または３次元ビデオ（３ＤＶ）拡張に従ってビデオデータをコーディングするように構成され得る。

[0057]一般に、ＨＥＶＣは、ビデオピクチャが、ルーマとクロマの両方のサンプルを含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割されることを可能にする。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、いくつかの連続するコーディングツリーユニット（ＣＴＵ）を含む。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーン（color plane）を有するモノクロームピクチャまたはピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

[0058]ビデオピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。一般に、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有するモノクロームピクチャまたはピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングブロックは、サンプルのＮ×Ｎブロックである。

[0059]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。

[0060]ＣＵは、ＣＵがサイズ差異を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コーディングビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズも定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格のコンテキストにおける同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

[0061]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。

[0062]一般に、ＰＵは、対応するＣＵの全部または一部に対応する空間的エリアを表し、そのＰＵ用の参照サンプルを取り出すためのデータを含むことができる。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵのデータは、ＰＵに対応するＴＵのイントラ予測モードを記述するデータを含み得る、残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵのＰＵは、ピクチャのルーマサンプルの１つの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有するモノクロームピクチャまたはピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。

[0063]ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を含み得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵの残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形ブロックであってもよい。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有するモノクロームピクチャまたはピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。

[0064]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。

[0065]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、さらなる圧縮を提供する、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。

[0066]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（したがってより高い周波数）の係数をアレイの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0067]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率判断は、シンボルに割り当てられるコンテキストに基づき得る。

[0068]ビデオエンコーダ２０は、さらに、ピクチャベースのシンタックスデータ、およびピクチャグループ（ＧＯＰ）ベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のいくつかのピクチャを記述し得、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示し得る。

[0069]いくつかの例では、ビデオデータを復号するときに使用され得るいくつかのパラメータセットを、ビデオエンコーダ２０は生成することができ、ビデオデコーダ３０は受信することができる。たとえば、パラメータセットは、まれに変化する情報を別個にシグナリングすることによって効率を改善する、ＳＰＳ、ＰＰＳ、またはＶＰＳを含み得る。さらに、パラメータセットの使用は、重要なヘッダ情報の帯域外送信を可能にし、誤り耐性のための冗長送信の必要性を回避することができる。帯域外送信の例では、パラメータセットネットワークアブストラクションレイヤ（ＮＡＬユニット）は、補足エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）ＮＡＬユニットなどの他のＮＡＬユニットとは異なるチャネル上で送信され得る。

[0070]ＳＥＩ ＮＡＬユニット（ＳＥＩメッセージと呼ばれる）は、ＶＣＬ ＮＡＬユニットからのコーディングピクチャサンプルを復号するためには必要でないが、復号と、表示と、誤り耐性と、他の目的とに関係するプロセスを支援することができる情報を含む場合がある。ＳＥＩメッセージは、非ＶＣＬ ＮＡＬユニットに含まれることがある。ＳＥＩメッセージは、いくつかの規格の仕様の規範部分に含まれることがあり、したがって、規格に準拠するデコーダ実装のために常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージまたはピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例におけるスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣにおけるビュースケーラビリティ情報ＳＥＩメッセージなどのＳＥＩメッセージ内に、何らかのシーケンスレベル情報が含まれる場合がある。

[0071]ＨＥＶＣでは、ビデオエンコーダ２０は、サブビットストリームの最高時間レベルと、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓのリストとに基づいて符号化ビットストリームから抽出され得るサブビットストリームを示すために動作点を定義し得る。たとえば、ビデオエンコーダ２０は、以下に示す表１に従って動作点をシグナリングし得る。

[0072]上記の表１では、１に等しいｏｐ＿ｌａｙｅｒ＿ｉｄ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｏｐＩｄｘ］［ｉ］は、ｉに等しいｌａｙｅｒ＿ｉｄを有するレイヤが、ｌａｙｅｒ＿ｉｄ値のｏｐＩｄｘ番目の組に関して存在することを指定し得る。加えて、１に等しいｏｐ＿ｌａｙｅｒ＿ｉｄ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｏｐＩｄｘ］［ｉ］は、ｉに等しいｌａｙｅｒ＿ｉｄを有するレイヤが、ｌａｙｅｒ＿ｉｄ値のｏｐＩｄｘ番目の組に関して存在しないことを指定し得る。

[0073]ビデオエンコーダ２０は、ＶＰＳにおいてシンタックス要素ｖｐｓ＿ｍａｘ＿ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｌａｙｅｒ＿ｉｄをシグナリングすることもでき、ｖｐｓ＿ｍａｘ＿ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｌａｙｅｒ＿ｉｄは、ビデオパラメータセットにおけるｏｐＩｄｘ番目のｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が適用する動作点のＯｐＬａｙｅｒＩｄＳｅｔにおけるコーディングビデオシーケンスにおけるすべてのＮＡＬユニットに関するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの最大の値を指定する。

[0074]いくつかの事例では、ビデオエンコーダ２０は、ＨＥＶＣ（ＭＶ−ＨＥＶＣ）または３Ｄ−ＨＥＶＣに対するマルチビュー拡張とともに使用するための動作点をシグナリングし得る。ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣのマルチビュー拡張の最新のワーキングドラフトは、それぞれ、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴ３Ｖ−Ａ１００４−ｖ１．ｚｉｐにおいて入手可能な、「ＭＶ−ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の３Ｄビデオコーディング拡張開発の共同研究部会、第１回会合、ストックホルム、スウェーデン、２０１２年７月１６日〜２０日、ＪＣＴ３Ｖ−Ａ１００４と、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴ３Ｖ−Ａ１００５−ｖ１．ｚｉｐにおいて入手可能な、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の３Ｄビデオコーディング拡張開発の共同研究部会、第１回会合、ストックホルム、スウェーデン、２０１２年７月１６日〜２０日、ＪＣＴ３Ｖ−Ａ１００５とに明記される。

[0075]ＭＶ−ＨＥＶＣおよび／または３Ｄ０-ＨＥＶＣの動作点は、ビデオパラメータセットにおいて単独でシグナリングされ得る。たとえば、ビデオエンコーダ２０は、各動作点に関して存在し復号されるべきビューをシグナリングし得る。

[0076]上述のように、ＨＥＶＣに定義される動作点は、ビットストリーム抽出のためには十分である可能性があるが、ＶＰＳは、動作点のターゲット出力ビュー／レイヤを指定しない。すなわち、ＶＰＳは、表示されることが意図される、ビデオデータの特定のレイヤを識別しない。

[0077]どのレイヤがターゲット出力レイヤであるかがわからない場合、出力に使用されないいくつかのレイヤの復号ピクチャは、必要とされるよりも長い間、ビデオエンコーダ２０および／またはビデオデコーダ３０の復号ピクチャバッファ（ＤＰＢ）に保持される可能性があり、それによって、マルチビューシーケンスの格納要求を増大させる。加えて、複数のビューがサブビットストリームに含まれるとき、サーバ／コンテンツ配信ネットワーク３４に関連するコンテンツプロバイダは、閲覧エクスペリエンスを制御するために、ビデオデコーダ３０によってどのサブビットストリームが復号され表示デバイス３２に出力として提供されるかを制御したい場合がある。そのような制御は、現行のＶＰＳ方式とともには利用できない可能性がある。

[0078]ビデオエンコーダ２０およびビデオデコーダ３０は、本開示の様々な技法のうちの１つまたは複数を単独でまたは任意の組合せで実行するように構成され得る。たとえば、本開示の態様によれば、ビデオエンコーダ２０は、符号化ビットストリーム中の１つまたは複数のシンタックス要素とともに、動作点を示すデータ、たとえばビデオデータの複数のレイヤを有するレイヤセットを示すことができる。加えて、ビデオエンコーダ２０は、動作点に関する出力動作点を示す１つまたは複数のシンタックス要素を符号化することができ、出力動作点は、ビデオデータの複数のレイヤのうちの１つまたは複数のターゲット出力レイヤに関連付けられる。

[0079]同様に、ビデオデコーダ３０は、符号化ビットストリームから、動作点を示すデータ、たとえばビデオデータの複数のレイヤを有するレイヤセットを取得することができる。加えて、ビデオデコーダ３０は、符号化ビットストリームの１つまたは複数のシンタックス要素に基づいて、動作点に関する出力動作点を特定することができ、出力動作点は、ビデオデータの複数のレイヤのうちの１つまたは複数のターゲット出力レイヤに関連付けられる。

[0080]たとえば、本開示の態様によれば、ＨＥＶＣ（ＭＶ−ＨＥＶＣ）に対するマルチビュー拡張またはＨＥＶＣに対する３次元ビデオ拡張（奥行きデータの１つまたは複数のレイヤを含み得る３ＤＶ）に関して、ビデオエンコーダ２０は、ＶＰＳまたはＶＰＳ拡張における各出力動作点に関するターゲット出力レイヤをシグナリングすることができる。ビデオデコーダ３０は、そのようなシグナリングを受信し、各出力動作点に関するターゲット出力レイヤを特定することができる。

[0081]一例として、ＭＶ−ＨＥＶＣに関して、出力動作点は、動作点に含まれるビューに属する識別されたターゲット出力ビューのリストを有するレイヤセットを指す可能性がある。ビデオエンコーダ２０は、以下の表２の例に示すように、ＶＰＳ拡張における出力動作点をシグナリングすることができる。

[0082]上記の表２の例では、ｎｕｍ＿ｌａｙｅｒ＿ｏｐｅｒａｔｉｏｎ＿ｐｏｉｎｔｓは、ビデオパラメータセットが適用するコーディングビデオシーケンス中に存在する出力動作点の最大数を指定し得る。加えて、ｏｐ＿ｐｏｉｎｔ＿ｉｎｄｅｘは、現在のどのｉ番目の出力動作点が形成されるかに基づいて動作点を識別し得る。加えて、１に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｏｐ＿ｐｏｉｎｔ＿ｉｎｄｅｘ］［ｊ］は、ｊに等しいｌａｙｅｒ＿ｉｄを有するレイヤが現在のｉ番目の出力動作点に関する出力のターゲットであることを示し得る。加えて、０に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｊ］は、ｊに等しいｌａｙｅｒ＿ｉｄを有するレイヤが現在のｉ番目の出力動作点に関する出力のターゲットでないことを示し得る。

[0083]別の例として、ビデオエンコーダ２０は、以下の表３の例に示すように、ＶＰＳにおける出力動作点をシグナリングし得る。

[0084]上記の表３の例では、ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓは、現在のｉ番目の出力動作点に関するターゲット出力ビューの数を指定し得る。加えて、ｔａｒｇｅｔ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］は、現在のｉ番目の出力動作点のｊ番目のターゲット出力ビューのｌａｙｅｒ＿ｉｄを指定し得る。

[0085]さらに別の例では、ビデオエンコーダ２０は、他のシンタックス構造を使用してターゲット出力ビューをシグナリングし得る。たとえば、ビデオエンコーダ２０は、ＳＥＩメッセージにおいて、または他の帯域外シグナリング技法を使用してターゲット出力ビューを示す符号化データをできる。

[0086]３Ｄ−ＨＥＶＣに関して、出力動作点は、動作点、たとえば、動作点に含まれるビューに属する識別されたターゲット出力テクスチャビューまたは奥行きビューのリストを有するレイヤセットを指す可能性がある。ビデオエンコーダ２０は、ＭＶ−ＨＥＶＣに関して上記で説明したものと同様のシンタックスおよびセマンティクスを使用して３Ｄ−ＨＥＶＣに関する出力動作点をシグナリングし得る。しかしながら、３Ｄ−ＨＥＶＣに関して、ターゲット出力ビューとなるようにシグナリングされたビデオエンコーダ２０各ｌａｙｅｒ＿ｉｄは、奥行きビューまたはテクスチャビューのいずれかに対応する可能性がある。

[0087]ＨＳＶＣに関して、動作点のターゲット出力レイヤは、数値的に最高のｌａｙｅｒ＿ｉｄを有するレイヤとなるように誘導され得る。たとえば、出力動作点は、動作点、たとえば出力用と見なされる動作点における最大のｌａｙｅｒ＿ｉｄを有するレイヤのみを有するレイヤセットであり得る。したがって、ビデオデコーダ３０は、特定の動作点に関する出力動作点を特定するためにｌａｙｅｒ＿ｉｄシンタックス要素を復号し得る。

[0088]したがって、本開示の態様によれば、現行のＨＥＶＣ基本仕様に定義される１つの動作点は、各々が様々なターゲット出力ビューおよび／またはレイヤを有する、１つまたは複数の出力動作点に対応する可能性がある。たとえば、ビデオエンコーダ２０は、符号化ビットストリームにおいてシグナリングすることができ（およびビデオデコーダ３０は、符号化ビットストリームを構文解析することによって取得することができ）、復号レイヤのサブセットの表示は、出力、たとえば表示にとって望ましい可能性がある。上記にビデオエンコーダ２０に関して説明したが、いくつかの例では、サーバ／コンテンツ配信ネットワーク３４は、そのようなシグナリングを担う可能性がある。

[0089]たとえば、サーバ／コンテンツ配信ネットワーク３４は、ビットストリームのどのレイヤが出力に最適かを判定することができる。この例では、サーバ／コンテンツ配信ネットワーク３４は、ＶＰＳ、ＶＰＳ拡張、ＳＥＩメッセージ、または出力動作点に関するターゲット出力レイヤを示すための他の構造を生成すること、および／または変更することを担う可能性がある。

[0090]復号ピクチャバッファ（たとえば、図２および図３に関して説明するように、参照ピクチャメモリとも呼ばれる）管理に関して、本開示の態様によれば、出力動作点が復号されているとき、ビデオエンコーダ２０および／またはビデオデコーダ３０は、時間予測（たとえば、レイヤまたはビュー内のインター予測）またはレイヤ間／ビュー間予測にピクチャがもはや必要とされない限り、復号ピクチャバッファからの出力のターゲットとされないレイヤの復号ピクチャを除去し得る。たとえば、除去を容易にするために、ビデオエンコーダ２０は、ターゲット出力ビューまたは０に等しいレイヤに属さないレイヤの各ビュー成分のＰｉｃＯｕｔｐｕｔＦｌａｇを設定し得る。したがって、ビデオエンコーダ２０および／またはビデオデコーダ３０は、どのピクチャが参照用には使用されず出力されないかを判定し、その判定に基づいて復号ピクチャバッファからそのようなピクチャを除去することができる。

[0091]図２は、本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接ピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード（登録商標））は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。

[0092]上述のように、ビデオエンコーダ２０は、マルチビューおよび／またはスケーラブルビデオコーディングを実行するように構成され得る。いくつかの事例では、ビデオエンコーダ２０は、時間インスタンスにおける各ビューがビデオデコーダ３０などのデコーダによって処理され得るように、ＭＶ−ＨＥＶＣビデオコーディング規格に準拠するように構成され得る。他の事例では、ビデオエンコーダ２０は、３Ｄ−ＨＥＶＣビデオコーディング規格に準拠するように構成することができ、各ビューに関するテクスチャマップ（すなわち、ルーマ値およびクロマ値）を符号化することに加えて、各ビューに関する奥行きマップを符号化するように構成され得る。さらに他の事例では、ビデオエンコーダ２０は、ＨＳＶＣビデオコーディング規格に従ってビデオデータの複数のスケーラブルレイヤを符号化するように構成され得る。特定のコーディング規格が参照されるが、本技法は、任意の１つのコーディング規格に固有のものではなく、将来のおよび／またはまだ開発されていない規格とともに実装され得ることを理解されたい。

[0093]いずれの場合も、図２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオピクチャ内の現在のビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分ユニット４８とを含む。ビデオブロックの復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。復元されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングする、デブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは一般に、加算器６２の出力をフィルタリングすることになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内またはループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

[0094]符号化プロセス中に、ビデオエンコーダ２０はコーディングされるべきビデオピクチャまたはスライスを受信する。ピクチャまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的な予測を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は代替的に、空間的な予測を行うために、コーディングされるべきブロックと同じピクチャまたはスライス中の１つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。

[0095]その上、区分ユニット４８は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、区分ユニット４８は、初めにピクチャまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。

[0096]モード選択ユニット４０は、たとえば、誤差結果に基づいて、コーディングモード、すなわち、イントラまたはインターのうちの１つを選択することができ、残差ブロックデータを生成するために、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器５０に与え、参照ピクチャとして使用するための符号化されたブロックを復元するために、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に与える。

[0097]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のピクチャ（または他のコード化ユニット）内でコーディングされている現在のブロックに対する参照ピクチャ（または他のコード化ユニット）内の予測ブロックに対する現在のビデオピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるブロックに精密に一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。

[0098]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0099]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって判断された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[0100]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを判断し得る。いくつかの例では、イントラ予測ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[0101]たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を判断する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判断するために、様々な符号化ブロックのひずみおよびレートから比率を計算し得る。

[0102]ブロック用のイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロック用に選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、（コードワードマッピングテーブルとも呼ばれる）複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブルと、様々なブロック用の符号化コンテキストの定義と、最確イントラ予測モードの指示とを含む送信されたビットストリーム構成データの中に、コンテキストの各々について使用する、イントラ予測モードインデックステーブルと修正されたイントラ予測モードインデックステーブルとを含めることができる。

[0103]ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。

[0104]いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

[0105]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後、符号化ビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、または後で送信するかもしくは取り出すためにアーカイブすることができる。

[0106]逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化および逆変換を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオピクチャ中のブロックをインターコーディングするために動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

[0107]ビデオエンコーダ２０は、上記で説明したように、いくつかのシンタックス要素を生成することができ、これらのシンタックス要素はエントロピー符号化ユニット５６またはビデオエンコーダ２０の別の符号化ユニットによって符号化され得る。いくつかの例では、ビデオエンコーダ２０は、上記で説明したように、マルチビュービットストリームおよび／またはマルチレイヤビットストリーム用のシンタックス要素を生成し符号化することができる。

[0108]たとえば、本開示の態様によれば、エントロピー符号化ユニット５６は、動作点を示す符号化ビットストリーム中の１つまたは複数のシンタックス要素、たとえばビデオデータの複数のレイヤを有するレイヤセットを符号化することができる。加えて、エントロピー符号化ユニット５６は、レイヤセットに関する出力動作点を示す１つまたは複数のシンタックス要素を符号化することができ、出力動作点は、ビデオデータの複数のレイヤのうちの１つまたは複数のターゲット出力レイヤに関連付けられる。

[0109]いくつかの例では、本開示の態様によれば、ビデオエンコーダ２０は、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、またはＨＳＶＣなどのビデオコーディング規格に従って出力動作点に関するターゲット出力レイヤを示すことができる。たとえば、マルチビュービデオコーディング(たとえば、ＭＶ−ＨＥＶＣまたは３Ｄ−ＨＥＶＣ)に関して、各々が関連するターゲット出力レイヤを有する１つまたは複数の出力動作点を示すために、ビデオエンコーダ２０は、ＶＰＳ拡張（たとえば、上記の表２の例に関して示され説明されたＶＰＳ拡張など）、ＶＰＳ（たとえば、上記の表３の例に関して示され説明されたＶＰＳなど）、ＳＥＩメッセージ、または他のメッセージを符号化し得る。上述のように、奥行きビューを符号化するとき、出力動作点は、動作点に含まれるビューに属する識別されたターゲット出力テクスチャビューまたは奥行きビューのリストを有する動作点を指す可能性がある。

[0110]ＨＥＶＣに関して、ビデオエンコーダ２０は、（たとえば、以下の図５に関してより詳細に説明するように）ビデオデータの各レイヤを識別するためにビデオデータの各レイヤに対するｌａｙｅｒ＿ｉｄを符号化し得る。本開示の態様によれば、出力動作点は、出力用と見なされる動作点における最大のｌａｙｅｒ＿ｉｄを有するレイヤのみを有する動作点であり得る。

[0111]したがって、本開示の態様によれば、現行のＨＥＶＣ基本仕様に定義される１つの動作点は、各々が様々なターゲット出力ビューおよび／またはレイヤを有する、１つまたは複数の出力動作点に対応する可能性がある。たとえば、ビデオエンコーダ２０は、符号化ビットストリームにおいてシグナリングすることができ、復号レイヤのサブセットの表示は、出力、たとえば表示にとって望ましい可能性がある。

[0112]本開示のいくつかの態様によれば、ビデオエンコーダ２０は、特定された出力動作点およびターゲット出力レイヤに基づいて参照ピクチャメモリ６４から１つまたは複数のピクチャを除去し得る。たとえば、ビデオエンコーダ２０は、出力のターゲットにされず、かつ時間予測（たとえば、レイヤまたはビュー内のインター予測）またはレイヤ間／ビュー間予測に必要とされない、参照ピクチャメモリ６４からのピクチャを除去し得る。

[0113]このように、ビデオエンコーダ２０は、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの複数のレイヤを符号化するように構成されたビデオエンコーダの一例を表す。ビデオエンコーダ２０はまた、１つまたは複数の出力動作点を示すビットストリームの１つまたは複数のシンタックス要素を符号化するように構成され、各出力動作点は、複数のレイヤセットのうちの１つのレイヤセットと、複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる。

[0114]図３は、本開示の態様による、１つまたは複数のターゲット出力レイヤを特定するための技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照ピクチャメモリ８２と、加算器８０とを含む。

[0115]上述のように、ビデオデコーダ３０は、マルチビューおよび／またはスケーラブルビデオコーディングを実行するように構成され得る。いくつかの例では、ビデオデコーダ３０は、ＭＶ−ＨＥＶＣビデオコーディング規格に準拠するように構成され得る。他の事例では、ビデオデコーダ３０は、３Ｄ−ＨＥＶＣビデオコーディング規格に準拠するように構成することができ、各ビューに関するテクスチャマップ（すなわち、ルーマ値およびクロマ値）を符号化することに加えて、各ビューに関する奥行きマップを復号するように構成され得る。さらに他の事例では、ビデオデコーダ３０は、ＨＳＶＣビデオコーディング規格に従ってビデオデータの複数のスケーラブルレイヤを復号するように構成され得る。特定のコーディング規格が参照されるが、本技法は、任意の１つのコーディング規格に固有のものではなく、将来のおよび／またはまだ開発されていない規格とともに実装され得ることを理解されたい。

[0116]ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0117]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0118]エントロピー復号ユニット７０は、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームを復号する。いくつかの例では、エントロピー復号ユニット７０またはビデオデコーダの別のユニットは、上記で説明したように、マルチビュービットストリームおよび／またはマルチレイヤビットストリームからのシンタックス要素を構文解析し復号することができる。

[0119]本開示の態様によれば、エントロピー復号ユニット７０は、符号化ビットストリームから、動作点を示すデータ、たとえばビデオデータの複数のレイヤを有するレイヤセットを取得することができる。加えて、エントロピー復号ユニット７０は、動作点に関する出力動作点を示す１つまたは複数のシンタックス要素を復号することができ、出力動作点は、ビデオデータの複数のレイヤのうちの１つまたは複数のターゲット出力レイヤに関連付けられる。ビデオデコーダ３０は、１つまたは複数のシンタックス要素に基づいて、出力動作点とターゲット出力レイヤとを特定することができる。

[0120]いくつかの例では、本開示の態様によれば、ビデオデコーダ３０は、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、またはＨＳＶＣなどのビデオコーディング規格に準拠し得る。たとえば、マルチビュービデオコーディング（たとえば、ＭＶ−ＨＥＶＣまたは３Ｄ−ＨＥＶＣ）に関して、ビデオデコーダ３０は、ＶＰＳ拡張（たとえば、上記の表２の例に関して示され説明されたＶＰＳ拡張）、ＶＰＳ（たとえば、上記の表３の例に関して示され説明されたＶＰＳ）、ＳＥＩメッセージ、または他のメッセージに示された出力動作点とターゲット出力レイヤとに基づいて、受信された符号化ビットストリームからのサブビットストリームを構文解析することができる。奥行きビューを符号化するとき、出力動作点は、動作点に含まれるビューに属する識別されたターゲット出力テクスチャビューまたは奥行きビューのリストを有する動作点を指す可能性がある。

[0121]ＨＳＶＣに関して、エントロピー復号ユニット７０は、ビデオデータの各レイヤに関するｌａｙｅｒ＿ｉｄを復号し得る。本開示の態様によれば、ビデオデコーダ３０は、動作点における最大のｌａｙｅｒ＿ｉｄを有するレイヤに基づいて出力動作点を推理し得る。

[0122]したがって、本開示の態様によれば、現行のＨＥＶＣ基本仕様に定義される１つの動作点は、各々が様々なターゲット出力ビューおよび／またはレイヤを有する、１つまたは複数の出力動作点に対応する可能性がある。エントロピー復号ユニット７０は、受信された符号化ビットストリームからの構文解析および復号された１つまたは複数のシンタックス要素に基づいてターゲット出力レイヤを含むサブビットストリームを復号し得る。

[0123]エントロピー復号ユニット７０は、動きベクトルｔｏと他の予測シンタックス要素とを動き補償ユニット７２に転送する。特定の出力レイヤの場合、ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在ピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオピクチャがインターコーディングされた（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照ピクチャリスト、すなわち、リスト０およびリスト１を構成し得る。

[0124]動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを解析することによって現在ビデオスライスのビデオブロックについての予測情報を判断し、予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトルと、スライスの各インターコーディングビデオブロックについてのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを判断するために、受信されたシンタックス要素のいくつかを使用する。

[0125]動き補償ユニット７２は、前に復号されたピクチャから、たとえば、参照ピクチャメモリ８２からデータを取り出すために復号された動きベクトルを使用し得る。動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。

[0126]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオデコーダ３０によって計算される量子化パラメータＱＰ_Ｙを使用して量子化の程度を判断し、同様に、適用すべき逆量子化の程度を判断することを含み得る。逆変換ユニット７８は、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用して、ピクセル領域において残差ブロックを生成する。

[0127]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するか、またはさもなければビデオ品質を改善するために、（コーディングループ内またはコーディングループ後の）他のループフィルタも使用され得る。所与のピクチャの復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照ピクチャメモリ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。

[0128]本開示のいくつかの態様によれば、ビデオデコーダ３０は、特定された出力動作点およびターゲット出力レイヤに基づいて参照ピクチャメモリ８２から１つまたは複数のピクチャを除去し得る。たとえば、ビデオデコーダ３０は、出力のターゲットにされず、かつ時間予測（たとえば、レイヤまたはビュー内のインター予測）またはレイヤ間／ビュー間予測に必要とされない、参照ピクチャメモリ８２からのピクチャを除去し得る。ビデオデコーダ３０は、復号ビットストリームの１つまたは複数のシンタックス要素に基づいて、参照ピクチャメモリ８２のどのピクチャが予測のために使用されるか、またはターゲット出力レイヤに含まれるかを特定することができる。たとえば、エントロピー復号ユニット７０は、ピクチャがターゲット出力ビューに属するかどうかを示すレイヤの各ビュー成分に関するＰｉｃＯｕｔｐｕｔＦｌａｇを復号し得る。ビデオデコーダ３０は、ターゲット出力ビューに属さず、かつ復号中に「参照用に使用されない」ことをマーキングされた、参照ピクチャメモリ８２からのピクチャを除去し得る。

[0129]したがって、一例では、ビデオデコーダ３０は、レイヤセットに関連する１つまたは複数の出力部分点のうちの１つの出力動作点を復号し、１つまたは複数のターゲット出力レイヤのうちの１つではないがレイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号することができる。加えて、ビデオデコーダ３０は、出力に使用されるべきピクチャとして、復号ピクチャバッファ内の１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングすることができ、出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く復号ピクチャバッファから除去されるように、復号される組に含まれるが、出力に使用されないピクチャとして復号ピクチャバッファ内の出力レイヤとならない第２の復号ピクチャをマーキングすることができる。加えて、ビデオデコーダ３０は、出力に使用されないものとしてマーキングされたピクチャがインター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定し、出力に使用されないピクチャがインター予測およびレイヤ間予測のうちの一方のためには使用されないとき、復号ピクチャバッファからの出力に使用されないものとしてマーキングされたピクチャを除去することができる。

[0130]このように、ビデオデコーダ３０は、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの複数のレイヤをマルチレイヤビットストリームから取得し得るビデオデコーダ３０の一例を表す。ビデオデコーダ３０はまた、ビットストリームの１つまたは複数のシンタックス要素に基づいて、１つまたは複数の出力動作点を特定することができ、各出力動作点は、複数のレイヤセットのうちの１つのレイヤセットと、複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる。

[0131]図４は、例示的なＭＶＣ予測パターンを示す概念図である。図４は、Ｈ．２６４／ＡＶＣとＭＶＣとに関して説明されるが、同様の予測パターンは、ＭＶ−ＨＥＶＣと３Ｄ−ＨＥＶＣと（マルチビュープラス奥行き）を含む、他のマルチビュービデオコーディング方式とともに使用され得ることを理解されたい。したがって、以下のＭＶＣへの参照は、概してマルチビュービデオコーディングに適用し、Ｈ．２６４／ＭＶＣに限定されない。

[0132]図４の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図４中の各行はビューに対応し、各列は時間ロケーションを示す。

[0133]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを用いて３Ｄビデオコンテンツを予想し得る。

[0134]図４中のピクチャは、対応するピクチャがイントラコーディングされる（すなわち、Ｉフレームである）のか、一方向に（すなわち、Ｐフレームとして）インターコーディングされるのか、複数の方向に（すなわち、Ｂフレームとして）インターコーディングされるのかを指定する、文字を含む影付きブロックを使用して、図４中の各行と各列との交差部において示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のオブジェクトを使用する。たとえば、時間位置Ｔ０にあるビューＳ２のＰフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームから予測される。

[0135]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにおけるピクチャに関して予測符号化され得る。たとえば、時間ロケーションＴ１におけるビューＳ０のｂフレームは、時間ロケーションＴ０におけるビューＳ０のＩフレームからそのｂフレームに向けられた矢印を有し、その矢印は、ｂフレームがＩフレームから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャは、ビュー間予測され得る。すなわち、ビュー成分は、参照のために他のビュー中のビュー成分を使用することができる。ＭＶＣでは、たとえば、別のビュー中のビュー成分がインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。

[0136]ＭＶＣでは、ビュー間予測は、同じアクセスユニット（すなわち、同じ時間インスタンスを有する）内の画像間で可能になる。アクセスユニットは、概して共通の時間インスタンスのすべてのビュー成分（たとえば、すべてのＮＡＬユニット）を含むデータユニットである。したがって、ＭＶＣにおいて、ビュー間予測は、同じアクセスユニットにおけるピクチャ間で許可される。ベースのないビューの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス（たとえば、同じＰＯＣ値、したがって同じアクセスユニットにおいて）を伴う場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。

[0137]図４は、ビュー間予測の様々な例を提供する。図４の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにおけるピクチャから予測されるものとして、ならびに同じ時間ロケーションにおけるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間位置Ｔ１にあるビューＳ１のｂフレームは、時間位置Ｔ０およびＴ２にあるビューＳ１のＢフレームの各々、ならびに時間位置Ｔ１にあるビューＳ０およびビューＳ２のｂフレームから予測される。

[0138]図４の例では、大文字の「Ｂ」および小文字の「ｂ」は、異なる符号化方法ではなく、ピクチャ間の異なる階層関係を示すものとする。一般に、大文字の「Ｂ」ピクチャは、小文字の「ｂ」ピクチャよりも予測階層が比較的高い。図４はまた、異なるレベルの陰影を使用して予測階層の変形形態を示し、より大きい量の陰影の（すなわち、比較的暗い）ピクチャは、より少ない陰影を有する（すなわち、比較的明るい）それらのピクチャよりも予測階層が高い。たとえば、図４内のすべてのＩフレームは完全陰影を用いて示されるが、Ｐフレームはいくぶん明るい陰影を有し、Ｂフレーム（および小文字のｂフレーム）は、互いに対して様々なレベルの陰影を有するが、ＰフレームおよびＩフレームの陰影よりも常に明るい。

[0139]概して、階層が比較的高いそれらのピクチャが、階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得るように、予測階層が比較的高いピクチャは、階層が比較的低いピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する。ビュー順序インデックスは、アクセスユニット中のビュー成分の復号順序を示すインデックスである。Ｈ．２６４／ＡＶＣ（ＭＶＣ追補）の付属書類Ｈにおいて規定されているように、ビュー順序インデックスはＳＰＳ ＭＶＣ拡張において暗示されている。ＳＰＳでは、各インデックスｉについて、対応するｖｉｅｗ＿ｉｄがシグナリングされる。いくつかの例では、ビュー成分の復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスは、０からｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１までの連続する順序になっている。

[0140]このように、参照ピクチャとして使用されるピクチャは、その参照ピクチャを参照して符号化されたピクチャを復号する前に復号され得る。ビュー順序インデックスは、アクセスユニット中のビュー成分の復号順序を示すインデックスである。各ビュー順序インデックスｉについて、対応するｖｉｅｗ＿ｉｄがシグナリングされる。ビュー成分の復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数までの連続的な順序付きセットを備え得る。

[0141]階層の等しいレベルにおけるいくつかのピクチャの場合、復号順序は、互いに重要でないことがある。たとえば、時間ロケーションＴ０におけるビューＳ０のＩフレームは、時間ロケーションＴ０におけるビューＳ２のＰフレームのための参照ピクチャとして使用され、そのＰフレームは今度は、時間ロケーションＴ０におけるビューＳ４のＰフレームのための参照ピクチャとして使用される。したがって、時間ロケーションＴ０におけるビューＳ０のＩフレームは、時間ロケーションＴ０におけるビューＳ２のＰフレームの前に復号されるべきであり、そのＰフレームは、時間ロケーションＴ０におけるビューＳ４のＰフレームの前に復号されるべきである。しかしながら、ビューＳ１およびＳ３は、予測のために互いに依拠しないが、代わりに、予測階層がより高いビューからのみ予測されるので、ビューＳ１とＳ３との間で復号順序は重要でない。その上、ビューＳ１がビューＳ０およびＳ２の後に復号される限り、ビューＳ１はビューＳ４の前に復号され得る。

[0142]このように、ビューＳ０〜Ｓ７を記述するために階層順序が使用され得る。表記法ＳＡ＞ＳＢは、ビューＳＡがビューＳＢの前に復号されるべきであることを意味する。この表記法を使用すると、図４の例では、Ｓ０＞Ｓ２＞Ｓ４＞Ｓ６＞Ｓ７である。また、図４の例に関して、Ｓ０＞Ｓ１、Ｓ２＞Ｓ１、Ｓ２＞Ｓ３、Ｓ４＞Ｓ３、Ｓ４＞Ｓ５、およびＳ６＞Ｓ５である。これらの要件に違反しないビューのための任意の復号順序が可能である。したがって、いくつかの制限のみをもつ、多くの異なる復号順序が可能である。

[0143]本開示の態様によれば、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０など）は、１つまたは複数のターゲット出力レイヤを有する出力動作点を特定することができる。たとえば、ビデオエンコーダ２０は、図４に示すマルチビュー構造からの１つまたは複数のターゲット出力レイヤを特定し、符号化ビットストリーム中のターゲット出力レイヤを示すデータを符号化することができる。同様に、ビデオデコーダ３０は、符号化ビットストリームからの構文解析および復号されたデータに基づいて１つまたは複数のターゲット出力レイヤを含む出力動作点を特定することができる。

[0144]たとえば、各々が関連するターゲット出力レイヤを有する１つまたは複数の出力動作点を示すために、ビデオエンコーダ２０は、ＶＰＳ拡張（たとえば、上記の表２の例に関して示され説明されたＶＰＳ拡張など）、ＶＰＳ（たとえば、上記の表３の例に関して示され説明されたＶＰＳなど）、ＳＥＩメッセージ、または他のメッセージを符号化し得る。上述のように、奥行きビューを符号化するとき、出力動作点は、動作点に含まれるビューに属する識別されたターゲット出力テクスチャビューまたは奥行きビューのリストを有する動作点を指す可能性がある。

[0145]ビデオデコーダ３０は、データを受信し、表示用のターゲット出力ビューを特定することができる。一例として、ビデオデコーダ３０は、ビューＳ０と、Ｓ２と、Ｓ４と、Ｓ６とを含む動作点を受信し得る。ビデオデコーダ３０は、ビットストリームに含まれるシンタックス要素に基づいて、立体出力動作点に関するターゲット出力ビューが、ビューＳ０とＳ４とを含むことを判定することができる。ビデオデコーダ３０は、Ｓ０と、Ｓ２と、Ｓ４と、Ｓ６の各々を復号することができるが、ビューＳ０とＳ４のみを出力することができる。

[0146]図５は、スケーラブルビデオコーディングを示す概念図である。図５は、Ｈ．２６４／ＡＶＣとＳＶＣとに関して説明されるが、同様のレイヤは、ＨＳＶＣを含む、他のマルチレイヤビデオコーディング方式を請いながらコーディングされ得ることを理解されたい。したがって、以下のＳＶＣへの参照は、概してスケーラブルビデオコーディングに適用することができ、Ｈ．２６４／ＳＶＣに限定されない。

[0147]ＳＶＣでは、スケーラビリティは、たとえば、空間と、時間と、品質（ビットレートまたは信号対ノイズ比（ＳＮＲ）として表される）とを含む３次元において可能になり得る。概して、通常、任意の次元における表現を追加することによって、より良い表現が達成され得る。たとえば、図５の例では、レイヤ０は、７．５Ｈｚのフレームレートと６４キロバイト毎秒（ＫＢＰＳ）のビットレートとを有するクウォーターコモンインターミディエートフォーマット（ＱＣＩＦ：Quarter Common Intermediate Format）においてコーディングされる。加えて、レイヤ１は、１５Ｈｚのフレームレートと６４ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ２は、１５Ｈｚのフレームレートと２５６ＫＢＰＳのビットレートとを有するＣＩＦにおいてコーディングされ、レイヤ３は、７．５Ｈｚのフレームレートと５１２ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ４は、３０Ｈｚのフレームレートとメガバイト毎秒（ＭＢＰＳ）のビットレートとを有する４ＣＩＦにおいてコーディングされる。図５に示すレイヤの特定の数と、コンテンツと、構成とは、単に例として提供されることを理解されたい。

[0148]いずれの場合も、ビデオエンコーダ（ビデオエンコーダ２０など）がそのようなスケーラブルな方法でコンテンツを符号化すると、ビデオデコーダ（ビデオデコーダ３０など）は、たとえばクライアントまたは送信チャネルに依存し得る適用要件に応じて実際の配信されたコンテンツを適合させるために抽出器ツールを使用することができる。

[0149]ＳＶＣでは、最低空間と品質レイヤとを有するピクチャは、通常、Ｈ．２６４／ＡＶＣに適合する。図５の例では、最低空間と品質レイヤとを有するピクチャ（ＱＣＩＦ解像度を有する、レイヤ０およびレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合し得る。このうち、最低時間レベルのこれらのピクチャは、時間ベースレイヤ（レイヤ０）を形成する。この時間ベースレイヤ（レイヤ０）は、より高い時間レベル（レイヤ１）のピクチャを用いて強調され得る。

[0150]Ｈ．２６４／ＡＶＣ互換レイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／または品質エンハンスメントレイヤが追加され得る。各空間または品質エンハンスメントレイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。

[0151]本開示の態様によれば、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０など）は、１つまたは複数のターゲット出力レイヤを有する出力動作点を特定し得る。たとえば、ビデオエンコーダ２０は、１つまたは複数のターゲット出力レイヤを特定し、符号化ビットストリーム中のターゲット出力レイヤを示すデータを符号化し得る。同様に、ビデオデコーダ３０は、符号化ビットストリームからの構文解析および復号されたデータに基づいて１つまたは複数のターゲット出力レイヤを含む出力動作点を特定し得る。

[0152]いくつかの例では、ターゲット出力レイヤは、動作点のｌａｙｅｒ＿ｉｄに基づいて誘導され得る。たとえば、ビデオデコーダ３０は、レイヤ０と、レイヤ１と、レイヤ２とを含む動作点を復号し得る。この例では、ビデオデコーダ３０は、最上位のｌａｙｅｒ＿ｉｄ、たとえばレイヤ２に基づいて出力動作点を特定し得る。したがって、ビデオデコーダ３０は、ターゲット出力ピクチャとしてレイヤ２のピクチャを出力し得る。

[0153]図６は、本開示の態様による、出力動作点を符号化するための例示的なプロセスを示すフローチャートである。ビデオエンコーダ２０（図１および図２）に関して説明されるが、他のデバイスが図６の方法と同様の方法を実行するように構成され得ることを理解されたい。

[0154]この例では、ビデオエンコーダ２０は、レイヤセットに関するビデオデータの複数のレイヤを符号化し得る（１００）。たとえば、ビデオエンコーダ２０は、マルチビュービットストリーム（たとえば、ＭＶ−ＨＥＶＣ規格または３Ｄ−ＨＥＶＣ規格に準拠するビットストリームを含む）に関するビデオデータの複数のビューを符号化し得る。この例では、レイヤセットは、ビットストリームを復号するのに必要なビデオデータの複数のビューと、出力、たとえばビットストリームを復号するクライアントデバイスによる表示の対象であるビデオデータのビューとを含み得る。別の例では、ビデオエンコーダ２０は、スケーラブルビットストリーム（たとえば、ＨＳＶＣ規格に準拠するビットストリームを含む）に関するビデオデータの複数のスケーラブルレイヤを符号化し得る。この例では、レイヤセットは、ビットストリームを復号するのにのみ必要なビデオデータの複数のレイヤ（たとえば、「出力レイヤではない」）と、出力の対象であるビデオデータのレイヤとを含み得る。

[0155]ビデオエンコーダ２０は、複数のレイヤのうちのどれがターゲット出力レイヤであるかを特定し得る（１０２）。ターゲット出力レイヤは、表示される際にビデオデータの閲覧可能な表示を提供する、出力の対象であるレイヤを含み得る。ターゲット出力レイヤは、表示の所望の品質、ビデオコーディングデバイスの機能、帯域幅要件、または他の因子に基づいて選択され得る。

[0156]ビデオエンコーダ２０は、特定されたターゲット出力レイヤを含む出力動作点を示すデータを符号化し得る（１０４）。たとえば、ビデオエンコーダ２０は、ターゲット出力レイヤを示す１つまたは複数のシンタックス要素を符号化し、パラメータセットにそのようなシンタックス要素を含むことができる。表２および表３に関して上記で説明したように、ビデオエンコーダ２０は、ＶＰＳ拡張またはＶＰＳにおける出力動作点を示すデータを符号化し得る。他の例では、ビデオエンコーダ２０は、ＳＰＳまたは他のメッセージにおける出力動作点を示すデータを符号化し得る。ビデオエンコーダ２０は、次いで、（たとえば、記憶または別のデバイスへの送信のために）エントロピー符号化データを出力し得る（１０６）。

[0157]図７は、本開示の態様による、出力動作点を復号するための例示的なプロセスを示すフローチャートである。ビデオデコーダ３０（図１および図３）に関して説明されるが、他のデバイスが図７の方法と同様の方法を実行するように構成され得ることを理解されたい。

[0158]最初に、ビデオデコーダ３０は、レイヤセットに関するビデオデータの複数のレイヤを復号する（１２０）。たとえば、ビデオデコーダ３０は、マルチビュービットストリーム（たとえば、ＭＶ−ＨＥＶＣ規格または３Ｄ−ＨＥＶＣ規格に準拠するビットストリームを含む）のビデオデータの複数のビューを復号し得る。この例では、レイヤセットは、ビットストリームを復号するのに必要なビデオデータの複数のビューと、出力の対象であるビデオデータのビューとを含み得る。別の例では、ビデオデコーダ３０は、スケーラブルビットストリーム（たとえば、ＨＳＶＣ規格に準拠するビットストリームを含む）のビデオデータの複数のスケーラブルレイヤを復号し得る。この例では、レイヤセットは、ビットストリームを復号するのに必要なビデオデータの複数のレイヤと、出力の対象であるビデオデータのレイヤとを含み得る。

[0159]ビデオデコーダ３０は、１つまたは複数のターゲット出力レイヤを含む出力動作点を示すデータを復号することもできる（１２２）。上述のように、ターゲット出力レイヤは、表示される際にビデオデータの閲覧可能な表示を提供する、出力の対象であるレイヤを含み得る。いくつかの例では、ターゲット出力レイヤは、復号されてきた複数のレイヤのサブセットであり得る。

[0160]ターゲット出力レイヤを示すデータは、ターゲット出力レイヤを示す１つまたは複数のシンタックス要素を含み得る。これらのシンタックス要素は、上記で説明したように、ＶＰＳ拡張、ＶＰＳ、ＳＰＳ、または別のタイプのメッセージに含まれ得る。

[0161]ビデオデコーダ３０は、データに基づいてビットストリームからターゲット出力レイヤを抽出し得る（１２４）。たとえば、ビデオデコーダ３０は、ビットストリームからターゲット出力レイヤを含む１つまたは複数のサブビットストリームを抽出し得る。ビデオデコーダ３０は、１つまたは複数のサブビットストリームを復号することもできる。ビデオデコーダ３０は、次いで、表示のために（たとえば、表示デバイス３２（図１）による表示のために）ターゲット出力レイヤを出力し得る（１２６）。

[0162]したがって、ビデオデコーダ３０は、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む、複数のレイヤセットを含むビデオデータの複数のレイヤを取得し、ビットストリームの１つまたは複数のシンタックス要素に基づいて、各々が複数のレイヤセットのうちの１つのレイヤセットと、複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を特定する。

[0163]例によっては、本明細書で説明された技法のうちいずれかの、いくつかの行為またはイベントは、異なる順番で実行される可能性があり、追加され、統合され、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、同時に、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて実行され得る。

[0164]本開示のいくつかの態様について、説明のために開発中のＨＥＶＣ規格に関して説明した。ただし、本開示で説明する技法は、他の規格またはまだ開発されていないプロプライエタリなビデオコーディングプロセスを含む、他のビデオコーディングプロセスに有用であり得る。

[0165]本開示に記載されたビデオコーダは、ビデオエンコーダまたはビデオデコーダを指す場合がある。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指す場合がある。同様に、ビデオコーディングは、適用可能な場合、ビデオ符号化またはビデオ復号を指す場合がある。

[0166]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

[0167]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

[0168]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

[0169]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0170]様々な例について説明してきた。これらおよび他の例は以下の特許請求の範囲内に入る。

[0170]様々な例について説明してきた。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオデータを復号する方法であって、
マルチレイヤビットストリームから、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの前記複数のレイヤを取得することと、
前記ビットストリームの１つまたは複数のシンタックス要素に基づいて、各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を特定することと
を備える、方法。
［Ｃ２］ 前記シンタックス要素は第１のシンタックス要素であり、前記方法は、
前記ビットストリームの１つまたは複数の第２のシンタックス要素に基づいて、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを特定すること、ここにおいて、前記第２のシンタックス要素は複数の第１のシンタックス要素のうちの前記１つとは異なる、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］ 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、Ｃ２に記載の方法。
［Ｃ４］ 前記マルチレイヤビットストリームは、各レイヤがビデオデータのビューを備え、前記１つまたは複数のターゲット出力レイヤが１つまたは複数のターゲット出力ビューを備えるように、マルチビュービットストリームを備える、Ｃ１に記載の方法。
［Ｃ５］ 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点を特定することが、奥行きデータを備える１つまたは複数のターゲット出力奥行きレイヤを特定することをさらに備えるように、１つまたは複数の奥行きレイヤを備える、Ｃ１に記載の方法。
［Ｃ６］ 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点を特定することが、１つまたは複数のスケーラブルターゲット出力レイヤを特定することを備えるように、ビデオデータの複数のスケーラブルレイヤを有するビットストリームを備える、Ｃ１に記載の方法。
［Ｃ７］ 前記出力動作点を特定することは、数値的に最高のｌａｙｅｒ＿ｉｄを有する前記スケーラブルターゲット出力レイヤを特定することを備える、Ｃ６に記載の方法。
［Ｃ８］ 前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号することと、
前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号することと、
出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングすることと、
出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングすることと
をさらに備える、Ｃ１に記載の方法。
［Ｃ９］ 出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定することと、
出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去することと
をさらに備える、Ｃ８に記載の方法。
［Ｃ１０］ 前記１つまたは複数のシンタックス要素は、前記符号化ビットストリームのビデオパラメータセット（ＶＰＳ）およびＶＰＳ拡張のうちの一方に含まれる、Ｃ１に記載の方法。
［Ｃ１１］ 前記１つまたは複数のシンタックス要素は、前記符号化ビットストリームの補足エンハンスメント情報（ＳＥＩ）メッセージに含まれる、Ｃ１に記載の方法。
［Ｃ１２］ ビデオデータを符号化するための方法であって、
各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの前記複数のレイヤを符号化することと、
各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す１つまたは複数のシンタックス要素を符号化することと
を備える、方法。
［Ｃ１３］ 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、
前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素を符号化すること、ここにおいて、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、
をさらに備える、Ｃ１２に記載の方法。
［Ｃ１４］ 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、Ｃ１３に記載の方法。
［Ｃ１５］ 前記マルチレイヤビットストリームは、各レイヤがビデオデータのビューを備え、前記１つまたは複数のターゲット出力レイヤが１つまたは複数のターゲット出力ビューを備えるように、マルチビュービットストリームを備える、Ｃ１２に記載の方法。
［Ｃ１６］ 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点が、奥行きデータを備える１つまたは複数のターゲット出力奥行きレイヤを備えるように、１つまたは複数の奥行きレイヤを備える、Ｃ１２に記載の方法。
［Ｃ１７］ 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点が、１つまたは複数のスケーラブルターゲット出力レイヤを備えるように、ビデオデータの複数のスケーラブルレイヤを有するビットストリームを備える、Ｃ１２に記載の方法。
［Ｃ１８］ 前記出力動作点は、数値的に最高のｌａｙｅｒ＿ｉｄを有する前記スケーラブルターゲット出力レイヤを備える、Ｃ１７に記載の方法。
［Ｃ１９］ 前記１つまたは複数のシンタックス要素を符号化することは、前記符号化ビットストリームのビデオパラメータセット（ＶＰＳ）およびＶＰＳ拡張のうちの一方の中に前記１つまたは複数のシンタックス要素を含むことを備える、Ｃ１２に記載の方法。
［Ｃ２０］ 前記１つまたは複数のシンタックス要素を符号化することは、前記符号化ビットストリームの補足エンハンスメント情報（ＳＥＩ）メッセージの中に前記１つまたは複数のシンタックス要素を含むことを備える、Ｃ１２に記載の方法。
［Ｃ２１］ ビデオデータをコーディングするための装置であって、デバイスは、
各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングし、
各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングする
ように構成された１つまたは複数のプロセッサを備える、装置。
［Ｃ２２］ 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、前記１つまたは複数のプロセッサは、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をコーディングするようにさらに構成され、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、Ｃ２１に記載の装置。
［Ｃ２３］ 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、Ｃ２２に記載の装置。
［Ｃ２４］ コーディングは復号を備え、前記１つまたは複数のプロセッサは、
前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号し、
前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号し、
出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングし、
出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングする
ようにさらに構成される、Ｃ２１に記載の装置。
［Ｃ２５］ 前記１つまたは複数のプロセッサは、
出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定し、
出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去する
ようにさらに構成される、Ｃ２４に記載の装置。
［Ｃ２６］ ビデオデータをコーディングするためのデバイスであって、
各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングするための手段と、
各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングするための手段と
を備える、デバイス。
［Ｃ２７］ 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をコーディングするための手段をさらに備えるデバイスであって、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、Ｃ２６に記載のデバイス。
［Ｃ２８］ 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、Ｃ２７に記載のデバイス。
［Ｃ２９］ 前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号するための手段と、
前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号するための手段と、
出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングするための手段と、
出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングするための手段と
をさらに備える、Ｃ２６に記載のデバイス。
［Ｃ３０］ 出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定するための手段と、
出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去するための手段と
をさらに備える、Ｃ２９に記載のデバイス。
［Ｃ３１］ 実行される際、ビデオデータをコーディングするためのデバイスのプロセッサに、
各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングさせ、
各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングさせる
命令を記憶した非一時的コンピュータ可読記憶媒体。
［Ｃ３２］ 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、命令は、前記１つまたは複数のプロセッサに、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をさらにコーディングさせ、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、Ｃ３１に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３３］ 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３４］ 前記命令は、前記１つまたは複数のプロセッサに、さらに、
前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号させ、
前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号させ、
出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングさせ、
出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングさせる、
Ｃ３１に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３５］ 前記命令は、前記１つまたは複数のプロセッサに、さらに、
出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定させ、
出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去させる、
Ｃ３４に記載の非一時的コンピュータ可読記憶媒体。

Claims (35)

1. ビデオデータを復号する方法であって、
   マルチレイヤビットストリームから、各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの前記複数のレイヤを取得することと、
   前記ビットストリームの１つまたは複数のシンタックス要素に基づいて、各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を特定することと
   を備える、方法。
2. 前記シンタックス要素は第１のシンタックス要素であり、前記方法は、
   前記ビットストリームの１つまたは複数の第２のシンタックス要素に基づいて、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを特定すること、ここにおいて、前記第２のシンタックス要素は複数の第１のシンタックス要素のうちの前記１つとは異なる、
   をさらに備える、請求項１に記載の方法。
3. 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、請求項２に記載の方法。
4. 前記マルチレイヤビットストリームは、各レイヤがビデオデータのビューを備え、前記１つまたは複数のターゲット出力レイヤが１つまたは複数のターゲット出力ビューを備えるように、マルチビュービットストリームを備える、請求項１に記載の方法。
5. 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点を特定することが、奥行きデータを備える１つまたは複数のターゲット出力奥行きレイヤを特定することをさらに備えるように、１つまたは複数の奥行きレイヤを備える、請求項１に記載の方法。
6. 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点を特定することが、１つまたは複数のスケーラブルターゲット出力レイヤを特定することを備えるように、ビデオデータの複数のスケーラブルレイヤを有するビットストリームを備える、請求項１に記載の方法。
7. 前記出力動作点を特定することは、数値的に最高のｌａｙｅｒ＿ｉｄを有する前記スケーラブルターゲット出力レイヤを特定することを備える、請求項６に記載の方法。
8. 前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号することと、
   前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号することと、
   出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングすることと、
   出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングすることと
   をさらに備える、請求項１に記載の方法。
9. 出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定することと、
   出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去することと
   をさらに備える、請求項８に記載の方法。
10. 前記１つまたは複数のシンタックス要素は、前記符号化ビットストリームのビデオパラメータセット（ＶＰＳ）およびＶＰＳ拡張のうちの一方に含まれる、請求項１に記載の方法。
11. 前記１つまたは複数のシンタックス要素は、前記符号化ビットストリームの補足エンハンスメント情報（ＳＥＩ）メッセージに含まれる、請求項１に記載の方法。
12. ビデオデータを符号化するための方法であって、
    各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットを含む、ビデオデータの前記複数のレイヤを符号化することと、
    各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す１つまたは複数のシンタックス要素を符号化することと
    を備える、方法。
13. 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、
    前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素を符号化すること、ここにおいて、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、
    をさらに備える、請求項１２に記載の方法。
14. 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、請求項１３に記載の方法。
15. 前記マルチレイヤビットストリームは、各レイヤがビデオデータのビューを備え、前記１つまたは複数のターゲット出力レイヤが１つまたは複数のターゲット出力ビューを備えるように、マルチビュービットストリームを備える、請求項１２に記載の方法。
16. 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点が、奥行きデータを備える１つまたは複数のターゲット出力奥行きレイヤを備えるように、１つまたは複数の奥行きレイヤを備える、請求項１２に記載の方法。
17. 前記マルチレイヤビットストリームは、前記１つまたは複数の出力動作点が、１つまたは複数のスケーラブルターゲット出力レイヤを備えるように、ビデオデータの複数のスケーラブルレイヤを有するビットストリームを備える、請求項１２に記載の方法。
18. 前記出力動作点は、数値的に最高のｌａｙｅｒ＿ｉｄを有する前記スケーラブルターゲット出力レイヤを備える、請求項１７に記載の方法。
19. 前記１つまたは複数のシンタックス要素を符号化することは、前記符号化ビットストリームのビデオパラメータセット（ＶＰＳ）およびＶＰＳ拡張のうちの一方の中に前記１つまたは複数のシンタックス要素を含むことを備える、請求項１２に記載の方法。
20. 前記１つまたは複数のシンタックス要素を符号化することは、前記符号化ビットストリームの補足エンハンスメント情報（ＳＥＩ）メッセージの中に前記１つまたは複数のシンタックス要素を含むことを備える、請求項１２に記載の方法。
21. ビデオデータをコーディングするための装置であって、デバイスは、
    各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングし、
    各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングする
    ように構成された１つまたは複数のプロセッサを備える、装置。
22. 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、前記１つまたは複数のプロセッサは、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をコーディングするようにさらに構成され、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、請求項２１に記載の装置。
23. 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、請求項２２に記載の装置。
24. コーディングは復号を備え、前記１つまたは複数のプロセッサは、
    前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号し、
    前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号し、
    出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングし、
    出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングする
    ようにさらに構成される、請求項２１に記載の装置。
25. 前記１つまたは複数のプロセッサは、
    出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定し、
    出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去する
    ようにさらに構成される、請求項２４に記載の装置。
26. ビデオデータをコーディングするためのデバイスであって、
    各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングするための手段と、
    各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングするための手段と
    を備える、デバイス。
27. 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をコーディングするための手段をさらに備えるデバイスであって、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、請求項２６に記載のデバイス。
28. 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、請求項２７に記載のデバイス。
29. 前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号するための手段と、
    前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号するための手段と、
    出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングするための手段と、
    出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングするための手段と
    をさらに備える、請求項２６に記載のデバイス。
30. 出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定するための手段と、
    出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去するための手段と
    をさらに備える、請求項２９に記載のデバイス。
31. 実行される際、ビデオデータをコーディングするためのデバイスのプロセッサに、
    各々が複数のレイヤのビデオデータの１つまたは複数のレイヤを含む複数のレイヤセットに関連付けられた、ビデオデータの前記複数のレイヤを備えるマルチレイヤビットストリームをコーディングさせ、
    各々が前記複数のレイヤセットのうちの１つのレイヤセットと、前記複数のレイヤのうちの１つまたは複数のターゲット出力レイヤとに関連付けられる、１つまたは複数の出力動作点を示す前記ビットストリームの１つまたは複数のシンタックス要素をコーディングさせる
    命令を記憶した非一時的コンピュータ可読記憶媒体。
32. 前記１つまたは複数のシンタックス要素は、１つまたは複数の第１のシンタックス要素を備え、命令は、前記１つまたは複数のプロセッサに、前記出力動作点に関する前記１つまたは複数のターゲット出力レイヤを示す１つまたは複数の第２のシンタックス要素をさらにコーディングさせ、前記１つまたは複数の第２のシンタックス要素は、複数の第１のシンタックス要素のうちの前記１つとは異なる、請求項３１に記載の非一時的コンピュータ可読記憶媒体。
33. 前記１つまたは複数の第２のシンタックス要素は、前記１つまたは複数のターゲット出力レイヤの各々を示す１つまたは複数のシンタックス要素を備える、請求項３２に記載の非一時的コンピュータ可読記憶媒体。
34. 前記命令は、前記１つまたは複数のプロセッサに、さらに、
    前記レイヤセットに関連付けられた前記１つまたは複数の出力動作点のうちの１つの出力動作点を復号させ、
    前記１つまたは複数のターゲット出力レイヤのうちの１つではないが、前記レイヤセットに属する１つまたは複数のレイヤを含む、復号されるが出力されないレイヤの組を復号させ、
    出力に使用されるべきピクチャとして、復号ピクチャバッファ内の前記１つまたは複数のターゲット出力レイヤに含まれる第１の復号ピクチャをマーキングさせ、
    出力に使用されないピクチャが、出力に使用されるべきピクチャよりも早く前記復号ピクチャバッファから除去されるように、出力に使用されない前記ピクチャとして、前記復号ピクチャバッファ内の復号されるが出力されないレイヤの前記組に含まれる第２の復号ピクチャをマーキングさせる、
    請求項３１に記載の非一時的コンピュータ可読記憶媒体。
35. 前記命令は、前記１つまたは複数のプロセッサに、さらに、
    出力に使用されないものとしてマーキングされた前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されるかどうかを判定させ、
    出力に使用されない前記ピクチャが、インター予測およびレイヤ間予測のうちの一方のために使用されないとき、前記復号ピクチャバッファからの出力に使用されないものとしてマーキングされた前記ピクチャを除去させる、
    請求項３４に記載の非一時的コンピュータ可読記憶媒体。