JP2016528803A - イントラランダムアクセスポイントピクチャの改善されたレイヤ間整列 - Google Patents

Abstract

ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを行うように構成された１つまたは複数のプロセッサとを含む。

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年７月１５日に出願された米国仮出願第６１／８４６，５８３号の利益を主張する。

[0002]本開示は、ビデオ処理に関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報のより効率的な送信、受信、符号化、復号、および／または記憶を行い得る。

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）がビデオブロックに区分され得、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。

[0006]本開示は、マルチレイヤビデオコーディングにおけるイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャのレイヤ間整列のための要件に関する様々な考えられる改善について説明する。本開示の技法は、ビデオエンコーダ、ビデオデコーダ、メディアアウェアネットワーク要素（ＭＡＮＥ）、トランスコーディングデバイスなどの様々なタイプのビデオ処理デバイスと、他のタイプのビデオ処理デバイスとによって実施され得る。

[0007]１つの例によれば、ビデオデータを処理する方法は、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、アクセスユニットの第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを含む。

[0008]別の例によれば、ビデオデータを処理する方法は、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、第１のＮＡＬユニットのためのＮＡＬユニットタイプと第２のＮＡＬユニットのためのＮＡＬユニットタイプとに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを含む。

[0009]別の例によれば、ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、アクセスユニットの第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを行うように構成された１つまたは複数のプロセッサとを含む。

[0010]別の例によれば、ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、第１のＮＡＬユニットのためのＮＡＬユニットタイプと第２のＮＡＬユニットのためのＮＡＬユニットタイプとに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを行うように構成された１つまたは複数のプロセッサとを含む。

[0011]別の例によれば、コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理することとを行わせる命令を記憶する。

[0012]別の例によれば、ビデオデータを処理するための装置は、アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信するための手段と、第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定するための手段と、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理するための手段とを含む。

[0013]１つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。

[0014]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0016]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0017]ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 [0018]本開示の技法によるビデオデータを処理する方法の一例を示すフローチャート。 [0019]本開示の技法によるビデオデータを処理する方法の一例を示すフローチャート。

[0020]本開示は、マルチレイヤビデオコーディングにおけるイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャのレイヤ間整列のための要件に関する様々な改善について説明する。マルチレイヤビデオコーディングは、たとえば、マルチビュービデオコーディングと、スケーラブルビデオコーディングと、３次元（３Ｄ）ビデオコーディングとを含む。以下でより詳細に説明するように、本開示の技法は、あるビットストリームから別のビットストリームに移動する（たとえば、チャネルを切り替える）か、またはビットストリーム中のあるポイントからビットストリーム中の別のポイントにジャンプするときのビューアのビューイングエクスペリエンスを改善し得る。

[0021]本開示は、ビデオデータを処理することに言及する。ビデオデータを処理することは、ビデオデータを符号化することおよび復号することを指し得るが、処理することは、必ずしも完全な符号化または復号プロセスを含むとは限らない、ビデオデータに対して実行される他の動作も指し得る。いくつかの例では、処理することは、ビットストリームからサブビットストリームを形成するためにビデオデータをパースすることを備え得るか、またはビデオデータを宛先デバイスにルーティングする目的でビデオデータをパースすることを含み得る。処理は、ビデオエンコーダ、ビデオデコーダ、トランスコーディングデバイス、メディアアウェアネットワーク要素（ＭＡＮＥ）またはビデオ処理のために使用される別のデバイスによって実行され得る
[0022]レイヤ間ＩＲＡＰピクチャ整列のための既存の方法は、いくつかの考えられる欠点を有する。１つの例として、既存の方法は一般に、ランダムアクセススキップリーディング（ＲＡＳＬ：random access skipped leading）ピクチャとランダムアクセス復号可能リーディング（ＲＡＤＬ：random access decodable leading）ピクチャの両方を含んでいる１つのアクセスユニットを有することが可能である場合、うまく動作しない。しかしながら、いくつかはウィズ関連するＲＡＳＬピクチャを有し、いくつかは関連するＲＡＳＬピクチャを有しないが関連するＲＡＤＬピクチャを有する、いくつかのブロークンリンクアクセス（ＢＬＡ）ピクチャの混合が望ましい場合がある状況がある。

[0023]別の例として、リーディングピクチャと非リーディングピクチャの両方を含んでいるアクセスユニットを認めることが望ましくない場合がある。したがって、２つの異なるタイプの瞬時復号リフレッシュ（ＩＤＲ）ピクチャの混合は許容されるべきではない。別の例として、場合によっては、クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャとＢＬＡピクチャの混合を可能にすることが有益である場合がある。

[0024]１つまたは複数の例では、本開示はＨＥＶＣ ＷＤ１０で定義された用語および専門用語の多くを使用する。ＨＥＶＣ ＷＤ１０によれば、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットは次のように定義されている。
ネットワークアブストラクションレイヤ（ＮＡＬ）ユニット：後続のデータのタイプの指示と、必要に応じてエミュレーション防止バイトが点在しているＲＢＳＰ［ローバイトシーケンスペイロード（raw byte sequence payload）］の形態でそのデータを含んでいるバイトとを含んでいるシンタックス構造。

[0025]ＨＥＶＣ ＷＤ１０によれば、アクセスユニットは次のように定義されている。
アクセスユニット：指定された分類規則に従って互いに関連付けられ、復号順序で連続しており、ちょうど１つのコード化ピクチャを含んでいる、ＮＡＬユニットのセット。

注１−コード化ピクチャのＶＣＬ ＮＡＬユニットを含んでいることに加えて、アクセスユニットは非ＶＣＬ ＮＡＬユニットも含んでいる場合がある。アクセスユニットの復号は常に、復号ピクチャをもたらす。

[0026]マルチレイヤビデオコーディングでは、アクセスユニットの定義は、すべてのビデオピクチャと、場合によっては、同じ時間インスタンスに対応する３Ｄビデオコーディングのための深度マップとを含むように拡張され得る。

[0027]ＨＥＶＣ ＷＤ１０によれば、ＩＲＡＰピクチャは次のように定義されている。
イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ：各ＶＣＬ ＮＡＬユニットが両端値を含む１６から２３の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するコード化ピクチャ。

注７−ＩＲＡＰピクチャはＩスライスのみを含んでおり、ＢＬＡピクチャ、ＣＲＡピクチャまたはＩＤＲピクチャであり得る。復号順序におけるビットストリーム中の第１のピクチャは、ＩＲＡＰピクチャでなければならない。必要なパラメータセットが、アクティブ化されることが必要なときに利用可能であるという条件で、復号順序におけるＩＲＡＰピクチャおよびすべての後続の非ＲＡＳＬピクチャは、復号順序においてＩＲＡＰピクチャに先行するいかなるピクチャの復号プロセスも実行することなしに、正確に復号され得る。ＩＲＡＰピクチャではないＩスライスのみを含んでいるピクチャがビットストリーム中にあり得る。

[0028]ＨＥＶＣ ＷＤ １０によれば、ＲＡＳＬピクチャは次のように定義されている。
ランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャ：各ＶＣＬ ＮＡＬユニットがＲＡＳＬ＿ＲまたはＲＡＳＬ＿Ｎに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するコード化ピクチャ。

注１５−すべてのＲＡＳＬピクチャは、関連するＢＬＡまたはＣＲＡピクチャのリーディングピクチャである。関連するＩＲＡＰピクチャが１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するとき、ＲＡＳＬピクチャはビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、ＲＡＳＬピクチャは出力されず、正しく復号可能でないことがある。ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号プロセスのための参照ピクチャとして使用されない。存在するとき、すべてのＲＡＳＬピクチャは、復号順序において、同じ関連するＩＲＡＰピクチャのすべての末尾ピクチャに先行する。

[0029]ＨＥＶＣ ＷＤ １０によれば、ＲＡＤＬピクチャは次のように定義されている。
ランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャ：各ＶＣＬ ＮＡＬユニットがＲＡＤＬ＿ＲまたはＲＡＤＬ＿Ｎに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するコード化ピクチャ。

注１４−すべてのＲＡＤＬピクチャは、リーディングピクチャである。ＲＡＤＬピクチャは、同じ関連するＩＲＡＰピクチャの末尾ピクチャの復号プロセスのための参照ピクチャとして使用されない。存在するとき、すべてのＲＡＤＬピクチャは、復号順序において、同じ関連するＩＲＡＰピクチャのすべての末尾ピクチャに先行する。

[0030]ＨＥＶＣ ＷＤ１０によれば、ＩＤＲピクチャは次のように定義されている。
瞬時復号リフレッシュ（ＩＤＲ）ピクチャ：各ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＲＡＰピクチャ。

注６−ＩＤＲピクチャはＩスライスのみを含んでおり、復号順序においてビットストリーム中の第１のピクチャであり得るか、またはビットストリーム中の後で現れ得る。各ＩＤＲピクチャは、復号順序においてＣＶＳの第１のピクチャである。各ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャのとき、ＩＤＲピクチャは関連するＲＡＤＬピクチャを有し得る。各ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャのとき、ＩＤＲピクチャはいかなる関連するリーディングピクチャも有しない。ＩＤＲピクチャは、関連するＲＡＳＬピクチャを有しない。

[0031]ＨＥＶＣ ＷＤ１０によれば、ＣＲＡピクチャは次のように定義されている。
クリーンランダムアクセス（ＣＲＡ）ピクチャ：各ＶＣＬ ＮＡＬユニットがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＲＡＰピクチャ。

注４−ＣＲＡピクチャはＩスライスのみを含んでおり、復号順序においてビットストリーム中の第１のピクチャであり得るか、またはビットストリーム中の後で現れ得る。ＣＲＡピクチャは、関連するＲＡＤＬまたはＲＡＳＬピクチャを有し得る。ＣＲＡピクチャが１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するとき、ビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、関連するＲＡＳＬピクチャはデコーダによって出力されず、これは、これらのピクチャが復号可能でないことがあるからである。

[0032]ＨＥＶＣ ＷＤ １０によれば、ＢＬＡピクチャは次のように定義されている。
ブロークンリンクアクセス（ＢＬＡ）ピクチャ：各ＶＣＬ ＮＡＬユニットがＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＲＡＰピクチャ。

注２−ＢＬＡピクチャはＩスライスのみを含んでおり、復号順序においてビットストリーム中の第１のピクチャであり得るか、またはビットストリーム中の後で現れ得る。各ＢＬＡピクチャは、新しいＣＶＳを開始し、復号プロセスに対してＩＤＲピクチャと同じ効果を有する。ただし、ＢＬＡピクチャは、空でない参照ピクチャセットを指定するシンタックス要素を含んでいる。各ＶＣＬ ＮＡＬユニットがＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャのとき、ＲＡＳＬピクチャはビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、ＢＬＡピクチャは、デコーダによって出力されず、復号可能でないことがある関連するＲＡＳＬピクチャを有し得る。各ＶＣＬ ＮＡＬユニットがＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャのとき、ＢＬＡピクチャも復号されるように指定される関連するＲＡＤＬピクチャを有し得る。各ＶＣＬ ＮＡＬユニットがＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャのとき、ＢＬＡピクチャは関連するＲＡＳＬピクチャを有しないが、復号されるように指定される関連するＲＡＤＬピクチャを有し得る。各ＶＣＬ ＮＡＬユニットがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャのとき、ＢＬＡピクチャはいかなる関連するリーディングピクチャも有しない。

[0033]ＨＥＶＣ ＷＤ１０によれば、シンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は、以下に転載された表７−１に指定されるように、ＮＡＬユニットに含まれているローバイトシーケンスペイロード（ＲＢＳＰ）データ構造のタイプを指定する。

注３−ＣＲＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャまたはＲＡＤＬピクチャを有し得る。

注４−ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャまたはＲＡＤＬピクチャを有し得る。ＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャを有しないが、ビットストリーム中に関連するＲＡＤＬピクチャを有し得る。ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。

注５−ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。ＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャを有しないが、ビットストリーム中に関連するＲＡＤＬピクチャを有し得る。

[0034]上記の表７−１を参照すると、ＮＡＬユニットタイプＩＤＲ＿Ｗ＿ＲＡＤＬを有するＮＡＬユニットは、関連するＲＡＤＬピクチャを有するＩＤＲピクチャのための１つまたは複数のスライスセグメントを含む。ＮＡＬユニットタイプＩＤＲ＿Ｎ＿ＬＰを有するＮＡＬユニットは、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャのための１つまたは複数のスライスセグメントを含む。ＮＡＬユニットタイプＢＬＡ＿Ｎ＿ＬＰを有するＮＡＬユニットは、関連するリーディングピクチャを有しないＢＬＡピクチャのための１つまたは複数のスライスセグメントを含む。ＮＡＬユニットタイプＢＬＡ＿Ｗ＿ＬＰを有するＮＡＬユニットは、関連するリーディングピクチャを有するＢＬＡピクチャのための１つまたは複数のスライスセグメントを含む。ＮＡＬユニットタイプＩＤＲ＿Ｗ＿ＲＡＤＬを有するＮＡＬユニットは、関連するＲＡＤＬピクチャを有しないＩＤＲピクチャのための１つまたは複数のスライスセグメントを含む。ＮＡＬユニットタイプＣＲＡ＿ＮＵＴを有するＮＡＬユニットは、ＣＲＡピクチャの各ＶＣＬ ＮＡＬユニットがＣＲＡピクチャのコード化スライスセグメントを備えるＣＲＡピクチャのための１つまたは複数のスライスセグメントを含む。

[0035]本開示は、上記で説明した欠点のうちの１つまたは複数に潜在的に対処する。特に、１つまたは複数の例では、本開示の技法は、レイヤ間ＩＲＡＰピクチャ整列に以下の制限のうちの１つまたは複数を課すことがある。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

注：アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴ、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しなければならない。

[0036]代替的に、他の例では、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、前の段落における上記の項目３および４は次のように変更され得る。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0037]代替的に、さらに他の例では、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、前の段落における上記の項目３および４は次のように変更され得る。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。

[0038]ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ３によれば、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは次のように定義されている。
０に等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを有するレイヤがインデックスｉを有するレイヤのための直接参照レイヤではないことを指定する。１に等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを有するレイヤがインデックスｉを有するレイヤのための直接参照レイヤであり得ることを指定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、ｉおよびｊについて０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内に存在しないとき、０に等しいと推論される。

[0039]代替的に、レイヤ間ＩＲＡＰピクチャ整列に対する以下の制限が実施され得る。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0040]ＨＥＶＣ ＷＤ １０によれば、ＣＲＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬまたはＲＡＤＬピクチャを有し得る。ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬまたはＲＡＤＬピクチャを有し得る。ＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャを有しないが、ビットストリーム中に関連するＲＡＤＬピクチャを有し得る。ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。ＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム中に存在する関連するＲＡＳＬピクチャを有しないが、ビットストリーム中に関連するＲＡＤＬピクチャを有し得る。

[0041]ＨＥＶＣ ＷＤ １０によれば、レイヤ、レイヤ識別子リスト、およびレイヤセットは次のように定義されている。
レイヤ：すべてが特定の値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとのセット、または階層的関係を有する構文的構造のセットの１つ。

注８−コンテキストに応じて、第１のレイヤ概念または第２のレイヤ概念のいずれかが適用される。第１のレイヤ概念はスケーラブルレイヤとも呼ばれ、ここにおいて、レイヤは空間スケーラブルレイヤ、品質スケーラブルレイヤ、ビューなどであり得る。スケーラブルレイヤの時間的な真のサブセット、すなわちサブレイヤは、レイヤと呼ばれない。第２のレイヤ概念はコーディングレイヤとも呼ばれ、ここにおいて、上位レイヤは下位レイヤを含んでおり、コーディングレイヤはＣＶＳ、ピクチャ、スライス、スライスセグメント、およびコーディングツリーユニットレイヤである。
レイヤ識別子リスト：レイヤセットまたは動作点に関連付けられ、サブビットストリーム抽出プロセスへの入力として使用され得るｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリスト。
レイヤセット：別のビットストリームと、６に等しい最も高いターゲットＴｅｍｐｏｒａｌＩｄと、入力としてレイヤセットに関連付けられたレイヤ識別子リストに等しいターゲットレイヤ識別子リストとを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作成された、ビットストリーム内で表されるレイヤのセット。

[0042]ＨＥＶＣ規格の将来のスケーラブルまたは３Ｄビデオコーディング拡張では、シンタックス要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、コード化ビデオシーケンス（ＣＶＳ）中に存在し得る追加のレイヤを識別するために使用され得ることが予想される。レイヤは、たとえば、空間スケーラブルレイヤ、品質スケーラブルレイヤ、テクスチャビュー、深度ビュー、または何らかの他のタイプのレイヤであり得る。

[0043]以下でより詳細に説明するように、上記で紹介したレイヤ間ＩＲＡＰピクチャ整列に対する制限は、ビデオデータを符号化するときにビデオエンコーダによって実施され得る。これらの制限は、ビデオデコーダまたはＭＡＮＥなどの他のビデオ処理デバイスに知られている場合、後続のＮＡＬユニットについての特定の情報を推論し、推論された情報に基づいて処理決定を行うために、ビデオデコーダまたはＭＡＮＥによって使用され得る。たとえば、推論された情報に基づいて、ビデオデコーダまたはＭＡＮＥは、特定のＮＡＬユニットが到着する前にそれらのＮＡＬユニットについての処理決定を行うことが可能であり得、このことは復号およびルーティングの性能を改善し得る。加えて、特定の情報を推論することができることは、そのような情報をシグナリングするために必要とされるビットを潜在的に低減または除去し得る。

[0044]図１は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。

[0045]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る、任意の他の機器を含み得る。

[0046]代替的に、符号化データは、出力インターフェース２２からストレージデバイス１７に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス１７からアクセスされ得る。ストレージデバイス１７は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス１７は、ソースデバイス１２によって生成された符号化ビデオを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス１７から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバとすることができる。例示的なファイルサーバとしては、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適した、それらの両方の組合せを含み得る。ストレージデバイス１７からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0047]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティングおよび／またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ伝送をサポートするように構成され得る。

[0048]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。

[0049]キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス１７上に記憶され得る。

[0050]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス１７上に提供された符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ３０などのビデオデコーダが使用するための、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶される符号化ビデオデータとともに含まれ得、またはファイルサーバを記憶した。

[0051]ディスプレイデバイス３２は、宛先デバイス１４と一体であってよく、またはその外部にあり得る。いくつかの例では、宛先デバイス１４は、集積ディスプレイデバイスを含むことができ、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0052]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に準拠することができる。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格、アドバンストビデオコーディング（ＡＶＣ）、またはそのような規格の拡張などの、他の独自の規格または業界規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

[0053]ビデオエンコーダ２０およびビデオデコーダ３０によって使用され得るビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。

[0054]最近、新しいビデオコーディング規格、すなわち高効率ビデオコーディング（ＨＥＶＣ）の設計が、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって確定された。「ＨＥＶＣワーキングドラフト１０」または「ＷＤ１０」と呼ばれるＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｌ１００３ｖ３４、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４〜２３日に記載されており、この文書は、２０１４年７月１１日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐからダウンロード可能である。

[0055]ＨＥＶＣ規格のさらに別のドラフトは、本明細書で「ＷＤ１０改訂」と呼ばれ、Ｂｒｏｓｓら、「Ｅｄｉｔｏｒｓ’ ｐｒｏｐｏｓｅｄ ｃｏｒｒｅｃｔｉｏｎｓ ｔｏ ＨＥＶＣ ｖｅｒｓｉｏｎ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１３回会合、仁川、韓国、２０１３年４月に記載されており、この文書は、２０１４年７月１１日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ０４３２−ｖ３．ｚｉｐから入手可能である。これら両方の内容全体は参照により組み込まれる。

[0056]その内容全体が参照により組み込まれる、ＨＥＶＣのマルチビュー拡張、すなわち、ＭＶ−ＨＥＶＣも、ＪＣＴ−３Ｖによって開発されている。以下で、ＭＶ−ＨＥＶＣ ＷＤ４の最近のワーキングドラフト（ＷＤ）はｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／４＿Ｉｎｃｈｅｏｎ／ｗｇ １１／ＪＣＴ３Ｖ−Ｄ１００４−ｖ４．ｚｉｐから入手可能である。その内容全体が参照により組み込まれる、ＳＨＶＣという名前のＨＥＶＣのスケーラブル拡張も、ＪＣＴ−ＶＣによって開発されている。以下でＳＨＶＣ ＷＤ２と呼ばれる、ＳＨＶＣの最近のワーキングドラフト（ＷＤ）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ１００８−ｖ３．ｚｉｐから入手可能である。その内容全体が参照により組み込まれる、ＪＣＴ３Ｖ−Ｍ０２６６（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ０２６６−ｖ２．ｚｉｐ）は、ＩＲＡＰピクチャのレイヤ間整列に関する議論といくつかの提案される制約とを含む。

[0057]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0058]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装される場合、デバイスは、ソフトウェアのための命令を、適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するための１つまたは複数のプロセッサを使用して、ハードウェアで命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれかは、組み合わされたエンコーダ／デコーダ（コーデック）の一部として、それぞれのデバイスに統合され得る。

[0059]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対して、ビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は、９つのイントラ予測符号化モードを提供するが、ＨＭは、３３ものイントラ予測符号化モードを提供し得る。

[0060]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディングユニット（ＬＣＵ）のシーケンスに分割され得ることを記述する。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従って、コーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割される場合があり、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割される場合がある。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられたシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。

[0061]ＣＵは、コーディングノードと、コーディングノードに関連付けられた予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連付けられたシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連付けられたシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が正方形または非正方形であり得る。

[0062]ＨＥＶＣ規格は、異なるＣＵに対して異なり得る、ＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか、またはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連付けられたピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。

[0063]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平の構成要素、動きベクトルの垂直の構成要素、動きベクトルのための解像度（たとえば、４分の１ピクセルの精度または８分の１ピクセルの精度）、動きベクトルが指す先の参照ピクチャ、および／または動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。

[0064]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）を含む場合もある。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指す「ビデオブロック」という用語をも使用し得る。

[0065]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、規定のコーディング規格に応じてサイズが異なり得る。

[0066]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部で２Ｎ×０．５ＮのＰＵ、および下部で２Ｎ×１．５ＮのＰＵに水平に区分される２Ｎ×２ＮのＣＵを指す。

[0067]本開示では、「Ｎ×Ｎ」および「Ｎ ｂｙ Ｎ」は、垂直および水平の寸法の観点からビデオブロックのピクセル寸法を参照するために、たとえば、１６×１６ピクセルまたは１６ｂｙ１６ピクセルのように、互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、および水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセル、および水平方向にＮピクセルを有し、ここでＮは、非負の整数値を表す。ブロックのピクセルは、行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備えてよく、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0068]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備え得、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵに対する残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。

[0069]変換係数を生成するための任意の変換の後で、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビット値をｍビット値に切り捨てることができ、ここで、ｎはｍよりも大きい。

[0070]いくつかの例では、ビデオエンコーダ２０は、量子化変換係数を走査して、エントロピー符号化され得る直列化されたベクトルを生成するために、所定の走査順序を利用することができる。他の例では、ビデオエンコーダ２０は、適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。

[0071]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０ではないかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに対する可変長符号を選択し得る。ＶＬＣの中の符号語は、比較的短い符号が優勢シンボルに対応し、より長い符号が劣勢シンボルに対応するように、構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長符号語を使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0072]本開示の１つの技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプを有するために、同じアクセスユニット中の他のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。

[0073]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、関連するＲＡＤＬピクチャを有するＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）の存在を示すＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスズが、関連するＲＡＤＬピクチャを有するＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）の存在を示すＮＡＬユニットタイプを有するために、同じアクセスユニット中の他のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。

[0074]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、関連するリーディングピクチャを有しないＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、関連するリーディングピクチャを有しないＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｎ＿ＬＰ）およびＣＲＡピクチャの各ＶＣＬ ＮＡＬユニットがＣＲＡピクチャのコード化スライスセグメントを備えるＣＲＡピクチャ（たとえば、ＣＲＡ＿ＮＵＴ）のうちの１つの存在を示すためのＮＡＬユニットタイプを有するために、同じアクセスユニット中のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理し得るように、ビデオデータを処理し得る。デバイスはまた、同じアクセスユニット中の追加のＮＡＬユニットがＮＡＬユニットのレイヤＩＤ値未満のレイヤＩＤ値を有する制限を実施するように構成され得る。デバイスはまた、ＮＡＬユニットがレイヤ識別（ＩＤ）値を有し、同じアクセスユニット中の追加のＮＡＬユニットがＮＡＬユニットのレイヤＩＤ値未満のレイヤＩＤ値を有し、直接依存フラグが、ＮＡＬユニットのレイヤが追加のＮＡＬユニットのレイヤのための直接参照レイヤとして働くことが可能であることを示す値に等しく設定される制限ザットを実施するように構成され得る。

[0075]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、復号可能リーディングピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＬＰ）および関連するＲＡＤＬピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＲＡＤＬ）のうちの１つの存在を示すＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、復号可能リーディングピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＬＰ）、関連するＲＡＤＬピクチャを有するＢＬＡピクチャ、ＣＲＡピクチャの各ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットがＣＲＡピクチャのコード化スライスセグメントを備えるＣＲＡピクチャ（たとえば、ＣＲＡ＿ＮＵＴ）のうちの１つの存在を示すＮＡＬユニットタイプを有するために、アクセスユニット中のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。デバイスはまた、ＮＡＬユニットがレイヤ識別（ＩＤ）値を有し、ここにおいて、同じアクセスユニット中の追加のＮＡＬユニットがＮＡＬユニットのレイヤＩＤ値未満のレイヤＩＤ値を有する制限を実施するように構成され得る。デバイスはまた、ＮＡＬユニットがレイヤ識別（ＩＤ）値を有し、ここにおいて、同じアクセスユニット中の追加のＮＡＬユニットがＮＡＬユニットのレイヤＩＤ値未満のレイヤＩＤ値を有し、直接依存フラグが、ＮＡＬユニットのレイヤが追加のＮＡＬユニットのレイヤのための直接参照レイヤとして働くことが可能であることを示す値に等しく設定される制限を実施するように構成され得る。

[0076]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、復号可能リーディングピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＬＰ）、関連するＲＡＤＬピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＲＡＤＬ）、および関連するリーディングピクチャを有しないＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｎ＿ＬＰ）のうちの１つに等しいＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、復号可能リーディングピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＬＰ）、関連するＲＡＤＬピクチャを有するＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｗ＿ＲＡＤＬ）、および関連するリーディングピクチャを有しないＢＬＡピクチャ（たとえば、ＢＬＡ＿Ｎ＿ＬＰ）のうちの１つに等しいＮＡＬユニットタイプの存在を示すＮＡＬユニットタイプを有するために、アクセスユニット中のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。

[0077]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、関連するＲＡＤＬピクチャを有するＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）および関連する復号可能リーディングピクチャを有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）のうちの１つの存在を示すためのＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、関連するＲＡＤＬピクチャを有するＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）および関連する復号可能リーディングピクチャを有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）のうちの１つの存在を示すためのの存在を示すＮＡＬユニットタイプを有するために、アクセスユニット中のＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。

[0078]本開示の別の技法によれば、デバイス（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、またはネットワークデバイス）は、ＣＲＡピクチャの各ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットがＣＲＡピクチャのコード化スライスセグメントを備えるＣＲＡピクチャ（たとえば、ＣＲＡ＿ＮＵＴ）の存在を示すＮＡＬユニットタイプを有するアクセスユニット中のＩＲＡＰピクチャを備えるＮＡＬユニットに応答して、デバイスが、ＣＲＡピクチャの各ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットがＣＲＡピクチャのコード化スライスセグメントを備えるＣＲＡピクチャ（たとえば、ＣＲＡ＿ＮＵＴ）の存在を示すＮＡＬユニットタイプの存在を示すＮＡＬユニットタイプを有するために、アクセスユニット中にＩＲＡＰピクチャを備える追加のＮＡＬユニットを処理するように、ビデオデータを処理し得る。

[0079]上記の例では、追加のＮＡＬユニットに対して行われる処理のタイプは、その処理を行うデバイスのタイプに依存し得る。たとえば、ビデオエンコーダ２０は、本開示で説明する様々な制限のうちの１つまたは複数を実施することによって、追加のＮＡＬユニットを処理し得る。一例として、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ビデオエンコーダ２０は、上記で説明したように、後続のＮＡＬユニットのためのＮＡＬユニットタイプを設定し得る。ビデオデコーダ３０は、特定のＮＡＬユニットについての特定の情報を推論するために上記の制限を利用し得る。１つの例として、第１のＮＡＬユニットがある特定のタイプであることをビデオデコーダ３０が知っている場合、後続のＮＡＬユニットがある特定のタイプであるか、またはある特定のグループに制限されると推論することが可能であり得、その情報に基づいて、メモリをより良く割り振り、復号ピクチャバッファをより良く管理し、後続のＮＡＬユニットをより効率的に処理し、計算効率を得ることなどが可能であり得る。別の例として、ＭＡＮＥがある特定のタイプのＮＡＬユニット（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）を受信した場合、ＭＡＮＥは（アクセスユニット中のすべてのＮＡＬユニットを受信する前に）復号順序におけるすべての先のアクセスユニットが出力順序においても先であることを推論し得る。この情報に基づいて、ＭＡＮＥは、アクセスユニットから開始するストリームを送ることによって、アクセス要求により迅速に応答することが可能であり得る。

[0080]本開示の別の技法によれば、ビデオエンコーダ２０は、アクセスユニットの第１のピクチャを備える第１のＮＡＬユニットを処理し得、第１のＮＡＬユニットがＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを含んでいるアクセスユニットの第２のＮＡＬユニットについて、第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプに設定すること。次いで、ビデオエンコーダ２０は、第１のＮＡＬユニットと第２のＮＡＬユニットとを送信することができる。加えて、第１のＮＡＬユニットがＩＲＡＰピクチャを含んでいると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備えるアクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、ビデオエンコーダ２０は、ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプに設定し得る。

[0081]本開示の別の技法によれば、ビデオデコーダ３０は、アクセスユニットの第１のピクチャを備える第１のＮＡＬユニットを受信し得、第１のＮＡＬユニットがＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、ビデオデコーダ３０は、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャ（たとえば、ＩＤＲ＿Ｎ＿ＬＰ）の存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定し得る。ビデオデコーダ３０は、決定されたＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを復号し得る。

[0082]図２は、本開示で説明する技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオを後処理エンティティ２７に出力するように構成され得る。後処理エンティティ２７は、ＭＡＮＥまたはスプライシング／編集デバイスなどの、ビデオエンコーダ２０からの符号化ビデオデータを処理し得るビデオエンティティの一例を表すように意図されている。場合によっては、後処理エンティティはネットワークエンティティの一例であってもよい。一部のビデオ符号化システムにおいて、後処理エンティティ２７およびビデオエンコーダ２０は別個のデバイスの部分であってもよく、他の事例では、後処理エンティティ２７に関連して説明される機能は、ビデオエンコーダ２０を備える同じデバイスによって実行されてもよい。

[0083]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレーム内またはピクチャ内のビデオの時間的冗長性を低減または除去するために、時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。

[0084]図２の例では、ビデオエンコーダ２０は、ビデオデータメモリ３３と、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、復号ピクチャバッファ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すように意図されている。図２では、フィルタユニット６３はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。

[0085]ビデオデータメモリ３３は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ３３に記憶されたビデオデータは、たとえば、ビデオソース１８から取得され得る。復号ピクチャバッファ６４は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ２０によってビデオデータを符号化する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ３３および復号ピクチャバッファ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ３３および復号ピクチャバッファ６４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ３３は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0086]図２に示すように、ビデオエンコーダ２０はビデオデータメモリ３３においてビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。この区分はまた、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分も含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示している。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、現在ビデオブロックに関して、エラー結果（たとえば、コーディングレートおよび歪みレベル）に基づいて、複数のイントラコーディングモードのうちの１つまたは複数のインターコーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。

[0087]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対する現在ビデオブロックのインター予測コーディングを実行する。

[0088]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライス、ＢスライスまたはＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。

[0089]予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、復号ピクチャバッファ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの、４分の１ピクセル位置、８分の１ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、完全なピクセル位置および分数のピクセル位置に対して動き探索を実行し、動きベクトルを分数のピクセル精度で出力し得る。

[0090]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵに対する動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、復号ピクチャバッファ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0091]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。

[0092]イントラ予測処理ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、使用するために適切なイントラ予測モードを、テストされたモードから選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードに対して、レート歪み分析を使用してレート歪みの値を計算し、テストされたモードの中から最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された、元の符号化されていないブロックとの間のある量の歪み（すなわち、エラー）、ならびに、符号化ブロックを生成するために使用されるビットレート（すなわち、いくつかのビット）を決定する。イントラ予測処理ユニット４６は、様々な符号化ブロックに対する歪みおよびレートから比を計算し、どのイントラ予測モードがブロックに対して最良のレート歪みの値を示すかを決定し得る。

[0093]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信されるビットストリームの中に構成データを含み得、構成データは、コンテキストの各々のために使用する、複数のイントラ予測モードのインデックステーブルおよび複数の修正されたイントラ予測モードのインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックに対する符号化コンテキストの定義、ならびに、最も起こりそうなイントラ予測モードの表示、イントラ予測モードのインデックステーブル、および修正されたイントラ予測モードのインデックステーブルを含み得る。

[0094]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。

[0095]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が、走査を実行し得る。

[0096]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法もしくは技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、またはビデオデコーダ３０が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。

[0097]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット４４は、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、復号ピクチャバッファ６４に記憶するための参照ブロックを生成するために、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

[0098]このようにして、図２のビデオエンコーダ２０は、レイヤ間ＩＲＡＰピクチャ整列に対する以下の制限の一部または全部に準拠するビデオデータの符号化ビットストリームを生成するように構成されたビデオエンコーダの一例を表す。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
注：アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴ、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しなければならない。

[0099]代替的に、ビデオエンコーダ２０は、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、符号化ビットストリームを生成するように構成され得る。したがって、上記の項目３および４は変更され得るツー。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0100]代替的に、ビデオエンコーダ２０は、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、符号化ビットストリームを生成するように構成され得る。したがって、上記の項目３および４は変更され得るツー。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。

[0101]代替的に、ビデオエンコーダ２０は、レイヤ間ＩＲＡＰピクチャ整列に対する以下の制限を実施する符号化ビデオデータのビットストリームを生成するように構成され得る。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0102]図３は、本開示で説明する技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図３の例では、ビデオデコーダ３０は、ビデオデータメモリ７８と、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、復号ピクチャバッファ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図２からのビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。

[0103]ビデオデータメモリ７８は、ビデオエンコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７８に記憶されたビデオデータは、たとえば、コンピュータ可読媒体１６から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレスネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７８は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ）を形成し得る。復号ピクチャバッファ９２は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ３０によってビデオデータを復号する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７８および復号ピクチャバッファ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ７８および復号ピクチャバッファ９２は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ７８は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0104]復号プロセス中に、ビデオデコーダ３０は、ビデオデータメモリ７８中に、符号化ビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化ビデオビットストリームを、ビデオエンコーダ２０から受信する。ビデオデコーダ３０は、ネットワークエンティティ２９から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ２９は、たとえば、上記で説明した技法のうちの１つまたは複数を実装するように構成されたサーバ、ＭＡＮＥ、ビデオエディタ／スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ２９はビデオエンコーダ２０などのビデオエンコーダを含んでもよく、または含まなくてもよい。本開示で説明する技法のうちのいくつかは、ネットワークエンティティ２９が符号化ビデオビットストリームをビデオデコーダ３０に送信するのに先立って、ネットワークエンティティ２９によって実施され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ２９およびビデオデコーダ３０は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ２９に関して説明した機能は、ビデオデコーダ３０を備える同じデバイスによって実行され得る。

[0105]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0106]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされたとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、復号ピクチャバッファ９２に記憶された参照ピクチャに基づくデフォルトの構成技法を使用して参照フレームリストのリスト０およびリスト１を構成し得る。

[0107]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[0108]動き補償ユニット８２はまた、補間フィルタに基づいて、補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。このケースでは、動き補償ユニット８２は、受信したシンタックス要素からビデオエンコーダ２０で使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。

[0109]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0110]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ループフィルタ（コーディングループの中とコーディングループの後のいずれかの）も、ピクセル移行を平滑化し、または別様にビデオ品質を向上させるために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すように意図されている。図３では、フィルタユニット９１はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ９２に記憶される。復号ピクチャバッファ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表示のための、復号ビデオを記憶する。

[0111]このようにして、図３のビデオデコーダ３０は、レイヤ間ＩＲＡＰピクチャ整列に対する以下の制限の一部または全部に準拠するビデオデータの符号化ビットストリームを復号するように構成されたビデオデコーダの一例を表す。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
注：アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴ、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しなければならない。

[0112]代替的に、ビデオデコーダ３０は、ビットストリーム中で、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、ビデオビットストリームを復号するように構成され得る。したがって、上記の項目３および４は次のように変更され得る。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄ未満のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0113]代替的に、ビデオデコーダは、下位レイヤにＢＬＡ＿Ｎ＿ＬＰを有し、上位レイヤにＣＲＡ＿ＮＵＴを有することが許可されないように、ビデオビットストリームを復号するように構成され得る。したがって、項目３および４は次のように変更され得る。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｎ＿ＬＰまたはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。
４）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰまたはＢＬＡ＿Ｗ＿ＲＡＤＬに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｌａｙｅｒＩｄＡに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、ｌａｙｅｒＩｄＢに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとし、ただし、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡ未満であり、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＡ］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｌａｙｅｒＩｄＢ］］は１に等しい。

[0114]代替的に、ビデオデコーダ３０は、レイヤ間ＩＲＡＰピクチャ整列に対する以下の制限を含むビデオビットストリームを復号するように構成され得る。
１）アクセスユニット中の１つのＩＲＡＰピクチャがＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＲＡＤＬ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
２）アクセスユニット中の１つのＩＲＡＰピクチャがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
３）アクセスユニット中の１つのＩＲＡＰピクチャがＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するとき、同じアクセスユニット中の任意の他のＩＲＡＰピクチャはＣＲＡ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

[0115]図４は、ネットワーク１００の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１００は、ルーティングデバイス１０４Ａ、１０４Ｂ（ルーティングデバイス１０４）とトランスコーディングデバイス１０６とを含む。ルーティングデバイス１０４およびトランスコーディングデバイス１０６は、ネットワーク１００の一部を形成し得る少数のデバイスを表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク１００内に含まれ得る。その上、サーバデバイス１０２とクライアントデバイス１０８との間にネットワーク経路に沿って追加のネットワークデバイスが提供され得る。いくつかの例では、サーバデバイス１０２はソースデバイス１２（図１）に対応し得る一方、クライアントデバイス１０８は宛先デバイス１４（図１）に対応し得る。図４のデバイスは、本開示で説明する、ビデオエンコーダ２０によって生成されたビデオデータなどのビデオデータを処理するように構成されたデバイスの例を表す。

[0116]概して、ルーティングデバイス１０４は、ネットワーク１００を介してネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス１０４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス１０４はプロキシデバイスと呼ばれ得る。概して、ルーティングデバイス１０４は、ネットワーク１００を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１０４Ｂは、それ自体からルーティングデバイス１０４Ａを介してサーバデバイス１０２へ至るネットワークルートを発見することができる。

[0117]本開示の技法は、ルーティングデバイス１０４およびトランスコーディングデバイス１０６などのネットワークデバイスによって実装され得るが、クライアントデバイス１０８によっても実装され得る。このように、ルーティングデバイス１０４、トランスコーディングデバイス１０６、およびクライアントデバイス１０８は、本開示の技法を実行するように構成されたデバイスの例を表す。その上、図１のデバイス、ならびに図２に示すビデオエンコーダ２０および図３に示すビデオデコーダ３０も、本開示の技法を実行するように構成され得る例示的なデバイスである。

[0118]たとえば、サーバデバイス１０２は、時間レイヤ切替えポイントなどの、ランダムアクセスポイントもしくはストリーム適応ポイント、または他のストリーム適応ポイントの後にくる１つまたは複数のピクチャを符号化するためのビデオエンコーダを含み得る。たとえば、このポイントは、ビットレート、フレームレート（すなわち、時間的レイヤ切替えポイント）、または空間解像度の適応のための切替えポイントであり得る 同様に、クライアントデバイス１０８は、時間レイヤ切替えポイントなどの、ランダムアクセスポイントまたはストリーム適応ポイントの後にくる１つまたは複数のピクチャを復号し得る。

[0119]図５は、本開示の技法によるビデオデータを処理する（たとえば、復号するまたはルーティングする）方法の一例を示すフローチャートである。図５の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、たとえば、ビデオデコーダ３０、ネットワークエンティティ２９、ルーティングデバイス１０４Ａおよび１０４Ｂ、またはトランスコーディングデバイス１０６のいずれかに対応し得る。

[0120]ビデオ処理デバイスは、アクセスユニットの第１のピクチャを含む第１のＮＡＬユニットを受信する（１５０）。第１のＮＡＬユニットがＩＲＡＰピクチャを含むと決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、ビデオ処理デバイスズは、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定する（１５２）。ビデオ処理デバイスズは、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理する（１５４）。第２のＮＡＬユニットは、たとえば、ＶＣＬ ＮＡＬユニットであり得る。図５の技法の別の態様によれば、第１のＮＡＬユニットがＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備えるアクセスユニットのすべてのＶＣＬ ＮＡＬユニットについて、ビデオ処理デバイスは、ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに決定し得る。

[0121]図５の例では、ビデオ処理デバイスは、第２のＮＡＬユニットをパースする前に、第２のＮＡＬユニットのためのＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定し得る。

[0122]図５の例では、ビデオ処理デバイスは、第２のＮＡＬユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理し得る。たとえば、ビデオ処理デバイスは、特定のピクチャが破棄され得るか、または特定のピクチャが維持される必要があると決定し得る。ビデオ処理デバイスはまた、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、メモリを割り振り得る。

[0123]ビデオ処理デバイスズがビデオデコーダを含む例では、ビデオ処理デバイスは、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを復号することによって、第２のＮＡＬユニットのためのＮＡＬユニットタイプに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理し得る。

[0124]図６は、本開示の技法によるビデオデータを処理する（たとえば、符号化するまたはルーティングする）方法の一例を示すフローチャートである。図６の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、たとえば、ビデオエンコーダ２０、ネットワークエンティティ２９、ルーティングデバイス１０４Ａおよび１０４Ｂ、またはトランスコーディングデバイス１０６のいずれかに対応し得る。

[0125]ビデオ処理デバイスは、アクセスユニットの第１のピクチャを備える第１のＮＡＬユニットを処理する（１６０）。第１のＮＡＬユニットがＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備えるアクセスユニットの第２のＮＡＬユニットについて、ビデオ処理デバイスは、第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定する（１６２）。ビデオ処理デバイスは、第１のＮＡＬユニットのためのＮＡＬユニットタイプと第２のＮＡＬユニットのためのＮＡＬユニットタイプとに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理する（１６４）。第２のＮＡＬユニットは、たとえば、ビデオコーディングレイヤＶＣＬ ＮＡＬユニットであり得る。いくつかの実装形態では、第１のＮＡＬユニットがＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備えるアクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、ビデオ処理デバイスは、ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定し得る。

[0126]ビデオ処理デバイスがビデオエンコーダである例では、ビデオ処理デバイスは、第１のＮＡＬユニットと第２のＮＡＬユニットとを符号化することによって、第１のＮＡＬユニットのためのＮＡＬユニットタイプと第２のＮＡＬユニットのためのＮＡＬユニットタイプとに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理し得る。ビデオ処理デバイスがＭＡＮＥである例では、ビデオ処理デバイスは、第１のＮＡＬユニットと第２のＮＡＬユニットとを送信することによって、第１のＮＡＬユニットのためのＮＡＬユニットタイプと第２のＮＡＬユニットのためのＮＡＬユニットタイプとに基づいて、第１のＮＡＬユニットと第２のＮＡＬユニットとを処理し得る。

[0127]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって処理され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は概して、（１）非一時的である有形コンピュータ可読記憶媒体または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

[0128]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。さらに、任意の接続がコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）と、レーザーディスク（登録商標）と、光ディスクと、デジタル多用途ディスク（ＤＶＤ）と、フロッピー（登録商標）ディスクと、Ｂｌｕ−ｒａｙディスクとを含み、通常、ディスク（disk）は磁気的にデータを再生し、一方ディスク（disc）はレーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

[0129]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路などの１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造または本明細書で説明する技法の実装形態に適した任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成され、または組み合わされたコーデックに組み込まれる、専用のハードウェアおよび／またはソフトウェアモジュール内で提供され得る。また、技法は、１つまたは複数の回路または論理要素において完全に実施され得る。

[0130]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む多種多様なデバイスまたは装置において実施され得る。様々な構成要素、モジュール、またはユニットが、開示された技法を実行するように構成されるデバイスの機能的態様を強調するために本開示で説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。

[0131]様々な例について説明した。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。

[0131]様々な例について説明した。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
受信されたビデオデータを処理する方法であって、
アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、
前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、前記第１のＮＡＬユニットのためのＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、
前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することとを備える方法。
［Ｃ２］
いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することが、前記第２のＮＡＬユニットをパースする前に、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す前記ＮＡＬユニットタイプであると推論することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことを備える、Ｃ１に記載の方法。
［Ｃ４］
前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることを備える、Ｃ１に記載の方法。
［Ｃ５］
前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、Ｃ１に記載の方法。
［Ｃ６］
前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを復号することを備える、Ｃ１に記載の方法。
［Ｃ８］
ビデオデータを処理することが、
前記ビデオデータを符号化すること、
前記ビデオデータを復号すること、
前記ビデオデータをパースすること、または
前記ビデオデータをトランスコーディングすることのうちの１つを備える、Ｃ１に記載の方法。
［Ｃ９］
ビデオデータを処理する方法であって、
アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、
前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す前記第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備える前記アクセスユニットの第２のＮＡＬユニットについて、前記第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、
前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することとを備える方法。
［Ｃ１０］
前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを符号化することを備える、Ｃ９に記載の方法。
［Ｃ１１］
前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを送信することを備える、Ｃ９に記載の方法。
［Ｃ１２］
前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、Ｃ９に記載の方法。
［Ｃ１３］
前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することをさらに備える、Ｃ９に記載の方法。
［Ｃ１４］
受信されたビデオデータを処理するためのビデオ処理デバイスであって、
ビデオデータを記憶するメモリと、
アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、
前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、前記第１のＮＡＬユニットのためのＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、
前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
を行うように構成された１つまたは複数のプロセッサとを備えるビデオ処理デバイス。
［Ｃ１５］
前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットをパースする前に、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す前記ＮＡＬユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定するようにさらに構成される、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ１６］
前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ１８］
前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ１９］
前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに決定するようにさらに構成される、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ２０］
前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを復号することによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ２１］
前記ビデオ処理デバイスがビデオエンコーダを備える、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ２２］
前記ビデオ処理デバイスがビデオデコーダを備える、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ２３］
前記ビデオ処理デバイスがメディアアウェアネットワーク要素（ＭＡＮＥ）を備える、Ｃ１４に記載のビデオ処理デバイス。
［Ｃ２４］
ビデオデータを処理するためのビデオ処理デバイスであって、
ビデオデータを記憶するメモリと、
アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、
前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す前記第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備える前記アクセスユニットの第２のＮＡＬユニットについて、前記第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、
前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
を行うように構成された１つまたは複数のプロセッサとを備えるビデオ処理デバイス。
［Ｃ２５］
前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを符号化することによって、前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、Ｃ２４に記載のビデオ処理デバイス。
［Ｃ２６］
前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを送信することによって、前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、Ｃ２４に記載のビデオ処理デバイス。
［Ｃ２７］
前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、Ｃ２４に記載のビデオ処理デバイス。
［Ｃ２８］
前記１つまたは複数のプロセッサプロセスが、前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定するようにさらに構成される、Ｃ２４に記載のビデオ処理デバイス。
［Ｃ２９］
前記ビデオ処理デバイスがビデオエンコーダを備える、Ｃ２４に記載のビデオ処理デバイス。
［Ｃ３０］
前記ビデオ処理デバイスがメディアアウェアネットワーク要素（ＭＡＮＥ）を備える、Ｃ２４に記載のビデオ処理デバイス。

Claims (30)

1. 受信されたビデオデータを処理する方法であって、
   アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、
   前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、前記第１のＮＡＬユニットのためのＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、
   前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
   を備える方法。
2. いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することが、前記第２のＮＡＬユニットをパースする前に、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す前記ＮＡＬユニットタイプであると推論することを備える、請求項１に記載の方法。
3. 前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことを備える、請求項１に記載の方法。
4. 前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることを備える、請求項１に記載の方法。
5. 前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、請求項１に記載の方法。
6. 前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに決定すること
   をさらに備える、請求項１に記載の方法。
7. 前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを復号することを備える、請求項１に記載の方法。
8. ビデオデータを処理することが、
   前記ビデオデータを符号化すること、
   前記ビデオデータを復号すること、
   前記ビデオデータをパースすること、または
   前記ビデオデータをトランスコーディングすること
   のうちの１つを備える、請求項１に記載の方法。
9. ビデオデータを処理する方法であって、
   アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、
   前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す前記第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備える前記アクセスユニットの第２のＮＡＬユニットについて、前記第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、
   前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
   を備える方法。
10. 前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを符号化することを備える、請求項９に記載の方法。
11. 前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを送信することを備える、請求項９に記載の方法。
12. 前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、請求項９に記載の方法。
13. 前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定すること
    をさらに備える、請求項９に記載の方法。
14. 受信されたビデオデータを処理するためのビデオ処理デバイスであって、
    ビデオデータを記憶するメモリと、
    アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを受信することと、
    前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、前記第１のＮＡＬユニットのためのＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第２のＮＡＬユニットは別のＩＲＡＰピクチャを備える、
    前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
    を行うように構成された１つまたは複数のプロセッサと
    を備えるビデオ処理デバイス。
15. 前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットをパースする前に、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプがいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示す前記ＮＡＬユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプとなるべき前記第２のＮＡＬユニットのためのＮＡＬユニットタイプを決定するようにさらに構成される、請求項１４に記載のビデオ処理デバイス。
16. 前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、請求項１４に記載のビデオ処理デバイス。
17. 前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、請求項１４に記載のビデオ処理デバイス。
18. 前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、請求項１４に記載のビデオ処理デバイス。
19. 前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに決定するようにさらに構成される、請求項１４に記載のビデオ処理デバイス。
20. 前記１つまたは複数のプロセッサが、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを復号することによって、前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、請求項１４に記載のビデオ処理デバイス。
21. 前記ビデオ処理デバイスがビデオエンコーダを備える、請求項１４に記載のビデオ処理デバイス。
22. 前記ビデオ処理デバイスがビデオデコーダを備える、請求項１４に記載のビデオ処理デバイス。
23. 前記ビデオ処理デバイスがメディアアウェアネットワーク要素（ＭＡＮＥ）を備える、請求項１４に記載のビデオ処理デバイス。
24. ビデオデータを処理するためのビデオ処理デバイスであって、
    ビデオデータを記憶するメモリと、
    アクセスユニットの第１のピクチャを備える第１のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを処理することと、
    前記第１のＮＡＬユニットがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ（ＩＤＲ）ピクチャの存在を示す前記第１のＮＡＬユニットのためのＮＡＬユニットタイプに応答して、別のＩＲＡＰピクチャを備える前記アクセスユニットの第２のＮＡＬユニットについて、前記第２のＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定することと、
    前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理することと
    を行うように構成された１つまたは複数のプロセッサと
    を備えるビデオ処理デバイス。
25. 前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを符号化することによって、前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、請求項２４に記載のビデオ処理デバイス。
26. 前記１つまたは複数のプロセッサが、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを送信することによって、前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプと前記第２のＮＡＬユニットのための前記ＮＡＬユニットタイプとに基づいて、前記第１のＮＡＬユニットと前記第２のＮＡＬユニットとを処理する、請求項２４に記載のビデオ処理デバイス。
27. 前記第２のＮＡＬユニットがビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットを備える、請求項２４に記載のビデオ処理デバイス。
28. 前記１つまたは複数のプロセッサプロセスが、前記第１のＮＡＬユニットが前記ＩＲＡＰピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記ＩＤＲピクチャの存在を示す前記第１のＮＡＬユニットのための前記ＮＡＬユニットタイプに応答して、ＩＲＡＰピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットについて、前記ＮＡＬユニットのためのＮＡＬユニットタイプをいかなる関連するリーディングピクチャも有しないＩＤＲピクチャの存在を示すＮＡＬユニットタイプに設定するようにさらに構成される、請求項２４に記載のビデオ処理デバイス。
29. 前記ビデオ処理デバイスがビデオエンコーダを備える、請求項２４に記載のビデオ処理デバイス。
30. 前記ビデオ処理デバイスがメディアアウェアネットワーク要素（ＭＡＮＥ）を備える、請求項２４に記載のビデオ処理デバイス。

Images