JP2017507539A - マルチレイヤコーディングにおいて回復点補足エンハンスメント情報（ｓｅｉ）メッセージと領域リフレッシュ情報ｓｅｉメッセージとをコーディングするための方法 - Google Patents

Abstract

マルチレイヤコーディングにおいて回復点補足エンハンスメント情報（ＳＥＩ）メッセージと領域リフレッシュ情報ＳＥＩメッセージとをコーディングするための方法が開示される。一態様では、方法は、少なくとも１つの回復点ＳＥＩメッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャの中の少なくとも１つのピクチャを決定することを含み得、アクセスユニットは、マルチレイヤビットストリーム内に含まれる。方法は、少なくとも１つの回復点ＳＥＩメッセージを、決定された少なくとも１つのピクチャに関連付けることをさらに含み得る。方法はまた、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングすることを含み得る。

Description

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関し、詳細には、スケーラブルビデオコーディング、マルチビュービデオコーディング、および／または３次元（３Ｄ）ビデオコーディングに関する。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ムービングピクチャエキスパートグループ−２（ＭＰＥＧ−２）、ＭＰＥＧ−４、国際電信連合−電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているもののような、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0003]符号化ビデオシーケンスは、オプションの補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージを含み得る。ＳＥＩメッセージは、ビデオシーケンスの復号にとって必要でないが、とは言っても、ビデオシーケンスを復号する際の助けとなり得る情報を提供することができる。そのような１つのＳＥＩメッセージは、イントラランダムアクセスポイント（ＩＲＡＰ：intra random access point）ピクチャの間でのビットストリームへのランダムアクセスの時に、復号ビデオシーケンスがコンテンツに関して適正またはほぼ適正となる回復点（recovery point）を示す、回復点ＳＥＩメッセージである。領域リフレッシュ情報（region refresh information）ＳＥＩメッセージは、回復点ＳＥＩメッセージに関連付けられ、現在の領域リフレッシュ情報ＳＥＩメッセージが適用される／対応する現在ピクチャの領域（たとえば、スライスセグメント）が、現在ピクチャのリフレッシュ領域に属するかどうかを示す。

[0004]本開示のシステム、方法、およびデバイスは、いくつかの発明的態様をそれぞれ有し、それらの態様は、１つとして、本明細書で開示する望ましい属性を単独で担うものではない。

[0005]一態様では、ビデオ情報をコーディングするための方法は、少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することであって、アクセスユニットはマルチレイヤビットストリーム内に含まれる、決定することと、少なくとも１つの回復点ＳＥＩメッセージを決定された少なくとも１つのピクチャに関連付けることと、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングすることとを備える。

[0006]別の態様では、ビデオ情報をコーディングするためのデバイスは、ビデオ情報を記憶するように構成されたメモリと、メモリと通信しているプロセッサとを備える。該プロセッサは、少なくとも１つの回復点ＳＥＩメッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することであって、アクセスユニットはマルチレイヤビットストリームの中に含まれる、決定することと、少なくとも１つの回復点ＳＥＩメッセージを決定された少なくとも１つのピクチャに関連付けることと、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングすることと、を行うように構成される。

[0007]別の態様では、装置は、少なくとも１つの回復点ＳＥＩメッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定するための手段であって、アクセスユニットはマルチレイヤビットストリーム内に含まれる、決定するための手段と、少なくとも１つの回復点ＳＥＩメッセージを決定された少なくとも１つのピクチャに関連付けるための手段と、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングするための手段とを備える。

[0008]さらに別の態様では、非一時的コンピュータ可読記憶媒体は、実行されたとき、デバイスのプロセッサに、少なくとも１つの回復点ＳＥＩメッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することであって、アクセスユニットはマルチレイヤビットストリーム内に含まれる、決定することと、少なくとも１つの回復点ＳＥＩメッセージを決定された少なくとも１つのピクチャに関連付けることと、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングすることと、を実行させる命令を記録されている。

[0009]本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0010]本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化および復号システムを示すブロック図。 [0011]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0012]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0013]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0014]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0015]本開示で説明する態様によるマルチレイヤビットストリームの回復点ＳＥＩメッセージとピクチャとの間の関連付けを示すブロック図。 [0016]本開示で説明する態様による回復点ＳＥＩメッセージと複数のピクチャとの間の関連付けを示すブロック図。 [0017]本開示で説明する態様による回復点ＳＥＩメッセージと従属レイヤのピクチャとの間の関連付けを示すブロック図。 [0018]本開示で説明する態様によるマルチレイヤビットストリームの領域リフレッシュ情報ＳＥＩメッセージとピクチャとの間の関連付けを示すブロック図。 [0019]本開示で説明する態様によるビデオ情報を符号化するための方法８００を示すフローチャート。

[0020]一般に、本開示は、高効率ビデオコーディング（ＨＥＶＣ）などのアドバンストビデオコーデックのコンテキストにおける、マルチレイヤビデオコーディングのための回復点補足エンハンスメント情報（ＳＥＩ）メッセージおよびリフレッシュ情報ＳＥＩメッセージに関する。より詳細には、本開示は、ＨＥＶＣのマルチビュー拡張およびスケーラブル拡張、すなわち、ＭＶ−ＨＥＶＣおよびＳＨＶＣにおける、回復点ＳＥＩメッセージおよびリフレッシュ情報ＳＥＩメッセージの明瞭さの向上のためのシステムおよび方法に関する。

[0021]以下の説明では、いくつかの実施形態に関係するＨ．２６４／アドバンストビデオコーディング（ＡＶＣ）技法が記載され、ＨＥＶＣ規格および関係する技法も説明される。特に、いくつかのビデオコーディング方式は、表示のために許容可能なピクチャを復号プロセスがいつ生成するのかを決定する際にデコーダを支援し得る、回復点ＳＥＩメッセージを含む。従来の単一レイヤコーディング方式（たとえば、ＨＥＶＣバージョン１）では、各アクセスユニットは、単一のピクチャを一意に含む。したがって、これらの従来の方式のセマンティクスは、アクセスユニットとピクチャとを交換可能であるものとして扱った。以下により詳細に説明するように、マルチレイヤビットストリームのアクセスユニットは、複数のピクチャを含み得る。したがって、従来の単一レイヤコーディング方式は、マルチレイヤコーディング方式に適合するビデオエンコーダ／デコーダの正確で一貫した挙動のため回復点ＳＥＩメッセージがどのように処理されるべきであるのかを定義するための、必要なセマンティクスを有していない。

[0022]本開示は、回復点ＳＥＩメッセージについてのあいまいさ（ambiguity）を解消する、マルチレイヤコーディング方式のためのセマンティクスに関する。いくつかの実装形態では、回復点ＳＥＩメッセージは、マルチレイヤビットストリームの中のアクセスユニットの特有のピクチャにあいまいさを残さずに（unambiguously）関連付けられる。これらのセマンティクスは、マルチレイヤビットストリームのコーディングが回復点ＳＥＩメッセージを１つまたは複数の特有のピクチャにあいまいさを残さずに関連付けることを可能にするので、本開示に適合する（すなわち、本開示に従って動作する、または本開示に従って構成される）ビデオエンコーダ／ビデオデコーダの動作は、従来のコーディング方式と比較して動作上の一貫性を改善した。

[0023]ＨＥＶＣ規格および／またはＨ．２６４規格のコンテキストにおいて、いくつかの実施形態が本明細書に記載されるが、本明細書で開示されるシステムおよび方法が任意の適切なビデオコーディング規格に適用可能であり得ることを、当業者なら諒解されよう。たとえば、本明細書で開示される実施形態は、以下の規格、すなわち、国際電気通信連合（ＩＴＵ）電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアル、およびスケーラブル拡張とマルチビュー拡張とを含むＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）のうちの、１つまたは複数に適用可能であり得る。

[0024]ＨＥＶＣは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。ＨＥＶＣにおける予測の単位は、以前のいくつかのビデオコーディング規格における予測の単位（たとえば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、以前のいくつかのビデオコーディング規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、他の考えられる利益の中でも特に、高いフレキシビリティを与え得る、４分木方式に基づく階層構造と置き換えられる。たとえば、ＨＥＶＣ方式内で、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ：Prediction Unit）、および変換ユニット（ＴＵ：Transform Unit）という３つのタイプのブロックが定義される。ＣＵは領域分割の基本単位を指すことがある。ＣＵはマクロブロックの概念に類似するとみなされてよいが、ＨＥＶＣは、ＣＵの最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵは、インター／イントラ予測の基本単位とみなされてよく、単一のＰＵは、不規則なイメージパターンを効果的にコーディングするために、複数の任意形状のパーティション（partitions）を含み得る。ＴＵは、変換の基本単位とみなされてよい。ＴＵはＰＵとは無関係に定義され得るが、ＴＵのサイズはＴＵが属するＣＵのサイズに限定されることがある。３つの異なる概念へのブロック構造のこの分離は、各ユニットがそのユニットのそれぞれの役割に従って最適化されることを可能にし得、このことはコーディング効率の改善をもたらし得る。

[0025]単に説明の目的で、本明細書で開示するいくつかの実施形態は、ビデオデータの２つのレイヤ（たとえば、ベースレイヤのなどの下位レイヤおよびエンハンスメントレイヤなどの上位レイヤ）のみを含む例を用いて説明される。ビデオデータの「レイヤ」は、概して、ビュー、フレームレート、解像度などの、少なくとも１つの共通の特性を有するピクチャのシーケンスを指すことがある。たとえば、レイヤは、マルチビュービデオデータの特定のビュー（たとえば、視点（perspective））に関連したビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤに関連したビデオデータを含み得る。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指すことがある。すなわち、ビデオデータのビューは、ビデオデータのレイヤと呼ばれることがあり、ビデオデータのレイヤは、ビデオデータのビューと呼ばれることがある。加えて、マルチレイヤコーデック（マルチレイヤビデオコーダまたはマルチレイヤエンコーダデコーダとも呼ばれる）は、マルチビューコーデックまたはスケーラブルコーデック（たとえば、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、ＳＨＶＣ、または別のマルチレイヤコーディング技法を使用してビデオデータを符号化および／または復号するように構成されるコーデック）を一緒に指すことがある。ビデオ符号化およびビデオ復号は、ともに、広くビデオコーディングと呼ばれ得る。そのような例が複数のベースレイヤおよび／またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。しかしながら、これらの用語は、限定的であることを意味しない。たとえば、以下で説明する技法は、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなどの、任意の適切なビデオユニットとともに使用され得る。

ビデオコーディング規格
[0026]ビデオ画像、ＴＶ画像、静止画像、またはビデオレコーダもしくはコンピュータによって生成された画像などの、デジタル画像は、水平ラインおよび垂直ラインに配置されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像エンコーダから画像デコーダに搬送されるべき情報の純粋な量は、リアルタイム画像伝送を不可能にすることになる。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧおよびＨ．２６３規格など、いくつかの異なる圧縮方法が開発された。

[0027]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアルと、スケーラブルおよびマルチビュー拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。

[0028]さらに、ビデオコーディング規格、すなわち、ＨＥＶＣが、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣ ＭＰＥＧとのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されてきた。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。ＨＥＶＣへのマルチビュー拡張、すなわち、ＭＶ−ＨＥＶＣ、およびＳＨＶＣと名付けられたＨＥＶＣへのスケーラブル拡張も、ＪＣＴ−３Ｖ（ＩＴＵ−Ｔ／ＩＳＯ／ＩＥＣジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発）およびＪＣＴ−ＶＣによって、それぞれ開発されている。

ビデオコーディングシステム
[0029]新規のシステム、装置、および方法の様々な態様について、以下で、添付図面を参照しながら、より詳細に説明する。しかしながら、本開示は、多くの異なる形態で実施可能であり、本開示の全体を通して示される任意の特定の構造または機能に限定されるものと解釈されるべきでない。むしろ、本開示が、入念で完全であり、本開示の範囲を当業者に十分に伝達するように、これらの態様が提供される。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様と無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される任意の数の態様を使用して装置が実装されてよく、または方法が実施されてもよい。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する任意の態様は、特許請求の範囲の１つまたは複数の要素により実施されてもよいことを理解されたい。

[0030]特定の態様について本明細書で説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、使用、または目的に限定されることを意図しない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能なものであり、そのうちのいくつかが図面および好ましい態様の以下の説明において例として示される。詳細な説明および図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。

[0031]添付の図面は、例を示す。添付の図面内で参照番号によって指示される要素は、以下の説明において同様の参照番号で指示される要素に対応する。本開示では、序数語（たとえば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの、異なる要素を指すために使用されるにすぎない。

[0032]図１Ａは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指し得る。ビデオエンコーダおよびビデオデコーダに加えて、本出願に記載される態様は、トランスコーダ（たとえば、ビットストリームを復号し別のビットストリームを再符号化することができるデバイス）およびミドルボックス（たとえば、ビットストリームを修正、変換、および／または別のやり方で操作することができるデバイス）などの、他の関係するデバイスに拡張され得る。

[0033]図１Ａに示すように、ビデオコーディングシステム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。図１Ａの例では、ソースデバイス１２および宛先デバイス１４は別個のデバイスを形成する。しかしながら、ソースデバイス１２および宛先デバイス１４が、図１Ｂの例に示すように、同じデバイス上にあってもよく、または同じデバイスの部分であってもよいことに留意されたい。

[0034]もう一度図１Ａを参照すると、ソースデバイス１２および宛先デバイス１４はそれぞれ、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。様々な実施形態では、ソースデバイス１２および宛先デバイス１４はワイヤレス通信のために具備され得る。

[0035]宛先デバイス１４は、リンク１６を介して、復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。図１Ａの例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され得、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る、任意の他の機器を含み得る。

[0036]代替的に、符号化データは出力インターフェース２２から、記憶デバイス３１（オプション的に存在する）に出力され得る。同様に、符号化データは、たとえば、宛先デバイス１４の入力インターフェース２８によって記憶デバイス３１からアクセスされ得る。記憶デバイス３１は、ハードドライブ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたは局所的にアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス３１は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに相当し得る。宛先デバイス１４は、記憶されているビデオデータに、記憶デバイス３１からストリーミングまたはダウンロードを介してアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することができ、その符号化ビデオデータを宛先デバイス１４に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ（たとえば、ウェブサイトのための）、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、または局所的なディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）接続）、有線接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。記憶デバイス３１からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはその両方の組合せであり得る。

[0037]本開示の技法は、ワイヤレスの用途または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信（たとえば、動的適応ストリーミングオーバーハイパーテキスト転送プロトコル（ＨＴＴＰ）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話などの用途をサポートするために、単方向または双方向のビデオ送信をサポートするように構成され得る。

[0038]図１Ａの例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、図１Ｂの例に示すように、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。しかしながら、本開示に記載される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスアプリケーションおよび／または有線アプリケーションに適用され得る。

[0039]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して、宛先デバイス１４に送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのために、記憶デバイス３１に記憶され得る。図１Ａおよび図１Ｂに示すビデオエンコーダ２０は、図２Ａに示すビデオエンコーダ２０、図２Ｂに示すビデオエンコーダ２３、または本明細書に記載される任意の他のビデオエンコーダを備えてよい。

[0040]図１Ａの例では、宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、符号化ビデオデータを、リンク１６を介して、および／または記憶デバイス３１から受信し得る。リンク１６を介して通信され、または記憶デバイス３１上に提供された符号化ビデオデータは、ビデオデータを復号する際のビデオデコーダ３０などのビデオデコーダによる使用のために、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体に記憶されるか、またはファイルサーバに記憶される符号化ビデオデータに含まれ得る。図１Ａおよび図１Ｂに示すビデオデコーダ３０は、図３Ａに示すビデオデコーダ３０、図３Ｂに示すビデオデコーダ３３、または本明細書に記載される任意の他のビデオデコーダを備えてよい。

[0041]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるか、またはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み得、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0042]関係する態様では、図１Ｂは、例示的なビデオコーディングシステム１０’を示し、ここにおいて、ソースデバイス１２および宛先デバイス１４は、デバイス上にあり、またはその部分である。デバイス１１は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス１１は、ソースデバイス１２および宛先デバイス１４と動作可能に通信しているコントローラ／プロセッサデバイス１３（オプションで存在する）を含み得る。図１Ｂのビデオコーディングシステム１０’は、ビデオエンコーダ２０と出力インターフェース２２との間にビデオ処理ユニット２１をさらに含み得る。いくつかの実装形態では、ビデオ処理ユニット２１は、図１Ｂに示すように別個のユニットであるが、他の実施態様では、ビデオ処理ユニット２１は、ビデオエンコーダ２０および／またはプロセッサ／コントローラデバイス１３の部分として実装され得る。ビデオコーディングシステム１０’は、また、ビデオシーケンスの中で対象のオブジェクトを追跡することができるトラッカー２９（オプションで存在する）を含み得る。追跡されるべきオブジェクトまたは対象は、本開示の１つまたは複数の態様に関して説明する技法によって、セグメント化され得る。関係する態様では、追跡することは、ディスプレイデバイス３２によって単独で、またはトラッカー２９と一緒に実行され得る。図１Ｂのビデオコーディングシステム１０’およびそのコンポーネントは、図１Ａのビデオコーディングシステム１０およびそのコンポーネントと場合によっては類似である。

[0043]ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣなど、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，ＡＶＣと呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他の独自の規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３を含む。

[0044]図１Ａおよび図１Ｂの例に示されないが、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびオーディオデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0045]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し得、本開示の技法を実行するために、１つまたは複数のプロセッサを使用して、命令をハードウェアで実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダの一部として統合され得る。

ビデオコーディングプロセス
[0046]上記で簡略に述べられたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは、１つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャは、ビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０は、ビットストリームを生成し得る。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと、関連するデータとを含み得る。コード化ピクチャは、ピクチャのコーディングされた表現である。

[0047]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと、関連するデータとを生成し得る。関連するデータは、ビデオパラメータセット（ＶＰＳ：video parameter set）と、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）と、ピクチャパラメータセット（ＰＰＳ：picture parameter set）と、適応パラメータセット（ＡＰＳ：adaptation parameter set）と、他のシンタックス構造とを含み得る。ＳＰＳは、ピクチャの０個以上のシーケンスに適用可能なパラメータを含み得る。ＰＰＳは、０個以上のピクチャに適用可能なパラメータを含み得る。ＡＰＳは、０個以上のピクチャに適用可能なパラメータを含み得る。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。

[0048]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックにパーティション分割（partition）し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々は、ツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣのような従来の規格のマクロブロックに、広い意味で類似し得る。しかしながら、ツリーブロックは、特定のサイズに必ずしも限定されず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。ビデオエンコーダ２０は、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックへとパーティション分割するために、４分木分割を使用し得、したがって、「ツリーブロック」という名前である。

[0049]いくつかの例では、ビデオエンコーダ２０は、ピクチャを複数のスライスへとパーティション分割し得る。スライスの各々は、整数個のＣＵを含み得る。いくつかの事例では、スライスは、整数個のツリーブロックを備える。他の事例では、スライスの境界は、ツリーブロック内にあり得る。

[0050]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは、「コード化スライス（coded slice）」と呼ばれることがある。

[0051]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ２０は、コーディングされたツリーブロックを生成し得る。コーディングされたツリーブロックは、ツリーブロックの符号化されたバージョンを表すデータを備え得る。

[0052]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実行（たとえば、符号化）し得る。たとえば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

[0053]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成される情報にアクセスできないことがある。

[0054]コーディングされたツリーブロックを生成するために、ビデオエンコーダ２０は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロック上で４分木分割を再帰的に実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックにパーティション分割し得、サブブロックのうちの１つまたは複数を４つの等しいサイズのサブサブブロックにパーティション分割し得、以下同様である。パーティション分割されたＣＵは、それのビデオブロックが他のＣＵに関連付けられたビデオブロックへとパーティション分割されているＣＵであり得る。パーティション分割されていないＣＵは、それのビデオブロックが他のＣＵに関連付けられたビデオブロックへとパーティション分割されていないＣＵであり得る。

[0055]ビットストリーム中の１つまたは複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックをパーティション分割し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（たとえば、ＣＵのサイズ）は、８×８のピクセルから、最大で６４×６４以上のピクセルを有するツリーブロックのビデオブロックのサイズ（たとえば、ツリーブロックのサイズ）までわたり得る。

[0056]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実行（たとえば、符号化）し得る。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、パーティション分割されているＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、パーティション分割されているＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。

[0057]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、および左下のＣＵは符号化されていることがある。所与のＣＵの下または右のＣＵはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接するいくつかのＣＵを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成される情報にアクセスできないことがある。

[0058]ビデオエンコーダ２０が、パーティション分割されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵに関し、１つまたは複数の予測ユニット（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵに対して予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックは、サンプルのブロックであり得る。ビデオエンコーダ２０は、ＰＵのための予測ビデオブロックを生成するために、イントラ予測またはインター予測を使用し得る。

[0059]ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにイントラ予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにイントラ予測を使用する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにインター予測を使用する場合、ＣＵはインター予測されたＣＵである。

[0060]さらに、ビデオエンコーダ２０がＰＵのための予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０は、ＰＵのための動き情報を生成し得る。ＰＵのための動き情報は、ＰＵの１つまたは複数の参照ブロックを示し得る。ＰＵの各参照ブロックは、参照ピクチャ内のビデオブロックであり得る。参照ピクチャは、ＰＵに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、ＰＵの参照ブロックは、ＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。

[0061]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵに対する残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの差分を示し得る。

[0062]さらに、パーティション分割されていないＣＵに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ＣＵの残差データを、ＣＵの変換ユニット（ＴＵ）に関連付けられた残差データの１つまたは複数のブロック（たとえば、残差ビデオブロック）にパーティション分割するために、ＣＵの残差データに対して再帰的な４分木分割を実行し得る。ＣＵの各ＴＵは、異なる残差ビデオブロックに関連付けられ得る。

[0063]ビデオエンコーダ２０は、ＴＵに関連付けられた変換係数ブロック（たとえば、変換係数のブロック）を生成するために、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。

[0064]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスは、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中に、ｎビット変換係数はｍビット変換係数に切り捨てられ得、ここで、ｎはｍよりも大きい。

[0065]ビデオエンコーダ２０は、各ＣＵを、量子化パラメータ（ＱＰ）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

[0066]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロックの中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、確率間隔パーティショニングエントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。

[0067]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットを含み得る。ＮＡＬユニットの各々は、ＮＡＬユニット中のデータのタイプのインジケーションと、データを含むバイトとを含む、シンタックス構造であり得る。たとえば、ＮＡＬユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、ＳＥＩ、アクセスユニットデリミタ、フィラーデータ、または別のタイプのデータを表すデータを含み得る。ＮＡＬユニット中のデータは、様々なシンタックス構造を含み得る。

[0068]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコーディングされた表現を含み得る。ビデオデコーダ３０がビットストリームを受信すると、ビデオデコーダ３０は、ビットストリームに対して構文解析動作を実行し得る。ビデオデコーダ３０が構文解析動作を実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスの逆であり得る。

[0069]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。さらに、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実行し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックおよび残差ビデオブロックに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。

ビデオエンコーダ
[0070]図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ２０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々なコンポーネント間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[0071]説明の目的で、本開示は、ＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図２Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図２Ｂに関してさらに説明するように、ビデオエンコーダ２０の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。

[0072]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレーム内またはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを参照し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを参照し得る。

[0073]図２Ａの例では、ビデオエンコーダ２０は複数の機能的コンポーネントを含む。ビデオエンコーダ２０の機能的コンポーネントは、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多いか、より少ないか、または異なる機能的コンポーネントを含み得る。さらに、動き推定ユニット１２２および動き補償ユニット１２４は、高度に統合され得るが、図２Ａの例では、説明の目的で別々に表されている。

[0074]ビデオエンコーダ２０は、ビデオデータを受信し得る。ビデオエンコーダ２０は、様々なソースからビデオデータを受信し得る。たとえば、ビデオエンコーダ２０は、ビデオソース１８（たとえば、図１Ａまたは図１Ｂに示す）または別のソースからビデオデータを受信し得る。ビデオデータは、一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。

[0075]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して４分木分割を実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックにパーティション分割し得、サブブロックのうちの１つまたは複数を４つの等しいサイズのサブサブブロックにパーティション分割し得、以下同様である。

[0076]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大で６４×６４サンプル以上のツリーブロックのサイズにまでわたり得る。本開示では、「Ｎ×Ｎ」および「Ｎ ｂｙ Ｎ」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのサンプルの寸法、たとえば、１６×１６サンプルまたは１６ ｂｙ １６サンプルを指すために、互換的に使用され得る。一般に、１６×１６のビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎのブロックは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。

[0077]さらに、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。たとえば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００がツリーブロックのビデオブロックを４つのサブブロックにパーティション分割する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００がサブブロックのうちの１つを４つのサブサブブロックにパーティション分割する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。

[0078]４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのシンタックスデータ（たとえば、シンタックス要素）を含み得る。たとえば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックにパーティション分割（partitioned）（たとえば、分割（split））されているかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されているかどうかに依存し得る。ビデオブロックがパーティション分割されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コーディングされたツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。

[0079]ビデオエンコーダ２０は、ツリーブロックのパーティション分割されていない各ＣＵに対して符号化演算を実行し得る。ビデオエンコーダ２０が、パーティション分割されていないＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、パーティション分割されていないＣＵの符号化された表現を表すデータを生成する。

[0080]ＣＵに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの間で、ＣＵのビデオブロックをパーティション分割し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズ、および２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、または同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称パーティショニングもサポートし得る。いくつかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿ってＣＵのＰＵの間でＣＵのビデオブロックをパーティション分割するように、幾何学的パーティショニングを実行し得る。

[0081]インター予測ユニット１２１は、ＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は、時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２は、ＰＵのための動き情報を生成し得る。動き補償ユニット１２４は、ＰＵベースの動き情報およびＣＵに関連付けられたピクチャ以外のピクチャ（たとえば、参照ピクチャ）の復号サンプルのための、予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成される予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

[0082]スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵがＩスライス中にあるのか、Ｐスライス中にあるのか、それともＢスライス中にあるのかに応じて、ＣＵのＰＵのための異なる演算を実行し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。

[0083]ＰＵがＰスライス中にある場合、ＰＵを含むピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含む。動き推定ユニット１２２がＰスライス中のＰＵに関して動き推定演算を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット１２２は、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリックを使用し得る。たとえば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。

[0084]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は、動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0085]ＰＵがＢスライス中にある場合、ＰＵを含むピクチャは、「リスト０」および「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含むピクチャは、リスト０とリスト１の組合せである、リストの組合せと関連付けられ得る。

[0086]さらに、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵのための単方向予測または双方向予測を実行し得る。動き推定ユニット１２２がＰＵのための単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０またはリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０またはリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すのか、それともリスト１中の参照ピクチャを示すのかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0087]動き推定ユニット１２２がＰＵのための双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０およびリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、ＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0088]いくつかの事例では、動き推定ユニット１２２は、ＰＵのための動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報をシグナリングし得る。たとえば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの差分を示す。ビデオデコーダ３０は、ＰＵの動きベクトルを決定するために、示された隣接ＰＵの動きベクトルと、動きベクトル差分とを使用し得る。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報をシグナリングすることが可能であり得る。

[0089]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は、空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実行し得る。

[0090]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、ＰＵのための予測データの複数のセットを生成するために、複数のイントラ予測モードを使用し得る。イントラ予測ユニット１２６がＰＵのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット１２６は、イントラ予測モードと関連する方向および／または勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたってサンプルを延ばし得る。ＰＵ、ＣＵ、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、隣接ＰＵは、ＰＵの上、右上、左上、または左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モードを使用し得る。

[0091]予測処理ユニット１００は、動き補償ユニット１２４によってＰＵのために生成された予測データ、またはイントラ予測ユニット１２６によってＰＵのために生成された予測データの中から、ＰＵのための予測データを選択し得る。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみメトリックに基づいて、ＰＵのための予測データを選択する。

[0092]予測処理ユニット１００がイントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵのための予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モード（the most probable mode）であり得る。したがって、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すためのシンタックス要素を生成し得る。

[0093]上記で説明したように、ビデオエンコーダ２０は、レイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。

[0094]予測処理ユニット１００がＣＵのＰＵのための予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（たとえば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する２Ｄ残差ビデオブロックを含み得る。たとえば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

[0095]予測処理ユニット１００は、ＣＵの残差ビデオブロックをサブブロックにパーティション分割するために、４分木分割を実行し得る。分割されていない各残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられる残差ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズおよび位置に基づいてもよく、または基づかなくてもよい。「残差４分木」（ＲＱＴ）と呼ばれる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴのリーフノードに対応し得る。

[0096]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向変換、または概念的に類似の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。

[0097]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0098]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。たとえば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対して、レートひずみ分析を実行し得る。レートひずみ分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコーディングされた表現を生成し得る。ビデオエンコーダ２０が、ツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。最小のビットレートおよびひずみメトリックを有するツリーブロックのコーディングされた表現で所与のＱＰ値がＣＵに関連付けられるとき、ビデオエンコーダ２０は、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。

[0099]逆量子化ユニット１０８および逆変換ユニット１１０は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、逆量子化と逆変換とを変換係数ブロックに適用し得る。再構成ユニット１１２は、ＴＵに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ビデオブロックからの対応するサンプルに追加し得る。このようにＣＵの各ＴＵについてビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。

[00100]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するために、デブロッキング演算を実行し得る。１つまたは複数のデブロッキング演算を実行した後、フィルタユニット１１３は、ＣＵの再構成されたビデオブロックを復号ピクチャバッファ１１４に記憶し得る。動き推定ユニット１２２および動き補償ユニット１２４は、後続のピクチャのＰＵに対してインター予測を実行するために、再構成されたビデオブロックを含む参照ピクチャを使用し得る。さらに、イントラ予測ユニット１２６は、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行するために、復号ピクチャバッファ１１４の中の再構成されたビデオブロックを使用し得る。

[00101]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能的コンポーネントからデータを受信し得る。たとえば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信すると、エントロピー符号化ユニット１１６は、エントロピー符号化データを生成するために、１つまたは複数のエントロピー符号化演算を実行し得る。たとえば、ビデオエンコーダ２０は、ＣＡＶＬＣ演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔パーティショニングエントロピー（ＰＩＰＥ）コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化データを含むビットストリームを出力し得る。

[00102]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。

マルチレイヤビデオエンコーダ
[00103]図２Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ２３（単に、ビデオエンコーダ２３とも呼ばれる）の一例を示すブロック図である。ビデオエンコーダ２３は、ＳＨＶＣおよびＭＶ−ＨＥＶＣの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ２３は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00104]ビデオエンコーダ２３はビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々はビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａおよび２０Ｂは、ビデオエンコーダ２０としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオエンコーダ２３は、２つのビデオエンコーダ２０Ａおよび２０Ｂを含むように示されるが、ビデオエンコーダ２３は、そのように限定されず、任意の数のビデオエンコーダ２０のレイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ２３は、アクセスユニット中の各ピクチャまたは各フレームに対してビデオエンコーダ２０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのエンコーダレイヤを含むビデオエンコーダによって処理または符号化され得る。いくつかの実施形態では、ビデオエンコーダ２３は、アクセスユニット中のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのような場合では、ビデオエンコーダのレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00105]ビデオエンコーダ２０Ａおよび２０Ｂに加えて、ビデオエンコーダ２３は、リサンプリングユニット９０を含み得る。リサンプリングユニット９０は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングし得るが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット９０は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあり得、および／またはオプションであり得る。たとえば、場合によっては、予測処理ユニット１００は、アップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングし、スライス境界ルールおよび／またはラスタ走査ルールのセットに準拠するように、１つまたは複数のスライスを再編成、再定義、修正、または調整するように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０は、レイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が低減した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。

[00106]リサンプリングユニット９０は、下位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ａ）の復号ピクチャバッファ１１４からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセスユニット中のピクチャを符号化するように構成された、上位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ｂ）の予測処理ユニット１００に供給され得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから除去された１つのレイヤである。他の場合には、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に、１つまたは複数の上位レイヤエンコーダがあり得る。

[00107]場合によっては、リサンプリングユニット９０は、省略またはバイパスされ得る。そのような場合、ビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からのピクチャは、直接、または少なくともリサンプリングユニット９０に供給されずに、ビデオエンコーダ２０Ｂの予測処理ユニット１００に供給され得る。たとえば、ビデオエンコーダ２０Ｂに供給されたビデオデータ、およびビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、いかなるリサンプリングも伴わずにビデオエンコーダ２０Ｂに供給され得る。

[00108]いくつかの実施形態では、ビデオエンコーダ２３は、ビデオエンコーダ２０Ａにビデオデータを供給する前に、ダウンサンプリングユニット９４を使用して下位レイヤエンコーダに供給されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。

[00109]図２Ｂに示すように、ビデオエンコーダ２３は、マルチプレクサ（すなわちｍｕｘ）９８をさらに含み得る。ｍｕｘ９８は、ビデオエンコーダ２３から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、２つの（または、３つ以上のビデオエンコーダレイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成される。たとえば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々から非１：１比のブロックを出力することによって作成され得る。たとえば、２つのブロックは、ビデオエンコーダ２０Ａから出力された各ブロックについてビデオエンコーダ２０Ｂから出力され得る。いくつかの実施形態では、ｍｕｘ９８からの出力ストリームはプリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、ソースデバイス１２を含むソースデバイス上のプロセッサからなど、ビデオエンコーダ２３の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオソース１８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオエンコーダ２３から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。

ビデオデコーダ
[00110]図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ３０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々なコンポーネントの間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[00111]説明の目的で、本開示は、ＨＥＶＣコーディングのコンテキストにおいてビデオデコーダ３０を説明する。しかしながら、本開示の技法は他のコーディング規格または方法に適用可能であり得る。図３Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図３Ｂに関してさらに説明するように、ビデオデコーダ３０の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。

[00112]図３Ａの例では、ビデオデコーダ３０は複数の機能的コンポーネントを含む。ビデオデコーダ３０の機能的コンポーネントは、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。いくつかの例では、ビデオデコーダ３０は、図２Ａのビデオエンコーダ２０に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオデコーダ３０は、より多いか、より少ないか、または異なる機能的コンポーネントを含み得る。

[00113]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは、複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信すると、エントロピー復号ユニット１５０は、ビットストリームに対して構文解析動作を実行し得る。ビットストリームに対して構文解析動作を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化シンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、およびフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。

[00114]上記で説明したように、ビットストリームは、一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、ビデオパラメータセットＮＡＬユニット、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニットなどを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬユニットからのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬユニットからのピクチャパラメータセット、ＳＥＩ ＮＡＬユニットからのＳＥＩデータなどを抽出しエントロピー復号する、構文解析動作を実行し得る。

[00115]さらに、ビットストリームのＮＡＬユニットは、コード化スライスＮＡＬユニットを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬユニットからコード化スライスを抽出しエントロピー復号する、構文解析動作を実行し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、スライスヘッダを復元するために、コード化スライスヘッダ中のシンタックス要素に対してＣＡＢＡＣ復号演算などのエントロピー復号演算を実行し得る。

[00116]コード化スライスＮＡＬユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコーディングされたＣＵからシンタックス要素を抽出する構文解析動作を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちのいくつかに対してＣＡＢＡＣ復号演算を実行し得る。

[00117]エントロピー復号ユニット１５０が、パーティション分割されていないＣＵに対して構文解析動作を実行した後、ビデオデコーダ３０は、パーティション分割されていないＣＵに対して再構成演算を実行し得る。パーティション分割されていないＣＵに対して再構成演算を実行するために、ビデオデコーダ３０は、ＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。

[00118]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆量子化（inverse quantize）、たとえば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣのために提案された、またはＨ．２６４復号規格によって定義された逆量子化処理と同様の方法で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵに関してビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。

[00119]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性から逆変換を推定し得る。いくつかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。

[00120]いくつかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度を有する動き補償のために使用されるべき補間フィルタ用の識別子は、シンタックス要素に含まれ得る。動き補償ユニット１６２は、参照ブロックのサブ整数サンプルについての補間値を計算するために、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し得、予測ビデオブロックを生成するためにその補間フィルタを使用し得る。

[00121]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。

[00122]いくつかの事例では、イントラ予測ユニット１６４が現在ＰＵのイントラ予測モードを決定するために別のＰＵのイントラ予測モードを使用するべきであることを、シンタックス要素が示し得る。たとえば、現在ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モードであり得る。したがって、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、空間的に隣接するＰＵのビデオブロックに基づいてＰＵのための予測データ（たとえば、予測サンプル）を生成するために、イントラ予測モードを使用し得る。

[00123]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＨＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在ブロック（たとえば、エンハンスメントレイヤ中の現在ブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測方式の各々について、以下でより詳細に説明する。

[00124]再構成ユニット１５８は、ＣＵのビデオブロックを再構成するために、ＣＵのＴＵに関連付けられた残差ビデオブロックおよびＣＵのＰＵの予測ビデオブロック、たとえば、適用可能なとき、イントラ予測データまたはインター予測データのいずれかを使用し得る。したがって、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。

[00125]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、ＣＵに関連したブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。フィルタユニット１５９が、ＣＵに関連したブロッキングアーティファクトを低減するためにデブロッキング演算を実行した後、ビデオデコーダ３０は、ＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、次の動き補償、イントラ予測、および図１Ａまたは図１Ｂのディスプレイデバイス３２などのディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６０の中のビデオブロックに基づいて、他のＣＵのＰＵに対して、イントラ予測演算またはインター予測演算を実行し得る。

マルチレイヤデコーダ
[00126]図３Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ３３（単に、ビデオデコーダ３３とも呼ばれる）の一例を示すブロック図である。ビデオデコーダ３３は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ３３は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00127]ビデオデコーダ３３は、ビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々はビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａおよび３０Ｂは、ビデオデコーダ３０としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオデコーダ３３は、２つのビデオデコーダ３０Ａおよび３０Ｂを含むように示されるが、ビデオデコーダ３３は、そのように限定されず、任意の数のビデオデコーダ３０のレイヤを含み得る。いくつかの実施形態では、ビデオデコーダ３３はアクセスユニット中の各ピクチャまたは各フレームに対してビデオデコーダ３０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのデコーダレイヤを含むビデオデコーダによって処理または復号され得る。いくつかの実施形態では、ビデオデコーダ３３は、アクセスユニット中のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのような場合では、ビデオデコーダのレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00128]ビデオデコーダ３０Ａおよび３０Ｂに加えて、ビデオデコーダ３３は、アップサンプリングユニット９２を含み得る。いくつかの実施形態では、アップサンプリングユニット９２は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは、復号ピクチャバッファ１６０に記憶され得る。いくつかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングし、スライス境界ルールおよび／またはラスタ走査ルールのセットに準拠するように、１つまたは複数のスライスを再編成、再定義、修正、または調整するように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリングおよび／またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。

[00129]アップサンプリングユニット９２は、下位レイヤデコーダ（たとえば、ビデオデコーダ３０Ａ）の復号ピクチャバッファ１６０からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセスユニット中のピクチャを復号するように構成された、上位レイヤデコーダ（たとえば、ビデオデコーダ３０Ｂ）の予測処理ユニット１５２に供給され得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから除去された１つのレイヤである。他の場合には、図３Ｂのレイヤ０デコーダとレイヤ１デコーダとの間に、１つまたは複数の上位レイヤデコーダがあり得る。

[00130]場合によっては、アップサンプリングユニット９２は、省略またはバイパスされ得る。そのような場合、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接、または少なくともアップサンプリングユニット９２に供給されずに、ビデオデコーダ３０Ｂの予測処理ユニット１５２に供給され得る。たとえば、ビデオデコーダ３０Ｂに供給されたビデオデータ、およびビデオデコーダ３０Ａの復号ピクチャバッファ１６０からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングを伴わずにビデオデコーダ３０Ｂに供給され得る。さらに、いくつかの実施形態では、アップサンプリングユニット９２は、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０から受信された参照ピクチャを、アップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。

[00131]図３Ｂに示すように、ビデオデコーダ３３は、デマルチプレクサ（すなわちｄｅｍｕｘ）９９をさらに含み得る。ｄｅｍｕｘ９９は、符号化ビデオビットストリームを複数のビットストリームに分割することができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは、異なるビデオデコーダ３０Ａおよび３０Ｂに供給される。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａおよび３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオデコーダの各々（たとえば、図３Ｂの例ではビデオデコーダ３０Ａおよび３０Ｂ）の間で、一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、非１：１比のブロックによって、ビデオデコーダ３０Ａおよび３０Ｂの各々に分割され得る。たとえば、２つのブロックは、ビデオデコーダ３０Ａに供給される各ブロックについてビデオデコーダ３０Ｂに供給され得る。いくつかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割は、プリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先デバイス１４を含む宛先デバイス上のプロセッサからなど、ビデオデコーダ３３の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオデコーダ３３によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。

イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ
[00132]いくつかのビデオコーディング方式は、ビットストリームが、ビットストリームの中でそれらのランダムアクセスポイントに先行するいかなるピクチャも復号する必要なく、それらのランダムアクセスポイントのいずれかから始めて復号され得るような、様々なランダムアクセスポイントをビットストリーム全体にわたって提供し得る。そのようなビデオコーディング方式では、ランダムアクセススキップリーディング（ＲＡＳＬ：random access skipped leading）ピクチャを除いて、復号順序においてランダムアクセスポイントに追従するすべてのピクチャは、ランダムアクセスポイントに先行するいかなるピクチャも使用することなく正しく復号され得る。たとえば、ビットストリームの一部分が送信の間または復号の間に失われても、デコーダは、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、たとえば、動的なストリーミングサービス、シーク動作、チャネル切替えなどを容易にし得る。

[00133]いくつかのコーディング方式では、そのようなランダムアクセスポイントは、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャと呼ばれるピクチャによって提供され得る。たとえば、ｌａｙｅｒＢの中にあり復号順序においてａｕＡに先行するアクセスユニット（「ａｕＢ」）の中に含まれるピクチャに関連付けられているランダムアクセスポイント（または、ａｕＡの中に含まれるランダムアクセスポイント）を有するｌａｙｅｒＡの各参照レイヤ（「ｌａｙｅｒＢ」）（たとえば、ｌａｙｅｒＡを予測するために使用されるレイヤである参照レイヤ）に関して復号順序においてａｕＡに追従するｌａｙｅｒＡの中のピクチャ（ａｕＡの中に位置するそれらのピクチャを含む）が、ａｕＡに先行するｌａｙｅｒＡの中のいかなるピクチャも復号する必要なく正しく復号可能であるように、アクセスユニット（「ａｕＡ」）の中に含まれるエンハンスメントレイヤ（「ｌａｙｅｒＡ」）の中のエンハンスメントレイヤＩＲＡＰピクチャに関連付けられているランダムアクセスポイントは、レイヤ特有のランダムアクセスを提供し得る。

[00134]ＩＲＡＰピクチャは、イントラ予測（たとえば、他のピクチャを参照することなくコーディングされる）および／またはレイヤ間予測を使用してコーディングされ得、たとえば、瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）ピクチャと、クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャと、ブロークンリンクアクセス（ＢＬＡ：broken link access）ピクチャとを含み得る。ビットストリームの中にＩＤＲピクチャがあるとき、復号順序においてＩＤＲピクチャに先行するすべてのピクチャは、ＩＤＲピクチャに追従するピクチャによる予測のために使用されない。ビットストリームの中にＣＲＡピクチャがあるとき、ＣＲＡピクチャに追従するピクチャは、復号順序においてＣＲＡピクチャに先行するピクチャを予測のために使用してよく、または使用しなくてもよい。復号順序においてＣＲＡピクチャに追従するが、復号順序においてＣＲＡピクチャに先行するピクチャを使用するピクチャは、ＲＡＳＬピクチャと呼ばれることがある。復号順序においてＩＲＡＰピクチャに追従するとともに出力順序においてＩＲＡＰピクチャに先行し得る別のタイプのピクチャは、復号順序においてＩＲＡＰピクチャに先行するいかなるピクチャへの参照も含まないことがあるランダムアクセス復号可能リーディング（ＲＡＤＬ：random access decodable leading）ピクチャである。ＣＲＡピクチャに先行するピクチャが利用可能でない場合、ＲＡＳＬピクチャはデコーダによって廃棄されてよい。ＢＬＡピクチャは、（たとえば、２つのビットストリームが互いにスプライシングされ、ＢＬＡピクチャが復号順序において第２のビットストリームの最初のピクチャであるので）ＢＬＡピクチャに先行するピクチャがデコーダにとって利用可能でない場合があることを、デコーダに示す。ＩＲＡＰピクチャであるベースレイヤのピクチャ（たとえば、０としてのレイヤＩＤ値を有する）を含むアクセスユニット（たとえば、複数のレイヤにわたって同じ出力時間に関連付けられたすべてのコード化ピクチャからなるピクチャのグループ）は、ＩＲＡＰアクセスユニットと呼ばれることがある。

回復点ＳＥＩメッセージ
[0135]いくつかのビデオコーディング方式では、ＩＲＡＰピクチャ間でビットストリームの復号を開始することが可能であり得る。このことは、たとえば、ビットストリームの一部分が送信の間または復号の間に失われたときに復号ビデオストリームへより迅速に戻ることを、またはライブストリーミングビデオの復号をより迅速に開始することを可能にし得る。しかしながら、ＩＲＡＰピクチャ間のランダムアクセスポイントにおいてビデオストリームの復号を開始するとき、ランダムアクセスポイントに復号順序において先行するピクチャに復号プロセスが依存することに起因して、復号ビデオストリームは、表示にとって許容可能な品質を有していないことがある。

[0136]前に述べたように、いくつかのビデオコーディング方式は、表示にとって許容可能なピクチャを復号プロセスがいつ生成するのかを決定する際にデコーダを支援し得る、回復点ＳＥＩメッセージを含む。ブロークンリンクの後、デコーダがランダムアクセスを開始し、または復号を再開するとき、デコーダは、復号ピクチャがいつ表示にとって許容可能であるのかを、ビットストリームの中に含まれる回復点ＳＥＩメッセージに基づいて決定することができる場合がある。回復点ＳＥＩメッセージは、回復点ＳＥＩメッセージを含むアクセスユニットから復号プロセスが開始されるとき、回復点で復号される、または出力順序において回復点の後に復号されるすべての復号ピクチャがコンテンツに関して適正またはほぼ適正（correct or approximately correct in content）であることを示す、復号ピクチャ出力順序における回復点を指定する。そのような回復点ＳＥＩメッセージは、回復点の後に復号されるピクチャが適正またはほぼ適正な復号されたコンテンツを有するために、ランダムアクセスの後の、および／または回復点に関連付けられたピクチャの前の、ビットストリームの復号に基づいて生成される復号ピクチャが適正であることを必要としない。さらに、回復点ＳＥＩメッセージは、ランダムアクセスの後の、および／または回復点に関連付けられたピクチャの前の、ビットストリームの復号によって参照されるピクチャが利用可能であることを必要としない。

[0137]従来の単一レイヤコーディング方式（たとえば、ＨＥＶＣバージョン１）では、各アクセスユニットは、単一のピクチャを一意に含む。各アクセスユニットが単一のピクチャを含むので、「アクセスユニット」および「ピクチャ」という用語は、単一レイヤコーディング方式の、たとえば、回復点ＳＥＩメッセージの利用に関するコンテキストにおいて、互換的に使用することができた。しかしながら、マルチレイヤコーディング方式のアクセスユニットは、ビットストリームの各レイヤに対して別個のピクチャを含むことができる。言い換えれば、マルチレイヤビットストリームでは、単一のアクセスユニットが、複数のピクチャを含む（contain）（すなわち、含む（include）、または備える（comprise））ことができる。従来の単一レイヤコーディング方式では、回復点ＳＥＩメッセージがアクセスユニットに関連付けられるので、これらの単一レイヤコーディング方式は、どのように回復点ＳＥＩメッセージがマルチレイヤコーディング方式のアクセスユニット内の可能な複数のピクチャのうちの１つまたは複数のピクチャに正確に関係するのかを定義するための、必要なセマンティクスを有していない。従来の方式における回復点ＳＥＩメッセージに関するこのあいまいさは、ビデオエンコーダまたはデコーダの実装が、マルチレイヤコーディング方式のアクセスユニット内の可能な複数のピクチャの中からのピクチャに回復点ＳＥＩメッセージを制約なく関連付けることを容認する。したがって、これらのビデオエンコーダおよびデコーダの回復点ＳＥＩメッセージに対する挙動は予測可能でなく、異なる実装の間で変わる場合があり、その結果、これらの異なる実装はビデオシーケンスを矛盾なく符号化／復号することができない。したがって、本開示の１つの目的は、回復点ＳＥＩメッセージがマルチレイヤコーディング方式内のアクセスユニットの１つまたは複数のピクチャにあいまいさを残さずに関連付けられ得るように、回復点ＳＥＩメッセージのセマンティクスを明確にすることである。

[0138]本開示によれば、回復点ＳＥＩメッセージは、アクセスユニットの１つまたは複数のピクチャに関連付けられてよく、および／または適用されてよい。この技法は、回復点ＳＥＩメッセージがマルチレイヤコーディング方式内のアクセスユニットの特有のピクチャにあいまいさを残さずに関連付けられ得るように、回復点ＳＥＩメッセージのセマンティクスを明確にする／修正する。本開示に従ってセマンティクスを明確にすることにより、ビデオエンコーダ／デコーダの挙動はより予測可能になり、したがって、これらのビデオエンコーダ／デコーダの異なる実装の間の回復点ＳＥＩメッセージの処理は、従来のコーディング方式よりも一貫性がある。本開示の技法／方式が単一レイヤビデオコーディング方式を採用するレガシーデバイスによって採用され得るように、本開示の技法／方式は「後方」互換または「下位」互換である。さらに、本開示の技法／方式は、マルチレイヤビットストリーム内の１つよりも多くのレイヤからのピクチャに適用され得る、他のタイプのＳＥＩメッセージとともに利用され得る。マルチレイヤビットストリームの回復点ＳＥＩメッセージとピクチャとの間の様々な関連付けが、図４〜図６を参照しながらより詳細に説明される。

[0139]図４は、本開示の一実施形態によるマルチレイヤビットストリームの回復点ＳＥＩメッセージとピクチャとの間の関連付けを示すブロック図である。図４は、ベースレイヤ（ＢＬ）４１０Ｂとエンハンスメントレイヤ（ＥＬ）４１０Ａとを有するスケーラブルビデオ符号化ビットストリーム４００（単に、ビットストリーム４００とも呼ばれる）を含む。図４のビットストリーム４００はベースレイヤ４１０Ｂとエンハンスメントレイヤ４１０Ａとを含むように示されるが、ビットストリーム４００は、１つまたは複数の追加のエンハンスメントレイヤをさらに含んでよく、またはビットストリームがマルチビュービデオ符号化ビットストリームであるとき、レイヤの各々が異なるビューを形成してよい。マルチビュービットストリームの一例は、左眼ビューレイヤと右眼ビューレイヤとを含む３次元（３Ｄ）ビデオビットストリームである。

[0140]再び図４を参照すると、ビットストリーム４００は、複数のアクセスユニット（ＡＵ）４３０〜４７０を含む。各アクセスユニットは、ベースレイヤ４１０Ｂからのピクチャとエンハンスメントレイヤ４１０Ａからのピクチャとを含む。たとえば、ＡＵ４３０は、それぞれ、ベースレイヤ４１０Ｂおよびエンハンスメントレイヤ４１０Ａの中に含まれる、ＢＬピクチャ４１２ＢとＥＬピクチャ４１２Ａとを含む。図４の実施形態では、ＡＵ４３０およびＡＵ４４０はそれぞれ、回復点ＳＥＩメッセージを含む。ＡＵ４３０において、回復点ＳＥＩメッセージはＢＬピクチャ４１２Ｂに関連付けられ、ＡＵ４４０の回復点ＳＥＩメッセージはＥＬピクチャ４１４Ａに関連付けられている。図４において、回復点ＳＥＩメッセージの「関連付け」は、斜めのハッチングのマーキングを使用して示される。

[0141]図４に示す回復点ＳＥＩメッセージは、それらそれぞれのレイヤのための回復点を示す。回復点は、一般に、回復点ＳＥＩメッセージに関連付けられたピクチャの前の、またはそうしたピクチャにおけるランダムアクセスポイントで復号を開始した後、ビットストリームの復号がコンテンツに関して適正またはほぼ適正となるビットストリームの中のピクチャのインジケーションを指す。図４〜図６において、回復点はドット状のハッチングによって示され、回復点ＳＥＩメッセージはクロスハッチングによって示される。たとえば、ＢＬピクチャ４１２Ｂに関連付けられた回復点ＳＥＩメッセージは、ＢＬピクチャ４２０Ｂにおける回復点を示し、すなわち、ＢＬピクチャ４１２Ｂの前のまたはＢＬピクチャ４１２Ｂにおけるベースレイヤ４１０Ｂ内のランダムアクセスポイントにおいて復号が開始する場合、ＢＬピクチャ４２０Ｂが復号された後、ベースレイヤ４１０Ｂの復号はコンテンツに関して適正またはほぼ適正となる。同様に、ＥＬピクチャ４１８Ａは、ＥＬピクチャ４１４Ａに関連付けられた回復点ＳＥＩメッセージによって示される回復点である。言い換えれば、ＥＬピクチャ４１４Ａの前のまたはＥＬピクチャ４１４Ａにおけるエンハンスメントレイヤ４１０Ａ内のランダムアクセスポイントにおいて復号が開始する場合、ＥＬピクチャ４１８Ａが復号された後、エンハンスメントレイヤ４１０Ａの復号はコンテンツに関して適正またはほぼ適正となる。

[0142]図４の実施形態に関して説明されるように、本開示によれば、マルチレイヤビットストリームのための回復点ＳＥＩメッセージは、マルチレイヤビットストリームの任意のレイヤの中の単一のピクチャに個々に関連付けられ得る。さらに、複数の回復点ＳＥＩメッセージは、それぞれ、同じアクセスユニットの複数のピクチャの各々、またはそうしたピクチャのサブセットに関連付けられ得る。たとえば、図４に示さないが、ＡＵ４５０に関連付けられたＢＬピクチャ４１６ＢおよびＥＬピクチャ４１６Ａの各々は、別個の回復点ＳＥＩメッセージに関連付けられ得る。

[0143]図５は、本開示の一実施形態による回復点ＳＥＩメッセージと複数のピクチャとの間の関連付けを示すブロック図である。図５のマルチレイヤビットストリーム５００（単に、ビットストリーム５００とも呼ばれる）は、追加のエンハンスメントレイヤ４１０Ｃを含むことを除いて図４のものと類似である。したがって、各ＡＵ４３０〜４７０は、各レイヤからの１つのピクチャを含む。たとえば、ＡＵ４６０は、ＢＬピクチャ４１８Ｂと、ＥＬピクチャ４１８Ａと、ＥＬピクチャ４１８Ｃとを含む。

[0144]図５に示す実施形態では、ＡＵ４３０は、ＥＬピクチャ４１２ＡとＥＬピクチャ４１２Ｃの両方に関連付けられている単一の回復点ＳＥＩメッセージを含む。回復点ＳＥＩメッセージが図５に示すように１つよりも多くのピクチャに関連付けられているとき、回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージとして実施され得る。スケーラブルネスティング回復点ＳＥＩメッセージは、ＡＵ４３０内の斜線領域によって図５に示される。

[0145]ＥＬピクチャ４１２ＡおよびＥＬピクチャ４１２Ｃに関連付けられたスケーラブルネスティング回復点ＳＥＩメッセージは、ＥＬピクチャ４１８ＡおよびＥＬピクチャ４１８Ｃにおける回復点を示す。この実施形態では、スケーラブルネスティング回復点ＳＥＩメッセージは、そのＳＥＩメッセージに関連付けられたＥＬピクチャ４１２ＡおよびＥＬピクチャ４１２Ｃのための単一の回復点を一意に示す。スケーラブルネスティング回復点ＳＥＩメッセージによって示される回復点は、回復点ＳＥＩメッセージに関連付けられたピクチャのレイヤの中に含まれるピクチャのすべてが、復号されたコンテンツに関して適正またはほぼ適正となる点である。したがって、復号ピクチャのうちの１つまたは複数は、スケーラブルネスティング回復点ＳＥＩメッセージの回復点の前に、コンテンツに関して適正またはほぼ適正であり得る。

[0146]図６は、回復点ＳＥＩメッセージと従属レイヤ（すなわち、本開示の一実施形態によるレイヤ）のピクチャとの間の関連付けを示すブロック図である。図６に示すマルチレイヤビットストリーム６００（単に、ビットストリーム６００とも呼ばれる）は、図４に示すものと類似である。しかしながら、この実施形態では、ビットストリーム６００のエンハンスメントレイヤ４１０Ａは、ベースレイヤ４１０Ｂに依存する。エンハンスメントレイヤ４１０Ａがベースレイヤ４１０Ｂに依存するので、エンハンスメントレイヤ４１０Ａは独立に復号可能でなく、適正に復号されるためにベースレイヤ４１０Ｂの少なくとも一部分を必要とする。

[0147]いくつかの実施形態では、ビデオデコーダ（たとえば、ビデオデコーダ３０または３３）は、エンハンスメントレイヤ４１０Ａを受信しないことがあり（または、正確に処理できないことがあり）、したがって、受信されたベースレイヤ４１０Ｂのみを復号する。たとえば、ビデオエンコーダ（たとえば、ビデオエンコーダ２０またはビデオエンコーダ２３）とビデオデコーダ（たとえば、ビデオデコーダ３０またはビデオデコーダ３３）との間の帯域幅が制限され、エンハンスメントレイヤ４１０Ａが、たとえば、帯域幅を温存するためにビットストリーム６００からドロップオフされ得るとき、このことは起こり得る。その後、利用可能な帯域幅が増大すると、エンハンスメントレイヤ４１０Ａはビデオデコーダによって受信（または、正確に処理）され得る。ビデオデコーダは、次いで、回復の可能な開始を示すピクチャ間のランダムアクセスポイントにおいて、エンハンスメントレイヤ４１０Ａの復号を開始しようと試み得る。図６では、このことは、関連付けられた回復点ＳＥＩメッセージを有するＥＬピクチャ４１４Ａを含めることによって示される。

[0148]上述されたように、いくつかの実施形態では、エンハンスメントレイヤ４１０Ａはベースレイヤ４１０Ｂに依存する。これらの実施形態では、ＥＬピクチャ４１４Ａの回復点ＳＥＩメッセージによって示される回復点（ＥＬピクチャ４１８Ａにおいて示す）が正確であるために、ベースレイヤ４１０Ｂは、ＢＬピクチャ４１４Ｂによって適正またはほぼ適正に復号されるべきである。したがって、従属レイヤのピクチャを回復点ＳＥＩメッセージに関連付ける前に、回復点ＳＥＩメッセージに関連付けられるべき従属レイヤのピクチャと同じアクセスユニットの中に含まれる同じピクチャの前に、またはそうしたピクチャにおいて、独立レイヤは適正またはほぼ適正に復号されるべきである。いくつかの実装形態では、独立レイヤピクチャが適正またはほぼ適正に復号されるかどうかを決定することは、独立レイヤピクチャが独立レイヤピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することを含む。

[0149]本開示のいくつかの実施形態では、回復点ＳＥＩメッセージは、回復点の復号ピクチャのコンテンツが適正に復号されたピクチャのコンテンツとの完全一致であるかどうかを示すフラグを含み得る。この完全一致フラグは、回復点におけるピクチャがコンテンツに関して適正となるのか、それともほぼ適正となるのかのいずれかを、デコーダに示す。復号ピクチャが復号順序においてＩＲＡＰピクチャの後に復号され、それらの間に復号エラーまたは情報の喪失がないとき、復号ピクチャのコンテンツはコンテンツに関して適正である。適正に復号されたピクチャ、すなわち、回復点ＳＥＩメッセージを含むアクセスユニットの前のＩＲＡＰピクチャから始めて復号されたことになるピクチャの、コンテンツの定義された範囲内に復号ピクチャのコンテンツがあるとき、復号ピクチャのコンテンツはほぼ適正であると決定され得る。

領域リフレッシュ情報ＳＥＩメッセージ
[0150]いくつかのビデオコーディング方式は、領域リフレッシュ情報ＳＥＩメッセージ（領域リフレッシュＳＥＩメッセージとも呼ばれる）をさらに含む。領域リフレッシュＳＥＩメッセージは、回復点ＳＥＩメッセージに関連付けられ、現在の領域リフレッシュＳＥＩメッセージが適用される／対応する現在ピクチャの領域（たとえば、スライスセグメント）が、現在ピクチャのリフレッシュ領域（または、非リフレッシュ領域）に属するかどうかを示す。言い換えれば、領域リフレッシュＳＥＩは、対応するピクチャの個々のスライスが、復号の後にコンテンツに関して適正またはほぼ適正であるかどうかを示す情報を含む。

[0151]上述されたように、従来のビデオコーディング方式では、アクセスユニットはピクチャに一意に関連付けられる。したがって、これらの従来の方式では、領域リフレッシュ情報ＳＥＩメッセージはアクセスユニットに関連付けられ、したがって、ピクチャに一意に関連付けられる。しかしながら、マルチレイヤコーディング方式では、アクセスユニットは１つよりも多くのピクチャを含み得る。したがって、従来のビデオコーディング方式のセマンティクスは、領域リフレッシュ情報ＳＥＩメッセージと、アクセスユニットの中に含まれる複数のピクチャのうちの１つのピクチャとの間の関連付けを必ずしも許容するとは限らない。したがって、本開示の別の目的は、１つの領域リフレッシュ情報ＳＥＩメッセージが１つのピクチャに一意に関連付けられるように、領域リフレッシュ情報ＳＥＩメッセージのセマンティクスを明確にすることである。

[0152]図７は、本開示の一実施形態によるマルチレイヤビットストリームの１つまたは複数の領域リフレッシュＳＥＩメッセージと１つまたは複数のピクチャとの間の関連付けを示すブロック図である。図７は、図４に関して説明されたビットストリーム４００と類似であるマルチレイヤビットストリーム７００（単に、ビットストリーム７００とも呼ばれる）を含む。ここで、回復点ＳＥＩメッセージはＢＬピクチャ４１２Ｂに関連付けられ、対応する回復点はＢＬピクチャ４２０Ｂに関連付けられている。図７では、クロスハッチングは、対応するピクチャ（すなわち、ＢＬピクチャ４１２Ｂ）が回復点ＳＥＩメッセージおよび１つまたは複数の領域リフレッシュＳＥＩメッセージに関連付けられていることを示す。回復点ＳＥＩメッセージに関連付けられたピクチャに後続し、そうしたピクチャと同じレイヤの中の複数のピクチャは、一般に、漸進的復号リフレッシュ（ＧＤＲ：gradual decoding refresh）ピクチャと呼ばれることがある。ＧＤＲピクチャは、回復点ＳＥＩメッセージに関連付けられたピクチャから始めてＧＤＲピクチャセットの中の出力順序において最後のピクチャまでのピクチャを含む、ＧＤＲピクチャセットに関連付けられ得る。ＧＤＲピクチャセットは、対応する回復点ＳＥＩメッセージに関連付けられている。さらに、領域リフレッシュＳＥＩメッセージは、ＧＤＲピクチャに関連付けられ得る。図７では、ベースレイヤ４１０Ｂの中のＢＬピクチャ４１２Ｂ〜４２０Ｂの各々は、コンテンツの３つの別個のスライスを含むように示されるが、ビットストリーム７００の各ピクチャの中に含まれるスライスの数は、特定の実施形態の異なる態様に従って変えられてよい。本開示のいくつかの実装形態では、ピクチャがＧＤＲピクチャセットの中に含まれるとき、領域リフレッシュＳＥＩメッセージは、そのピクチャだけに関連付けられる。ベースレイヤ４１０Ｂの中のＢＬピクチャ４１２Ｂ〜４２０Ｂのスライスは、対応するスライスを図におけるそれらの向きに基づいて指すために、本明細書で上部スライス、中央スライス、および下部スライスと呼ばれる。

[0153]図７のＢＬピクチャ４１４Ｂの領域リフレッシュＳＥＩメッセージは、ドット状のハッチングによって示すように、ＢＬピクチャ４１４Ｂの中央スライスが、ＢＬピクチャ４１４Ｂによって復号されたコンテンツに関して適正またはほぼ適正となることを示す。同様に、ＢＬピクチャ４１８Ｂの領域リフレッシュＳＥＩメッセージは、対応する下部スライス（すなわち、ＢＬピクチャ４１８Ｂの下部スライス）がＢＬピクチャ４１８Ｂによるコンテンツに関して適正またはほぼ適正となることを示す。同様に、ＢＬピクチャ４２０Ｂの領域リフレッシュＳＥＩメッセージは、ＢＬピクチャ４２０Ｂの上部スライスがＢＬピクチャ４２０Ｂによるコンテンツに関して適正またはほぼ適正となることを示す。したがって、領域リフレッシュ情報ＳＥＩメッセージは、対応する回復点ＳＥＩメッセージに関連付けられたピクチャ（たとえば、ＧＤＲピクチャセットに関連付けられた回復点ＳＥＩメッセージに関連付けられたピクチャ）において、またはそうしたピクチャの前にランダムアクセスが開始するとき、関連付けられたピクチャの中のスライスの各々が復号されたコンテンツに関していつ適正またはほぼ適正となるのかをさらに定義する情報を含む。

[0154]上述され図７に示されるように、領域リフレッシュ情報ＳＥＩメッセージは、ピクチャの個々のスライスに関係する情報を含む。マルチレイヤコーディング方式において領域リフレッシュ情報ＳＥＩメッセージをピクチャにあいまいさを残さずに関連付けるために、領域リフレッシュ情報ＳＥＩメッセージは、単一のピクチャに関連付けられる。したがって、領域リフレッシュ情報ＳＥＩメッセージがアクセスユニットに関連付けられていた従来のコーディング方式と対照的に、ビットストリーム７００のようなマルチレイヤビットストリームの中で、領域リフレッシュ情報ＳＥＩメッセージはビットストリームのピクチャに一意に関連付けられる。

回復点ＳＥＩメッセージをアクセスユニットの１つまたは複数のピクチャに関連付けるための例示的なフローチャート
[0155]図８を参照しながら、回復点ＳＥＩメッセージをアクセスユニットの１つまたは複数のピクチャに関連付けるための例示的なプロシージャが説明される。図８は、本開示の一実施形態によるビデオ情報をコーディングするための方法８００を示すフローチャートである。図８に示すステップは、ビデオエンコーダ（たとえば、ビデオエンコーダ２０またはビデオエンコーダ２３）、ビデオデコーダ（たとえば、ビデオデコーダ３３のビデオデコーダ３０）、または任意の他のコンポーネントによって実行され得る。便宜上、方法８００は、ビデオエンコーダ２０もしくは２３、ビデオデコーダ３０もしくは３３、または別のコンポーネントであってよい、ビデオコーダ（単に、コーダとも呼ばれる）によって実行されるものとして説明される。

[0156]方法８００は、ブロック８０１において開始する。ブロック８０５において、コーダは、少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定し、ここで、該アクセスユニットは、マルチレイヤビットストリーム内に含まれる。複数のピクチャの各々は、別個のレイヤ内でコーディングされ得る。たとえば、レイヤは、ベースレイヤと１つまたは複数のエンハンスメントレイヤとを含んでよく、または各レイヤが別個のビューに対応してもよい。

[0157]ブロック８１０において、コーダは、少なくとも１つの回復点ＳＥＩメッセージを、決定された少なくとも１つのピクチャに関連付ける。少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けは、少なくとも１つの回復点ＳＥＩメッセージを、アクセスユニットの中に含まれる複数のピクチャのいずれかに関連付けることを決定することに応答して実行され得る。ブロック８１５において、コーダは、少なくとも１つの回復点ＳＥＩメッセージの、決定された少なくとも１つのピクチャへの関連付けに少なくとも部分的に基づいて、ビデオ情報をコーディングする。方法は、８２０において終了する。

[0158]方法８００では、図８に示すブロックのうちの１つまたは複数は削除される（たとえば、実行されない）ことがあり、および／または方法が実行される順序は入れ替えられることがある。いくつかの実施形態では、追加のブロックが方法８００に追加されることがある。本開示の本実施形態は、図８に示す例に限定されず、または図８に示す例によって限定されず、他の変形が本開示の趣旨から逸脱することなく実施され得る。

例示的な実装形態
[0159]本開示のいくつかの実施形態が、以下に要約され説明される。本明細書で説明される方法のうちの１つまたは複数を実施するために組み込まれ得る追加および削除を示すために、ＨＥＶＣ規格のいくつかの部分が転載されるとき、そのような修正は、それぞれイタリック体および取り消し線で示される。

回復点ＳＥＩメッセージ
[0160]本開示のいくつかの実装形態では、回復点ＳＥＩメッセージは以下に記載されるように修正される。

領域リフレッシュ情報ＳＥＩメッセージ
[0161]本開示のいくつかの実装形態では、領域リフレッシュ情報ＳＥＩメッセージは以下に記載されるように修正される。

他の考慮事項
[00162]本明細書で開示された情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。

[00163]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロック、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、およびステップが、概してそれらの機能に関して上記で説明されている。そのような機能性が、ハードウェアまたはソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の適用例ごとに様々な方法で記載された機能を実装し得るが、そのような実装の決定が、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。

[00164]本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのいずれかにおいて実装され得る。デバイスまたはコンポーネントとして記載された任意の特徴は、集積論理デバイス内で一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアに実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体などの、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波などの、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[00165]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路もしくはディスクリート論理回路を含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書に記載された技法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書に記載された機能は、符号化および復号のために構成された専用のソフトウェアもしくはハードウェア内に提供され得るか、または複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。

[00166]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々なコンポーネントまたはユニットは、開示されている技術を実行するように構成されたデバイスの機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、適切なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

[0167]上記のことは様々な異なる実施形態に関して説明されたが、一実施形態からの特徴または要素は、本開示の教示から逸脱することなく他の実施形態と組み合わされてよい。たとえば、スケーラブルネスティング回復点ＳＥＩメッセージが１つのアクセスユニットの中の複数のピクチャに関連付けられてよく、単一の回復点ＳＥＩメッセージが同じアクセスユニットのピクチャのうちの１つにさらに関連付けられてよい。単一の回復点ＳＥＩメッセージが、スケーラブルネスティング回復点ＳＥＩメッセージに関連付けられた同じピクチャ、または関連付けられていない異なるピクチャのうちの１つに関連付けられてよい。領域リフレッシュ情報ＳＥＩメッセージの、回復点ＳＥＩメッセージに関連付けられたピクチャへの追加を含む、特徴の類似の組合せも考えられるが、それぞれの実施形態の間での特徴の組合せは必ずしもそれに限定されない。

[0168]本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。

[0168]本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
マルチレイヤビットストリームのビデオ情報をコーディングするための方法であって、
少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットは前記マルチレイヤビットストリーム内に含まれる、
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと
を備える方法。
［Ｃ２］
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに前記関連付けることは、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを備え、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、上記Ｃ１に記載の方法。
［Ｃ３］
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに前記関連付けることは、
第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることとを備える、
上記Ｃ１に記載の方法。
［Ｃ４］
前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、前記関連付けることは、
前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることとを備える、
上記Ｃ１に記載の方法。
［Ｃ５］
前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと
をさらに備える、上記Ｃ１に記載の方法。
［Ｃ６］
第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けることをさらに備える、上記Ｃ５に記載の方法。
［Ｃ７］
前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記方法は、
前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと
をさらに備える、上記Ｃ１に記載の方法。
［Ｃ８］
マルチレイヤビットストリームのビデオ情報をコーディングするためのデバイスであって、
前記ビデオ情報を記憶するように構成されたメモリと、
前記メモリと通信しているプロセッサとを備え、前記プロセッサは、
少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットは前記マルチレイヤビットストリームの中に含まれる、
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと、
を行うように構成される、
デバイス。
［Ｃ９］
前記プロセッサは、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを行うようにさらに構成され、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、上記Ｃ８に記載のデバイス。
［Ｃ１０］
前記プロセッサは、
第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることと、
を行うようにさらに構成される、上記Ｃ８に記載のデバイス。
［Ｃ１１］
前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、前記プロセッサは、
前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
前記第１のピクチャが前記定義された範囲内にあると知られているという前記決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることと、
を行うようにさらに構成される、
上記Ｃ８に記載のデバイス。
［Ｃ１２］
前記プロセッサは、
前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと、
を行うようにさらに構成される、上記Ｃ８に記載のデバイス。
［Ｃ１３］
前記プロセッサは、第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けるようにさらに構成される、上記Ｃ１２に記載のデバイス。
［Ｃ１４］
前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、ここにおいて、前記プロセッサは、
前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと、
を行うようにさらに構成される、
上記Ｃ８に記載のデバイス。
［Ｃ１５］
少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定するための手段と、ここにおいて、前記アクセスユニットはマルチレイヤビットストリーム内に含まれる、
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けるための手段と、
前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングするための手段と
を備える装置。
［Ｃ１６］
関連付けるための前記手段は、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けるための手段を備え、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、上記Ｃ１５に記載の装置。
［Ｃ１７］
関連付けるための前記手段は、
第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けるための手段と、
第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けるための手段とを備える、
上記Ｃ１５に記載の装置。
［Ｃ１８］
前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、関連付けるための前記手段は、
前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定するための手段と、
前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けるための手段とを備える、
上記Ｃ１５に記載の装置。
［Ｃ１９］
前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けるための手段と、
第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けるための手段と
をさらに備える、上記Ｃ１５に記載の装置。
［Ｃ２０］
第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けるための手段をさらに備える、上記Ｃ１９に記載の装置。
［Ｃ２１］
前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記装置は、
前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定するための手段と、
前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定するための手段と
をさらに備える、上記Ｃ１５に記載の装置。
［Ｃ２２］
実行されたときに、デバイスのプロセッサに、
少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットはマルチレイヤビットストリーム内に含まれる、
前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと、
を実行させる命令を記憶した、非一時的コンピュータ可読記憶媒体。
［Ｃ２３］
実行されたときに、前記プロセッサに、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを実行させる命令をさらに記憶し、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、上記Ｃ２２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２４］
実行されたときに、前記プロセッサに、
第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることと、
を実行させる命令をさらに記憶した、上記Ｃ２２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２５］
前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、前記非一時的コンピュータ可読記憶媒体は、実行されたときに、前記プロセッサに、
前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることと、
を実行させる命令をさらに記憶した、上記Ｃ２２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２６］
実行されたときに、前記プロセッサに、
前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと、
を実行させる命令をさらに記憶した、上記Ｃ２２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２７］
実行されたときに、前記プロセッサに、第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けることを実行させる命令をさらに記憶した、上記Ｃ２６に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２８］
前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記非一時的コンピュータ可読記憶媒体は、実行されたときに、前記プロセッサに、
前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと、
を実行させる命令をさらに記憶した、上記Ｃ２２に記載の非一時的コンピュータ可読記憶媒体。

Claims (28)

1. マルチレイヤビットストリームのビデオ情報をコーディングするための方法であって、
   少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットは前記マルチレイヤビットストリーム内に含まれる、
   前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
   前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと
   を備える方法。
2. 前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに前記関連付けることは、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを備え、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、請求項１に記載の方法。
3. 前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに前記関連付けることは、
   第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
   第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることとを備える、
   請求項１に記載の方法。
4. 前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、前記関連付けることは、
   前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
   前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることとを備える、
   請求項１に記載の方法。
5. 前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
   第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと
   をさらに備える、請求項１に記載の方法。
6. 第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けることをさらに備える、請求項５に記載の方法。
7. 前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記方法は、
   前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
   前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと
   をさらに備える、請求項１に記載の方法。
8. マルチレイヤビットストリームのビデオ情報をコーディングするためのデバイスであって、
   前記ビデオ情報を記憶するように構成されたメモリと、
   前記メモリと通信しているプロセッサとを備え、前記プロセッサは、
   少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットは前記マルチレイヤビットストリームの中に含まれる、
   前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
   前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと、
   を行うように構成される、
   デバイス。
9. 前記プロセッサは、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを行うようにさらに構成され、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、請求項８に記載のデバイス。
10. 前記プロセッサは、
    第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
    第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることと、
    を行うようにさらに構成される、請求項８に記載のデバイス。
11. 前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、前記プロセッサは、
    前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
    前記第１のピクチャが前記定義された範囲内にあると知られているという前記決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることと、
    を行うようにさらに構成される、
    請求項８に記載のデバイス。
12. 前記プロセッサは、
    前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
    第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと、
    を行うようにさらに構成される、請求項８に記載のデバイス。
13. 前記プロセッサは、第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けるようにさらに構成される、請求項１２に記載のデバイス。
14. 前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、ここにおいて、前記プロセッサは、
    前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
    前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと、
    を行うようにさらに構成される、
    請求項８に記載のデバイス。
15. 少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定するための手段と、ここにおいて、前記アクセスユニットはマルチレイヤビットストリーム内に含まれる、
    前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けるための手段と、
    前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングするための手段と
    を備える装置。
16. 関連付けるための前記手段は、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けるための手段を備え、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、請求項１５に記載の装置。
17. 関連付けるための前記手段は、
    第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けるための手段と、
    第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けるための手段とを備える、
    請求項１５に記載の装置。
18. 前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、ここにおいて、関連付けるための前記手段は、
    前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定するための手段と、
    前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けるための手段とを備える、
    請求項１５に記載の装置。
19. 前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けるための手段と、
    第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けるための手段と
    をさらに備える、請求項１５に記載の装置。
20. 第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けるための手段をさらに備える、請求項１９に記載の装置。
21. 前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記装置は、
    前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定するための手段と、
    前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定するための手段と
    をさらに備える、請求項１５に記載の装置。
22. 実行されたときに、デバイスのプロセッサに、
    少なくとも１つの回復点補足エンハンスメント情報（ＳＥＩ）メッセージを関連付けるべきアクセスユニット内に含まれる複数のピクチャのうちの少なくとも１つのピクチャを決定することと、ここにおいて、前記アクセスユニットはマルチレイヤビットストリーム内に含まれる、
    前記少なくとも１つの回復点ＳＥＩメッセージを前記決定された少なくとも１つのピクチャに関連付けることと、
    前記少なくとも１つの回復点ＳＥＩメッセージの、前記決定された少なくとも１つのピクチャへの前記関連付けに少なくとも部分的に基づいて、前記ビデオ情報をコーディングすることと、
    を実行させる命令を記憶した、非一時的コンピュータ可読記憶媒体。
23. 実行されたときに、前記プロセッサに、前記少なくとも１つの回復点ＳＥＩメッセージを前記アクセスユニットの中に含まれる１つよりも多くのピクチャに関連付けることを実行させる命令をさらに記憶し、前記少なくとも１つの回復点ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを備える、請求項２２に記載の非一時的コンピュータ可読記憶媒体。
24. 実行されたときに、前記プロセッサに、
    第１の回復点ＳＥＩメッセージを前記アクセスユニットの第１のピクチャに関連付けることと、
    第２の回復点ＳＥＩメッセージを前記アクセスユニットの第２のピクチャに関連付けることと、
    を実行させる命令をさらに記憶した、請求項２２に記載の非一時的コンピュータ可読記憶媒体。
25. 前記アクセスユニットは、第１のレイヤの中の第１のピクチャと、第２のレイヤの中の第２のピクチャとを備え、前記第２のレイヤは、前記第１のレイヤの従属レイヤであり、前記非一時的コンピュータ可読記憶媒体は、実行されたときに、前記プロセッサに、
    前記第１のピクチャが、前記第１のピクチャの適正な復号のための定義された範囲内にあると知られているかどうかを決定することと、
    前記第１のピクチャが前記定義された範囲内にあると知られているとの決定に応答して、前記少なくとも１つの回復点ＳＥＩメッセージを前記第２のピクチャに関連付けることと、
    を実行させる命令をさらに記憶した、請求項２２に記載の非一時的コンピュータ可読記憶媒体。
26. 実行されたときに、前記プロセッサに、
    前記アクセスユニットの中に含まれる前記複数のピクチャのサブセットを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けることと、
    第１の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの少なくとも１つのピクチャに関連付けることと、
    を実行させる命令をさらに記憶した、請求項２２に記載の非一時的コンピュータ可読記憶媒体。
27. 実行されたときに、前記プロセッサに、第２の領域リフレッシュＳＥＩメッセージを、前記少なくとも１つの回復点ＳＥＩメッセージに関連付けられた前記複数のピクチャの前記サブセットのうちの別のピクチャに関連付けることを実行させる命令をさらに記憶した、請求項２６に記載の非一時的コンピュータ可読記憶媒体。
28. 前記少なくとも１つの回復点ＳＥＩメッセージは、回復点ピクチャのインジケーションと完全一致フラグとを備え、前記非一時的コンピュータ可読記憶媒体は、実行されたときに、前記プロセッサに、
    前記アクセスユニットにおいて開始する前記ビデオ情報の復号が、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャにおいて開始する前記ビデオ情報の復号と同じ回復点ピクチャをもたらすことになるかどうかを決定することと、
    前記ビデオ情報の前記復号が前記同じ回復点ピクチャをもたらすことになるとの決定に応答して、前記ビデオ情報の前記復号が、前記同じ回復点ピクチャをもたらすことになることを示すように、前記完全一致フラグを設定することと、
    を実行させる命令をさらに記憶した、請求項２２に記載の非一時的コンピュータ可読記憶媒体。

Images