JP2022548405A

JP2022548405A - 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング

Info

Publication number: JP2022548405A
Application number: JP2022518798A
Authority: JP
Inventors: イェ－クイ・ワン
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date: 2019-09-24
Filing date: 2020-09-17
Publication date: 2022-11-18
Also published as: US11800130B2; CN114978232A; JP2022548404A; CN114845112A; BR112022004873A2; KR20220065051A; CA3152353A1; JP2022549010A; AU2020352453A1; CA3152357A1; US20220217410A1; WO2021061492A1; CN114450962A; JP2024028383A; US20220217388A1; CN114450675A; CN114424559A; EP4022778A1; AU2020356300A1; KR20220065055A

Abstract

ビデオコーディングメカニズムが開示される。このメカニズムは、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードすることを含む。また、ビットストリームには、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を持つ補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットもエンコードされる。SEI NALユニットは、スケーラブルネスティングSEIメッセージを含む。スケーラブルネスティングSEIメッセージに基づいて、ビットストリームに対してビットストリーム適合性試験のセットが実行される。ビットストリームは、デコーダへの通信のために記憶される。

Description

関連出願の相互参照
本特許出願は、参照により本明細書に組み込まれる、Ye－Kui Wangによって2019年9月24日に出願された「Video Coding Improvements」と題する米国仮特許出願第62／905，236号の利益を主張する。

本開示は、概して、ビデオコーディングに関し、具体的には、複数層ビットストリームのコーディングをサポートするためのシグナリングパラメータの改善に関する。

たとえ比較的短いビデオであっても、これを表すのに必要なビデオデータはかなりの量となるため、データのストリーミングが行われたり、帯域幅容量に限りがある通信ネットワークにまたがってデータが伝達されたりする場合には困難が生じることがある。このため、ビデオデータは通常、今日の通信ネットワークを介して伝達される前に圧縮される。ビデオが記憶装置に記憶される場合に、メモリリソースが乏しい場合もあるため、ビデオのサイズが問題になることもある。ビデオ圧縮デバイスは多くの場合、送信または記憶に先立ち供給元でソフトウェアおよび／またはハードウェアを使ってビデオデータをコーディングし、そうすることでデジタルビデオ画像を表すのに必要なデータの量を減らす。その後、圧縮されたデータは、供給先でビデオデータをデコードするビデオ解凍装置によって受け取られる。ネットワークリソースには限りがあり、より高いビデオ品質を求める要求が増大しているため、画質をほとんど犠牲にしないかまったく犠牲にせずに圧縮率を高める改善された圧縮・解凍技法が望まれている。

一実施形態において、本開示は、デコーダによって実施される方法を含み、本方法は、デコーダの受信器によって、コーディングされたピクチャと、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）に等しいNALユニット型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットとを含むビットストリームを受信するステップと、デコーダのプロセッサによって、コーディングされたピクチャをデコードしてデコードされたピクチャを生成するステップと、を含む。

いくつかのビデオ・コーディング・システムは、SEIメッセージを使用する。SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスによって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかどうかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用して、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかのビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブルネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージのようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。そのため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そのようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化することができない。この例は、スケーラブルネスティングSEIメッセージにおいて、例えばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコード化するためのメカニズムを含む。具体的には、接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットは、スケーラブルネスティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラブルにネストされたSEIメッセージとして使用することができる。これにより、指定された層および／またはOLSに適用しながら、接尾辞SEI
メッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用が低減される。

任意に、上記態様のいずれかにおいて、上記態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメッセージを含む。

任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、1つまたは複数のスケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシュSEIメッセージを含む。

任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージはSEIメッセージを特定のOLSと関連付ける。

任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージはSEIメッセージを特定の層に関連付ける。

任意に、上記態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージは、133に設定されたペイロード型（payloadType）を含む。

任意に、上記態様のいずれかにおいて、態様の別の実現例を提供し、スケーラブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用される第i層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定するスケーラブルネスティング層識別子（layer＿id［i］）を含む。

一実施形態では、本開示は、エンコーダによって実施される方法を含み、本方法は、エンコーダのプロセッサによって、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードするステップと、プロセッサが、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットをビットストリームにエンコードするステップと、プロセッサによって、スケーラブルネスティングSEIメッセージに基づいてビットストリームに対してビットストリーム適合性試験のセットを実行するステップと、プロセッサに結合されたメモリによって、デコーダへの通信のためにビットストリームを記憶するステップと、を含む。

任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージは、133に設定されたpayloadTypeを含む。

任意に、前述した態様のいずれかにおいて、態様の別の実施態様が提供され、スケーラブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用される第iの層のnuh＿layer＿id値を指定するスケーラブルネスティング層＿id［i］を含む。

一実施形態において、本開示は、プロセッサと、プロセッサに結合された受信器と、プロセッサに結合されたメモリと、プロセッサに結合された送信器とを備え、プロセッサ、受信器、メモリ、および送信器は、前述の態様の方法を実行するように構成される、ビデオコーディング装置を含む。

一実施形態において、本開示は、ビデオコーディング装置によって使用されるコンピュータプログラム製品を含む非一時的コンピュータ可読媒体を含み、コンピュータプログラム製品は非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含み、プロセッサによって実行されると、ビデオコーディング装置に前述の態様のいずれかの方法を実行させる。

一実施形態において、本開示は、デコーダであって、コーディングされたピクチャと、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットとを含むビットストリームを受信する受信手段と、コーディングされたピクチャをデコードしてデコードされたピクチャを生成するデコード手段と、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送するための転送手段と、と備える、デコーダを含む。

任意で、前述の態様のいずれかにおいて、態様の別の実施態様が提供され、デコーダは、前述の態様のいずれかの方法を実行するようにさらに構成される。

一実施形態では、本開示は、エンコーダを含み、エンコーダは、エンコード手段であって、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードし、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットをビットストリームにエンコードする、エンコード手段と、スケーラブルネスティングSEIメッセージに基づいてビットストリームに対してビットストリーム適合性試験のセットを実行するためのHRD手段と、デコーダに向けて通信するためのビットストリームを記憶するための記憶手段とを含む。

任意で、前述の態様のいずれかにおいて、エンコーダは、前述の態様のいずれかの方法を実行するようにさらに構成される、態様の別の実施態様が提供される。

明確にするために、前述の実施形態のうちのいずれか1つは、他の前述の実施形態のうちのいずれか1つまたは複数と組み合わされて、本開示の範囲内の新しい実施形態を作成する場合がある。

上記その他の特徴は、以下の詳細な説明を添付の図面および特許請求の範囲と併せて読めばより明確に理解されるであろう。

本開示をより十分に理解するために、次に、添付の図面および詳細な説明と関連して理解される以下の簡単な説明を参照する。添付の図面および詳細な説明において、類似の参照番号は類似の部分を表す。

ビデオ信号をコーディングする例示的な方法のフローチャートである。ビデオコーディングのための例示的なコーディング・デコーディング（コーデック）・システムの概略図である。例示的なビデオエンコーダを示す概略図である。例示的なビデオデコーダを示す概略図である。例示的な仮想参照デコーダ（HRD）を示す概略図である。例示的な複数層ビデオシーケンスを示す概略図である。例示的なビットストリームを示す概略図である。例示的なビデオコーディング装置の概略図である。スケーラブルネスティングSEIメッセージを含む接尾辞補足拡張情報（SEI）メッセージを適用することによって、ビデオシーケンスをビットストリームにエンコードする例示的な方法のフローチャートである。スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを使用するビットストリームからビデオシーケンスをデコードする例示的な方法のフローチャートである。スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いるビットストリームを用いてビデオシーケンスをコーディングするための例示的なシステムの概略図である。

最初に、1つまたは複数の実施形態の例示的な実装態様が以下に提供されるが、開示されたシステムおよび／または方法は、現在知られているか存在するかにかかわらず、任意の数の技術を使用して実装され得ることを理解されたい。本開示は、本明細書において図示または記載される例示的な設計および実装形態を含む、以下に示される例示的な実装形態、図面、および技法に決して限定されるべきでなく、それらの均等物の全範囲とともに添付の特許請求の範囲の範囲内で修正されてよい。

以下の用語は、本明細書で反対の文脈で使用されない限り、次のように定義される。具体的に述べると、以下の定義は本開示をさらに明確にすることを意図している。しかしながら、用語は、異なる文脈では異なって記載される場合がある。したがって、以下の定義は補助的なものとみなされるべきであり、本明細書でかかる用語に与えられている説明の他の定義を制限するものと考えられるべきではない。

ビットストリームは、エンコーダとデコーダとの間で送信するために圧縮されたビデオデータを含む、一連のビットである。エンコーダは、ビデオデータを圧縮してビットストリームにするために、エンコーディングプロセスを使用するように構成された装置である。デコーダは、表示用にビットストリームからビデオデータを復元するために、デコーディングプロセスを使用するように構成された装置である。ピクチャは、フレームまたはそのフィールドを生成するルーマサンプルのアレイおよび／またはクロマサンプルのアレイである。スライスは、単一のネットワーク抽象化層（NAL）ユニットに排他的に含まれる整数個の完全なタイル、または整数個のピクチャの連続する完全なコーディング・ツリー・ユニット（CTU）行（例えば、タイル内）である。説明を明確にするために、エンコードまたはデコードされたピクチャを現在のピクチャと呼ぶことができる。コーディングされたピクチャは、アクセスユニット（AU）内のNALユニットヘッダ層識別子（nuh＿layer＿id）の特定の値を有するビデオコーディング層（VCL）NALユニットを備え、ピクチャのすべてのコーディング・ツリー・ユニット（CTU）を含むピクチャのコーディングされた表現である。デコードされたピクチャは、コーディングされたピクチャにデコード処理を施して生成されたピクチャである。

AUは、異なる層に含まれ、デコードされたピクチャバッファ（DPB）からの出力のために同じ時間に関連付けられた、コーディングされたピクチャのセットである。NALユニットは、生バイト・シーケンス・ペイロード（RBSP）の形態のデータ、データの型の指示を含むシンタックス構造であり、エミュレーション防止バイトを用いて所望に応じて散在される。VCL NALユニットは、ピクチャのコード化スライスなどのビデオデータを含むようにコーディングされたNALユニットである。非VCL NALユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むNALユニットである。NALユニット型（nal＿unit＿type）は、NALユニットに含まれるデータの型を示す、NALユニットに含まれるシンタックス要素である。層は、層IDおよび関連付けられた非VCL NALユニットによって示されるように、指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）を共有するVCL NALユニットのセットである。nuh＿layer＿idは、NALユニットを含む層の識別子を指定するシンタックス要素である。出力層セット（OLS）は、1以上の層が出力層として指定される層の集合である。

仮想参照デコーダ（HRD）は、エンコーディングプロセスによって生成されたビットストリームの変動性をチェックして指定された制約との適合性を検証するエンコーダ上で動作するデコーダモデルである。ビットストリーム適合性試験は、エンコードされたビットストリームが多用途ビデオコーディング（VVC）などの規格に準拠しているかどうかを判定するための試験である。HRDパラメータは、HRDの動作条件を初期化および／または定義するシンタックス要素である。HRDパラメータは、補足拡張情報（SEI）メッセージおよび／またはビデオ・パラメータ・セット（VPS）に含まれ得る。

SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するために、デコーディングプロセスで必要とされない情報を伝達する、特定のセマンティクスを有するシンタックス構造である。SEI NALユニットは、1つまたは複数のSEIメッセージを含むNALユニットである。特定のSEI NALユニットは、カレントSEI NALユニットと称されてもよい。スケーラブルネスティングSEIメッセージは、1つまたは複数の出力層セット（OLS）または1つまたは複数の層に対応する複数のSEIメッセージを含むメッセージである。接頭辞SEIメッセージは、1つ以上の後続のNALユニットに適用されるSEIメッセージである。prefix SEI NAL unit type（PREFIX＿SEI＿NUT）は、対応するSEIメッセージが接頭辞SEIメッセージであることを表す。接尾辞SEIメッセージは、1つまたは複数の先行するNALユニットに適用されるSEIメッセージである。suffix SEI NAL unit type（SUFFIX＿SEI＿NUT）は、対応するSEIメッセージが接尾辞SEIメッセージであることを表す。ペイロード型（payloadType）は、SEIメッセージに含まれるデータの種類を表すシンタックス要素であり、SEI NALユニットに含まれるSEIメッセージの種類を表す。バッファリング期間（BP）SEIメッセージは、コードされたピクチャバッファ（CPB）を管理するためにHRDを初期化するためのHRDパラメータを含むSEIメッセージの一種である。ピクチャタイミング（PT）SEIメッセージは、CPBおよび／またはデコードされたピクチャバッファ（DPB）におけるAUのための配信情報を管理するためのHRDパラメータを含むSEIメッセージの型である。デコードユニット情報（DUI）SEIメッセージは、CPBおよび／またはDPBにおけるDUの配信情報を管理するためのHRDパラメータを含むSEIメッセージの一種である。デコードされたピクチャハッシュSEIメッセージは、デコードされたピクチャのサンプル値から導出されたチェックサムを含むSEIメッセージの一種である。デコードされたピクチャハッシュSEIメッセージは、デコーダにおいてピクチャが正しく受信され、デコードされたか否かを検出するために使用され得る。スケーラブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージのセットである。スケーラブルにネストされたSEIメッセージは、スケーラブルネスティングSEIメッセージ内にネストされたSEIメッセージである。スケーラブルネスティング層id（layer＿id［i］）は、スケーラブルにネストされたSEIメッセージが適用される第i層のnuh＿layer＿id値を指定する、スケーラブルネスティングSEIメッセージ内のシンタックス要素である。

ピクチャパラメータセット（PPS）は、各ピクチャヘッダに見られるシンタックス要素によって決定されるコーディングされたピクチャ全体に適用されるシンタックス要素を含むシンタックス構造である。ピクチャヘッダは、コーディングされたピクチャの全スライスに適用されるシンタックス要素を含む、シンタックス構造である。スライスヘッダは、スライスで表されるタイル内のすべてのタイルまたはCTU行に関するデータ要素を含むコーディングされたスライスの一部である。コーディングされたビデオシーケンスは、1つまたは複数のコーディングされたピクチャのセットである。デコードされたビデオシーケンスは、1つまたは複数のデコードされたピクチャのセットである。

本明細書では、以下の頭字語、すなわち、アクセスユニット（AU）、コーディング・ツリー・ブロック（CTB）、コーディング・ツリー・ユニット（CTU）、コーディングユニット（CU）、コーディングされた層ビデオシーケンス（CLVS）、コーディングされたビデオシーケンス開始（CLVSS）、コーディングされたビデオシーケンス（CVS）、コーディングされたビデオシーケンス開始（CVSS）、ジョイント・ビデオ・エキスパート・チーム（JVET）、仮想参照デコーダHRD、動き制約タイルセット（MCTS）、最大転送ユニット（MTU）、ネットワーク抽象化層（NAL）、出力層セット（OLS）、ピクチャ・オーダ・カウント（POC）、ランダム・アクセスポイント（RAP）、生バイト・シーケンス・ペイロード（RBSP）、シーケンス・パラメータ・セット（SPS）、ビデオ・パラメータ・セット（VPS）、多用途ビデオコーディング（VVC）が使用される。

データ損失を最小にしながらビデオファイルのサイズを縮小するために、多くのビデオ圧縮技法を使用することができる。例えば、ビデオ圧縮技法は、ビデオシーケンスにおけるデータ冗長性を低減または除去するために、空間（例えば、イントラピクチャ）予測および／または時間（例えば、インターピクチャ）予測を実行することを含み得る。ブロックベースのビデオコーディングでは、ビデオスライス（例えば、ビデオピクチャまたはビデオピクチャの一部）はビデオブロックに区分けされてよく、ビデオブロックは、ツリーブロック、コーディング・ツリー・ブロック（CTB）、コーディング・ツリー・ユニット（CTU）、コーディングユニット（CU）、および／または、コーディングノードとも称されてよい。ピクチャのイントラ符号化（I）スライス内のビデオブロックは、同じピクチャ内の隣り合うブロックにおける、参照サンプルに対する空間予測を使用してコーディングされる。ピクチャのインター符号化片方向予測（P）または双方向予測（B）スライス内のビデオブロックは、同じピクチャ内の隣り合うブロックにおける、参照サンプルに対する空間予測、または他の参照ピクチャにおける、参照サンプルに対する時間予測を使用してコーディングされてよい。ピクチャはフレームおよび／または画像と称されてもよく、参照ピクチャはフレームおよび／または参照画像と称されてよい。空間予測または時間予測は、画像ブロックを表す予測ブロックになる。残余データは、元の画像ブロックと予測ブロックとの画素差を表す。したがって、インター符号化ブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、符号化ブロックと予測ブロックとの差分を示す残余データとに従ってエンコードされる。イントラ符号化ブロックは、イントラコーディングモードと残余データとに従ってエンコードされる。さらに圧縮するために、残余データは、画素領域から変換領域に変換されてよい。これらは残余変換係数になり、量子化され得る。量子化された変換係数は、最初は二次元配列で配置されてよい。量子化された変換係数は、変換係数の一次元ベクトルを生成するためにスキャンされ得る。さらなる圧縮を実現するために、エントロピーコーディングが適用される場合がある。かかるビデオ圧縮技法は、以下でより詳細に説明される。

エンコードされたビデオを正確にデコードできるように、ビデオは、対応するビデオコーディング標準に従ってエンコードされデコードされる。ビデオコーディング標準には、国際電気通信連合（ITU）標準化部門（ITU－T）H．261、国際標準化機構／国際電気標準会議（ISO／IEC）動画専門家グループ（MPEG）－1パート2、ITU－T H．262またはISO／IEC MPEG－2パート2、ITU－T H．263、ISO／IEC MPEG－4パート2、ITU－T H．264またはISO／IEC MPEG－4パート10としても知られる高度ビデオコーディング（AVC）、およびITU－T H．265またはMPEG－Hパート2としても知られる高効率ビデオコーディング（HEVC）が含まれる。AVCは、スケーラブルビデオコーディング（SVC）、マルチビュービデオコーディング（MVC）、マルチビュービデオコーディングプラス深度（MVC＋D）、および三次元（3D）AVC（3D－AVC）などの拡張を含む。HEVCは、スケーラブルHEVC（SHVC）、マルチビューHEVC（MV－HEVC）、および3D HEVC（3D－HEVC）などの拡張を含む。ITU－TおよびISO／IECの合同ビデオ専門家チーム（JVET）は、多用途ビデオコーディング（VVC）と称されるビデオコーディング標準の開発に着手した。VVCは、JVET－O 2001－v14を含むワーキングドラフト（WD）に含まれる。

いくつかのビデオ・コーディング・システムは、補足拡張情報（SEI）メッセージを用いる。SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコードプロセスによって必要とされない情報を含む。例えば、SEIメッセージは、規格に準拠しているかどうかビットストリームをチェックするために使用されるパラメータを含み得る。さらに、ビデオ・コーディング・システムは、ピクチャを複数の層および／または出力層セット（OLS）にエンコードすることができる。スケーラブルネスティングSEIメッセージを使用して、接頭辞SEIメッセージを層および／またはOLSに相関させることができる。いくつかのビデオ・コーディング・システムは、接尾辞SEIメッセージも使用するが、スケーラブルネスティングSEIメッセージを接尾辞SEIメッセージで使用することはできない。様々な型のSEIメッセージは、接頭辞SEIメッセージまたは接尾辞SEIメッセージのいずれかとして含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージのようなある型のSEIメッセージは、接尾辞SEIメッセージとしての使用に制限される。そのため、デコードされたピクチャハッシュSEIメッセージなどの特定のSEIメッセージは、そのようなシステムにおけるスケーラブルネスティングSEIメッセージにおいてコード化することができない。

本明細書で開示されるのは、スケーラブルネスティングSEIメッセージにおいて、例えばデコードされたピクチャハッシュSEIメッセージのようなあるSEIメッセージをコーディングするためのメカニズムである。具体的には、接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージと併せて使用されることが可能にされる。別の言い方をすれば、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を有するSEI NALユニットは、スケーラブルネスティングSEIメッセージを含み得る。このようにして、デコードされたピクチャハッシュSEIメッセージなどの接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージとして、および／またはスケーラブルネスティングSEIメッセージに含まれるスケーラブルにネストされたSEIメッセージとして使用することができる。これにより、指定された層および／またはOLSに適用しながら、接尾辞SEIメッセージをネストすることができる。その結果、エンコーダおよびデコーダの機能が向上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用が低減される。

図1は、ビデオ信号のコーディングの例示的な動作方法100のフローチャートである。具体的に述べると、ビデオ信号はエンコーダでエンコードされる。エンコーディングプロセスは、ビデオファイルのサイズを減じる様々な手法を用いてビデオ信号を圧縮する。ファイルのサイズが小さければ、圧縮されたビデオファイルをユーザへ伝送し、これにともなう帯域幅オーバーヘッドを減らすことが可能となる。その後、デコーダは圧縮されたビデオファイルをデコードし、エンドユーザに向けて表示するため元のビデオ信号を復元する。デコーダでビデオ信号を着実に復元することを可能にするため、デコーディングプロセスは通常、エンコーディングプロセスを反映する。

ステップ101では、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号はメモリに記憶された圧縮されていないビデオファイルであってよい。もう一つの例として、ビデオカメラなどのビデオキャプチャ装置によってビデオファイルがキャプチャされ、ビデオのライブストリーミングを支援するためエンコードされてもよい。ビデオファイルはオーディオ成分とビデオ成分の両方を含むことがある。ビデオ成分は一連の画像フレームを含み、これが連続して見られると、視覚的な動きの印象を与える。フレームは画素を含み、画素は、ここでルマ成分（またはルマサンプル）と呼ばれる光と、クロマ成分（または色サンプル）と呼ばれる色とによって表される。いくつかの例では、三次元閲覧を支援するため、フレームがデプス値を含むこともある。

ステップ103では、ビデオがブロックに区分けされる。区分けは、各フレーム内の画素を圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、高効率ビデオコーディング（HEVC）（H．265およびMPEG－Hパート2としても知られている）では、フレームは、まずコーディング・ツリー・ユニット（CTU）に細分化でき、これは所定のサイズ（例えば、64画素×64画素）のブロックである。CTUはルマおよびクロマの両方のサンプルを含む。コーディングツリーを使ってCTUをブロックに分割し、その後、さらなるエンコーディングを支援する構成が達成されるまでブロックを再帰的に細分することができる。例えば、フレームのルマ成分は、個々のブロックが比較的均一な照明値を含むようになるまで細分されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むようになるまで細分されてよい。したがって、区分け手法はビデオフレームの内容に応じて異なる。

ステップ105では、ステップ103で区分けされた画像ブロックを様々な圧縮手法を用いて圧縮する。例えば、インター予測および／またはイントラ予測が使われてよい。インター予測は、一般的なシーンの中の物体が連続するフレームに現れる傾向があるという事実を利用するようになっている。したがって、参照フレーム内の物体を表すブロックは、近接するフレームで繰り返し記述される必要はない。具体的に述べると、机などの物体は複数のフレームにわたって一定の位置にとどまることがある。それ故、机は一度記述され、近接するフレームは参照フレームを参照できる。パターンマッチング手法を用いることで、複数のフレームにわたって物体を整合させることができる。さらに、例えば物体の動きやカメラの動きにより、複数のフレームにわたって動く物体が表されることがある。個別の一例として、ビデオは複数のフレームにわたって画面を横切る自動車を表示することがある。このような動きは動きベクトルを使って記述できる。動きベクトルは、或るフレーム内の或る物体の座標から参照フレーム内の当該物体の座標までのオフセットを提供する二次元ベクトルである。このため、インター予測は、現在フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す1組の動きベクトルとしてエンコードできる。

イントラ予測は一般的なフレーム内のブロックをエンコードする。イントラ予測は、ルマ成分とクロマ成分がフレームの中で群がる傾向があるという事実を利用する。例えば、木の一部分にある緑のパッチは、同様の緑のパッチの近くに位置する傾向がある。イントラ予測は、複数の方向予測モード（例えばHEVCで33）、平面モード、およびダイレクトカレント（DC）モードを使用する。方向モードは、現在ブロックが対応する方向で隣接ブロックのサンプルと同様／同じであることを指示する。平面モードは、行／列（例えば平面）沿いの一連のブロックを、行のエッジの隣接ブロックに基づいて補間できることを指示する。平面モードは、実際には、変化する値の比較的一定のスロープを使うことによって、行／列にわたる光／色の滑らかな遷移を示す。DCモードは境界平滑化に使われ、ブロックが、方向予測モードの角度方向と関連するすべての隣接ブロックのサンプルと関連する平均値と同様／同じであることを指示する。したがって、イントラ予測ブロックは、実際の値の代わりに様々な関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表すことができる。いずれの場合でも、予測ブロックは場合によっては画像ブロックを正確に表さないことがある。差異は残余ブロックに保管される。ファイルをさらに圧縮するため、残余ブロックには変換が適用できる。

ステップ107では、様々なフィルタリング技法が適用される。HEVCではインループフィルタリング方式に従ってフィルタが適用される。上述したブロックに基づく予測は、デコーダでブロック状の画像を作ることがある。さらに、ブロックに基づく予測方式はブロックをエンコードし、エンコードされたブロックを後ほど参照ブロックとして使用するため復元することができる。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびサンプル適応型オフセット（SAO）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタはそのようなブロッキングアーチファクトを軽減するため、エンコードされたファイルは正確に復元できる。さらに、これらのフィルタは復元された参照ブロックでアーチファクトを軽減するため、復元された参照ブロックに基づいてエンコードされる後続のブロックでさらなるアーチファクトが発生する見込みは少なくなる。

ビデオ信号が区分けされ、圧縮され、フィルタされたら、できあがったデータがステップ109にてビットストリームでエンコードされる。このビットストリームは上述したデータを含む他、デコーダでの適切なビデオ信号復元を支援するにあたって望ましいシグナリングデータを含む。例えば、かかるデータは、区分データ、予測データ、残余ブロック、およびデコーダにコーディング指示を提供する様々なフラグを含み得る。ビットストリームは、要求に応じてデコーダへ伝送できるようにメモリに保管されてよい。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は繰り返し作業である。したがって、ステップ101、103、105、107、および109は、多数のフレームおよびブロックにわたって連続的に、および／または同時に、行われてよい。図1に示された順序は説明を明瞭かつ平易にするために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図するものではない。

デコーダはビットストリームを受け取り、ステップ111でデコーディングプロセスを開始する。具体的に述べると、デコーダはエントロピーデコーディング方式を用いてビットストリームを対応するシンタックスデータとビデオデータに変換する。デコーダはステップ111で、ビットストリームからのシンタックスデータを使ってフレームの区分を判断する。区分けはステップ103におけるブロック区分けの結果に整合しなければならない。これより、ステップ111で使われるエントロピーエンコーディング／デコーディングを説明する。エンコーダは、入力画像における値の空間的配置に基づいて数通りの選択肢からブロック区分け方式を選択するなど、圧縮過程で多数の選択を行う。ぴったりの選択肢を伝えるため、多数のビンを使用することがある。ここで使われるビンは、変数として扱われる2進値である（例えば、状況に応じて変わり得るビット値）。エントロピーコーディングでは、エンコーダはある特定の状況で明らかに成り立たないオプションを破棄し、許容可能オプションからなる集合を残すことができる。その後、それぞれの許容可能オプションには符号語が割り当てられる。符号語の長さは許容可能オプションの数に基づいている（例えば、2つのオプションに対し1ビン、3乃至4つのオプションに対し2ビンなど）。その後、エンコーダは選択されたオプションの符号語をエンコードする。符号語は、すべての可能なオプションからなる大きい集合からの選択を一意に指示するのに対し、許容可能オプションからなる小さいサブセットからの選択を一意に指示する場合に所望の大きさになるため、この方式は符号語のサイズを縮小する。その後、デコーダは、エンコーダと同様に許容可能オプションからなる集合を割り出すことによって選択をデコードする。デコーダは、許容可能オプションからなる集合を割り出すことによって符号語を読み取り、エンコーダによって行われた選択を割り出すことができる。

ステップ113では、デコーダがブロックデコーディングを行う。具体的に述べると、デコーダは逆変換を用いて残余ブロックを生成する。その後、デコーダは残余ブロックと対応する予測ブロックを使用し、区分けに基づいて画像ブロックを復元する。予測ブロックは、ステップ105においてエンコーダで生成されたイントラ予測ブロックとインター予測ブロックの両方を含み得る。その後、復元された画像ブロックは、ステップ111で判断された区分けデータに基づいて復元されたビデオ信号のフレームの中に配置される。ステップ113のシンタックスも上述したエントロピーコーディングによりビットストリームで伝達されてよい。

ステップ115では、エンコーダにおけるステップ107と同様に復元されたビデオ信号のフレームに対してフィルタリングが行われる。ブロッキングアーチファクトを除去するため、例えばノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびSAOフィルタをフレームに適用できる。フレームがフィルタされたら、ステップ117でビデオ信号をエンドユーザによる閲覧のためディスプレイへ出力できる。

図2は、ビデオコーディングのための例示的なコーディングおよびデコーディング（コーデック）システム200の概略図である。具体的に述べると、コーデックシステム200は動作方法100の実施を支援する機能を提供する。エンコーダとデコーダの両方で使われるコンポーネントを描くため、コーデックシステム200は概括されている。コーデックシステム200は動作方法100のステップ101および103に関して述べたようにビデオ信号を受け取り、これを区分けし、その結果、区分けされたビデオ信号201が得られる。コーデックシステム200はその後、方法100のステップ105、107、および109に関して述べたようにエンコーダとして機能する場合に、区分けされたビデオ信号201をコーディングされたビットストリームに圧縮する。コーデックシステム200は、デコーダとして機能する場合に、動作方法100のステップ111、113、115、および117に関して述べたように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム200は、総合コーダ制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネント215、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、動き推定コンポーネント221、スケーリング逆変換コンポーネント229、フィルタ制御解析コンポーネント227、インループフィルタコンポーネント225、デコードされたピクチャバッファコンポーネント223、およびヘッダフォーマッティング・コンテキスト適応型バイナリ算術コーディング（CABAC）コンポーネント231を含む。かかるコンポーネントは図示された通りに結合されている。図2で、黒い線はエンコード／デコードされるデータの動きを示しており、破線は他のコンポーネントの動作を制御する制御データの動きを示している。コーデックシステム200のコンポーネントはどれもエンコーダ内に存在してよい。デコーダはコーデックシステム200のコンポーネントのサブセットを含んでよい。例えば、デコーダは、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、スケーリング逆変換コンポーネント229、インループフィルタコンポーネント225、およびデコードされたピクチャバッファコンポーネント223を含
んでよい。これよりこれらのコンポーネントを説明する。

区分けされたビデオ信号201は、コーディングツリーによって画素からなるブロックに区分けされたキャプチャ済みビデオシーケンスである。コーディングツリーは様々なスプリットモードを用いて画素からなるブロックをより小さい画素からなるブロックに細分する。その後、これらのブロックはより小さいブロックにさらに細分できる。ブロックはコーディングツリー上でノードと呼ばれることがある。大きい親ノードは小さい子ノードにスプリットされる。ノードが細分される回数はノード／コーディングツリーの深度と呼ばれる。分割されたブロックは、場合によってはコーディングユニット（CU）に含まれる可能性がある。例えば、CUは、対応するCUのシンタックス命令とともに、ルマブロック、（1つまたは複数の）赤差のクロマ（Cr）ブロック、および（1つまたは複数の）青差のクロマ（Cb）ブロックを含む、CTUのサブ部分であってもよい。スプリットモードは、バイナリツリー（BT）、トリプルツリー（TT）、およびクアドツリー（QT）を含み、これらのモードは、使用するスプリットモードに応じて形が異なる2つ、3つ、または4つの子ノードにノードを区分けするために使われる。区分けされたビデオ信号201は、圧縮のため、総合コーダ制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネント215、フィルタ制御解析コンポーネント227、および動き推定コンポーネント221へ転送される。

総合コーダ制御コンポーネント211は、用途の制約条件に応じてビデオシーケンスの画像をビットストリームにコーディングすることに関係する決定を下すように構成される。例えば、総合コーダ制御コンポーネント211はビットレート／ビットストリームサイズと復元品質との最適化を管理する。そのような決定は、使用できるストレージ空間／帯域幅と画像の解像度要求に基づいて下されてよい。総合コーダ制御コンポーネント211はまた、バッファのアンダーラン問題とオーバーラン問題を軽減するため、伝送速度を踏まえてバッファの使用状況を管理する。これらの問題を管理するため、総合コーダ制御コンポーネント211は、他のコンポーネントによる区分けと予測とフィルタリングを管理する。例えば、総合コーダ制御コンポーネント211は、解像度を上げて帯域幅使用を増大させるために圧縮の複雑度を動的に増大させることができ、あるいは解像度と帯域幅使用を低下させるために圧縮の複雑度を低下させることができる。それ故、総合コーダ制御コンポーネント211はコーデックシステム200の他のコンポーネントを制御することで、ビデオ信号の復元品質とビットレート問題のバランスをとる。総合コーダ制御コンポーネント211は、他のコンポーネントの動作を制御する制御データを生成する。制御データはまた、デコーダでのデコードのためのパラメータをシグナリングするため、ヘッダーフォーマッティングCABACコンポーネント231へ転送されてビットストリームでエンコードされる。

区分けされたビデオ信号201は、インター予測のため、動き推定コンポーネント221と動き補償コンポーネント219にも送信される。区分けされたビデオ信号201のフレームまたはスライスは複数のビデオブロックに分割できる。動き推定コンポーネント221と動き補償コンポーネント219は、時間予測を提供するため、1つ以上の参照フレーム内の1つ以上のブロックを基準にして受信したビデオブロックのインター予測コーディングを行う。コーデックシステム200は、例えばビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディング工程を実行できる。

動き推定コンポーネント221と動き補償コンポーネント219は高度に一体化されてもよいが、概念的な目的のため別々に示されている。動き推定コンポーネント221によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコーディングされた物体の移動を示すことができる。予測ブロックとは、画素差の観点から、コーディングされるブロックによく一致することが分かっているブロックである。予測ブロックは参照ブロックとも称されてよい。かかる画素差は、絶対差の和（SAD）、二乗差の和（SSD）、またはその他の差指標によって割り出すことができる。HEVCは、CTU、コーディング・ツリー・ブロック（CTB）、およびCUを含むいくつかのコーディングされた物体を使用する。例えば、CTUはCTBに分割でき、その後CTBは、CUに含めるためにCBに分割することができる。CUは、予測データを含む予測ユニットとして、および／またはCUの変換された残余データを含む変換ユニット（TU）として、エンコードできる。動き推定コンポーネント221は、レート歪み最適化プロセスの一部としてレート歪み解析を用いることによって動きベクトル、予測ユニット、およびTUを生成する。例えば、動き推定コンポーネント221は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトルなどを割り出すことができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択できる。最良のレート歪み特性とは、ビデオ復元の質（例えば、圧縮によるデータ損失量）とコーディング効率（例えば、最終的なエンコーディングのサイズ）とのバランスをとるものである。

いくつかの例において、コーデックシステム200は、デコードされたピクチャバッファコンポーネント223に保管された参照ピクチャのサブ整数画素位置の値を計算できる。例えば、ビデオコーデックシステム200は、参照ピクチャの4分の1画素位置、8分の1画素位置、またはその他の小数画素位置の値を補間できる。したがって、動き推定コンポーネント221は全画素位置と小数画素位置を基準にして動き探索を行い、小数画素精度の動きベクトルを出力できる。動き推定コンポーネント221は、予測ユニットの位置を参照ピクチャの予測ブロックの位置に比較することによって、インター符号化スライス内のビデオブロックの予測ユニットについて動きベクトルを計算する。動き推定コンポーネント221は、計算した動きベクトルを動きデータとしてヘッダーフォーマッティングCABACコンポーネント231にエンコーディングのため出力し、動き補償コンポーネント219に動きを出力する。

動き補償コンポーネント219によって行われる動き補償では、動き推定コンポーネント221によって割り出された動きベクトルに基づいて予測ブロックを取得または生成できる。繰り返しになるが、いくつかの例において、動き推定コンポーネント221と動き補償コンポーネント219は機能的に一体化されてもよい。現在ビデオブロックの予測ユニットの動きベクトルを受け取った動き補償コンポーネント219は、動きベクトルが指し示す予測ブロックの位置を特定できる。その後、コーディングされる現在ビデオブロックの画素値から予測ブロックの画素値を引いて画素差の値を形成することによって、残余ビデオブロックが形成される。通常、動き推定コンポーネント221はルマ成分について動き推定を行い、動き補償コンポーネント219はルマ成分に基づいて計算された動きベクトルをクロマ成分とルマ成分の両方に使用する。予測ブロックと残余ブロックは変換スケーリング量子化コンポーネント213へ転送される。

区分けされたビデオ信号201はイントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217にも送信される。動き推定コンポーネント221ならびに動き補償コンポーネント219と同様、イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217も高度に一体化されてよいが、概念的な目的のため別々に示されている。イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217は、上述したように、動き推定コンポーネント221と動き補償コンポーネント219によってフレームからフレームにかけて行われるインター予測の代わりに、現在フレーム内のブロックを基準にして現在ブロックをイントラ予測する。具体的に述べると、イントラピクチャ推定コンポーネント215は現在ブロックをエンコードするために使うイントラ予測モードを決定する。いくつかの例において、イントラピクチャ推定コンポーネント215は複数の実証済みイントラ予測モードから現在ブロックをエンコードする適切なイントラ予測モードを選択する。その後、選択されたイントラ予測モードはエンコーディングのためヘッダーフォーマッティングCABACコンポーネント231へ転送される。

例えば、イントラピクチャ推定コンポーネント215は様々な実証済みイントラ予測モードについてレート歪み解析を用いてレート歪み値を計算し、実証済みモードの中から最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は通常、エンコードされたブロックと、エンコードされたブロックを生成するためにエンコードされた元のエンコードされていないブロックとの歪み（または誤差）の量と、エンコードされたブロックの生成に使われたビットレート（例えばビット数）を割り出す。イントラピクチャ推定コンポーネント215は様々なエンコードされたブロックの歪みとレートから比率を計算することで、ブロックで最良のレート歪み値を示すイントラ予測モードがどれかを判断する。加えて、イントラピクチャ推定コンポーネント215は、レート歪み最適化（RDO）に基づくデプスモデリングモード（DMM）を使ってデプスマップのデプスブロックをコーディングするように構成されてよい。

イントラピクチャ予測コンポーネント217は、エンコーダ上で実行される場合は、イントラピクチャ推定コンポーネント215によって決定された選択済みのイントラ予測モードに基づいて予測ブロックから残余ブロックを生成でき、あるいはデコーダ上で実行される場合は、ビットストリームから残余ブロックを読み取る。残余ブロックは、行列として表現される、予測ブロックと元のブロックとの値の差を含む。その後、残余ブロックは変換スケーリング量子化コンポーネント213へ転送される。イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217はルマ成分とクロマ成分の両方に作用できる。

変換スケーリング量子化コンポーネント213は、残余ブロックをさらに圧縮するように構成される。変換スケーリング量子化コンポーネント213は、離散コサイン変換（DCT）、離散サイン変換（DST）、または概念的に類似する変換などの変換を残余ブロックに適用し、残余変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他種変換を用いることもできる。変換は、画素値領域から周波数領域などの変換領域に残余情報を変換できる。変換スケーリング量子化コンポーネント213はまた、例えば周波数に基づいて、変換された残余情報をスケールするように構成される。かかるスケーリングでは残余情報にスケール率を適用し、これにより様々な周波数情報が様々な粒度で量子化され、これにより、復元されたビデオの最終的な視覚的品質が左右され得る。変換スケーリング量子化コンポーネント213はまた、ビットレートをさらに低減するため、変換係数を量子化するように構成される。量子化プロセスは係数の一部または全部に関連するビットデプスを減らすことができる。量子化の度合いは量子化パラメータを調節することによって変更できる。いくつかの例において、変換スケーリング量子化コンポーネント213はその後、量子化された変換係数を含む行列のスキャンを行うことができる。量子化された変換係数は、ビットストリームでエンコードされるため、ヘッダーフォーマッティングCABACコンポーネント231へ転送される。

スケーリング逆変換コンポーネント229は、動き推定を支援するため、変換スケーリング量子化コンポーネント213の逆の操作を適用する。スケーリング逆変換コンポーネント229は、逆スケーリング、変換、および／または量子化を適用することで、例えば、別の現在ブロックの予測ブロックになり得る参照ブロックとして後ほど使用するため、残余ブロックを画素領域で復元する。動き推定コンポーネント221および／または動き補償コンポーネント219は、残余ブロックを、後のブロック／フレームの動き推定で使用する対応する予測ブロックに加えることによって、参照ブロックを計算できる。スケーリングと量子化と変換の時に生じるアーチファクトを軽減するため、復元された参照ブロックにはフィルタが適用される。さもないと、後続のブロックが予測される時に、そのようなアーチファクトによって予測が不正確になる（また、さらなるアーチファクトが生じる）可能性がある。

フィルタ制御解析コンポーネント227とインループフィルタコンポーネント225は、残余ブロックに、および／または復元された画像ブロックに、フィルタを適用する。例えば、元の画像ブロックを復元するため、スケーリング逆変換コンポーネント229からの変換済み残余ブロックを、イントラピクチャ予測コンポーネント217および／または動き補償コンポーネント219からの対応する予測ブロックに組み合わせることができる。その後、復元された画像ブロックにフィルタを適用できる。いくつかの例において、フィルタは、代わりに、残余ブロックに適用できる。図2の他のコンポーネントと同様、フィルタ制御解析コンポーネント227とインループフィルタコンポーネント225は高度に一体化されてともに実行されてもよいが、概念的な目的のため別々に描かれている。復元された参照ブロックに適用されるフィルタは特定の空間領域に適用され、かかるフィルタがどのように適用されるかを調整する複数のパラメータを含む。フィルタ制御解析コンポーネント227は復元された参照ブロックを解析することで、かかるフィルタが適用されるべき状況を判断し、該当するパラメータを設定する。かかるデータは、エンコーディングのため、フィルタ制御データとしてヘッダーフォーマッティングCABACコンポーネント231へ転送される。インループフィルタコンポーネント225はフィルタ制御データに基づいてかかるフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、および適応型ループフィルタを含み得る。かかるフィルタは、例に応じて空間／画素領域（例えば、復元された画素ブロック上）で、または周波数領域で、適用されてよい。

エンコーダとして作動する場合、フィルタされた復元済み画像ブロック、残余ブロック、および／または予測ブロックは、上述した動き推定で後ほど使用するためデコードされたピクチャバッファコンポーネント223に保管される。デコーダとして作動する場合、デコードされたピクチャバッファコンポーネント223は復元されフィルタされたブロックを保管し、出力ビデオ信号の一部としてディスプレイへ転送する。デコードされたピクチャバッファコンポーネント223は、予測ブロック、残余ブロック、および／または復元済み画像ブロックを保管できる何らかのメモリ装置であってよい。

ヘッダーフォーマッティングCABACコンポーネント231はコーデックシステム200の様々なコンポーネントからデータを受信し、かかるデータをデコーダへ伝送するためコーディングされたビットストリームにエンコードする。具体的に述べると、ヘッダーフォーマッティングCABACコンポーネント231は、一般制御データやフィルタ制御データなどの制御データをエンコードするため、様々なヘッダーを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形をとる残余データは、いずれもビットストリームでエンコードされる。最終的なビットストリームは、デコーダが元の区分けされたビデオ信号201を復元するにあたって必要となる全情報を含んでいる。かかる情報は、イントラ予測モードインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックのエンコーディングコンテキストの定義、最も可能性の高いイントラ予測モードの指示、区分情報の指示なども含み得る。かかるデータは、エントロピーコーディングを使用してエンコードされ得る。例えば、情報は、コンテキスト適応型可変長コーディング（CAVLC）、CABAC、シンタックス方式コンテキスト適応型バイナリ算術コーディング（SBAC）、確率区間区分エントロピー（PIPE）コーディング、または他のエントロピーコーディング技法を用いてエンコードできる。エントロピーコーディングの後には、コーディングされたビットストリームを別の装置（例えばビデオデコーダ）へ伝送でき、あるいは後ほど伝送したり取り出したりするため保管できる。

図3は、例示的なビデオエンコーダ300を示すブロック図である。ビデオエンコーダ300は、コーデックシステム200のエンコーディング機能を実施するため、および／または動作方法100のステップ101、103、105、107、および／または109を実施するために使われてよい。エンコーダ300は入力ビデオ信号を区分けし、その結果として得られる区分けされたビデオ信号301は区分けされたビデオ信号201と実質的に同様である。その後、区分けされたビデオ信号301はエンコーダ300のコンポーネントによって圧縮され、ビットストリームにエンコードされる。

具体的に述べると、区分けされたビデオ信号301はイントラ予測のためイントラピクチャ予測コンポーネント317へ転送される。イントラピクチャ予測コンポーネント317はイントラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と実質的に同様であってよい。区分けされたビデオ信号301は、デコードされたピクチャバッファコンポーネント323内の参照ブロックに基づくインター予測のため、動き補償コンポーネント321にも転送される。動き補償コンポーネント321は動き推定コンポーネント221および動き補償コンポーネント219と実質的に同様であってよい。イントラピクチャ予測コンポーネント317と動き補償コンポーネント321からの予測ブロックと残余ブロックは、残余ブロックの変換と量子化のため、変換量子化コンポーネント313へ転送される。変換量子化コンポーネント313は変換スケーリング量子化コンポーネント213と実質的に同様であってよい。変換され量子化された残余ブロックと対応する予測ブロックは（関連制御データとともに）、ビットストリームへのコーディングのため、エントロピーコーディングコンポーネント331へ転送される。エントロピーコーディングコンポーネント331はヘッダーフォーマッティングCABACコンポーネント231と実質的に同様であってよい。

変換され量子化された残余ブロックおよび／または対応する予測ブロックは、動き補償コンポーネント321によって使用される参照ブロックへの復元のため、変換量子化コンポーネント313から逆変換量子化コンポーネント329にも転送される。逆変換量子化コンポーネント329はスケーリング逆変換コンポーネント229と実質的に同様であってよい。例によっては、残余ブロックおよび／または復元された参照ブロックにインループフィルタコンポーネント325内のインループフィルタも適用される。インループフィルタコンポーネント325はフィルタ制御解析コンポーネント227およびインループフィルタコンポーネント225と実質的に同様であってよい。インループフィルタコンポーネント325はインループフィルタコンポーネント225に関して述べた複数のフィルタを含んでよい。フィルタされたブロックはその後、動き補償コンポーネント321によって参照ブロックとして使用されるため、デコードされたピクチャバッファコンポーネント323に保管される。デコードされたピクチャバッファコンポーネント323はデコードされたピクチャバッファコンポーネント223と実質的に同様であってよい。

図4は、例示的なビデオデコーダ400を示すブロック図である。ビデオデコーダ400は、コーデックシステム200のデコーディング機能を実施するため、および／または動作方法100のステップ111、113、115、および／または117を実施するために使われてよい。デコーダ400は、例えばエンコーダ300から、ビットストリームを受信し、エンドユーザ向けの表示のため、ビットストリームに基づいて復元された出力ビデオ信号を生成する。

ビットストリームはエントロピーデコーディングコンポーネント433によって受信される。エントロピーデコーディングコンポーネント433は、CAVLC、CABAC、SBAC、PIPEコーディング、またはその他のエントロピーコーディング技法など、エントロピーデコーディング方式を実施するように構成される。例えば、エントロピーデコーディングコンポーネント433はヘッダー情報を使用して、ビットストリームで符号語としてエンコードされる追加データを解釈するためのコンテキストを提供できる。デコードされた情報は、一般制御データ、フィルタ制御データ、区分情報、動きデータ、予測データ、残余ブロックからの量子化された変換係数など、ビデオ信号のデコードにあたって望ましい情報を含む。量子化された変換係数は残余ブロックへの復元のため逆変換量子化コンポーネント429へ転送される。逆変換量子化コンポーネント429は逆変換量子化コンポーネント329と同様であってよい。

復元された残余ブロックおよび／または予測ブロックは、イントラ予測操作に基づく画像ブロックへの復元のためイントラピクチャ予測コンポーネント417へ転送される。イントラピクチャ予測コンポーネント417はイントラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と同様であってよい。具体的に述べると、イントラピクチャ予測コンポーネント417は予測モードを使ってフレーム内で参照ブロックの位置を特定し、その結果に残余ブロックを適用してイントラ予測された画像ブロックを復元する。復元されたイントラ予測された画像ブロックおよび／または残余ブロックと対応するインター予測データは、インループフィルタコンポーネント425を経由してデコードされたピクチャバッファコンポーネント423へ転送され、これらのコンポーネントはそれぞれデコードされたピクチャバッファコンポーネント223およびインループフィルタコンポーネント225と実質的に同様であってよい。インループフィルタコンポーネント425は復元済みの画像ブロック、残余ブロック、および／または予測ブロックをフィルタし、かかる情報はデコードされたピクチャバッファコンポーネント423に保管される。復元済み画像ブロックはインター予測のためデコードされたピクチャバッファコンポーネント423から動き補償コンポーネント421へ転送される。動き補償コンポーネント421は動き推定コンポーネント221および／または動き補償コンポーネント219と実質的に同様であってよい。具体的に述べると、動き補償コンポーネント421は参照ブロックからの動きベクトルを使って予測ブロックを生成し、その結果に残余ブロックを適用して画像ブロックを復元する。そうして得られた復元済みブロックはまた、インループフィルタコンポーネント425を経由してデコードされたピクチャバッファコンポーネント423へ転送されてもよい。デコードされたピクチャバッファコンポーネント423はさらなる復元済み画像ブロックを引き続き保管し、これらの復元済み画像ブロックは区分情報によってフレームに復元できる。かかるフレームはシーケンスにも並べられてもよい。このシーケンスは復元された出力ビデオ信号としてディスプレイへ出力される。

図5は、例示的なHRD 500を示す概略図である。HRD 500は、コーデックシステム200および／またはエンコーダ300などのエンコーダで使用されてよい。HRD 500は、ビットストリームがデコーダ400などのデコーダに転送される前に、方法100のステップ109で生成されたビットストリームを検査し得る。いくつかの例において、ビットストリームがエンコードされると、ビットストリームはHRD 500を介して継続的に転送され得る。ビットストリームの一部が関連する制約条件に適合しない場合、HRD 500は、エンコーダがビットストリームの対応部分を別のメカニズムで再エンコードするように、このような異常をエンコーダに示すことができる。

HRD 500は、仮想ストリームスケジューラ（HSS）541を備える。HSS 541は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、HRD 500に入力されるビットストリーム551のタイミングおよびデータフローに関して、ビットストリームまたはデコーダの適合性を検査するために使用される。例えば、HSS 541は、エンコーダから出力されたビットストリーム551を受信し、ビットストリーム551の適合性テストのプロセスを管理し得る。個別の一例において、HSS 541は、コーディングされたピクチャがHRD 500を通過するレートを制御し、ビットストリーム551が不適合データを含んでいないことを検証することができる。

HSS 541は、CPB 543にビットストリーム551を所定のレートで転送し得る。HRD 500は、デコードユニット（DU）553でデータを管理することができる。DU 553は、アクセスユニット（AU）、またはAUおよび関連する非ビデオコーディング層（VCL）ネットワーク抽象化層（NAL）ユニットのサブセットである。具体的には、AUは、出力時刻に対応付けられた1以上のピクチャを含む。例えば、AUは、単一の層ビットストリームに単一のピクチャを含み、複数層ビットストリームに層ごとのピクチャを含み得る。AUの各ピクチャは、対応するVCL NALユニットにそれぞれ含まれるスライスに分割され得る。したがって、DU 553は、1つもしくは複数のピクチャ、ピクチャの1つもしくは複数のスライス、またはそれらの組み合わせを含み得る。また、AU、ピクチャ、および／またはスライスをデコードするために使用されるパラメータは、非VCL NALユニットに含まれ得る。したがって、DU 553は、DU 553内のVCL NALユニットのデコードをサポートするために必要なデータを含む非VCL NALユニットを含む。CPB 543は、HRD 500の先入先出バッファである。CPB 543は、デコード順にビデオデータを含むDU 553を含む。CPB 543は、ビットストリーム適合性検証中に使用するためのビデオデータを記憶する。

CPB 543は、DU 553をデコードプロセスコンポーネント545に転送する。デコードプロセスコンポーネント545は、VVC標準に適合したコンポーネントである。例えば、デコードプロセスコンポーネント545は、エンドユーザによって使用されるデコーダ400をエミュレートしてよい。デコードプロセスコンポーネント545は、例示的なエンドユーザデコーダで達成できるレートでDU 553をデコードする。デコードプロセスコンポーネント545が、CPB 543のオーバーフローを防止するほど充分な速さでDU 553をデコードできない場合は、ビットストリーム551は標準に適合しておらず、再エンコードが必要になる。

デコードプロセスコンポーネント545はDU 553をデコードし、デコード済みDU 555を生成する。デコード済みDU 555は、デコードされたピクチャを含む。デコード済みDU 555は、DPB 547に転送される。DPB 547は、デコード済みピクチャバッファコンポーネント223、323、および／または423と実質的に同様であってよい。インター予測を支援する目的で、デコード済みDU 555から取得された、参照ピクチャ556として使用するためにマーキングされたピクチャは、さらなるデコードを支援するために、デコードプロセスコンポーネント545に戻される。DPB 547は、デコードされたビデオシーケンスを一連のピクチャ557として出力する。ピクチャ557は、通常はエンコーダによってビットストリーム551にエンコードされたピクチャを反映した、復元されたピクチャである。

ピクチャ557は、出力クロッピングコンポーネント549に転送される。出力クロッピングコンポーネント549は、ピクチャ557に適合性クロッピングウィンドウを適用するように構成される。これにより、出力クロッピング済みピクチャ559が得られる。出力クロッピング済みピクチャ559は、完全に復元されたピクチャである。したがって、出力クロッピング済みピクチャ559は、ビットストリーム551をデコードした時にエンドユーザが見ることになるものを模倣している。このようにエンコーダは、エンコードが良好なことを確認するために、出力クロッピング済みピクチャ559を検討することができる。

HRD 500は、ビットストリーム551内のHRDパラメータに基づいて初期化される。例えば、HRD 500は、VPS、SPS、および／またはSEIメッセージからHRDパラメータを読み取ることができる。次いで、HRD 500は、そのようなHRDパラメータ内の情報に基づいてビットストリーム551に対して適合性試験動作を実行することができる。具体例として、HRD 500は、HRDパラメータから1つまたは複数のCPB配信スケジュールを決定することができる。配信スケジュールは、CPBおよび／またはDPBなどのメモリ位置との間のビデオデータの配信のタイミングを指定する。したがって、CPB配信スケジュールは、CPB 543との間のAU、DU 553、および／またはピクチャの配信のタイミングを指定する。HRD 500は、CPB配信スケジュールと同様のDPB 547のDPB配信スケジュールを使用することができることに留意されたい。

ビデオは、様々なレベルのハードウェア能力を有するデコーダによって使用するために、また様々なネットワーク条件のために、異なる層および／またはOLSにコーディングされ得る。CPB配信スケジュールは、これらの問題を反映するように選択される。したがって、上位層サブビットストリームは、最適なハードウェアおよびネットワーク条件に指定され、したがって、上位層は、CPB 543内の大量のメモリおよびDPB 547に向かうDU 553の転送のための短い遅延を使用する1つまたは複数のCPB配信スケジュールを受信することができる。同様に、下位層サブビットストリームは、限られたデコーダハードウェア能力および／または劣悪なネットワーク条件に対して指定される。したがって、下位層は、CPB 543内の少量のメモリおよびDPB 547に向かうDU 553の転送のためのより長い遅延を使用する1つまたは複数のCPB配信スケジュールを受信することができる。その後、OLS、層、サブ層、またはこれらの組み合わせは、結果として得られるサブビットストリームがサブビットストリームに対して期待される条件下で正しくデコードされ得ることを保証するために、対応する配信スケジュールに従ってテストされ得る。したがって、ビットストリーム551内のHRDパラメータは、CPB配信スケジュールを示すとともに、HRD 500がCPB配信スケジュールを決定し、CPB配信スケジュールを対応するOLS、層、および／またはサブ層に相関付けることを可能にするのに十分なデータを含み得る。

図6は、例示的な複数層ビデオシーケンス600を示す概略図である。複数層ビデオシーケンス600は、例えば方法100に従って、コーデックシステム200および／またはエンコーダ300などのエンコーダによってエンコードされ、コーデックシステム200および／またはデコーダ400などのデコーダによってデコードされ得る。さらに、複数層ビデオシーケンス600は、HRD 500などのHRDによって規格適合性についてチェックすることができる。複数層ビデオシーケンス600は、コーディングされたビデオシーケンス内の層の例示的なアプリケーションを示すために含まれる。複数層ビデオシーケンス600は、層N 631および層N＋1 632などの複数の層を使用する任意のビデオシーケンスである。

一例では、複数層ビデオシーケンス600は、層間予測621を使用することができる。層間予測621は、異なる層のピクチャ611、612、613、614とピクチャ615、616、617、618との間に適用される。示されている例では、ピクチャ611，612，613および614は層N＋1 632の一部であり、ピクチャ615，616，617および618は層N 631の一部である。層N 631および／または層N＋1 632などの層は、すべて、同様のサイズ、品質、解像度、信号対雑音比、能力などの特性の同様の値に関連付けられたピクチャのグループである。層は、同じ層IDおよび関連する非VCL NALユニットを共有するVCL NALユニットのセットとして形式的に定義され得る。VCL NALユニットは、ピクチャのコード化スライスなどのビデオデータを含むようにコーディングされたNALユニットである。非VCL NALユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むNALユニットである。

図示の例では、層N＋1 632は、層N 631よりも大きい画像サイズに関連付けられている。したがって、この例では、層N＋1 632のピクチャ611，612，613，614のピクチャサイズ（例えば、より大きな高さおよび幅、したがってより多くのサンプル）は、層N 631のピクチャ615，616，617，618のピクチャサイズよりも大きい。しかしながら、このようなピクチャは、他の特性によって、層N＋1 632と層N 631との間で分離され得る。層N＋1 632および層N 631の2つの層のみが示されているが、ピクチャのセットは、関連する特性に基づいて任意の数の層に分離することができる。層N＋1 632および層N 631はまた、層IDによって示されてもよい。層IDは、ピクチャに関連付けられたデータの項目であり、ピクチャが指示された層の一部であることを示す。したがって、各ピクチャ611～618は、どの層N＋1 632または層N 631が対応するピクチャを含むかを示すために、対応する層IDに関連付けられ得る。例えば、層IDは、NALユニット（例えば、層内のピクチャのスライスおよび／またはパラメータを含む）を含む層の識別子を指定するシンタックス要素であるnuh＿layer＿id 635を含んでもよい。層N 631などの低品質／小画像サイズ／小ビットストリームサイズに関連付けられた層は、一般に、下位層IDが割り当てられ、下位層と呼ばれる。さらに、層N＋1 632などの、より高い品質／より大きい画像サイズ／より大きいビットストリームサイズに関連付けられた層には、一般に、より高い層IDが割り当てられ、上位層と呼ばれる。

異なる層631－632内の画像611－618は、代替形態で表示されるように構成される。具体的な例として、デコーダは、より小さいピクチャが望まれる場合、現在の表示時間においてピクチャ615をデコードおよび表示してもよく、または、デコーダは、より大きいピクチャが望まれる場合、現在の表示時間においてピクチャ611をデコードおよび表示してもよい。したがって、上位層N＋1 632におけるピクチャ611－614は、（ピクチャサイズの違いにかかわらず）下位層N 631における対応するピクチャ615－618と実質的に同じ画像データを含む。具体的には、ピクチャ611はピクチャ615と実質的に同じ画像データを含み、ピクチャ612はピクチャ616と実質的に同じ画像データを含む、などである。

ピクチャ611－618は、同じ層N 631またはN＋1 632内の他のピクチャ611－618を参照することによってコーディングされ得る。同じ層内の別のピクチャを参照してピクチャをコーディングすると、インター予測623が得られる。インター予測623は実線矢印で示されている。例えば、ピクチャ613は、層N＋1 632内のピクチャ611，612および／または614のうちの1つまたは2つを参照として使用するインター予測623を使用することによってコーディングされてもよく、1つのピクチャは、単方向インター予測のために参照され、および／または2つのピクチャは、双方向インター予測のために参照される。さらに、ピクチャ617は、層N 631内のピクチャ615，616および／または618のうちの1つまたは2つを参照として使用してインター予測623を使用することによってコーディングされてもよく、一方向インター予測のためには1つのピクチャが参照され、および／または双方向インター予測のためには2つのピクチャが参照される。インター予測623を行う際に、あるピクチャが同じ層内の別のピクチャの参照として使用される場合、そのピクチャは参照ピクチャと呼ばれる場合がある。例えば、ピクチャ612は、インター予測623に従ってピクチャ613をコーディングするために使用される参照ピクチャであり得る。インター予測623は、複数層コンテキストにおける層内予測とも呼ばれ得る。したがって、インター予測623は、参照ピクチャと現在のピクチャとが同じ層内にある現在のピクチャとは異なる参照ピクチャ内の指示されたサンプルを参照することによって現在のピクチャのサンプルをコーディングするメカニズムである。

ピクチャ611－618は、異なる層内の他のピクチャ611－618を参照することによってコーディングすることもできる。このプロセスは層間予測621として知られており、破線の矢印で示されている。層間予測621は、現在のピクチャと参照ピクチャとが異なる層にあり、したがってnuh＿layer＿id 635の値が異なる参照ピクチャ内の指示されたサンプルを参照することによって現在のピクチャのサンプルをコーディングするメカニズムである。例えば、下位層N 631のピクチャを参照ピクチャとして使用して、上位層N＋1 632の対応するピクチャをコーディングすることができる。具体的な一例として、ピクチャ611は、層間予測621に従ってピクチャ615を参照することによってコーディングされ得る。このような場合、ピクチャ615が層間参照ピクチャとして用いられる。層間参照ピクチャは、層間予測621に用いられる参照ピクチャである。ほとんどの場合、層間予測621は、ピクチャ611などの現在のピクチャが、同じAU 627に含まれ、ピクチャ615などの下位層にある層間参照ピクチャのみを使用できるように制約される。複数の層（例えば、2を超える）が利用可能である場合、層間予測621は、現在のピクチャよりも低いレベルにある複数の層間参照ピクチャに基づいて現在のピクチャをコーディング／デコードすることができる。

ビデオエンコーダは、複数層ビデオシーケンス600を使用して、インター予測623および層間予測621の多くの異なる組み合わせおよび／または順列を介してピクチャ611－618をコーディングすることができる。例えば、ピクチャ615は、イントラ予測に従ってコーディングされ得る。その後、ピクチャ616～618は、ピクチャ615を参照ピクチャとして使用することによってインター予測623に従ってコーディングされ得る。さらに、ピクチャ611は、ピクチャ615を層間参照ピクチャとして使用することにより、層間予測621に従ってコーディングされ得る。その後、ピクチャ612－614は、ピクチャ611を参照ピクチャとして使用することによってインター予測623に従ってコーディングされ得る。したがって、参照ピクチャは、異なるコーディングメカニズムのための単一層参照ピクチャおよび層間参照ピクチャの両方として機能することができる。下位層N 632個のピクチャに基づいて上位層N＋1 631個のピクチャをコーディングすることにより、上位層N＋1 632は、インター予測623および層間予測621よりもはるかに低いコーディング効率を有するイントラ予測を使用することを回避することができる。このように、イントラ予測の不十分なコーディング効率は、最小／最低品質のピクチャに制限され、したがって、最小量のビデオデータをコーディングすることに制限され得る。参照ピクチャおよび／または層間参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリで示すことができる。

そのような動作を実行するために、層N 631および層N＋1 632などの層がOLS 628に含まれてもよい。OLS 628は、1つまたは複数の層が出力層として指定される層の集合である。出力層は、出力（例えば、ディスプレイに）のために指定される層である。例えば、層N 631は、層間予測621をサポートするためだけに含まれてもよく、決して出力されなくてもよい。この場合、層N 632に基づいて、層N＋1 631がデコードされて出力される。この場合、OLS 628は、出力層として、層N＋1 632を有する。場合によっては、OLS 628は、サイマルキャスト層と呼ばれる出力層のみを含む。他の場合には、OLS 628は、異なる組み合わせで多くの層を含み得る。例えば、OLS 628内の出力層は、1つ、2つ、または多数の下位層に基づく層間予測621に従ってコーディングすることができる。また、OLS 628は、複数の出力層を含んでもよい。したがって、OLS 628は、1つまたは複数の出力層と、出力層を再構成するのに必要な任意の支持層とを含み得る。複数層ビデオシーケンス600は、各々が層の異なる組み合わせを使用する多くの異なるOLS 628を使用することによってコーディングすることができる。OLS 628には、OLS 628を一意に識別するためのインデックスであるOLSインデックスが対応付けられている。

ピクチャ611－618はまた、アクセスユニット（AU）627に含まれ得る。AU 627は、異なる層に含まれる、デコード時の出力時刻が同一のコーディングされたピクチャの集合である。したがって、同じAU 627内のコーディングされたピクチャは、同時にデコーダにおいてDPBから出力されるようにスケジュールされる。例えば、ピクチャ614および618は、同じAU 627内にある。ピクチャ613および617は、ピクチャ614および618とは異なるAU 627にある。代替例では、同じAU 627内のピクチャ614および618が表示されてもよい。例えば、小さいピクチャサイズが望まれる場合にピクチャ618が表示され、大きいピクチャサイズが望まれる場合にピクチャ614が表示されてもよい。大きいピクチャサイズが望まれる場合、ピクチャ614が出力され、ピクチャ618は層間予測621にのみ使用される。この場合、ピクチャ618は、層間予測621が完了すると、出力されずに破棄される。

図7は、例示的なビットストリーム700を示す概略図である。例えば、ビットストリーム700は、方法100に従って、コーデックシステム200および／またはデコーダ400でデコードするために、コーデックシステム200および／またはエンコーダ300で生成することができる。さらに、ビットストリーム700は、複数層ビデオシーケンス600を含み得る。さらに、ビットストリーム700は、HRD 500などのHRDの動作を制御するための様々なパラメータを含み得る。そのようなパラメータに基づいて、HRDは、デコード化のためにデコーダに向けて送信する前に、規格に準拠しているかどうかビットストリーム700をチェックすることができる。

ビットストリーム700は、VPS 711と、一つ以上のSPS 713と、複数のPPS（Picture Parameter Set）715と、複数のスライスヘッダ717と、画像データ720と、接頭辞SEIメッセージ718と、接尾辞SEIメッセージ719とを含む。VPS 711は、ビットストリーム700全体に関するデータを含む。例えば、VPS 711は、ビットストリーム700で使用されるデータ関連OLS、層、および／またはサブ層を含み得る。SPS713は、ビットストリーム700に含まれるコーディングされたビデオシーケンス内の全ピクチャに共通するシーケンスデータを含む。例えば、各層は、1つまたは複数のコーディングされたビデオシーケンスを含むことができ、各コーディングされたビデオシーケンスは、対応するパラメータについてSPS 713を参照することができる。SPS 713内のパラメータは、ピクチャサイジング、ビット深度、コーディングツールパラメータ、ビットレート制限などを含み得る。各シーケンスはSPS 713を指すが、いくつかの例では、単一のSPS 713は複数のシーケンスのデータを含み得ることに留意されたい。PPS 715は、ピクチャ全体に適用されるパラメータを含む。それ故、ビデオシーケンス内の各ピクチャは、PPS715を参照してよい。いくつかの例において、各ピクチャがPPS715を参照する一方で、単一のPPS715が、複数のピクチャのデータを含むことが可能なことに留意されたい。例えば、複数の類似したピクチャが、類似したパラメータに従ってコーディングされてよい。このような場合は、単一のPPS715が、かかる類似したピクチャのデータを含み得る。PPS 715は、対応するピクチャ内のスライスに利用可能なコーディングツール、量子化パラメータ、オフセットなどを示すことができる。

スライスヘッダ717は、ピクチャ内の各スライスに固有のパラメータを含む。それ故、ビデオシーケンスにおいて、スライスごとに1つのスライスヘッダ717があってよい。スライスヘッダ717は、スライス型情報、フィルタリング情報、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含み得る。いくつかの例では、ビットストリーム700は、単一のピクチャ内のすべてのスライスに適用されるパラメータを含むシンタックス構造であるピクチャヘッダも含み得ることに留意されたい。この理由により、いくつかのコンテキストでは、ピクチャヘッダとスライスヘッダ717とは、同じように使用されてよい。例えば、いくつかのパラメータは、かかるパラメータがピクチャ内の全スライスに共通しているかどうかに応じて、スライスヘッダ717とピクチャヘッダとの間を移動してよい。

画像データ720は、インター予測および／またはイントラ予測に従ってエンコードされたビデオデータ、ならびに対応する変換され量子化された残余データを含む。例えば、画像データ720は、層723、ピクチャ725、および／またはスライス727を含み得る。層723は、nuh＿layer＿idなどの層IDによって示されるような指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）を共有するVCL NALユニット745と、関連する非VCL NALユニット741とのセットである。例えば、層723は、同じnuh＿layer＿idを共有するピクチャ725のセットを含み得る。層723は、層631および／または632と実質的に同様であってもよい。nuh＿layer＿idは、少なくとも一つのNALユニットを含む層723の識別子を指定するシンタックス要素である。例えば、ベース層として知られる最低品質層723は、より高い品質の層723についてnuh＿layer＿idの値が増加するnuh＿layer＿idの最低値を含み得る。したがって、下位層はnuh＿layer＿idの値が小さい層723であり、上位層はnuh＿layer＿idの値が大きい層723である。

ピクチャ725は、フレームまたはそのフィールドを生成するルーマサンプルのアレイおよび／またはクロマサンプルのアレイである。例えば、ピクチャ725は、表示のために出力され得るか、または、出力のための他のピクチャ725のコーディングをサポートするために使用され得るコーディングされた画像である。ピクチャ725は、一つ以上のスライス727を含む。スライス727は、整数個の完全なタイル、または単一のNALユニットに排他的に含まれるピクチャ725の整数個の連続する完全なコーディング・ツリー・ユニット（CTU）行（例えば、タイル内）として定義され得る。スライス727は、CTUおよび／またはコーディング・ツリー・ブロック（CTB）にさらに分割される。CTUは、コーディングツリーで区分けできる、所定のサイズの一群のサンプルである。CTBは、CTUのサブセットであり、CTUのルマ成分またはクロマ成分を含む。CTU／CTBは、コーディングツリーに基づいて、コーディングブロックにさらに分割される。コーディングブロックは、次に、予測メカニズムに従ってエンコード／デコードすることができる。

SEIメッセージは、デコードされたピクチャ内のサンプルの値を決定するために、デコーディングプロセスで必要とされない情報を伝達する、特定のセマンティクスを有するシンタックス構造である。例えば、SEIメッセージは、HRDプロセスをサポートするためのデータ、またはデコーダにおけるビットストリーム700のデコードに直接関連しない他のサポートデータを含み得る。SEIメッセージは、接頭辞SEIメッセージ718または接尾辞SEIメッセージ719として構成することができる。接頭辞SEIメッセージ718は、一以上の後続のNALユニットに適用されるSEIメッセージである。接尾辞SEIメッセージ719は、先行する1つまたは複数のNALユニットに適用されるSEIメッセージである。接頭辞SEIメッセージ718は、指定された型のSEIメッセージを含むことができ、接尾辞SEIメッセージ719は、他の型のSEIメッセージを含み得る。

接頭辞SEIメッセージ718は、対応するOLSおよび／または層723をテストするためのCPBを管理するためにHRDを初期化するためのHRDパラメータを含むバッファリング期間（BP）SEIメッセージを含み得る。接頭辞SEIメッセージ718はまた、対応するOLSおよび／または層723をテストするためのCPBおよび／またはDPBにおけるAUのための配信情報を管理するためのHRDパラメータを含むピクチャタイミング（PT）SEIメッセージを含み得る。接頭辞SEIメッセージ718はまた、対応するOLSおよび／または層723をテストするために、CPBおよび／またはDPBにおいてデコードユニット（DU）のための配信情報を管理するためのHRDパラメータを含むデコードユニット情報（DUI）SEIメッセージを含み得る。

接尾辞SEIメッセージ719は、デコードされたピクチャハッシュSEIメッセージ748を含み得る。デコードされたピクチャハッシュSEIメッセージ748は、デコードされたピクチャのサンプル値から導出されたチェックサムを含むSEIメッセージの一種である。デコードされたピクチャハッシュSEIメッセージ748は、デコーダによって、ピクチャが正しく受信され、デコードされたか否かを検出するために使用され得る。このように、デコードされたピクチャハッシュSEIメッセージ748は、デコードされたピクチャハッシュSEIメッセージ748に先行するピクチャ725に関連する送信およびデコードエラーを検出するために使用することができる。

SEIメッセージのセットは、スケーラブルネスティングSEIメッセージ746として実装され得る。スケーラブルネスティングSEIメッセージ746は、SEIメッセージを特定の層723と関連付けるためのメカニズムを提供する。スケーラブルネスティングSEIメッセージ746は、複数のスケーラブルにネストされたSEIメッセージ747を含むメッセージである。スケーラブルにネストされたSEIメッセージ747は、1つまたは複数のOLSまたは1つまたは複数の層723に対応するSEIメッセージである。OLSは、層723の少なくとも一つが出力層である層723の集合である。したがって、スケーラブルネスティングSEIメッセージ746は、コンテキストに依存して、スケーラブルにネストされたSEIメッセージ747のセットを含むとも、SEIメッセージのセットを含むとも言える。さらに、スケーラブルネスティングSEIメッセージ746は、同じ型のスケーラブルにネストされたSEIメッセージ747のセットを含む。

いくつかのビデオ・コーディング・システムは、スケーラブルネスティングSEIメッセージ746が接尾辞SEIメッセージ719において使用されることを可能にしない。様々な型のSEIメッセージを、接頭辞SEIメッセージ718または接尾辞SEIメッセージ719のいずれかとして含めることができる。しかしながら、デコードされたピクチャハッシュSEIメッセージ748などの特定の型のSEIメッセージは、接尾辞SEIメッセージ719としての使用に制限される。このように、デコードされたピクチャハッシュSEIメッセージ748などの特定のSEIメッセージは、このようなシステムでは、スケーラブルネスティングSEIメッセージ746にコーディングすることができない。

ビットストリーム700は、前述の欠陥に対処するように修正される。具体的には、接尾辞SEIメッセージ719は、スケーラブルネスティングSEIメッセージ746を含むように構成される。したがって、接尾辞SEIメッセージ719は、層743および／またはOLSに対応するスケーラブルにネストされたSEIメッセージ747も含み得る。これにより、デコードされたピクチャハッシュSEIメッセージ748などの特定のSEIメッセージを、スケーラブルネスティングSEIメッセージ746内のスケーラブルにネストされたSEIメッセージ747として使用することが可能になる。

ビットストリーム700は、NALユニットのシーケンスとしてコーディングすることができることに留意されたい。NALユニットは、ビデオデータおよび／またはサポートシンタックスのためのコンテナである。NALユニットは、VCL NALユニット745または非VCL NALユニット741であり得る。VCL NALユニット745は、ビデオデータを含むようにコーディングされたNALユニットである。具体的には、VCL NALユニット745は、スライス727および関連するスライスヘッダ717を含む。非VCL NALユニット741は、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むNALユニットである。非VCL NALユニット741は、VPS NALユニット、SPS NALユニット、PPS NALユニット、およびSEI NALユニット744を含むことができ、これらはそれぞれ、VPS 711、SPS 713、PPS 715、および接頭辞SEIメッセージ718または接尾辞SEIメッセージ719を含む。NALユニットの前述のリストは例示的なものであり、網羅的なものではないことに留意されたい。各NALユニットは、NALユニット型（nal＿unit＿type）731を有する。nal＿unit＿type 731は、NALユニットに含まれるデータの種類を示す、NALユニットに含まれるシンタックス要素である。

SEI NALユニット744は、SEIメッセージを含むNALユニットである。SEI NALユニット744は、SEI NALユニット744が接頭辞SEI NALユニット型（PREFIX＿SEI＿NUT）742であることを示すように設定されたnal＿unit＿type 731を有することができる。SEI NALユニット744は、SEI NALユニット744がSUFFIX＿SEI＿NUT 743であることを示すように設定されたnal＿unit＿type 731を有することもできる。したがって、SUFFIX＿SEI＿NUT 743に等しいnal＿unit＿type 731を有するSEI NALユニット744は、スケーラブルネスティングSEIメッセージ746および／または1つもしくは複数のスケーラブルにネストされたSEI 747を含み得る。このようにして、デコードされたピクチャハッシュSEIメッセージ748などの接尾辞SEIメッセージ719は、スケーラブルネスティングSEIメッセージ746として、および／またはスケーラブルネスティングSEIメッセージ746に含まれるスケーラブルにネストされたSEIメッセージ747として使用することができる。これにより、接尾辞SEIメッセージ719を、指定された層723および／またはOLS（例えば、図6に示すようなOLS 628）に適用している間にネストすることが可能になる。さらに、（例えば、SEI NALユニット744がSUFFIX＿SEI＿NUT 743であることを示すように設定されたnal＿unit＿type 731を有するSEI NALユニット744において）接尾辞SEIメッセージ719内に配置される場合、BP、PT、および／またはDUI SEIメッセージなど、接尾辞SEIメッセージ719内で使用することができる他のSEIメッセージは、スケーラブルネスティングSEIメッセージ746および／またはスケーラブルにネストされたSEIメッセージ747として使用することもできる。その結果、エンコーダおよびデコーダの機能が向上する。さらに、コーディング効率を高めることができ、これにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用が低減される。

スケーラブルネスティングSEIメッセージ746はまた、スケーラブルにネストされたSEIメッセージ747を層723および／またはOLSと関連付けるためのシンタックス要素を含む。例えば、スケーラブルネスティングSEIメッセージ746は、ペイロード型（payloadType）733およびスケーラブルネスティング層識別子（layer＿id［i］）735を含み得る。SEIメッセージに含まれるデータの種類を表すシンタックス要素であるので、SEI NALユニット744に含まれるSEIメッセージの種類（例えば、接尾辞SEIメッセージ719）を表す。例えば、payloadType 733は、接尾辞SEIメッセージ719がスケーラブルネスティングSEIメッセージ746を含むことを示すように設定することができる。特定の例において、payloadType 733は、接尾辞SEIメッセージ719がスケーラブルネスティングSEIメッセージ746を含むことを指示する値133に設定することができる。別の言い方をすれば、payloadType 733は、SEI NALユニット744がSUFFIX＿SEI＿NUT 743のnal＿unit＿type 731を有し、スケーラブルネスティングSEIメッセージ746を含むことを示す値133に設定することができる。スケーラブルネスティング層＿id［i］735は、スケーラブルにネストされたSEIメッセージ747が適用される第i層723のnuh＿layer＿id値を指定する、スケーラブルネスティングSEIメッセージ746におけるシンタックス要素である。したがって、スケーラブルネスティング層＿id［i］735は、スケーラブルネスティングSEIメッセージ746内のスケーラブルにネストされたSEIメッセージ747の各々を、対応する層723に関連付けることができる。したがって、HRDおよび／またはデコーダはpayloadType 733を読み取って、スケーラブルネスティングSEIメッセージ746が接尾辞SEIメッセージ719内に存在すると判定することができる。次いで、HRDおよび／またはデコーダは、スケーラブルネスティングSEIメッセージ746内のスケーラブルにネストされたSEIメッセージ747ごとに、スケーラブルネスティング層＿id［i］735内の層ID値に基づいて層723を決定することができる。

ここで、前述した情報が以下でより詳細に説明される。階層化ビデオコーディングは、スケーラブルコーディングまたはスケーラビリティを有するビデオコーディングとも呼ばれる。ビデオコーディングにおけるスケーラビリティは、複数層コーディング技術を使用することによってサポートされ得る。複数層ビットストリームは、ベース層（BL）および1つまたは複数のエンハンスメント層（EL）を備える。スケーラビリティの例は、空間スケーラビリティ、品質／信号対雑音比（SNR）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどを含む。複数層コーディング技術が使用される場合、ピクチャまたはその一部は、参照ピクチャを使用せずにコーディングされてもよく（イントラ予測）、同じ層内の参照ピクチャを参照することによってコーディングされてもよく（インター予測）、および／または他の層内の参照ピクチャを参照することによってコーディングされてもよい（層間予測）。カレントピクチャの層間予測に用いられる参照ピクチャを層間参照ピクチャ（ILRP）と呼ぶ。図6は、異なる層のピクチャが異なる解像度を有する空間スケーラビリティのための複数層コーディングの例を示す。

いくつかのビデオコーディングファミリーは、単層コーディングのためのプロファイルから分離されたプロファイルにおけるスケーラビリティのサポートを提供する。スケーラブルコーディング（SVC）は、空間、時間、および品質のスケーラビリティをサポートする高度なビデオコーディング（AVC）のスケーラブルな拡張である。SVCの場合、下位層からのコロケートブロックを使用してEL MBが予測されるかどうかを示すために、ELピクチャ内の各マクロブロック（MB）においてフラグがシグナリングされる。コロケートブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み得る。SVCの実装は、それらの設計において修正されていないAVC実装を直接再利用しない場合がある。SVC ELマクロブロック・シンタックスおよびデコーディングプロセスは、AVCシンタックスおよびデコーディングプロセスとは異なる。

スケーラブルHEVC（SHVC）は、空間および品質の拡張性をサポートするHEVCの拡張である。マルチビューHEVC（MV－HEVC）は、マルチビュースケーラビリティのサポートを提供するHEVCの拡張である。3 D HEVC（3 D－HEVC）は、MV－HEVCよりも高度で効率的な3 Dビデオコーディングのサポートを提供するHEVCの拡張である。時間スケーラビリティは、単層HEVCコーデックの不可欠な部分として含まれ得る。HEVCの複数層拡張では、層間予測に用いられるデコードされたピクチャは、同じAUのみから来て、ロングターム参照ピクチャ（LTRP）として扱われる。このようなピクチャには、現在の層内の他の時間参照ピクチャとともに、参照ピクチャリスト内の参照インデックスが割り当てられる。層間予測（ILP）は、参照ピクチャリスト内の層間参照ピクチャを参照するための参照インデックスの値を設定することにより、予測単位レベルで実現される。空間スケーラビリティは、ILRPがコーディングまたはデコードされている現在のピクチャとは異なる空間分解能を有する場合、参照ピクチャまたはその一部をリサンプルする。参照ピクチャの再サンプリングは、ピクチャ・レベルまたはコーディング・ブロック・レベルのいずれかで実現され得る。

VVCはまた、階層化ビデオコーディングをサポートし得る。VVCビットストリームは、複数の層を含み得る。層はすべて互いに独立していてもよい。例えば、層間予測を用いずに、各層をコーディングすることができる。この場合、各層は、サイマルキャスト層とも呼ばれる。場合によっては、層の一部はILPを使用してコーディングされる。VPS内のフラグは、層がサイマルキャスト層であるかどうか、またはいくつかの層がILPを使用するかどうかを示すことができる。いくつかの層がILPを使用する場合、層間の層依存関係もVPSでシグナリングされる。SHVCおよびMV－HEVCとは異なり、VVCはOLSを指定しない場合がある。OLSは、指定された層のセットを含み、層のセット内の1つまたは複数の層が出力層であるように指定される。出力層は、出力されるOLSの層である。VVCのいくつかの実装形態では、層がサイマルキャスト層である場合、デコードおよび出力のために1つの層のみが選択され得る。VVCのいくつかの実装形態では、任意の層がILPを使用する時、すべての層を含むビットストリーム全体がデコードされるように指定される。また、これらの層のうち、ある層を出力層とする。出力層は、最上位層のみ、すべての層、または最上位層に示された下位層のセットを加えたものであると示されてもよい。

前述した態様には、いくつか問題がある。例えば、SPS、PPS、およびAPS NALユニットのnuh＿layer＿id値は、適切に制約されない場合がある。さらに、SEI NALユニットのTemporalId値が適切に制約されない場合がある。また、参照ピクチャのリサンプリングが有効であり、CLVS内のピクチャの空間解像度が異なる場合、NoOutputOfPriorPicsFlagの設定が適切に指定されないことがある。また、いくつかのビデオ・コーディング・システムでは、接尾辞SEIメッセージをスケーラブルネスティングSEIメッセージに含めることができない。別の例として、バッファリング期間、ピクチャタイミング、およびデコードユニット情報SEIメッセージは、VPSおよび／またはSPSに対する解析依存性を含み得る。

一般に、本開示は、ビデオコーディング改善手法を説明する。技術の説明は、VVCに基づく。しかしながら、これらの技術は、他のビデオコーデック仕様に基づく階層化ビデオコーディングにも適用される。

上述した1つ以上の問題が、以下の通り解決され得る。SPS、PPS、およびAPS NALユニットのnuh＿layer＿id値は、本明細書では適切に制約される。SEI NALユニットのTemporalId値は、本明細書では適切に制約される。NoOutputOfPriorPicsFlagの設定は、参照ピクチャのリサンプリングが有効にされ、CLVS内のピクチャが異なる空間解像度を有する場合に適切に指定される。接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージに含めることができる。VPSまたはSPS上のBP、PT、およびDUI SEIメッセージの解析依存性は、BP SEIメッセージ構文内のシンタックス要素decoding＿unit＿hrd＿params＿present＿flag、PT SEIメッセージ構文内のシンタックス要素decoding＿unit＿hrd＿params＿present＿flagおよびdecoding＿unit＿cpb＿params＿in＿pic＿timing＿sei＿flag、ならびにDUI SEIメッセージ内のシンタックス要素decoding＿unit＿cpb＿params＿in＿pic＿timing＿sei＿flagを繰り返すことによって除去することができる。

前述の機構の例示的な実施態様は以下の通りである。一般的なNALユニットセマンティクスの例を以下に示す。

nuh＿temporal＿id＿plus1－1は、NALユニットのテンポラル識別子を指定する。nuh＿temporal＿id＿plus1の値は0に等しくすべきではない。変数TemporalIdは、以下のように導出することができる。
TemporalId＝nuh＿temporal＿id＿plus1－1
nal＿unit＿typeがIDR＿W＿RADLからRSV＿IRAP＿13（両端を含む）の範囲内にある時、TemporalIdは0に等しくなければならない。nal＿unit＿typeがSTSA＿NUTに等しい時、TemporalIdは0に等しくてはならない。

TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットについて同じでなければならない。コーディングされたピクチャ、層アクセスユニット、またはアクセスユニットのTemporalIdの値は、コーディングされたピクチャ、層アクセスユニット、またはアクセスユニットのVCL NALユニットのTemporalIdの値であってもよい。サブ層表現のTemporalIdの値は、サブ層表現内のすべてのVCL NALユニットのTemporalIdの最大値であってもよい。

非VCL NALユニットに対するTemporalIdの値は、以下のように制約される。nal＿unit＿typeがDPS＿NUT、VPS＿NUT、またはSPS＿NUTに等しい場合、TemporalIdは0に等しく、NALユニットを含むアクセスユニットのTemporalIdは0に等しくなければならない。そうではなく、nal＿unit＿typeがEOS＿NUTまたはEOB＿NUTに等しい場合、TemporalIdは0に等しくなければならない。そうではなく、nal＿unit＿typeがAUD＿NUT、FD＿NUT、PREFIX＿SEI＿NUT、またはSUFFIX＿SEI＿NUTに等しい場合、TemporalIdは、NALユニットを含むアクセスユニットのTemporalIdに等しくなければならない。そうではなく、nal＿unit＿typeがPPS＿NUTまたはAPS＿NUTに等しい場合、TemporalIdは、NALユニットを含むアクセスユニットのTemporalId以上でなければならない。NALユニットが非VCL NALユニットである場合、TemporalIdの値は、非VCL NALユニットが適用するすべてのアクセスユニットのTemporalId値の最小値に等しくなければならない。nal＿unit＿typeがPPS＿NUTまたはAPS＿NUTに等しい場合、TemporalIdは、包含するアクセスユニットのTemporalId以上であってもよい。これは、すべてのPPSおよびAPSがビットストリームの先頭に含まれ得るからである。さらに、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。

シーケンス・パラメータ・セットRBSPセマンティクスの例は以下の通りである。SPS RBSPは、参照される前にデコードプロセスに利用可能でなければならない。SPSは、0に等しいTemporalIdを有する少なくとも1つのアクセスユニットに含まれてもよく、または外部機構を介して提供されてもよい。SPSを含むSPS NALユニットは、SPSを参照するPPS NALユニットの最も低いnuh＿layer＿id値に等しいnuh＿layer＿idを有するように制約され得る。

例示的なピクチャパラメータセットRBSPセマンティクスは以下の通りである。PPS RBSPは、参照される前にデコーディングプロセスに利用可能でなければならない。PPSは、PPS NALユニットのTemporalId以下のTemporalIdを有する少なくとも1つのアクセスユニットに含まれるか、または外部機構を介して提供されるべきである。PPS RBSPを含むPPS NALユニットは、PPSを参照するコーディングされたスライスNALユニットの最低nuh＿layer＿id値に等しいnuh＿layer＿idを有するべきである。

例示的な適応パラメータセットのセマンティクスは以下の通りである。各APS RBSPは、参照される前にデコーディングプロセスに利用可能でなければならない。APSはまた、APSを参照する、または外部機構を介して提供されるコード化スライスNALユニットのTemporalId以下のTemporalIdを有する少なくとも1つのアクセスユニットに含まれるべきである。APS NALユニットは、複数層のピクチャ／スライスで共有することができる。APS NALユニットのnuh＿layer＿idは、APS NALユニットを参照するコード化スライスNALユニットの最も低いnuh＿layer＿id値に等しくなければならない。あるいは、APS NALユニットは、複数の層のピクチャ／スライスによって共有されなくてもよい。APS NALユニットのnuh＿layer＿idは、APSを参照するスライスのnuh＿layer＿idと等しくなければならない。

一例では、現在のピクチャのデコード前のDPBからのピクチャの除去は、以下のように説明される。現在のピクチャのデコード前（しかし、現在のピクチャの第1のスライスのスライスヘッダを解析した後）のDPBからのピクチャの除去は、（現在のピクチャを含む）アクセスユニットnの第1のデコードユニットのCPB除去時間に行われ得る。これは次のように進行する。参照ピクチャリスト構築のためのデコーディングプロセスが呼び出され、参照ピクチャマーキングのためのデコーディングプロセスが呼び出される。

現在のピクチャがピクチャ0ではない符号化層ビデオ・シーケンス・スタート（CLVSS）ピクチャである場合、以下の順序付きステップが適用される。被試験デコーダについて、変数NoOutputOfPriorPicsFlagを以下のように導出する。SPSから導出されたpic＿width＿in＿luma＿samples、pic＿height＿max＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿depth＿chroma＿minus8、またはsps＿max＿dec＿pic＿buffering＿minus1［Htid］の値が、先行するSPSからそれぞれ導出されたpic＿width＿in＿luma＿samples、pic＿height＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿depth＿chroma＿minus8、またはsps＿max＿dec＿pic＿buffering＿minus1［Htid］の値と異なる場合、NoOutputOfPriorPicsFlagは、no＿output＿of＿prior＿pics＿flagの値にかかわらず、テスト中のデコーダによって1に設定され得る。これらの条件下では、NoOutputOfPriorPicsFlagをno＿output＿of＿prior＿pics＿flagと等しく設定することが好ましい場合があるが、この場合、テスト中のデコーダは、NoOutputOfPriorPicsFlagを1に設定することができることに留意されたい。そうでない場合は、NoOutputOfPriorPicsFlagは、no＿output＿of＿prior＿pics＿flagと同じに設定してよい。

被試験デコーダに対して導出されたNoOutputOfPriorPicsFlagの値がHRDに適用され、その結果、NoOutputOfPriorPicsFlagの値が1に等しい時、DPB内のすべてのピクチャ記憶バッファは、それらが含むピクチャの出力なしで空にされ、DPBフルネスは0に設定される。以下の条件の両方がDPB内の任意のピクチャkに当てはまる場合、DPB内のそのようなピクチャkはすべてDPBから削除される。ピクチャkは参照用に未使用としてマークされ、ピクチャkは0に等しいPictureOutputFlagを有するか、または対応するDPB出力時間が現在のピクチャnの第1のデコードユニット（デコードユニットmとして示される）のCPB除去時間以下である。これは、DpbOutputTime［k］がDuCpbRemovalTime［m］以下である場合に発生し得る。DPBから除去された各ピクチャについて、DPBフルネスは1だけデクリメントされる。

一例では、DPBからのピクチャの出力および除去は以下のように説明される。現在のピクチャのデコード前（しかし、現在のピクチャの第1のスライスのスライスヘッダを解析した後）のDPBからのピクチャの出力および除去は、現在のピクチャを含むアクセスユニットの第1のデコードユニットがCPBから除去され、以下のように進む時に行われ得る。参照ピクチャリスト構築のためのデコーディングプロセスおよび参照ピクチャマーキングのためのデコーディングプロセスが呼び出される。

現在のピクチャがピクチャ0ではないCLVSSピクチャである場合、以下の順序付きステップが適用される。テスト対象のデコーダに対し、変数NoOutputOfPriorPicsFlagが以下の通りに得られる。SPSから導出されたpic＿width＿in＿luma＿samples、pic＿height＿max＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿depth＿chroma＿minus8またはsps＿max＿dec＿pic＿再建buffering＿minus1［Htid］の値が、それぞれ、pic＿width＿in＿luma＿samples、pic＿height＿in＿luma＿samples、chroma＿format＿idc、separate＿colour＿plane＿flag、bit＿depth＿luma＿minus8、bit＿depth＿chroma＿minus8またはsps＿max＿dec＿pic＿buffering＿minus1［Htid］の値と異なる場合、前のピクチャによって参照されるSPSから導出され、NoOutputOfPriorPicsFlagは、no＿output＿of＿prior＿pics＿flagの値にかかわらず、テスト中のデコーダによって1に設定され得る。これらの条件下では、NoOutputOfPriorPicsFlagをno＿output＿of＿prior＿pics＿flagと等しく設定することが好ましいが、この場合、テスト中のデコーダは、NoOutputOfPriorPicsFlagを1に設定することができることに留意されたい。そうでなければ、NoOutputOfPriorPicsFlagをno＿output＿of＿prior＿pics＿flagと等しく設定することができる。

被試験デコーダに対して導出されたNoOutputOfPriorPicsFlagの値は、以下のようにHRDに適用することができる。NoOutputOfPriorPicsFlagが1に等しい場合、DPB内のすべてのピクチャ記憶バッファは、それらが含むピクチャの出力なしで空にされ、DPBフルネスは0に設定される。そうでない場合（NoOutputOfPriorPicsFlagが0に等しい）、出力に不要であるとしてマークされ、参照に使用されないピクチャを含むすべてのピクチャ・ストレージ・バッファが空にされ（出力なし）、DPB内のすべての空でないピクチャ・ストレージ・バッファが、バンピングプロセスを繰り返し呼び出すことによって空にされ、DPBフルネスが0に設定される。

そうでない場合（現在のピクチャはCLVSSピクチャではない）、出力に不要であるとしてマークされ、参照のために未使用であるピクチャを含むすべてのピクチャ・ストレージ・バッファが空にされる（出力なし）。空になった各ピクチャ・ストレージ・バッファについて、DPBフルネスは1デクリメントされる。以下の条件のうちの1つまたは複数が真である時、バンピングプロセスは、以下の条件のいずれも真でなくなるまで空にされる各追加のピクチャ記憶バッファについてDPBフルネスを1だけさらにデクリメントしながら繰り返し呼び出される。条件は、出力に必要とされるようにマークされたDPB内のピクチャの数がsps＿max＿num＿reorder＿pics［Htid］より大きいことである。別の条件は、sps＿max＿latency＿increase＿plus1［Htid］が0に等しくなく、関連する変数PicLatencyCountがSpsMaxLatencyPictures［Htid］以上である出力に必要に応じてマークされた少なくとも1つのピクチャがDPBに存在することである。他の条件は、DPBのピクチャ数がSubDpbSize［Htid］以上であることである。

例示的な一般的なSEIメッセージ構文は以下の通りである。

スケーラブルネスティングSEIメッセージ・シンタックスの例は以下の通りである。

スケーラブルネスティングSEIメッセージセマンティクスの例は以下の通りである。スケーラブルネスティングSEIメッセージは、SEIメッセージを、特定のOLSのコンテキストにおける特定の層またはOLSのコンテキストではない特定の層に関連付けるためのメカニズムを提供する。スケーラブルネスティングSEIメッセージは、1つまたは複数のSEIメッセージを含む。スケーラブルネスティングSEIメッセージに含まれるSEIメッセージは、スケーラブルにネストされたSEIメッセージとも呼ばれる。ビットストリーム適合性は、SEIメッセージがスケーラブルネスティングSEIメッセージに含まれる場合に以下の制限が適用されることを要求し得る。

payloadTypeが132（デコードされたピクチャハッシュ）または133（スケーラブルネスティング）であるSEIメッセージは、スケーラブルネスティングSEIメッセージに含まれるべきではない。スケーラブルネスティングSEIメッセージがバッファリング期間、ピクチャタイミング、またはデコードユニット情報SEIメッセージを含む場合、スケーラブルネスティングSEIメッセージは、payloadTypeが0（バッファリング期間）、1（ピクチャタイミング）、または130（デコードユニット情報）ではないその他のSEIメッセージを含むべきではない。

ビットストリーム適合性はまた、スケーラブルネスティングSEIメッセージを含むSEI NALユニットのnal＿unit＿typeの値に以下の制限が適用されることを要求し得る。スケーラブルネスティングSEIメッセージが、0（バッファリング期間）、1（ピクチャタイミング）、130（デコードユニット情報）、145（従属RAPインジケーション）、または168（フレーム・フィールド情報）に等しいpayloadTypeを有するSEIメッセージを含む場合、スケーラブルネスティングSEIメッセージを含むSEI NALユニットは、PREFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するはずである。スケーラブルネスティングSEIメッセージが、132に等しいpayloadType（デコードされたピクチャハッシュ）を有するSEIメッセージを含む場合、スケーラブルネスティングSEIメッセージを含むSEI NALユニットは、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeセットを有するべきである。

nesting＿ols＿flagは、スケーラブルにネストされたSEIメッセージが特定のOLSのコンテキストにおける特定の層に適用されることを指定するために、1に等しく設定され得る。nesting＿ols＿flagは、スケーラブルにネストされたSEIメッセージが一般に特定の層に適用される（例えば、OLSの文脈ではない）ことを指定するために、0に等しく設定され得る。

ビットストリーム適合性は、nesting＿ols＿flagの値に以下の制限が適用されることを必要とする場合がある。スケーラブルネスティングSEIメッセージが、payloadTypeが0（バッファリング期間）、1（ピクチャタイミング）、または130（デコードユニット情報）に等しいSEIメッセージを含んでいる場合、nesting＿ols＿flagの値は1に等しくなければならない。スケーラブルネスティングSEIメッセージが、VclAssociatedSeiList内の値に等しいpayloadTypeを有するSEIメッセージを含む時、nesting＿ols＿flagの値は0に等しくなければならない。

nesting＿num＿olss＿minus1に1を加えたものは、スケーラブルにネストされたSEIメッセージが適用されるOLSの数を指定する。nesting＿num＿olss＿minus1の値は、0以上、TotalNumOlss－1以下の範囲であればよい。nesting＿ols＿idx＿delta＿minus1［i］は、nesting＿ols＿flagが1である場合に、スケーラブルにネストされたSEIメッセージが適用されるi番目のOLSのOLSインデックスを指定する変数NestingOlsIdx［i］を導出するために使用される。nesting＿ols＿idx＿delta＿minus1［i］の値は、0以上TotalNumOlss－2以下の範囲である必要がある。変数NestingOlsIdx［i］は、以下のように導出することができる。
if（i＝＝0）
NestingOlsIdx［i］＝nesting＿ols＿idx＿delta＿minus1［i］
else
NestingOlsIdx［i］＝NestingOlsIdx［i－1］＋nesting＿ols＿idx＿delta＿minus1［i］＋1

nesting＿num＿ols＿layers＿minus1［i］＋1は、NestingOlsIdx［i］番目のOLSのコンテキストにおいて、スケーラブルにネストされたSEIメッセージが適用される層の数を指定する。nesting＿num＿ols＿layers＿minus 1［i］の値は、0以上、NumLayersInOls［NestingOlsIdx［i］］－1以下の範囲にする必要がある。

nesting＿ols＿layer＿idx＿delta＿minus1［i］［j］は、nesting＿ols＿flagが1である場合に、NestingOlsIdx［i］番目のOLSのコンテキストにおいて、スケーラブルにネストされたSEIメッセージが適用されるj番目の層のOLS層インデックスを指定する変数NestingOlsLayerIdx［i］［j］を導出するために使用される。nesting＿ols＿layer＿idx＿delta＿minus1［i］の値は、0以上、NumLayersInOls［nestingOlsIdx［i］］－2以下の範囲である必要がある。

変数NestingOlsLayerIdx［i］［j］は、以下のように導出することができる。
if（j＝＝0）
NestingOlsLayerIdx［i］［j］＝nesting＿ols＿layer＿idx＿delta＿minus1［i］［j］
else
NestingOlsLayerIdx［i］［j］＝NestingOlsLayerIdx［i］［j－1］＋
nesting＿ols＿layer＿idx＿delta＿minus1［i］［j］＋1

0以上、nesting＿num＿olss＿minus1以下の範囲のiについてのLayerIdInOls［NestingOlsIdx［i］］［NestingOlsLayerIdx［i］［0］］のすべての値のうちの最も低い値は、カレントSEI NALユニット（例えば、スケーラブルネスティングSEIメッセージを含むSEI NALユニット）のnuh＿layer＿idに等しくなければならない。nesting＿all＿layers＿flagは、スケーラブルにネストされたSEIメッセージが、一般に、カレントSEI NALユニットのnuh＿layer＿id以上のnuh＿layer＿idを有するすべての層に適用されることを指定するために、1に等しく設定され得る。nesting＿all＿layers＿flagは、スケーラブルにネストされたSEIメッセージが、一般に、カレントSEI NALユニットのnuh＿layer＿id以上のnuh＿layer＿idを有するすべての層に適用される場合も適用されない場合もあることを指定するために、0に等しく設定され得る。

nesting＿num＿layers＿minus1に1を加えたものは、スケーラブルにネストされたSEIメッセージが一般に適用される層の数を指定する。nuh＿layer＿idがカレントSEI NALユニットのnuh＿layer＿idである場合、nesting＿num＿layers＿minus1の値は、0～vps＿max＿layers＿minus1－GeneralLayerIdx［nuh＿layer＿id］の範囲内でなければならない。nesting＿layer＿id［i］は、nesting＿all＿layers＿flagが0である場合に、スケーラブルにネストされたSEIメッセージが一般に適用される第i層のnuh＿layer＿id値を指定する。nesting＿layer＿id［i］の値はnuh＿layer＿idより大きくなければならず、nuh＿layer＿idはカレントSEI NALユニットのnuh＿layer＿idである。

nesting＿ols＿flagが1に等しい場合、スケーラブルにネストされたSEIメッセージが一般に適用される層の数を指定する変数NestingNumLayersと、スケーラブルにネストされたSEIメッセージが一般に適用される層のnuh＿layer＿id値のリストを指定する、0からNestingNumLayers－1の範囲内のiについてのリストNestingLayerId［i］とは、以下のように導出され、nuh＿layer＿idは、カレントSEI NALユニットのnuh＿layer＿idである。
if（nesting＿all＿layers＿flag）｛
NestingNumLayers＝vps＿max＿layers＿minus1＋1－GeneralLayerIdx［nuh＿layer＿id］
for（i＝0；i＜NestingNumLayers；i＋＋）
NestingLayerId［i］＝vps＿layer＿id［GeneralLayerIdx［nuh＿layer＿id］＋i］（D－2）
｝else｛
NestingNumLayers＝nesting＿num＿layers＿minus1＋1
for（i＝0；i＜NestingNumLayers；i＋＋）
NestingLayerId［i］＝（i＝＝0）？nuh＿layer＿id：nesting＿layer＿id［i］
｝

nesting＿num＿seis＿minus1に1を加えたものは、スケーラブルにネストされたSEIメッセージの数を指定する。nesting＿num＿seis＿minus1の値は、0以上63以下の範囲内の値であればよい。nesting＿0＿bitは0に等しく設定されるべきである。

図8は、例示的なビデオコーディング装置800の概略図である。ビデオコーディング装置800は、ここで説明されているように、開示される例／実施形態を実施するのに適している。ビデオコーディング装置800は、ダウンストリームポート820、アップストリームポート850、および／またはネットワークにわたってデータをアップストリームおよび／またはダウンストリームに伝達する送信器および／または受信器を含むトランシーバユニット（Tx／Rx）810を含む。ビデオコーディング装置800はまた、データを処理するために論理装置および／または中央処理装置（CPU）を含むプロセッサ830と、データを保管するメモリ832とを含む。ビデオコーディング装置800はまた、電気、光－電気（OE）コンポーネント、電気－光（EO）コンポーネント、および／または電気、光または無線通信ネットワークを介したデータ通信のためにアップストリームポート850および／またはダウンストリームポート820に結合された無線通信コンポーネントを含んでよい。ビデオコーディング装置800はまた、ユーザとデータをやり取りする入力および／または出力（I／O）デバイス860を含んでよい。I／Oデバイス860は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含んでもよい。I／Oデバイス860はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはそのような出力デバイスと対話するための対応するインターフェースを含んでもよい。

プロセッサ830は、ハードウェアおよびソフトウェアによって実装される。プロセッサ830は、1つまたは複数のCPUチップ、コア（例えば、複数コアプロセッサとして）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、およびデジタル信号プロセッサ（DSP）として実装されてもよい。プロセッサ830は、ダウンストリームポート820、Tx／Rx 810、アップストリームポート850、およびメモリ832と通信する。プロセッサ830はコーディングモジュール814を含む。コーディングモジュール814は、複数層ビデオシーケンス600および／またはビットストリーム700を使用することができる方法100，900および1000などの本明細書に記載された開示された実施形態を実施する。コーディングモジュール814は、本明細書で説明する他の任意の方法／メカニズムも実装してもよい。さらに、コーディングモジュール814は、コーデックシステム200、エンコーダ300、デコーダ400、および／またはHRD 500を実装し得る。例えば、コーディングモジュール814は、本明細書で説明されるように様々なパラメータを信号および／または読み取ることができる。さらに、コーディングモジュールは、そのようなパラメータに基づいてビデオシーケンスをエンコードおよび／またはデコードするために使用され得る。したがって、本明細書に記載されたシグナリング変更は、コーディングモジュール814における効率を高め、かつ／または誤りを回避することができる。したがって、コーディングモジュール814は、上述した問題のうちの1つまたは複数に対処するためのメカニズムを実行するように構成され得る。それ故、コーディングモジュール814により、ビデオコーディング装置800は、ビデオデータをコーディングする時に、追加機能および／またはコーディング効率を提供する。このように、コーディングモジュール814は、ビデオコーディング装置800の機能を向上させるとともに、ビデオコーディング技術固有の問題に対処する。さらに、コーディングモジュール814はビデオコーディング装置800の変換を異なる状態まで達成する。あるいは、コーディングモジュール814はメモリ832に保管された命令として実施でき、（例えば、非一時的媒体に保管されたコンピ
ュータプログラム製品として）プロセッサ830によって実行できる。

メモリ832は、ディスク、テープドライブ、ソリッドステートドライブ、読取専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、フラッシュメモリ、3値連想メモリ（TCAM）、スタティックランダムアクセスメモリ（SRAM）などの1つ以上のメモリ種別を含む。メモリ832は、かかるプログラムが実行のために選択された時にそのようなプログラムを保管するため、かつプログラムの実行中に読み取られる命令およびデータを保管するために、オーバーフローデータストレージ装置として使用されてもよい。

図9は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いることによって、ビデオシーケンスをビットストリーム700のようなビットストリームにエンコードする例示的な方法900のフローチャートである。方法900は、方法100を実行する時に、コーデックシステム200、エンコーダ300、および／またはビデオコーディング装置800などのエンコーダで使用されてよい。さらに、方法900は、HRD 500上で動作することができ、したがって、複数層ビデオシーケンス600に対して適合性試験を実行することができる。

方法900は、エンコーダがビデオシーケンスを受信し、例えばユーザ入力に基づいて、そのビデオシーケンスを複数層ビットストリームにエンコードすることを決定した時に開始することができる。ステップ901において、エンコーダは、ビットストリーム内の1つまたは複数のVCL NALユニット内の1つまたは複数のコーディングされたピクチャをエンコードする。例えば、コーディングされたピクチャは、層内のAUに含まれてもよい。さらに、エンコーダは、コーディングされたピクチャを含む1つまたは複数の層を複数層ビットストリームにエンコードすることができる。層は、同じ層IDおよび関連付けられた非VCL NALユニットを有するVCL NALユニットのセットを含み得る。例えば、VCL NALユニットのセットは、VCL NALユニットのセットがすべてnuh＿layer＿idの特定の値を有する場合、層の一部である。層は、エンコードされたピクチャのビデオデータを含むVCL NALユニットのセットと、このようなピクチャをコード化するために使用される任意のパラメータセットとを含み得る。これらの層は、1つまたは複数のOLSに含まれ得る。1つまたは複数の層は、出力層（例えば、各OLSは、少なくとも1つの出力層を含む。）であってもよい。出力層ではない層は、出力層の再構築をサポートするためにコーディングされるが、そのようなサポート層は、デコーダでの出力を意図するものではない。このようにして、エンコーダは、要求に応じてデコーダに送信するために層の様々な組み合わせをコーディングすることができる。層は、デコーダがネットワーク条件、ハードウェア能力、および／またはユーザ設定に応じてビデオシーケンスの異なる表現を取得することを可能にするために、必要に応じて送信することができる。

ステップ903において、エンコーダは、1つまたは複数の非VCL NALユニットをビットストリームへコーディングし得る。例えば、層および／または層のセットはまた、様々な非VCL NALユニットを含む。非VCL NALユニットは、すべてがnuh＿layer＿idの特定の値を有するVCL NALユニットのセットに関連付けられる。具体的には、エンコーダは、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットをコーディングすることができ、SEI NALユニットは、スケーラブルネスティングSEIメッセージを含む。別の言い方をすれば、エンコーダは、スケーラブルネスティングSEIメッセージを接尾辞SEIメッセージへエンコードし得る。スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメッセージを含む。スケーラブルにネストされたSEIメッセージは、接尾辞SEIメッセージに含めることができる任意の型のSEIメッセージとすることができる。例えば、スケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシュSEIメッセージ（例えば、またはBP SEI、PT SEI、および／またはDUI SEIメッセージ）を含み得る。したがって、スケーラブルネスティングSEIメッセージは、例に依存して、接尾辞SEIメッセージを特定のOLSおよび／または特定の層に関連付ける。（接尾辞SEIメッセージ内の）スケーラブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用される第i層のnuh＿layer＿id値を指定するスケーラブルネスティング層＿id［i］を含み得ることに留意されたい。したがって、スケーラブルネスティング層＿id［i］は、スケーラブルネスティングSEIメッセージ内のスケーラブルにネストされたSEIメッセージを層に関連付けることができる。いくつかの例では、接尾辞SEIメッセージ内のスケーラブルネスティングSEIメッセージは、133に設定されたpayloadTypeを含み得る。payloadTypeは、SEIメッセージに含まれるデータの種類を示すシンタックス要素であるので、SEI NALユニットに含まれるSEIメッセージの種類を示す。したがって、payloadTypeは、接尾辞SEIメッセージがスケーラブルネスティングSEIメッセージおよび／または1もしくは複数のスケーラブルにネストされたSEIメッセージを含むことを指示し得る。したがって、スケーラブルネスティングSEIメッセージおよび／または1つまたは複数のスケーラブルにネストされたSEIメッセージは、スケーラブルネスティングSEIメッセージおよび／またはスケーラブルにネストされたSEIメッセージに先行するVCL NALユニットなどのNALユニットに適用するためにエンコードされる。

ステップ905において、エンコーダは、HRDを使用して、スケーラブルネスティングSEIメッセージに基づいてビットストリームに対してビットストリーム適合性試験のセットを実行することができる。ビットストリーム適合性試験のセットは、1つまたは複数の試験を含み得る。例えば、HRDは、nal＿unit＿typeを使用して、スケーラブルネスティングSEIメッセージおよび／または1つもしくは複数のスケーラブルにネストされたSEIメッセージを含む接尾辞SEIメッセージを決定することができる。さらに、HRDは、スケーラブルネスティング層＿id［i］および／nuh＿layer＿id値を用いて、接尾辞SEIメッセージ内のスケーラブルにネストされたSEIメッセージを、コーディングされたピクチャ、層、および／またはOLSに相関させることができる。したがって、HRDは、SEIメッセージからのパラメータを使用して、接尾辞SEIメッセージの直前のVCL NALユニットから始まるコード化されたピクチャ、層、および／またはOLSに対して1つまたは複数の適合テストを実行することができる。次いで、エンコーダは、ステップ907において、デコーダに向けて通信するためにビットストリームを記憶することができる。エンコーダはまた、必要に応じてビットストリームをデコーダに向けて送信することができる。

図10は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを使用する、ビットストリーム700などのビットストリームからビデオシーケンスをデコードする例示的な方法1000のフローチャートである。方法1000は、方法100を実行する時に、コーデックシステム200、デコーダ400、および／またはビデオコーディング装置800などのデコーダで使用されてよい。さらに、方法1000は、HRD 500などのHRDによって適合性がチェックされた複数層ビデオシーケンス600上で使用することができる。

方法1000は、デコーダが、例えば方法900の結果として、および／またはデコーダによる要求に応答して、複数層ビデオシーケンスを表すコーディングされたデータのビットストリームを受信し始める時に開始することができる。ステップ1001において、デコーダは、1つまたは複数のVCL NALユニット内のコーディングされたピクチャを備えるビットストリームを受信する。さらに、ビットストリームは、コーディングされたピクチャを含む1つまたは複数の層を含み得る。層は、同じ層IDおよび関連付けられた非VCL NALユニットを有するVCL NALユニットのセットを含み得る。例えば、VCL NALユニットのセットは、VCL NALユニットのセットがすべてnuh＿layer＿idの特定の値を有する場合、層の一部である。層は、コーディングされたピクチャのビデオデータを含むVCL NALユニットのセットと、このようなピクチャをコーディングするために使用される任意のパラメータセットとを含み得る。1つ以上の層は出力層であってもよい。出力層ではない層は、出力層の再構築をサポートするためにコーディングされるが、そのようなサポート層は出力を意図するものではない。このようにして、デコーダは、ネットワーク条件、ハードウェア能力、および／またはユーザ設定に応じてビデオシーケンスの異なる表現を取得することができる。層はまた、様々な非VCL NALユニットを含む。非VCL NALユニットは、すべてがnuh＿layer＿idの特定の値を有するVCL NALユニットのセットに関連付けられる。

具体的には、ビットストリームは、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有するSEI NALユニットを含むことができ、これは、SEI NALユニットが接尾辞SEIメッセージを含むことを示す。また、SEI NALユニットは、スケーラブルネスティングSEIメッセージを含んでもよい。言い換えれば、接尾辞SEIメッセージは、スケーラブルネスティングSEIメッセージを含む。スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメッセージを含む。スケーラブルにネストされたSEIメッセージは、接尾辞SEIメッセージに含めることができる任意の型のSEIメッセージとすることができる。例えば、スケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシュSEIメッセージ（例えば、またはBP SEI、PT SEI、および／またはDUI SEIメッセージ）を含み得る。したがって、スケーラブルネスティングSEIメッセージは、例に依存して、接尾辞SEIメッセージを特定のOLSおよび／または特定の層に関連付ける。（接尾辞SEIメッセージ内の）スケーラブルネスティングSEIメッセージは、スケーラブルにネストされたSEIメッセージが適用される第i層のnuh＿layer＿id値を指定するスケーラブルネスティング層＿id［i］を含み得ることに留意されたい。したがって、スケーラブルネスティング層＿id［i］は、スケーラブルネスティングSEIメッセージ内のスケーラブルにネストされたSEIメッセージを層に関連付けることができる。いくつかの例では、接尾辞SEIメッセージ内のスケーラブルネスティングSEIメッセージは、133に設定されたpayloadTypeを含み得る。payloadTypeは、SEIメッセージに含まれるデータの種類を示すシンタックス要素であるので、SEI NALユニットに含まれるSEIメッセージの種類を示す。したがって、payloadTypeは、接尾辞SEIメッセージがスケーラブルネスティングSEIメッセージおよび／または1もしくは複数のスケーラブルにネストされたSEIメッセージを含むことを指示し得る。したがって、受信されたスケーラブルネスティングSEIメッセージおよび／または1つまたは複数のスケーラブルにネストされたSEIメッセージは、スケーラブルネスティングSEIメッセージおよび／またはスケーラブルにネストされたSEIメッセージに先行する、VCL NALユニットなどのNALユニットに適用される。

ステップ1003において、デコーダは、デコードされたピクチャを生成するために、VCL NALユニットからのコーディングされたピクチャをデコードし得る。例えば、デコーダは、nal＿unit＿typeを使用して、スケーラブルネスティングSEIメッセージおよび／または1つもしくは複数のスケーラブルにネストされたSEIメッセージを含む接尾辞SEIメッセージを決定することができる。さらに、デコーダは、スケーラブルネスティング層＿id［i］および／nuh＿layer＿id値を用いて、接尾辞SEIメッセージ内のスケーラブルにネストされたSEIメッセージを、コーディングされたピクチャ、層、および／またはOLSに相関させることができる。そして、デコーダは、コーディングされたピクチャをデコードする時に、所望に応じて、接尾辞SEIメッセージからスケーラブルネスティングSEIメッセージおよび／またはスケーラブルにネストされたSEIメッセージを使用することができる。例えば、デコーダは、デコードされたピクチャハッシュSEIメッセージを使用して、1つまたは複数の層内の1つまたは複数のピクチャ（例えば、コーディングされたピクチャを含む）がエラーなしで正しく受信およびデコードされたことを確認することができる。ステップ1005において、デコーダは、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送することができる。

図11は、スケーラブルネスティングSEIメッセージを含む接尾辞SEIメッセージを用いるビットストリームを用いてビデオシーケンスをコーディングするための典型的なシステム1100の概略図である。システム1100は、コーデックシステム200、エンコーダ300、デコーダ400、および／またはビデオコーディング装置800などのエンコーダおよびデコーダによって実施され得る。さらに、システム1100は、HRD 500を使用して、複数層ビデオシーケンス600および／またはビットストリーム700に対して適合性試験を実行することができる。さらに、システム1100は、方法100、900および／または1000を実施する時に使用され得る。

システム1100は、ビデオエンコーダ1102を含む。ビデオエンコーダ1102は、コーディングされた1つまたは複数のピクチャをビットストリームにエンコードするためのエンコーディングモジュール1103を備える。さらに、エンコーディングモジュール1103は、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットをビットストリームにエンコードするためのものである。ビデオエンコーダ1102は、スケーラブルネスティングSEIメッセージに基づいてビットストリームに対してビットストリーム適合性試験のセットを実行するためのHRDモジュール1105をさらに備える。ビデオエンコーダ1102はさらに、デコーダへの通信のためにビットストリームを記憶するための記憶モジュール1106を備える。ビデオエンコーダ1102は、ビットストリームをビデオデコーダ1110に向けて送信するための送信モジュール1107をさらに備える。ビデオエンコーダ1102はさらに、方法900のステップのうちのいずれかを実行するように構成され得る。

システム1100はまた、ビデオデコーダ1110を含む。ビデオデコーダ1110は、1つまたは複数のコーディングされたピクチャを備えるビットストリームと、SUFFIX＿SEI＿NUTに等しいnal＿unit＿typeを有し、スケーラブルネスティングSEIメッセージを含むSEI NALユニットとを受信するための受信モジュール1111を備える。ビデオデコーダ1110はさらに、デコードされたピクチャを生成するために、コーディングされたピクチャをデコードするためのデコーディングモジュール1113を備える。ビデオデコーダ1110は、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送するための転送モジュール1115をさらに備える。ビデオデコーダ1110はさらに、方法1000のステップのうちのいずれかを実行するように構成され得る。

第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間の線、トレース、またはその他の媒介物を除いて介在するコンポーネントがない場合は、第2のコンポーネントに直接的に結合される。第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間の線、トレース、またはその他の媒介物以外に介在するコンポーネントがある場合は、第2のコンポーネントに間接的に結合される。用語「結合」とその変化形は直接的な結合と間接的な結合の両方を含む。用語「約」の使用は、別段の記載がない限り、後続する数値の±10％を含む範囲を意味する。

本明細書に記載されている例示的な方法のステップは、記載されている順に実行することを必ずしも必要としていないことも理解されたく、かかる方法のステップの順序は、単なる例と理解されるべきである。同様に、本開示の様々な実施形態と合致する方法において、かかる方法には追加のステップが含まれてよく、いくつかのステップが省略されたり組み合わされたりしてよい。

本開示ではいくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく、多くの他の特定の形態で具現化されてもよいことが理解されよう。本開示の例は、限定ではなく例示とみなされるべきであり、その意図は、本明細書に与えられた詳細に限定されるべきではない。例えば、様々な要素または構成要素が別のシステムにおいて結合もしくは統合されてもよく、または特定の機能が省略されるか、もしくは実装されなくてもよい。

加えて、様々な実施形態において個別または別個のものとして記載および例示された技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、構成要素、技法、または方法と結合または統合されてもよい。変更、代用、および改変の他の例は当業者によって解明可能であり、本明細書に開示された趣旨および範囲から逸脱することなく行われてもよい。

100 動作方法
200 コーデックシステム
201 区分けされたビデオ信号
211 総合コーダ制御コンポーネント
213 変換スケーリング量子化コンポーネント
215 イントラピクチャ推定コンポーネント
217 イントラピクチャ予測コンポーネント
219 動き補償コンポーネント
221 動き推定コンポーネント
223 デコードされたピクチャバッファコンポーネント
225 インループフィルタコンポーネント
227 フィルタ制御解析コンポーネント
229 スケーリング逆変換コンポーネント
231 ヘッダーフォーマッティングCABACコンポーネント
300 エンコーダ
301 区分けされたビデオ信号
313 変換量子化コンポーネント
317 イントラピクチャ予測コンポーネント
321 動き補償コンポーネント
323 デコードされたピクチャバッファコンポーネント
325 インループフィルタコンポーネント
329 逆変換量子化コンポーネント
331 エントロピーコーディングコンポーネント
400 デコーダ
417 イントラピクチャ予測コンポーネント
421 動き補償コンポーネント
423 デコードされたピクチャバッファコンポーネント
425 インループフィルタコンポーネント
429 逆変換量子化コンポーネント
433 エントロピーデコーディングコンポーネント
500 HRD
600 複数層ビデオシーケンス
611、612、613、614、615、616、617、618 ピクチャ
621 層間予測
623 インター予測
627 アクセスユニット（AU）
628 OLS
631 層N
632 層N＋1
635 nuh＿layer＿id
700 ビットストリーム
711 VPS
713 SPS
715 PPS
717 スライスヘッダ
718 接頭辞SEIメッセージ
719 接尾辞SEIメッセージ
720 画像データ
723 層
725 ピクチャ
727 スライス
731 nal＿unit＿type
733 ペイロード型（payloadType）
735 スケーラブルネスティング層＿id［i］
741 非VCL NALユニット
742 PREFIX＿SEI＿NUT
743 SUFFIX＿SEI＿NUT
744 SEI NALユニット
745 VCL NALユニット
746 スケーラブルネスティングSEIメッセージ
747 スケーラブルにネストされたSEIメッセージ
748 デコードされたピクチャハッシュSEIメッセージ
800 ビデオコーディング装置
810 トランシーバユニット（Tx／Rx）
814 コーディングモジュール
820 ダウンストリームポート
830 プロセッサ
832 メモリ
850 アップストリームポート
860 入力および／または出力（I／O）デバイス
1100 システム
1102 ビデオエンコーダ
1103 エンコーディングモジュール
1105 HRDモジュール
1106 記憶モジュール
1107 送信モジュール
1110 ビデオデコーダ
1111 受信モジュール
1113 デコーディングモジュール
1115 転送モジュール

Claims

デコーダによって実施される方法であって、前記方法は、
前記デコーダの受信器によって、コーディングされたピクチャと、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットとを含むビットストリームを受信するステップと、
前記デコーダのプロセッサによって、前記コーディングされたピクチャをデコードしてデコードされたピクチャを生成するステップと、
を含む、方法。
前記スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメッセージを含む、請求項1に記載の方法。
前記1つまたは複数のスケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシュSEIメッセージを含む、請求項1または2に記載の方法。
前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の出力層セット（OLS）に関連付ける、請求項1から3のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の層に関連付ける、請求項1から4のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージが、133に設定されたペイロード型（payloadType）を含む、請求項1から5のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージは、前記スケーラブルにネストされたSEIメッセージが適用される第i層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定するスケーラブルネスティング層識別子（layer＿id［i］）を含む、請求項1から6のいずれか一項に記載の方法。
エンコーダによって実施される方法であって、前記方法は、
前記エンコーダのプロセッサによって、1つまたは複数のコーディングされたピクチャをビットストリームにエンコードするステップと、
前記プロセッサが、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）と等しいNALユニット型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットを前記ビットストリームにエンコードするステップと、
前記プロセッサによって、前記スケーラブルネスティングSEIメッセージに基づいて前記ビットストリームに対してビットストリーム適合性試験のセットを実行するステップと、
前記プロセッサに結合されたメモリによって、デコーダへの通信のために前記ビットストリームを記憶するステップと、
を含む、方法。
前記スケーラブルネスティングSEIメッセージは、1つまたは複数のスケーラブルにネストされたSEIメッセージを含む、請求項8に記載の方法。
前記1つまたは複数のスケーラブルにネストされたSEIメッセージは、デコードされたピクチャハッシュSEIメッセージを含む、請求項8または9に記載の方法。
前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の出力層セット（OLS）に関連付ける、請求項8から10のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージは、SEIメッセージを特定の層に関連付ける、請求項8から11のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージが、133に設定されたペイロード型（payloadType）を含む、請求項8から12のいずれか一項に記載の方法。
前記スケーラブルネスティングSEIメッセージは、前記スケーラブルにネストされるSEIメッセージが適用される第i層のNALユニットヘッダ層識別子（nuh＿layer＿id）値を指定するスケーラブルネスティング層識別子（layer＿id［i］）を含む、請求項8から13のいずれか一項に記載の方法。
プロセッサと、前記プロセッサに結合された受信器と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信器とを備え、前記プロセッサ、受信器、メモリ、および送信器は、請求項1から14のいずれか一項に記載の方法を実行するように構成されている、
ビデオコーディング装置。
ビデオコーディング装置によって使用されるコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品は前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含み、プロセッサによって実行されると、前記ビデオコーディング装置に請求項1から14のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。
デコーダであって、
コーディングされたピクチャと、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）に等しいNALユニット型（nal＿unit＿type）を有する補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットとを備える、スケーラブルネスティングSEIメッセージを含むビットストリームを受信する受信手段と、
前記コーディングされたピクチャをデコードしてデコードされたピクチャを生成するデコード手段と、
デコードされたビデオシーケンスの一部として表示するために前記デコードされたピクチャを転送するための転送手段と、
を備える、デコーダ。
前記デコーダが請求項1から7のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項17に記載のデコーダ。
エンコーダであって、
エンコード手段であって、
1つまたは複数のコーディングされたピクチャをビットストリームにエンコードし、
前記ビットストリームに、接尾辞SEI NALユニット型（SUFFIX＿SEI＿NUT）に等しいNALユニット型（nal＿unit＿type）を有し、スケーラブルネスティングSEIメッセージを含む補足拡張情報（SEI）ネットワーク抽象化層（NAL）ユニットをエンコードする、
エンコード手段と、
前記スケーラブルネスティングSEIメッセージに基づいて前記ビットストリームに対してビットストリーム適合性試験のセットを実行するための仮想参照デコーダ（HRD）手段と、
デコーダに向けて通信するための前記ビットストリームを記憶する記憶手段と、
を備える、エンコーダ。
前記エンコーダが、請求項8から14のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項19に記載のエンコーダ。