JP2022549649A - マルチレイヤービデオビットストリームにおける不要なレイヤーの禁止 - Google Patents

Abstract

復号方法が提供される。前記方法は、前記ビデオデコーダにより、ビデオパラメータセット（VPS）及び複数のレイヤーを含むビデオビットストリームを受信するステップであって、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、ステップと、前記ビデオデコーダにより、前記複数のレイヤーのうちの１つからピクチャーを復号するステップと、を含む。符号化の方法も提供される。前記方法は、前記ビデオエンコーダにより、複数のレイヤーと、１つ以上のOLSを指定するVPSを生成するステップであって、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないように制約される、ステップと、前記ビデオエンコーダにより、前記複数のレイヤー及び前記VPSをビデオビットストリームに符号化するステップと、前記ビデオエンコーダにより、ビデオデコーダへ向けて通信するために、前記ビデオビットストリームを格納するステップと、を含む。

Description

［関連出願］
本願は、参照によりここに組み込まれる米国仮特許出願番号第６２/９０５,１３６号、２０１９年９月２４日出願、Ye-Kui Wang、名称「Disallowing Unnecessary And Unused Layers In Multi-Layer Video Bitstreams」の利益を請求する。

［技術分野］
概して、本開示は、ビデオコーディングにおけるマルチレイヤービデオビットストリームのための技術を記載する。より具体的には、本開示は、不要な及び／又は使用されないレイヤーがビデオコーディングにおけるマルチレイヤービデオビットストリームの中で禁止されることを保証する。

比較的短いビデオでも描写するために必要なビデオデータの量は相当なものになり得る。これは、データが限られた帯域幅能力を有する通信ネットワークに渡りストリーミングされる又はその他の場合に通信されるとき、困難をもたらすことがある。したがって、ビデオデータは、通常、今日の電気通信ネットワークに渡り通信される前に、圧縮される。ビデオが記憶装置に格納されるとき、メモリリソースが限られていることがあるので、ビデオのサイズも問題になり得る。ビデオ圧縮装置は、送信又は記憶の前に、ソースにおいてビデオデータをコーディングするためにソフトウェア及び／又はハードウェアを度々使用し、それによりデジタルビデオ画像を表現するために必要なデータの量を削減する。圧縮されたデータは、次に、ビデオデータを復号するビデオ伸長装置により宛先において受信される。限られたネットワークリソース及びより高いビデオ品質の増え続ける要求に伴い、画像品質を僅かしか又は全く犠牲にせずに圧縮率を向上する改良された圧縮及び伸長技術が望ましい。

第１の態様は、ビデオデコーダにより実施される復号の方法であって、
前記ビデオデコーダにより、ビデオパラメータセット（VPS）及び複数のレイヤーを含むビデオビットストリームを受信するステップであって、いずれのレイヤーも少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、ステップと、
前記ビデオデコーダにより、前記複数のレイヤーのうちの１つからピクチャーを復号するステップと、
を含む方法に関する。

前記方法は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記ピクチャーが、前記少なくとも１つのOLSの出力レイヤーに含まれることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記復号するステップの前に、前記少なくとも１つのOLSから出力レイヤーを選択することを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記出力ピクチャーが選択された後に、前記出力レイヤーから前記ピクチャーを選択することを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー、又は任意の他のレイヤーの前記直接参照レイヤーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記少なくとも１つのOLSが１つ以上の出力レイヤーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではないことを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、電子装置のディスプレー上で、復号したピクチャーを表示することを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記ビデオデコーダにより、第２ビデオパラメータセット（VPS）及び第２の複数のレイヤーを含む第２ビデオビットストリームを受信するステップであって、少なくとも１つのレイヤーは、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、ステップと、
前記受信するステップに応答して、幾つかの他の修正手段を講じて、前記第２の複数のレイヤーのうちの１つからピクチャーを復号する前に、前記第２ビデオビットストリームに対応する準拠ビットストリームが受信されることを保証する、ステップと、
を提供する。

第２の態様は、ビデオエンコーダにより実施される符号化の方法であって、前記方法は、
前記ビデオエンコーダにより、複数のレイヤーと、少なくとも１つの出力レイヤーセット（OLS）を指定するビデオパラメータセット（VPS）を生成するステップであって、前記ビデオエンコーダは、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないように制約される、ステップと、
前記ビデオエンコーダにより、前記複数のレイヤー及び前記VPSをビデオビットストリームに符号化するステップと、
前記ビデオエンコーダにより、ビデオデコーダへ向けて通信するために、前記ビデオビットストリームを格納するステップと、
を含む方法に関する。

前記方法は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記１つ以上のOLSの各々は、１つ以上の出力レイヤーを含み、前記出力レイヤーの各々は１つ以上のピクチャーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記OLSのうちの１つは、２つの出力レイヤーを含み、前記２つの出力レイヤーのうちの一方は、前記２つの出力レイヤーのうちの他方を参照することを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではないことを提供する。

第３の態様は、復号装置であって、
ビデオパラメータセット（VPS）と複数のレイヤーとを含むビデオビットストリームを受信するよう構成される受信機であって、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、受信機と、
前記受信機に結合されるメモリであって、前記メモリは命令を格納する、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記復号装置に、復号ピクチャーを得るために前記複数のレイヤーのうちの１つからピクチャーを復号させる、プロセッサと、
を含む復号装置に関する。

前記復号装置は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記ピクチャーが、前記少なくとも１つのOLSの出力レイヤーに含まれることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記プロセッサは、前記ピクチャーが復号される前に、前記少なくとも１つのOLSから出力レイヤーを選択するよう更に構成されることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記プロセッサは、前記出力ピクチャーが選択された後に、前記出力レイヤーから前記ピクチャーを選択するよう更に構成されることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー、又は任意の他のレイヤーの前記直接参照レイヤーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記少なくとも１つのOLSが１つ以上の出力レイヤーを含むことを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、ディスプレーが復号したピクチャーを表示するよう構成されることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、前記プロセッサは、前記命令を実行して、前記復号装置に、更に、
第２ビデオパラメータセット（VPS）及び第２の複数のレイヤーを含む第２ビデオビットストリームを受信させ、少なくとも１つのレイヤーは、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもなく、
前記第２ビデオビットストリームの受信に応答して、幾つかの他の修正手段を講じて、前記第２の複数のレイヤーのうちの１つからピクチャーを復号する前に、前記第２ビデオビットストリームに対応する準拠ビットストリームが受信されることを保証することを提供する。

第４の態様は、符号化装置であって、
命令を含むメモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記符号化装置に、
複数のレイヤーと、１つ以上の出力レイヤーセット（OLS）を指定するビデオパラメータセット（VPS）とを生成させ、前記符号化装置は、いずれのレイヤーも、少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないように制約され、
前記複数のレイヤー及び前記VPSをビデオビットストリームに符号化させる、プロセッサと、
前記プロセッサに結合される送信機であって、前記送信機は、ビデオデコーダへ向けて前記ビデオビットストリームを送信するよう構成される、送信機と、
を含む符号化装置に関する。

前記符号化装置は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記１つ以上のOLSの各々は、１つ以上の出力レイヤーを含み、前記出力レイヤーの各々は１つ以上のピクチャーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー、又は任意の他のレイヤーの前記直接参照レイヤーを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではないことを提供する。

第５の態様は、コーディング機器に関する。前記コーディング機器は、
ピクチャーを受信して符号化するか、又はビットストリームを受信して復号するよう構成される受信機と、
前記受信機に結合される送信機であって、前記送信機は、前記ビットストリームをデコーダへ送信するか、又は復号画像をディスプレーへ送信するよう構成される、送信機と、
前記受信機又は前記送信機のうちの少なくとも１つに結合されるメモリであって、前記メモリは、命令を格納するよう構成される、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、本願明細書に開示される方法のいずれかを実行するために、前記メモリに格納された前記命令を実行するよう構成される、プロセッサと、
を含む。

前記コーディング機器は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、復号ピクチャーを表示するよう構成されるディスプレーを提供する。

第６の態様は、システムに関する。前記システムは、
エンコーダと、
前記エンコーダと通信するデコーダであって、前記エンコーダ又は前記デコーダは、本願明細書に開示される復号装置、符号化装置、又はコーディング機器を含む、デコーダと、
を含む。

前記システムは、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

第７の態様はコーディングする手段に関する。コーディングする手段は、
ピクチャーを受信して符号化するか、又はビットストリームを受信して復号するよう構成される受信手段と、
前記受信手段に結合される送信手段であって、前記送信手段は、前記ビットストリームを復号手段へ送信するか、又は復号画像をディスプレー手段へ送信するよう構成される、送信手段と、
前記受信手段又は前記送信手段のうちの少なくとも１つに結合される記憶手段であって、前記記憶手段は、命令を格納するよう構成される、記憶手段と、
前記記憶手段に結合される処理手段であって、前記処理手段は、本願明細書に記載される方法のいずれかを実行するために、前記記憶手段に格納された前記命令を実行するよう構成される、処理手段と、
を含む。

前記コーディングする手段は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術を提供する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

明確さを目的として、前述の実施形態のうちのいずれか１つは、他の前述の実施形態のうちの任意の１つ以上と結合されて、本開示の範囲内にある新しい実施形態を生成してよい。

上述及び他の特徴は、添付の図面及び請求の範囲と関連して取り入れられる以下の詳細な説明から一層明確に理解されるだろう。

本開示のより完全な理解のために、ここで、添付の図面及び詳細な説明と関連して以下の簡単な説明を参照する。ここで同様の参照符号は同様の部分を表す。

ビデオ信号をコーディングする例示的な方法のフローチャートである。

ビデオコーディングのための例示的なコーディング及び復号（コーデック）システムの概略図である。

例示的なビデオエンコーダを示す概略図である。

例示的なビデオデコーダを示す概略図である。

空間スケーラビリティのためのマルチレイヤーコーディングの例を示す。

出力レイヤーセット（OLS）を使用するマルチレイヤーコーディングの例を示す。

ビデオビットストリームの実施形態を示す。

コーディングビデオビットストリームを復号する方法の実施形態である。

コーディングビデオビットストリームの方法の実施形態である。

ビデオ符号化装置の概略図である。

コーディングする手段の実施形態の概略図である。

初めに理解されるべきことに、１つ以上の実施形態の説明的実装が以下に提供されるが、開示のシステム及び／又は方法は、現在知られているか又は既存かに関わらず、任意の数の技術を用いて実装されてよい。本開示は、ここに図示され説明される例示的な設計及び実装を含む以下に説明する説明的実装、図面、及び技術に決して限定されるべきではなく、添付の請求の範囲の範囲内で、それらの均等物の全範囲と共に、変更されてよい。

以下の用語は、本明細書で矛盾する文脈で使用されない限り、以下のように定義される。特に、以下の定義は、本開示に更なる明確さを提供することを意図している。しかしながら、用語は、異なる文脈で異なるように記載されることがある。従って、以下の定義は、補助として考えられるべきであり、本願明細書においてそのような用語のために提供される記述の任意の他の定義を制限すると考えられるべきではない。

ビットストリームは、エンコーダとデコーダの間の送信のために圧縮されるビデオデータを含むビットのシーケンスである。エンコーダは、ビデオデータをビットストリームへと圧縮するために、符号化処理を利用するよう構成される装置である。デコーダは、表示のためにビットストリームからビデオデータを再構成するために、復号処理を利用するよう構成される装置である。ピクチャーは、フレーム又はそのフィールドを生成するクロマサンプルのアレイ及び／又はルマサンプルのアレイである。符号化又は復号されているピクチャーは、議論の明確さのために、現在ピクチャーと呼ぶことができる。参照ピクチャーは、インター予測及び／又はインターレイヤー予測に従い、参照により他のピクチャーをコーディングするときに使用可能な参照サンプルを含むピクチャーである。参照ピクチャーリストは、インター予測及び／又はインターレイヤー予測のために使用される参照ピクチャーのリストである。幾つかのビデオコーディングシステムは、参照ピクチャーリスト１及び参照ピクチャーリスト０と表すことのできる２つの参照ピクチャーリストを利用する。参照ピクチャーリスト構造は、複数の参照ピクチャーリストを含むアドレス可能なシンタックス構造である。インター予測は、参照により、現在ピクチャーのサンプルを、現在ピクチャーと異なる参照ピクチャー内の示されたサンプルにコーディングするメカニズムである。ここで、参照ピクチャーと現在ピクチャーは同じレイヤーにある。参照ピクチャーリスト構造エントリは、参照ピクチャーリストに関連付けられる参照ピクチャーを示す、参照ピクチャーリスト構造内のアドレス可能な位置である。スライスヘッダーは、スライス内で表現されるタイルの中の全部のビデオデータに関連するデータ要素を含むコーディングスライスの一部である。ピクチャーパラメータセット（picture parameter set （PPS））は、ピクチャー全体に関連するデータを含むパラメータセットである。より具体的には、PPSは、各ピクチャーヘッダーの中で見付かるシンタックス要素により決定されるような、０個以上のコーディングピクチャー全体に適用されるシンタックス要素を含むシンタックス構造である。シーケンスパラメータセット（sequence parameter set （SPS））は、ピクチャーのシーケンスに関連するデータを含むパラメータセットである。アクセスユニット（access unit （AU））は、復号ピクチャーバッファ（decoded picture buffer （DPB））から出力するために（例えば、ユーザーへの表示のために）同じ表示時間（例えば、同じピクチャー順序カウント）に関連付けられる１つ以上のコーディングピクチャーのセットである。アクセスユニットデリミタ（access unit delimiter （AUD））は、AUの開始又はAU間の境界を示すために使用される指示子又はデータ構造である。復号ビデオシーケンスは、ユーザーへの表示を準備する際に、デコーダにより再構成されたピクチャーのシーケンスである。

ネットワーク抽象化レイヤー（network abstraction layer （NAL））ユニットは、未処理バイトシーケンスペイロード（Raw Byte Sequence Payload （RBSP））の形式のデータ、データのタイプの指示を含み、及び必要に応じてエミュレーション防止バイトが散在している、シンタックス構造である。ビデオコーディングレイヤー（video coding layer （VCL））NALユニットは、ピクチャーのコーディングスライスのようなビデオデータを含むようコーディングされたNALユニットである。非VCL NALユニットは、ビデオデータを復号すること、準拠チェックの性能、又は他の動作をサポートするシンタックス及び／又はパラメータのような非ビデオデータを含むNALユニットである。レイヤーは、特定の特性（例えば、共通の解像度、フレームレート、画像サイズ、等）を共有するVCL NALユニットと、関連する非VCL NALユニットとのセットである。レイヤーのVCL NALユニットは、NALユニットヘッダーレイヤー識別子（nuh_layer_id）の特定の値を共有してよい。コーディングピクチャーは、アクセスユニット（access unit （AU））の中でNALユニットヘッダーレイヤー識別子（nuh_layer_id）の特定の値を有する、及びピクチャーの全部のコーディングツリーユニット（coding tree unit （CTU））を含むVCL NALユニットを含むピクチャーのコーディング表現である。復号ピクチャーは、コーディングピクチャーに復号処理を適用することにより生成されるピクチャーである。

出力レイヤーセット（output layer set （OLS））は、１つ以上のレイヤーが出力レイヤーとして指定されるレイヤーのセットである。出力レイヤーは、（例えば、ディスプレーへの）出力のために指定されるレイヤーである。ゼロ番目の（０-th）OLSは、最下位レイヤー（最下位レイヤー識別子を有するレイヤー）のみを含む、従って出力レイヤーのみを含むOLSである。ビデオパラメータセット（video parameter set （VPS））は、ビデオ全体に関連するパラメータを含むデータユニットである。インターレイヤー予測は、参照レイヤー内の参照ピクチャーを参照することにより、現在レイヤー内の現在ピクチャーをコーディングするメカニズムである。ここで、現在ピクチャー及び参照ピクチャーは同じAUに含まれ、参照レイヤーは現在レイヤーより低いnuh_layer_idを含む。

以下の略語が本願明細書で使用される。コーディングツリーブロック（coding tree block （CTB））、コーディングツリーユニット（coding tree unit （CTU））、コーディングユニット（coding unit （CU））、コーディングビデオシーケンス（coded video sequence （CVS））、共同ビデオ専門家チーム（Joint Video Experts Team （JVET））、ネットワーク抽象化レイヤー（network abstraction layer （NAL））、ピクチャー順序カウント（picture order count （POC））、ピクチャーパラメータセット（Picture Parameter Set （PPS））、未処理バイトシーケンスペイロード（raw byte sequence payload （RBSP））、シーケンスパラメータセット（sequence parameter set （SPS））、バーサタイルビデオコーディング（versatile video coding （VVC））、及びワーキングドラフト（working draft （WD））。

図１は、ビデオ信号のコーディングの例示的な動作方法１００のフローチャートである。具体的に、ビデオ信号はエンコーダで符号化される。符号化処理は、ビデオファイルサイズを削減するために、種々のメカニズムを利用することにより、ビデオ信号を圧縮する。小さなファイルサイズほど、関連する帯域幅オーバヘッドを削減しながら、ユーザーに向けて圧縮されたビデオファイルを送信することを可能にする。デコーダは、次に、エンドユーザーに表示するために、圧縮されたビデオファイルを復号して元のビデオ信号を再構成する。復号処理は、通常、符号化処理のミラーであり、デコーダがビデオ信号を矛盾無く再構成することを可能にする。

ステップ１０１で、ビデオ信号はエンコーダに入力される。例えば、ビデオ信号は、メモリに格納された非圧縮ビデオファイルであってよい。別の例として、ビデオファイルは、ビデオカメラのようなビデオキャプチャ装置によりキャプチャされ、ビデオのライブストリーミングをサポートするために符号化されてよい。ビデオファイルは、オーディオコンポーネント及びビデオコンポーネントの両方を含んでよい。ビデオコンポーネントは、シーケンスの中で閲覧されるとき、動きの視覚的印象を与える一連の画像フレームを含む。フレームは、ここではルマ成分（又はルマサンプル）と呼ばれる光、及びクロマ成分（又はクロマサンプル）と呼ばれる色、の観点で表現されるピクセルを含む。幾つかの例では、フレームは、３次元表示をサポートするために、深さ値も含んでよい。

ステップ１０３で、ビデオはブロックにパーティションされる。パーティションは、圧縮のために、各フレーム内のピクセルを正方形及び／又は長方形ブロックに細分化することを含む。例えば、高効率ビデオコーディング（High Efficiency Video Coding（HEVC））（H.２６５及びMPEG-H Part２としても知られる）では、フレームは、先ず、所定のサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコーディングツリーユニット（coding tree unit（CTU））に分割できる。CTUは、ルマ及びクロマサンプルの両方を含む。コーディングツリーは、ＣＴＵをブロックに分割し、次に、更なる符号化をサポートする構成が達成されるまで、ブロックを繰り返し細分化するために利用されてよい。例えば、フレームのルマ成分は、個々のブロックが比較的同種の光の値を含むまで、細分化されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的同種の色の値を含むまで、細分化されてよい。したがって、パーティションメカニズムは、ビデオフレームの内容に依存して変化する。

ステップ１０５で、ステップ１０３でパーティションされた画像ブロックを圧縮するために、種々の圧縮メカニズムが利用される。例えば、インター予測及び／又はイントラ予測が利用されてよい。インター予測は、共通のシーンの中のオブジェクトは連続フレームで現れる傾向があるという事実を利用するよう設計される。したがって、参照フレーム内のオブジェクトを描写するブロックは、隣接フレーム内で繰り返し示される必要がない。具体的には、テーブルのようなオブジェクトは、複数のフレームに渡り、一定の位置に留まってよい。したがって、テーブルは一度示され、隣接フレームは参照フレームに戻り参照できる。複数のフレームに渡りオブジェクトを一致させるために、パターンマッチングメカニズムが利用されてよい。さらに、例えばオブジェクトの動き又はカメラの動きにより、動くオブジェクトが複数のフレームに渡り表示されてよい。特定の例として、ビデオは、複数のフレームに渡りスクリーンを横に移動する自動車を示してよい。このような動きを示すために、動きベクトルが利用できる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内の該オブジェクトの座標へのオフセットを提供する２次元ベクトルである。したがって、インター予測は、現在フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして、符号化できる。

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、ルマ及びクロマ成分がフレーム内で密集する傾向があるという事実を利用する。例えば、木の一部の緑のパッチは、同様の緑のパッチに隣接して位置する傾向がある。イントラ予測は、複数の方向予測モード（例えば、HEVCでは３３個）、平面モード、及び直流（direct current（DC））モードを利用する。方向モードは、現在ブロックが対応する方向の近隣ブロックのサンプルと同様／同じであることを示す。平面モードは、行／列（例えば、平面）に沿う一連のブロックが行の端にある近隣ブロックに基づき補間できることを示す。平面モードは、事実上、変化する値の比較的一定の勾配を利用することにより、行／列に渡る光／色の円滑な遷移を示す。DCモードは、境界円滑化のために利用され、ブロックが方向予測モードの角度方向に関連する全部の近隣ブロックのサンプルに関連する平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、種々の関係予測モードとして、画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに、動きベクトル値として、画像ブロックを表すことができる。いずれの場合にも、予測ブロックは、幾つかの場合に画像を正確に表さないことがある。任意の差が残差ブロックに格納される。ファイルを更に圧縮するために、変換が残差ブロックに適用されてよい。

ステップ１０７で、種々のフィルタリング技術が適用されてよい。HEVCでは、フィルタは、インループフィルタリング方式に従い適用される。上述のブロックに基づく予測は、デコーダにおいて濃淡のむらのある画像の生成をもたらし得る。さらに、ブロックに基づく予測方式は、ブロックを符号化し、次に、参照ブロックとして後に使用するために、符号化したブロックを再構成し得る。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、及びサンプル適応型オフセット（sample adaptive offset（SAO））フィルタをブロック／フィルタに繰り返し適用する。これらのフィルタは、このような濃淡のむらのアーチファクトを緩和し、その結果、符号化されたファイルは正確に再構成できる。さら、これらのフィルタは、再構成された参照ブロック内のアーチファクトを緩和し、その結果、再構成された参照ブロックに基づき符号化される後のブロック内で追加アーチファクトを生じる可能性が低い。

ビデオ信号がパーティションされ、圧縮され、及びフィルタリングされると、結果として生じるデータは、ステップ１０９でビットストリーム内に符号化される。ビットストリームは、上述のデータ、及びデコーダにおける適正なビデオ信号再構成をサポートするための任意の所望のシグナリングデータを含む。例えば、このようなデータは、パーティションデータ、予測データ、残差ブロック、及びデコーダにコーディング指示を提供する種々のフラグを含んでよい。ビットストリームは、要求によりデコーダへ向けて送信するために、メモリに格納されてよい。ビットストリームは、複数のデコーダへ向けてブロードキャスト及び／又はマルチキャストされてもよい。ビットストリームの生成は反復処理である。したがって、ステップ１０１、１０３、１０５、１０７、及び１０９は、多数のフレーム及びブロックに渡り連続して及び／又は同時に生じてよい。図１に示す順序は明確さ及び議論の容易さのために提示され、ビデオコーディング処理を特定の順序に限定することを意図しない。

ステップ１１１で、デコーダは、ビットストリームを受信し、復号処理を開始する。具体的に、デコーダは、エントロピー復号方式を利用して、ビットストリームを対応するシンタックス及びビデオデータに変換する。ステップ１１１で、デコーダは、ビットストリームからのシンタックスを利用して、フレームのパーティションを決定する。パーティションは、ステップ１０３におけるブロックパーティションの結果と一致するべきである。ステップ１１１で利用されるようなエントロピー符号化／復号は、以下に説明される。エンコーダは、圧縮処理の間に、入力画像内の値の空間的位置に基づき幾つかの可能な選択肢からブロックパーティション方式を選択するような、多くの選択肢を生成する。正確な選択肢をシグナリングすることは、膨大な数のビンを利用し得る。ここで使用されるように、ビンは、変数として扱われる２進値である（例えば、コンテキストに依存して変化し得るビット値）。エントロピーコーディングは、許容可能な選択肢のセットを残して、エンコーダが特定の場合に明らかに実行可能ではない任意の選択肢を廃棄することを可能にする。各々の許容可能な選択肢は、次にコードワードを割り当てられる。コードワードの長さは、許容可能な選択肢の数に基づく（例えば、２個の選択肢に対して１つのビン、３～４個の選択肢に対して２つのビン、等）。エンコーダは、次に、選択された選択肢についてコードワードを符号化する。この方式は、全ての可能な選択肢の潜在的に大きな集合からの選択をユニークに示すのとは反対に、可能な選択肢の小さな部分集合からの選択をユニークに示すために望ましい程度の大きさなので、コードワードのサイズを削減する。デコーダは、次に、エンコーダと同様の方法で許容可能な選択肢の集合を決定することにより、選択を復号する。許容可能な選択肢の集合を決定することにより、デコーダは、コードワードを読み出し、エンコーダにより行われた選択を決定できる。

ステップ１１３で、デコーダは、ブロック復号を実行する。具体的に、デコーダは、逆変換を利用して残差ブロックを生成する。次に、デコーダは、残差ブロック及び対応する予測ブロックを利用して、パーティションに従い画像ブロックを再構成する。予測ブロックは、エンコーダにおいてステップ１０５で生成されたイントラ予測ブロック及びインター予測ブロックの両方を含んでよい。再構成画像ブロックは、次に、ステップ１１１で決定されたパーティションデータに従い再構成ビデオ信号のフレームへと位置付けられる。ステップ１１３のシンタックスも、上述のようなエントロピーコーディングによりビットストリームの中でシグナリングされてよい。

ステップ１１５で、エンコーダにおけるステップ１０７と同様の方法で、再構成ビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、及びSAOフィルタが、ブロッキングアーチファクトを除去するためにフレームに適用されてよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザーによる閲覧のためにステップ１１７においてディスプレーへと出力できる。

図２は、ビデオコーディングのための例示的なコーディング及び復号（コーデック）システム２００の概略図である。具体的に、コーデックシステム２００は、動作方法１００の実装をサポートするための機能を提供する。コーデックシステム２００は、エンコーダ及びデコーダの両方の中で利用されるコンポーネントを示すために一般化される。コーデックシステム２００は、パーティションされたビデオ信号２０１を生じる、動作方法１００におけるステップ１０１及び１０３に関して上述したビデオ信号を受信しパーティションする。コーデックシステム２００は、次に、方法１００におけるステップ１０５、１０７、及び１０９に関して上述したエンコーダとして動作するとき、パーティションされたビデオ信号２０１をコーディングビットストリームへと圧縮する。デコーダとして動作するとき、コーデックシステム２００は、動作方法１００におけるステップ１１１、１１３、１１５、及び１１７に関して上述したようにビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャー推定コンポーネント２１５、イントラピクチャー予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリング及び逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、インループフィルタコンポーネント２２５、復号ピクチャーバッファコンポーネント２２３、及びヘッダーフォーマット及びコンテキスト適応型２進算術コーディング（context adaptive binary arithmetic coding（CABAC））コンポーネント２３１を含む。このようなコンポーネントは図示のように結合される。図２では、黒線は符号化／復号されるべきデータの動きを示し、一方で、破線は他のコンポーネントの動作を制御する制御データの動きを示す。コーデックシステム２００のコンポーネントは、エンコーダ内に全て存在してよい。デコーダは、コーデックシステム２００のコンポーネントの一部を含んでよい。例えば、デコーダは、イントラピクチャー予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリング及び逆変換コンポーネント２２９、インループフィルタコンポーネント２２５、及び復号ピクチャーバッファコンポーネント２２３を含んでよい。これらのコンポーネントはここで説明される。

パーティションされたビデオ信号２０１は、コーディングツリーによりピクセルのブロックへとパーティションされた、キャプチャされたビデオシーケンスである。コーディングツリーは、種々の分割モードを利用して、ピクセルのブロックをより小さなピクセルのブロックへと細分化する。これらのブロックは、次に、より小さなブロックへと更に細分化できる。ブロックは、コーディングツリー上のノードと呼ばれてよい。より大きな親ノードは、より小さな子ノードへと分割される。ノードが細分化される回数は、ノード／コーディングツリーの深さと呼ばれる。分割されたブロックは、幾つかの場合にはコーディングユニット（coding unit（CU））に含まれ得る。例えば、CUは、ルマブロック、赤色差分クロマ（Cr）ブロック、及び青色差分クロマ（Cb）ブロック、ならびにCUの対応するシンタックス命令を含むCTUの副部分であり得る。分割モードは、利用される分割モードに依存して変化する形状の各々２、３、又は４個の子ノードにノードをパーティションするために利用される２分木（binary tree（BT））、３分木（triple tree（TT））、及び４分木（quad tree（QT））を含んでよい。パーティションされたビデオ信号２０１は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャー推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、及び動き推定コンポーネント２２１へと圧縮のために転送される。

汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従いビットストリームへのビデオシーケンスの画像のコーディングに関連する決定を行うよう構成される。例えば、汎用コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。このような決定は、記憶空間／帯域幅の利用可能性、及び画像解像度要求に基づき行われてよい。汎用コーダ制御コンポーネント２１１は、また、バッファアンダーラン及びオーバラン問題を緩和するために、変換速度の観点でバッファ利用を管理する。これらの問題に対応するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティション、予測、及びフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増大するために圧縮複雑性を動的に増大させ、解像度及び帯域幅使用を低減するために帯域幅使用を増大し又は圧縮複雑性を減少させてよい。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号再構成品質とビットレート関心事とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを生成する。制御データも、デコーダにおける復号のためのパラメータをシグナリングするためにビットストリーム内に符号化されるようヘッダーフォーマット及びCABACコンポーネント２３１へ転送される。

パーティションされたビデオ信号２０１は、インター予測のために、動き推定コンポーネント２２１及び動き補償コンポーネント２１９へも送信される。パーティションされたビデオ信号２０１のフレーム又はスライスは、複数のビデオブロックに分割されてよい。動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、１つ以上の参照フレームの中の１つ以上のブロックに関連して、受信したビデオブロックのインター予測コーディングを実行し、時間予測を提供する。コーデックシステム２００は、例えばビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。

動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、高度に統合されてよいが、概念的目的のために別個に示される。動き推定コンポーネント２２１により実行される動き推定は、ビデオブロックについて動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、予測ブロックに関連してコーディングオブジェクトの配置を示してよい。予測ブロックは、ピクセル差分の観点で、コーディングされるべきブロックに厳密に一致すると分かったブロックである。予測ブロックは、参照ブロックとも呼ばれてよい。このようなピクセル差分は、絶対値差分の和（sum of absolute difference（SAD））、平方差分の和（sum of square difference（SSD））、又は他の差分メトリックにより決定されてよい。HEVCは、ＣＴＵ、コーディングツリーブロック（coding tree block（CTB））、及びＣＵを含む幾つかのコーディングオブジェクトを利用する。例えば、CTUは、CTBに分割でき、CTBは次にCUに含むためにCBに分割できる。CUは、予測データを含む予測単位（prediction unit（PU））及び／又はCUの変換された残差データを含む変換単位（transform unit（TU））として符号化できる。動き推定コンポーネント２２１は、レート歪み最適化処理の部分としてレート歪み分析を用いて、動きベクトル、PU及びTUを生成する。例えば、動き推定コンポーネント２２１は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトル、等を決定してよく、最適なレート歪み特性を有する参照ブロック、動きベクトル、等を選択してよい。最適なレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）及びコーディング効率（例えば、最終的な符号化のサイズ）の両方のバランスをとる。

幾つかの例では、コーデックシステム２００は、復号ピクチャーバッファコンポーネント２２３に格納された参照ピクチャーのサブ整数ピクチャー位置の値を計算してよい。例えば、ビデオコーデックシステム２００は、参照ピクチャーの４分の１ピクセル位置、８分の１ピクセル位置、又は他の分数ピクセル位置の値を補間してよい。したがって、動き推定コンポーネント２２１は、完全ピクセル位置及び分数ピクセル位置に関連して動き探索を実行し、分数ピクセル精度で動きベクトルを出力してよい。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャーの予測ブロックの位置と比較することにより、インターコーディングスライスの中のビデオブロックのＰＵについて、動きベクトルを計算する。動き推定コンポーネント２２１は、計算した動きベクトルを動きデータとして、符号化のためにヘッダーフォーマット及びCABACコンポーネント２３１へ、動きを動き補償コンポーネント２１９へ出力する。

動き補償コンポーネント２１９により実行される動き補償は、動き推定コンポーネント２２１により決定された動きベクトルに基づき、予測ブロックをフェッチする又は生成することを含んでよい。ここでも、動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、幾つかの例では機能的に統合されてよい。現在ビデオブロックのＰＵの動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルの指す予測ブロックの位置を特定してよい。次に、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算してピクセル差分値を形成することにより、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に関連して動き推定を実行し、動き補償コンポーネント２１９は、クロマ成分及びルマ成分の両方についてルマ成分に基づき計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換スケーリング及び量子化コンポーネント２１３へ転送される。

パーティションされたビデオ信号２０１は、イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７へも送信される。動き推定コンポーネント２２１及び動き補償コンポーネント２１９と同様に、イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７は、高度に統合されてよいが、概念的目的のために別個に示される。上述のようなフレーム間の動き推定コンポーネント２２１及び動き補償コンポーネント２１９により実行されるインター予測の代わりに、イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７は、現在フレーム内のブロックに関連して現在ブロックをイントラ予測する。特に、イントラピクチャー推定コンポーネント２１５は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定する。幾つかの例では、イントラピクチャー推定コンポーネント２１５は、複数のテストされたイントラ予測モードから、現在ブロックを符号化するための適切なイントラ予測モードを選択する。選択したイントラ予測モードは、次に、符号化のためにヘッダーフォーマット及びCABACコンポーネント２３１へ転送される。

例えば、イントラピクチャー推定コンポーネント２１５は、種々のテストされたイントラ予測モードについてレート歪み分析を用いてレート歪み値を計算し、テストしたモードの中で最適なレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化ブロックと、符号化されて該符号化ブロックを生成した元の未符号化ブロックとの間の歪み（又は誤差）の量、並びに符号化ブロックを生成するために使用されたビットレート（例えば、ビット数）を決定する。イントラピクチャー推定コンポーネント２１５は、種々の符号化ブロックについて歪み及びレートから比を計算して、ブロックについて、どのイントラ予測モードが最適なレート歪み値を示すかを決定する。さらに、イントラピクチャー推定コンポーネント２１５は、レート歪み最適化（rate-distortion optimization（RDO））に基づき、深さモデル化モード（depth modeling mode（DMM））を用いて深さマップの深さブロックをコーディングするよう構成されてよい。

イントラピクチャー予測コンポーネント２１７は、エンコーダに実装されるとき、イントラピクチャー推定コンポーネント２１５により決定された、選択されたイントラ予測モードに基づき、予測ブロックから残差ブロックを生成し、又は、デコーダに実装されるとき、ビットストリームから残差ブロックを読み出してよい。残差ブロックは、行列として表現される、予測ブロックと元のブロックとの間の値の差分を含む。残差ブロックは、次に、変換スケーリング及び量子化コンポーネント２１３へ転送される。イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７は、ルマ及びクロマ成分の両方に対して動作してよい。

変換スケーリング及び量子化コンポーネント２１３は、残差ブロックを更に圧縮するよう構成される。変換スケーリング及び量子化コンポーネント２１３は、離散コサイン変換（discrete cosine transform（DCT））、離散サイン変換（discrete sine transform（DST））、又は概念的に類似する変換のような変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、又は他の種類の変換も使用され得る。変換は、残差情報を、ピクセル値ドメインから周波数ドメインのような変換ドメインへと変換してよい。変換スケーリング及び量子化コンポーネント２１３は、また、例えば周波数に基づき、変換された残差情報をスケーリングするよう構成される。このようなスケーリングは、倍率を残差情報に適用することを含む。その結果、異なる周波数情報は異なる粒度で量子化され、これは再構成ビデオの最終的な視覚的品質に影響を与え得る。変換スケーリング及び量子化コンポーネント２１３は、また、ビットレートを更に低減するために、変換係数を量子化するよう構成される。量子化処理は、係数の一部又は全部に関連するビット深さを低減してよい。量子化の程度は、量子化パラメータを調整することにより、変更されてよい。幾つかの例では、変換スケーリング及び量子化コンポーネント２１３は、次に、量子化された変換係数を含む行列のスキャンを実行してよい。量子化された変換係数は、ビットストリーム内に符号化されるために、ヘッダーフォーマット及びCABACコンポーネント２３１へ転送される。

スケーリング及び逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリング及び量子化コンポーネント２１３の逆動作を適用する。スケーリング及び逆変換コンポーネント２２９は、逆スケーリング、変換、及び／又は量子化を適用して、例えば別の現在ブロックのための予測ブロックになり得る参照ブロックとして後に使用するために、ピクセルドメインの残差ブロックを再構成する。動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９は、後のブロック／フレームの動き推定で使用するために、残差ブロックを対応する予測ブロックに加算して戻すことにより、参照ブロックを計算してよい。スケーリング、量子化、及び変換の間に生成されたアーチファクトを低減するために、再構成された参照ブロックにフィルタが適用される。このようなアーチファクトは、そうでなければ、後続のブロックが予測されるときに不正確な予測を生じ（及び追加アーチファクトを生成し）得る。

フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５は、残差ブロックに及び／又は再構成画像ブロックにフィルタを適用する。例えば、スケーリング及び逆変換コンポーネント２２９からの変換された残差ブロックは、元の画像ブロックを再構成するために、イントラピクチャー予測コンポーネント２１７及び／又は動き補償コンポーネント２１９からの対応する予測ブロックと結合されてよい。フィルタは、次に、再構成画像ブロックに適用されてよい。幾つかの例では、フィルタは、代わりに、残差ブロックに適用されてよい。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５は、高度に統合され一緒に実装されてよいが、概念的目的のために別個に示される。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、このようなフィルタが適用されるべき場合を決定し、対応するパラメータを設定する。このようなデータは、ヘッダーフォーマット及びCABACコンポーネント２３１へ、符号化のためのフィルタ制御データとして転送される。インループフィルタコンポーネント２２５は、フィルタ制御データに基づき、このようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、及び適応型ループフィルタを含んでよい。このようなフィルタは、例に依存して、（例えば、再構成されたピクセルブロック上の）空間／ピクセルドメインにおいて、又は周波数ドメインにおいて、適用されてよい。

エンコーダとして動作するとき、フィルタリングされた再構成画像ブロック、残差ブロック、及び／又は予測ブロックは、上述のように動き推定において後に使用するために、復号ピクチャーバッファコンポーネント２２３に格納される。デコーダとして動作するとき、復号ピクチャーバッファコンポーネント２２３は、出力ビデオ信号の部分として、再構成されフィルタリングされたブロックを格納しディスプレーへ向けて転送する。復号ピクチャーバッファコンポーネント２２３は、予測ブロック、残差ブロック、及び／又は再構成画像ブロックを格納することの可能な任意のメモリ装置であってよい。

ヘッダーフォーマット及びＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の種々のコンポーネントからデータを受信し、デコーダへ向けて送信するためにこのようなデータをコーディングビットストリームに符号化する。具体的に、ヘッダーフォーマット及びCABACコンポーネント２３１は、一般制御データ及びフィルタ制御データのような制御データを符号化するために種々のヘッダーを生成する。さらに、イントラ予測及び動きデータを含む予測データ、ならびに量子化された変換係数データの形式の残差データは、全てビットストリーム内に符号化される。最終的なビットストリームは、元のパーティションされたビデオ信号２０１を再構成するためにデコーダにより所望される全ての情報を含む。このような情報は、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、種々のブロックの符号化コンテキストの定義、最も有望なイントラ予測モードの指示、パーティション情報の指示、等も含んでよい。このようなデータは、エントロピーコーディングを利用することにより、符号化されてよい。例えば、情報は、コンテキスト適応型可変長コーディング（context adaptive variable length coding（CAVLC））、シンタックスに基づくコンテキスト適応型２進算術コーディング（syntax-based context-adaptive binary arithmetic coding（SBAC））、確率区間パーティショニングエントロピー（probability interval partitioning entropy（PIPE））コーディング、又は別のエントロピーコーディング技術を利用することにより、符号化されてよい。エントロピーコーディングに従い、コーディングされたビットストリームは、別の装置（例えば、ビデオデコーダ）へ送信され、又は後の送信又は読み出しのために保存されてよい。

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実装するために、及び／又は動作方法１００のステップ１０１、１０３、１０５、１０７及び／又は１０９を実装するために、利用されてよい。エンコーダ３００は、入力ビデオ信号をパーティションして、実質的にパーティションされたビデオ信号２０１と同様であるパーティションされたビデオ信号３０１を生じる。パーティションされたビデオ信号３０１は、次に、エンコーダ３００のコンポーネントにより圧縮されビットストリームに符号化される。

具体的に、パーティションされたビデオ信号３０１は、イントラ予測のためにイントラピクチャー予測コンポーネント３１７へ転送される。イントラピクチャー予測コンポーネント３１７は、イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７と実質的に同様であってよい。パーティションされたビデオ信号３０１は、復号ピクチャーバッファコンポーネント３２３の中の参照ブロックに基づくインター予測のために動き補償コンポーネント３２１へも転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１及び動き補償コンポーネント２１９と実質的に同様であってよい。イントラピクチャー予測コンポーネント３１７及び動き補償コンポーネント３２１からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために、変換及び量子化コンポーネント３１３へ転送される。変換及び量子化コンポーネント３１３は、変換スケーリング及び量子化コンポーネント２１３と実質的に同様であってよい。変換され量子化された残差ブロック及び対応する予測ブロックは（関連する制御データと一緒に）、ビットストリームへのコーディングのためにエントロピーコーディングコンポーネント３１３へ転送される。エントロピーコーディングコンポーネント３３１は、ヘッダーフォーマット及びＣＡＢＡＣコンポーネント２３１と実質的に同様であってよい。

変換され量子化された残差ブロック及び／又は対応する予測ブロックは、また、動き補償コンポーネント３２１による使用のために参照ブロックへと再構成するために、変換及び量子化コンポーネント３１３から逆変換及び量子化コンポーネント３２９へ転送される。逆変換及び量子化コンポーネント３２９は、スケーリング及び逆変換コンポーネント２２９と実質的に同様であってよい。インループフィルタコンポーネント３２５の中のインループフィルタも、例に依存して、残差ブロック及び／又は再構成された参照ブロックに適用される。インループフィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７及びインループフィルタコンポーネント２２５と実質的に同様であってよい。インループフィルタコンポーネント３２５は、インループフィルタコンポーネント２２５に関して議論したような複数のフィルタを含んでよい。フィルタリングされたブロックは、次に、動き補償コンポーネント３２１により参照ブロックとして使用するために、復号ピクチャーバッファコンポーネント３２３に格納される。復号ピクチャーバッファコンポーネント３２３は、復号ピクチャーバッファコンポーネント２２３と実質的に同様であってよい。

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオエンコーダ４００は、コーデックシステム２００の復号機能を実装するために、及び／又は動作方法１００のステップ１１１、１１３、１１５及び／又は１１７を実装するために、利用されてよい。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザーに表示するためにビットストリームに基づき再構成された出力ビデオ信号を生成する。

ビットストリームは、エントロピー復号コンポーネント４３３により受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディングのようなエントロピー復号方式、又は他のエントロピーコーディング技術を実装するよう構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム内にコードワードとして符号化された追加データを解釈するために、ヘッダー情報を利用してコンテキストを提供してよい。復号された情報は、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、及び残差ブロックからの量子化済み変換係数のような、ビデオ信号を復号するための任意の所望の情報を含む。量子化済み変換係数は、残差ブロックへと再構成するために、逆変換及び量子化コンポーネント４２９へ転送される。逆変換及び量子化コンポーネント４２９は、逆変換及び量子化コンポーネント３２９と同様であってよい。

再構成残差ブロック及び／又は予測ブロックは、イントラ予測動作に基づき画像ブロックへと再構成するために、イントラピクチャー予測コンポーネント４１７へ転送される。イントラピクチャー予測コンポーネント４１７は、イントラピクチャー推定コンポーネント２１５及びイントラピクチャー予測コンポーネント２１７と同様であってよい。具体的に、イントラピクチャー予測コンポーネント４１７は、フレーム内の参照ブロックの位置を特定するために予測モードを利用し、結果に残差ブロックを適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロック及び／又は残差ブロック、及び対応するインター予測データは、各々復号ピクチャーバッファコンポーネント２２３及びインループフィルタコンポーネント２２５と実質的に同様であってよいインループフィルタコンポーネント４２５を介して復号ピクチャーバッファコンポーネント４２３へ転送される。インループフィルタコンポーネント４２５は、再構成画像ブロック、残差ブロック、及び／又は予測ブロックをフィルタリングし、そのような情報は復号ピクチャーバッファコンポーネント４２３に格納される。復号ピクチャーバッファコンポーネント４２３からの再構成画像ブロックは、インター予測のために動き補償コンポーネント４２１へ転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９と実質的に同様であってよい。具体的に、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを利用して、予測ブロックを生成し、結果に残差ブロックを提供して、画像ブロックを再構成する。結果として生じた再構成ブロックは、インループフィルタコンポーネント４２５を介して、復号ピクチャーバッファコンポーネント４２３へ転送されてもよい。復号ピクチャーバッファコンポーネント４２３は、パーティション情報によりフレームへと再構成できる、追加再構成画像ブロックを格納し続けてよい。このようなフレームは、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオ信号としてディスプレーに向けて出力される。

以上を心に留めて、ビデオ圧縮技術は、空間（イントラピクチャー）予測及び／又は時間（インターピクチャー）予測を実行して、ビデオシーケンスに内在する冗長性を低減するか、又は除去する。ブロックに基づくビデオコーディングでは、ビデオスライス（つまり、ビデオピクチャー又はビデオピクチャーの部分）は、ツリーブロック、コーディングツリーブロック（coding tree block （CTB））、コーディングツリーユニット（coding tree unit （CTU））、コーディングユニット（coding unit （CU））、及び／又はコーディングノードとも呼ばれてよいビデオブロックにパーティションされてよい。ピクチャーのイントラコーディング（Ｉ）スライス内のビデオブロックは、同じピクチャー内の近隣ブロックの中の参照サンプルに対して空間予測を用いて符号される。ピクチャーのインターコーディング（Ｐ又はＢ）スライス内のビデオブロックは、同じピクチャー内の近隣ブロックの中の参照サンプルに対する空間予測、又は他の参照ピクチャー内の参照サンプルに対する時間予測を利用してよい。ピクチャーは、フレームと呼ばれてよく、参照ピクチャーは、参照フレームと呼ばれてよい。POCは、各ピクチャー、コーディングレイヤービデオシーケンス（coded layer video sequence （CLVS））内の全てのピクチャーの中で関連付けられたピクチャーを一意に識別し、関連付けられたピクチャーがDPBから出力されるときを示し、及び、DPBから出力されるべき同じCLVS内の他のピクチャーの出力順序位置に対する出力順序で、関連付けられたピクチャーの位置を示す、各ピクチャーに関連付けられた変数である。フラグは、２つの可能な値：０及び１のうちの１つを取ることができる、変数又は単一ビットシンタックス要素である。

空間又は時間予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差を表す。インターコーディングブロックは予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコーディングブロックと予測ブロックとの間の差を示す残差データに従い符号化される。イントラコーディングブロックは、イントラコーディングモード及び残差データに従い符号化される。更なる圧縮のために、残差データは、ピクセルドメインから変換ドメインへと変換されてよく、結果として残差変換係数を生じ、これは次に量子化されてよい。量子化変換係数は、最初に２次元アレイに構成され、変換係数の１次元ベクトルを生成するためにスキャンされてよく、更に多くの圧縮を達成するためにエントロピーコーディングが適用されてよい。

画像及びビデオ圧縮は、急速な成長を経験しており、種々のコーディング規格をもたらしている。そのようなビデオコーディング規格は、ITU-TH.２６１、国際標準化機構／国際電気標準会議（International Organization for Standardization/International Electrotechnical Commission （ISO/IEC）、MPEG-１ Part２, ITU-TH.２６２又はISO/IEC MPEG-２ Part２, ITU-TH.２６３, ISO/IEC MPEG-４ Part２, ITU-T H.２６４又はISO/IEC MPEG-４ Part １０としても知られているAdvanced Video Coding （AVC）、ITU-T H.２６５又はMPEG-H Part２としても知られているHigh Efficiency Video Coding （HEVC）、を含む。AVCは、スケーラブル映像コーディング（Scalable Video Coding （SVC））、多視点映像コーディング（Multiview Video Coding （MVC））、及び多視点映像コーディング及び奥行き（Multiview Video Coding plus Depth （MVC+D））、並びに３次元AVC（３D-AVC）のような拡張を含む。HEVCは、スケーラブルHEVC（Scalable HEVC （SHVC））、多視点HEVC（Multiview HEVC （MV-HEVC））、及び３D HEVC（３D-HEVC）のような拡張を含む。

ITU-T及びISO/IECの共同ビデオ専門家チーム（joint video experts team （JVET））Versatile Video Coding （VVC）と命名される新しいコーディング規格もある。VVC規格は幾つかのワーキングドラフトを有するが、特にVVCの１つのワーキングドラフト（Working Draft （WD））、つまりB. Bross, J. Chen,及びS. Liu, 「Versatile Video Coding （Draft５）」、JVET-N１００１-v３, １３th JVET Meeting, March ２７, ２０１９（VVC Draft５）がここで参照される。

ビデオコーディングにおけるスケーラビリティは、マルチレイヤーコーディング技術を用いることにより、サポートされる。マルチレイヤービットストリームは、基本レイヤー（base layer （BL））及び１つ以上の拡張レイヤー（enhancement layer （EL））を含む。スケーラビリティの例は、空間スケーラビリティ、品質/信号対雑音（SNR）スケーラビリティ、マルチビュースケーラビリティなどを含む。マルチレイヤーコーディング技術が使用される場合、ピクチャー又はその一部は、（１）参照ピクチャーを使用せずに、すなわち、イントラ予測を使用することによって、（２）同じレイヤー内にある参照ピクチャーを参照することによって、すなわち、インター予測を使用することによって、又は、（３）他のレイヤーにある参照ピクチャーを参照することによって、すなわち、レイヤー間予測を使用することによって、コーディングされ得る。現在ピクチャーのレイヤー間予測に使用される参照ピクチャーは、レイヤー間参照ピクチャー（inter-layer reference picture （ILRP））と呼ばれる。

図５は、例えばブロック圧縮ステップ１０５、ブロック復号ステップ１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、及び/又は動き補償コンポーネント４２１においてMVを決定するために実行されるような、レイヤーベースの予測５００の一例を示す概略図である。レイヤーベースの予測５００は、一方向のインター予測及び/又は双方向のインター予測と互換性があるが、異なるレイヤーのピクチャー間でも実行される。

レイヤーベースの予測５００は、異なるレイヤーにおいて、ピクチャー５１１、５１２、５１３、及び５１４とピクチャー５１５、５１６、５１７、及び５１８との間に適用される。図示の例では、ピクチャー５１１、５１２、５１３、及び５１４はレイヤーN+１ ５３２の一部であり、ピクチャー５１５、５１６、５１７、及び５１８はレイヤーN５３１の一部である。レイヤーN ５３１及び/又はレイヤーN+１ ５３２のようなレイヤーは、類似のサイズ、品質、解像度、信号対雑音比、能力などのような、類似の値の特性にすべて関連するピクチャーのグループである。従って、レイヤーN+１ ５３２内のピクチャー５１１、５１２、５１３、及び５１４は、この例のレイヤーN ５３１内のピクチャー５１５、５１６、５１７、及び５１８よりも大きなピクチャーサイズ（例えば、より大きな高さ及び幅、したがってより多くのサンプル）を有する。しかしながら、このようなピクチャーは、他の特性によってレイヤーN+１ ５３２とレイヤーN ５３１との間で分離することができる。２つのレイヤー、レイヤーN+１ ５３２及びレイヤーN ５３１のみが示されているが、ピクチャーのセットは、関連する特性に基づいて任意の数のレイヤーに分離することができる。レイヤーN+１ ５３２及びレイヤーN ５３１は、レイヤーIDによって示されてもよい。レイヤーIDは、ピクチャーに関連付けられたデータのアイテムであり、ピクチャーが示されたレイヤーの一部であることを示す。したがって、各ピクチャー５１１～５１８は、対応するレイヤーIDと関連付けられて、どのレイヤーN+１ ５３２又はレイヤーN ５３１が対応する図を含むかを示すことができる。

異なるレイヤー５３１～５３２内のピクチャー５１１～５１８は、代替として表示されるように構成される。このように、異なるレイヤー５３１-５３２内のピクチャー５１１～５１８は、同じ時間識別子（ID）を共有することができ、同じAU内に含まれることができる。本明細書で使用される場合、AUは、DPBからの出力のための同じ表示時間に関連する１つ以上のコーディングピクチャーの集合である。例えば、より小さなピクチャーが望まれる場合には、デコーダは、現在の表示時間でピクチャー５１５を復号及び表示し、より大きなピクチャーが望まれる場合には、デコーダは、現在の表示時間でピクチャー５１１を復号及び表示し得る。このように、上位レイヤーN+１ ５３２におけるピクチャー５１１～５１４は、（ピクチャーサイズの差にもかかわらず）下位レイヤーN ５３１における対応するピクチャー５１５～５１８と実質的に同じ画像データを含む。具体的には、ピクチャー５１１は、ピクチャー５１５と実質的に同じ画像データを含み、ピクチャー５１２は、ピクチャー５１６と実質的に同じ画像データを含む、などである。

ピクチャー５１１～５１８は、同じレイヤーN ５３１又はN+１ ５３２内の他のピクチャー５１１～５１８を参照することによってコーディングすることができる。同じレイヤー内の別のピクチャーを参照してピクチャーを符号化すると、互換性のある一方向性のインター予測及び／又は双方向性のインター予測であるインター予測５２３が得られる。インター予測５２３は、実線矢印で示される。例えば、ピクチャー５１３は、レイヤーN+１５３２内のピクチャー５１１、５１２、及び／又は５１４のうちの１つ又は２つを参照として使用するインター予測５２３を採用することによってコーディングされてもよく、１つのピクチャーが、一方向のインター予測のために参照され、及び／又は、２つのピクチャーが、双方向のインター予測のために参照される。更に、ピクチャー５１７は、レイヤーN５３１内のピクチャー５１５、５１６、及び／又は５１８のうちの１つ又は２つを参照として使用するインター予測５２３を採用することによってコーディングされてもよく、１つのピクチャーが、一方向のインター予測のために参照され、及び／又は、２つのピクチャーが、双方向のインター予測のために参照される。ピクチャーが、インター予測５２３を実行するときに、同じレイヤー内の別のピクチャーのための参照として使用される場合、ピクチャーは、参照ピクチャーと呼ばれ得る。例えば、ピクチャー５１２は、インター予測５２３に従ってピクチャー５１３をコーディングするために使用される参照ピクチャーであってもよい。インター予測５２３は、マルチレイヤーコンテキストにおいてイントラレイヤー予測とも呼ばれ得る。このように、インター予測５２３は、参照により、現在ピクチャーのサンプルを、現在ピクチャーと異なる参照ピクチャー内の示されたサンプルにコーディングするメカニズムである。ここで、参照ピクチャーと現在ピクチャーは同じレイヤーにある。

ピクチャー５１１～５１８は、異なるレイヤー内の他のピクチャー５１１～５１８を参照することによってコーディングすることもできる。この処理は、インターレイヤー予測５２１として知られており、破線の矢印で示されている。インターレイヤー予測５２１は、現在ピクチャーと参照ピクチャーが異なるレイヤーにあり、したがって異なるレイヤーIDを有する場合に、参照ピクチャー内の示されたサンプルを参照することによって、現在のピクチャーのサンプルをコーディングするメカニズムである。例えば、下位レイヤーN ５３１内のピクチャーを参照ピクチャーとして使用して、対応するピクチャーを上位レイヤーN+１ ５３２にコーディングすることができる。特定の例として、ピクチャー５１１は、インターレイヤー予測５２１に従って、ピクチャー５１５を参照することによってコーディングできる。このような場合、ピクチャー５１５は、インターレイヤー参照ピクチャーとして使用される。インターレイヤー参照ピクチャーは、インターレイヤー予測５２１に使用される参照ピクチャーである。ほとんどの場合、インターレイヤー予測５２１は、ピクチャー５１１のような現在ピクチャーが、同じAUに含まれ、ピクチャー５１５のような下位レイヤーにあるインターレイヤー参照ピクチャーのみを使用することができるように制約される。複数のレイヤー（例えば、２つ以上）が利用可能である場合、インターレイヤー予測５２１は、現在ピクチャーよりも低いレベルで、複数のインターレイヤー参照ピクチャーに基づいて、現在ピクチャーを符号化／復号することができる。

ビデオエンコーダは、レイヤーベースの予測５００を使用して、インター予測５２３及びインターレイヤー予測５２１の多くの異なる組み合わせ及び／又は順列を介して、ピクチャー５１１～５１８を符号化することができる。例えば、ピクチャー５１５は、イントラ予測に従ってコーディングされてもよい。次いで、ピクチャー５１５を参照ピクチャーとして使用することによって、ピクチャー５１６～５１８をインター予測５２３に従ってコーディングすることができる。さらに、ピクチャー５１１は、インターレイヤー参照ピクチャーとしてピクチャー５１５を使用することによって、インターレイヤー予測５２１に従ってコーディングされてもよい。次いで、ピクチャー５１１を参照ピクチャーとして使用することによって、ピクチャー５１２～５１４をインター予測５２３に従ってコーディングすることができる。このように、参照ピクチャーは、異なるコーディングメカニズムに対して単一レイヤー参照ピクチャー及びインターレイヤー参照ピクチャーの両方として機能することができる。下位レイヤーN ５３１ピクチャーに基づいて上位レイヤーN+１ ５３２ピクチャーをコーディングすることによって、上位レイヤーN+１ ５３２は、インター予測５２３及びインターレイヤー予測５２１よりもはるかに低いコーディング効率を有するイントラ予測を使用することを回避することができる。従って、イントラ予測の劣ったコーディング効率は、最小/最低品質のピクチャーに制限され得、従って、最小量のビデオデータをコーディングすることに制限され得る。参照ピクチャー及び／又はインターレイヤー参照ピクチャーとして使用されるピクチャーは、参照ピクチャーリスト構造に含まれる参照ピクチャーリストのエントリの中で示すことができる。

図５の各AU５０６は、幾つかのピクチャーを含むことができる。例えば、１つのAU５０６は、ピクチャー５１１及び５１５を含むことができる。別のAU５０６は、ピクチャー５１２及び５１６を含むことができる。実際、各AU５０６は、（例えば、ユーザーに表示するために）復号ピクチャーバッファ（decoded picture buffer （DPB））から出力するために、同じ表示時間（例えば、同じ時間ID）に関連付けられた１つ以上のコーディングピクチャーのセットである。各AUD５０８は、AU（例えば、AU５０８）の開始又はAU間の境界を示すために使用される指示子又はデータ構造である。

以前のH.２６xビデオコーディングファミリーは、単一レイヤーコーディングのためのプロファイルとは別のプロファイルにおけるスケーラビリティのサポートを提供してきた。スケーラブルビデオコーディング（Scalable video coding （SVC））は、空間的、時間的及び品質的スケーラビリティのサポートを提供するAVC/H.２６４のスケーラブルな拡張である。SVCでは、ELピクチャー内の各マクロブロック（MB）の中でフラグがシグナリングされ、下位レイヤーからの同一位置ブロックを使用してEL MBが予測されるかどうかが示される。同一位置ブロックからの予測は、テクスチャ、動きベクトル、及び／又はコーディングモードを含んでもよい。SVCの実装は、未修正のH.２６４/AVC実装を設計に直接再利用することはできない。SVC ELマクロブロックのシンタックス及び復号処理は、H.２６４/AVCのシンタックス及び復号処理とは異なる。

スケーラブルHEVC（Scalable HEVC （SHVC））は、空間的及び品質的スケーラビリティのサポートを提供するHEVC/H.２６５規格の拡張であり、マルチビューHEVC（multiview HEVC （MV-HEVC））は、マルチビュースケーラビリティのサポートを提供するHEVC/H.２６５の拡張であり、３DHEVC（３D-HEVC）は、MV-HEVCよりも高度で効率的な３次元（３D）ビデオコーディングのサポートを提供するHEVC/H.２６４の拡張である。時間的スケーラビリティは単一レイヤーHEVCコーデックの不可欠な部分として含まれることに注意されたい。HEVCのマルチレイヤー拡張の設計は、インターレイヤー予測のために使用される復号画像が同じアクセスユニット（AU）のみから来て、長期参照ピクチャー（long-term reference picture （LTRP））として扱われ、現在レイヤーの他の時間参照ピクチャーと共に参照ピクチャーリストの中で参照インデックスを割り当てられるという考えを利用する。インターレイヤー予測（Inter-layer prediction （ILP））は、参照ピクチャーリスト内のインターレイヤー参照ピクチャーを参照するために参照インデックスの値を設定することにより、予測ユニット（prediction unit （PU））レベルで達成される。

注目すべきことに、参照ピクチャーの再サンプリング及び空間スケーラビリティの特徴の両方は、参照ピクチャー又はその一部の再サンプリングを必要とする。参照ピクチャー再サンプリング（Reference picture resampling （RPR））は、ピクチャーレベル又はコーディングブロックレベルのいずれかで実現することができる。しかしながら、RPRが符号化特徴と呼ばれる場合、それは単一レイヤーコーディングのための特徴である。たとえそうであっても、単一レイヤーコーディングのRPR特徴及びマルチレイヤーコーディングの空間スケーラビリティ特徴の両方に対して同じ再サンプリングフィルタを使用することは、コーデック設計の観点から可能であるか、又は望ましい。

図６は、例えばブロック圧縮ステップ１０５、ブロック復号ステップ１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、及び/又は動き補償コンポーネント４２１においてMVを決定するために実行されるような、出力レイヤーセット（output layer set （OLS））を利用するレイヤーベースの予測６００の例を示す。レイヤーベースの予測５００は、一方向のインター予測及び/又は双方向のインター予測と互換性があるが、異なるレイヤーのピクチャー間でも実行される。図６のレイヤーベースの予測は、図５のものと類似する。従って、簡単のために、レイヤーベースの予測の完全な説明は繰り返されない。

図６のコーディングビデオシーケンス（coded video sequence （CVS））６９０の中のレイヤーの幾つかは、OLSに含まれる。OLSは、１つ以上のレイヤーが出力レイヤーとして指定されるレイヤーのセットである。出力レイヤーは、出力されるOLSのレイヤーである。図６は、３つの異なるOLS、つまりOLS１、OLS２、OLS３を示す。示されるように、OLS１は、レイヤーN６３１及びレイヤーN+１ ６３２を含む。OLS２は、レイヤーN６３１、レイヤーN+１ ６３２、レイヤーN+２ ６３３、及びレイヤーN+１ ６３４を含む。OLS３は、レイヤーN６３１、レイヤーN+１ ６３２、レイヤーN+２ ６３３を含む。３つのOLSが示されているが、実際の適用では異なる数のOLSが使用されてよい。

異なるOLSの各々は、任意の数のレイヤーを含んでよい。異なるOLSは、様々なコーディング能力を有する種々の異なる装置のコーディング能力に対応しようとして生成される。例えば、OLS１は、２つのレイヤーのみを含み、比較的限られたコーディング能力を有する携帯電話機に対応するために生成されてよい。他方で、OLS２は、４つのレイヤーを含み、携帯電話機より多くのレイヤーを復号することのできる大画面テレビに対応するために生成されてよい。OLS３は、３つのレイヤーを含み、携帯電話機より多くのレイヤーを復号できるが、大画面テレビのように最も多くのレイヤーを復号できない、パーソナルコンピュータ、ラップトップコンピュータ、又はタブレットコンピュータに対応するために生成されてよい。

図６のレイヤーは、互いに全て独立であることができる。つまり、各レイヤーは、インターレイヤー予測（inter-layer prediction （ILP））を使用せずに、コーディングできる。この場合、レイヤーは、同報レイヤーと呼ばれる。図６のレイヤーのうちの１つ以上は、ILPを使用してコーディングされてもよい。レイヤーが同報レイヤーかどうか、又はレイヤーのうちの幾つかがILPを使用してコーディングされるかどうかは、ビデオパラメータセット（video parameter set （VPS））内のフラグによりシグナリングされる。これは、以下により完全に議論される。幾つかのレイヤーがILPを使用するとき、レイヤー間のレイヤー依存関係も、VPS内でシグナリングされる。

実施形態では、レイヤーが同報レイヤーであるとき、１つのみのレイヤーが復号のために選択され、出力される。実施形態では、幾つかのレイヤーがILPを使用するとき、全部のレイヤー（例えば、ビットストリーム全体）は、復号されるよう指定され、レイヤーのうちの特定のレイヤーは、出力レイヤーとして指定される。１つ以上の出力レイヤーは、例えば、１）最上位レイヤーのみ、２）全部のレイヤー、又は３）最上位レイヤーと指示されたより下位のレイヤーのセット、であってよい。例えば、最上位レイヤーと指示されたより下位のレイヤーのセットが、VPS内のフラグにより出力のために指定されると、OLS２からのレイヤーN+３ ６３４（これは最上位レイヤーである）、及びレイヤーN６３１及びN+１ ６３２（これらはより下位のレイヤーである）が出力される。

更に図６を参照すると、幾つかのレイヤーは、OLSに含まれるが、出力されず、又は出力レイヤーにより参照のために使用されない。例えば、レイヤーN+２ ６３３はOLS２に含まれるが、出力されない。むしろ、レイヤーN+３ ６３４は、OLS２の中で最上位レイヤーであり、従って、出力レイヤーとして出力される。更に、OLS２内のレイヤーN+２ ６３３は、出力レイヤーレイヤーN+３ ６３４により参照のために使用されない。実際に、OLS２内のレイヤーN+３ ６３４は、OLS２内のレイヤーN+２ ６３３、レイヤーN+１ ６３２、及び／又はレイヤーN６３１に依存する。従って、OLS２内のレイヤーN+２ ６３３は、不要なレイヤーと呼ばれる。残念ながら、SHVC及びMV-HEVCは、このような不要なレイヤーがマルチレイヤービデオビットストリームに含まれることを許可する。これは、コーディングリソースに不必要に負担となり、コーディング効率を低下させる。

マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止する技術が本願明細書に開示される。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

図７は、ビデオビットストリーム７００の実施形態を示す。本明細書で使用する場合、ビデオビットストリーム７００は、コーディングビデオビットストリーム、ビットストリーム、又はそれらの変形を表すこともできる。図７に示すように、ビットストリーム７００は、少なくとも１つピクチャーユニット（picture unit （PU））７０１を含む。３つのPU７０１が図７に示されるが、実際の適用では、異なる数のPU７０１がビットストリーム７００内に存在してもよい。各PU７０１は、指定された分類ルールに従い互いに関連付けられた、復号順で連続する、正確に１つのコーディングピクチャー（例えば、ピクチャー７１４）を含むNALユニットのセットである。

実施形態では、各PU７０１は、復号能力情報（decoding capability information （DCI））７０２、ビデオパラメータセット（video parameter set （VPS））７０４、シーケンスパラメータセット（sequence parameter set （SPS））７０６、ピクチャーパラメータセット（picture parameter set （PPS））７０８、ピクチャーヘッダー（picture header （PH））７１２、及びピクチャー７１４、のうちの１つ以上を含む。DCI７０２、VPS７０４、SPS７０６、及びPPS７０８の各々は、総称して、パラメータセットと呼ばれてよい。実施形態では、図７に示されていない他のパラメータセット、例えば、適応パラメータセット（adaption parameter set （APS））がビットストリーム７００に含まれてもよく、これは、スライスヘッダーに見られる０個以上のシンタックス要素によって決定される０個以上のスライスに適用されるシンタックス要素を含むシンタックス構造である。

DCI７０２は、復号パラメータセット（decoding parameter set （DPS））又はデコーダパラメータセットとも呼ばれてよく、ビットストリーム全体に適用されるシンタックス要素を含むシンタックス構造である。DCI７０２は、ビデオビットストリーム（例えば、ビットストリーム７００）の寿命に対して一定のままであるパラメータを含み、これは、セッションの寿命に変換することができる。DCI７０２は、たとえビデオシーケンスのスプライシングがセッション内で起こったとしても、決して超えられないことが保証される最大複雑度の相互運用性ポイントを決定するために、プロファイル、レベル、及びサブプロファイル情報を含むことができる。それは、さらに任意で制約フラグを含み、これは、ビデオビットストリームが、それらのフラグの値によって示されるように、特定の特徴の使用の制約であることを示す。これにより、ビットストリームは、特にデコーダ実装におけるリソース割り当てを可能にする、特定のツールを使用しないものとしてラベル付けされることができる。全てのパラメータセットと同様に、DCI７０２は最初に参照されたときに存在し、ビデオシーケンスの最初のピクチャーによって参照され、ビットストリームの最初のNALユニット間で送信されなければならないことを意味する。複数のDCI７０２がビットストリーム内に存在できるが、その中のシンタックス要素の値は、参照されるときに矛盾し得ない。

VPS７０４は、拡張レイヤーの参照ピクチャーセット構成のための復号依存性又は情報を含む。VPS７０４は、どのタイプのオペレーションポイントが提供されるか、オペレーションポイントのプロファイル、ティア、及びレベル、ならびにセッション交渉及びコンテンツ選択などの基礎として使用され得るビットストリームの他の幾つかの高レベル特性を含む、スケーラブルなシーケンスの全体的な視点又はビューを提供する。

実施形態では、レイヤーのうちの幾つかがILPを使用することが示されるとき、VPS７０４は、VPSにより指定されるOLSの合計数がレイヤーの数に等しいことを示し、i番目のOLSが両端を含む０～ｉのレイヤーインデックスを有するレイヤーを含むことを示し、各OLSについて、OLS内の最上位レイヤーのみが出力されることを示す。

実施形態では、VPS７０４は、CLVS及び／又はビデオビットストリーム内のOLSに対応するシンタックス及びセマンティクスを含む。VPS７０４に対応する以下のシンタックス及びセマンティクスは、本願明細書に開示される実施形態を実装するために使用されてもよい。

VPS７０４のためのシンタックスは以下の通りであってよい。

VPS７０４のためのセマンティクスは以下の通りであってよい。実施形態では、VPS７０４は、以下に記されるフラグ及びパラメータのうちの１つ以上を含む。

VPS未処理バイトシーケンスペイロード（raw byte sequence payload （RBSP））は、それが参照される前に、復号処理のために利用可能であり、外部手段を通じて提供される若しくは０に等しいTemporalIdを有する少なくとも１つのアクセスユニットに含まれるべきであり、VPS RBSPを含むVPS NALユニットは、vps_layer_id[０]に等しいnuh_layer_idを有するべきである。nuh_layer_idは、VCL NALユニットが属するレイヤーの識別子、又は非VCL NALユニットが適用されるレイヤーの識別子を指定する。nuh_layer_idの値は、両端を含む０～５５の範囲であるべきである。TemporalIdは、他のNALユニットに対して特定のNALユニットをユニークに識別するために使用されるIDである。TemporalIdの値は、AUの全てのVCL NALユニットに対して同じであるべきである。コーディングピクチャー、PU、又はAUのTemporalIdの値は、コーディングピクチャー、PU、又はAUのVCL NALユニットのTemporalIdの値である。

CVS内で特定の値のvps_video_parameter_set_idを有する全部のVPS NALユニットは同じコンテンツを有するべきである。vps_video_parameter_set_idは、他のシンタックス要素による参照のためにVPSの識別子を提供する。vps_max_layers_minus１に１を加えたものは、VPSを参照する各CVS内の最大許容レイヤー数を指定する。vps_max_sub_layers_minus１に１を加えたものは、VPSを参照する各CVS内に存在し得る時間的サブレイヤーの最大数を指定する。vps_max_sub_layers_minus１の値は、両端を含む０～６の範囲であるべきである。

vps_all_independent_layers_flagが１に等しいことは、CVS内の全部のレイヤーが、インターレイヤー予測を使用しないで独立にコーディングされることを指定する。vps_all_independent_layers_flagが０に等しいことは、CVS内のレイヤーのうちの１つ以上がインターレイヤー予測を使用してよいことを指定する。存在しないとき、vps_all_independent_layers_flagの値は１に等しいと推定される。vps_all_independent_layers_flagが１に等しいとき、vps_independent_layer_flag[i]の値は１に等しいと推定される。vps_all_independent_layers_flagが０に等しいとき、vps_independent_layer_flag[０]の値は１に等しいと推定される。

vps_layer_id[i]は、i番目のレイヤーのnuh_layer_id値を指定する。m及びnの任意の２つの負ではない整数値について、mがnより小さいとき、vps_layer_id[m]の値はvps_layer_id[n]より小さいべきである。vps_independent_layer_flag[i]が１に等しいことは、インデックスiを有するレイヤーがインターレイヤー予測を使用しないことを指定する。vps_independent_layer_flag[i]が０に等しいことは、インデックスiを有するレイヤーがインターレイヤー予測を使用してよいこと、及びvps_layer_dependency_flag[i]がVPS内に存在することを指定する。存在しないとき、vps_independent_layer_flag[i]の値は１に等しいと推定される。

vps_direct_dependency_flag[i][j]が０に等しいことは、インデックスｊを有するレイヤーが、インデックスｉを有するレイヤーの直接参照レイヤーではないことを指定する。vps_direct_dependency_flag[i][j]が１に等しいことは、インデックスｊを有するレイヤーが、インデックスｉを有するレイヤーの直接参照レイヤーであることを指定する。両端を含む０～vps_max_layers_minus１の範囲内のｉ及びｊについてvps_direct_dependency_flag[i][j]が存在しないとき、それは０に等しいと推定される。

i番目のレイヤーのj番目の直接依存レイヤーを指定する変数DirectDependentLayerIdx[i][j]は、以下のように導出される。

vps_layer_id[i]に等しいnuh_layer_idを有するレイヤーのレイヤーインデックスを指定する変数GeneralLayerIdx[i]は、以下のように導出される。

each_layer_is_an_ols_flagが１に等しいことは、各出力レイヤーセットが１つのレイヤーのみを含み、ビットストリーム内の各レイヤー自体が、含まれる単一のレイヤーが出力レイヤーのみである出力レイヤーセットであることを指定する。each_layer_is_an_ols_flagが０に等しいことは、出力レイヤーが１つより多くのレイヤーを含んでよい。vps_max_layers_minus１が０に等しい場合、each_layer_is_an_ols_flagの値は１に等しいと推定される。その他の場合、vps_all_independent_layers_flagが０に等しいとき、each_layer_is_an_ols_flagの値は０に等しいと推定される。

ols_mode_idcが０に等しいことは、VPSにより指定されるOLSの合計数がvps_max_layers_minus１+１に等しく、i番目のOLSは両端を含む０～ｉのレイヤーインデックスを有するレイヤーを含み、各OLSについて、OLS内の最上位レイヤーのみが出力されることを指定する。ols_mode_idcが１に等しいことは、VPSにより指定されるOLSの合計数がvps_max_layers_minus１+１に等しく、i番目のOLSは両端を含む０～ｉのレイヤーインデックスを有するレイヤーを含み、各OLSについて、OLS内の全部のレイヤーが出力されることを指定する。ols_mode_idcが２に等しいことは、VPSにより指定されるOLSの合計数が明示的にシグナリングされ、各OLSについて、最上位レイヤー及び明示的にシグナリングされるOLS内のより下位のレイヤーのセットが出力されることを指定する。ols_mode_idcの値は、両端を含む０～２の範囲であるべきである。値３のols_mode_idcは、ITU-T/ISO/IECによる将来の使用のために予約されている。vps_all_independent_layers_flagが１に等しく、each_layer_is_an_ols_flagが０に等しいとき、ols_mode_idcの値は２に等しいと推定される。

num_output_layer_sets_minus１に１を加えたものは、ols_mode_idcが２に等しいとき、VPSにより指定されるOLSの合計数を指定する。

VPSにより指定されるOLSの合計数を指定する変数TotalNumOlssは、以下のように導出される。

layer_included_flag[i][j]は、ols_mode_idcが２に等しいとき、j番目のレイヤー（つまり、vps_layer_id[j]に等しいnuh_layer_idを有するレイヤー）がi番目のOLSに含まれるかどうかを指定する。layer_included_flag[i][j]が１に等しいことは、j番目のレイヤーがi番目のOLSに含まれることを指定する。layer_included_flag[i][j]が０に等しいことは、j番目のレイヤーがi番目のOLSに含まれないことを指定する。

i番目のOLS内のレイヤーの数を指定する変数NumLayersInOls[i]、及びi番目のOLS内のj番目のレイヤーのnuh_layer_id値を指定する変数LayerIdInOls[i][j]は、以下のように導出される。

LayerIdInOls[i][j]に等しいnuh_layer_idを有するレイヤーのOLSレイヤーインデックスを指定する変数OlsLayerIdx[i][j]は、以下のように導出される。

各OLS内の最下位レイヤーは独立レイヤーであるべきである。言い換えると、両端を含む０～TotalNumOlss－１の範囲のｉの各々について、vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[i][０]]]の値は１に等しいべきである。

各レイヤーは、VPSにより指定された少なくとも１つのOLSに含まれるべきである。つまり、両端を含む０～vps_max_layers_minus１の範囲のｋについてvps_layer_id[k]のうちの１つに等しい特定の値のnuh_layer_idnuhLayerIdを有する各レイヤーについて、値ｉ及びｊの少なくとも１つのペアが存在してよい。ここで、ｉは両端を含む０～TotalNumOlss－１の範囲にあり、ｊは端を含むNumLayersInOls[i]－１の範囲にあり、その結果、LayerIdInOls[i][j]の値はnuhLayerIdに等しい。

OLS内の任意のレイヤーは、OLSの出力レイヤー、又はOLSの出力レイヤーの（直接又は間接）参照レイヤーであるべきである。

vps_output_layer_flag[i][j]は、ols_mode_idcが２に等しいとき、i番目のOLS内のj番目のレイヤーが出力されるかどうかを指定する。vps_output_layer_flag[i]が１に等しいことは、i番目のOLS内のj番目のレイヤーが出力されることを指定する。vps_output_layer_flag[i]が０に等しいことは、i番目のOLS内のj番目のレイヤーが出力されないことを指定する。vps_all_independent_layers_flagが１に等しく、each_layer_is_an_ols_flagが０に等しいとき、vps_output_layer_flag[i]の値は１に等しいと推定される。

変数OutputLayerFlag[i][j]について、値１はi番目のOLS内のj番目のレイヤーが出力されることを指定し、値０はi番目のOLS内のj番目のレイヤーが出力されないことを指定し、以下のように導出される。

注：０番目のOLSは、最下位レイヤー（つまり、vps_layer_id[０]に等しいnuh_layer_idを有するレイヤー）のみを含み、０番目のOLSについて、含まれるレイヤーのみが出力される。

vps_constraint_info_present_flagが１に等しいことは、general_constraint_info（）シンタックス構造がVPS内に存在することを指定する。vps_constraint_info_present_flagが０に等しいことは、general_constraint_info（）シンタックス構造がVPS内に存在しないことを指定する。

vps_reserved_zero_７bitsは、このVVCドラフトのこのバージョンに準拠するビットストリームでは０に等しいべきである。vps_reserved_zero_７bitsの他の値は、ITU-T/ISO/IECによる将来の使用のために予約されている。実施形態では、デコーダはvps_reserved_zero_７bitsの値を無視すべきである。

general_hrd_params_present_flagが１に等しいことは、シンタックス要素num_units_in_tick及びtime_scale及びシンタックス構造general_hrd_parameters（）がSPS RBSPシンタックス構造の中に存在することを指定する。general_hrd_params_present_flagが０に等しいことは、シンタックス要素num_units_in_tick及びtime_scale及びシンタックス構造general_hrd_parameters（）がSPS RBSPシンタックス構造の中に存在しないことを指定する。

num_units_in_tickは、クロックチックカウンタの１インクリメント（クロックチックと呼ばれる）に対応する周波数time_scale Hzで動作するクロックの時間単位数である。num_units_in_tickは、０より大きいべきである。クロックチックは、秒単位であり、num_units_in_tickをtime_scaleで除した商に等しい。例えば、ビデオ信号のピクチャーレートが２５Hzであるとき、time_scaleは２７,０００,０００に等しくてよく、num_units_in_tickは１,０８０,０００に等しくてよく、従って、クロックチックは０.０４秒に等しくてよい。

time_scaleは、１秒のうちに経過する時間単位数である。例えば、２７MHzクロックを用いて時間を計測する時間座標系は、２７,０００,０００のtime_scaleを有する。time_scaleの値は０より大きいべきである。

vps_extension_flagが０に等しいことは、vps_extension_data_flagがVPS RBSPシンタックス構造内に存在しないことを指定する。vps_extension_flagが１に等しいことは、vps_extension_data_flagシンタックス要素がVPS RBSPシンタックス構造内に存在することを指定する。

vps_extension_data_flagは、任意の値を有してよい。その存在及び値は、この仕様のこのバージョン内で指定されるプロファイルへのデコーダ準拠性に影響しない。この仕様のこのバージョンに準拠するデコーダは、全てのvps_extension_data_flagシンタックス要素を無視するべきである。

SPS７０６は、ピクチャーのシーケンス（sequence of pictures （SOP））の中の全てのピクチャーに共通であるデータを含む。SPS７０６は、各ピクチャーヘッダーの中で見付かったシンタックス要素により参照されるPPS内で見付かったシンタックス要素の内容により決定されるような、０個以上のCLVS全体に適用するシンタックス要素を含むシンタックス構造である。対照的に、PPS７０８は、ピクチャー全体に共通するデータを含む。PPS７０８は、各ピクチャーヘッダー（例えば、PH７１２）の中で見付かったシンタックス要素により決定されるような、０個以上のコーディングピクチャー全体に適用するシンタックス要素を含むシンタックス構造である。

DCI７０２、VPS７０４、SPS７０６、及びPPS７０８は、異なるタイプのネットワーク抽象化レイヤー（Network Abstraction Layer （NAL））ユニットに含まれる。NALユニットは、従うべきデータのタイプ（例えば、コーディングビデオデータ）の指示を含むシンタックス構造である。NALユニットは、ビデオコーディングレイヤー（video coding layer （VCL））と非VCL NALユニットに分類される。VCL NALユニットは、ビデオピクチャー内のサンプルの値を表すデータを含み、非VCL NALユニットは、パラメータセット（多数のVCL NALユニットに適用できる重要なデータ）及び補足拡張情報（タイミング情報及びビデオピクチャー内のサンプルの値を復号するためには必要ではないが、復号ビデオ信号の有用性を高める可能性があるその他の補足データ）のような、任意の関連する追加情報を含む。

実施形態では、DCI７０２は、DCI NALユニット又はDPS NALユニットとして指定された非VCL NALユニットに含まれる。つまり、DCI NALユニットはDCI NALユニットタイプ（NAL unit type （NUT））を有し、DPS NALユニットはDPS NUTを有する。実施形態では、VPS７０４は、DPS NALユニットとして指定された非VCL NALユニットに含まれる。したがって、VPS NALユニットはVPS NUTを有する。実施形態では、SPS７０６は、SPS NALユニットとして指定された非VCL NALユニットである。したがって、SPS NALユニットはSPS NUTを有する。実施形態では、PPS７０８は、PPS NALユニットとして指定された非VCL NALユニットに含まれる。したがって、PPS NALユニットはPPS NUTを有する。

PH７１２は、コーディングピクチャー（例えば、ピクチャー７１４）の全てのスライス（例えば、スライス７１８）に適用されるシンタックス要素を含むシンタックス構造である。実施形態では、PH７１２は、PH NALユニットとして指定される新しいタイプの非VCL NALユニットである。したがって、PH NALユニットはPH NUT（例えば、PH_NUT）を有する。実施形態では、各PU７０１には、１つの且つ１つのみのPH７１２が含まれる。すなわち、PU７０１は、単一又は孤立したPH７１２を含む。実施形態では、正確に１つのPHNALユニットが、ビットストリーム７００内の各ピクチャー７０１に対して存在する。

実施形態では、PH７１２に関連するPH NALユニットは、時間ID及びレイヤーIDを有する。時間ID識別子は、ビットストリーム（例えば、ビットストリーム７０１）内の他のPH NALユニットに対する、時間的なPH NALユニットの位置を示す。レイヤーIDは、PH NALユニットを含むレイヤー（例えば、レイヤー５３１又はレイヤー５３２）を示す。実施形態では、時間IDは、POCに類似しているが、POCとは異なる。POCは、各ピクチャーを順番に一意に識別する。単一レイヤービットストリームでは、時間IDとPOCは同じになる。マルチレイヤービットストリーム（例えば、図５参照）において、同じAU内のピクチャーは、異なるPOCを有するが、同じ時間IDを有する。

実施形態では、PH NALユニットは、関連するピクチャー７１４の第１スライス７１８を含むVCL NALユニットより先行する。これは、PH７１２の中でシグナリングされ、スライスヘッダー７２０から参照されるピクチャーヘッダーIDを有する必要なく、PH７１２と、PH７１２に関連付けられたピクチャー７１４のスライス７１８との間の関連を確立する。従って、２つのPH７１２の間の全てのVCLNALユニットは、同じピクチャー７１４に属し、ピクチャー７１４は、２つのPH７１２の間の第１PH７１２に関連すると推定できる。実施形態では、PH７１２に続く第１VCL NALユニットは、PH７１２に関連するピクチャー７１４の第１スライス７１８を含む。

実施形態では、PH NALユニットは、ピクチャーレベルパラメータセット（例えば、PPS）、又はより高いレベルのパラメータセット、例えば、DCI（別名、DPS）、VPS、SPS、PPSなど）に従い、各々、PH NALユニットの時間ID及びレイヤーIDよりも両方とも小さい時間ID及びレイヤーIDを有する。その結果、それらのパラメータセットは、ピクチャー又はアクセスユニット内で繰り返されない。この順序により、PH７１２は直ちに解決することができる。つまり、ピクチャー全体に関連するパラメータを含むパラメータセットは、ビットストリーム内で、PH NALユニットの前に配置される。ピクチャーの一部のパラメータを含むものは、PH NALユニットの後に配置される。

１つの代替として、PH NALユニットは、ピクチャーレベルパラメータセット及びプレフィックス補足拡張情報（supplemental enhancement information （SEI））メッセージ、又はDCI（別名、DPS）、VPS、SPS、PPS、APS、SEIメッセージなどのより高いレベルのパラメータセットに従う。

ピクチャー７１４は、モノクロフォーマットのルマサンプルのアレイ、又はルマサンプルのアレイ、及び４:２:０、４:２:２、及び４:４:４カラーフォーマットのクロマサンプルの２つの対応するアレイである。実施形態では、各PU７０１には、１つの、及び１つのみのピクチャー７１４が含まれる。従って、各PU７０１内には、PH７１２が１つのみ、及びそのPH７１２に対応する１つのみのピクチャー７１４が存在する。すなわち、PU７０１は、単一又は孤立したピクチャー７１４を含む。

ピクチャー７１４は、フレーム又はフィールドであってよい。しかしながら、１つのCVS７１６では、全てのピクチャー７１４がフレームであるか、又は全てのピクチャー７１４がフィールドである。CVS７１６は、ビデオビットストリーム７００内の各コーディングレイヤービデオシーケンス（coded layer video sequence （CLVS））のためのコーディングビデオシーケンスである。注目すべきことに、ビデオビットストリーム７００が単一レイヤーを含む場合、CVS７１６とCLVSは同じである。（例えば、図５及び６に示されるように）ビデオビットストリーム７００が複数のレイヤーを含むときのみ、CVS７１６とCLVSは異なる。

各ピクチャー７１４は、１つ以上のスライス７１８を含む。スライス７１８は、ピクチャー（例えば、ピクチャー７１４）のタイル内の整数個の完全タイル又は整数個の連続する完全CTU行である。各スライス７１８は、単一のNALユニット（例えば、VCL NALユニット）に排他的に含まれる。タイル（図示しない）は、ピクチャー（例えば、ピクチャー７１４）内の特定のタイル列及び特定のタイル行の中で長方形領域のＣＴＵである。CTU（図示しない）は、ルマサンプルのCTB、３つのサンプルアレイを有するピクチャーのクロマサンプルの２個の対応するCTB、又は単色ピクチャー又は３つの別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャーのサンプルのCTBである。CTB（図示しない）は、何らかの値のＮについてサンプルのＮ×Ｎブロックであってよい。その結果、CTBへの成分の分割はパーティションである。ブロック（図示しない）は、サンプル（例えば、ピクセル）のM×N（M列×N行）アレイ、又は変換係数のM×Nアレイである。

実施形態では、各スライス７１８はスライスヘッダー７２０を含む。スライスヘッダー７２０は、スライス７１８内で表現されるタイルの中の全部のタイル又はCTU行に関連するデータ要素を含むコーディングスライス７１８の一部である。つまり、スライスヘッダー７２０は、例えば、スライスタイプ、どの参照ピクチャーが使用されるかなど、スライス７１８に関する情報を含む。

ピクチャー７１４、及びそれらのスライス７１８は、符号化又は復号される画像又はビデオに関連するデータを含む。従って、ピクチャー７１４、及びそれらのスライス７１８は、単に、ビットストリーム７００内で運ばれるペイロード又はデータと呼ばれてもよい。

当業者は、ビットストリーム７００が、実際の用途における他のパラメータ及び情報を含んでもよいことを理解するであろう。

図８は、ビデオデコーダ（例えば、ビデオデコーダ４００）によって実装される復号方法８００の実施形態である。方法８００は、ビットストリームがビデオエンコーダ（例えば、ビデオエンコーダ３００）から直接的又は間接的に受信された後に実行されてもよい。方法８００は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止することにより、復号処理を向上する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

ブロック８０２で、ビデオデコーダは、VPS（例えば、VPS７０４）及び複数のレイヤー（例えば、レイヤーN６３１、レイヤーN+１ ６３２、等）を含むビデオビットストリームを受信する。実施形態では、いずれのレイヤーも、少なくとも１つのOLS（例えば、OLS１、OLS２、等）の出力レイヤーでも、任意の他のレイヤーの直接参照レイヤーでもない。つまり、少なくとも１つのOLSの各レイヤーは、出力レイヤー（例えば、OLS３内のレイヤーN+２ ６３３）又は任意の他のレイヤー（例えば、OLS３内のレイヤーN+１６３２及びレイヤーN６３１）の直接参照レイヤーであってよい。出力レイヤーではない任意のレイヤー、又は別のレイヤーにより直接参照されるレイヤーは、不要であり、従って、CVS（例えば６９０）及び／又はビデオビットストリームから除外される。

実施形態では、ビデオデコーダは、上述のようにVVC又は何らかの他の規格に基づき、レイヤーが少なくとも１つの出力レイヤーセット（output layer set （OLS））のうちの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないことを期待する。しかしながら、デコーダが、この条件が真ではないと決定した場合、デコーダは、エラーを検出し、エラーをシグナリングし、受信したビットストリーム（又はその部分）が再送されることを要求し、又は何らかの他の修正手段を講じて、準拠するビットストリームが受信されることを保証してよい。

実施形態では、VPSは参照フラグ（例えば、LayerUsedAsRefLayerFlag）として使用されるレイヤー、及び出力レイヤーフラグ（例えば、LayerUsedAsOutputLayerFlag）として使用されるレイヤーを含み、参照フラグとして使用されるレイヤーの値（例えば、[i]）、及び出力レイヤーフラグとして使用されるレイヤーの値（例えば、[i]）は、両方ともゼロではない。

実施形態では、複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（video coding layer （VCL））ネットワーク抽象化レイヤー（network abstraction layer （NAL））ユニットと、関連する非VCL NALユニットとのセットを含む。実施形態では、少なくとも１つのOLSは、１つ以上の出力レイヤーを含む。実施形態では、VPS内で指定された特定の値のレイヤーIDを有する複数のレイヤーの各々について、少なくとも１つのOLS内のレイヤーのうちの１つも、特定の値のレイヤーIDを有するべきである。

ブロック８０４で、ビデオデコーダは、複数のレイヤーのうちの１つからピクチャー（例えば、ピクチャー６１５）を復号する。実施形態では、ピクチャーは、少なくとも１つのOLSの出力レイヤーに含まれる。実施形態では、方法８００は、復号するステップの前に、少なくとも１つのOLSから出力レイヤーを選択するステップを更に含む。実施形態では、方法８００は、出力レイヤーが選択された後に、出力レイヤーからピクチャーを選択するステップを更に含む。

ピクチャーが復号されると、ピクチャーは、電子装置（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレー又はスクリーン上のユーザーに表示するための画像又はビデオシーケンスを生じる又は生成するために使用されてよい。

図９は、ビデオエンコーダ（例えば、ビデオエンコーダ３００）によって実装されるビデオビットストリームを符号化する方法９００の実施形態である。方法９００は、（例えば、ビデオからの）ピクチャーがビデオビットストリームに符号化され、ビデオデコーダ（例えば、ビデオデコーダ４００）に向けて送信されるときに実行されてもよい。方法９００は、マルチレイヤービデオビットストリームの中の不要なレイヤーを禁止することにより、復号処理を向上する。つまり、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーは、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用される。これは、コーディング処理において無関係な情報を有することを回避し、コーディング効率を向上する。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、及び／又は閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

ブロック９０２で、ビデオエンコーダは、複数のレイヤー（例えば、N６３１、レイヤーN+１ ６３２、等）、及び１つ以上のOLS（例えば、OLS１、OLS２、等）を指定するVPS（例えば、VPS７０４）を生成する。実施形態では、複数のレイヤーからの各レイヤーは、VPSにより指定されたOLSのうちの少なくとも１つに含まれる。実施形態では、いずれのレイヤーも、少なくとも１つのOLS（例えば、OLS１、OLS２、等）の出力レイヤーでも、任意の他のレイヤーの直接参照レイヤーでもない。つまり、少なくとも１つのOLSの各レイヤーは、出力レイヤー（例えば、OLS３内のレイヤーN+２ ６３３）又は任意の他のレイヤー（例えば、OLS３内のレイヤーN+１６３２及びレイヤーN６３１）の直接参照レイヤーであってよい。出力レイヤーではない任意のレイヤー、又は別のレイヤーにより直接参照されるレイヤーは、不要であり、従って、CVS（例えば６９０）及び／又はビデオビットストリームから除外される。実施形態では、ビデオエンコーダは、いずれのレイヤーも、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも、任意の他のレイヤーの直接参照レイヤーでもないように制約される。つまり、ビデオエンコーダは、いずれのレイヤーも、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも、任意の他のレイヤーの直接参照レイヤーでもないように符号化することを要求される。そのような制約又は要件は、ビットストリームが例えばVVC又は何らかの他の規格に準拠することを保証する。

実施形態では、１つ以上のOLSの各々は、１つ以上の出力レイヤーを含み、出力レイヤーの各々は１つ以上のピクチャーを含む。実施形態では、複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（video coding layer （VCL））ネットワーク抽象化レイヤー（network abstraction layer （NAL））ユニットと、関連する非VCL NALユニットとのセットを含む。

実施形態では、OLSのうちの１つは、２つの出力レイヤーを含み、２つの出力レイヤーのうちの一方は、２つの出力レイヤーのうちの他方を参照する。実施形態では、VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用されるレイヤーの値、及び出力レイヤーフラグとして使用されるレイヤーの値は、両方ともゼロではない。

実施形態では、エンコーダ内に配置される仮想参照デコーダ（hypothetical reference decoder （HRD））は、出力レイヤーセット（output layer set （OLS））に含まれる全てのレイヤーが、出力レイヤーであるか、又は出力レイヤーの直接若しくは間接参照レイヤーとして使用されることを保証するためにチェックする。HRDが本願明細書に記載されたように不要であるレイヤーを見付けると、HRDは準拠テストエラーを返す。つまり、HRD準拠テストは、不要なレイヤーが存在しないことを保証する。従って、エンコーダは、未使用レイヤー無しの要件に従い符号化するが、HRDはこの要件を強める。

ブロック９０４で、ビデオエンコーダは、複数のレイヤー及びVPSをビデオビットストリームに符号化する。ブロック９０６では、ビデオエンコーダは、ビデオデコーダに向けて通信するためにビデオビットストリームを格納する。ビデオビットストリームは、ビデオビットストリームがビデオデコーダに向かって送信されるまで、メモリに記憶されてもよい。ビデオデコーダにより受信されると、符号化ビデオビットストリームは、（例えば上述のように）電子装置（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレー又はスクリーン上のユーザーに表示するための画像又はビデオシーケンスを生じる又は生成するために復号されてよい。

図１０は、本開示の実施形態による、ビデオコーディング装置１０００（例えば、ビデオエンコーダ３００又はビデオデコーダ４００）の概略図である。ビデオコーディング装置１０００は、ここに説明したような開示の実施形態を実施するのに適する。ビデオ符号化装置１０００は、データを受信するためのイングレスポート１０１０及び受信機ユニット（receiver units, Rx）１０２０と、データを処理するためのプロセッサ、論理ユニット、又は中央処理ユニット（central processing unit, CPU）１０３０と、データを送信するための送信機ユニット（transmitter units, Tx）１０４０及びイグレスポート１０５０と、データを格納するためのメモリ１０６０と、を含む。ビデオコーディング装置１０００は、イングレスポート１０１０、受信機ユニット１０２０、送信機ユニット１０４０、及びイグレスポート１０５０に接続された、光若しくは電気信号のイグレス若しくはイングレスのための光－電気（optical-to-electrical （OE））コンポーネント及び電気－光（electrical-to-optical （EO））コンポーネントも含んでよい。

プロセッサ１０３０は、ハードウェア及びソフトウェアにより実装される。プロセッサ１０３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（field-programmable gate array（FPGA））、特定用途向け集積回路（application specific integrated circuit （ASIC））、及びデジタル信号プロセッサ（digital signal processor（DSP））として実装されてよい。プロセッサ１０３０は、イングレスポート１０１０、受信機ユニット１０２０、送信機ユニット１０４０、イグレスポート１０５０、及びメモリ１０６０と通信する。プロセッサ１０３０は、コーディングモジュール１０７０を含む。コーディングモジュール１０７０は、上述の開示の実施形態を実装する。例えば、コーディングモジュール１０７０は、種々のコーデック機能を実装し、処理し、準備し、又は提供する。コーディングモジュール１０７０の中に含まれるものは、従って、ビデオコーディング装置１０００の機能に実質的な改良を提供し、ビデオコーディング装置１０００の異なる状態への変換をもたらす。代替として、コーディングモジュール１０７０は、メモリ１０６０に格納されプロセッサ１０３０により実行される命令として実装される。

ビデオコーディング装置１０００は、データをユーザーに及びから通信する入力及び／又は出力（input and/or output（I/O））装置１０８０も含んでよい。I/O装置１０８０は、ビデオデータを表示するのディスプレー、オーディオデータを出力するスピーカ、等のような出力装置を含んでよい。I/O装置１０８０は、キーボード、マウス、トラックボール、等のような入力装置、及び／又は、そのような出力装置とインターフェースする対応するインターフェースも含んでよい。

メモリ１０６０は、１つ以上のディスク、テープドライブ、及び固体ドライブを含み、プログラムが実行のために選択されるとき該プログラムを格納するため及びプログラムの実行中に読み出される命令及びデータを格納するためのオーバフローデータ記憶装置として使用されてよい。メモリ１０６０は、揮発性及び／又は不揮発性であってよく、読み出し専用メモリ（read-only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、三値連想メモリ（ternary content-addressable memory, TCAM）、及び／又は静的ランダムアクセスメモリ（static random-access memory, SRAM）であってよい。

図１１は、コーディングする手段１１００の実施形態の概略図である。実施形態では、コーディングする手段１１００は、ビデオコーディング装置１１０２（例えば、ビデオエンコーダ３００又はビデオデコーダ４００）内に実装される。ビデオコーディング装置１１０２は、受信手段１１０１を含む。受信手段１１０１は、符号化するピクチャーを受信するか、又は復号するビットストリームを受信するように構成される。ビデオコーディング装置１１０２は、受信手段１１０１に結合された送信手段１１０７を含む。送信手段１１０７は、ビットストリームをデコーダに送信するか、又は復号画像を表示手段（例えば、I/O装置１０８０の１つ）に送信するように構成される。

ビデオコーディング装置１１０２は、記憶手段１１０３を含む。記憶手段１１０３は、受信手段１１０１又は送信手段１１０７のうちの少なくとも１つに結合される。記憶意味１１０３は、命令を格納するよう構成される。ビデオコーディング装置１１０２は、受信手段１１０５を更に含む。処理手段１１０５は、記憶手段１１０３に結合される。処理手段１１０５は、本明細書に開示される方法を実行するために、記憶手段１１０３に格納された命令を実行するように構成される。

更に理解されるべきことに、ここに説明された例示的な方法のステップは、必ずしも説明された順に実行される必要はなく、このような方法のステップの順は、単なる例であると理解されるべきである。同様に、追加ステップがこのような方法に含まれてよく、特定のステップは、本開示の種々の実施形態に従う方法において、省略され又は結合されてよい。

幾つかの実施形態が本開示において提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解されるべきである。本発明の例は、説明のためであり限定的ではないと考えられるべきであり、ここに与えられた詳細事項に限定されることを意図しない。例えば、種々の要素又はコンポーネントは、結合され、又は別のシステムに統合されてよく、或いは、特定の機能は、省略され又は実施されなくてよい。

更に、種々の実施形態において説明され示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と結合され又は統合されてよい。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、電気的、機械的、又はその他にかかわらず、間接的に結合され又は何らかのインターフェース、装置、又は中間コンポーネントを通じて通信してよい。変更、代用、及び改造の他の例は、当業者により確認され、ここに開示した精神及び範囲から逸脱することなく行われ得る。

Claims (33)

1. ビデオデコーダにより実施される復号の方法であって、
   前記ビデオデコーダにより、ビデオパラメータセット（VPS）及び複数のレイヤーを含むビデオビットストリームを受信するステップであって、いずれのレイヤーも少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、ステップと、
   前記ビデオデコーダにより、前記複数のレイヤーのうちの１つからピクチャーを復号するステップと、
   を含む方法。
2. 前記ピクチャーは、前記少なくとも１つのOLSの出力レイヤーに含まれる、請求項１に記載の方法。
3. 前記復号するステップの前に、前記少なくとも１つのOLSから出力レイヤーを選択するステップ、を更に含む請求項１～２のいずれかに記載の方法。
4. 前記出力レイヤーが選択された後に、前記出力レイヤーから前記ピクチャーを選択するステップ、を更に含む請求項１～３のいずれかに記載の方法。
5. 前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含む、請求項１～４のいずれかに記載の方法。
6. 前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー又は任意の他のレイヤーの前記直接参照レイヤーを含む、請求項１～５のいずれかに記載の方法。
7. 前記少なくとも１つのOLSは、１つ以上の出力レイヤーを含む、請求項６に記載の方法。
8. 前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではない、請求項１～７のいずれかに記載の方法。
9. 電子装置のディスプレー上で復号したピクチャーを表示するステップを更に含む請求項１～８のいずれかに記載の方法。
10. 前記ビデオデコーダにより、第２ビデオパラメータセット（VPS）及び第２の複数のレイヤーを含む第２ビデオビットストリームを受信するステップであって、少なくとも１つのレイヤーは、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、ステップと、
    前記受信するステップに応答して、幾つかの他の修正手段を講じて、前記第２の複数のレイヤーのうちの１つからピクチャーを復号する前に、前記第２ビデオビットストリームに対応する準拠ビットストリームが受信されることを保証する、ステップと、
    を更に含む請求項１～９のいずれかに記載の方法。
11. ビデオエンコーダにより実施される符号化の方法であって、前記方法は、
    前記ビデオエンコーダにより、複数のレイヤーと、少なくとも１つの出力レイヤーセット（OLS）を指定するビデオパラメータセット（VPS）を生成するステップであって、前記ビデオエンコーダは、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないように制約される、ステップと、
    前記ビデオエンコーダにより、前記複数のレイヤー及び前記VPSをビデオビットストリームに符号化するステップと、
    前記ビデオエンコーダにより、ビデオデコーダへ向けて通信するために、前記ビデオビットストリームを格納するステップと、
    を含む方法。
12. 前記１つ以上のOLSの各々は、１つ以上の出力レイヤーを含み、前記出力レイヤーの各々は１つ以上のピクチャーを含む、請求項１１に記載の方法。
13. 前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含む、請求項１１～１２のいずれかに記載の方法。
14. 前記OLSのうちの１つは、２つの出力レイヤーを含み、前記２つの出力レイヤーのうちの一方は、前記２つの出力レイヤーのうちの他方を参照する、請求項１１～１３のいずれかに記載の方法。
15. 前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではない、請求項１１～１４のいずれかに記載の方法。
16. 復号装置であって、
    ビデオパラメータセット（VPS）と複数のレイヤーとを含むビデオビットストリームを受信するよう構成される受信機であって、いずれのレイヤーも少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもない、受信機と、
    前記受信機に結合されるメモリであって、前記メモリは命令を格納する、メモリと、
    前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記復号装置に、復号ピクチャーを得るために前記複数のレイヤーのうちの１つからピクチャーを復号させる、プロセッサと、
    を含む復号装置。
17. 前記ピクチャーは、前記少なくとも１つのOLSの出力レイヤーに含まれる、請求項１６に記載の復号装置。
18. 前記プロセッサは、前記ピクチャーが復号される前に、前記少なくとも１つのOLSから出力レイヤーを選択するよう更に構成される、請求項１６～１７のいずれかに記載の復号装置。
19. 前記プロセッサは、前記出力レイヤーが選択された後に、前記出力レイヤーから前記ピクチャーを選択するよう更に構成される、請求項１６～１８のいずれかに記載の復号装置。
20. 前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含む、請求項１６～１９のいずれかに記載の復号装置。
21. 前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー又は任意の他のレイヤーの前記直接参照レイヤーを含む、請求項１６～２０のいずれかに記載の復号装置。
22. 前記少なくとも１つのOLSは、１つ以上の出力レイヤーを含む、請求項１６～２１のいずれかに記載の復号装置。
23. 復号したピクチャーを表示するよう構成されるディスプレーを更に含む請求項１６～２１のいずれかに記載の復号装置。
24. 前記プロセッサは、前記命令を実行して、前記復号装置に、更に、
    第２ビデオパラメータセット（VPS）及び第２の複数のレイヤーを含む第２ビデオビットストリームを受信させ、少なくとも１つのレイヤーは、少なくとも１つの出力レイヤーセット（OLS）の出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもなく、
    前記第２ビデオビットストリームの受信に応答して、幾つかの他の修正手段を講じて、前記第２の複数のレイヤーのうちの１つからピクチャーを復号する前に、前記第２ビデオビットストリームに対応する準拠ビットストリームが受信されることを保証する、請求項１６～２３のいずれかに記載の復号装置。
25. 符号化装置であって、
    命令を含むメモリと、
    前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記符号化装置に、
    複数のレイヤーと、１つ以上の出力レイヤーセット（OLS）を指定するビデオパラメータセット（VPS）とを生成させ、前記符号化装置は、いずれのレイヤーも、少なくとも１つのOLSの出力レイヤーでも任意の他のレイヤーの直接参照レイヤーでもないように制約され、
    前記複数のレイヤー及び前記VPSをビデオビットストリームに符号化させる、プロセッサと、
    前記プロセッサに結合される送信機であって、前記送信機は、ビデオデコーダへ向けて前記ビデオビットストリームを送信するよう構成される、送信機と、
    を含む符号化装置。
26. 前記１つ以上のOLSの各々は、１つ以上の出力レイヤーを含み、前記出力レイヤーの各々は１つ以上のピクチャーを含む、請求項２５に記載の符号化装置。
27. 前記複数のレイヤーの中の各レイヤーは、全部がレイヤー識別子（ID）の特定の値を有するビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットと、関連する非VCL NALユニットとのセットを含む、請求項２５～２６のいずれかに記載の符号化装置。
28. 前記少なくとも１つのOLSの各レイヤーは、前記出力レイヤー又は任意の他のレイヤーの前記直接参照レイヤーを含む、請求項２５～２７のいずれかに記載の符号化装置。
29. 前記VPSは参照フラグとして使用されるレイヤー、及び出力レイヤーフラグとして使用されるレイヤーを含み、参照フラグとして使用される前記レイヤーの値、及び出力レイヤーフラグとして使用される前記レイヤーの値は、両方ともゼロではない、請求項２５～２８のいずれかに記載の符号化装置。
30. コーディング機器であって、
    ピクチャーを受信して符号化するか、又はビットストリームを受信して復号するよう構成される受信機と、
    前記受信機に結合される送信機であって、前記送信機は、前記ビットストリームをデコーダへ送信するか、又は復号画像をディスプレーへ送信するよう構成される、送信機と、
    前記受信機又は前記送信機のうちの少なくとも１つに結合されるメモリであって、前記メモリは、命令を格納するよう構成される、メモリと、
    前記メモリに結合されるプロセッサであって、前記プロセッサは、請求項１～１０のいずれか、及び請求項１１～１５のいずれかに記載の方法を実行するために、前記メモリに格納された前記命令を実行するよう構成される、プロセッサと、
    を含むコーディング機器。
31. 復号ピクチャーを表示するよう構成されるディスプレーを更に含む請求項２８に記載のコーディング機器。
32. エンコーダと、
    前記エンコーダと通信するデコーダであって、前記エンコーダ又は前記デコーダは、請求項１６～３１のいずれかに記載の復号装置、符号化装置、又はコーディング機器を含む、デコーダと、
    を含むシステム。
33. コーディングする手段であって、
    ピクチャーを受信して符号化するか、又はビットストリームを受信して復号するよう構成される受信手段と、
    前記受信手段に結合される送信手段であって、前記送信手段は、前記ビットストリームを復号手段へ送信するか、又は復号画像をディスプレー手段へ送信するよう構成される、送信手段と、
    前記受信手段又は前記送信手段のうちの少なくとも１つに結合される記憶手段であって、前記記憶手段は、命令を格納するよう構成される、記憶手段と、
    前記記憶手段に結合される処理手段であって、前記処理手段は、請求項１～１０のいずれか、及び請求項１１～１５のいずれかに記載の方法を実行するために、前記記憶手段に格納された前記命令を実行するよう構成される、処理手段と、
    を含むコーディングする手段。
    

Images