JP2022540532A - 動画符号化のための方法、装置及びコンピュータプログラム - Google Patents

Abstract

本開示の各態様は処理回路システムを含む装置を提供する。当該処理回路システムは、符号化された動画ビットストリームから現在の符号化ツリーブロック（ｃｏｄｉｎｇｔｒｅｅｂｌｏｃｋ、ＣＴＢ）の符号化情報を復号化する。符号化情報は現在のＣＴＢの現在のブロック分割構造が参照区分情報に基づいているかどうかを示す。現在のＣＴＢの現在のブロック分割構造が参照区分情報に基づいていることに応答して、処理回路システムは、参照区分情報により示される初期ブロック分割構造に基づいて現在のＣＴＢの現在のブロック分割構造を決定する。初期ブロック分割構造（ｉ）は、復号化順序で現在のＣＴＢに先行して復号化された以前に復号化されたＣＴＢに属し、又は、（ｉｉ）ＣＴＢレベルよりも高いレベルの高レベルヘッダによって示される。処理回路システムは現在のブロック分割構造に応じて現在のＣＴＢを分割する。

Description

［関連出願への相互参照］
本願は、２０２０年７月１３日に提出された米国特許出願第１６/９２７,２００号「ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＶｉｄｅｏＣｏｄｉｎｇ」の優先権を主張し、当該米国特許出願は、２０１９年７月１７日にて提出された米国仮出願第６２/８７５,３２７号「ＭｅｔｈｏｄｓｆｏｒＢｌｏｃｋＳｔｒｕｃｔｕｒｅＰｒｅｄｉｃｔｉｏｎ」の優先権を主張し、上記の各出願の全内容は本明細書に援用により組み込まれる。

［技術分野］
本開示は、一般的に動画符号化に関する実施形態を記載する。

本明細書で提供された背景記載は、本開示の背景を総体的に体現することを目的とする。この背景技術に記載された範囲について、現在署名の発明者の作業、及び提出の際、別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示に対する従来技術として認められない。

動き補償を有するインターピクチャ予測を使用して動画の符号化及び復号化を実行してもよい。非圧縮のデジタル動画は一連のピクチャを含み、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連付けられた色度サンプルの空間サイズを有してもよい。当該一連のピクチャは、例えば、１秒当たり６０ピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非正式にはフレームレートとも呼ばれる）を有してもよい。非圧縮の動画には、高いビットレート要件がある。例えば、１サンプルあたり８ビットにおける１０８０ｐ６０ ４：２：０の動画（６０Ｈｚフレームレートでの１９２０×１０８０の輝度サンプルの解像度）は、約１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。１時間のこのような動画は、６００ＧＢを超えるストレージスペースが必要である。

動画符号化及び復号化は、圧縮により入力動画信号における冗長を減少させることを１つの目的とする。幾つかの場合、圧縮は、前記した帯域幅又はストレージスペースに対する要件を、２つ又はより多いオーダーだけ減少させることに寄与することができる。可逆圧縮、非可逆圧縮、及びその組み合わせを採用してもよい。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技術を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と異なる可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいから、再構築された信号は目的のアプリケーションに役立つ。動画の場合、非可逆圧縮は広く利用されている。許容される歪み量はアプリケーションに依存し、例えば、消費者ストリーミング媒体プリケーションのユーザーがテレビ配信アプリケーションのユーザーよりも高い歪みを許容する。実現できる圧縮比は、許可／許容可能な歪みが高いほど、圧縮比が高くなることを反映している。

動画エンコーダとデコーダは、例えば、動き補償、変換、量子化、エントロピー符号化などを含む、いくつかの幅広いカテゴリの技術を利用し得る。

動画コーデック技術は、イントラ符号化と呼ばれる技術を含み得る。イントラ符号化の場合、サンプル値は、先に再構築された参照ピクチャからのサンプル、又は他のデータを参照せず示される。いくつかの動画コーデックでは、ピクチャは空間的にサンプルブロックに細分される。全てのサンプルブロックをイントラモードで符号化する場合、当該ピクチャはイントラピクチャであってもよい。イントラピクチャ及びその派生物、例えば、独立したデコーダリフレッシュピクチャは、デコーダの状態をリセットするために使用できるため、符号化された動画ビットストリームと動画セッションにおける第１のピクチャ、又は静止画像として使用されることができる。イントラブロックのサンプルを変換することができ、また、エントロピー符号化を行う前に、変換係数を量子化することができる。イントラ予測は、プレ変換ドメインにおいてサンプル値を最小化する技術であってもよい。幾つかの場合、変換されたＤＣ値が小さくてＡＣ係数が小さいほど、所定の量子化ステップサイズでエントロピー符号化されたブロックを表すために必要なビットが少なくなる。

例えばＭＰＥＧ－２世代の符号化技術から知られている従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかの新動画圧縮技術は、例えば、空間的に隣接し且つ復号化順序で先行するデータブロックを符号化／復号化している期間に取得されたメタデータ及び／又は周辺のサンプルデータから試みる技術を含む。以降、このような技術は「イントラ予測」技術と呼ばれる。なお、少なくともいくつかの場合に、イントラ予測は、参照画像からの参照データを使用しなく、再構築中の現在のピクチャからの参照データのみを使用することに注意されたい。

イントラ予測には多くの異なる形式があり得る。所定の動画符号化技術において１種以上のこのような技術を使用できる場合に、使用される技術はイントラ予測モードで符号化することができる。幾つかの場合に、モードは、サブモード及び／又はパラメータを有してもよく、これらのサブモード及び／又はパラメータは、個別に符号化されたり、モードコードワードに含まれたりしてもよい。所定のモード／サブモード／パラメータの組み合わせにどのコードワードを使用するかは、イントラ予測による符号化効率ゲインに影響を与えるため、コードワードをビットストリームに変換するためのエントロピー符号化技術に影響を与える。

イントラ予測のあるモードはＨ．２６４から導入され、Ｈ．２６５において細分化され、例えば、共同探査モデル（ＪＥＭ）、多用途動画符号化（ＶＶＣ）、ベンチマークセット（ＢＭＳ）などの新符号化技術では、さらに細分化される。既に使用可能なサンプルに属する隣接サンプル値を使用して予測器ブロックを形成してもよい。方向に応じて、隣接サンプルのサンプル値を予測器ブロックにコピーする。使用中の方向の参照は、ビットストリームに符号化されるか、またはその自身は予測されることができる。

図１Ａを参照し、右下に、Ｈ．２６５の３３個の可能な予測器方向（３５個のイントラモードの３３個の角度モードに対応する）から知られている９つの予測器方向のサブセットが描画されている。矢印が集まる点（１０１）は、予測されるサンプルを表す。矢印は、サンプルを予測する方向を表す。例えば、矢印（１０２）は、右上における、水平と４５度の角度をなす１つ又は複数のサンプルからサンプル（１０１）を予測することを指示する。同様に、矢印（１０３）は、サンプル（１０１）の左下における、水平と２２．５度の角度をなす１つ又は複数のサンプルからサンプル（１０１）を予測することを指示する。

引き続き図１Ａを参照し、左上に４×４サンプルの正方形ブロック（１０４）（太い破線で示される）が描画されている。正方形ブロック（１０４）は１６サンプルを含む。各サンプルは、「Ｓ」、Ｙ次元での位置（例えば、行インデックス）及びＸ次元での位置（例えば、列インデックス）がラベリングされる。例えば、サンプルＳ２１は、Ｙ次元での（上からの）２番目のサンプルと、Ｘ次元での（左側からの）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）における、Ｙ次元とＸ次元の両方での４番目のサンプルである。ブロックのサイズは４×４サンプルであるため、Ｓ４４は、右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示される。参照サンプルは、Ｒ、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）がラベリングされる。Ｈ．２６４とＨ．２６５の両方において、予測サンプルは、再構築中のブロックに隣接しているため、負の値を使用する必要がない。

イントラピクチャ予測は、シグナリングされる予測方向に占有する隣接するサンプルから参照サンプル値をコピーすることで行われる。例えば、符号化された動画ビットストリームにシグナリングが含まれ、当該シグナリングは、このブロックに対して矢印（１０２）と一致する予測方向を指示する。つまり、右上における、水平と４５度の角度をなす１つ又は複数の予測サンプルから予測することを想定する。この場合、同じ参照サンプルＲ０５からサンプルＳ４１、Ｓ３２、Ｓ２３及びＳ１４を予測する。そして、参照サンプルＲ０８からサンプルＳ４４を予測する。

いくつかの場合に、特に、方向が４５度で均等に分割できない場合に、参照サンプルを計算するように、複数の参照サンプルの値を例えば補間によって組み合わせてもよい。

動画符号化技術の開発に伴い、可能な方向の数も増えている。Ｈ．２６４（２００３年）において、９つの異なる方向を表し得るが、Ｈ．２６５（２０１３年）において３３つの異なる方向まで増え、開示時にＪＥＭ／ＶＶＣ／ＢＭＳは６５つほど多い方向をサポートすることができる。既に実験を行って最も可能性の高い方向を認識し、エントロピー符号化における特定の技術が、少ないビット数でそれらの可能な方向を表すために使用され、可能性の低い方向に対する特定のペナルティを受ける。また、隣接する復号化されたブロックで使用される隣接方向から方向自体を予測することがある。

図１Ｂは、経時的に増加する予測方向の数を示すために、ＪＥＭによる６５個のイントラ予測方向を描画する概略図（１８０）である。

符号化された動画ビットストリームにおいて方向を表すイントラ予測方向ビットのマッピングは、動画符号化技術によって異なってもよい。そして、当該マッピングの範囲は、例えば、予測方向→イントラ予測モード→コードワードという単純な直接マッピングから、最確モード及び類似の技術に関する複雑な自己適応スキームへ変化してもよい。ただし、すべての場合、他の方向よりも統計的に動画コンテンツで発生する可能性の低い特定の方向が存在する可能性がある。動画圧縮の目的は冗長性の削減であるため、良く機能する動画符号化技術において、それらの可能性の低い方向は、可能性の高い方向よりも多いビット数で表される。

動画符号化及び復号化は、動き補償付きのピクチャ間予測を使用して実行してもよい。非圧縮デジタル動画は、一連のピクチャを含むことが可能であり、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連するクロミナンスサンプルの空間次元を有する。この一連のピクチャは、例えば１秒間に６０枚のピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非公式にはフレームレートと呼ばれる）を有してもよい。非圧縮動画は、かなりのビットレート要件を有する。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０の動画（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅に近づく必要がある。このような動画の１時間は、６００ＧＢを越えるストレージ空間を必要とする。

動画符号化及び復号化の目的の１つは、入力動画信号における冗長性を圧縮により低減することになる。圧縮は、上記の帯域幅又はストレージ空間の要件を降下することに有利であり、幾つかの場合では２オーダー以上だけ低減することができる。可逆圧縮と非可逆圧縮の双方、及びその組み合わせを利用してもよい。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構築する技術のことを指す。非可逆圧縮を使用する場合、再構築された信号と元の信号とが異なるが、元の信号と再構築された信号との間の歪は、再構築された信号を意図されるアプリケーションに対して有用にする程度に十分に小さい。動画の場合、非可逆圧縮が広く使用されている。許容される歪の量は、アプリケーションに依存し、例えば、あるコンシューマ・ストリーミング・アプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪を許容するかもしれない。達成可能な圧縮比は、より高い許容可能な／耐え得る歪は、より高い圧縮比をもたらすことが可能である、ということを反映することができる。

動き補償は非可逆圧縮技術であってもよく、そして先に再構築されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータブロックは、動きベクトル（以降、ＭＶと呼ぶ）が指示する方向に空間的にシフトされた後、新しく再構築されたピクチャ又はピクチャの一部の予測に使用される技術を含み得る。いくつかの場合に、参照ピクチャは、現在に再構築されているピクチャと同じであってもよい。ＭＶは、ＸとＹの２つの次元を有してもよいし、３つの次元を有してもよく、３番目の次元は使用中の参照ピクチャに対する指示である（後者は間接的に時間次元になり得る）

いくつかの動画圧縮技術において、他のＭＶからサンプルデータの特定の領域に適用するＭＶを予測し、例えば、前記したそれらの再構築された領域に空間的に隣接するサンプルデータの別の領域に関し復号化順序で当該ＭＶの前にあるＭＶから当該ＭＶを予測してもよい。このようにすれば、ＭＶを符号化するために必要なデータの量を大幅に減らすことができ、それによって冗長性がなくなり、圧縮率を向上させる。ＭＶ予測は効果的に機能することができ、例えば、これは、カメラから得られた入力動画信号（ナチュラル動画と呼ばれる）を符号化する場合に、単一のＭＶの適用可能な領域よりも大きい領域が、類似する方向に移動する統計的な可能性があるため、いくつかの場合に、隣接領域のＭＶから取得された類似する動きベクトルを使用して予測することができる。この結果、所定の領域に対して見つけたＭＶは周りのＭＶから予測されたＭＶと類似又は同じであり、また、エントロピー符号化後、ＭＶを直接符号化する場合に使用されるビット数よりも少ないビット数で表してもよい。いくつかの場合に、ＭＶ予測は、元の信号（即ち、サンプルストリーム）から取得された信号（即ち、ＭＶ）の可逆圧縮の例であってもよい。他の場合に、ＭＶ予測自体は非可逆となり、それは、例えば、若干の周りのＭＶから予測器を算出する際の丸め誤差に繋がる。

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ-Ｔ Ｈ．２６５提案書、「ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ」、２０１６年１２月）には、様々なＭＶ予測メカニズムが記載されている。Ｈ.２６５が提供する多くのＭＶ予測メカニズムのうち、ここで説明するのは、以降「空間マージ」と呼ばれる技術である。

図２を参照すると、現在のブロック（２０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが動き探索プロセス中にエンコーダによって発見されたサンプルを含む。そのＭＶを直接的に符号化する代わりに、ＭＶは、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ２０２ないし２０６）で示される５つの周辺サンプルのうちの何れかに関連付けられたＭＶを使用して、（復号順に）最新の参照ピクチャから、取得されることが可能である。Ｈ．２６５では、ＭＶ予測は、近隣のブロックが使用しているのものと同じ参照ピクチャからの予測器を使用することが可能である。

本開示各態様は動画符号化/復号化のための方法及び装置を提供する。幾つかの例において、動画復号化のための装置は処理回路システムを含む。当該処理回路システムは、符号化された動画ビットストリームから現在のピクチャにおける現在の符号化ツリーブロック（ｃｏｄｉｎｇｔｒｅｅｂｌｏｃｋ、ＣＴＢ）の符号化情報を復号化することができる。符号化情報は、現在のＣＴＢの現在のブロック分割構造が参照区分情報に基づいているかどうかを示すことができる。現在のＣＴＢの現在のブロック分割構造に応答して、参照区分情報に基づいて、処理回路システムは、参照区分情報により示される初期ブロック分割構造に基づいて現在のＣＴＢの現在のブロック分割構造を決定することができる。初期ブロック分割構造は、（ｉ）復号化順序で現在のＣＴＢに先行して復号化された以前に復号化されたＣＴＢに属する、又は、（ｉｉ）ＣＴＢレベルよりも高いレベルの高レベルヘッダによって示されることができる。処理回路システムは、現在のブロック分割構造に応じて現在のＣＴＢを区分することができる。

例において、以前に復号化されたＣＴＢは現在のＣＴＢの空間的に隣接するＣＴＢであり、初期ブロック分割構造は、現在のＣＴＢの空間的に隣接するＣＴＢに属する。

例において、以前に復号化されたＣＴＢの初期ブロック分割構造は、履歴ベースのバッファに記憶される。

例において、以前に復号化されたＣＴＢは、現在のＣＴＢの時間的に隣接するＣＴＢであり、初期ブロック分割構造は、現在のＣＴＢの時間的に隣接するＣＴＢに属する。

例において、初期ブロック分割構造は、高レベルヘッダに含まれる複数のブロック分割構造の一つであり、初期ブロック分割構造は、高レベルヘッダに含まれるインデックスによって示される。

実施形態において、処理回路システムは、参照区分情報により示される初期ブロック分割構造に応じて参照ブロック分割構造を決定し、参照ブロック分割構造に基づいて現在のブロック分割構造を決定する。処理回路システムは、初期ブロック分割構造参照ブロック分割構造を修正して取得することができる。例において、符号化情報は、参照ブロック分割構造を修正して現在のＣＴＢの現在のブロック分割構造を取得するかどうかを示すフラグを含む。処理回路システムは、当該フラグに基づいて、参照ブロック分割構造を修正して現在のＣＴＢの現在のブロック分割構造を取得するかどうかを決定する。現在のＣＴＢの現在のブロック分割構造は参照ブロック分割構造であり得る。処理回路システムは、参照ブロック分割構造を修正して現在のＣＴＢの現在のブロック分割構造を取得することができる。

本開示の各態様は、命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記命令は、動画復号化のためにコンピュータによって実行されると、コンピュータに動画復号化のための方法を実行させる命令を記憶する非一時的なコンピュータ読み取り可能な媒体をさらに提供する。

開示された主題のさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。図面において、

はイントラ予測モードの例示的なサブセットの模式図である。

例示的なイントラ予測方向の図である。

一例における現在のブロック及びその周りの空間マージ候補の模式図である。

実施形態による通信システム（３００）の簡略化ブロック図の模式図である。

実施形態による通信システム（４００）の簡略化ブロック図の模式図である。

実施形態によるデコーダの簡略化ブロック図の模式図である。

実施形態によるエンコーダの簡略化ブロック図の模式図である。

他の実施形態によるエンコーダのブロック図である。

他の実施形態によるデコーダのブロック図を示す。

本開示の実施形態によるＢＴ分割及びＴＴ分割の例を示す。

本開示の実施形態によるＣＴＵの例示的なブロック区分を示す。

本開示の実施形態による時間的に隣接するＣＴＵを使用して現在のＣＴＵを予測する現在のブロック分割構造の例を示す。

本開示の実施形態によるブロック分割構造参照ブロック分割構造を修正して取得する例を示す。

本開示の実施形態によるプロセス（１３００）を概説するフローチャートを示す。

実施形態によるコンピュータシステムの模式図を示す。

図３は、本開示の実施形態による通信システム（３００）の簡略ブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信する複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１対の端末装置（３１０）と（３２０）を含む。図３に示す例において、第１対の端末装置（３１０）と（３２０）は一方向のデータ伝送を実行する。例えば、端末装置（３１０）は、動画データ（例えば、端末装置（３１０）によってキャプチャされた動画ピクチャストリーム）を符号化して、ネットワーク（３５０）を介して他の端末（３２０）に伝送してもよい。符号化された動画データは１つ又は複数の符号化された動画ビットストリームで伝送される。端末装置（３２０）は、ネットワーク（３５０）から符号化された動画データを受信し、符号化された動画データを復号化して、動画ピクチャを復元し、復元された動画データに基づいて、動画ピクチャを表示してもよい。一方向のデータ伝送は、媒体サービスアプリケーションなどでは一般的である。

他の例において、通信システム（３００）は、符号化された動画データの双方向伝送を実行する、第２対の端末装置（３３０）と（３４０）とを含み、当該双方向伝送は、例えば動画会議中に発生する可能性がある。双方向データ伝送については、示例において、端末装置（３３０）及び（３４０）のそれぞれは、動画データ（例えば、端末装置によってキャプチャされた動画ピクチャストリーム）を符号化して、ネットワーク（３５０）を介して端末装置（３３０）と（３４０）のうちの他方の端末装置に伝送してもよい。端末装置（３３０）及び（３４０）のそれぞれは、端末装置（３３０）及び（３４０）のうちの他方の端末装置によって送信された、符号化された動画データをさらに受信し、符号化されたデータを復号化して動画ピクチャを復元し、復元された動画データに基づいて、動画画像をアクセス可能な表示デバイスに表示してもよい。

図３に示す例において、端末装置（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用の動画会議機器に適用される。ネットワーク（３５０）は端末装置（３１０）、（３２０）、（３３０）及び（３４０）の間で符号化された動画データを伝送する任意の数のネットワークを示し、例えば、有線（結線される）及び／又は無線通信ネットワークを含む。通信ネットワーク（３５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークは通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。この検討を目的として、ネットワーク（３５０）のアーキテクチャとトポロジーは、以下に本明細書で説明されない限り、本開示の操作にとって重要ではない場合がある。

開示された主題の適用例として、図４は、ストリーミング環境における動画エンコーダとデコーダの配置を示し、開示された主題は、例えば、動画会議、デジタルテレビ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタルメデイアの圧縮動画の保存を含む動画をサポートする他のアプリケーションに同様に適用され得る。

ストリーミングシステムはキャプチャサブシステム（４１３）を含んでもよく、当該キャプチャサブシステム（４１３）は、例えば非圧縮の動画ピクチャストリーム（４０２）を構築する、例えばデジタルカメラなどの動画ソース（４０１）を含んでもよい。例において、動画ピクチャストリーム（４０２）はデジタルカメラによって撮影されたサンプルを含む。動画ピクチャストリーム（４０２）は、符号化された動画データ（４０４）（又は符号化された動画ビットストリーム）と比べて、データ量が多いことを強調するために太い線として描画され、当該動画ピクチャストリームは、動画ソース（４０１）に結合される動画エンコーダ（４０３）の電子機器（４２０）によって処理されてもよい。動画エンコーダ（４０３）は、以下でより詳細に説明する開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含んでもよい。符号化された動画データ（４０４）（符号化された動画ビットストリーム（４０４））は、動画ピクチャスレリーム（４０２）と比べて、データ量が少ないことを強調するために細い線として描画され、符号化された動画データは、将来の使用のために、ストリーミングサーバ（４０５）に記憶され得る。１つ又は複数のストリーミングクライアントサブシステム、例えば、図４におけるクライアントサブシステム（４０６）と（４０８）は、ストリーミングサーバ（４０５）にアクセスして、符号化された動画データ（４０４）のレプリカ（４０７）と（４０９）を検索し得る。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）における動画デコーダ（４１０）を含んでもよい。動画デコーダ（４１０）は、符号化された動画データの着信レプリカ（４０７）を復号化し、ディスプレイ（４１２）（例えば、スクリーン）又は他のレンダリングデバイス（未図示）でレンダリングできる発信動画ピクチャストリーム（４１１）を作成する。一部のストリーミングシステムにおいて、ある動画符号化／圧縮規格に基づいて、符号化された動画ビットストリーム（４０４）、（４０７）、（４０９）（例えば、動画ビットストリーム）を符号化してもよい。これらの規格の例には、ＩＴＵ-Ｔ Ｈ．２６５提案書を含む。例において、開発中の動画符号化規格は非公式に多用途動画符号化又はＶＶＣと呼ばれる。開示された主題は、ＶＶＣの背景に使用可能である。

なお、電子機器（４２０）と（４３０）は、他の構成要素（未図示）を含んでもよい。例えば、電子機器（４２０）は動画デコーダ（未図示）を含んでもよく、電子機器（４３０）は動画エンコーダ（未図示）を含んでもよい。

図５は、本開示の実施形態による動画デコーダ（５１０）のブロック図を示す。動画デコーダ（５１０）は電子機器（５３０）に含まれてもよい。電子機器（５３０）は受信器（５３１）（例えば、受信回路システム）を含んでもよい。動画デコーダ（５１０）は図４に示す例における動画デコーダ（４１０）の代わりに使用されてもよい。

受信機（５３１）は、動画デコーダ（５１０）によって復号化される１つ又は複数の符号化された動画シーケンスを受信してもよく、同じ実施形態又は別の実施形態において、１回に１つの符号化された動画シーケンスを受信し、各符号化された動画シーケンスの復号化は他の符号化された動画シーケンスから独立している。チャネル（５０１）から符号化された動画シーケンスを受信することができ、当該チャネルは、符号化された動画データを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（５３１）は、他のデータを受信する際に符号化された動画データを受信することができ、他のデータは、例えば、符号化されたオーディオデータ及び／又は補助データストリームであり、前記他のデータは、それぞれの使用エンティティ（未図示）に転送され得る。受信機（５３１）は、符号化された動画シーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ」と呼ばれる）との間にバッファメモリ（５１５）を結合し得る。いくつかの応用において、バッファメモリ（５１５）は動画デコーダ（５１０）の一部である。他の応用において、バッファメモリ（５１５）は動画デコーダ（５１０）（未図示）の外部にあってもよい。他の応用において、動画デコーダ（５１０）の外部には、ネットワークジッタを防止するために、バッファメモリ（未図示）があってもよく、さらに例えば動画デコーダ（５１０）の内部に、再生タイミングを処理するために、別のバッファメモリ（５１５）があり得る。受信機（５３１）が十分な帯域幅と制御可能性を有する記憶／転送デバイス、又は等同期ネットワークからデータを受信する場合に、バッファメモリ（５１５）は必要とされないか、又は小サイズであればよいといった可能性がある。ベストパケットネットワーク、例えばインターネットで使用するために、バッファメモリ（５１５）が必要である場合があり、当該バッファメモリは相対的に大きく、自己適応サイズを有利に有してもよい。そして、少なくとも部分的にオペレーティングシステム又は動画デコーダ（５１０）の外部における類似している構成要素（未図示）で実現されてもよい。

動画デコーダ（５１０）は、符号化された動画シーケンスに応じてシンボル（５２１）を再構築するパーサ（５２０）を含んでもよい。これらのシンボルのカテゴリには、動画デコーダ（５１０）の操作を管理するための情報と、レンダリングデバイス（５１２）（例えば表示スクリーン）のようなレンダリングデバイスを制御するための情報とを含んでもよく、当該レンダリングデバイスは、図５に示すように、電子機器（５３０）の構成部分ではなく、電子機器（５３０）に結合され得る。レンダリングデバイスに使用される制御情報は、補助拡張情報（ＳＥＩメッセージ）又は動画ユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（未図示）形式であってもよい。パーサ（５２０）は、受信された符号化された動画シーケンスに対して解析／エントロピー復号化を行うことができる。符号化された動画シーケンスの符号化は、動画符号化技術又は規格に従って行われ、且つ可変長符号化、エルフマン符号化、文脈依存の有無に関わる算術符号化などを含む様々な原理に従って行われてよい。パーサ（５２０）は、グループに対応する少なくとも１つのパラメーターに基づいて、符号化された動画シーケンスから、動画デコーダにおける画素のサブグループのうちの少なくとも１つに対するサブグループパラメータセットを抽出してもよい。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサ（５２０）は、また、符号化された動画シーケンスから、例えば、変換係数、量子化器パラメーター値、動きベクトルなどの情報を抽出してもよい。

パーサ（５２０）は、バッファメモリ（５１５）から受信された動画シーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（５２１）を構築することができる。

シンボル（５２１）の再構築は、符号化された動画ピクチャ又は他の部分のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因に応じて、複数の異なるユニットに関し得る。どのユニットが関与し、どのように制御するかについて、パーサ（５２０）により符号化された動画シーケンスから解析したサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ（５２０）と以下の複数のユニットとの間におけるサブグループ制御情報の流れについて説明しない。

既に言及された機能ブロックに加えて、動画デコーダ（５１０）は概念的には、以下に説明する複数の機能ユニットに細分化することができる。商業的な制約の下で運行する実際の実現形態では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的のために、概念的には、以下の機能ユニットに細分化されることは適切である。

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。当該スケーラ／逆変換ユニット（５５１）はパーサ（５２０）からシンボル（５２１）である量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む。スケーラ／逆変換ユニット（５５１）は、サンプル値を含むブロックを出力でき、前記サンプル値はアグリゲータ（５５５）に入力され得る。

いくつかの場合、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラ符号化ブロック、即ち、事前に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの事前に再構築された部分からの予測情報を使用し得るブロックに属してもよい。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は現在のピクチャバッファ（５５８）から抽出された、周囲が既に再構築された情報を使用して、再構築しているブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構築された現在のピクチャ及び／又は完全に再構築された現在のピクチャをバッファリングする。いくつかの場合に、アグリゲータ（５５５）は各サンプルに基づいて、イントラ予測ユニット（５５２）によって生成される予測情報を、スケーラ／逆変換ユニット（５５１）から提供される出力サンプル情報に追加する。

他の場合、スケーラ／逆変換ユニット（５５１）の出力サンプルはインター符号化され且つ潜在動き補償であり得るブロックに属してもよい。このような場合、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測のためのサンプルを取得してもよい。当該ブロックに属するシンボル（５２１）に応じて、取得されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニット（５５３）がサンプルを取得する参照ピクチャメモリ（５５７）におけるアドレスは、動きベクトルによって制御されてもよく、前記動きベクトルは、シンボル（５２１）の形式で動き補償ユニット（５５３）に使用され得、前記シンボルは、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有してもよい。動き補償には、サブサンプルの正確な動きベクトルが使用されている際に参照ピクチャメモリ（５５７）から取得されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において種々のループフィルタリング技術にって処理され得る。動画圧縮技術は、ループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化された動画シーケンス（符号化された動画ビットストリームとも呼ばれる）に含まれ且つパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に使用可能なパラメータによって制御されるが、符号化されたピクチャ又は符号化された動画シーケンスの（復号化順序で）前の部分を復号化している間に得られたメタ情報や事前に再構築されてループフィルタリング処理されたサンプル値に応答してもよい。

ループフィルタユニット（５５６）の出力はサンプルストリームであってもよく、当該サンプルストリームは、将来のインターピクチャ予測に使用されるために、レンダリングデバイス（５１２）に出力されて参照ピクチャメモリ（５５７）に記憶され得る。

特定の符号化されたピクチャは、完全に再構築されると、参照ピクチャとして将来の予測に使用され得る。例えば、現在のピクチャに対応する符号化されたピクチャは完全に再構築され、且つ符号化されたピクチャが、例えばパーサ（５２０）によって、参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）が参照ピクチャメモリ（５５７）の一部になり得、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャバッファを新たに配分してもよい。

動画デコーダ（５１０）は、例えばＩＴＵ-Ｔ Ｈ．２６５提案書における所定のビデ圧縮技術のような規格に応じて復号化操作を実行してもよい。符号化された動画シーケンスが動画圧縮技術又は規格の構文及び動画圧縮技術又は規格に記録されているプロファイルの両方に準拠する意味で、符号化された動画シーケンスは、使用されているビデ圧縮技術又は規格で指定される構文に準拠することができる。具体的に、プロファイルは、ビデ圧縮技術又は規格で利用可能な全てのツールから、幾つかのツールをプロファイルのみで使用され得るツールとして選択してもよい。コンプライアンスについて、符号化された動画シーケンスの複雑さがビデ圧縮技術又は規格のレベルで限定される範囲内にあることも要求される。いくつかの場合、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプルレート（例えば１秒あたりのメガサンプルを単位として測定する）、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設定される制限は、仮想参照デコーダ（ＨＲＤ）の仕様及び符号化された動画シーケンスにおけるシグナリングされるＨＲＤバッファの管理するメタデータによってさらに制限されてもよい。

実施形態において、受信器（５３１）は、符号化された動画とともに、追加の（冗長）データを受信してもよい。追加のデータは符号化された動画シーケンスの一部として含まれてもよい。動画デコーダ（５１０）は、追加のデータを使用してデータを正確に復号化し、及び／又は元の動画データをより正確に再構築してもよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

図６は、本開示の実施形態による動画エンコーダ（６０３）のブロック図を示す。動画エンコーダ（６０３）は電子機器（６２０）に含まれる。電子機器（６２０）はトランスミッタ（６４０）（例えば、伝送回路システム）を含む。動画エンコーダ（６０３）は図４に示す例における動画エンコーダ（４０３）の代わりに使用されてもよい。

動画エンコーダ（６０３）は、動画エンコーダ（６０３）によって符号化されようとする（１つ又は複数の）動画画像をキャプチャすることができる動画ソース（６０１）（図６に示す例における電子機器（６２０）の一部ではない）から動画サンプルを受信してもよい。別の例において、動画ソース（６０１）は、電子機器（６２０）の一部である。

動画ソース（６０１）は、動画エンコーダ（６０３）によって符号化されようとするデジタル動画サンプルストリーム形式であるソース動画シーケンスを提供してもよく、当該デジタル動画サンプルストリームは、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構成（例えば、ＹＣｒＣｂ
４:２:０、ＹＣｒＣｂ ４:４:４）を有してもよい。メディアサービスシステムでは、動画ソース（６０１）は、先に準備された動画を記憶する記憶装置であってもよい。動画会議システムでは、動画ソース（６０１）は、ローカル画像情報を動画シーケンスとしてキャプチャするカメラであってもよい。動画データは、順番に見る際に動きが付与される複数の個別のピクチャとして提供されてもよい。ピクチャ自体は空間画素アレイとして編成されてもよく、なお、使用されているサンプリング構成、色空間などに応じて、各画素は、１つ又は複数のサンプルを含んでもよい。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。

実施形態によれば、動画エンコーダ（６０３）は、リアルタイムで、又はアプリケーションによって要求される他の任意の時間制約の下で、ソース動画シーケンスのピクチャを、符号化された動画シーケンス（６４３）に符号化して圧縮してもよい。適切な符号化速度で実行することはコントローラ（６５０）の機能の１つである。いくつかの実施形態において、コントローラ（６５０）は、以下で説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。明確のために、結合は図示されていない。コントローラ（６５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ（６５０）は、特定のシステム設計に対して最適化された動画エンコーダ（６０３）に属する他の適切な機能を有するように配置されてもよい。

幾つかの実施形態において、動画エンコーダ（６０３）は、符号化ループで動作するように配置されている。非常に簡略化した説明として、例において、符号化ループは、ソースエンコーダ（６３０）（例えば、符号化しようとする入力ピクチャ及び参照ピクチャに基づいてシンボルストリームのようなシンボルを作成することを担当する）と、動画エンコーダ（６０３）に組み込まれた（ローカルの）デコーダ（６３３）とを含んでもよい。デコーダ（６３３）は、（リモート）デコーダがサンプルデータを作成する方法と同様にサンプルを作成するために、シンボルを再構築する（シンボルと符号化された動画ビットストリームとの間の圧縮は開示された主題で考慮される動画圧縮技術では無損失であるため）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（６３４）に入力する。シンボルストリームの復号化によって、デコーダの位置（ローカル又はリモート）に関係がないビット正確結果が得られるため、参照ピクチャメモリ（６３４）のコンテンツもローカルエンコーダとリモートエンコーダとの間でビットが正確である。つまり、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして見なす。
このような参照ピクチャの同期性の基本原理（及び、例えば、チャネルエラーのために同期性を維持できない場合は結果として生じるドリフト）は、一部の関連技術でも使用される。

「ローカル」デコーダ（６３３）の動作は、「リモート」デコーダ、例えば動画デコーダ（５１０）の動作と同じであってもよく、以上で図５を参照しながら詳細に説明した。しかしながら、さらに、簡単に図５を参照し、シンボルは、利用可能であり、且つ、エントロピーエンコーダ（６４５）及びパーサ（５２０）はシンボルを、符号化された動画シーケンスに無損失で符号化／復号化できる場合に、バッファメモリ（５１５）及びパーサ（５２０）を含める動画デコーダ（６１０）のエントロピー復号化部分は、ローカルデコーダ（６３３）で完全に実現されない場合がある。

この場合、デコーダに存在する解析／エントロピー復号化以外の任意のデコーダ技術も、必然的に基本的に同じ機能形式で対応するエンコーダに存在することが観察されることができる。そのため、開示された主題は、デコーダの動作に着目する。エンコーダ技術は包括的に説明されたデコーダ技術の逆であるため、エンコーダ技術の説明を簡略化することができる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。

いくつかの例において、動作中に、ソースエンコーダ（６３０）は、動き補償の予測的符号化を実行してもよく、動画シーケンスからの「参照ピクチャ」として指定された１つ又は複数の以前に符号化されたピクチャを参照することで入力ピクチャに対して予測的符号化を行う。このようにして、符号化エンジン（６３２）は入力ピクチャの画素ブロックと参照ピクチャの画素ブロックとの間の差異を符号化してもよく、当該参照ピクチャは、入力ピクチャへの予測参照として選択され得る。

ローカル動画デコーダ（６３３）は、ソースエンコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化された動画データを復号化してもよい。符号化エンジン（６３２）の動作は、有利には非可逆処理であり得る。符号化された動画データが動画デコーダ（図６、未図示）で復号化され得る場合に、再構築された動画シーケンスは、通常、多少の誤差を伴うソース動画シーケンスのレプリカであり得る。ローカル動画デコーダ（６３３）は、参照ピクチャに対して動画デコーダによって実行され得る復号化処理をコピーし、再構築された参照ピクチャを参照ピクチャメモリバッファ（６３４）
に記憶してもよい。このようにして、エンコーダ（６０３）は、再構築された参照ピクチャの共通を有するレプリカを、リモート動画デコーダによって得られる再構築された参照ピクチャとしてローカルに記憶することができる（伝送誤差がない）。

予測器（６３５）は、符号化エンジン（６３２）に対して予測検索を実行することができる。つまり、符号化されようとする新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）において、新しいピクチャの適切な予測参照として使用され得るサンプルデータ（候補参照画素ブロックとする）又は、例えば、参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器（６３５）は、適切な予測参照が見つけられるように、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合に、例えば、予測器（６３５）によって得られた検索結果によって特定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから得られた予測参照を有してもよい。

コントローラ（６５０）は、例えば、動画データを符号化するためのパラメータとサブグループパラメータの設置を含むソースエンコーダ（６３０）の符号化動作を管理することができる。

上記の全ての機能ユニットの出力はエントロピーエンコーダ（６４５）においてエントロピー符号化されてもよい。エントロピーエンコーダ（６４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に基づいて、各機能ユニットによって生成されたシンボルに対して可逆圧縮を行うことによって、シンボルを、符号化された動画シーケンスに変換する。

トランスミッタ（６４０）は、通信チャネル（６６０）を介した伝送の準備をするように、エントロピーエンコーダ（６４５）によって作成された符号化された動画シーケンスをバッファリングすることができ、前記通信チャネルは、符号化された動画データを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。トランスミッタ（６４０）は、動画エンコーダ（６０３）からの符号化された動画データを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び／又は補助データストリーム（ソースは未図示）とともにマージしてもよい。

コントローラ（６５０）は、エンコーダ（６０３）の動作を管理することができる。コントローラ（６５０）は、符号化中に、各符号化されたピクチャに、対応するピクチャに適用され得る符号化技術に影響する可能性がある特定の符号化されたピクチャタイプを指定することができる。例えば、通常、ピクチャを、以下のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに符号化及び復号化できるピクチャであってもよい。一部の動画コーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形及び対応する適用と特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも１つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測する。

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測を使用して符号化と復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャと関連するメタデータを使用して単一のブロックを再構築してもよい。

ソースピクチャは、一般的に、空間的に複数のサンプルブロックに細分化され（例えば、それぞれ４×４、８×８、４×８又は１６×１６のサンプルブロックである）、ブロックごとに符号化されてもよい。ブロックは、ブロックに適用される相応するピクチャの符号化割り当てによって特定される他の（すでに符号化された）ブロックを参照して予測的に符号化されることができる。例えば、Ｉピクチャのブロックについて、非予測的に符号化してもよく、又は、同じピクチャの符号化されたブロックを参照して予測的に符号化してもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して非予測的に符号化されてもよい。

動画エンコーダ（６０３）は、例えばＩＴＵ-Ｔ Ｈ．２６６提案書の所定の動画符号化技術又は規格に基づいて、符号化操作を実行することができる。動画エンコーダ（６０３）は、その動作中に、入力動画シーケンスにおける時間的及び空間的冗長性を利用した予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化された動画データは、使用されている動画符号化技術又は規格によって指定された構文に準拠し得る。

実施形態において、トランスミッタ（６４０）は、符号化された動画とともに、追加のデータを伝送してもよい。ソースエンコーダ（６３０）は、このようなデータを、符号化された動画シーケンスの一部として含んでもよい。追加のデータは、時間的／空間的／ＳＮＲ拡張層、例えば冗長なピクチャ、スライスのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含んでもよい。

動画は、時系列で複数のソースピクチャ（動画ピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（通常、イントラ予測と簡略化される）は、所定のピクチャにおける空間的関連性を利用し、インターピクチャ予測はピクチャ間の（時間的又は他の）関連性を利用する。例おいて、符号化／復号化中の現在のピクチャと呼ばれる特定のピクチャはブロックに分割される。現在のピクチャにおけるブロックは、動画における、以前に符号化されまだバッファリングされている参照ピクチャにおける参照ブロックと類似している場合に、動きベクトルと呼ばれるベクトルによって現在のピクチャにおけるブロックを符号化してもよい。動きベクトルは参照ピクチャにおける参照ブロックを指し、また、複数の参照ピクチャを使用する場合に、動きベクトルは、参照ピクチャを認識する第３のサイズを有してもよい。

幾つかの実施形態において、双方向予測技術は、インターピクチャ予測に使用されてもよい。双方向予測技術によれば、例えば、動画における現在のピクチャよりも復号化順序で先行する（ただし、それぞれ表示順序で過去及び将来にあり得る）第１の参照ピクチャ及び第２の参照ピクチャである２つの参照ピクチャを使用する。第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、第２の参照ピクチャにおける第２の参照ブロックを指す第２の動きベクトルによって、現在のピクチャにおけるブロックを符号化してもよい。第１の参照ブロックと第２の参照ブロックとの組み合わせによって当該ブロックを予測してもよい。

また、マージモード技術は、符号化の効率を向上させるために、インターピクチャ予測に使用することができる。

本開示の幾つかの実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測のような予測はブロックごとに実行される。例えば、ＨＥＶＣ規格に応じて、動画ピクチャシーケンスにおけるピクチャは、圧縮のための符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、例えば、６４×６４画素、３２×３２画素又は１６×１６画素などの同じサイズを持っている。一般に、ＣＴＵは、３つの符号化ツリーブロック（ＣＴＢ）、即ち、１つの輝度ＣＴＢと２つの色度ＣＴＢを含む。各ＣＴＵは、１つ又は複数の符号化ユニット（ＣＵ）に再帰的に四分木で分割されてもよい。例えば、６４×６４画素のＣＴＵを１つの６４×６４画素のＣＵ、又は、４つの３２×３２画素のＣＵ、又は１６個の１６×１６画素のＣＵに分割してもよい。例において、各ＣＵを分析して、当該ＣＵに使用される予測タイプ、例えば、インター予測タイプ又はイントラ予測タイプを特定する。時間的及び／又は空間的予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは輝度予測ブロック（ＰＢ）及び２つの色度ＰＢを含む。実施形態において、符号化（符号化／復号化）中の予測動作は予測ブロックごとに実行される。輝度予測ブロックを予測ブロックとして使用する例において、予測ブロックは画素値（例えば、輝度値）の行列、例えば、８×８画素、１６×１６画素、８×１６画素、１６×８画素などを含む。

図７は、本開示の他の実施形態による動画エンコーダ（７０３）の図を示す。動画エンコーダ（７０３）は、動画ピクチャシーケンスにおける現在の動画ピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化された動画シーケンスの一部である符号化されたピクチャに符号化するように配置されている。例において、動画エンコーダ（７０３）は、図４に示す例における動画エンコーダ（４０３）の代わりに使用される。

ＨＥＶＣの例では、動画エンコーダ（７０３）は、例えば８×８サンプルの予測ブロックなどである処理ブロックに使用されるサンプル値の行列を受信する。動画エンコーダ（７０３）は、例えばレート歪み最適化を使用して、イントラモード、インターモード又は双方向予測モードを使用して最適に前記処理ブロックを符号化するかを特定する。イントラモードで処理ブロックを符号化する場合に、動画エンコーダ（７０３）は、イントラ予測技術を使用して、処理ブロックを、符号化されたピクチャに符号化してもよく、インターモード又は双方向予測モードで処理ブロックを符号化する場合に、動画エンコーダ（７０３）は、インター予測又は双方向予測技術をそれぞれ使用して、処理ブロックを符号化されたピクチャに符号化してもよい。いくつかの動画符号化技術では、マージモードはインターピクチャ予測サブモードであってもよく、なお、予測器の外部の符号化された動きベクトル成分を使用せずに、１つ又は複数の動きベクトル予測器から動きベクトルを取得する。いくつかの他の動画符号化技術では、主題ブロックに適用される動きベクトル成分が存在し得る。例において、動画エンコーダ（７０３）は、例えば、処理ブロックのモードを特定するためのモード決定モジュール（未図示）などの他のコンポーネントを含む。

図７に示す例において、動画エンコーダ（７０３）は、図７に示すように、一体に結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）及びエントロピーエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、当該ブロックと参照ピクチャにおける１つ又は複数の参照ブロック（例えば、前のピクチャ及び後のピクチャにおけるブロック）とを比較し、インター予測情報（例えば、動きベクトル、マージモード情報、インター符号化技術による冗長情報の説明）を生成し、インター予測情報に基づいて、任意の適切な技術を使用してインター予測結果（例えば、予測ブロック）を算出するように配置されている。いくつかの例では、参照ピクチャは、符号化された動画情報に基づいて復号化された復号化済み参照ピクチャである。

イントラエンコーダ（７２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合、当該ブロックと、同一のピクチャにおける既に符号化されたブロックとを比較し、変換後に量子化係数を生成し、いくつかの場合、（例えば、１つ又は複数のイントラ符号化技術に基づくイントラ予測方向情報に応じて）イントラ予測情報も生成するように配置されている。例において、イントラエンコーダ（７２２）は、さらにイントラ予測情報と同一のピクチャにおける参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を算出する。

汎用コントローラ（７２１）は、汎用制御データを特定し、当該汎用制御データに基づいて、動画エンコーダ（７０３）の他のコンポーネントを制御するように配置されている。例において、汎用コントローラ（７２１）は、ブロックのモードを特定し、当該モードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードである場合に、汎用コントローラ（７２１）は、残差計算器（７２３）に使用されるイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、モードがインターモードである場合に、汎用コントローラ（７２１）は、残差計算器（７２３）に使用されるインター予測結果を選択するようにスイッチ（７２６）制御するとともに、インター予測情報を選択しインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。

残差計算器（７２３）は、受信したブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択した予測結果との差（残差データ）を算出するように配置されている。残差エンコーダ（７２４）は、残差データに基づいて、残差データを符号化することで変換係数を生成するように動作するように配置されている。例において、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように配置されている。次に、変換係数は、量子化処理されて、量子化された変換係数を取得する。各実施形態において、動画エンコーダ（７０３）は残差デコーダ（７２８）をさらに含む。残差デコーダ（７２８）は、逆変換を実行し、復号化された残差データを生成するように配置されている。復号化された残差データは、適宜にイントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって使用されてもよい。例えば、インターエンコーダ（７３０）は、復号化された残差データとインター予測情報に基づいて、復号化されたブロックを生成してもよく、イントラエンコーダ（７２２）は、復号化された残差データとイントラ予測情報に基づいて、復号化されたブロックを生成してもよい。復号化されたブロックを適切に処理して、復号化されたピクチャを生成し、いくつかの例において、前記復号化されたピクチャは、メモリ回路（未図示）にバッファリングし、参照ピクチャとして使用される。

エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように配置されている。エントロピーエンコーダ（７２５）は、例えばＨＥＶＣ規格のような適切な規格に従う様々な情報を含むように配置されている。例において、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報をビットストリームに含めるように配置されている。開示された主題によれば、インターモード又は双方向予測モードのマージサブモードでブロックを符号化する場合に残差情報がないことに留意されたい。

図８は、本開示の他の実施形態による動画デコーダ（８１０）の図を示す。動画デコーダ（８１０）は、符号化された動画シーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化することで、再構築されたピクチャを生成するように配置されている。例において、動画デコーダ（８１０）は、図４に示す例における動画デコーダ（４１０）の代わりに使用される。

図８に示す例において、動画デコーダ（８１０）は、図８に示すように、一体に結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構築モジュール（８７４）及びイントラデコーダ（８７２）を含む。

エントロピーデコーダ（８７１）は、符号化されたピクチャに基づいて、特定のシンボルを再構築するように配置されてもよく、これらのシンボルは、符号化されたピクチャを構成する構文要素を表す。そのようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、イントラモード、インターモード、双方向予測モード、インターモードと双方向予測モードとのマージサブモード又は別のサブモード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）の予測に使用される特定のサンプル又はメタデータとして認識され得る予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化変換係数の形である残差情報などを含んでもよい。例において、予測モードがインター又は双方向予測モードである場合に、インター予測情報をインターデコーダ（８８０）に提供し、予測タイプがイントラ予測タイプである場合に、イントラ予測情報をイントラデコーダ（８７２）に提供する。残差情報は逆量子化され、残差デコーダ（８７３）に提供されてもよい。

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように配置されている。

イントラデコーダ（８７２）はイントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように配置されている。

残差デコーダ（８７３）は、逆量子化を実行して逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように配置されている。残差デコーダ（８７３）は、特定の制御情報（量子化パラメータＱＰを含む）も必要とする場合があり、その情報はエントロピーデコーダ（８７１）から提供されてもよい（少量の制御情報に過ぎないため、データパスが図示されていない）。

再構築モジュール（８７４）は、空間領域において、残差デコーダ（８７３）から出力された残差と予測結果（場合によってインター予測モジュール又はイントラ予測モジュールによって出力される）を組み合わせて、再構築されたブロックを形成するように配置され、再構築されたブロックは再構築されたピクチャの一部であってもよく、再構築されたピクチャは、再構築された動画の一部であってもよい。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。

任意の適切な技術を使用して動画エンコーダ（４０３）、動画エンコーダ（６０３）、動画エンコーダ（７０３）、及び動画デコーダ（４１０）、動画デコーダ（５１０）、動画デコーダ（８１０）を実現し得ることに留意されたい。実施形態において、１つ又は複数の集積回路を使用して動画エンコーダ（４０３）、動画エンコーダ（６０３）、動画エンコーダ（７０３）、及び動画デコーダ（４１０）、動画デコーダ（５１０）、動画デコーダ（８１０）を実現してもよい。他の実施形態において、ソフトウェア命令を実行する１つ又は複数のプロセッサーを使用して動画エンコーダ（４０３）、動画エンコーダ（６０３）、動画エンコーダ（７０３）、及び動画デコーダ（４１０）、動画デコーダ（５１０）、動画デコーダ（８１０）を実現してもよい。

ブロック区分構造（例えば、ＶＶＣ）には、四分木（ｑｕａｄ-ｔｒｅｅ、ＱＴ）及びマルチタイプツリー（ｍｕｌｔｉ-ｔｙｐｅｔｒｅｅ、ＭＴＴ）を含んでもよい。ＱＴとＭＴＴと呼ばれるブロック区分戦略を使用することができ、ＱＴ+ＭＴＴと呼ぶことができる。ピクチャは、重複しないＣＴＵの配列に分割されることができる。例において、ＣＴＵは画素又はサンプルの２サイズ配列であり、最大１２８ｘ１２８の輝度サンプル（および対応する色度サンプル）を持つ。次のツリー分割方法の１つまたは組み合わせを使用してＣＴＵ
を１つ又は複数の小さなブロックに分割することができる。親ブロック分割から生じた小さなブロックのそれぞれについて、フラグ（分割フラグと呼ばれる）を使用して、複数の可能なツリー区分のうちの１つを使用したさらなる分割を選択したかどうかをシグナリングすることができる。そうでない場合、小さい方のブロックは分割のリーフノードであり得、例えば、予測／変換／量子化／エントロピー符号化などの技術を使用して、符号化ユニット（ＣＵ）として処理され得る。分割が発生するたびに、対応する親ブロックからの小さいなブロックの深さを１ずつ増やすことができる。分割は、ＣＴＵのルート（例えば、ｄｅｐｔｈ = ０）から特定の限定された最大深度まで、または最小許容ブロックサイズ（例えば、各側に４サンプル）に達するまで継続できる。限定された最大深度または最小許容ブロックサイズに達すると、分割フラグはシグナリングされないが、０と推測できる。一方、いくつかの例では、ＣＴＵのルートにおいて、分割は１であると推測でき、例えば、Ｉスライスの場合、各１２８ｘ１２８サンプルを第１の深さで４つの６４ｘ６４サンプルに分割して最大変換サイズ６４ｘ６４を具体化することができると暗黙的に推測できる。

例えば、ＨＥＶＣ及びＶＶＣにＱＴ分割を使用することができる。例において、各親ブロックは、水平方向と垂直方向の両方に二分割される。得られた４つの小さな区分は親ブロックと同じアスペクト比を有する。例において、まず、例えば、ＱＴ分割によりＣＴＵを再帰的に分割する。以下で説明するように、ＭＴＴ（例えば、二分木（ＢＴ）分割、三分木（ＴＴ）分割）を使用して各ＱＴリーフノード（例えば、正方形）さらに（例えば、再帰的に）分割してもよい。

ＢＴ分割は、親ブロックを水平方向または垂直方向に二分割できる方法を指してもよい。親ブロックと比べて、得られた２つの小さい区分はサイズが半分になる。

ＴＴ分割は、親ブロックを、例えば対称的な方法で、水平方向または垂直方向に３つの部分に分割できる方法を指してもよい。この３つの部分の中央部分を他の２つの部分の２倍にしてもよい。得られた３つの小さな区分は、親ブロックと比べて、サイズが１ / ４、１ / ２、および１/４になる。

ＶＶＣのような例において、ＣＵはブロック区分のリーフノードであり、さらに分割されない。ＣＵサイズが最大ＴＵサイズを超えない限り（例えば、最大ＴＵサイズに達するまで残差を分割することができる）、対応する予測ユニット（ｐｒｅｄｉｃｔｉｏｎｕｎｉｔ，ＰＵ）及び変換ユニット（ｔｒａｎｓｆｏｒｍｕｎｉｔ、ＴＵ）のサイズはＣＵのサイズと同じであり得る。例において、例えばＨＥＶＣにおいて、ＰＵサイズとＴＵサイズは、対応するＣＵサイズよりも小さくなり得る。ブロック区分操作は、ＣＴＵルートから許可される最大分割数（例えば、分割の深さ）と、リーフＣＵのブロックの最小の高さと幅によって制約される可能性がある。幾つかの例において、色度サンプルにおいて、最小ＣＵサイズは４×４である。図９は本開示の実施形態によるＢＴ分割及びＴＴ分割（ｓｐｌｉｔ）の例を示す。垂直（ｖｅｒｔｉｃａｌ）ＢＴ分割を使用してブロック（又は親ブロック）（９１０）を複数のブロック（又はサブブロック）（９１１）～（９１２）に分割してもよい。水平（ｈｏｒｉｚｏｎｔａｌ）ＢＴ分割を使用してブロック（又は親ブロック）（９２０）を複数のブロック（又はサブブロック）（９２１）～（９２２）に分割してもよい。垂直ＴＴ分割を使用してブロック（又は親ブロック）（９３０）複数のブロック（又はサブブロック）（９３１）～（９３３）に分割してもよい。水平ＴＴ分割を使用してブロック（又は親ブロック）（９４０）を複数のブロック（又はサブブロック）（９４１）～（９４３）に分割してもよい。

図１０は、ＣＴＵ（１００１）のブロック区分結果の例を示す。ＱＴとＭＴＴ構成を使用してＣＴＵ（１００１）を区分してもよく、例えば、ＱＴを使用して、ＱＴ、ＢＴ及び/又はＴＴを使用してＣＴＵ（１００１）を分割する。

上記の柔軟なブロック区分ツールに加えて、イントラスライスの符号化は、ＣＴＵの輝度サンプルと色度サンプルについての符号化ツリー構造が異なってもよい（デュアルツリー構造と呼ばれる）。従って、色度サンプルは、同じＣＴＵ内に併置された輝度ンプルから独立した符号化ツリーブロック構造を持つことができ、従って、色度サンプルは、輝度サンプルよりも大きな符号化ブロックサイズを有してもよい。

表１は、再帰的区分を使用したブロック構造の例示的な構文表（例えば、関数ｃｏｄｉｎｇ_ｔｒｅｅ()）を示している。分割フラグのタイプに応じて関数ｃｏｄｉｎｇ_ｔｒｅｅ()を呼び出すことができる。分割がない場合、ｃｏｄｉｎｇ_ｕｎｉｔ()関数を呼び出してさらにＣＵ内の構文要素を解析することができる。表１のあるフラグ（例えばｓｐｌｉｔ_ｃｕ_ｆｌａｇ、ｓｐｌｉｔ_ｑｔ_ｆｌａｇ、ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｖｅｒｔｉｃａｌ_ｆｌａｇ、ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｂｉｎａｒｙ_ｆｌａｇ）をシグナリングしてもよい。

幾つかの例において、各ＣＴＵのブロック分割構造（ＣＴＵ分割構造、ブロック分割構造又はＣＴＵ分割構造とも呼ばれる）は、互いに独立してシグナリングされる。従って、以前に符号化されたＣＴＵのブロック分割構造の情報は現在のＣＴＵのブロック分割構造の予測器又は参照として使用されない。

様々な例において、ブロック分割構造は、ＣＵの最小サイズ、最大分割深さ、区分または分割方法（例えば、ＱＴ、ＢＴ、ＴＴなどのＭＴＴ）、中間ノードで区分分割するか、及び、如何に中間ノードで区分分割するかのうちの１つまたは複数を示めてもよい。ブロック分割構造の情報は、事前に特定された、推定したもの又は・及びシグナリングされたものである。

本開示の各態様によれば、復号化順序で現在のＣＴＵに先行して復号化された以前に復号化されたＣＴＵの参照区分情報に基づいて現在のピクチャにおける現在のＣＴＵ（例えば、ＣＴＢ、色度ＣＴＢ、色度ＣＴＢなど）の現在のブロック分割構造を決定してもよい。復号化順序で現在のＣＴＵに先行して復号化された以前に復号化されたＣＴＵは、現在のピクチャや異なるピクチャにおける、いずれかの適切な以前に復号化されたＣＴＵであってもよい。例えば、以前に復号化されたＣＴＵの参照区分情報は、以前に復号化されたＣＴＵのブロック分割構造を含んでもよい。代わりに、例えばＣＴＵレベルよりも高いレベル（又は高レベル）の高レベルヘッダにより示される参照区分情報に基づいて、現在のＣＴＵの現在のブロック分割構造を決定することができる。例において、高レベルヘッダにおける参照区分情報は、高レベル（例えば、ピクチャレベル、スライスレベル）に関連するＣＴＵに利用可能な高レベルブロック分割構造を示めしてもよく（例えば、含まれる）、高レベルヘッダにおけるインデックスは高レベルブロック分割構造内のどの高レベルブロック分割構造が現在のＣＴＵの現在のブロック分割構造を決定するのに使用されるかを示めしてもよい。例において、ピクチャレベルに関連するＣＴＵは、ピクチャにおけるＣＴＵを指し、スライスレベルに関連するＣＴＵはスライスにおけるＣＴＵを指してもよい。高レベルの高レベルブロック分割構造は高レベルに関連するＣＴＵ（例えば、同じシーケンスにおけるＣＴＵ、同じピクチャにおけるＣＴＵなど）によって使用されてもよい。第１の高レベルブロック分割構造に基づいて同じレベルに関連する（例えば、同じピクチャ、同じシーケンス中の）第１のＣＴＵサブセットを区分することができる。第２の高レベルブロック分割構造に基づいて、同じレベルに関連する（例えば、同じピクチャ、同じシーケンス中の）第２のＣＴＵサブセットを区分してもよい。

幾つかの例において、現在ブロックの現在のブロック分割構造は初期ブロック分割構造（例えば、以前に復号化されたＣＴＵのブロック分割構造、高レベルヘッダにおける高レベルブロック分割構造のいずれか）と同じであってもよい。従って、初期ブロック分割構造をシグナリングする必要はないので、幾つかの例において、シグナリングを必要しない。幾つかの例において、単一のフラグをシグナリングして初期ブロック分割構造の選択を指示する。

オプションとして、初期ブロック分割構造を修正して現在ブロックの現在のブロック分割構造を取得してもよい。幾つかの例において、まず、初期ブロック分割構造を修正して参照ブロック分割構造を取得してもよい。次に、参照ブロック分割構造を修正して現在のブロック分割構造を取得してもよい。初期ブロック分割構造及び/又は参照ブロック分割構造をシグナリングしないので、表１で説明された方法で現在のＣＴＵを再帰的分割することに比べて、少ないフラグをシグナリングすることができる。

実施形態において、符号化された動画ビットストリームから現在のＣＴＵの符号化情報を復号化してもよい。当該符号化情報は現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいているかどうかを示めしてもよい。現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいていることに応答して、参照区分情報により示される初期ブロック分割構造に基づいて現在のＣＴＵの現在のブロック分割構造を決定してもよい。初期ブロック分割構造は、（ｉ）以前に復号化されたＣＴＵのブロック分割構造、又は、（ｉｉ）高レベルヘッダにより示される高レベルブロック分割構造の一つである。また、現在のブロック分割構造に応じて現在のＣＴＵを分割してもよい。

幾つかの例において、現在のＣＴＵの現在のブロック分割構造に特定されないブロック構造情報に基づいて現在のＣＴＵの現在のブロック分割構造を決定（例えば、予測）することにより、符号化効率を向上させることができる。ブロック構造情報は以前に符号化されたＣＴＵのブロック分割構造又は高レベルヘッダ内のブロック分割構造を示めしてもよい。現在のＣＴＵの現在のブロック分割構造に基づいて以前に符号化されたＣＴＵのブロック分割構造を決定する場合、例えば、以前に符号化されたＣＴＵのブロック分割構造をシグナリングする必要はないので、少ないフラグをシグナリングすることが可能となる。例えば、高レベルブロック分割構造は、高レベル（例えば、シーケンスレベル、ピクチャレベル）のＣＴＵによって共有されるので、現在のＣＴＵの現在のブロック分割構造に基づいて高レベルヘッダ内のブロック分割構造（高レベルブロック分割構造とも呼ばれる）を決定する場合、少ないフラグをシグナリングすることが可能となる。例において、１番目の高レベルのブロック分割構造は、同じ高レベルである２番目の数のＣＴＵによって共有され、２番目の数は１番目の数よりもはるかに大きくなってもよい。

本開示の各態様によれば、他のＣＴＵ（例えば、以前に符号化されたＣＴＵ）のブロック分割構造に応じて現在のＣＴＵの現在のブロック分割構造を決定（例えば、予測）してもよい。

以前に符号化されたＣＴＵの参照区分情報（区分情報とも呼ばれる）に基づいて現在のＣＴＵの現在のブロック分割構造を決定（例えば、予測）してもよい。例において、ＣＴＵレベルで、フラグ（例えば、構造予測フラグ（ｓｔｒｕｃｔｕｒｅｐｒｅｄｉｃｔｉｏｎｆｌａｇ、ＳＰＦ）又はｓｐｆ_ｆｌａｇ）を使用してシグナリングしＣＴＵルートで現在のＣＴＵの分割フラグを解析する前に、現在のＣＴＵの現在のブロック分割構造について予測を使用する。ＳＰＦ（例えば、ｓｐｆ_ｆｌａｇ）が真であると、参照ブロック分割構造（又は参照ＣＴＵ分割構造、ブロック分割構造予測器、ブロック区分構成予測器）を、現在のＣＴＵのブロック分割構造に対する予測器として決定することができる（例えば、取得又は生成）。ＳＰＦ（例えば、ｓｐｆ_ｆｌａｇ）が真ではないと、例えば、各レベルにおけるさらに分割するか及び分割のタイプを指示するためのシグナリングに基づいて、現在のＣＴＵの現在のブロック分割構造を独立して符号化することができる。現在のＣＴＵの現在のブロック分割構造が独立して符号化された場合、現在のＣＴＵの現在のブロック分割構造は以前に符号化されたＣＴＵのブロック分割構造に依存しない、またはそれに基づいていない。

以上のように、現在のＣＴＵの現在のブロック分割構造は、以前に符号化されたＣＴＵ（例えば、符号化順序で現在のＣＴＵに先行して符号化されたＣＴＵ）の参照区分情報に基づいてもよい。例において、デコーダ側において、復号化順序で現在のＣＴＵに先行して以前に符号化されたＣＴＵを復号化する。以前に符号化されたＣＴＵの参照区分情報は、以前に符号化されたＣＴＵの、相応する以前に符号化されたＣＴＵを区分するためのブロック分割構造を含んでもよい。幾つかの例において、参照区分情報は、フラグ又はインデックスをさらに含んでもよく、前記フラグ又はインデックスは、以前に符号化されたＣＴＵのブロック分割構造中のどのブロック分割構造が現在のＣＴＵの現在のブロック分割構造に使用されるかを示す。

現在のＣＴＵの空間的に隣接するＣＴＵに基づいて以前に符号化されたＣＴＵの参照区分情報を取得してもよい。空間的に隣接するＣＴＵのブロック分割構造を使用して現在のＣＴＵの現在のブロック分割構造を予測してもよい。以前に復号化されたＣＴＵは、現在のＣＴＵの空間的に隣接するＣＴＵであってもよい。初期ブロック分割構造は、空間的に隣接するＣＴＵの一つに属してもよい。空間的に隣接するＣＴＵは現在のＣＴＵと隣接してもよい。

例において、空間的に隣接するＣＴＵ、例えば、空間的に隣接するＣＴＵのブロック分割構造に基づいて参照ブロック分割構造を決定し、その後、当該参照ブロック分割構造に基づいて現在のブロック分割構造を決定する。

現在のＣＴＵの現在のブロック分割構造は、以前に符号化されたＣＴＵの情報（例えば、参照区分情報）によって予測してもよい。例において、前記情報（例えば、参照区分情報）は、現在のＣＴＵの符号化図ブロック、符号化スライス又は符号化タイルグループと同じ符号化図ブロック、符号化スライス又は符号化タイルグループからのものであり得る。従って、現在のブロック分割構造の予測は空間予測と呼ばれることがある。現在のＣＴＵの空間的に隣接するＣＴＵの情報に応じて空間予測を決定することができ、これらの空間的に隣接するＣＴＵは、例えば、現在のＣＴＵの左側にあるＣＴＵである左側のＣＴＵまたは左側の符号化されたＣＴＵ、現在のＣＴＵの頂部にある頂部ＣＴＵ（上方ＣＴＵとも呼ばれる）または頂部に符号化されたＣＴＵ、および/または現在のＣＴＵの左上隅にあるＣＴＵである左上のＣＴＵ（左上のＣＴＵとも呼ばれる）または左上の符号化されたＣＴＵである。従って、現在のＣＴＵの空間的に隣接するＣＴＵは、左に符号化されたＣＴＵ、頂部に符号化されたＣＴＵ、および／または左上に符号化されたＣＴＵを含み得るが、これらに限定されない。

履歴ベースのバッファ（又は履歴バッファ）から、以前に符号化されたＣＴＵの参照区分情報を取得してもよい。履歴ベースのバッファは、以前に符号化されたＣＴＵの１つ又は複数のブロック分割構造を記憶してもよい。例において、以前に符号化されたＣＴＵは現在のピクチャにある。履歴ベースのバッファについての以前に符号化されたＣＴＵは、現在のＣＴＵに隣接するＣＴＵ及び/又は現在のＣＴＵに隣接しないＣＴＵを含んでもよい。幾つかの例において、履歴ベースのバッファについての以前に符号化されたＣＴＵは、現在のピクチャと異なるピクチャからのＣＴＵを含んでもよい。履歴ベースのバッファ内の１つ又は複数のブロック分割構造を使用して、現在のＣＴＵの現在のブロック分割構造を予測してもよい。以前に復号化されたＣＴＵの初期ブロック分割構造は履歴ベースのバッファ内の１つ又は複数のブロック分割構造の一つである。例において、履歴ベースのバッファ内の１つ又は複数のブロック分割構造の一つに応じて参照ブロック分割構造を決定し、その後、当該参照ブロック分割構造に基づいて現在のブロック分割構造を決定する。

様々な例において、符号化順序で（例えば、符号化順序、復号化順序）以前に符号化されたＣＴＵの履歴ベースのバッファを維持して、以前に符号化されたＣＴＵの１つ又は複数のブロック分割構造を記憶してもよい。バッファサイズＮ（例えば、正の整数）は、履歴ベースのバッファにＮ個のエントリが含まれていることを示す。履歴ベースのバッファ内のエントリを更新することができる。使用すると、履歴ベースのバッファ内の１つ以上のブロック分割構造からのブロック分割構造のインデックスをシグナリングすることができる。インデックス符号化には、任意の適切な方法を使用できる。例において、履歴ベースのバッファ内の１つまたは複数のブロック分割構造は、複数のブロック分割構造を含み、適切なコードワードで複数のブロック分割構造のインデックスを符号化してもよい。

例において、先入れ先出し（ｆｉｒｓｔ-ｉｎ-ｆｉｒｓｔ-ｏｕｔ、ＦＩＦＯ）ルールは、履歴ベースのバッファーを維持することに適用される。従って、履歴ベースのバッファは、符号化順序でＮ個の最新の符号化されたＣＴＵのブロック分割構造の情報を保持することができる。

例において、最新の符号化されたＣＴＵのエントリを履歴ベースのバッファの最後の位置（または最新の位置）に入れることができる。履歴ベースのバッファの最後の位置が現在のＣＴＵの現在のブロック分割構造を予測するために使用される場合、最短のコードワードは、当該最後の位置のインデックス符号化に使用されることができる。

例において、エントリを履歴ベースのバッファに入れる場合、例えば、以前に符号化されたＣＴＵのブロック分割構造に加えて、以前に符号化されたＣＴＵ（参照ＣＴＵとも呼ばれる）の位置（例えば、現在のＣＴＵに対する位置）も履歴ベースのバッファに記憶される。現在のＣＴＵの現在のブロック分割構造を予測するために選択された場合、現在のＣＴＵに対するインデックス符号化用のコードワードを設計するために考慮される場合がある。例えば、第１の以前に符号化されたＣＴＵの第１の位置が第２の以前に符号化されたＣＴＵの第２の位置よりも現在のＣＴＵに近い場合に、第１の以前に符号化されたＣＴＵの複数のブロック分割構造の第１のブロック分割構造の第１のインデックスは、第２の以前に符号化されたＣＴＵの複数のブロック分割構造の第２のブロック分割構造の第２のインデックスと比較して短いコードワードを使用する。

現在のＣＴＵの時間的に隣接するＣＴＵに基づいて、以前に符号化されたＣＴＵの参照区分情報を取得することができる。（例えば、現在のピクチャ異なる参照ピクチャ中の）時間的に隣接するＣＴＵのブロック分割構造を使用して現在のＣＴＵの現在のブロック分割構造を予測することができる。以前に復号化されたＣＴＵは、現在のＣＴＵの時間的に隣接するＣＴＵであってもよく、初期ブロック分割構造は現在のＣＴＵの時間的に隣接するＣＴＵの一つに属してもい。

例において、時間的に隣接するＣＴＵ、例えば、時間的に隣接するＣＴＵのブロック分割構造に基づいて参照ブロック分割構造を決定し、その後、当該参照ブロック分割構造に基づいて現在のブロック分割構造を決定する。

図１１は、本開示の実施形態による時間的に隣接するＣＴＵを使用して現在のＣＴＵ（１１１１）の現在のブロック分割構造を予測する例を示す。現在のＣＴＵ（１１１１）は現在のピクチャ（１１０１）にある。例において、参照ピクチャ（１１０２）は決定される。例えば、参照ピクチャ（１１０２）は、ＴＭＶＰＭＶ予測器を取得するために併置されたＣＴＵである。ＣＴＵ（１１２１）は、現在のＣＴＵ（１１１１）の併置されたＣＴＵである。現在のＣＴＵ（１１１１）の現在のブロック分割構造を予測するための時間的に隣接するＣＴＵは、参照画像（１１０２）内の任意の適切なＣＴＵを含むことができる。一例では、時間的に隣接するＣＴＵは、併置されたＣＴＵ（１１２１）と、併置されたＣＴＵ（１１２１）の１つまたは複数の隣接するＣＴＵ（１１２２）～（１１２９）とを含む。時間的に隣接するＣＴＵは、参照ＣＴＵと呼ばれることもある。

例において、併置されたＣＴＵ（１１２１）にインデックス符号化のための最短のコードワードを割り当て、併置されたＣＴＵ（１１２１）の８つの隣接するＣＴＵ（１１２２）～（１１２９）をインデックス符号化のための固定長（例えば、３ビット）のコードワードを割り当てる。例において、図１１に示すように、ＣＴＵ（１１２１）～（１１２９）に使用されるコードワードは、それぞれ１、０００、００１、０１０、０１１、１００、１０１、１１０、１１１である。従って、ＣＴＵ（１１２１）のブロック分割構造を使用して現在のＣＴＵ（１１１１）の現在のブロック分割構造を予測する場合に、インデックス「１」をシグナリングできる。代わりに、ＣＴＵ（１１２８）のブロック分割構造を使用して現在のＣＴＵ（１１１１）の現在のブロック分割構造を予測する場合に、インデックス「１１０」をシグナリングできる。

以上で説明されたように、参照区分情報は高レベルヘッダによって示されることができる。ブロック分割構造（高レベルブロック分割構造とも呼ばれる）の情報（例えば、参照区分情報）は、高レベルヘッダに記憶されることができ、例えば、スライスヘッダ、ＰＰＳ、ＳＰＳなどに記憶される。参照区分情報は高レベルブロック分割構造を含んでもよい。例において、高レベルはＣＴＵレベルよりも高い。ＣＴＵレベルで高レベルブロック分割構造を含む参照区分情報を使用すると、高レベルブロック分割構造の一つを示すインデックスを送信してもい。例において、当該インデックスは、高レベルブロック分割構造の一つの記憶バッファ（例えば、高レベルヘッダ）における位置を示す。

例において、高レベルブロック分割構造は高レベルヘッダにおける複数のブロック分割構造を含み、初期ブロック分割構造は前記複数のブロック分割構造の一つであり、高レベルヘッダに含まれるインデックスによって示される。

高レベルブロック分割構造は、現在のＣＴＵの現在のブロック分割構造を予測するために使用されてもよい。例において、高レベルブロック分割構造に基づいて参照ブロック分割構造を決定し、その後、当該参照ブロック分割構造に基づいて現在のブロック分割構造を決定する。

各符号化されたスライス又は各符号化されたピクチャは、符号化されたスライス又は符号化されたピクチャ（例えば、一部又は全て）に対して、ストレージバッファにおける参照区分情報（予測器情報とも呼ばれる）を更新することができる。例えば、予測器（例えば、高レベルブロック分割構造）Ａ１～Ａ１０は、第１のピクチャのＰＰＳから取得することができる。ストレージバッファは第１のピクチャの予測器Ａ１～Ａ１０の情報を含んでもよい。第１のピクチャにおけるＣＴＵは予測器Ａ１～Ａ１０を参照して第１のピクチャにおける各ＣＴＵのブロック分割構造を取得することができる。例えば、第１のピクチャのＰＰＳを解析した後に第２のピクチャのＰＰＳを解析する場合、予測器Ａ６～Ａ１０を保持するという指示、及び予測器Ｂ１～Ｂ５の情報を受信する。ストレージバッファは、第２のピクチャに対して、予測器Ｂ１～Ｂ５の情報と予測器Ａ６～Ａ１０の情報を含めることができる。第２のピクチャのＣＴＵは、予測器Ａ６～Ａ１０と予測器Ｂ１-Ｂ５を参照して、第２のピクチャの各ＣＴＵのブロック分割構造を取得することができる。

以上で説明されたように、参照区分情報、例えば、以前に符号化されたＣＴＵのブロック分割構造、高レベルヘッダにより示される高レベルブロック分割構造などに基づいて、現在のＣＴＵの参照ブロック分割構造を決定してもよい。

例において、初期ブロック分割構造（例えば、以前に符号化されたＣＴＵのブロック分割構造、高レベルヘッダにより示される（例えば、含まれる）高レベルブロック分割構造等）を参照ブロック分割構造として直接使用する。従って、参照ブロック分割構造は初期ブロック分割構造である。代わりに、初期ブロック分割構造（例えば、以前に符号化されたＣＴＵのブロック分割構造、高レベルヘッダにより示される（例えば、含まれる）高レベルブロック分割構造等）を処理又は修正して参照ブロック分割構造を取得することができる。従って、参照ブロック分割構造は初期ブロック分割構造と異なる。初期ブロック分割構造におけるある分割情報は削除されてもよい。初期ブロック分割構造におけるある分割情報は近似されたり、新しい区分情報に置き換えられたりしてもよい。

図１２は、本開示の実施形態による以前に符号化されたＣＴＵ（１２０１）のブロック分割構造を修正することによりＣＴＵ（１２０２）の参照ブロック分割構造を取得する例を示す。第１のレベル（例えば、ＣＴＵレベル）で、ＱＴ分割により、以前に符号化されたＣＴＵ（１２０１）を４つの６４×６４ブロック（１２１１）～（１２１４）に分割する。右上の６４×６４ブロック（１２１２）を比較的に小さい区分にさらに分割するが、３つの６４×６４ブロック（１２１１）、（１２１３）及び（１２１４）を分割しないことにより、以前に符号化されたＣＴＵ（１２０１）のブロック分割構造を取得する。以前に符号化されたＣＴＵ（１２０１）のブロック分割構造を予測器として使用する場合、右上の６４×６４ブロック（１２１２）の詳細分割構造は削除されて、そして右上の６４×６４ブロック（１２２２）での単一ＱＴ分割（１２３０）で示されてもよく、ＣＴＵ（１２０２）の参照ブロック分割構造で示されるようである。ＣＴＵ（１２０２）の参照ブロック分割構造は、ＱＴ分割を利用してＣＴＵレベルでＣＴＵ（１２０２）を４つの６４×６４ブロック（１２２１）～（１２２４）に分割する。その後、ＱＴ分割（１２３０）により右上の６４×６４ブロック（１２２２）を４つの比較的に小さいブロック（１２３１）～（１２３４）にさらに分割する。例において、初期ブロック分割構造（例えば、以前に符号化されたＣＴＵ（１２０１）のブロック分割構造）に応じて修正された参照ブロック分割構造（例えば、ＣＴＵ（１２０２）の参照ブロック分割構造）は簡略化される。従って、前記参照ブロック分割構造は、初期ブロック分割構造と比較して小さい分割深さ及び/又は少ないリーフノードを有するようになる。初期ブロック分割構造を修正して参照ブロック分割構造を取得することは有利である。例えば、図１２に示すように、参照ブロック分割構造が簡略化される場合、参照ブロック分割構造に対して記憶されている情報が少なくなり、記憶空間が節約される。また、ＣＴＵの様々なブロック分割構造は、少ない数の変化で参照ブロック分割構造として表され得る。

任意の適切な修正ルールを適用して参照ブロック分割構造を取得することができる。例において、参照ブロック分割構造では、ＱＴ分割のみを使用又は許可することができ、例えばＣＴＵ（１２０２）の参照ブロック分割構造に示すようである。例において、参照ブロック分割構造ではＱＴ分割のみを許可する場合、１ビットまたは１フラグのみを使用してＱＴ分割を指示し、ＱＴ分割の実現方法を指示するために他のビットは必要ないため、符号化効率を向上させることができる。

例において、参照ブロック分割構造にＱＴ分割及びＢＴ分割を使用し、参照ブロック分割構造に他の分割方法を許可しないことができる。

実施形態において、参照ブロック分割構造では、ＱＴ分割のみを使用することができる。また、参照ブロック分割構造では、最大Ｌ個の分割レベルを許可する。Ｌは０、１、２などの整数であってもよい。例において、Ｌは０であり、参照ブロック分割構造を利用して予測されたＣＴＵには、例えば分割されない１２８ｘ１２８の単一ブロックを含む。例において、Ｌは１であり、参照ブロック分割構造を利用して予測されたＣＴＵは分割されない１２８ｘ１２８サンプルの単一ブロックであってもよいし、一回の分割で得られた４つの６４ｘ６４ブロックを含んでもよい。例において、Ｌは２であり、参照ブロック分割構造を利用して予測されたＣＴＵは１２８×１２８サンプルの単一ブロックであってもよいし、４つの６４×６４ブロックを含んでもよく、各６４×６４ブロックはさらに４つの３２×３２ブロックに分割される。

例において、分割レベルＬは、ブロックまたは領域（例えば、６４ｘ６４領域）の複雑さによって決定される。図１２を参照して、参照ブロック分割構造における４つの６４×６４領域又はブロック（１２２１）～（１２２４）は、ＱＴ分割に対して異なる分割深さを有することができる。例えば、右上の６４ｘ６４領域（１２２２）は、さらに１回分割されることができるが、他の３つの６４ｘ６４領域は分割されず６４ｘ６４レベルで維持される。従って、領域（１２２２）の分割深さＬは２であり、領域（１２２１）、（１２２３）、および（１２２４）の分割深さＬは１である。

本開示の各態様によれば、例えば、参照区分情報により示される初期ブロック分割構造に基づいて参照ブロック分割構造を決定することができる。参照ブロック分割構造に基づいて現在のブロック分割構造を決定することができる。

参照ブロック分割構造により予測すると、現在のＣＴＵの現在のブロック分割構造は、参照ブロック分割構造を使用することができる。代わりに、参照ブロック分割構造を修正して現在のＣＴＵの現在のブロック分割構造（最終ブロック分割構造とも呼ばれる）を取得することもできる。修正の有無にかかわらず参照ブロック分割構造を使用するかどうかは、シグナリングまたは事前に決定することができる。

本開示の各態様によれば、符号化情報は、参照ブロック分割構造を修正して現在のＣＴＵの現在のブロック分割構造を修正するかどうかを示すフラグを含むことができる。従って、当該フラグに基づいて参照ブロック分割構造を修正して現在のＣＴＢの現在のブロック分割構造を取得するかどうかを決定することができる。

例において、当該フラグは、修正有りの場合に参照ブロック分割構造を使用するかどうか、それとと、修正なしの場合に参照ブロック分割構造を使用するかをシグナリングするために使用される。修正ありの場合に参照ブロック分割構造を使用すると、参照ブロック分割構造による予測の後、さらなる修正をシグナリングしてもよい。

例において、予測された各サブノードにおいて、分割フラグは、現在の予測の基にさらに分割を使用するかどうかをシグナリングするために使用される。さらに分割を使用する場合、分割のタイプをシグナリングする。

例において、まず、参照ブロック分割構造に応じて現在のＣＴＵを分割して複数のサブノードを取得する。次に、必要に応じて、表１で説明された再帰的分割を各サブノードに適用してサブノードをさらに分割する。例えば、各サブノードにおいて、分割フラグは、さらに分割を使用するかどうかをシグナリングするために使用される。さらに分割を使用すると、分割のタイプをシグナリングすることがことできる。従って、参照ブロック分割構造及びシグナリングの組み合わせを使用して現在のＣＴＵを区分し、参照ブロック分割構造をシグナリングしないので、シグナリングオーバーヘッドを低減する。

例において、現在のＣＴＵの現在のブロック分割構造は、参照ブロック分割構造を直接（例えば、修正なしで）使用してもよい。従って、現在のＣＴＵの現在のブロック分割構造は、参照ブロック分割構造と同じであってもよい。分割フラグをシグナリングする又は推定することはなく、符号化効率を向上させることができる。例えば、参照ブロック分割構造は４つの６４×６４ブロックである。参照ブロック分割構造を使用すると、現在のＣＴＵを４つの６４×６４ブロックに分割でき、６４×６４ブロックのいずれかをさらに分割するかどうかをチェックする必要はない。

本開示の各態様によれば、参照ブロック分割構造を修正して現在のＣＴＵの現在のブロック分割構造を取得することができる。例において、参照ブロック分割構造を使用して現在のＣＴＵの現在のブロック分割構造を決定し、まず、参照ブロック分割構造に基づいて現在のＣＴＵを区分することができ、予測構造の上に分割フラグを追加する可能性がある。例えば、参照ブロック分割構造は、４つの６４ｘ６４ブロックである。参照ブロック分割構造を使用すると、まず、現在のＣＴＵを４つの６４×６４ブロック（サブノードとも呼ばれる）に分割することができる。各サブノード（例えば、各６４×６４ブロック）について、分割フラグをシグナリングしたり、取得したり（例えば、推定）することにより、サブノードをさらに分割するかどうかを指示することができる。サブノードをさらに分割すると、附加情報（例えば、分割のタイプや、垂直方向、水平方向などの分割方向）をシグナリングできる。表１で説明された方法と同様に得られたサブノードのそれぞれを再帰的処理することができる。追加情報をシグナリングする可能性があるものの、参照ブロック分割構造をシグナリングする必要がないので、参照ブロック分割構造を修正して現在のブロック分割構造を取得することにより、符号化効率を向上させることができる。

図１３は、本開示の実施形態によるプロセス（１３００）を概説するフローチャートを示す。プロセス（１３００）は、現在のＣＴＵにおける再構築中の現在ブロックに対して予測ブロックを生成するように、現在のＣＴＵ（例えば、現在のＣＴＢ、現在の色度ＣＴＢ、現在の色度ＣＴＢ）を区分するために用いられる。各実施形態において、プロセス（１３００）は、処理回路システムによって実行され、前記処理回路システムは、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）における処理回路システム、動画エンコーダ（４０３）の機能を実行する処理回路システム、動画デコーダ（４１０）の機能を実行する処理回路システム、動画デコーダ（５１０）の機能を実行する処理回路システム、動画エンコーダ（６０３）の機能を実行する処理回路システムなどである。幾つかの実施形態において、プロセス（１３００）は、ソフトウェア命令で実現され、従って、処理回路システムがソフトウェア命令を実行すると、処理回路システムはプロセス（１３００）を実行する。プロセス（１３００）は（Ｓ１３０１）から開始し、（Ｓ１３１０）に進む。

（Ｓ１３１０）において、符号化された動画ビットストリームから現在のピクチャにおける現在のＣＴＵの符号化情報を復号化することができる。符号化情報は、例えば、ＳＰＦを使用して、現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいているかどうかを示すことができる。符号化情報が現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいていることを示すと特定されると、プロセス（１３００）は（Ｓ１３２０）に進む。符号化情報が、現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいていないことを示すと特定されると、プロセス（１３００）は（Ｓ１３９９）に進み、終了する。

（Ｓ１３２０）において、以上で説明されたように、参照区分情報により示される初期ブロック分割構造に基づいて現在のＣＴＵの現在のブロック分割構造を決定することができる。初期ブロック分割構造は、（ｉ）復号化順序で現在のＣＴＵに先行して復号化された以前に復号化されたＣＴＵ（例えば、現在のＣＴＵの空間的に隣接するＣＴＵ、現在のＣＴＵの時間的に隣接するＣＴＵ、履歴ベースのバッファ内のブロック分割構造を有する以前に復号化されたＣＴＵ）に属し、又は、（ｉｉ）ＣＴＵレベルよりも高いレベル（例えば、ピクチャレベル、スライスレベル）の高レベルヘッダによって示される。

例において、修正された又は修正されていない初期ブロック分割構造に基づいて参照ブロック分割構造を決定する。また、修正された又は修正されていない参照ブロック分割構造に基づいて現在のＣＴＵの現在のブロック分割構造を決定してもよい。

（Ｓ１３３０）において、現在のブロック分割構造に応じて現在のＣＴＵを分割することができる。プロセス（１３００）は（Ｓ１３９９）に進み、終了する。

プロセス（１３００）は、様々なシナリオに適切に適合されることができ、プロセス（１３００）のステップは、それに応じて調整することができる。プロセス（１３００）の１つまたは複数のステップは、修正、省略、重複および／または組み合わせることができる。任意の適切な順序を使用してプロセス（１３００）を実施することができる。

追加のステップをプロセス（１３００）に追加することができる。例えば、上記のように（Ｓ１３３０）において現在のＣＴＵをＣＵに区分した後、各ＣＵを再構築できる。例において、（Ｓ１３１０）において、符号化情報が、現在のＣＴＵの現在のブロック分割構造が参照区分情報に基づいていないことを示すと決定されたと、例えば、表１で説明された様々な分割フラグに基づいて現在のＣＴＵを再帰的に区分することができる。

本開示の実施形態は、別々に使用することも、任意の順序で組み合わせて使用することもできる。さらに、方法（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路システム（例えば、１つまたは複数のプロセッサまたは１つまたは複数の集積回路）によって実現され得る。一例において、１つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能な媒体に格納されているプログラムを実行する。

上記の技術は、コンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、１つ又は複数のコンピュータ読み取り可能な媒体に物理的に記憶される。例えば、図１４は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム（１４００）を示す。

任意の適切なマシンコード又はコンピュータ言語を使用してコンピュータソフトウェアを符号化することができ、機械コード又はコンピュータ言語がアセンブル、コンパイル、リンクなどのメカニズムを介して命令を含むコードを作成することができ、当該命令は、１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコード実行などによって実行されることができる。

命令は、例えば、様々なタイプのコンピュータ又はそのコンポーネントで（パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む）実行されることができる。

図１４に示すコンピュータシステム（１４００）に使用されるコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置はコンピュータシステム（１４００）の例示的な実施例に示されるコンポーネントのいずれか又はそれらの組み合わせに関する依存性又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（１４００）は、いくつかのヒューマンマシンインタフェース入力デバイスを含み得る。このようなヒューマンマシンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（未図示）による１つ又は複数の人間のユーザの入力に応答してもよい。ヒューマンマシンインタフェースデバイスは、例えば、オーディオ（例えば、音声、音楽、環境音）、ピクチャ（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、動画（例えば、２サイズ動画、ステレオ動画を含む３サイズ動画）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

ヒューマンマシンインタフェース入力デバイスには、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（未図示）、ジョイスティック（１４０５）、マイク（１４０６）、スキャナー（１４０７）、カメラ（１４０８）のうちの１つ又は複数（それぞれが１つのみ図示される）を含んでもよい。

コンピュータシステム（１４００）はさらに、いくつかのヒューマンマシンインタフェース出力デバイスを含んでもよい。このようなヒューマンマシンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１つ又は複数の人間のユーザの感覚を刺激することができる。このようなヒューマンマシンインタフェース出力デバイスには、触覚出力デバイス（例えば、タッチパネル（１４１０）、データグローブ（未図示）、又はジョイスティック（１４０５）による触覚フィードバックデバイスであり、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカー（１４０９）、ヘッドフォン（未図示））、視覚出力デバイス（例えば、スクリーン（１４１０）であり、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、例えば、ステレオ画像出力、仮想現実眼鏡（未図示）、ホログラフィックディスプレイとスモークタンク（未図示）により２サイズの視覚出力又は３サイズ以上の出力、及びプリンター（未図示）を出力できる場合がある。

コンピュータシステム（１４００）は、さらに、人間ユーザがアクセス可能な記憶装置及びそれらの関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤを有する又は媒体（１４２１）に類似するＣＤ／ＤＶＤ
ＲＯＭ／ＲＷ（１４２０）の光学媒体、サムドライブ（１４２２）、リムーバブルハードドライブ又はソリッドステートドライブ（１４２３）、例えば、磁気テープやフロッピーディスク（未図示）のようなレガシー磁気媒体、例えば、セキュリティドングル（未図示））のような専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づくデバイスなどを含んでもよい。

当業者はここで開示される主題に関連して使用される「コンピュータ読み取り可能な媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号が含まれていないことを理解すべきである。

コンピュータシステム（１４００）はまた、１つ又は複数の通信ネットワーク（１４５５）へのネットワークインターフェース（１４５４）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、さらに、ローカル、広域、メトロポリタン、車両及び工業、リアルタイム、遅延耐性などであり得る。ネットワークの例には、例えば、イーサネットのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどのセルラーネットワーク、ケーブルテレビ、衛星ＴＶ、及び地上放送ＴＶを含む有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び工業ネットワークなどを含む。
特定のネットワークは、通常、特定の汎用データポート又はペリフェラルバス（１４４９）の外部ネットワークインターフェイスアダプタ（例えば、コンピュータシステム（１４００）のＵＳＢポート）に接続された必要がある。
他のネットワークは、通常、以下に説明するようにシステムバスに接続することによってコンピュータシステム（１４００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。コンピュータシステム（１４００）はこれらのネットワークのいずれかを使用して、他のエンティティと通信できる。このような通信は、単方向、受信のみ（例えば、テレビ放送）、単方向の送信のみ（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）、又は双方向、例えば、ローカル又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムまでである。上記のようにこれらのネットワークとネットワークインターフェイスのそれぞれで特定のプロトコルとプロトコルスタックを使用できる。

以上で言及されたヒューマンマシンインタフェースデバイス、ヒューマンアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１４００）のコア（１４４０）に取り付けることができる。

コア（１４４０）には、１つ又は複数の中央処理装置（ＣＰＵ）（１４４１）、グラフィックス処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１４４３）の形の専用なプログラマブル処理ユニット、特定のタスクに使用されるハードウェアアクセラレータ（１４４４）などを含んでもよい。これらのデバイス、読み取り専用メモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（ＲＡＭ）（１４４６）、例えばユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量ストレージ（１４４７）はシステムバス（１４４８）を介して接続されてもよい。一部のコンピュータシステムにおいて、システムバス（１４４８）に１つ又は複数の物理プラグの形でアクセスして、追加のＣＰＵ、ＧＰＵなどにより拡張を実現することができる。周辺機器は、コアのシステムバス（１４４８）に直接的、又は周辺バス（１４４９）を介して接続することができる。例において、ディスプレイ（１４１０）はグラフィックスアダプタ（１４５０）に接続することもできる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、及びアクセラレータ（１４４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行してもよい。当該コンピュータコードは、ＲＯＭ（１４４５）又はＲＡＭ（１４４６）に記憶されてもよい。一時的なデータもＲＡＭ（１４４６）に記憶されてもよく、永続的なデータは、例えば内部大容量記憶装置（１４４７）に記憶されてもよい。バッファメモリにより、記憶装置のうちのいずれかへの高速ストレージと検索を実現することができ、当該バッファメモリは、１つ又は複数のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量記憶装置（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）などと密接に関連することができる。

コンピュータ読み取り可能な媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードをその上に有してもよい。媒体とコンピュータコードとは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又はそれらは、コンピュータソフトウェアの当業者によって知られ且つ利用可能なタイプのものであってもよい。

例として限定ではなく、アーキテクチャを有するコンピュータシステム（１４００）、特にコア（１４４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に実施されるソフトウェアを実行する結果として提供される機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、以上に前記したユーザがアクセス可能な大容量記憶装置、及びコア（１４４０）のいくつかの非一時的な性質を有するストレージ例えばコア内部大容量記憶装置（１４４７）又はＲＯＭ（１４４５）に関連する媒体であってもよい。本開示の様々な実施形態を実現するソフトウェアはこのようなデバイスに記憶され、コア（１４４０）によって実行されてもよい。特定のニーズに応じて、コンピュータ読み取り可能な媒体には１つ又は複数のメモリ又はチップが含まれてもよい。ソフトウェアは、コア（１４４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させ、ソフトウェアによって定義されたプロセスによりＲＡＭ（１４４６）に記憶されるデータ構造を定義し、このようなデータ構造を修正してすることを含む。さらに又は代わりとして、コンピュータシステムは、ロジックハードワイヤードによって提供される、又は、他の方式で回路（例えば、アクセラレータ（１４４４）に具現化される機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに運行することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行できる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。コンピュータ読み取り可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを格納する回路（例えば、集積回路（ＩＣ）など）、実行のための論理を実施する回路、又はその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。
付録Ａ：頭字語
ＪＥＭ：共同探索モデル
ＶＶＣ：多用途動画符号化
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率動画符号化
ＳＥＩ：補助拡張情報
ＶＵＩ：動画利用性情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：ディジタル動画ディスク
ＲＯＭ：リードオンリメモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブル論理デバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：移動通信用グローバルシステム
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワーク・バス
ＵＳＢ：ユニバーサルシリアル・バス
ＰＣＩ：ペリフェラルコンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＳＳＤ：ソリッドステートデバイス
ＩＣ：集積回路
ＣＵ：符号化ユニット
ＱＴ: 四分木
ＢＴ: 二分木
ＴＴ: 三分木
ＭＴＴ: マルチタイプツリー
ＳＰＳ: シーケンスパラメータセット
ＰＰＳ: ピクチャパラメータセット

この開示は、いくつかの例示的な実施例を説明したが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の原理を具現化し、従って本開示の精神及び範囲内にある多数のシステム及び方法を当業者が考案できることが認識される。

Claims (12)

1. デコーダにおいて動画復号化を行うための方法であって、
   符号化された動画ビットストリームから現在のピクチャにおける現在の符号化ツリーブロック（ＣＴＢ）の符号化情報を復号化するステップであって、前記符号化情報は、前記現在のＣＴＢの現在のブロック分割構造が参照区分情報に基づいているかどうかを示すステップと、
   前記現在のＣＴＢの現在のブロック分割構造が前記参照区分情報に基づいていることに応答して、前記参照区分情報により示された初期ブロック分割構造に基づいて、前記現在のＣＴＢの現在のブロック分割構造を決定し、前記現在のブロック分割構造に応じて前記現在のＣＴＢを区分するステップとを含み、
   前記初期ブロック分割構造は
   （ｉ）復号化順序で前記現在のＣＴＢに先行して復号化された以前に復号化されたＣＴＢに属し、又は、
   （ｉｉ）ＣＴＢレベルよりも高いレベルの高レベルヘッダによって示される、方法。
2. 前記以前に復号化されたＣＴＢは、前記現在のＣＴＢの空間的に隣接するＣＴＢであり、前記初期ブロック分割構造は前記現在のＣＴＢの空間的に隣接するＣＴＢに属する請求項１に記載の方法。
3. 前記以前に復号化されたＣＴＢの初期ブロック分割構造が、履歴ベースのバッファに記憶される請求項１又は２に記載の方法。
4. 前記以前に復号化されたＣＴＢは、前記現在のＣＴＢの時間的に隣接するＣＴＢであり、前記初期ブロック分割構造は、前記現在のＣＴＢの時間的に隣接するＣＴＢに属する請求項１に記載の方法。
5. 前記初期ブロック分割構造は、前記高レベルヘッダに含まれる複数のブロック分割構造の一つであり、
   前記初期ブロック分割構造は、前記高レベルヘッダに含まれるインデックスによって示される請求項１～４のいずれか１項に記載の方法。
6. 前記現在のブロック分割構造を決定するステップは、
   前記参照区分情報により示される初期ブロック分割構造に基づいて、参照ブロック分割構造を決定するステップと、
   前記参照ブロック分割構造に基づいて、前記現在のブロック分割構造を決定するステップをさらに含む請求項１～５のいずれか１項に記載の方法。
7. 前記参照ブロック分割構造を決定するステップは、
   前記初期ブロック分割構造を修正して、前記参照ブロック分割構造を取得するステップをさらに含む請求項６に記載の方法。
8. 前記符号化情報には、前記参照ブロック分割構造を修正して前記現在のＣＴＢの現在のブロック分割構造を取得するかどうかを示すフラグが含まれ、
   前記方法は、前記フラグに基づいて、前記参照ブロック分割構造を修正して前記現在のＣＴＢの現在のブロック分割構造を取得するかどうかを決定するステップをさらに含む請求項６又は７に記載の方法。
9. 前記現在のＣＴＢの現在のブロック分割構造は、前記参照ブロック分割構造である請求項６～８のいずれか１項に記載の方法。
10. 前記現在のＣＴＢの現在のブロック分割構造を決定するステップは、
    前記参照ブロック分割構造を修正して前記現在のＣＴＢの現在のブロック分割構造を取得するステップをさらに含む請求項６～９のいずれか１項に記載の方法。
11. 動画復号化を行うための装置であって、請求項１～１０の何れかに記載の方法を実行する、動画復号化を行うための装置。
12. コンピュータプログラムであって、前記コンピュータプログラムは、少なくとも１つのプロセッサーによって実行されると、請求項１～１０の何れかに記載の方法を実行させる、コンピュータプログラム。
    

Images