JP2022515031A - ビデオコーディングのための方法、機器及びコンピュータ・プログラム - Google Patents

Abstract

本出願はビデオコーディングのための方法及び機器を開示している。本開示内容の各態様は、ビデオコーディングのための方法及び機器を提供する。当該機器は処理回路システムを含み、当該処理回路システムはコーディングされたビデオビットストリームから、現在ブロック（ＣＢ）のコーディング情報に対してデコーディングを行う。コーディング情報は、ＣＢの複数の制御ポイント動きベクトル（ＭＶ）に基づくアフィンパラメータを含む、サブブロックに基づくアフィン動きモデルを利用してＣＢに対してコーディングを行うように指示する。処理回路システムはコーディング情報に基づき、対応するサブブロックＭＶに基づきＣＢのアフィンサブブロックにおけるサンプルに対する予測を生成するためのサブブロック特性を選択するかどうかを決定する。サブブロック特性の選択に応じて、処理回路システムはアフィンパラメータのうちの少なくとも１つに基づき、サブブロック特性を決定する。サブブロック特性は、（ｉ）サンプルに対する予測を生成するためのサブブロックサイズ、及び（ｉｉ）アフィンサブブロックのための補間フィルタタイプのうちの１つを指示する。

Description

（関連出願の交差援用）
本出願は、２０２０年６月１日にて提出され、名称が「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」である米国特許出願第１６／８８９．７２４号に基づく優先権を主張しており、当該米国特許出願は２０１９年６月４日にて提出され、名称が「Ｃｏｎｄｉｔｉｏｎａｌ Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ａｎｄ Ｒｅｆｉｎｅｍｅｎｔ」である米国仮出願第６２／８５７．１６６号、及び２０１９年６月２８日にて提出され、名称が「Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ Ｃａｌｃｕｌａｔｉｏｎ ａｎｄ Ｃｏｎｄｉｔｉｏｎａｌ Ａｆｆｉｎｅ Ｍｏｄｅｌ Ｃｏｍｐｅｎｓａｔｉｏｎ」である米国仮出願第６２／８６８．４８８号に基づく優先権を主張している。その先行出願の全ての開示内容は、本明細書に援用される。

本開示内容は、一般的にビデオコーディングに関する実施形態を記載する。

本明細書に提供される背景記載は、本開示内容のコンテキストを総体的に表現するためのものである。この背景技術部分に記載されるワークについて、現在、署名している発明者のワーク、及び提出の際、別の方式で従来技術とすることができない明細書の各態様は、明示的にも、暗示的にも、本開示に対する従来技術として認められるものではない。

動き補償を有するピクチャ間予測を利用して、ビデオコーディング及びデコーディングを実行する。未圧縮のデジタルビデオは一連のピクチャを有し、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連する色度サンプルである空間次元を有する。前記一連のピクチャは、例えば６０枚ピクチャまたは６０Ｈｚ／秒の固定または可変のピクチャレート（非公式にフレームレートとも呼ばれる）を有してもよい。未圧縮のビデオは高いビットレートの要求を有する。例えば、１サンプル８ビットの１０８０ｐ６０ ４:２:０ビデオ（６０ Ｈｚのフレームレートで、１９２０×１０８０の輝度サンプルの解像度）は、約１.５ Ｇｂｉｔ／ｓの帯域幅を必要とする。このような１時間のビデオは、６００ ＧＢを超える記憶空間を必要とする。

ビデオコーディング及びデコーディングは、圧縮を介してビデオ入力信号における冗長を減少させることを１つの目的とする。圧縮は、前記帯域幅または記憶空間に対する要件を減少させ、ある状況で、２つまたはより多いオーダーを減少させる。可逆圧縮、非可逆圧縮、及びこれらの組み合わせを採用できる。可逆圧縮は、圧縮された初期信号に基づき、初期信号の正確なコピーを再構築する技術を指す。非可逆圧縮を利用する場合、再構築された信号は初期信号と異なる可能性があり、初期信号と再構築された信号との間の歪は十分に小さいので、再構築された信号は予期のアプリケーションに役立つ。ビデオの場合、非可逆圧縮は広く使用されている。許容歪量はアプリケーションに依存し、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザより、高い歪を許容する。達成できる圧縮比は、許可／許容可能な歪が高いほど、生じる圧縮比が高くなることを反映する。

動き補償は、非可逆圧縮技術であるとともに、以下の技術に関して、即ち、動きベクトル（以下はＭＶと呼ばれる）が指示する方向で、空間オフセットを行った後、前に再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックは、新たに再構築されたピクチャまたはピクチャ部分を予測するために用いられる。ある状況で、参照ピクチャは現在再構築中のピクチャと同様であってもよい。ＭＶはＸとＹという２つの次元を有してもよいし、３つの次元を有してもよく、第３次元は利用中の参照ピクチャを示す（第３次元は間接的に時間次元であってもよい）。

一部のビデオ圧縮技術において、他のＭＶに基づき、サンプルデータのある領域に適用されるＭＶを予測してもよく、例えば、空間で再構築された領域に隣接するサンプルデータの他の領域に関するとともに、デコーディングの順序で該ＭＶより前にあるＭＶに基づく。このように、ＭＶに対するコーディングに必要なデータ量を大幅に減少させ、冗長を減らし、圧縮を大きくする。ＭＶの予測は効果的に動作し、例えば、カメラから導出されたビデオ入力信号（ナチュラルビデオと呼ばれる）に対してコーディングを行う際、単一ＭＶが適用する領域より大きい領域が、類似の方向で移動する可能性が統計的に存在するため、場合によっては、隣接領域のＭＶに基づき導出された類似の動きベクトルによって予測できる。これによって、特定領域に対して検出したＭＶが、周辺ＭＶに基づき予測したＭＶと類似または同様であり、エントロピーコーディングの後、ＭＶに対して直接的にコーディングを行う場合に使用されるビットより、小さいビットで示すことができる。ある状況で、ＭＶ予測は初期信号（即ちサンプルストリーム）に基づき導出される信号（即ちＭＶ）の可逆圧縮の例示であってもよい。他の状況で、例えば、若干の周辺ＭＶに基づき予測器を計算する際の丸め誤差により、ＭＶ予測そのものは、非可逆である可能性がある。

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｈ.２６５提案書である「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、２０１６年１２月）において、様々なＭＶ予測メカニズムが記載されている。Ｈ.２６５により提供される多種のＭＶ予測メカニズムにおいて、本明細書は、以下で「空間結合」と呼ばれる技術を記載する。

図１を参照して、現在ブロック（１０１）はサンプルを含み、そのサンプルは、符号器により、動き検索過程期間において、空間でシフトした同じサイズの先行するブロックから予測可能であるように見出される。また、ＭＶに対して直接的にコーディングすることに代わり、１つ又は複数の参照ピクチャに関連するメタデータに基づきＭＶを取得し、例えば、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（それぞれ１０２～１０６に対応する）として示した５つの周囲サンプルのうちの何れか１つのサンプルに関連するＭＶを利用して、（デコーディング順次に従う）最も近い参照ピクチャに関連するメタデータに基づきＭＶを取得する。Ｈ.２６５において、ＭＶ予測は、隣接ブロックも使用している同じ参照ピクチャからの予測器を利用できる。

本開示内容の各態様は、ビデオコーディング／デコーディングのための方法及び機器を提供する。いくつかの例示において、ビデオデコーディングのための機器は処理回路システムを含む。処理回路システムは、コーディングされたビデオビットストリームから、現在ブロック（ＣＢ）のコーディング情報に対してデコーディングを行うように配置される。コーディング情報は、サブブロックに基づくアフィン動きモデルを利用してＣＢに対してコーディングを行うように指示する。サブブロックに基づくアフィン動きモデルは、ＣＢの複数の制御ポイント（ＣＰ）動きベクトル（ＭＶ）（ＣＰＭＶ）に基づくアフィンパラメータを含む。ＣＢはサブブロックＭＶを有するアフィンサブブロックを含む。処理回路システムはコーディング情報に基づき、サブブロックＭＶに基づきアフィンサブブロックにおけるサンプルに対する予測を生成するためのサブブロック特性を選択するかどうかを決定する。サブブロック特性の選択に応じて、処理回路システムはアフィンパラメータのうちの少なくとも１つに基づき、サブブロック特性を決定する。サブブロック特性は、（ｉ）サンプルに対する予測を生成するためのサブブロックサイズ、及び（ｉｉ）アフィンサブブロックのための補間フィルタタイプのうちの少なくとも１つを指示する。処理回路システムは決定されたサブブロック特性に基づき、アフィンサブブロックにおけるサンプルを再構築する。

実施形態において、サブブロックに基づくアフィン動きモデルが、４パラメータアフィン動きモデルに基づく場合、ＣＢは、第１ＣＰＭＶを有する左上ＣＰ、及び第２ＣＰＭＶを有する右上ＣＰを含む。アフィンパラメータは第１アフィンパラメータ及び第２アフィンパラメータを含む。第１アフィンパラメータは、第２ＣＰＭＶと第１ＣＰＭＶとの間の第１ＭＶ差のｘ成分の、ＣＢの幅に対する比率を指示する。第２アフィンパラメータは、第１ＭＶ差のｙ成分の、ＣＢの幅に対する比率を指示する。サブブロックに基づくアフィン動きモデルは６パラメータアフィン動きモデルであると、ＣＢは、第１ＣＰＭＶを有する左上ＣＰ、第２ＣＰＭＶを有する右上ＣＰ、及び第３ＣＰＭＶを有する左下ＣＰを含む。アフィンパラメータは第１アフィンパラメータ、第２アフィンパラメータ、第３アフィンパラメータ及び第４アフィンパラメータを含む。第３アフィンパラメータは第３ＣＰＭＶと第１ＣＰＭＶとの間の第２ＭＶ差のｘ成分の、ＣＢの高さに対する比率を指示する。第４アフィンパラメータは第２ＭＶ差のｙ成分の、ＣＢの高さに対する比率を指示する。

実施形態において、処理回路システムはアフィンパラメータのうちの少なくとも１つ、及び（ｉ）閾値と（ｉｉ）事前定義範囲とのうちの１つに基づき、サブブロック特性を決定する。サブブロックサイズは、アフィンサブブロックのアフィンサブブロックサイズを含む。補間フィルタタイプは、第１長さを有する第１補間フィルタ、又は第２長さを有する第２補間フィルタを含み、第１長さは第２長さより小さい。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。処理回路システムは複数のアフィンパラメータの絶対値が事前定義条件を満たすかどうかを決定し、当該事前定義条件は、（ｉ）絶対値の最大値が閾値より大きいこと、（ｉｉ）絶対値の最大値が閾値の以上であること、（ｉｉｉ）絶対値の最小値が閾値より大きいこと、（ｉｖ）絶対値の最小値が閾値の以上であること、及び（ｖ）絶対値が事前定義範囲外にあることのうちの１つである。絶対値が事前定義条件に満たすことに応じて、処理回路システムはサブブロック特性を、アフィンサブブロックサイズが第１サイズであること、及び補間フィルタタイプは第１補間フィルタであることのうちの１つを指示するように決定する。絶対値が事前定義条件を満たさないことに応じて、処理回路システムはサブブロック特性を、アフィンサブブロックサイズが第２サイズであること、及び補間フィルタタイプが第２補間フィルタであることのうちの１つを指示するように決定し、第２サイズは第１サイズより大きい。

実施形態において、ＣＢは、ＣＢのオプティカルフローに基づく予測精密化（ＰＲＯＦ）における勾配計算のための勾配サブブロックを含む。サブブロックサイズは勾配サブブロックのサイズである。勾配計算は、（ｉ）サブブロックサイズがＣＢのブロックサイズに等しい、ブロックに基づく勾配計算、又は（ｉｉ）サブブロックサイズがブロックサイズより小さい、サブブロックに基づく勾配計算である。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。処理回路システムは、（ｉ）複数のアフィンパラメータの絶対値の最大値、又は最小値、閾値、及び（ｉｉ）絶対値、事前定義範囲のうちの少なくとも１つに基づき、勾配計算がブロックに基づくか、それともサブブロックに基づくかを決定する。

実施形態において、ブロックに基づく勾配計算に対して、処理回路システムは、（ｉ）隣接サンプルを含むサブブロックの対応するサブブロックＭＶを利用して補間を行うこと、（ｉｉ）ＣＢの参照ピクチャにおける最も近い整数サンプル位置に基づきコピーを行うこと、及び（ｉｉｉ）ＣＢにおける最も近いサンプルの予測に基づきコピーを行うことのうちの少なくとも１つで、ＣＢの隣接サンプルをパディングし、ＣＢの隣接サンプルは、ブロックに基づく勾配計算に用いられる。

実施形態において、サブブロックサイズは、アフィンサブブロックの幅、アフィンサブブロックの高さ、ＣＢのＰＲＯＦのためのアフィンＰＲＯＦサブブロックの幅、アフィンＰＲＯＦサブブロックの高さ、ＰＲＯＦの勾配計算のための勾配サブブロックの幅、及び勾配サブブロックの高さのうちの１つである。補間フィルタタイプは、（ｉ）第１長さを有し、水平補間のための第１補間フィルタ、（ｉｉ）第２長さを有し、水平補間のための第２補間フィルタ、（ｉｉｉ）第１長さを有し、垂直補間のための第１補間フィルタ、及び（ｉｖ）第２長さを有し、垂直補間のための第２補間フィルタのうちの１つであり、第２長さは第１長さより大きい。

実施形態において、処理回路システムはアフィンパラメータのうちの少なくとも他の１つに基づき、他の１つのサブブロック特性を決定する。アフィンパラメータのうちの少なくとも他の１つは、アフィンパラメータのうちの少なくとも１つと異なるか又は同様であってもよく、他のサブブロック特性は、前記サブブロック特性と異なってもよい。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。処理回路システムは、（ｉ）閾値、複数のアフィンパラメータの最小値、最大値、最小絶対値、最大絶対値又は平均値、及び（ｉｉ）複数のアフィンパラメータの事前定義範囲、値の範囲のうちの１つに基づき、サブブロック特性を決定する。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。複数のアフィンパラメータの最大絶対値及び閾値に基づきサブブロック特性を決定する。最大絶対値は閾値より大きいこと、及び閾値の以上であることのうちの１つに応じて、処理回路システムはサブブロック特性を決定することで、（ｉ）サブブロックサイズが第１サイズであること、（ｉｉ）補間フィルタタイプが水平補間のための第１補間フィルタであること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための第１補間フィルタであることのうちの１つを指示する。最大絶対値が閾値より小さいこと、及び閾値の以下であることのうちの１つに応じて、処理回路システムはサブブロック特性を決定することで、（ｉ）サブブロックサイズが第２サイズであること、（ｉｉ）補間フィルタタイプが水平補間のための第２補間フィルタであること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための第２補間フィルタであることのうちの１つを指示し、第２サイズは第１サイズより大きい。

本開示内容の各態様は、さらに非一時的なコンピュータ読み取り媒体を提供し、当該非一時的なコンピュータ読み取り媒体は命令を記憶し、前記命令はコンピュータにより実行されることで、ビデオをデコーディングする際、コンピュータに、ビデオデコーディングのためのいずれかの方法を実行させる。

以下の詳しい記載及び図面に基づき、開示するテーマの他の特徴、性質及び各種の利点は明らかになる。

１つの例示における現在ブロック及びその周囲の空間マージ候補の概略図である。

１つの実施形態による通信システム（２００）の簡略化ブロック図の概略図である。

１つの実施形態による通信システム（３００）の簡略化ブロック図の概略図である。

１つの実施形態によるデコーダの簡略化ブロック図の概略図である。

１つの実施形態による符号器の簡略化ブロック図の概略図である。

他の実施形態による符号器のブロック図を示す。

他の実施形態によるデコーダのブロック図を示す。

本開示内容の１つの実施形態によるブロック（８１０Ａ）のアフィン動きモデルを示す。

本開示内容の１つの実施形態によるブロック（８１０Ｂ）のアフィン動きモデルを示す。

本開示内容の１つの実施形態による、サブブロックに基づくアフィン動き補償の例示を示す。

本開示内容の１つの実施形態による、ＣＵ（１００１）のための候補ＣＵの例示を示す。

本開示内容の１つの実施形態による制御ポイント動きベクトル継承の例示を示す。

本開示内容の１つの実施形態による、アフィンマージ候補を構築するための候補位置の例示を示す。

本開示内容の１つの実施形態による、オプティカルフローによる予測精緻化（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ、ＰＲＯＦ）の例示を示す。

本開示内容の１つの実施形態による、ブロックによる勾配計算にＣＢをパディングする例示を示す。

本開示内容の１つの実施形態のプロセス（１４００）を概略説明するフローチャートを示す。

１つの実施形態によるコンピュータシステムの概略図である。

図２は、本開示内容による１つの実施形態の通信システム（２００）の簡略化ブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信できる複数の端末機器を含む。例えば、通信システム（２００）はネットワーク（２５０）を介して互いに接続された第１対の端末機器（２１０）、（２２０）を含む。図２の例示において、第１対の端末機器（２１０）、（２２０）は一方向のデータ伝送を実行する。例えば、端末機器（２１０）は、ビデオデータ（例えば、端末機器（２１０）によりキャプチャされたビデオピクチャストリーム）をコーディングして、ネットワーク（２５０）を介して他方の端末機器（２２０）に伝送する。コーディングされたビデオデータは１つまたは複数のコーディングビデオビットストリームという形式で伝送されてもよい。端末機器（２２０）は、ネットワーク（２５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングすることで、ビデオピクチャを復元させ、復元されたビデオデータに基づきビデオピクチャを表示する。一方向のデータ伝送はメディアサービスアプリケーションなどにおいて、一般的である。

他の実施例において、通信システム（２００）は、コーディングされたビデオデータの双方向伝送を実行するための第２対の端末機器（２３０）、（２４０）を含み、コーディングされたビデオデータの双方向伝送は、例えばビデオ会議期間に発生し得る。双方向データ伝送に対して、例示において、端末機器（２３０）、（２４０）における各端末機器は、ビデオデータ（例えば、端末機器によりキャプチャされたビデオピクチャストリーム）をコーディングすることで、ネットワーク（２５０）を介して端末機器（２３０）、（２４０）のうちの他方の端末機器に伝送できる。端末機器（２３０）、（２４０）のうちの各端末機器はさらに端末機器（２３０）、（２４０）のうちの他方の端末機器から伝送されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングすることでビデオピクチャを復元させ、復元されたビデオデータに基づき、アクセス可能な表示機器でビデオピクチャを表示できる。

図２の例示において、端末機器（２１０）、（２２０）、（２３０）及び（２４０）は、サーバー、パーソナルコンピュータ及びスマートフォンとして示したが、本開示内容の原理はこれに限定されない。本開示内容の実施形態は、ラップトップコンピュータ、タブレット、メディアプレイヤー及び／または専門ビデオ会議機器に適用される。ネットワーク（２５０）は、端末機器（２１０）、（２２０）、（２３０）及び（２４０）の間で、コーディングされたビデオデータを伝送するための、例えばケーブル（有線）及び／または無線通信ネットワークを含むいずれの数のネットワークを示す。通信ネットワーク（２５０）は、回路交換及び／またはパケット交換チャネルにおいてデータを交換できる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域エリアネットワーク及び／またはインターネットを含む。本論述の目的から見れば、本明細書において別途に説明しなければ、ネットワーク（２５０）のアーキテクチャ及びトポロジは、本開示内容の動作に対して重要ではない。

開示テーマの応用例示として、図３は、ビデオ符号器とビデオデコーダとのストリーミング環境における配置を示す。開示テーマは例えばビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタル媒体に圧縮ビデオなどを記憶するなどビデオ対応他のアプリケーションに同様に適用される。

ストリーミングシステムは、キャプチャサブシステム（３１３）を含んでもよく、当該キャプチャサブシステム（３１３）は、例えば未圧縮のビデオピクチャストリーム（３０２）を構築するための、デジタルカメラ装置のビデオソース（３０１）を含む。例示において、ビデオピクチャストリーム（３０２）は、デジタルカメラ装置が撮影したサンプルを含む。コーディングされたビデオデータ（３０４）（またはコーディングされたビデオビットストリーム）と比較すると、データ量が多いことを強調する太線として描画されるビデオピクチャストリーム（３０２）は電子機器（３２０）によって処理され、電子機器（３２０）は、ビデオソース（３０１）に連結されるビデオ符号器（３０３）を含む。ビデオ符号器（３０３）はハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせを含むことで、以下で詳しく記載する開示のテーマの各態様を実現または実施する。ビデオピクチャストリーム（３０２）と比較すると、データ量が少ないことを強調する細線として描画されるコーディングされたビデオデータ（３０４）（またはコーディングされたビデオビットストリーム（３０４））は、ストリーミングサーバー（３０５）に記憶され、今後用いられる。１つまたは複数のストリーミングクライアントサブシステム、例えば、図３におけるクライアントサブシステム（３０６）、（３０８）は、ストリーミングサーバー（３０５）にアクセスすることで、コーディングされたビデオデータ（３０４）のコピー（３０７）、（３０９）を検索できる。クライアントサブシステム（３０６）は、例えば電子機器（３３０）におけるビデオデコーダ（３１０）を含んでもよい。ビデオデコーダ（３１０）は、コーディングされたビデオデータの導入コピー（３０７）をデコーディングし、ディスプレイ（３１２）（例えば、ディスプレイスクリーン）または他の表示機器（図示せず）に表示できる導出ビデオピクチャストリーム（３１１）を構築する。特定のストリーミングシステムにおいて、特定のビデオコーディング／圧縮規格に基づき、コーディングされたビデオデータ（３０４）、ビデオデータ（３０７）及びビデオデータ（３０９）（例えば、ビデオビットストリーム）をコーディングすることができる。これらの規格の例示はＩＴＵ－Ｔ Ｈ.２６５提案書を含む。例示において、開発中のビデオコーディング規格は、非公式に多機能ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）と呼ばれる。開示テーマはＶＶＣの背景に適用される。

なお、電子機器（３２０）と電子機器（３３０）とは他の部材（図示せず）を含んでもよい。例えば、電子機器（３２０）はビデオデコーダ（図示せず）を含んでもよく、電子機器（３３０）はビデオ符号器（図示せず）を含んでもよい。

図４は、本開示内容による実施形態のビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は電子機器（４３０）に含まれてもよい。電子機器（４３０）は受信器（４３１）（例えば、受信回路システム）を含んでもよい。図３の例示におけるビデオデコーダ（３１０）の代わりとしてビデオデコーダ（４１０）を使用してもよい。

受信器（４３１）は、ビデオデコーダ（４１０）のデコーディング対象となる１つまたは複数のコーディングされたビデオシーケンスを受信し、同一の実施形態または他の実施形態において、１回に１つのコーディングされたビデオシーケンスを受信し、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスと独立する。チャンネル（４０１）からコーディングされたビデオシーケンスを受信し、チャンネル（４０１）は、コーディングされたビデオデータを記憶するための記憶装置に達するハードウェア／ソフトウェアリンクであってもよい。受信器（４３１）は、コーディングされたオーディオデータ及び／または補助データストリームのような、コーディングされたビデオデータ及び他のデータを受信し、これらはそれぞれの利用エンティティ（図示せず）に転送され得る。受信器（４３１）は、コーディングされたビデオシーケンスと他のデータとを分離できる。ネットワークのジッタを防止するために、バッファメモリ（４１５）は受信器（４３１）とエントロピーデコーダ／パーサー（４２０）（以下「パーサー（４２０）」と呼ばれる）との間に連結される。特定のアプリケーションにおいて、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。また、バッファメモリ（４１５）はビデオデコーダ（４１０）の外部にあってもよい（図示せず）。ビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）が存在することで、例えばネットワークのジッタを防止し、また、ビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が存在することで、例えば、再生タイミングを処理する。受信器（４３１）は十分な帯域幅及び制御可能性を有する記憶／転送装置、または等時性リアルタイムネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）からデータを受信する場合、バッファメモリ（４１５）を必要とせず、またはバッファメモリ（４１５）が小さい可能性がある。インターネットのようなベストエフォートパケットネットワークで使用するために、バッファメモリ（４１５）を必要とするかもしれなく、バッファメモリ（４１５）は相対的に大きく、有利に自己適応のサイズを有して、少なくとも一部がオペレーティングシステムまたはビデオデコーダ（４１０）の外部の類似素子（図示せず）で実現される。

ビデオデコーダ（４１０）は、パーサー（４２０）を含むことで、コーディングされたビデオシーケンスに基づきシンボル（４２１）を再構築する。図４に示すように、これらのシンボルカテゴリには、ビデオデコーダ（４１０）の動作を管理するための情報、及び表示機器（４１２）（例えば、ディスプレイスクリーン）のような表示機器を制御するための潜在情報が含まれ、表示機器は電子機器（４３０）の構成部分ではないが、電子機器（４３０）に連結されてもよい。（１つまたは複数）表示機器に用いられる制御情報は、補助強化情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩメッセージ）またはビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）のパラメータセットセグメント（図示せず）という形式を採用してもよい。パーサー（４２０）は、受信したコーディングされたビデオシーケンスに対して解析／エントロピーデコーディングを行うことができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に基づくとともに、様々な原理に従って行うことができ、可変長コーディング、ハフマンコーディング（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、コンテキスト感度を有するかまたは有しない算術コーディングなどを含む。パーサー（４２０）は、グループに対応する少なくとも１つのパラメータに基づき、コーディングされたビデオシーケンスからビデオデコーダの画素のサブグループのうちの少なくとも１つのサブグループのためのサブグループパラメータセットを抽出する。サブグループはピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサー（４２０）は、さらにコーディングされたビデオシーケンスから、例えば変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。

パーサー（４２０）は、バッファメモリ（４１５）から受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を実行することで、シンボル（４２１）を構築し得る。

コーディングされたビデオピクチャまたはその一部のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因に基づき、シンボル（４２１）の再構築は、複数の異なるユニットが関与してもよい。どのユニットが関与するか、及びその関与方式は、パーサー（４２０）がコーディングされたビデオシーケンスから解析したサブグループの制御情報によって制御される。簡潔のために、パーサー（４２０）と以下の複数のユニットとの間にある、このようなサブグループ制御情報ストリームを記載しない。

既に言及した機能ブロック以外、ビデオデコーダ（４１０）は概念で以下に記載の複数の機能ユニットに細分される。商業制約で動作する実際の実現において、これらのユニットにおける複数のユニットは互いに密接に作用するとともに、少なくとも部分的に互いに集積されてもよい。ただし、開示テーマを記載するという目的から見れば、概念的に以下の機能ユニットに細分することは適切である。

第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）はパーサー（４２０）から（１つまたは複数）シンボル（４２１）としての量子化変換係数及び制御情報を受信し、どんな変換を利用するか、ブロックのサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（４５１）はサンプル値を含むブロックを出力でき、サンプル値を含むブロックはアグリゲーター（４５５）に入力される。

場合によっては、スケーラ／逆変換ユニット（４５１）の出力サンプルはイントラコーディングブロックに属する可能性があり、即ち、前に再構築されたピクチャからの予測性情報を利用しないが、現在ピクチャの前に再構築された部分からの予測性情報のブロックを利用できる。このような予測性情報はイントラピクチャ予測ユニット（４５２）から提供される。場合によっては、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）から取得した、周辺が構築された情報を利用して、サイズ及び形状が、再構築中のブロックと同様であるブロックを生成する。例えば、現在ピクチャバッファ（４５８）は部分的に再構築された現在ピクチャ及び／または完全に再構築された現在ピクチャをバッファリングする。場合によっては、アグリゲーター（４５５）は各サンプルに基づき、イントラ予測ユニット（４５２）から生成された予測情報をスケーラ／逆変換ユニット（４５１）により提供された出力サンプル情報に追加する。

他の場合、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インターコーディングされ且つ潜在的に動き補償されたブロックに属する。このような場合、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスすることで、予測のためのサンプルを取得することができる。ブロックに関するシンボル（４２１）に基づき、取得されたサンプルに対して動き補償を行った後、これらのサンプルはアグリゲーター（４５５）からスケーラ／逆変換ユニット（４５１）の出力（このような場合、残差サンプルまたは残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成する。動き補償予測ユニット（４５３）が予測サンプルを取得する参照ピクチャメモリ（４５７）内のアドレスは、動きベクトルによって制御され、動きベクトルはシンボル（４２１）という形式で、動き補償予測ユニット（４５３）に用いられ、シンボル（４２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプル正確動きベクトルを使用する際、参照ピクチャメモリ（４５７）から取得されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲーター（４５５）の出力サンプルは、ループフィルタユニット（４５６）において各種のループフィルタリング技術の対象となる可能性がある。ビデオ圧縮技術はループ内フィルタ技術を含んでもよく、ループ内フィルタ技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるとともに、パーサー（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に適用されるパラメータによって制御されるが、ビデオ圧縮技術はさらに、コーディングされたピクチャまたはコーディングされたビデオシーケンスの前の（デコーディングの順序に従う）部分に対してデコーディングを行う期間に取得された元の情報、及び前に再構築され、ループフィルタリングを経たサンプル値に応答することもできる。

ループフィルタユニット（４５６）の出力は、サンプルストリームであってもよく、サンプルストリームは表示機器（４１２）に出力され、参照ピクチャメモリ（４５７）に記憶されることで、今後のインターピクチャ予測に用いられる。

特定のコーディングされたピクチャは、完全に再構築されると、将来の予測のための参照ピクチャとして利用できる。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構築され、コーディングされたピクチャ（例えばパーサー（４２０）を介して）が参照ピクチャとして認識された場合、現在ピクチャバッファ（４５８）は参照ピクチャメモリ（４５７）の一部になり、後続のコーディングされたピクチャを再構築する前に、新たな現在ピクチャバッファを改めて割り当てることができる。

ビデオデコーダ（４１０）は、例えばＩＴＵ－Ｔ Ｈ.２６５提案書の所定ビデオ圧縮技術のような規格に基づき、デコーディング動作を実行する。コーディングされたビデオシーケンスがビデオ圧縮技術または標準のシンタックス、及びビデオ圧縮技術または規格に記録されるプロファイル（ｐｒｏｆｉｌｅ）という両者に準拠するという意味で、コーディングされたビデオシーケンスは、使用されるビデオ圧縮技術または規格に指定されるシンタックスに合致する。具体的に、プロファイルは、プロファイルで利用可能な唯一のツールとして、ビデオ圧縮技術または規格における利用可能な全てのツールから、いくつかのツールを選択できる。準拠性に対して、さらに、コーディングされたビデオシーケンスの複雑度が、ビデオ圧縮技術または規格のレベルによって限定される範囲にあるように要求される。場合によっては、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプリングレート（例えば、１秒あたりのメガサンプル数で測定される）、最大参照ピクチャのサイズなどを制限する。場合によっては、レベルにより設定される制限は、仮想参照デコーダ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、ＨＲＤ）の仕様、及びコーディングされたビデオシーケンスにおいてシグナリングされた、ＨＲＤバッファが管理するメタデータによってさらに限定されてもよい。

実施形態において、受信器（４３１）は、追加（冗長）データとコーディングされたビデオを受信できる。追加データは、（１つまたは複数）コーディングされたビデオシーケンスの一部として含まれる。追加データは、データを適切にデコーディングする及び／またはより正確に初期ビデオデータを再構築するように、ビデオデコーダ（４１０）に使用される。追加データは、例えば時間、空間または信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

図５は、本開示内容の実施形態によるビデオ符号器（５０３）のブロック図を示す。ビデオ符号器（５０３）は、電子機器（５２０）に含まれる。電子機器（５２０）は伝送器（５４０）（例えば、伝送回路システム）を含む。ビデオ符号器（５０３）は、図３の例示におけるビデオ符号器（３０３）の代わりとすることができる。

ビデオ符号器（５０３）は、ビデオソース（５０１）（図５例示における電子機器（５２０）の一部ではない）からビデオサンプルを受信でき、ビデオソース（５０１）はビデオ符号器（５０３）のコーディング対象となる（１つまたは複数）ビデオ画像をキャプチャし得る。他の例示において、ビデオソース（５０１）は、電子機器（５２０）の一部である。

ビデオソース（５０１）は、ビデオ符号器（５０３）のコーディング対象となる、デジタルビデオサンプルストリームという形式であるソースビデオシーケンスを提供でき、デジタルビデオサンプルストリームは、いずれかの適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、いずれかの色空間（例えば、ＢＴ.６０１ Ｙ ＣｒＣＢ、ＲＧＢ……）、及びいずれかの適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（５０１）は、事前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース（５０１）は、ビデオシーケンスとして、ロカール画像情報をキャプチャするためのカメラであってもよい。ビデオデータは、順序に従って見られる際、動きが付与される複数の単独のピクチャとして提供されてもよい。ピクチャ自体は、空間画素アレイとして編成することができ、使用のサンプリング構成、色空間などに基づき、各画素は１つまたは複数のサンプルを含んでもよい。画素とサンプルとの間の関係は、当業者にとって、容易に理解できる。以下の記載はサンプルに着目する。

実施形態によれば、ビデオ符号器（５０３）は、リアルタイムまたはアプリケーションに必要とされる他の任意の時間の制約で、ソースビデオシーケンスのピクチャをコーディングするとともに、コーディングされたビデオシーケンス（５４３）に圧縮する。適切的なコーディング速度で実行することは、コントローラ（５５０）の機能の１つである。特定の実施形態において、コントローラ（５５０）は以下に記載の他の機能ユニットを制御し、機能的にこれらの他のユニットに連結される。簡潔のために、連結を示していない。コントローラ（５５０）により配置されるパラメータは、レート制御に関するパラメータ（ピクチャスキップ、量子化器、レート歪最適化技術のλ値など）、ピクチャのサイズ、ピクチャグループ（ＧＯＰ）の配置、最大動きベクトルの検索範囲などを含んでもよい。コントローラ（５５０）は、他の適切な機能を有するように配置され、他の適切な機能は、特定のシステム設計に対して最適化されたビデオ符号器（５０３）に関する。

特定の実施例において、ビデオ符号器（５０３）は、コーディングループにおいて動作するように配置される。非常に簡単な記載として、例示において、コーディングループはソース符号器（５３０）（例えば、コーディング対象となる入力ピクチャ、（１つまたは複数）参照ピクチャに基づき、シンボル、例えばシンボルストリームを構築する）、及びビデオ符号器（５０３）に埋め込まれる（ロカール）デコーダ（５３３）を含む。デコーダ（５３３）は、（リモート）デコーダがサンプルデータを構築することに類似する方式で、シンボルを再構築し、サンプルデータを構築する（なぜならば、開示テーマで考慮されるビデオ圧縮技術において、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮は可逆であるからである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（５３４）に入力される。シンボルストリームのデコーディングは、デコーダ位置（ロカールまたはリモート）と独立するビット正確な（ｂｉｔ－ｅｘａｃｔ）結果を発生させるので、参照ピクチャメモリ（５３４）におけるコンテンツは、ロカール符号器とリモート符号器との間でもビット正確である。言い換えれば、符号器の予測部分から「見る」参照ピクチャサンプルは、デコーダがデコーディング期間で予測を利用する際に「見る」サンプル値と完全に同様である。このような参照ピクチャの同期性の基本原理（及び、例えばチャンネル誤差のため、同期性を維持できない場合に発生するドリフト）は特定の関連領域にも適用される。

「ロカール」デコーダ（５３３）の動作は、以上、図４を結合して詳しく記載した「リモート」デコーダ、例えばビデオデコーダ（４１０）と同様である。ただし、図４を簡単に参照し、シンボルは利用可能で、且つエントロピー符号器（５４５）とパーサー（４２０）とがロスレスにシンボルをコーディングビデオシーケンスにコーディング／デコーディングすることができる場合、バッファメモリ（４１５）とパーサー（４２０）とを含むビデオデコーダ（４１０）のエントロピーデコーディング部分は、ロカールのデコーダ（５３３）において完全に実現できない可能性がある。

この場合、デコーダに存在する解析／エントロピーデコーディング以外の任意のデコーダ技術も、必然として、基本的に同じ機能形式で、対応する符号器に存在することを観察できる。そのため、開示テーマは、デコーダ動作に集中する。符号器技術と全面的に記載したデコーダ技術とは反対するから、符号器技術に対する記載を簡略化し得る。特定の領域のみにおいてより詳しい記載を必要とし、以下はより詳しい記載を提供する。

動作期間において、特定の例示において、ソース符号器（５３０）は、動き補償の予測コーディングを実行でき、動き補償の予測コーディングはビデオシーケンスからの、「参照ピクチャ」として指定される１つまたは複数の前のコーディングされたピクチャを参照し、入力ピクチャに対して予測性コーディングを行う。当該方式で、コーディングエンジン（５３２）は、入力ピクチャの画素ブロックと、（１つまたは複数）参照ピクチャの画素ブロックとの間の差に対してコーディングを行って、（１つまたは複数）参照ピクチャは、入力ピクチャの（１つまたは複数）予測参照として選択される。

ロカールビデオデコーダ（５３３）は、ソース符号器（５３０）から構築されるシンボルに基づき、参照ピクチャとして指定されるピクチャのコーディングされたビデオデータに対してデコーディングを行う。コーディングエンジン（５３２）の動作は、非可逆処理であってもよい。コーディングされたビデオデータはビデオデコーダ（図５において図示せず）でデコーディングされる場合、再構築されたビデオシーケンスは、一般的にある程度誤差を有するソースビデオシーケンスのコピーであってもよい。ロカールビデオデコーダ（５３３）は、ビデオデコーダが参照ピクチャに対して実行するデコーディング処理をコピーし、デコーディング処理は再構築された参照ピクチャを参照ピクチャキャッシュ（５３４）に記憶させる。当該方式で、ビデオ符号器（５０３）は再構築された参照ピクチャのコピーをロカールに記憶し、コピーは、リモートビデオデコーダから取得される再構築の参照ピクチャと共通のコンテンツを有する（伝送誤差が存在しない）。

予測器（５３５）は、コーディングエンジン（５３２）に対して予測検索を実行できる。即ち、コーディング対象となる新たなピクチャに対して、予測器（５３５）は参照ピクチャメモリ（５３４）から、新たなピクチャの適切な予測参照としてのサンプルデータ（候補参照画素ブロックとする）、またはいくつかのメタデータを検索し、例えば、参照ピクチャ動きベクトル、ブロック形状などがある。予測器（５３５）は、サンプルブロックごとの画素ブロック（ｓａｍｐｌｅ ｂｌｏｃｋ－ｂｙ－ｐｉｘｅｌ ｂｌｏｃｋ）に基づき動作することで、適切な予測参照を見つける。場合によっては、予測器（５３５）により取得された検索結果によって決定されるように、入力ピクチャは参照ピクチャメモリ（５３４）に記憶される複数の参照ピクチャから取得された予測参照を具備できる。

コントローラ（５５０）は、ソース符号器（５３０）のコーディング動作を管理でき、例えば、ビデオデータをコーディングするためのパラメータとサブグループパラメータを配置する。

エントロピー符号器（５４５）において、全ての機能ユニットの出力に対してエントロピーコーディングを行う。エントロピー符号器（５４５）は、例えばハフマンコーディング、可変長コーディング、算術コーディングなどの技術に基づき、シンボルに対して可逆圧縮を行って、各種機能ユニットから生成されたシンボルをコーディングされたビデオシーケンスに変換する。

伝送器（５４０）は、通信チャンネル（５６０）を介する伝送を準備するように、エントロピー符号器（５４５）により構築される（１つまたは複数）コーディングされたビデオシーケンスをバッファリングし、通信チャンネル（５６０）はコーディングされたビデオデータを記憶するための記憶装置に達するハードウェア／ソフトウェアリンクであってもよい。伝送器（５４０）は、ビデオ符号器（５０３）からのコーディングされたビデオデータと伝送対象となる例えばコーディングされたオーディオデータ及び／または補助データストリーム（ソースを図示せず）のような他のデータとをマージする。

コントローラ（５５０）は、ビデオ符号器（５０３）の動作を管理できる。コーディングの期間に、コントローラ（５５０）は、各コーディングされたピクチャに、特定のコーディングされたピクチャタイプを割り当てることができ、これはそれぞれのピクチャに適用されるコーディング技術に影響を及ぼし得る。例えば、一般的に、ピクチャは以下のピクチャタイプのうちの１つとして割り当てられる。

イントラピクチャ（Ｉピクチャ）であって、予測のソースとしてシーケンス内の他の画像を使用せずにコード化およびデコードされ得るものであってもよい。一部のビデオコーデックは、例えば独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを使用できる。当業者は、Ｉピクチャの変体、その対応する応用及び特徴を知っている。

予測性ピクチャ（Ｐピクチャ）であって、イントラ予測またはインター予測を利用して、コーディング及びデコーディングを行うピクチャであってもよく、イントラ予測またはインター予測は最大１つの動きベクトル及び参照インデックスを利用して各ブロックのサンプル値を予測する。

双方向予測性ピクチャ（Ｂピクチャ）であって、イントラ予測またはインター予測を利用して、コーディング及びデコーディングを行うピクチャであってもよく、イントラ予測またはインター予測は最大２つの動きベクトル及び参照インデックスを利用して各ブロックのサンプル値を予測する。類似するように、複数の予測性ピクチャは、２つを超える参照ピクチャと関連するメタデータを、単一ブロックの再構築に適用することができる。

ソースピクチャは、一般的に、空間で複数のサンプルブロック（例えば、各ソースピクチャは４×４、８×８、４×８または１６×１６個のサンプルのブロックを有する）に細分されるとともに、ブロックごとにコーディングされる。ブロックに適用される対応するピクチャのコーディング割当によって決定された他の（コーディングされた）ブロックを参照し、これらのブロックに対して予測性コーディングを行う。例えば、Ｉピクチャのブロックに対して非予測コーディングを行うか、または同一ピクチャのコーディングされたブロックを参照し、Ｉピクチャのブロックに対して予測コーディング（空間予測またはイントラ予測）を行ってもよい。１つの先行コーディングされた参照ピクチャを参照し、空間予測または時間予測を介して、Ｐピクチャの画素ブロックに対して、予測性コーディングを行ってもよい。１つまたは２つの先行コーディングされた参照ピクチャを参照し、空間予測または時間予測を介して、Ｂピクチャのブロックに対して、予測性コーディングを行ってもよい。

ビデオ符号器（５０３）は、例えばＩＴＵ－Ｔ Ｈ.２６５提案書の所定ビデオコーディング技術または規格に基づき、コーディング動作を実行し得る。その動作において、ビデオ符号器（５０３）は、入力ビデオシーケンスにおける時間と空間冗長を利用した予測性コーディング動作が含まれる各種の圧縮動作を実行できる。従って、コーディングされたビデオデータは、使用されるビデオコーディング技術または規格が指定するシンタックスに合致する。

実施形態において、伝送器（５４０）は、コーディングされたビデオを伝送するとともに、追加データを伝送することができる。ソース符号器（５３０）は、このようなデータをコーディングされたビデオシーケンスの一部として含ませる。追加データには時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットセグメントなどが含まれる。

ビデオは、時間シーケンスを呈する複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（一般的にイントラ予測に簡略化される）は特定ピクチャにおける空間の関連性を利用し、インターピクチャ予測はピクチャの間の（時間または他）関連性を利用する。例示において、コーディング中／デコーディング中の特定ピクチャはブロックに分割され、コーディング中／デコーディング中の特定ピクチャは現在ピクチャと呼ばれる。現在ピクチャにおけるブロックは、ビデオにおける前にコーディングされ、且つバッファリングされている参照ピクチャにおける参照ブロックに類似する場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックをコーディングすることができる。動きベクトルは参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを利用する場合、参照ピクチャを認識するための第３次元を有してもよい。

特定の実施形態において、双方向予測技術は、インターピクチャ予測に用いられてもよい。双方向予測技術に基づき、２つの参照ピクチャを利用し、例えば、デコーディング順序に従って、いずれもビデオにおける現在ピクチャの前にある（ただし、表示順序に従って、それぞれ過去と将来であるかもしれない）第１参照ピクチャと第２参照ピクチャである。第１参照ピクチャにおける第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャにおける第２参照ブロックを指す第２動きベクトルによって、現在ピクチャにおけるブロックをコーディングする。第１参照ブロックと第２参照ブロックとの組み合わせによってブロックを予測する。

また、マージモード技術は、インターピクチャ予測に用いられ、コーディング効率を向上させる。

本開示内容のいくつかの実施形態によれば、例えばインターピクチャ予測とイントラピクチャ予測の予測とは、ブロックごとに実行される。例えば、ＨＥＶＣ規格に基づき、ビデオピクチャシーケンスにおけるピクチャをコーディングツリーユニット（ＣＴＵ）に分割することで、圧縮に用いて、ピクチャにおけるＣＴＵは、例えば６４×６４画素、３２×３２画素または１６×１６画素のような同じサイズを有する。一般的に、ＣＴＵは１つの輝度ＣＴＢと、２つの色度ＣＴＢとからなる３つのコーディングツリーブブロック（ＣＴＢ）を含む。各ＣＴＵをクワッドツリーで、再帰的に１つまたは複数のコーディングユニット（ＣＵ）に区画する。例えば、６４×６４画素のＣＴＵを１つの６４×６４画素のＣＵ、または４つの３２×３２画素のＣＵ、或いは１６個の１６×１６画素のＣＵに区画してもよい。例示において、各ＣＵを分析することで、インター予測タイプまたはイントラ予測タイプのような、ＣＵのための予測タイプを決定する。時間及び／または空間の予測可能性に基づき、ＣＵを１つまたは複数の予測ユニット（ＰＵ）に区画する。一般的に、各ＰＵは輝度予測ブロック（ＰＢ）と２つの色度ＰＢとを含む。実施形態において、コーディング（コーディング／デコーディング）における予測動作は、予測ブロックごとに実行される。予測ブロックの例示として、輝度予測ブロックを利用して、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。

図６は、本開示内容による他の実施形態のビデオデコーダ（６０３）の図面を示す。ビデオ符号器（６０３）は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信するとともに、処理ブロックをコーディングされたビデオシーケンスの一部としてのコーディングされたピクチャにコーディングするように配置される。例示において、ビデオ符号器（６０３）は、図３の例示におけるビデオ符号器（３０３）の代わりとして用いられる。

ＨＥＶＣ例示において、ビデオ符号器（６０３）は、処理ブロックのサンプル値の行列、例えば８×８サンプルの予測ブロックなどを受信する。ビデオ符号器（６０３）は、例えばレート歪最適化によって、イントラモード、インターモードまたは双方向予測モードを利用して最適に処理ブロックをコーディングするかどうかを決定する。イントラモードで処理ブロックをコーディングしようとすると、ビデオ符号器（６０３）はイントラ予測技術によって、処理ブロックをコーディングされたピクチャにコーディングし、インターモードまたは双方向予測モードで、処理ブロックをコーディングしようとすると、ビデオ符号器（６０３）はインター予測または双方向予測技術によって、処理ブロックをコーディングピクチャにコーディングすることができる。特定のビデオコーディング技術において、マージモードはインターピクチャ予測サブモードであってもよく、インターピクチャ予測サブモードの場合、予測器外部のコーディングされた動きベクトル成分のベネフィットなしに、１つまた複数の動きベクトル予測器から動きベクトルを取得する。いくつかの他のビデオコーディング技術において、本体ブロックに適用される動きベクトル成分が存在し得る。例示において、ビデオ符号器（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）のような、他のユニットを含む。

図６の例示において、ビデオ符号器（６０３）は、図６に示す互いに連結されたインター符号器（６３０）、イントラ符号器（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差符号器（６２４）、汎用コントローラ（６２１）及びエントロピー符号器（６２５）を含む。

インター符号器（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックと参照ピクチャにおける１つまたは複数の参照ブロック（例えば、先行ピクチャと後続ピクチャにおけるブロック）とを比較し、インター予測情報（例えば、インターコーディング技術に基づく冗長情報に対する記載、動きベクトル、マージモード情報）を生成し、及びインター予測情報に基づき何れかの適切な技術を利用してインター予測結果（例えば、予測ブロック）を計算するように配置される。特定の例示において、参照ピクチャはコーディングされたビデオ情報に基づきデコーディングされた、デコーディング参照ピクチャである。

イントラ符号器（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックと同一のピクチャにおけるコーディングされたブロックとを比較し、変換した後、量子化係数を生成する。また、場合によっては、さらに（例えば、１つまたは複数のイントラコーディング技術に基づくイントラ予測方向情報）イントラ予測情報を生成するように配置される。例示において、イントラ符号器（６２２）はさらにイントラ予測情報と同一のピクチャにおける参照ブロックに基づき、イントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づきビデオ符号器（６０３）の他のユニットを制御するように配置される。例示において、汎用コントローラ（６２１）は、ブロックのモードを決定し、当該モードに基づき制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードである場合、汎用コントローラ（６２１）は、残差計算器（６２３）が使用するイントラモード結果を選択するようにスイッチ（６２６）を制御し、イントラ予測情報を選択するように、エントロピー符号器（６２５）を制御するとともに、イントラ予測情報をビットストリームに含ませる。モードがインターモードである場合、汎用コントローラ（６２１）は、残差計算器（６２３）が使用するインター予測結果を選択するように、スイッチ（６２６）を制御し、インター予測情報を選択するように、エントロピー符号器（６２５）を制御するとともに、インター予測情報をビットストリームに含ませる。

残差計算器（６２３）は、受信したブロックとイントラ符号器（６２２）またはインター符号器（６３０）から選択した予測結果との間の差（残差データ）を計算するように配置される。残差符号器（６２４）は、残差データに基づき動作することで、残差データをコーディングすることで変換係数を生成するように配置される。例示において、残差符号器（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように配置される。係数を変換してから、量子化処理を介して、量子化の変換係数を取得する。各実施形態において、ビデオ符号器（６０３）はさらに残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、デコーディングされた残差データを生成するように配置される。デコーディングされた残差データは、イントラ符号器（６２２）とインター符号器（６３０）に適切に利用される。例えば、インター符号器（６３０）は、デコーディングされた残差データとインター予測情報に基づき、デコーディングされたブロックを生成し、且つイントラ符号器（６２２）はデコーディングされた残差データとイントラ予測情報に基づきデコーディングされたブロックを生成できる。デコーディングされたブロックを適切に処理することで、デコーディングされたピクチャを生成し、いくつかの例示において、デコーディングされたピクチャは、メモリ回路（図示せず）においてバッファリングされ、参照ピクチャとして利用される。

エントロピー符号器（６２５）は、ビットストリームをフォーマットすることで、コーディングされたブロックを含むように配置される。エントロピー符号器（６２５）は、ＨＥＶＣ規格のような適切な規格に基づき各種情報を含むように配置される。例示において、エントロピー符号器（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報及びビットストリームにおける他の適切な情報を含むように配置される。なお、開示テーマに基づき、インターモードまたは双方向予測モードのマージサブモードで、ブロックをコーディングする場合、残差情報が存在しない。

図７は、本開示内容の他の実施形態によるビデオデコーダ（７１０）の図面を示す。ビデオデコーダ（７１０）は、コーディングされたビデオシーケンスの一部としてのコーディングされたピクチャを受信するとともに、コーディングされたピクチャをデコーディングすることで、再構築ピクチャを生成するように配置される。例示において、ビデオデコーダ（７１０）は図３の例示におけるビデオデコーダ（３１０）の代わりとして用いられる。

図７の例示において、ビデオデコーダ（７１０）は、図７に示す互いに連結されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）及びイントラデコーダ（７７２）を含む。

エントロピーデコーダ（７７１）は、コーディングされたピクチャに基づき、特定のシンボルを再構築するように配置され、シンボルは、コーディングされたピクチャを構成するシンタックス要素を示す。このような符号は、例えば、ブロックをコーディングするためのモード（例えば、イントラモード、インターモード、双方向予測モード、後の両者のマージサブモードまたは他のサブモード）、イントラデコーダ（７７２）またはインターデコーダ（７８０）の予測のための特定のサンプルまたはメタデータを認識できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば量子化の変換係数という形式を呈する残差情報などを含む。例示において、予測モードがインターまたは双方向予測モードである場合、インター予測情報はインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報はイントラデコーダ（７７２）に提供される。残差情報は逆量子化を介して残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するように配置される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するように配置される。

残差デコーダ（７７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理することで、残差を周波数領域から空間領域に変換するように配置される。残差デコーダ（７７３）は、特定の制御情報を必要とする可能性もあり（量子化器パラメータ（ＱＰ）を含むため）、情報はエントロピーデコーダ（７７１）から提供されてもよい（少量の制御情報のみである可能性があるため、データ経路を図示していない）。

再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）から出力された残差と予測結果（インター予測モジュールまたはイントラ予測モジュールから出力される）を組み合わせることで、再構築ブロックを形成するように配置されてもよく、再構築ブロックは、再構築されるピクチャの一部であってもよく、再構築されるビデオの一部であってもよい。なお、デブロッキング動作などのような他の適切な動作を実行することで、視覚品質を向上する。

なお、いずれかの適切な技術によってビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、ビデオデコーダ（３１０）、ビデオデコーダ（４１０）及びビデオデコーダ（７１０）を実現できる。実施形態において、１つまたは複数の集積回路によってビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、ビデオデコーダ（３１０）、ビデオデコーダ（４１０）及びビデオデコーダ（７１０）を実現できる。他の実施形態において、ソフトウェア命令を実行する１つまたは複数のプロセッサーによってビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、ビデオデコーダ（３１０）、ビデオデコーダ（４１０）及びビデオデコーダ（７１０）を実現できる。

本開示内容の各態様は、インター予測に関して、例えば、アフィン動き補償及び精密化に関する。

各実施形態において、インター予測のＣＵに対して、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス及び／又は他の付加情報を含む動きパラメータを、インター予測のサンプルの生成に用いる。インター予測は片－予測、双－予測などを含む。片－予測において、参照ピクチャリスト（例えば、第１参照ピクチャリスト又はリスト０（Ｌ０）、第２参照ピクチャリスト又はリスト１（ＬＩ））を利用できる。双－予測において、Ｌ０とＬＩという両者を利用できる。参照ピクチャリスト使用インデックスは、（１つ又は複数の）参照ピクチャリストがＬ０、Ｌ１又はＬ０及びＬ１を含むように指示する。

明示または暗黙方式で、動きパラメータをシグナリングする。スキップモードを利用してＣＵに対してコーディングを行う場合、ＣＵは１つのＰＵに関連し、著しい残差係数（例えば、残差係数がゼロである）、コーディングされた動きベクトル差（ＭＶＤ）又は参照ピクチャインデックスを持たなくてもよい。

以下のようなマージモードを利用でき、マージモードで、空間と時間マージ候補、及び他の可能なマージ候補を含む隣接ＣＵから現在ＣＵの動きパラメータを取得する。マージモードはインター予測のＣＵに適用されるとともに、スキップモードに適用される。代替案として、動きパラメータは明示的に送信されるか、又はシグナリングされてもよい。例えば、各ＣＵに従って、動きベクトル、各参照ピクチャリストのための対応する参照ピクチャインデックス、参照ピクチャリスト使用フラグ及び他の情報を明示的にシグナリングしてもよい。

特定の実施形態において、（１）拡張マージ予測、（２）動きベクトル差を有するマージモード（ＭＭＶＤ）、（３）対称ＭＶＤシグナリングを有する高度動きベクトル予測（ＡＭＶＰ）モード、（４）アフィン動き補償予測、（５）サブブロックに基づく時間動きベクトル予測（ＳｂＴＭＶＰ）、（６）自己適応動きベクトル解像度（ＡＭＶＲ）、（７）加重平均を有する双－予測（ＢＷＡ）、（８）双方向オプティカルフロー（ＢＤＯＦ）、（９）デコーダ側動きベクトル精密化（ＤＭＶＲ）、（１０）三角形パーティション予測、及び（１１）組み合わせたインターとイントラ予測（ＣＩＩＰ）のような、インター予測コーディングツールのうちの１種または多種を利用する。

特定の例示において、並進運動モデルを動き補償予測（ＭＣＰ）に適用する。ブロックに基づくアフィン動き補償（アフィン動き補償予測、アフィン動き補償方法、アフィン動き予測、アフィン動きモデル、アフィン変換動き補償予測とも呼ばれる）を利用して、例えば各種のタイプの動きに対してモデリングを行って、例えばピンチアウト／ピンチイン、回転、遠近動き及び他の不規則な動き（例えば、並進運動と異なる動き）がある。

図８Ａにおいて、４パラメータアフィンモデル（又は４パラメータアフィン動きモデル）を利用する場合、ＣＰ０とＣＰＩという２つの制御ポイント（ＣＰ）の動き情報により、ブロック（８１０Ａ）のアフィン動き場が記述される。動き情報はそれぞれＣＰ０とＣＰＩとの２つのＭＶ、又は制御ポイントＭＶ（ＣＰＭＶ）ＣＰＭＶ０及びＣＰＭＶ１を含む。図８Ｂにおいて、６パラメータアフィンモデル（又は６パラメータアフィン動きモデル）を利用する場合、３つのＣＰ、即ちＣＰ０～ＣＰ２の動き情報により、ブロック（８１０Ｂ）のアフィン動き場が記述される。動き情報はそれぞれＣＰ０～ＣＰ２の３つのＭＶ、又はＣＰＭＶ、即ちＣＰＭＶ０～ＣＰＭＶ２を含む。

４パラメータアフィン動きモデルに対して、ブロック（８１０Ａ）におけるサンプル位置（ｘ、ｙ）での動きベクトルは以下のように導出される。

（ｍｖ_０ｘ，ｍｖ_０ｙ）は左上ＣＰ（ＣＰ０）のＭＶ（ＣＰＭＶ０）であり、（ｍｖ_１ｘ，ｍｖ_１ｙ）は右上ＣＰ（ＣＰ１）のＭＶ（ＣＰＭＶ１）である。座標（ｘ、ｙ）はブロック（８１０Ａ）の左上サンプルに対応し、Ｗはブロック（８１０Ａ）の幅を示す。

６パラメータアフィン動きモデルに対して、ブロック（８１０Ｂ）におけるサンプル位置（ｘ、ｙ）での動きベクトルは以下のように導出される。

（ｍｖ_０ｘ，ｍｖ_０ｙ）は左上隅ＣＰ（ＣＰ０）のＭＶ（ＣＰＭＶ０）であり、（ｍｖ_１ｘ，ｍｖ_１ｙ）は右上隅ＣＰ（ＣＰ１）のＭＶ（ＣＰＭＶ１）であり、（ｍｖ_２ｘ，ｍｖ_２ｙ）は左下隅ＣＰ（ＣＰ２）のＭＶ（ＣＰＭＶ２）である。座標（ｘ、ｙ）はブロック（８１０Ｂ）の左上サンプルに対応し、Ｗはブロック（８１０Ｂ）の幅を示し、Ｈはブロック（８１０Ｂ）の高さを示す。

動き補償予測を簡略化するために、図９に示すように、特定の実施形態において、サブブロックに基づくアフィン動き補償（サブブロックに基づくアフィン動きモデルとも呼ばれる）を利用する。サブブロックに基づくアフィン動き補償において、現在ブロック（例えば、輝度ブロック）（９００）は、複数のサブブロック（アフィンサブブロックとも呼ばれる）（９０２）に区画される。ＭＶ（サブブロックＭＶとも呼ばれる）（９０１）を利用して、複数のサブブロック（９０２）のうちの各サブブロックにおける各サンプルのＭＶを示す。例示において、サブブロック（９０２）のサブブロックＭＶ（９０１）はサブブロック（９０２）のセンターサンプルのＭＶである。従って、４パラメータアフィン動きモデル（例えば、式（１））、６パラメータアフィン動きモデル（例えば、式（２））などを利用して、サブブロックＭＶ（９０１）を計算する。図９を参照し、現在ブロック（９００）は、１６個のサブブロックＭＶ（例えば、Ｍｖａ～ＭＶｐ）（９０１）を有する１６個のサブブロック（９０２）に区画される。

図９を参照し、例示として、４パラメータアフィン動きモデルを利用する。ｖ_０ ^→及びｖ_１ ^→はそれぞれ左上ＣＰ（ＣＰ０）のＣＰＭＶ及び右上ＣＰ（ＣＰ１）のＣＰＭＶである。サブブロック（９０２）のサブブロックＭＶ（９０１）を取得するために、式（１）に基づき、サブブロック（９０２）のセンターサンプルのＭＶを計算し、１／１６の分数精度（例えば、サブブロックＭＶの精度はサンプル又は画素の１／１６である）に丸められる。動き補償補間フィルタを応用して、取得したＭＶ（９０１）により、各サブブロック（９０２）の予測を生成する。

色度成分のサブブロックサイズは、４×４に設置される。４×４色度サブブロックのサブブロックＭＶは、４つの対応する４×４輝度サブブロックのサブブロックＭＶの平均値に算出されてもよい。

並進運動インター予測と類似して、特定の実施形態は２つのアフィン動きインター予測モードを採用し、即ち、アフィンマージモード（又はアフィンマージ予測、ＡＦ＿ＭＥＲＧＥモード）及びアフィンＡＭＶＰモード（又はアフィンＡＭＶＰ予測）である。

特定の実施形態において、アフィンマージモード（例えば、ＡＦ＿ＭＥＲＧＥモード）は、幅及び高さがいずれも８の以上であるＣＵに適用されてもよい。アフィンマージモードにおいて、現在ＣＵのＣＰＭＶは現在ＣＵの空間隣接ＣＵの動き情報に基づき生成される。候補リスト（例えば、アフィンマージ候補リスト）には最大５つのＣＰＭＶ予測器（ＣＰＭＶＰ）候補が含まれ、現在ＣＵに使用する候補を指示するように、インデックスをシグナリングすることができる。（ａ）隣接ＣＵ（例えば、空間隣接ＣＵ）のＣＰＭＶから推定された継承アフィンマージ候補、（ｂ）隣接ＣＵ（例えば、空間隣接ＣＵ及び／又は時間隣接ＣＵ）の並進ＭＶにより得られた構築アフィンマージ候補、及び／または（ｃ）ゼロＭＶという３つのタイプのＣＰＭＶＰ候補を利用して、アフィンマージ候補リストを形成する。

実施形態において、例えば、ＶＴＭ３において、候補リスト（例えば、アフィンマージ候補リスト）には最大２つ継承アフィンマージ候補が含まれ、これらの継承アフィンマージ候補は隣接ＣＵ（又はブロック）のアフィン動きモデルに基づき得られる。例えば、左隣接ＣＵに基づき第１継承アフィンマージ候補を取得し、上方にある隣接ＣＵに基づき第２継承アフィンマージ候補を取得する。ＣＵ（１００１）としての例示的な候補ＣＵ（又はブロック）は図１０Ａに示す。第１継承アフィンマージ候補（又は左予測器）を取得するために、Ａ０－＞Ａ１という走査順序を応用してもよい。第２継承アフィンマージ候補（又は以上の予測器）を取得するために、走査順序はＢ０－＞Ｂ１－＞Ｂ２であってもよい。例示において、各側（例えば、左側及び／又は上側）からの第１継承候補のみを選択する。また、２つ継承候補の間でプルーニングチェック（ｐｒｕｎｉｎｇ ｃｈｅｃｋ）を実行しない。隣接アフィンＣＵを認識した場合、隣接アフィンＣＵのＣＰＭＶにより、現在ＣＵのアフィンマージ候補リストにおけるＣＰＭＶＰ候補を得る。図１０Ｂに示すように、アフィン動きモードで、隣接する左下ブロックＡに対してコーディングを行うと、ブロックＡが含まれるＣＵ（１００２）の左上隅、右上隅及び左下隅のＭＶ ｖ２、ｖ３及びｖ４を得ることができる。４パラメータアフィン動きモデルで、ブロックＡに対してコーディングを行うと、ｖ２及びｖ３に基づき、現在ＣＵ（１０００）の２つのＣＰＭＶを計算することができる。６パラメータアフィン動きモデルで、ブロックＡに対してコーディングを行うと、ｖ２、ｖ３及びｖ４に基づき、現在ＣＵ（１０００）の３つのＣＰＭＶを計算することができる。

ＣＵに対して構築されたアフィンマージ候補は、ＣＵの各ＣＰの隣接並進運動情報を組み合わせることで、構築された候補を指してもよい。図１１に示す現在ブロック（１１００）の空間隣接物及び時間隣接物に基づき、ＣＰの動き情報を取得する。ＣＰＭＶ_ｋ（ｋ ＝ １、２、３、４）は現在ブロック（１１００）のＫ番目のＣＰを示す。ＣＰＭＶ_１に対して、ブロックＢ２、Ｂ３及びＡ２をチェックする。例えば、走査順序はＢ２－＞ Ｂ３－＞ Ａ２であり、最初の利用可能なブロックのＭＶをＣＰＭＶ_１とする。ＣＰＭＶ_２に対して、例えば、Ｂ１－＞Ｂ０という走査順序で、ブロックＢ１及びＢ０をチェックする。ＣＰＭＶ_３に対して、例えば、Ａ１－＞Ａ０という走査順序で、ブロックＡｌ及びＡ０をチェックする。時間動きベクトル予測器（ＴＭＶＰ）（図１１において、Ｔで示す）が利用可能である場合、ＴＭＶＰはＣＰＭＶ_４として適用できる。

４つのＣＰのＭＶを取得した後、４つの制御ポイントの動き情報に基づき、アフィンマージ候補を構築することができる。｛ＣＰＭＶ_１、ＣＰＭＶ_２、ＣＰＭＶ_３｝、｛ＣＰＭＶ_１、ＣＰＭＶ_２、ＣＰＭＶ_４｝、｛ＣＰＭＶ_１、ＣＰＭＶ_３、ＣＰＭＶ_４｝、｛ＣＰＭＶ_２、ＣＰＭＶ_３、ＣＰＭＶ_４｝、｛ＣＰＭＶ_１、ＣＰＭＶ_２）及び｛ＣＰＭＶ_１、ＣＰＭＶ_３｝というＣＰＭＶの組み合わせは、アフィンマージ候補を順次に構築するために用いられる。

３つのＣＰＭＶの組み合わせは、６パラメータアフィンマージ候補を構築でき、２つのＣＰＭＶの組み合わせは４パラメータアフィンマージ候補を構築できる。動きのズーム過程を避けるために、制御ポイントの参照インデックスが異なると、対応するＣＰＭＶの組み合わせを廃棄できる。

継承アフィンマージ候補及び構築されたアフィンマージ候補をチェックした後、アフィンマージ候補リストが完全ではない場合、ゼロＭＶはアフィンマージ候補リストの末尾に差し込まれる。

特定の実施形態において、アフィンＡＭＶＰモードは、幅及び高さがいずれも１６以上であるＣＵに適用される。ビットストリームにおいて、アフィンＡＭＶＰモードを使用するかどうかを指示するように、ＣＵレベルでのアフィンフラグをシグナリングし、そして、４パラメータアフィン動きモデルを使用するか、それとも６パラメータアフィン動きモデルを使用するかを指示するように、他の１つのフラグをシグナリングしてもよい。アフィンＡＭＶＰモードでは、ビットストリームにおいて、現在ＣＵのＣＰＭＶと対応するＣＰＭＶ予測器（ＣＰＭＶＰ）との差をシグナリングしてもよい。アフィンＡＭＶＰ候補リストのサイズは２であってもよく、次の4種類のＣＰＭＶ候補を使用して、たとえば（ａ）－＞（ｂ）－＞（ｃ）－＞（ｄ）の順序で生成できる：（ａ）隣接ＣＵのＣＰＭＶから推定された継承アフィンＡＭＶＰ候補、（ｂ）隣接ＣＵの並進ＭＶを使用して導出された構築アフィンＡＭＶＰ候補、（ｃ）隣接ＣＵからの並進ＭＶ、及び（ｄ）ゼロＭＶ。

例示において、継承アフィンＡＭＶＰ候補のチェック順序（又は走査順序）は、継承アフィンマージ候補のチェック順序と類似又は同様である。例示において、継承アフィンＡＭＶＰ候補と継承アフィンマージ候補との間の相違点は、継承アフィンＡＭＶＰ候補に対して、現在ブロックにおける参照ピクチャと同様である参照ピクチャを有するアフィンＣＵのみを考慮することにある。継承アフィンＭＶ予測器（又は継承アフィンＡＭＶＰ候補）をアフィンＡＭＶＰ候補リストに差し込む際、プルーニング処理を応用しない。

図１１に示す指定の空間隣接物に基づき、構築ＡＭＶＰ候補を取得できる。（１つ又は複数の）アフィンマージ候補を構築する際使用したチェック順序と同じチェック順序を利用してもよい。また、隣接ブロックの参照ピクチャインデックスをチェックしてもよい。チェック順序における１つ目のブロックを利用してもよく、当該１つ目のブロックは、インターコーディングされ、且つ現在ＣＵにおける参照ピクチャと同じ参照ピクチャを有する。４パラメータアフィン動きモデルで、現在ＣＵに対してコーディングを行って、ＣＰＭＶ１及びＣＰＭＶ２がいずれも利用可能である場合、１つの候補として、利用可能なＣＰＭＶ（例えば、ＣＰＭＶ１及びＣＰＭＶ２）をアフィンＡＭＶＰ候補リストに追加してもよい。６パラメータアフィン動きモードで、現在ＣＵに対してコーディングを行って、全ての３つのＣＰＭＶ（例えば、ＣＰＭＶ１、ＣＰＭＶ２及びＣＰＭＶ３）がいずれも利用可能である場合、１つの候補として、利用可能なＣＰＭＶをアフィンＡＭＶＰ候補リストに追加してもよい。さもなければ、構築ＡＭＶＰ候補を利用不可に設置する。

（１つ又は複数の）継承されたアフィンＡＭＶＰ候補及び（１つ又は複数の）構築されたＡＭＶＰ候補をチェックした後、アフィンＡＭＶＰ候補リストのサイズが２より小さいと、現在ブロック（１１００）の（１つ又は複数の）隣接ＣＵからの並進ＭＶを追加することで、現在ブロック（１１００）の全ての制御ポイントＭＶ（利用可能であれば）を予測することができる。最後、アフィンＡＭＶＰ候補リストがまだいっぱいでない場合、ゼロＭＶを利用して、アフィンＡＭＶＰ候補リストを充填してもよい。

本開示内容の実施形態は、補間フィルタ（例えば、６タップ又は８タップ補間フィルタ）を有するアフィンサブブロック動き補償に適用される。例示において、アフィンサブブロック予測以外、４×４輝度ブロックに対するインター予測を無効にする。例示において、サイズが４×８又は８×４である輝度ブロックに対して、インター片－予測のみを許可する。

例示において、テーブル１に示すように、輝度サンプルサイズが４×４であるアフィンサブブロック動き補償に対して、６タップ補間フィルタを利用する。テーブル２に示すように、アフィン動きモデルによらない輝度動き補償に対して、８タップ補間フィルタを利用する。
テーブル１. ６タップ補間フィルタ

テーブル２. ８タップ補間フィルタ

アフィン動きモデルパラメータ又はアフィンパラメータ（例えば、式（１）に示す４パラメータアフィン動きモデルにおけるパラメータ、式（２）に示す６パラメータアフィン動きモデルにおけるパラメータ）は、例えば式（１）又は式（２）に基づき、ＣＵ（例えば、ブロック、輝度ブロック）における各画素（又はサンプル）のＭＶを取得するために用いられる。ただし、画素に基づくアフィン動き補償を実行するための高複雑さ及びメモリアクセス帯域幅要求から、特定の実施形態において、サブブロックに基づくアフィン動き補償を実現する。サブブロックに基づくアフィン動き補償において、現在ブロック（例えば、ＣＵ）はサブブロックに区画され、サブブロックにおける各サブブロックは、現在ブロックのＣＰＭＶから取得されたサブブロックＭＶが割り当てられる。例示において、サブブロックのサイズは４×４サンプルである。サブブロックに基づくアフィン動き補償は、コーディング効率を向上させ、コーディングの複雑さ及びメモリアクセス帯域幅を低減させることができる。

いくつかの実施形態において、オプティカルフローに基づく予測精密化（ＰＲＯＦ）（ＰＲＯＦ方法とも呼ばれる）を実現することで、サブブロックに基づくアフィン動き補償を改良し、より細かい動き補償粒度を具備する。実施形態において、サブブロックに基づくアフィン動き補償を実行した後、オプティカルフロー方程により得られた差（又は精密値、精密化、予測精密化）を予測サンプル（例えば、輝度予測されたサンプル又は輝度予測サンプル）に追加することで、精密化された予測サンプルを取得する。

図１２は、本開示内容の実施形態によるＰＲＯＦ方法の例示的な概略図を示す。現在ブロック（１２１０）は、４つのサブブロック（１２１２、１２１４、１２１６及び１２１８）に分けられる。サブブロック（１２１２、１２１４、１２１６及び１２１８）における各サブブロックは４×４画素又はサンプルのサイズを有する。例えば、サブブロック（１２１２）の中心位置及びアフィン動きモデル（例えば、４パラメータアフィン動きモデル、６パラメータアフィン動きモデル）を利用して、現在ブロック１２１０のＣＰＭＶに基づき、サブブロック（１２１２）のサブブロックＭＶ（１２２０）を取得する。サブブロックＭＶ（１２２０）は参照ピクチャにおける参照サブブロック（１２３２）を指向する。参照サブブロック（１２３２）に基づき、初期サブブロック予測サンプルを決定する。

いくつかの例示において、サブブロックＭＶ（１２２０）により記述される、参照サブブロック（１２３２）からサブブロック（１２１２）への並進運動は、高精度でサブブロック（１２１２）を予測できない可能性がある。サブブロックＭＶ（１２２０）により記述される並進運動以外、サブブロック（１２１２）はさらに、非並進運動（例えば、図１２から見える回転である）を経験してもよい。図１２を参照し、参照ピクチャにおける、影付きサンプル（例えば、サンプル（１２３２ａ））を有するサブブロック（１２５０）は、サブブロック（１２１２）におけるサンプルに対応し、その再構築に用いられる。影付きサンプル（１２３２ａ）は、画素ＭＶ（１２４０）を移動することで、高精度でサブブロック（１２１２）におけるサンプル（１２１２ａ）を再構築できる。従って、以下のように、特定の例示において、非並進運動が生じると、予測の正確性を向上させるために、アフィン動きモデルに適切な予測精密化方法を応用してもよい。

例示において、以下の４つのステップを利用して、ＰＲＯＦ方法を実現する。ステップ（１）では、サブブロックに基づくアフィン動き補償を実行することで、現在サブブロック（例えば、サブブロック（１２１２））に対する予測を生成し、例えば、初期サブブロック予測（ｉ，ｊ）を生成し、ｉ及びｊは現在サブブロック（１２１２）における位置（ｉ，ｊ）（サンプル位置、サンプル位置決めとも呼ばれる）でのサンプルの対応する座標である。

ステップ（２）では、勾配計算を実行し、例えば、以下の式（３）及び式（４）に基づく３タップフィルタ［－１、０、 １］を利用して、各サンプル位置（ｉ，ｊ）での初期サブブロック予測Ｉ（ｉ，ｊ）の空間勾配ｇ_ｘ（ｉ，ｊ）及びｇ_ｘ（ｉ，ｊ）を計算する。

サブブロック予測は、各側で１つの画素を拡張することで、勾配計算を行う。いくつかの実施形態において、メモリ帯域幅及び複雑さを低減させるために、参照ピクチャ（例えば、サブブロック（１２３２）を含む参照ピクチャ）における最も近い整数画素位置から、拡張境界での画素をコピーする。従って、パディング領域に対する付加補間を避ける。

ステップ（３）では、以下の式（５）（例えば、オプティカルフロー方程式）で、予測精密化ΔＩ（ｉ，ｊ）を計算する。

Δｍｖ（ｉ，ｊ）（例えば、ΔＭＶ（１２４２））は、サンプル位置（ｉ，ｊ）の画素ＭＶ又はサンプルＭＶ Ｍｖ（ｉ，ｊ）（例えば、画素ＭＶ（１２４０））とサブブロック（例えば、サブブロック（１２１２））のサブブロックＭＶ Ｍｖ_ＳＢ（例えば、サブブロックＭＶ（１２２０））との間の差ＭＶであり、サンプル位置（ｉ，ｊ）は位置決めされる。以下の式（６）でΔｍｖ（ｉ，ｊ）を決定する。

Δｍｖ_ｘ（ｉ，ｊ）及びΔｍｖ_ｙ（ｉ，ｊ）は、それぞれ差ＭＶ Δｍｖ（ｉ，ｊ）のｘ成分（例えば、水平成分）及びｙ成分（例えば、垂直成分）である。

アフィンモデルパラメータ及びサブブロック中心位置に対する画素位置は、１つのサブブロックから、別の１つサブブロックに変更されないから、第１サブブロック（例えば、サブブロック（１２１２））に対してΔｍｖ（ｉ，ｊ）を計算し、同一の現在ブロック（１２１０）における他のサブブロック（例えば、サブブロック（１２１４）、（１２１６）及び（１２１８））に対して、Δｍｖ（ｉ，ｊ）を改めて使用する。いくつかの例示において、ｘ及びｙはサブブロック（１２１２）の中心位置に対するサンプル位置（ｉ，ｊ）の水平変位及び垂直変位を示し、以下の式（７）でΔｍｖ（ｉ，ｊ）（例えば、Δｍｖ_ｘ（ｉ，ｊ）及びΔｍｖ_ｙ（ｉ，ｊ）を含む）を取得する。

Δｍｖ_ｘ（ｘ，ｙ）は、ｘ成分Δｍｖ_ｘ（ｉ，ｊ）であり、Δｍｖ_ｙ（ｘ，ｙ）はｙ成分Δｍｖ_ｙ（ｉ，ｊ）である。

例示において、４パラメータアフィン動きモデルに対して、

６パラメータアフィン動きモデルに対して、

（ｍｖ_０ｘ，ｍｖ_０ｙ）、（ｍｖ_１ｘ，ｍｖ_１ｙ）及び（ｍｖ_２ｘ，ｍｖ_２ｙ）は、それぞれ左上ＣＰＭＶ、右上ＣＰＭＶ及び左下ＣＰＭＶであり、ｗ及びｈは現在サブブロック（１２１２）を含む現在ブロック（１２１０）の幅及び高さである。

ステップ（４）では、予測精密化ΔＩ（ｉ，ｊ）（例えば、輝度予測精密化）を初期サブブロック予測Ｉ（ｉ，ｊ）に追加することで、別の１つの予測を生成し、例えば、精密化予測Ｉ’（ｉ，ｊ）を生成する。サンプル（ｉ，ｊ）に対して、以下の式（１０）で、精密化予測Ｉ’（ｉ，ｊ）を生成する。

実施形態において、サブブロックに基づくアフィン動き補償（又はサブブロックに基づくアフィン動きモデル）において、６タップ補間フィルタを利用し、アフィンサブブロックのサイズ（アフィンサブブロックサイズとも呼ばれる）は４×４サンプル（例えば、４×４輝度サンプル）である。８タップ補間フィルタと比較すると、６タップ補間フィルタの動き補償を利用することは、低い複雑さ及び記憶帯域幅要求を具備する。いくつかの例示において、８タップ補間フィルタを利用する場合、予測精度を向上させる。

実施形態において、アフィン動きモデル（例えば、サブブロックに基づくアフィン動きモデル）によりコーディングされるブロック（例えば、輝度ブロック）のＰＲＯＦにおいて、４×４サブブロック（例えば、輝度サブブロック）における各サブブロックに対して勾配計算を実行し、４×４輝度サブブロックにおける各サブブロックは、６×６のサイズにパディングされることで、勾配計算（例えば、式（３）～式（４）により記述される勾配計算）を実行する。ただし、パディング動作及び勾配計算が多いと、ＰＲＯＦの複雑さに影響する。

本開示内容の態様によれば、コーディングされたビデオビットストリームから、現在ブロック（ＣＢ）（例えば、ＣＢ（９００））のコーディング情報をデコーディングすることができる。コーディング情報は、サブブロックに基づくアフィン動きモデルを利用してＣＢに対してコーディングを行うように指示する。サブブロックに基づくアフィン動きモデルは、ＣＢの複数のＣＰＭＶ（例えば、図９におけるｖ_０ ^→及びｖ_１ ^→）に基づくアフィンパラメータを含んでもよい。また、ＣＢはサブブロックＭＶ（例えば、サブブロックＭＶ（９０１））を有するアフィンサブブロック（例えば、サブブロック（９０２））を含んでもよい。ＣＢは（１つ又は複数の）付加サブブロックＭＶを有する（１つ又は複数の）付加アフィンサブブロックを含んでもよい。

コーディング情報に基づきサブブロック特性を選択するかどうかを決定することで、サブブロックＭＶに基づき、アフィンサブブロックにおけるサンプルに対する予測を生成する。サブブロック特性の選択に応じて、アフィンパラメータのうちの少なくとも１つに基づき、サブブロック特性を決定できる。サブブロック特性は、（ｉ）サンプルの予測を生成するためのサブブロックサイズ、及び（ｉｉ）アフィンサブブロックに使用する補間フィルタタイプのうちの１つを指示する。また、決定されたサブブロック特性に基づき、アフィンサブブロックにおけるサンプルを再構築する。

ＣＢのＣＰＭＶに基づき、アフィンパラメータを決定できる。実施形態において、図８Ａに示し、式（１）又は式（７）及び式（８）により記述したように、サブブロックに基づくアフィン動きモデルは、４パラメータアフィン動きモデルである。図８Ａを参照し、ＣＢ（例えば、（８１０Ａ））は、第１ＣＰＭＶ（例えば、ＣＰＭＶ_０）を有する左上ＣＰ（例えば、ＣＰ０）、及び第２ＣＰＭＶ（例えば、ＣＰＭＶ_１）を有する右上ＣＰ（例えば、ＣＰ１）を含む。アフィンパラメータは、第１アフィンパラメータ（例えば、

及び第２アフィンパラメータ（例えば、

）を含む。第１アフィンパラメータ（例えば、「ａ」）は、第２ＣＰＭＶと第１ＣＰＭＶとの間の第１ＭＶ差のｘ成分の、ＣＢの幅（例えば、ｗ）に対する比率を指示する。第２アフィンパラメータ（例えば、「ｃ」）は、第１ＭＶ差のｙ成分の、ＣＢの幅に対する比率を指示する。

実施形態において、図８Ｂに示し、式（２）又は式（７）及び式（９）により記述したように、サブブロックに基づくアフィン動きモデルは、６パラメータアフィン動きモデルである。図８Ｂを参照し、ＣＢ（例えば、（８１０Ｂ））は、第１ＣＰＭＶ（例えば、ＣＰＭＶ_０）を有する左上ＣＰ（例えば、ＣＰ０）、第２ＣＰＭＶ（例えば、ＣＰＭＶ_１）を有する右上ＣＰ（例えば、ＣＰ１）及び第３ＣＰＭＶ（例えば、ＣＰＭＶ_２）を有する左下ＣＰ（例えば、ＣＰ２）を含む。アフィンパラメータは、第１アフィンパラメータ（例えば、

）、第２アフィンパラメータ（例えば、

）、第３アフィンパラメータ（例えば、

）及び第４アフィンパラメータ（例えば、

）を含む。第１アフィンパラメータ及び第２アフィンパラメータは、４パラメータアフィン動きモデルにおける第１アフィンパラメータ及び第２アフィンパラメータと同じであってもよく、簡潔のために、詳しい記載を省略する。第３アフィンパラメータ（例えば、「ｂ」）は、第３ＣＰＭＶと第１ＣＰＭＶとの間の第２ＭＶ差のｘ成分の、ＣＢの高さ（例えば、ｈ）に対する比率を指示する。第４アフィンパラメータ（例えば、「ｄ」）は第２ＭＶ差のｙ成分の、ＣＢの高さに対する比率を指示する。

実施形態において、アフィンパラメータにおける１つ又は複数は、ＣＢにおける方向（例えば、水平方向（幅）、垂直方向（高さ））に沿う２つの隣接画素（又はサンプル）の平均ＭＶ差を示す。例えば、第１アフィンパラメータ「ａ」及び第２パラメータ「ｃ」は、水平方向（幅）に沿う２つの隣接画素の平均ＭＶ差（ＭＶＤ）を示す。また、第１アフィンパラメータ「ａ」はｘ成分を示し、第２アフィンパラメータ「ｃ」はｙ成分を示す。例えば、第３アフィンパラメータ「ｂ」及び第４パラメータ「ｄ」は垂直方向（高さ）に沿う２つの隣接画素の平均ＭＶＤを示す。また、第３アフィンパラメータ「ｂ」はｘ成分を示し、第４アフィンパラメータ「ｄ」はｙ成分を示す。

アフィンパラメータに「ａ」、「ｂ」、「ｃ」及び／又は「ｄ」が含まれることに加えて、またはアフィンパラメータに「ａ」、「ｂ」、「ｃ」及び／又は「ｄ」が含まれることに代わって、ピンチアウト／ピンチイン（ズームとも呼ばれる）、回転などのようなＣＢの各種の動きを記述するために、アフィンパラメータにはさらに、他のパラメータが含まれてもよい。

上記のアフィンパラメータ以外、以下の式（１１）で並進運動に関するパラメータ「ｅ」及び「ｆ」（又は並進運動パラメータ、並進パラメータ）を取得してもよい。

例示において、４つのパラメータ、例えば第１アフィンパラメータ（例えば、

）、第２アフィンパラメータ（例えば、

）、ｅ及びｆを利用して、４パラメータアフィン動きモデルを記述する。例示において、６つのパラメータ、例えば第１アフィンパラメータ（例えば、

）、第２アフィンパラメータ（例えば、

）、第３アフィンパラメータ（例えば、

）及び第４アフィンパラメータ（例えば、

）、ｅ及びｆを利用して、６パラメータアフィン動きモデルを記述する。

実施形態において、サブブロックサイズは、ＣＢにおけるアフィンサブブロックのアフィンサブブロックサイズである。補間フィルタタイプは、任意の適切な長さを有する補間フィルタであってもよい。例示において、補間フィルタタイプは第１長さ（例えば、６タップ）を有する第１補間フィルタ、又は第２長さ（例えば、８タップ）を有する第２補間フィルタであり、第１長さは第２長さより小さい。サブブロック特性は、アフィンサブブロックサイズ又は補間フィルタタイプを指示できる。アフィンパラメータのうちの少なくとも１つ、及び（ｉ）閾値と（ｉｉ）事前定義の範囲とのうちの１つに基づき、サブブロック特性を決定できる。

例示において、アフィンパラメータのうちの少なくとも１つ及び閾値（又は事前定義の範囲）に基づき、条件付きで、アフィン動き補償及び／又はアフィン精密化（例えば、ＰＲＯＦ）のための１つ又は複数のプロセスを選択できる。

実施形態において、閾値は、符号器及びデコーダの既知の事前定義値であってもよい。閾値をシグナリングする必要がない。実施形態において、例えば、シーケンスレベル、ピクチャレベル、タイルレベル、タイルグループレベル、スライスレベルなどのような高いレベル（例えば、ＣＵレベルより高いレベル）で、閾値をシグナリングする。

本開示内容の態様によれば、少なくとも１つのアフィンパラメータ（又はアフィンの関連パラメータ）と閾値との比較に基づき、条件付きで、アフィンサブブロックサイズ及び／又は補間フィルタタイプ（例えば、６タップ又は８タップを有するアフィンサブブロック補間フィルタ）を選択できる。実施形態において、アフィンパラメータのため、隣接サブブロックの間の大きいＭＶ差（例えば、少なくとも１つのアフィンパラメータと閾値との間の比較に基づく）を招致する場合、小さいサイズ（例えば、４×４サンプル）をアフィンサブブロックに用いる。さもなければ、大きいサイズ（例えば、８×８サンプル）を利用する。また、小さいアフィンサブブロックサイズの補間フィルタに使用するタップの数は、大きいアフィンサブブロックサイズの補間フィルタに使用するタップの数より小さい。例えば、小さいアフィンサブブロックサイズを利用する場合、６タップ補間フィルタにより、複雑さ及びメモリ帯域幅を低減させる。大きいアフィンサブブロックサイズに対して、８タップ補間フィルタを利用する。例示において、アフィンサブブロックサイズ（例えば、アフィン輝度サブブロックサイズ）は４×４サンプルであり、６タップ補間フィルタが使用される。

前記のように、ＣＢのＣＰＭＶを利用して、アフィンパラメータを計算することができる。例示において、アフィンパラメータは、第１アフィンパラメータ、第２アフィンパラメータ、第３アフィンパラメータ及び第４アフィンパラメータに対応するａ、ｂ、ｃ及びｄを含む。４パラメータアフィン動きモデルに対して、式（８）でａ、ｂ、ｃ及びｄを含むアフィンパラメータを記述できる。６パラメータアフィン動きモデルに対して、式（９）で、ａ、ｂ、ｃ及びｄを含むアフィンパラメータを記述できる。（ｍｖ_０ｘ，ｍｖ_０ｙ）、（ｍｖ_１ｘ，ｍｖ_１ｙ）、（ｍｖ_２ｘ，ｍｖ_２ｙ）は、左上ＣＰＭＶ、右上ＣＰＭＶ及び左下ＣＰＭＶであり、ｗはＣＢの幅であり、ｈはＣＢの高さである。

アフィンパラメータのうちの少なくとも１つに基づき、条件付きでアフィンサブブロックサイズ（例えば、４×４、８×８）を決定できる。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。複数のアフィンパラメータの絶対値が事前定義の条件を満たすかどうかを決定できる。事前定義の条件は、（ｉ）絶対値の最大値が閾値より大きいこと、（ｉｉ）絶対値の最大値が閾値以上であること、（ｉｉｉ）絶対値の最小値が閾値より大きいこと、（ｉｖ）絶対値の最小値が閾値以上であること、及び（ｖ）絶対値が事前定義の範囲外にあることのうちの１つである。

絶対値が事前定義の条件を満たすことに応じて、サブブロック特性を決定することで、アフィンサブブロックサイズが第１サイズ（例えば、４×４サンプル）であること、及び／または補間フィルタタイプが第１補間フィルタ（例えば、６タップ補間フィルタ）であることを指示できる。例えば、事前定義の条件を満たす絶対値は、アフィンパラメータのため、隣接サブブロックの間のＭＶ差が大きいことを指示するから、第１サイズの小さいサイズ（例えば、４×４）及び第２サイズ（例えば、８×８）をアフィンサブブロックサイズとすることは、例えば予測精度を向上させる。第２サイズは第１サイズより大きい。

絶対値が事前定義の条件を満たさないことに応じて、サブブロック特性を決定することで、アフィンサブブロックサイズが第２サイズであること（例えば、８×８サンプル）、及び／または補間フィルタタイプが第２補間フィルタであること（例えば、８タップ補間フィルタ）を指示できる。例えば、事前定義の条件を満たさない絶対値は、アフィンパラメータのため、隣接サブブロックの間のＭＶ差が小さいことを指示するから、第１サイズ及び第２サイズの大きいサイズ（例えば、８×８）をアフィンサブブロックサイズとすることは、小さいサイズ（例えば、４×４の第１サイズ）と類似する予測精度を実現できる。例示において、大きいサイズ（例えば、８×８の第２サイズ）を利用することは、予測効率を向上させる。

閾値は、１／４サンプル（例えば、１／４輝度サンプル）に等しい値、１／８サンプル（例えば、１／８輝度サンプル）に等しい値などのような、任意の適切な値に設置される。例示において、１／４サンプルは２つの隣接サンプルの間のＭＶ差（例えば、ＭＶ差のｘ成分、ＭＶ差のｙ成分）が、１／４サンプル又は画素であることを指示する。

閾値は以上の例示（例えば、１／４輝度サンプル）、１／８サンプル（例えば、１／８輝度サンプル）に等しい値に限定されない。前記のように、閾値はデコーダの既知の事前定義値であってもよいから、当該閾値をシグナリングする必要がない。代替案として、閾値を明示的にシグナリングしてもよい。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最大値は、ｍａｘ＿ｐａｒａｍｅｔｅｒ（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最大値が閾値以上である場合、アフィンサブブロックサイズは小さくてもよい。第１例示において、ＣＢに対して、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。さもなければ、絶対値の最大値が閾値以下である場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。第２例示において、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。さもなければ、絶対値の最大値が閾値より小さい場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最大値は、ｍａｘ＿ｐａｒａｍｅｔｅｒ（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最大値が閾値以上である場合、アフィンサブブロックサイズは大きくてもよい。第１例示において、ＣＢに対して、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。さもなければ、絶対値の最大値が閾値以下である場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。第２例示において、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。さもなければ、絶対値の最大値が閾値より小さい場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置されてもよい。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最小値は、ｍｉｎ＿ｐａｒａｍｅｔｅｒ（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ ＝ ｍｉｎ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最小値が閾値以上である場合、アフィンサブブロックサイズは小さくてもよい。第１例示において、ＣＢに対して、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。さもなければ、絶対値の最小値が閾値以下である場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。第２例示において、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。さもなければ、絶対値の最小値が閾値より小さい場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置されてもよい。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最小値は、ｍｉｎ＿ｐａｒａｍｅｔｅｒ（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ ＝ ｍｉｎ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最小値が閾値以上である場合、アフィンサブブロックサイズは大きくてもよい。第１例示において、ＣＢに対して、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。さもなければ、絶対値の最小値が閾値以下である場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。第２例示において、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。さもなければ、絶対値の最小値が閾値より小さい場合、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータにおける１つ又は複数が、事前定義範囲内に入るかどうかに基づき、アフィンサブブロックサイズを設置できる。ＣＢの例示において、複数のアフィンパラメータの絶対値が事前定義範囲（又は事前定義値の範囲）内にある場合、アフィンサブブロックサイズは８×８サンプル（例えば、８×８輝度サンプル）に設置される。さもなければ、絶対値における何れか１つの絶対値が事前定義範囲外にあると、アフィンサブブロックサイズは４×４サンプル（例えば、４×４輝度サンプル）に設置される。事前定義範囲は［Ｍ、Ｎ］として示し、Ｍ及びＮが正の数である。Ｍ及びＮが事前定義されるか、または、例えばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、タイルヘッダ、スライスヘッダなどのコーディングされたビットストリームにおいて、Ｍ及びＮをシグナリングする。

アフィンパラメータに基づき、条件付きで補間フィルタの使用を決定し、例えば、アフィン動きモデル（例えば、サブブロックに基づくアフィン動きモデル）として、６タップ補間フィルタを使用するか、それとも８タップ補間フィルタを使用するかを決定する。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最大値は、ｍａｘ＿ｐａｒａｍｅｔｅｒ（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最大値が閾値以上である場合、補間フィルタに使用するタップの数は少なくてもよい。第１例示において、ＣＢに対して、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、サブブロックに基づくアフィン動きモデル（又はアフィンサブブロックに基づく動き補償）において、６タップ補間フィルタを使用する。さもなければ、絶対値の最大値が閾値以下である場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。第２例示において、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。さもなければ、絶対値の最大値が閾値より小さい場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最大値は、ｍａｘ＿ｐａｒａｍｅｔｅｒ （例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最大値が閾値以上である場合、補間フィルタに使用するタップの数は多くてもよい。第１例示において、ＣＢに対して、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、サブブロックに基づくアフィン動きモデル（又はアフィンサブブロックに基づく動き補償）において、８タップ補間フィルタを使用する。さもなければ、絶対値の最大値が閾値以下である場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。第２例示において、絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。さもなければ、絶対値の最大値が閾値より小さい場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを使用する。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最小値は、ｍｉｎ＿ｐａｒａｍｅｔｅｒ（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ ＝ ｍｉｎ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最小値が閾値以上である場合、補間フィルタに使用するタップ数は少なくてもよい。第１例示において、ＣＢに対して、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、サブブロックに基づくアフィン動きモデル（又はアフィンサブブロックに基づく動き補償）において、６タップ補間フィルタを使用する。さもなければ、絶対値の最小値が閾値以下である場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。第２例示において、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。さもなければ、絶対値の最小値が閾値より小さい場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータの絶対値の最小値は、ｍｉｎ＿ｐａｒａｍｅｔｅｒ（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ ＝ ｍｉｎ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）として示される。絶対値の最大値が閾値以上である場合、補間フィルタに使用するタップの数は多くてもよい。第１例示において、ＣＢに対して、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値より高い場合、サブブロックに基づくアフィン動きモデル（又はアフィンサブブロックに基づく動き補償）において、８タップ補間フィルタを使用する。さもなければ、絶対値の最小値が閾値以下である場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。第２例示において、絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ）が閾値以上である場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。さもなければ、絶対値の最小値が閾値より小さい場合、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。

実施形態において、４パラメータアフィン動きモデル又は６パラメータアフィン動きモデルに対して、複数のアフィンパラメータはａ、ｂ、ｃ及びｄを含む。複数のアフィンパラメータにおける１つ又は複数が事前定義範囲内に入るかどうかに基づき、補間フィルタ（例えば、異なる数のタップを含む第１補間フィルタ及び第２補間フィルタ）を設置できる。ＣＢの例示において、複数のアフィンパラメータの絶対値が事前定義範囲（又は事前定義値の範囲）内にある場合、サブブロックに基づくアフィン動きモデルにおいて、８タップ補間フィルタを使用する。さもなければ、絶対値における何れか１つの絶対値が事前定義範囲外にあると、サブブロックに基づくアフィン動きモデルにおいて、６タップ補間フィルタを利用する。事前定義範囲は［Ｍ、Ｎ］として示し、Ｍ及びＮが正の数である。Ｍ及びＮが事前定義されるか、または、例えばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、タイルヘッダ、スライスヘッダなどのコーディングされたビットストリームにおいて、Ｍ及びＮをシグナリングする。

例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル、タイルグループレベルなどのシンタックス（例えば、ハイレベルシンタックス）により、本開示内容に記載のアフィンサブブロックサイズ及び／又はアフィンサブブロック補間フィルタ（例えば、６タップ補間フィルタ、８タップ補間フィルタ）に対する条件付き選択を有効または無効にする。例示において、シンタックスを明示的にシグナリングする。

例示において、ＣＢは輝度ブロックであり、アフィンサブブロックサイズは８×８輝度サンプルに設置され、色度サブブロックサイズは４×４である。平均輝度ＭＶ値を使用せず、色度ブロックのＭＶを直接的に計算する。

実施形態において、ＣＢは、ＣＢのＰＲＯＦにおける勾配計算のための勾配サブブロックを含む。サブブロックサイズは、勾配サブブロックのサイズである。勾配計算はブロックに基づく勾配計算（全体ブロックに基づく勾配計算とも呼ばれる）であってもよく、ブロックに基づく勾配計算において、勾配サブブロックはＣＢであり、サブブロックサイズはＣＢのブロックサイズに等しい。代替案として、勾配計算はサブブロックに基づく勾配計算であってもよい。ＣＢは勾配サブブロック及び付加勾配サブブロックを含むから、サブブロックサイズがブロックサイズより小さい。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含んでもよい。複数のアフィンパラメータの絶対値の最大値又は最小値、及び勾配閾値に基づき、勾配計算がブロックに基づくか、それともサブブロックに基づくかを決定する。勾配閾値は閾値と同じであるか、又は異なってもよい。代替案として、絶対値及び勾配事前定義範囲に基づき、勾配計算がブロックに基づくか、それともサブブロックに基づくかを決定できる。勾配事前定義範囲は、事前定義範囲と同じであるか、又は異なってもよい。

サブブロックに基づくアフィン動きモデルに使用するＰＲＯＦの例示において、ＣＢのアフィンサブブロックにおける各アフィンサブブロック（例えば、各４×４アフィンサブブロック）に対して、インター予測（補間）を実行できる。アフィンサブブロックの予測出力に基づき、３タップフィルタ［１ ０ －１］を利用して、勾配計算を行って、その後、アフィンサブブロックに対して精密化を適用する。アフィンサブブロックの勾配を計算するために、アフィンサブブロックはより大きいサイズにパディングされてもよく、例えば、アフィンサブブロックの各側で、１つの画素を延伸する。

全てのアフィンサブブロックに対するインター予測（補間）が完了した場合、ＣＢ全体（例えば、図１３のＣＢ１３１０）に対して勾配計算を行ってもよく、勾配計算はブロックに基づく勾配計算と呼ばれる。ブロックに基づく勾配計算において、各アフィンサブブロックを拡張することで、勾配計算を行う必要がない。逆に、ＣＢ全体に対して、ＣＢの各境界で、１つの画素（又は１つの画素でパディングする）拡張することで、勾配計算を行ってもよく、各アフィンサブブロックの境界を拡張することより易い。図１３を参照し、ＣＢ（１３１０）は境界（１３２１）～（１３２４）で、１つの画素がパディングされる。ブロックに基づく勾配計算から取得されたアフィンサブブロックの勾配に基づき、各アフィンサブブロックに対して予測精密化を行う。例えば、隣接アフィンサブブロックの間のＭＶ差が小さい場合、隣接ブロックの予測としての、ブロックに基づく勾配計算は、サブブロックに基づく勾配計算と類似するか、またはサブブロックに基づく勾配計算より正確である。ＭＶ差が大きい場合、サブブロックに基づく勾配計算を利用できる。

条件に基づき、ブロックに基づく勾配計算、又はサブブロックに基づく勾配計算を切り替えることができる。条件を満たすと、ブロックに基づく勾配計算を利用できるから、ＣＢ全体に対して勾配計算を行うことができる。さもなければ、条件を満たさないと、サブブロックに基づく勾配計算を利用できるから、アフィンサブブロックにおける各アフィンサブブロックに対して勾配計算及びパディング処理を行うことができる。いくつかの実施形態において、ブロックに基づく勾配計算又はサブブロックに基づく勾配計算の間で選択するための複数の条件を利用できる。また、条件は１つ又は複数のアフィンパラメータ及び閾値又は範囲に基づく。

実施形態において、特定条件は、アフィンパラメータａ、ｂ、ｃ及びｄの絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）が閾値より小さいか、又は閾値以下であることである。例示において、閾値は各サンプルの１画素（又は画素／サンプル）、各サンプルの０.５画素などに対応する。例えば、１画素／サンプルである閾値は、サンプルでのＭＶ差の成分（例えば、ｘ成分、ｙ成分）（又は２つの隣接サンプルの間のＭＶＤの成分）が１画素であることを指示する。ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ ｜ａ｜である場合、ＣＢの幅ｗは４サンプルであり、ｖｌｘ－ｖ０ｘは１画素であり、ｍａｘ＿ｐａｒａｍｅｔｅｒ ＝ １画素／４サンプル＝ ０.２５画素／サンプルである。従って、ｍａｘ＿ｐａｒａｍｅｔｅｒは閾値より小さく、ＣＢにおける２つの隣接サンプルの平均ＭＶ差の任意の成分（例えば、ｘ成分又はｙ成分）は勾配閾値より小さい。

実施形態において、閾値は各サンプル１画素又は各サンプル０．５画素などに対応する。例示において、内部アフィン動きは（７ + ４）＝ １１ビット（例えば、値２^１１ ＝ ２０４８は、１画素シフトに対応する）を利用して、サブブロックサイズは４×４サンプルである。各サンプル１画素の閾値は、値５１２（例えば、２^１１／４）に対応する。各サンプル０．５画素の閾値は、値２５６に対応する。

実施形態において、サブブロックに基づく勾配計算の利用条件は、アフィンパラメータａ、ｂ、ｃ及びｄの絶対値の最小値（例えば、ｍｉｎ＿ｐａｒａｍｅｔｅｒ ＝ ｍｉｎ ｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝）が閾値より高いか、または閾値以上であることである。

実施形態において、ブロックに基づく勾配計算の利用条件は、アフィンパラメータａ、ｂ、ｃ及びｄの絶対値が事前定義範囲内にあることである。事前定義範囲は［Ｍ、Ｎ］として示し、Ｍ及びＮは正の数である。Ｍ及びＮは事前定義されるか、または、例えばＳＰＳ、ＰＰＳ、タイルグループヘッダ、タイルヘッダ、スライスヘッダなどのコーディングされたビットストリームにおいて、Ｍ及びＮをシグナリングする。

実施形態において、例えばブロックに基づく勾配計算において、ＣＢ全体に対してパディングを行う。隣接サンプルを含むサブブロックの対応するサブブロックＭＶを利用して補間を行うことで、ＣＢの隣接サンプルをパディングする（又は生成する）。ＣＢの参照ピクチャにおける最も近い整数サンプル位置に基づきコピーすることで、隣接サンプルを生成する。ＣＢにおける最も近いサンプルの予測に基づきコピーすることで、隣接サンプルを生成する。

図１３を参照し、ＣＢ（１３１０）における最も近いサンプル（１３０１）の予測に基づきコピーすることで、隣接サンプル（１３３０）を生成する。類似するように、最も近いサンプル（１３０１）の予測に基づきコピーすることで、隣接サンプル（１３３１）及び（１３３２）を生成する。

実施形態において、サブブロックサイズは、アフィンサブブロックの幅、アフィンサブブロックの高さ、ＣＢのＰＲＯＦのためのアフィンＰＲＯＦサブブロックの幅、アフィンＰＲＯＦサブブロックの高さ、ＰＲＯＦにおける勾配計算のための勾配サブブロックの幅及び勾配サブブロックの高さのうちの１つである。補間フィルタタイプは、（ｉ）第１長さ（例えば、６タップ）を有し、水平補間のための第１補間フィルタ、（ｉｉ）第２長さ（例えば、８タップ）を有し、水平補間のための第２補間フィルタ、（ｉｉｉ）第１長さを有し、垂直補間のための第１補間フィルタ、及び（ｉｖ）第２長さを有し、垂直補間のための第２補間フィルタのうちの１つである。前記のように、第２長さは第１長さより大きい。

サブブロックに基づくアフィン動きモデルを利用してＣＢに対してコーディングを行う場合、アフィンパラメータのうちの少なくとも１つに基づき、条件付きで、アフィンサブブロックサイズ、アフィンサブブロックの幅、アフィンサブブロックの高さ、補間フィルタタイプ、アフィンＰＲＯＦサブブロックサイズ、アフィンＰＲＯＦサブブロックの幅、アフィンＰＲＯＦサブブロックの高さ、勾配サブブロックサイズ、勾配サブブロックの幅及び勾配サブブロックの高さのうちの各々を切り替えることができる。

実施形態において、水平補間及び垂直補間に対して、サブブロックに基づくアフィン動き補償のための補間フィルタタップの長さ（例えば、６タップ、８タップ）及び／又はパラメータをそれぞれ選択できる。

実施形態において、アフィンパラメータのうちの少なくとも１つに基づき、サブブロック（例えば、アフィンサブブロック、アフィンＰＲＯＦサブブロック、勾配サブブロック）の幅及び高さをそれぞれ選択できる。

実施形態において、条件付きチェに使用するアフィンパラメータは、アフィンパラメータのサブセット、またはアフィンパラメータにおける１つ又は複数の組み合わせるであってもよい。

実施形態において、異なるアフィンパラメータ、又はアフィンパラメータの異なるサブセットは、複数の切り替え可能なサブブロック特性の条件チェックにそれぞれ適用される。前記のように、アフィンパラメータのうちの少なくとも１つ（例えば、（｜ａ｜，｜ｃ｜｝の最大値）に基づき、サブブロック特性（例えば、アフィンサブブロックサイズ）を決定できる。例示において、アフィンパラメータのうちの少なくとも他の１つ（例えば、｛｜ａ｜，｜ｃ｜｝の最小値、｛｜ａ｜，｜ｂ｜，｜ｃ｜，｜ｄ｜｝の最大値）に基づき。別の１つのサブブロック特性（例えば、補間フィルタタイプ）を決定できる。アフィンパラメータのうちの少なくとも他の１つは、アフィンパラメータのうちの少なくとも１つと異なるか、又は同様であってもよく、別のサブブロック特性は、サブブロック特性と異なってもよい。

実施形態において、選択されたアフィンパラメータに適用される１つ又は複数の条件は、最小値、最大値、最小絶対値、最大絶対値、値の範囲及び／又は平均値のうちの１つ、又はその任意の組み合わせるであってもよい。例示において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。（ｉ）複数のアフィンパラメータの閾値及び最小値、最大値、最小絶対値、最大絶対値又は平均値、及び（ｉｉ）複数のアフィンパラメータの事前定義範囲（例えば、［Ｍ、Ｎ］）、値の範囲のうちの１つに基づき、サブブロック特性を決定できる。

特定の例示において、例示として、６パラメータアフィン動きモデルを利用する。以上、式（７）及び式（９）で記述したアフィンパラメータａ、ｂ、ｃ及びｄは、アフィンサブブロックサイズ、補間フィルタタイプ（又は補間フィルタタップの長さ）、ＰＲＯＦ処理の、アフィンでの適用性に対する決定などに用いられる。当該記述は（１つ又は複数の）他のアフィン動きモデル（例えば、４パラメータアフィン動きモデル）に適切に適用される。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。サブブロックサイズは、アフィンサブブロックの幅、アフィンサブブロックの高さ、アフィンＰＲＯＦサブブロックの幅、アフィンＰＲＯＦサブブロックの高さ、勾配サブブロックの幅及び勾配サブブロックの高さのうちの１つである。補間フィルタタイプは、（ｉ）水平補間のための第１補間フィルタ（例えば、６タップ補間フィルタ）、（ｉｉ）水平補間のための第２補間フィルタ（例えば、８タップ補間フィルタ）、（ｉｉｉ）垂直補間のための第１補間フィルタ（例えば、６タップ補間フィルタ）、及び（ｉｖ）垂直補間のための第２補間フィルタ（例えば、８タップ補間フィルタ）のうちの１つである。

複数のアフィンパラメータの最大絶対値及び閾値に基づきサブブロック特性を決定できる。実施形態において、最大絶対値が閾値より大きいことに応じて、サブブロック特性は、（ｉ）サブブロックサイズが第１サイズ（例えば、４つのサンプル）であること、（ｉｉ）補間フィルタタイプが水平補間のための第１補間フィルタ（例えば、６タップ補間フィルタ）であること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための第１補間フィルタ（例えば、６タップ補間フィルタ）であることのうちの１つを指示することを決定する。最大絶対値が閾値以下であることに応じて、サブブロック特性は、（ｉ）サブブロックサイズが第２サイズ（例えば、８サンプル）であること、（ｉｉ）補間フィルタタイプが水平補間のための第２補間フィルタ（例えば、８タップ補間フィルタ）であること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための第２補間フィルタ（例えば、８タップ補間フィルタ）であることのうちの１つを指示することを決定する。

実施形態において、最大絶対値が閾値以上であることに応じて、サブブロック特性は、（ｉ）サブブロックサイズが４つのサンプルであること、（ｉｉ）補間フィルタタイプが水平補間のための６タップ補間フィルタであること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための６タップ補間フィルタであることのうちの１つを指示することを決定する。最大絶対値が閾値より小さいことに応じて、サブブロック特性は、（ｉ）サブブロックサイズが４つのサンプルより大きいこと、（ｉｉ）補間フィルタタイプが水平補間のための８タップ補間フィルタであること、及び（ｉｉｉ）補間フィルタタイプが垂直補間のための８タップ補間フィルタであることのうちの１つを指示することを決定する。

１つ又は複数のアフィンパラメータに基づき、アフィンサブブロックの幅を設置できる。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍ＿ｈｏｒ ＝ ｍａｘ ｛｜ａ｜，｜ｂ｜｝として示される）が閾値より大きい場合、アフィンサブブロックの幅は４つのサンプル（例えば、４つの輝度サンプル）に設置される。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値以下である場合、アフィンサブブロックの幅はＫ個のサンプル（例えば、輝度サンプル）に設置される。例示において、Ｋは４より大きく、例えば８である。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値が閾値以上である場合、アフィンサブブロックの幅は４つのサンプル（例えば、４つの輝度サンプル）に設置される。さもなければ、当ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値より小さい場合、アフィンサブブロックの幅はＫ個のサンプル（例えば、輝度サンプル）に設置される。例示において、Ｋは４より大きく、例えば８である。

１つ又は複数のアフィンパラメータに基づき、アフィンサブブロックの高さを設置できる。実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値（例えば、ｍａｘ＿ｐａｒａｍ＿ｖｅｒ ＝ ｍａｘ ｛｜ｃ｜，｜ｄ｜｝として示される）が閾値より高い場合、アフィンサブブロックの高さは４つのサンプルに設置される。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値以下である場合、アフィンサブブロックの高さはＫ個のサンプルに設置される。例示において、Ｋは４より大きく、例えば８である。実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値が閾値以上である場合、アフィンサブブロックの高さは４つのサンプルに設置される。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値より低い場合、アフィンサブブロックの高さはＫ個のサンプルに設置される。例示において、Ｋは４より大きく、例えば８である。

それぞれアフィンパラメータの第１サブセット及び第２サブセットに基づき、アフィンサブブロックの幅及び高さをそれぞれ設置できる。代替案として、アフィンパラメータにおける１つ又は複数に基づき、アフィンサブブロックの幅及び高さを含む領域を配置できる。

１つ又は複数のアフィンパラメータに基づき、補間フィルタ（例えば、異なる数のタップを含む第１補間フィルタ及び第２補間フィルタ）を配置できる。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値が閾値より高い場合、サブブロックに基づくアフィン動き補償（例えば、輝度ブロックの、サブブロックに基づくアフィン動き補償）は、６タップ補間フィルタ（例えば、輝度サンプルのための６タップ補間フィルタ）を水平補間に用いる。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値以下である場合、サブブロックに基づくアフィン動き補償は、８タップ補間フィルタを水平補間に用いる。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値が閾値以上である場合、サブブロックに基づくアフィン動き補償は６タップ補間フィルタを水平補間に用いる。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値より低い場合、サブブロックに基づくアフィン動き補償は、８タップ補間フィルタを水平補間に用いる。

１つの実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値が閾値より高い場合、サブブロックに基づくアフィン動き補償（例えば、輝度ブロックの、サブブロックに基づくアフィン動き補償）は６タップ補間フィルタ（例えば、輝度サンプルのための６タップ補間フィルタ）を垂直補間に用いる。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｖｅｒが閾値以下である場合、サブブロックに基づくアフィン動き補償は８タップ補間フィルタを垂直補間に用いる。１つの実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値が閾値以上である場合、サブブロックに基づくアフィン動き補償は６タップ補間フィルタを垂直補間に用いる。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｖｅｒが閾値より低い場合、サブブロックに基づくアフィン動き補償は８タップ補間フィルタを垂直補間に用いる。

１つ又は複数のアフィンパラメータに基づき、アフィンＰＲＯＦサブブロックの幅を設置できる。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値が閾値より高い場合、アフィンＰＲＯＦサブブロックの幅が４つのサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値以下である場合、アフィンＰＲＯＦサブブロックの幅がＫ個のサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。例示において、Ｋは４より大きく、例えば、８である。１つの実施形態において、ＣＢに対して、アフィンパラメータａ及びｂの絶対値の最大値が閾値以上である場合、アフィンＰＲＯＦサブブロックの幅が４つのサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値より低い場合、アフィンＰＲＯＦサブブロックの幅がＫ個のサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。例示において、Ｋは４より大きく、例えば８である。

１つ又は複数のアフィンパラメータに基づき、アフィンＰＲＯＦサブブロックの高さを設置できる。実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値が閾値より高い場合、アフィンＰＲＯＦサブブロックの高さが４つのサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値以下である場合、アフィンＰＲＯＦサブブロックの高さがＫ個のサンプルであることに基づき、アフィンＰＲＯＦを実行する。例示において、Ｋは４より大きく、例えば８である。実施形態において、ＣＢに対して、アフィンパラメータｃ及びｄの絶対値の最大値が閾値以上である場合、アフィンＰＲＯＦサブブロックの高さが４つのサンプル（例えば、輝度サンプル）であることに基づき、アフィンＰＲＯＦを実行する。さもなければ、ｍａｘ＿ｐａｒａｍ＿ｈｏｒが閾値より低い場合、アフィンＰＲＯＦサブブロックの高さがＫ個のサンプルであることに基づき、アフィンＰＲＯＦを実行する。例示において、Ｋは４より大きく、例えば８である。

それぞれアフィンパラメータの第１サブセット及び第２サブセットに基づき、アフィンＰＲＯＦサブブロックの幅及び高さをそれぞれ設置できる。代替案として、アフィンパラメータにおける１つ又は複数に基づき、アフィンＰＲＯＦサブブロックの幅及び高さを含む領域を設置する。

図１４は、本開示内容の実施形態によるプロセス（１４００）のフローチャートを示す。プロセス（１４００）はブロック（例えば、ＣＢ）の再構築に用いられることで、再構築中のブロックに対して予測ブロックを生成する。ブロックという用語は、予測ブロック、ＣＢ、輝度ＣＢ、ＣＵ、ＰＵなどに解釈できる。各実施形態において、プロセス（１４００）は処理回路システムにより実行され、当該処理回路システムは、例えば、端末機器（２１０）、（２２０）、（２３０）及び（２４０）における処理回路システム、ビデオ符号器（３０３）の機能を実行するための処理回路システム、ビデオデコーダ（３１０）の機能を実行するための処理回路システム、ビデオデコーダ（４１０）の機能を実行するための処理回路システム、ビデオ符号器（５０３）の機能を実行するための処理回路システムなどであってもよい。いくつかの実施形態において、ソフトウェア命令でプロセス（１４００）を実現するから、処理回路システムはソフトウェア命令を実行する際、処理回路システムはプロセス（１４００）を実行する。当該プロセスは（Ｓ１４０１）から始めて、（Ｓ１４１０）まで進む。

（Ｓ１４１０）で、コーディングされたビデオビットストリームから、ブロックのコーディング情報をデコーディングする。コーディング情報は、サブブロックに基づくアフィン動きモデルを利用してブロックに対してコーディングを行うように指示する。サブブロックに基づくアフィン動きモデルは、当該ブロックの複数のＣＰＭＶに基づくアフィンパラメータを含む。当該ブロックは、対応するサブブロックＭＶを有するアフィンサブブロックを含む。

アフィンパラメータは上記のアフィンパラメータ（例えば、式（７）～式（９）における「ａ」、「ｂ」、「ｃ」及び「ｄ」）と類似又は同様であってもよい。アフィンパラメータにおける１つ又は複数は、ＭＶ差（又はＭＶＤ）の、ブロックサイズ（例えば、ブロックの幅）に対する比率を指示する。図８Ａを参照し、第１アフィンパラメータ及び第２アフィンパラメータは、ＣＰＭＶ１とＣＰＭＶ０との間のＭＶＤの、ＣＢ（８１０Ａ）の幅に対する比率を指示する。より具体的に、第１アフィンパラメータは、ＣＰＭＶｌとＣＰＭＶ０との間のＭＶＤのｘ成分の、ブロック（例えば、８１０Ａ）の幅に対する比率を指示する。第２アフィンパラメータは、ＣＰＭＶｌとＣＰＭＶ０との間のＭＶＤのｙ成分の、ブロックの幅に対する比率を指示する。

一般的に、（ｉ）～（ｉｉｉ）のうちの１つに基づき、（ｉ）ＭＶＤの、ブロックサイズに対する比率、（ｉｉ）２つの隣接アフィンサブブロックのＭＶＤ、及び（ｉｉｉ）２つの隣接サンプルのＭＶＤにおける他方を決定できる。例えば、当該ブロックは１６×１６個のサンプルを含み、４×４個のサンプルのアフィンサブブロックサイズを有する１６個のアフィンサブブロックに区画される。ＣＰＭＶ１とＣＰＭＶ０との間のＭＶＤのｘ成分（例えば、ｍｖ_１ｘ－ｖｍ_０ｘ）は４画素であるから、ＭＶＤの、ブロックサイズに対する比率が、４画素／１６サンプル ＝ ０.２５画素／サンプルに等しい。従って、２つの隣接サンプルのＭＶＤは０.２５画素であり、２つの隣接アフィンサブブロックのＭＶＤは１画素である。

前記のように、「ａ」、「ｂ」、「ｃ」及び／又は「ｄ」を含むことに加えて、または「ａ」、「ｂ」、「ｃ」及び／又は「ｄ」を含むことに代わって、アフィンパラメータは、ピンチアウト／ピンチイン、回転などのようなブロックの各種の動きを記述するためのパラメータを含んでもよい。

（Ｓ１４２０）で、コーディング情報に基づき、サブブロック特性を選択するかどうかを決定することで、対応するサブブロックＭＶに基づき、アフィンサブブロックの１つにおけるサンプルに対する予測を生成する。

例示において、サンプルに対する予測は、サブブロックに基づくアフィン動き補償を利用する予測（例えば、初期サブブロック予測Ｉ（ｉ，ｊ））を指し、例えば、図１２の、ステップ（１）に記載の予測を参照する。

サンプルに対する予測は、精密化予測を指してもよい。任意の適切な予測精密化方法（例えば、ＰＲＯＦ）を利用して、精密化予測を生成する。図１２を再び参照し、例示において、予測は、初期予測Ｉ（ｉ，ｊ）及び予測精密化ΔＩ（ｉ，ｊ）に基づき取得した精密化予測Ｉ’（ｉ，ｊ）を指す。

サブブロック特性は、サンプルに対する予測を生成するためのサブブロックサイズ、アフィンサブブロックのための補間フィルタタイプなどを指示する。

サブブロックサイズは、アフィンサブブロックのサイズ（例えば、幅及び／又は高さ）、当該ブロックに対してＰＲＯＦで使用するアフィンＰＲＯＦサブブロックのサイズ（例えば、幅及び／又は高さ）、ＰＲＯＦの勾配計算で使用する勾配サブブロックのサイズ（例えば、幅及び／又は高さ）を含むか、または指示してもよい。例示において、アフィンサブブロックサイズ、アフィンＰＲＯＦサブブロックサイズ及び勾配サブブロックサイズは同じである。例示において、勾配サブブロックサイズは、アフィンサブブロックサイズ、及びアフィンＰＲＯＦサブブロックサイズより大きい。

サブブロックサイズは任意の適切なサイズ（例えば、任意の適切な幅及び／又は任意の適切な高さ）を含んでもよい。例示において、第１サイズ（例えば、第１幅及び／又は第１高さ）と第２サイズ（例えば、第２幅及び／又は第２高さ）との間に、条件付きでサブブロックサイズを選択するか、又は切り替える。第２サイズ（例えば、８つのサンプル、又は８×８サンプル）は第１サイズ（例えば、４つのサンプル、又は４×４サンプル）より大きい。

補間フィルタタイプは、任意の適切な長さ（例えば、６タップ、８タップ）を有する補間フィルタであってもよい。補間フィルタタイプは、（ｉ）第１長さ（例えば、６タップ）を有し、水平補間のための第１補間フィルタ、（ｉｉ）第２長さ（例えば、８タップ）を有し、水平補間のための第２補間フィルタ、（ｉｉｉ）第１長さを有し、垂直補間のための第１補間フィルタ、（ｉｖ）第２長さを有し、垂直補間のための第２補間フィルタ、（ｖ）第１長さを有し、補間のための第１補間フィルタ、及び（ｖｉ）第２長さを有し、補間のための第２補間フィルタのうちの１つであってもよい。第２長さは第１長さより大きい。複数の（ｉ）～（ｖｉ）において、条件付きで補間フィルタタイプを選択するか、又は切り替える。

サブブロック特性を選択することに応じて、サンプルに対する予測を生成し、プロセス（１４００）は（Ｓ１４３０）に進む。さもなければ、プロセス（１４００）は（Ｓ１４９９）に進み、終了する。

（Ｓ１４３０）で、前記のように、アフィンパラメータのうちの少なくとも１つに基づき、サブブロック特性を決定する。サブブロック特性は、（ｉ）サンプルに対する予測を生成するためのサブブロックサイズ、及び（ｉｉ）アフィンサブブロックのための補間フィルタタイプのうちの１つを指示する。

実施形態において、前記のように、アフィンパラメータのうちの少なくとも１つ、及び（ｉ）閾値と（ｉｉ）事前定義範囲（例えば、［Ｍ、Ｎ］）とのうちの１つに基づき、サブブロック特性を決定する。サブブロックサイズはアフィンサブブロックサイズであってもよく、補間フィルタタイプは第１補間フィルタ又は第２補間フィルタを含んでもよい。

実施形態において、当該ブロックはＰＲＯＦの勾配計算のための勾配サブブロックを含み、サブブロックサイズは勾配サブブロックのサイズである。勾配計算は、（ｉ）サブブロックサイズがブロックサイズに等しい、ブロックに基づく勾配計算、又は（ｉｉ）サブブロックサイズがブロックサイズより小さい、サブブロックに基づく勾配計算である。例示において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。（ｉ）複数のアフィンパラメータの絶対値の最大値、又は最小値、閾値、及び（ｉｉ）絶対値、事前定義範囲のうちの１つに基づき、勾配計算がブロックに基づくか、それともサブブロックに基づくかを決定する。

実施形態において、アフィンパラメータのうちの少なくとも１つは複数のアフィンパラメータを含む。（ｉ）複数のアフィンパラメータの閾値、最小値、最大値、最小絶対値、最大絶対値又は平均値、及び（ｉｉ）事前定義範囲（例えば、［Ｍ、Ｎ］）、値の範囲のうちの１つに基づき、サブブロック特性を決定する。

（Ｓ１４２０）及び／又は（Ｓ１４３０）は繰り返してもよい。（Ｓ１４２０）及び（Ｓ１４３０）は、例えば、アフィンパラメータの第１サブセットに基づき、４×４輝度サンプルのアフィンサブブロックサイズになるようにサブブロック特性を決定する。（Ｓ１４２０）及び（Ｓ１４３０）は繰り返してもよく、例えば、アフィンパラメータの第２サブセットに基づき、サブブロック特性を勾配サブブロックサイズに決定し、勾配サブブロックサイズはブロックのサイズである。従って、アフィンサブブロックサイズは４×４輝度サンプルであり、勾配サブブロックサイズはブロックのサイズである。

（Ｓ１４４０）で、決定したサブブロック特性に基づき、アフィンサブブロックにおけるサンプルを再構築する。例えば、アフィンサブブロックサイズが４×４輝度サンプルであり、勾配サブブロックサイズがブロックのサイズであるように、ＰＲＯＦを有するサブブロックに基づくアフィン動きモデルを実現し、アフィンＰＲＯＦサブブロックサイズがアフィンサブブロックサイズに等しい。従って、アフィンサブブロックサイズ及び勾配サブブロックサイズに基づき、精密化予測Ｉ’（ｉ，ｊ）を取得する。例示において、精密化予測Ｉ’（ｉ，ｊ）及びサンプルの残差（例えば、残差がゼロではない場合）に基づき、再構築されたサンプル値を決定する。

例えば、ブロックに基づく勾配計算に対して、（ｉ）隣接サンプルを含むサブブロックの対応するサブブロックＭＶを利用して補間を行うステップ、（ｉｉ）当該ブロックの参照ピクチャにおける最も近い整数サンプル位置に基づき、コピーするステップ、及び（ｉｉｉ）当該ブロックにおける最も近いサンプルの予測に基づきコピーするステップのうちの１つを介して、当該ブロックの隣接サンプルをパディングし、当該ブロックの隣接サンプルは、ブロックに基づく勾配計算に用いられる。

プロセス（１４００）は適切に各種のシーンに適用されるとともに、プロセス（１４００）におけるステップを対応するように調整できる。プロセス（１４００）におけるステップのうちの１つ又は複数を調整、省略、繰り返し及び／又は組み合わせることができる。任意の適切な順序でプロセス（１４００）を実現してもよい。（１つ又は複数の）他のステップを追加してもよい。

本開示内容の実施形態は単独に使用してもよいし、又は任意の順序で組み合わせてもよい。また、方法（又は実施形態）、符号器及びデコーダのうちのそれぞれは、処理回路システム（例えば、１つ又は複数のプロセッサー、または１つ又は複数の集積回路）により実現してもよい。１つの例示において、１つ又は複数のプロセッサーは、非一時的なコンピュータ読み取り媒体に記憶されるプログラムを実行する。

前記技術は、コンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、物理的に１つまたは複数のコンピュータ読み取り可能な媒体に記憶される。例えば、図１５は、開示テーマを実現するためのいくつかの実施形態に適用されるコンピュータシステム（１５００）を示す。

いずれかの適切なマシンコードまたはコンピュータ言語によって、コンピュータソフトウェアをコーディングし、いずれかの適切なマシンコードまたはコンピュータ言語は、アセンブリ、コンパイル、リンクなどのメカニズムを介して、命令が含まれるコードを構築し、命令は１つまたは複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコードによって実行される。

命令は、各種タイプのコンピュータまたはその部材で実行でき、各種タイプのコンピュータまたはその部材は、例えば、パーソナルコンピュータ、タブレット、サーバー、スマートフォン、ゲーム装置、モノのインターネット装置などを含む。

図１５に示すコンピュータシステム（１５００）の部材は、本開示内容を実現するための実施形態のコンピュータソフトウェアの使用範囲または機能に対して限定するためのものではなく、本質に例示的である。部材の配置も、コンピュータシステム（１５００）の例示的な実施形態に示した部材のうちのいずれか１つの部材、または部材の組み合わせに関するいずれかの依存性または要求を有するように解釈されるべきではない。

コンピュータシステム（１５００）は、特定のマンマシンインタフェース入力機器を含んでもよい。このようなマンマシンインタフェース入力機器は、１つまたは複数の人類ユーザの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、拍手）、視覚入力（例えば：姿勢）、嗅覚入力（図示せず）による入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識入力に直接的に関連するものではない特定の媒体をキャプチャするために使用し、例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば、スキャン画像、静態画像撮影装置から取得した写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）である。

入力マンマシンインタフェース機器は、キーボード（１５０１）、マウス（１５０２）、タッチパッド（１５０３）、タッチパネル（１５１０）、データグローブ（図示せず）、ジョイスティック（１５０５）、マイク（１５０６）、スキャナ（１５０７）、カメラ（１５０８）のうちの１つまたは複数を含んでもよい（記載の各々のうちの、１つだけ）。

コンピュータシステム（１５００）は、さらに特定のマンマシンインタフェース出力機器を含んでもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つまたは複数の人類ユーザの感覚を刺激できる。このようなマンマシンインタフェース出力機器は、触覚出力機器（例えば、タッチパネル（１５１０）、データグローブ（図示せず）またはジョイスティック（１５０５）による触覚フィードバックがあるが、入力機器として用いられない触覚フィードバック機器が存在してもよい）、オーディオ出力機器（例えば：スピーカー（１５０９）、ヘッドフォン（図示せず））、視覚出力機器（例如、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンが含まれるスクリーン（１５１０）であって、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有しなくてもよく、そのうちのいくつかは、例えば立体画像出力（ｓｔｅｒｅｏｇｒａｐｈｉｃ ｏｕｔｐｕｔ）という方式で、２次元の視覚出力または３次元以上の出力を行う可能性があり、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ、スモークタンク（図示せず））、及びプリンター（図示せず）を含む。

コンピュータシステム（１５００）は、さらに、人類がアクセスし得る記憶機器、及びその関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１５２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１５２０）が含まれる光学媒体、サムドライブ（１５２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１５２３）、伝統磁気媒体（例えば、磁気テープ及びフロッピーディスク（図示せず））、専門ＲＯＭ／ＡＳＩＣ／ＰＬＤによる機器（例えば、ドングル（図示せず））などがある。

当業者はまた、開示した主題と関連して使用される用語「コンピュータ読み取り可能な媒体」が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。

コンピュータシステム（１５００）は、さらに、１つまたは複数の通信ネットワークに達するインタフェースを含んでもよい。ネットワークは、例えば無線ネットワーク、有線ネットワーク、光ネットワークであってもよい。ネットワークはさらに、ロカールネットワーク、広域エリアネットワーク、メトロポリタンエリアネットワーク、車両及び工業ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例示は、イーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれるセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。特定のネットワークは一般的に、特定の汎用データポートまたは周辺バス（１５４９）（例えば、コンピュータシステム（１５００）のＵＳＢポート）に連結される外部ネットワークインターフェースアダプタを必要とし、他のネットワークは一般的に、以下のように（例えば、ＰＣコンピュータシステムに達するイーサネットインタフェース、またはスマートフォンコンピュータシステムに達するセルラーネットワークインターフェース）システムバスに連結されることで、コンピュータシステム（１５００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークによって、コンピュータシステム（１５００）は他のエンティティと通信できる。このような通信は、一方向で、受信だけで（例えば、放送テレビ）、一方向で送信だけで（例えば、いくつかのＣＡＮバス機器に達するＣＡＮバス）、または双方向で、例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムに達する。以上に記載のこれらのネットワーク及びネットワークインターフェースのうちの各々で、特定のプロトコル及びプロトコルスタックを利用できる。

以上に言及されたマンマシンインタフェース機器、人類がアクセスし得る記憶機器及びネットワークインターフェースは、コンピュータシステム（１５００）のコア（１５４０）に連結できる。

コア（１５４０）は、１つまたは複数の中央処理ユニット（ＣＰＵ）（１５４１）、グラフィック処理ユニット（ＧＰＵ）（１５４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１５４３）形式の専門プログラム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１５４４）などを含んでもよい。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１５４５）、ランダムアクセスメモリ（１５４６）、例えば内部のユーザがアクセスできないハードディスクドライブ、ＳＳＤ等などの内部大容量記憶装置（１５４７）とともに、システムバス（１５４８）を介して接続できる。特定のコンピュータシステムにおいて、１つまたは複数の物理プラグという形式でシステムバス（１５４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接地的または周辺バス（１５４９）を介してコアのシステムバス（１５４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１５４１）、ＧＰＵ（１５４２）、ＦＰＧＡ（１５４３）及びアクセラレータ（１５４４）は特定の命令を実行でき、これらの命令を組み合わせることで、以上に言及されたコンピュータコードを構成できる。コンピュータコードはＲＯＭ（１５４５）またはＲＡＭ（１５４６）に記憶される。移行データもＲＡＭ（１５４６）に記憶され、永久データは、例えば内部大容量記憶装置（１５４７）に記憶される。キャッシュメモリによって記憶機器のうちのいずれかの記憶機器の快速記憶及び検索を実現でき、キャッシュメモリは１つまたは複数のＣＰＵ（１５４１）、ＧＰＵ（１５４２）、大容量記憶装置（１５４７）、ＲＯＭ（１５４５）、ＲＡＭ（１５４６）などに密接に関連できる。

コンピュータ読み取り可能な媒体は、コンピュータが実現する各種動作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門的に設計され構築される媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェア領域の当業者にとって公知且つ利用可能なタイプであってもよい。

限定的ではなく、例示として、（１つまたは複数）プロセッサー（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）によって、１つまたは複数の有形コンピュータ読み取り可能な媒体に具現化されるソフトウェアを実行するため、アーキテクチャ（１５００）、特にコア（１５４０）を有するコンピュータシステムは機能を提供する。このようなコンピュータ読み取り可能な媒体は、以上紹介したユーザがアクセスし得る大容量記憶装置に関連する媒体、及び非一時的なコア（１５４０）を有する特定の記憶装置、例えば、コア部大容量記憶装置（１５４７）またはＲＯＭ（１５４５）であってもよい。本開示内容を実現するための各種実施形態のソフトウェアはこのような機器に記憶されるとともに、コア（１５４０）によって実行されてもよい。特定の必要に基づき、コンピュータ読み取り可能な媒体には１つまたは複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１５４０）、特にプロセッサー（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書に記載の、ＲＡＭ（１５４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されるプロセスに基づき、このようなデータ構成を修正することが含まれる、特定プロセスまたは特定プロセスの特定部分を実行させる。また、代わりとして、コンピュータシステムは論理的なハードワイヤード、または他の方式で回路（例えば、アクセラレータ（１５４４））に具現化されるロジックに機能を提供でき、回路はソフトウェアの代わりとして動作するか、またはソフトウェアとともに動作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行してもよい。言及されたソフトウェアには適切な場合、ロジックが含まれてもよいし、逆も同様である。言及されたコンピュータ読み取り可能な媒体には、適切な場合、実行のためのソフトウェアを記憶する回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現化する回路、または以上の両者が含まれてもよい。本開示内容には、ハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。
付録Ａ：頭字語
ＪＥＭ：共同探索モデル
ＶＶＣ：多機能ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：補充強化情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：コーディングツリーユニット
ＣＴＢ：コーディングツリーブブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィック処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバルモバイルシステムオブシステム
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラム可能なゲートアレイ
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：コーディングユニット
ＡＭＶＰ：高度動きベクトル予測
ＨＭＶＰ：履歴に基づくＭＶＰ
ＭＭＶＤ：ＭＶＤとマージする
ＭＶＤ：動きベクトル差
ＭＶＰ：動きベクトル予測器
ＳｂＴＭＶＰ：サブブロックに基づくＴＭＶＰ
ＴＭＶＰ：時間ＭＶＰ
ＶＴＭ：多機能テストモデル

本開示がいくつかの例示的な実施形態を説明しているが、開示の範囲内に含まれる変更、順列、および様々な代替等価物がある。従って、当業者は、本明細書に明示的に示されていないが本明細書の原理を具体化し本開示の精神および範囲内にある多数のシステムおよび方法を考案することができる。

Claims (13)

1. デコーダにおけるビデオデコーディングを行うための方法であって、
   コーディングされたビデオビットストリームから、現在ブロック（ＣＢ）のコーディング情報に対してデコーディングを行うステップであって、前記コーディング情報は、サブブロックに基づくアフィン動きモデルを利用して前記ＣＢに対してコーディングを行うように指示し、前記サブブロックに基づくアフィン動きモデルは、前記ＣＢの複数の制御ポイント（ＣＰ）動きベクトル（ＭＶ）（ＣＰＭＶ）に基づくアフィンパラメータを含み、前記ＣＢは、サブブロックＭＶを有するアフィンサブブロックを含むステップと、
   前記コーディング情報に基づき、前記サブブロックＭＶに基づき前記アフィンサブブロックにおけるサンプルに対する予測を生成するためのサブブロック特性を選択するかどうかを決定するステップと、
   前記サブブロック特性の選択に応じて、前記アフィンパラメータのうちの少なくとも１つに基づき、前記サブブロック特性を決定するステップであって、前記サブブロック特性は、（ｉ）前記サンプルに対する予測を生成するためのサブブロックサイズ、及び（ｉｉ）前記アフィンサブブロックのための補間フィルタタイプのうちの１つを指示するステップと、
   決定されたサブブロック特性に基づき、前記アフィンサブブロックにおける前記サンプルを再構築するステップと、を含む方法。
2. 前記サブブロックに基づくアフィン動きモデルが、４パラメータに基づくアフィン動きモデルの場合、
   前記ＣＢは、第１ＣＰＭＶを有する左上ＣＰ、及び第２ＣＰＭＶを有する右上ＣＰを含み、
   前記アフィンパラメータは、第１アフィンパラメータ及び第２アフィンパラメータを含み、前記第１アフィンパラメータは、前記第２ＣＰＭＶと前記第１ＣＰＭＶとの間の第１ＭＶ差のｘ成分の、前記ＣＢの幅に対する比率を指示し、前記第２アフィンパラメータは、前記第１ＭＶ差のｙ成分の、前記ＣＢの幅に対する比率を指示し、
   前記サブブロックに基づくアフィン動きモデルが、６パラメータ基づくアフィン動きモデルに場合、
   前記ＣＢは、前記第１ＣＰＭＶを有する左上ＣＰ、前記第２ＣＰＭＶを有する右上ＣＰ、及び第３ＣＰＭＶを有する左下ＣＰを含み、
   前記アフィンパラメータは、前記第１アフィンパラメータ、前記第２アフィンパラメータ、第３アフィンパラメータ及び第４アフィンパラメータを含み、前記第３アフィンパラメータは、前記第３ＣＰＭＶと前記第１ＣＰＭＶとの間の第２ＭＶ差のｘ成分の、前記ＣＢの高さに対する比率を指示し、前記第４アフィンパラメータは、前記第２ＭＶ差のｙ成分の、前記ＣＢの高さに対する比率を指示する請求項１に記載の方法。
3. 前記サブブロック特性を決定するステップはさらに、
   前記アフィンパラメータのうちの少なくとも１つ、及び（ｉ）閾値と（ｉｉ）事前定義範囲とのうちの１つに基づき、前記サブブロック特性を決定するステップを含み、前記サブブロックサイズは前記アフィンサブブロックのアフィンサブブロックサイズであり、前記補間フィルタタイプは第１長さを有する第１補間フィルタ、又は第２長さを有する第２補間フィルタを含み、前記第１長さは前記第２長さより小さい請求項２に記載の方法。
4. 前記アフィンパラメータのうちの少なくとも１つは、複数のアフィンパラメータを含み、
   前記サブブロック特性を決定するステップは、
   前記複数のアフィンパラメータの絶対値が事前定義条件を満たすかどうかを決定するステップであって、前記事前定義条件は、（ｉ）前記絶対値の最大値が前記閾値より大きいこと、（ｉｉ）前記絶対値の最大値が前記閾値以上であること、（ｉｉｉ）前記絶対値の最小値が前記閾値より大きいこと、（ｉｖ）前記絶対値の最小値が前記閾値以上であること、及び（ｖ）前記絶対値が前記事前定義範囲外にあることのうちの１つであるステップと、
   前記絶対値が前記事前定義条件を満たすことに応じて、前記サブブロック特性を、前記アフィンサブブロックサイズが第１サイズであること、及び前記補間フィルタタイプが前記第１補間フィルタであることのうちの１つを指示するように決定するステップと、
   前記絶対値が前記事前定義条件を満たさないことに応じて、前記サブブロック特性を、前記アフィンサブブロックサイズが第２サイズであること、及び前記補間フィルタタイプが前記第２補間フィルタであることのうちの１つを指示するように決定するステップであって、前記第２サイズは前記第１サイズより大きいステップと、を含む請求項３に記載の方法。
5. 前記ＣＢは、前記ＣＢのオプティカルフローによる予測精密化（ＰＲＯＦ）における勾配計算のための勾配サブブロックを含み、
   前記サブブロックサイズは、前記勾配サブブロックのサイズであり、
   前記勾配計算は、（ｉ）前記サブブロックサイズが前記ＣＢのブロックサイズに等しい、ブロックに基づく勾配計算、または（ｉｉ）前記サブブロックサイズが前記ブロックサイズより小さい、サブブロックに基づく勾配計算である請求項２に記載の方法。
6. 前記アフィンパラメータのうちの少なくとも１つは、複数のアフィンパラメータを含み、
   前記方法はさらに、（ｉ）前記複数のアフィンパラメータの絶対値の最大値、又は最小値、閾値、及び（ｉｉ）前記絶対値、事前定義範囲のうちの１つに基づき、前記勾配計算がブロックに基づくか、それともサブブロックに基づくかを決定するステップを含む請求項５に記載の方法。
7. さらに、
   前記ブロックに基づく勾配計算について、（ｉ）前記隣接サンプルを含むサブブロックの対応するサブブロックＭＶを利用して補間を行うこと、（ｉｉ）前記ＣＢの参照ピクチャにおける最も近い整数サンプル位置に基づきコピーすること、及び（ｉｉｉ）前記ＣＢにおける最も近いサンプルの予測に基づきコピーすることのうちの１つにより、前記ＣＢの隣接サンプルをパディングするステップを含み、前記ＣＢの隣接サンプルは、前記ブロックに基づく勾配計算に用いられる請求項５に記載の方法。
8. 前記サブブロックサイズは、前記アフィンサブブロックの幅、前記アフィンサブブロックの高さ、前記ＣＢのＰＲＯＦで使用されるアフィンＰＲＯＦサブブロックの幅、前記アフィンＰＲＯＦサブブロックの高さ、前記ＰＲＯＦの勾配計算で使用される勾配サブブロックの幅及び前記勾配サブブロックの高さのうちの１つであり、
   前記補間フィルタタイプは、（ｉ）第１長さを有し、水平補間のための第１補間フィルタ、（ｉｉ）第２長さを有し、前記水平補間のための第２補間フィルタ、（ｉｉｉ）第１長さを有し、垂直補間のための第１補間フィルタ、及び（ｉｖ）第２長さを有し、前記垂直補間のための第２補間フィルタのうちの１つであり、前記第２長さは前記第１長さより大きい請求項２に記載の方法。
9. さらに、
   前記アフィンパラメータのうちの少なくとも他の１つに基づき、他の１つのサブブロック特性を決定するステップを含み、前記アフィンパラメータのうちの少なくとも他の１つは、前記アフィンパラメータのうちの少なくとも１つと異なるか又は同様であり、他のサブブロック特性は前記サブブロック特性と異なる請求項１－８のうちの何れか１項に記載の方法。
10. 前記アフィンパラメータのうちの少なくとも１つは、複数のアフィンパラメータを含み、
    前記サブブロック特性を決定するステップは、（ｉ）閾値及び前記複数のアフィンパラメータの最小値、最大値、最小絶対値、最大絶対値又は平均値、及び（ｉｉ）前記複数のアフィンパラメータの事前定義範囲と値の範囲のうちの１つに基づき、前記サブブロック特性を決定するステップを含む請求項１－９のうちの何れか１項に記載の方法。
11. 前記アフィンパラメータのうちの少なくとも１つは、複数のアフィンパラメータを含み、
    前記複数のアフィンパラメータの最大絶対値及び閾値に基づき、前記サブブロック特性を決定し、
    前記最大絶対値が前記閾値より大きいこと、及び前記閾値以上であることの１つに応じて、前記サブブロック特性を、（ｉ）前記サブブロックサイズが第１サイズであること、（ｉｉ）前記補間フィルタタイプが前記水平補間のための第１補間フィルタであること、及び（ｉｉｉ）前記補間フィルタタイプが前記垂直補間のための第１補間フィルタであることのうちの１つを指示するように決定し、
    前記最大絶対値が前記閾値より小さいこと、及び前記閾値以下であることの１つに応じて、前記サブブロック特性を、（ｉ）前記サブブロックサイズが第２サイズであること、（ｉｉ）前記補間フィルタタイプが前記水平補間のための第２補間フィルタであること、及び（ｉｉｉ）前記補間フィルタタイプが前記垂直補間のための第２補間フィルタであることのうちの１つを指示するように決定し、前記第２サイズは前記第１サイズより大きい請求項８に記載の方法。
12. ビデオデコーディングのための機器であって、請求項１～１１の何れか一項に記載の方法を実行する処理回路を含む機器。
13. エンコーダにおけるビデオエンコーディングを行うための方法であって、
    コーディング情報を含むコーディングされたビデオビットストリームを生成してデコーダへ送信するステップを含み、
    前記コーディング情報は、サブブロックに基づくアフィン動きモデルを利用して現在ブロック（ＣＢ）はコーディングされていることを示し、前記サブブロックに基づくアフィン動きモデルは、前記ＣＢの複数の制御ポイント（ＣＰ）動きベクトル（ＭＶ）（ＣＰＭＶ）に基づくアフィンパラメータを含み、前記ＣＢは、サブブロックＭＶを有するアフィンサブブロックを含み、
    前記サブブロックＭＶに基づく前記アフィンサブブロックにおけるサンプルに対する予測を生成するために、サブブロック特性の選択に応答して、前記アフィンパラメータのうちの少なくとも１つに基づき、前記サブブロック特性が決定され、前記サブブロック特性は、（ｉ）前記サンプルに対する予測を生成するためのサブブロックサイズ、及び（ｉｉ）前記アフィンサブブロックのための補間フィルタタイプのうちの１つを指示し、
    決定されたサブブロック特性に基づき、前記アフィンサブブロックにおける前記サンプルは再構築される、方法。
    
    

Images