JP2022532629A - サブブロックマージモードでのシンタックスシグナリング - Google Patents

Abstract

視覚メディア処理の方法は、視覚メディアデータのビットストリーム表現におけるアフィン適応動きベクトル分解（ＡＭＶＲ）技術に関する制御情報に応じて、視覚メディアデータに対してアフィンＡＭＶＲ技術を使用すべきかどうかを決定するステップであり、制御情報が、規則に基づき前記ビットストリーム表現において包含又は削除される、ステップと、視覚メディアデータと視覚メディアデータのビットストリーム表現との間の変換を実行するステップとを含む。

Description

［関連出願への相互参照］
適用可能な特許法、及び／又はパリ条約に従う規則の下で、本願は、２０１９年５月２１日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０８７８０５号に対する優先権及びその利益を適時請求するようになされる。法の下での全ての目的のために、上記の出願の開示全体は、本願の開示の部分として参照により援用される。

本特許文献は、ビデオ符号化／復号化技術、デバイス、及びシステムに関する。

ビデオ圧縮の進歩にかかわらず、デジタルビデオは依然として、インターネット及び他のデジタル通信ネットワーク上で最大バンド幅使用を占める。ビデオを受信及び表示することが可能なユーザデバイスの接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は成長し続けることが予期される。

本明細書は、サブブロックベースの動きベクトル精緻化を用いてビデオ符号化又は復号化が実行される様々な実施形態及び技術について記載する。一例となる態様では、視覚メディア処理の方法が開示される。方法は、視覚メディアデータのビットストリーム表現におけるアフィン適応動きベクトル分解（ＡＭＶＲ）技術に関する制御情報に応じて、前記視覚メディアデータに対して前記アフィンＡＭＶＲ技術を使用すべきかどうかを決定するステップであり、前記制御情報は、規則に基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の変換を実行するステップとを含む。

他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、サブブロックベースの時間的動きベクトル予測（subblock-based Temporal Motion Vector Prediction，ｓｂＴＭＶＰ）技術が視覚メディアデータに適用されるか否かの決定を行うステップと、該決定に応答して、前記視覚メディアデータに含まれる現在のビデオブロックについてサブブロックマージ候補リストを生成するステップと、該サブブロックマージ候補リストを用いて、前記現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップとを含む。

更なる他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストに１つ以上のデフォルトのマージ候補を付け足すステップと、付け足された前記１つ以上のデフォルトのマージ候補を含む前記サブブロックマージ候補リストを用いて、前記変換を実行するステップとを含む。

更なる他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、ビデオの現在のビデオブロックとビットストリーム表現との間の変換中に、該変換へのサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）の適用可能性を決定するステップであり、前記ビットストリーム表現中の１つ以上のビットが前記決定に対応する、前記決定するステップと、前記決定に基づき前記変換を実行するステップとを含む。

更なる他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、時間的動きベクトル予測（ＴＭＶＰ）ステップ又はサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）ステップに関連した条件に基づき選択的にサブブロックマージ候補リストを構成するステップと、該サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップとを含む。

更なる他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、視覚メディアデータと該視覚メディアデータのビットストリーム表現との間の変換中に、前記視覚メディアデータに関連した同一位置（collocated）参照ピクチャに関する情報を決定するステップであり、前記情報は、時間動き情報にアクセスするコーディングモードが有効にされるかどうかに基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、前記情報に従って前記同一位置参照ピクチャを決定するステップと、該同一位置参照ピクチャに基づき、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の前記変換を実行するステップとを含む。

更なる他の例となる態様では、視覚メディア処理の他の方法が開示される。方法は、視覚メディアデータのビデオブロックと前記視覚メディアデータのビットストリーム表現との間の変換を実行するステップと、該変換中に、規則に基づき前記ビットストリーム表現において包含又は削除される制御情報に応じて、オプティカルフローを使用した予測精緻化（Predictive Refinement using Optical Flow，ＰＲＯＦ）を適用すべきかどうか決定するステップとを含む。

更なる他の例となる態様では、上記の方法を実装するよう構成されたプロセッサを有するビデオ符号化及び／又は復号化装置が開示される。

更なる他の例となる態様では、コンピュータ可読媒体が開示される。コンピュータ可読媒体は、上記の方法の１つを具現するプロセッサ実行可能なコードを記憶している。

これら及び他の態様は、本明細書で更に記載される。

マージ候補リスト構成のための導出プロセスの例を示す。 空間的候補の位置の例を示す。 空間マージ候補の冗長性検査のために考慮される候補対の例を示す。 Ｎ×２Ｎ及び２Ｎ×Ｎパーティションの第２ＰＵの位置の例を示す。 Ｎ×２Ｎ及び２Ｎ×Ｎパーティションの第２ＰＵの位置の例を示す。 時間マージ候補に対する動きベクトルスケーリングの実例である。 時間マージ候補の候補位置Ｃ０及びＣ１の例を示す。 複合双予測マージ候補の例を示す。 動きベクトル予測候補の導出プロセスを要約する。 空間動きベクトル候補に対する動きベクトルスケーリングの実例を示す。 ＣＵに対する適応時間動きベクトル予測（ＡＴＭＶＰ）の例を示す。 ４つのサブブロック（Ａ～Ｄ）を含む１つのＣＵ及びその隣接するブロック（ａ～ｄ）の例を示す。 異なるＭＶ精度による符号化の例となるフローチャートである。 （ａ）は、１３５°パーティションタイプ（左上隅から右下隅への分割）及び（ｂ）４５°分割パターンを示す。 隣接ブロックの例となる位置を示す。 ＴＰＭフラグコーディングでコンテキスト選択のために使用される隣接ブロック（Ａ及びＬ）を示す。 （ａ）４パラメータアフィンモデル及び（ｂ）６パラメータアフィンモデルを示す。 サブブロックごとのアフィンＭＶＦの例を示す。 （ａ）４パラメータアフィンモデル及び（ｂ）６パラメータアフィンモデルを示す。 遺伝的アフィン候補に対するＡＦ＿ＩＮＴＥＲのためのＭＶＰを示す。 構成されたアフィン候補に対するＡＦ＿ＩＮＴＥＲのためのＭＶＰを示す。 （ａ）５つの隣接ブロック及び（ｂ）ＣＰＭＶ予測子導出の例を示す。 アフィンマージモードのための例となる候補の位置を示す。 ＡＴＭＶＰによって使用される空間隣接ブロックの例を示す。 空間近傍からの動きシフトを適用し、対応する同一位置サブＣＵからの動き情報をスケーリングすることによってサブＣＵ動き場を導出する例を示す。 アフィンマージモードのための候補の位置を示す。 変更されたマージリストの構成プロセスを示す。 サブブロックＭＶ ＶＳＢ及びピクセルΔｖ（ｉ，ｊ）（赤色矢印）を示す。 本明細書で記載される方法を実装するために使用されるハードウェアプラットフォームの例のブロック図である。 ビデオ処理の方法の例のフローチャートである。 開示されている技術が実装され得るビデオ処理システムの例のブロック図である。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。 視覚メディア処理の方法の例のフローチャートである。

セクション見出しは、理解を簡単にするために本明細書で使用されているのであって、セクションで開示されている実施形態をそのセクションにのみ制限するものではない。更に、特定の実施形態は、ＶＶＣ（Versatile Video Coding）又は他の特定のビデオコーディングを参照して記載されているが、開示されている技術は、他のビデオコーディング技術にも適用可能である。更に、いくつかの実施形態は、ビデオコーディングステップについて詳述しているが、符号化を元に戻す対応する復号化ステップがデコーダによって実装されることが理解されるだろう。更に、ビデオ処理という用語は、ビデオ符号化又は圧縮、ビデオ復号化又は圧縮解除、及びビデオピクセルが１つの圧縮されたフォーマットから他の圧縮されたフォーマットに又は異なる圧縮ビットレートで表現されるビデオトランスコーディングを包含する。

１．概要
本明細書は、ビデオコーディング技術に関係がある。具体的に、それは、ビデオコーディングにおける動きベクトルコーディングに関係がある。それは、ＨＥＶＣのような既存のビデオコーディング標準規格、又はまとめられるべき標準規格（ＶＶＣ）に適用されてもよい。それはまた、将来のビデオコーディング標準規格又はビデオコーデックにも適用可能であり得る。

２．最初の議論
ビデオコーディング標準規格は、主として、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準規格の開発を通じて、進化してきた。ＩＴＵ－Ｔは、Ｈ．２６１及びＨ．２６３を作り出し、ＩＳＯ／ＩＥＣは、ＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作り出し、２つの組織は共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）並びにＨ．２６５／ＨＥＶＣ標準規格を作り出した。Ｈ．２６２以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。ＨＥＶＣを越える将来のビデオコーディング技術を探るために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同設立された。それ以来、多くの新しい方法がＪＶＥＴによって導入され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた［３，４］。２０１８年４月に、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＧ２９／ＷＧ１１（ＭＰＥＧ）との間で、ＨＥＶＣと比較してビットレート５０％減を目指すＶＶＣ標準規格を研究するためのＪＶＥＴJoint Video Experts Team）が作られた。

ＶＶＣ草案（Versatile Video Coding (Draft 5)）の最新バージョンは、phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v5.zipで入手可能である。

ＶＴＭと名付けられたＶＶＣの最新の参照ソフトウェアは、vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0で入手可能である。

２．１．ＨＥＶＣ／Ｈ．２６５でのインター予測
夫々のインター予測されたＰＵ（prediction unit）は、１つ又は２つの参照ピクチャリストについての動きパラメータを有している。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。２つの参照ピクチャリストの一方の利用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いてシグナリングされてもよい。動きベクトルは、予測子に対する差分として明示的にコーディングされてもよい。

ＣＵがスキップモードでコーディングされる場合に、１つのＰＵがＣＵと関連付けられ、有意な残差係数、コーディングされた動きベクトル差分、又は参照ピクチャインデックスは、存在しない。マージモードが指定され、これによって、現在のＰＵの動きパラメータは、空間及び時間的候補を含む隣接ＰＵから取得される。マージモードは、スキップモードのためだけでなく、如何なるインター予測されたＰＵにも適用可能である。マージモードに対する代替手段は、動きパラメータの明示的な伝送であり、動きベクトル（より厳密に言えば、動きベクトル予測子と比較した動きベクトル差分（motion vector differences，ＭＶＤ））、各参照ピクチャリストの対応する参照ピクチャインデックス、及び参照ピクチャリスト利用が、各ＰＵごとに明示的にシグナリングされる。このようなモードは、本開示ではアドバンスド動きベクトル予測（advanced motion vector prediction，ＡＭＶＰ）と呼ばれる。

２つの参照ピクチャリストの一方が使用されるべきであることをシグナリングが示す場合に、ＰＵは、サンプルの１つのブロックから生成される。これは「片予測」（uni-prediction）と呼ばれる。片予測は、Ｐスライス及びＢスライスの両方について利用可能である。

両方の参照ピクチャリストが使用されるべきであることをシグナリングが示す場合に、ＰＵは、サンプルの２つのブロックから生成される。これは「双予測」（bi-prediction）と呼ばれる。双予測は、Ｂスライスについてのみ利用可能である。

下記は、ＨＥＶＣで規定されているインター予測モードに関する詳細を提供する。記載はマージモードから始まる。

２．１．１．参照ピクチャリスト
ＨＥＶＣでは、インター予測という用語が、現在のデコードされているピクチャ以外の参照ピクチャのデータ要素（例えば、サンプル値又は動きベクトル）から導出された予測を表すために使用される。同様に、Ｈ．２６４／ＡＶＣでは、ピクチャは、複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、１つ以上の参照ピクチャリストに編成される。参照インデックスは、リスト内のどの参照ピクチャが予測信号を生成するために使用されるべきであるかを識別する。

単一の参照ピクチャリストＬｉｓｔ０は、Ｐスライスのために使用され、２つの参照リストＬｉｓｔ０及びＬｉｓｔ１は、Ｂスライスのために使用される。留意されるべきは、Ｌｉｓｔ０／１に含まれる参照ピクチャは、捕捉／表示順序に関して過去及び未来のピクチャからであってよい点である。

２．１．２．マージモード
２．１．２．１．マージモードのための候補の導出
ＰＵがマージモードを用いて予測される場合に、ｍｅｒｇｅ ｃａｎｄｉｄａｔｅｓ ｌｉｓｔ（マージ候補リスト）内のエントリを指し示すインデックスは、ビットストリームからパースされ、動き情報を読み出すために使用される。このリストの構成は、ＨＥＶＣ標準規格で規定されており、次のステップの連続に従って手短に述べられ得る：
ステップ１：初期候補の導出
ステップ１．１：空間的候補の導出
ステップ１．２：空間的候補に対する冗長性検査
ステップ１．３：時間的候補の導出
ステップ２：追加候補の挿入
ステップ２．１：双予測候補の生成
ステップ２．２：ゼロ動き候補の挿入

これらのステップは、図１でも概略的に説明されている。初期マージ候補の導出のために、最大４つのマージ候補が、５つの異なった位置にある候補の中から選択される。時間マージ候補の導出のために、最大１つのマージ候補が、２つの候補の中から選択される。ＰＵごとの一定数の候補がデコーダで考えられているので、ステップ１から取得された候補の数が、スライスヘッダでシグナリングされているマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合には、追加候補が生成される。候補の数は一定であるから、最良のマージ候補のインデックスは、トランケーテッドユーナリー二値化（truncated unary binarization，ＴＵ）を用いて符号化される。ＣＵのサイズが８に等しい場合に、現在のＣＵの全てのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同一である単一のマージ候補リストを共有する。

以下では、上記のステップに関連した動作が詳述される。

図１は、マージ候補リスト構成のための導出プロセスの例を示す。

２．１．２．２．空間的候補の導出
空間マージ候補の導出において、最大４つのマージ候補が、図２に表されている位置にある候補の中から選択される。導出の順序は、Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、及びＢ_２である。位置Ｂ_２は、位置Ａ_１、Ｂ_１、Ｂ_０、Ａ_０のいずれかのＰＵ（それが他のスライス又はタイルに属するために）利用可能でないか、あるいは、イントラコーディングされている場合にのみ検討される。位置Ａ_１での候補が加えられた後、残りの候補の追加は冗長性検査を受ける。これは、同じ動き情報を有する候補が、コーディング効率が改善されるようにリストから外されることを確かにする。

計算複雑性を低減するために、上記の冗長性検査において、可能性がある全ての候補対が検討されるわけではない。代わりに、図３において矢印で結ばれている対が検討され、候補は、冗長性検査のために使用された対応する候補が同じ動き情報を有していない場合にのみリストに加えられる。そっくり同じ動き情報の他のソースは、２Ｎ×２Ｎとは異なるパーティションに関連した「第２ＰＵ」である。例として、図４は、夫々、Ｎ×２Ｎ及び２Ｎ×Ｎの場合について、第２ＰＵを表す。現在のＰＵがＮ×２Ｎとしてパーティション化される場合に、位置Ａ_１での候補はリスト構成のために考慮に入れられない。実際に、この候補を加えることで、同じ動き情報を有する２つの予測ユニットが生じることになり、これは、コーディングユニット内でただ１つのＰＵを有するには冗長である。同様に、位置Ｂ_１は、現在のＰＵが２Ｎ×Ｎとしてパーティション化される場合に考慮に入れられない。

２．１．２．３．時間的候補の導出
このステップでは、ただ１つの候補がリストに加えられる。特に、この時間マージ候補の導出において、スケーリングされた動きベクトルは、所与の参照ピクチャリスト内で現在のピクチャとのＰＯＣ差が最小であるピクチャに属する同一位置（co-located）ＰＵに基づいて導出される。同一位置ＰＵの導出のために使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングされる。時間マージ候補のスケーリングされた動きベクトルは、図５で破線によって表されるように取得され、ＰＯＣ距離ｔｂ及びｔｄを用いて同一位置ＰＵの動きベクトルからスケーリングされている。ｔｂは、現在のピクチャの参照ピクチャと現在のピクチャとの間のＰＯＣ距離であるよう定義され、ｔｄは、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のＰＯＣ差であるよう定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しくセットされる。スケーリングプロセスの実際の実現は、ＨＥＶＣ規格で記載されている。Ｂスライスについては、２つの動きベクトル（１つは参照ピクチャリスト０用であり、もう１つは参照ピクチャリスト１用である）が取得され、双予測マージ候補を生成するよう結合される。

図５は、時間マージ候補の動きベクトルスケーリングの実例である。

参照フレームに属する同一位置ＰＵ（Ｙ）では、時間的候補の位置が、図６に表されているように、候補Ｃ_０及びＣ_１の間で選択される。位置Ｃ_０にあるＰＵが利用可能でないか、イントラコーディングされているか、あるいは、現在のコーディングツリーユニット（Coding Tree Unit，ＣＴＵ、別名最大コーディングユニット（Largest Coding Unit，ＬＣＵ）行の外にある場合に、位置Ｃ_１が使用される。そうでない場合には、位置Ｃ_０が時間マージ候補の導出において使用される。

図６は、時間マージ候補の候補位置Ｃ０及びＣ１の例を示す。

２．１．２．４．追加候補の挿入
空間及び時間マージ候補に加えて、２つの更なるタイプのマージ候補、すなわち、複合双予測マージ候補（combined bi-predictive merge candidate）及びゼロマージ候補（zero merge candidate）が存在する。複合双予測マージ候補は、空間及び時間マージ候補を利用することによって生成される。複合双予測マージ候補は、Ｂスライスにのみ使用される。複合双予測マージ候補は、最初の候補の第１参照ピクチャリスト動きパラメータを他の第２参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら２つのタプルが異なった動き仮説（hypotheses）をもたらす場合に、それらは新しい双予測候補を形成することになる。一例として、図７は、ｍｖＬ０及びｒｅｆＩｄｘＬ０又はｍｖＬ１及びｒｅｆＩｄｘ１を有する原リスト（左側にある）内の２つの候補が、最終的なリスト（右側にある）に加えられる複合双予測マージ候補を生成するために使用される場合を表す。これらの追加マージ候補を生成するために考えられる組み合わせに関して多数の規則がある。

ゼロ動き候補は、マージ候補リスト内の残りのエントリを満たして、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量に達するよう挿入される。これらの候補は、ゼロ空間変位と、ゼロから始まって、新しいゼロ動き候補がリストに加えられるたびに増える参照ピクチャインデックスとを有している。

より具体的には、次のステップが、マージリストが一杯になるまで順番に実行される：
１．Ｐスライスについては、リスト０に関連した参照ピクチャの数、又はＢスライスについては、２つのリスト内の参照ピクチャの最小数、のどちらか一方に変数ｎｕｍＲｅｆをセットする；
２．非反復的なゼロ動き候補を加える；
０・・・ｎｕｍＲｅｆ－１である変数ｉについては、（０，０）にセットされたＭＶと、リスト０（Ｐスライスの場合）について又は両方のリスト（Ｂスライスの場合）についてｉにセットされた参照ピクチャインデックスとを有するデフォルトの動き候補を加える。
３．（０，０）にセットされたＭＶと、０にセットされたリスト０（Ｐスライスの場合）の参照ピクチャインデックスと、０にセットされた両方のリスト（Ｂスライスの場合）の参照ピクチャインデックスとを有する反復的なゼロ動き候補を加える。

最後に、それらの候補に対して冗長性検査は実行されない。

２．１．３．ＡＭＶＰ
ＡＭＶＰ（Advanced Motion Vector Prediction）は、動きパラメータの明示的な伝送のために使用される隣接ＰＵとの動きベクトルの空間時間相関を利用する。参照ピクチャリストごとに、動きベクトル候補リストは、左及び上にある時間的に隣接したＰＵ位置の利用可能性を最初に確認し、冗長な候補を除いて、候補リストを一定の長さにするようゼロベクトルを加えることによって、構成される。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。同様に、マージインデックスシグナリングにより、最良の動きベクトル候補のインデックスは、トランケーテッドユーナリー（truncated unary）を用いて符号化される。この場合に符号化される最大値は２である（図８を参照）。以下のセクションでは、動きベクトル予測候補の導出プロセスに関する詳細が提供される。

２．１．３．１．ＡＭＶＰ候補の導出
図８は、動きベクトル予測候補の導出プロセスを要約する。

動きベクトル予測では、２つのタイプの動きベクトル候補、すなわち、空間動きベクトル候補及び時間動きベクトル候補、が考えられている。空間動きベクトル候補導出については、２つの動きベクトル候補が、図２に表されるように５つの異なった位置にある各ＰＵの動きベクトルに基づいて最終的に導出される。

時間動きベクトル候補導出については、２つの異なった同一位置の位置に基づいて導出される２つの候補から、１つの動きベクトル候補が選択される。空間時間的候補の第１リストが生成された後、リスト内の重複した動きベクトル候補が除かれる。潜在的な候補の数が２つよりも多い場合には、関連する参照ピクチャリスト内の参照ピクチャインデックスが１よりも大きい動きベクトル候補は、リストから除かれる。空間時間動きベクトル候補の数が２つよりも少ない場合には、追加のゼロ動きベクトル候補がリストに加えられる。

２．１．３．２．空間動きベクトル候補
空間動きベクトル候補の導出において、図２に表されるような位置（これらの位置は、動きマージのそれらと同じである）にあるＰＵから導出される５つの潜在的な候補から、最大２つの候補が考えられる。現在のＰＵの左側の導出の順序は、Ａ_０、Ａ_１及びスケーリングされたＡ_０、スケーリングされたＡ_１として定義される。現在のＰＵの上側の導出の順序は、Ｂ_０、Ｂ_１、Ｂ_２、スケーリングされたＢ_０、スケーリングされたＢ_１、スケーリングされたＢ_２として定義される。夫々の側について、従って、動きベクトル候補として使用され得る４つの場合が存在し、２つの場合は、空間スケーリングを使用することが不要であり、他の２つの場合には、空間スケーリングが使用される。４つの異なる場合は、次のように簡単に述べられる。
・空間スケーリングなし
（１）同じ参照ピクチャリスト、かつ同じ参照ピクチャインデックス（同じＰＯＣ）
（２）異なる参照ピクチャリスト、しかし同じ参照ピクチャ（同じＰＯＣ）
・空間スケーリング
（３）同じ参照ピクチャリスト、しかし異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、かつ異なる参照ピクチャ（異なるＰＯＣ）

空間スケーリングなしの場合が最初に確認され、その後に空間スケーリングが続く。空間スケーリングは、参照ピクチャリストにかかわらず隣接ＰＵの参照ピクチャと現在のＰＵのそれとの間でＰＯＣが異なる場合に考えられる。左の候補の全てのＰＵが利用不可能であるか、又はイントラコーディングされている場合に、上の動きベクトルのスケーリングが、左及び上のＭＶ候補の並列導出を助けるよう可能にされる。そうでない場合には、空間スケーリングは、上の動きベクトルに対して認められないい。

図９は、空間動きベクトル候補のための動きベクトルスケーリングの実例である。

空間スケーリングプロセスでは、隣接ＰＵの動きベクトルは、図９に表されるように、時間スケーリングの場合と同じようにしてスケーリングされる。主な違いは、現在のＰＵの参照ピクチャリスト及びインデックスが入力として与えられる点であり、実際のスケーリングプロセスは時間スケーリングのそれと同じである。

２．１．３．３．時間動きベクトル候補
参照ピクチャインデックス導出は別として、時間マージ候補の導出のための全てのプロセスは、空間動きベクトル候補の導出（図６を参照）の場合と同じである。参照ピクチャインデックスはデコーダへシグナリングされる。

２．２．ＪＥＭにおけるサブＣＵに基づいた動きベクトル予測方法
四分木プラス二分木（quadtrees plus binary trees，ＱＴＢＴ）によるＪＥＭでは、各ＣＵは、予測方向ごとに多くてもひと組の動きパラメータを有することができる。２つのサブＣＵレベル動きベクトル予測方法が、大きいＣＵをサブＣＵに分割し、大きいＣＵの全てのサブＣＵについて動き情報を導出することによって、エンコーダにおいて考えられている。代替時間動きベクトル予測（ＡＴＭＶＰ）方法は、各ＣＵが、同一位置の参照ピクチャにある現在のＣＵよりも小さい複数のブロックから複数の組の動き情報をフェッチすることを可能にする。空間時間動きベクトル予測（ＳＴＭＶＰ）方法では、サブＣＵの動きベクトルは、時間動きベクトル予測子及び空間隣接動きベクトルを使用することによって再帰的に導出される。

サブＣＵ動き予測のためのより正確な運動場を保つために、参照フレームのための動き圧縮は目下無効にされている。

図１０は、ＣＵに対するＡＴＭＶＰ動き予測の例を示す。

２．２．１．代替時間動きベクトル予測
代替時間動きベクトル予測（Alternative Temporal Motion Vector Prediction，ＡＴＭＶＰ）法では、動きベクトルの時間動きベクトル予測（Temporal Motion Vector Prediction，ＴＭＶＰ）が、現在のＣＵよりも小さいブロックから複数の組の動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって改良されている。ＣＵは、正方Ｎ×Ｎブロックである（Ｎはデフォルトで４にセットされる）。

ＡＴＭＶＰは、２つのステップでＣＵ内のサブＣＵの動きベクトルを予測する。最初のステップは、いわゆる時間ベクトルにより参照ピクチャ内の対応するブロックを識別することである。参照ピクチャは、モーションソースピクチャ（motion source picture）と呼ばれる。第２のステップは、現在のＣＵをサブＣＵに分け、各サブＣＵに対応するブロックから各サブＣＵの動きベクトル及び参照インデックスを取得することである。

最初のステップで、参照ピクチャ及び対応するブロックは、現在のＣＵの空間隣接ブロックの動き情報によって決定される。隣接ブロックの反復的な走査プロセスを回避するために、現在のＣＵのマージ候補リスト内の最初のマージ候補が使用される。最初の利用可能な動きベクトル及びその関連する参照インデックスが、時間ベクトルと、モーションソースピクチャへのインデックスとであるようセットされる。このようにして、ＡＴＭＶＰでは、対応するブロックは、ＴＭＶＰと比較して、より正確に識別され得る。ここで、対応するブロック（時々、同一位置ブロックと呼ばれる）は、現在のＣＵに対して右下又は中心位置に常にある。

第２のステップで、サブＣＵの対応するブロックは、モーションソースピクチャの時間ベクトルによって、現在のＣＵの座標にその時間ベクトルを加えることによって識別される。各サブＣＵについて、その対応するブロック（中心サンプルをカバーする最小モーショングリッド）の動き情報が、当該サブＣＵの動き情報を導出するために使用される。対応するＮ×Ｎブロックの動き情報が識別された後、それは、ＨＥＶＣのＴＭＶＰと同じように、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。このとき、動きスケーリング及び他のプロシージャが適用される。例えば、デコーダは、低遅延条件（すなわち、現在のピクチャの全ての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満足されるかどうかを確認し、場合により、各サブＣＵについて動きベクトルＭＶｙ（Ｘは０又は１に等しく、Ｙは１－Ｘに等しい）を予測するために動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を使用する。

２．２．２．空間時間動きベクトル予測（ＳＴＭＶＰ）
空間時間動きベクトル予測（spatial-temporal motion vector prediction，ＳＴＭＶＰ）法では、サブＣＵの動きベクトルは、ラスタ走査順序に従って、再帰的に導出される。図１１は、この概念を表す。４つのサブブロックＡ、Ｂ、Ｃ及びＤを含む８×８ＣＵを考えるとする。現在のフレームの隣接する４×４ブロックは、ａ、ｂ、ｃ及びｄと表記される。

サブＣＵ Ａの動き導出は、その２つの空間近傍を識別することによって開始する。第１近傍は、サブＣＵ Ａの上にあるＮ×Ｎブロック（ブロックｃ）である。このブロックｃが利用不可能であるか、又はイントラコーディングされている場合に、サブＣＵ Ａの上にある他のＮ×Ｎブロックが確認される（ブロックｃから始まって、左から右へ）。第２近傍は、サブＣＵ Ａの左にあるブロック（ブロックｂ）である。ブロックｂが利用不可能であるか、又はイントラコーディングされている場合に、サブＣＵ Ａの左にある他のブロックが確認される（ブロックｂから始まって、上から下へ）。各リストについて隣接ブロックから取得された動き情報は、所与のリストについての第１参照フレームにスケーリングされる。次に、サブブロックＡの時間動きベクトル予測子（ＴＭＶＰ）が、ＨＥＶＣで定められているＴＭＶＰ導出の同じプロシージャに従うことによって、導出される。位置Ｄでの同一位置ブロックの動き情報は、それに応じてフェッチされスケーリングされる。最後に、動き情報を取り出しスケーリングした後、全ての利用可能な動きベクトル（最大３つ）は、参照リストごとに別々に平均化される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。

２．２．３．サブＣＵ動き予測モードシグナリング
サブＣＵモードは、追加のマージ候補として使用可能であり、モードをシグナリングするために追加のシンタックス要素は必要とされない。２つの追加マージ候補が、ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために各ＣＵのマージ候補に加えられる。ＡＴＭＶＰ及びＳＴＭＶＰが使用可能であることをシーケンスパラメータセットが示す場合には、最大７つのマージ候補が使用される。追加マージ候補の符号化ロジックは、ＨＭにおけるマージ候補の場合と同じである。これは、Ｐ又はＢスライス内の各ＣＵについて、２つ以上のＲＤチェックが２つの追加マージ候補のために必要とされる可能性があることを意味する。

ＪＥＭでは、マージインデックスの全ビンが、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding)）によってコンテキストコーディングされる。一方、ＨＥＶＣでは、最初のビンのみがコンテキストコーディングされ、残りのビンは、コンテキストバイパスコーディングされる。

２．３．ＶＶＣにおけるインター予測方法
ＭＶＤをシグナリングするための適応動きベクトル差分分解（Adaptive Motion Vector Difference Resolution，ＡＭＶＲ）、アフィン予測モード、三角予測モード（Triangular Prediction Mode，ＴＰＭ）、ＡＴＭＶＰ、一般化された双予測（Generalized Bi-Prediction，ＧＢＩ）、双予測オプティカルフロー（Bi-directional Optical Flow，ＢＩＯ）などの、インター予測の改善のためのいくつかの新しいコーディングツールが存在する。

２．３．１．適応動きベクトル差分分解
ＨＥＶＣでは、（ＰＵの動きベクトルと予測された動きベクトルとの間の）動きベクトル差分（ＭＶＤ）は、スライスヘッダにおいてｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｙ＿ｆｌａｇが０に等しいときに４分の１ルーマサンプルの単位でシグナリングされる。ＶＶＣでは、局所適応動きベクトル分解（ＬＡＭＶＲ）が紹介されている。ＶＶＣでは、ＭＶＤは、４分の１ルーマサンプル、整数ルーマサンプル、又は４ルーマサンプルの単位（すなわち、１／４ペル、１ペル、４ペル）でコーディングされ得る。ＭＶＤ分解は、コーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ分解フラグは、少なくとも１つの非ゼロＭＶＤ成分を有している各ＣＵについて条件付きでシグナリングされる。

少なくとも１つの非ゼロＭＶＤ成分を有するＣＵについては、４分の１ルーマサンプルＭＶ精度がＣＵで使用されるかどうかを示すために、第１フラグがシグナリングされる。第１グラフ（１に等しい）が、４分の１ルーマサンプルＭＶ精度が使用されないことを示す場合に、整数ルーマサンプルＭＶ精度又は４ルーマサンプルＭＶ精度が使用されるかどうかを示すために、他のフラグがシグナリングされる。

ＣＵの第１ＭＶＤ分解フラグがゼロであるか、あるいは、ＣＵに対してコーディングされない（つまり、ＣＵ内の全てのＭＶＤがゼロである）場合に、そのＣＵに対しては、４分の１ルーマサンプルＭＶ分解が使用される。ＣＵが整数ルーマサンプルＭＶ精度又は４ルーマサンプルＭＶＤがゼロ精度を使用する場合に、そのＣＵのＡＭＶＰ候補リスト内のＭＶＰは、対応する精度に丸められる。

エンコーダでは、そのＭＶＤ分解能がＣＵに対して使用されるべきであるかを決定するために、ＣＵレベルのＲＤチェックが使用される。すなわち、ＣＵレベルのＲＤチェックは、ＭＶＤ分解能ごとに３回実行される。エンコーダ速度を加速させるために、次の符号化スキームがＪＥＭでは適用される。
・通常の４分の１ルーマサンプルＭＶＤ分解能によるＣＵのＲＤチェックの間、現在のＣＵの動き情報（整数ルーマサンプル精度）が保存される。保存された動き情報（丸め後）は、整数ルーマサンプル及び４ルーマサンプルＭＶＤ分解能による同じＣＵに対するＲＤチェックの間に更なる小範囲動きベクトル精緻化のために開始点として使用される。それにより、時間のかかる動き推定プロセスは３回繰り返されない。
・４ルーマサンプルＭＶＤ分解能によるＣＵのＲＤチェックは、条件付きで呼び出される。あるＣＵについて、ＲＤコスト整数ルーマサンプルＭＶＤ分解能が４分の１ルーマサンプルＭＶＤ分解能のそれよりもずっと大きい場合に、そのＣＵに対する４ルーマサンプルＭＶＤ分解能のＲＤチェックはスキップされる。

符号化プロセスは図１２に示される。最初に、１／４ペルＭＶがテストされ、ＲＤコストが計算されてＲＤＣｏｓｔ０と表され、次いで、整数ＭＶがテストされ、ＲＤコストはＲＤＣｏｓｔ１と表される。ＲＤＣｏｓｔ１＜ｔｈ×ＲＤＣｏｓｔ０である場合に（ｔｈは正の値である）、４ペルＭＶはテストされ、そうでない場合には、４ペルＭＶはスキップされる。基本的に、動き情報及びＲＤコストなどは、整数又は４ペルＭＶをチェックするときに４／１ペルＭＶについて既に知られており、これらは、整数又は４ペルＭＶの符号化プロセスを加速させるために再利用され得る。

ＶＶＣで、ＡＭＶＲはアフィン予測モードにも適用可能であり、分解能は１／１６ペル、１／４ペル及び１ペルから選択され得る。

図１２は、異なるＭＶ精度による符号化のフローチャートである。

２．３．２．三角予測モード
三角予測モード（ＴＰＭ）の概念は、動き補償された予測のための新しい三角パーティションを導入することである。図１３に示されるように、それはＣＵを対角又は逆対角方向のどちらか一方で２つの三角予測ユニットに分割する。ＣＵ内の各三角予測ユニットは、単一の片予測候補リストから導出されるそれ自体の片予測動きベクトル及び参照フレームインデックスを用いてインター予測される。適応重み付けプロセスは、三角予測ユニットを予測した後に、対角辺に対して実行される。次いで、変換及び量子化プロセスがＣＵ全体に適用される。このモードは、マージモードにのみ適用されることが知られる（注記：スキップモードは特別なマージモードとして扱われる。）。

２．３．２．１．ＴＰＭのための片予測候補リスト
ＴＰＭ動き候補リストと名付けられている片予測候補リストは、５つの片予測動きベクトル候補から成る。それは、図１４に示されるように、５つの空間隣接ブロック（１から５）及び２つの時間同一位置ブロック（６から７）を含む７つの隣接ブロックから導出される。７つの隣接ブロックの動きベクトルは集められ、片予測動きベクトルの順序、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、並びに双予測動きベクトルのＬ０及びＬ１動きベクトルの平均化された動きベクトルに従って片予測候補リストに置かれる。候補の数が５に満たない場合には、ゼロ動きベクトルがリストに加えられる。このリストに加えられた動き候補は、ＴＰＭ動き候補と呼ばれ、空間／時間ブロックから導出された動き情報は、正則動き候補（regular motion candidates）と呼ばれる。

より具体的には、次のステップが含まれる。
１）空間隣接ブロックの例から正則動き候補を加える場合に完全プルーニング動作を用いてＡ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２、Ｃｏｌ及びＣｏｌ２（図１４のブロック１～７に対応）から動き候補を取得する。
２）変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０をセットする。
３）Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２、Ｃｏｌ及びＣｏｌ２から導出された正則動き候補ごとに、プルーニングされず、かつ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５よりも小さい場合に、正則動き候補が片予測（リスト０又はリスト１のどちらか一方から）であるならば、それは、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１増やしてＴＰＭ候補としてマージリストに直接に追加される。そのようなＴＰＭ候補は、「元々片予測された候補」（originally uni-predicted candidate）と呼ばれる。
完全プルーニング（full pruning）が適用される。
４）Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２、Ｃｏｌ及びＣｏｌ２から導出された動き候補ごとに、プルーニングされず、かつ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５よりも小さい場合に、正則動き候補が双予測であるならば、リスト０からの動き情報が新しいＴＰＭ候補としてＴＰＭマージリストに追加され（すなわち、リスト０からの片予測であるよう変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄは１だけ増やされる。そのようなＴＭＰ候補は、「切り捨てられたリスト０予測候補」（Truncated List0-predicted candidate）と呼ばれる。
完全プルーニングが適用される。
５）Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２、Ｃｏｌ及びＣｏｌ２から導出された動き候補ごとに、プルーニングされず、かつ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５よりも小さい場合に、正則動き候補が双予測であるならば、リスト１からの動き情報がＴＰＭマージリストに追加され（すなわち、リスト１からの片予測であるよう変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄは１だけ増やされる。そのようなＴＰＭ候補は、「切り捨てられたリスト１予測候補」（Truncated List1-predicted candidate）と呼ばれる。
完全プルーニングが適用される。
６）Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２、Ｃｏｌ及びＣｏｌ２から導出された動き候補ごとに、プルーニングされず、かつ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５よりも小さい場合に、正則動き候補が双予測であるならば、
－ リスト０参照ピクチャのスライス量子化パラメータ（ＱＰ）がリスト１参照ピクチャのスライスＱＰよりも小さい場合には、リスト１の動き情報が最初にリスト０参照ピクチャにスケーリングされ、２つのＭＶ（一方は元のリスト０からであり、他方はリスト１からのスケーリングされたＭＶである。）の平均がＴＰＭマージリストに追加される。このような候補は、リスト０動き候補からの平均された片予測と呼ばれ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄは１だけ増やされる。
－ そうでない場合には、リスト０の動き情報が最初にリスト１参照ピクチャにスケーリングされ、２つのＭＶ（一方は元のリスト１からであり、他方はリスト０からのスケーリングされたＭＶである。）の平均がＴＰＭマージリストに加えられる。このようなＴＰＭ候補は、リスト１動き候補からの平均された片予測と呼ばれ、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄは１だけ増やされる。
完全プルーニングが適用される。
７）ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５よりも小さい場合に、ゼロ動きベクトル候補が加えられる。

図１４は、隣接ブロックの位置の例を示す。

候補をリストに挿入するときに、以前に加えられた候補のうちの１つとそれが同じであるかどうかを確かめるために、挿入される候補が、以前に加えられた候補の全てと比較される必要がある場合に、そのようなプロセスは完全プルーニングと呼ばれる。

２．３．２．２．適応重み付けプロセス
各三角予測ユニットを予測した後、ＣＵ全体の最終的な予測を導出するために、２つの三角予測ユニットの間の対角辺に適応重み付けプロセスが適用される。２つの重み付け係数グループが次のように定義される：
・第１重み付け係数グループ：｛７／８，６／８，４／８，２／８，１／８｝及び｛７／８，４／８，１／８｝は、夫々、ルミナンスサンプル及びクロミナンスサンプルのために使用される。
・第２重み付け係数グループ：｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝及び｛６／８，４／８，２／８｝は、夫々、ルミナンスサンプル及びクロミナンスサンプルのために使用される。

重み係数グループは、２つの三角予測ユニットの動きベクトルの比較に基づき選択される。第２重み係数グループは、２つの三角予測ユニットの参照ピクチャが互いに異なるか、あるいは、それらの動きベクトル差分が１６ピクセルよりも大きい場合に、使用される。そうではない場合に、第１重み付け係数グループは使用される。例は図１５に示される。

２．３．２．３．三角予測モード（ＴＰＭ）のシグナリング
ＴＰＭが使用されるかどうかを示す１ビットフラグが、最初にシグナリングされてよい。その後に、２つの分割パターン（図１３に図示）の指示と、２つのパーティションの夫々についての選択されたマージインデックスとが、更にシグナリングされる。

２．３．２．３．１．ＴＰＭフラグのシグナリング
１つのルーマブロックの幅及び高さを夫々、Ｗ及びＨによって表すとする。Ｗ×Ｈ＜６４である場合に、三角予測モードは無効にされる。

１つのブロックがアフィンモードでコーディングされる場合に、三角予測モードはやはり無効にされる。

１つのブロックがマージモードでコーディングされる場合に、三角予測モードがそのブロックについて有効又は無効にされるかどうかを示すために、１ビットフラグがシグナリングされ得る。

フラグは、次の式に基づき、３つのコンテキストでコーディングされる：

図１５は、ＴＰＭフラグコーディングでコンテキスト選択のために使用される隣接ブロック（Ａ及びＬ）を示す。

２．３．２．３．２．２つの分割パターン（図１３に図示）の指示及び２つのパーティションの夫々についての選択されたマージインデックスのシグナリング
分割パターン及び２つのパーティションのマージインデックスは一緒にコーディングされることが知られている。いくつかの実施で、２つのパーティションは同じ参照インデックスを使用することができない、と制限される。そのため、２（分割パターン）×Ｎ（マージ候補の最大数）×（Ｎ－１）通りの可能性がある。ここで、Ｎは５にセットされる。１つの指示がコーディングされ、分割パターン間のマッピング、２つのマージインデックス、及びコーディングされた指示は、以下で定義されているアレイから導出される：

２つの動き候補Ａ及びＢが導出されると、２つのパーティション（ＰＵ１及びＰＵ２）の動き情報はＡ又はＢのどちらか一方からセットされ得る。ＰＵ１がマージ候補Ａ又はＢのどちらの動き情報を使用するかは、２つの動き候補の予測方向に依存する。表１は、２つのパーティションについて、２つの導出された動き候補Ａ及びＢの間の関係を示す。

２．３．２．３．３．指示（ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘと表される）のエントロピコーディング
ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘは、０以上３９以下の範囲（［０，３９］）内にある。Ｋ次の指数ゴロム（Exponential Golomb，ＥＧ）コードは、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘの二値化のために使用される。ここで、Ｋは１にセットされる。

Ｋ次のＥＧ
（より小さい数をエンコードするためにより多くの数を使用することを犠牲にして）より少ないビットでより大きい数をエンコードするために、これは、非負整数パラメータｋを用いて一般化され得る。非負整数ｘを次数ｋの指数ゴロムコードでエンコードするために：
１．上記の次数０の指数ゴロムコードを用いて

をエンコードし、次いで、
２．二進法でｘｍｏｄ２^ｋをエンコードする。

２．３．３．アフィン動き補償予測
ＨＥＶＣでは、並進運動モデル（translation motion model）しか動き補償予測（Motion Compensation Prediction，ＭＣＰ）のために適用されない。現実世界では、多くの種類の動き、例えば、ズームイン／アウト、回転、射影運動、及び他の不規則な動きを有する可能性がある。ＶＶＣでは、簡単化されたアフィン変換動き補償予測が４パラメータアフィンモデル及び６パラメータアフィンモデルにより適用される。図１６に示されるように、ブロックのアフィン運動場は、４パラメータアフィンモデルについては２つの制御点動きベクトル（Control Point Motion Vectors，ＣＰＭＶ）、及び６パラメータアフィンモデルについては３つのＣＰＭＶによって記述される。

図１６は、簡単化されたアフィン運動モデルの例を示す。

ブロックの動きベクトル場（Motion Vector Field，ＭＶＦ）は、式（１）の４パラメータアフィンモデル（ここで、４パラメータは、変数ａ、ｂ、ｅ及びｆとして定義されている。）及び式（２）の６パラメータアフィンモデル（ここで、６パラメータは、ａ、ｂ、ｃ、ｄ、ｅ及びｆとして定義されている。）により夫々、次の式によって記述される：

ここで、（ｍｖ^ｈ _０，ｍｖ^ｈ _０）は、左上隅の制御点の動きベクトルであり、（ｍｖ^ｈ _１，ｍｖ^ｈ _１）は、右上隅の制御点の動きベクトルであり、（ｍｖ^ｈ _２，ｍｖ^ｈ _２）は、左下隅の制御点の動きベクトルであり、これら３つの動きベクトルは全て、制御点動きベクトル（ＣＰＭＶ）と呼ばれ、（ｘ，ｙ）は、現在のブロック内の左上サンプルに対する代表点の座標を表し、（ｍｖ^ｈ（ｘ，ｙ），ｍｖ^ｖ（ｘ，ｙ））は、（ｘ，ｙ）に位置しているサンプルについて導出された動きベクトルである。ＣＰ動きベクトルは、シグナリング（アフィンＡＭＶＰモードと同様）されるか、あるいは、オン・ザ・フライで導出（アフィンモードと同様）されてよい。ｗ及びｈは、現在のブロックの幅及び高さである。実際に、分割は、丸め演算付き右シフトによって実施される。ＶＴＭでは、代表点は、サブブロックの中心位置であるよう定義され、例えば、現在のブロック内の左上サンプルに対するサブブロックの左上隅の座標が（ｘｓ，ｙｓ）である場合に、代表点の座標は、（ｘｓ＋２，ｙｓ＋２）であるよう定義される。各サブブロック（すなわち、ＶＴＭでは４×４）について、代表点は、そのサブブロック全体の動きベクトルを導出するために利用される。

動き補償予測を更に簡単にするために、サブブロックベースのアフィン変換予測が適用される。各Ｍ×Ｎサブブロック（Ｍ及びＮは両方とも、現在のＶＶＣでは、４にセットされる。）の動きベクトルを導出するために、図１７に示される各サブブロックの中心サンプルの動きベクトルは、式（１）及び（２）に従って計算され、１／１６分数精度に丸められ得る。次いで、１／１６ペルのための動き補償補間フィルタが、導出された動きベクトルにより各サブブロックの予測を生成するために適用される。１／１６ペルのための補間フィルタがアフィンモードによって導入される。

ＭＣＰの後、各サブブロックの高精度動きベクトルは丸められ、通常の動きベクトルと同じ精度としてセーブされる。

２．３．３．１．アフィン予測のシグナリング
並進運動モデルと同様に、アフィンモデルによるサイド情報をシグナリングするための２つのモードもある。それらは、ＡＦＦＩＮＥ＿ＩＮＴＥＲモード及びＡＦＦＩＮＥ＿ＭＥＲＧＥモードである。

２．３．３．２．ＡＦ＿ＩＮＴＥＲモード
幅及び高さの両方が８よりも大きいＣＵについては、ＡＦ＿ＩＮＴＥＲモードが適用され得る。ＣＵレベルでのアフィンフラグは、ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すためにビットストリームでシグナリングされる。

このモードで、各参照ピクチャリスト（Ｌｉｓｔ０又はＬｉｓｔ１）について、アフィンＡＭＶＰ候補リストは、次の順序で３つのタイプのアフィン動き予測子により構成され、各候補は、現在のブロックの推定されたＣＰＭＶを含む。エンコーダ側で見つけられた最良のＣＰＭＶ（例えば、図２０のｍｖ_０、ｍｖ_１、ｍｖ_２）と推定されたＣＰＭＶとの差がシグナリングされる。更には、推定されたＣＰＭＶが導出されるアフィンＡＭＶＰ候補のインデックスが更にシグナリングされる。

１）遺伝的（つまり、引き継がれた（inherited））アフィン動き予測子
検査順序は、ＨＥＶＣ ＡＭＶＰリスト構成における空間ＭＶＰのそれと同様である。最初に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている｛Ａ１，Ａ０｝内の最初のブロックから、左側の遺伝的アフィン動き予測子が導出される。第２に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている｛Ｂ１，Ｂ０，Ｂ２｝内の最初のブロックから、上側の遺伝的アフィン動き予測子が導出される。５つのブロックＡ１、Ａ０、Ｂ１、Ｂ０、Ｂ２は、図１９に表されている。

隣接するブロックがアフィンモードでコーディングされていると分かると、隣接するブロックをカバーするコーディングユニットのＣＰＭＶは、現在のブロックのＣＰＭＶの予測子を導出するために使用される。例えば、Ａ１が非アフィンモードでコーディングされ、Ａ０が４パラメータアフィンモードでコーディングされる場合に、左側の遺伝的アフィンＭＶ予測子はＡ０から導出されることになる。この場合に、図２１Ｂで左上ＣＰＭＶについてはＭＶ_０ ^Ｎ及び右上ＣＰＭＶについてはＭＶ_１ ^Ｎによって表されている、Ａ０をカバーするＣＵのＣＰＭＶは、現在のブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）及び右下位置（座標（ｘ２，ｙ２）を有する）についてＭＶ_０ ^Ｃ、ＭＶ_１ ^Ｃ、ＭＶ_２ ^Ｃによって表される現在のブロックの推定されたＣＰＭＶを導出するために利用される。

２）構成されたアフィン動き予測子
構成されたアフィン動き予測子は、同じ参照ピクチャを有している、図２０に示されるような隣接するインターコーディングされたブロックから導出される制御点動きベクトル（ＣＰＭＶ）から成る。現在のアフィン運動モデルが４パラメータアフィンである場合に、ＣＰＭＶの数は２であり、そうではなく、現在のアフィン運動モデルが６パラメータアフィンである場合に、ＣＰＭＶの数は３である。左上ＣＰＭＶ
（外１）

（以降、バーｍｖ_０）は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ｛Ａ，Ｂ，Ｃ｝内の最初のブロックでのＭＶによって、導出される。右上ＣＰＭＶ
（外２）

（以降、バーｍｖ_１）は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ｛Ｄ，Ｅ｝内の最初のブロックでのＭＶによって、導出される。左下ＣＰＭＶ
（外３）

（以降、バーｍｖ_２）は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ｛Ｆ，Ｇ｝内の最初のブロックでのＭＶによって、導出される。
－ 現在のアフィン運動モデルが４パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーｍｖ_０及びバーｍｖ_１の両方が求められる、つまり、バーｍｖ_０及びバーｍｖ_１が現在のブロックの左上位置（座標（ｘ０，ｙ０）を有する）及び右上位置（座標（ｘ１，ｙ１）を有する）についての推定されたＣＰＭＶとして使用される場合にのみ、候補リストに挿入される。
－ 現在のアフィン運動モデルが６パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーｍｖ_０、バーｍｖ_１、及びバーｍｖ_２が全て求められる、つまり、バーｍｖ_０、バーｍｖ_１、及びバーｍｖ_２が現在のブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）及び右下位置（座標（ｘ２，ｙ２）を有する）についての推定されたＣＰＭＶとして使用される場合にのみ、候補リストに挿入される。

構成されたアフィン動き予測子を候補リストに挿入する場合に、プルーニングプロセスは適用されない。

３）通常のＡＭＶＰ動き予測子
以下は、アフィン動き予測の数が最大値に達するまで適用される。
１）利用可能である場合に全てのＣＰＭＶをバーｍｖ_２に等しくセットすることによってアフィン動き予測子を導出する。
２）利用可能である場合に全てのＣＰＭＶをバーｍｖ_１に等しくセットすることによってアフィン動き予測子を導出する。
３）利用可能である場合に全てのＣＰＭＶをバーｍｖ_０に等しくセットすることによってアフィン動き予測子を導出する。
４）利用可能である場合に全てのＣＰＭＶをＨＥＶＣ ＴＭＶＰに等しくセットすることによってアフィン動き予測子を導出する。
５）全てのＣＰＭＶをゼロＭＶにセットすることによってアフィン動き予測子を導出する。

留意されるべきは、
（外４）

（以降、バーｍｖ_ｉ）は、構成されたアフィン運動では既に導出されている点である。

ＡＦ＿ＩＮＴＥＲモードでは、４又は６パラメータアフィンモードが使用される場合に、２又は３つの制御点が必要とされるので、２つ又は３つのＭＶＤが、図１８に示されるように、それらの制御点に対してコーディングされる必要がある。ＪＶＥＴ－Ｋ０３３７では、ＭＶを次のように導出することが提案されており、すなわち、ｍｖｄ_０からｍｖｄ_１及びｍｖｄ_２が予測される。

ここで、バーｍｖ_ｉ、ｍｖｄ_ｉ及びｍｖ_ｉは、図１８（ｂ）に示されるように、夫々、左上ピクセル（ｉ＝０）、右上ピクセル（ｉ＝１）、又は左下ピクセル（ｉ＝２）の予測された動きベクトル、動きベクトル差分及び動きベクトルである。２つの動きベクトル（例えば、ｍｖＡ（ｘＡ，ｙＡ）及びｍｖＢ（ｘＢ，ｙＢ））の追加は、別々に２つの成分の和に等しいことに留意されたい。すなわち、ｎｅｗＭＶ＝ｍｖＡ＋ｍｖＢであり、ｎｅｗＭＶの２つの成分は夫々、（ｘＡ＋ｘＢ）及び（ｙＡ＋ｙＢ）にセットされる。

２．３．３．３．ＡＦ＿ＭＥＲＧＥモード
ＣＵがＡＦ＿ＭＥＲＧＥモードで適用される場合に、それは、有効な隣接する再構成されたブロックからアフィンモードによりコーディングされた最初のブロックを得る。そして、候補ブロックの選択順序は、図２１（ａ）に示されるように、左から、上、右上、左下、左上へである（順にＡ、Ｂ、Ｃ、Ｄ、Ｅによって表される）。例えば、隣接する左下ブロックが、図２１（ｂ）でＡ０によって表されるように、アフィンモードでコーディングされる場合に、ブロックＡを含む隣接するＣＵ／ＰＵの左上隅、右上隅、及び左下隅の制御点（ＣＰ）動きベクトルｍｖ_０ ^Ｎ、ｍｖ_１ ^Ｎ及びｍｖ_２ ^Ｎがフェッチされる。そして、現在のＣＵ／ＰＵ上の左上隅／右上／左下の動きベクトルｍｖ_０ ^Ｃ、ｍｖ_１ ^Ｃ及びｍｖ_２ ^Ｃ（６パラメータアフィンモデルのためにのみ使用される）は、ｍｖ_０ ^Ｎ、ｍｖ_１ ^Ｎ及びｍｖ_２ ^Ｎに基づいて計算される。留意されるべきは、ＶＴＭ－２．０では、現在のブロックがアフィンコーディングされている場合に、左上隅に位置するサブブロック（例えば、ＶＴＭでは、４×４ブロック）は、ｍｖ０を保存し、右上隅にあるサブブロックは、ｍｖ１を保存する。現在のブロックが６パラメータアフィンモデルでコーディングされる場合には、左下隅にあるサブブロックは、ｍｖ２を保存し、そうでない（４パラメータアフィンモデルによる）場合には、ＬＢはｍｖ２’を保存する。他のサブブロックは、ＭＣのために使用されるＭＶを保存する。

現在のＣＵのＣＰＭＶであるｍｖ_０ ^Ｃ、Ｍｖ_１ ^Ｃ及びｍｖ_２ ^Ｃが、簡単化されたアフィン運動モデル、つまり、式（１）及び（２）に従って導出された後、現在のＣＵのＭＶＦが生成される。現在のＣＵがＡＦ＿ＭＥＲＧＥモードでコーディングされているかどうかを識別するために、アフィンモードでコーディングされている少なくとも１つの隣接ブロックがある場合に、アフィンフラグがビットストリームでシグナリングされる。

ＪＶＥＴ－Ｌ０１４２及びＪＶＥＴ－Ｌ０６３２では、アフィンマージ候補リストは、次のステップで構成される。

１）遺伝的アフィン候補の挿入
遺伝によるアフィン候補（inherited affine candidate）とは、候補が、その有効な隣接するアフィンコーディングされたブロックのアフィン運動モデルから導出されることを意味する。最大２つの遺伝的アフィン候補が、隣接ブロックのアフィン運動モデルから導出され、候補リストに挿入される。左側予測子については、走査順序は｛Ａ０，Ａ１｝であり、上側予測子については、走査順序は｛Ｂ０，Ｂ１，Ｂ２｝である。

２）構成されたアフィン候補の挿入
アフィンマージ候補リスト内の候補の数がＭａｘＮｕｍＡｆｆｉｎｅＣａｎｄ（例えば、５つ）に満たない場合には、構成されたアフィン候補（constructed affine candidates）が候補リストに挿入される。構成されたアフィン候補とは、候補が、各制御点の隣接動き情報を結合することによって構成されることを意味する。
ａ）制御点の動き情報は、最初に、図２２に示されている指定された空間近傍及び時間近傍から導出される。ＣＰｋ（ｋ＝１，２，３，４）は、ｋ番目の制御点を表す。Ａ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２及びＢ３は、ＣＰｋ（ｋ＝１，２，３）を予測するための空間的位置である。Ｔは、ＣＰ４を予測するための時間的位置である。
ＣＰ１、ＣＰ２、ＣＰ３及びＣＰ４の座標は、夫々、（０，０）、（Ｗ，０）、（Ｈ，０）及び（Ｗ，Ｈ）であり、ここで、Ｗ及びＨは、現在のブロックの幅及び高さである。
各制御点の動き情報は、次の優先順序に従って取得される：
－ ＣＰ１については、チェック優先度はＢ２→Ｂ３→Ａ２である。Ｂ２は、それが利用可能である場合に使用される。そうではない場合に、Ｂ３が利用可能であるならば、Ｂ３が使用される。Ｂ２及びＢ３の両方が利用不可能である場合には、Ａ２が使用される。３つ全ての候補が利用不可能である場合には、ＣＰ１の動き情報は取得不可能である。
－ ＣＰ２については、チェック優先度はＢ１→Ｂ０である。
－ ＣＰ３については、チェック優先度はＡ１→Ａ０である。
－ ＣＰ４については、Ｔが使用される。
ｂ）第２に、制御点の組み合わせが、アフィンマージ候補を構成するために使用される。
Ｉ．３つの制御点の動き情報が、６パラメータアフィン候補を構成するために必要とされる。３つの制御点は、次の４つの組み合わせ（｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝）のうちの１つから選択され得る。組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ２，ＣＰ３，ＣＰ４｝、｛ＣＰ１，ＣＰ３，ＣＰ４｝は、左上、右上、及び左下制御点によって表される６パラメータ運動モデルへ変換されることになる。
ＩＩ．２つの制御点の動きベクトルが、４パラメータアフィン候補を構成するために必要とされる。２つの制御点は、次の２つの組み合わせ（｛ＣＰ１，ＣＰ２｝，｛ＣＰ１，ＣＰ３｝）のうちの１つから選択され得る。２つの組み合わせは、左上及び右上制御点によって表される４パラメータ運動モデルへ変換されることになる。
ＩＩＩ．構成されたアフィン候補の組み合わせは、次の順序：｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ２｝，｛ＣＰ１，ＣＰ３｝として候補リストに挿入される。
ｉ．組み合わせごとに、各ＣＰのためのリストＸの参照インデックスはチェックされ、それらが全て同じである場合に、この組み合わせはリストＸの有効なＣＰＭＶを有している。組み合わせがリスト０及びリスト１の両方の有効なＣＰＭＶを有してない場合には、この組み合わせは無効とマークされる。そうでない場合には、それは有効であり、ＣＰＭＶはサブブロックマージリストに置かれる。

３）ゼロアフィン動きベクトル候補によるパディング
アフィンマージ候補リスト内の候補の数が５よりも少ない場合に、サブブロックマージ候補リストについて、４パラメータマージ候補は、ＭＶが（０，０）にセットされ、予測方向がリスト０からの片予測（Ｐスライスの場合）及び双予測（Ｂスライスの場合）にセットされる。

２．３．４．ＶＶＣにおけるマージリスト設計
ＶＶＣでサポートされている３つの異なったマージリスト構成プロセスがある。
１）サブブロックマージ候補リスト：それはＡＴＭＶＰ及びアフィンマージ候補を含む。１つのマージリスト構成プロセスが、アフィンモード及びＡＴＭＶＰモードの両方について共有される。ここで、ＡＴＭＶＰ及びアフィンマージ候補は順番に加えられ得る。サブブロックマージリストのサイズはスライスヘッダでシグナリングされ、最大値は５である。
２）片予測ＴＰＭマージリスト：三角予測モードについては、２つのパーティションがそれら自身のマージ候補インデックスを選択することができたとしても、２つのパーティションのための１つのマージリスト構成プロセスが共有される。このマージリストを構成するときに、ブロックの空間隣接ブロック及び２つの時間ブロックがチェックされる。空間近傍及び時間ブロックから導出された動き情報は、我々のＩＤＦでは正則動き候補と呼ばれる。これらの正則動き候補は、複数のＴＰＭ航法を導出するために更に利用される。２つのパーティションがそれら自身の予測ブロックを生成するために異なる動きベクトルを使用し得るとしても、ブロック全体のレベルで変換が実行されることに留意されたい。
片予測ＴＰＭマージリストサイズは、５であるよう固定される。
３）正則マージリスト：残りのコーディングブロックについては、１つのマージリスト構成プロセスが共有される。ここで、空間／時間／ＨＭＶＰ、ペアワイズの組み合わされた双予測マージ候補、及びゼロ動き候補は、順番に挿入され得る。正則マージリストのサイズはスライスヘッダでシグナリングされ、最大値は６である。

２．３．４．１．サブブロックマージ候補リスト
全てのサブブロックに関連した動き候補は、非サブブロックマージ候補のための正則マージリストに加えて別個のマージリストに置かれる。

サブブロックに関連した動き候補は、「サブブロックマージ候補リスト」と名付けられている別個のマージリストに置かれる。

一例で、サブブロックマージ候補リストは、アフィンマージ候補、及びＡＴＭＶＰ候補、及び／又はサブブロックベースのＳＴＭＶＰ候補を含む。

２．３．４．１．１．ＪＶＥＴ－Ｌ０２７８
この寄稿では、通常のマージリスト内のＡＴＭＶＰマージ候補は、アフィンマージリストの第１の位置に動かされる。それにより、新しいリスト（すなわち、サブブロックベースのマージ候補リスト）内の全てのマージ候補は、サブブロックコーディングツールに基づく。

２．３．４．１．２．ＪＶＥＴ－Ｎ１００１におけるＡＴＭＶＰ
ＡＴＭＶＰは、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）としても知られている。

ＪＶＥＴ－Ｎ１００１では、サブブロックマージ候補リスト（別名、アフィンマージ候補リスト）として知られている特別なマージ候補リストが、正則マージ候補リストに加えて追加されている。サブブロックマージ候補リストは、次の順序で候補を充てんされる：
ａ．ＡＴＭＶＰ候補（利用可能あっても利用不可能であってもよい）；
ｂ．遺伝的アフィン候補；
ｃ．同一位置参照ピクチャでのＭＶを使用するＴＭＶＰに基づいた構成されたアフィン候補を含む構成されたアフィン候補；
ｄ．ゼロＭＶとして４パラメータアフィンモデルをパディングする。

ＶＴＭは、サブブロックベースの時間動きベクトル予測（ｓｂＴＭＶＰ）方法をサポートする。ＨＥＶＣでの時間動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、現在のピクチャにおけるＣＵのための動きベクトル予測及びマージモードを改善するよう同一位置ピクチャにおける動き場を使用する。ＴＭＶＰによって使用される同じ同一位置ピクチャはＳｂＴＭＶＰのために使用される。ｓｂＴＭＶＰは、次の２つの側面でＴＭＶＰとは異なっている：
１．ＴＭＶＰは、ＣＵレベルで動きを予測するが、ｓｂＴＭＶＰは、サブＣＵレベルで動きを予測する。
２．ＴＭＶＰは、同一位置ピクチャ内の同一位置ブロック（同一位置ブロックは、現在のＣｕに対する右下又は中心ブロックである）から時間動きベクトルをフェッチするが、一方で、ｓｂＴＭＶＰは、同一位置ピクチャから時間動き情報をフェッチする前に、動きシフトを適用し、動きシフトは、現在のＣＵの空間隣接ブロックの１つからの動きベクトルから取得される。

ＳｂＴＶＭＰプロセスは、図２３及び図２４に表されている。ｓｂＴＭＶＰは、２つのステップで現在のＣＵ内のサブＣＵの動きベクトルを予測する。第１のステップで、図２３の空間近傍Ａ１が試験される。Ａ１が、その参照ピクチャとして同一位置ピクチャを使用する動きベクトルを有する場合に、動きベクトルは、適用されるべき動きシフトであるよう選択される。そのような動きが識別されない場合には、動きシフトは（０，０）にセットされる。

第２のステップで、ステップ１で識別された動きシフトは、図２４に示されるように同一位置ピクチャからサブＣＵレベルの動き情報（動きベクトル及び参照インデックス）を取得するために適用される（すなわち、現在のブロックの座標に加えられる）。図２４の例は、動きシフトがブロックＡ１の動きにセットされる、と仮定する。それから、サブＣＵごとに、同一位置ピクチャ内のその対応するブロック（中心サンプルをカバーする最小の動きグリッド）の動き情報は、そのサブＣＵの動き情報を導出するために使用される。同一位置サブＣＵの動き情報が識別された後、それは、ＨＥＶＣのＴＭＶＰプロセスと同様にして、現在のサブＣＵの動きベクトル及び参照インデックスに変換され、ここで、時間動きスケーリングが、時間動きベクトルの参照ピクチャを現在ＣＵのそれらにアライメントするよう適用される。

ＶＴＭでは、ｓｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む、サブブロックベースの複合的なマージリストが、サブブロックベースのマージモードのシグナリングのために使用される。ｓｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効／無効にされる。ｓｂＴＭＶＰモードが有効にされる場合に、ｓｂＴＭＶＰ予測子が、サブブロックベースのマージ候補のリストの最初のエントリとして加えられ、それにアフィンマージ候補が続く。サブブロックベースのマージリストのサイズはＳＰＳでシグナリングされ、サブブロックベースのマージリストの最大許容サイズはＶＴＭ４では５である。

ｓｂＴＭＶＰで使用されるサブＣＵサイズは、８×８である用固定され、アフィンマージモードに対して行われるように、ｓｂＴＭＶＰモードは、幅及び高さの両方が８以上であるＣＵにのみ適用可能である。

追加のｓｂＴＭＶＰマージ候補の符号化ロジックは、他のマージ候補についてと同じであり、つまり、Ｐ又はＢスライスにおける各ＣＵについて、追加のＲＤチェックが、ｓｂＴＭＶＰ候補を使用すべきかどうかを決定するために実行される。

図２３～２４は、ＶＶＣにおけるｓｂＴＭＶＰプロセスの例を示す。

サブブロックマージ候補リスト内の候補の最大数は、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄと表される。

２．３．４．１．３．サブブロックマージリストに関連したシンタックス／セマンティクス

２．３．４．２．正則マージリスト
マージリスト設計とは異なり、ＶＶＣでは、履歴に基づいた動きベクトル予測（History-based Motion Vector Prediction）が用いられる。

ＨＭＶＰでは、前にコーディングされた動き情報が保存される、前にコーディングされたブロックの動き情報は、ＨＭＶＰ候補として定義される。複数のＨＭＶＰ候補が、ＨＭＶＰテーブルと名付けられたテーブルに保存され、このテーブルは、オン・ザ・フライで符号化／復号化プロセス中に保持される。ＨＭＶＰテーブルは、新しいスライスの符号化／復号化を開始するときに空にされる。インターコーディングされたブロックが存在するときには、関連する動き情報が、新しいＨＭＶＰ候補としてテーブルの最後のエントリに加えられる。全体のコーディングフローは図２５に表される。

ＨＭＶＰは、ＡＭＶＰ及びマージ候補リスト構成プロセスの両方で使用され得る。図２６は、変更されたマージ候補リスト構成プロセスを表す。ＴＭＶＰ候補挿入の後にマージ候補リストがいっぱいでないとき、ＨＭＶＰテーブルに保存されているＨＭＶＰ候補が、マージ候補リストに充てんするために利用される。１つのブロックが、通常は、動き情報に関して最も近い隣接ブロックとより高い相関を有していることを考えると、テーブル内のＨＭＶＰ候補は、インデックスの降順で挿入される。テーブル内の最後のエントリが最初にリストに加えられ、一方、最初のエントリは最後に加えられる。同様に、冗長性除去がＨＭＶＰ候補に対して適用される。利用可能なマージ候補の総数が、シグナリングされることを許されたマージ候補の最大数に達すると、マージ候補リスト構成プロセスは終了する。

図２５は、アフィンマージモードのための候補位置を示す。

図２６は、変更されたマージリスト構成プロセスを示す。

２．３．５．ＪＶＥＴ－Ｎ０２３６
この寄稿は、オプティカルフローによりサブブロックベースアフィン動き補償された予測を精緻化する方法を提案している。サブブロックベースのアフィン動き補償が実行された後、予測サンプルは、オプティカルフロー式によって導出された差を加えることによって精緻化される。これは、オプティカルフローによる予測精緻化（ＰＲＯＦ）と呼ばれる。提案されている方法は、メモリアクセスバンド幅を増大させずにピクセルレベル粒度でのインター予測を達成することができる。

より細かい粒度の動き補償を達成するために、この寄稿は、オプティカルフローによりサブブロックベースのアフィン動き補償された予測を精緻化する方法を提案する。サブブロックベースのアフィン動き補償が実行された後に、ルーマ予測サンプルは、オプティカルフロー式によって導出された差を加えることによって精緻化される。この提案されているＰＲＯＦ（Prediction Refinement with Optical Flow）は、次の４つのステップとして記載される。

ステップ１）サブブロックベースのアフィン動き補償が、サブブロック予測Ｉ（ｉ，ｊ）を生成するために実行される。

ステップ２）サブブロック予測の空間勾配ｇ_ｘ（ｉ，ｊ）及びｇ_ｙ（ｉ，ｊ）が、３タップフィルタ［－１，０，１］を用いて各サンプル位置で計算される。

ｇ_ｘ（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）
ｇ_ｙ（ｉ，ｊ）＝Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）

サブブロック精度は、勾配計算のために各辺で１ピクセルずつ広げられる。メモリバンド幅及び複雑性を低減するよう、広げられた境界上のピクセルは、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。従って、領域パディングのための追加の補間は回避される。

ステップ３）ルーマ予測精緻化が、オプティカルフロー式によって計算される。

ΔＩ（ｉ，ｊ）＝ｇ_ｘ（ｉ，ｊ）×Δｖ_ｘ（ｉ，ｊ）＋ｇ_ｙ（ｉ，ｊ）×Δｖ_ｙ（ｉ，ｊ）

ここで、Δｖ（ｉ，ｊ）は、図２７に示されるように、ｖ（ｉ，ｊ）によって表される、サンプル位置（ｉ，ｊ）について計算されたピクセルＭＶと、ピクセル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差である。

アフィンモデルパラメータ及びサブブロック中心に対するピクセル位置は、サブブロックごとに変化しないので、Δｖ（ｉ，ｊ）は、最初のサブブロックについて計算され、同じＣＵ内の他のサブブロックに対して再利用され得る。ｘ及びｙを、ピクセル位置からサブブロックの中心までの水平及び垂直オフセットとすると、Δｖ（ｘ，ｙ）は、次の式によって導出され得る。

４パラメータアフィンモデルについては、

であり
６パラメータアフィンモデルについては、

であり、ここで、（ｖ_０ｘ，ｖ_０ｙ）、（ｖ_１ｘ，ｖ_１ｙ）、（ｖ_２ｘ，ｖ_２ｙ）は、左上、右上、及び左下制御点動きベクトルであり、ｗ及びｈは、ＣＵの幅及び高さである。

ステップ４）最後に、ルーマ予測精緻化がサブブロック予測Ｉ（ｉ，ｊ）に加えられる。最終的な予測Ｉ’は、次の式として生成される。

Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ）

２．３．６．ＡＴＭＶＰの改善に関するＰＣＴ／ＣＮ２０１８／１２４５２０及びＰＣＴ／ＣＮ２０１８／１１６８８９
これらの文献で、我々は、ＡＴＭＶＰモードの設計を妥当かつ効率的にするためのいくつかのアプローチを開示した。これらは両方とも、その全文を参照により援用される。

３．実施形態によって解決された課題の例
ＶＶＣの現在の設計では、サブブロックベースの予測モードは次の問題を抱えている：
１）ＳＰＳ内のアフィンＡＭＶＲフラグは、正則ＡＭＶＲがオフされるときにオンされる可能性がある。
２）ＳＰＳ内のアフィンＡＭＶＲフラグは、アフィンモードがオフされるときにオンされる可能性がある。
３）ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、ＡＴＭＶＰが適用されないときに近似的にセットされない。
４）ＴＭＶＰがスライスに対して無効にされ、ＡＴＭＶＰがシーケンスに対して有効にされるとき、Ｂスライスの同一位置ピクチャは識別されなかったが、同一位置ピクチャはＡＴＭＶＰプロセスで必要とされる。
５）ＴＭＶＰ及びＡＴＭＶＰは両方とも、参照ピクチャから動き情報をフェッチする必要があり、現在の設計では、それは同じであると想定されており、これは事前である可能性がある。
６）ＰＲＯＦは、そのオン／オフを制御するフラグを有するべきである。

４．例となる実施形態
以下の詳細な発明は、一般概念を説明するための例と見なされるべきである。これらの発明は、狭い意味で解釈されるべきではない。更に、これらの発明は、如何なる方法でも組み合わせ可能である。いくつかの実施形態は、代替時間動きベクトル予測（ＡＴＭＶＰ）技術の例を用いて記載されるが、代替の実施形態では、サブブロックベースの時間動きベクトル予測（ｓｂＴＭＶＰ）技術が適用可能であってもよい。

以下で記載されている方法は、他の種類の動き候補リスト（例えば、ＡＭＶＰ候補リスト）にも適用可能であり得る。

１．アフィンＡＭＶＲのための制御情報がシグナリングされるかどうかは、アフィン予測が適用されるか否かに依存し得る。
ａ）一例で、アフィンＡＭＶＲのための制御情報は、アフィン予測が適用されない場合にはシグナリングされない。
ｂ）一例で、アフィンＡＭＶＲは、アフィン予測がコンフォーマンスビットストリーム（conformance bitstream）で適用されない場合には無効にされるべきある（例えば、アフィンＡＭＶＲの利用は、偽であるとシグナリングされるべきである）。
ｃ）一例で、アフィンＡＭＶＲのためのシグナリングされた制御情報は、アフィン予測が適用されない場合には無視されて、適用されないと推測されてもよい。

２．アフィンＡＭＶＲのための制御情報がシグナリングされるかどうかは、正則ＡＭＶＲが適用されるか否かに依存し得る。
ａ）一例で、アフィンＡＭＶＲのための制御情報は、正則ＡＭＶＲが適用されない場合にはシグナリングされない。
ｂ）一例で、アフィンＡＭＶＲは、正則ＡＭＶＲがコンフォーマンスビットストリームで適用されない場合には無効にされるべきである（アフィンＡＭＶＲフラグの利用は、偽であるとシグナリングされる）。
ｃ）一例で、アフィンＡＭＶＲのためのシグナリングされた制御情報は、正則ＡＭＶＲが適用されない場合には無視されて、適用されないと推測されてもよい。
ｄ）一例で、適応動きベクトル分解の指示（例えば、１つのフラグ）は、正則ＡＭＶＲ（すなわち、並進運動に適用されるＡＭＶＲ）及びアフィンＡＭＶＲ（すなわち、アフィン運動に適用されるＡＭＶＲ）などの複数のコーディング方法のためのＡＭＶＲの利用を制御するために、シーケンス／ピクチャ／スライス／タイルグループ／タイル／ブリック／他のビデオユニットでシグナリングされ得る。
ｉ．一例で、そのような指示は、ＳＰＳ／ＤＰＳ／ＶＰＳ／ＰＰＳ／ピクチャヘッダ／スライスヘッダ／タイルグループヘッダでシグナリングされ得る。
ｉｉ．代替的に、更に、正則ＡＭＶＲ及び／又はアフィンＡＭＶＲの利用の指示をシグナリングすべきかどうかは、その指示に依存してもよい。
１）一例で、そのような指示が、適応動きベクトル分解が無効にされることを示すとき、正則ＡＭＶＲの利用の指示のシグナリングはスキップされてもよい。
２）一例で、そのような指示が、適応動きベクトル分解が無効にされることを示すとき、アフィンＡＭＶＲの利用の指示のシグナリングはスキップされてもよい。
ｉｉｉ．代替的に、更に、アフィンＡＭＶＲの利用の指示をシグナリングすべきかどうかは、アフィン予測モードの利用及び指示に依存してもよい。
１）例えば、そのような指示は、アフィン予測モードが無効にされる場合にスキップされてもよい。
ｉｖ．一例で、そのような指示は、現在のスライス／タイルグループ／ピクチャが先行ピクチャからのみ予測可能である場合にはシグナリングされてなくてもよく、偽であると導出され得る。
ｖ．一例で、そのような指示は、現在のスライス／タイルグループ／ピクチャが後続ピクチャからのみ予測可能である場合にはシグナリングされなくてもよく、偽であると導出され得る。
ｖｉ．一例で、そのような指示は、現在のスライス／タイルグループ／ピクチャが先行ピクチャ及び後続ピクチャの両方から予測可能であるときにシグナリングされ得る。

３．アフィンＡＭＶＲのための制御情報がシグナリングされるべきかどうかは、正則ＡＭＶＲが適用されるか否かと、アフィン予測が適用されるか否かとに依存してもよい。
ａ）一例で、アフィンＡＭＶＲのための制御情報は、アフィン予測が適用されないか又は正則ＡＭＶＲが適用されない場合にはシグナリングされない。
ｉ．一例で、アフィンＡＭＶＲは、コンフォーマンスビットストリームでアフィン予測が適用されないか又は正則ＡＭＶＲが適用されない場合には無効にされるべきである（例えば、アフィンＡＭＶＲの利用は、偽であるとシグナリングされるべきである）。
ｉｉ．一例で、アフィンＡＭＶＲのためのシグナリングされた制御情報は、アフィン予測が適用されないか又は正則ＡＭＶＲが適用されない場合には無視され、適用されないと推測されてもよい。
ｂ）一例で、アフィンＡＭＶＲのための制御情報は、アフィン予測が適用されずかつ正則ＡＭＶＲが適用されない場合にはシグナリングされない。
ｉ．一例で、アフィンＡＭＶＲは、コンフォーマンスビットストリームでアフィン予測が適用されずかつ正則ＡＭＶＲが適用されない場合には無効にされるべきある（例えば、アフィンＡＭＶＲの利用は、偽であるとシグナリングされるべきである）。
ｉｉ．一例で、アフィンＡＭＶＲのためのシグナリングされた制御情報は、アフィン予測が適用されずかつ正則ＡＭＶＲが適用されない場合には無視されて、適用されないと推測されてもよい。

４．サブブロックマージ候補リスト内の候補の最大数（ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄと表される）は、ＡＴＭＶＰが有効にされるか否かに依存してもよい。ＡＴＭＶＰが有効にされるか否かは、ＳＰＳ内のｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇによってのみ示されなくてもよい。
ａ）例えば、ＡＴＭＶＰが有効にされるか否かは、シーケンスレベルでシグナリングされたフラグ（例えば、ＳＰＳ内のｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）にしか依存しなくてもよい。それはまた、ＶＰＳ、ＤＰＳ、ＡＰＳ、ＰＰＳ、スライスヘッダ、タイルグループヘッダ、ピクチャヘッダ、などのようなシーケンス／ピクチャ／スライス／タイルグループ／タイルレベルでの何らかの他のビデオユニットでシグナリングされた１つ又は複数のシンタックス要素にも依存してよい。
ｉ．代替的に、ＡＴＭＶＰが有効にされるかどうかは、シグナリングによらずに暗黙的に導出されてもよい。
ｉｉ．例えば、ＡＴＭＶＰは、ＴＭＶＰがピクチャ又はスライス又はタイルグループに対して有効にされない場合には、ピクチャ又はスライス又はタイルグループに対して有効にされない。
ｂ）例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄに関連したシンタックス要素（例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ）をシグナリングすべきかどうか及び／又はどのようにシグナリングすべきかは、ＡＴＭＶＰが有効にされるか否かに依存してもよい。
ｉ．例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、ＡＴＭＶＰが有効にされない場合にはコンフォーマンスビットストリームにおいて制約され得る。
１）例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、ＡＴＭＶＰが有効にされない場合には、固定数に等しいことを許されない。２つの例で、固定数は０又は５であってよい。
２）例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、ＡＴＭＶＰが有効にされない場合には、固定数よりも大きいことを許されない。１つの例で、固定数は４であってよい。
３）例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、ＡＴＭＶＰが有効にされない場合には、固定数よりも小さいことを許されない。１つの例で、固定数は１であってよい。
ｉｉ．例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、それが存在しない場合にはｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ－（ＡＴＭＶＰが有効にされる？０：１）としてセットされてもよく、ＡＴＭＶＰが有効にされるかどうかは、ＳＰＳ内のフラグ（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）にしか依存しないわけではない。
ｃ）例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、１つ以上のシンタックス要素（例えば、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ）及びＡＴＭＶＰが有効にされるか否かに応じて導出されてもよい。
ｉ．例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＝５－ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ－（ＡＴＭＶＰが有効にされる？０：１）として導出され得る。
ｄ）ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、ＡＴＭＶＰが有効にされるときに１にセットされてもよく、アフィン運動予測は無効にされる。

５．デフォルト候補（並進及び／又はアフィン運動による）がサブブロックマージ候補リストに付け加えられてもよい。デフォルト候補は、サブブロックなどの予測タイプを有してもよく、あるいは、それは、ブロック全体予測によるものであってもよい。
ａ）一例で、デフォルト候補に対するブロック全体予測は、並進運動モデル（例えば、正則マージ候補に対するブロック全体予測）に続いてもよい。
ｂ）一例で、デフォルト候補に対するサブブロック予測は、並進運動モデル（例えば、ＡＴＭＰ候補に対するサブブロック予測）に続いてもよい。
ｃ）一例で、デフォルト候補に対するサブブロック予測は、アフィン運動モデル（例えば、アフィンマージ候補に対するサブブロック予測）に続いてもよい。
ｄ）一例で、デフォルト候補は、０に等しいアフィンフラグを有してもよい。
ｉ．代替的に、デフォルト候補は、１に等しいアフィンフラグを有してもよい。
ｅ）一例で、ブロックに対する後続の手順は、そのブロックがデフォルト候補でコーディングされるかどうかに依存してもよい。
ｉ．一例で、ブロックは、ブロック全体予測デコーディングされているものとして扱われ（例えば、選択されたデフォルト候補は、ブロック全体予測を使用する）、
１）例えば、ＰＲＯＦは、ブロックに適用されなくてもよい。
２）例えば、ＤＭＶＲ（Decode-side Motion Vector Refinement）は、ブロックに適用されてもよい。
３）例えば、ＢＤＯＦ（Bi-Directional Optical Flow）は、ブロックに適用されてもよい。
４）例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されなくてもよい。
ｉｉ．一例で、ブロックは、サブブロック予測でコーディングされているものとして扱われ（例えば、選択されたデフォルト候補は、サブブロック予測を使用する）、
１）例えば、ＰＲＯＦは、ブロックに適用されてもよい。
２）例えば、ＤＭＶＲ（Decode-side Motion Vector Refinement）は、ブロックに適用されなくてもよい。
３）例えば、ＢＤＯＦ（Bi-Directional Optical Flow）は、ブロックに適用されなくてもよい。
４）例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されてもよい。
ｉｉｉ．一例で、ブロックは並進予測でコーディングされているものとして扱われ、
１）例えば、ＰＲＯＦは、ブロックに適用されなくてもよい。
２）例えば、ＤＭＶＲ（Decode-side Motion Vector Refinement）は、ブロックに適用されてもよい。
３）例えば、ＢＤＯＦ（Bi-Directional Optical Flow）は、ブロックに適用されてもよい。
４）例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されなくてもよい。
ｉｖ．一例で、ブロックは、アフィン予測でコーディングされているものとして扱われ、
１）例えば、ＰＲＯＦは、ブロックに適用されてもよい。
２）例えば、ＤＭＶＲ（Decode-side Motion Vector Refinement）は、ブロックに適用されなくてもよい。
３）例えば、ＢＤＯＦ（Bi-Directional Optical Flow）は、ブロックに適用されなくてもよい。
４）例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されてもよい。
ｆ）一例で、１つ又は複数の種類のデフォルト候補が、サブブロックマージ候補リストに置かれてもよい。
ｉ．例えば、ブロック全体予測による第１の種類のデフォルト候補及びサブブロック予測による第２の種類のデフォルト候補の両方がサブブロックマージ候補リストに置かれてもよい。
ｉｉ．例えば、並進予測による第１の種類のデフォルト候補及びアフィン予測による第２の種類のデフォルト候補の両方がサブブロックマージ候補リストに置かれてもよい。
ｉｉｉ．各種類からのデフォルト候補の最大数は、ＡＴＭＶＰが有効にされるかどうか及び／又はアフィン予測が有効にされるかどうかに依存してもよい。
ｇ）一例で、Ｂスライスについては、デフォルト候補は、全てのサブブロックについてゼロ動きベクトルを有してもよく、双予測が適用され、両方の参照ピクチャは０にセットされる。
ｈ）一例で、Ｐスライスについては、デフォルト候補は、全てのサブブロックについてゼロ動きベクトルを有してもよく、片予測が適用され、参照ピクチャは０にセットされる。
ｉ）どの種類のデフォルト候補がサブブロックマージ候補リストに置かれるかは、ＡＴＭＶＰ及び／又はアフィン予測モードの利用に依存してもよい。
ｉ．一例で、アフィン予測モードが有効にされるとき、アフィンフラグが１であるアフィン運動モデル（例えば、全てのＣＰＭＶが０に等しい）によるデフォルト候補が加えられ得る。
ｉｉ．一例で、アフィン予測モード及びＡＴＭＶＰの両方が有効にされるとき、アフィンフラグが０である並進運動モデル（例えば、ゼロＭＶ）によるデフォルト候補及び／又はアフィンフラグが１であるアフィン運動モデル（例えば、全てのＣＰＭＶが０に等しい）によるデフォルト候補が加えられ得る。
１）一例で、並進運動モデルによるデフォルト候補は、アフィン運動モデルによるデフォルト候補の前に加えられ得る。
ｉｉｉ．一例で、アフィン予測が無効にされ、ＡＴＭＶＰが有効にされるとき、アフィンフラグが０である並進運動モデルによるデフォルト候補が加えられ得、アフィン運動によるデフォルト候補は加えられない。
ｊ）上記の方法は、ＡＴＭＶＰ候補及び／又は空間／時間／構成されたアフィンマージ候補をチェックした後でサブブロックマージ候補が満たされていないときに適用され得る。

６．ＡＴＭＶＰがスライス又はタイルグループ又はピクチャに対して有効にされるかどうかなどのＡＴＭＶＰに関する情報は、スライスヘッダ又はタイルグループヘッダ又はスライスヘッダでシグナリングされてもよい。
ａ）一例で、ＡＴＭＶＰの同一位置ピクチャは、ＴＭＶＰの同一位置ピクチャとは異なってもよい。
ｂ）一例で、ＡＴＭＶＰに関する情報は、Ｉスライス又はＩタイルグループ又はＩピクチャについてシグナリングされなくてもよい。
ｃ）一例で、ＡＴＭＶＰに関する情報は、ＡＴＭＶＰがシーケンスレベルで有効にされるとシグナリングされる（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい）場合にのみシグナリングされ得る。
ｄ）一例で、ＡＴＭＶＰに関する情報は、ＴＭＶＰがスライス又はタイルグループ又はピクチャに対して無効にされる場合には、そのスライス又はタイルグループ又はピクチャについてシグナリングされなくてもよい。
ｉ．例えば、ＡＴＭＶＰは、この場合に、無効にされると推測され得る。
ｅ）ＡＴＭＶＰは、ＡＴＭＶＰの利用のシグナリングされた情報にかかわらず、ＴＭＶＰがスライス（又はタイルグループ又はピクチャ）に対して無効にされる場合には、そのスライス（又はタイルグループ又はピクチャ）に対して無効にされると推測され得る。

７．サブブロックベースの時間マージ候補（例えば、時間アフィン動き候補）を加えるべきかどうかは、ＴＭＶＰの利用に依存してもよい。
ａ）代替的に、それは、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に依存してもよい。
ｂ）代替的に、それは、ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に依存してもよい。
ｃ）ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられてもよい。
ｉ．代替的に、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが両方とも真であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられてもよい。
ｉｉ．代替的に、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが偽であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられるべきではない。
ｄ）代替的に、サブブロックベースの時間マージ候補を加えることの指示は、シーケンス／ピクチャ／スライス／タイルグループ／タイル／ブリック／他のビデオユニットでシグナリングされてもよい。
ｉ．代替的に、更に、それは、時間動きベクトル予測の利用（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及び／又はｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に従って条件付きでシグナリングされてもよい。

８．どの参照ピクチャリストから同一位置参照ピクチャが導出されるか（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ）及び／又は同一位置参照ピクチャの参照インデックスなどの、同一位置参照ピクチャの指示は、時間動き情報にアクセスする必要がある複数のコーディング方法の利用に従って条件付きでシグナリングされてもよい。
ａ）一例で、条件は、ＡＴＭＶＰ又はＴＭＶＰのうちの一方が有効にされることである。
ｂ）一例で、条件は、ＡＴＭＶＰ又はＴＭＶＰ又はアフィン動き情報予測のうちの１つが有効にされることである。

９．一例で、サブブロックベースの時間マージ候補は、ＡＴＭＶＰ及びＴＭＶＰが両方とも現在のピクチャ／スライス／タイルグループに対して有効にされるときにのみサブブロックマージ候補リストに置かれてよい。
ａ）代替的に、サブブロックベースの時間マージ候補は、ＡＴＭＶＰが現在のピクチャ／スライス／タイルグループに対して有効にされるときにのみサブブロックマージ候補リストに置かれてよい。

１０．ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックベースの時間マージ候補が使用され得るかどうかに依存してもよい。
ａ）代替的に、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、ＴＭＶＰが使用され得るかどうかに依存してもよい。
ｂ）例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックベースの時間マージ候補（又はＴＭＶＰ）が使用され得ない場合には、４よりも大きくてはならない。
ｉ．例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックベースの時間マージ候補（又はＴＭＶＰ）が使用され得ず、ＡＴＭＶＰが使用され得る場合には、４よりも大きくてはならない。
ｉｉ．例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックベースの時間マージ候補（又はＴＭＶＰ）が使用され得ず、ＡＴＭＶＰが使用され得ない場合には、４よりも大きくてはならない。
ｉｉｉ．例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックベースの時間マージ候補（又はＴＭＶＰ）が使用され得ず、ＡＴＭＶＰが使用され得ない場合には、３よりも大きくてはならない。

１１．ＰＲＯＦを行うべきかどうか及び／又はどのように行うべきかを示す１つ又は複数のシンタックス要素は、ＶＰＳ、ＤＰＳ、ＡＰＳ、ＰＰＳ、スライスヘッダ、タイルグループヘッダ、ピクチャヘッダ、ＣＴＵ、ＣＵ、ＰＵ、などのようなシーケンス／ピクチャ／スライス／タイルグループ／タイル／ＣＴＵ行／ＣＴＵ。ＣＵ／ＰＵ／ＴＵレベルでの何らかのビデオユニットでシグナリングされ得る。
ａ）一例で、１つ又は複数のシンタックス要素（例えば、ＰＲＯＧが有効にされるかどうかを示すフラグ）は、アフィン予測が有効にされるかどうかを示すシンタックス要素などの他のシンタックス要素に応じて条件付きでシグナリングされ得る。
ｉ．例えば、ＰＲＯＦが有効にされるかどうかを示すシンタックス要素は、シグナリングされなくてもよく、ＰＲＯＦは、アフィン予測が無効にされるときには、無効にされると推測される。
ｂ）一例で、ＰＲＯＦが有効にされるかどうかを示すシンタックス要素は、アフィン予測がコンフォーマンスビットストリームで無効にされるときには、ＰＲＯＦが無効にされるとセットされなければならない。
ｃ）一例で、アフィン予測がコンフォーマンスビットストリームで無効にされるときに、ＰＲＯＦが有効にされるかどうかを示すシグナリングされたシンタックス要素は、無視されて、ＰＲＯＦは、無効にされると推測される。
ｄ）一例で、１つのシンタックス要素が、ＰＲＯＦが片予測にのみ適用されるか否かを示すためにシグナリングされてもよい。

５．実施形態
次の全ての実施形態については、シンタックス要素は、ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダ／タイルグループヘッダ／タイル又は他のビデオユニットなどの異なるレベルでシグナリングされてもよい。

５．１，実施形態＃１：ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダでのｓｐｓ＿ａｆｆｉｎｅ＿ａｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇに関するシンタックス設計の例

代替的に、

代替的に、

代替的に、

５．２．実施形態＃２：ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄに関するセマンティクスの例

５．３．実施形態＃３：スライスヘッダ（又はタイルグループヘッダ）でのＡＴＭＶＰのためのシンタックス要素の例

代替的に、

５．４．実施形態＃４：スライスヘッダ（又はタイルグループヘッダ）でのサブブロックベースの時間マージ候補のためのシンタックス要素の例

５．５．実施形態＃５：ＳＰＳでＰＲＯＦを制御するシンタックス／セマンティクスの例

図２８は、ビデオ処理装置１４００のブロック図である。装置１４００は、本明細書で説明されている方法の１つ以上を実装するために使用されてよい。装置１４００は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス（Internet of Things，ＩｏＴ）レシーバ、などで具現されてよい。装置１４００は、１つ以上のプロセッサ１４０２、１つ以上のメモリ１４０４、及びビデオ処理ハードウェア１４０６を含んでよい。プロセッサ１４０２は、本明細書で説明されている１つ以上の方法を実装するよう構成されてよい。メモリ（複数のメモリ）１４０４は、本明細書で説明されている方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理ハードウェア１４０６は、ハードウェア回路で、本明細書で説明されているいくつかの技術を実装するために使用されてよい。

図２９は、ビデオ処理の例示的な方法２９００のフローチャートである。方法２９００は、ビデオの現在のビデオブロックとビデオのビットストリーム表現との間の変換を、アフィン適応動きベクトル分解技術を用いて実行するステップ（２９０２）を含み、それにより、ビットストリーム表現は、規則に基づいて、アフィン適応動きベクトル分解技術に関する制御情報を選択的に含む。

以下の例の列挙は、数ある課題の中でも、本明細書で記載されている技術的課題に対処することができる実施形態を提供する。

１．ビデオ処理の方法であって、ビデオの現在のビデオブロックと前記ビデオのビットストリーム表現との間の変換を、アフィン適応動きベクトル分解技術を用いて実行するステップ（２９０２）を含み、それにより、前記ビットストリーム表現は、規則に基づいて、前記アフィン適応動きベクトル分解技術に関する制御情報を選択的に含む、方法。

２．例１の方法であって、前記規則は、アフィン予測が前記変換中に使用される場合に前記制御情報を含め、アフィン予測が前記変換中に使用されない場合に前記制御情報を省略することを定める、方法。

３．例１の方法であって、前記規則は、アフィン予測が前記変換に適用されない場合に、前記変換中に適応動きベクトル分解ステップを使用することを除くことを更に定める、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目１で提供される。

４．例１の方法であって、前記規則は、正則な適応動きベクトル分解ステップが前記変換中に使用されるか否かに基づき前記制御情報を包含又は省略することを定める、方法。

５．例４の方法であって、前記規則は、前記正則な適応動きベクトル分解ステップが前記変換中に適用されない場合に、前記制御情報が省略されることを定める、方法。

６．例１の方法であって、前記制御情報は、前記変換中の複数の適応動きベクトル分解技術の仕様を示す同じフィールドを含む、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目２で提供される。

７．例１の方法であって、前記規則は、正則な適応動きベクトル分解及びアフィン予測が前記変換中に使用されるか否かに基づき前記制御情報を包含又は省略することを定める、方法。

８．例７の方法であって、前記規則は、前記正則な適応動きベクトル分解及びアフィン予測が両方とも前記変換中に適用されない場合に、前記制御情報を省略することを定める、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目３で提供される。

９．ビデオ処理の方法であって、現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストを決定するステップであり、前記サブブロックマージ候補リスト内の候補の最大数は、代替時間動きベクトル予測（ＡＴＭＶＰ）が前記変換に適用されるか否かに依存する、前記決定するステップと、前記サブブロックマージ候補リストを用いて前記変換を実行するステップとを有する方法。

１０．例９の方法であって、前記ビットストリーム表現内のフィールドは、代替時間動きベクトル予測が前記変換に適用されるか否かを示す、方法。

１１．例１０の方法であって、前記フィールドは、シーケンスレベル又はビデオパラメータセットレベル又はピクチャパラメータセットレベル又はスライスレベル又はタイルグループレベル又はピクチャヘッダレベルにある、方法。

１２．例９の方法であって、ＡＴＭＶＰが前記変換に適用され、アフィン予測が前記変換のために無効にされる場合に、前記候補の最大数は１にセットされる、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目４で提供される。

１３．ビデオ処理の方法であって、現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストに１つ以上のデフォルトのマージ候補を付け足すステップと、１つ以上のデフォルトのマージ候補が付け足された前記サブブロックマージ候補リストを用いて前記変換を実行するステップとを有する方法。

１４．例１３の方法であって、デフォルト候補は、サブブロック予測タイプと関連付けられる、方法。

１５．例１４の方法であって、前記サブブロック予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、方法。

１６．例１３の方法であって、デフォルト候補は、ブロック全体予測タイプと関連付けられる、方法。

１７．例１４の方法であって、前記ブロック全体予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目５で提供される。

１８．ビデオ処理の方法であって、ビデオの現在のビデオブロックとビットストリーム表現との間の変換中に、該変換への代替時間動きベクトル予測（ＡＴＭＶＰ）の適用可能性を決定するステップであり、前記ビットストリーム表現内の１つ以上のビットは前記決定に対応する、前記決定するステップと、前記決定に基づき前記変換を実行するステップとを有する方法。

１９．例１８の方法であって、前記１つ以上のビットは、ピクチャヘッダ又はスライスヘッダ又はタイルグループヘッダに含まれる、方法。

２０．例１８～１９の方法であって、前記変換は、時間動きベクトル予測（ＴＭＶＰ）を使用した前記ビデオの前記変換のために使用される他の同一位置ピクチャとは異なる同一位置ピクチャをＡＴＭＶＰのために使用する、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目６で提供される。

２１．ビデオ処理の方法であって、時間動きベクトル予測（ＴＭＶＰ）ステップ又は代替時間動きベクトル予測（ＡＴＭＶＰ）に関連した条件に基づき選択的にサブブロックマージ候補リストを構成するステップと、該サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップとを有する方法。

２２．例２１の方法であって、前記条件は、シーケンスパラメータセットレベル又はスライスレベル又はタイルレベル又はブリックレベルでの前記ビットストリーム表現内のフラグの存在に対応する、方法。

２３．例２１の方法であって、前記サブブロックマージ候補リストは、代替動きベクトル予測及びＴＭＶＰステップが両方とも、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、方法。

２４．例２１の方法であって、前記サブブロックマージ候補リストは、ＡＴＭＶＰ及びＴＭＶＰステップが両方とも、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、方法。

２５．例２１の方法であって、前記サブブロックマージ候補リストは、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについてＡＴＭＶＰが有効にされＴＭＶＰステップが無効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目７及び９で提供される。

２６．例２１～２５の方法であって、前記ビットストリーム表現内のフラグは、サブブロックベースの時間マージ候補が前記変換中に使用されるか否かに基づき包含又は省略される、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目１０で提供される。

２７．ビデオ処理の方法であって、ビデオの現在のビデオブロックと前記ビデオのビットストリーム表現との間の変換を、規則に基づいて、オプティカルフローを使用した予測精緻化（ＰＲＯＦ）を選択的に用いて実行するステップを有し、前記規則は、（１）前記ビットストリーム表現内のフィールドの包含又は省略、あるいは、（２）アフィン予測が前記変換に適用されるか否か、を有する、方法。

２８．例２７の方法であって、前記規則は、前記変換に対するアフィン予測の無効化によりＰＲＯＦを無効にすることを定める、方法。

２９．例２７の方法であって、アフィン予測が無効にされる場合に、ＰＲＯＦは前記変換に対して無効にされると推測される、方法。

３０．例２７の方法であって、前記規則は、前記ビットストリーム表現内の対応するフラグに基づき片予測のためにのみＰＲＯＦを使用することを更に定める、方法。

上記の例に関連した更なる例及び実施形態は、セクション４、項目１１で提供される。

３１．例１乃至３０のうちの１つ以上を実装するよう構成されたプロセッサを有するビデオ処理装置。

３２．プロセッサによって実行される場合に、該プロセッサに、例１乃至３０のうちのいずれか１つ以上に記載の方法を実装させるコードを記憶しているコンピュータ可読媒体。

本明細書における例の列挙において、変換との用語は、現在のビデオブロックのビットストリーム表現の生成又は現在のビデオブロックをビットストリーム表現から生成することを指し得る。ビットストリーム表現は、必ずしも、連続したビットのグループを表すわけではなく、コーディングされたピクセル値情報を表すコードワードで又はヘッダフィールドで含まれるビットに分けられてもよい。

上記の例では、規則は予め定義され、エンコーダ及びデコーダに知られていることがある。

図３０は、本明細書で開示されている様々な技術が実装され得る、例となるビデオ処理システム３０００を示すブロック図である。様々な実施は、システム３０００のコンポーネントのいくつか又は全てを含んでよい。システム３０００は、ビデオコンテンツを受け取る入力部３００２を含んでよい。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、８又は１０ビットマルチコンポーネントピクセル値で、受け取られてよく、あるいは、圧縮又はエンコードされたフォーマットであってもよい。入力部３００２は、ネットワーク・インターフェース、ペリフェラル・バス・インターフェース、又はストレージ・インターフェースに相当してよい。ネットワーク・インターフェースの例には、Ｅｔｈｅｒｎｅｔ（登録商標）、受動光学ネットワーク（Passive Optical Network，ＰＯＮ）、などのような有線インターフェース、及びＷｉ－Ｆｉ又はセルラーインターフェースのような無線インターフェースがある。

システム３０００は、本明細書で説明されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント３００４を含んでよい。コーディングコンポーネント３００４は、ビデオのコーディングされた表現を生成するよう入力部３００２からコーディングコンポーネント３００４の出力部までのビデオの平均ビットレートを低減してよい。コーディング技術は、従って、時々、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント３００４の出力は、コンポーネント３００６によって表されているように、記憶されるか、あるいは、通信接続を介して伝送されるかのどちらかであってよい。入力部３００２で受け取られたビデオの記憶又は通信されたビットストリーム（又はコーディングされた）表現は、表示インターフェース３０１０へ送られるピクセル値又は表示可能なビデオを生成するためにコンポーネント３００８によって使用されてよい。ビットストリーム表現から、ユーザが見ることができるビデオを生成するプロセスは、時々、ビデオ圧縮解除と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作はエンコーダで使用され、コーディングの結果を判定させる対応する復号化ツール又は動作は、デコーダで実行されることになる。

ペリフェラル・バス・インターフェース又は表示インターフェースの例には、ユニバーサル・シリアル・バス（Universal Serial Bus，ＵＳＢ）又は高精細マルチメディアインターフェース（High Definition Multimedia Interface，ＨＤＭＩ（登録商標））などが含まれ得る。ストレージ・インターフェースの例には、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＰＣＩ、ＩＤＥインターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び／又はビデオ表示を実行することが可能な他のデバイスのような様々な電子機器で具現されてよい。

図３１は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態１に関連して説明されている。ステップ３１０２で、プロセスは、視覚メディアデータのビットストリーム表現におけるアフィン適応動きベクトル分解（ＡＭＶＲ）技術に関する制御情報に応じて、前記視覚メディアデータに対して前記アフィンＡＭＶＲ技術を使用すべきかどうかを決定し、前記制御情報は、規則に基づき前記ビットストリーム表現において包含又は削除される。ステップ３１０４で、プロセスは、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の変換を実行する。

図３２は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態４に関連して説明されている。ステップ３２０２で、プロセスは、サブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）技術が視覚メディアデータに適用されるか否かの決定を行う。ステップ３２０４で、前記決定に応答して、プロセスは、前記視覚メディアデータに含まれる現在のビデオブロックについてサブブロックマージ候補リストを生成する。ステップ３２０６で、プロセスは、前記サブブロックマージ候補リストを用いて、前記現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行する。

図３３は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態５に関連して説明されている。ステップ３３０２で、プロセスは、現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストに１つ以上のデフォルトのマージ候補を付け足す。ステップ３３０４で、プロセスは、１つ以上のデフォルトのマージ候補を付け足された前記サブブロックマージ候補リストを用いて、前記変換を実行する。

図３４は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態６に関連して説明されている。ステップ３４０２で、プロセスは、ビデオの現在のビデオブロックとビットストリーム表現との間の変換中に、該変換へのサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）の適用可能性を決定する。ここで、ビットストリーム表現中の１つ以上のビットは、前記決定に対応する。ステップ３４０４で、プロセスは、前記決定に基づき前記変換を実行する。

図３５は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態７に関連して説明されている。ステップ３５０２で、プロセスは、時間的動きベクトル予測（ＴＭＶＰ）ステップ又はサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）ステップに関連した条件に基づき選択的にサブブロックマージ候補リストを構成する。ステップ３５０４で。プロセスは、前記サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行する。

図３６は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態８に関連して説明されている。ステップ３６０２で、プロセスは、視覚メディアデータと該視覚メディアデータのビットストリーム表現との間の変換中に、前記視覚メディアデータに関連した同一位置（collocated）参照ピクチャに関する情報を決定する。ここで、情報は、時間動き情報にアクセスするコーディングモードが有効にされるかどうかに基づき前記ビットストリーム表現において包含又は削除される。ステップ３６０４で、プロセスは、前記情報に従って前記同一位置参照ピクチャを決定する。ステップ３６０６で、プロセスは、前記同一位置参照ピクチャに基づき、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の前記変換を実行する。

図３７は、視覚メディア処理の方法の例のフローチャートである。このフローチャートのステップは、本明細書のセクション４で例示的な実施形態１１に関連して説明されている。ステップ３７０２で、プロセスは、視覚メディアデータのビデオブロックと前記視覚メディアデータのビットストリーム表現との間の変換を実行する。ステップ３７０４で、プロセスは、前記変換中に、規則に基づき前記ビットストリーム表現において包含又は削除される制御情報に応じて、オプティカルフローを使用した予測精緻化（ＰＲＯＦ）を適用すべきかどうか決定する。

これより、本明細書のいくつかの実施形態が、箇条書き形式で与えられている。

Ａ１．視覚メディア処理の方法であって、
視覚メディアデータのビットストリーム表現におけるアフィン適応動きベクトル分解（ＡＭＶＲ）技術に関する制御情報に応じて、前記視覚メディアデータに対して前記アフィンＡＭＶＲ技術を使用すべきかどうかを決定するステップであり、前記制御情報は、規則に基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、
前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の変換を実行するステップと
を有する方法。

Ａ２．箇条Ａ１に記載の方法であって、
前記規則は、
（１）アフィン予測が前記変換中に使用されるかどうか、
（２）正則ＡＭＶＲ技術が前記変換中に使用されるかどうか、
（３）適応動きベクトル分解に関する情報により、前記アフィンＡＭＶＲ技術が有効又は無効にされることが示されるかどうか
のうちの少なくとも１つに基づき、前記制御情報が前記ビットストリーム表現において包含又は削除されることを定める、
方法。

Ａ３．箇条Ａ１に記載の方法であって、
前記規則は、アフィン予測が前記変換中に使用されない場合に前記制御情報を除くことを定める、
方法。

Ａ４．箇条Ａ１に記載の方法であって、
前記規則は、アフィン予測が前記変換中に使用される場合に前記制御情報を含めることを定める、
方法。

Ａ５．箇条Ａ１に記載の方法であって、
前記アフィンＡＭＶＲ技術の利用は、アフィン予測が使用されない場合に前記変換中に無効にされる、
方法。

Ａ６．箇条Ａ２に記載の方法であって、
前記適応動きベクトル分解に関する情報は、複数のコーディング技術のための前記アフィンＡＭＶＲ技術の利用を制御するために使用され、
前記複数のコーディング技術は、正則ＡＭＶＲ技術及びアフィンＡＭＶＲ技術を有する、
方法。

Ａ７．箇条Ａ２又はＡ６のうちいずれか１つ以上に記載の方法であって、
前記規則は、前記適応動きベクトル分解に関する情報により前記アフィンＡＭＶＲ技術が無効にされることが示される場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を除くことを定める、
方法。

Ａ８．箇条Ａ２又はＡ６のうちいずれか１つ以上に記載の方法であって、
前記規則は、前記適応動きベクトル分解に関する情報により前記アフィンＡＭＶＲ技術が有効にされることが示される場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を含めることを定める、
方法。

Ａ９．箇条２又はＡ６～Ａ８のうちいずれか１つ以上に記載の方法であって、
前記適応動きベクトル分解に関する情報は、シーケンスレベルで前記ビットストリーム表現においてシグナリングされる、
方法。

Ａ１０．箇条Ａ１～Ａ９のうちいずれか１つ以上に記載の方法であって、
前記規則は、正則ＡＭＶＲ技術が前記変換中に使用される場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を含めることを更に定める、
方法。

Ａ１１．箇条Ａ１～Ａ９のうちいずれか１つ以上に記載の方法であって、
前記規則は、正則ＡＭＶＲ技術が前記変換中に適用されない場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を除くことを更に定める、
方法。

Ａ１２．箇条Ａ５に記載の方法であって、
前記アフィンＡＭＶＲ技術は、前記正則ＡＭＶＲ技術が前記変換中に適用されない場合に無効にされる、
方法。

Ａ１３．箇条Ａ１～Ａ４のうちいずれか１つ以上に記載の方法であって、
前記制御情報は、前記変換中の複数の適応動きベクトル分解技術の使用を示す同じフィールドを含む、
方法。

Ａ１４．箇条Ａ１～Ａ１３のうちいずれか１つ以上に記載の方法であって、
アフィン予測が前記変換中に使用されない場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を無視するステップを更に有する、
方法。

Ａ１５．箇条Ａ１～Ａ１４のうちいずれか１つ以上に記載の方法であって、
前記規則は、正則適応動きベクトル分解及びアフィン予測が前記変換中に使用されるか否かに基づき、前記制御情報を包含又は削除することを定める、
方法。

Ａ１６．箇条Ａ１５に記載の方法であって、
前記規則は、前記正則適応動きベクトル分解及び前記アフィン予測のうちの少なくとも一方が前記変換中に適用されない場合に、前記制御情報を除くことを定める、
方法。

Ａ１７．箇条Ａ１～Ａ１６のうちいずれか１つ以上に記載の方法であって、
前記規則は、アフィン予測の利用に関連した１つ以上の基準に基づいて、前記ビットストリーム表現において前記制御情報を包含又は削除することを更に定める、
方法。

Ａ１８．箇条Ａ１７に記載の方法であって、
前記規則は、アフィン予測の利用が無効にされる場合に、前記ビットストリーム表現において前記制御情報を除くことを定め、更には、前記ビットストリーム表現における前記制御情報の欠如は、アフィンＡＭＶＲの利用が無効にされていること推測するために使用される、
方法。

Ａ１９．箇条Ａ１～Ａ１８のうちいずれか１つ以上に記載の方法であって、
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した１つ以上の先行ピクチャからのみ予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。

Ａ２０．箇条Ａ１～Ａ１８のうちいずれか１つ以上に記載の方法であって、
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した１つ以上の後続ピクチャからのみ予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。

Ａ２１．箇条Ａ１～Ａ１８のうちいずれか１つ以上に記載の方法であって、
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した１つ以上の後続又は先行ピクチャから予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。

Ａ２２．箇条Ａ１に記載の方法であって、
前記アフィンＡＭＶＲ技術は、アフィン予測又は正則ＡＭＶＲ技術が前記変換中に使用されない場合に無効にされる、
方法。

Ａ２３．箇条Ａ２２に記載の方法であって、
前記アフィンＡＭＶＲ技術に関する前記制御情報は、アフィンＡＭＶＲが無効にされる場合には、前記ビットストリーム表現において除かれる、
方法。

Ａ２４．箇条Ａ１に記載の方法であって、
前記規則は、アフィン予測又は正則ＡＭＶＲ技術のうちの少なくとも一方が前記変換中に適用されない場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を除くことを更に定める、
方法。

Ａ２５．箇条Ａ１に記載の方法であって、
前記規則は、アフィン予測も正則ＡＭＶＲ技術も前記変換中に適用されない場合に、前記アフィンＡＭＶＲ技術に関する前記制御情報を除くことを更に定める、
方法。

Ａ２６．箇条Ａ１～Ａ２５に記載の方法であって、
前記制御情報は、シーケンス、ピクチャ、スライス、タイルグループ、タイル、現在のビデオブロックに関連したブリック、又は前記視覚メディアデータの他のビデオブロック、のうちの１つに含まれる、
方法。

Ａ２７．箇条Ａ２６に記載の方法であって、
前記制御情報は、シーケンスパラメータセット（ＳＰＳ）、復号化パラメータセット（ＤＰＳ）、ビデオパラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、スライスヘッダ、又はタイルグループヘッダ、のうちの１つに含まれる、
方法。

Ｂ１．視覚メディア処理の方法であって、
サブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）技術が視覚メディアデータに適用されるか否かの決定を行うステップと、
前記決定に応答して、前記視覚メディアデータに含まれる現在のビデオブロックについてサブブロックマージ候補リストを生成するステップと、
前記サブブロックマージ候補リストを用いて、前記現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップと
を有する方法。

Ｂ２．箇条Ｂ１に記載の方法であって、
前記サブブロックマージ候補リスト内の候補の最大数は、前記ｓｂＴＭＶＰ技術が前記変換に適用されるか否か、又は時間動きベクトル予測（ＴＭＶＰ）技術が前記変換に適用されるか否か、のうちの少なくとも１つに依存する、
方法。

Ｂ３．箇条Ｂ１に記載の方法であって、
前記サブブロックマージ候補リスト内の候補の最大数は、サブブロックベースの時間マージ候補が使用されるかどうかに依存する、
方法。

Ｂ４．箇条Ｂ３に記載の方法であって、
前記サブブロックベースの時間マージ候補は、時間動きベクトル予測（ＴＭＶＰ）技術及び前記ｓｂＴＭＶＰ技術が前記変換に適用される場合に使用される、
方法。

Ｂ５．箇条Ｂ１又はＢ２のうちいずれか１つ以上に記載の方法であって、
前記ビットストリーム表現内のフィールドは、前記ｓｂＴＭＶＰ技術が前記変換に適用されるか否かを明示的に示す、
方法。

Ｂ６．箇条Ｂ５に記載の方法であって、
前記フィールドは、シーケンスレベル又はビデオパラメータセットレベル又はピクチャパラメータセットレベル又はスライスレベル又はタイルグループレベル又はピクチャヘッダレベルにある、
方法。

Ｂ７．箇条Ｂ１に記載の方法であって、
時間動きベクトル予測（ＴＭＶＰ）技術がピクチャ又はスライス又はタイルグループに適用されないことを検出すると、前記ｓｂＴＭＶＰ技術は前記ピクチャ又は前記スライス又は前記タイルグループに適用されないと決定するステップを更に有する、
方法。

Ｂ８．箇条Ｂ２に記載の方法であって、
前記サブブロックマージ候補リスト内の候補の最大数に関係がある前記ビットストリーム表現内の１つ以上のシンタックス要素は、前記ｓｂＴＭＶＰ技術が前記変換に適用されるか否かに依存する、
方法。

Ｂ９．箇条Ｂ８に記載の方法であって、
前記ｓｂＴＭＶＰ技術が前記変換に適用されないと決定すると、前記１つ以上のシンタックス要素の値を制約するステップを更に有する、
方法。

Ｂ１０．箇条Ｂ６に記載の方法であって、
前記サブブロックマージ候補リスト内の候補の最大数に関係がある１つ以上のシンタックス要素は、前記ビットストリーム表現において選択的に包含又は削除される、
方法。

Ｂ１１．箇条Ｂ２～Ｂ１０のうちいずれか１つ以上に記載の方法であって、
前記サブブロックマージ候補リスト内の候補の最大数は、０、１、又は５である、
方法。

Ｃ１．視覚メディア処理の方法であって、
現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストに１つ以上のデフォルトのマージ候補を付け足すステップと、
付け足された前記１つ以上のデフォルトのマージ候補を含む前記サブブロックマージ候補リストを用いて、前記変換を実行するステップと
を含む方法。

Ｃ２．箇条Ｃ１に記載の方法であって、
デフォルト候補は、サブブロック予測タイプと関連付けられる、
方法。

Ｃ３．箇条Ｃ２に記載の方法であって、
前記サブブロック予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、
方法。

Ｃ４．箇条Ｃ１に記載の方法であって、
デフォルト候補は、ブロック全体予測タイプと関連付けられる、
方法。

Ｃ５．箇条Ｃ４に記載の方法であって、
前記ブロック全体予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、
方法。

Ｄ１．視覚メディア処理の方法であって、
ビデオの現在のビデオブロックとビットストリーム表現との間の変換中に、該変換へのサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）の適用可能性を決定するステップであり、前記ビットストリーム表現中の１つ以上のビットが前記決定に対応する、前記決定するステップと、
前記決定に基づき前記変換を実行するステップと
を有する方法。

Ｄ２．箇条Ｄ１に記載の方法であって、
前記１つ以上のビットは、ピクチャヘッダ又はスライスヘッダ又はタイルグループヘッダに含まれる、
方法。

Ｄ３．箇条Ｄ１～Ｄ２のうちいずれか１つ以上に記載の方法であって、
前記変換は、時間動きベクトル予測（ＴＭＶＰ）を使用した前記ビデオの前記変換のために使用される他の同一位置ピクチャとは異なる同一位置ピクチャをＡＴＭＶＰのために使用する、
方法。

Ｄ４．箇条Ｄ１～Ｄ３のうちいずれか１つ以上に記載の方法であって、
前記１つ以上のビットは、Ｉスライス又はＩタイルグループ又はＩピクチャに含まれる、
方法。

Ｄ５．箇条Ｄ１～Ｄ３のうちいずれか１つ以上に記載の方法であって、
前記１つ以上のビットは、ｓｂＴＭＶＰがシーケンスレベルで適用される場合に、前記シーケンスレベルで前記ビットストリーム表現に含まれる、
方法。

Ｄ６．箇条Ｄ１～Ｄ３のうちいずれか１つ以上に記載の方法であって、
前記１つ以上のビットは、ＴＭＶＰがスライスレベル
又はタイルグループレベル又はピクチャレベルについて無効にされる場合に、前記スライスレベル又は前記タイルグループレベル又は前記ピクチャレベルで前記ビットストリーム表現において除かれる、
方法。

Ｄ７．箇条Ｄ６に記載の方法であって、
ｓｂＴＭＶＰは、適用不可であると決定される、
方法。

Ｄ８．箇条Ｄ１に記載の方法であって、
ＴＭＶＰは、スライス又はタイルグループ又はピクチャについて無効にされ、方法は、
前記ビットストリーム表現内の前記１つ以上のビットにかかわらず、前記スライス又は前記タイルグループ又は前記ピクチャについてｓｂＴＭＶＰが無効にされると推測するステップを更に有する、
方法。

Ｅ１．視覚メディア処理の方法であって、
時間的動きベクトル予測（ＴＭＶＰ）ステップ又はサブブロックベースの時間的動きベクトル予測（ｓｂＴＭＶＰ）ステップに関連した条件に基づき選択的にサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップと
を有する方法。

Ｅ２．箇条Ｅ１に記載の方法であって、
前記条件は、シーケンスパラメータセットレベル又はスライスレベル又はタイルレベル又はブリックレベルでの前記ビットストリーム表現内のフラグの存在に対応する、
方法。

Ｅ３．箇条Ｅ１に記載の方法であって、
前記サブブロックマージ候補リストは、ｓｂＴＭＶＰステップ及びＴＭＶＰステップが両方とも、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
方法。

Ｅ４．箇条Ｅ１に記載の方法であって、
前記サブブロックマージ候補リストは、ｓｂＴＭＶＰステップが、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
方法。

Ｅ５．箇条Ｅ１に記載の方法であって、
前記サブブロックマージ候補リストは、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについてｓｂＴＭＶＰステップが有効にされＴＭＶＰステップが無効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、方法。

Ｅ６．箇条Ｅ１～Ｅ５のうちいずれか１つ以上に記載の方法であって、
前記ビットストリーム表現内のフラグは、サブブロックベースの時間マージ候補が前記変換中に使用されるか否かに基づき包含又は削除される、
方法。

Ｅ７．箇条Ｅ６に記載の方法であって、
前記フラグは、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの少なくとも１つを有する、
方法。

Ｆ１．視覚メディア処理の方法であって、
視覚メディアデータと該視覚メディアデータのビットストリーム表現との間の変換中に、前記視覚メディアデータに関連した同一位置参照ピクチャに関する情報を決定するステップであり、前記情報は、時間動き情報にアクセスするコーディングモードが有効にされるかどうかに基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、
前記情報に従って前記同一位置参照ピクチャを決定するステップと、
前記同一位置参照ピクチャに基づき、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の前記変換を実行するステップと
を有する方法。

Ｆ２．箇条Ｆ１に記載の方法であって、
前記情報は、前記同一位置参照ピクチャ及び／又は前記同一位置参照ピクチャの参照インデックスを導出するために使用される参照ピクチャリストを示す、
方法。

Ｆ３．箇条Ｆ１に記載の方法であって、
前記コーディングモードは、時間動きベクトル予測（ＴＭＶＰ）コーディング技術を有する、
方法。

Ｇ１．視覚メディア処理の方法であって、
視覚メディアデータのビデオブロックと前記視覚メディアデータのビットストリーム表現との間の変換を実行するステップと、
前記変換中に、規則に基づき前記ビットストリーム表現において包含又は削除される制御情報に応じて、オプティカルフローを使用した予測精緻化（ＰＲＯＦ）を適用すべきかどうか決定するステップと
を有する方法。

Ｇ２．箇条Ｇ１に記載の方法であって、
前記規則は、アフィン予測が前記変換に適用されるか否かに基づき、前記ビットストリーム表現において前記制御情報を包含又は削除することを定める、
方法。

Ｇ３．箇条Ｇ１～Ｇ２のうちいずれか１つ以上に記載の方法であって、
ＰＲＯＦの適用は、前記変換に対するアフィン予測の無効化に基づき無効にされる、
方法。

Ｇ４．箇条Ｇ２に記載の方法であって、
前記規則は、アフィン予測が無効にされる場合に前記制御情報を除くことを更に定める、
方法。

Ｇ５．箇条Ｇ４に記載の方法であって、
アフィン予測は無効にされ、方法は、
ＰＲＯＦが前記変換に対して無効にされると推測するステップを更に有する、
方法。

Ｇ６．箇条Ｇ２に記載の方法であって、
ＰＲＯＦの適用は、前記ビットストリーム表現内の対応するフラグに基づき片予測のためにのみ関連付けられる、
方法。

Ｇ７．箇条Ｇ１～Ｇ６に記載の方法であって、
前記制御情報は、シーケンス、ピクチャ、スライス、タイルグループ、タイル、現在のビデオブロックに関連したブリック、又は前記視覚メディアデータの他のビデオブロック、のうちの１つに含まれる、
方法。

Ｇ８．箇条Ｇ７に記載の方法であって、
前記制御情報は、シーケンスパラメータセット（ＳＰＳ）、復号化パラメータセット（ＤＰＳ）、ビデオパラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、スライスヘッダ、又はタイルグループヘッダ、のうちの１つに含まれる、
方法。

Ｈ１．箇条Ａ１～Ｇ８のうちいずれか１つ以上に記載の方法であって、
前記変換は、前記現在のビデオブロックから前記ビットストリーム表現を生成することを含む、
方法。

Ｈ２．箇条Ａ１～Ｇ８のうちいずれか１つ以上に記載の方法であって、
前記変換は、前記ビットストリーム表現から前記現在のビデオブロックのピクセル値を生成することを含む、
方法。

Ｈ３．箇条Ａ１～Ｇ８のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオエンコーダ装置。

Ｈ４．箇条Ａ１～Ｇ８のうちいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオデコーダ装置。

Ｈ５．箇条Ａ１～Ｇ８のうちいずれか１つ以上に記載の方法を実装するためのプロセッサ実行可能命令を具現するコードを記憶しているコンピュータ可読媒体。

本明細書中、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオトランスコーディング、ビデオ圧縮、又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への変換中に適用されてよく、あるいは、その逆も同様である。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるように、ビットストリーム内の異なった場所に拡散しているか又は同一位置にあるビットに対応してよい。例えば、マクロブロックは、トランスコーディング及びコーディングされた誤差残差値に関して、ビットストリームにおけるヘッダ及び他のフィールド内のビットも用いて、エンコードされてよい。更には、変換中に、デコーダは、上記の解決法で記載されているように、決定に基づいて、いくつかのフィールドが存在又は不存在であることを知った上で、ビットストリームをパースしてよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか否かを決定し、それに応じて、コーディングされた表現に対してシンタックスフィールドを含めるか又は取り除くことによって、コーディングされた表現（ビットストリーム表現）を生成してよい。開示されている技術は、サブブロックベースの動きベクトル精緻化の使用を含む技術を用いて圧縮効率を改善するためにビデオエンコーダ又はデコーダで具現され得る、ことが理解されるだろう。

本明細書で記載されている開示された及び他の解決法、例、実施形態、方法及び機能的動作は、デジタル電子回路で、又は本明細書で開示されている構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらの１つ以上の組み合わせで実装可能である。開示された及び他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために又はデータ処理装置の動作を制御するためにコンピュータ可読媒体上にエンコードされているコンピュータプログラム命令の１つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、機械により読み出し可能な記憶デバイス、機械により読み出し可能な記憶担体、メモリデバイス、機械により読み出し可能な伝搬信号をもたらす組成物、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」との用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理する全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコード、を含むことができる。伝搬信号は、人工的に生成された信号、例えば、機械により生成された電気、光、又は電磁気信号であり、適切なレシーバ装置への伝送のために情報をエンコードするよう生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で保存された１つ以上のスクリプト）を保持するファイルの部分において保存可能である。コンピュータプログラムは、１つのコンピュータで、あるいは、１つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで、実行されるようデプロイ可能である。

本明細書で記載されているプロセス及び論理フローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及び論理フローはまた、専用のロジック回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application-Specific Integrated Circuit）によっても実行可能であり、装置は、そのようなものとしても実装可能である。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを受け取ることになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリデバイスと、である。一般に、コンピュータはまた、データを保存する１つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような１つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。

本明細書は、多数の詳細を含むが、それらは、あらゆる発明の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書に記載されている特定の特徴は、単一の実施形態と組み合わせても実装可能である。逆に、単一の実施形態に関連して記載されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして上述され、そのようなものとして最初に請求されることさえあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。

同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が、示されているその特定の順序で、又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書に記載されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。

ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本明細書で記載及び例示されているものに基づいて行われ得る。

［関連出願への相互参照］
本願は、２０１９年５月２１日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０８７８０５号に対する優先権及びその利益を請求して２０２０年５月２１日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０２０／０９１５３９号の国内移行である。上記の出願の開示全体は、本願の開示の部分として参照により援用される。

Claims (15)

1. 視覚メディア処理の方法であって、
   時間動きベクトル予測（ＴＭＶＰ）ステップ又はサブブロックベースの時間動きベクトル予測（ｓｂＴＭＶＰ）ステップに関連した条件に基づき選択的にサブブロックマージ候補リストを構成するステップと、
   前記サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップと
   を有する方法。
2. 前記条件は、シーケンスパラメータセットレベル又はスライスレベル又はタイルレベル又はブリックレベルでの前記ビットストリーム表現内のフラグの存在及び／又は前記フラグの値に対応する、
   請求項1に記載の方法。
3. 前記サブブロックマージ候補リストは、ｓｂＴＭＶＰステップ及びＴＭＶＰステップが両方とも、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
   請求項１に記載の方法。
4. 前記サブブロックマージ候補リストは、ｓｂＴＭＶＰステップが、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
   請求項１に記載の方法。
5. 前記サブブロックマージ候補リストは、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについてｓｂＴＭＶＰステップが有効にされＴＭＶＰステップが無効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
   請求項１に記載の方法。
6. 前記ビットストリーム表現内のフラグは、サブブロックベースの時間マージ候補が前記変換中に使用されるか否かに基づき包含又は削除される、
   請求項１乃至５のうちいずれか一項以上に記載の方法。
7. 前記フラグは、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのうちの少なくとも一方を有する、
   請求項２に記載の方法。
8. 視覚メディア処理の方法であって、
   視覚メディアデータと該視覚メディアデータのビットストリーム表現との間の変換中に、前記視覚メディアデータに関連した同一位置参照ピクチャに関する情報を決定するステップであり、前記情報は、時間動き情報にアクセスするコーディングモードが有効にされるかどうかに基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、
   前記情報に従って前記同一位置参照ピクチャを決定するステップと、
   前記同一位置参照ピクチャに基づき、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の前記変換を実行するステップと
   を有する方法。
9. 前記情報は、前記同一位置参照ピクチャ及び／又は前記同一位置参照ピクチャの参照インデックスを導出するために使用される参照ピクチャリストを示す、
   請求項８に記載の方法。
10. 前記コーディングモードは、時間動きベクトル予測（ＴＭＶＰ）コーディング技術を有する、
    請求項８に記載の方法。
11. 前記変換は、前記現在のビデオブロックから前記ビットストリーム表現を生成することを含む、
    請求項１乃至１０のうちいずれか一項以上に記載の方法。
12. 前記変換は、前記ビットストリーム表現から前記現在のビデオブロックのピクセル値を生成することを含む、
    請求項１乃至１０のうちいずれか一項以上に記載の方法。
13. 請求項１乃至１０のうちいずれか一項以上に記載の方法を実装するよう構成されたプロセッサを有するビデオエンコーダ装置。
14. 請求項１乃至１０のうちいずれか一項以上に記載の方法を実装するよう構成されたプロセッサを有するビデオデコーダ装置。
15. 請求項１乃至１０のうちいずれか一項以上に記載の方法を実装するためのプロセッサ実行可能命令を具現するコードを記憶しているコンピュータ可読媒体。

Images