JP2022507281A - 部分的な位置に基づく差分計算 - Google Patents

Abstract

部分的な位置に基づく差分計算が記載される。代表的な態様では、ビデオ処理の方法は、ビデオの現在のブロックと現在のブロックのビットストリームとの間の変換中に、現在のブロックと関連付けられた２つの参照ブロック間の差、又は前記現在のブロック内のサブブロックと関連付けられた２つの参照サブブロック間の差を、参照ブロックの代表位置又は参照サブブロックの代表位置に基づいて計算するステップと、差に基づいて変換を実行するステップとを有する。

Description

適用可能な特許法、及び／又はパリ条約に従う規則の下で、本願は、２０１８年１１月２０日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１１６３７１号、２０１９年１月２日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７００６２号、及び２０１９年１月１６日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７２０６０に対する優先権及びその利益を適時請求するようなされる。上記の国際特許出願の全体の開示は、本願の開示の部分として参照により援用される。

本特許文献は、ビデオコーディング技術、デバイス及びシステムに関する。

動き補償（Motion Compensation，ＭＣ）は、カメラ及び／又はビデオ内の対象物の動きを捕らえることによって、前の及び／又は将来のフレームを考慮して、ビデオ内のフレームを予測するビデオ処理の技術である。動き補償は、ビデオ補償のためのビデオデータのエンコーディング／デコーディングにおいて使用され得る。

本明細書は、ビデオコーディング及びデコーディングにおける動き補償の使用に関する方法、システム、及びデバイスを開示する。

一例となる態様では、ビデオ処理の方法が開示される。方法は、ビデオの現在のブロックと現在のブロックのビットストリーム表現との間の変換中に、現在のブロックと関連付けられた２つの参照ブロック間の差、又は現在のブロック内のサブブロックと関連付けられた２つの参照サブブロック間の差を、参照ブロックの代表位置又は参照サブブロックの代表位置に基づいて計算するステップと、差に基づいて変換を実行するステップとを有する。

異例となる態様では、ビデオ処理の方法が開示される。方法は、ビデオの現在のブロックが特定のコーディングモードを用いてコーディングされているとの決定に基づいて、現在のブロックのためのデコーダ側動きベクトル導出（Decoder side Motion Vector Derivation，ＤＭＶＤ）ツールの選択的有効化に関して判断するステップであり、ＤＭＶＤツールは、ビデオのビットストリーム表現において伝えられた動き情報の精緻化を導出する、ステップと、判断に基づいて現在のブロックとビットストリーム表現との間の変換を実行するステップとを有する。

一例となる態様では、ビデオ処理方法が開示される。方法は、多段階精緻化プロセスを用いて、現在のビデオブロックのビットストリーム表現からデコーディングされた動き情報に基づいて動きベクトル情報の複数の精緻化値を生成するステップと、複数の精緻化値に基づいて現在のビデオブロックを再構成するか又は他のビデオブロックをデコーディングするステップとを含む。

他の例となる態様では、他のビデオ処理方法が開示される。方法は、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、現在のブロックのサブブロックのための多段階精緻化プロセスと、サブブロックの２つの予測ブロック間の時間勾配変更プロセスとを実行するステップであり、多段階精緻化プロセスを用いて、現在のビデオブロックのビットストリーム表現からデコーディングされた動き情報に基づいて動きベクトル情報の複数の精緻化値が生成される、ステップと、精緻化値に基づいて現在のブロックとビットストリーム表現との間の変換を実行するステップとを含む。

更なる他の例となる態様では、他のビデオ処理方法が開示される。方法は、現在のブロックに対して多段階デコーダ側動きベクトル精緻化プロセスを用いて、最終的な動きベクトル決定するステップと、その最終的な動きベクトルを用いて現在のブロックとビットストリーム表現との間の変換を実行するステップとを含む。

更なる他の態様では、ビデオ処理の他の方法が開示される。方法は、現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換中に、現在のビデオブロックの異なるサブブロックに複数の異なる動きベクトル精緻化プロセスを適用するステップと、複数の異なる動きベクトル精緻化プロセスから生成された現在のビデオブロックの最終的な動きベクトルを用いて、現在のビデオブロックとビットストリーム表現との間の変換を実行するステップとを含む。

更なる他の態様では、ビデオ処理の他の方法が開示される。方法は、現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を、現在のビデオブロックがサブブロックベースのコーディングツールによりコーディングされる場合にコーディングユニット又は予測ユニットが使用するサブブロックの最大数を制限する規則を用いて実行するステップを含み、サブブロックベースのコーディングツールは、アフィンコーディング、ＡＴＭＶＰ（Advanced Temporal Motion Vector Predictor）、双方向オプティカルフロー又はデコーダ側動きベクトル精緻化コーディングツールの１つ以上を含む。

更なる他の例となる態様では、ビデオ処理の他の方法が開示される。方法は、現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を、現在のビデオブロックがサブブロックベースのコーディングツールによりコーディングされる場合に現在のビデオブロックのクロマ成分のために現在のビデオブロックのルーマ成分とは異なったパーティショニングを使用することを定める規則を用いて実行するステップを含み、サブブロックベースのコーディングツールは、アフィンコーディング、ＡＴＭＶＰ、双方向オプティカルフロー、又はデコーダ側動きベクトル精緻化コーディングツールの１つ以上を含む。

更なる他の例となる態様では、ビデオ処理の他の方法が開示される。方法は、双方向オプティカルフロー（BI-directional Optical flow，ＢＩＯ）技術又はデコーダ側動きベクトル精緻化（Decoder-side Motion Vector Refinement，ＤＭＶＲ）技術の早期終了段階で、現在のビデオブロックと関連付けられた参照ビデオブロック間の差を決定するステップと、その差に基づいて現在のビデオブロックの更なる処理を実行するステップとを含む。

更なる他の代表的な態様では、本明細書で記載される様々な技術は、非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品として具現されてよい。コンピュータプログラム製品は、本明細書で記載される方法を実行するためのプログラムコードを含む。

更なる他の代表的な態様では、ビデオデコーダ装置が、ここで記載される方法を実装してよい。

１つ以上の実施の詳細は、添付の書類、図面及び以下の説明で明らかにされる。他の特徴は、本明細書及び図面から、並びに特許請求の範囲から、明らかである。

マージ候補リスト構成のための導出プロセスの例を示す。 空間マージ候補の位置の例を示す。 空間マージ候補の冗長性検査のために考慮される候補対の例を示す。 Ｎ×２Ｎ及び２×Ｎのパーティションの第２ＰＵについての位置の例を示す。 時間マージ候補のための動きベクトルスケーリングの例示である。 時間マージ候補Ｃ０及びＣ１についての候補位置の例を示す。 複合双予測マージ候補の例を示す。 動きベクトル予測候補の導出プロセスの例を示す。 空間動きベクトル候補のための動きベクトルスケーリングの例示である。 コーディングユニット（ＣＵ）のＡＴＭＶＰの例を表す。 ４つのサブブロック（Ａ～Ｄ）を有する１つのＣＵ及びその隣接ブロック（ａ～ｄ）の例を示す。 ＯＢＭＣが適用されるサブブロックの例示である。 ＩＣパラメータを導出するために使用される隣接サンプルの例を示す。 簡略化されたアフィン運動モデルの例を示す。 サブブロックごとのアフィンＭＶＦの例を示す。 ＡＦ＿ＩＮＴＥＲモードの動きベクトル予測子（ＭＶ）の例を示す。 Ａ及びＢは、ＡＦ＿ＭＥＲＧＥモードの候補の例を示す。 バイラテラルマッチングのプロセスの例を示す。 テンプレートマッチングのプロセスの例を示す。 フレームレートアップコンバージョン（ＦＲＵＣ）におけるユニラテラル動き推定（ＭＥ）の実施を表す。 究極の動きベクトル表現（ＵＭＶＥ）探索プロセスの実施形態を表す。 ＵＭＶＥ探索ポイントの例を示す。 距離インデックス及び距離オフセットマッピングの例を示す。 オプティカルフロー軌跡の例を示す。 Ａ及びＢは、ブロック拡張、すなわち、ａ）ブロックの外のアクセス位置、ｂ）余分のメモリアクセス及び計算を回避するために使用されるパディングなしの双方向オプティカルフロー（ＢＩＯ）の例を示す。 バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル精緻化（ＤＭＶＲ）を使用する例を表す。 織り込み予測の例を示す。 ＢＩＯのための繰り返し動きベクトル精緻化の例を示す。 本明細書で記載されるビデオコーディング又はデコーディング技術を実装するハードウェアプラットフォームのブロック図である。 本明細書で記載される方法及び技術を実装するハードウェアプラットフォームの例を示す。 ビデオ処理の方法の例のフローチャートである。 ビデオ処理の方法の例のフローチャートである。 ビデオ処理の方法の例のフローチャートである。

本明細書は、デジタルビデオエンコーダ及びデコーダに具現され得るいくつかの技術を提供する。セクション見出しは、理解を明りょうにするために本明細書中で使用されており、各セクションで開示されている技術及び実施形態の範囲をそのセクションにのみ限定するものではない。

［１．概要］
本明細書は、ビデオコーディング技術に関係がある。具体的には、それは、ビデオコーディングにおける動き補償に関係がある。開示されている技術は、ＨＥＶＣのような既存のビデオコーディング標準規格、又は完成されるべき標準規格（Versatile Video Coding（ＶＶＣ））に適用されてよい。それはまた、将来のビデオコーディング標準規格又はビデオコーデックに適用可能であり得る。

本明細書中、「ビデオ処理」という用語は、ビデオエンコーディング、ビデオデコーディング、ビデオ圧縮又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への変換に適用されてよく、又はその逆も同様である。

［２．導入］
ビデオコーディング標準規格は、主として、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準規格の開発を通じて、進化してきた。ＩＴＵ－Ｔは、Ｈ．２６１及びＨ．２６３を生み出し、ＩＳＯ／ＩＥＣは、ＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作り出し、２つの組織は共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）並びにＨ．２６５／ＨＥＶＣ標準規格を作り出した。Ｈ．２６２以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。ＨＥＶＣを越える将来のビデオコーディング技術を探るために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同設立された。それ以来、多くの新しい方法がＪＶＥＴによって導入され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた。２０１８年４月に、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）との間のＪＶＥＴ（Joint Video Expert Team）が、ＨＥＶＣと比較してビットレート５０％減を目指すＶＶＣ標準規格に取り組むために作られた。

［２．１ ＨＥＶＣ／Ｈ．２６５でのインター予測］
各インター予測されたＰＵは、１つ又は２つの参照ピクチャリストのための動きパラメータを有している。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。２つの参照ピクチャリストのうちの一方の利用はまた、ｉｎｔｅｒ＿ｒｅｄ＿ｉｄｃを用いて通知されてもよい。動きベクトルは、予測子に対してデルタとして明示的にコーディングされてよい。

ＣＵがスキップモードによりコーディングされている場合に、１つのＰＵがそのＣＵと関連付けられ、有意な残差係数も、コーディングされた動きベクトルデルタ又は参照ピクチャインデックスも存在しない。マージモードが指定され、これによって、現在のＰＵのための動きパラメータは、空間的及び時間的候補を含む隣接ＰＵから取得される。マージモードは、スキップモードの場合だけでなく、如何なるインター予測されたＰＵにも適用可能である。マージモードに代わるものは、動きパラメータの明示的な伝送であり、このとき、動きベクトル（より厳密には、動きベクトル予測子と比較した動きベクトル差）、参照ピクチャリストごとの対応する参照ピクチャインデックス、及び参照ピクチャリスト利用が、各ＰＵごとに明示的に通知される。かようなモードは、本明細書ではAdvanced Motion Vector Prediction（ＡＭＶＰ）と称される。

２つの参照ピクチャリストのうちの一方が使用されるべきであることをシグナリングが示す場合に、ＰＵはサンプルの１つのブロックから生成される。これは、「片予測」（uni-prediction）と呼ばれる。片予測は、Ｐスライス及びＢスライスの両方に利用可能である。

両方の参照ピクチャリストが使用されるべきであることをシグナリングが示す場合に、ＰＵはサンプルの２つのブロックから生成される。これは、「双予測」（bi-prediction）と呼ばれる。双予測は、Ｂスライスにのみ利用可能である。

以下の説明は、ＨＥＶＣで定められているインター予測モードに関する詳細を提供する。説明は、マージモードから始まる。

［２．１．１ マージモード］
［２．１．１．１ マージモードのための候補の導出］
ＰＵがマージモードを用いて予測される場合に、マージ候補リスト内のエントリを指し示すインデックスは、ビットストリームからパースされ、動き情報を取り出すために使用される。このリストの構成は、ＨＥＶＣ標準規格で定められており、次の一連のステップに従って要約され得る：
●ステップ１：最初の候補の導出
○ステップ１．１：空間的候補導出
○ステップ１．２：空間的候補に対する冗長性検査
○ステップ１．３：時間的候補導出
●ステップ２：追加の候補の挿入
○ステップ２．１：双予測候補の生成
○ステップ２．２：ゼロ動き候補の挿入

これらのステップは、図１でも概略的に表されている。空間マージ候補導出については、最大４つのマージ候補が、５つの異なる位置にある候補の中から選択される。時間マージ候補導出については、最大１つのマージ候補が２つの候補の中から選択される。デコーダではＰＵごとに一定数の候補が前提とされるので、ステップ１から取得された候補の数が、スライスヘッダで通知されるマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合には、追加の候補が生成される。候補の数は一定であるから、最良のマージ候補のインデックスは、トランケーテッド・ユーナリー・バイナライゼーション（Truncated Unary binarization，ＴＵ）を用いてエンコーディングされる。ＣＵのサイズが８に等しい場合に、現在のＣＵの全てのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じである単一のマージ候補リストを共有する。

以下では、上記のステップと関連した操作が詳述される。

［２．１．１．２ 空間的候補導出］
空間マージ候補の導出では、図２に表されている位置にある候補の中から、最大４つのマージ候補が選択される。導出の順序は、Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、及びＢ_２である。位置Ｂ_２は、位置Ａ_１、Ｂ_１、Ｂ_０、Ａ_０のいずれのＰＵも（例えば、それが他のスライス又はタイルに属するために）利用可能でないか、あるいは、イントラコーディングされている場合にのみ、考慮される。位置Ａ_１での候補が加えられた後、残りの候補の追加は、同じ動き情報を有する候補がリストから除かれることを確かにする冗長性検査に従い、それにより、コーディング効率は改善される。計算複雑性を低減するために、全ての可能な候補対が、上記の冗長性検査で考慮されるわけではない。代わりに、図３で矢印によりリンクされた対のみが考慮され、候補は、冗長性検査に使用される対応する候補が同じ動き情報を有していない場合にのみ加えられる。重複動き情報の他の発生源は、２Ｎ×２Ｎとは異なったパーティションと関連付けられた「第２ＰＵ」である。一例として、図４は、Ｎ×２Ｎ及び２Ｎ×Ｎの夫々の場合の第２ＰＵを表す。現在のＰＵがＮ×２Ｎとして分割される場合に、位置Ａ_１での候補は、リスト構成のために考慮されない。実際に、これを候補に加えることによって、同じ動き情報を有する２つの予測ユニットが生じる。これは、コーディングユニットにおいてただ１つのＰＵしか有さないためには冗長である。同様に、位置Ｂ_１は、現在のＰＵが２Ｎ×Ｎとして分割される場合に考慮されない。

［２．１．１．３ 時間的候補導出］
このステップでは、ただ１つの候補がリストに加えられる。特に、この時間マージ候補の導出では、スケーリングされた動きベクトルは、所与の参照ピクチャリスト内の現在のピクチャとのＰＯＣ差が最小であるピクチャに属する同一位置（co-located）ＰＵに基づいて導出される。同一位置ＰＵの導出に使用されるべき参照ピクチャリストは、スライスヘッダで明示的に通知される。時間マージ候補のためのスケーリングされた動きベクトルは、図５の破線によって表されるように取得される。これは、ＰＯＣ距離ｔｂ及びｔｄを用いて同一位置ＰＵの動きベクトルからスケーリングされる。ここで、ｔｂは、現在のピクチャの参照ピクチャと現在のピクチャとの間のＰＯＣ距離であると定義され、ｔｄは、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のＰＯＣ差であると定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しくセットされる。スケーリングプロセスの実際の実現は、ＨＥＶＣ規格で記載されている。Ｂスライスについては、２つの動きベクトル（１つは参照ピクチャリスト０用であり、もう１つは参照ピクチャリスト１用である）が取得され、双予測マージ候補を生成するよう結合される。

参照フレームに属する同一位置ＰＵ（Ｙ）では、時間的候補の位置が、図６に表されているように、候補Ｃ_０及びＣ_１の間で選択される。位置Ｃ_０にあるＰＵが利用可能でないか、イントラコーディングされているか、あるいは、現在のＣＴＵ行の外にある場合に、位置Ｃ_１が使用される。そうでない場合には、位置Ｃ_０が時間マージ候補の導出において使用される。

［２．１．１．４ 追加候補の挿入］
空間及び時間マージ候補に加えて、２つの更なるタイプのマージ候補、すなわち、複合双予測マージ候補及びゼロマージ候補が存在する。複合双予測マージ候補は、空間及び時間マージ候補を利用することによって生成される。複合双予測マージ候補は、Ｂスライスにのみ使用される。複合双予測マージ候補は、最初の候補の第１参照ピクチャリスト動きパラメータを他の第２参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら２つのタプルが異なった動き仮説（hypotheses）をもたらす場合に、それらは新しい双予測候補を形成することになる。一例として、図７は、ｍｖＬ０及びｒｅｆＩｄｘＬ０又はｍｖＬ１及びｒｅｆＩｄｘ１を有する原リスト（左側）内の２つの候補が、最終的なリスト（右側）に加えられる複合双予測マージ候補を生成するために使用される場合を表す。これらの追加マージ候補を生成するために考えられる組み合わせに関して多数の規則ある。

ゼロ動き候補は、マージ候補リスト内の残りのエントリを満たして、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量に達するよう挿入される。これらの候補は、ゼロ空間変位と、ゼロから始まって、新しいゼロ動き候補がリストに加えられるたびに増える参照ピクチャインデックスとを有している。これらの候補によって使用される参照フレームの数は、一方向予測及び双方向予測の夫々について１及び２である。最後に、これらに候補に対しては冗長性検査が実行されない。

［２．１．１．５ 並列処理のための動き推定領域］
エンコーディングプロセスを加速させるために、動き推定は並行して実行され得る。これによって、所与の領域内の全ての予測ユニットの動きベクトルは同時に導出される。空間近傍からのマージ候補の導出は、１つの予測ユニットが隣接ＰＵから、その関連する動き推定が完了するまで、動きパラメータを導出することができないということで、並列処理を妨害する可能性がある。コーディング効率と処理レイテンシとの間のトレードオフを緩和するために、ＨＥＶＣは、「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」シンタックス要素を用いてピクチャパラメータセットにおいてサイズが通知される動き推定領域（Motion Estimation Region，ＭＥＲ）を定義している。ＭＥＲが定義される場合に、同じ領域内にあるマージ候補は、利用不可能とマークされるので、リスト構成において考慮されない。

［２．１．２ ＡＭＶＰ］
ＡＭＶＰは、動きパラメータの明示的な伝送に使用される隣接ＰＵとの動きベクトルの空間時間相関を利用する。各参照ピクチャリストについて、動きベクトル候補リストは、左及び上にある時間的に隣接したＰＵ位置の利用可能性を最初に確認し、冗長な候補を除いて、候補リストを一定の長さにするようゼロベクトルを加えることによって、構成される。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。同様に、マージインデックスシグナリングにより、最良の動きベクトル候補のインデックスは、トランケーテッド・ユーナリーを用いてエンコーディングされる。この場合にエンコーディングされる最大値は２である（図８を参照）。以下のセクションでは、動きベクトル予測候補の導出プロセスに関する詳細が提供される。

図８は、動きベクトル予測候補の導出プロセスを要約する。

［２．１．２．１ ＡＭＶＰ候補の導出］
動きベクトル予測では、２つのタイプの動きベクトル候補、すなわち、空間動きベクトル候補及び時間動きベクトル候補、が考えられている。空間動きベクトル候補導出については、２つの動きベクトル候補が、図２に表されているように５つの異なった位置にある各ＰＵの動きベクトルに基づいて最終的に導出される。

時間動きベクトル候補導出については、２つの異なった同一位置の位置に基づいて導出される２つの候補から、１つの動きベクトル候補が選択される。空間時間候補の第１リストが生成された後、リスト内の重複した動きベクトル候補が除かれる。潜在的な候補の数が２よりも多い場合には、関連する参照ピクチャリスト内の参照ピクチャインデックスが１よりも大きい動きベクトル候補がリストから除かれる。空間時間動きベクトル候補の数が２よりも少ない場合には、追加のゼロ動きベクトル候補がリストに加えられる。

［２．１．２．２ 空間動きベクトル候補］
空間動きベクトル候補の導出では、図２で表される位置（これらの位置は、動きマージのそれらと同じである）にあるＰＵから導出される５つの潜在的な候補から、最大２つの候補が考えられる。現在のＰＵの左側の導出順序は、Ａ_０、Ａ_１及びスケーリングされたＡ_０、スケーリングされたＡ_１と定義される。現在のＰＵの上側の導出順序は、Ｂ_０、Ｂ_１、Ｂ_２、スケーリングされたＢ_０、スケーリングされたＢ_１、スケーリングされたＢ_２と定義される。夫々の側について、従って、動きベクトル候補として使用され得る４つの場合が存在し、２つの場合は、空間スケーリングを使用することを必要とされず、他の２つの場合には、空間スケーリングが使用される。４つの異なる場合は、次のように簡単に述べられる。
・空間スケーリングなし
－（１）同じ参照ピクチャリスト、かつ同じ参照ピクチャインデックス（同じＰＯＣ）
－（２）異なる参照ピクチャリスト、しかし同じ参照ピクチャ（同じＰＯＣ）
・空間スケーリング
－（３）同じ参照ピクチャリスト、しかし異なる参照ピクチャ（異なるＰＯＣ）
－（４）異なる参照ピクチャリスト、かつ異なる参照ピクチャ（異なるＰＯＣ）

空間スケーリングなしの場合が最初に確認され、その後に空間スケーリングが続く。空間スケーリングは、参照ピクチャリストにかかわらず隣接ＰＵの参照ピクチャと現在のＰＵのそれとの間でＰＯＣが異なる場合に考えられる。左の候補の全てのＰＵが利用不可能であるか、又はイントラコーディングされている場合に、上の動きベクトルのスケーリングが、左及び上のＭＶ候補の並列導出を助けるよう可能にされる。そうでない場合には、空間スケーリングは、上の動きベクトルに対して可能にされない。

空間スケーリングプロセスでは、隣接ＰＵの動きベクトルは、図９に表されているように、時間スケーリングの場合と同じようにしてスケーリングされる。主な違いは、現在のＰＵの参照ピクチャリスト及びインデックスが入力として与えられる点であり、実際のスケーリングプロセスは時間スケーリングのそれと同じである。

［２．１．２．３ 時間動きベクトル候補］
参照ピクチャインデックス導出は別として、時間マージ候補の導出のための全てのプロセスは、空間動きベクトル候補の導出（図６を参照）の場合と同じである。参照ピクチャインデックスはデコーダへ通知される。

［２．２ ＪＥＭにおける新しいインター予測方法］
［２．２．１ サブＣＵベースの動きベクトル予測］
ＱＴＢＴによるＪＥＭでは、各ＣＵは、予測方向ごとに多くてもひと組の動きパラメータを有することができる。２つのサブＣＵレベル動きベクトル予測方法が、大きいＣＵをサブＣＵに分割し、大きいＣＵの全てのサブＣＵについて動き情報を導出することによって、エンコーダにおいて考えられている。代替時間動きベクトル予測（Alternative Temporal Motion Vector Prediction，ＡＴＭＶＰ）方法は、各ＣＵが、同一位置の参照ピクチャにある現在のＣＵよりも小さい複数のブロックから複数の組の動き情報をフェッチすることを可能にする。空間時間動きベクトル予測（Spatial-Temporal Motion Vector Prediction，ＳＴＭＶＰ）方法では、サブＣＵの動きベクトルは、時間動きベクトル予測子及び空間隣接動きベクトルを使用することによって再帰的に導出される。

サブＣＵ動き予測のためのより正確な運動場を保つために、参照フレームのための動き圧縮は現在使用不可能である。

［２．２．１．１ 代替時間動きベクトル予測］
代替時間動きベクトル予測（ＡＴＭＶＰ）方法では、動きベクトルの時間動きベクトル予測（Temporal Motion Vector Prediction，ＴＭＶＰ）は、現在のＣＵよりも小さいブロックから複数の組の動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって、変更される。図１０に示されるように、サブＣＵは、正方Ｎ×Ｎブロックである（Ｎはデフォルトで４にセットされる）。

ＡＴＭＶＰは、２つのステップでＣＵ内のサブＣＵの動きベクトルを予測する。最初のステップは、いわゆる時間ベクトルにより参照ピクチャ内の対応するブロックを識別することである。参照ピクチャは、モーションソースピクチャ（motion source picture）と呼ばれる。第２のステップは、図１０に示されるように、現在のＣＵをサブＣＵに分け、各サブＣＵに対応するブロックから各サブＣＵの動きベクトル及び参照インデックスを取得することである。

最初のステップで、参照ピクチャ及び対応するブロックは、現在のＣＵの空間隣接ブロックの動き情報によって決定される。隣接ブロックの反復的な走査プロセスを回避するために、現在のＣＵのマージ候補リスト内の最初のマージ候補が使用される。最初の利用可能な動きベクトル及びその関連する参照インデックスが、時間ベクトルと、モーションソースピクチャへのインデックスとであるようセットされる。このようにして、ＡＴＭＶＰでは、対応するブロックは、ＴＭＶＰと比較して、より正確に識別され得る。ここで、対応するブロック（時々、同一位置ブロックと呼ばれる）は、現在のＣＵに対して右下又は中心位置に常にある。

第２のステップで、サブＣＵの対応するブロックは、モーションソースピクチャの時間ベクトルによって、現在のＣＵの座標にその時間ベクトルを加えることによって識別される。各サブＣＵについて、その対応するブロック（中心サンプルをカバーする最小モーショングリッド）の動き情報が、当該サブＣＵの動き情報を導出するために使用される。対応するＮ×Ｎブロックの動き情報が識別された後、それは、ＨＥＶＣのＴＭＶＰと同じように、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。このとき、動きスケーリング及び他のプロシージャが適用される。例えば、デコーダは、低遅延条件（すなわち、現在のピクチャの全ての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満足されるかどうかを確認し、場合により、各サブＣＵについて動きベクトルＭＶｙ（Ｘは０又は１に等しく、Ｙは１－Ｘに等しい）を予測するために動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を使用する。

［２．２．１．２ 空間時間動きベクトル予測］
この方法では、サブＣＵの動きベクトルは、ラスタ走査順序に従って、再帰的に導出される。図１１は、この概念を表す。４つの４×４サブＣＵ Ａ、Ｂ、Ｃ及びＤを含む８×８ＣＵを考えるとする。現在のフレーム内の隣接する４×４ブロックは、ａ、ｂ、ｃ及びｄと表記される。

サブＣＵ Ａの動き導出は、その２つの空間近傍を識別することによって開始する。第１近傍は、サブＣＵ Ａの上にあるＮ×Ｎブロック（ブロックｃ）である。このブロックｃが利用不可能であるか、又はイントラコーディングされている場合に、サブＣＵ Ａの上にある他のＮ×Ｎブロックが確認される（ブロックｃから始まって、左から右へ）。第２近傍は、サブＣＵ Ａの左にあるブロック（ブロックｂ）である。ブロックｂが利用不可能であるか、又はイントラコーディングされている場合に、サブＣＵ Ａの左にある他のブロックが確認される（ブロックｂから始まって、上から下へ）。各リストについて隣接ブロックから取得された動き情報は、所与のリストについての第１参照フレームにスケーリングされる。次に、サブブロックＡの時間動きベクトル予測子（ＴＭＶＰ）が、ＨＥＶＣで定められているＴＭＶＰ導出の同じプロシージャに従うことによって、導出される。位置Ｄでの同一位置ブロックの動き情報は、それに応じてフェッチされスケーリングされる。最後に、動き情報を取り出しスケーリングした後、全ての利用可能な動きベクトル（最大３つ）は、参照リストごとに別々に平均化される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。

図１１は、４つのサブブロック（Ａ～Ｄ）を有する１つのＣＵ及びその隣接ブロック（ａ～ｄ）の例を示す。

［２．２．１．３ サブＣＵ動き予測モードシグナリング］
サブＣＵモードは、追加のマージ候補として使用可能であり、モードを通知するために追加のシンタックス要素は必要とされない。２つの追加マージ候補が、ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために各ＣＵのマージ候補に加えられる。ＡＴＭＶＰ及びＳＴＭＶＰが使用可能であることをシーケンスパラメータセットが示す場合には、最大７つのマージ候補が使用される。追加マージ候補のエンコーディングロジックは、ＨＭにおけるマージ候補の場合と同じである。これは、Ｐ又はＢスライス内の各ＣＵについて、２つ以上のＲＤチェックが２つの追加マージ候補のために必要とされることを意味する。

ＪＥＭでは、マージインデックスの全ビンが、ＣＡＢＡＣによってコンテキストコーディングされる。一方、ＨＥＶＣでは、最初のビンのみがコンテキストコーディングされ、残りのビンは、コンテキストバイパスコーディングされる。

［２．２．２ 適応動きベクトル差解像度］
ＨＥＶＣでは、動きベクトル差（Motion Vector Difference(s)，ＭＶＤ）（ＰＵの動きベクトルと予測された動きベクトルの間の差）が、スライスヘッダにおいて、ｕｓｅｒ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇが０に等しい場合に、４分の１ルーマサンプルの単位で通知される。ＪＥＭでは、局所適応動きベクトル解像度（Locally Adaptive Motion Vector Resolution，ＬＡＭＶＲ）が導入される。ＪＥＭでは、ＭＶＤは、４分の１ルーマサンプル、整数ルーマサンプル又は４ルーマサンプルの単位でコーディングされ得る。ＭＶＤ解像度は、コーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つの非ゼロＭＶＤ成分を有している各ＣＵについて条件付きで通知される。

少なくとも１つの非ゼロＭＶＤ成分を有しているＣＵについては、第１フラグが、４分の１ルーマサンプルＭＶ精度がそのＣＵで使用されるかどうかを示すために通知される。４分の１ルーマサンプルＭＶ精度が使用されないことを第１フラグ（１に等しい）が示す場合に、他のフラグが、整数ルーマサンプルＭＶ精度又は４ルーマサンプルＭＶ精度が使用されるかどうかを示すために通知される。

ＣＵの第１ＭＶＤ解像度フラグがゼロであるか、あるいは、ＣＵについてコーディングされていない（ＣＵ内の全てのＭＶＤがゼロであることを意味する）場合に、４分の１ルーマサンプルＭＶ解像度がそのＣＵに対して使用される。ＣＵが整数ルーマサンプルＭＶ精度又は４ルーマサンプルＭＶ精度を使用する場合に、ＣＵのＡＭＶＰ候補内のＭＶＰは、対応する精度に丸められる。

エンコーダでは、どのＭＶＤ解像度がＣＵのために使用されるべきかを決定するために、ＣＵレベルのＲＤチェックが使用される。すなわち、ＣＵレベルのＲＤチェックは、各ＭＶＤ解像度について３回実行される。エンコーダの速度を加速させるために、以下のエンコーディングスキームがＪＥＭでは適用される。
・通常の４分の１ルーマサンプルＭＶ解像度によるＣＵのＲＤチェック中に、現在のＣＵの動き情報（整数ルーマサンプル精度）が格納される。格納された動き情報（丸め後）、整数ルーマサンプル及び４ルーマサンプルＭＶＤ解像度による同じＣＵについてのＲＤチェック中に更なる小範囲動きベクトル精緻化のための開始点として使用され、それにより、時間がかかる動き推定プロセスは３回繰り返されない。
・４ルーマサンプルＭＶＤ解像度によるＣＵのＲＤチェックは、条件付きで呼び出される。あるＣＵについて、整数ルーマサンプルＭＶＤ解像度のＲＤコストが４分の１ルーマサンプルＭＶＤ解像度のそれよりもずっと大きい場合に、そのＣＵについての４ルーマサンプルＭＶＤ解像度のＲＤチェックはスキップされる。

［２．２．３ より高い動きベクトル格納精度］
ＨＥＶＣでは、動きベクトル精度は、４分の１ペル（４：２：０ビデオの場合に、４分の１ルーマサンプル及び８分の１クロマサンプル）である。ＪＥＭでは、内部動きベクトル格納及びマージ候補の精度は、１／１６ペルまで高まる。より高い動きベクトル精度（１／１６ペル）は、スキップ／マージモードによりコーディングされたＣＵの動き補償インター予測で使用される。通常のＡＭＶＰモードによりコーディングされたＣＵについては、整数ペル又は４分の１ペルのどちらかの動きが使用される。

ＨＥＶＣ動き補償補間フィルタと同じフィルタ長さ及び正規化係数を有するＳＨＶＣアップサンプリング補間フィルタは、更なる分数ペル位置のための動き補償補間フィルタとして使用される。クロマ成分動きベクトル精度は、ＪＥＭでは１／３２サンプルであり、１／３２ペル分数位置の更なる補間フィルタは、２つの隣接する１／１６ペル分数位置のフィルタの平均を使用することによって導出される。

［２．２．４ オーバーラップブロック動き補償］
オーバーラップブロック動き補償（Overlapped Block Motion Compensation，ＯＢＭＣ）は、従前、Ｈ．２６３で使用されてきた。ＪＥＭでは、Ｈ．２６３とは異なって、ＯＢＭＣは、ＣＵレベルでのシンタックスを用いてオン及びオフを切り替えられ得る。ＯＢＭＣがＪＥＭで使用される場合に、ＯＢＭＣは、ＣＵの右及び下境界を除く全ての動き補償（Motion Compensation，ＭＣ）ブロック境界に対して実行される。更に、それは、ルーマ及びクロマの両成分に対して適用される。ＪＥＭでは、ＭＣブロックはコーディングブロックに対応する。ＣＵがサブＣＵモード（サブＣＵマージ、アフィン及びＦＲＵＣモードを含む）によりコーディングされる場合に、ＣＵの各サブブロックはＭＣブロックである。一様にＣＵ境界を処理するために、ＯＢＭＣは、全てのＭＣブロック境界についてサブブロックレベルで実行される。このとき、サブブロックサイズは、図１２に表されるように、４×４に等しくセットされる。

ＯＢＭＣが現在のサブブロックに適用される場合に、現在の動きベクトルに加えて、４つの接続されている隣接サブブロックの動きベクトルも、利用可能であって現在の動きベクトルと同じでない場合に、現在のサブブロックの予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックは、現在のサブブロックの最終的な予測信号を生成するよう組み合わされる。

隣接サブブロックの動きベクトルに基づく予測ブロックは、Ｐ_Ｎと表される。ここで、Ｎは、隣接する上、下、左及び右サブブロックのためのインデックスを示す。現在のサブブロックの動きベクトルに基づく予測ブロックは、Ｐ_Ｃと表される。Ｐ_Ｎが、現在のサブブロックに対して同じ動き情報を含む隣接サブブロックの動き情報に基づく場合に、ＯＢＭＣはＰ_Ｎから実行されない。そうでない場合には、Ｐ_ＮのあらゆるサンプルがＰ_Ｃの同じサンプルに加えられる。すなわち、Ｐ_Ｎの４つの行／列がＰ_Ｃに加えられる。重み係数｛１／４，１／８，１／１６，１／３２｝がＰ_Ｎに使用され、重み係数｛３／４，７／８，１５／１６，３１／３２｝がＰ_Ｃに使用される。例外は、Ｐ_Ｎの２つの行／列しかＰ_Ｃに加えられない小さいＭＣブロック境界ブロック（すなわち、コーディングブロックの高さ又は幅が４に等しいか、あるいは、ＣＵがサブＣＵモードによりコーディングされている場合）である。この場合に、重み係数｛１／４，１／８｝がＰ_Ｎに使用され、重み係数｛３／４，７／８｝がＰ_Ｃに使用される。垂直方向で（水平方向で）隣接するサブブロックの動きベクトルに基づいて生成されたＰ_Ｎについては、Ｐ_Ｎのサンプル行（列）内のサンプルが、同じ重み係数でＰ_Ｃに加えられる。

ＪＥＭでは、２５６個のルーマサンプル以下のサイズを有するＣＵについては、ＯＢＭＣが現在のＣＵに適用されるかどうかを示すために、ＣＵレベルフラグが通知される。２５６個のルーマサンプルよりも大きいサイズを有するか、又はＡＭＶＰモードによりコーディングされていないＣＵについては、ＯＢＭＣがデフォルトで適用される。エンコーダで、ＯＢＭＣがＣＵに適用される場合に、その影響は動き推定段階中に考慮される。上隣接ブロック及び左隣接ブロックの動き情報を用いてＯＢＭＣによって形成された予測信号は、現在のＣＵの原信号の上及び左境界を補償するために使用され、それから、通常の動き推定プロセスが適用される。

［２．２．５ 局所照射補償］
局所照射補償（Local Illumination Compensation，ＬＩＣ）は、スケーリング係数ａ及びオフセットｂを用いて、照射変化のための線形モデルに基づく。そして、それは、各インターモードコーディングされたコーディングユニット（ＣＵ）について適応的に有効又は無効にされる。

ＬＩＣがＣＵに適用される場合に、最小二乗誤差法が、現在のＣＵの隣接サンプル及びそれらの対応する参照サンプルを使用することによってパラメータａ及びｂを導出するために用いられる。より具体的には、図１３に表されるように、ＣＵのサブサンプリング（２：１サブサンプリング）された隣接サンプル及び参照ピクチャ内の対応するサンプル（現在のＣＵ又はサブＣＵの動き情報によって識別される）が使用される。ＩＣパラメータは、各予測方向について別々に導出され適用される。

ＣＵがマージモードによりコーディングされる場合に、ＬＩＣフラグは、マージモードでの動き情報コピーと同じようにして、隣接ブロックからコピーされる。そうでない場合には、ＬＩＣフラグは、ＬＩＣが適用されるか否かを示すよう当該ＣＵについて通知される。

ＬＩＣがピクチャに使用可能である場合に、追加のＣＵレベルＲＤチェックが、ＬＩＣがＣＵに適用されるか否かを決定するために必要である。ＬＩＣがＣＵに使用可能である場合に、平均除去絶対差分和（Mean-Removed Sum of Absolute Difference，ＭＲＳＡＤ）及び平均除去絶対アダマール変換差分和（Mean-Removed Sum of Absolute Hadamard-Transformed Difference，ＭＲ－ＳＡＴＤ）が、ＳＡＤ及びＳＡＴＤの代わりに、整数ペル動き探索及び分数ペル動き探索のために夫々使用される。

エンコーディング複雑性を低減するために、以下のエンコーディングスキームがＪＥＭでは適用される。
・現在のピクチャとその参照ピクチャとの間に明らかな照射変化がない場合には、ピクチャ全体に対してＬＩＣは無効にされる。この状況を識別するために、現在のピクチャ及び現在のピクチャのあらゆる参照ピクチャのヒストグラムがエンコーダで計算される。現在のピクチャと現在のピクチャのあらゆる参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合に、ＬＩＣは現在のピクチャに対して無効にされ、そうでない場合には、ＬＩＣは現在のピクチャに対して有効にされる。

［２．２．６ アフィン動き補償予測］
ＨＥＶＣでは、並進運動モデル（translation motion model）しか動き補償予測（Motion Compensation Prediction，ＭＣＰ）のために適用されない。一方、現実世界では、多くの種類の動き、例えば、ズームイン／アウト、回転、射影運動、及び他の不規則な動きがある。ＪＥＭでは、簡単化されたアフィン変換動き補償予測が適用される。図１４に示されるように、ブロックのアフィン運動場は、２つの制御点動きベクトルによって記述される。

ブロックの動きベクトル場（Motion Vector Field，ＭＶＦ）は、次の式によって記述される：

ここで、（ｖ_０ｘ，ｖ_０ｙ）は、左上角の制御点の動きベクトルであり、（ｖ_１ｘ，ｖ_１ｙ）は、右上角の制御点の動きベクトルである。

動き補償予測を更に簡単にするために、サブブロックベースのアフィン変換予測が適用される。サブブロックサイズＭ×Ｎは、式２で見られるように導出され、このとき、ＭｖＰｒｅは、動きベクトル分数精度（ＪＥＭでは１／１６）であり、（ｖ_２ｘ，ｖ_２ｙ）は、式１に従って計算された左下制御点の動きベクトルである。

式２によって導出された後、Ｍ及びＮは、夫々、ｗ及びｈの約数となるよう、必要に応じて下方調整されるべきである。

各Ｍ×Ｎサブブロックの動きベクトルを導出するために、図１５に示されるような各サブブロックの中心サンプルの動きベクトルが式１に従って計算され、１／１６分数精度に丸められる。次いで、前のセクション２．２．３で説明された動き補償補間フィルタが、導出された動きベクトルにより各サブブロックの予測を生成するために適用される。

ＭＣＰの後、各サブブロックの高精度動きベクトルは丸められ、通常の動きベクトルと同じ精度としてセーブされる。

ＪＥＭでは、２つのアフィン動きモード、すなわち、ＡＦ＿ＩＮＴＥＲモード及びＡＦ＿ＭＥＲＧＥモードが存在する。幅及び高さの両方が８よりも大きいＣＵについては、ＡＦ＿ＩＮＴＥＲモードが適用され得る。ＣＵレベルでのアフィンフラグは、ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すためにビットストリームで通知される。このモードで、動きベクトル対｛（ｖ_０，ｖ_１）｜ｖ_０＝｛ｖ_Ａ，ｖ_Ｂ，ｖ_Ｃ｝，ｖ_１＝｛ｖ_Ｄ，ｖ_Ｅ｝｝を有する候補リストは、隣接ブロックを用いて構成される。図１６に示されるように、ｖ_０は、ブロックＡ、Ｂ又はＣの動きベクトルから選択される。隣接ブロックからの動きベクトルは、参照リストと、隣接ブロックの参照ブロックのＰＯＣ、現在のＣＵの参照ブロックのＰＯＣ、及び現在のＣＵのＰＯＣの間の関係とに従って、スケーリングされる。そして、隣接ブロックＤ及びＥからｖ_１を選択するためのアプローチは同様である。候補リストの数が２よりも小さい場合に、リストは、ＡＭＶＰ候補の夫々を複製することによって構成された動きベクトル対によってパディングされる。候補リストが２よりも大きい場合に、候補は最初に、隣接動きベクトルの一貫性（対候補の２つの動きベクトルの類似性）に従ってソートされ、最初の２つの候補のみが保持される。ＲＤコストチェックは、どの動きベクトル対候補が現在のＣＵの制御点動きベクトル予測（Control Point Motion Vector Prediction，ＣＰＭＶＰ）として選択されるかを決定するために使用される。そして、候補リスト内のＣＰＭＶＰの位置を示すインデックスがビットストリームで通知される。現在のアフィンＣＵのＣＰＭＶＰが決定された後、アフィン動き推定が適用され、制御点動きベクトル予測（ＣＰＭＶ）は求められる。次いで、ＣＰＭＶとＣＰＭＶＰとの差はビットストリームで通知される。

ＣＵがＡＦ＿ＭＥＲＧＥモードで適用される場合に、それは、有効な隣接する再構成されたブロックからアフィンモードによりコーディングされた最初のブロックを得る。そして、候補ブロックの選択順序は、図１７Ａに示されるように、左から、上、右上、左下、左上へである。隣接する左下ブロックＡが図１７Ｂに示されるようにアフィンモードでコーディングされる場合に、ブロックＡを含むＣＵの左上角、右上角、及び左下角の動きベクトルｖ_２、ｖ_３及びｖ_４が導出される。そして、現在のＣＵの左上角の動きベクトルｖ_０は、ｖ_２、ｖ_３及びｖ_４に従って計算される。第２に、現在のＣＵの右上の動きベクトルｖ_１が計算される。

現在のＣＵのＣＰＭＶｖ_０及びｖ_１が導出された後、簡単化されたアフィン運動モデル式１に従って、現在のＣＵのＭＶＦが生成される。現在のＣＵがＡＦ＿ＭＥＲＧＥモードによりコーディングされているかどうかを識別するために、アフィンモードでコーディングされている少なくとも１つの隣接ブロックがある場合に、アフィンフラグがビットストリームで通知される。

［２．２．７ パターンマッチングされた動きベクトル導出］
パターンマッチングされた動きベクトル導出（Pattern Matched Motion Vector Derivation，ＰＭＭＶＤ）モードは、フレームレートアップコンバージョン（Frame-Rate Up Conversion，ＦＲＵＣ）技術に基づく特別なマージモードである。このモードによれば、ブロックの動き情報は通知されず、デコーダ側で導出される。

ＦＲＵＣフラグは、ＣＵについて、そのマージフラグが真である場合に、通知される。ＦＲＵＣフラグが偽である場合に、マージインデックスが通知され、レギュラーマージモードが使用される。ＦＲＵＣフラグが真である場合に、追加のＦＲＵＣモードフラグが、どの方法（バイラテラルマッチング又はテンプレートマッチング）が、ブロックの動き情報を導出するために使用されるべきかを示すために、通知される。

エンコーダ側で、ＣＵにＦＲＵＣマージモードを使用すべきかどうかの決定は、通常のマージ候補について行われるように、ＲＤコスト選択に基づく。すなわち、２つのマッチングモード（バイラテラルマッチング及びテンプレートマッチング）は両方とも、ＲＤコスト選択を使用することによってＣＵに対して確認される。最小コストもたらす一方が、他のＣＵモードと更に比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合に、ＦＲＵＣフラグは、そのＣＵに対して真にセットされ、関連するマッチングモードが使用される。

ＦＲＵＣマージモードでの動き導出プロセスは２つのステップを有する。ＣＵレベルの動き探索が最初に実行され、次いで、サブＣＵレベルの動き精緻化が続く。ＣＵレベルで、バイラテラルマッチング又はテンプレートマッチングに基づいて、ＣＵ全体において初期動きベクトルが導出される。最初に、ＭＣ候補のリストが生成され、最小マッチングコストをもたらす候補が、更なるＣＵレベル精緻化のための開始点として選択される。次いで、開始点の周りのバイラテラルマッチング又はテンプレートマッチングに基づいて局所探索が実行され、最小マッチングコストをもたらすＭＶが、ＣＵ全体のＭＶとされる。その後に、動き情報は、導出されたＣＵ動きベクトルを開始点として用いてサブＣＵレベルで更に精緻化される。

例えば、次の導出プロセスが、Ｗ×ＨのＣＵの動き情報導出のために実行される。最初の段階で、Ｗ×ＨのＣＵ全体のＭＶが導出される。第２の段階で、ＣＵはＭ×Ｍ個のサブブロックに更に分割される。Ｍの値は式（３）のように計算され、Ｄは、ＪＥＭではデフォルトで３にセットされる予め定義された分割デプスである。次いで、各サブＣＵのＭＶが導出される。

図１８に示されるように、バイラテラルマッチングは、２つの異なる参照ピクチャにおいて現在のＣＵの運動軌跡に沿って２つのブロック間の最も近い一致を見つけることによって、現在のＣＵの動き情報を導出するために使用される。連続した運動軌跡という前提の下で、２つの参照ブロックを指し示す動きベクトルＭＶ０及びＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間距離、すなわち、ＴＤ０及びＴＤ１に比例すべきである。特別な場合として、現在のピクチャが時間的に２つの参照ピクチャとの間にあり、現在のピクチャから２つの参照ピクチャまでの時間距離が同じである場合に、バイラテラルマッチングは、ミラーベースの双方向ＭＶになる。

図１９に示されるように、テンプレートマッチングは、現在のピクチャ内のテンプレート（現在のＣＵの上及び／又は左隣接ブロック）と参照ピクチャ内のブロック（テンプレートと同じサイズ）との間の最も近い一致を見つけることによって、現在のＣＵの動き情報を導出するために使用される。上記のＦＲＵＣマージモードを除いて、テンプレートマッチングはＡＭＶＰモードにも適用される。ＪＥＭでは、ＨＥＶＣで行われるように、ＡＭＶＰは２つの候補を有している。テンプレートマッチング法によれば、新しい候補が導出される。テンプレートマッチングによって新たに導出された候補が、最初に存在しているＡＭＶＰ候補と異なる場合に、それは、ＡＭＶＰ候補リストの一番最初に挿入され、次いで、リストサイズは２にセットされる（２番目に存在するＡＭＶＰ候補を除くことを意味する）。ＡＭＶＰモードに適用される場合に、ＣＵレベル探索のみが適用される。

［２．２．７．１ ＣＵレベルのＭＶ候補セット］
ＣＵレベルでのＭＶ候補セットは：
（ｉ）現在のＣＵがＡＭＶＰモードにある場合の元のＡＭＶＰ候補、
（ｉｉ）全てのマージ候補、
（ｉｉｉ）セクション２．２．７．３で導入される補間されたＭＶ場におけるいくつかのＭＶ、
（ｉｖ）上及び左隣の動きベクトル
から成る。

バイラテラルマッチングを使用する場合に、マージ候補の夫々の有効なＭＶが、バイラテラルマッチングの前提によりＭＶ対を生成するための入力として使用される。例えば、マージ候補の１つの有効なＭＶは、参照リストＡでの（ＭＶａ，ｒｅｆａ）である。次いで、その対となるバイラテラルＭＶの参照ピクチャｒｅｆｂは、ｒｅｆａ及びｒｅｆｂが時間的に現在のピクチャの異なる側にあるように、他の参照リストＢで見つけられる。そのようなｒｅｆｂが参照リストＢで利用可能でない場合に、ｒｅｆｂは、ｒｅｆａとは異なる参照として決定され、現在のピクチャまでのその時間距離は、リストＢ内で最小のものである。ｒｅｆｂが決定された後、ＭＶｂは、現在のピクチャとｒｅｆａ、ｒｅｆｂとの間の時間距離に基づいてＭＶａをスケーリングすることによって、導出される。

補間されたＭＶ場からの４つのＭＶも、ＣＵレベル候補リストに加えられる。より具体的には、現在のＣＵの位置（０，０）、（Ｗ／２，０）、（０，Ｈ／２）及び（Ｗ／２，Ｈ／２）での補間されたＭＶが加えられる。

ＦＲＵＣがＡＭＶＰモードで適用される場合に、元のＡＭＶＰ候補も、ＣＵレベルのＭＶ候補セットに加えられる。

ＣＵレベルで、ＡＭＶＰ ＣＵについては最大１５個のＭＶが、及びマージＣＵについては最大１３個のＭＶが、候補リストに加えられる。

［２．２．７．２ サブＣＵレベルのＭＶ候補セット］
サブＣＵレベルでのＭＶ候補セットは：
（ｉ）ＣＵレベル探索から決定されたＭＶ、
（ｉｉ）上、左、左上及び右上の隣接ＭＶ、
（ｉｉｉ）参照ピクチャからの同一位置ＭＶのスケーリングされたバージョン、
（ｉｖ）最大４つのＡＴＭＶＰ候補
（ｖ）最大４つのＳＴＭＶＰ候補
から成る。

参照ピクチャからのスケーリングされたＭＶは、次のように導出される。両方のリスト内の全ての参照ピクチャがトラバースされる。参照ピクチャ内のサブＣＵの同一位置の位置にあるＭＶは、開始ＣＵレベルＭＶの参照にスケーリングされる。

ＡＴＭＶＰ及びＳＴＭＶＰ候補は、最初の４つに制限される。

サブＣＵレベルで、最大１７個のＭＶが候補リストに加えられる。

［２．２．７．３ 補間されたＭＶ場の生成］
フレームをコーディングする前に、補間された運動場が、ユニラテラルＭＥに基づいてピクチャ全体について生成される。次いで、運動場は、後に、ＣＵレベル又はサブＣＵレベルのＭＶ候補として使用されてよい。

最初に、両方の参照リスト内の各参照ピクチャの運動場が、４×４ブロックレベルでトラバースされる。各４×４ブロックについて、ブロックに関連した動きが現在のピクチャ内の４×４ブロックを通り（図２０に図示）、ブロックが如何なる補間された動きも割り当てられていない場合に、参照ブロックの動きは、時間距離ＴＤ０及びＴＤ１に従って現在のピクチャにスケーリングされ（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングのそれと同様）、スケーリングされた動きは、現在のフレーム内のブロックに割り当られる。スケーリングされたＭＶが４×４ブロックに割り当てられない場合に、ブロックの動きは、補間された運動場で利用不可としてマークされる。

［２．２．７．４ 補間及びマッチングコスト］
動きベクトルが分数サンプル位置を指し示す場合に、動き補償された補間が必要とされる。複雑性を低減するために、双線形補間が、通常の８タップＨＥＶＣ補間の代わりに、バイラテラルマッチング及びテンプレートマッチングの両方のために使用される。

マッチングコストの計算は、異なるステップで少し異なっている。ＣＵレベルで候補セットから候補を選択する場合に、マッチングコストは、バイラテラルマッチング又はテンプレートマッチングの絶対差分和（ＳＡＤ）である。開始ＭＶが決定された後、サブＣＵレベル探索でのバイラテラルマッチングのマッチングコストＣは、次のように計算される：

Ｃ＝ＳＡＤ＋ｗ・（｜ＭＶ_ｘ－ＭＶ_ｘ ^Ｓ｜＋｜ＭＶ_ｙ－ＭＶ_ｙＳ｜）

ここで、ｗは、経験的に４にセットされる重み係数であり、ＭＶ及びＭＶ^Ｓは、夫々、現在のＭＶ及び開始ＭＶを示す。ＳＡＤは、サブＣＵレベル探索でのテンプレートマッチングのマッチングコストとして依然として使用される。

ＦＲＵＣモードでは、ＭＶは、ルーマサンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のためにルーマ及びクロマの両方に使用されることになる。ＭＶが決定された後、最終的なＭＣが、ルーマのための８タップ補間フィルタ及びクロマのための４タップ補間フィルタを用いて実行される。

［２．２．７．５ ＭＶ精緻化］
ＭＶ精緻化は、バイラテラルマッチングコスト又はテンプレートマッチングコストの基準によるパターンベースのＭＶ探索である。ＪＥＭでは、２つの探索パターン、すなわち、夫々ＣＵレベル及びサブＣＵレベルでのＭＶ精緻化のためのUnrestricted Center-Biased Diamond Search（ＵＣＢＤＳ）及び適応交差探索（adaptive cross search）、がサポートされる。ＣＵ及びサブＣＵ両方のレベルのＭＶ精緻化のために、ＭＶは、４分の１ルーマサンプルＭＶ精度で直接探索され、この後に、８分の１ルーマサンプルＭＶ精緻化が続く。ＣＵ及びサブＣＵステップのためのＭＶ精緻化の探索範囲は、８ルーマサンプルに等しくセットされる。

［２．２．７．６ テンプレートマッチングＦＲＵＣマージモードでの予測方向の選択］
バイラテラルマッチングマージモードでは、ＣＵの動き情報が、２つの異なった参照ピクチャにおける現在のＣＵの運動軌跡に沿った２つのブロックの間の最も近い一致に基づいて導出されるので、双予測が常に適用される。テンプレートマッチングマージモードにはそのような制限はない。テンプレートマッチングマージモードでは、エンコーダは、ＣＵのためにリスト０からの片予測、リスト１からの片予測、又は双予測から選択することができる。選択は、次のようにテンプレートマッチングコストに基づく：

ｃｏｓｔＢｉ＜＝ｆａｃｔｏｒ×ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合に、
双予測が使用される；

そうではなく、ｃｏｓｔ０＜＝ｂｏｓｔ１の場合に、
リスト０からの片予測が使用される；

上記以外の場合に、
リスト１からの片予測が使用される。

ｃｏｓｔ０は、リスト０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１は、リスト１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは、双予測テンプレートマッチングのＳＡＤである。ｆａｃｔｏｒの値は１．２５に等しく、これは、選択プロセスが双予測の方にバイアスされることを意味する。

インター予測方向選択は、ＣＵレベルのテンプレートマッチンプロセスにのみ適用される。

［２．２．８ 一般化された双予測］
従来の双予測では、Ｌ０及びＬ１からの予測子は、等しい重み０．５を用いて最終的な予測子を生成するよう平均化される。予測子生成式は、式（４）で示される：

式（４）中、Ｐ_{ｔｒａｄｉｔｉｏｎａｌＢｉＰｒｅｄ}は、従来の双予測のための最終的な予測子であり、Ｐ_Ｌ０及びＰ_Ｌ１は、夫々、Ｌ０及びＬ１からの予測子であり、ＲｏｕｎｄｉｎｇＯｆｆｓｅｔ及びｓｈｉｆｔＮｕｍは、最終的な予測子を正規化するために使用される。

一般化された双予測（Generalized Bi-prediction，ＧＢｉ）は、Ｌ０及びＬ１からの予測子に異なる重みを適用することを可能にするよう提案されている。予測子生成は、式（５）で示される：

式（５）中、Ｐ_ＧＢｉは、ＧＢｉの最終的な予測子である。（１－ｗ_１）及びｗ_１は、夫々、Ｌ０及びＬ１の予測子に適用される選択されたＧＢｉ重みである。ＲｏｕｎｄｉｎｇＯｆｆｓｅｔ_ＧＢｉ及びｓｈｉｆｔＮｕｍ_ＧＢｉは、ＧＢｉにおいて最終的な予測子を正規化するために使用される。

ｗ_１のサポートされている重みは｛－１／４，３／８，１／２，５／８，５／４｝である。１つの等しい重みのセットと、４つの等しくない重みのセットとがサポートされる。等しい重みの場合に、最終的な予測子を生成するプロセスは、従来の双予測モードの場合と全く同じである。ランダムアクセス（Random Access，ＲＡ）条件での真の双予測の場合に、候補重みセットの数は３つに減る。

Advanced Motion Vector Prediction（ＡＭＶＰ）モードについては、ＧＢｉでの重み選択は、ＣＵレベルで、このＣＵが双予測によってコーディングされている場合に、明示的に通知される。マージモードについては、重み選択はマージ候補から引き継がれる。この提案では、ＧＢｉは、ＢＭＳ－１．０のための最終的な予測子に加えてテンプレートの加重平均を生成するようＤＭＶＲをサポートする。

［２．２．９ 多重仮説インター予測］
多重仮説（multi-hypothesis）インター予測モードでは、従来の片／双予測信号に加えて、１つ以上の追加の予測信号が通知される。結果として得られる全体の予測信号は、サンプルごとの重み付けされた重ね合わせによって取得される。片／双予測信号ｐ_{ｕｎｉ／ｂｉ}及び最初の追加のインター予測信号／仮説ｈ_３によれば、結果として得られる予測信号ｐ_３は、次のように取得される：
ｐ_３＝（１－α）ｐ_{ｕｎｉ／ｂｉ}＋αｈ_３

予測ユニットシンタックス構造への変更を以下に示す：

重み係数αは、次のマッピングに従って、シンタックス要素ａｄｄ＿ｈｙｐ＿ｗｅｉｇｈｔ＿ｉｄｘによって指定される：

追加の予測信号については、予測リスト０／リスト１の概念は廃止され、代わりに１つの複合リストが使用される点に留意されたい。この複合リストは、リスト０及びリスト１からの参照フレームと、参照インデックスを増やしながら交互に挿入し、二重エントリが回避されるように、既に挿入されている参照フレームを削除することによって、生成される。

上記と同じように、１よりも多い追加の予測信号が使用可能である。結果として得られる全体の予測信号は、夫々の追加の予測信号により繰り返し積み重ねられる：
ｐ_ｎ＋１＝（１－α_ｎ＋１）ｐ_ｎ＋α_ｎ＋１ｈ_ｎ＋１

結果として得られる全体の予測信号は、最後のｐ_ｎ（すなわち、最大インデックスｎを有するｐ_ｎ）として取得される。

マージモード（しかし、スキップモードではない）を用いるインター予測ブロックについても、追加のインター予測信号が指定され得る点に留意されたい。更には、マージの場合には、片／双予測パラメータだけでなく、選択されたマージ候補の追加の予測パラメータも現在のブロックに使用され得る点に留意されたい。

多重仮説イントラ及びインター予測モードも、インター及びイントラ複合予測（Combined Inter and Intra Prediction，ＣＩＩＰ）プロセスとして知られている。

［２．２．１０ ＡＭＶＰモードの片予測のための多重仮説予測］
いくつかの例で、ＡＭＶＰモードの片予測を改善するために多重仮説予測が適用される場合に、１つのフラグが、１又は２に等しいｉｎｔｅｒ＿ｄｉｒについて多重仮説予測を有効又は無効にするよう通知される。このとき、１、２及び３は、夫々、リスト０，リスト１、及び双予測を表す。更に、フラグが真である場合に、もう１つのマージインデックスが通知される。このようにして、多重仮説予測は片予測を双予測に変える。このとき、１つの動きは、ＡＭＶＰモードにおける元のシンタックス要素を用いて取得され、一方、他は、マージスキームを用いて取得される。最終的な予測は、双予測で見られるようにこれらの２つの予測を結合するよう１：１重みを使用する。マージ候補リストは、最初に、サブＣＵ候補（例えば、アフィン、代替時間動きベクトル予測（ＡＴＭＶＰ））が除外されたマージモードから導出される。次に、それは、２つの個別のリスト（１つは、候補からの全てのＬ０動きを含むリスト０（Ｌ０）用であり、もう１つは、全てのＬ０動きを含むリスト１（Ｌ１）用である）に分けられる。冗長性を排除し、空席を埋めた後、２つのマージリストが夫々Ｌ０及びＬ１のために生成される。ＡＭＶＰモードを改善するために多重仮説予測を適用する場合に、２つの制約がある。第１に、それは、ルーマコーディングブロック（ＣＢ）が６４以上であるＣＵについて有効にされる。第２に、それは、低遅延Ｂピクチャにある場合にＬ１にのみ適用される。

［２．２．１１ スキップ／マージモードのための多重仮説予測］
例において、多重仮説予測がスキップ又はマージモードに適用される場合に、多重仮説予測を有効にすべきかどうかは明示的に通知される。余分のマージインデキシング予測が、
元の１つに加えて選択される。従って、多重仮説予測の各候補は、１番目のマージインデキシング予測のための１つと、２番目のマージインデキシング予測のためのもう１つとを含むマージ候補の対を暗示する。しかし、各対において、２番目のマージインデキシング予測のためのマージ候補は、如何なる追加のマージインデックスも通知せずに、続いて起こるマージ候補（すなわち、既に通知されたマージインデックスに１プラスしたもの）として暗黙的に導出される。類似したマージ候補を含む対を除くことによって冗長性を排除し、空席を満たした後、多重仮説予測のための候補リストは形成される。次いで、２つのマージ候補の対からの動きが、最終的な予測を生成するために取得される。このとき、５：３の重みが、１番目及び２番目のマージインデキシング予測に夫々適用される。更に、多重仮説予測を有効にされたマージ又はスキップＣＵは、既存の仮説の動き情報に加えて、続く隣接ＣＵの参照のために追加の仮説の動き情報をセーブすることができる。サブＣＵ候補（例えば、アフィン、ＡＴＭＶＰ）は候補リストから除かれ、低遅延Ｂピクチャについては、多重仮説はスキップモードに適用されない点に留意されたい。更に、多重仮説予測がマージ又はスキップモードに適用される場合に、ＣＵ幅又はＣＵ高さが１６に満たないＣＵ、あるいは、ＣＵ幅及びＣＵ高さの両方が１６に等しいＣＵについては、双線形補間フィルタが多重仮説のための動き補償で使用される。従って、多重仮説予測を有効にされた各マージ又はスキップＣＵの最悪のバンド幅（サンプルごとに必要なアクセスサンプル）は、表１で計算され、各数値は、多重仮説予測を無効にされた各４×４ＣＵについての最悪のバンド幅の半分未満である。

［２．２．１２ 究極の動きベクトル表現］
例において、究極の動きベクトル表現（Ultimate Motion Vector Expression，ＵＭＶＥ）が与えられる。ＵＭＶＥは、提案されている動きベクトル表現法によりスキップ又はマージどちらかの方法に使用される。ＭＭＶＤ（Merge mode with Motion Vector Difference，ＭＭＶＤ）モードも、究極の動きベクトル表現（ＵＭＶＥ）モードとして知られている。

ＵＭＶＥは、ＶＶＣで使用するのと同じようにマージ候補を再利用する。マージ候補の中から候補は選択可能であり、提案されている動きベクトル表現法によって更に拡張される。

ＵＭＶＥは、簡略化されたシグナリングを備えた新しい動きベクトル表現を提供する。表現方法は、開始点、動きの大きさ、及び動き方法を含む。

図２１は、ＵＭＶＥ探索プロセスの例を示す。

図２２は、ＵＭＶＥ探索ポイントの例を示す。

この提案されている技術は、マージ候補リストをそのまま使用する。しかし、で風呂とのマージタイプ（ＭＲＧ＿ＴＹＰＥ＿ＤＥＦＡＵＬＴ＿Ｎ）である候補しか、ＵＭＶＥの拡張の対象とならない。

基本候補インデックスは開始点を定義する。基本候補インデックスは、次のようにリスト内の候補の中で最良の候補を示す：

基本候補の数が１に等しい場合に、基本候補ＩＤＸは通知されない。

距離インデックスは、動きの大きさの情報である。距離インデックスは、開始点情報からの予め定義された距離を示す。予め定義された距離は、次の通りである：

方向インデックスは、開始点に対するＭＶＤの方向を表す。方向インデックスは、以下で示されるように４つの方向を表すことができる：

ＵＭＶＥフラグは、スキップフラグ及びマージフラグを送った直後に通知される。スキップ及びマージフラグが真である場合に、ＵＭＶＥフラグはパースされる。ＵＭＶＥフラグが１に等しい場合に、ＵＭＶＥシンタックスはパースされる。しかし、１でない場合には、アフィンフラグがパースされる。アフィンフラグが１に等しい場合には、それはアフィンモードである。しかし、１でない場合には、スキップ／マージインデックスが、ＶＴＭのスキップ／マージモードについてパースされる。

ＵＭＶＥ候補のための追加のラインバッファは不要である。ソフトウェアのスキップ／マージ候補は基本候補として直接使用されるからである。入力されたＵＭＶＥインデックスを用いて、ＭＶの補完は、動き補償の直後に決定される。このため、長いラインバッファを保持する必要はない。

［２．２．１３ 予測オフセットによるアフィンマージモード］
例において、ＵＭＶＥは、アフィンマージモードに拡張され、我々は、これを以降ＵＭＶＥアフィンモードと呼ぶことにする。提案されている方法は、最初の利用可能なアフィンマージ候補を基本予測子として選択する。次いで、それは、基本予測子からの各制御点の動きベクトル値に動きベクトルオフセットを適用する。利用可能なアフィンマージ候補がない場合には、この提案されている方法は使用されない。

選択された基本予測子のインター予測方向と、各方向の参照インデックスは、変更なしで使用される。

現在の実施では、現在のブロックのアフィンモデルは、４パラメータモデルであると仮定され、２つの制御点のみが導出される必要がある。よって、基本予測子の最初の２つの制御点のみが制御点予測子として使用されることになる。

各制御点について、ｚｅｒｏ＿ＭＶＤフラグは、現在のブロックの制御点が対応する制御点予測子と同じＭＶ値を有しているかどうかを示すために使用される。ｚｅｒｏ＿ＭＶＤフラグが真である場合には、制御点に必要とされる他のシグナリングはない。そうでない場合には、距離インデックス及びオフセット方向インデックスはその制御点について通知される。

サイズが５である距離オフセットテーブルが、以下の表で示されるように使用される。距離インデックスは、どの距離オフセットを使用すべきかを示すよう通知される。距離インデックスと距離オフセット値とのマッピングは、図２３に示される。

方向インデックスは、以下で示されるように４つの方向を表すことができ、ｘ又はｙ方向しかＭＶ差を有さなくてよく、両方の方向ではない。

インター予測が一方向である場合に、通知される距離オフセットは、各制御点予測子についてのオフセット方向に対して適用される。結果は、各制御点のＭＶ値になる。

例えば、基本予測子が一方向である場合に、制御点の動きベクトル値はＭＶＰ（ｖ_ｐｘ、ｖ_ｐｙ）である。距離オフセット及び方向インデックスが通知される場合に、現在のブロックの対応する制御点の動きベクトルは、以下のように計算されることになる。

ＭＶ（ｖ_ｘ、ｖ_ｙ）＝ＭＶＰ（ｖ_ｐｘ、ｖ_ｐｙ）＋ＭＶ（ｘ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ，ｙ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ）

インター予測が双方向である場合に、通知される距離オフセットは、制御点予測子のＬ０動きベクトルについて通知されたオフセット方向に適用され、反対の方向による同じ距離オフセットが、制御点予測子のＬ１動きベクトルについて適用される。結果は、各インター予測方向に関して、各制御点のＭＶ値になる。

例えば、基本予測子が双方向である場合に、Ｌ０に関する制御点の動きベクトル値はＭＶＰ_Ｌ０（ｖ_０ｐｘ，ｖ_０ｐｙ）であり、Ｌ１に関する制御点の動きベクトル値はＭＶＰ_Ｌ１（ｖ_１ｐｘ，ｖ_１ｐｙ）である。距離オフセット予備方向インデックスが通知される場合に、現在のブロックの対応する制御点の動きベクトルは、次のように計算されることになる。

ＭＶ_Ｌ０（ｖ_０ｘ、ｖ_０ｙ）＝ＭＶＰ_Ｌ０（ｖ_０ｐｘ、ｖ_０ｐｙ）＋ＭＶ（ｘ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ，ｙ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ）、

ＭＶ_Ｌ１（ｖ_０ｘ、ｖ_０ｙ）＝ＭＶＰ_Ｌ１（ｖ_１ｐｘ、ｖ_１ｐｙ）＋ＭＶ（ｘ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ，ｙ－ｄｉｒ－ｆａｃｔｏｒ×ｄｉｓｔａｎｃｅ－ｏｆｆｓｅｔ）

［２．２．１４ 双方向オプティカルフロー］
ＢＩＯでは、動き補償は最初に、現在のブロックの（各予測方向における）最初の予測を生成するために実行される。最初の予測は、ブロック内の各サブブロック／ピクセルの空間勾配、時間勾配、及びオプティカルフローを導出するために使用され、これらは、次いで、第２の予測、すなわち、サブブロック／ピクセルの最終的な予測を生成するために使用される。詳細は、次のように説明される。

双方向オプティカルフロー（ＢＩＯ）は、双予測のためのブロックワイズの動き補償に加えて実行されるサンプルワイズの動き精緻化である。サンプルレベルの動き精緻化は、シグナリングを使用しない。

図２４は、オプティカルフロー軌跡の例を示す。

Ｉ^（ｋ）をブロック動き補償後の参照ｋ（ｋ＝０，１）からのルーマ値であるとし、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙは、Ｉ^（ｋ）勾配の水平及び垂直成分である。オプティカルフローが有効であるとすれば、動きベクトル場（ｖ_ｘ，ｖ_ｙ）は、次の式によって与えられる：

このオプティカルフロー式を各サンプル結果の動き軌跡についてエルミート（Hermite）補間と組み合わせることで、関数値Ｉ（ｋ）及び導関数、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙの両方と最後に一致する一意の三次多項式が得られる。ｔ＝０でのこの多項式の値がＢＩＯ予測である：

ここで、τ_０及びτ_１は、図２４で示されるように参照フレームまでの距離である。距離τ_０及びτ_１は、Ｒｅｆ０及びＲｅｆ１に基づいて計算される：

τ_０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）
τ_１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）

両方の予測が同じ時間方向から来る（両方が過去から来るか、又は両方が未来から来るかのどちらかである）場合、符号は異なる（すなわち、τ_０・τ_１＜０）。この場合に、ＢＩＯは、予測が同じ時点からでなく（すなわち、τ０≠τ１）、両方の参照される領域が非ゼロ運動を有し（ＭＶ_ｘ０，ＭＶ_ｙ０，ＭＶ_ｘ１，Ｍｖ_ｙ１≠０）、ブロック動きベクトルが時間距離に比例する（ＭＶ_ｘ０／ＭＶ_ｘ１＝ＭＶ_ｙ０／Ｍｖ_ｙ１＝－τ_０／τ_１）場合にのみ適用される。

動きベクトル場（ｖ_ｘ、ｖ_ｙ）は、点Ａ及びＢ（図２４の動き軌跡と参照フレーム面との交点）での値の間の差Δを最小限にすることによって決定される。モデルは、Δについて局所テイラー展開の一次線形項のみを使用する：

式（５）の全ての値が、これまで表記から省略されていたサンプル位置（ｉ’，ｊ’）に依存する。動きが局所周囲エリアにおいて一貫性があるとすれば、Ｍが２に等しいとして、現在予測されている点（ｉ，ｊ）を中心とした（２Ｍ＋１）×（２Ｍ＋１）正方窓Ω内でΔは最小限にされる：

この最適化問題について、ＪＥＭは、最初に垂直方向において、それから水平方向において最小化を行う簡単化されたアプローチを使用する。その結果、次のものが得られる：

ここで、

ゼロ又は極めて小さい値による除算を回避するために、正規化パラメータｒ及びｍが式１０及び１１に導入される：

ｒ＝５００・４^ｄ－８ （１０）

ｍ＝７００・４^ｄ－８ （１１）

ここで、ｄは、ビデオサンプルのビットデプスである。

ＢＩＯのためのメモリアクセスを通常の双予測動き補償の場合と同じに保つために、全ての予測及び勾配値Ｉ^（ｋ）、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙは、現在のブロック内の位置についてのみ計算される。式（９）中、予測されたブロックの境界上の現在予測されている点に中心がある（２Ｍ＋１）×（２Ｍ＋１）正方窓Ωは、ブロックの外にある点にアクセスする必要がある（図２５Ａを参照）。ＪＥＭでは、ブロックの外にあるＩ^（ｋ）、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙの値は、そのブロック内の最も近い利用可能な値に等しいようセットされる。例えば、これは、図２５Ｂに示されるように、パディングとして実装され得る。

図２６は、ブロック拡張によらないＢＩＯを示し、ａ）ブロックの外のアクセス位置、ｂ）パディングが、余分のメモリアクセス及び計算を回避するために使用される。

ＢＩＯによれば、各サンプルについて運動場が精緻化され得ることが可能である。計算複雑性を低減するために、ＢＩＯのブロックベースの設計がＪＥＭでは使用される。動き精緻化は、４×４ブロックに基づいて計算される。ブロックベースのＢＩＯでは、４×４ブロック内の全てのサンプルの式（９）中のｓ_ｎの値は合計され、次いで、ｓ_ｎの合計された値が、４×４ブロックのＢＩＯ動きベクトルオフセットを導出するために使用される。より具体的には、次の式が、ブロックベースのＢＩＯ導出のために使用される：

ここで、ｂ_ｋは、予測されたブロックのｋ番目の４×４ブロックに属するサンプルの組を表す。式７及び８中のｓ_ｎは、関連する動きベクトルオフセットを導出するために（（ｓ_ｎ，ｂｋ）＞＞４）によって置換される。

いくつかの場合に、ＢＩＯのＭＶレジメントは、ノイズ又は不規則な動きにより信頼できない可能性がある。そのため、ＢＩＯでは、ＭＶレジメントの大きさが閾値ｔｈＢＩＯにクリップされる。閾値は、現在のピクチャの参照ピクチャが全て１つの方向からであるかどうかに基づいて決定される。現在のピクチャの全ての参照ピクチャが１つの方向からである場合に、閾値は１２×２^１４－ｄにセットされ、そうでない場合には、それは１２×２^１３－ｄにセットされる。

ＢＩＯの勾配は、ＨＥＶＣ動き補償プロセス（２Ｄ分離可能ＦＩＲ）と一致する操作を用いて動き補償補間と同時に計算される。この２Ｄ分離可能ＦＩＲのための入力は、動き補償プロセスの場合と同じ参照フレームサンプルであり、ブロック動きベクトルの分数部分に応じた分数位置（ｆｒａｃＸ，ｆｒａｃＹ）である。水平勾配∂Ｉ／∂ｘの場合に、信号は最初に、スケール除去（de-scaling）シフトｄ－８を伴って分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを用いて垂直方向に補間され、次いで、勾配フィルタＢＩＯｆｉｌｔｅｒＧが、１８－ｄによるスケール除去シフトを伴って分数位置ｆｒａｃＸに対応する水平方向において適用される。水平勾配∂Ｉ／∂Ｙの場合に、最初に勾配フィルタは、スケール除去シフトｄ－８を伴って分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを用いて垂直方向に適用され、次いで、信号変位は、１８－ｄによるスケール除去シフトを伴って分数位置ｆｒａｃＸに対応する水平方向でのＢＩＯｆｉｌｔｅｒＳを用いて実行される。勾配計算ＢＩＯｆｉｌｔｅｒＧ及び信号変位ＢＩＯｆｉｌｔｅｒＦのための補間フィルタの長さは、妥当な複雑性を保つために、より短い（６タップ）。表２は、ＢＩＯにおけるブロック動きの種々の分数位置についての勾配計算に使用されるフィルタを示す。表３は、ＢＩＯにおける予測信号生成に使用される補間フィルタを示す。

ＪＥＭでは、ＢＩＯは、２つの予測が異なる参照ピクチャからである場合に、全ての双予測されたブロックに適用される。ＬＩＣがＣＵに使用可能である場合に、ＢＩＯは無効にされる。

ＪＥＭでは、ＯＢＭＣは、通常のＭＣプロセスの後にブロックに適用される。計算複雑性を低減するために、ＢＩＯは、ＯＢＭＣプロセス中に適用されない。これは、ＢＩＯが、ブロックに対して、それ自体のＭＶを使用しているときにのみＭＣプロセスで使用され、隣接ブロックのＭＶがＯＢＭＣプロセス中に使用される場合にはＭＣプロセスで適用されないことを意味する。

ＢＩＯにおいて時間勾配を計算する前に、参照ブロック（又は予測ブロック）は最初に変更されてよく、時間勾配の計算は、その変更された参照ブロックに基づく、ことが提案される。一例において、全ての参照ブロックについて平均が削除される。一例において、平均は、参照ブロック内の選択されたサンプルの平均として定義される。一例において、参照ブロックＸ又は参照ブロックＸのサブブロック内の全てのピクセルが、ＭｅａｎＸを計算するために使用される。一例において、参照ブロックＸ又は参照ブロックＸのサブブロック内の一部のピクセルのみが、ＭｅａｎＸを計算するために使用される。例えば、２行／列ごとのピクセルのみが使用される。

［２．２．１５ デコーダ側動きベクトル精緻化］
双予測動作では、１つのブロックの領域の予測のために、リスト０の動きベクトル（ＭＶ）及びリスト１のＭＶを用いて夫々形成された２つの予測ブロックが、単一の予測信号を形成するよう結合される。デコーダ側動きベクトル精緻化（ＤＭＶＲ）法では、双予測の２つの動きベクトルは、バイラテラルテンプレートマッチングプロセスによって更に精緻化される。バイラテラルテンプレートマッチングは、精緻化されたＭＶを追加の動き情報の伝送なしで取得するために、バイラテラルテンプレートと参照ピクチャ内の再構成サンプルとの間でひずみベースの探索を実行するようデコーダで適用される。

ＤＭＶＲでは、バイラテラルテンプレートは、図２６に示されるように、夫々リスト０の初期ＭＶ０及びリスト１のＭＶ１からの２つの予測ブロックの加重結合（すなわち、平均）として生成される。テンプレートマッチング動作は、生成されたテンプレートと参照ピクチャ内の（初期予測ブロックの周りの）サンプル領域との間のコスト指標を計算することから成る。２つの参照ピクチャの夫々について、最小テンプレートコストもたらすＭＶは、元のＭＶを置換するためのそのリストの更新されたＭＶと見なされる。ＪＥＭでは、９つのＭＶ候補がリストごとに探索される。９つのＭＶは、元のＭＶと、水平若しくは垂直のどちらか一方の方向又はその両方において元もＭＶに対して１ルーマサンプルだけオフセットされた８つの周囲ＭＶとを含む。最終的に、２つの新しいＭＶ、すなわち、図２６に示されるＭＶ０’及びＭＶ１’が、最終的な双予測結果を生成するために使用される。絶対差分和（ＳＡＤ）がコスト指標として使用される。１つの周囲ＭＶによって生成された予測ブロックのコストを計算する場合に、（整数ペルに）丸められたＭＶが、実際には、実際のＭＶの代わりに予測ブロックを取得するために使用される点に留意されたい。

ＤＭＶＲは、追加のシンタックス要素の伝送なしで、過去の参照ピクチャからの１つのＭＶと、未来の参照ピクチャからのもう１つのＭＶとによる双予測のマージモードのために適用される。ＪＥＭでは、ＬＩＣ、アフィン運動、ＦＲＵＣ、又はサブＣＵマージ候補がＣＵに使用可能である場合に、ＤＭＶＲは適用されない。

図２６は、バイラテラルテンプレートマッチングに基づくＤＭＶＲの例を示す。

［２．３ 関連する方法］
ビデオコーディングにおける動き精緻化及びコーディングのために、ＭＶ更新方法及び２段階インター予測方法が提案されている。ＢＩＯにおける参照ブロック０と参照ブロック１との間の導出されたＭＶは、スケーリングされ、リスト０及びリスト１の元の動きベクトルに加えられる。一方で、更新されたＭＶは、動き補償を実行するために使用され、第２のインター予測は、最終的な予測として生成される。

一方で、時間勾配は、参照ブロック０と参照ブロック１との間の平均差を除くことによって変更される。

ビデオコーディングにおけるサブブロックベースの予測のための方法では、異なるいくつかのサブブロックについて、ただひと組のＭＶがクロマ成分について生成される。

［３．他の技術との関係］
サブブロックベースの予測方法が提案される。第１に、我々は、色成分及びカラーフォーマット（例えば、４：２：０又は４：２：２）に応じて異なる方法で現在のブロックをサブブロックに分けることを提案する。第２に、我々は、１つの色成分のサブブロックのＭＶが、既に導出されている他の色成分の１つ以上のサブブロックのＭＶから導出され得ることを提案する。第３に、我々は、マージアフィンモード及び非マージアフィンモードのための制約を統一することを提案する。

例えば、８×８ＣＵが４つの４×４サブブロックに分けられ、サブブロックの夫々がそれ自体の動きベクトルを有している場合に、４つの動きベクトルの平均が計算され、（２によってスケーリングされた）それが、ＹＣｂＣｒ４：２：０の場合におけるクロマ成分の動きベクトルとして使用される。このようにして、Ｃｂ／Ｃｒ成分の動き補償は、４つの２×２ブロックの代わりに４×４ブロックについて実行され、メモリバンド幅は節約され得る。

織り込み予測（interweaved prediction）は、サブブロック動き補償のために提案される。織り込み予測によれば、ブロックは、１つよりも多い分割パターンによりサブブロックに分けられる。分割パターンは、サブブロックのサイズ及びサブブロックの位置を含め、ブロックをサブブロックに分割するための方法として定義される。各分割パターンについて、対応する予測ブロックは、その分割パターンに基づいて各サブブロックの動き情報を導出することによって生成され得る。従って、１つの予測方向についてさえ、複数の予測ブロックが複数の分割パターンによって生成される可能性がある。代替的に、各予測方向について、１つの分割パターンしか適用されなくてもよい。

Ｘ個の分割パターンが存在し、Ｐ_０、Ｐ_１、・・・，Ｐ_Ｘ－１と表される現在のブロックのＸ個の予測ブロックが、Ｘ個の分割パターンを用いてサブブロックベースの予測によって生成される、とする。Ｐと表される現在のブロックの最終的な予測は：

として生成され得る。

ここで、（ｘ，ｙ）は、ブロック内のピクセルの座標であり、ｗ_ｉ（ｘ，ｙ）は、Ｐ_ｉの重み値である。一般性を失わずに、Σ_ｉ＝０ ^Ｘ－１ｗ_ｉ（ｘ，ｙ）＝（１＜＜Ｎ）であると仮定される。このとき、Ｎは非負値である。図２７は、２つの分割パターンによる織り込み予測の例を示す。

［４．本技術を使用する実施形態によって解決される課題の例］
２段階インター予測方法が提案されているが、このような方法は、より高いコーディング利得が期待され得るように、より正確な動き情報を得るよう複数回実行され得る。

ＤＭＶＲには、２段階インター予測方法がない。

［５．箇条書きで示された例示的な実施形態］
上記の課題を解決するために、デコーダ側動き精緻化プロセスを実行する必要があるコーディングツール（例えば、ＤＭＶＲ）、及び／又は動き補償のために使用される最終的な動き情報とは異なる何らかの中間動き情報に依存するコーディングツール（例えば、ＢＩＯ）について、１度よりも多く動き情報（例えば、動きベクトル）を精緻化することが提案される。

また、デコーダ側で動き情報精緻化を適用しないコーディングツールについてさえ、ブロック／コーディングされたブロック内のサブブロックの動き情報が１度又は複数回精緻化されてよく、精緻化された動き情報が、その後にコーディングされるべきブロックの動きベクトル予測、及び／又はフィルタリングプロセスのために使用されてよいことも提案される。

以降、ＤＭＶＤが、ＤＭＶＲ若しくはＢＩＯ又は他のデコーダ側動きベクトル精緻化法若しくはピクセル精緻化法を表すために使用される。

絶対変換差分和（sum of absolute transformed differences）としてＳＡＴＤを表し、平均除去絶対変換差分和（mean removed sum of absolute transformed difference）としてＭＲＳＡＴＤを表し、平均除去残差平方和（mean removed sum of squares error）としてＭＲＳＳＥを表す。

以下の詳細な項目は、一般概念を説明するための例と見なされるべきである。これらの発明は、狭い方法で解釈されるべきではない。更に、これらの項目は、如何なる様態でも組み合わされ得るコーディング／デコーディング技術について記載している。

１．動きベクトル精緻化プロセスが複数回実行、例えば、Ｎが非負整数値であるとして、Ｎ回実行され得ることが提案される。通知されたＭＶは（ＭＶＬＸ０＿ｘ，ＭＶＬＸ０＿ｙ）であり、ｉ番目の精緻化されたＭＶは（ＭＶＬＸｉ＿ｘ，ＭＶＬＸｉ＿ｙ）であるとされ、ＬＸ＝Ｌ０又はＬ１かつｉ＝１，・・・，Ｎである。
ａ）一例において、（ｉ－１）番目の精緻化されたベクトル（すなわち、（ｉ－１）回目の繰り返しの後の動きベクトルであり、（ｉ－１）が０に等しい場合には、通知された動きベクトルが使用される）は、ＰＵ／ＣＵ／ブロック／サブブロックのｉ番目の動き補償された参照ブロックを生成するために使用されてよい。代替的に、更には、ｉ番目の動き補償された参照ブロックは、ｉ番目の時間勾配、空間勾配、及び精緻化された動きベクトルを導出するために更に使用されてよい。例は図２８に示される。
ｂ）提案されている方法によりコーディングされないインターコーディングされたブロックに使用されるものとは異なった補間フィルタが、メモリバンド幅を低減するよう、異なる動きベクトル精緻化段階での動き補償のために使用されてよい。例えば、ショートタップフィルタは、１回目から（Ｎ－１）回目の段階で使用される。
ｃ）ｉ回目の繰り返しからの中間の精緻化されたＭＶは、参照ブロックを生成するために使用される前に、最初に変更される。一例において、分数ＭＶは、整数ＭＶに丸められ、それから、いくつかの段階で、例えば、１回目から（Ｎ－１）回目の段階で参照ブロックを生成するために使用される。
ｄ）いくつかの又は全ての繰り返しで、１つのブロックは最初にいくつかのサブブロックに分けられ、各サブブロックは、サブブロックサイズに等しいサイズを有する通常のコーディングブロックと同じ方法で扱われる。
ｉ．一例において、ブロックは最初に複数のサブブロックに分けられ、各ブロックの動き情報は複数回精緻化されてよい。
ｉｉ．代替的に、ブロックは最初に複数のサブブロックに分けられ、それらのサブブロックの一部についてのみ、それらの動き情報が複数回精緻化されてよい。
ｉｉｉ．代替的に、ブロックは最初に複数のサブブロックに分けられ、異なるサブブロックの動き情報は異なる回数の繰り返しにより精緻化されてよい（例えば、あるブロックについては、精緻化は適用されず、あるブロックについては、動き情報が複数回精緻化されてよい。）。
ｉｖ．代替的に、ブロック全体の動き情報は、Ｎ－１回精緻化され、その後に、（Ｎ－１）番目の精緻化された動き情報に基づいて、ブロックは複数のサブブロックに分けられ、各サブブロックの動き情報について、その動き情報は更に精緻化されてよい。
ｅ）異なる段階では、精緻化されたＭＶは、異なるサブブロックサイズで導出されてよい。
ｆ）一例において、Ｎ回の段階での精緻化された動きベクトルは、動き補償を実行するために使用され、それから、前のセクション２．２．１４で説明された方法が、ＣＵ／サブブロックの最終的な予測を生成するために使用される。
ｇ）一例において、予測は、各段階（又はいくつかの段階）でブロック／サブブロックに対して生成され、それらは、そのブロック／サブブロックの最終的な予測を生成するよう加重平均される。
ｈ）一例において、各段階で導出されたＭＶは、更に制約されてよい。
ｉ．例えば、全ての１＜＝ｉ＜＝Ｎについて、｜ＭＶＬＸｉ＿ｘ－ＭＶＬＸ０＿ｘ｜＜＝Ｔｘかつ｜ＭＶＬＸｉ＿ｙ－ＭＶＬＸ０＿ｙ｜＜＝Ｔｙ。
ｉｉ．例えば、全ての１＜＝ｉ、ｊ＜＝Ｎについて、Ｍａｘ｛ＭＶＬＸｉ＿ｘ－ＭＶＬＸｊ＿ｘ｝＜＝ＴｘかつＭａｘ｛ＭＶＬＸｉ＿ｙ－ＭＶＬＸｊ＿ｙ｝＜＝Ｔｙ。
ｉｉｉ．閾値Ｔｘ及びＴｙは等しくても等しくなくてもよい。それらは、予め定義された数であるか、あるいは、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵにおいてエンコーダからデコーダへ通知され得る。
ｉ）動きベクトル精緻化プロセスは、Ｋ回目の段階後の精緻化されたＭＶ及びＫ回目の段階での入力されたＭＶが類似している場合に、ブロック／サブブロックについてのＫ回目の段階後に終了されてよい。
ｉ．例えば、Ｔ＝１／４、１／３、１／２、１、２、３、４、・・・などであるとして、（いずれかの予測方向における）精緻化されたＭＶ及び入力されたＭＶの垂直及び／又は水平成分の間の絶対差がＴ４分の１ペル距離よりも大きくない場合に、動きベクトル精緻化プロセスは終了される。
ｉｉ．例えば、（いずれかの予測方向における）精緻化されたＭＶ及び入力されたＭＶの垂直及び水平成分の間の絶対差分和がＴ４分の１ペル距離よりも大きくない場合に、動きベクトル精緻化プロセスは終了される。
ｊ）繰り返し数Ｎは適応的であってよい。
ｉ．例えば、Ｎは、現在のブロックのサイズに依存する。
１．例えば、Ｎは、より大きいブロックについては、より大きく、その逆も同様である。
ｉｉ．例えば、Ｎは、現在のブロックのコーディングモードに依存する。
ｉｉｉ．例えば、Ｎは、現在のブロックのＭＶＤ（Motion Vector Difference）に依存する。
１．例えば、Nは、｜ＭＶＤ｜がより大きい場合に、より大きい。
ｉｖ．例えば、ＮはＱＰに依存する。
１．例えば、Ｎは、ＱＰがより大きい場合に、より大きい。
ｖ．Ｎは、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴ／ＣＵでエンコーダからデコーダへ通知されてよい。

２．上記の１．における精緻化された動きベクトルによれば、２段階インター予測プロセスは、多段階インター予測に拡張されてよく、Ｎ回の繰り返し後の最終的に精緻化された動きベクトルは、最終的な動き補償を実行し、ブロック／サブブロックの最終的な予測を生成するために使用される。
ａ）代替的に、予測は、各段階（又はいくつかの段階）でブロック／サブブロックに対して生成され、そのブロック／サブブロックの最終的な予測は、それらの予測によって生成されてよい。一例において、それらは、ブロック／サブブロックの最終的な予測を生成するよう加重平均される。

３．時間勾配変更プロセスは、各Ｍ１×Ｎ１サブブロックについて実行され得るが、ＢＩＯプロセスは、各Ｍ２×Ｎ２サブブロックについて実行されてよいことが提案される。
ａ）一例において、精緻化された動きベクトルは、各４×４ブロックについて導出され、一方、時間勾配変更プロセスは、各８×８ブロックについて実行される。すなわち、Ｍ１＝Ｎ１＝８、Ｍ２＝Ｎ２＝４である。
ｂ）一例において、精緻化された動きベクトルは、各８×８ブロックについて導出され、一方、時間勾配変更プロセスは、各４×４ブロックについて実行される。
ｃ）一例において、精緻化された動きベクトルは、各４×４ブロックについて導出され、一方、時間勾配変更プロセスは、各４×４ブロックについて実行される。
ｄ）一例において、精緻化された動きベクトルは、各８×８ブロックについて導出され、一方、時間勾配変更プロセスは、各８×８ブロックについて実行される。
ｅ）Ｍ１、Ｎ１、Ｍ２、Ｎ２は、予め定義されるか、あるいは、ブロックサイズ／コーディングされたモードに依存するか、あるいは、ＶＰＳ／ＳＰＳ／ＰＰＳ／ピクチャヘッダ／タイルグループ／などで通知されてよい。

４．ブロック／サブブロックの動きベクトル導出するために使用され得る時間／空間勾配を計算するためにそのブロック／サブブロックの部分ピクセルのみを使用することが提案される。
ａ）一例において、時間及び空間勾配は、Ｎ行又は／及び列ごとに計算される。例えば、Ｎ＝２である。
ｂ）一例において、時間及び空間勾配は、ＣＵ／サブブロックの左上／右上／左下／右下４分の１について計算される。
ｃ）一例において、時間及び空間勾配は、ＣＵ／サブブロックの左上／右上／左下／右下４分の１のＮ行又は／及び列ごとに計算される。
ｄ）このような方法は、２段階インター予測及び上記の２．における多段階インター予測のために有効にされてよく、時間／空間勾配は、ブロック／サブブロックの精緻化された動きベクトルを導出するためにのみ使用されればよく、ブロック／サブブロックの予測を精緻化するために直接には使用されない。

５．ＤＭＶＲにおける動きベクトル精緻化プロセスは複数回実行されてよいことが提案される。
ａ）一例において、（ｉ－１）番目の精緻化された動きベクトル（すなわち、（ｉ－１）回目の繰り返し後の動きベクトルであり、（ｉ－１）が０に等しい場合には、通知された動きベクトルが使用される）は、ｉ回目の動きベクトル精緻化プロセスにおける開始探索点として使用され得る。ｉ＝１，・・・，Ｎであり、Ｎは非負整数である。
ｂ）提案されている方法によりコーディングされないインターコーディングされたブロックに使用されるものとは異なった補間フィルタは、メモリバンド幅を低減するために、異なる動きベクトル精緻化段階で使用されてよい。例えば、ショートタップフィルタが１回目から（Ｎ－１）回目の段階で使用される。
ｃ）一例において、分数ＭＶは、整数ＭＶに丸められ、それから、いくつかの段階で、例えば、１回目から（Ｎ－１）回目の段階で、開始探索点として使用される。

６．ＢＩＯ若しくはＤＭＶＲ又は他のデコーダ側動き精緻化技術で導出された精緻化された動きベクトルは、いくつかの成分の最終的な動き補償のためにのみ使用され得る。
ａ）一例において、精緻化された動きベクトルは、Ｃｂ又は／及びＣｒ成分の最終的な動き補償のためにのみ使用される。
ｂ）一例において、精緻化された動きベクトルは、ルーマ成分の最終的な動き補償のためにのみ使用される。
ｃ）一例において、ＢＩＯでは、精緻化された動きベクトルは、動き補償を実行し、クロマ成分の最終的な予測を生成するために使用され、セクション２．２．１４で説明された方法は、ルーマ成分の最終的な予測を生成するために使用される。
ｉ．例えば、動きベクトルは１度だけ精緻化され、クロマ成分の動き補償のために使用され、セクション２．２．１４で説明された方法は、ルーマ成分の最終的な予測を生成するために使用される。
ｄ）一例において、ＢＩＯでは、セクション２．２．１４で説明された方法は、ルーマ及びクロマの両成分の最終的な予測を生成するために使用される。
ｅ）一例において、ＢＩＯ及びＤＭＶＲでは、精緻化された動きベクトルは、動き補償を実行し、ルーマ及びクロマの両成分の最終的な予測を生成するために使用される。

７．ビデオコーディングにおけるサブブロックベースの予測のための方法は、メモリバンド幅を低減するようクロマ成分の動き補償のために使用され得る。例えば、４つの隣接する４×４ブロックはまとめられ、ただひと組の重みベクトルが（ＹＣｂＣｒ４：２：０の場合に）クロマ成分に対して導出され、４×４クロマブロックの動き補償を実行するために使用される。

８．ＢＩＯ又は／及びＤＭＶＲ、あるいは、他のデコーダ側動き精緻化技術がサブブロックレベルで実行されてよいことが提案される。
ａ）代替的に、更には、ビデオコーディングにおける織り込み予測が、異なる分割パターンについて異なる動きベクトルを導出するために使用可能であり、最終的な予測は、全ての分割パターンの予測値に基づいて生成される。

９．提案されている方法は、特定条件の下で、例えば、ブロックサイズ、エンコーディングされたモード情報、動き情報、スライス／ピクチャ／タイルタイプ、などに基づいて、適用されてよい。
ａ）一例において、ブロックサイズが、Ｍ×Ｈ個のサンプル、例えば、１６又は３２又は６４個のルーマサンプルよりも小さい場合に、上記の方法は許可されない。
ｂ）一例において、ブロックサイズが、Ｍ×Ｈ個のサンプル、例えば、１６又は３２又は６４個のルーマサンプルよりも大きい場合に、上記の方法は許可されない。
ｃ）代替的に、ブロック幅又は／及び高さの最小サイズがＸ以下である場合に、上記の方法は許可されない。一例において、Ｘは８にセットされる。
ｄ）代替的に、ブロック幅＞ｔｈ１若しくは＞＝ｔｈ及び／又はブロックの高さ＞ｔｈ２若しくは＞＝ｔｈ２である場合に、上記の方法は許可されない。一例において、ｔｈ１及び／又はｔｈ２は６４にセットされる。
ｉ．例えば、上記の方法は、Ｍ×Ｍ（例えば、１２８×１２８）ブロックに対しては無効にされる。
ｉｉ．例えば、上記の方法は、Ｎ×Ｍ／Ｍ×Ｎブロックに対しては無効にされる。例えば、Ｎ＞＝６４、Ｍ＝１２８である。
ｉｉｉ．例えば、上記の方法は、Ｎ×Ｍ／Ｍ×Ｎブロックに対して無効にされる。例えば、Ｎ＞＝４、Ｍ＝１２８である。
ｅ）代替的に、ブロックの幅＜ｔｈ１若しくは＜＝ｔｈ１及び／又はブロックの高さ＜ｔｈ２若しくは＜＝ｔｈ２である場合に、上記の方法は許可されない。一例において、ｔｈ１及び／又はｔｈ２は８にセットされる。
ｆ）一例において、ＢＩＯでは、上記の方法は、ＡＭＶＰモードでコーディングされたブロックに対して無効にされる。
ｇ）一例において、ＢＩＯ又はＤＭＶＲでは、上記の方法は、スキップモードでコーディングされたブロックに対して無効にされる。

１０．サブブロックベースの方法（例えば、アフィン、ＡＴＭＶＰ、ＢＩＯ、ＤＭＶＲ、など）については、サブブロックの最大数は、全種類のＣＵ／ＰＵサイズに対して固定されてよい。ＫｘＬ個のサブブロックが存在し、１つのブロックサイズがＭ×Ｎによって表されるとする。
ａ）一例において、サブブロックの幅はｍａｘ（ＴＨ_ｗ，Ｍ／Ｋ）にセットされる。
ｂ）一例において、サブブロックの高さはｍａｘ（ＴＨ_ｈ、Ｎ／Ｌ）にセットされる。
ｃ）ＴＨ_ｗ及び／又はＴＨ_ｈは予め定義される（例えば、４）か、あるいは、ＳＰＳ／ＰＰＳ／ピクチャ／スライス／タイルグループ／タイルレベル／ＣＴＵのグループ／ＣＴＵ行／ＣＴＵ／ＣＵ／ＰＵで通知されてよい。
ｄ）ＴＨ_ｗ及び／又はＴＨ_ｈは、現在のブロックは双予測又は片予測であるかどうかに依存してよい。一例において、ＴＨ_ｗ及び／又はＴＨ_ｈは、片予測について４に、又は双予測については８にセットされてよい。

１１．サブブロックベースの方法（例えば、アフィン、ＡＴＭＶＰ、ＢＩＯ、ＤＭＶＲ、など）については、ブロックをサブブロックに分割すべきかどうか及びどのように分割すべきかは、異なる色成分ごとに異なってよい。
ａ）一例において、クロマブロックを分割すべきかどうか及びどのように分割すべきかは、その対応するルーマブロックを分割すべきかどうか及びどのように分割すべきかとは無関係に、クロマ成分の幅及び高さに依存する。
ｂ）一例において、クロマブロックを分割すべきかどうか及びどのように分割すべきかは、その対応するルーマブロックを分割すべきかどうか及びどのように分割すべきかとは無関係に、クロマ成分の幅及び高さに依存する。
ｃ）一例において、クロマブロックを分割すべきかどうか及びどのように分割すべきかは、その対応するルーマブロックを分割すべきかどうか及びどのように分割すべきかに依存する。

１２．提案されている方法と、ＢＩＯ，ＤＭＶＲ又は他のデコーダ側動き精緻化技術、あるいは、サブブロックベースの方法（例えば、アフィン、ＡＴＭＶＰなど）とを含む上記の方法は、サブブロックレベルで適用されてよい。
ａ）一例において、上記の１．及び２．におけるＢＩＯ及びＤＭＶＲのための反復的動きベクトル精緻化は、各サブブロックについて呼び出されてよい。
ｂ）一例において、幅若しくは高さの一方又は幅及び高さの両方が閾値Ｌよりも大きい（又はそれに等しい）ブロックの場合に、そのブロックは複数のサブブロックに分けられてよい。各サブブロックは、サブブロックサイズに等しいサイズを有している通常のコーディングブロックと同じように扱われる。
ｉ．一例において、Ｌは６４であり、６４×１２８／１２８×６４ブロックは２つの６４×６４サブブロックに分けられ、１２８×１２８ブロックは４つの６４×６４サブブロックに分けられる。しかし、Ｎ×１２８／１２８×Ｎブロック（Ｎ＜６４）サブブロックに分けられない。
ｉｉ．一例において、Ｌは６４であり、６４×１２８／１２８×６４ブロックは２つの６４×６４サブブロックに分けられ、１２８×１２８ブロックは４つの６４×６４サブブロックに分けられる。一方で、Ｎ×１２８／１２８×Ｎブロック（Ｎ＜６４）は、２つのＮ×６４／６４×Ｎサブブロックに分けられる。
ｉｉｉ．一例において、幅（又は高さ）がＬよりも大きい場合に、それは垂直方向（又は水平方向）で分割され、サブブロックの幅又は／及び高さはＬよりも大きくない。
ｉｖ．一例において、Ｌは、垂直方向及び水平方向について異なってよい。例えば、ブロックの幅がＬＷよりも大きい場合に、ブロックは垂直方向に分割されてよく、ブロックの高さがＬＨよりも大きい場合に、ブロックは水平方向に分割されてよい。
ｖ．一例において、ＬＷはＶＰＤＵ（Virtual Pipeline Data Unit）の幅であってよく、ＬＨはＶＰＤＵの高さであってよい。
ｃ）一例において、ブロックサイズ（すなわち、幅×高さ）が閾値Ｌ１よりも大きい場合に、それは複数のサブブロックに分けられてよい。各サブブロックは、サブブロックサイズに等しいサイズを有している通常のコーディングブロックと同じように扱われる。
ｉ．一例において、ブロックは、Ｌ１よりも大きくない同じサイズでサブブロックに分割される。
ｉｉ．一例において、ブロックの幅（又は高さ）が閾値Ｌ２よりも大きくない場合に、それは垂直方向（又は水平方向）で分割されない。
ｉｉｉ．一例において、Ｌ１はＶＰＤＵのサイズである。
ｉｖ．一例において、Ｌ１は１０２４であり、Ｌ２は３２である。例えば、１６×１２８ブロックは２つの１６×６４サブブロックに分けられる。
ｖ．一例において、Ｌ２＝ｓｑｒｔ（Ｌ１）である。
ｖｉ．一例において、ブロックサイズ（Ｗ及びＨによって夫々表される幅及び高さ）がＬ１よりも大きくない場合に、サブブロックの幅（ｓｕｂＷによって表される）及び高さ（ｓｕｂＨによって表される）は、次のように導出される：

ｉｆ Ｗ＞＝Ｌ２かつＨ＞＝Ｌ２
ｓｕｂＷ＝Ｗ／Ｌ２、
ｓｕｂＨ＝Ｈ／Ｌ２、
ｅｌｓｅ ｉｆ Ｗ＞Ｌ２かつＨ＜Ｌ２
ｓｕｂＨ＝Ｈ、
ｓｕｂＷ＝Ｗ×Ｈ／Ｌ１、
ｅｌｓｅ ｉｆ Ｗ＜Ｌ２かつＨ２＞Ｌ２
ｓｕｂＷ＝Ｗ、
ｓｕｂＨ＝Ｗ×Ｈ／Ｌ１

ｄ）一例において、１つのブロックの２段階の分割が適用されてよく、異なった規則が、どのように分割を行うべきかを決定するために適用されてよい。
ｉ．一例において、ブロックは、上記の１２．ｂ）の方法を用いて最初にサブブロックに分割されてよく、これらのサブブロックは、上記の１２．ｃ）の方法を用いて更に分割されてよい。
ｉｉ．一例において、ブロックは、上記の１２．ｃ）の方法を用いて最初にサブブロックに分割されてよく、これらのサブブロックは、上記の１２．ｂ）の方法を用いて更に分割されてよい。
ｅ）閾値Ｌは予め定義されるか、あるいは、ＳＰＳ／ＰＰＳ／ピクチャ／スライス／タイルグループ／タイルレベルで通知されてよい。
ｆ）代替的に、閾値は、ブロックサイズ、ピクチャタイプ、時間レイヤインデックスなどのような、特定のコーディングされた情報に依存してよい。
ｇ）一例において、デブロッキングが、それらのサブブロックの境界で実行されてよい。

１３．ＤＭＶＤは、多重仮説イントラ及びインター予測において無効にされてよいことが提案される。
ａ）代替的に、ＤＭＶＤは、多重仮説イントラ及びインター予測において有効にされてよい。

１４．ＤＭＶＤはＭＭＶＤ（Merge mode with MVD）又はＵＭＶＥモードにおいて無効にされてよいことが提案される。
ａ）代替的に、ＤＭＶＤは、ＭＭＶＤ又はＵＭＶＥモードにおいて有効にされてよい。

１５．ＤＭＶＤは、三角予測において無効にされてよいことが提案される。
ａ）代替的に、ＤＭＶＲは、三角予測において有効にされてよい。

１６．一例において、ＤＭＶＲ又は／及びＢＩＯ及び／又は他のデコーダ側動き精緻化技術などの動き精緻化方法を適用すべきかどうか及びどのように適用すべきかは、参照ピクチャに依存する。
ａ）一例において、動き精緻化方法は、参照ピクチャが現在のコーディングピクチャである場合に適用されない。
ｂ）一例において、前の項で請求された多数回の精緻化方法は、参照ピクチャが現在のコーディングピクチャである場合に適用されない。
ｃ）ＤＭＶＲ又は／及びＢＩＯ及び／又は他のデコーダ側動き精緻化技術などの動き精緻化方法を適用すべきかどうか及びどのように適用すべきかは、サブブロックをカバーするブロックに対する、及び／又はコーディングツリーユニット（ＣＴＵ）に対する、及び／又はタイル／ピクチャの左上位置に対するサブブロックの位置に依存する。

１７．差分計算に依存するＢＩＯ又は／及びＤＭＶＲ、あるいは、他のコーディングツールの早期終了（early termination）段階では、２つの参照ブロック又は／及びサブブロックの間の差は、一部の代表的な位置についてのみ計算され得ることが提案される。
ａ）一例において、偶数行の差のみがブロック又は／及びサブブロックに対して計算される。
ｂ）一例において、１つのブロック／サブブロックの４つのコーナーサンプルの差のみがブロック又は／及びサブブロックに対して計算される。
ｃ）一例において、ビデオコーディングにおけるデコーダ側動きベクトル導出の改善の方法は、代表的な位置を選択するために使用されてよい。
ｄ）一例において、２つの参照ブロック間の差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ／ＭＲＳＡＤ／ＭＲＳＡＴＤ／ＭＲＳＳＥなど）は、いくつかの代表的なサブブロックに対してのみ計算されてよい。
ｅ）一例において、代表的な位置又はサブブロックに対して計算された差（例えば、ＳＡＤ／ＳＡＴＤ／ＳＳＥ／ＭＲＳＡＤ／ＭＲＳＡＴＤ／ＭＲＳＳＥなど）は、ブロック／サブブロック全体についての差を求めるために合算される。

１８．一例において、２つの参照ブロック間の差は、（参照サブブロック間の差の和として計算されるのではなく）直接に計算され、差分計算に依存するＢＩＯ又は／及びＤＭＶＲ、あるいは、他のコーディングツールが、ブロック全体に対して有効又は無効にされるかどうかを決定するために使用される。
ａ）一例において、上記の１４．に記載される方法が、２つの参照ブロック間の差を計算するために使用されてよい。

１９．実施形態
このセクションは、サブブロックレベルＤＭＶＤでどのようにブロックをサブブロックに分けるかについての実施形態を示す。
実施形態＃１
ａ）ステップ１：ブロックがサイズ１２８×１２８である場合に、それは４つの６４×６４サブブロックに分けられる。ブロックがサイズＮ×１２８又は１２８×Ｎ（Ｎ＜１２８）である場合に、それは２つのＮ×６４又は６４×Ｎサブブロックに分けられる。他のブロックについては、それらは分割されない。
ｂ）ステップ２：サイズが１２８×１２８又はＮ×１２８若しくは１２８×Ｎ（Ｎ＜１２８）でないブロックについては、及びステップ１で生成されたサブブロックについては、そのサイズ（すなわち、幅×高さ）が２５６よりも大きい場合に、それは更に、上記の１２．ｃ）で記載された方法（Ｌ＝２５６及びＬ２＝１６）を用いてサイズ２５６のサブブロックに分けられる。
実施形態＃２
ａ）ステップ１：ブロックがサイズ１２８×１２８である場合に、それは４つの６４×６４サブブロックに分けられる。ブロックがサイズＮ×１２８又は１２８×Ｎである場合に、それは２つのＮ×６４又は６４×Ｎサブブロック（Ｎ＜１２８）に分けられる。他のブロックについては、それらは分割されない。
ｂ）ステップ２：サイズが１２８×１２８又はＮ×１２８若しくは１２８×Ｎ（Ｎ＜１２８）でないブロックについては、及びステップ１で生成されたサブブロックについては、そのサイズ（すなわち、幅×高さ）が１０２４よりも大きい場合に、それは更に、上記の１２．ｃ）で記載された方法（Ｌ１＝１０２４及びＬ＝３２）を用いてサイズ１０２４のサブブロックに分けられる。
実施形態＃３
ａ）ステップ１：ブロックがサイズ１２８×１２８である場合に、それは４つの６４×６４サブブロックに分けられる。ブロックがサイズＮ×１２８又は１２８×Ｎである場合に、それは２つのＮ×６４又は６４×Ｎサブブロック（Ｎ＜１２８）に分けられる。他のブロックについては、それらは分割されない。
実施形態＃４
ａ）ステップ１：ブロックがサイズ２５６×２５６である場合に、それは４つの１２８×１２８サブブロックに分けられる。ブロックがサイズＮ×２５６又は２５６×Ｎである場合に、それは２つのＮ×１２８又は１２８×Ｎサブブロック（Ｎ＜２５６）に分けられる。他のブロックについては、それらは分割されない。
ｂ）ステップ２：サイズが２５６×２５６又はＮ×２５６若しくは２５６×Ｎ（Ｎ＜２５６）でないブロックについては、及びステップ１で生成されたサブブロックについては、そのサイズ（すなわち、幅×高さ）が１０２４よりも大きい場合に、それは更に、上記の１２．ｃ）で記載された方法（Ｌ１＝１０２４及びＬ＝３２）を用いてサイズ１０２４のサブブロックに分けられる。
実施形態＃５
ａ）ステップ１：ブロックの幅又は高さが６４よりも大きい場合に、それは、上記の１２．ｂ）で記載された方法（ＬＷ＝ＬＨ＝６４）を用いてサブブロックに分けられる。
ｂ）ステップ２：幅及び高さがもはや６４よりも大きくないブロックについては、及びステップ１で生成されたサブブロックについては、そのサイズ（すなわち、幅×高さ）が１０２４よりも大きい場合に、それは更に、上記の１２．ｃ）で記載された方法（Ｌ１＝１０２４及びＬ２＝３２）を用いてサイズ１０２４のサブブロックに分けられる。

図２９は、目下開示されている技術の様々な部分を実装するために利用され得るコンピュータシステム又は他の制御デバイス２６００のためのアーキテクチャの例を表すブロック図である。図２９において、コンピュータシステム２６００は、インターコネクト２６２５を介して接続された１つ以上のプロセッサ２６０５及びメモリ２６１０を含む。インターコネクト２６２５は、適切なブリッジ、アダプタ、又はコントローラによって接続されたあらゆる１つ以上の別個の物理バス、ポイント・ツー・ポイント接続、又はその両方を表してよい。インターコネクト２６２５は、従って、例えば、システムバス、ペリフェラル・コンポーネント・インターコネクト（Peripheral Component Interconnect，ＰＣＩ）バス、ハイパー・トランスポート若しくは産業標準アーキテクチャ（Industry Standard Architecture，ＩＳＡ）バス、スモール・コンピュータ・システム・インターフェース（Small Computer System Interface，ＳＣＳＩ）バス、ユニバーサル・シリアル・バス（Universal Serial Bus，ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、又はときどき「ファイアワイヤ（Firewire）」と呼ばれるＩＥＥＥ（Institute of Electrical and Electronics Engineers）標準６７４バスを含んでよい。

プロセッサ２６０５は、例えば、ホストコンピュータの全体の動作を制御する中央演算処理装置（ＣＰＵ）を含んでよい。特定の実施形態では、プロセッサ２６０５は、メモリ２６１０に記憶されているソフトウェア又はファームウェアを実行することによってこれを達成する。プロセッサ２６０５は、１つ以上のプログラム可能な汎用又は専用のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラム可能なコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、など、あるいは、このようなデバイスの組み合わせであってよく、あるいは、これらを含んでもよい。

メモリ２６１０は、コンピュータシステムのメインメモリであることも、又はそれを含むこともできる。メモリ２６１０は、あらゆる適切な形式のランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、フラッシュメモリ、など、あるいは、このようなデバイスの組み合わせに相当する。使用中、メモリ２６１０は、とりわけ、機械命令の組を含んでよく、機械命令の組は、プロセッサ２６０５によって実行される場合に、プロセッサ２６０５に、目下開示されている技術の実施形態を実装するための動作を実行させる。

また、プロセッサ２６０５にはインターコネクト２６２５を通じて（任意の）ネットワークアダプタ２６１５も接続される。ネットワークアダプタ２６１５は、コンピュータシステム２６００に、記憶クライアントなどのリモートデバイス、及び／又は他の記憶サーバと通信する能力をもたらし、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）アダプタ又はファイバチャネルアダプタであってよい。

図３０は、目下開示されている技術の様々な部分を実装するために利用され得るデバイス２７００の例示的な実施形態のブロック図を示す。モバイルデバイス２７００は、ビデオを処理することができるラップトップ、スマートフォン、タブレット、カムコーダ、又は他のタイプのデバイスであることができる。モバイルデバイス２７００は、データを処理するプロセッサ又はコントローラ２７０１と、データを記憶及び／又はバッファリングするようプロセッサ２７０１と通信するメモリ２７０２とを含む。例えば、プロセッサ２７０１は、中央演算処理装置（ＣＰＵ）又はマイクロコントローラユニット（ＭＣＵ）を含むことができる。いくつかの実施では、プロセッサ２７０１は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）を含むことができる。いくつかの実施では、モバイルデバイス２７００は、スマートフォンデバイスの様々な視覚及び／又は通信データ処理機能のためにグラフィクス処理ユニット（ＧＰＵ）、ビデオ処理ユニット（ＶＰＵ）、及び／又は無線通信ユニットを含むか、あるいは、そのようなものと通信する。例えば、メモリ２７０２は、プロセッサ実行可能コードを含み記憶することができる。プロセッサ実行可能コードは、プロセッサ２７０１によって実行される場合に、モバイルデバイス２７００を、例えば、情報、コマンド、及び／又はデータの受信、情報及びデータの処理、並びにアクチュエータ又は外部ディスプレイなどの他のデバイスへの処理された情報／データの供給などの様々な動作を実行するように構成する。モバイルデバイス２７００の様々な機能をサポートするために、メモリ２７０２は、命令、ソフトウェア、値、画像、及びプロセッサ２７０１によって処理若しくは参照される他のデータなどの情報及びデータを記憶することができる。例えば、様々なタイプのランダム・アクセス・メモリ（ＲＡＭ）デバイス、リード・オンリー・メモリ（ＲＯＭ）デバイス、フラッシュメモリデバイス、及び他の適切な記憶媒体が、メモリ２７０２の記憶機能を実装するために使用され得る。いくつかの実施では、モバイルデバイス２７００は、プロセッサ２７０１及び／又はメモリ２７０２を他のモジュール、ユニット又はデバイスへインターフェース接続するための入出力（Ｉ／Ｏ）ユニット２７０３を含む。例えば、Ｉ／Ｏユニット２７０３は、例えば、クラウド内の１つ以上のコンピュータとユーザデバイスとの間などの典型的なデータ通信標準規格と互換性がある様々なタイプの無線インターフェースを利用するためにプロセッサ２７０１及びメモリ２７０２をインターフェース接続することができる。いくつかの実施では、モバイルデバイス２７００は、Ｉ／Ｏユニット２７０３を介して有線接続を用いて他のデバイスとインターフェース接続することができる。モバイルデバイス２７００はまた、プロセッサによって処理されること、メモリに記憶されること、又は表示デバイス２７０４若しくは外部デバイスの出力ユニットで示されることができるデータ及び情報を読み出し且つ転送するよう、データストレージなどの他の外部インターフェース、及び／又は視覚若しくはオーディオ表示デバイス２７０４ともインターフェース接続することができる。例えば、表示デバイス２７０４は、開示されている技術に従ってＭＶＰに基づいて変更されたビデオフレームを表示することができる。

図３１は、ビデオ処理の方法３１００のフローチャートである。方法３１００は、多段階精緻化プロセスを用いて、現在のビデオブロックのビットストリーム表現からデコーディングされた動き情報に基づいて動きベクトル情報の複数の精緻化値を生成するステップ（３１０２）と、複数の精緻化値に基づいて現在のビデオブロックを再構成するか又は他のビデオブロックをデコーディングするステップ（３１０４）とを含む。

他のビデオ処理方法は、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、現在のブロックの第１サブブロックのための多段階精緻化プロセスと、現在のブロックの第２サブブロックのための時間勾配変更プロセスとを実行するステップであり、多段階精緻化プロセスを用いて、現在のビデオブロックのビットストリーム表現で通知された動きベクトル情報の複数の精緻化値が生成される、ステップと、複数の精緻化値のうちの選択された１つを用いて現在のブロックとビットストリーム表現との間の変換を実行するステップとを含む。

他のビデオ処理方法は、現在のブロックに対して多段階デコーダ側動きベクトル精緻化プロセスを用いて、最終的な動きベクトル決定するステップと、その最終的な動きベクトルを用いて現在のブロックとビットストリーム表現との間の変換を実行するステップとを含む。

他のビデオ処理方法は、現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換中に、現在のビデオブロックの異なるサブブロックに複数の異なる動きベクトル精緻化プロセスを適用するステップと、複数の異なる動きベクトル精緻化プロセスから生成された現在のビデオブロックの最終的な動きベクトルを用いて、現在のビデオブロックとビットストリーム表現との間の変換を実行するステップとを含む。

開示されている実施形態において、ビデオの現在のブロックのビットストリーム表現は、ビデオ圧縮技術で知られているように、非連続的であってよくかつヘッダ情報に依存し得るビットストリーム（ビデオの圧縮された表現）のビットを含んでよい。更に、現在のブロックは、ルーマ及びクロマ成分の１つ以上、又はその回転変形（例えば、ＹＣｒＣｂ若しくはＹＵＶなど）を表すサンプルを含んでよい。

下記の箇条書きは、以下の通りにいくつかの実施形態及び技術について記載する。

１．ビデオ処理の方法であって、多段階精緻化プロセスを用いて、現在のビデオブロックのビットストリーム表現からデコーディングされた動き情報に基づいて動きベクトル情報の複数の精緻化値を生成するステップと、前記複数の精緻化値に基づいて前記現在のビデオブロックを再構成するか又は他のビデオブロックをデコーディングするステップとを有する方法。例えば、精緻化動作は、平均化動作を含んでよい。更なる他の例では、精緻化プロセスの１つの段階の精緻化された値は、現在のビデオブロックを再構成するために使用される。更なる他の例では、精緻化プロセスの１つの段階の精緻化された値は、他のビデオブロックをデコーディングするために使用される。

２．箇条１の方法であって、前記現在のビデオブロックを前記ビットストリーム表現から生成する変換を含む方法。

３．箇条１の方法であって、前記ビットストリーム表現を前記現在のビデオブロックから生成する変換を含む方法。

４．箇条１乃至３のうちいずれかの方法であって、前記多段階精緻化プロセスは、ｉ＝１～Ｎであるとして、ｉ番目の段階の精緻化値を生成するために（ｉ－１）番目の段階の精緻化値を使用することを含み、Ｎは、前記多段階精緻化プロセスの間に実行される精緻化段階の総数であり、Ｎは１よりも大きい、方法。

５．箇条１乃至４のうちいずれかの方法であって、前記現在のビデオブロックと前記ビットストリーム表現との間の変換を実行するステップを更に有し、該変換を実行するステップは、前記多段階精緻化プロセスの段階で、当該段階のための前記動きベクトル情報の精緻化値を用いて前記現在のビデオブロックの動き補償された参照ブロックを生成することを含む、方法。

６．箇条５の方法であって、前記動き補償された参照ブロックを生成することは、前記多段階精緻化プロセスのいくつかの段階に対して異なるフィルタを使用する、方法。

７．箇条１乃至６のうちいずれかの方法であって、前記現在のビデオブロックと前記ビットストリーム表現との間の変換を実行するステップを更に有し、該変換を実行するステップは、各段階で、その段階のために生成された精緻化された動きベクトルを用いて参照ブロックを生成することを含む、方法。

８．箇条７の方法であって、前記参照ブロックは、前記精緻化された動きベクトルを最初に整数値に丸めることによって生成される、方法。

９．箇条１の方法であって、前記多段階精緻化プロセスの段階は、前記現在のビデオブロックを複数のサブブロックに分けることと、該複数のサブブロックの少なくとも一部について追加の多段階精緻化プロセスを実行することとを含む、方法。

１０．箇条９の方法であって、前記追加の多段階精緻化プロセスは、前記複数のサブブロックの全てについて実行される、方法。

１１．箇条９又は１０の方法であって、前記現在のビデオブロックを分割することは、前記現在のビデオブロックの特性に基づいて、前記多段階精緻化プロセスの複数の段階を実施した後に実行される、方法。

１２．箇条９乃至１１のうちいずれかの方法であって、前記現在のビデオブロックを分割することは、少なくとも２つの段階で、異なるサイズのサブブロックが前記追加の多段階精緻化プロセスに対して使用されるように、段階依存の様態で前記現在のビデオブロックを分割することを含む、方法。

１３．箇条１乃至１２のうちいずれかの方法であって、前記複数の精緻化値のうちの選択された１つは、前記複数の精緻化値の加重平均によって計算される、方法。

１４．箇条１の方法であって、前記多段階精緻化プロセスを終了する前に実行される段階の数は、成功した段階における精緻化値の変化が使用を超えることに基づいて決定される、方法。

１５．箇条１４の方法であって、前記指標は、ある段階の精緻化値の垂直又は水平成分と前記ビットストリーム表現で通知された動き情報との間の絶対差を含む、方法。

１６．箇条１４の方法であって、前記多段階精緻化プロセスを終了する前に実行される前記段階の数は、前記現在のビデオブロックの特性の関数である、方法。

１７．箇条１６の方法であって、前記現在のビデオブロックの前記特性は、前記現在のビデオブロックのサイズ又は前記現在のビデオブロックのコーディングモード又は前記現在のビデオブロックの動きベクトル差の値又は量子化パラメータを含む、方法。

１８．箇条１４の方法であって、前記多段階精緻化プロセスを終了する前に実行される前記段階の数は、ビデオレベル、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル、コーディングツリーユニットレベル又はコーディングユニットレベルにおいて前記ビットストリーム表現で通知される、方法。

１９．箇条１乃至１８のうちいずれかの方法であって、前記複数の精緻化値のうちの選択された１つは、前記多段階精緻化プロセスの最後の段階で計算された精緻化値である、方法。

２０．箇条１乃至１９のうちいずれかの方法であって、前記多段階精緻化プロセスの各段階中に、中間動きベクトルは、前の段階から生成され、該前の段階の後に、次の段階のために、精緻化された推定を計算するために使用される、方法。

２１．ビデオ処理の方法であって、
現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、前記現在のブロックのサブブロックのための多段階精緻化プロセスと、前記サブブロックの２つの予測ブロック間の時間勾配変更プロセスとを実行するステップであり、前記多段階精緻化プロセスを用いて、動きベクトル情報の複数の精緻化値が、前記現在のブロックの前記ビットストリーム表現からデコーディングされた動き情報に基づいて生成される、ステップと、
前記現在のブロックと前記ビットストリーム表現との間の前記変換を精緻化値に基づいて実行するステップと
を有する方法。

２２．箇条２１の方法であって、第２サブブロックはＭ１×Ｎ１個のピクセルを有し、第１サブブロックはＭ２×Ｍ２個のピクセルを有し、Ｍ１、Ｎ１、Ｍ２及びＮ２は整数である、方法。

２３．箇条２２の方法であって、Ｍ１＝Ｎ１＝８、Ｍ２＝Ｎ２＝４である、方法。

２４．箇条２１乃至２３のうちいずれかの方法であって、Ｍ１、Ｎ１、Ｍ２及びＮ２は、予め定義されるか、あるいは、前記現在のブロックのサイズ又はコーディングモードに依存するか、あるいは、ビデオレベル、シーケンスレベル、ピクチャレベル、スライスレベル、ピクチャヘッダレベル、又はタイルレベルにおいて通知される、方法。

２５．箇条１乃至２４のうちいずれかの方法であって、前記多段階精緻化プロセスの各段階は、前記現在のブロック又は該現在のブロックのサブブロックの部分ピクセルを使用する、方法。

２６．箇条２５の方法であって、前記多段階精緻化プロセスは、Ｎ番目ごとの行又は列からのピクセルを使用する、方法。

２７．ビデオ処理の方法であって、現在のビデオブロックに対して多段階デコーダ側動きベクトル精緻化プロセスを用いて、最終的な動きベクトルを決定するステップと、前記現在のビデオブロックと前記ビットストリーム表現との間の変換を前記最終的な動きベクトルを用いて実行するステップとを有する方法。

２８．箇条２７の方法であって、前記現在のビデオブロックに対する前記多段階デコーダ側動きベクトル精緻化プロセスは、箇条１に記載の多段階精緻化プロセスのｉ番目の段階での精緻化値に対して実行され、ｉは整数である、方法。

２９．箇条２７又は２８の方法であって、前記多段階精緻化プロセスに使用される補間フィルタは、他のブロックの変換に使用される補間フィルタとは異なる、方法。

３０．箇条１乃至２６のいずれかの方法であって、前記複数の精緻化値のうちの選択された１つは、ルーマ及びＣｒ、Ｃｂクロマ成分のサブセットの動き補償のために使用される、方法。

３１．箇条３０の方法であって、前記サブセットは、前記ルーマ成分に対応する、方法。

３２．箇条３０の方法であって、前記サブセットは、前記クロマ成分に対応する、方法。

３３．箇条３２の方法であって、前記クロマ成分の前記動き補償は、前記クロマ成分のサブサンプリングされたバージョンが動き補償のために使用される低バンド幅動き補償プロセスを有する、方法。

３４．ビデオ処理の方法であって、現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に、前記現在のビデオブロックの異なるサブブロックに対して複数の異なる動きベクトル精緻化プロセスを適用するステップと、前記複数の異なる動きベクトル精緻化プロセスから生成された前記現在のビデオブロックの最終的な動きベクトルを用いて、前記現在のビデオブロックと前記ビットストリーム表現との間の変換を実行するステップとを有する方法。

３５．箇条３４の方法であって、前記変換は、前記現在のビデオブロックを前記ビットストリーム表現から生成する、方法。

３６．箇条３４の方法であって、前記変換は、前記ビットストリーム表現を前記現在のビデオブロックから生成する、方法。

３７．箇条３４乃至３６のうちいずれかの方法であって、前記複数の異なる動きベクトル精緻化プロセスは、双方向オプティカルフロープロセス又は多段階精緻化プロセスを含む、方法。

３８．箇条３４乃至３７のうちいずれかの方法であって、前記複数の異なる動きベクトル精緻化プロセスは、前記サブブロックのサイズ若しくはコーディングモード又は前記現在のビデオブロック内での前記サブブロックの位置又は前記現在のブロックをコーディングするために使用された参照ピクチャのタイプに基づいて、前記サブブロックに選択的に適用される、方法。

３９．箇条３８の方法であって、前記参照ピクチャが前記現在のビデオブロックの現在のコーディングピクチャである場合に、前記複数の異なる動きベクトル精緻化プロセスを適用することを控えることを更に含む方法。

４０．箇条１乃至３９のうちいずれかの方法であって、前記現在のブロックは、予測ユニット又はコーディングユニット又はブロック又はサブブロックに対応する、方法。

４１．ビデオ処理の方法であって、
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換を、現在のビデオブロックがサブブロックベースのコーディングツールによりコーディングされる場合にコーディングユニット又は予測ユニットが使用するサブブロックの最大数を制限する規則を用いて実行するステップを有し、サブブロックベースのコーディングツールは、アフィンコーディング、ＡＴＭＶＰ（Advanced Temporal Motion Vector Predictor）、双方向オプティカルフロー又はデコーダ側動きベクトル精緻化コーディングツールの１つ以上を含む、方法。

４２．箇条４１の方法であって、前記規則は、前記サブブロックの幅又は高さを更に規定する、方法。

４３．箇条４２の方法であって、前記現在のビデオブロックは、Ｍ×Ｎ個のピクセルを含み、前記サブブロックは、サイズがＫ×Ｌピクセルであり、Ｋ、Ｌ、Ｍ及びＮは整数である、方法。

４４．箇条４３の方法であって、各サブブロックの幅は、最大ＴＨｗ及びＭ／Ｋであり、ＴＨｗは整数である、方法。

４５．箇条４３又は４４の方法であって、各サブブロックの幅は、最大ＴＨｈ及びＮ／Ｌであり、ＴＨｈは整数である、方法。

４６．ビデオ処理の方法であって、
現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を、前記現在のビデオブロックがサブブロックベースのコーディングツールによりコーディングされる場合に現在のビデオブロックのクロマ成分のために現在のビデオブロックのルーマ成分とは異なったパーティショニングを使用することを定める規則を用いて実行するステップを有し、サブブロックベースのコーディングツールは、アフィンコーディング、ＡＴＭＶＰ、双方向オプティカルフロー、又はデコーダ側動きベクトル精緻化コーディングツールの１つ以上を含む、方法。

４７．箇条４６の方法であって、前記規則は、前記現在のビデオブロック又は該現在のビデオブロックの前記クロマ成分のサイズ及び幅に基づいてクロマ成分のためのパーティショニングを定める、方法。

４８．箇条４１乃至４７のうちいずれかの方法であって、前記変換は、前記現在のビデオブロックのピクセル値を前記ビットストリーム表現から生成することを含む、方法。

４９．箇条４１乃至４７のうちいずれかの方法であって、前記ビットストリーム表現を前記現在のビデオブロックのピクセル値から生成することを含む、方法。

５０．箇条９の方法であって、前記現在のビデオブロックを複数のサブブロックに分けることは、前記現在のビデオブロックのサイズに基づいて前記複数のサブブロックのサイズを決定することを含む、方法。

５１．ビデオ処理の方法であって、双方向オプティカルフロー（BI-directional Optical flow，ＢＩＯ）技術又はデコーダ側動きベクトル精緻化（Decoder-side Motion Vector Refinement，ＤＭＶＲ）技術の早期終了段階で、現在のビデオブロックと関連付けられた参照ビデオブロック間の差を決定するステップを有する方法。その差に基づいた前記現在のビデオブロックの更なる処理が実行され得る。

５２．箇条５１の方法であって、前記差を決定するステップは、前記参照ビデオブロックの偶数行に基づく、方法。

５３．箇条５１の方法であって、前記差を決定するステップは、前記参照ビデオブロックのコーナーサンプルに基づく、方法。

５４．箇条５１の方法であって、前記差を決定するステップは、前記参照ビデオブロックのサブブロックに基づく、方法。

５５．箇条５１の方法であって、前記参照ビデオブロックは、第１参照ビデオブロック及び第２参照ビデオブロックを含み、前記差は、前記第１参照ビデオブロックと前記第２参照ビデオブロックとの間の差の合計に基づく、方法。

５６．箇条５１乃至５５の方法であって、前記差は、絶対差分和（ＳＡＤ）、絶対変換差分和（ＳＡＴＤ）、残差平方和（ＳＳＥ）、平均除去絶対差分和（ＭＲＳＡＤ）、平均除去絶対変換差分和（ＭＲＳＡＴＤ）、又は平均除去残差平方和（ＭＲＳＳＥ）の１つ以上を含む、方法。

５７．箇条１乃至５６のいずれか１つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。

５８．非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、箇条１乃至５６のうちいずれか１つに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。

図３２は、ビデオ処理の方法３２００についてのフローチャートである。方法３２００は、ビデオの現在のブロックと現在のブロックのビットストリーム表現との間の変換中に、現在のブロックと関連付けられた２つの参照ブロックの間の差、又は現在のブロック内のサブブロックと関連付けられた２つの参照サブブロックの間の差を、参照ブロックの代表位置又は参照サブブロックの代表位置に基づいて計算するステップ（３２０２）と、差に基づいて変換を実行するステップ（３２０４）とを含む。

いくつかの例において、差を計算するステップは、２つの参照ブロック及び／又は２つの参照サブブロックのインターレースされた位置の差を計算するステップを有する。

いくつかの例において、差を計算するステップは、２つの参照ブロック及び／又は２つの参照サブブロックの偶数行の差を計算するステップを有する。

いくつかの例において、差を計算するステップは、２つの参照ブロック及び／又は２つの参照サブブロックの４つのコーナーサンプルの差を計算するステップを有する。

いくつかの例において、差を計算するステップは、２つの参照ブロックの間の差を、参照ブロック内の代表サブブロックに基づいて計算するステップを有する。

いくつかの例において、代表位置は、所定のストラテジを使用することによって選択される。

いくつかの例において、差に基づいて変換を実行するステップは、サブブロックについて差を取得するよう、参照サブブロックの代表位置に対して計算された差を合計するステップを有する。

いくつかの例において、差に基づいて変換を実行するステップは、現在のブロックについて差を取得するよう、参照ブロックの代表位置に対して計算された差を合計するステップを有する。

いくつかの例において、差分計算に依存する予測精緻化処理又は動きベクトル精緻化処理の早期終了段階で差を計算する。

いくつかの例において、差に基づいて変換を実行するステップは、現在のブロックについて差を取得するよう、代表位置に対して計算された差を合計するステップと、現在のブロックの差に基づいて、差分計算に依存する予測精緻化処理又は動きベクトル精緻化処理が現在のブロックについて有効又は無効であるかどうかを決定するステップとを有する。

いくつかの例において、予測精緻化処理は、双方向オプティカルフロー（ＢＩＯ）技術を含み、且つ／あるいは、動きベクトル精緻化処理は、デコーダ側動きベクトル精緻化（ＤＭＶＲ）技術又はフレームレートアップコンバージョン（ＦＲＵＣ）技術を含む。

いくつかの例において、差は、絶対差分和（ＳＡＤ）、絶対変換差分和（ＳＡＴＤ）、残差平方和（ＳＳＥ）、平均除去絶対差分和（ＭＲＳＡＤ）、平均除去絶対変換差分和（ＭＲＳＡＴＤ）、又は平均除去残差平方和（ＭＲＳＳＥ）の１つ以上を含む。

図３３は、ビデオ処理の方法３３００についてのフローチャートである。方法３３００は、ビデオの現在のブロックが特定のコーディングモードを用いてコーディングされているとの決定に基づいて、現在のブロックのためのデコーダ側動きベクトル導出（ＤＭＶＤ）ツールの選択的有効化に関して判断するステップであり、ＤＭＶＤツールは、ビデオのビットストリーム表現において伝えられた動き情報の精緻化を導出する、ステップ（３３０２）と、判断に基づいて、現在のブロックとビットストリーム表現との間の変換を実行するステップ（３３０４）とを含む。

いくつかの例において、ＤＭＶＤツールは、現在のブロックの予測信号がイントラ予測信号及びインター予測信号に少なくとも基づいて生成されると決定される場合に使用不可能である。

いくつかの例において、ＤＭＶＤツールは、現在のブロックの予測信号がイントラ予測信号及びインター予測信号に少なくとも基づいて生成されると決定される場合に使用可能である。

いくつかの例において、現在のブロックは、ＣＩＩＰ（Combined Inter and Intra Prediction）モードでコーディングされる。

いくつかの例において、ＤＭＶＤツールは、現在のブロックがマージモード及び動きベクトル差によりコーディングされると決定される場合に使用不可能である。

いくつかの例において、ＤＭＶＤツールは、現在のブロックがマージモード及び動きベクトル差によりコーディングされると決定される場合に使用可能である。

いくつかの例において、現在のブロックは、ＭＭＶＤ（Merge mode with Motion Vector Difference）モードでコーディングされる。

いくつかの例において、ＤＭＶＤツールは、現在のブロックが複数のサブ領域によりコーディングされ、複数のサブ領域の少なくとも１つが非長方形であると決定される場合に使用不可能である。

いくつかの例において、ＤＭＶＤツールは、現在のブロックが複数のサブ領域によりコーディングされ、複数のサブ領域の少なくとも１つが非長方形であると決定される場合に使用可能である。

いくつかの例において、現在のブロックは、三角予測モードによりコーディングされる。

いくつかの例において、ＤＭＶＤツールは、デコーダ側動きベクトル精緻化（ＤＭＶＲ）ツールを有する。

いくつかの例において、ＤＭＶＤツールは、双方向オプティカルフロー（ＢＤＯＦ）ツールを有する。

いくつかの例において、ＤＭＶＤツールは、フレームレートアップコンバージョン（ＦＲＵＣ）ツール又は他のデコーダ側動きベクトル精緻化方法若しくはサンプル精緻化方法を有する。

いくつかの例において、変換は、ビットストリーム表現から現在のブロックを生成する。

いくつかの例において、変換は、現在のブロックからビットストリーム表現を生成する。

本明細書で説明されている開示の及び他の実施形態、モジュール及び機能動作は、デジタル電子回路において、あるいは、本明細書で開示されている構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアにおいて、あるいは、それらの１つ以上の組み合わせにおいて実装可能である。開示の及び他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために又はその動作を制御するためにコンピュータ可読媒体上でエンコーディングされたコンピュータプログラム命令の１つ以上のモジュールとして、実装可能である。コンピュータ可読媒体は、機械読み出し可能な記憶デバイス、機械読み出し可能な記憶担体、メモリデバイス、機械読み出し可能な伝搬信号をもたらす組成物、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」との用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理する全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、機械により生成された電気的、光学的、又は電磁気的信号であって、適切なレシーバ装置への伝送のために情報をエンコーディングするよう生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で保存された１つ以上のスクリプト）を保持するファイルの部分において保存可能である。コンピュータプログラムは、１つのコンピュータで、あるいは、１つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。

本文書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行され得る。プロセス及びロジックフローはまた、専用のロジック回路、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）によっても実行可能であり、装置は、そのようなものとしても実装され得る。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを受け取ることになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する１つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような１つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光学磁気ディスク；並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。

本明細書は、多数の詳細を含むが、それらは、あらゆる発明の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態では組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションでも実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。

同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。

ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本明細書で記載及び例示されているものに基づいて行われ得る。

Claims (29)

1. ビデオ処理の方法であって、
   ビデオの現在のブロックと前記現在のブロックのビットストリーム表現との間の変換中に、前記現在のブロックと関連付けられた２つの参照ブロック間の差、又は前記現在のブロック内のサブブロックと関連付けられた２つの参照サブブロック間の差を、前記参照ブロックの代表位置又は前記参照サブブロックの代表位置に基づいて計算するステップと、
   前記差に基づいて前記変換を実行するステップと
   を有する方法。
2. 前記差を計算するステップは、前記２つの参照ブロック及び／又は前記２つの参照サブブロックのインターレースされた位置の差を計算するステップを有する、
   請求項１に記載の方法。
3. 前記差を計算するステップは、前記２つの参照ブロック及び／又は前記２つの参照サブブロックの偶数行の差を計算するステップを有する、
   請求項１又は２に記載の方法。
4. 前記差を計算するステップは、前記２つの参照ブロック及び／又は前記２つの参照サブブロックの４つのコーナーサンプルの差を計算するステップを有する、
   請求項１に記載の方法。
5. 前記差を計算するステップは、２つの参照ブロックの間の差を、該参照ブロック内の代表サブブロックに基づいて計算するステップを有する、
   請求項１に記載の方法。
6. 前記代表位置は、所定のストラテジを使用することによって選択される、
   請求項１乃至５のうちいずれか一項に記載の方法。
7. 前記差に基づいて前記変換を実行するステップは、前記サブブロックについて前記差を取得するよう、前記参照サブブロックの前記代表位置に対して計算された前記差を合計するステップを有する、
   請求項１乃至６のうちいずれか一項に記載の方法。
8. 前記差に基づいて前記変換を実行するステップは、前記現在のブロックについて前記差を取得するよう、前記参照ブロックの前記代表位置に対して計算された前記差を合計するステップを有する、
   請求項１乃至６のうちいずれか一項に記載の方法。
9. 差分計算に依存する予測精緻化処理又は動きベクトル精緻化処理の早期終了段階で前記差を計算する、
   請求項１乃至８のうちいずれか一項に記載の方法。
10. 前記差に基づいて前記変換を実行するステップは、
    前記現在のブロックについて前記差を取得するよう、前記代表位置に対して計算された前記差を合計するステップと、
    前記現在のブロックの前記差に基づいて、差分計算に依存する予測精緻化処理又は動きベクトル精緻化処理が前記現在のブロックについて有効又は無効であるかどうかを決定するステップと
    を有する、
    請求項１乃至９のうちいずれか一項に記載の方法。
11. 前記予測精緻化処理は、双方向オプティカルフロー（ＢＩＯ）技術を含み、且つ／あるいは、
    前記動きベクトル精緻化処理は、デコーダ側動きベクトル精緻化（ＤＭＶＲ）技術又はフレームレートアップコンバージョン（ＦＲＵＣ）技術を含む、
    請求項９又は１０に記載の方法。
12. 前記差は、絶対差分和（ＳＡＤ）、絶対変換差分和（ＳＡＴＤ）、残差平方和（ＳＳＥ）、平均除去絶対差分和（ＭＲＳＡＤ）、平均除去絶対変換差分和（ＭＲＳＡＴＤ）、又は平均除去残差平方和（ＭＲＳＳＥ）の１つ以上を含む、
    請求項１乃至１１のうちいずれか一項に記載の方法。
13. ビデオの現在のブロックが特定のコーディングモードを用いてコーディングされているとの決定に基づいて、前記現在のブロックのためのデコーダ側動きベクトル導出（ＤＭＶＤ）ツールの選択的有効化に関して判断するステップであり、前記ＤＭＶＤツールは、前記ビデオのビットストリーム表現において伝えられた動き情報の精緻化を導出する、ステップと、
    前記判断に基づいて、前記現在のブロックと前記ビットストリーム表現との間の変換を実行するステップと
    を有する方法。
14. 前記ＤＭＶＤツールは、前記現在のブロックの予測信号がイントラ予測信号及びインター予測信号に少なくとも基づいて生成されると決定される場合に使用不可能である、
    請求項１３に記載の方法。
15. 前記ＤＭＶＤツールは、前記現在のブロックの予測信号がイントラ予測信号及びインター予測信号に少なくとも基づいて生成されると決定される場合に使用可能である、
    請求項１３に記載の方法。
16. 前記現在のブロックは、ＣＩＩＰモードでコーディングされる、
    請求項１４又は１５に記載の方法。
17. 前記ＤＭＶＤツールは、前記現在のブロックがマージモード及び動きベクトル差によりコーディングされると決定される場合に使用不可能である、
    請求項１３に記載の方法。
18. 前記ＤＭＶＤツールは、前記現在のブロックがマージモード及び動きベクトル差によりコーディングされると決定される場合に使用可能である、
    請求項１３に記載の方法。
19. 前記現在のブロックは、ＭＭＶＤモードでコーディングされる、
    請求項１７又は１８に記載の方法。
20. 前記ＤＭＶＤツールは、前記現在のブロックが複数のサブ領域によりコーディングされ、前記複数のサブ領域の少なくとも１つが非長方形であると決定される場合に使用不可能である、
    請求項１３に記載の方法。
21. 前記ＤＭＶＤツールは、前記現在のブロックが複数のサブ領域によりコーディングされ、前記複数のサブ領域の少なくとも１つが非長方形であると決定される場合に使用可能である、
    請求項１３に記載の方法。
22. 前記現在のブロックは、三角予測モードによりコーディングされる、
    請求項２０又は２１に記載の方法。
23. 前記ＤＭＶＤツールは、デコーダ側動きベクトル精緻化（ＤＭＶＲ）ツールを有する、
    請求項１３乃至２２のうちいずれかに記載の方法。
24. 前記ＤＭＶＤツールは、双方向オプティカルフロー（ＢＤＯＦ）ツールを有する、
    請求項１３乃至２２のうちいずれかに記載の方法。
25. 前記ＤＭＶＤツールは、フレームレートアップコンバージョン（ＦＲＵＣ）ツール又は他のデコーダ側動きベクトル精緻化方法若しくはサンプル精緻化方法を有する、
    請求項１３乃至２２のうちいずれかに記載の方法。
26. 前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
    請求項１乃至２５のうちいずれかに記載の方法。
27. 前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、
    請求項１乃至２５のうちいずれかに記載の方法。
28. 請求項１乃至２７のうちいずれか一項以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。
29. 非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、
    請求項１乃至２７のうちいずれか一項に記載の方法を事項するためのプログラムコードを含むコンピュータプログラム製品。

Images