JP2023103329A - Ｈｍｖｐ候補記憶装置のための表の保守 - Google Patents

Abstract

【課題】履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を記憶するように保守される複数の表を含む映像処理方法及び映像処理装置を提供する。
【解決手段】方法は、視覚メディアデータの第１のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、ジオメトリ分割モードで符号化された第１のブロックを判定することと、符号化されたブロックに基づいた動き情報を含むＨＭＶＰ候補を記憶する少なくとも１つの表に基づいて、第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、判定された動き情報を使用して第１のブロックの変換を行うことと、を含む。
【選択図】図４１

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１９年１１月２日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／１１３７１６号、２０１９年５月９日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８６１７４号の優先権および利益を適時に主張することを目的とする。前述の出願の全開示は、本明細書の開示の一部として参照により援用される。

本明細書は、映像および画像の符号化および復号化技術に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおける最大の帯域幅の使用を占める。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

開示された技術は、履歴に基づく動きベクトル予測（ＨＭＶＰ）を有するジオメトリ分割が使用される映像または画像デコーダまたはエンコーダの実施形態によって使用してもよい。

１つの例示的な態様において、映像を処理する方法が開示される。この方法は、処理装置によって、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定を行うことと、処理装置によって、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定に基づいて、第１の映像ブロックのための第１のサブ部分および第２のサブ部分を判定することであって、第１のサブ部分または第２のサブ部分のうちの一方または両方が、第１の映像ブロックの非長方形且つ非正方形部分である、判定することと、第１のサブ部分と第２のサブ部分を使用して第１の映像ブロックのさらなる処理を行うことと、を含む。

別の例示的な態様において、映像処理方法は、処理装置によって、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定を行うことと、処理装置によって、第１の映像ブロックのための第１のサブ部分および第２のサブ部分を判定することであって、第１のサブ部分または第２のサブ部分のうちの一方または両方が、第１の映像ブロックの非長方形且つ非正方形部分である、判定することと、第１のサブ部分および第２のサブ部分を使用して、第１の映像ブロックの処理をさらに行うことであって、少なくとも１つのサブ部分をマージまたは非マージインター符号化し、現在の画像を参照画像として使用する、処理を行うことと、を含む。

別の例示的な態様において、映像処理方法は、処理装置によって、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定を行うことと、処理装置によって、第１の映像ブロックのための第１のサブ部分および第２のサブ部分を判定することであって、第１のサブ部分または第２のサブ部分のうちの一方または両方が、第１の映像ブロックの非長方形且つ非正方形部分である、判定することと、第１のサブ部分および第２のサブ部分を使用して第１の映像ブロックに更なる処理を行うことであって、第１のサブ部分および第２のサブ部分を使用して第１の映像ブロックの更なる処理を行うことは、第１の映像ブロックに対する非隣接空間的ブロックのインターまたはイントラ符号化された情報に基づく、処理を行うことと、を含む。

別の例示的な態様において、映像処理方法は、第１の映像ブロックの三角形予測部分を使用して第１の映像ブロックが三角形部分モード（ＴＰＭ）で符号化されていることの判定と、第２の映像ブロックが、第２の映像ブロックの非三角形予測部分を使用して非ＴＰＭを使用して符号化されていることの判定を行うことと、記憶されたＨＭＶＰ候補を使用して第１の映像ブロックおよび第２の映像ブロックをさらに処理することと、第１の映像ブロックおよび第２の映像ブロックに関連付けられたＨＭＶＰ候補を記憶することと、をさらに行うことと、を含む。

別の例示的な態様において、映像処理方法は、処理装置によって、第１の映像ブロックが、第１の映像ブロックの非長方形且つ非正方形部分を含む予測部分を含むことの判定を行うことと、ＨＭＶＰ候補を特定することと、ＨＭＶＰ候補から導出された１つ以上の動き候補を、非長方形且つ非正方形である予測部分を含む映像ブロックに関連付けられたマージリストに加えることと、マージリストを使用して、第１の映像ブロックの処理をさらに行うことと、を含む。

別の例示的な態様において、映像処理方法は、視覚メディアデータの現在のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、現在のブロックのための複数のサブ部分を判定することと、複数のサブ部分のイントラ予測情報を判定することと、複数のサブ部分のイントラ予測情報を使用して現在のブロックの変換を行うことと、を含み、現在のブロックは、イントラ符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。

別の例示的な態様において、映像処理方法は、視覚メディアデータの現在のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、現在のブロックのための複数のサブ部分を判定することと、複数のサブ部分の動き情報を判定することと、複数のサブ部分の動き情報を使用して現在のブロックの変換を行うことと、を含み、現在のブロックは、インター符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。

別の例示的な態様において、映像処理方法は、視覚メディアデータの現在のブロックと視覚メディアデータの対応する符号化表現との間で変換を行うことであって、現在のブロックは、第１のサブ部分が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、第１のサブ部分をイントラ符号化モードで処理することと、第２のサブ部分をインター符号化モードで処理することと、を含む。

別の例示的な態様において、映像処理方法は、視覚メディアデータの現在のブロックと視覚メディアデータの対応する符号化表現との間で変換を行うことであって、現在のブロックは、第１のサブ部分が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、複数のサブ部分のうちの少なくとも１つは、マージまたは非マージインターコードされ、現在のピクチャを参照ピクチャとして使用する。

別の例示的な態様において、映像処理方法は、現在の視覚メディアデータのブロックと、対応する視覚メディアデータの符号化表現との間で変換を行うことであって、第１の予測分割が非長方形、非正方形の形状を有する分割パターンにしたがって、現在のブロックを複数のサブ部分に分割する、変換を行うことと、１つ以上の非隣接空間的ブロックのインターまたはイントラ符号化された情報を使用して変換を行うことと、を含む。

別の例示的な態様において、映像処理方法は、視覚メディアデータの第１のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、ジオメトリ分割モードで符号化された第１のブロックを判定することと、前述の符号化されたブロックに基づいた動き情報を含む履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を記憶する少なくとも１つの表に基づいて、第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、判定された動き情報を使用して第１のブロックの変換を行うことと、を含む。

別の例示的な態様において、映像処理方法は、視覚メディアデータの第１のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、ジオメトリ分割モードで符号化された第１のブロックを判定することと、第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、少なくとも１つのサブ部分の動き情報を使用して第１のブロックの変換を行うことと、を含み、少なくとも１つのサブ部分の動き情報を判定することは、動き候補リストを構築するために前述の符号化されたブロックに基づく動き情報を含む、少なくとも１つの履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を使用することと、動き候補リストから動き情報を判定することとを含む。

別の例示的な態様において、上記方法は、処理装置を含むビデオエンコーダ装置によって実装されてもよい。

別の例示的な態様において、上記方法は、処理装置を含むビデオデコーダ装置によって実装されてもよい。

さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。

これらの、および他の態様は、本明細書でさらに説明される。

マージ候補リスト構築の導出処理の一例を示す。 空間的マージ候補の位置の例を示す。 空間的マージ候補の冗長性チェックで考慮される候補対の例を示す。 Ｎ×２Ｎおよび２Ｎ×Ｎ個の分割からなる第２のＰＵの位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングの例を示す。 時間的マージ候補の候補位置Ｃ０、Ｃ１の一例を示す図である。 結合双予測マージ候補の例を示す。 動きベクトル予測候補の導出処理の例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 ＣＵのためのＡＴＭＶＰ動き予測の例を示す。 ４つのサブブロック（Ａ－Ｄ）およびその近傍のブロックを有する１つのＣＵの例を示す。 異なるＭＶ精度で符号化するフローチャートの一例を示す。 １つのＣＵを２つの三角形予測ユニット（２つの分割タイプ）に分割する例を示す。 近傍のブロックの位置の例を示す。 第１の重み係数群を適用するＣＵの例を示す。 動きベクトル記憶装置の一例を示す。 ＴＰＭフラグ符号化におけるコンテキスト選択に使用される近傍のブロック（ＡおよびＬ）の例を示す。 ＯＢＭＣが適用されるサブブロックの例を示す。 ＩＣパラメータを導出するために使用される近傍のサンプルの例を示す。 簡略化したアフィン動きモデルの一例を示す。 サブブロック当たりのアフィンＭＶＦの例を示す。 ４パラメータアフィンモデル（ａ）および６パラメータアフィンモデル（ｂ）の例を示す。 ＡＦ＿ＩＮＴＥＲ のためのＭＶＰの例を示す。 ＡＦ＿ＭＥＲＧＥの候補の例を示す。 アフィンマージモードの候補位置の一例を示す。 オプティカルフローの軌跡の一例を示す。 ＢＩＯ ｗ／ｏブロック拡張の一例を示し、ａ）ブロックの外側のアクセス位置、ｂ）余分なメモリアクセスおよび計算を回避するためにパディング（ｐａｄｄｉｎｇ）を用いる。 バイラテラルテンプレートマッチングに基づくＤＭＶＲの例を示す。 映像処理装置の一例を示すブロック図である。 ビデオエンコーダの例示的な実装のブロック図を示す。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。 映像処理方法の一例のフローチャートである。

本明細書は、展開または復号化されたデジタル映像または画像の品質を向上させるために、画像または映像ビットストリームのデコーダによって使用できる様々な技術を提供する。簡潔にするために、本明細書では、用語「映像」は、一連のピクチャ（従来から映像と呼ばれる）および個々の画像の両方を含むように使用する。さらに、ビデオエンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。

本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技術を、対応する章に限定するものではない。このように、一つの章からの実施形態は、他の章からの実施例と組み合わせることができる。

１． 概要
本特許明細書は、映像符号化技術に関する。具体的には、本発明は、映像符号化におけるジオメトリ分割による動きベクトル符号化に関する。本発明は、ＨＥＶＣのような既存の映像符号化規格またはファイナライズされるべき規格（例えば、汎用映像符号化）に適用され得る。本発明は、将来の映像符号化規格またはビデオコーデックにも適用可能である。

２． 背景技術
映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４高度映像符号化（ＡＶＣ）とＨ．２６５／ＨＥＶＣ規格を共同で作成した。映像符号化規格、Ｈ．２６２は、時間的予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同で共同映像探索チーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ：ＪＶＥＴ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、共同探索モデル（ＪＥＭ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間に共同映像探索チーム（ＪＶＥＴ）が作られ、ＨＥＶＣと比較してビットレートを５０％低減することを目標としたＶＶＣ規格に取り組むことになった。

図３０は、ビデオエンコーダの例示的な実装のブロック図である。図３０は、エンコーダ実装が、ビデオエンコーダが映像復号化機能も実行する（次の映像データの符号化に使用するために映像データの圧縮表現を再構築する）フィードバック経路を組み込むことを示す。

２．１ ＨＥＶＣ／Ｈ．２６５におけるインター予測
各インター予測されたＰＵは、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。２つの参照ピクチャリストのうちの１つの参照ピクチャリストの使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを使用して信号通知されてもよい。動きベクトルは、予測子に対するデルタ（ｄｅｌｔａ）として明確に符号化されてもよい。

１つのＣＵがスキップモードで符号化される場合、１つのＰＵがこのＣＵに関連付けられ、有意な残差係数がなく、符号化動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のＰＵのための動きパラメータを、空間的および時間的候補を含む近傍のＰＵから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたＰＵに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、ＰＵごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトル（より正確には、動きベクトル予測子と比較した動きベクトルの差）を明確に信号通知する。このようなモードを、本開示では高度動きベクトル予測（ＡＭＶＰ）と呼ぶ。

２つの参照ピクチャリストのうちの１つを使用することを信号通知が示す場合、１つのサンプルのブロックからＰＵを生成する。これを「単一予測」と呼ぶ。単一予測は、ＰスライスおよびＢスライスの両方に利用可能である。

両方の参照ピクチャリストを使用することを信号通知が示す場合、２つのサンプルのブロックからＰＵを生成する。これを「双予測」と呼ぶ。Ｂスライスのみに双予測が利用可能である。

以下、ＨＥＶＣに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。

２．１．１． 参照ピクチャリスト
ＨＥＶＣにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参照ピクチャのデータ要素（例えば、サンプル値または動きベクトル）から導出された予測を示すために使用される。Ｈ．２６４／ＡＶＣと同様に、複数の参照ピクチャから１つのピクチャを予測することができる。インター予測に使用される参照ピクチャは、１つ以上の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参照ピクチャを使用して予測信号を生成するかを識別する。

１つの参照ピクチャリストＬｉｓｔ０はＰスライスに用いられ、２つの参照ピクチャリストＬｉｓｔ０およびＬｉｓｔ１はＢスライスに使用される。なお、Ｌｉｓｔ０／１に含まれる参照ピクチャは、撮影／表示順にしても、過去および将来のピクチャからのものであってもよい。

２．１．２ マージモード
２．１．２．１ マージモードの候補の導出
マージモードを使用してＰＵを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、ＨＥＶＣ規格で規定されており、以下のステップのシーケンスにしたがってまとめることができる。

ステップ１：初期候補導出
ステップ１．１：空間的候補導出
ステップ１．２：空間的候補の冗長性チェック
ステップ１．３：時間的候補導出
ステップ２：追加の候補挿入
ステップ２．１：双予測候補の作成
ステップ２．２：動きゼロ候補の挿入

これらのステップは図１にも概略的に示されている。空間的マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補を選択する。時間的マージ候補導出のために、２つの候補の中から最大１つのマージ候補を選択する。デコーダ側ではＰＵごとに一定数の候補を想定しているので、ステップ１で得られた候補の数が、スライスヘッダにおいて信号通知されるマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項２値化（ＴＵ）を使用して最良マージ候補のインデックスを符号化する。ＣＵのサイズが８に等しい場合、現在のＣＵのすべてのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じ１つのマージ候補リストを共有する。

以下、上述したステップに関連付けられた動作を詳しく説明する。

図１は、マージ候補リスト構築の導出処理の一例を示す。

２．１．２．２． 空間的候補導出
空間的マージ候補の導出において、図２に示す位置にある候補の中から、最大４つのマージ候補を選択する。導出の順序はＡ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２である。位置Ａ_１、Ｂ_１、Ｂ_０、Ａ_０のいずれかのＰＵが利用可能でない場合（例えば、別のスライスまたはタイルに属しているため）、またはイントラ符号化された場合にのみ、位置Ｂ_２が考慮される。位置Ａ_１の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図３において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、２Ｎ×２Ｎとは異なる分割に関連付けられた「第２のＰＵ」である。一例として、図４は、それぞれＮ×２Ｎおよび２Ｎ×Ｎの場合の第２のＰＵを示す。現在のＰＵをＮ×２Ｎに分割する場合、リスト構築に位置Ａ_１の候補は考慮されない。実際、この候補を加えることにより、双予測ユニットが同じ動き情報を有するようになり、１つの符号化ユニットに１つのＰＵのみを有することは冗長である。同様に、現在のＰＵを２Ｎ×Ｎに分割する場合、位置Ｂ_１は考慮されない。

図２に、空間的マージ候補の位置の例を示す。

図３は、空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。

図４は、Ｎ×２Ｎおよび２Ｎ×Ｎ個の分割からなる第２のＰＵの位置の例を示す。

２．１．２．３． 時間的候補導出
このステップにおいて、１つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のＰＯＣ差を有するピクチャに属する同一位置ＰＵに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置ＰＵの導出に使用される参照ピクチャリストが明確に信号通知される。図５に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、ＰＯＣ距離ｔｂおよびｔｄを利用して、同一位置ＰＵの動きベクトルからスケーリングしたものである。ｔｂは、現在のピクチャの参照ピクチャと現在のピクチャのＰＯＣ差として規定し、ｔｄは、同一位置ＰＵの参照ピクチャと同一位置ピクチャのＰＯＣ差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、２つの動きベクトル、即ち、１つは参照ピクチャリスト０のためのもの、もう１つは参照ピクチャリスト１のためのもの、を取得し、これらを組み合わせることによって、双予測マージ候補を形成する。

図５に、時間的マージ候補のための動きベクトルのスケーリングの例を示す。

参照フレームに属する同一位置ＰＵ（Ｙ）において、図６に示すように、候補Ｃ_０と候補Ｃ_１との間で時間的候補の位置を選択する。位置Ｃ_０のＰＵが利用可能でない場合、イントラ符号化されている場合、または現在のＣＴＵ行の外側にある場合、位置Ｃ_１が使用される。そうでない場合、位置Ｃ_０が時間的マージ候補の導出に使用される。

図６は、時間的マージ候補の候補位置Ｃ_０およびＣ_１の一例を示す図である。

２．１．２．４． 追加の候補挿入
時空間的マージ候補の他に、２つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用することで、結合双予測マージ候補を生成する。結合双予測マージ候補は、Ｂスライスのみに使用される。最初の候補の第１の参照ピクチャリスト動きパラメータと別の候補の第２の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら２つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。一例として、図７は、オリジナルリスト（左側）における、ｍｖＬ０、ｒｅｆＩｄｘＬ０またはｍｖＬ１、ｒｅｆＩｄｘＬ１を有する２つの候補を使用して、最終リスト（右側）に加えられる結合双予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。

図７は、結合双予測マージ候補の例を示す。

動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量にヒットする。これらの候補は、空間的変位がゼロであり、ゼロから始まり、新しいゼロ動き候補をリストに加える度に増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は１つ、双方向予測の場合は２つである。最終的には、これらの候補に対して冗長性チェックは行われない。

２．１．２．５． 並列処理のための動き推定領域
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。１つの予測ユニットは、その関連する動き推定が完了するまで、隣接するＰＵから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、ＨＥＶＣは、動き推定領域（ＭＥＲ）を規定し、そのサイズは、「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素を使用してピクチャパラメータセットにおいて信号通知される。１つのＭＥＲを規定するとき、同じ領域にあるマージ候補は利用不可能であるとしてマークされ、それゆえにリスト構築においては考慮されない。

２．１．３． ＡＭＶＰ
ＡＭＶＰは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のＰＵとの時空間的相関を利用する。各参照ピクチャリストにおいて、左側、上側の時間的に近傍のＰＵ位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化対象の最大値は２である（図８参照）以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。

２．１．３．１ ＡＭＶＰ候補の導出
図８に、動きベクトル予測候補の導出処理をまとめる。

動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という２つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、図２に示したように、５つの異なる位置にある各ＰＵの動きベクトルに基づいて、最終的には２つの動きベクトル候補を導出する。

時間的動きベクトル候補を導出するために、２つの異なる同一位置に配置された位置に基づいて導出された２つの候補から１つの動きベクトル候補を選択する。第１の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が２よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが１よりも大きい動きベクトル候補をリストから削除する。時空間的動きベクトル候補の数が２未満である場合は、追加のゼロ動きベクトル候補をリストに加える。

２．１．３．２． 空間的動きベクトル候補
空間的動きベクトル候補の導出において、図２に示したような位置にあるＰＵから導出された５つの潜在的な候補のうち、動きマージと同じ位置にあるものを最大２つの候補を考慮する。現在のＰＵの左側のための導出の順序は、Ａ０、Ａ１、スケーリングされたＡ０、スケーリングされたＡ１として規定される。現在のＰＵの上側のための導出の順序は、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は４つ、すなわち空間的スケーリングを使用する必要がない２つの場合と、空間的スケーリングを使用する２つの場合とがある。４つの異なる場合をまとめると、以下のようになる。

空間的スケーリングなし
（１）同じ参照ピクチャリスト、および同じ参照ピクチャインデックス（同じＰＯＣ）
（２）異なる参照ピクチャリストであるが、同じ参照ピクチャ（同じＰＯＣ）
空間的スケーリング
（３）同じ参照ピクチャリストであるが、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、および異なる参照ピクチャ（異なるＰＯＣ）

最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、ＰＯＣが近傍のＰＵの参照ピクチャと現在のＰＵの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのＰＵが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側ＭＶ候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。

図９に、空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。

空間的スケーリング処理において、図９に示すように、時間的スケーリングと同様にして、近傍のＰＵの動きベクトルをスケーリングする。主な違いは、現在のＰＵの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。

２．１．３．３． 時間的動きベクトル候補
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである（図６参照）。
参照ピクチャインデックスはデコーダに信号通知される。

２．２． ＪＥＭにおける新しいインター予測方法
２．２．１． サブＣＵに基づく動きベクトル予測
ＱＴＢＴを有するＪＥＭにおいて、各ＣＵは、各予測方向に対して最大１つの動きパラメータセットを有することができる。エンコーダにおいて、ラージＣＵをサブＣＵに分割し、ラージＣＵのすべてのサブＣＵの動き情報を導出することにより、２つのサブＣＵレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測（ＡＴＭＶＰ）方法により、各ＣＵが、配列された参照ピクチャにおける現在のＣＵよりも小さい複数のブロックから複数の動き情報のセットを取り出すことが可能となる。時空間的動きベクトル予測（ＳＴＭＶＰ）法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブＣＵの動きベクトルを再帰的に導出する。

サブＣＵ動き予測のためにより正確な動きフィールドを保守するために、参照フレームの動き圧縮は現在無効にされている。

図１０は、ＣＵのためのＡＴＭＶＰ動き予測の例を示す。

２．２．１．１． 代替の時間的動きベクトル予測
代替的な時間的動きベクトル予測（ＡＴＭＶＰ）において、動きベクトル時間的動きベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数動き情報のセット（動きベクトルおよび参照インデックスを含む）を取り出すことで修正される。サブＣＵは、Ｎ×Ｎ個のブロックの正方形である（Ｎは、デフォルトで４に設定される）。

ＡＴＭＶＰは、ＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。第１のステップでは、参照ピクチャにおける対応するブロックを時間的ベクトルで特定する。この参照ピクチャをモーションソースピクチャと呼ぶ。第２のステップでは、現在のＣＵをサブＣＵに分割し、各サブＣＵに対応するブロックから、各サブＣＵの動きベクトルおよび参照インデックスを得る。

第１のステップにおいて、現在のＣＵの空間的に近傍のブロックの動き情報によって、参照ピクチャおよび対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のＣＵのマージ候補リストにおける第１のマージ候補を用いる。第１の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、ＡＴＭＶＰでは、ＴＭＶＰに比べて、対応するブロックをより正確に特定することができ、対応するブロック（配列されたブロックと呼ばれることがある）は、常に現在のＣＵに対して右下または中心位置にある。

第２のステップにおいて、現在のＣＵの座標に時間ベクトルを加えることで、モーションソースピクチャにおける時間的ベクトルによって、サブＣＵの対応するブロックを特定する。サブＣＵごとに、その対応するブロックの動き情報（中心サンプルを覆う最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報を特定した後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件（現在のピクチャのすべての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満たされているか否かをチェックし、場合によっては、動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を使用して、各サブＣＵの動きベクトルＭＶｙ（Ｘが０または１に等しく、Ｙが１－Ｘに等しい）を予測する。

２．２．１．２． 時空間的動きベクトル予測（ＳＴＭＶＰ）
この方法において、サブＣＵの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図１１は、この概念を示す。４つの４×４サブＣＵ、Ａ、Ｂ、Ｃ、およびＤを含む８×８ＣＵを考える。現在のフレームの近傍の４×４ブロックには、ａ、ｂ、ｃ、ｄというラベルが付けられている。

サブＣＵ Ａの動きの導出は、その２つの空間的近傍を特定することで始まる。第１の近傍は、サブＣＵ Ａの上のＮ×Ｎブロックである（ブロックｃ）。このブロックｃが利用可能でないか、またはイントラ符号化されている場合、サブＣＵ Ａより上の他のＮ×Ｎ個のブロックをチェックする（ブロックｃから始まり、左から右へ）。第２の近傍は、サブＣＵ Ａの左側のブロックである（ブロックｂ）。ブロックｂが利用可能でないか、またはイントラ符号化されている場合、サブＣＵ Ａの左側の他のブロックをチェックする（ブロックｂを中心に、上から下へ）。各リストの近傍のブロックから得られた動き情報を、所与のリストの第１の参照フレームにスケーリングする。次に、ＨＥＶＣで規定されているＴＭＶＰ導出と同じ手順に従って、サブブロックＡの時間的動きベクトル予測子（ＴＭＶＰ）を導出する。位置Ｄの同一位置のブロックの動き情報を取り出し、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル（３まで）を別個に平均する。この平均化された動きベクトルを現在のサブＣＵの動きベクトルとする。

２．２．１．３． サブＣＵ動き予測モード信号通知
サブＣＵモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ＡＴＭＶＰモードおよびＳＴＭＶＰモードを表すように、各ＣＵのマージ候補リストに２つの追加のマージ候補を加える。シーケンスパラメータセットがＡＴＭＶＰおよびＳＴＭＶＰが有効であることを示す場合、７個までのマージ候補を使用する。追加のマージ候補のエン符号化ロジックは、ＨＭにおけるマージ候補の場合と同じであり、つまり、ＰまたはＢスライスにおける各ＣＵについて、２つの追加のマージ候補に対して２回以上のＲＤチェックが必要となる。

ＪＥＭにおいて、マージインデックスのすべての２値は、ＣＡＢＡＣによってコンテキスト符号化される。一方、ＨＥＶＣにおいては、第１の２値のみがコンテキスト符号化され、残りの２値はコンテキストバイパス符号化される。

２．２．２． 適応動きベクトル差解像度
ＨＥＶＣにおいて、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０であるとき、１／４輝度サンプルの単位で動きベクトルの差（ＭＶＤ）（動きベクトルとＰＵの予測動きベクトルとの差）が信号通知される。ＪＥＭにおいて、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）が導入される。ＪＥＭにおいて、ＭＶＤは、１／４輝度サンプル、整数輝度サンプルまたは４つの輝度サンプルの単位で符号化できる。ＭＶＤ分解能は符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つのノンゼロＭＶＤモジュールを有する各ＣＵに対して条件付きで信号通知される。

少なくとも１つのノンゼロＭＶＤモジュールを有するＣＵの場合、１／４輝度サンプルＭＶ精度がＣＵにおいて使用されるか否かを示すために、第１のフラグが信号通知される。第１のフラグ（１に等しい）が、１／４輝度サンプルＭＶ精度が使用されていないことを示す場合、整数輝度サンプルＭＶ精度が使用されるかまたは４輝度サンプルＭＶ精度が使用されるかを示すために、別のフラグが信号通知される。

ＣＵの第１のＭＶＤ解像度フラグがゼロであるか、またはＣＵに対して符号化されていない（つまり、ＣＵにおけるすべてのＭＶＤがゼロである）場合、ＣＵに対して１／４輝度サンプルＭＶ解像度が使用される。ＣＵが整数輝度サンプルＭＶ精度または４輝度サンプルＭＶ精度を使用する場合、ＣＵのＡＭＶＰ候補リストにおけるＭＶＰを対応する精度に丸める。

エンコーダにおいて、ＣＵレベルのＲＤチェックは、どのＭＶＤ解像度をＣＵに用いるかを判定するために使用される。すなわち、１つのＭＶＤ解像度ごとに３回、ＣＵレベルのＲＤチェックを行う。エンコーダの速度を速めるために、ＪＥＭにおいては、以下の符号化方式が適用される。

通常の１／４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェック中、現在のＣＵの動き情報（整数輝度サンプル精度）が記憶される。整数輝度サンプルおよび４輝度サンプルのＭＶＤ解像度を有する同じＣＵのＲＤチェック中に、記憶された動き情報（丸められた後）は、更なる小範囲動きベクトル微調整の開始点として使用されるので、時間がかかる動き推定処理が３回重複しない。

４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェックを条件付きで呼び出す。ＣＵの場合、整数輝度サンプルＭＶＤ解像度のＲＤコストが１／４輝度サンプルＭＶＤ解像度のそれよりもはるかに大きい場合、ＣＵのための４輝度サンプルＭＶＤ解像度のＲＤチェックはスキップされる。

符号化処理を図１２に示す。まず、１／４画素ＭＶをテストし、ＲＤコストを計算し、ＲＤＣｏｓｔ０と表し、次に、整数ＭＶをテストし、ＲＤコストをＲＤＣｏｓｔ１と表す。ＲＤＣｏｓｔ１＜ｔｈ＊ＲＤＣｏｓｔ０（ただし、ｔｈは正の値である）である場合、４画素ＭＶをテストし、そうでない場合、４画素ＭＶをスキップする。基本的に、整数または４画素ＭＶをチェックするときには、１／４画素ＭＶに対して動き情報およびＲＤコスト等が既知であり、これを再利用して整数または４画素ＭＶの符号化処理を高速化することができる。

２．２．３． 三角形予測モード
三角形予測モード（ＴＰＭ）の概念は、動き補償予測のために新しい三角形分割を導入することである。図１３に示すように、ＣＵは、対角線方向または逆対角線方向に沿って２つの三角形予測ユニットに分割される。ＣＵにおける各三角形予測ユニットは、単一予測候補リストから導出された独自の単一予測動きベクトルおよび参照フレームインデックスを使用して、インター予測される。三角形予測ユニットを予測した後、対角エッジに対して適応重み付け処理を行う。そして、ＣＵ全体に対して変換および量子化処理を行う。なお、このモードは、スキップモードおよびマージモードにのみ適用される。

２．２．３．１ ＴＰＭの単一予測候補リスト
この単一予測候補リストは、５つの単一予測動きベクトル候補からなる。これは、図１４に示すように、５つの空間的に近傍のブロック（１～５）および２つの時間的に同一位置にあるブロック（６～７）を含む７つの近傍のブロックから導出される。単一予測動きベクトル、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、およびタイルグループ動きベクトルのＬ０、Ｌ１動きベクトルの平均動きベクトルの順に、７つの近傍のブロックの動きベクトルを収集し、単一予測候補リストに入れる。候補の数が５未満である場合、動きベクトルゼロをリストに加える。

具体的には、以下のステップが含まれる。

プルーニング操作を行わずに、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２（図１４のブロック１－７に対応）から動き候補を取得する。

変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０を設定する。

Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２、から導出された各動き候補で、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満のものに対し、動き候補が単一予測である（Ｌｉｓｔ０またはＬｉｓｔ１のいずれかから）場合、であり、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１だけ増加させたマージリストに加えられる。このように追加された動き候補を「本来単予測候補」と呼ぶ。

フルプルーニングを適用する。

Ａ１、Ｂ１、Ｂ０、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補について、動き候補が双予測である場合には、Ｌｉｓｔ０からの動き情報をマージリストに追加し（つまり、Ｌｉｓｔ０からの単一予測となるように修正される）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１だけ増加させる。このように追加された動き候補を「Ｔｒｕｎｃａｔｅｄ Ｌｉｓｔ０－ｐｒｅｄｉｃｔｅｄ ｃａｎｄｉｄａｔｅ」と呼ぶ。

フルプルーニングを適用する。

Ａ１、Ｂ１、Ｂ０、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補について、動き候補が双予測である場合には、Ｌｉｓｔ１からの動き情報をマージリストに追加し（つまり、Ｌｉｓｔ１からの単一予測となるように修正され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１だけ増加させる。このように追加された動き候補を「Ｔｒｕｎｃａｔｅｄ Ｌｉｓｔ１－ｐｒｅｄｉｃｔｅｄ ｃａｎｄｉｄａｔｅ」と呼ぶ。

フルプルーニングを適用する。

Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２、から導出され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補について、動き候補が双予測である場合、

Ｌｉｓｔ０参照ピクチャスライスＱＰがＬｉｓｔ１参照ピクチャスライスＱＰよりも小さい場合、Ｌｉｓｔ１の動き情報をまずＬｉｓｔ０参照ピクチャにスケーリングし、２つのＭＶの平均（一方はオリジナルＬｉｓｔ０からのもので、他方はＬｉｓｔ１からのスケーリングされたＭＶ）を、Ｌｉｓｔ０動き候補からの平均単一予測であるマージリストに加え、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１だけ増加させる。

そうでない場合、Ｌｉｓｔ０の動き情報をまずＬｉｓｔ１参照ピクチャにスケーリングし、２つのＭＶの平均（一方はオリジナルＬｉｓｔ１からのものであり、他方はＬｉｓｔ０からのスケーリングされたＭＶである）をマージリストに加える。すなわち、Ｌｉｓｔ１動き候補とｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄとからの単一予測を平均し、１だけ増加させる。

フルプルーニングを適用する。

ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である場合、ゼロ動きベクトル候補を加える。

２．２．３．２． 適応重み付け処理
各三角形予測ユニットを予測した後、２つの三角形予測ユニット間の対角エッジに適応重み付け処理を施し、ＣＵ全体の最終予測を導出する。２つの重み係数群を以下のように定義する。

第１の重み係数群は、｛７／８，６／８，４／８，２／８，１／８｝および｛７／８，４／８，１／８｝をそれぞれ輝度および色差サンプルに使用する。

第２の重み係数群は、｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝および｛６／８，４／８，２／８｝をそれぞれ輝度および色差サンプルに使用する。

２つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数群を選択する。第２の重み係数群は、２つの三角形予測ユニットの参照ピクチャが異なる場合、またはその動きベクトルの差が１６画素よりも大きい場合に使用される。そうでない場合、第１の重み係数群を使用する。一例を図１５に示す。

２．２．３．３． 動きベクトル記憶装置
三角形予測ユニットの動きベクトル（図１６のＭｖ１、Ｍｖ２）は、４×４個のグリッドに記憶される。各４×４グリッドに対して、ＣＵにおける４×４グリッドの位置に基づいて、単一予測または双予測動きベクトルを記憶する。図１６に示すように、重み付けされていない領域に位置する（すなわち、対角エッジに位置しない）４×４グリッドに対して、Ｍｖ１またはＭｖ２のいずれか一方の単一予測動きベクトルを記憶する。一方、重み付け領域に位置する４×４グリッドについては、双予測動きベクトルを記憶する。以下の規則に基づいて、Ｍｖ１およびＭｖ２から双予測動きベクトルを導出する。

Ｍｖ１およびＭｖ２が異なる方向（Ｌ０またはＬ１）の動きベクトルを有する場合、Ｍｖ１およびＭｖ２を単に組み合わせることで、双予測動きベクトルが形成される。

Ｍｖ１とＭｖ２の両方が同じＬ０（またはＬ１）方向から来ている場合、
Ｍｖ２の参照ピクチャがＬ１（またはＬ０）参照ピクチャリストにおけるピクチャと同じである場合、Ｍｖ２はそのピクチャにスケーリングされる。Ｍｖ１とスケーリングされたＭｖ２とを組み合わせ、双予測動きベクトルを形成する。

Ｍｖ１の参照ピクチャがＬ１（またはＬ０）参照ピクチャリストにおけるピクチャと同じである場合、Ｍｖ１はそのピクチャにスケーリングされる。スケーリングされたＭｖ１およびＭｖ２を組み合わせ、双予測動きベクトルを形成する。

そうでない場合、重み付け領域のためにＭｖ１のみが記憶される。

２．２．３．４． 三角形予測モード（ＴＰＭ）の信号通知
ＴＰＭが使用されているか否かを示すための１つのビットフラグが、まず信号通知されてもよい。その後、２つの分割パターンの表示の信号通知（図１３に示す）、および２つの分割の各々に対して選択されたマージインデックスをさらに信号通知する。

２．２．３．４．１ ＴＰＭフラグの信号通知
１つの輝度ブロックの幅および高さを、それぞれＷおよびＨで表すことにする。Ｗ＊Ｈ＜６４の場合、三角形予測モードは無効になる。

１つのブロックをアフィンモードで符号化する場合、三角形予測モードも無効にされる。

１つのブロックがマージモードで符号化されるとき、１つのビットフラグを信号通知して、このブロックに対して三角形予測モードが有効とされるか無効とされるかを示すことができる。

このフラグは、次式に基づいて、３つのコンテキストで符号化される。

Ｃｔｘ ｉｎｄｅｘ＝（（ｌｅｆｔ ｂｌｏｃｋ Ｌ ａｖａｉｌａｂｌｅ ＆＆ Ｌ ｉｓ ｃｏｄｅｄ ｗｉｔｈ ＴＰＭ？）１：０）
＋（（Ａｂｏｖｅ ｂｌｏｃｋ Ａ ａｖａｉｌａｂｌｅ ＆＆ Ａ ｉｓ ｃｏｄｅｄ ｗｉｔｈ ＴＰＭ？）１：０）；

２．２．３．４．２． ２つの分割パターンの表示（図１３に示す）、および２つの分割の各々に対して選択されたマージインデックスの信号通知

なお、分割パターンと、２つの分割のマージインデックスとは、互いに符号化される。２つの分割が同じ参照インデックスを使用できないように制限される。そのため、２つの（分割パターン）＊Ｎ（マージ候補の最大数）＊（Ｎ－１）個の可能性があり、Ｎが５に設定される。１つの表示を符号化し、分割タイプと、２つのマージインデックスとの間のマッピングを、以下に定義されるアレイから導出する。

ｃｏｎｓｔ ｕｉｎｔ８＿ｔ ｇ＿ＴｒｉａｎｇｌｅＣｏｍｂｉｎａｔｉｏｎ［ＴＲＩＡＮＧＬＥ＿ＭＡＸ＿ＮＵＭ＿ＣＡＮＤＳ］［３］＝｛｛０，１，０｝，｛１，０，１｝，｛１，０，２｝，｛０，０，１｝，｛０，２，０｝，｛１，０，３｝，｛１，０，４｝，｛１，１，０｝，｛０，３，０｝，｛０，４，０｝，｛０，０，２｝，｛０，１，２｝，｛１，１，２｝，｛０，０，４｝，｛０，０，３｝，｛０，１，３｝，｛０，１，４｝，｛１，１，４｝，｛１，１，３｝，｛１，２，１｝，｛１，２，０｝，｛０，２，１｝，｛０，４，３｝，｛１，３，０｝，｛１，３，２｝，｛１，３，４｝，｛１，４，０｝，｛１，３，１｝，｛１，２，３｝，｛１，４，１｝，｛０，４，１｝，｛０，２，３｝，｛１，４，２｝，｛０，３，２｝，｛１，４，３｝，｛０，３，１｝，｛０，２，４｝，｛１，２，４｝，｛０，４，２｝，｛０，３，４｝｝；

Ｐａｒｔｉｔｉｏｎ ｔｙｐｅ（４５ｄｅｇｒｅｅ ｏｒ １３５ｄｅｇｒｅｅ）＝ｇ＿ＴｒｉａｎｇｌｅＣｏｍｂｉｎａｔｉｏｎ［ｓｉｇｎａｌｅｄ ｉｎｄｉｃａｔｉｏｎ］［０］；

Ｍｅｒｇｅ ｉｎｄｅｘ ｏｆ ｃａｎｄｉｄａｔｅ Ａ＝ｇ＿ＴｒｉａｎｇｌｅＣｏｍｂｉｎａｔｉｏｎ［ｓｉｇｎａｌｅｄ ｉｎｄｉｃａｔｉｏｎ］［１］；

Ｍｅｒｇｅ ｉｎｄｅｘ ｏｆ ｃａｎｄｉｄａｔｅ Ｂ＝ｇ＿ＴｒｉａｎｇｌｅＣｏｍｂｉｎａｔｉｏｎ［ｓｉｇｎａｌｅｄ ｉｎｄｉｃａｔｉｏｎ］［２］；

２つの動き候補Ａ、Ｂを導出すると、ＡまたはＢのいずれか一方から２つの分割の（ＰＵ１、ＰＵ２）動き情報を設定することができ、ＰＵ１がマージ候補ＡまたはＢの動き情報を使用するか否かは、２つの動き候補の予測方向に依存する。表１は、２つの分割を有する、２つの導出された動き候補ＡおよびＢの間の関係を示す。

２．２．３．４．３． （ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘで示す）表示のエントロピー符号化
ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘは、［０、３９］（それぞれを含む）の範囲内にある。Ｋ＿ｔｈｏｒｄｅｒ Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ（ＥＧ）コードは、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘの２値化に使用される（Ｋは１に設定される）。

＜Ｋ次ｏｒｄｅｒＥＧ＞
より少ないビットでより大きな数を符号化するために（より多くのビットを使用してより小さな数を符号化することを犠牲にして）、これは、非負の整数パラメータｋを使用して一般化され得る。非負の整数ｘを次数ｋのｅｘｐ－Ｇｏｌｏｍｂコードで符号化するには、次のようにする。

前述のｏｒｄｅｒ－０ ｅｘｐ－Ｇｏｌｏｍｂコードを使用して［ｘ／２^ｋ］を符号化する。次に、

ｘ ｍｏｄ ２ｋをバイナリで符号化する。

２．２．４． 重複ブロック動き補償
Ｈ．２６３では、以前から重複ブロック動き補償（ＯＢＭＣ）が使用されている。ＪＥＭにおいて、Ｈ．２６３とは異なり、ＯＢＭＣは、ＣＵレベルの構文を使用してオン／オフを切り替えることができる。ＪＥＭにおいてＯＢＭＣを使用する場合、ＯＢＭＣは、ＣＵの右下の境界を除くすべての動き補償（ＭＣ）ブロック境界に対して行われる。また、輝度およびクロマ成分の両方に適用される。ＪＥＭにおいて、１つのＭＣブロックは１つの符号化ブロックに対応する。ＣＵがサブＣＵモードで符号化された（サブＣＵマージ、アフィン、およびＦＲＵＣモードを含む）場合、ＣＵの各サブブロックは１つのＭＣブロックである。均一にＣＵ境界を処理するために、ＯＢＭＣは、すべてのＭＣブロック境界に対してサブブロックレベルで実行され、サブブロックサイズは、図１８に示すように、４×４に等しく設定される。

ＯＢＭＣが現在のサブブロックに適用される場合、現在の動きベクトルの他に、４つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同じでない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。

近傍のサブブロックの動きベクトルに基づく予測ブロックをＰ_Ｎ（Ｎは、近傍の上、下、左、右のサブブロックのインデックス）とし、現在のサブブロックの動きベクトルに基づく予測ブロックをＰ_Ｃとする。Ｐ_Ｎが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、ＯＢＭＣはＰＮから行われない。そうでない場合、Ｐ_ＮのすべてのサンプルをＰ_Ｃ内の同じサンプルに加える。すなわち、Ｐ_Ｎの４つの行／列をＰ_Ｃに加える。ＰＮには重み係数｛１／４，１／８，１／１６，１／３２｝を用い、Ｐ_Ｃには重み係数｛３／４，７／８，１５／１６，３１／３２｝を用いる。例外は、小さなＭＣブロック（すなわち、符号化ブロックの高さまたは幅が４に等しいか、または１つのＣＵがサブＣＵモードで符号化された場合）であり、その場合、２つの行／列のＰ_ＮのみがＰ_Ｃに追加される。この場合、ＰＮに対して重み係数｛１／４，１／８｝が使用され、Ｐ_Ｃに対して重み係数｛３／４，７／８｝が使用される。垂直（水平）方向に近傍のサブブロックの動きベクトルに基づいて生成されたＰ_Ｎに対して、Ｐ_Ｎの同じ行（列）におけるサンプルを、同じ重み係数でＰ_Ｃに加算する。

ＪＥＭにおいて、サイズが２５６輝度サンプル以下のＣＵの場合、ＣＵレベルフラグを信号通知して現在のＣＵに対してＯＢＭＣが適用されているか否かを示す。サイズが２５６輝度サンプルよりも大きい、またはＡＭＶＰモードで符号化されていないＣＵの場合、ＯＢＭＣがデフォルトで適用される。エンコーダにおいて、ＯＢＭＣがＣＵに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を使用してＯＢＭＣにより形成された予測信号は、現在のＣＵの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。

２．２．５． 局所照明補償
ローカル照明補償（ＬＩＣ）は、倍率ａおよびオフセットｂを使用して、照明変化の線形モデルに基づく。そして、各インターモード符号化ユニット（ＣＵ）に対して適応的に有効または無効とされる。

ＬＩＣがＣＵに適用される場合、最小二乗誤差法が使用され、現在のＣＵの近傍のサンプルおよびそれらに対応する基準サンプルを使用することによって、パラメータａおよびｂを導出する。具体的には、図１９に示すように、ＣＵのサブサンプリング（２：１サブサンプリング）された近傍のサンプルと、参照ピクチャにおける対応するサンプル（現在のＣＵまたはサブＣＵの動き情報によって特定される）とを使用する。ＩＣパラメータは、各予測方向に対して別個に導出され、適用される。

ＣＵがマージモードで符号化される場合、ＩＣフラグは、マージモードにおける動き情報のコピーと同様に、近傍のブロックからコピーされ、そうでない場合、ＬＩＣフラグがＣＵに信号通知され、ＬＩＣが適用されるか否かを示す。

１つのピクチャに対してＬＩＣが有効化されるとき、１つのＣＵに対してＬＩＣが適用されるか否かを判定するために、追加のＣＵレベルＲＤチェックが必要である。ＣＵのためにＬＩＣが有効化される場合、整数画素動き探索および小数画素動き探索のために、ＳＡＤおよびＳＡＴＤの代わりに、それぞれ、絶対差の平均除去和（ＭＲ－ＳＡＤ）および絶対アダマール変換差の平均除去和（ＭＲ－ＳＡＴＤ）が使用される。

符号化の複雑性を低減するために、ＪＥＭにおいては、以下の符号化方式が適用される。

現在の画像とその参照ピクチャとの間に明瞭な照度変化がない場合、ＬＩＣはピクチャ全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してＬＩＣを無効化し、そうでない場合、現在のピクチャに対してＬＩＣを有効化する。

２．２．６． アフィン動き補償予測
ＨＥＶＣにおいて、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。実際の世界ではあるが、動きには様々な種類があり、例えば、ズームイン／ズームアウト、回転、透視運動、および他の不規則な動きがある。ＪＥＭにおいて、簡易アフィン変換動き補償予測が適用される。図２０に示すように、ブロックのアフィン動きフィールドは、２つの制御点動きベクトルで表される。

ブロックの動きベクトルフィールド（ＭＶＦ）は、以下の式で表される。

６パラメータアフィンの場合、

（ｖ_０ｘ、ｖ_０ｙ）は、左上隅の制御点の動きベクトルであり、（ｖ_１ｘ，ｖ_１ｙ）は、右上隅の制御点の動きベクトルであり、（ｖ_２ｘ，ｖ_２ｙ）は、左下隅の制御点の動きベクトルであり、（ｘ，ｙ）は、現在のブロックにおける左上サンプルに対する代表点の座標を表す。ＶＴＭにおいて、代表点をサブブロックの中心位置とする。例えば、現在のブロックにおけるサブブロックの左上の角の左上のサンプルの座標が（ｘｓ，ｙｓ）である場合、代表点の座標を（ｘｓ＋２，ｙｓ＋２）とする。

動き補償予測をさらに簡単にするために、サブブロックに基づくアフィン変換予測が適用される。サブブロックのサイズＭ×Ｎは、式２のように導出され、ＭｖＰｒｅは、動きベクトルの端数精度（ＪＥＭでは、１／１６）であり、（ｖ_２ｘ，ｖ_２ｙ）は、式（１）に従って算出された、左下制御点の動きベクトルである。

式（２）によって導出された後、ＭおよびＮは、それぞれｗおよびｈの除数とするために、必要に応じて下方向に調整されるべきである。

各Ｍ×Ｎ個のサブブロックの動きベクトルを導出するために、図２１に示すように、式（１）に基づいて、各サブブロックの中心サンプルの動きベクトルを計算し、１／１６の端数精度に丸める。次に、本明細書の他の箇所で述べた動き補償補間フィルタを適用して、導出された動きベクトルを使用して各サブブロックの予測を生成する。

ＭＣＰの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。

２．２．６．１． ＡＦ＿ＩＮＴＥＲモード
ＪＥＭにおいて、２つのアフィン動きモード、ＡＦ＿ＩＮＴＥＲモードおよびＡＦ＿ＭＥＲＧＥモードがある。幅と高さの両方が８より大きいＣＵの場合、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるか否かを示すために、ビットストリームにおいてＣＵレベルのアフィンフラグが信号通知される。本モードにおいて、近傍のブロックを使用して動きベクトル対｛（ｖ_０，ｖ_１）｜ｖ_０＝｛ｖ_Ａ，ｖ_Ｂ，ｖ_Ｃ｝，ｖ_１＝｛ｖ_Ｄ，ｖ_Ｅ｝｝を有する候補リストを構築する。図２３に示すように、ブロックＡ、ＢまたはＣの動きベクトルからｖ_０を選択し、近傍のブロックからの動きベクトルを、参照リストおよび近傍のブロックへの参照のＰＯＣと、現在のＣＵへの参照のＰＯＣと、現在のＣＵのＰＯＣとの関係に基づいてスケーリングする。そして、近傍のブロックＤおよびＥからｖ_１を選択する方法は類似している。候補リストの数が２未満である場合、ＡＭＶＰ候補の各々を複製した動きベクトル対でリストを埋める。候補リストが２よりも大きい場合、まず、近傍の動きベクトルの整合性（対候補における２つの動きベクトルの類似性）に基づいて候補をソートし、最初の２つの候補のみを保持する。ＲＤコストチェックを使用して、どの動きベクトル対候補を現在のＣＵの制御点動きベクトル予測（ＣＰＭＶＰ）として選択するかを判定する。そして、候補リストにおけるＣＰＭＶＰの位置を示すインデックスをビットストリームにおいて信号通知する。現在のアフィンＣＵのＣＰＭＶＰを判定した後、アフィン動き推定を適用し、制御点動きベクトル（ＣＰＭＶ）を求める。次に、ＣＰＭＶとＣＰＭＶＰとの差をビットストリームにおいて信号通知する。

ＡＦ＿ＩＮＴＥＲモードにおいて、４／６パラメータアフィンモードが使用される場合、２／３個の制御点が必要であり、従って、図２２に示すように、これらの制御点のために２／３個のＭＶＤを符号化することが必要である。ＭＶを以下のように導出することが提案される。即ち、ｍｖｄ_１およびｍｖｄ_２はｍｖｄ_０から予測する。

ここで、ｍ^￣ｖ_ｉ ^￣、ｍｖｄ_ｉ、ｍｖ_１は、それぞれ、図２２（ｂ）に示すように、左上の画素（ｉ＝０）、右上の画素（ｉ＝１）、左下の画素（ｉ＝２）の予測動きベクトル、動きベクトルの差分、動きベクトルである。なお、２つの動きベクトル（例えば、ｍｖＡ（ｘＡ、ｙＡ）およびｍｖＢ（ｘＢ、ｙＢ））の加算は、２つのモジュールを別個に合計したものに等しく、即ち、ｎｅｗＭＶ＝ｍｖＡ＋ｍｖＢであり、ｎｅｗＭＶの２つのモジュールをそれぞれ（ｘＡ＋ｘＢ）および（ｙＡ＋ｙＢ）に設定する。

２．２．６．２． ＡＦ＿ＭＥＲＧＥモード
ＡＦ＿ＭＥＲＧＥモードでＣＵを適用する場合、ＣＵは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第１のブロックを得る。そして、候補ブロックの選択順は、図２４ａに示すように、左、上、右上、左下、左上から左上へとなる。図２４ｂに示すように、左下隣のブロックＡをアフィンモードで符号化すると、ブロックＡを含むＣＵの左上隅、右上隅、左下隅の動きベクトルｖ_２、ｖ_３、ｖ_４が導出される。そして、ｖ_２、ｖ_３、ｖ_４に基づいて、現在のＣＵにおける左上隅の動きベクトルｖ_０を算出する。次に、現在のＣＵの右上の動きベクトルｖ_１を算出する。

現在のＣＵ ｖ_０、ｖ_１のＣＰＭＶを導出した後、簡易アフィン動きモデル式（１）に基づいて、現在のＣＵのＭＶＦを生成する。現在のＣＵがＡＦ＿ＭＥＲＧＥモードで符号化されているか否かを識別するために、アフィンモードで符号化された近傍のブロックが少なくとも１つある場合、ビットストリーム内にアフィンフラグを信号通知する。

アフィンマージ候補リストは、以下のステップを使用して構築される。

継承されたアフィン候補を挿入する。

継承されたアフィン候補は、その有効な近傍のアフィン符号化ブロックのアフィン動きモデルからその候補を導出することを意味する。共通ベースにおいて、図２５に示すように、候補位置の走査順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２である。

候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。

構築されたアフィン候補を挿入する。

アフィンマージ候補リストにおける候補の数がＭａｘＮｕｍＡｆｆｉｎｅＣａｎｄ未満である（この寄与において５に設定される）場合、構築されたアフィン候補を候補リストに挿入する。構築されたアフィン候補は、各制御点の近傍の動き情報を組み合わせることで候補を構築することを意味する。

まず、図２５に示される特定された空間的近傍および時間的近傍から、制御点の動き情報を導出する。ＣＰｋ（ｋ＝１、２、３、４）は、ｋ番目の制御点を表す。Ａ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、Ｂ３は、ＣＰｋ（ｋ＝１、２、３）を予測するための空間的位置であり、Ｔは、ＣＰ４を予測するための時間的位置である。

ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４の座標は、それぞれ、（０，０）、（Ｗ，０）、（Ｈ，０）、（Ｗ，Ｈ）であり、Ｗ、Ｈは、現在のブロックの幅および高さである。

各制御点の動き情報は、以下の優先順位に従って取得される。

ＣＰ１の場合、チェックの優先順位はＢ２－＞Ｂ３－＞Ａ２である。利用可能であれば、Ｂ２を使用する。そうではなく、Ｂ２が利用可能である場合、Ｂ３が使用される。Ｂ２とＢ３の両方が利用不可能である場合、Ａ２が使用される。３つの候補のすべてが利用不可能である場合、ＣＰ１の動き情報を取得することができない。

ＣＰ２の場合、チェックの優先順位はＢ１－＞Ｂ０である。

ＣＰ３の場合、チェックの優先順位はＡ１－＞Ａ０である。

ＣＰ４にはＴを用いる。

次に、アフィンマージ候補を構築するためにこれらの制御点の組み合わせを使用する。

６パラメータアフィン候補を構築するためには、３つの制御点の動き情報が必要である。３つの制御点は、以下の４つの組み合わせ（｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝）のうち１つを選択することができる。｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝の組み合わせを、左上、右上、左下の制御点で表される６パラメータ動きモデルに変換する。

４パラメータアフィン候補を構築するためには、２つの制御点の動き情報が必要である。２つの制御点は、以下の６つの組み合わせ（｛ＣＰ１，ＣＰ４｝，｛ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ２｝，｛ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３｝，｛ＣＰ３，ＣＰ４｝）のうち１つを選択することができる。｛ＣＰ１，ＣＰ４｝，｛ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３｝，｛ＣＰ３，ＣＰ４｝の組み合わせを、左上および右上の制御点で表される４パラメータ動きモデルに変換する。

構築されたアフィン候補の組み合わせを以下の順に候補リストに挿入する。

｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ２｝，｛ＣＰ１，ＣＰ３｝，｛ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ４｝，｛ＣＰ２，ＣＰ４｝，｛ＣＰ３，ＣＰ４｝

ある組み合わせの参照リストＸ（Ｘは０または１）に対して、制御点における使用率が最も高い参照インデックスをリストＸの参照インデックスとして選択し、差分参照ピクチャに対する動きベクトルのポイントをスケーリングする。

候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。

動きベクトルがゼロのパディング。

アフィンマージ候補リストにおける候補の数が５未満である場合、リストが一杯になるまで、参照インデックスがゼロのゼロ動きベクトルを候補リストに挿入する。

２．２．７． 双方向オプティカルフロー
双方向オプティカルフロー（ＢＩＯ）は、双予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの微調整である。サンプルレベルの動きの微調整は、信号通知を使用しない。

ブロックの動き補償の後、Ｉ^（ｋ）を基準ｋ（ｋ＝０，１）からの輝度値、そして∂Ｉ
^（ｋ）／∂ｘと∂Ｉ^（ｋ）／∂ｙを、それぞれ、Ｉ^（ｋ）勾配の水平および垂直方向成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、次式で与えられる。

このオプティカルフロー方程式と各試料の動き軌跡のエルミート補間を組み合わせると、関数値Ｉ^（ｋ）と導関数∂Ｉ^（ｋ）／∂ｘと∂Ｉ^（ｋ）／∂ｙの両端に一致する唯一の３次多項式が得られる。ｔ＝０におけるこの多項式の値がＢＩＯ予測である。

τ_０およびτ_１は、図２６に示すように、基準フレームまでの距離を示す。距離τ_０およびτ_１は、Ｒｅｆ０およびＲｅｆ１のＰＯＣに基づいて以下のように計算される。τ_０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）、τ_１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）。
両方の予測が同じ時間方向から来たものである場合（両方とも過去から来たものであるか、または両方とも将来から来たものである）、符号が異なっている（すなわちτ_０・τ_１＜０）。この場合、ＢＩＯは、予測が同じ時間的瞬間に由来しない（即ち、τ_０≠τ_１）両方の参照領域が非ゼロ動き（ＭＶｘ_０，ＭＶｙ_０，ＭＶｘ_１，ＭＶｙ_１≠０）を有し、ブロック動きベクトルが時間距離（ＭＶｘ_０／ＭＶｘ_１＝ＭＶｙ_０／ＭＶｙ_１＝－τ_０／τ_１）に比例する場合にのみ適用される。

動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、点Ａと点Ｂ（図９の動き軌跡と参照フレーム平面の交差）における値の差Δを最小にすることによって判定される。モデルは、Δに対してローカルテイラー展開の第１の線形項のみを使用する。

式（５）におけるすべての値は、サンプル位置（ｉ’，ｊ’）に依存し、これまでの表記から省略した。動きがローカル周辺エリアにおいて一貫していると仮定すると、現在の予測点（ｉ，ｊ）を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形窓の内側で、Δを最小限に抑える。Ｍは２に等しい。

この最適化問題に対して、ＪＥＭは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、

ここで、

ゼロで割るかまたは非常に小さな値になることを回避するために、式（７）および式（８）に正則化パラメータｒおよびｍを導入する。

ｄは映像サンプルのビット深さである。

ＢＩＯのメモリアクセスを通常の二重予測動き補償と同じにするために、すべての予測値と勾配値であるＩ^（ｋ）、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙは、現在のブロック内の位置について計算される。式（９）において、予測ブロックの境界における現在の予測点を中心とする（２Ｍ＋１）×（２Ｍ＋１）^２窓Ωは、（図２７（ａ）に示すように）外側の位置にアクセスする必要がある。ＪＥＭにおいて、ブロックの外側のＩ^（ｋ）、∂Ｉ
^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙの値は、ブロックの内側の最も近い利用可能な値に等しくなるように設定される。例えば、これは、図２７（ｂ）に示すように、パディングとして実装されてもよい。

ＢＩＯを用いることで、サンプルごとに動きフィールドを微調整することができる。計算の複雑性を低減するために、ＪＥＭではブロックに基づくＢＩＯの設計が用いられている。４×４ブロックに基づいて動きの微調整を計算する。ブロックに基づくＢＩＯにおいて、４×４ブロックにおけるすべてのサンプルの、式（９）におけるｓ_ｎの値を統合し、次いで、ｓ_ｎの統合した値を使用して、４×４ブロックのためのＢＩＯ動きベクトルオフセットを導出する。具体的には、ブロックに基づくＢＩＯ導出には、以下の式が使用される。

ｂｋは、予測ブロックのｋ番目の４×４のブロックに属するサンプルのセットを示す。式（７）および式（８）におけるｓ_ｎを（（ｓ_ｎ，_ｂｋ）＞＞４）に置き換え、関連する動きベクトルオフセットを導出する。

場合によっては、ＢＩＯのＭＶ管理は、雑音または不規則な動きのために信頼できない場合がある。従って、ＢＩＯにおいて、ＭＶレジメンの大きさは閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるか否かに基づいて判定される。現在の画像の参照ピクチャがすべて一方向からのものである場合、閾値の値は１２×２^１４－ｄに設定され、そうでない場合、１２×２^１３－ｄに設定される。

ＨＥＶＣ動き補償処理（２Ｄ分離可能ＦＩＲ）に整合的に演算を使用して、動き補償補間と同時にＢＩＯの勾配を算出する。この２Ｄ分離可能ＦＩＲの入力は、ブロック動きベクトルの端数部分にしたがって、動き補償処理および端数位置（ｆｒａｃＸ、ｆｒａｃＹ）の場合と同じ参照フレームサンプルである。水平勾配∂Ｉ／∂ｘ信号の場合、まず、デスケーリングシフトｄ－８によって、端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して、垂直方向に補間し、次に、勾配フィルタＢＩＯｆｉｌｔｅｒＧを、端数位置ｆｒａｃＸに対応する水平方向に適用し、デスケーリングシフトを１８－ｄだけ行う。垂直方向勾配∂Ｉ／∂ｙのとき、デスケーリングシフトｄ－８で端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを使用して垂直に第１の勾配フィルタを適用し、次に、ＢＩＯｆｉｌｔｅｒＳを使用して、端数位置ｆｒａｃＸに対応する水平方向に１８－ｄだけデスケーリングシフトさせて信号を移動させる。妥当な複雑性を保守するために、勾配計算ＢＩＯＦｉｌｔｅｒＧおよび信号変位ＢＩＯＦｉｌｔｅｒＦのための補間フィルタの長さを短く（例えば、６タップ）する。表３は、ＢＩＯにおけるブロック動きベクトルの異なる分数位置のための勾配計算に使用されるフィルタを示す。表４は、ＢＩＯにおける予測信号の生成に使用される補間フィルタを示す。

ＪＥＭにおいて、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯをすべての双予測されたブロックに適用することができる。ＣＵに対してＬＩＣが有効になっている場合、ＢＩＯは無効になる。

ＪＥＭにおいて、ＯＢＭＣは、通常のＭＣ処理の後のブロックに適用される。計算の複雑性を低減するために、ＯＢＭＣ処理中にＢＩＯを適用しない。つまり、ＢＩＯは、それ自身のＭＶを使用する場合、１つのブロックのＭＣ処理において適用され、ＯＢＭＣ処理において近傍のブロックのＭＶを使用する場合、ＭＣ処理においては適用されない。

２．２．８． デコーダ側動きベクトル微調整
双予測演算において、１つのブロック領域を予測するために、ｌｉｓｔ０の動きベクトル（ＭＶ）およびｌｉｓｔ１のＭＶをそれぞれ使用して構成される双予測されたブロックを組み合わせ、１つの予測信号を形成する。デコーダ側動きベクトル微調整（ＤＭＶＲ）方法において、バイラテラルテンプレートマッチング処理によって、双予測の２つの動きベクトルをさらに微調整する。追加の動き情報を送信することなく微調整されたＭＶを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間でひずみに基づく検索を行う。

ＤＭＶＲにおいて、図２８に示すように、ｌｉｓｔ０の最初のＭＶ０とｌｉｓｔ１のＭＶ１とから、それぞれ２つの予測ブロックの重み付け結合（すなわち、平均）としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域（最初の予測ブロックの付近）との間のコスト尺度を計算することからなる。２つの参照ピクチャの各々について、テンプレートコストが最小となるＭＶを、そのリストの更新されたＭＶと見なし、元のＭＶに置き換える。ＪＥＭにおいて、各リストに対して９つのＭＶ候補を検索する。９つのＭＶ候補は、元のＭＶと、水平または垂直方向のいずれかまたは両方向に元のＭＶに対してオフセットしている１つの輝度サンプルを有する８つの周囲のＭＶを含む。最後に、２つの新しいＭＶ、即ち、図２８に示すようなＭＶ０’およびＭＶ１’を使用して、最終的な双予測結果を生成する。絶対差の合計（ＳＡＤ）をコスト尺度として使用する。なお、１つの周囲のＭＶによって生成された予測ブロックのコストを計算する場合、実際のＭＶの代わりに、丸められたＭＶ（整数画素）を使用して予測ブロックを得る。

ＤＭＶＲは、追加の構文要素を送信することなく、過去の参照ピクチャからの１つのＭＶと、将来の参照ピクチャからの１つのＭＶとの間の双予測のマージモードに適用される。ＪＥＭにおいて、ＣＵに対してＬＩＣ、アフィンの動き、ＦＲＵＣまたはサブＣＵマージ候補が有効である場合、ＤＭＶＲは適用されない。

開示される技術に基づいたＬＵＴに基づく動きベクトル予測は、既存のおよび将来の映像符号化規格の両方を向上させることができ様々な実装形態のために以下の例で解明される。ＬＵＴは、履歴データ（例えば、既に処理されたブロック）に基づいて符号化／復号化処理を行うことを可能にするため、ＬＵＴに基づく動きベクトル予測は、履歴に基づく動きベクトル予測（ＨＭＶＰ）法と呼ぶこともできる。ＬＵＴに基づく動きベクトル予測方法において、前述の符号化されたブロックからの動き情報を有する１つまたは複数のテーブルは、符号化／復号化処理時に保守される。ＬＵＴに記憶されたこれらの動き候補をＨＭＶＰ候補と称する。１つのブロックの符号化／復号化の間、ＬＵＴにおける関連付けられた動き情報を動き候補リスト（例えば、マージ／ＡＭＶＰ候補リスト）に追加して、１つのブロックをエンコーディング／デコーディングした後に、ＬＵＴを使用してもよい。更新されたＬＵＴは、その後、後続のブロックを符号化するために使用される。つまり、ＬＵＴにおける動き候補の更新は、ブロックの符号化／復号化の順に基づく。以下の実施例は、一般的な概念を説明するための例であると考えられるべきである。これらの例は狭い意味で解釈されるべきではない。さらに、これらの例は、任意の方法で組み合わせることができる。

３． 実施形態が解決しようとする課題の例
三角形分割の設計において、１つのブロックを２つの分割に分割することができる。動き補償に起因するメモリ帯域幅を節約するために、２つの分割は単一予測されるべきであることが必要である。動き補償処理中、対角エッジに対して双予測が使用され、他のすべての部分に対して単一予測が使用される。各分割に対して双予測が許可される場合、対角エッジに位置するサンプルは、４つのＭＶを有し、そのうちの２つは１つの分割からのものであり、２つは別の分割からのものである。このような設計には、以下のような問題がある。

マージリスト構築処理において、空間的に近傍のブロックおよび時間的に隣接するブロックのみをチェックする。

三角形分割の場合、履歴に基づく動きベクトル予測技術は認められていない。

ブロック内コピーモードにおいて、三角形分割モードをどのように扱うかは不明である。

４． 実施形態の例
提案された技術は、任意の非正方形／非長方形の分割、例えばジオメトリ分割に適用されてもよい。以下の説明において、非正方形／非長方形分割モード（ＴＰＭ）の一例として、「三角形分割モード」を使用する。なお、その他の分割であってもよい。

以下の詳細な技術は、一般的な概念を説明するための例と見なされるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。ブロックのサイズをＷｘＨとする。
１．常に三角形予測モードをマージモードに適用する代わりに、イントラ符号化ブロックまたは非マージインター符号化ブロックのために三角形予測モードを有効にすることが提案される。
ａ．一例において、２つの分割は、異なるイントラ予測モードで予測される。
ｂ．代替的に、エッジ境界に沿ったサンプルの予測値をさらにフィルタリングしてもよい。
ｃ．一例において、２つの三角形分割の動き情報（例えば、ＭＶ）は、互いに予測できない。
ｉ．代替的に、一方の三角形分割の動き情報（例えば、ＭＶ）を使用して他方の分割を予測できる。

２．１つのブロックを２つのジオメトリ分割に分割する場合、１つの分割をイントラモードで符号化し、他の分割をインターモードで符号化することができる。
ａ．一例において、インターコードされた分割のために、双予測もまた適用され得る。
ｂ．一例において、このような方法は、現在のブロックがマージモードで符号化されている場合、すなわち、インター符号化された分割の場合、マージインデックスで通知される動き情報を信号通知することができる。
ｃ．代替的に、エッジ境界に沿ったサンプルの予測値をさらにフィルタリングしてもよい。
ｄ．一例において、イントラ予測モードのサブセットのみが適用され得る。
ｉ．サブセットは、２つの分割で異なってもよい。
ｉｉ．サブセットは、分割の位置に依存してもよい。
ｉｉｉ．サブセットは、ブロックサイズおよび／またはブロック形状に依存してもよい。

３．Ｂｕｌｌｅｔ１およびＢｕｌｌｅｔ２に開示されるように、マージまたは非マージのインター符号化ブロックは、現在のピクチャを参照ピクチャとして使用することができる。

４．１つのブロックを三角形分割モードで符号化する場合、非隣接空間的ブロックのインター／イントラ符号化された情報を、現在のブロックを符号化するための予測子として扱ってもよい。
ａ．一例において、非隣接空間的ブロックの動き情報を利用してもよい。
ｂ．一例において、非隣接空間的ブロックのイントラ予測モードが利用してもよい。
ｃ．代替的に、１つのブロックをＴＰＭで符号化するために、時間的ブロックの符号化された情報をさらに利用してもよい。

５．ＴＰＭ符号化ブロックのマージリスト構築処理において、ＨＭＶＰ（履歴に基づく動きベクトル予測）候補を、前述の符号化されたブロックに継承されたまたは由来する動き情報とすることで、ＨＭＶＰ候補から導出された動き候補を加えることが提案されている。
＜ＨＭＶＰ候補記憶装置のため表の保守＞
ａ．ＨＭＶＰ候補の保守および／または記憶および／またはＨＭＶＰ候補の表の更新は、通常の動きベクトルのＨＭＶＰと同じであってもよい。
ｂ．一例において、同じ表が、非ＴＰＭ符号化ブロックおよびＴＰＭ符号化ブロックの両方に利用され得るＨＭＶＰ候補記憶装置のために保守され得る。
ｉ．一例において、ＴＰＭによって使用される動き情報は、ＨＭＶＰ記憶装置に入れられない。ＴＰＭ符号化ブロックを符号化／復号化した後、ＨＭＶＰ表は更新されない。

ｃ．一例において、ＴＰＭ符号化ブロックを符号化するためのＨＭＶＰ候補を記憶するように、別個の表を保守してもよい。
ｉ．純粋にＴＰＭ符号化ブロックからの動き情報を使用して、ＨＭＶＰ候補記憶装置のための表を保守してもよい。
ｉｉ．２つの表を保守して、それぞれ単一および双予測されたＨＭＶＰ候補を記憶することができる。
ｉｉｉ．第１および第２の分割の動き情報をそれぞれ記憶するように、２つの表を保守してもよい。
ｉｖ．２つの表を保守し、Ｌｉｓｔ０およびＬｉｓｔ１の動き情報の動き情報をそれぞれ記憶することができる。
ｖ．代替的に、Ｌｉｓｔ０から単一予測を、Ｌ１から単一予測を、双予測されたＨＭＶＰ候補をそれぞれ記憶するように、３つの表を保守してもよい。

ｄ．ＴＰＭ符号化ブロックで符号化した後、ＨＭＶＰ候補記憶装置のための表を更新しなくてもよい。
ｉ．代替的に、第１の分割の動き情報によって、ＨＭＶＰ候補記憶装置用の表を１つ／複数個更新してもよい。
ｉｉ．代替的に、第２の分割の動き情報によって、ＨＭＶＰ候補記憶装置用の１つ／複数の表を更新してもよい。
ｉｉｉ代替的に、２つのＨＭＶＰ候補を加えることで、両方の分割からの動き情報でＨＭＶＰ候補記憶装置用の１つ／複数の表を更新してもよい。
ｉｖ．代替的に、ＨＭＶＰ候補を１つ加えることで（例えば、２つの参照ピクチャリストから２つの分割を予測する場合）、両方の分割からの動き情報でＨＭＶＰ候補記憶装置用の１つ／複数の表を更新してもよい。
ｖ．１つまたは２つの動き候補をＨＭＶＰ表に加えるか否かは、２つの分割が同じ参照ピクチャリストおよび／または同じ参照ピクチャから予測されたものであるか否かに依存し得る。
ｖｉ．第１の分割または第２の分割の動き情報をＨＭＶＰ表に加えるか否かは、参照ピクチャと現在のピクチャとの間のＰＯＣの差によって決まる。

ｅ．ＴＰＭ符号化ブロックと非ＴＰＭ符号化ブロックとを符号化するために別個の表を保持する場合、１つのブロックのモードに基づいて表の更新を呼び出すことができる。
ｉ．例において、ＴＰＭ符号化ブロックを復号化した後、ＴＰＭ符号化ブロックを符号化するための表を更新するために、この動き情報を使用してもよい。
ｉｉ．一例において、非ＴＰＭ符号化ブロックを復号化した後、この動き情報を使用して、非ＴＰＭ符号化ブロックを符号化するための表を更新してもよい。
ｉｉｉ．代替的に、非ＴＰＭ符号化ブロックを復号化した後、ＴＰＭ符号化ブロック用表を更新するためにこの動き情報を使用してもよい。

＜ＴＰＭ符号化ブロックにおけるＨＭＶＰ候補の使用＞
ｆ．ＨＭＶＰ候補は、ＴＰＭ符号化ブロックのマージリストに直接加えてもよい。
ｉ．代替的に、１つのＨＭＶＰ候補を利用して２つの動き候補を導出することができ、例えば、１つはＬｉｓｔ０動き情報による単一予測であり、他方はＨＭＶＰ候補のＬｉｓｔ１動き情報による単一予測である。
ｉｉ．空間的ブロックまたは時間的ブロックから導出された／継承された他の動き候補とともに、ＨＭＶＰ候補から導出された／継承された動き候補を挿入する場合、プルーニングを適用してもよい。
ｉｉｉ．ＨＭＶＰ候補から導出された／継承された動き候補と、他のＨＭＶＰ候補から導出された／継承された動き候補とを挿入する場合、プルーニングを適用してもよい。
ｉｖ．ＨＭＶＰ候補から導出された／継承された動き候補と、同じＨＭＶＰ候補から導出された／継承された別の動き候補とを挿入する場合、プルーニングを適用してもよい。

ｇ．一例において、１つまたは複数のＨＭＶＰ候補から導出された１つまたは複数の動き候補は、図１４のブロック１～７のような空間的および／または時間的ブロックから導出された動き候補の後に加えてもよい。この場合、ＨＭＶＰ候補は、他の空間的／時間的マージ候補と同様に扱われる。

ｈ．ＨＭＶＰ候補から継承された／導出された動き候補は、空間的／時間的ブロックの動き情報に依存するマージリスト構築処理における特定のステップの直後または前に、マージリストに加えてもよい。
ｉ．代替的に、いくつかの予め規定されたステップの直後または前に、ＨＭＶＰ候補から継承され／導出された動き候補をマージリストに加えてもよい。
ｉｉ．一例において、現在の設計を有する元来単一予測候補の直後に、単一予測を有する１つまたは複数のＨＭＶＰ候補を加えてもよい。
ｉｉｉ．一例において、Ｌ０または双予測からの単一予測を有する１つまたは複数のＨＭＶＰ候補は、全ての短縮されたＬｉｓｔ０予測候補の直後に加えてもよい。代替的に、ＨＭＶＰ候補が双予測を有する場合、Ｌｉｓｔ０動き情報のみを保持してもよい。
ｉｖ．一例において、Ｌ１または双予測からの単一予測を有する１つまたは複数のＨＭＶＰ候補は、全ての短縮されたＬｉｓｔ１－予測候補の直後に加えてもよい。代替的に、ＨＭＶＰ候補が双予測を有する場合、Ｌｉｓｔ１の動き情報のみを保持してもよい。
ｖ．一例において、Ｌｉｓｔ０またはＬｉｓｔ１の動き候補からのすべての平均化された単一予測の直後に、１つまたは複数のＨＭＶＰ候補を加えてもよい。
ｖｉ．一例において、Ｌｉｓｔ０またはＬｉｓｔ１の動き候補からのすべての平均化された単一予測の直前に、１つまたは複数のＨＭＶＰ候補を加えてもよい。

ｉ．ＨＭＶＰ候補から継承された／導出された動き候補を、空間的／時間的ブロックの動き情報から継承した／導出した動き候補とインターリーブ方式でマージリストに加えてもよい。
ｊ．一例において、各ＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補を、他のＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補の前に順に加えてもよい。
ｋ．一例において、第１のＨＭＶＰ候補セットのＬｉｓｔ０から導出された動き候補を、第２のＨＭＶＰ候補セットのＬｉｓｔ１から導出された動き候補の前に順に加えてもよい。
ｉ．一例において、第１のセットおよび第２のセットは、同じセットであり、即ち、全ての利用可能なＨＭＶＰ候補である。
ｉｉ．代替的に、第１のセットと第２のセットが異なってもよく、例えば、第１のＨＭＶＰ候補セットは、Ｌｉｓｔ０からの単一予測を伴うＨＭＶＰ候補および双予測を含み、一方で、第２のＨＭＶＰ候補セットは、Ｌｉｓｔ１からの単一予測を伴うＨＭＶＰ候補および双予測を含む。
ｉｉｉ．第１のセットおよび第２のセットに関連付けられるＨＭＶＰ候補の数は異なってもよい。
ｌ．ｌｉｓｔＬＸのＨＭＶＰ候補は、まずリストＬ（１－Ｘ）にスケーリングされ、次にリストＬ（１－Ｘ）に用いられてもよい。
ｉ．スケーリングされた候補は、他のすべての候補の後に挿入されてもよい。
ｉｉ．スケーリングされた候補は、時間的候補を除く他のすべての候補の後に挿入されてもよい。
ｍ．ＴＰＭマージリストに追加される動き候補を導出するためのＨＭＶＰ候補のチェック順序は、ＨＭＶＰ候補のインデックスに依存してもよい。
ｉ．代替的に、予測方向に依存してもよい。
ｉｉ．代替的に、それは動き情報に依存してもよい。

６．ＴＰＭマージリスト構築処理におけるチェック対象のＨＭＶＰの数は、予め規定されてもよく、例えば、５である。
ａ．ＰＭマージリスト構築処理におけるチェック対象のＨＭＶＰ候補の数は、ブロックサイズ／ブロック形状／ＨＭＶＰ候補をチェックする前に利用可能な候補の数に依存し得る。
ｂ．ＴＰＭマージリスト構築処理におけるチェック対象のＨＭＶＰ候補の数は、ＳＰＳ／ＶＰＳ／ＰＰＳ／ピクチャヘッダ／スライスヘッダ／タイルグループヘッダ／ＣＴＵ行／ＣＴＵ／ＣＴＵグループで信号通知してもよい。
ｃ．ＴＰＭマージリスト構築処理において、利用可能なＨＭＶＰ候補の一部がチェック対象の場合、ＨＭＶＰ候補の選択は、候補の参照ピクチャと現在のピクチャの予測方向／ＭＶ情報／参照ピクチャインデックス／ＰＯＣ距離および／または候補インデックスに依存してもよい。

７．ＴＰＭ符号化ブロックに対してＨＭＶＰを適用するか否か、およびどのように適用するかは、ブロックサイズ（例えば、幅および／または高さ、幅と高さの比）またはブロック形状（例えば、正方形または非正方形）に依存し得る。

８．提案された方法は、ジオメトリ分割のための他の種類の動き候補リスト（例えば、ＡＭＶＰリスト）にも適用可能である。

９．ＨＭＶＰ表のサイズ（即ち、最大数の履歴動き候補を記憶してもよい）は、１つまたは複数の動き候補リストサイズの関数に依存してもよい。
ａ．一例において、ＨＭＶＰ表のサイズは、通常のマージリストサイズ、ＴＰＭマージリストサイズ、ＩＢＣマージリストサイズ、通常のＡＭＶＰ間リストサイズ、通常のＩＢＣ間リストサイズ等に依存してもよい。
ｂ．一例において、ＨＭＶＰ表のサイズは、同じＨＭＶＰ表にアクセスする動き候補リストに依存してもよい。
ｃ．一例において、この関数は、複数の入力のうち最大値を返す関数Ｍａｘ（ｉｎｐｕｔｓ）であってもよい。
ｄ．一例において、ＨＭＶＰ表サイズは、Ｍａｘ（通常のマージリストサイズ―Ｋ０、ＴＰＭマージリストサイズ―Ｋ１、ＩＢＣマージリストサイズ―Ｋ２）として定義されてもよい。
ｉ．一例において、Ｋ０＝Ｋ１＝Ｋ２＝１である。

１０．ＨＭＶＰ表のサイズ（即ち、履歴動き候補の最大数を記憶することができる）は、動き候補リストに追加されることができる１つまたは複数のＨＭＶＰ候補数（ｎｕｍＨＭＶＰで表す）の関数に依存してもよい。
ａ．一例において、それは、動き候補リストに追加され得るＨＭＶＰ候補の数に依存してもよい（例えば、通常のマージリスト、ＴＰＭマージリスト、ＩＢＣマージリスト、通常のＡＭＶＰ間リスト、通常のＩＢＣ間リスト等）。
ｂ．一例において、この関数は、複数の入力のうち最大値を返す関数Ｍａｘ（ｉｎｐｕｔｓ）であってもよい。
ｃ．一例において、ＨＭＶＰ表のサイズは、Ｍａｘ（通常のマージリスト－Ｋ０についてはｎｕｍＨＭＶＰ、通常のＡＭＶＰリストの―Ｋ１についてはｎｕｍＨＭＶＰ）として定義されてもよい。
ｉｉ．一例において、Ｋ０＝１であり、Ｋ１＝０である。
ｄ．一例において、ＨＭＶＰ表のサイズは、Ｍａｘ（通常のマージリスト－Ｋ０についてはｎｕｍＨＭＶＰ、ＴＰＭマージリスト－Ｋ１についてはｎｕｍＨＭＶＰ、ＩＢＣマージリストサイズ－Ｋ２についてはｎｕｍＨＭＶＰ）として定義されてもよい。
ｉｉｉ．一例において、Ｋ０＝Ｋ１＝Ｋ２＝１である。

１１．１つの符号化モードにおけるＨＭＶＰ表のサイズは、他の符号化モードと異なってもよく、動き候補リストサイズに依存してもよい。
ａ．一例において、通常のマージリストおよびＴＰＭマージリストのためのＨＭＶＰ表のサイズは、通常のマージリストサイズに依存してもよい。
ｉｖ．一例において、ＨＭＶＰ表のサイズは、通常のマージリストサイズ－Ｋ０に等しくても、例えば、Ｋ０＝１でもよい。
ｂ．一例において、通常のマージリストおよびＴＰＭマージリストのＨＭＶＰ表サイズは、通常のマージリストサイズおよびＴＰＭマージリストサイズに依存してもよい。
ｖ．一例において、それは、Ｍａｘ（通常のマージリストサイズ－Ｋ０、ＴＰＭマージリストサイズ－Ｋ１）として定義されてもよい。
ｖｉ．一例において、通常のＡＭＶＰ間のＨＶＭＰ表は、通常のマージおよびＴＰＭマージリストに使用されるものに従う。
ｃ．一例において、ＩＢＣ符号化ブロックのＨＭＶＰ表サイズは、通常のマージリストおよび／またはＴＰＭマージリストのＨＭＶＰ表サイズに依存する。
ｖｉｉ．例えば、ＩＢＣ符号化ブロックのＨＭＶＰ表のサイズは、通常のマージリストおよび／またはＴＰＭマージリストのＨＭＶＰ表のサイズと等しい。
ｖｉｉｉ．代替的に、ＩＢＣ符号化されたマージ／ＡＶＭＰブロックのためのＨＭＶＰ表のサイズは、ＩＢＣマージ／ＡＭＶＰ候補リストサイズに依存してもよい。
ｄ．ＨＭＶＰ表サイズの表示は、ビットストリームにおいて信号通知されてもよい。
ｉｘ．信号通知されたサイズが０である場合、どの動き候補リストにもＨＭＶＰ候補を挿入しない。
ｘ．一例において、ＨＭＶＰ表サイズは、０であってはならない。
ｘｉ．代替的に、ＨＭＶＰ表のサイズ－Ｋ０、例えば、Ｋ０＝１が信号通知される。

１２．動き候補リストに追加され得る許可されたＨＭＶＰ候補の数の表示は、ビットストリームにおいて信号通知されてもよい。
ａ．一例において、各モード（例えば、ＩＢＣまたは非ＩＢＣ；ＡＭＶＰをマージしない）において、許可されたＨＭＶＰ候補の数の表示は、独立して信号通知されてもよい。
ｂ．代替的に、許可されたＨＭＶＰ候補の数の表示は、予測方式で信号通知されてもよい。
ｃ．代替的に、ＨＭＶＰ表のサイズは、ＨＭＶＰ候補の許容数に依存してもよい。
ｄ．例えば、動き候補リストに追加され得る許容ＨＭＶＰ候補の数は、０であってはならない。
ｅ．代替的に、動き候補リストに追加され得る許可されたＨＭＶＰ候補の数－Ｋ０、例えば、Ｋ０＝１を信号通知してもよい。
ｆ．代替的に、動き候補リスト（ｎｕｍＨＭＶＰで示す）に加えることができる許容ＨＭＶＰ候補の数と、動き候補リストにおける最大動き候補の数（ｎｕｍＭｏｔｉｏｎＬｉｓｔで示す）の予測符号化を適用してもよい。
ｘｉｉ．一例において、ｎｕｍＭｏｔｉｏｎＬｉｓｔとｎｕｍＨＭＶＰとの間の差は、符号化してもよい。
ｘｉｉｉ．一例において、（ｎｕｍＭｏｔｉｏｎＬｉｓｔ－Ｋ０）とｎｕｍＨＭＶＰとの間の差は、例えば、Ｋ０＝１に符号化されてもよい。

１３．動き候補リストに追加されることができる許可されたＨＭＶＰ候補の数は、動き候補リストサイズに依存してもよい。
ａ．一例において、対応する動き候補リストサイズ、例えば、（リストサイズ－Ｋ０）、例えば、Ｋ０＝０または１から導出されてもよい。
ｂ．一例において、それは、動き候補リストが使用する対応するＨＭＶＰ表のサイズ、例えば（表サイズ－Ｋ０）、例えばＫ０＝０または１から導出されてもよい。

１４．適合ビットストリームは、動き候補リストに追加され得る許容ＨＭＶＰ候補の数が、動き候補リストにおける最大動き候補の数よりも大きくならないことを満足するものとする。
ａ．代替的に、適合ビットストリームは、動き候補リストに追加され得る許容ＨＭＶＰ候補の数が、（動き候補リストにおける最大動き候補の数からＫ０を減算したもの）よりも大きくない、例えば、Ｋ０＝１であることを満足するものとする。

図２９は、映像処理装置２９００のブロック図である。本明細書に記載の方法の１つ以上を実装するために、装置２９００を使用してもよい。装置２９００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置２９００は、１つ以上の処理装置２９０２と、１つまたは複数のメモリ２９０４と、映像処理ハードウェア２９０６と、を含んでもよい。処理装置２９０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）２９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア２９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図３１は、映像を処理する方法３１００のフローチャートである。方法３１００は、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかを判定すること（３１０５）と、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定に基づいて、第１の映像ブロックのための第１の予測部分および第２の予測部分を判定することであって、第１の予測部分または第２の予測部分の一方または両方が第１の映像ブロックの非長方形且つ非正方形部分である、判定すること（３１１０）と、第１の予測部分および第２の予測部分を使用して、第１の映像ブロックに対して更なる処理を行うこと（３１１５）と、を含む。

図３２は、映像を処理する方法３２００のフローチャートである。方法３２００は、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定を行うこと（３２０５）と、第１の映像ブロックのための第１の予測部分および第２の予測部分を判定することであって、第１の予測部分または第２の予測部分のうちの一方または両方が第１の映像ブロックの非長方形且つ非正方形部分である、判定すること（３２１０）と、第１の予測部分および第２の予測部分を使用して第１の映像ブロックをさらに処理することであって、少なくとも１つの予測部分は、参照画像として現在の画像を使用してマージまたは非マージインター符号化される、処理すること（３２１５）と、を含む。

図３３は、映像を処理する方法３３００のフローチャートである。方法３３００は、第１の映像ブロックがイントラ符号化されているかまたは非マージインター符号化されているかの判定を行うこと（３３０５）と、第１の映像ブロックのための第１の予測部分および第２の予測部分を判定することであって、第１の予測部分または第２の予測部分の一方または両方が第１の映像ブロックの非長方形且つ非正方形部分である、判定すること（３３１０）と、第１の予測部分および第２の予測部分を使用して第１の映像ブロックをさらに処理することであって、第１の予測部分および第２の予測部分を使用して第１の映像ブロックをさらに処理することは、第１の映像ブロックに関連する非隣接空間的ブロックのインターまたはイントラ符号化された情報に基づく、処理すること（３３１５）と、を含む。

図３４は、映像を処理する方法３４００のフローチャートである。方法３４００は、第１の映像ブロックの三角形予測部分を使用して第１の映像ブロックを三角形部分モード（ＴＰＭ）で符号化されていることと、第２の映像ブロックの非三角形予測部分を使用して第２の映像ブロックを、非ＴＰＭを使用して符号化されていることとの判定を行うこと（３４０５）と、記憶されたＨＭＶＰ候補を使用して第１の映像ブロックおよび第２の映像ブロックをさらに処理すること（３４１０）と、第１の映像ブロックおよび第２の映像ブロックに関連付けられたＨＭＶＰ候補を記憶する（３４１５）ことと、を含む。

図３５は、映像を処理する方法３５００のフローチャートである。方法３５００は、第１の映像ブロックが、第１の映像ブロックの非長方形且つ非正方形部分である予測部分を含む判定を行うこと（３５０５）と、ＨＭＶＰ候補を特定すること（３５１０）と、ＨＭＶＰ候補から導出された１つ以上の動き候補を、非長方形且つ非正方形である予測部分を含む映像ブロックに関連付けられたマージリストに加えること（３５１５）と、このマージリストを使用して第１の映像ブロックをさらに処理すること（３５２０）と、を含む。

方法３１００、３２００、３３００、３４００および３５００を参照すると、符号化の候補を判定することおよびそれらの使用のいくつかの例が、本明細書の第４章に記載されている。例えば、第４章で説明したように、非正方形かつ非長方形の予測部分を使用して映像ブロックを処理することができる。

方法３１００、３２００、３３００、３４００、３５００を参照すると、１つの映像ブロックは、１つの映像ビットストリームにおいて符号化されてもよく、１つのビットストリームにおけるビット効率は、１つの動き情報予測に関する１つのビットストリーム生成規則を使用することによって達成してもよい。

この方法は、第１のイントラ予測モードを使用して第１の予測部分の画像情報を判定することと、第２のイントラ予測モードを使用して第２の予測部分ドの画像情報を判定することとを含むことができ、第１のイントラ予測モードは、第２のイントラ予測モードと異なる。

この方法は、第１の予測部分と第２の予測部分との間のエッジ境界に沿って、第１の予測部分および第２の予測部分に関連する予測値をフィルタリングすることを含むことができる。

この方法は、処理装置によって、第１の予測部分の第１の動き情報を判定することと、処理装置によって、第２の予測部分の第２の動き情報を判定することと、第２の動き情報を使用せずに第１の動き情報を判定し、第１の動き情報を使用せずに第２の動き情報を判定することと、を含むことができる。

この方法は、処理装置によって、第１の予測部分の第１の動き情報を判定することと、処理装置によって、第２の予測部分の第２の動き情報を判定することであって、第２の動き情報は、第１の動き情報を使用して判定される、判定することを含むことができる。

この方法は、第１の予測部分をイントラモード符号化で処理することと、第２の予測部分をインターモード符号化で処理することと、を含むことができる。

この方法は、第２の予測部分を処理することが、双予測を適用することを含むことができる。

この方法は、第２の予測部分を処理することが、マージインデックスとともに信号通知される動き情報を判定することを含むことができる。

この方法は、第１の予測部分と第２の予測部分との間のエッジ境界に沿って、第１の予測部分および第２の予測部分に関連する予測値をフィルタリングすることを含むことができる。

この方法は、イントラモード符号化のサブセットを使用することを含むことができる。

この方法は、第１の予測部分および第２の予測部分がイントラモード符号化の異なるサブセットに関連付けられることを含むことができる。

この方法は、第１の予測部分と第２の予測部分との位置に基づいて、第１の予測部分と第２の予測部分とをイントラモード符号化の異なるサブセットに関連付けることを含むことができる。

この方法は、第１の映像ブロックのサイズまたは第１の映像ブロックの形状のうちの１つ以上に基づいて、第１の予測部分および第２の予測部分が異なるイントラモード符号化のサブセットに関連付けられることを含むことができる。

この方法は、非隣接空間的映像ブロックのインター符号化された情報またはイントラ符号化された情報が、この非隣接空間的映像ブロックの動き情報を含むことを含むことができる。

この方法は、非隣接空間的映像ブロックのイントラ予測モードを使用することを含むことができる。

この方法は、時間的ブロックの符号化された情報を使用することを含むことができる。

この方法は、動きベクトル予測候補リストにおいて、前述の符号化された映像ブロックに基づく動き情報を含む履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を加えることと、であって、ＨＭＶＰ候補は、前述の符号化された映像ブロックに基づいた動き情報を含む、加えることと、ＨＭＶＰ候補に基づいて第１の映像ブロックを復号化することと、を含むことができる。

この方法は、ＨＭＶＰ候補を表に記憶し、ＴＰＭが使用する動き情報をこの表に記憶しないことを含むことができる。

この方法は、ＴＰＭを使用して第１の映像ブロックを符号化または復号化した後、表を更新しないことを含むことができる。

この方法は、ＨＭＶＰ候補は、第１の表および第２の表に記憶され、第１の表は、ＴＰＭのＨＭＶＰ候補を記憶し、第２の表は、非ＴＰＭのＨＭＶＰ候補を記憶することを含むことができる。

この方法は、第１の表または第２の表のうちの一方に単予測ＨＭＶＰ候補を記憶し、他方に双予測されたＨＭＶＰ候補を記憶することを含むことができる。

この方法は、第１の表または第２の表のうちの一方が第１の分割部分の動き情報を記憶し、他方が第２の分割部分の動き情報を記憶することを含むことができる。

この方法は、第１の表または第２の表の一方がＬｉｓｔ０の動き情報を記憶し、他方がＬｉｓｔ１の動き情報を記憶することを含むことができる。

この方法は、第１の表がＬｉｓｔ０からの単一予測ＨＭＶＰ候補を記憶し、第２の表がＬｉｓｔ１からの単一予測ＨＭＶＰ候補を記憶し、第３の表が双予測されたＨＭＶＰ候補を記憶することを含むことができる。

この方法は、第１の映像ブロックの非長方形且つ非正方形の幾何学的形状部分である第１の予測部分または第２の予測部分一方または両方に基づいて、ＨＭＶＰ候補記憶装置用の表を更新しないことを含むことができる。

この方法は、第１の分割部分の動き情報を使用して、ＨＭＶＰ候補記憶装置用の第１の表または第２の表のうちの１つ以上を更新することを含むことができる。

この方法は、第１の表または第２のＨＭＶＰ候補記憶装置用の表のうちの１つ以上を、第２の分割部分の動き情報で更新することを含むことができる。

この方法は、第１の分割部分の動き情報および第２の分割部分の動き情報で、ＨＭＶＰ候補記憶装置用の第１の表または第２の表のうちの１つ以上を更新することを含むことができる。

この方法は、２つの参照ピクチャリストから第１の分割部分および第２の分割部分が予測されていると判定することと、２つの参照ピクチャリストから第１の分割部分および第２の分割部分が予測されていると判定されることに基づいて、１つのＨＭＶＰ候補の動き情報を使用して、ＨＭＶＰ候補記憶装置用の１つ以上の表を更新することとを含むことができる。

この方法は、同じ参照ピクチャリストまたは同じ参照ピクチャを使用して第１の分割部分および第２の分割部分を予測することを判定することを含むことができ、第１の分割部分と第２の分割部分とが同じ参照ピクチャリストまたは同じ参照ピクチャを使用して予測されているとの判定に基づいて表を更新する。

この方法は、参照ピクチャと現在の画像との間のピクチャオーダカウント（ＰＯＣ）差を判定することを含むことができ、第１の分割部分または第２の分割部分の動き情報を、ＰＯＣ差に基づいて１つ以上の表に加える。

この方法は、第１の映像ブロックの符号化に関する特徴を判定することと、第１の映像ブロックの符号化に関する特徴に基づいて、第１の表または第２の表の一方または両方を更新することと、を含むことができる。

この方法は、ＴＰＭ映像ブロックを復号化した後、ＴＰＭ映像ブロックに関連付けられた表を更新するために動き情報を使用することを含むことができる。

この方法は、非ＴＰＭ映像ブロックを復号化した後、非ＴＰＭ映像ブロックに関連付けられた表を更新するために動き情報を使用することを含むことができる。

この方法は、非ＴＰＭ映像ブロックを復号化した後、ＴＰＭ映像ブロックに関連付けられた表を更新するために動き情報を使用することを含むことができる。

この方法は、ＨＭＶＰ候補から、第１の動き候補および第２の動き候補を判定することを含むことができ、第１のマージ候補または第２のマージ候補のうちの一方は、ＨＭＶＰ候補のＬｉｓｔ０動き情報で単一予測され、他方は、ＨＭＶＰ候補のＬｉｓｔ１動き情報で単一予測される。

この方法は、ＨＭＶＰ候補から導出された動き候補と、空間的または時間的映像ブロックに基づく他の動き候補とを挿入することに基づいてプルーニングすることを含むことができる。

この方法は、ＨＭＶＰ候補から導出された動き候補と、他のＨＭＶＰ候補に基づく他の動き候補とを挿入することに基づいてプルーニングすることを含むことができる。

この方法は、ＨＭＶＰ候補から導出された動き候補と、ＨＭＶＰ候補に基づく他の動き候補とを挿入することに基づいてプルーニングすることを含むことができる。

この方法は、マージリストの、空間的または時間的映像ブロックの一方または両方から導出された動き候補の後に、第１の映像ブロックに関連付けられたＨＭＶＰ候補から導出された動き候補を加えることを含むことができる。

この方法は、空間的または時間的映像ブロックの動き情報に基づいて、マージリスト構築処理の後または前に、ＨＭＶＰ候補から導出された動き候補をマージリストに加えることを含むことができる。

この方法は、予め規定されたステップの後または前に、ＨＭＶＰ候補から導出された動き候補をマージリストに加えることを含むことができる。

この方法は、ＨＭＶＰ候補から導出された動き候補と単一予測とを、他の元々の単一予測候補の後に加えることを含むことができる。

この方法は、ＨＭＶＰ候補から導出された動き候補に、Ｌｉｓｔ０からの単一予測または短縮されたＬｉｓｔ０の予測後の双予測を加えることを含むことができる。

この方法は、Ｌｉｓｔ１からの単一予測または切り捨てられたＬｉｓｔ１の予測された候補の後の双予測を使用して、ＨＭＶＰ候補から導出された動き候補を加えることを含むことができる。

この方法は、Ｌｉｓｔ０またはＬｉｓｔ１の動き候補から平均化された単一予測の後に、ＨＭＶＰ候補から導出された動き候補を加えることを含むことができる。

この方法は、Ｌｉｓｔ０またはＬｉｓｔ１の動き候補から平均化された単一予測の前に、ＨＭＶＰ候補から導出された動き候補を加えることを含むことができる。

この方法は、第１の映像ブロックに対する空間的または時間的映像ブロックの動き情報に基づく動き候補と交互配置することにしたがって、ＨＭＶＰ候補から導出された動き候補をマージリストに加えることを含むことができる。

この方法は、ＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補を、別のＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補の前に順に加えることを含むことができる。

本方法は、本明細書では、第２のＨＭＶＰ候補の集まりのＬｉｓｔ１から導出された動き候補を抽出する前に、第１のＨＭＶＰ候補の集まりのＬｉｓｔ０から導出された動き候補を順に加えることを含むことができる。

この方法は、第１のセットと第２のセットが同じであり、第１のセットと第２のセットがすべての利用可能なＨＭＶＰ候補を含むことを含むことができる。

本方法は、第１のセットと第２のセットとが異なり、第１のセットは、Ｌｉｓｔ０からの単一予測を伴うＨＭＶＰ候補および双予測を含み、第２のセットは、Ｌｉｓｔ１からの単一予測を伴うＨＭＶＰ候補および双予測を含むことを含むことができる。

この方法は、第１のセットが第１の数のＨＭＶＰ候補を含み、第２のセットが第２の数のＨＭＶＰ候補を含み、第１の数と第２の数が異なることを含むことができる。

この方法は、ｌｉｓｔＬＸの動きベクトルをｌｉｓｔＬ（１－Ｘ）にスケーリングすることで、ＨＭＶＰ候補からスケーリングされた動き候補を導出してもよく、スケーリングされた動き候補には、スケーリングされた動きベクトルおよびｌｉｓｔＬ（１－Ｘ）が割り当てられることを含むことができる。

この方法は、ＨＭＶＰ候補から導出された他の動き候補の後に、ＨＭＶＰ候補から導出されたスケーリングされた動き候補を挿入することを含むことができる。

この方法は、ＨＭＶＰ候補から導出されたスケーリングされた動き候補を時間的候補の前に挿入することを含むことができる。

この方法は、マージリストに追加されるＨＭＶＰ候補のチェック順序は、ＨＭＶＰ候補のインデックスに基づくことを含むことができる。

この方法は、予測方向に基づいて、マージリストに追加されるＨＭＶＰ候補のチェック順序を判定することを含むことができる。

本方法は、動き情報に基づいて、マージリストに追加されるＨＭＶＰ候補のチェック順序を判定することを含むことができる。

この方法は、ＴＰＭマージリスト構築処理においてチェック対象のＨＭＶＰ候補の数を予め規定することを含むことができる。

本方法は、ＴＰＭマージリスト構築処理におけるチェック対象のＨＭＶＰ候補の数は、第１の映像ブロックのブロックサイズ、第１の映像ブロックのブロック形状、またはＨＭＶＰ候補のチェック前に利用可能な候補の数に基づくことを含むことができる。

この方法は、ＴＰＭマージリスト構築処理においてチェック対象のＨＭＶＰ候補の数を、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、タイルグループヘッダ、スライスヘッダ、符号化ツリーユニットの行のグループ（ＣＴＵ）、ＣＴＵ、またはＣＴＵのグループにおいて信号通知することを含むことができる。

この方法は、ＨＭＶＰ候補の選択が、予測方向、動きベクトル（ＭＶ）情報、参照ピクチャインデックス、候補のうちの一方または両方の参照ピクチャと現在のピクチャとのＰＯＣ距離、または候補インデックスに基づくことを含むことができる。

この方法は、第１の映像ブロックに関連するＨＭＶＰの適用が、第１の映像ブロックのブロックサイズまたは第１の映像ブロックのブロック形状に基づくことを含むことができる。

この方法は、非長方形且つ非正方形部分が三角形であることを含むことができる。

開示された技術は、圧縮されている符号化ユニットが、従来の正方形のブロックまたは半正方形の長方形のブロックとは大きく異なる形状を有する場合、圧縮効率を向上させるために、ビデオエンコーダまたはデコーダに実施されてもよいことは理解できよう。例えば、４×３２または３２×４サイズのユニットのような長いまたは背の高い符号化ユニットを使用する新しい符号化ツールは、開示された技術から恩恵を受けることができる。

図３６は、映像を処理する方法３６００のフローチャートである。方法３６００は、現在の視覚メディアデータのブロックと視覚メディアデータの対応する符号化表現との間での変換中に、現在のブロックの複数のサブ部分を判定すること（３６０５）と、複数のサブ部分のイントラ予測情報を判定すること（３６１０）と、複数のサブ部分のイントラ予測情報を使用して現在のブロックの変換を行うこと（３６１５）とを含み、現在のブロックは、イントラ符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。なお、このサブ部分は、上の予測部分に相当することができる。

いくつかの実装形態において、方法３６００に対して追加の修正を行ってもよい。例えば、複数のサブ部分のイントラ予測情報を判定することは、第１のイントラ予測モードを使用して、複数のサブ部分における第１のサブ部分の第１のイントラ予測情報を判定することと、第２のイントラ予測モードを使用して、複数のサブ部分における第２のサブ部分の第２のイントラ予測情報を判定することと、を含み、第１のイントラ予測モードは、第２のイントラ予測モードとは異なる。第１のイントラ予測情報は、イントラ予測モードの第１のサブセットを使用して判定され、第２のイントラ予測情報は、イントラ予測モードの第２のサブセットを使用して判定され、イントラ予測モードの第１のサブセットは、イントラ予測モードの第２のサブセットとは異なる。イントラ予測モードのサブセットは、第１のサブ部分および／または第２のサブ部分の位置、サイズ、および形状のうちの少なくとも１つに基づく。複数のサブ部分のイントラ予測情報を判定することは、複数のサブ部分のうちの少なくとも１つのサブ部分のエッジ境界に沿ってサンプルの予測値をフィルタリングすることをさらに含む。複数のサブ部分の第２のサブ部分の第２のイントラ予測情報を使用せずに、複数のサブ部分の第１のサブ部分の第１のイントラ予測情報を判定し、第１のサブ部分の第１のイントラ予測情報を使用せずに、第２のサブ部分の第２のイントラ予測情報を判定する。複数のサブ部分の第１のサブ部分の第１のイントラ予測情報は、複数のサブ部分の第２のサブ部分の第２のイントラ予測情報を使用して判定され、且つ／または第２のサブ部分の第２のイントラ予測情報は、第１のサブ部分の第１のイントラ予測情報を使用して判定される。

図３７は、映像を処理する方法３７００のフローチャートである。方法３７００は、視覚メディアデータの現在のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、現在のブロックのために複数のサブ部分を判定すること（３７０５）と、複数のサブ部分の動き情報を判定すること（３７１０と）、複数のサブ部分の動き情報を使用して現在のブロックの変換を行うこと（３７１５）と、を含み、現在のブロックは、インター符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。

いくつかの実装形態において、方法３７００に対して追加の修正を行ってもよい。例えば、複数のサブ部分の動き情報を判定することは、第１のイントラ予測モードを使用して、複数のサブ部分における第１のサブ部分の第１の動き情報を判定することと、第２のイントラ予測モードを使用して、複数のサブ部分における第２のサブ部分の第２の動き情報を判定することと、を含む。複数のサブ部分のイントラ予測を判定することは、複数のサブ部分のうちの少なくとも１つのサブ部分のエッジ境界に沿ってサンプルの予測値をフィルタリングすることをさらに含む。第２のサブ部分の第２の動き情報を使用せずに、第１のサブ部分の第１の動き情報を判定し、第１のサブ部分の第１の動き情報を使用せずに、第２のサブ部分の第２の動き情報を判定する。第２の予測の第２の動き情報を使用して、第１のサブ部分の第１の動き情報を判定し、且つ／または第１のサブ部分の第１の動き情報を使用して第２のサブ部分の第２の動き情報を判定する。

図３８は、映像を処理する方法３８００のフローチャートである。方法３８００は、視覚メディアデータの現在のブロックと、前記視覚メディアデータの対応する符号化表現との間で変換を行うこと（３８０５）であって、現在のブロックは、第１のサブ部分が非長方形且つ非正方形の形状を有する分割パターンにしたがって複数の階部分に分割される、変換を行うことと、第１のサブ部分を、イントラ符号化モードで処理すること（３８１０）と、第２のサブ部分をインター符号化モードで処理すること（３８１５）と、を含む。

いくつかの実装形態において、方法３８００に対して追加の修正を行うことができる。例えば、第２のサブ部分は、双予測を適用することによって処理される。現在のブロックがマージモードで符号化されることに応答して、マージインデックスを使用して動き情報を信号通知すること。イントラ予測モードのサブセットを使用して第１の予測部分の動き情報を判定すること。イントラ予測モードのサブセットは、第１の予測部分の位置、第１の予測部分のサイズ、および第１の予測部分の形状のうちの少なくとも１つに基づく。

図３９は、映像を処理する方法３９００のフローチャートである。方法３９００は、視覚メディアデータの現在のブロックと、視覚メディアデータの対応する符号化表現との間で変換を行うこと（３９０５）を含み、現在のブロックは、第１のサブ部分が非長方形且つ非正方形の形状を有する分割パターンにしたがって複数の階部分に分割される、変換を行うことと、複数のサブ部分のうちの少なくとも１つは、マージまたは非マージインターコードされ、現在のピクチャを参照ピクチャとして使用する。

図４０は、映像を処理する方法４０００のフローチャートである。方法４０００は、視覚メディアデータの現在のブロックと、視覚メディアデータの対応する符号化表現との間で変換を行うこと（４００５）であって、現在のブロックは、第１の予測分割が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、１つ以上の非隣接空間的ブロックのインター符号化された情報またはイントラ符号化された情報を使用して変換を行うこと（４０１０）と、を含む。

いくつかの実装形態において、方法４０００に対して追加の修正を行うことができる。例えば、１つ以上の非隣接空間的ブロックのインター符号化された情報またはイントラ符号化された情報は、１つ以上の非隣接空間的ブロックの動き情報を含む。１つ以上の非隣接空間的ブロックのインター符号化された情報またはイントラ符号化された情報を使用して現在のブロックの変換を行うことは、１つ以上の非隣接空間的ブロックのイントラ予測モードを使用して現在のブロックの変換を行うことを含む。時間的ブロックの符号化された情報を用いる。

図４１は、映像を処理する方法４１００のフローチャートである。方法４１００は、視覚メディアデータの第１のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、ジオメトリ分割モードで符号化された第１のブロックを判定すること（４１０５）と、前述の符号化されたブロックに基づいた動き情報を含む履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を記憶する少なくとも１つの表に基づいて、第１のブロックの少なくとも１つのサブ部分の動き情報を判定すること（４１１０）と、判定された動き情報を使用して第１のブロックの変換を行うこと（４１１５）と、を含む。

いくつかの実装形態において、方法４１００に対して追加の修正を行うことができる。例えば、ジオメトリ分割モードで符号化される第１のブロックは、第１のブロックを複数のサブ部分に分割することを含み、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形の部分である。視覚メディアデータの第２のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、第１のブロックに使用されるのと同じ表に基づいて、第２のブロックの動き情報を判定する。第２のブロックはジオメトリ分割モードを使用しない。第１のブロックで使用される動き情報が少なくとも１つの表に記憶されることを回避する。第１のブロックの変換の後、少なくとも１つの表は更新されない。この少なくとも１つの表は、ジオメトリ分割モードを有するブロックのＨＭＶＰ候補を記憶するように保守される複数の表を含む。少なくとも１つの表において、記憶されたＨＭＶＰ候補は、ジオメトリ分割モードのブロックで使用される動き情報のみを有する。この少なくとも１つの表は、単一予測されたＨＭＶＰ候補および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される２つの表を含む。この少なくとも１つの表は、第１のブロックの第１のサブ部分および第２のサブ部分の動き情報をそれぞれ記憶するように保守される２つの表を含む。この少なくとも１つの表は、Ｌｉｓｔ０およびＬｉｓｔ１の動き情報をそれぞれ記憶するように保守される２つの表を含む。この少なくとも１つの表は、Ｌｉｓｔ０からの単一予測ＨＭＶＰ候補、Ｌｉｓｔ１からの単一予測ＨＭＶＰ候補、および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される３つの表を含む。少なくとも１つの表は、第１のブロックの一部のサブ部分の動き情報で更新される。第１のサブ部分の動き情報および第２のサブ部分の動き情報によって、第１のブロックの第１のサブ部分および第２のサブ部分がサブ部分ｓである少なくとも１つの表を更新する。１つのＨＭＶＰ候補を加えることによって、第１のサブ部分の動き情報および第２のサブ部分の動き情報で、少なくとも１つの表を更新する。１つまたは２つの動き候補を加えることによって少なくとも１つの表を更新するか否かは、第１のサブ部分および第２のサブ部分が同じ参照ピクチャリストを使用しているかまたは同じ参照ピクチャを使用しているかに依存する。

第１のサブ部分または第２のサブ部分の動き情報を加えることによって少なくとも１つの表を更新するか否かは、参照ピクチャと現在のピクチャとの間のピクチャオーダカウント（ＰＯＣ）の差に依存する。非長方形且つ非正方形部分を有するブロックを処理した後、非長方形且つ非正方形部分を有するブロックの動き情報を使用して、非長方形且つ非正方形部分を有するブロックのＨＭＶＰ候補を記憶するように保守される表を更新する。非長方形且つ非正方形部分を含まないブロックを処理した後、非長方形且つ非正方形部分を含まないブロックの動き情報を使用して、非長方形且つ非正方形部分を含まないブロックのＨＭＶＰ候補を記憶するように保守される表を更新する。非長方形且つ非正方形部分を含まないブロックを処理した後、非長方形且つ非正方形部分を含まないブロックの動き情報を使用して、非長方形且つ非正方形部分を含むブロックの動きベクトル予測（ＨＭＶＰ）候補を記憶するように保守される表を更新する。ジオメトリ分割モードは、三角形分割モードを含む。本方法は、他の種類の動き候補リストにも適用可能である。

図４２は、映像を処理する方法４２００のフローチャートである。方法４２００は、視覚メディアデータの第１のブロックと視覚メディアデータの対応する符号化表現との間での変換中に、第１のブロックがジオメトリ分割モードで符号化されているかを判定すること（４２０５）と、第１のブロックの少なくとも１つのサブ部分の動き情報を判定すること（４２１０）と、少なくとも１つのサブ部分の動き情報を使用して第１のブロックの変換を行うこと（４２１５）、を含み、少なくとも１つのサブ部分の動き情報を判定することは、動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つの履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を使用することと、動き候補リストから動き情報を判定することと、を含む。

いくつかの実装形態において、方法４２００に対して追加の修正を行うことができる。例えば、ジオメトリ分割モードで符号化される第１のブロックは、第１のブロックを複数のサブ部分に分割することを含み、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形の部分である。少なくとも１つのＨＭＶＰ候補は、動き候補リストに直接追加される。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、第１の動き候補および第２の動き候補を判定するために１つのＨＭＶＰ候補を使用することであって、第１の動き候補および第２の動き候補のうちの一方は、ＨＭＶＰ候補のＬｉｓｔ０動き情報によって単一予測され、他方はＨＭＶＰ候補のＬｉｓｔ１動き情報によって単一予測される、使用することを含む。ＨＭＶＰ候補から導出された動き候補を、空間的または時間的映像ブロックに基づく他の動き候補に挿入することに応答して、プルーニングを行う。ＨＭＶＰ候補から導出された動き候補を他のＨＭＶＰ候補に基づく他の動き候補に挿入することに応答して、プルーニングを行う。ＨＭＶＰ候補に基づく他の動き候補とともにＨＭＶＰ候補から導出された動き候補を挿入することに応答して、プルーニングを行う。

動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、空間的ブロックまたは時間的ブロックの一方または両方から導出された動き候補の後に、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、空間的ブロックまたは時間的ブロックの動き情報に基づいて、動き候補リスト構築処理における予め規定されたステップの後または前に、動き候補リストに、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、空間的ブロックまたは時間的ブロックの動き情報に基づいて、動き候補リスト構築処理における複数の予め規定されたステップの後または前に、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、ＨＭＶＰ候補と単一予測とから導出された少なくとも１つの動き候補を、すべての元来の単一予測候補の後にある動き候補リストに加えることを含む。

動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、短縮されたＬｉｓｔ０の後の動き候補リストに、Ｌｉｓｔ０からの単一予測または双予測を伴うＨＭＶＰ候補から導出された、少なくとも１つの動き候補を加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、短縮されたＬｉｓｔ１の後の動き候補リストに、Ｌｉｓｔ１からの単一予測または双予測を伴うＨＭＶＰ候補から導出された、少なくとも１つの動き候補を加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、少なくとも１つのＨＭＶＰ候補から導出された少なくとも１つの動き候補を、Ｌｉｓｔ０またはＬｉｓｔ１動き候補からの平均単一予測後の動き候補リストに加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、Ｌｉｓｔ０またはＬｉｓｔ１動き候補からの平均単一予測前に、少なくとも１つのＨＭＶＰ候補から導出された少なくとも１つの動き候補を、動き候補リストに加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、現在のブロックに対する空間的または時間的映像ブロックの動き情報に基づく動き候補と交互配置することにしたがって、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。ＨＭＶＰ候補から導出された動き候補をＨＭＶＰ候補に等しく設定する。

動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、ＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された少なくとも１つの動き候補を、動き候補リストの、別のＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補の前に加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、ＨＭＶＰ候補の第１のセットのＬｉｓｔ０から導出された少なくとも１つの動き候補を、動き候補リストの、ＨＭＶＰ候補の第２のセットのＬｉｓｔ１から導出された動き候補の前に加えることを含む。第１のセットと第２のセットは同じである。第１のセットと第２のセットとが異なり、第１のセットは、Ｌｉｓｔ０からの単一予測を伴うＨＭＶＰ候補および双予測を含み、第２のセットは、Ｌｉｓｔ１からの単一予測を伴うＨＭＶＰ候補および双予測を含むことを含むことができる。第１のセットは、第１の数のＨＭＶＰ候補を含み、第２のセットは、第２の数のＨＭＶＰ候補を含み、第１の数と第２の数が異なる。

動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、Ｌ（１－Ｘ）に使用されるスケーリングされたＨＭＶＰ候補を生成するために、ｌｉｓｔＬＸのＨＭＶＰ候補をリストＬ（１－Ｘ）にスケーリングすることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、ＨＭＶＰ候補から導出された他の動き候補の後に、スケーリングされたＨＭＶＰ候補を加えることを含む。動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、ＨＭＶＰ候補から導出された他の動き候補の後、および、時間的候補の前に、スケーリングされたＨＭＶＰ候補を追加することを含む。動き候補リストに加えるＨＭＶＰ候補のチェック順序は、ＨＭＶＰ候補のインデックスに基づく。動き候補リストに加えるＨＭＶＰ候補のチェック順序は、予測方向に基づく。動き候補リストに加えるＨＭＶＰ候補のチェック順序は、動き情報に基づく。

動き候補リスト構築処理におけるチェック対象のＨＭＶＰ候補の数は、予め規定されている。動き候補リスト構築処理においてチェック対象のＨＭＶＰ候補の数は、現在のブロックのブロックサイズ、現在のブロックのブロック形状、またはＨＭＶＰ候補をチェックする前に利用可能な候補の数に基づく。動き候補リスト構築処理においてチェック対象のＨＭＶＰ候補の数は、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、タイルグループヘッダ、スライスヘッダ、符号化ツリーユニットの行のグループ（ＣＴＵ）、ＣＴＵ、またはＣＴＵのグループにおいて信号通知される。前記動き候補リストにおける前記チェック対象として選択されたＨＭＶＰ候補は、予測方向、動きベクトル（ＭＶ）情報、参照ピクチャインデックス、参照ピクチャと候補の現在のピクチャとのＰＯＣ距離、および候補インデックスのうちの少なくとも１つに基づく。現在のブロックに対するＨＭＶＰの適用は、現在のブロックのブロックサイズまたは現在のブロックのブロック形状に基づく。動き候補リストは、マージリストを含む。動き候補リストは、マージ候補リストを除く他の種類の動き候補リストにも適用可能である。

本発明のいくつかの実施形態によって好適に実装されるいくつかの特徴を、項に基づく形式で開示する。

１．映像を処理する方法であって、
視覚メディアデータの現在のブロックと前記視覚メディアデータの対応する符号化表現との間での変換中に、前記現在のブロックのための複数のサブ部分を判定することと、
前記複数のサブ部分のイントラ予測情報を判定することと、
前記複数のサブ部分の前記イントラ予測情報を使用して前記現在のブロックの前記変換を行うことと、を含み、
現在のブロックは、イントラ符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。

２．請求項１に記載の方法であって、前記複数のサブ部分のイントラ予測情報を判定することは、
第１のイントラ予測モードを使用して、前記複数のサブ部分における第１のサブ部分の第１のイントラ予測情報を判定することと、
第２のイントラ予測モードを使用して、複数のサブ部分における第２のサブ部分の第２のイントラ予測情報を判定することと、を含み、
前記第１のイントラ予測モードは、前記第２のイントラ予測モードと異なる、方法。

３．前記第１のイントラ予測情報は、イントラ予測モードの第１のサブセットを使用することによって判定され、前記第２のイントラ予測情報は、イントラ予測モードの第２のサブセットを使用することによって判定され、
イントラ予測モードの前記第１のサブセットは、イントラ予測モードの前記第２のサブセットとは異なる、請求項２に記載の方法。

４．前記イントラ予測モードのサブセットは、前記第１のサブ部分および／または第２のサブ部分の位置、サイズおよび形状のうちの少なくとも１つに基づく、請求項３に記載の方法。

５．請求項１～４のいずれか１項に記載の方法であって、前記複数のサブ部分のイントラ予測情報を判定することは、さらに、
前記複数のサブ部分のうちの前記少なくとも１つのサブ部分のエッジ境界に沿ったサンプルの予測値のフィルタリングすること含む、方法。

６．請求項１～５のいずれか１項に記載の方法であって、前記複数のサブ部分の前記第２のサブ部分の前記第２のイントラ予測情報を用いることなく、前記複数のサブ部分の第１のサブ部分の第１のイントラ予測情報を判定し、前記第１のサブ部分の前記第１のイントラ予測情報を用いることなく、前記第２のサブ部分の前記第２のイントラ予測情報を判定する、方法。

７．請求項１～５のいずれか１項に記載の方法であって、前記複数のサブ部分の第２のサブ部分の第２のイントラ予測情報を使用して、前記複数のサブ部分の第１のサブ部分の第１のイントラ予測情報を判定し、且つ／または、前記第１のサブ部分の前記第１のイントラ予測情報を使用して、前記第２のサブ部分の前記第２のイントラ予測情報を判定する、方法。

８．映像を処理する方法であって、
視覚メディアデータの現在のブロックと前記視覚メディアデータの対応する符号化表現との間での変換中に、前記現在のブロックのための複数のサブ部分を判定することと、
前記複数のサブ部分の動き情報を判定することと、
前記複数のサブ部分の前記動き情報を使用して前記現在のブロックの前記変換を行うことと、を含み、
現在のブロックは、インター符号化され、複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形のサブ部分である。

９．請求項８に記載の方法であって、前記複数のサブ部分の動き情報を判定することは、
第１のイントラ予測モードを使用して、前記複数のサブ部分における第１のサブ部分の第１の動き情報を判定することと、
第２のイントラ予測モードを使用して、複数のサブ部分における第２のサブ部分の第２の動き情報を判定することと、を含む。

１０．前請求項８～９のいずれか１項に記載の方法であって、前記複数のサブ部分のイントラ予測を判定するステップは、さらに以下を含む。
前記複数のサブ部分のうちの前記少なくとも１つのサブ部分のエッジ境界に沿ったサンプルの予測値のフィルタリングすること含む、方法。

１１．請求項８～９のいずれか１項に記載の方法であって、前記第１のサブ部分の前記第１の動き情報は、前記第２のサブ部分の前記第２の動き情報を使用せずに判定され、前記第２のサブ部分の前記第２の動き情報は、前記第１のサブ部分の前記第１の動き情報を使用せずに判定される、方法。

１２．請求項８～９のいずれか１項に記載の方法であって、前記第１のサブ部分の前記第１の動き情報は、前記第２の予測の前記第２の動き情報を使用して判定され、且つ／または前記第２のサブ部分の前記第２の動き情報は、前記第１のサブ部分の前記第１の動き情報を使用して判定される、方法。

１３．映像処理方法であって、
視覚メディアデータの現在のブロックと前記視覚メディアデータの対応する符号化表現との間で変換を行うことであって、前記現在のブロックは、第１のサブ部分が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、
第１のサブ部分をイントラ符号化モードで処理することと、
第２のサブ部分をインター符号化モードで処理することと、を含む、映像処理方法。

１４．前記第２のサブ部分は、双予測を適用することによって処理される、請求項１３に記載の方法。

１５．請求項１３～１４のいずれか１項に記載の方法であって、
前記現在のブロックがマージモードで符号化されることに応答して、マージインデックスを有する動き情報を信号通知することをさらに含む、方法。

１６．請求項１３～１５のいずれか１項に記載の方法であって、
イントラ予測モードのサブセットを使用して前記第１の予測部分の動き情報を判定することをさらに含む、方法。

１７．請求項１６に記載の方法であって、前記イントラ予測モードのサブセットは、前記第１の予測部分の位置、第１の予測部分のサイズ、および第１の予測部分の形状のうちの少なくとも１つに基づく、方法。

１８．映像処理方法であって、
視覚メディアデータの現在のブロックと前記視覚メディアデータの対応する符号化表現との間で変換を行うことであって、前記現在のブロックは、第１のサブ部分が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、
前記複数のサブ部分のうちの少なくとも１つは、マージまたは非マージインターコードされ、現在のピクチャを参照ピクチャとして使用する、方法。

１９．映像処理方法であって、
視覚メディアデータの現在のブロックと、前記視覚メディアデータの対応する符号化表現との間で変換を行うことであって、前記現在のブロックは、第１の予測分割が非長方形の非正方形の形状を有する分割パターンにしたがって、複数のサブ部分に分割される、変換を行うことと、
１つ以上の非隣接空間的ブロックのインターまたはイントラ符号化された情報を使用して前記変換を行うことと、を含む、映像処理方法。

２０．１つ以上の非隣接空間的ブロックの前記インター符号化された情報またはイントラ符号化された情報は、前記１つ以上の非隣接空間的ブロックの動き情報を含む、請求項１９に記載の方法。

２１．１つ以上の非隣接空間的ブロックのインター符号化された情報またはイントラ符号化された情報を使用して、前記現在のブロックの前記変換を行うことが、
前記１つ以上の非隣接空間的ブロックのイントラ予測モードを使用して前記現在のブロックの前記変換を行うこと含む、請求項１９に記載の方法。

２２．時間的ブロックの符号化された情報が使用される、請求項１９に記載の方法。

２３．請求項１～２２のいずれか１項に記載の方法を実装するように構成された処理装置を備える映像処理装置。

２４．前記装置がビデオエンコーダである、請求項２３に記載の装置。

２５．前記装置がビデオデコーダである、請求項２３に記載の装置。

２６．前記プログラムが、処理装置が請求項１～２２のいずれか１項に記載の方法を行うためのものである。コードを含むプログラムが記録されたコンピュータ読み取り可能な記録媒体。

本発明のいくつかの実施形態によって好適に実装されるいくつかの特徴を、項に基づく形式で開示する。

１．映像を処理する方法であって、
視覚メディアデータの第１のブロックと前記視覚メディアデータの対応する符号化表現との間での変換中に、前記第１のブロックがジオメトリ分割モードで符号化されているかを判定することと、
前述の符号化されたブロックに基づいた動き情報を含む履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を記憶する少なくとも１つの表に基づいて、前記第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、
判定された動き情報を使用して第１のブロックの変換を行うことと、を含む。

２．請求項１に記載の方法であって、前記第１のブロックは、ジオメトリ分割モードで符号化され、
前記第１のブロックを複数のサブ部分に分割することを含み、
複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形の部分である。

３．請求項１に記載の方法であって、
前記視覚メディアデータの第２のブロックと前記視覚メディアデータの前記対応する符号化表現との間での変換中に、前記第１のブロックに使用されるのと同じ表に基づいて、前記第２のブロックの動き情報を判定することを、さらに含み、
前記第２のブロックは前記ジオメトリ分割モードを使用しない、方法。

４．前記第１のブロックで使用される前記動き情報が前記少なくとも１つの表に記憶されることを禁止する、請求項１～３のいずれか１項に記載の方法。

５．前記少なくとも１つの表は、前記第１のブロックの前記変換後に更新されない、請求項１～４のいずれか１項に記載の方法。

６．前記少なくとも１つの表は、前記ジオメトリ分割モードのブロックの前記ＨＭＶＰ候補を記憶するように保守される複数の表を含む、請求項１～５のいずれか１項に記載の方法。

７．前記少なくとも１つの表において、前記記憶されたＨＭＶＰ候補は、前記ジオメトリ分割モードのブロックで使用される動き情報に基づいてのみ動き情報を有する、請求項６に記載の方法。

８．前記少なくとも１つの表は、単一予測されたＨＭＶＰ候補および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される２つの表を含む、請求項１～７のいずれか１項に記載の方法。

９．前記少なくとも１つの表は、前記第１のブロックの第１のサブ部分および第２のサブ部分の動き情報をそれぞれ記憶するように保守される２つの表を含む、請求項１～８のいずれか１項に記載の方法。

１０．前記少なくとも１つの表は、それぞれＬｉｓｔ０およびＬｉｓｔ１の動き情報を記憶するように保守される２つの表を含む、請求項１～９のいずれか１項に記載の方法。

１１．前記少なくとも１つの表は、Ｌｉｓｔ０からの単一予測ＨＭＶＰ候補、Ｌｉｓｔ１からの単一予測ＨＭＶＰ候補、および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される３つの表を含む、請求項１～１０のいずれか１項に記載の方法。

１２．前記少なくとも１つの表は、前記第１のブロックのサブ部分の前記動き情報で更新される、請求項１～１１のいずれか１項に記載の方法。

１３．前記少なくとも１つの表は、第１のブロックの第１のサブ部分の前記動き情報および第２のサブ部分の前記動き情報で更新され、前記第１のサブ部分および前記第２のサブ部分が前記第１のブロックのサブ部分ｓである、請求項１～１２のいずれか１項に記載の方法。

１４．前記少なくとも１つの表は、１つのＨＭＶＰ候補を加えることで、前記第１のサブ部分の前記動き情報および前記第２のサブ部分の動き情報で更新される、請求項１３に記載の方法。

１５．１つまたは２つの動き候補を加えることによって前記少なくとも１つの表を更新するか否かは、前記第１のサブ部分および前記第２のサブ部分が同じ参照ピクチャリストを使用しているかまたは同じ参照ピクチャを使用しているかに依存する、請求項１４に記載の方法。

１６．前記第１のサブ部分または前記第２のサブ部分の動き情報を加算することで前記少なくとも１つの表を更新するか否かは、参照ピクチャと現在のピクチャとの間のピクチャオーダカウント（ＰＯＣ）の差に依存する、請求項１４に記載の方法。

１７．請求項１～１６のいずれか１項に記載の方法であって、
前記非長方形且つ非正方形部分を有する前記ブロックを処理した後、保守されている前記表を更新して、非前記長方形且つ非正方形部分を有する前記ブロックの前記ＨＭＶＰ候補を記憶するために、前記非長方形且つ非正方形部分を有するブロックの動き情報を使用することをさらに含む、方法。

１８．請求項１～１６に記載の方法において、前記方法は、
前記非長方形且つ非正方形部分を含まない前記ブロックを処理した後、保守される前記表を更新し、前記非長方形且つ非正方形部分を含まない前記ブロックの前記ＨＭＶＰ候補を記憶するために、前記非長方形且つ非正方形部分を含まない前記ブロックの動き情報を使用することをさらに含む、方法。

１９．請求項１～１６に記載の方法において、前記方法は、
前記非長方形且つ非正方形部分を含まない前記ブロックを処理した後、保守される前記表を更新し、前記非長方形且つ非正方形部分を含むブロックの前記動きベクトル予測（ＨＭＶＰ）候補を記憶するために、前記非長方形且つ非正方形部分を含まない前記ブロックの前記動き情報を使用することをさらに含む、方法。

２０．前記ジオメトリ分割モードは、三角形分割モードを含む、請求項１～１９のいずれか１項に記載の方法。

２１．前記方法は、他の種類の動き候補リストに適用可能である、請求項１～２０のいずれか１項に記載の方法。

２２．請求項１～２１のいずれか１項に記載の方法を実装するように構成された処理装置を備える映像処理装置。

２３．前記装置がビデオエンコーダである、請求項２２に記載の装置。

２４．前記装置がビデオデコーダである、請求項２２に記載の装置。

２５．前記プログラムが、処理装置が請求項１～２１のいずれか１項に記載の方法を行うためのものである。コードを含むプログラムが記録されたコンピュータ読み取り可能な記録媒体。

本発明のいくつかの実施形態によって好適に実装されるいくつかの特徴を、項に基づく形式で開示する。

１．映像を処理する方法であって、
視覚メディアデータの第１のブロックと前記視覚メディアデータの対応する符号化表現との間での変換中に、前記第１のブロックがジオメトリ分割モードで符号化されているかを判定することと、
前記第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、
前記少なくとも１つのサブ部分の前記動き情報を使用して前記第１のブロックの前記変換を行うことと、を含み、
少なくとも１つのサブ部分の動き情報を判定することは、動き候補リストを構築するために前述の符号化されたブロックに基づく動き情報を含む、少なくとも１つの履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を使用することと、動き候補リストから動き情報を判定することとを含む。

２．請求項１に記載の方法であって、前記第１のブロックは、ジオメトリ分割モードで符号化され、
前記第１のブロックを複数のサブ部分に分割することを含み、
複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形の部分である。

３．請求項１に記載の方法であって、
前記少なくとも１つのＨＭＶＰ候補を直接前記動き候補リストに加える、方法。

４．請求項１～３のいずれか１項に記載の方法であって、動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
第１の動き候補および第２の動き候補を判定するために１つのＨＭＶＰ候補を使用することであって、第１の動き候補および第２の動き候補のうちの一方は、ＨＭＶＰ候補のＬｉｓｔ０動き情報によって単一予測され、他方はＨＭＶＰ候補のＬｉｓｔ１動き情報によって単一予測される、使用することを含む。

５．請求項１～４のいずれか１項に記載の方法であって、
前記ＨＭＶＰ候補から導出された動き候補を、空間的または時間的映像ブロックに基づく他の動き候補に挿入することに応答して、プルーニングを行うことをさらに含む、方法。

６．請求項１～５のいずれか１項に記載の方法であって、
前記ＨＭＶＰ候補から導出された動き候補を、他のＨＭＶＰ候補に基づく他の動き候補に挿入することに応答して、プルーニングを行うことを含む、方法。

７．請求項１～６のいずれか１項に記載の方法であって、
前記ＨＭＶＰ候補に基づく他の動き候補とともに前記ＨＭＶＰ候補から導出された動き候補を挿入することに応答して、プルーニングを行うことをさらに含む、方法。

８．請求項１～７のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
空間的ブロックまたは時間的ブロックの一方または両方から導出された動き候補の後に、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。

９．請求項１～８のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
空間的ブロックまたは時間的ブロックの動き情報に基づいて、動き候補リスト構築処理における予め規定されたステップの後または前に、動き候補リストに、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を加えることを含む。

１０．請求項１～９のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
空間的ブロックまたは時間的ブロックの動き情報に基づいて、動き候補リスト構築処理における複数の予め規定されたステップの後または前に、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。

１１．請求項１～１０のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
ＨＭＶＰ候補と単一予測とから導出された少なくとも１つの動き候補を、すべての元来の単一予測候補の後にある動き候補リストに加えることを含む。

１２．請求項１～１１のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
短縮されたＬｉｓｔ０の後の動き候補リストに、Ｌｉｓｔ０からの単一予測または双予測を伴うＨＭＶＰ候補から導出された、少なくとも１つの動き候補を加えることを含む。

１３．請求項１～１２のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
短縮されたＬｉｓｔ１の後の動き候補リストに、Ｌｉｓｔ１からの単一予測または双予測を伴うＨＭＶＰ候補から導出された、少なくとも１つの動き候補を加えることを含む。

１４．請求項１～１３のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
少なくとも１つのＨＭＶＰ候補から導出された少なくとも１つの動き候補を、Ｌｉｓｔ０またはＬｉｓｔ１動き候補からの平均単一予測後の動き候補リストに加えることを含む。

１５．請求項１～１４のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
Ｌｉｓｔ０またはＬｉｓｔ１動き候補からの平均単一予測前に、少なくとも１つのＨＭＶＰ候補から導出された少なくとも１つの動き候補を、動き候補リストに加えることを含む。

１６．請求項１～１５のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
現在のブロックに対する空間的または時間的映像ブロックの動き情報に基づく動き候補と交互配置することにしたがって、ＨＭＶＰ候補から導出された少なくとも１つの動き候補を動き候補リストに加えることを含む。

１７．請求項８～１６のいずれか１項に記載の方法であって、
前記ＨＭＶＰ候補から導出された動き候補をＨＭＶＰ候補に等しく設定する、方法。

１８．請求項１～１７のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
ＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された少なくとも１つの動き候補を、動き候補リストの、別のＨＭＶＰ候補のＬｉｓｔ０およびＬｉｓｔ１から導出された動き候補の前に加えることを含む。

１９．請求項１～１８のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
ＨＭＶＰ候補の第１のセットのＬｉｓｔ０から導出された少なくとも１つの動き候補を、動き候補リストの、ＨＭＶＰ候補の第２のセットのＬｉｓｔ１から導出された動き候補の前に加えることを含む。

２０．前記第１のセットと前記第２のセットが同じである、請求項１９に記載の方法。

２１．前記第１のセットと前記第２のセットとが異なり、前記第１のセットは、Ｌｉｓｔ０からの単一予測を伴うＨＭＶＰ候補および双予測を含み、前記第２のセットは、Ｌｉｓｔ１からの単一予測を伴うＨＭＶＰ候補および双予測を含むことを含むことができる、
請求項１９に記載の方法。

２２．前記第１のセットは、第１の数のＨＭＶＰ候補を含み、前記第２のセットは、第２の数のＨＭＶＰ候補を含み、前記第１の数と前記第２の数が異なる、請求項１９に記載の方法。

２３．請求項１～２２のいずれか１項に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
Ｌ（１－Ｘ）に使用されるスケーリングされたＨＭＶＰ候補を生成するために、ｌｉｓｔＬＸのＨＭＶＰ候補をリストＬ（１－Ｘ）にスケーリングすることを含む。

２４．請求項２３に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
ＨＭＶＰ候補から導出された他の動き候補の後に、スケーリングされたＨＭＶＰ候補を加えることを含む。

２５．請求項２３に記載の方法であって、前記動き候補リストを構築するために前述の符号化されたブロックに基づいて動き情報を含む少なくとも１つのＨＭＶＰ候補を使用することは、
ＨＭＶＰ候補から導出された他の動き候補の後、および、時間的候補の前に、スケーリングされたＨＭＶＰ候補を追加することを含む。

２６．前記動き候補リストに追加されるＨＭＶＰ候補のチェック順序は、前記ＨＭＶＰ候補のインデックスに基づく、請求項１～２５のいずれか１項に記載の方法。

２７．前記動き候補リストに追加されるＨＭＶＰ候補のチェック順序は、予測方向に基づく、請求項１～２５のいずれか１項に記載の方法。

２８．前記動き候補リストに追加されるＨＭＶＰ候補のチェック順序は、動き情報に基づく、請求項１～２５のいずれか１項に記載の方法。

２９．前記動き候補リスト構築処理においてチェック対象のＨＭＶＰ候補の数が予め規定される、請求項１～２８のいずれか１項に記載の方法。

３０．前記動き候補リスト構築処理におけるチェック対象のＨＭＶＰ候補の数は、前記現在のブロックのブロックサイズ、前記現在のブロックのブロック形状、またはＨＭＶＰ候補のチェック前に利用可能な候補の数に基づく、請求項１～２８のいずれか１項に記載の方法。

３１．前記動き候補リスト構築処理においてチェック対象のＨＭＶＰ候補の数は、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、タイルグループヘッダ、スライスヘッダ、符号化ツリーユニットの行のグループ（ＣＴＵ）、ＣＴＵ、またはＣＴＵのグループにおいて信号通知される、請求項１～２８のいずれか１項に記載の方法。

３２．前記動き候補リストにおける前記チェック対象として選択されたＨＭＶＰ候補は、予測方向、動きベクトル（ＭＶ）情報、参照ピクチャインデックス、参照ピクチャと候補の現在のピクチャとのＰＯＣ距離、および候補インデックスのうちの少なくとも１つに基づく、請求項１～２８のいずれか１項に記載の方法。

３３．前記現在のブロックへのＨＭＶＰの適用は、前記現在のブロックのブロックサイズまたは前記現在のブロックのブロック形状に基づく、請求項１～２８のいずれか１項に記載の方法。

３４．前記動き候補リストは、マージリストを含む、請求項１～３３のいずれか１項に記載の方法。

３５．前記動き候補リストは、前記マージ候補リストを除く他の種類の動き候補リストにも適用可能である、請求項１～３３のいずれか１項に記載の方法。

３６．請求項１～３５のいずれか１項に記載の方法を実装するように構成された処理装置を備える映像処理装置。

３７．前記装置がビデオエンコーダである、請求項３６に記載の装置。

３８．前記装置がビデオデコーダである、請求項３６に記載の装置。

３９．前記プログラムが、処理装置が請求項１～３５のいずれか１項に記載の方法を行うためのものである。コードを含むプログラムが記録されたコンピュータ読み取り可能な記録媒体。

本明細書に記載された開示されたそして他の解決案、実施例、実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実装されてもよい。開示された、そして他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るものの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されているが、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、日本国特願２０２１－５２２３８２号の分割出願であり、これは２０１９年１１月４日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／１１５４５３号に基づいており、２０１８年１１月２日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／１１３７１６号、２０１９年５月９日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８６１７４号の優先権および利益を主張する。前述の出願の全開示は、本明細書の開示の一部として参照により援用される。

Claims (25)

1. 映像を処理する方法であって、
   視覚メディアデータの第１のブロックと前記視覚メディアデータの対応する符号化表現との間での変換中に、前記第１のブロックがジオメトリ分割モードで符号化されているかを判定することと、
   前述の符号化されたブロックに基づいた動き情報を含む履歴に基づく動きベクトル予測（ＨＭＶＰ）候補を記憶する少なくとも１つの表に基づいて、前記第１のブロックの少なくとも１つのサブ部分の動き情報を判定することと、
   判定された動き情報を使用して第１のブロックの変換を行うことと、を含む、
   映像処理方法。
2. 前記第１のブロックは、ジオメトリ分割モードで符号化され、
   前記第１のブロックを複数のサブ部分に分割することを含み、
   複数のサブ部分のうちの少なくとも１つは、非長方形かつ非正方形の部分である、
   請求項１に記載の方法。
3. 前記視覚メディアデータの第２のブロックと前記視覚メディアデータの前記対応する符号化表現との間での変換中に、前記第１のブロックに使用されるのと同じ表に基づいて、前記第２のブロックの動き情報を判定することを、さらに含み、
   前記第２のブロックは前記ジオメトリ分割モードを使用しない、
   請求項１に記載の方法。
4. 前記第１のブロックで使用される前記動き情報が前記少なくとも１つの表に記憶されることを禁止する、請求項１～３のいずれか１項に記載の方法。
5. 前記少なくとも１つの表は、前記第１のブロックの前記変換後に更新されない、請求項１～４のいずれか１項に記載の方法。
6. 前記少なくとも１つの表は、前記ジオメトリ分割モードのブロックの前記ＨＭＶＰ候補を記憶するように保守される複数の表を含む、請求項１～５のいずれか１項に記載の方法。
7. 前記少なくとも１つの表において、前記記憶されたＨＭＶＰ候補は、前記ジオメトリ分割モードのブロックで使用される動き情報に基づいてのみ動き情報を有する、請求項６に記載の方法。
8. 前記少なくとも１つの表は、単一予測されたＨＭＶＰ候補および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される２つの表を含む、請求項１～７のいずれか１項に記載の方法。
9. 前記少なくとも１つの表は、前記第１のブロックの第１のサブ部分および第２のサブ部分の動き情報をそれぞれ記憶するように保守される２つの表を含む、請求項１～８のいずれか１項に記載の方法。
10. 前記少なくとも１つの表は、それぞれＬｉｓｔ０およびＬｉｓｔ１の動き情報を記憶するように保守される２つの表を含む、請求項１～９のいずれか１項に記載の方法。
11. 前記少なくとも１つの表は、Ｌｉｓｔ０からの単一予測ＨＭＶＰ候補、Ｌｉｓｔ１からの単一予測ＨＭＶＰ候補、および双予測されたＨＭＶＰ候補をそれぞれ記憶するように保守される３つの表を含む、請求項１～１０のいずれか１項に記載の方法。
12. 前記少なくとも１つの表は、前記第１のブロックのサブ部分の前記動き情報で更新される、請求項１～１１のいずれか１項に記載の方法。
13. 前記少なくとも１つの表は、第１のブロックの第１のサブ部分の前記動き情報および第２のサブ部分の前記動き情報で更新され、前記第１のサブ部分および前記第２のサブ部分が前記第１のブロックのサブ部分である、請求項１～１２のいずれか１項に記載の方法。
14. 前記少なくとも１つの表は、１つのＨＭＶＰ候補を加えることで、前記第１のサブ部分の前記動き情報および前記第２のサブ部分の動き情報で更新される、請求項１３に記載の方法。
15. １つまたは２つの動き候補を加えることによって前記少なくとも１つの表を更新するか否かは、前記第１のサブ部分および前記第２のサブ部分が同じ参照ピクチャリストを使用しているかまたは同じ参照ピクチャを使用しているかに依存する、請求項１４に記載の方法。
16. 前記第１のサブ部分または前記第２のサブ部分の動き情報を加算することで前記少なくとも１つの表を更新するか否かは、参照ピクチャと現在のピクチャとの間のピクチャオーダカウント（ＰＯＣ）の差に依存する、請求項１４に記載の方法。
17. 請求項１～１６のいずれか１項に記載の方法であって、
    前記非長方形且つ非正方形部分を有する前記ブロックを処理した後、保守されている前記表を更新して、非前記長方形且つ非正方形部分を有する前記ブロックの前記ＨＭＶＰ候補を記憶するために、前記非長方形且つ非正方形部分を有するブロックの動き情報を使用することをさらに含む、方法。
18. 請求項１～１６に記載の方法において、前記方法は、
    前記非長方形且つ非正方形部分を含まない前記ブロックを処理した後、保守される前記表を更新し、前記非長方形且つ非正方形部分を含まない前記ブロックの前記ＨＭＶＰ候補を記憶するために、前記非長方形且つ非正方形部分を含まない前記ブロックの動き情報を使用することをさらに含む、方法。
19. 請求項１～１６に記載の方法において、前記方法は、
    前記非長方形且つ非正方形部分を含まない前記ブロックを処理した後、保守される前記表を更新し、前記非長方形且つ非正方形部分を含むブロックの前記動きベクトル予測（ＨＭＶＰ）候補を記憶するために、前記非長方形且つ非正方形部分を含まない前記ブロックの前記動き情報を使用することをさらに含む、方法。
20. 前記ジオメトリ分割モードは、三角形分割モードを含む、請求項１～１９のいずれか１項に記載の方法。
21. 前記方法は、他の種類の動き候補リストに適用可能である、請求項１～２０のいずれか１項に記載の方法。
22. 請求項１～２１のいずれか１項に記載の方法を実装するように構成された処理装置を備える映像処理装置。
23. 前記装置がビデオエンコーダである、請求項２２に記載の装置。
24. 前記装置がビデオデコーダである、請求項２２に記載の装置。
25. 前記プログラムが、処理装置が請求項１～２１のいずれか１項に記載の方法を行うためのものである、コードを含むプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images