JP2021530936A - ルックアップテーブルの更新：ｆｉｆｏ、制限されたｆｉｆｏ - Google Patents

Abstract

１つ以上のテーブルを保持することであって、各テーブルは、１つ以上の動き候補のセットを含み、各動き候補は、対応する動き情報に関連付けられる、ことと、テーブル内の動き情報を用いて、現在のブロックと、現在のブロックを含む映像のビットストリーム表現との間で変換を行うことと、変換を行った後に、現在のブロックに関連付けられた、整数であるＭ個のセットの追加の動き情報に基づいて、１つ以上のテーブルを更新することと、を含むように構成された映像処理方法。【選択図】図２９

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１８年６月２９日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／０９３６６３号、２０１８年７月７日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／０９４９２９号、２０１８年８月１８日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／１０１２２０、２０１８年１１月２７日に提出の国際特許出願ＰＣＴ／ＣＮ２０１８／１１７６２７、および２０１９年１月１０日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０７１２１４号の優先権および利益を適時に主張することを目的とする。米国の法律の下、あらゆる目的のために、国際特許出願ＰＣＴ／ＣＮ２０１８／０９３６６３号、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９４９２９号、国際特許出願ＰＣＴ／ＣＮ２０１８／１０１２２０号、国際特許出願ＰＣＴ／ＣＮ２０１８／１１７６２７号、および国際特許出願第ＰＣＴ／ＣＮ２０１９／０７１２１４の開示の全文は、本願の開示の一部として参照により援用される。

この特許文献は、映像符号化および復号化技術、デバイスおよびシステムに関する。

映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが期待される。

本書は、デジタル映像を符号化および復号化するための方法、システム、およびデバイスを開示する。

一つの例示的な態様において、映像処理方法は、１つ以上のテーブルを保持することであって、各テーブルは、１つ以上の動き候補のセットを含み、各動き候補は、対応する動き情報に関連付けられる、ことと、テーブル内の動き情報を用いて、現在のブロックと、現在のブロックを含む映像のビットストリーム表現との間で変換を行うことと、変換を行った後に、現在のブロックに関連付けられた、整数であるＭ個のセットの追加の動き情報に基づいて、１つ以上のテーブルを更新することと、を含むように提供される。

別の例示的な態様において、映像処理方法は、１つ以上のテーブルを用いて、現在のブロックと現在のブロックを含む映像のビットストリーム表現との間の変換を行うことであって、各テーブルは、１つ以上の動き候補を含み、各動き候補は、対応する動き情報に関連付けられる、ことと、変換に基づいて、現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することとを行うように提供される。

さらに別の例示的な態様において、本明細書で説明される映像符号化方法を実装する映像エンコーダ装置が開示される。

さらに別の代表的な態様では、本明細書で説明される様々な技法は、非一時的なコンピュータ可読媒体に記憶されるコンピュータプログラム製品として実施され得る。このコンピュータプログラム製品は、本明細書に記載の方法を実行するためのプログラムコードを含む。

さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。

１つ以上の実装形態の詳細は、添付の添付ファイル、図面、および以下の説明に記載されている。他の特徴は、説明および図面、並びに特許請求の範囲の記載から明らかとなろう。

映像エンコーダの実装形態の例を示すブロック図である。 Ｈ．２６４映像符号化規格におけるマクロブロックの分割を示す。 符号化ブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）を予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）に分割する例を示す。 ＣＴＢをＣＢおよび変換ブロック（ＴＢ）に細分するための例示的な実装形態を示す。実線はＣＢ境界を示し、点線はＴＢ境界を示し、その分割を含むＣＴＢの例、および対応する４分木を含む。 映像データを分割するための４分木２分木（ＱＴＢＴ：Ｑｕａｄ Ｔｒｅｅ Ｂｉｎａｒｙ Ｔｒｅｅ）構造の一例を示す。 映像ブロックの分割の例を示す。 ４分木の分割の例を示す。 ツリー型信号通知の例を示す。 マージ候補リスト構築のための導出処理の一例を示す。 空間的マージ候補の位置の例を示す。 空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。 Ｎ×２Ｎおよび２Ｎ×Ｎパーティションの第２のＰＵの位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングを示す。 時間的マージ候補の候補位置とその同一位置のピクチャを示す。 結合双方向予測マージ候補の例を示す。 動きベクトル予測候補の導出処理の例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 ＣＵの動き予測のための例示的なＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）を示す。 ソースブロックおよびソースピクチャの識別の一例を絵で示す。 ４つのサブブロックおよび近傍のブロックを有する１つのＣＵの例を示す。 バイラテラルマッチングの例を示す。 テンプレートマッチングの例を示す。 ＦＲＵＣ（Ｆｒａｍｅ Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）における一方の動き推定（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）の例を示す。 バイラテラルテンプレートマッチングに基づくＤＭＶＲの例を示す。 空間的マージ候補を導出するために使用する空間的に近傍のブロックの例を示す。 ルックアップテーブル更新のための代表的な位置の選択方法の一例を示す。 新しい動き情報のセットでルックアップテーブルを更新する例を示す。 新しい動き情報のセットでルックアップテーブルを更新する例を示す。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 映像ビットストリーム処理の例示的な方法のフローチャートである。 映像ビットストリーム処理の別の例示的な方法のフローチャートである。 提案されたＨＭＶＰ方法による復号化フローチャートの一例を示す。 提案されるＨＭＶＰ方法を用いたテーブルの更新の例を示す。 冗長性除去に基づくＬＵＴ更新方法（１つの冗長性動き候補を除去する）の例を示す。 冗長性除去に基づくＬＵＴ更新方法（１つの冗長性動き候補を除去する）の例を示す。 冗長性除去に基づくＬＵＴ更新方法（複数の冗長性動き候補を除去する）の例を示す。 冗長性除去に基づくＬＵＴ更新方法（複数の冗長性動き候補を除去する）の例を示す。

映像の圧縮率を改善するために、研究者らは、映像を符号化する新しい技術を絶えず求めている。

１． 導入

本明細書は、映像符号化技術に関する。具体的には、映像符号化における動き情報の符号化（例えば、マージモード、ＡＭＶＰモード）に関する。ＨＥＶＣのような既存の映像符号化規格に適用してもよいし、規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像化コーデックにも適用可能である。

簡単な説明

映像符号化規格は、主に周知のＩＴＵ−ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ−ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ−１とＭＰＥＧ−４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ−２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。典型的なＨＥＶＣエンコーダフレームワークの一例を図１に示す。

２．１ パーティション構造

２．１．１ Ｈ．２６４／ＡＶＣにおけるパーティションツリー構造

以前の規格における符号化層のコアは、１６×１６ブロックの輝度サンプルを含み、通常の４：２：０カラーサンプリングの場合、２つの対応する８×８ブロックの彩度サンプル含むマクロブロックであった。

イントラ符号化されたブロックは、画素間の空間的相関を利用するために空間予測を使用する。２つのパーティションを規定する。１６×１６および４×４である。

インター符号化されたブロックは、ピクチャ間の動きを推定することで、空間的予測の代わりに時間予測を用いる。動きは、１６×１６マクロブロックまたはそのサブマクロブロックパーティションのいずれかに対して独立して推定できる。１６×８、８×１６、８×８、８×４、４×８、４×４（図２参照）。１つのサブマクロブロックパーティション当たり１つの動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）のみが許可される。

２．１．２ ＨＥＶＣにおけるパーティションツリー構造

ＨＥＶＣにおいて、ＣＴＵは、様々な局所的特徴に適応するように、符号化ツリーと呼ばれる４分木構造を用いてＣＵに分割される。インターピクチャ（時間的）予測またはイントラピクチャ（空間的）予測を使用する、ピクチャ領域を符号化するかどうかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに応じて１つ、２つまたは４つのＰＵに更に分割することができる。１つのＰＵの内部では、同じ予測処理が適用され、ＰＵ単位で関連情報がデコーダに送信される。ＰＵ分割タイプに基づく予測処理を適用して残差ブロックを得た後、ＣＵのための符号化ツリーに類似した別の４分木構造に基づいて、ＣＵを変換ユニット（ＴＵ）に分割することができる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、ＴＵを含む複数のパーティション概念を有することである。

以下、ＨＥＶＣを使用したハイブリッド映像符号化に関連する様々な特徴に焦点を当てる。

１）符号化ツリーユニットおよび符号化ツリーブロック（ＣＴＢ）構造。ＨＥＶＣにおける類似した構造は、符号化ツリーユニット（ＣＴＵ）であり、この符号化ツリーユニットは、エンコーダによって選択されたサイズを有し、従来のマクロブロックよりも大きくてもよい。ＣＴＵは、輝度ＣＴＢと、対応する彩度ＣＴＢおよび構文要素とからなる。輝度ＣＴＢのサイズＬ×Ｌは、Ｌ＝１６、３２、または６４のサンプルとして選択することができ、より大きいサイズは、一般的に、より優れた圧縮を有効にする。ＨＥＶＣは、次いで、ツリー構造および４分木様の信号通知を使用して、ＣＴＢをより小さなブロックに分割することをサポートする。

２）符号化ユニット（ＣＵ）および符号化ブロック（ＣＢ）：ＣＴＵの４分木の構文は、その輝度および彩度ＣＢのサイズおよび位置を指定する。４分木のルートはＣＴＵに関連付けられる。従って、輝度ＣＴＢのサイズは、輝度ＣＢに対してサポートされる最大のサイズである。ＣＴＵを輝度ＣＢおよび彩度ＣＢに分割することは、共に信号通知されることである。１つの輝度ＣＢおよび通常２つの彩度ＣＢは、関連する構文と共に、１つの符号化ユニット（ＣＵ）を形成する。ＣＴＢは、１つのＣＵのみを含んでもよく、または複数のＣＵを形成するように分割されてもよく、各ＣＵは、それに関連付けられた予測ユニット（ＰＵ）への分割と、１つの変換ユニット（ＴＵ）のツリーとを有する。

３）予測ユニットおよび予測ブロック（ＰＢ）：インターピクチャまたはイントラピクチャ予測を使用してピクチャ領域を符号化するかどうかの決定は、ＣＵレベルで行われる。ＰＵの分割構造は、そのルートがＣＵレベルにある。基本的な予測タイプの決定に基づいて、次に、輝度および彩度ＣＢのサイズをさらに分割し、輝度および彩度予測ブロック（ＰＢ）から予測することができる。ＨＥＶＣは、６４×６４個のサンプルから４×４個のサンプルまでの可変ＰＢサイズをサポートする。図３は、Ｍ×ＭのＣＵのための許可されたＰＢの例を示す。

４）ＴＵおよび変換ブロック：予測残差は、ブロック変換を使用して符号化される。ＴＵツリー構造は、そのルートがＣＵレベルにある。この輝度ＣＢ残差は、輝度変換ブロック（ＴＢ）と同一であってもよいし、小さな輝度ＴＢにさらに分割されてもよい。彩度ＴＢについても同様である。正方形ＴＢサイズ４×４、８×８、１６×１６、および３２×３２に対して、離散コサイン変換（ＤＣＴ）の整数基底関数に類似した整数基底関数が規定される。輝度イントラピクチャ予測残差の４×４変換のために、離散サイン変換（ＤＳＴ）の形式から導出される整数変換が代替的に指定される。

図４は、ＣＴＢをＣＢ［及び変換ブロック（ＴＢ）］に細分する例を示す。実線はＣＢ境界を示し、点線はＴＢ境界を示す。（ａ）ＣＴＢとその分割（ｂ）対応する４分木。

２．１．２．１ 変換ブロックおよびユニットへのツリー構造の分割

残差符号化の場合、ＣＢは、変換ブロック（ＴＢ）に再帰的に分割することができる。この分割は、残差４分木によって信号通知される。図４に示すように、１つのブロックを再帰的に象限に分割することができるように、正方形のＣＢおよびＴＢの分割のみを指定する。サイズＭ×Ｍの所与の輝度ＣＢに対して、フラグは、それがサイズＭ／２×Ｍ／２の４つのブロックに分割されるかどうかを信号通知する。さらなる分割が可能である場合、ＳＰＳに示される残留４分木の最大深さによって信号通知されるように、各象限には、それが４つの象限に分割されているかどうかを示すフラグが割り当てられる。残差４分木の結果得られる葉ノードブロックは、変換符号化によってさらに処理される変換ブロックである。エンコーダは、それが使用することになる最大輝度ＴＢサイズおよび最小輝度ＴＢサイズを示す。ＣＢサイズが最大ＴＢサイズよりも大きい場合、分割は非明示的に行われる。分割により、示された最小値よりも小さい輝度ＴＢサイズとなる場合、分割は、非明示的に行われない。輝度ＴＢサイズが４×４である場合を除き、彩度ＴＢサイズは、各次元において輝度ＴＢサイズの半分であり、この場合、４つの４×４輝度ＴＢによって覆われる領域には１つの４×４彩度ＴＢが使用される。イントラピクチャ予測ＣＵの場合、最近の近傍のＴＢ（ＣＢ内またはＣＢ外）の復号サンプルを、イントラピクチャ予測のための参照データとして用いる。

従来の規格とは対照的に、ＨＥＶＣ設計により、インターピクチャ予測ＣＵのために１つのＴＢが複数のＰＢにまたがることが可能となり、４分木構造のＴＢの分割の潜在的な符号化効率の利点が最大となる。

２．１．２．２ 親子ノード

ＣＴＢは、４分木構造に基づいて分割され、そのノードは符号化ユニットである。４分木構造における複数のノードは、葉ノードおよび非葉ノードを含む。葉ノードは、ツリー構造内に子ノードを持たない（すなわち、葉ノードはそれ以上分割されない）。非葉ノードは、ツリー構造のルートノードを含む。ルートノードは、映像データの最初の映像ブロック（例えば、ＣＴＢ）に対応する。複数のノードのうちのそれぞれの非ルートノードにおいて、それぞれの非ルートノードは、それぞれの非ルートノードのツリー構造における親ノードに対応する映像ブロックのサブブロックである映像ブロックに対応する。複数の非葉ノードのそれぞれの非葉ノードは、ツリー構造において１つ以上の子ノードを有する。

２．１．３ ＪＥＭにおけるより大きいＣＴＵを有する４分木＋２分木ブロック構造

ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。

２．１．３．１ ＱＴＢＴブロックの分割構造

ＨＥＶＣとは異なり、ＱＴＢＴ構造は、複数のパーティションタイプの概念を削除する。すなわち、ＣＵ、ＰＵ、ＴＵのコンセプトの切り離しを取り除き、ＣＵパーティションの形状の柔軟性を向上させる。ＱＴＢＴブロック構造において、ＣＵは正方形または長方形のいずれかを有することができる。図５に示すように、まず、符号化ツリーユニット（ＣＴＵ）を４分木構造で分割する。４分木の葉ノードは、２分木構造によってさらに分割される。２分木の分割には、対称水平分割と対称垂直分割の２つの分割タイプがある。２分木の葉ノードは、符号化ユニット（ＣＵ）と呼ばれ、このセグメント化は、それ以上の分割を行うことなく、予測および変換処理に使用される。これは、ＱＴＢＴの符号化ブロック構造において、ＣＵ、ＰＵおよびＴＵが同じブロックサイズを有することを意味する。ＪＥＭにおいて、ＣＵは、しばしば異なる色成分の符号化ブロック（ＣＢ）からなり、例えば、４：２：０彩度フォーマットのＰおよびＢスライスの場合、１つのＣＵは１つの輝度ＣＢおよび２つの彩度ＣＢを含み、また、ＣＵは、しばしば単一の成分のＣＢからなり、例えば、Ｉスライスの場合、１つのＣＵは、１つの輝度ＣＢのみ、または、２つの彩度ＣＢのみを含む。

ＱＴＢＴ分割スキームに対して以下のパラメータを規定する。
−ＣＴＵのサイズ：１つの４分木のルートノードのサイズ、ＨＥＶＣと同じ概念
−ＭｉｎＱＴＳｉｚｅ：最小許容の４分木の葉ノードサイズ
−ＭａｘＢＴＳｉｚｅ：最大許容の２分木ルートノードサイズ
−ＭａｘＢＴＤｅｐｔｈ：最大許容の２分木の深さ
−ＭｉｎＢＴＳｉｚｅ：最小許容の２分木の葉ノードのサイズ

ＱＴＢＴの分割構造の一例において、ＣＴＵのサイズを、２つの対応する６４×６４ブロックの彩度サンプルを有する１２８×１２８の輝度サンプルとして設定し、ＭｉｎＱＴＳｉｚｅを１６×１６として設定し、ＭａｘＢＴＳｉｚｅを６４×６４として設定し、ＭｉｎＢＴＳｉｚｅ（幅および高さの両方について）を４×４として設定し、ＭａｘＢＴＤｅｐｔｈを４として設定する。４分木の分割は、まずＣＴＵに適用され、４分木の葉ノードを生成する。４分木の葉ノードのサイズは、１６×１６（即ち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（即ち、ＣＴＵサイズ）までのサイズを有することが可能である。葉４分木のノードが１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち、６４×６４）を超えるため、２分木によってさらに分割されない。そうでない場合、葉４分木のノードは、２分木によってさらに分割されることができる。従って、この４分木の葉ノードは、２分木のルートノードでもあり、その２分木の深さは０である。２分木の深さがＭａｘＢＴＤｅｐｔｈ（すなわち、４）に達した場合、それ以上の分割は考慮されない。２分木のノードの幅がＭｉｎＢＴＳｉｚｅ（すなわち、４）に等しい場合、それ以上の水平分割は考慮されない。同様に、２分木のノードの高さがＭｉｎＢＴＳｉｚｅに等しい場合、それ以上の垂直分割は考慮されない。２分木の葉ノードは、さらに分割することなく、予測および変換処理によってさらに処理される。ＪＥＭにおいて、最大ＣＴＵサイズは、２５６×２５６個の輝度サンプルである。

図５（左）はＱＴＢＴを用いたブロックの分割の例を示し、図５（右）は対応するツリー表現を示す。実線は４分木の分割を表し、点線は２分木の分割を表す。２分木の各分割（即ち、非葉）ノードにおいて、１つのフラグが、どの分割タイプ（即ち、水平または垂直）が使用されるかを示すために信号通知される。ここで、０は、水平分割を表し、１は、垂直分割を表す。４分木の分割の場合、４分木の分割は常にブロックを水平および垂直に分割し、等分したサイズの４つのサブブロックを生成するため、分割タイプを示す必要はない。

さらに、ＱＴＢＴ方式は、輝度および彩度が別個のＱＴＢＴ構造を有する能力をサポートする。現在、ＰおよびＢスライスの場合、１つのＣＴＵにおける輝度および彩度ＣＴＢは、同じＱＴＢＴ構造を共有する。しかしながら、Ｉスライスの場合、輝度ＣＴＢはＱＴＢＴ構造によってＣＵに分割され、彩度ＣＴＢは別のＱＴＢＴ構造によって彩度ＣＵに分割される。これは、１つのＩスライスにおける１つのＣＵが１つの輝度成分の１つの符号化ブロックまたは２つの彩度成分の１つの符号化ブロックからなり、１つのＰまたはＢスライスにおける１つのＣＵが３つの色成分すべての符号化ブロックからなることを意味する。

ＨＥＶＣにおいて、小さなブロックのためのインター予測は、動き補償のメモリアクセスを低減するために制限され、その結果、４×８および８×４ブロックのために双方向予測はサポートされず、４×４ブロックのためにインター予測はサポートされない。ＪＥＭのＱＴＢＴにおいて、これらの制限は取り除かれる。

２．１．４ ＶＶＣの３分木

［６］に提案されているように、４分木および２分木以外のツリータイプがサポートされている。本実装形態において、図６（ｄ）、（ｅ）に示すように、３分木（ＴＴ）パーティションを２つ以上、すなわち、水平および垂直の中心側の３分木を導入する。

図６は、（ａ）４分木分割、（ｂ）垂直２分木分割、（ｃ）水平２分木分割、（ｄ）垂直中心側３分木分割、（ｅ）水平中心側３分木分割を示す。

［６］において、木のレベルは、領域ツリー（４分木）と予測ツリー（２分木または３分木）の２つである。ＣＴＵは、まず、領域ツリー（ＲＴ）によって分割される。ＲＴ葉は、予測ツリー（ＰＴ）によってさらに分割されてもよい。ＰＴ葉はまた、最大ＰＴ深さに達するまで、ＰＴでさらに分割されてもよい。ＰＴ葉が基本符号化ユニットである。便宜上、ここでもＣＵと呼ぶ。１つのＣＵをさらに分割することはできない。予測および変換は両方ともＪＥＭと同様にＣＵに適用される。パーティション構造全体を「マルチタイプツリー」と呼ぶ。

２．１．５ 分割構造の例

この応答で使用されるツリー構造は、マルチツリータイプ（Ｍｕｌｔｉ−Ｔｒｅｅ Ｔｙｐｅ：ＭＴＴ）と呼ばれ、ＱＴＢＴを一般化したものである。ＱＴＢＴにおいて、図５に示すように、まず、符号化ツリーユニット（ＣＴＵ）を４分木構造で分割する。４分木の葉ノードは、２分木構造によってさらに分割される。

ＭＴＴの基本構造は、２つのタイプのツリーノードを構成する。図７に示すように、領域ツリー（ＲＴ）および予測ツリー（ＰＴ）は、９つのタイプのパーティションをサポートする。

図７は、（ａ）４分木分割、（ｂ）垂直２分木分割、（ｃ）水平２分木分割、（ｄ）垂直３分木分割、（ｅ）水平３分木分割、（ｆ）水平上方非対称２分木分割、（ｇ）水平下方非対称２分木分割、（ｈ）垂直左非対称２分木分割、（ｉ）垂直右非対称２分木分割を示す。

１つの領域ツリーは、１つのＣＴＵを４×４サイズの領域ツリーの葉ノードになるように正方形のブロックに再帰的に分割することができる。領域ツリーにおける各ノードにおいて、予測ツリーは、２分木（ＢＴ）、３分木（ＴＴ）、および非対称２分木（ＡＢＴ）の３つのツリータイプのうちの１つから成形されることができる。ＰＴ分割において、予測ツリーの枝に４分木のパーティションを有することは禁止される。ＪＥＭにおけるように、輝度ツリーおよび彩度ツリーは、Ｉ個のスライスに分けられる。ＲＴおよびＰＴの信号通知方法を図８に示す。

２．２ ＨＥＶＣ／Ｈ．２６５におけるインター予測

各インター予測されたＰＵは、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。２つの参照ピクチャリストのうちの１つの参照ピクチャリストの使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを使用して信号通知されてもよい。動きベクトルは、予測因子に関連する差分として明確に符号化されてもよく、このような符号化モードは、ＡＭＶＰモードと呼ばれる。

１つのＣＵがスキップモードにて符号化される場合、１つのＰＵがこのＣＵに関連付けられ、有意な残差係数がなく、符号化された動きベクトル差分も参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のＰＵのための動きパラメータを、空間的および時間的候補を含む近傍のＰＵから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたＰＵに適用することができる。マージモードの代替としては、動きパラメータの明確な送信であり、各参照ピクチャリストおよび参照ピクチャリストの使用に対する参照ピクチャインデックスに対応する動きベクトルをＰＵごとに明確に信号通知することである。

２つの参照ピクチャリストのうちの１つを使用することを信号通知が示す場合、サンプルのうちの１つのブロックからＰＵを生成する。これを「単一予測」と呼ぶ。ＰスライスおよびＢスライスの両方に対して単一予測が利用可能である。

両方の参照ピクチャリストを使用することを信号通知が示す場合、サンプルのうちの２つのブロックからＰＵを生成する。これを「双方向予測」と呼ぶ。Ｂスライスのみに双方向予測が利用可能である。

以下、ＨＥＶＣに規定されるインター予測モードについて詳細に説明する［２］。まず、マージモードについて説明する。

２．２．１ マージモード

２．２．１．１ マージモードの候補の導出

マージモードを使用してＰＵを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、ＨＥＶＣ規格で規定されており、以下のステップのシーケンスに基づいてまとめることができる。
・ステップ１：初期候補の導出
ｏステップ１．１：空間的候補の導出
ｏステップ１．２：空間的候補の冗長性チェック
ｏステップ１．３：時間的候補の導出
・ステップ２：追加候補の挿入
ｏステップ２．１：双方向予測候補の作成
ｏステップ２．２：動きゼロ候補の挿入

これらのステップは図９にも概略的に示されている。空間的マージ候補の導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補を選択する。時間的マージ候補の導出のために、２つの候補の中から最大１つのマージ候補を選択する。デコーダ側ではＰＵごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合、追加候補を生成する。候補の数は一定であるので、最良マージ候補のインデックスは、短縮された単項２値化（ＴＵ：ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）を使用して符号化される。ＣＵのサイズが８に等しい場合、現在のＣＵのすべてのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じ１つのマージ候補リストを共有する。

以下、上述したステップに関連付けられた動作を詳しく説明する。

２．２．１．２ 空間的候補の導出

空間的マージ候補の導出において、図１０に示す位置にある候補の中から、最大４つのマージ候補を選択する。導出の順序はＡ_１、Ｂ_１、Ｂ_０、Ａ_０、Ｂ_２である。位置Ａ_１、Ｂ_１、Ｂ_０、Ａ_０のいずれかのＰＵが利用可能でない場合（例えば、別のスライスまたはタイルに属しているため）、またはイントラ符号化された場合にのみ、位置Ｂ_２が考慮される。位置Ａ１の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図１１において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、２Ｎ×２Ｎとは異なるパーティションに関連付けられた「第２のＰＵ」である。一例として、図１２は、それぞれＮ×２Ｎおよび２Ｎ×Ｎの場合の第２のＰＵを示す。現在のＰＵをＮ×２Ｎに分割する場合、リスト構成に位置Ａ_１の候補は考慮されない。実際、この候補を加えることにより、同じ動き情報を有する２つの予測ユニットが導かれることとなり、１つの符号化ユニットに１つのＰＵのみを有することは冗長である。同様に、現在のＰＵを２Ｎ×Ｎに分割する場合、位置Ｂ_１は考慮されない。

２．２．１．３ 時間的候補の導出

このステップにおいて、１つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のＰＯＣ差を有するピクチャに属する同一位置のＰＵ（ｃｏ−ｌｏｃａｔｅｄ ＰＵ）に基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置のＰＵの導出に用いられる参照ピクチャリストが明確に信号通知される。図１３に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、ＰＯＣ距離ｔｂおよびｔｄを利用して、同一位置ＰＵの動きベクトルからスケーリングしたものである。ｔｂは、現在のピクチャの参照ピクチャと現在のピクチャのＰＯＣ差として規定され、ｔｄは、同一位置のＰＵの参照ピクチャと同一位置のピクチャのＰＯＣ差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、２つの動きベクトル、即ち、１つは参照ピクチャリスト０のためのもの、もう１つは参照ピクチャリスト１のためのものを取得し、これらを組み合わせることによって、双方向予測マージ候補を形成する。時間的マージ候補のための動きベクトルのスケーリングの説明。

参照フレームに属する同一位置のＰＵ（Ｙ）において、図１４に示すように、候補Ｃ_０と候補Ｃ_１との間で時間的候補の位置を選択する。位置Ｃ_０のＰＵが利用可能でない場合、イントラ符号化されている場合、または現在のＣＴＵの外側にある場合、位置Ｃ_１が使用される。そうでない場合、位置Ｃ_０が時間的マージ候補の導出に使用される。

２．２．１．４ 追加候補の挿入

空間的−時間的マージ候補の他に、２つの追加のタイプのマージ候補、すなわち、結合双方向予測マージ候補およびゼロマージ候補がある。空間的−時間的マージ候補を利用して、結合双方向予測マージ候補を生成する。結合双方向予測マージ候補は、Ｂスライスのみに使用される。最初の候補の第１の参照ピクチャリスト動きパラメータと別の候補の第２の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双方向予測候補を生成する。これら２つのタプルが異なる動きの仮説を提供する場合、これらのタプルは、新しい双方向予測候補を形成する。一例として、図１５は、オリジナルリスト（左側）における、ｍｖＬ０およびｒｅｆＩｄｘＬ０、またはｍｖＬ１およびｒｅｆＩｄｘＬ１を有する２つの候補を用いて、最終リスト（右側）に加えられる結合双方向予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。

ゼロ動き候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は１つ、双方向予測の場合は２つである。最終的には、これらの候補に対して冗長性チェックは行われない。

２．２．１．５ 並列処理のための動き推定領域

符号化理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。１つの予測ユニットは、その関連する動き推定が完了するまで、隣接するＰＵから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、ＨＥＶＣは、動き推定領域（ＭＥＲ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｇｉｏｎ）を規定し、そのサイズは、「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素を使用してピクチャパラメータセットにおいて信号通知される。１つのＭＥＲを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
７．３．２．３ ピクチャパラメータセットＲＢＳＰ構文
７．３．２．３．１ 一般ピクチャパラメータセットＲＢＳＰ構文

ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２＋２は、８．５．３．２．２．２節で指定されたマージモードの輝度動きベクトルの導出処理と、８．５．３．２．３節で指定された空間的マージ候補の導出処理で使用される変数Ｌｏｇ２ＰａｒＭｒｇＬｅｖｅｌの値を指定する。ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２の値は、０〜ＣｔｂＬｏｇ２ＳｉｚｅＹ−２を含む範囲内とする。
変数Ｌｏｇ２ＰａｒＭｒｇＬｅｖｅｌは、以下のように導出される。
Ｌｏｇ２ＰａｒＭｒｇＬｅｖｅｌ＝ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２＋２ （７−３７）
注３：Ｌｏｇ２ＰａｒＭｒｇＬｅｖｅｌの値は、マージ候補リストを並列に導出する組み込み能力を示す。例えば、Ｌｏｇ２ＰａｒＭｒｇＬｅｖｅｌが６に等しい場合、６４×６４ブロックに含まれたすべての予測ユニット（ＰＵ）および符号化ユニット（ＣＵ）のためのマージ候補リストを並列に導出することができる。

２．２．２ ＡＭＶＰモードにおける動きベクトル予測

動きベクトル予測は、動きベクトルと近傍のＰＵとの間の空間的−時間的相関を利用し、これを動きパラメータの明確な伝送に用いる。まず、左側、上側の時間的に近傍のＰＵ位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測因子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場合のエンコーディング対象の最大値は２である（例えば、図２〜図８）。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。

２．２．２．１ 動きベクトル予測候補の導出

図１６に、動きベクトル予測候補の導出処理をまとめる。

動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という２つのタイプの動きベクトル候補が考慮される。空間的動きベクトル候補の導出のために、図１１に示したように、５つの異なる位置にある各ＰＵの動きベクトルに基づいて、最終的には２つの動きベクトル候補を導出する。

時間的動きベクトル候補の導出のために、２つの異なる同一位置の配置に基づいて導出された２つの候補から１つの動きベクトル候補を選択する。空間的−時間的候補の最初のリストを作成した後、リストにおける重複した動きベクトル候補を除去する。可能性のある候補の数が２よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが１よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が２未満である場合は、追加のゼロ動きベクトル候補をリストに加える。

２．２．２．２ 空間的動きベクトル候補

空間的動きベクトル候補の導出において、図１１に示したような位置にあるＰＵから導出された５つの可能性のある候補のうち、動きマージと同じ位置にあるものを最大２つの候補を考慮する。現在のＰＵの左側のための導出の順序は、Ａ_０、Ａ_１、スケーリングされたＡ_０、スケーリングされたＡ_１として規定される。現在のＰＵの上側のための導出の順序は、Ｂ_０、Ｂ_１、Ｂ_２、スケーリングされたＢ_０、スケーリングされたＢ_１、スケーリングされたＢ_２として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合が４つ、すなわち空間的スケーリングを使用する必要がない２つの場合と、空間的スケーリングを使用する２つの場合とがある。４つの異なる場合をまとめると、以下のようになる。
・空間的スケーリングなし
−（１）同じ参照ピクチャリスト、かつ、同じ参照ピクチャインデックス（同じＰＯＣ）
−（２）異なる参照ピクチャリスト、かつ、同じ参照ピクチャ（同じＰＯＣ）
・空間的スケーリング
−（３）同じ参照ピクチャリスト、かつ、異なる参照ピクチャ（異なるＰＯＣ）
−（４）異なる参照ピクチャリスト、かつ、異なる参照ピクチャ（異なるＰＯＣ）

最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、ＰＯＣが近傍のＰＵの参照ピクチャと現在のＰＵの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのＰＵが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側のＭＶ候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。

空間的スケーリング処理において、図１７に示すように、時間的スケーリングと同様にして、近傍のＰＵの動きベクトルをスケーリングする。主な違いは、現在のＰＵの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。

２．２．２．３ 時間的動きベクトル候補

参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである（図６参照）。参照ピクチャインデックスはデコーダに信号通知される。

２．２．２．４ ＡＭＶＰ情報の信号通知

ＡＭＶＰモードの場合、ビットストリームにおいて、４つの部分、すなわち、予測方向、参照インデックス、ＭＶＤ、およびｍｖ予測因子候補インデックスが信号通知される。
構文テーブル：

７．３．８．９ 動きベクトル差構文

２．３ ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）における新しいインター予測方法

２．３．１ サブＣＵに基づく動きベクトル予測

ＱＴＢＴを有するＪＥＭにおいて、各ＣＵは、各予測方向に対して最大１つの動きパラメータのセットを有することができる。エンコーダにおいて、大きなＣＵをサブＣＵに分割し、大きなＣＵのすべてのサブＣＵの動き情報を導出することにより、２つのサブＣＵレベルの動きベクトル予測方法を考慮する。ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法により、各ＣＵが、配列された参照ピクチャにおける現在のＣＵよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。ＳＴＭＶＰ（Ｓｐａｔｉａｌ−Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）法において、時間的動きベクトル予測因子および空間的近傍動きベクトルを使用して、サブＣＵの動きベクトルを再帰的に導出する。

サブＣＵ動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は現在無効にされている。

２．３．１．１ 代替の時間的動きベクトル予測

ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）において、ＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）法は、現在のＣＵより小さいブロックから複数セットの動き情報（動きベクトルおよび参照インデックスを含む）をフェッチすることで修正される。図１８に示すように、サブＣＵは、正方形のＮ×Ｎブロックである（デフォルトでは、Ｎは４に設定される）。

ＡＴＭＶＰは、ＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。第１のステップは、参照ピクチャにおける対応するブロックを、いわゆる時間的ベクトルで特定することである。この参照ピクチャを動きソースピクチャと呼ぶ。第２のステップは、図１８に示すように、現在のＣＵをサブＣＵに分割し、各サブＣＵに対応するブロックから各サブＣＵの動きベクトルならびに参照インデックスを取得する。

第１のステップにおいて、現在のＣＵの空間的に近傍のブロックの動き情報によって、参照ピクチャおよび対応するブロックを決定する。近傍のブロックの繰り返し走査処理を回避するために、現在のＣＵのマージ候補リストにおける最初のマージ候補を用いる。第１の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよび動きソースピクチャのインデックスに設定する。このように、ＡＴＭＶＰでは、ＴＭＶＰに比べて、対応するブロックをより正確に特定することができ、対応するブロック（配列されたブロックと呼ばれることがある）は、常に現在のＣＵに対して右下または中心位置にある。１つの例において、最初のマージ候補が左側の近傍のブロック（即ち、図１９のＡ_１）からのものである場合、関連するＭＶおよび参照ピクチャを利用して、ソースブロックおよびソースピクチャを特定する。

図１９は、ソースブロックおよびソースピクチャの特定の例を示す。

第２のステップにおいて、現在のＣＵの座標に時間ベクトルを加えることで、動きソースピクチャにおける時間的ベクトルによって、サブＣＵの対応するブロックを特定する。サブＣＵごとに、その対応するブロックの動き情報（中心サンプルを覆う最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報を特定した後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件（すなわち、現在のピクチャのすべての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満たされているかどうかをチェックし、場合によっては、動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を使用して、各サブＣＵの動きベクトルＭＶｙ（Ｘが０または１に等しく、Ｙが１−Ｘに等しい）を予測する。

２．３．１．２ 空間的−時間的動きベクトル予測

この方法において、サブＣＵの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図２０にこの概念を示す。４つの４×４サブＣＵであるＡ、Ｂ、Ｃ、およびＤを含む８×８ＣＵを考える。現在のフレームの近傍の４×４ブロックには、ａ、ｂ、ｃ、ｄというラベルが付けられている。

サブＣＵ Ａの動き導出は、その２つの空間的近傍を特定することで始まる。第１の近傍は、サブＣＵのＡの上のＮ×Ｎブロックである（ブロックｃ）。このブロックｃが利用可能でないか、またはイントラ符号化されている場合、サブＣＵ Ａより上の他のＮ×Ｎブロックをチェックする（ブロックｃから始まり、左から右へ）。第２の近傍は、サブＣＵのＡの左側のブロックである（ブロックｂ）。ブロックｂが利用可能でないか、またはイントラ符号化されている場合、サブＣＵ Ａの左側の他のブロックをチェックする（ブロックｂから始まり、上から下へ）。各リストの近傍のブロックから得られた動き情報を、所与のリストの第１の参照フレームにスケーリングする。次に、ＨＥＶＣに規定されているＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）導出と同様の手順に従って、サブブロックＡのＴＭＶＰを導出する。位置Ｄにおける配列されたブロックの動き情報をフェッチし、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル（３まで）を別々に平均する。この平均化された動きベクトルを現在のサブＣＵの動きベクトルとする。

図２０は、４つのサブブロック（Ａ−Ｄ）およびその近傍のブロックを有する１つのＣＵの例を示す。

２．３．１．３ サブＣＵ動き予測モード信号通知

サブＣＵモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ＡＴＭＶＰモードおよびＳＴＭＶＰモードを表すように、各ＣＵのマージ候補リストに２つの追加のマージ候補を加える。シーケンスパラメータセットがＡＴＭＶＰおよびＳＴＭＶＰが有効であることを示す場合、７個までのマージ候補を使用する。追加のマージ候補の符号化ロジックは、ＨＭにおけるマージ候補の場合と同じであり、つまり、ＰまたはＢスライスにおける各ＣＵについて、２つの追加のマージ候補に対して２回以上のＲＤチェックが必要となる。

ＪＥＭにおいて、マージインデックスのすべてのビンは、ＣＡＢＡＣによって符号化されたコンテキストである。一方、ＨＥＶＣにおいては、最初のビンのみが符号化されたコンテキストであり、残りのビンはバイパス符号化されたコンテキストである。

２．３．２ 適応型動きベクトル差分解像度

ＨＥＶＣにおいて、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０であるとき、１／４輝度サンプルの単位で動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）（動きベクトルとＰＵの予測動きベクトルとの差）が信号通知される。ＪＥＭにおいて、ＬＡＭＶＲ（Ｌｏｃａｌｌｙ Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）が導入される。ＪＥＭにおいて、ＭＶＤは、１／４輝度サンプル、整数輝度サンプル、または４つの輝度サンプルの単位で符号化できる。ＭＶＤ解像度は符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つの非ゼロＭＶＤの構成要素を有する各ＣＵに対して条件付きで信号通知される。

少なくとも１つの非ゼロＭＶＤの構成要素を有するＣＵの場合、１／４輝度サンプルＭＶ精度がＣＵにおいて使用されるか否かを示すために、第１のフラグが信号通知される。第１のフラグ（１に等しい）が、１／４輝度サンプルＭＶ精度が使用されていないことを示す場合、整数輝度サンプルＭＶ精度が使用されるかまたは４輝度サンプルＭＶ精度が使用されるかを示すために、別のフラグが信号通知される。

ＣＵの第１のＭＶＤ解像度フラグがゼロであるか、またはＣＵに対して符号化されていない（つまり、ＣＵにおけるすべてのＭＶＤがゼロである）場合、ＣＵに対して１／４輝度サンプルＭＶ解像度が使用される。ＣＵが整数輝度サンプルＭＶ精度または４輝度サンプルＭＶ精度を使用する場合、ＣＵのＡＭＶＰ候補リストにおけるＭＶＰを対応する精度に丸める。

エンコーダにおいて、ＣＵレベルのＲＤチェックは、どのＭＶＤ解像度をＣＵに用いるかを決定するために用いられる。すなわち、１つのＭＶＤ解像度ごとに３回、ＣＵレベルのＲＤチェックを行う。エンコーダの速度を速めるために、ＪＥＭにおいては、以下の符号化方式が適用される。

通常の１／４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェック中、現在のＣＵの動き情報（整数輝度サンプル精度）が記憶される。整数輝度サンプルおよび４輝度サンプルのＭＶＤ解像度を有する同じＣＵのＲＤチェック中に、記憶された動き情報（丸められた後）は、更なる小範囲の動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が３回重複しない。

４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェックを条件付きで呼び出す。ＣＵの場合、整数輝度サンプルＭＶＤ解像度のＲＤコストが１／４輝度サンプルＭＶＤ解像度のそれよりもはるかに大きい場合、ＣＵのための４輝度サンプルＭＶＤ解像度のＲＤチェックは省略される。

２．３．３ パターンマッチング動きベクトルの導出

ＰＭＭＶＤ（Ｐａｔｔｅｒｎ Ｍａｔｃｈｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）モードは、ＦＲＵＣ（Ｆｒａｍｅ−Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）技術に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。

そのマージフラグが真である場合、ＦＲＵＣフラグは、ＣＵに信号通知される。ＦＲＵＣフラグが偽である場合、マージインデックスは信号通知され、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合、追加のＦＲＵＣモードフラグを信号通知して、どの方法（バイラテラルマッチングまたはテンプレートマッチング）を使用してブロックの動き情報を導出するかを示す。

エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、ＲＤコスト選択に基づく。つまり、ＲＤコスト選択を使用して、１つのＣＵに対して２つのマッチングモード（バイラテラルマッチングおよびテンプレートマッチング）を両方チェックする。最小コストに導くものが、更に、他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合、ＣＵに対してＦＲＵＣフラグを真に設定し、関連するマッチングモードを使用する。

ＦＲＵＣマージモードにおける動き導出処理は、２つのステップを有する。まず、ＣＵレベルの動き探索を実行し、次に、サブＣＵレベルの動き改良を実行する。ＣＵレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、ＣＵ全体のための初期の動きベクトルを導出する。まず、ＭＶ候補のリストを生成し、最小マッチングコストに導く候補を、さらなるＣＵレベル改善の開始点として選択する。そして、開始点付近のバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行い、最小マッチングコストとなるＭＶ結果をＣＵ全体のＭＶとする。続いて、導出されたＣＵ動きベクトルを開始点として、サブＣＵレベルでの動き情報をさらに改良する。

例えば、Ｗ×Ｈ ＣＵ動き情報導出のために、以下の導出処理を行う。第１のステージにおいて、Ｗ×Ｈ ＣＵ全体のためのＭＶが導出される。第２のステージにおいて、ＣＵは、Ｍ×ＭのサブＣＵにさらに分割される。Ｍの値は、（１６）のように計算されるが、Ｄは、予め定義された分割深さであり、ＪＥＭにおいてデフォルトで３に設定される。そして、各サブＣＵのＭＶを導出する。

図２１に示すように、このバイラテラルマッチングは、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングを見出すことにより、現在のＣＵの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、２つの参照ブロックを指す動きベクトルＭＶ０およびＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、例えばＴＤ０およびＴＤ１に比例する。特殊なケースとしては、現在のピクチャが時間的に２つの参照ピクチャの間にあり、現在のピクチャから２つの参照ピクチャまでの時間的な距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向ＭＶとなる。

図２２に示すように、現在のピクチャにおけるテンプレート（現在のＣＵの上側および／または左側の近傍のブロック）と、参照ピクチャにおけるブロック（テンプレートと同じサイズ）との間の最も近いマッチングを見出すことで、テンプレートマッチングを使用して、現在のＣＵの動き情報を導出する。前述のＦＲＵＣマージモード以外に、テンプレートマッチングは、ＡＭＶＰモードにも適用される。ＪＥＭにおいて、ＨＥＶＣと同様、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出する。テンプレートマッチングによって新規に導出された候補が、第１の既存のＡＭＶＰ候補と異なる場合、ＡＭＶＰ候補リストの最初に挿入し、次に、リストサイズを２（第２の既存のＡＭＶＰ候補を取り除くことを意味する）に設定する。ＡＭＶＰモードに適用される場合、ＣＵレベル検索のみが適用される。

２．３．３．１ ＣＵレベルＭＶ候補セット

ＣＵレベルのＭＶ候補セットは、以下からなる。
（ｉ）現在のＣＵがＡＭＶＰモードになっている場合の元のＡＭＶＰ候補
（ｉｉ）すべてのマージ候補、
（ｉｉｉ）補間ＭＶフィールド内の複数のＭＶ。
（ｉｖ）上と左の近傍の動きベクトル

バイラテラルマッチングを使用する場合、マージ候補の各有効なＭＶを入力として使用して、バイラテラルマッチングを仮定してＭＶ対を生成する。例えば、マージ候補の１つの有効なＭＶは、参照リストＡにおいて（ＭＶａ，ｒｅｆａ）である。そして、その対をなすバイラテラルＭＶの参照ピクチャｒｅｆｂが他の参照リストＢにおいて見出され、ｒｅｆａおよびｒｅｆｂは、時間的に現在のピクチャの異なる側にある。参照リストＢにおいてこのようなｒｅｆｂが利用可能でない場合、ｒｅｆｂをｒｅｆａとは異なる参照として決定し、現在のピクチャとの時間的距離はリストＢにおける最小値である。ｒｅｆｂを決定した後、現在のピクチャとｒｅｆａ，ｒｅｆｂとの時間的距離に基づいてＭＶａをスケーリングすることでＭＶｂを導出する。

補間されたＭＶフィールドからの４つのＭＶもＣＵレベル候補リストに追加する。より具体的には、現在のＣＵの位置（０，０）、（Ｗ／２，０）、（０，Ｈ／２）、（Ｗ／２，Ｈ／２）の補間ＭＶを加算する。

ＡＭＶＰモードでＦＲＵＣを適用する場合、元のＡＭＶＰ候補をＣＵレベルＭＶ候補セットにも加える。

ＣＵレベルにおいて、ＡＭＶＰ ＣＵのための最大１５個のＭＶおよびマージＣＵのための最大１３個のＭＶを候補リストに加える。

２．３．３．２ サブＣＵレベルＭＶ候補セット

サブＣＵレベルのＭＶ候補セットは、以下からなる。
（ｉ）ＣＵレベルの検索から決定されたＭＶ、
（ｉｉ）上、左、左上、右上の近傍のＭＶ、
（ｉｉｉ）参照ピクチャからの並置されたＭＶのスケーリングされたバージョン、
（ｉｖ）最大４つのＡＴＭＶＰ候補、
（ｖ）最大４つのＳＴＭＶＰ候補

参照ピクチャからのスケーリングされたＭＶは、以下のように導出される。両方のリストにおける参照ピクチャをすべてトラバースする。参照ピクチャにおけるサブＣＵの配列位置にあるＭＶは、開始ＣＵレベルＭＶの参照に対してスケーリングされる。

ＡＴＭＶＰおよびＳＴＭＶＰの候補は、最初の４つの候補に限定される

サブＣＵレベルにおいて、最大１７個のＭＶが候補リストに追加される。

２．３．３．３ 補間ＭＶフィールドの生成

フレームを符号化する前に、一方のＭＥに基づいてピクチャ全体に対して補間動きフィールドを生成する。そして、この動きフィールドを後にＣＵレベルまたはサブＣＵレベルのＭＶ候補として使用してもよい。

まず、両方の参照リストにおける各参照ピクチャの動きフィールドは、４×４ブロックレベルでトラバースされる。各４×４ブロックにおいて、現在のピクチャ（図２３に示す）の４×４ブロックを通過するブロックに関連する動きで、補間動きがまだ割り当てられていない場合、時間的距離ＴＤ０およびＴＤ１に基づいて（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様に）、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。４×４ブロックにスケーリングされたＭＶが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。

２．３．３．４ 補間およびマッチングコスト

１つの動きベクトルが１つの分数のサンプル位置を指す場合、動きの補償された補間が必要である。複雑性を低減するために、通常の８タップＨＥＶＣ補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用する。

マッチングコストの計算は、異なるステップでは少し異なる。ＣＵレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの差分の絶対値の和（ＳＡＤ）である。開始ＭＶを決定した後、サブＣＵレベル検索におけるバイラテラルマッチングのマッチングコストＣを以下のように算出する。

ここで、ｗは、経験的に４に設定された重み係数であり、ＭＶおよびＭＶ^Ｓは、それぞれ、現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、依然として、サブＣＵレベル検索におけるテンプレートマッチングのマッチングコストとして使用される。

ＦＲＵＣモードにおいて、ＭＶは、輝度サンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のために、輝度および彩度の両方に使用される。ＭＶを決定した後、輝度用の８タップ補間フィルタおよび彩度用の４タップ補間フィルタを使用して、最終的なＭＣを行う。

２．３．３．５ ＭＶの改良

ＭＶ改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくＭＶ検索である。ＪＥＭでは、２つの検索パターン、即ち、ＵＣＢＤＳ（Ｕｎｒｅｓｔｒｉｃｔｅｄ Ｃｅｎｔｅｒ−Ｂｉａｓｅｄ Ｄｉａｍｏｎｄ Ｓｅａｒｃｈ）およびＣＵレベルおよびサブＣＵレベルでのＭＶ改良のための適応的横断検索をそれぞれサポートする。ＣＵおよびサブＣＵレベルのＭＶ改善の両方のために、ＭＶは、１／４輝度サンプルＭＶの正確度で直接検索され、これに続いて１／８輝度サンプルＭＶの改良が行われる。ＣＵおよびサブＣＵステップのためのＭＶ改良の検索範囲は、８つの輝度サンプルに等しく設定される。

２．３．３．６ テンプレートマッチングＦＲＵＣマージモードにおける予測方向の選択

バイラテラルマッチングマージモードにおいては、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングに基づいて、ＣＵの動き情報を導出するため、双方向予測が常に適用される。テンプレートマッチングマージモードについては、そのような限定はない。テンプレートマッチングマージモードにおいて、エンコーダは、ｌｉｓｔ０からの単一予測、ｌｉｓｔ１からの単一予測、またはＣＵのための双方向予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行う。
ｃｏｓｔＢｉ≦ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合
双方向予測を用いる。
それ以外の場合において、ｃｏｓｔ０≦ｃｏｓｔ１の場合
ｌｉｓｔ０からの単一予測を用いる。
そうでない場合、
ｌｉｓｔ１からの単一予測を用いる。

ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは双予測テンプレートマッチングのＳＡＤである。ｆａｃｔｏｒの値が１．２５である場合、選択処理が双方向予測に偏っていることを意味する。このインター予測方向選択は、ＣＵレベルのテンプレートマッチング処理にのみ適用される。

２．３．４ デコーダ側動きベクトル改良

双方向予測演算において、１つのブロック領域を予測するために、ｌｉｓｔ０の動きベクトル（ＭＶ）およびｌｉｓｔ１のＭＶをそれぞれ使用して構成される２つの予測ブロックを組み合わせ、１つの予測信号を形成する。ＤＭＶＲ（Ｄｅｃｏｄｅｒ−ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）方法において、バイラテラルテンプレートマッチング処理によって、双方向予測の２つの動きベクトルをさらに改良する。追加の動き情報を送信することなく改良されたＭＶを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間の歪みに基づく検索を行う。

ＤＭＶＲにおいて、図２３に示すように、ｌｉｓｔ０の最初のＭＶ０とｌｉｓｔ１のＭＶ１とから、それぞれ、２つの予測ブロックの重み付け結合（すなわち、平均）としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域（最初の予測ブロックの付近）との間のコスト尺度を計算することからなる。２つの参照ピクチャの各々について、テンプレートコストが最小となるＭＶを、そのリストの更新されたＭＶと見なし、元のＭＶに置き換える。ＪＥＭにおいて、各リストに対して９つのＭＶ候補を検索する。９つのＭＶ候補は、元のＭＶと、水平または垂直方向のいずれかまたは両方向に元のＭＶに対してオフセットしている１つの輝度サンプルを有する８つの周囲のＭＶを含む。最後に、２つの新しいＭＶ、即ち、図２４に示すようなＭＶ０’およびＭＶ１’を使用して、最終的な双方向予測結果を生成する。差分の絶対値の和（ＳＡＤ）をコスト尺度として使用する。

ＤＭＶＲは、追加の構文要素を送信することなく、過去の参照ピクチャからの１つのＭＶと、将来の参照ピクチャからの１つのＭＶとの間の双方向予測のマージモードに適用される。ＪＥＭにおいて、ＣＵに対してＬＩＣ、アフィン動き、ＦＲＵＣまたはサブＣＵマージ候補が有効である場合、ＤＭＶＲは適用されない。

２．３．５ バイラテラルマッチングの改良を伴うマージ／スキップモード

まず、利用可能な候補の数が最大候補サイズ１９に達するまで、空間的に近傍のブロックおよび時間的に近傍のブロックの動きベクトルおよび参照インデックスを冗長性チェック付き候補リストに挿入することで、マージ候補リストを構築する。マージ／スキップモードのマージ候補リストは、予め規定された挿入順に基づいて、ＨＥＶＣ（結合候補およびゼロ候補）に用いられる空間的候補（図１１）、時間的候補、アフィン候補、ＡＴＭＶＰ（Ａｄｖａｎｃｅｄ Ｔｅｍｐｏｒａｌ ＭＶＰ）候補、ＳＴＭＶＰ（Ｓｐａｔｉａｌ Ｔｅｍｐｏｒａｌ ＭＶＰ）候補、および追加候補を挿入することで構築される。

−ブロック１〜４の空間的候補

−ブロック１〜４の外挿アフィン候補

−ＡＴＭＶＰ

−ＳＴＭＶＰ

−仮想アフィン候補

−空間的候補（ブロック５）（利用可能な候補の数が６よりも少ない場合にのみ使用される）。

−外挿アフィン候補（ブロック５）

−時間的候補（ＨＥＶＣのように導出）

−外挿アフィン候補に続く非隣接空間的候補（図２５に示すブロック６〜４９）。

−結合候補

−ゼロ候補

なお、ＩＣフラグは、ＳＴＭＶＰおよびアフィンを除き、マージ候補から継承される。また、最初の４つの空間的候補について、双方向予測のものを単一予測のものの前に挿入する。

［８］において、現在のブロックに接続されていないブロックにアクセスすることができる。非隣接ブロックが非イントラモードで符号化されている場合、関連する動き情報を追加のマージ候補として追加してもよい。

３． 本明細書に開示される実施形態が解決しようとする課題の例

現在のＨＥＶＣ設計は、動き情報をよりよく符号化するために、現在のブロックの近傍のブロック（現在のブロックの隣）の相関をとることができる。しかしながら、近傍のブロックが、異なる動き軌跡を有する異なる対象に対応する可能性がある。この場合、その近傍のブロックからの予測は効率的ではない。

非隣接ブロックの動き情報からの予測は、全ての動き情報（一般的には４×４レベル）をキャッシュに記憶するコストをかけることになり、付加的な符号化利得をもたらし、ハードウェア実装の複雑性を大幅に増大させる。

４． いくつかの例

本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。

既存の実装形態の欠点を克服するために、様々な実施形態において、ブロックの動き情報を予測するために、少なくとも１つの動き候補が記憶された１つ以上のテーブル（例えばルックアップテーブル）を使用するＬＵＴに基づく動きベクトル予測技術を実装し、より高い符号化効率を有する映像符号化を提供することができる。ルックアップテーブルは、ブロックの動き情報を予測するために動き候補を含める際に使用できるテーブルの一例であり、他の実装形態も可能である。各ＬＵＴは、それぞれが対応する動き情報に関連付けられた１つ以上の動き候補を含んでもよい。動き候補の動き情報は、予測方向、参照インデックス／ピクチャ、動きベクトル、ＬＩＣフラグ、アフィンフラグ、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）精度、および／またはＭＶＤ値の一部または全部を含んでもよい。動き情報は、動き情報がどこに由来しているかを示すために、ブロック位置情報をさらに含んでもよい。

開示される技術に基づいたＬＵＴに基づく動きベクトル予測は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実施形態のために以下の例で解明される。ＬＵＴは、履歴データ（例えば、既に処理されたブロック）に基づいて符号化／復号化処理を行うことを可能にするため、ＬＵＴに基づく動きベクトル予測は、ＨＭＶＰ（Ｈｉｓｔｏｒｙ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）法と呼ぶこともできる。ＬＵＴに基づく動きベクトル予測方法において、以前に符号化されたブロックからの動き情報を有する１つまたは複数のテーブルは、符号化／復号化処理の間、維持される。ＬＵＴに記憶されたこれらの動き候補をＨＭＶＰ候補と称する。１つのブロックの符号化／復号化の間、ＬＵＴにおける関連付けられた動き情報を動き候補リスト（例えば、マージ／ＡＭＶＰ候補リスト）に追加して、１つのブロックを符号化／復号化した後に、ＬＵＴを使用してもよい。更新されたＬＵＴは、その後、後続のブロックを符号化するために用いられる。つまり、ＬＵＴにおける動き候補の更新は、ブロックの符号化／復号化の順に基づく。以下の例は、一般的な概念を説明するための例であると考えられるべきである。これらの例は狭い意味で解釈されるべきではない。さらに、これらの例は、任意の方法で組み合わせることができる。

以下の実施例は、一般的な概念を説明するための例であると考えられるべきである。これらの例は狭い意味で解釈されるべきではない。さらに、これらの例は、任意の方法で組み合わせることができる。

いくつかの実施形態において、１つのブロックの動き情報を予測するために、少なくとも１つの動き候補が記憶された１つ以上のルックアップテーブルを用いてもよい。実施形態は、動き候補を用いて、ルックアップテーブルに記憶された動き情報のセットを示すことができる。従来のＡＭＶＰまたはマージモードの場合、実施形態では、動き情報を記憶するためにＡＭＶＰまたはマージ候補を使用してもよい。

以下の実施例は、一般的な概念を説明する。

テーブルの例

例Ａ１：各ルックアップテーブルは、各候補がその動き情報に関連付けられた１つ以上の動き候補を含んでもよい。
ａ．動き候補の動き情報は、予測方向、参照インデックス／ピクチャ、動きベクトル、ＬＩＣフラグ、アフィンフラグ、ＭＶＤ精度、ＭＶＤ値の一部または全部を含んでもよい。
ｂ．動き情報は、動き情報がどこに由来しているかを示すために、ブロック位置情報および／またはブロック形状をさらに含んでもよい。
ｃ．ルックアップテーブルごとに１つのカウンタをさらに割り当ててもよい。
ｄ．テーブルのサイズ（許可される動き候補の数）および／またはテーブルの数は、固定であってもよいし、適応的であってもよい。テーブルのサイズは、すべてのテーブルで同じであってもよいし、異なるテーブルで異なってもよい。

ＬＵＴの選択

例Ｂ１：１つのブロックを符号化する場合、１つのルックアップテーブルからの動き候補の一部または全部を順にチェックすることができる。１つのブロックをコーディングする間に１つの動き候補をチェックするとき、この動き候補を動き候補リスト（例えば、ＡＭＶＰ、マージ候補リスト）に加えてもよい。

ルックアップテーブルの使用法

例Ｃ１：チェック対象のルックアップテーブルにおける動き候補の総数は、予め規定されてもよい。

例Ｃ２：１つのルックアップテーブルに含まれる１つ以上の動き候補は、１つのブロックによって直接継承されてもよい。
ａ．それらをマージモード符号化に使用してもよい。すなわち、マージ候補リスト導出処理において動き候補をチェックしてもよい。

例Ｃ３：ルックアップテーブルに含まれる動き候補は、ブロックの動き情報を符号化するための予測モジュールとして用いられてもよい使用してもよい。
ａ．それらをＡＭＶＰモード符号化に使用してもよい。すなわち、ＡＭＶＰ候補リスト導出処理において動き候補をチェックしてもよい。

例Ｃ４：ルックアップテーブルにおける動き候補のチェック順序は、以下のように規定される（Ｋ（Ｋ≧１）個の動き候補をチェックすることができるとする）：
ａ．ルックアップテーブルにおける最後のＫ個の動き候補は、例えば、ＬＵＴへのエントリインデックスの降順に配列される。

例Ｃ５：１つのブロックの動き情報符号化のためのルックアップテーブルの使用の有効／無効は、ＳＰＳ、ＰＰＳ、スライスヘッダ、タイルヘッダ、ＣＴＵ、ＣＴＢ、ＣＵ、またはＰＵ、複数のＣＴＵ／ＣＴＢ／ＣＵ／ＰＵを含む領域において信号通知されてもよい。

例Ｃ６：ルックアップテーブルからの予測を適用するかどうかは、さらに符号化情報に依存してもよい。１つのブロックに適用しないと推測される場合、予測の指示の追加の信号通知はスキップされる。代替的に、１つのブロックに適用しないと推測される場合、ルックアップテーブルの動き候補にアクセスする必要はなく、関連する動き候補のチェックは省略される。

例Ｃ７：以前符号化されたフレーム／スライス／タイルにおけるルックアップテーブルの動き候補は、異なるフレーム／スライス／タイルにおけるブロックの動き情報を予測するために用いられてもよい。

ルックアップテーブルの更新

例Ｄ１：動き情報を有するブロックを符号化した後（すなわち、ＩｎｔｒａＢＣモード、インター符号化モード）に、１つ以上のルックアップテーブルを更新してもよい。
ａ．一例において、ルックアップテーブルを更新するかどうかは、ルックアップテーブルを選択する規則を再利用してもよく、例えば、現在のブロックを符号化／復号化するためにルックアップテーブルを選択することができる場合、ブロックを符号化／復号化した後、選択されたルックアップテーブルをさらに更新してもよい。
ｂ．更新対象のルックアップテーブルは、符号化情報および／またはブロック／ＬＣＵの位置に基づいて選択されてもよい。
ｃ．ブロックが直接信号通知された動き情報で符号化される場合（例えば、ＡＭＶＰモード、通常／アフィンインターモードのＭＭＶＤモード、通常／アフィンインターモードのＡＭＶＲモード）、ブロックの動き情報をルックアップテーブルに加えられてよい。
ｉ．代替的に、ブロックが、いかなる改良も伴わずに、空間的に近傍のブロックから直接継承された動き情報で符号化される場合（例えば、改良を伴わない空間的マージ候補）、ブロックの動き情報をルックアップテーブルに加えるべきではない。
ｉｉ．代替的に、ブロックが、改良を行って、空間的に近傍のブロックから直接継承された動き情報で符号化される場合（ＤＭＶＲ、ＦＲＵＣなど）、ブロックの動き情報をいかなるルックアップテーブルにも加えるべきではない。
ｉｉｉ．代替的に、ブロックが、ルックアップテーブルに記憶された動き候補から直接継承された動き情報で符号化されている場合は、ブロックの動き情報は、いかなるルックアップテーブルにも加えるべきではない。
ｉｖ．一例において、このような動き情報は、テーブルの最後のエントリまたは次の利用可能な動き候補を記憶するために用いられるエントリ等のように、ルックアップテーブルに直接加えられてもよい。
ｖ．代替的に、このような動き情報は、プルーニングせずに、例えば、いかなるプルーニングもせずに、ルックアップテーブルに直接加えられてもよい。
ｖｉ．代替的に、このような動き情報は、ルックアップテーブルを再配列するために使用してもよい。
ｖｉｉ．代替的に、このような動き情報を使用して、制限付きのプルーニングでルックアップテーブルを更新してもよい。様々な実装形態において、プルーニングは、ａ）動き情報と既存のエントリとを一意性のために比較すること、ｂ）一意である場合、動き情報をリストに追加すること、ｃ）一意でない場合、ｃ１）動き情報を追加しない、または、ｃ２）一致した既存のエントリを削除することを含んでもよい。
ｄ．ブロック内のＭ（Ｍ≧１）個の代表位置を選択し、この代表位置に関連付けられた動き情報を使用してルックアップテーブルを更新する。
ｉ．一例において、代表位置は、ブロック内の４つのコーナー位置（例えば、図２６のＣ０〜Ｃ３）のうちの１つとして規定される。
ｉｉ．一例において、代表位置は、ブロック内の中心位置（例えば、図２６におけるＣａ＿Ｃｄ）として規定される。
ｉｉｉ．ブロックに対してサブブロック予測が許可されない場合、Ｍは１に設定される。
ｉｖ．サブブロック予測がブロックに対して許可される場合、Ｍは、１又はサブブロックの総数、又は１とサブブロックの数の間の一意の値に排他的に設定され得る。
ｖ．代替的に、ブロックのためにサブブロック予測を許可する場合、Ｍを１に設定することができ、代表的なサブブロックの選択は、以下に基づいて行われる。
１．利用される動き情報の周波数
２．双方向予測ブロックであるかどうか
３．参照ピクチャインデックス／参照ピクチャに基づいて
４．他の動きベクトルと比較した動きベクトルの差分（例えば、最大ＭＶ差を選択する）
５．他の符号化情報
ｅ．Ｍ（Ｍ≧１）個の代表位置のセットを選択してルックアップテーブルを更新する場合、これらを追加の動き候補としてルックアップテーブルに加える前に、更なる条件をチェックしてよい。
ｉ．ルックアップテーブルにおける既存の動き候補に対して、新たな動き情報のセットをプルーニングしてもよい。
ｉｉ．一例において、新しい動き情報のセットは、ルックアップテーブルにおける既存の動き候補のいずれかまたは一部と同一であってはならない。
ｉｉｉ．代替的に、新しい動き情報のセットおよび１つの既存の動き候補からの同じ参照ピクチャの場合、ＭＶの差は、１／複数の閾値以上でなければならない。例えば、ＭＶ差の水平および／または垂直の構成要素は、１ピクセルの距離よりも大きくなければならない。
ｉｖ．代替的に、Ｋ＞Ｌである場合、新しい動き情報のセットを、最後のＫ個の候補または最初のＫ％Ｌ個の既存の動き候補によってのみプルーニングし、古い動き候補を再びアクティブにすることができるようにする。
ｖ．代替的に、プルーニングは適用しない。
ｆ．動き情報のＭ個のセットがルックアップテーブルを更新するために用いられる場合、対応するカウンタをＭだけ増加させるべきである。
ｇ．現在のブロックを符号化する前に、このブロックを符号化した後、選択された動き情報の１つのセットに対して、更新対象のルックアップテーブルのカウンタをＫとする（上記の方法で、Ｋ％Ｌに等しいインデックスを有する追加の動き候補として加える（ここで、Ｌはルックアップテーブルのサイズである））。その例を図２７Ａおよび図２７Ｂに示す。
ｉ．代替的に、それは、ｍｉｎ（Ｋ＋１，Ｌ−１）に等しいインデックスを有する追加の動き候補として追加される。代替的に、更に、Ｋ≧Ｌである場合、最初の動き候補（インデックス＝０）をルックアップテーブルから取り除き、後続のＫ個の候補インデックスを１だけ減らす。
ｉｉ．上記両方の方法（Ｋ％Ｌに等しいエントリインデックスに新しい動き候補を加えるか、またはｍｉｎ（Ｋ＋１，Ｌ−１）に等しいインデックスを加える）の場合、同じ／類似した動き候補が存在するかどうかに関わらず、それらは、前に符号化されたブロックからの動き情報の最新の数セットを保持しようとしている。
ｉｉｉ．代替的に、動き情報の新しいセットを動き候補としてＬＵＴに追加する場合、まず冗長性チェックを行う。この場合、ＬＵＴは以前に符号化されたブロックからの動き情報の最新のいくつかのセットを保持するが、冗長な動き情報がＬＵＴから除去されてもよい。このような方法を、冗長性除去に基づくＬＵＴ更新方法と呼ぶ。
１．ＬＵＴに重複した動き候補が存在する場合、ＬＵＴに関連付けられたカウンタを増加させてもよいし、減少させてもよい。
２．この冗長チェックは、例えば、参照ピクチャ／参照ピクチャのインデックスが同じであり、且つ動きベクトルの差分が範囲内にあるかまたは同一であるかをチェックすることなど、マージ候補リスト構築処理におけるプルーニング処理として規定されてもよい。
３．ＬＵＴ内に冗長動き候補が見つかった場合、その冗長動き候補を現在の位置からＬＵＴの最後の位置に移動させる。
ａ．同様に、ＬＵＴ内に冗長動き候補が見つかった場合、この冗長動き候補をＬＵＴから取り除く。また、冗長動き候補の後にＬＵＴに挿入されたすべての動き候補は、前方に移動し、除去された冗長動き候補のエントリを再び満たす。シフトした後、新しい動き候補をＬＵＴに加える。
ｂ．この場合、カウンタは変更されないままである。
ｃ．ＬＵＴにおいて冗長動き候補を特定した後、冗長チェック処理を終了する。
４．複数の冗長動き候補を特定されてよい。この場合、それらのすべてをＬＵＴから削除する。また、残りの動き候補は、すべて順に前方に移動してもよい。
ａ．この場合、カウンタを（冗長動き候補の数−１）だけ減少させる。
ｂ．ｍａｘＲ個の冗長動き候補（ｍａｘＲは正の整数変数）を特定した後、冗長チェック処理を終了する。
５．冗長性チェック処理は、１つ目の動き候補から最後の動き候補まで（即ち、ＬＵＴに付加された順に、動き情報の由来するブロックの復号化処理の順に）行ってよい。
６．代替的に、ＬＵＴに冗長動き候補がある場合、冗長なものを１つまたは複数個取り除く代わりに、冗長なものから仮想動き候補を導出し、この仮想動き候補を使用して冗長なものを置き換えてもよい。
ａ．仮想動き候補は、１つ以上の動きベクトルの水平および／または垂直の構成要素にオフセットを加えることで、または同じ参照ピクチャを指している場合には２つの動きベクトルの平均値を加えることで、冗長動き候補から導出されてもよい。代替的に、仮想動き候補は、ルックアップテーブルにおける動きベクトルを入力とする任意の関数から導出されてもよい。例示的な関数は以下の通りである。２つ以上の動きベクトルを足し合わせること、２つまたは複数の動きベクトルを平均すること。動きベクトルは、関数に入力される前にスケーリングされてもよい。
ｂ．なお、冗長動き候補と同じ位置に仮想動き候補を加えてもよい。
ｃ．他のすべての動き候補の前に、仮想動き候補を追加してもよい（例えば、最小のエントリインデックスから始まり、例えば、ゼロ）。
ｄ．一例において、現在のＬＵＴが満杯でない場合など、特定の条件下でのみ適用される。
７．冗長性除去に基づくＬＵＴ更新方法は、以下のような特定の条件下で呼び出されてもよい。
ａ．現在のブロックはマージモードで符号化されている。
ｂ．現在のブロックはＡＭＶＰモードで符号化されているが、ＭＶ差の少なくとも１つの構成要素が非ゼロである。
ｃ．現在のブロックがサブブロックベースの動き予測／動き補償方法で符号化されているか、または符号化されていない（例えば、アフィンモードで符号化されていない）。
ｄ．現在のブロックはマージモードで符号化され、動き情報はあるタイプ（例えば、空間的に近傍のブロックから、左の近傍のブロックから、時間的ブロックから）に関連付けられている。
ｈ．１つのブロックを符号化／復号化した後、１つ以上のルックアップテーブルは、動き情報のＭ個のセットをテーブルの末端、すなわち、既存の候補のすべての後に挿入するだけで、更新されてもよい。
ｉ．代替的に、さらに、テーブルにおける既存の動き候補をいくつか削除してもよい。
１．一例において、動き情報のＭ個のセットを挿入した後、テーブルが満杯である場合、最初のいくつかの動き候補のエントリをテーブルから削除してよい。
２．一例において、動き情報のＭ個のセットを挿入する前にテーブルが満杯である場合、動き候補の最初のいくつかのエントリをテーブルから削除してよい。
ｉｉ．代替的に、さらに、ブロックがテーブルからの動き候補で符号化されている場合、選択された動き候補をテーブルの最後のエントリに入れるように、テーブルにおける動き候補を再配列してもよい。
１．１つの例において、ブロックを符号化／復号化する前に、ルックアップテーブルには、ＨＭＶＰ_０，ＨＭＶＰ_１，ＨＭＶＰ_２，・・・，ＨＭＶＰ_Ｋ−１，ＨＭＶＰ_Ｋ，ＨＭＶＰ_Ｋ＋１，・・・，ＨＭＶＰ_Ｌ−１で示される動き候補が含まれていてもよく、ＨＭＶＰ_ｉは、ルックアップテーブルのｉ番目のエントリを示す。ブロックがＨＭＶＰ_Ｋから予測されている場合（Ｋが包含的に［０，Ｌ−１］の範囲内にある場合）、このブロックを符号化／復号化した後、ルックアップテーブルは、ＨＭＶＰ_０，ＨＭＶＰ_１，ＨＭＶＰ_２，・・・，ＨＭＶＰ_Ｋ−１，ＨＭＶＰ_Ｋ，ＨＭＶＰ_Ｋ＋１，・・・，ＨＭＶＰ_Ｌ−１，ＨＭＶＰ_Ｋに再配列される。
ｉ．１つのイントラ制約ブロックを符号化した後、ルックアップテーブルを空にしてもよい。
ｊ．動き情報のエントリをルックアップテーブルに追加する場合、動き情報からの導出により、動き情報のより多くのエントリをテーブルに追加してもよい。この場合、ルックアップテーブルに関連付けられたカウンタを１より大きい数だけ増加させてよい。
ｉ．一例において、動き情報のエントリのＭＶをスケーリングし、テーブルに入れる。
ｉｉ．一例において、動き情報のエントリのＭＶは、（ｄｘ，ｄｙ）を加算され、テーブルに入れられる。
ｉｉｉ．一例において、２つ以上の動き情報のエントリのＭＶの平均を計算し、テーブルに入れる。

例Ｄ２：１つのブロックが１つのピクチャ／スライス／タイルの境界に位置する場合、ルックアップテーブルの更新は常に許可されない。

例Ｄ３：現在のＬＣＵの行を符号化するために、上側のＬＣＵの行の動き情報を無効にしてもよい。
ａ．この場合、新しいスライス／タイル／ＬＣＵの行の始まりにおいて、利用可能な動き候補の数を０にリセットしてもよい。

例Ｄ４：新しい時間層インデックスを使用してスライス／タイルの符号化の開始時に、利用可能な動き候補の数を０にリセットしてよい。

例Ｄ５：ルックアップテーブルは、同じ時間層インデックスを有する１つのスライス／タイル／ＬＣＵの行／スライスで連続的に更新されてもよい。
ａ．代替的に、ルックアップテーブルは、各Ｓ（Ｓ≧１）個のＣＴＵ／ＣＴＢ／ＣＵ／ＣＢを符号化／復号化した後、または特定の領域（例えば、８×８または１６×１６に等しいサイズ）を符号化／復号化した後にのみ更新されてもよい。
ｂ．代替的に、ルックアップテーブルは、特定のモード（例えば、Ｓ個のインター符号化ブロック）を有する各Ｓ（Ｓ≧１）個のブロック（例えば、ＣＵ／ＣＢ）を符号化／復号化した後にのみ更新されてもよい。代替的に、ルックアップテーブルは、サブブロックに基づく動き予測／動き補償方法で符号化されていない（例えば、アフィンおよび／またはＡＴＭＶＰモードで符号化されていない）各Ｓ（Ｓ≧１）個のインター符号化ブロック（例えば、ＣＵ／ＣＢ）を符号化／復号化した後にのみ更新されてもよい。
ｃ．代替的に、符号化／復号化されたブロックの左上座標が何らかの条件を満たす場合にのみ、ルックアップテーブルを更新してもよい。例えば、ルックアップテーブルは、（ｘ＆Ｍ＝＝０）＆（ｙ＆Ｍ＝＝０）の場合にのみ更新され、ここで、（ｘ，ｙ）は、符号化／復号化されたブロックの左上座標である。Ｍは、２、４、８、１６、３２、または６４などの整数である。
ｄ．代替的に、１つのルックアップテーブルは、最大許容カウンタに達すると、更新を停止してもよい。
ｅ．一例において、カウンタは予め規定されてもよい。代替的に、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、スライスヘッダ、タイルヘッダ、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、ＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）またはＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、複数のＣＴＵ／ＣＴＢ／ＣＵ／ＰＵをカバーする領域で信号通知される。

例Ｄ６：ルックアップテーブル更新処理は、異なる手順内で呼び出されてもよい。
ａ．一例において、マージモードで符号化されたブロックの場合、ルックアップテーブル更新処理は、マージ候補を復号化した後であってもよいし、マージリストを構築した後であってもよく、または動き情報を改良して、および／または改良せずに復号化した後であってもよい。
ｂ．一例において、ＡＭＶＰで符号化されたブロックの場合、ルックアップテーブル更新処理は、動き情報を改良して、および／または改良せずに復号化した後であってもよい。
ｃ．ルックアップテーブルをいつおよび／またはどのように更新するかは、符号化モード、ブロック寸法、映像処理データユニット、低遅延チェック等に依存してよい。
ｉ．一例において、１つのブロックがＡＭＶＰモードで符号化される場合、プルーニングせずに、ルックアップテーブルを直接更新してもよい。
ｉｉ．代替的に、１つのブロックがマージモードで符号化される場合、プルーニングによってルックアップテーブルを更新してもよい。
ｉｉｉ．代替的に、１つのブロックがマージモードで符号化され、その動き情報が空間的ブロックおよび／または時間的ブロックから導出される場合、ルックアップテーブルはプルーニングによって更新されてもよい。
ｉｖ．代替的に、１つのブロックをマージモードで符号化し、その動き情報がルックアップテーブルにおける動き候補から導出される場合、プルーニングせずにルックアップテーブルを再配列してもよい。
ｖ．代替的に、１つのブロックをマージモードで符号化し、その動き情報がルックアップテーブルにおける仮想候補（例えば、バイ、ペア、ゼロ動きベクトル候補の組み合わせ）から導出される場合、ルックアップテーブルは更新されなくてもよい。
ｖｉ．代替的に、１つのブロックがサブブロックマージモードおよび／または三角マージモードで符号化される場合、ルックアップテーブルは更新されなくてもよい。
ｖｉｉ．代替的に、１つのブロックをＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）モードで符号化し、その動き情報が空間的ブロックおよび／または時間的ブロックから導出される場合、ルックアップテーブルを直接更新してもよい。
ｖｉｉｉ．一例において、１つのブロックが、ＩＣ（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：照明補償）モードおよび／またはＯＢＭＣ（Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）モードおよび／またはＤＭＶＤ（Ｄｅｃｏｄｅ−ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）モードで符号化される場合、ルックアップテーブルは、更新されなくてもよい。代替的に、このようなモードで１つのブロックを符号化する場合、ルックアップテーブルを更新してもよい。

追加の例示的な実施形態

以前符号化されたブロックの動き情報としてＨＭＶＰ候補を規定する、ＨＭＶＰ（Ｈｉｓｔｏｒｙ−ｂａｓｅｄ ＭＶＰ）方法が提案される。符号化／復号化処理中、複数のＨＭＶＰ候補を有するテーブルが維持される。新しいスライスに遭遇した場合、テーブルは空になる。インター符号化されたブロックがあるときはいつでも、関連する動き情報を新しいＨＭＶＰ候補としてテーブルの最後のエントリに加える。全体の符号化フローを図３１に示す。

一例において、テーブルサイズはＬ（例えば、Ｌ＝１６または６、または４４）に設定され、これは、最大Ｌ個のＨＭＶＰ候補をテーブルに追加することができることを示す。

１つの実施形態（例Ｄ１．ｇ．ｉに対応する）において、以前符号化されたブロックからのＨＭＶＰ候補がＬ個よりも多く存在する場合、テーブルが常に最新の以前符号化されたＬ個の動き候補を含むように、先入れ先出し（ＦＩＦＯ：Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ）規則が適用される。図３２は、ＦＩＦＯ規則を適用してＨＭＶＰ候補を除去し、提案される方法で使用されるテーブルに新しいものを追加する例を示す。

別の実施形態（例Ｄ１．ｇ．ｉｉｉに対応する）において、新しい動き候補を追加するときはいつでも（例えば、現在のブロックがインター符号化され、非アフィンモードであるなど）、まず、冗長性チェック処理を適用し、ＬＵＴに同じまたは類似した動き候補があるかどうかを識別する。

いくつかの例を以下に示す。

図３３Ａは、新しい動き候補を追加する前に、ＬＵＴが満杯であった場合の例を示す。

図３３Ｂは、新しい動き候補を追加する前に、ＬＵＴが満杯でない場合の例を示す。

図３３Ａおよび図３３Ｂは、ともに、冗長性除去に基づくＬＵＴ更新方法（１つの冗長性動き候補を除去する）の例を示す。

図３４Ａおよび図３４Ｂは、冗長性除去に基づくＬＵＴ更新方法（複数の冗長性動き候補を除去する、図では２つの候補を示す）の２つの場合の例示の実装形態を示す。

図３４Ａは、新しい動き候補を追加する前に、ＬＵＴが満杯であった場合の例を示す。

図３４Ｂは、新しい動き候補を追加する前に、ＬＵＴが満杯でない場合の例を示す。

ＨＭＶＰ候補は、マージ候補リスト構築処理において使用され得る。ＴＭＶＰ候補の後に、テーブルにおける最後のエントリから最初のエントリ（または最後のＫ０のＨＭＶＰ、例えば、Ｋ０＝１６または６）までのすべてのＨＭＶＰ候補を挿入する。ＨＭＶＰ候補に対してプルーニングを適用する。利用可能なマージ候補の総数が信号通知された最大許容マージ候補に達すると、マージ候補リスト構築処理を終了する。代替的に、加算された動き候補の総数が、所与の値に達すると、ＬＵＴからの動き候補の取り出しを終了する。

同様に、ＨＭＶＰ候補は、ＡＭＶＰ候補リスト構築処理において使用されてもよい。ＴＭＶＰ候補の後に、テーブルにおける最後のＫ１個のＨＭＶＰ候補の動きベクトルを挿入する。ＡＭＶＰ対象参照ピクチャと同じ参照ピクチャを有するＨＭＶＰ候補のみを用いて、ＡＭＶＰ候補リストを構築する。ＨＭＶＰ候補に対してプルーニングを適用する。一例において、Ｋ１は４に設定される。

図２８は、映像処理装置２８００のブロック図である。装置２８００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置２８００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）受信機等により実装されてよい。装置２８００は、１つ以上のプロセッサ２８０２と、１つ以上のメモリ２８０４と、映像処理ハードウェア２８０６と、を含んでよい。１つまたは複数のプロセッサ２８０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。１または複数のメモリ２８０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア２８０６は、本明細書に記載される技術をハードウェア回路にて実装するために用いられてもよい。

図２９は、映像復号化方法２９００の例のフローチャートである。方法２９００は、ステップ２９０２において、１つ以上のテーブルを維持することを含み、各テーブルは、１つ以上の動き候補のセットを含み、各動き候補は、対応する動き情報に関連付けられる。方法２９００は、さらに、ステップ２９０４において、テーブルの中の動き情報を使用して現在のブロックと、現在のブロックを含む映像のビットストリーム表現との間で変換を行うことを含む。方法２９００は、さらに、ステップ２９０６において、変換を実行した後、現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することを含む。

図３０は、映像復号化方法３０００の例のフローチャートである。方法３０００は、ステップ３００２において、１つ以上のテーブルを使用して現在のブロックと現在のブロックを含む映像のビットストリーム表現との間の変換を行うことを含み、各テーブルは、１つ以上の動き候補を含み、各動き候補は、対応する動き情報に関連付けられている。方法３０００は、さらに、ステップ３００４において、変換に基づいて、現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することを含む。

方法２９００および３０００に対して、いくつかの実施形態において、動き情報は、予測方向、参照ピクチャインデックス、動きベクトル値、強度補償フラグ、アフィンフラグ、動きベクトル差精度または動きベクトル差分値のうち少なくとも１つを含む。さらに、動き情報は、動き情報のソースを示すブロック位置情報をさらに含んでもよい。いくつかの実施形態において、映像ブロックはＣＵまたはＰＵであってよく、映像の一部は１つ以上の映像スライスまたは１つ以上の映像ピクチャに対応してよい。

いくつかの実施形態において、各ＬＵＴは、関連するカウンタを含み、このカウンタは、この映像のこの部分の最初においてゼロ値に初期化され、この映像のこの部分における各符号化された映像領域ごとに増加される。この映像領域は、符号化ツリーユニット、符号化ツリーブロック、符号化ユニット、符号化ブロックまたは予測ユニットのうちの１つを含む。いくつかの実施形態において、カウンタは、対応するＬＵＴに対して、該当するＬＵＴから除去された動き候補の数を示す。いくつかの実施形態において、動き候補のセットはすべてのＬＵＴに対して同じサイズを有していてもよい。いくつかの実施形態において、映像の一部は１つの映像スライスに対応し、ＬＵＴの数はＮ＊Ｐに等しく、Ｎは１つの復号化スレッド当たりのＬＵＴを表す整数であり、Ｐは１つの映像スライスにおける最大符号化ユニットの行の数またはタイルの数を表す整数である。方法２９００および３０００のさらなる詳細は、第４章に提供される実施例および以下に列挙される実施例に記載される。

上述した方法／技術の特徴および実施形態を、項目に基づくフォーマットを使用して以下に説明する。

１．１つ以上のテーブルを保持することであって、各テーブルは、１つ以上の動き候補のセットを含み、各動き候補は、対応する動き情報に関連付けられる、ことと、テーブル内の動き情報を用いて、現在のブロックと、前記現在のブロックを含む映像のビットストリーム表現との間で変換を行うことと、変換を行った後、現在のブロックに関連付けられた、整数であるＭ個のセットの追加の動き情報に基づいて、１つ以上のテーブルを更新することと、を有する映像処理方法。

２．１つ以上のテーブルを用いて、現在のブロックと前記現在のブロックを含む映像のビットストリーム表現との間の変換を行うことであって、各テーブルは、１つ以上の動き候補を含み、各動き候補は、対応する動き情報に関連付けられる、ことと、前記変換に基づいて、前記現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することと、を有する映像処理方法。

３．Ｍは１と等しい、第１または２項に記載の方法。

４．Ｍ個の追加の動き候補としての動き情報の前記Ｍ個のセットをテーブルに追加することをさらに含む、第１または２項に記載の方法。

５．テーブルを前記更新することは、動き情報の前記セットを追加の動き候補としてテーブルに加える前に、動き情報の前記Ｍ個のセットの中の１セットに対して比較工程を行うことをさらに含む、第４項に記載の方法。

６．動き情報の前記セットを、最後のＫ個の候補または最初のＫ％Ｌ個の既存の動き候補でプルーニングし、Ｋは、テーブルに対応する動き候補のカウンタを表す整数であり、Ｌは、テーブルのサイズを示す、第５項に記載の方法。

７．動き情報の前記Ｍ個のセットの中の１セットを追加の動き候補としてテーブルに追加し、比較工程を適用しない、第４項に記載の方法。

８．動き情報の前記Ｍ個のセットの中の１セットをテーブルに加える場合、動き情報のセットは、前記テーブルにおける現在の動き候補のいずれかまたは一部と異なる動き情報を含む、第４項に記載の方法。

９．動き情報の前記Ｍ個のセットの中の１セットを加える時に、テーブルの中の現在の動き候補のＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と、動き情報のセットからの同じ参照ピクチャのＭＶとの間の差が、１つまたは複数の閾値よりも小さくないことをさらに含む、第４項に記載の方法。

１０．各テーブルは対応するカウンタを有し、前記対応するカウンタがＭだけ増加される、第１または２項に記載の方法。

１１．追加の動き候補に、前記テーブルにおけるＫ％Ｌに等しいインデックスを加え、Ｋは、更新対象のテーブルに対応する動き候補のカウンタを表し、Ｌは、テーブルのサイズを表す、第４項に記載の方法。

１２．追加の動き候補に、前記テーブルにおけるｍｉｎ（Ｋ＋１，Ｌ−１）に等しいインデックスを加え、Ｋは、更新対象のテーブルに対応する動き候補のカウンタを表し、Ｌは、テーブルのサイズを表す、第４項に記載の方法。

１３．ＫがＬよりも小さくない場合、インデックスが０である最初の動き候補を前記テーブルから取り除く、第４項に記載の方法。

１４．同一または類似した動き候補が存在するかに関わらず、前回符号化されたブロックからの最新の動き情報のセットを維持する、第１１または１２項に記載の方法。

１５．前記１つ以上のテーブルを前記更新することは、前記テーブルにおける現在の動き候補と追加の動き候補との冗長性をチェックすることを含む、第４項に記載の方法。

１６．１つ以上のテーブルを前記更新することは、テーブルから１つ以上の冗長な現在の動き候補を削除し、以前の符号化ブロックからの動き情報の最新のセットを維持する冗長性削除に基づくテーブル更新を行うことを含む、第１５項に記載の方法。

１７．動き情報の前記最新のセットは、重複していない動き情報を含む、第１６項に記載の方法。

１８．前記テーブルにおける現在の動き候補のうちの少なくとも１つが追加の動き候補に対して冗長である場合、前記テーブルに関連付けられたカウンタを増加させない、第１６項に記載の方法。

１９．前記冗長性除去に基づくテーブル更新処理は、テーブルへの追加対象の追加の動き候補とテーブルにおける現在の動き候補との比較工程を行うことを含む、第１６項に記載の方法。

２０．前記冗長性をチェックすることは、前記テーブルにおける冗長な現在の動き候補を特定し、特定された冗長な現在の動き候補を、現在の位置から前記テーブルにおける残りの現在の動き候補の後の最後の位置に移動させる、第１９項に記載の方法。

２１．前記冗長性をチェックすることは、前記テーブルにおける冗長な現在の動き候補を特定し、特定された冗長な現在の動き候補を、前記テーブルから除去して前記テーブルにおける空きエントリを提供し、前記テーブルにおける特定された冗長な現在の動き候補の後の非冗長な現在の動き候補を前方に移動させて空きエントリを埋める、第１９項に記載の方法。

２２．前記追加の動き候補を前記追加することは、前記テーブルにおける非冗長な現在の動き候補の前記移動の後に行われる、第２１項に記載の方法。

２３．前記冗長性除去に基づくテーブル更新を前記行うことは、前記テーブルにおける現在の動き候補の冗長性をチェックして、複数の冗長な動き候補を特定することと、特定された複数の冗長な動き候補を全て除去することと、を含む、第１６項に記載の方法。

２４．前記特定された複数の冗長な動き候補の数から１を減算した値だけ、前記テーブルに対応するカウンタを減算する、第２３項に記載の方法。

２５．前記特定された複数の冗長な動き候補の数が最大値ｍａｘＲに達した後、冗長性のチェックを終了し、ｍａｘＲは正の整数の変数である、第２３項に記載の方法。

２６．冗長な現在の動き候補が特定された場合、前記冗長性のチェックを終了する、項１６に記載の方法。

２７．前記冗長性をチェックすることは、テーブルにおける最初の現在の動き候補から最後の現在の動き候補への順に行われる、第１６項に記載の方法。

２８．前記冗長性をチェックすることは、前記現在の動き候補を前記テーブルに追加した順に、または現在の動き候補を取得したブロックの復号化処理の順に行われる、第１６項に記載の方法。

２９．前記冗長性をチェックすることは、前記テーブルにおける冗長な現在の動き候補を特定し、前記特定された冗長な候補から仮想動き候補を導出し、特定された複数の冗長な候補をテーブルから除去する、第１６項に記載の方法。

３０．前記仮想動き候補は、ｉ）１つ以上の動きベクトルの水平または垂直の構成要素にオフセットを加えること、または、ｉｉ）同じ参照ピクチャを指す２つの動きベクトルを平均することによって導出される、第２９項に記載の方法。

３１．前記仮想動き候補は、前記テーブルにおける現在の動き候補に関連付けられた動きベクトルの関数から導出される、第２９項に記載の方法。

３２．前記仮想動き候補を、前記テーブルにおける特定された冗長な動き候補の位置に追加する第２９項に記載の方法。

３３．前記テーブルにおける現在の動き候補の前に、前記仮想動き候補を追加し、前記現在の動き候補は、前記特定された冗長な動き候補を除く、前記テーブルにおける動き候補に対応する、第１６項に記載の方法。

３４．一定の条件が満たされていると判定された場合、前記冗長性除去に基づくテーブル更新処理を呼び出す、第１６項に記載の方法。

３５．前記条件は、前記現在のブロックがマージモードで符号化される場合を含む、第３４項に記載の方法。

３６．前記条件は、前記現在のブロックがサブブロックに基づく動き予測でも、サブブロックに基づく動き補償方法でも符号化されていない場合を含む、第３５項に記載の方法。

３７．Ｓ個のブロックの前記変換を実行した後にのみ、前記１つ以上のテーブルの前記更新を実行し、Ｓは、１以上である、第１または２項に記載の方法。

３８．前記Ｓ個のブロックは、インター符号化ブロックである、第３７項に記載の方法。

３９．前記Ｓ個のブロックは、サブブロックに基づく動き予測方法でも、サブブロックに基づく動き補償方法でも符号化されない、第３７項に記載の方法

４０．前記条件は、前記現在のブロックをマージモードで符号化し、対応する動き候補の動き情報のソースが一定のタイプを有する場合を含む、第３９項に記載の方法。

４１．対応する動き候補の前記動き情報の前記ソースは、左の近傍のブロックを含む空間的に近傍のブロックからのものであるか、または時間的ブロックからのものである、第４０項に記載の方法。

４２．前記Ｍ個の追加の動き候補の前に前記テーブルに追加された現在の動き候補の後に、前記Ｍ個の追加の動き候補を追加する、第４項に記載の方法。

４３．前記現在の動き候補のいくつかを前記テーブルから削除することをさらに含む、第４２項に記載の方法。

４４．動き情報の前記Ｍ個のセットを挿入する前または後に、テーブルが満杯になった場合、動き候補の前記セットの中の最初の１つまたは複数のエントリを前記テーブルから削除する、第４３項に記載の方法。

４５．前記現在のブロックが動き情報を直接信号通知して符号化される場合、前記動き情報をテーブルに追加する、第１または２項に記載の方法。

４６．前記現在のブロックは、ＡＭＶＰモード、ノーマル／アフィン間モード場合は、ＭＭＶＤ（Ｍａｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）モード、またはノーマル／アフィン間モードの場合は、ＡＭＶＲ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードで符号化される、第４１項に記載の方法。

４７．前記動き情報は、前記テーブルの最後のエントリ、または次の利用可能な動き候補を記憶するために使用するエントリに追加される、第４５項に記載の方法。

４８．動き情報の前記Ｍ個のセットに基づいて、動き情報導出処理によって、追加の動き候補を前記テーブルに追加することをさらに含む、第１、２または１６項に記載の方法。

４９．前記テーブルに対応するカウンタが１より大きい値ずつ増加する、第４４項に記載の方法。

５０．前記動き情報導出処理は、動き情報の前記Ｍ個のセットの中の１セットの動きベクトルをスケーリングすることを含む、第４４項に記載の方法。

５１．前記動き情報導出処理は、動き情報の前記Ｍ個のセットの動きベクトルに、動きベクトルオフセット（ｄｘ，ｄｙ）を加算することを含む、第４８項に記載の方法。

５２．前記動き情報導出処理は、動き情報の前記Ｍ個のセットにおける２つ以上のセットの動きベクトルの平均値を使用することを含む、第４８項に記載の方法。

５３．前記更新することは、前記テーブルに追加される前に動き情報の前記Ｍ個のセットを修正することを含む、第１〜５２項のいずれか１項に記載の方法。

５４．前記変換を行うことは、前記現在のブロックから前記ビットストリーム表現を生成することを含む、第１または２項に記載の方法。

５５．変換を行うことは、前記ビットストリーム表現から前記現在のブロックを生成することを含む、第１または２項に記載の方法。

５６．動き候補は、予測方向、参照ピクチャインデックス、動きベクトル値、強度補償フラグ、アフィンフラグ、動きベクトル差精度、または動きベクトル差分値のうちの少なくとも１つを含む動き情報に関連付けられる、第１〜５５項のいずれか１項に記載の方法。

５７．前記動き候補は、イントラモード符号化のためのイントラ予測モードの動き候補に対応する、第１〜５５項のいずれか１項に記載の方法。

５８．前記動き候補は、ＩＣパラメータ符号化のための照明補償パラメータを含む動き候補に対応する、第１〜５５項のいずれか１項に記載の方法。

５９．前記更新されたテーブルに基づいて、前記映像の後続の映像ブロックと前記映像の前記ビットストリーム表現との間で変換を行うことをさらに含む、第１〜５８項のいずれか１項に記載の方法。

６０．プロセッサと、命令が記憶された非一時的メモリとを備える装置であって、前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、第１項から第５９項のいずれか１項に記載の方法を実施させる装置。

６１．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第１〜５９項のいずれか１項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。

以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。

本書に記載された開示された、およびその他の実施形態、モジュール、および機能操作の実装形態は、本書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、記憶装置、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含み、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含んでもよい。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開可能である。

本明細書に記載されたプロセスおよびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって行うことができる。プロセスおよびロジックフローはまた、特別目的のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実行することができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、および記憶装置を含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、専用ロジック回路によって補完されてもよく、または専用ロジック回路に組み込まれてもよい。

この特許文献は多くの詳細を含むが、これらは、任意の発明の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、単一の例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブ組み合わせまたはサブ組み合わせのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許文献に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０１８年６月２９日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／０９３６６３号、２０１８年７月７日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／０９４９２９号、２０１８年８月１８日出願の国際特許出願ＰＣＴ／ＣＮ２０１８／１０１２２０、２０１８年１１月２７日に提出の国際特許出願ＰＣＴ／ＣＮ２０１８／１１７６２７、および２０１９年１月１０日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０７１２１４号の優先権および利益を適時に主張することを目的とする。あらゆる目的のために、国際特許出願ＰＣＴ／ＣＮ２０１８／０９３６６３号、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９４９２９号、国際特許出願ＰＣＴ／ＣＮ２０１８／１０１２２０号、国際特許出願ＰＣＴ／ＣＮ２０１８／１１７６２７号、および国際特許出願第ＰＣＴ／ＣＮ２０１９／０７１２１４の開示の全文は、本願の開示の一部として参照により援用される。

Claims (61)

1. １つ以上のテーブルを保持することであって、各テーブルは、１つ以上の動き候補のセットを含み、各動き候補は、対応する動き情報に関連付けられる、ことと、
   テーブルの動き情報を用いて、現在のブロックと前記現在のブロックを含む映像のビットストリーム表現との間の変換を行うことと、
   前記変換を実行した後、前記現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することと、
   を有する、映像処理方法。
2. １つ以上のテーブルを用いて、現在のブロックと前記現在のブロックを含む映像のビットストリーム表現との間の変換を行うことであって、各テーブルは、１つ以上の動き候補を含み、各動き候補は、対応する動き情報に関連付けられる、ことと、
   前記変換に基づいて、前記現在のブロックに関連付けられた追加の動き情報の、整数であるＭ個のセットに基づいて、１つ以上のテーブルを更新することと、
   を有する、映像処理方法。
3. Ｍは１と等しい、請求項１または２に記載の方法。
4. Ｍ個の追加の動き候補としての動き情報の前記Ｍ個のセットをテーブルに追加することをさらに含む、請求項１または２に記載の方法。
5. テーブルを前記更新することは、動き情報の前記セットを追加の動き候補としてテーブルに加える前に、動き情報の前記Ｍ個のセットの中の１セットに対して比較工程を行うことをさらに含む、請求項４に記載の方法。
6. 動き情報の前記セットを、最後のＫ個の候補または前記最初のＫ％Ｌ個の既存の動き候補でプルーニングし、Ｋは、テーブルに対応する動き候補のカウンタを表す整数であり、Ｌは、前記テーブルのサイズを示す、請求項５に記載の方法。
7. 動き情報の前記Ｍ個のセットの中の１セットを追加の動き候補としてテーブルに追加し、比較工程を適用しない、請求項４に記載の方法。
8. 動き情報の前記Ｍ個のセットの中の１セットをテーブルに加える場合、動き情報の前記セットは、前記テーブルにおける現在の動き候補のいずれかまたは一部と異なる動き情報を含む、請求項４に記載の方法。
9. 動き情報の前記Ｍ個のセットの中の１セットを加える時に、テーブルの中の現在の動き候補のＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と、動き情報の前記セットからの同じ参照ピクチャの前記ＭＶとの間の差が、１つまたは複数の閾値よりも小さくないことをさらに含む、請求項４に記載の方法。
10. 各テーブルは対応するカウンタを有し、前記対応するカウンタがＭだけ増加される、請求項１または２に記載の方法。
11. 追加の動き候補に、前記テーブルにおけるＫ％Ｌに等しいインデックスを加え、Ｋは、更新対象の前記テーブルに対応する動き候補のカウンタを表し、Ｌは、前記テーブルのサイズを表す、請求項４に記載の方法。
12. 追加の動き候補に、前記テーブルにおけるｍｉｎ（Ｋ＋１，Ｌ−１）に等しいインデックスを加え、Ｋは、更新対象のテーブルに対応する動き候補のカウンタを表し、Ｌは、前記テーブルのサイズを表す、請求項４に記載の方法。
13. ＫがＬよりも小さくない場合、インデックスが０である最初の動き候補を前記テーブルから取り除く、請求項４に記載の方法。
14. 同一または類似した動き候補が存在するかに関わらず、前回符号化されたブロックからの最新の動き情報のセットを維持する、請求項１１または１２に記載の方法。
15. 前記１つ以上のテーブルを前記更新することは、前記テーブルにおける現在の動き候補と追加の動き候補との冗長性をチェックすることを含む、請求項４に記載の方法。
16. １つ以上のテーブルを前記更新することは、テーブルから１つ以上の冗長な現在の動き候補を削除し、以前の符号化ブロックからの動き情報の最新のセットを維持する冗長性削除に基づくテーブル更新を行うことを含む、請求項１５に記載の方法。
17. 動き情報の前記最新のセットは、重複していない動き情報を含む、請求項１６に記載の方法。
18. 前記テーブルにおける現在の動き候補のうちの少なくとも１つが前記追加の動き候補に対して冗長である場合、前記テーブルに関連付けられた前記カウンタを増加させない、請求項１６に記載の方法。
19. 前記冗長性除去に基づくテーブル更新処理は、テーブルへの追加対象の追加の動き候補とテーブルにおける前記現在の動き候補との比較工程を行うことを含む、請求項１６に記載の方法。
20. 前記冗長性を前記チェックすることは、前記テーブルにおける冗長な現在の動き候補を特定し、前記特定された冗長な現在の動き候補を、現在の位置から前記テーブルにおける前記残りの現在の動き候補の後の最後の位置に移動させる、請求項１９に記載の方法。
21. 前記冗長性を前記チェックすることは、前記テーブルにおける冗長な現在の動き候補を特定し、前記特定された冗長な現在の動き候補を、前記テーブルから除去して前記テーブルにおける空きエントリを提供し、前記テーブルにおける前記特定された冗長な現在の動き候補の後の非冗長な現在の動き候補を前方に移動させて前記空きエントリを埋める、請求項１９に記載の方法。
22. 前記追加の動き候補を前記追加することは、前記テーブルにおける前記非冗長な現在の動き候補の前記移動の後に行われる、請求項２１に記載の方法。
23. 前記冗長性除去に基づくテーブル更新を前記行うことは、前記テーブルにおける現在の動き候補の冗長性をチェックして、複数の冗長な動き候補を特定することと、前記特定された複数の冗長な動き候補を全て除去することと、を含む、請求項１６に記載の方法。
24. 前記特定された複数の冗長な動き候補の数から１を減算した値だけ、前記テーブルに対応するカウンタを減算する、請求項２３に記載の方法。
25. 前記特定された複数の冗長な動き候補の数が最大値ｍａｘＲに達した後、前記冗長性の前記チェックを終了し、ｍａｘＲは正の整数の変数である、請求項２３に記載の方法。
26. 冗長な現在の動き候補が特定された場合、前記冗長性の前記チェックを終了する、請求項１６に記載の方法。
27. 前記冗長性を前記チェックすることは、テーブルにおける最初の現在の動き候補から最後の現在の動き候補への順に行われる、請求項１６に記載の方法。
28. 前記冗長性を前記チェックすることは、前記現在の動き候補を前記テーブルに追加した順に、または前記現在の動き候補を取得したブロックの復号化処理の順に行われる、請求項１６に記載の方法。
29. 前記冗長性を前記チェックすることは、前記テーブルにおける現在の冗長な動き候補を特定し、前記特定された冗長な候補から仮想動き候補を導出し、前記特定された複数の冗長な候補を前記テーブルから除去する、請求項１６項に記載の方法。
30. 前記仮想動き候補は、ｉ）１つ以上の動きベクトルの水平または垂直の構成要素にオフセットを加えること、または、ｉｉ）同じ参照ピクチャを指す２つの動きベクトルを平均することによって導出される、請求項２９に記載の方法。
31. 前記仮想動き候補は、前記テーブルにおける現在の動き候補に関連付けられた動きベクトルの関数から導出される、請求項２９に記載の方法。
32. 前記仮想動き候補を、前記テーブルにおける前記特定された冗長な動き候補の位置に追加する請求項２９に記載の方法。
33. 前記テーブルにおける現在の動き候補の前に、前記仮想動き候補を追加し、前記現在の動き候補は、前記特定された冗長な動き候補を除く、前記テーブルにおける動き候補に対応する、請求項１６に記載の方法。
34. 一定の条件が満たされていると判定された場合、前記冗長性除去に基づくテーブル更新処理を呼び出す、請求項１６に記載の方法。
35. 前記条件は、前記現在のブロックがマージモードで符号化される場合を含む、請求項３４に記載の方法。
36. 前記条件は、前記現在のブロックがサブブロックに基づく動き予測でも、サブブロックに基づく動き補償方法でも符号化されていない場合を含む、請求項３４に記載の方法。
37. Ｓ個のブロックの前記変換を実行した後にのみ、前記１つ以上のテーブルの前記更新を実行し、Ｓは、１以上である、請求項１または２に記載の方法。
38. 前記Ｓ個のブロックは、インター符号化ブロックである、請求項３７に記載の方法。
39. 前記Ｓ個のブロックは、サブブロックに基づく動き予測方法でも、サブブロックに基づく動き補償方法でも符号化されない、請求項３７に記載の方法
40. 前記条件は、前記現在のブロックをマージモードで符号化し、対応する動き候補の動き情報のソースが一定のタイプを有する場合を含む、請求項３９に記載の方法。
41. 対応する動き候補の前記動き情報の前記ソースは、左の近傍のブロックを含む空間的に近傍のブロックからのものであるか、または時間的ブロックからのものである、請求項４０に記載の方法。
42. 前記Ｍ個の追加の動き候補の前に前記テーブルに追加された前記現在の動き候補の後に、前記Ｍ個の追加の動き候補を追加する、請求項４に記載の方法。
43. 前記現在の動き候補のいくつかを前記テーブルから削除することをさらに含む、請求項４２に記載の方法。
44. 動き情報の前記Ｍ個のセットを挿入する前または後に、前記テーブルが満杯になった場合、動き情報の前記セットの中の最初の１つまたは複数のエントリを前記テーブルから削除する、請求項４３に記載の方法。
45. 前記現在のブロックが動き情報を直接信号通知して符号化される場合、前記動き情報をテーブルに追加する、請求項１または２に記載の方法。
46. 前記現在のブロックは、ＡＭＶＰモード、ノーマル／アフィン間モード場合は、ＭＭＶＤ（Ｍａｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）モード、またはノーマル／アフィン間モードの場合は、ＡＭＶＲ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードで符号化される、請求項４５に記載の方法。
47. 前記動き情報は、前記テーブルの最後のエントリ、または次の利用可能な動き候補を記憶するために使用するエントリに追加される、請求項４５に記載の方法。
48. 動き情報の前記Ｍ個のセットに基づいて、動き情報導出処理によって、追加の動き候補を前記テーブルに追加することをさらに含む、請求項１、２または１６に記載の方法。
49. 前記テーブルに対応するカウンタが１より大きい値ずつ増加する、請求項４８に記載の方法。
50. 前記動き情報導出処理は、動き情報の前記Ｍ個のセットの中の１セットの１つの動きベクトルをスケーリングすることを含む、請求項４８に記載の方法。
51. 前記動き情報導出処理は、動き情報の前記Ｍ個のセットの動きベクトルに、動きベクトルのオフセット（ｄｘ，ｄｙ）を加算することを含む、請求項４８に記載の方法。
52. 前記動き情報導出処理は、動き情報の前記Ｍ個のセットにおける２つ以上のセットの動きベクトルの平均値を使用することを含む、請求項４８に記載の方法。
53. 前記更新することは、前記テーブルに追加される前に動き情報の前記Ｍ個のセットを修正することを含む、請求項１〜５２のいずれか１項に記載の方法。
54. 前記変換を行うことは、前記現在のブロックから前記ビットストリーム表現を生成することを含む、請求項１または２に記載の方法。
55. 前記変換を行うことは、前記ビットストリーム表現から前記現在のブロックを生成することを含む、請求項１または２に記載の方法。
56. 動き候補は、予測方向、参照ピクチャインデックス、動きベクトル値、強度補償フラグ、アフィンフラグ、動きベクトル差精度、または動きベクトル差分値のうち少なくとも１つを含む動き情報に関連付けられる、請求項１〜５５のいずれか１項に記載の方法。
57. 前記動き候補は、イントラモード符号化のためのイントラ予測モードの動き候補に対応する、請求項１〜５５のいずれか１項に記載の方法。
58. 前記動き候補は、ＩＣパラメータ符号化のための照明補償パラメータを含む動き候補に対応する、請求項１〜５５のいずれか１項に記載の方法。
59. 前記更新されたテーブルに基づいて、前記映像の後続の映像ブロックと前記映像の前記ビットストリーム表現との間で変換を行うことを更に含む、請求項１〜５８のいずれか１項に記載の方法。
60. プロセッサと、命令を搭載した非一時的メモリとを備える装置であって、前記命令は、前記プロセッサにより実行された際に、前記プロセッサに、請求項１〜５９のいずれか１つ以上に記載の前記方法を実装させる、装置。
61. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、請求項１〜５９のいずれか１つ以上に記載の前記方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。

Images