JP2023098974A - 動き補償のための複数の予測子候補 - Google Patents

Abstract

【課題】動き補償のための複数の予測子候補のセットから予測子候補を選択するビデオ符号化又は復号方法及び装置を提供する。【解決手段】方法は、ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットを決定し、予測子候補のセットから予測子候補を選択し、予測子候補のセットから選択された予測子候補に関して、ブロックに関する１又は複数の対応する制御点動きベクトルを決定し、選択された予測子候補に関して、１又は複数の対応する制御点動きベクトルに基づいて、符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別し、選択された予測子候補に関する動きモデルに基づく対応する動き場を決定し、予測子候補のセットから選択された予測子候補に関する対応する動きフィールドに基づいてブロックを符号化し、予測子候補のセットから選択された予測子候補に関するインデックスを符号化する。【選択図】図１８

Description

[１] 本発明の実施形態の少なくとも１つは、一般に、たとえばビデオ符号化または復号のための方法または装置に関し、より具体的には、ビデオエンコーダまたはビデオデコーダのためのたとえばアフィンモデルなどの動きモデルに基づいて、動き補償のための複数の予測子候補のセットから予測子候補を選択するための方法または装置に関する。

[２] 高い圧縮効率を実現するために、画像およびビデオ符号化スキームは一般に、動きベクトル予測を含む予測を用い、ビデオコンテンツにおける空間および時間的冗長性を活用するために変換する。一般に、イントラまたはインターフレーム相関を利用するためにイントラまたはインター予測が用いられ、しばしば予測誤差または予測残差と表される、元の画像と予測された画像との間の差が、変換され、量子化され、エントロピー符号化される。ビデオを再構成するために、圧縮されたデータは、エントロピー符号化、量子化、変換、および予測に対応する逆プロセスによって復号される。

[３] 高圧縮技術に昨今加わったのは、アフィンモデリングに基づく動きモデルの使用である。特に、アフィンモデリングは、ビデオピクチャの符号化および復号のための動き補償に用いられる。一般に、アフィンモデリングは、たとえば回転および相似比（ズーム）を模擬するためにピクチャのブロック全体に関する動きフィールドを導出することを可能にする、たとえばピクチャのブロックのそれぞれの角部における動きを表す２つの制御点動きベクトル（ＣＰＭＶ）といった、少なくとも２つのパラメータを用いるモデルである。

[４] 少なくとも１つの実施形態の一般態様によると、ビデオ符号化のための方法であって、ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットを決定することと、予測子候補のセットから予測子候補を選択することと、予測子候補のセットから選択された予測子候補に関して、ブロックに関する１または複数の対応する制御点動きベクトルを決定することと、選択された予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、選択された予測子候補に関する動きモデルに基づく対応する動きフィールドを決定することであって、対応する動きフィールドは、符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別することと、予測子候補のセットから選択された予測子候補に関する対応する動きフィールドに基づいてブロックを符号化することと、予測子候補のセットから選択された予測子候補に関するインデックスを符号化することとを備える方法が提示される。

[５] 少なくとも１つの実施形態の他の一般態様によると、ビデオ復号のための方法であって、ピクチャ内の復号されるブロックに関して、特定の予測子候補に対応するインデックスを受信することと、特定の予測子候補に関して、復号されるブロックに関する１または複数の対応する制御点動きベクトルを決定することと、特定の予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、復号されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する、動きモデルに基づく対応する動きフィールドを決定することと、対応する動きフィールドに基づいてブロックを復号することを備える方法が提示される。

[６] 少なくとも１つの実施形態の他の一般態様によると、ビデオ符号化のための装置であって、ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットを決定するための手段と、予測子候補のセットから予測子候補を選択するための手段と、選択された予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、選択された予測子候補に関する動きモデルに基づく対応する動きフィールドであって符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する対応する動きフィールドを決定するための手段と、予測子候補のセットから選択された予測子候補に関する対応する動きフィールドに基づいてブロックを符号化するための手段と、予測子候補のセットから選択された予測子候補に関するインデックスを符号化するための手段とを備える装置が提示される。

[７] 少なくとも１つの実施形態の他の一般態様によると、ビデオ復号のための装置であって、ピクチャ内の復号されるブロックに関して、特定の予測子候補に対応するインデックスを受信するための手段と、特定の予測子候補に関して、復号されるブロックに関する１または複数の対応する制御点動きベクトルを決定するための手段と、特定の予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、復号されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する、動きモデルに基づく対応する動きフィールドを決定するための手段と、対応する動きフィールドに基づいてブロックを復号するための手段とを備える装置が提示される。

[８] 少なくとも１つの実施形態の他の一般態様によると、１または複数のプロセッサおよび少なくとも１つのメモリを備える、ビデオ符号化のための装置が提供される。１または複数のプロセッサは、ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットを決定し、予測子候補のセットから予測子候補を選択し、予測子候補のセットから選択された予測子候補に関して、ブロックに関する１または複数の対応する制御点動きベクトルを決定し、選択された予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、選択された予測子候補に関する動きモデルに基づく対応する動きフィールドであって符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する対応する動きフィールドを決定し、予測子候補のセットから選択された予測子候補に関する対応する動きフィールドに基づいてブロックを符号化し、予測子候補のセットから選択された予測子候補に関するインデックスを符号化するように構成される。少なくとも１つのメモリは、符号化されたブロックおよび／または符号化されたインデックスを少なくとも一時的に格納することに関する。

[９] 少なくとも１つの実施形態の他の一般態様によると、１または複数のプロセッサおよび少なくとも１つのメモリを備える、ビデオ復号のための装置が提供される。１または複数のプロセッサは、ピクチャ内の復号されるブロックに関して、特定の予測子候補に対応するインデックスを受信し、特定の予測子候補に関して、復号されるブロックに関する１または複数の対応する制御点動きベクトルを決定し、特定の予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、復号されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する、動きモデルに基づく対応する動きフィールドを決定し、対応する動きフィールドに基づいてブロックを復号するように構成される。少なくとも１つのメモリは、復号されたブロックを少なくとも一時的に格納することに関する。

[１０] 少なくとも１つの実施形態の他の一般態様によると、ビデオ符号化のための方法であって、ピクチャ内の符号化されるブロックに関して、予測子候補のセットを決定することと、予測子候補のセットにおける複数の予測子候補の各々について、ブロックに関する１または複数の対応する制御点動きベクトルを決定することと、複数の予測子候補の各々について、１または複数の対応する制御点動きベクトルに基づいて、予測子候補のセットにおける複数の予測子候補の各々に関する動きモデルに基づく対応する動きフィールドを決定することと、１または複数の基準に従い、かつ対応する動きフィールドに基づいて、複数の予測子候補を評価することと、評価に基づいて、複数の予測子候補から予測子候補を選択することと、予測子候補のセットから選択された予測子候補に基づいてブロックを符号化することとを備える方法が提示される。

[１１] 少なくとも１つの実施形態の他の一般態様によると、ビデオ復号のための方法であって、ピクチャ内の復号されるブロックに関して、選択された予測子候補に対応するインデックスを取得することを備える方法が提示される。選択された予測子候補は、エンコーダにおいて、ピクチャ内の符号化されるブロックに関して、予測子候補のセットを決定することと、予測子候補のセットにおける複数の予測子候補の各々について、符号化されるブロックに関する１または複数の対応する制御点動きベクトルを決定することと、複数の予測子候補の各々について、１または複数の対応する制御点動きベクトルに基づいて、予測子候補のセットにおける複数の予測子候補の各々に関する動きモデルに基づく対応する動きフィールドを決定することと、１または複数の基準に従い、かつ対応する動きフィールドに基づいて、複数の予測子候補を評価することと、評価に基づいて、複数の予測子候補から予測子候補を選択することと、予測子候補のセットから選択された予測子候補に関するインデックスを符号化することとによって選択される。方法は更に、選択された予測子候補に対応するインデックスに基づいて、ブロックを復号することを備える。

[１２] 少なくとも１つの実施形態の他の一般態様によると、方法は更に、１または複数の基準に従い、かつ複数の予測子候補の各々に関する対応する動きフィールドに基づいて、複数の予測子候補を評価することと、評価に基づいて、複数の予測子候補から予測子候補を選択することとを備えてよい。

[１３] 少なくとも１つの実施形態の他の一般態様によると、装置は更に、１または複数の基準に従い、かつ複数の予測子候補の各々に関する対応する動きフィールドに基づいて、複数の予測子候補を評価するための手段と、評価に基づいて、複数の予測子候補から予測子候補を選択するための手段とを備えてよい。

[１４] 少なくとも１つの実施形態の他の一般態様によると、１または複数の基準は、予測子候補のセットにおける複数の予測子候補の１または複数に対応するレート歪み決定に基づく。

[１５] 少なくとも１つの実施形態の他の一般態様によると、対応する動きフィールドに基づいてブロックを復号または符号化することは、それぞれ、サブブロックに関する予測子に基づいて、動きベクトルによって示されている予測子を復号または符号化することを備える。

[１６] 少なくとも１つの実施形態の他の一般態様によると、予測子候補のセットは、符号化または復号されるブロックの空間候補および／または時間候補を備える。

[１７] 少なくとも１つの実施形態の他の一般態様によると、動きモデルはアフィンモデルである。

[１８] 少なくとも１つの実施形態の他の一般態様によると、符号化または復号されるブロック内の各位置（ｘ，ｙ）に関する対応する動きフィールドは、

によって決定され、式中、（ｖ_０ｘ，ｖ_０ｙ）および（ｖ_１ｘ，ｖ_１ｙ）は、対応する動きフィールドを生成するために用いられた制御点動きベクトルであり、（ｖ_０ｘ，ｖ_０ｙ）は、符号化または復号されるブロックの左上角部の制御点動きベクトルに対応し、（ｖ_１ｘ，ｖ_１ｙ）は、符号化または復号されるブロックの右上角部の制御点動きベクトルに対応し、ｗは、符号化または復号されるブロックの幅である。

[１９] 少なくとも１つの実施形態の他の一般態様によると、空間候補の数は５以上である。

[２０] 少なくとも１つの実施形態の他の一般態様によると、決定された１または複数の対応する制御点動きベクトルの関数に基づいて、対応する動きフィールドを決定するために、１または複数の追加の制御点動きベクトルが追加される。

[２１] 少なくとも１つの実施形態の他の一般態様によると、関数は、決定された１または複数の対応する制御点動きベクトルの１）平均、２）加重平均、３）一意的平均、４）アベレージ、５）中央値、または６）上記１）～６）の１つの一方向性部分の１または複数を含む。

[２２] 少なくとも１つの実施形態の他の一般態様によると、上記説明のいずれかの方法または装置に従って生成されたデータコンテンツを含む非一時的コンピュータ可読媒体が提示される。

[２３] 少なくとも１つの実施形態の他の一般態様によると、上記説明のいずれかの方法または装置に従って生成されたビデオデータを備える信号が提供される。

[２４] 本開示の実施形態の１または複数は、上述した方法のいずれかに従ってビデオデータを符号化または復号するための命令が格納されたコンピュータ可読記憶媒体も提供する。本開示の実施形態は、上述した方法に従って生成されたビットストリームが格納されたコンピュータ可読記憶媒体も提供する。本開示の実施形態は、上述した方法に従って生成されたビットストリームを送信するための方法および装置も提供する。本開示の実施形態は、上述した方法のいずれかを行うための命令を含むコンピュータプログラム製品も提供する。

[２５]ＨＥＶＣ（高能率ビデオ符号化）ビデオエンコーダの実施形態のブロック図を示す。 [２６]ＨＥＶＣ参照サンプル生成を示す画像例である。 [２７]ＨＥＶＣにおけるイントラ予測方向を示す画像例である。 [２８]ＨＥＶＣビデオデコーダの実施形態のブロック図を示す。 [２９]圧縮されたＨＥＶＣピクチャを表すための符号化ツリーユニット（ＣＴＵ）および符号化ツリー（ＣＴ）概念の例を示す。 [３０]符号化ツリーユニット（ＣＴＵ）を符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）に分割する例を示す。 [３１]共同探索モデル（ＪＥＭ）において用いられる動きモデルとしてアフィンモデルの例を示す。 [３２]共同探索モデル（ＪＥＭ）において用いられる４×４のサブＣＵベースのアフィン動きベクトル場の例を示す。 [３３]アフィンインターＣＵに関する動きベクトル予測候補の例を示す。 [３４]アフィン合併モードにおける動きベクトル予測候補の例を示す。 [３５]アフィン合併モード動きモデルの事例における、アフィン制御点動きベクトルの空間的導出の例を示す。 [３６]少なくとも１つの実施形態の一般態様に係る方法例を示す。 [３７]少なくとも１つの実施形態の一般態様に係る他の方法例を示す。 [３８]少なくとも１つの実施形態の一般態様に係る他の方法例を示す。 [３９]少なくとも１つの実施形態の一般態様に係る他の方法例を示す。 [４０]ＪＥＭにおけるインターＣＵのアフィン合併モードを評価するための既知のプロセスの例を示す。 [４１]ＪＥＭにおけるアフィン合併モードで予測子候補を選択するためのプロセスの例を示す。 [４２]符号化または復号される現在のブロックの左に位置するアフィン合併予測候補によって伝搬されたアフィン動きフィールドの例を示す。 [４３]符号化または復号される現在のブロックの上および右に位置するアフィン合併予測子候補によって伝搬されたアフィン動きフィールドの例を示す。 [４４]少なくとも１つの実施形態の一般態様に係る予測子候補選択プロセスの例を示す。 [４５]少なくとも１つの実施形態の一般態様に係る複数の予測子候補のセットを構成するためのプロセスの例を示す。 [４６]少なくとも１つの実施形態の一般態様に係る、各予測子候補に関する左上および右上角部のＣＰＭＶの導出プロセスの例を示す。 [４７]少なくとも１つの実施形態の一般態様に係る、空間予測子候補の拡張セットの例を示す。 [４８]少なくとも１つの実施形態の一般態様に係る、複数の予測子候補のセットを構成するためのプロセスの他の例を示す。 [４９]少なくとも１つの実施形態の一般態様に係る、複数の予測子候補のセットを構成するためのプロセスの他の例を示す。 [５０]少なくとも１つの実施形態の一般態様に係る、一時的候補がどのように予測子候補のために用いられ得るかの例を示す。 [５１]少なくとも１つの実施形態の一般態様に係る、格納されたＣＰＭＶ候補から計算された平均ＣＰＭＶ動きベクトルを最終的なＣＰＭＶ候補セットに追加するプロセスの例を示す。 [５２]実施形態の様々な態様が実現され得る装置例のブロック図を示す。

[５３] 図１は、典型的な高能率ビデオ符号化（ＨＥＶＣ）エンコーダ１００を示す。ＨＥＶＣは、ビデオ符号化における共同連携チーム（ＪＣＴ－ＶＣ）によって開発された圧縮規格である（たとえば“ＩＴＵ－Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ ＯＦ ＩＴＵ （１０／２０１４）， ＳＥＲＩＥＳ Ｈ： ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ， Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ－Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ， Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５”を参照）。

[５４] ＨＥＶＣにおいて、１または複数のピクチャを有するビデオシーケンスを符号化するために、ピクチャは１または複数のスライスに区画化され、各スライスは１または複数のスライスセグメントを含み得る。スライスセグメントは、符号化ユニット、予測ユニット、および変換ユニットに編成される。

[５５] 本出願において、「再構成された」および「復号された」という用語は相互置換可能に用いられ、「符号化された（ｅｎｃｏｄｅｄ）」および「符号化された（ｃｏｄｅｄ）」という用語は相互置換可能に用いられ、「ピクチャ」および「フレーム」という用語は相互置換可能に用いられ得る。必ずではないが多くの場合、「再構成された」という用語はエンコーダ側で用いられ、「復号された」はデコーダ側で用いられる。

[５６] ＨＥＶＣ仕様書は、「ブロック」と「ユニット」とを区別し、「ブロック」は、サンプルアレイ内の特定のエリア（たとえばルマ、Ｙ）を称し、「ユニット」は、全ての符号化された色成分（Ｙ、Ｃｂ、Ｃｒ、またはモノクロ）の並置ブロック、構文要素、およびブロックに関連する予測データ（たとえば動きベクトル）を含む。

[５７] 符号化のために、ピクチャは、設定可能なサイズを有する正方形の符号化ツリーブロック（ＣＴＢ）に区画化され、符号化ツリーブロックの連続セットがスライスにグループ化される。符号化ツリーユニット（ＣＴＵ）は、符号化された色成分のＣＴＢを含む。ＣＴＢは、符号化ブロック（ＣＢ）に分かれる４分木の根であり、符号化ブロックは１または複数の予測ブロック（ＰＢ）に区画化されてよく、変換ブロック（ＴＢ）に分かれる４分木の根を形成する。符号化ブロック、予測ブロック、および変換ブロックに対応して、符号化ユニット（ＣＵ）は、予測ユニット（ＰＵ）およびツリー構造の変換ユニット（ＴＵ）のセットを含み、ＰＵは、全ての色成分に関する予測情報を含み、ＴＵは、各色成分に関する残差符号化構文構造を含む。ルマ成分のＣＢ、ＰＢ、およびＴＢのサイズは、対応するＣＵ、ＰＵ、およびＴＵに準ずる。本出願において、「ブロック」という用語は、たとえばＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、およびＴＢのいずれかを指すために用いられ得る。加えて、「ブロック」は、Ｈ．２６４／ＡＶＣまたは他のビデオ符号化規格において指定されたマクロブロックおよび区画、またより一般的には様々なサイズのデータアレイを指すためにも用いられ得る。

[５８] 典型的なエンコーダ１００において、ピクチャは、以下に述べるようなエンコーダ要素によって符号化される。符号化されるピクチャは、ＣＵのユニットにおいて処理される。各ＣＵは、イントラモードまたはインターモードのいずれかを用いて符号化される。ＣＵがイントラモードで符号化される場合、ＣＵはイントラ予測（１６０）を行う。インターモードにおいて、動き推定（１７５）および補償（１７０）が行われる。エンコーダは、ＣＵを符号化するためにイントラモードまたはインターモードのどちらを用いるかを決定（１０５）し、予測モードフラグによってイントラ／インター決定を示す。予測残差は、元の画像ブロックから予測されたブロックを差し引くこと（１１０）によって計算される。

[５９] イントラモードにおけるＣＵは、同じスライス内の再構成された隣接サンプルから予測される。ＤＣ予測モード、平面予測モード、および３３の角予測モードを含む３５のイントラ予測モードのセットがＨＥＶＣにおいて利用可能である。イントラ予測参照は、現在のブロックに隣接した行および列から再構成される。参照は、過去に再構成されたブロックから利用可能なサンプルを用いて、水平および垂直方向にブロックサイズの２倍に及ぶ。イントラ予測のために角予測モードが用いられる場合、参照サンプルは、角予測モードによって示された方向に沿ってコピーされ得る。

[６０] 現在のブロックに関する利用可能なルマイントラ予測モードは、２つの異なるオプションを用いて符号化され得る。適用可能なモードが３つの最確モード（ＭＰＭ）に含まれる場合、モードは、ＭＰＭリスト内のインデックスによって通知される。そうではない場合、モードは、モードインデックスの固定長２値化によって通知される。３つの最確モードは、上および左の隣接ブロックのイントラ予測モードから導出される。

[６１] インターＣＵに関して、対応する符号化ブロックは、１または複数の予測ブロックに更に区画化される。インター予測は、ＰＢレベルで行われ、対応するＰＵは、インター予測がどのように行われたかに関する情報を含む。動き情報（すなわち動きベクトルおよび参照ピクチャインデックス）は、２つの方法、すなわち「合併モード」および「高度な動きベクトル予測（ＡＭＶＰ）」で通知され得る。

[６２] 合併モードにおいて、ビデオエンコーダまたはデコーダは、既に符号化されたブロックに基づいて候補リストを収集し、ビデオエンコーダは、候補リスト内の候補の１つに関するインデックスを通知する。デコーダ側において、動きベクトル（ＭＶ）および参照ピクチャインデックスは、通知された候補に基づいて再構成される。

[６３] 合併モードにおける可能な候補のセットは、空間隣接候補、時間候補、および生成された候補から成る。図２Ａは、現在のブロック２１０に関する５つの空間的候補｛ａ_１、ｂ_１、ｂ_０、ａ_０、ｂ_２｝の位置を示し、ａ_０およびａ_１は現在のブロックの左にあり、ｂ_１、ｂ_０、ｂ_２は現在のブロックの上にある。各候補位置について、ａ_１、ｂ_１、ｂ_０、ａ_０、ｂ_２の順序に従って利用可能性が確認され、その後、候補内の冗長性が除去される。

[６４] 参照ピクチャにおける並置位置の動きベクトルは、時間的候補の導出のために用いられ得る。利用可能な参照ピクチャは、スライスベースで選択され、スライスヘッダに示され、時間的候補に関する参照インデックスは、ｉ_ｒｅｆ＝０に設定される。並置ＰＵのピクチャと、並置ＰＵの予測元である参照ピクチャとの間のＰＯＣ距離（ｔｄ）が、現在のピクチャと、並置ＰＵを含む参照ピクチャとの間の距離（ｔｂ）と同じである場合、並置動きベクトルｍｖ_ｃｏｌが時間候補として直接用いられ得る。そうではない場合、スケーリングされた動きベクトルｔｂ／ｔｄ^＊ｍｖ_ｃｏｌが時間候補として用いられる。現在のＰＵがどこに位置するか依存して、並置ＰＵは、現在のＰＵの右下または中央におけるサンプル位置によって決定される。

[６５] 合併候補の最大数Ｎは、スライスヘッダに明示される。合併候補の数がＮより大きい場合、第１のＮ－１個の空間候補および時間候補のみが用いられる。そうではなく、合併候補の数がＮより小さい場合、候補のセットは、既に存在する候補またはヌル候補の組み合わせとして生成された候補によって最大数Ｎまで埋められる。合併モードにおいて用いられる候補は、本出願において「合併候補」と称され得る。

[６６] ＣＵがスキップモードを示す場合、合併候補に関する利用可能なインデックスは、合併候補のリストが１よりも大きい場合のみ示され、ＣＵに関して更なる情報は符号化されない。スキップモードにおいて、動きベクトルは、残差更新なしで適用される。

[６７] ＡＭＶＰにおいて、ビデオエンコーダまたはデコーダは、既に符号化されたブロックから決定された動きベクトルに基づいて候補リストを収集する。ビデオエンコーダはその後、動きベクトル予測子（ＭＶＰ）を識別するために候補リスト内のインデックスを通知し、動きベクトル差分（ＭＶＤ）を通知する。デコーダ側において、動きベクトル（ＭＶ）は、ＭＶＰ＋ＭＶＤとして再構成される。利用可能な参照ピクチャインデックスもまた、ＡＭＶＰに関するＰＵ構文において明示的に符号化される。

[６８] ＡＭＶＰにおいてただ２つの空間動き候補が選択される。第１の空間動き候補は、左位置｛ａ_０、ａ_１｝から選択され、第２の候補は、上の位置｛ｂ_０、ｂ_１、ｂ_２｝から選択されるが、２つのセットに示された検索順序は維持される。動きベクトル候補の数が２に等しくない場合、時間ＭＶ候補が含まれ得る。候補のセットがなお完全に埋まらない場合、ゼロ動きベクトルが用いられる。

[６９] 空間候補の参照ピクチャインデックスが現在のＰＵに関する参照ピクチャインデックスに対応する（すなわち、同じ参照ピクチャインデックスを用いるか、または参照ピクチャリストとは無関係に両方が長期間参照ピクチャを用いる）場合、空間候補動きベクトルが直接用いられる。そうではなく、参照ピクチャが短期間のものである場合、候補動きベクトルは、現在のＰＵの現在のピクチャと参照ピクチャとの間の距離（ｔｂ）および空間候補の現在のピクチャと参照ピクチャとの間の距離（ｔｄ）に従ってスケーリングされる。ＡＭＶＰモードにおいて用いられる候補は、本出願において、「ＡＭＶＰ候補」と称され得る。

[７０] 記載を簡易にするために、エンコーダ側において「合併」モードで試験されたブロックまたはデコーダ側において「合併」モードで復号されたブロックは、「合併」ブロックと記載され、エンコーダ側においてＡＭＶＰモードで試験されたブロックまたはデコーダ側においてＡＭＶＰモードで復号されたブロックは、「ＡＭＶＰ」ブロックと記載される。

[７１] 図２Ｂは、ＡＭＶＰを用いる典型的な動きベクトル表現を示す。符号化される現在のブロック２４０に関して、動き推定によって動きベクトル（ＭＶ_{ｃｕｒｒｅｎｔ}）が得られ得る。左のブロック２３０からの動きベクトル（ＭＶ_ｌｅｆｔ）および上のブロック２２０からの動きベクトル（ＭＶ_{ａｂｏｖｅ}）を用いて、ＭＶ_ｌｅｆｔおよびＭＶ_{ａｂｏｖｅ}から動きベクトル予測子がＭＶＰ_{ｃｕｒｒｅｎｔ}として選択され得る。その後、ＭＶＤ_{ｃｕｒｒｅｎｔ}＝ＭＶ_{ｃｕｒｒｅｎｔ}－ＭＶＰ_{ｃｕｒｒｅｎｔ}として動きベクトル差分が計算され得る。

[７２] 動き補償予測は、予測のための１または２つの参照ピクチャを用いて行われ得る。Ｐスライスにおいて、インター予測のために単一の予測参照のみが用いられ、予測ブロックに関する片予測を可能にし得る。Ｂスライスにおいて、２つの参照ピクチャリストが利用可能であり、片予測または双予測が用いられ得る。双予測において、参照ピクチャリストの各々から１つの参照ピクチャが用いられる。

[７３] ＨＥＶＣにおいて、動き補償のための動き情報の精度は、４：２：０構成の場合、ルマ成分に関して（４分の１ペルまたは１／４ペルとも称される）４分の１サンプルおよびクロマ成分に関して（１／８ペルとも称される）８分の１サンプルである。分別サンプル位置の補間のために７タップまたは８タップ補間フィルタが用いられ、すなわち水平および垂直方向の両方にフルサンプル位置の１／４、１／２、および３／４がルマに関して処理され得る。

[７４] 予測残差はその後、変換（１２５）され、量子化（１３０）される。量子化された変換係数、ならびに動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化（１４５）される。エンコーダは、変換をスキップし、４×４のＴＵベースで未変換の残差信号に直接量子化を適用してもよい。エンコーダは、変換および量子化の両方を省いてもよく、すなわち残差は、変換または量子化プロセスの適用なしで直接符号化される。直接ＰＣＭ符号化において、予測は適用されず、符号化ユニットサンプルは直接、ビットストリームに符号化される。

[７５] エンコーダは、更なる予測のための参照を提供するために符号化されたブロックを復号する。量子化された変換係数は、予測残差を復号するために、逆量子化（１４０）され、逆変換（１５０）される。復号された予測残差と予測されたブロックとを結合（１５５）して、画像ブロックが再構成される。ループ内フィルタ（１６５）は、たとえば符号化アーティファクトを低減するためのデブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを行うために、再構成されたピクチャに適用される。フィルタされた画像は、参照ピクチャバッファ（１８０）に格納される。

[７６] 図３は、典型的なＨＥＶＣビデオデコーダ３００のブロック図を示す。典型的なデコーダ３００において、ビットストリームは、後述するようにデコーダ要素によって復号される。ビデオデコーダ３００は一般に、ビデオデータの符号化の一部としてビデオ復号を行う、図１に示すような符号化パスと相互的な復号パスを行う。

[７７] 特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビットストリームを含む。ビットストリームは最初に、変換係数、動きベクトル、および他の符号化情報を得るために、エントロピー復号（３３０）される。変換係数は、予測残差を復号するために、逆量子化（３４０）され、逆変換（３５０）される。復号された予測残差と予測されたブロックとを結合（３５５）して、画像ブロックが再構成される。予測されたブロックは、イントラ予測（３６０）または動き補償された予測（すなわちインター予測）（３７５）から得られ（３７０）得る。上述したように、ＡＭＶＰおよび合併モード技術は、参照ブロックのサブ整数サンプルに関する補間値を計算するために補間フィルタを用い得る動き補償のための動きベクトルを導出するために用いられ得る。再構成された画像にループ内フィルタ（３６５）が適用される。フィルタされた画像は、参照ピクチャバッファ（３８０）に格納される。

[７８] 上述したように、ＨＥＶＣにおいて、動き補償された時間予測は、ビデオの連続ピクチャ間に存在する冗長性を利用するために用いられる。そのために、動きベクトルは、各予測ユニット（ＰＵ）に関連付けられる。上述したように、各ＣＴＵは、圧縮領域において符号化ツリーによって表される。これは、各葉が符号化ユニット（ＣＵ）と呼ばれ、ＣＴＵ４１０および４２０に関して図４にも示される、ＣＴＵの４分木分割である。各ＣＵはその後、いくつかのイントラまたはインター予測パラメータを予測情報として付与される。そのために、ＣＵは、１または複数の予測ユニット（ＰＵ）に空間的に区画化されてよく、各ＰＵは何らかの予測情報を割り当てられる。イントラまたはインター符号化モードは、ＣＵレベルで割り当てられる。これらの概念は、典型的なＣＴＵ５００およびＣＵ５１０に関して図５に更に示される。

[７９] ＨＥＶＣにおいて、各ＰＵに１つの動きベクトルが割り当てられる。この動きベクトルは、考慮されるＰＵの動き補償された時間予測のために用いられる。したがって、ＨＥＶＣにおいて、予測ブロックおよびその参照ブロックを結び付ける動きモデルは単純に、参照ブロックおよび対応する動きベクトルに基づく変換または計算から成る。

[８０] ＨＥＶＣを改善させるために、共同ビデオ探索チーム（ＪＶＥＴ）によって参照ソフトウェアおよび／または文書化ＪＥＭ（共同探索モデル）が開発中である。ＪＥＭバージョンの１つ（たとえば“Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ５”、文書ＪＶＥＴ－Ｅ１００１＿ｖ２、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の共同ビデオ探索チーム、第５回ミーティング、２０１７年１月１２～２０日、スイス国ジュネーブ）において、時間予測を改善するために、いくつかの更なる動きモデルがサポートされる。そのために、ＰＵは、サブＰＵに空間分割されてよく、モデルは、各サブＰＵを専用動きベクトルに割り当てるために用いられ得る。

[８１] ＪＥＭのより最近のバージョン（たとえば“Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ２”、文書ＪＶＥＴ－Ｂ１００１＿ｖ３、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の共同ビデオ探索チーム、第２回ミーティング、２０１６年２月２０～２６日、米国サンディエゴ）においては、ＣＵがＰＵまたはＴＵに分割されることが明記されない。その代わり、よりフレキシブルなＣＵサイズが用いられてよく、いくつかの動きデータが各ＣＵに直接割当てられる。より新しいＪＥＭバージョンでのこの新たなコーデック設計において、ＣＵはサブＣＵに分割されてよく、動きベクトルは、分割されたＣＵの各サブＣＵに関して計算され得る。

[８２] ＪＥＭに導入された新たな動きモデルの１つは、ＣＵにおける動きベクトルを表すために動きベクトルとしてアフィン形式のモデルを用いることである。用いられる動きモデルは、図６によって示され、以下に示すような式１によって表される。アフィン形式の動きフィールドは、図６の考慮されるブロック６００内の各位置（ｘ，ｙ）に関して以下の動きベクトル成分値を備え、

式中、（ｖ_０ｘ，ｖ_０ｙ）および（ｖ_１ｘ，ｖ_１ｙ）は、対応する動きフィールドを生成するために用いられる制御点動きベクトルであり、（ｖ_０ｘ，ｖ_０ｙ）は、符号化または復号されるブロックの左上角部の制御点動きベクトルに対応し、（ｖ_１ｘ，ｖ_１ｙ）は、符号化または復号されるブロックの右上角部の制御点動きベクトルに対応し、ｗは、符
号化または復号されるブロックの幅である。

[８３] 複雑性を低減するために、図７に示すように、考慮されるＣＵ７００の４×４のサブブロック（サブＣＵ）ごとに動きベクトルが計算される。アフィン形式の動きベクトルは、各サブブロックの各中央位置について、制御点動きベクトルから計算される。得られたＭＶは、１／１６ペルの精度で表現される。その結果、アフィンモードでの符号化ユニットの補償は、自身の動きベクトルによる各サブブロックの動き補償された予測に存する。サブブロックに関するこれらの動きベクトルは、それぞれ、図７におけるサブブロックの各々に関する矢印として示される。

[８４] ＪＥＭにおいて、シードは、対応する４×４のサブブロック内に保存されるので、アフィンモードは、（シードごとに独立したサブブロックを有するように）４までの幅および高さを有するＣＵに関してのみ用いられ得る。たとえば６４×４のＣＵにおいて、左上および左下のシードを保存するために１つの左側サブブロックしかなく、４×３２のＣＵにおいて、左上および右上のシードに関して１つの上側サブブロックしかなく、ＪＥＭにおいて、そのような薄いＣＵにシードを適切に保存することは不可能である。我々の提案によると、シードは個別に保存されるので、４に等しい幅または高さを有するそのような薄いＣＵを処理することが可能である。

[８５] 再び図７の例を参照すると、アフィンＣＵは、ＣＵの左上、右上、および左下角部（図７におけるｖ０、ｖ１、およびｖ２）からの動きベクトルとして、アフィンモデルシードと呼ばれる３つの動きベクトルから成る関連アフィンモデルによって定義される。このアフィンモデルはその後、４×４のサブブロックベースで行われる、ＣＵ内のアフィン動きベクトル場（図７における黒色の動きベクトル）を計算することを可能にする。ＪＥＭにおいて、これらのシードは、考慮されるＣＵにおける左上、右上、および左下の４×４のサブブロックに添付される。提案される解決策において、アフィンモデルシードは、（たとえばＩＣフラグのような）ＣＵ全体に添付された動き情報として個別に格納される。したがって動きモデルは、４×４のブロックレベルで実際の動き補償に用いられた動きベクトルから切り離される。この新たな保存は、４×４のサブブロックレベルで完全な動きベクトル場を保存することを可能にし得る。またこれは、幅または高さがサイズ４のブロックに関してアフィン動き補償を用いることも可能にする。

[８６] アフィン動き補償は、ＪＥＭにおいて、アフィンインター（ＡＦ＿ＩＮＴＥＲ）モードおよびアフィン合併モードの２つの方法で用いられ得る。これらは、以下のセクションで説明される。

[８７] アフィンインター（ＡＦ＿ＩＮＴＥＲ）モード：アフィンインターモードにおいて、８×８よりも大きいサイズのＡＭＶＰモードにおけるＣＵが予測され得る。これは、ビットストリーム内のフラグによって通知される。そのインターＣＵに関するアフィン動きフィールドの生成は、動きベクトル差分と制御点動きベクトル予測（ＣＰＭＶＰ）との加算によりデコーダによって得られる制御点動きベクトル（ＣＰＭＶ）を決定することを含む。ＣＰＭＶＰは、符号化または復号される現在のＣＵ８００に関して図８Ａに示されたセット（Ａ、Ｂ、Ｃ）および（Ｄ、Ｅ）からそれぞれ選ばれた動きベクトル候補のペアである。

[８８] アフィン合併モード：アフィン合併モードにおいて、ＣＵレベルのフラグは、合併ＣＵがアフィン動き補償を用いるかを示す。そうである場合、アフィンモードで符号化された第１の利用可能な隣接ＣＵが、符号化または復号される現在のＣＵ８８０に関する図８Ｂの候補位置Ａ、Ｂ、Ｃ、Ｄ、Ｅの順序付きセットの中で選択される。ただし、このＪＥＭにおける候補位置の順序付きセットは、図２Ａに示し上述したようなＨＥＶＣにおける合併モードでの空間隣接候補と同じである。

[８９] アフィンモードにおける第１の隣接ＣＵが得られると、隣接アフィンＣＵの左上、右上、および左下角部からの３つのＣＰＭＶ

、

、および

が取得または計算される。たとえば、図９は、アフィンモードにおけるこの第１の決定された隣接ＣＵ９１０が、符号化または復号される現在のＣＵ９００に関する図８ＢのＡ位置にあることを示す。隣接ＣＵ９１０のこれら３つのＣＰＭＶに基づいて、現在のＣＵ９００の左上および右上角部の２つのＣＰＭＶが以下のように導出される。

[９０] 現在のＣＵの制御点動きベクトル

および

が得られると、図６に関して上述したような式１のモデルによって、符号化または復号される現在のＣＵ内の動きフィールドが４×４のサブＣＵベースで計算される。

[９１] したがって、少なくとも１つの実施形態の一般態様は、考慮されるビデオコーデックの補償性能が改善され得るように、ＪＥＭにおけるアフィン合併モードの性能を改善することを目的とする。したがって、少なくとも１つの実施形態において、たとえばアフィン合併モードで符号化された符号化ユニットのための、拡張および改善されたアフィン動き補償装置および方法が提示される。提案される拡張および改善されたアフィンモードは、アフィン合併モードで複数の予測子候補を評価することを含む。

[９２] 上述したように、現在のＪＥＭにおいて、周囲のＣＵの中で、アフィン合併モードで符号化された第１の隣接ＣＵが、符号化または復号される現在のＣＵに関連するアフィン動きモデルを予測するために選択される。すなわち、アフィンモードで符号化された図８Ｂの順序付きセット（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）のうちの第１の隣接ＣＵ候補が、現在のＣＵのアフィン動きモデルを予測するために選択される。

[９３] したがって、少なくとも１つの実施形態は、上述したように順序付きセットにおける第１の１つのみを用いるのではなく、アフィン合併モードで現在のＣＵを符号化する時に最良の符号化効率を提供するアフィン合併予測候補を選択する。したがって、この実施形態の改善は、一般レベルにおいて、たとえば
・（エンコーダ／デコーダに関して）ＣＵのアフィン動きモデルの予測のための良好な候補セットを提供する可能性が高い複数のアフィン合併予測子候補のセットを構成すること、
・（エンコーダ／デコーダに関して）構成されたセットの中から現在のＣＵの制御点動きベクトルに関する１つの予測子を選択すること、および／または、
・（エンコーダ／デコーダに関して）現在のＣＵの制御点動きベクトル予測子のインデックスを通知／復号すること
を備える。

[９４] したがって、図１０は、少なくとも１つの実施形態の一般態様に係る典型的な符号化方法１０００を示す。１０１０において、方法１０００は、ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットを決定する。１０２０において、方法１０００は、予測子候補のセットから予測子候補を選択する。１０３０において、方法１０００は、予測子候補のセットから選択された予測子候補に関して、ブロックに関する１または複数の対応する制御点動きベクトルを決定する。１０４０において、方法１０００は、選択された予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、選択された予測子候補に関する動きモデルに基づく対応する動きフィールドを決定し、ここで対応する動きフィールドは、符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する。１０５０において、方法１０００は、予測子候補のセットから選択された予測子候補に関する対応する動きフィールドに基づいてブロックを符号化する。１０６０において、方法１０００は、予測子候補のセットから選択された予測子候補に関するインデックスを符号化する。

[９５] 図１１は、少なくとも１つの実施形態の一般態様に係る他の典型的な符号化方法１１００を示す。１１１０において、方法１１００は、ピクチャ内の符号化されるブロックに関して、予測子候補のセットを決定する。１１２０において、方法１１００は、予測子候補のセットにおける複数の予測子候補の各々について、ブロックに関する１または複数の対応する制御点動きベクトルを決定する。１１３０において、方法１１００は、複数の予測子候補の各々について、１または複数の対応する制御点動きベクトルに基づいて、予測子候補のセットにおける複数の予測子候補の各々に関する動きモデルに基づく対応する動きフィールドを決定する。１１４０において、方法１１００は、１または複数の基準に従い、かつ対応する動きフィールドに基づいて、複数の予測子候補を評価する。１１５０において、方法１１００は、評価に基づいて複数の予測子候補から予測子候補を選択する。１１６０において、方法１１００は、予測子候補のセットから選択された予測子候補に関するインデックスを符号化する。

[９６] 図１２は、少なくとも１つの実施形態の一般態様に係る典型的な復号方法１２００を示す。１２１０において、方法１２００は、ピクチャ内の復号されるブロックに関して、特定の予測子候補に対応するインデックスを受信する。様々な実施形態において、特定の予測子候補はエンコーダにおいて選択されており、インデックスは、複数の予測子候補のうちの１つが選択されることを可能にする。１２２０において、方法１２００は、特定の予測子候補に関して、復号されるブロックに関する１または複数の対応する制御点動きベクトルを決定する。１２３０において、方法１２００は、特定の予測子候補に関して、１または複数の対応する制御点動きベクトルに基づいて、対応する動きフィールドを決定する。様々な実施形態において、動きフィールドは動きモデルに基づき、対応する動きフィールドは、復号されるブロックのサブブロックの予測のために用いられる動きベクトルを識別する。１２４０において、方法１２００は、対応する動きフィールドに基づいてブロックを復号する。

[９７] 図１３は、少なくとも１つの実施形態の一般態様に係る他の典型的な復号方法１３００を示す。１３１０において、方法１３００は、ピクチャ内の復号されるブロックに関して、選択された予測子候補に対応するインデックスを取得する。１３１０にも示すように、選択された予測子候補は、ピクチャ内の符号化されるブロックに関して予測子候補のセットを決定すること、予測子候補のセットにおける複数の予測子候補の各々について、符号化されるブロックに関する１または複数の対応する制御点動きベクトルを決定すること、複数の予測子候補の各々について、１または複数の対応する制御点動きベクトルに基づいて、予測子候補のセットにおける複数の予測子候補の各々に関する動きモデルに基づく対応する動きフィールドを決定すること、１または複数の基準に従い、かつ対応する動きフィールドに基づいて、複数の予測子候補を評価すること、評価に基づいて、複数の予測子候補から予測子候補を選択すること、および予測子候補のセットから選択された予測子候補に関するインデックスを符号化することによって、エンコーダにおいて選択されている。１３２０において、方法１３００は、選択された予測子候補に対応するインデックスに基づいてブロックを復号する。

[９８] 図１４は、ＪＥＭにおける既存のアフィン合併モードで符号化または復号される現在のＣＵのアフィン動きフィールドを予測するために用いられるプロセス１４００の実施形態の詳細を示す。このプロセス１４００への入力１４０１は、図７に示すようにサブブロックのアフィン動きフィールドを生成することが望まれる現在の符号化ユニットである。１４１０において、現在のブロックに関するアフィン合併ＣＰＭＶは、図６、図７、図８Ｂ、および図９に関して上述したように、選択された予測子候補を用いて得られる。この予測子候補の導出は、後にも図１５に関してより詳しく説明される。

その結果、１４２０において、左上および右上の制御点動きベクトル

および

はその後、現在のＣＵに関連するアフィン動きフィールドを計算するために用いられる。これは、上述したように式１に従って各４×４のサブブロックに関する動きベクトルを計算することに存する。１４３０および１４４０において、現在のＣＵに関して動きフィールドが得られると、４×４のサブブロックベースの動き補償およびその後のＯＢＭＣ（重複ブロック動き補償）を伴う、現在のＣＵの時間予測が行われる。１４５０および１４６０において、現在のＣＵは、残差データありおよびなしで連続的に符号化および再構成される。ＲＤ競合に基づいてモードが選択され、そのモードが現在のＣＵを符号化するために用いられ、様々な実施形態において、そのモードに関するインデックスもまた符号化される。

[１００] 少なくとも１つの実装において、残差フラグが用いられる。１４５０において、符号化が残差データを有して行われたことを示すフラグがアクティブ化される（ｎｏＲｅｓｉｄｕａｌ＝０）。１４６０において、現在のＣＵは（残差を有して）完全に符号化および再構成され、対応するＲＤコストが生じる。その後、符号化が残差データなしで行われたことを示すフラグが非アクティブ化され（１４８０、１４８５、ｎｏＲｅｓｉｄｕａｌ＝１）、プロセスは、ＣＵが（残差なしで）符号化され、対応するＲＤコストが生じる１４６０へ戻る。過去の２つの間の最低ＲＤコスト（１４７０、１４７５）は、残差が符号化される必要があるか否か（通常またはスキップ）を示す。方法１４００は１４９９で終了する。その後、この最良ＲＤコストは、他の符号化モードとの競合にかけられる。レート歪み決定は、以下で更に詳しく説明される。

[１０１] 図１５は、現在のＣＵのアフィン動きフィールドの１または複数の制御点を予測するために用いられるプロセス１５００の実施形態の詳細を示す。これは、図８Ｂの空間位置（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の中で、アフィンモードで符号化／復号されているＣＵを検索すること（１５１０、１５２０、１５３０、１５４０、１５５０）に存する。探索された空間位置のうちアフィンモードで符号化されたものがない場合、候補位置に数を示す変数、たとえばｎｕｍＶａｌｉｄＭｅｒｇｅＣａｎｄは０に設定される（１５６０）。そうではない場合、アフィンモードにおけるＣＵに対応する第１の位置が選択される（１５１５、１５２５、１５３５、１５４５、１５５５）。プロセス１５００はその後、現在のＣＵに割り当てられたアフィン動きフィールドを生成するために後に用いられる制御点動きベクトルを計算すること、およびｎｕｍＶａｌｉｄＭｅｒｇｅＣａｎｄを１に設定すること（１５８０）に存する。この制御点計算は、以下のように進行する。選択された位置を含むＣＵが決定される。これは、上述したように、現在のＣＵの隣接ＣＵの１つである。次に、図９に関して上述したように、選択された隣接ＣＵ内の左上、右上、および左下角部からの３つのＣＰＭＶ

、

、

が取得（または決定）される。最後に、図６に関して上述したように、式１に従って、現在のＣＵの左上および右上のＣＰＭＶ

および

が導出される（１５７０）。方法１５００は１５９９で終了する。

[１０２] 本発明者は、上述した既存のアフィン合併プロセスの一態様が、周囲の略式（すなわち既に符号化または復号された）かつ隣接ＣＵから現在のＣＵへ向かってアフィン動きフィールドを伝搬するために１つかつ唯一の動きベクトル予測子を系統的に利用することであると認識している。様々な状況において、本発明者は更に、この態様は、たとえば最適な動きベクトル予測子を選択するものではないために不利であり得ることを認識している。また、この予測子の選択は、既に上述したように、順序付きセット（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）におけるアフィンモードで符号化された第１の略式かつ隣接ＣＵのみから成る。様々な状況において、本発明者は更に、この限定された選択は、たとえばより良い予測子が利用可能である場合があるために不利であり得ることを認識している。したがって、現在のＪＥＭにおける既存のプロセスは、現在のＣＵの周囲にあるいくつかの可能な略式かつ隣接ＣＵもまたアフィン動きを用い得たという点、およびアフィン動きを用いたことが分かった第１のＣＵ以外のＣＵが、現在のＣＵの動き情報のためのより良い予測子であり得るという点を考慮しないものである。

[１０３] したがって、本発明者は、既存のＪＥＭコーデックによって利用されていない現在のＣＵアフィン動きベクトルの予測を改善するいくつかの方法における潜在的利点を認識している。少なくとも１つの実施形態の一般態様によると、以下で説明するように、本発明の動きモデルにおいて提供されたそのような利点が見出され、図１６および図１７に示されている。

[１０４] 図１６および図１７の両方において、符号化または復号される現在のＣＵは中央の大きな１つであり、それぞれ図１６における１６１０、図１７における１７１０である。２つの潜在的予測子候補は、図８Ｂの位置ＡおよびＣに対応し、それぞれ図１６における予測子候補１６２０および図１７における１７２０として示される。特に、図１６は、選択された予測子候補が左の位置（図８Ｂの位置Ａ）にある場合の、符号化または復号される現在のブロック１６１０の潜在的動きフィールドを示す。同様に、図１７は、選択された予測子候補が右上の位置（すなわち図８Ｂの位置Ｃ）にある場合の、符号化または復号される現在のブロック１７１０の潜在的動きフィールドを示す。例示的な図に示すように、どのアフィン合併予測子が選択されるかに依存して、サブブロックに関する様々な動きベクトルセットが現在のＣＵに関して生成され得る。したがって、本発明者は、これら２つの候補の間での、たとえばレート歪み（ＲＤ）などの１または複数の基準を最適化した選択が、アフィン合併モードにおける現在のＣＵの符号化／復号性能を改善することに役立ち得ると認識する。

[１０５] したがって、少なくとも１つの実施形態の１つの一般態様は、複数の候補のセットの中で、符号化または復号される現在のＣＵのＣＰＭＶを導出するためにより良い動き予測子候補を選択することに存する。エンコーダ側において、現在のＣＰＭＶを予測するために用いられた候補は、１つの典型的な実施形態の一態様に従って、レート歪みコスト基準に従って選択される。そのインデックスはその後、他の典型的な実施形態の他の態様に従って、デコーダのための出力ビットストリームにおいて符号化される。

[１０６] 他の典型的な実施形態の他の態様によると、デコーダにおいて、候補のセットが構成されてよく、予測子は、エンコーダ側と同じ方法で、このセットから選択され得る。そのような実施形態において、出力ビットストリームにおいてインデックスが符号化される必要はない。デコーダの他の実施形態は、候補のセットを構成することを回避し、あるいは少なくとも、エンコーダと同様のセットから予測子を選択することを回避し、単純に、選択された候補に対応するインデックスをビットストリームから復号し、対応する関連データを導出する。

[１０７] 他の典型的な実施形態の他の態様によると、ここで用いられるＣＰＭＶは、図６に示すように、符号化または復号される現在のＣＵの右上および左上位置の２つに限定されない。他の実施形態は、たとえばただ１つのベクトルまたは２より多い数のベクトルを備え、これらのＣＰＭＶの位置は、動きフィールドを導出することが可能である限り、たとえば角の４×４のサブブロックの中央または角の４×４のサブブロックの内角の位置（複数も可）など、たとえば他の角位置または現在のブロックの内外の任意の位置にある。

[１０８] 典型的な実施形態において、調査される潜在的候補予測子のセットは、図８Ｂに示すようにＪＥＭにおける既存のアフィン合併モードにおいてＣＰＭＶ予測子を取得するために用いられる位置のセット（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）と同一である。図１８は、この実施形態の一般態様に従って、現在のＣＵのアフィン動きモデルを予測するために最良の候補を選択するための１つの典型的な選択プロセス１８００の詳細を示す。ただし、他の実施形態は、Ａ、Ｂ、Ｃ、Ｄ、Ｅとは異なり、より少ないまたは多い数の要素をセットに含み得る予測子位置のセットを用いる。

[１０９] １８０１に示すように、この典型的な実施形態１８００への入力は、符号化または復号される現在のＣＵの情報でもある。１８１０において、上述した図１５のアルゴリズム１５００に従って、複数のアフィン合併予測子候補のセットが構成される。図１５のアルゴリズム１５００は、アフィンモードで符号化された略式ＣＵに対応する、図８Ａに示す全ての隣接位置（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）を収集し、現在のＣＵのアフィンモーションの予測のための候補セットにすることを含む。したがって、プロセス１８００は、略式アフィンＣＵが発見されると終了するのではなく、セット内の複数の動き予測子候補の全てに関して、略式ＣＵから現在のＣＵへのアフィン動きモデル伝搬に関する全ての可能な候補を格納する。

[１１０] 図１８の１８１０に示すように図１５のプロセスが完了すると、図１８のプロセス１８００は、１８２０において、１８１０で提供されたセットの各候補から予測された左上および右上角部のＣＰＭＶを計算する。この１８２０のプロセスは、図１９によって更に詳述され示される。

[１１１] 再び図１９は、図１８における１８２０の詳細を示し、先行ステップ（図１８の１８１０）から決定され発見された各候補にわたるループを含む。各アフィン合併予測子候補について、その候補の空間位置を含むＣＵが決定される。その後、（Ｂスライスの基部にある）各参照リストＬ０およびＬ１に関して、現在のＣＵの動きフィールドを生成するために有用な制御点動きベクトル

および

が式２に従って導出される。各候補に関するこれら２つのＣＰＭＶは、候補ＣＰＭＶのセットに格納される。

[１１２] 図１９のプロセスが完了すると、プロセスは図１８へ戻り、各アフィン合併予測子候補にわたるループ１８３０が行われる。これはたとえば、最も低いレート歪みコストをもたらすＣＰＭＶ候補を選択してよい。各候補にわたるループ１８３０内で、図１４に示すようなプロセスと同様の他のループ１８４０が、上述したように各ＣＰＭＶ候補を用いて現在のＣＵを符号化するために用いられる。図１４のアルゴリズムは、全ての候補が評価されると終了し、その出力は、最良予測子のインデックスを備えてよい。上述したように、例として、最小レート歪みコストを有する候補が最良予測子として選択され得る。様々な実施形態が、現在のＣＵを符号化するために最良予測子を用い、特定の実施形態は、最良予測子に関するインデックスも符号化する。

[１１３] レート歪みコストの決定の一例は、当業者には周知であるように、
ＲＤ_ｃｏｓｔ＝Ｄ＋λ×Ｒ
と定義され、式中、Ｄは、元のブロックと、考慮される候補を用いて現在のＣＵを符号化および復号することによって得られた再構成されたブロックとの間の歪み（一般にＬ２距離）を表し、Ｒは、レートコスト、たとえば考慮される候補を用いて現在のブロックを符号化することによって生成されたビットの数を表し、λは、ビデオシーケンスが符号化されている時のレート目標を表す。

[１１４] 他の典型的な実施形態が以下で説明される。この典型的な実施形態は、既存のＪＥＭに比べてアフィン合併候補のセットを拡大することによって、アフィン合併モードの符号化性能をさらに改善することを目標とする。この典型的な実施形態は、候補のセットを拡大するために、エンコーダ側およびデコーダ側の両方で同様に実行され得る。したがって、１つの非限定的な態様において、いくつかの追加の予測子候補が、複数のアフィン合併候補のセットを構成するために用いられ得る。追加の候補は、たとえば図２１に示すような現在のＣＵ２１００を取り巻くＡ’２１１０およびＢ’２１２０などの追加の空間位置から採用され得る。他の実施形態は、現在のＣＵ２１００の辺の１つに沿った、または近接した更に追加の空間位置を用いる。

[１１５] 図２２は、図２１に示し、上述するような、追加の空間位置Ａ’２１１０およびＢ’２１２０を用いる実施形態に対応する典型的なアルゴリズム２２００を示す。たとえば、アルゴリズム２２００は、図２２の２２１０～２２３０において、位置Ａが有効なアフィン合併予測候補ではない（たとえばアフィンモードで符号化されたＣＵ内にない）場合、新たな候補位置Ａ’を試験することを含む。同様に、たとえば、図２２の２２４０～２２６０において、位置Ｂが任意の有効な候補を提供しない（たとえばアフィンモードで符号化されたＣＵ内にない）場合、位置Ｂ’も試験される。アフィン合併候補のセットを構成するための典型的なプロセス２２００のその他の態様は、先に示し説明したような図１９と比べて基本的に変わらない。

[１１６] 他の典型的な実施形態において、既存の合併候補位置は、新たに追加された位置を評価する前に、最初に考慮される。追加された位置は、候補のセットが、たとえば５または７など、合併候補の最大数より少ない候補しか含まない場合のみ、評価される。最大数は所定であってよく、あるいは可変であってよい。この典型的な実施形態は、図２３の典型的なアルゴリズム２３００によって詳述される。

[１１７] 他の典型的な実施形態によると、一時的候補と呼ばれる追加の候補が、予測子候補のセットに追加される。これらの一時的候補は、たとえば上述したように空間候補が発見されなかった場合、あるいは変化例において、これも上述したようにアフィン合併候補のセットのサイズが最大値に到達しなかった場合、用いられ得る。他の実施形態は、空間候補をセットに追加する前に一時的候補を用いる。たとえば、現在のＣＵの制御点動きベクトルを予測するための一時的候補は、現在のピクチャに利用可能または用いられた参照ピクチャの１または複数から取得され得る。一次的候補は、たとえば、参照ピクチャの各々における現在のＣＵの右下隣接ＣＵに対応する位置において採用され得る。これは、図２４に示すような符号化または復号される現在のＣＵ２４００に関する候補位置Ｆ２４１０に対応する。

[１１８] 実施形態において、たとえば、各参照ピクチャリストの各参照ピクチャについて、考慮される参照ピクチャにおける図２４の位置Ｆ２４１０におけるブロックに関連するアフィンフラグが試験される。真である場合、その参照ピクチャに含まれた対応するＣＵは、アフィン合併候補の現在のセットに追加される。

[１１９] 更なる変化例において、一時的候補は、現在のＣＵ２４００の左上角部に対応する空間位置における参照ピクチャから取得される。この位置は、図２４の候補位置Ｇ２４２０に対応する。

[１２０] 更なる変化例において、一時的候補は、右下の隣接ＣＵに対応する位置における参照ピクチャから取得される。その後、候補のセットが、たとえば５または７など、合併候補の事前固定最大数よりも少ない候補しか含まない場合、現在のＣＵの左上角部Ｇ２４２０に対応する一時的候補が取得される。他の実施形態において、一時的候補は、１または複数の参照ピクチャにおいて、現在のＣＵ２４００の異なる（Ｇ２４２０以外の）位置に対応する、または現在のＣＵ２４００の他の（Ｆ２４１０以外の）隣接ＣＵに対応する位置から得られる。

[１２１] 加えて、一時的候補に基づく制御点動きベクトルに関する典型的な導出プロセスは、以下のように進行する。構成されたセットに含まれた各一時的候補について、その参照ピクチャ内の一時的候補を含むブロック（ｔｅｍｐＣＵ）が識別される。その後、識別された一時的ＣＵの左上、右上、および左下角部に位置する３つのＣＰＭＶ

、

、および

がスケーリングされる。このスケーリングは、ｔｅｍｐＣＵのＰＯＣ（ピクチャオーダカウント）、ｔｅｍｐＣＵの参照ピクチャのＰＯＣ（差はｔｅｎｐＤｉｓｔと示される）、現在のＣＵのＰＯＣ、および現在のＣＵの参照ピクチャのＰＯＣ（差はｃｕｒＤｉｓｔと示される）の間の関係性を考慮する。たとえばＣＰＭＶは、距離の比（ｔｅｍｐＤｉｓｔ／ｃｕｒＤｉｓｔ）によってスケーリングされ得る。これら３つのスケーリングされたＣＰＭＶが得られると、現在のＣＵに関する２つの制御点動きベクトルが、上述したように式２に従って導出される。

[１２２] 他の典型的な実施形態は、各候補から導出された制御点動きベクトルの関数として計算された、平均制御点動きベクトルペアを追加することを含む。典型的なプロセスは、ここで、図２５に示す典型的なアルゴリズム２５００によって詳述される。ループ２５１０は、考慮される参照ピクチャリストに関して構成されたセット内の各アフィン合併予測子候補のために用いられる。

[１２３] その後、２５２０において、（Ｂスライスにおける場合）連続的にＬ０に等しく次にＬ１に等しい各参照ピクチャリストＬｘについて、現在の候補がリストＬｘに関する有効なＣＰＭＶを有する場合、
・動きベクトルのペア

を

に初期化する。
・各候補について、
－式２に従って現在の候補ＣＰＭＶからＣＰＭＶ

を導出する。
－ペア

に

を追加する。
・リストＬｘに関する候補の数で動きベクトルのペア

を割る。
・各リストの全ての候補の中からそれぞれ最小の参照ピクチャインデックスに等しい動きベクトル

および

に参照ピクチャインデックスを割り当てる（ベクトル

はリスト０を指し、その関連参照インデックスは、リスト０内の全ての候補の中で観測された最小参照インデックスに設定される。ベクトル

は、リスト１に適用される点を除き、同じである。）
・リストＬｘに関する現在のＣＵのアフィン動きフィールドを生成するために、候補ＣＰＭＶのセットに、得られた平均動きベクトルペア

を追加する。

[１２４] アルゴリズム２５００および／または他の実施形態を用いて、アフィン合併候補のセットは更に強化され、先行セクションにおいて説明されたような上述の実施形態に従って候補のセットに挿入された各候補について導出されたＣＰＭＶから計算された平均動き情報を含む。

[１２５] いくつかの候補が現在のＣＵに関して同じＣＰＭＶをもたらすことが可能であるため、上述の平均候補は、ＣＰＭＶ動きベクトルの加重平均ペアをもたらし得る。実際、上述したプロセスは、ＣＰＭＶの完全セットにおけるそれらの独自性に関わらず、それまでに収集されたＣＰＭＶの平均を計算する。したがって、この実施形態の変化例は、ＣＰＭＶ予測候補のセットに他の候補を再び追加することに存する。これは、（上述したような加重平均ＣＰＭＶとは別に）独自の収集されたＣＰＭＶのセットの平均ＣＰＭＶを追加することに存する。これにより、現在のＣＵのアフィン動きフィールドを生成するための予測子候補のセットに更なる候補ＣＰＭＶが提供される。

[１２６] たとえば、以下の５つの空間候補（Ｌ、Ｔ、ＴＲ、ＢＬ、ＴＬ）が全て利用可能かつアフィンである状況を考える。ただし、左の３つの位置（Ｌ、ＢＬ、ＴＬ）は、同じ隣接ＣＵ内にある。各空間位置において、候補ＣＰＭＶを得ることができる。すると、第１の平均は、（いくつかは同一である場合も）これら５つのＣＰＭＶの合計を５で割ったものに等しい。第２の平均において、異なるＣＰＭＶのみが考慮されるので、左の３つ（Ｌ、ＢＬ、ＴＬ）のみが一度考慮され、第２の平均は、３つの異なるＣＰＭＶ（Ｌ、Ｔ、ＴＲ）を３で割ったものに等しい。第１の平均において、余分なＣＰＭＶは３回加算され、より大きな重みが余分なＣＰＭＶに付与される。式を用いると、平均１＝（Ｌ＋Ｔ＋ＴＲ＋ＢＬ＋ＴＬ）／５、かつＬ＝ＢＬ＝ＴＬと書き表され得るので、平均１＝（３^＊Ｌ＋Ｔ＋ＴＬ）／５であり、平均２＝（Ｌ＋Ｔ＋ＴＬ）／３である。

[１２７] 上述した２つの候補平均は、考慮される候補がリスト０内の参照画像およびリスト１内の別の画像に関する動きベクトルを保持し次第、双方向性である。他の変化例において、一方向性平均を追加することが可能である。加重平均および一意的平均から、リスト０およびリスト１から個別的に動きベクトルを取り上げることによって、４つの一方向性候補が構成され得る。

[１２８] 本出願において説明された典型的な候補セット拡大方法の１つの利点は、所与のＣＵに関連するアフィン動きフィールドを構成するために用いられ得る候補制御点動きベクトルのセットにおける多様性の増加である。よって、本開示の実施形態は、ビデオコンテンツの符号化および復号の計算技術における技術的進歩もたらす。たとえば本開示の実施形態は、ＪＥＭにおいてアフィン合併符号化モードによってもたらされるレート歪み性能を改善する。このように、考慮されるビデオコーデックのレート歪み性能全体が改善された。

[１２９] 図１８のプロセスを修正するために、更なる典型的な実施形態が提供され得る。この実施形態は、以下の近似歪みおよびレート計算による、各ＣＰＭＶ候補の性能の迅速な評価を含む。したがって、ＣＰＭＶのセット内の各候補について、現在のＣＵの動きフィールドが計算され、現在のＣＵの４×４のサブブロックベースの時間予測が行われる。次に、予測されたＣＵと元のＣＵとの間のＳＡＴＤとして歪みが計算される。レートコストは、考慮される候補の合併インデックスのシグナリングに結び付けられたビットの近次数として得られる。大まかな（近似）ＲＤコストはその後、各候補について得られる。最終的な選択は、１つの実施形態において、近似ＲＤコストに基づく。他の実施形態において、候補のサブセットが完全ＲＤ検索をかけられ、すなわち、最も低い近似ＲＤコストを有する候補がその後、完全ＲＤ検索をかけられる。これらの実施形態の利点は、最良のアフィン合併予測子候補を検索することにより生じるエンコーダ側の複雑性の増加を制限することである。

[１３０] また、少なくとも１つの実施形態の他の一般態様によると、上述したようなアフィンインターモードは、アフィン予測子候補の拡大リストを有することによって、本開示に提示された現在の教示の全てを用いて改善されてもよい。図８Ａに関して上述したように、アフィンインターＣＵの１または複数のＣＰＭＶＰは、それらの符号化モードに関わらず、隣接する動きベクトルから導出される。したがって、その後、上述したようなアフィン合併モードと同様、現在のアフィンインターＣＵの１または複数のＣＰＭＶＰを構成するために、それらのアフィンモデルを用いてアフィン近隣の平均を取ることが可能である。この場合、考慮されたアフィン候補は、アフィン合併モードに関して上述したものと同じリストであってよい（たとえば空間候補のみに限定されない）。

[１３１] したがって、複数の予測子候補のセットは、より良い予測子候補を用いることによって現在のＨＥＶＣおよびＪＥＭによって提供されている圧縮／復元を改善するために提供される。プロセスは、より効率的になり、補足インデックスを送信する必要があり得る場合でも、符号化利得が観測される。

[１３２] 少なくとも１つの実施形態の一般態様によると、（合併モードと同様、少なくとも７つの候補を有する）アフィン合併候補のセットは、たとえば
・（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）からの空間候補、
・リスト内に５未満の候補がある場合、右下並置位置の時間候補、
・リスト内に５未満の候補がある場合、並置位置の時間候補、
・加重平均、
・一意的平均、
・加重平均が双方向性であり、リスト内に７未満の候補がある場合、加重平均からの一方向性平均、
・一意的平均が双方向性であり、リスト内に７未満の候補がある場合、一意的平均からの一方向性平均
から成る。

[１３３] また、ＡＭＶＰの場合、予測子候補は、たとえば
・セット（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）からの空間候補、
・（Ａ’、Ｂ’）からの補足空間候補、
・右下並置位置の時間候補
から採用され得る。

[１３４] 以下の表１および表２は、本開示で提案された解決策のいくつかの典型的な実施形態を用いたＪＥＭ４．０（並列）に対する改善を示す。各表は、上述したような典型的な実施形態の１つに関するレート低減の量の結果を示す。特に、表１は、図８Ｂに示す５つの空間候補（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）が、上述した典型的な実施形態に従って複数の予測子候補のセットとして用いられる場合の改善を示す。表２は、最初に空間候補、候補の数が未だ５より小さい場合、次に時間候補、次に平均、そして候補の数が未だ７より小さい場合、最後に一方向性平均という順序の予測子候補が上述したように用いられる場合の典型的な実施形態に関する改善を示す。したがって、たとえば表２は、この実施形態に関して、Ｙ、Ｕ、Ｖサンプルに関するレート低減がそれぞれクラスＤに関して０．２２％、０．２６％、および０．１２％のＢＤ（Ｂｊｏｎｔｅｇａａｒｄ－Ｄｅｌｔａ）レート低減であり、符号化および復号実行時間における増加がほとんどない（すなわち、それぞれ１００％および１０１％）ことを示す。よって、本開示の典型的な実施形態は、既存のＪＥＭ実装に対し、計算複雑性コストを維持しながら、圧縮／復元効率を改善する。

[１３５] 図２６は、典型的な実施形態の様々な態様が実現され得る典型的なシステム２６００のブロック図を示す。システム２６００は、後述する様々な構成要素を含むデバイスとして具体化されてよく、上述したプロセスを行うように構成される。そのようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、接続型家電、およびサーバを含むがこれに限定されない。システム２６００は、当業者には既知であるように、上述した典型的なビデオシステムの全部または一部を実現するために、図２６に示すような通信チャネルを介して、他の同様のシステム、およびディスプレイに通信可能に結合され得る。

[１３６] システム２６００の様々な実施形態は、上述したような様々なプロセスを実現するためにロードされた命令を実行するように構成された少なくとも１つのプロセッサ２６１０を含む。プロセッサ２６１０は、埋込型メモリ、入力出力インタフェース、および当技術において既知であるような他の様々な回路を含んでよい。システム２６００は、少なくとも１つのメモリ２６２０（たとえば揮発性メモリデバイス、不揮発性メモリデバイス）も含んでよい。システム２６００は更に、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光学ディスクドライブを含むがこれに限定されない不揮発性メモリを含み得るストレージデバイス２６４０を含んでよい。ストレージデバイス２６４０は、非限定的な例として、内蔵ストレージデバイス、取付け型ストレージデバイス、および／またはネットワークアクセス可能ストレージデバイスを備えてよい。システム２６００は、符号化されたビデオおよび／または復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール２６３０も含んでよく、エンコーダ／デコーダモジュール２６３０は、自身のプロセッサおよびメモリを含んでよい。

[１３７] エンコーダ／デコーダモジュール２６３０は、符号化および／または復号機能を行うためにデバイスに含まれ得るモジュール（複数も可）を表す。既知のように、そのようなデバイスは、符号化および復号モジュールのいずれかまたは両方を含んでよい。加えて、エンコーダ／デコーダモジュール２６３０は、当業者には既知であるように、システム２６００の個別要素として実装され、あるいはハードウェアとソフトウェアとの組み合わせとして１または複数のプロセッサ２６１０内に組み込まれ得る。

[１３８] 上述した様々なプロセスを行うために１または複数のプロセッサ２６１０にロードされるプログラムコードは、ストレージデバイス２６４０に格納され、その後、プロセッサ２６１０による実行のためにメモリ２６２０にロードされ得る。典型的な実施形態によると、プロセッサ（複数も可）２６１０、メモリ２６２０、ストレージデバイス２６４０、およびエンコーダ／デコーダモジュール２６３０の１または複数は、入力されたビデオ、復号されたビデオ、ビットストリーム、等式、公式、メトリック、変数、動作、および動作論理を含むがこれに限定されない、上述したプロセスの遂行中の様々な事項の１または複数を格納してよい。

[１３９] システム２６００は、通信チャネル２６６０を介して他のデバイスとの通信を可能にする通信インタフェース２６５０も含んでよい。通信インタフェース２６５０は、通信チャネル２６６０からのデータを送受信するように構成されたトランシーバを含んでよいが、これに限定されない。通信インタフェース２６５０は、モデムまたはネットワークカードを含んでよいがこれに限定されず、通信チャネル２６５０は、有線および／または無線媒体内に実装され得る。システム２６００の様々な構成要素は、内部バス、ワイヤ、および印刷回路基板を含むがこれに限定されない様々な適切な接続を用いて、互いに接続または通信可能に結合され得る（図２６には不図示）。

[１４０] 典型的な実施形態は、プロセッサ２６１０またはハードウェアによって実現されたコンピュータソフトウェアによって、またはハードウェアとソフトウェアとの組み合わせによって実行され得る。非限定的な例として、典型的な実施形態は、１または複数の集積回路によって実現され得る。メモリ２６２０は、技術環境に適した任意の型式であってよく、非限定的な例として、たとえば光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取外し可能メモリなどの任意の適当なデータ格納技術を用いて実現され得る。プロセッサ２６１０は、技術環境に適した任意の型式であってよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサの１または複数を包含してよい。

[１４１] 本明細書で説明された実装は、たとえば方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実現され得る。単一形式の（たとえば方法としてのみ説明された）実現の文脈でしか説明されなくとも、説明された特徴の実現は、他の形式（たとえば装置またはプログラム）で実現されてもよい。装置は、たとえば適当なハードウェア、ソフトウェア、およびファームウェアにおいて実現され得る。方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に処理デバイスを指すたとえばプロセッサなどの装置において実現され得る。またプロセッサは、たとえばコンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の通信をもたらす他のデバイスなどの通信デバイスも含む。

[１４２] また、当業者は、図１に示す典型的なＨＥＶＣエンコーダ１００および図３に示す典型的なＨＥＶＣデコーダが、より良い圧縮／復元を実現するために既存のＨＥＶＣ規格への開示される改善を実現するために、本開示の上記教示に従って修正され得ることを容易に理解し得る。たとえば、図１の典型的なエンコーダ１００におけるエントロピー符号化１４５、動き補償１７０、および動き推定１７５、および図３の典型的なデコーダにおけるエントロピー復号３３０および動き補償３７５は、既存のＪＥＭに高度なアフィン合併予測を提供することを含む本開示の１または複数の典型的な態様を実現するために、開示された教示に従って修正され得る。

[１４３] 「１つの実施形態」または「実施形態」または「１つの実装」または「実装」ならびにそれらの他の変化形への言及は、実施形態に関して説明された特定の特徴、構造、特性などが少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通して様々な箇所に見られる、「１つの実施形態において」または「実施形態において」または「１つの実装において」または「実装において」という表現ならびに他の任意の変化形の出現は、必ずしも全てが同じ実施形態に言及するものではない。

[１４４] 加えて、本出願または特許請求の範囲は、様々な情報を「決定すること」に言及し得る。情報を決定することは、たとえば情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取得することの１または複数を含んでよい。

[１４５] また、本出願または特許請求の範囲は、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、たとえば情報を受信すること、情報を（たとえばメモリから）取得すること、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することの１または複数を含んでよい。

[１４６] 加えて、本出願または特許請求の範囲は、様々な情報を「受信すること」に言及し得る。受信することは、「アクセスすること」と同様、幅広い用語であることが意図される。情報を受信することは、たとえば情報にアクセスすること、または情報を（たとえばメモリから）取得することの１または複数を含んでよい。また、「受信すること」は一般に、たとえば情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中に、何らかで関与する。

[１４７] 当業者には明らかであるように、実装は、たとえば格納または送信され得る情報を搬送するためにフォーマット化された様々な信号を生成してよい。情報は、たとえば方法を行うための命令、または説明された実装の１つによって生成されたデータを含んでよい。たとえば信号は、説明された実施形態のビットストリームを搬送するためにフォーマット化され得る。そのような信号は、たとえば（たとえばスペクトルの無線周波数部分を用いて）電磁波として、またはベースバンド信号としてフォーマット化され得る。フォーマット化は、たとえば、データストリームを符号化すること、および符号化されたデータストリームを用いて搬送波を変調することを含んでよい。信号が搬送する情報は、たとえばアナログまたはデジタル情報であってよい。信号は、既知のように、異なる様々な有線または無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に格納され得る。

Claims (15)

1. ビデオ符号化のための方法であって、
   ピクチャ内の符号化されるブロックに関して、複数の予測子候補を有する予測子候補のセットにアクセスすることであって、予測子候補は、符号化された空間または時間的隣接ブロックに対応することと、
   前記予測子候補のセットから予測子候補を選択することと、
   前記予測子候補のセットから前記選択された予測子候補に関連する複数の動きベクトルを用いて、前記ブロックに関する制御点動きベクトルのセットを得ることと、
   前記制御点動きベクトルのセットに基づいて、動きモデルに基づく動きフィールドを得ることであって、前記動きフィールドは、前記符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別することと、
   前記動きフィールドに基づいて前記ブロックを符号化することと、
   前記予測子候補のセットから前記選択された予測子候補に関するインデックスを符号化することと
   を備える方法。
2. ビデオ復号のための方法であって、
   ピクチャ内の復号されるブロックに関して、予測子候補に対応するインデックスにアクセスすることであって、前記予測子候補は、復号された空間または時間的隣接ブロックに対応することと、
   前記予測子候補に関連する複数の動きベクトルを用いて、前記復号されるブロックに関する制御点動きベクトルのセットを得ることと、
   前記制御点動きベクトルのセットに基づいて、動きモデルに基づく動きフィールドを得ることであって、前記動きフィールドは、前記復号されるブロックのサブブロックの予測のために用いられた動きベクトルを識別することと、
   前記動きフィールドに基づいて前記ブロックを復号することと
   を備える方法。
3. ビデオ符号化のための装置であって、
   ピクチャ内の符号化されるブロックに関して、符号化された空間または時間的隣接ブロックに対応する複数の予測子候補を有する予測子候補のセットにアクセスするための手段と、
   前記予測子候補のセットから予測子候補を選択するための手段と、
   前記予測子候補のセットから前記選択された予測子候補に関連する複数の動きベクトルを用いて、前記ブロックに関する制御点動きベクトルのセットを得るための手段と、
   前記制御点動きベクトルのセットに基づいて、前記符号化されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する、動きモデルに基づく動きフィールドを得るための手段と、
   前記動きフィールドに基づいて前記ブロックを符号化するための手段と、
   前記予測子候補のセットから前記選択された予測子候補に関するインデックスを符号化するための手段と
   を備える装置。
4. ビデオ復号のための装置であって、
   ピクチャ内の復号されるブロックに関して、復号された空間または時間的隣接ブロックに対応する予測子候補に対応するインデックスにアクセスするための手段と、
   前記予測子候補に関連する複数の動きベクトルを用いて、前記復号されるブロックに関する制御点動きベクトルのセットを得るための手段と、
   前記制御点動きベクトルのセットに基づいて、前記復号されるブロックのサブブロックの予測のために用いられた動きベクトルを識別する、動きモデルに基づく動きフィールドを得るための手段と、
   前記動きフィールドに基づいて前記ブロックを復号するための手段と
   を備える装置。
5. １または複数の基準に従い、かつ前記複数の予測子候補の各々に関する前記動きフィールドに基づいて、前記複数の予測子候補を評価することと、
   前記評価に基づいて、前記複数の予測子候補から前記予測子候補を選択することと
   を更に備える、請求項１に記載の符号化方法。
6. １または複数の基準に従い、かつ前記複数の予測子候補の各々に関する前記動きフィールドに基づいて、前記複数の予測子候補を評価するための手段と、
   前記評価に基づいて、前記複数の予測子候補から前記予測子候補を選択するための手段と
   を更に備える、請求項３に記載の符号化装置。
7. 前記１または複数の基準は、前記予測子候補のセットにおける前記複数の予測子候補の１または複数に対応するレート歪み決定に基づく、請求項５～６に記載の方法または装置。
8. 前記動きフィールドに基づいて前記ブロックを復号または符号化することは、それぞれ、前記サブブロックに関する予測子に基づいて、前記動きベクトルによって示されている前記予測子を復号または符号化することを備える、請求項１、２、および５～７のいずれか１項に記載の方法。
9. 前記予測子候補のセットは、前記符号化または復号されるブロックの空間候補および／または時間候補を備える、請求項１、２、および５～８のいずれか１項に記載の方法または請求項３～８のいずれか１項に記載の装置。
10. 前記動きモデルはアフィンモデルである、請求項１、２、および５～９のいずれか１項に記載の方法または請求項３～９のいずれか１項に記載の装置。
11. 前記符号化または復号されるブロック内の各位置（ｘ，ｙ）に関する前記動きフィールドは、
    

    

    
    によって決定され、式中、（ｖ_０ｘ，ｖ_０ｙ）および（ｖ_１ｘ，ｖ_１ｙ）は、前記動きフィールドを生成するために用いられた前記制御点動きベクトルであり、（ｖ_０ｘ，ｖ_０ｙ）は、前記符号化または復号されるブロックの左上角部の前記制御点動きベクトルに対応し、（ｖ_１ｘ，ｖ_１ｙ）は、前記符号化または復号されるブロックの右上角部の前記制御点動きベクトルに対応し、ｗは、前記符号化または復号されるブロックの幅である、請求項１、２、および５～１０のいずれか１項に記載の方法または請求項３～１０のいずれか１項に記載の装置。
12. １または複数の追加の予測子候補が選択され、前記１または複数の追加の予測子候補に対応して１または複数の追加の制御点動きベクトルのセットが得られ、前記動きフィールドは、前記１または複数の追加の制御点動きベクトルのセットに更に基づいて得られる、請求項１、２、および５～１１のいずれか１項に記載の方法または請求項３～１１のいずれか１項に記載の装置。
13. 請求項１、２、および５～１２のいずれかに記載の方法に従って生成されたデータコンテンツを含む非一時的コンピュータ可読媒体。
14. 請求項１、２、および５～１２のいずれかに記載の方法に従って生成されたビデオデータを備える信号。
15. １または複数のプロセッサによって実行されると、請求項１、２、および５～１２のいずれかに記載の方法を行うための命令を備えるコンピュータプログラム製品。
    

Images