JP2017535162A - 画像予測方法および関連装置 - Google Patents

Abstract

本発明の実施形態は、画像予測方法および関連装置を開示する。画像予測方法は、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、ここで、Kは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、ステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。本発明の実施形態の解決手段は、非並進運動モデルに基づく画像予測の計算複雑性を軽減するのに役立つ。

Description

本願は、2014年9月30日に中国特許庁に出願された「PICTURE PREDICTION METHOD AND RELATED APPARATUS」と題する中国特許出願第201410526608.8号の優先権を主張するものであり、引用によって上記中国特許出願の全文が本願に援用される。

本発明は画像処理技術分野に関し、具体的には画像予測方法および関連装置に関する。

光電式取得技術の開発と高精細デジタルビデオに対する要求の絶えざる高まりを受けてビデオデータの量はますます多くなっている。限りある異種伝送帯域幅と多様化したビデオ応用のため、ビデオ符号化効率に対する要求は絶えず高まっている。この要求を受けて高効率ビデオ符号化（英語：high efficient video coding、略してHEVC）規格を策定する取り組みが始まっている。

ビデオ圧縮符号化の基本原理では空間領域と時間領域とコードワードとの相関を用いて余剰を可能な限り排除する。現在主流やり方ではブロックベースのハイブリッドビデオ符号化方式で予測（フレーム内予測とフレーム間予測とを含む）、変換、量子化、エントロピー符号化等のステップを遂行してビデオ圧縮符号化を実現する。この符号化方式は存立の見込みが高いため、HEVCでもこのブロックベースのハイブリッドビデオ符号化方式が引き続き採用されている。

様々なビデオ符号化／復号化ソリューションの中でも運動推定や運動補償は符号化／復号化効率を左右する重要な技術となっている。従来の様々なビデオ符号化／復号化ソリューションでは、物体の動きが常に並進運動に一致し、物体全体の全ての部分の動きが同じであると想定している。従来の運動推定アルゴリズムや運動補償アルゴリズムはどれも基本的には並進モデル（英語：translational motion model）に基づくブロック運動補償アルゴリズムである。しかし現実世界の動きは多様であり、拡大／縮小運動や回転運動や放物運動といった不規則な動きはいたるところにある。前世紀の80年代以降にビデオ符号化の専門家は不規則運動の普遍性を認識し、不規則運動モデル（アフィン運動モデル、回転運動モデル、拡大縮小運動モデル等の非並進運動モデル）を導入することでビデオ符号化効率を高めることを望んでいる。ただし、非並進運動モデルに基づいて遂行される従来の画像予測の計算複雑性は概してすこぶる高い。

本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。

本発明の第1の態様は、画像予測方法を提供し、該画像予測方法は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。

第1の態様を参照し、第1の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。

第1の態様の第1の可能な実装様態を参照し、第1の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

第1の態様の第2の可能な実装様態を参照し、第1の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。

第1の態様の第3の可能な実装様態を参照し、第1の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第1の態様の第3の可能な実装様態または第1の態様の第4の可能な実装様態を参照し、第1の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第1の態様、または第1の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第1の態様の第6の可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップは、
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含み、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。

第1の態様の第6の可能な実装様態を参照し、第1の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

第1の態様の第7の可能な実装様態を参照し、第1の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含む。

第1の態様の第6の可能な実装様態、または第1の態様の第7の可能な実装様態、または第1の態様の第8の可能な実装様態を参照し、第1の態様の第9の可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップは、
K個のピクセルサンプルの運動ベクトルを得るために、反復探索アルゴリズムに基づいて、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップを含む。

第1の態様、または第1の態様の第1から第9の可能な実装様態のいずれか1つ参照し、第1の態様の第10の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。

第1の態様、または第1の態様の第1から第10の可能な実装様態のいずれか1を参照し、第1の態様の第11の可能な実装様態において、
画像予測方法は、ビデオ符号化処理に応用され、または画像予測方法は、ビデオ復号化処理に応用される。

本発明の第1の態様は、画像予測装置を提供し、該画像予測装置は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットとを含む。

第1の態様を参照し、第1の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。

第1の態様の第1の可能な実装様態を参照し、第1の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

第1の態様の第2の可能な実装様態を参照し、第1の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。

第1の態様の第3の可能な実装様態を参照し、第1の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第1の態様の第3の可能な実装様態または第1の態様の第4の可能な実装様態を参照し、第1の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第1の態様、または第1の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第1の態様の第6の可能な実装様態において、予測ユニットは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するように具体的に構成され、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。

第1の態様の第6の可能な実装様態を参照し、第1の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

第1の態様の第6の可能な実装様態を参照し、第1の態様の第7の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、予測ユニットは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように具体的に構成される。

第1の態様の第6の可能な実装様態、または第1の態様の第7の可能な実装様態、または第1の態様の第8の可能な実装様態を参照し、第1の態様の第9の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。

第1の態様、または第1の態様の第1から第9の可能な実装様態のいずれか1つを参照し、第1の態様の第10の可能な実装様態において、画像予測装置は、ビデオ符号化装置に応用され、または画像予測装置は、ビデオ復号化装置に応用される。

本発明の実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

本発明の一実施形態によるフレーム内予測に対応する予測単位分割様態の概略図である。 本発明の一実施形態によるフレーム間予測に対応する数通りの予測単位分割様態の概略図である。 本発明の一実施形態による画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの別の概略図である。 本発明の一実施形態による現在の画像ブロックの参照フレームの概略図である。 本発明の一実施形態による現在の画像ブロックの概略図である。 本発明の一実施形態による画像ブロックのアフィン変換の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの隣接参照ブロックの別の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態によるビデオ復号化方法の概略流れ図である。 本発明の一実施形態による別の画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。

本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。

当業者が本発明の技術的解決手段をより良く理解できるようにするため、これ以降、本発明の実施形態の添付図面を参照しながら本発明の実施形態の技術的解決手段を明確かつ完全に説明する。当然ながら、説明する実施形態は本発明の実施形態の全てではなく一部に過ぎない。創造的な取り組みをせずとも本発明の実施形態をもとに当業者によって考案される他の実施形態はいずれも本発明の保護範囲に入る。

これ以降、詳しい説明を個別に提示する。

本発明の明細書と請求項と添付図面で用語「第1（first）」、「第2（second）」、「第3（third）」、「第4（fourth）」等は異なるものを区別するものであって、特定の順序を示すものではない。加えて、用語「含む（include）」、「有する（have）」、ならびにその変形は非排他的な包含をカバーするものである。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、または装置は記載されたステップまたはユニットに限定されず、記載されていないステップまたはユニットを任意にさらに含み、あるいはプロセス、方法、製品、または装置に特有の別のステップまたはユニットを任意にさらに含む。

これ以降はまず、本発明の実施形態に関係し得るいくつかのコンセプトを説明する。

ほとんどの符号化方式でビデオシーケンスは一連の画像（英語：picture）を含み、画像はスライス（英語：slice）にさらに分割され、sliceはブロック（英語：block）にさらに分割される。ビデオ符号化とは、ブロックを単位として使用し、pictureの左上隅位置から行ごとに左から右、上から下へ符号化処理を遂行することである。一部の新しいビデオ符号化規格ではblockのコンセプトがさらに拡大されている。H.264規格にはマクロブロック（英語：macro block、略してMB）があり、MBは予測符号化に使える複数の予測ブロック（英語：partition）に分割できる。HEVC規格には符号化単位（英語：coding unit、略してCU）や予測単位（英語：prediction unit、略してPU）や変換単位（英語：transform unit、略してTU）といった基本的コンセプトが採用されており、複数のUnitは機能に従って分類され、まったく新しい木状構造が記述に使われている。例えばCUは四分木に従ってより小さいCUに分割でき、より小さいCUはさらに分割でき、四分木構造を形成する。PUとTUも同様の木構造を有する。単位がCUであろうがPUであろうがTUであろうが、単位は基本的にはblockのコンセプトに属する。CUはマクロブロックMBや符号化ブロックに似ており、符号化画像を分割し符号化するための基本単位である。PUは予測ブロックに相当し得、予測符号化の基本単位である。CUは分割モードに従って複数のPUにさらに分割される。TUは変換ブロックに相当し得、予測残差を変換する基本単位である。高効率ビデオ符号化（英語：high efficiency video coding、略してHEVC）規格ではCUとPUとTUが符号化木ブロック（英語：coding tree block、略してCTB）等と総称されることがある。

HEVC規格で符号化単位のサイズには4つのレベルが、すなわち64x64、32x32、16x16、および8x8が、あり得る。各レベルの符号化単位はフレーム内予測とフレーム間予測に従ってサイズが異なる予測単位に分割できる。例えば図1aおよび図1bに見られるように、図1aはフレーム内予測に対応する予測単位分割様態の一例を示している。図1bはフレーム内予測に対応する数通りの予測単位分割様態の例を示している。

ビデオ符号化の専門家はビデオ符号化技術を開発し発展させる過程で、符号化効率を上げるため、隣接する符号化／復号化ブロック間の時間的・空間的相関を使用する様々な方法を考案している。H264／先進ビデオ符号化（英語：advanced video coding、略してAVC）規格ではスキップモード（skip mode）とダイレクトモード（direct mode）が符号化効率を上げる効果的手段となっている。ビットレートが低い場合に使われる2つの符号化モードのブロックは符号化シーケンス全体の半分超を占めることがある。スキップモードが使われる場合は、ビットストリームにスキップモードフラグメントを加えて近傍の運動ベクトルだけを使用することによって現在の画像ブロックの運動ベクトルを得ることができ、現在の画像ブロックの再構成値として運動ベクトルに従って参照ブロックの値が直接コピーされる。加えて、ダイレクトモードが使われる場合は、符号化器が隣接する運動ベクトルを使って現在の画像ブロックの運動ベクトルを得、現在の画像ブロックの予測子として運動ベクトルに従って参照ブロックの値を直接コピーし、符号化器で予測子を使って現在の画像ブロックに対し予測符号化を遂行できる。進化した高効率ビデオ符号化（英語：high efficiency video coding、略してHEVC）規格ではビデオ符号化効率をさらに上げるため新しい符号化手段がいくつか導入されている。融合符号化（merge）モードと適応運動ベクトル予測（英語：advanced motion vector prediction、略してAMVP）モードは2つの重要なフレーム間予測手段である。融合符号化（merge）では、現在の符号化ブロックの隣接する符号化済みブロックの運動情報（予測方向と運動ベクトルと参照フレームインデックスとを含む）を使って候補運動情報セットが構成され、比較により最高の符号化効率を可能にする候補運動情報が現在の符号化ブロックの運動情報として選ばれてよく、参照フレームの中で現在の符号化ブロックの予測子が見つけられ、現在の符号化ブロックに対し予測符号化が遂行され、運動情報が選ばれた隣接する符号化済みブロックを指し示すインデックス値がビットストリームに書き込まれる。適応運動ベクトル予測モードが使われる場合は、隣接する符号化済みブロックの運動ベクトルが現在の符号化ブロックの運動ベクトル予測子として使われ、最高の符号化効率を可能にする運動ベクトルが現在の符号化ブロックの運動ベクトルを予測するために選ばれてよく、選ばれた隣接運動ベクトルを指し示すインデックス値がビデオビットストリームに書き込まれてよい。

これ以降は本発明の実施形態の技術的解決手段をさらに説明する。

これ以降はまず、本発明の実施形態で提供される画像予測方法を説明する。本発明の実施形態で提供される画像予測方法はビデオ符号化装置かビデオ復号化装置によって実行される。ビデオ符号化装置やビデオ復号化装置はビデオを出力したり保管したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話機、またはビデオサーバーであってよい。

本発明の画像予測方法の一実施形態において、画像予測方法は、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子（英語：motion vector predictor、略してMVP）を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。

図1cを参照し、図1cは本発明の一実施形態による画像予測方法の概略流れ図である。図1cの一例に見られるように、本発明の本実施形態で提供される画像予測方法は下記ステップを含んでよい。

101．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。

Kは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。

102．非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。

K個のピクセルサンプルを選択する様々な様態があり得る。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。

ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。

現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。

図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含んでよい。

当然ながら、他のいくつかの可能な応用シナリオにおいてK個のピクセルサンプルに対し運動推定を遂行するステップは省かれてよい。正規化ステップさえ省かれてよい。つまり、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子が参照フレームY1にスケールされるステップは省かれてよい。

本実施形態で提供される前述の画像予測方法のいずれか1がビデオ符号化処理やビデオ復号化処理に応用されてよいことは理解できるであろう。

本発明の実施形態で前述した解決手段をより良く理解し実施するため、これ以降はより具体的な応用シナリオを参照しながらさらに説明する。

図3aを参照し、図3aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図3aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。

301．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。

本実施形態の一例でK＝3である。

本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。

図3bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しく、あるいは現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの右上にある隣接画像ブロックCの運動ベクトルに等しくてよい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左下にある隣接画像ブロックEの運動ベクトルに等しくてよく、あるいは現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。

例えば、現在の画像ブロックの右上頂点および左下頂点の運動ベクトル予測子は次式に基づいて判断されてよい。

上記の式（1）および式（2）で
は画像ブロックAの運動ベクトル（MV）を表す。

上記の式（1）で
は現在の画像ブロックの右上頂点のMVを表し、
は画像ブロックBのMVを表し、
は画像ブロックCのMVを表す。上記の式（2）で
は現在の画像ブロックの右上頂点のMVPを表し、
は画像ブロックDのMVを表し、
は画像ブロックEのMVを表す。

つまり、右上頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックBおよび画像ブロックCから選択される。左下頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックDおよび画像ブロックEから選択される。

302．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点に対応する運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMV_Sである。図3cに見られるように、MV_Sは次式を使った計算によって得られてよい。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムの毎回の計算に基づいてK個のピクセルサンプルに対し運動推定が遂行されることは下記ステップを含んでよい。

S1．式（3）、（3）、および（5）に従って各ピクセルのφ_k（p）を計算する。

φ_k（p）でk＝1、2、3である。

図3dに見られるように、現在の画像ブロックXのサイズはS1×S2であると仮定し、現在の画像ブロックXにおける各ピクセルpの座標は（x，y）であると仮定する。

S2．マナー
を計算する。

は方向xと方向yにおける現在の画像ブロックXの各ピクセルpの導関数をそれぞれ表す。本実施形態の一例ではSobel演算子を使って導関数が計算される。別の演算子（例えばGaussian演算子）が使われてもよい。式（6）および式（7）の例にはSobel演算子のテンプレートが示されている。

現在のピクセルpの座標が（x，y）と仮定し、式（8）および式（9）の例には
の計算式が示されており、ここでpred［x］［y］は座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値を表す。

現在の画像ブロックXの端に位置するピクセルの隣接ピクセルは存在しないことがあり、
は現在の画像ブロックXの端に位置するピクセルの隣接ピクセルの対応する値に差し替えられることがある。

S3．予測誤差e（P）を計算する。

現在のピクセルpの座標が（x，y）であると仮定する。
e（p）＝org［x］［y］−pred［x］［y］ 式（10）
ここでorg［x］［y］とpred［x］［y］は、元のピクセル値と座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値とをそれぞれ表す。

S4．δ_x1、δ_x2、δ_x3、δ_y1、δ_y2、およびδ_y3がそれぞれ方向xと方向yにおける現在の画像ブロックXの3つの頂点の運動ベクトル変化であると仮定し、一次方程式セット（11）を解く計算でδ_x1、δ_x2、δ_x3、δ_y1、δ_y2、およびδ_y3を求める。
H_xklδ_xk＝g_xk，k＝1，2，3
H_yklδ_yk＝g_yk，k＝1，2，3 方程式セット（11）
ここで
である。

上述したステップS1〜S4に基づき、この計算における現在の画像ブロックにある3つのピクセルサンプルの各々の方向xの運動ベクトル変化δ_xと各ピクセルサンプルの方向yの運動ベクトル変化δ_yは運動推定によって得られてよい。

上述したステップS1〜S4の反復様態に基づいて1回以上の計算が遂行され、運動推定によって現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトルを得ることができる。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルの運動ベクトル差（英語：motion vector difference、略してMVD）を得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。

さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。

303．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。

現在の予測単位XのサイズがS1×S2であると仮定する。座標が（0，0）、（S₁，0）、および（0，S₂）である3つの頂点の運動ベクトル（vx₀，vy₀）、（vx₁，vy₁）、および（vx₂，vy₂）はステップ301およびステップ302を遂行することによって計算される。

3つの頂点の座標と運動ベクトルはアフィン変換式（12）に代入され、現在の画像ブロックにある各ピクセルの運動ベクトルを計算できる。図3eにアフィン変換の概略図を示すことができる。

座標が（x，y）であるピクセルの運動ベクトルは次の通りに計算される。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4のブロックごとに1個の運動情報が保管されてよく、4×4の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。

尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。

304．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPの運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

図4aを参照し、図4aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図4aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。

401．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。

本実施形態の一例でK＝3である。

本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。

図4bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。

402．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点に対応する運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMV_Sである。MV_Sは次式を使った計算によって得られてよい。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。

さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。

403．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。

運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。

尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。

404．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPの運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

図5を参照し、図5は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図5の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。

501．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。

本実施形態の一例でK＝3である。

本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。

ステップ501で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。

502．前述したK個のピクセルサンプルの運動ベクトル予測子を前述したK個のピクセルサンプルの運動ベクトルとして使用し、且つアフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。

運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。

尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。

503．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPの運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。前述の解決手段は、ビデオが非並進的内容（例えばレンズのズーミング、物体の変形、または動く物体の回転）を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

図6を参照し、図6は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図6の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。

601．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。

本実施形態の一例でK＝3である。

本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。

ステップ601で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。

602．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K1個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては、前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。

さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。

603．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。

運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。

尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。

604．現在の予測単位にアフィン変換方式のフレーム間予測モード（ステップ601〜ステップ603）を使用するレート歪コストを計算し、且つそのレート歪コストをHEVCフレーム間予測モードを使用する計算レート歪コストに比較する。

アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト未満である場合は、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードに設定される。具体的に述べると、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはtrueに設定されてよい。アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト以上である場合は、現在の画像ブロックの最適フレーム間予測モードがHEVCフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはfalseに設定される。

605．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

例えば、ルミナンス成分の場合、ピクセルの運動ベクトルが1／4ピクセル精度である場合は、HEVC補間フィルタを使って各ピクセルの予測ピクセル値が得られてよく、あるいはピクセルの運動ベクトルが1／4ピクセル精度を上回る場合は、HEVC補間フィルタを使ってピクセルから最短距離にある4つの1／4ピクセルの予測ピクセル値が最初に得られ、その後ピクセルの予測ピクセル値を得るため双線形補間が遂行される。クロミナンス成分の場合、予測ピクセル値はHEVC補間フィルタを使って得られる。

さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれる。具体的に述べると、現在の予測単位の残余は変換と量子化とエントロピー符号化とを経た後にビデオビットストリームに書き込まれる。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPの運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

図7を参照し、図7は本発明の一実施形態によるビデオ復号化方法の概略流れ図である。図7の一例に見られるように、本発明の本実施形態で提供されるビデオ復号化方法は下記ステップを含んでよい。

701．復号化器は、現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われているか否かを判断するため、ビデオビットストリームで構文要素affine_MC_flagを復号化する。

702．現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われている場合、復号化器は、現在の画像ブロックに使われているフレーム間予測方向を判断するため、ビデオビットストリームで構文要素affine_inter_dir_flagを復号化する。

703．復号化器は構文要素affine_inter_dir_flagに従って現在の画像ブロックにあるK個のピクセルサンプルのMVPを判断する。

現在の画像ブロックにあるK個のピクセルサンプルは、前述した実施形態のいずれか1つで説明されている現在の画像ブロックにあるK個のピクセルサンプルであってよい。

704．復号化器は、ビデオビットストリームにあって現在の画像ブロックに対応する構文要素affine_no_MVD_flagを復号化することによって、現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDが0であるか否かを判断する。affine_no_MVD_flagがtrueである場合、これは現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDはいずれも0であることを意味し、K個のピクセルサンプルの得られたMVPの運動ベクトルがK個のピクセルサンプルの運動ベクトルとして使用されてよい。affine_no_MVD_flagがfalseである場合、これはK個のピクセルサンプルに対応するMVDに0ではないものがあることを意味し、K個のピクセルサンプルに対応するMVDは別の復号化によって得られ、ピクセルサンプルの運動ベクトルを得るため、各ピクセルサンプルに対応するMVDと対応するMVPとが加えられる。

705．復号化器は現在の画像ブロックの残余係数を復号化し、且つ現在の画像ブロックにある残余ピクセルを得るため逆量子化と逆変換とを遂行する。

706．復号化器は、アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算し、且つ現在の画像ブロックの予測ピクセル値を得るため、現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。

尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。

707．復号化器は現在の画像ブロックにある残余ピクセルと現在の画像ブロックの予測ピクセル値とに従って現在の画像ブロックを再構成する。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。

運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPの運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

最新ビデオ符号化規格HEVCの符号化器を使って本発明の実施形態で提供されるいくつかの解決手段についてエミュレーション試験が行われた。例えば試験は低遅延（LDB）とランダムアクセス（RA）という2つの構成で行われ、本発明の実施形態の解決手段の性能がHM11.0解決手段の性能に比較された。アフィン特性が比較的明白な6つの試験シーケンスが試験に選ばれた。試験シーケンスは表1に列挙されており、エミュレーション結果は表2に示されている。

性能カウンタBD−rateはQPが22、27、32、および37である4つの点の結果を用いた計算によって得られてよく、3つの成分Y、U、およびVのピーク信号対ノイズ比（PSNR）がそれぞれ計算される。

本発明の実施形態の解決手段において、LDB構成では平均BD−rate（Y）性能が4.5％増加し、RA構成で平均BD−rate（Y）性能が5.0％増加し、17.8％も増加することは分かるであろう。つまり、PSNRの質が同じである場合にHM11.0方法と比べて本発明の解決手段は最大17.8％のビットレートを低減できる。

これ以降、いくつかの他の非運動モデルを説明する。

アフィン変換モデルは下記モデルに一致する運動モデルである。
ここでa、b、c、d、e、およびfは定数パラメータであり、（x，y）はピクセルの元の座標であり、（x’，y’）はピクセルに対しアフィン変換が遂行された後に得られる座標であり、Vxはx軸方向の運動ベクトルであり、Vyはy軸方向の運動ベクトルである。

回転運動モデルは次のように表すことができる。
ここでαは回転角であり、aおよびbはパラメータである。

パースペクティブ運動モデルは次のように表すことができる。
ここで
はパースペクティブ行列である。

せん断運動モデルは次のように表すことができる。
ここで
はせん断行列であり、その他は定数パラメータである。

拡大縮小運動モデルは次のように表すことができる。
ここでρ_x、ρ_y、θ_x、およびθ_yは定数パラメータである。

二次運動モデルは次のように表すことができる。
ここでuおよびvは元の座標を表し、xおよびyは変換後に得られる座標を表し、その他は定数パラメータである。

前述した例は様々な運動モデルのいくつかの可能な表現形式の例に過ぎず、当然ながら、様々な運動モデルが別の形式をとり得ることは理解できるであろう。

これ以降は前述した解決手段を実施する関連装置をさらに提示する。

図8を参照し、本発明の一実施形態は画像予測装置800をさらに提供し、画像予測装置800は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニット810であって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトル予測子に基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニット810と、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニット820とを含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。

K個のピクセルサンプルを選択する様々な様態があり得る。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。

ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。

現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。

図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。

任意に選べることとして、予測ユニット820は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、予測ユニット820はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールしてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含む。

画像予測装置800はビデオ符号化装置に応用され、あるいは画像予測装置800はビデオ復号化装置に応用される。

本実施形態における画像予測装置800の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置800はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。

図9を参照し、図9は本発明の一実施形態による画像予測装置900の概略図である。画像予測装置900は少なくとも1つのバス901と、バス901へ接続された少なくとも1つのプロセッサ902と、バス901へ接続された少なくとも1つのメモリ903とを含んでよい。

プロセッサ902は、メモリ903に記憶されたコードをバス901を使って呼び出すことにより、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行し、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。

K個のピクセルサンプルを選択する様々な様態があり得る。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。

ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。

現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ902はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。

本実施形態における画像予測装置900の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置900はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。

図10を参照し、図10は本発明の別の実施形態による画像予測装置1000の構造的ブロック図である。画像予測装置1000は、少なくとも1つのプロセッサ1001と、少なくとも1つのネットワークインターフェース1004または他のユーザーインターフェース1003と、メモリ1005と、少なくとも1つの通信バス1002とを含んでよい。通信バス1002はこれらのコンポーネントの間で接続と通信を実施するように構成される。画像予測装置1000は、ディスプレイ（例えばタッチスクリーン、LCD、ホログラフィックイメージング（Holographic）、CRT、映写（Projector））、クリック装置（例えばマウス、トラックボール（trackball）、タッチパッド、またはタッチスクリーン）、カメラおよび／またはピックアップ装置等を含むユーザーインターフェース1003を任意に含んでよい。

メモリ1005は読み取り専用メモリとランダムアクセスメモリとを含んでよく、プロセッサ1001に命令とデータを提供してよい。メモリ1005の一部は不揮発性ランダムアクセスメモリ（NVRAM）をさらに含んでよい。

いくつかの実装様態において、メモリ1005は下記要素を、すなわち実行可能モジュールまたはデータ構造、またはこれのサブセット、またはこれの拡張セットを、記憶する。
様々なシステムプログラムを含み、様々な基本的サービスを実施しハードウェアベースのタスクを処理するために使われる、オペレーティングシステム10051
様々なアプリケーションプログラムを含み、様々なアプリケーションサービスを実施するために使われる、アプリケーションプログラムモジュール10052

本発明の本実施形態において、メモリ1005に記憶されたプログラムや命令を呼び出すことにより、プロセッサ1001は現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成され、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、且つプロセッサ1001は非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成される。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。

K個のピクセルサンプルを選択する様々な様態があり得る。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。

ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。

現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ1001はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。

本実施形態における画像予測装置1000の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置1000はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。

本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。

また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。

尚、説明を簡単にするため、前述した方法の実施形態は一連の行為として表現されている。ただし、本発明によると一部のステップは別の順序で遂行されてよく、あるいは同時に遂行されてよいため、当業者なら本発明が記載された行為の順序に限定されないことを理解するであろう。加えて当業者は、明細書で説明されている実施形態がいずれも実施形態の例であって、関係する行為やモジュールが必ずしも本発明にとって必須ではないことを理解するであろう。

上記の実施形態ではどの実施形態も的を絞って説明されている。或る1つの実施形態で詳しく説明されていない部分については、他の実施形態に記載された関連する説明を参照されたい。

本願で提供される実施形態で開示されている装置が別の様態で実装されてよいことを理解されたい。例えば、説明されている装置の実施形態は一例に過ぎない。例えば、ユニットの分割は論理的な機能分割に過ぎず、実際の実装では別の分割であってもよい。例えば、複数のユニットやコンポーネントが組み合わされて別のシステムにまとめられてもよく、一部の機能は無視されてもよく、遂行されなくてもよい。加えて、表示もしくは論述された相互結合や直接結合や通信接続は何らかのインターフェースを用いて実装されてよい。装置またはユニット間の間接結合や通信接続は電子的形態やその他の形態で実装されてよい。

単独部分として説明されているユニットは物理的に単独であってもなくてもよく、ユニットとして表示されている部分は物理的なユニットであってもなくてもよく、1ヶ所に置かれてもよく、複数のネットワークユニットに分散されてもよい。実施形態の解決手段の目的を達成するため、ユニットの一部または全部が実際のニーズに応じて選ばれてよい。

加えて、本発明の実施形態の機能ユニットは1つの処理ユニットに統合されてよく、それぞれのユニットが物理的に単独で存在してもよく、2つ以上のユニットは1つのユニットに統合される。統合されたユニットはハードウェアの形で実装されてよく、あるいはソフトウェア機能ユニットの形で実装されてもよい。

前述の統合されたユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売もしくは使用される場合、統合されたユニットはコンピュータ可読記憶媒体に記憶されてよい。このような理解に基づき、本発明の技術的解決手段は、あるいは先行技術に寄与する部分は、あるいは技術的解決手段の全部または一部は、ソフトウェア製品の形で実装されてよい。ソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で説明した方法のステップの全部または一部を遂行することをコンピュータ装置（パーソナルコンピュータ、サーバー、ネットワーク装置等であってよい）に命令する命令を含む。前述した記憶媒体は、USBフラッシュドライブ、読み取り専用メモリ（ROM、Read-Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、リムーバブルハードディスク、磁気ディスク、光ディスク等、プログラムコードを記憶できる媒体を含む。

上記の実施形態は、本発明の技術的解決手段を説明するためのものに過ぎず、本発明を制限するものではない。上記の実施形態を参照しながら本発明を詳しく説明したが、当業者は、本発明の実施形態の技術的解決手段の精神および範囲から逸脱することなく上記の実施形態で説明した技術的解決手段に変更を加えたり、その技術的要素に同等の差し替えを行うことができることを理解するであろう。

800 画像予測装置
810 判断ユニット
820 予測ユニット
900 画像予測装置
901 バス
902 プロセッサ
903 メモリ
1000 画像予測装置
1001 プロセッサ
1002 通信バス
1003 ユーザーインターフェース
1004 ネットワークインターフェース
1005 メモリ
10051 オペレーティングシステム
10052 アプリケーションプログラム

光電式取得技術の開発と高精細デジタルビデオに対する要求の絶えざる高まりを受けてビデオデータの量はますます多くなっている。限りある異種伝送帯域幅と多様化したビデオ応用のため、ビデオ符号化効率に対する要求は絶えず高まっている。この要求を受けて高効率ビデオ符号化（英語：High Efficient Video Coding、略してHEVC）規格を策定する取り組みが始まっている。

様々なビデオ符号化／復号化ソリューションの中でも運動推定や運動補償は符号化／復号化効率を左右する重要な技術となっている。従来の様々なビデオ符号化／復号化ソリューションでは、物体の動きが常に並進運動に一致し、物体全体の全ての部分の動きが同じであると想定している。従来の運動推定アルゴリズムや運動補償アルゴリズムはどれも基本的には並進運動モデル（英語：translational motion model）に基づくブロック運動補償アルゴリズムである。しかし現実世界の動きは多様であり、拡大／縮小運動や回転運動や放物運動といった不規則な動きはいたるところにある。前世紀の80年代以降にビデオ符号化の専門家は不規則運動の普遍性を認識し、不規則運動モデル（アフィン運動モデル、回転運動モデル、拡大縮小運動モデル等の非並進運動モデル）を導入することでビデオ符号化効率を高めることを望んでいる。ただし、非並進運動モデルに基づいて遂行される従来の画像予測の計算複雑性は概してすこぶる高い。

第1の態様、または第1の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第1の態様の第6の可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップは、
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含み、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。

第1の態様の第6の可能な実装様態、または第1の態様の第7の可能な実装様態、または第1の態様の第8の可能な実装様態を参照し、第1の態様の第9の可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップは、
K個のピクセルサンプルの運動ベクトルを得るために、反復探索アルゴリズムに基づいて、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップを含む。

本発明の第2の態様は、画像予測装置を提供し、該画像予測装置は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットとを含む。

第2の態様を参照し、第2の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。

第2の態様の第1の可能な実装様態を参照し、第2の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。

第2の態様の第2の可能な実装様態を参照し、第2の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。

第2の態様の第3の可能な実装様態を参照し、第2の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第2の態様の第3の可能な実装様態または第2の態様の第4の可能な実装様態を参照し、第2の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。

第2の態様、または第2の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第2の態様の第6の可能な実装様態において、予測ユニットは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するように具体的に構成され、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。

第2の態様の第6の可能な実装様態を参照し、第2の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

第2の態様の第7の可能な実装様態を参照し、第2の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、予測ユニットは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように具体的に構成される。

第2の態様、または第2の態様の第1から第8の可能な実装形態を参照し、第2の態様の第9の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。

第2の態様、または第2の態様の第1から第9の可能な実装様態のいずれか1つを参照し、第2の態様の第10の可能な実装様態において、画像予測装置は、ビデオ符号化装置に応用され、または画像予測装置は、ビデオ復号化装置に応用される。

本発明の一実施形態によるフレーム内予測に対応する予測単位分割様態の概略図である。 本発明の一実施形態によるフレーム間予測に対応する数通りの予測単位分割様態の概略図である。 本発明の一実施形態による画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの別の概略図である。 本発明の一実施形態による現在の画像ブロックの参照フレームの概略図である。 本発明の一実施形態による現在の画像ブロックの概略図である。 本発明の一実施形態による画像ブロックのアフィン変換の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの隣接参照ブロックの別の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態によるビデオ復号化方法の概略流れ図である。 本発明の一実施形態による画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。

ほとんどの符号化方式でビデオシーケンスは一連の画像（英語：picture）を含み、画像はスライス（英語：slice）にさらに分割され、sliceはブロック（英語：block）にさらに分割される。ビデオ符号化とは、ブロックを単位として使用し、pictureの左上隅位置から行ごとに左から右、上から下へ符号化処理を遂行することである。一部の新しいビデオ符号化規格ではblockのコンセプトがさらに拡大されている。H.264規格にはマクロブロック（英語：macro block、略してMB）があり、MBは予測符号化に使える複数の予測ブロックに分割できる。HEVC規格には符号化単位（英語：coding unit、略してCU）や予測単位（英語：prediction unit、略してPU）や変換単位（英語：transform unit、略してTU）といった基本的コンセプトが採用されており、複数のUnitは機能に従って分類され、まったく新しい木状構造が記述に使われている。例えばCUは四分木に従ってより小さいCUに分割でき、より小さいCUはさらに分割でき、四分木構造を形成する。PUとTUも同様の木構造を有する。単位がCUであろうがPUであろうがTUであろうが、単位は基本的にはblockのコンセプトに属する。CUはマクロブロックMBや符号化ブロックに似ており、画像を分割し符号化するための基本単位である。PUは予測ブロックに相当し得、予測符号化の基本単位である。CUは分割モードに従って複数のPUにさらに分割される。TUは変換ブロックに相当し得、予測残差を変換する基本単位である。

ビデオ符号化の専門家はビデオ符号化技術を開発し発展させる過程で、符号化効率を上げるため、隣接する符号化／復号化ブロック間の時間的・空間的相関を使用する様々な方法を考案している。H264／先進ビデオ符号化（英語：Advanced Video Coding、略してAVC）規格ではスキップモード（skip mode）とダイレクトモード（direct mode）が符号化効率を上げる効果的手段となっている。ビットレートが低い場合に使われる2つの符号化モードのブロックは符号化シーケンス全体の半分超を占めることがある。スキップモードが使われる場合は、ビットストリームにスキップモードフラグメントを加えて近傍の運動ベクトルだけを使用することによって現在の画像ブロックの運動ベクトルを得ることができ、現在の画像ブロックの再構成値として運動ベクトルに従って参照ブロックの値が直接コピーされる。加えて、ダイレクトモードが使われる場合は、符号化器が隣接する運動ベクトルを使って現在の画像ブロックの運動ベクトルを得、現在の画像ブロックの予測子として運動ベクトルに従って参照ブロックの値を直接コピーし、符号化器で予測子を使って現在の画像ブロックに対し予測符号化を遂行できる。進化したHEVC規格ではビデオ符号化効率をさらに上げるため新しい符号化手段がいくつか導入されている。融合符号化（merge）モードと先進運動ベクトル予測（英語：advanced motion vector prediction、略してAMVP）モードは2つの重要なフレーム間予測手段である。融合符号化では、現在の符号化ブロックの隣接する符号化済みブロックの運動情報（予測方向と運動ベクトルと参照フレームインデックスとを含む）を使って候補運動情報セットが構成され、比較により最高の符号化効率を可能にする候補運動情報が現在の符号化ブロックの運動情報として選ばれてよく、参照フレームの中で現在の符号化ブロックの予測子が見つけられ、現在の符号化ブロックに対し予測符号化が遂行され、運動情報が選ばれた隣接する符号化済みブロックを指し示すインデックス値がビットストリームに書き込まれる。先進運動ベクトル予測モードが使われる場合は、隣接する符号化済みブロックの運動ベクトルが現在の符号化ブロックの運動ベクトル予測子として使われ、最高の符号化効率を可能にする運動ベクトルが現在の符号化ブロックの運動ベクトルを予測するために選ばれてよく、選ばれた隣接運動ベクトルを指し示すインデックス値がビデオビットストリームに書き込まれてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含んでよい。

上記の式（1）で
は現在の画像ブロックの右上頂点のMVPを表し、
は画像ブロックBのMVを表し、
は画像ブロックCのMVを表す。上記の式（2）で
は現在の画像ブロックの右上頂点のMVPを表し、
は画像ブロックDのMVを表し、
は画像ブロックEのMVを表す。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMV_Sである。図3cに見られるように、MV_Sは次式を使った計算によって得られてよい。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

S1．式（3）、（4）、および（5）に従って各ピクセルのφ_k（p）を計算する。

S2．
を計算する。

現在の予測ブロックXのサイズがS1×S2であると仮定する。座標が（0，0）、（S₁，0）、および（0，S₂）である3つの頂点の運動ベクトル（vx₀，vy₀）、（vx₁，vy₁）、および（vx₂，vy₂）はステップ301およびステップ302を遂行することによって計算される。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMV_Sである。MV_Sは次式を使った計算によって得られてよい。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。前述の解決手段は、ビデオが非並進的内容、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。

K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。

詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

704．復号化器は、ビデオビットストリームにあって現在の画像ブロックに対応する構文要素affine_no_MVD_flagを復号化することによって、現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDが0であるか否かを判断する。affine_no_MVD_flagがtrueである場合、これは現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDはいずれも0であることを意味し、K個のピクセルサンプルの得られたMVPに対応する運動ベクトルがK個のピクセルサンプルの運動ベクトルとして使用されてよい。affine_no_MVD_flagがfalseである場合、これはK個のピクセルサンプルに対応するMVDに0ではないものがあることを意味し、K個のピクセルサンプルに対応するMVDは別の復号化によって得られ、ピクセルサンプルの運動ベクトルを得るため、各ピクセルサンプルに対応するMVDと対応するMVPとが加えられる。

さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。

さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。

本発明の実施形態の解決手段において、LDB構成では平均BD−rate（Y）性能が4.5％増加し、RA構成で平均BD−rate（Y）性能が5.0％増加し、17.8％も増加することは分かるであろう。つまり、PSNRの質が同じである場合にHM11.0解決手段と比べて本発明の解決手段は最大17.8％のビットレートを低減できる。

これ以降、いくつかの他の非並進運動モデルを説明する。

図8を参照し、本発明の一実施形態は画像予測装置800を提供し、画像予測装置800は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニット810であって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニット810と、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニット820とを含んでよい。

任意に選べることとして、予測ユニット820は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含む。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。

図10を参照し、図10は本発明の別の実施形態による画像予測装置1000の構造的ブロック図である。画像予測装置1000は、少なくとも1つのプロセッサ1001と、少なくとも1つのネットワークインターフェース1004または他のユーザーインターフェース1003と、メモリ1005と、少なくとも1つの通信バス1002とを含んでよい。通信バス1002はこれらのコンポーネントの間で接続と通信を実施するように構成される。画像予測装置1000は、ディスプレイ（例えばタッチスクリーン、LCD、ホログラフィックイメージング装置（Holographic imaging device）、CRT、映写（Projector））、クリック装置（例えばマウス、トラックボール（trackball）、タッチパッド、またはタッチスクリーン）、カメラおよび／またはピックアップ装置等を含むユーザーインターフェース1003を任意に含んでよい。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。

任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。

Claims (23)

1. 画像予測方法であって、
   現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、Kは1よりも大きい整数であり、前記K個のピクセルサンプルは前記現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、前記第1の頂角ピクセルサンプルの運動ベクトル予測子は前記現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、前記第1の空間的に隣接する画像ブロックは前記第1の頂角ピクセルサンプルに空間的に隣接する、ステップと、
   非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
   を含む方法。
2. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
   前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
   前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
   前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項1に記載の方法。
3. 前記第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
   前記現在の画像ブロックにおける前記左上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX1の運動ベクトルに基づいて得られ、前記画像ブロックX1は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX1は、前記現在の画像ブロックにおいて前記左上ピクセルサンプルに空間的に隣接し、
   前記現在の画像ブロックにおける前記右上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX2の運動ベクトルに基づいて得られ、前記画像ブロックX2は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX2は、前記現在の画像ブロックにおいて前記右上ピクセルサンプルに空間的に隣接し、
   前記現在の画像ブロックにおける前記左下ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX3の運動ベクトルに基づいて得られ、前記画像ブロックX3は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX3は、前記現在の画像ブロックにおいて前記左下ピクセルサンプルに空間的に隣接する、請求項2に記載の方法。
4. 前記第1の頂角ピクセルサンプルは、前記現在の画像ブロックにおける前記左上ピクセルサンプルであり、
   前記第1の空間的に隣接する画像ブロックは、前記画像ブロックX1であり、
   前記画像ブロックX1は、前記現在の画像ブロックの左上で空間的に隣接する画像ブロックである、請求項3に記載の方法。
5. 前記画像ブロックX2は、前記現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
   前記画像ブロックX2の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、前記画像ブロックX5の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX5は、前記画像ブロックX2を除く、前記右上頂点に空間的に隣接する前記現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである、請求項4に記載の方法。
6. 前記画像ブロックX3は、前記現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
   前記画像ブロックX3の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、前記画像ブロックX6の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX6は、前記画像ブロックX3を除く、前記左下頂点に空間的に隣接する前記現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである、請求項4または5に記載の方法。
7. 非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行する前記ステップは、
   前記K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、前記K1個のピクセルサンプルの前記運動ベクトル予測子を前記参照フレームY1にスケールするステップと、
   前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行するステップと、
   前記非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトルとを使って、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
   を含み、前記K2個のピクセルサンプルは、前記K個のピクセルサンプルのうち、前記K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である、請求項1から6のいずれか一項に記載の方法。
8. ピクセルサンプルiは、前記K個のピクセルサンプルのうち、前記第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、
   前記ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する予測方向と異なる場合、前記ピクセルサンプルiの前記運動ベクトル予測子に対応する参照フレームインデックスは0である、請求項7に記載の方法。
9. 前記参照フレームY1は、前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する参照フレームであり、
   前記ピクセルサンプルiの前記運動ベクトル予測子が前記参照フレームY1にスケールされることは、前記第1の頂角ピクセルサンプルと前記ピクセルサンプルiとの前記運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、前記ピクセルサンプルiの前記運動ベクトル予測子が前記参照フレームY1にスケールされることを含む、請求項8に記載の方法。
10. 前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行する前記ステップは、
    前記K個のピクセルサンプルの前記運動ベクトルを得るために、反復探索アルゴリズムに基づいて、前記K2個のピクセルサンプルの前記運動ベクトル予測子と前記参照フレームY1にスケールされた前記K個のピクセルサンプルの前記運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行するステップを含む、請求項7から9のいずれか一項に記載の方法。
11. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項1から10のいずれか一項に記載の方法。
12. ビデオ符号化処理に応用されるか、またはビデオ復号化処理に応用される、請求項1から11のいずれか一項に記載の方法。
13. 画像予測装置であって、
    現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、Kは1よりも大きい整数であり、前記K個のピクセルサンプルは前記現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、前記第1の頂角ピクセルサンプルの運動ベクトル予測子は前記現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、前記第1の空間的に隣接する画像ブロックは前記第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
    非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットと
    を含む装置。
14. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項13に記載の装置。
15. 前記第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX1の運動ベクトルに基づいて得られ、前記画像ブロックX1は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX1は、前記現在の画像ブロックにおいて前記左上ピクセルサンプルに空間的に隣接し、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX2の運動ベクトルに基づいて得られ、前記画像ブロックX2は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX2は、前記現在の画像ブロックにおいて前記右上ピクセルサンプルに空間的に隣接し、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX3の運動ベクトルに基づいて得られ、前記画像ブロックX3は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX3は、前記現在の画像ブロックにおいて前記左下ピクセルサンプルに空間的に隣接する、請求項14に記載の装置。
16. 前記第1の頂角ピクセルサンプルは、前記現在の画像ブロックにおける前記左上ピクセルサンプルであり、
    前記第1の空間的に隣接する画像ブロックは、前記画像ブロックX1であり、
    前記画像ブロックX1は、前記現在の画像ブロックの左上で空間的に隣接する画像ブロックである、請求項15に記載の装置。
17. 前記画像ブロックX2は、前記現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
    前記画像ブロックX2の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、前記画像ブロックX5の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX5は、前記画像ブロックX2を除く、前記右上頂点に空間的に隣接する前記現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである、請求項16に記載の装置。
18. 前記画像ブロックX3は、前記現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
    前記画像ブロックX3の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、前記画像ブロックX6の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX6は、前記画像ブロックX3を除く、前記左下頂点に空間的に隣接する前記現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである、請求項16または17に記載の装置。
19. 前記予測ユニットは、
    前記K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、前記K1個のピクセルサンプルの前記運動ベクトル予測子を前記参照フレームY1にスケールし、
    前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行し、
    前記非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトルとを使って、前記現在の画像ブロックに対しピクセル値予測を遂行するように具体的に構成され、前記K2個のピクセルサンプルは、前記K個のピクセルサンプルのうち、前記K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である、請求項13から18のいずれか一項に記載の装置。
20. ピクセルサンプルiは、前記K個のピクセルサンプルのうち、前記第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、
    前記ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する予測方向と異なる場合、前記ピクセルサンプルiの前記運動ベクトル予測子に対応する参照フレームインデックスは0である、請求項19に記載の装置。
21. 前記参照フレームY1は、前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する参照フレームであり、
    前記予測ユニットは、前記第1の頂角ピクセルサンプルと前記ピクセルサンプルiとの前記運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、前記ピクセルサンプルiの前記運動ベクトル予測子を前記参照フレームY1にスケールするように具体的に構成される、請求項20に記載の装置。
22. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項13から21のいずれか一項に記載の装置。
23. ビデオ符号化装置に応用されるか、またはビデオ復号化装置に応用される、請求項13から22のいずれか一項に記載の装置。