JP2019041418A5

JP2019041418A5 -

Info

Publication number: JP2019041418A5
Application number: JP2018230221A
Authority: JP
Filing date: 2018-12-07
Publication date: 2021-01-07
Anticipated expiration: 2035-04-23

Description

第1の態様の第12の可能な実施態様を参照すると、第1の態様の第13の可能な実施態様において、画像予測方法が映像復号処理に適用される場合、N個の候補統合動き情報ユニットセットから、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するステップは、N個の候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するステップを含む。

第2の態様の第12の可能な実施態様を参照すると、第2の態様の第15の可能な実施態様において、画像予測装置が映像復号装置に適用される場合、第2の決定部は、N個の統合候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、かつ映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するように特に構成されている。

任意選択的に、本発明のいくつかの可能な実施態様において、画像予測方法が映像復号処理に適用される場合、N個の候補統合動き情報ユニットセットから、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するステップは、N個の候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するステップを含んでもよい。

任意選択的に、本発明のいくつかの可能な実施態様において、画像予測方法が映像復号処理に適用される場合、N2個の候補統合動き情報ユニットセットから、K2個の動き情報ユニットを含む統合動き情報ユニットセットjを決定するステップは、N2個の候補統合動き情報ユニットセットから、統合動き情報ユニットセットjの、映像ビットストリームから得られる識別子に基づいて、K2個の動き情報ユニットを含む統合動き情報ユニットセットjを決定するステップを含んでもよい。

任意選択的に、本発明のいくつかの可能な実装方法において、画像予測装置が映像復号装置に適用される場合、第2の決定部は、N個の統合候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、かつ映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するように特に構成されている。

任意選択的に、本発明のいくつかの可能な実装方法において、画像予測装置が映像復号装置に適用される場合、プロセッサ602は、N個の統合候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、かつ映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するように特に構成されてもよい。

任意選択的に、本発明のいくつかの可能な実装方法において、画像予測装置が映像復号装置に適用される場合、プロセッサ701は、N個の統合候補統合動き情報ユニットセットから、統合動き情報ユニットセットiの、かつ映像ビットストリームから得られる識別子に基づいて、K1個の動き情報ユニットを含む統合動き情報ユニットセットiを決定するように特に構成されてもよい。

Claims

画像ブロックx内のK1個の画素サンプルを決定して、前記K1個の画素サンプル内の各画素サンプルに対応する候補動き情報ユニットセットを決定するステップであって、各画素サンプルに対応する前記候補動き情報ユニットセットは、1つの候補動き情報ユニットを備え、K1は、2以上の整数である、ステップと、
K1個の動き情報ユニットを備える統合動き情報ユニットセットiを決定するステップであって、
前記統合動き情報ユニットセットi内の各動き情報ユニットは、前記K1個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセット内の前記候補動き情報ユニットであり、前記動き情報ユニットは、予測方向が順方向である動きベクトルおよび／または予測方向が逆方向である動きベクトルを備え、前記統合動き情報ユニットセットiの前記K1個の動き情報ユニットに対応する参照フレームインデックスが同一である、ステップと、
非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて前記画像ブロックxの画素値を予測するステップであって、前記統合動き情報ユニットセットiは識別子によって示される、ステップと
を備える、画像予測方法。
前記K1個の画素サンプルは、前記画像ブロックxの左上の画素サンプル、右上の画素サンプル、左下の画素サンプル、および中央の画素サンプルa1に少なくとも2つの画素サンプルを備え、
前記画像ブロックxの前記左上の画素サンプルは、前記画像ブロックxの左上の頂点であるか、前記画像ブロックxの左上の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの左下の画素サンプルは、前記画像ブロックxの左下の頂点、または前記画像ブロックxの左下の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの右上の画素サンプルは、前記画像ブロックxの右上の頂点、または前記画像ブロックxの右上の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの前記中央の画素サンプルa1は、前記画像ブロックxの中央の画素、または前記画像ブロックxの中央の画素を備える画像ブロックx内の画素ブロックである、請求項1に記載の方法。
前記画像ブロックxの前記左上の画素サンプルに対応する候補動き情報ユニットセットは、x1個の画素サンプルの動き情報ユニットを備え、前記x1個の画素サンプルは、前記画像ブロックxの前記左上の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記左上の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x1は正の整数であり、
前記x1個の画素サンプルは、前記画像ブロックxの前記左上の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの左端に空間的に隣接する画素サンプル、前記画像ブロックxの左上に空間的に隣接する画素サンプル、または前記画像ブロックxの上端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項2に記載の方法。
前記画像ブロックxの前記右上の画素サンプルに対応する候補動き情報ユニットセットは、x2個の画素サンプルの動き情報ユニットを備え、前記x2個の画素サンプルは、前記画像ブロックxの前記右上の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記右上の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x2は正の整数であり、
前記x2個の画素サンプルは、前記画像ブロックxの前記右上の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの右端に空間的に隣接する画素サンプル、前記画像ブロックxの右上に空間的に隣接する画素サンプル、または前記画像ブロックxの上端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項2または3のいずれかに記載の方法。
前記画像ブロックxの前記左下の画素サンプルに対応する候補動き情報ユニットセットは、x3個の画素サンプルの動き情報ユニットを備え、前記x3個の画素サンプルは、前記画像ブロックxの前記左下の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記左下の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x3は正の整数であり、
前記x3個の画素サンプルは、前記画像ブロックxの前記左下の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの左端に空間的に隣接する画素サンプル、前記画像ブロックxの左下に空間的に隣接する画素サンプル、または前記画像ブロックxの下端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項2または3に記載の方法。
前記画像ブロックxの前記中央の画素サンプルa1に対応する候補動き情報ユニットセットはx5個の画素サンプルの動き情報ユニットを備え、前記x5個の画素サンプル内の1つの画素サンプルが画素サンプルa2であり、
前記画像ブロックxが属する映像フレーム内の前記中央の画素サンプルa1の位置は、前記画像ブロックxが属する映像フレームに隣接する映像フレーム内の前記画素サンプルa2の位置と同じであり、x5は正の整数である、請求項2または3に記載の方法。
非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて前記画像ブロックxの画素値を予測する前記ステップは、前記統合動き情報ユニットセットiにおける予測方向が第1の予測方向である動きベクトルが異なる参照フレームインデックスに対応する場合、前記統合動き情報ユニットセットiにおける予測方向が前記第1の予測方向である前記動きベクトルを同一の参照フレームに縮小するように、前記統合動き情報ユニットセットiに対してスケーリング処理を行うステップと、前記非並進動作モデルおよび縮小された統合動き情報ユニットセットiを用いて前記画像ブロックxの前記画素値を予測するステップであって、前記第1の予測方向が順方向または逆方向である、ステップとを備え、または、
非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて前記画像ブロックxの画素値を予測する前記ステップは、
前記統合動き情報ユニットセットiにおいて予測方向が順方向である動きベクトルが異なる参照フレームインデックスに対応し、前記統合動き情報ユニットセットiにおいて予測方向が逆方向である動きベクトルが異なる参照フレームインデックスに対応した場合、前記統合動き情報ユニットセットiにおいて予測方向が順方向である前記動きベクトルが同一の参照フレームに縮小され、前記統合動き情報ユニットセットiにおいて予測方向が逆方向である前記動きベクトルが同一の参照フレームに縮小するように、前記統合動き情報ユニットセットiに対してスケーリング処理を行うステップと、前記非並進動作モデルおよび縮小された統合動き情報ユニットセットiとを用いて前記画像ブロックxの前記画素値を予測するステップとを備える、請求項1から3のいずれか一項に記載の方法。
画像ブロックy内のK2個の画素サンプルを決定して、前記K2個の画素サンプル内の各画素サンプルに対応する候補動き情報ユニットセットを決定するステップであって、K2は1より大きい整数であり、前記画像ブロックyは前記画像ブロックxに空間的に隣接し、前記K2個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセットは、少なくとも1つの候補動き情報ユニットを備える、ステップと、
K2個の動き情報ユニットを備える統合動き情報ユニットセットjを決定するステップであって、前記K2個の画素サンプルの画素サンプルz1に対応する候補動き情報ユニットセットは動き情報ユニットa2を備え、前記動き情報ユニットa2は、画素サンプルz2の動き情報ユニットに基づいて求められ、前記画素サンプルz2は、前記画像ブロックx内の画素サンプルであり、前記画素サンプルz2と前記画素サンプルz1との間の距離が閾値未満であるか、または前記画素サンプルz2は、前記画像ブロックx内の画素サンプルであり、前記画素サンプルz2と前記画素サンプルz1との間の距離は最短であり、前記統合動き情報ユニットセットj内の前記K2個の動き情報ユニットは、前記K2個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセット内の制約対応動き情報ユニットの少なくとも一部からそれぞれ選択される、ステップと、
前記非並進動作モデルおよび前記統合動き情報ユニットセットjを用いて前記画像ブロックyの画素値を予測するステップと
をさらに備える、請求項1から3のいずれか一項に記載の方法。
前記非並進動作モデルは、アフィン動きモデル、放物線動作モデル、回転動作モデル、遠近法動作モデル、せん断運動モデル、スケーリング動作モデル、または双線形動作モデルの内のいずれか1つである、請求項1から3のいずれか一項に記載の方法。
非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて前記画像ブロックxの画素値を予測する前記ステップは、
前記非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて計算により前記画像ブロックxの各画素の動きベクトルを求めて、前記画像ブロックx内の各画素の求められた前記動きベクトルを用いて前記画像ブロックx内の各画素の予測画素値を決定するステップ、または、
前記非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて計算により前記画像ブロックxの各画素ブロックの動きベクトルを求めて、前記画像ブロックx内の各画素ブロックであり、計算により求められる前記動きベクトルを用いて前記画像ブロックx内の各画素ブロックの各画素の予測画素値を決定するステップと備える、請求項1から3のいずれか一項に記載の方法。
前記画像予測方法は、映像符号化処理に適用されるか、または前記画像予測方法は、映像復号処理に適用される、請求項1から3のいずれか一項に記載の方法。
前記画像予測方法が前記映像符号化処理に適用される場合、前記統合動き情報ユニットセットiの識別子を映像ビットストリームに書き込むステップをさらに備える、請求項11に記載の方法。
画像ブロックx内のK1個の画素サンプルを決定して、前記K1個の画素サンプル内の各画素サンプルに対応する候補動き情報ユニットセットを決定するように構成された第1の決定部であって、各画素サンプルに対応する前記候補動き情報ユニットセットは、1つの候補動き情報ユニットを備え、K1は、2以上の整数である、第1の決定部と、
K1個の動き情報ユニットを備える統合動き情報ユニットセットiを決定するように構成された第2の決定部であって、前記統合動き情報ユニットセットi内の各動き情報ユニットは、前記K1個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセット内の前記候補動き情報ユニットであり、前記動き情報ユニットは、予測方向が順方向である動きベクトルおよび／または予測方向が逆方向である動きベクトルを備え、前記統合動き情報ユニットセットiの前記K1個の動き情報ユニットに対応する参照フレームインデックスが同一である、第2の決定部と、
非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて前記画像ブロックxの画素値を予測するように構成された予測部であって、前記統合動き情報ユニットセットiは識別子によって示される、予測部と
を備える、画像予測装置。
前記K1個の画素サンプルは、前記画像ブロックxの左上の画素サンプル、右上の画素サンプル、左下の画素サンプル、および中央の画素サンプルa1に少なくとも2つの画素サンプルを備え、
前記画像ブロックxの前記左上の画素サンプルは、前記画像ブロックxの左上の頂点であるか、前記画像ブロックxの左上の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの左下の画素サンプルは、前記画像ブロックxの左下の頂点、または前記画像ブロックxの左下の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの右上の画素サンプルは、前記画像ブロックxの右上の頂点、または前記画像ブロックxの右上の頂点を備える前記画像ブロックx内の画素ブロックであり、前記画像ブロックxの前記中央の画素サンプルa1は、前記画像ブロックxの中央の画素、または前記画像ブロックxの中央の画素を備える画像ブロックx内の画素ブロックである、請求項13に記載の装置。
前記画像ブロックxの前記左上の画素サンプルに対応する候補動き情報ユニットセットは、x1個の画素サンプルの動き情報ユニットを備え、前記x1個の画素サンプルは、前記画像ブロックxの前記左上の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記左上の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x1は正の整数であり、
前記x1個の画素サンプルは、前記画像ブロックxの前記左上の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの左端に空間的に隣接する画素サンプル、前記画像ブロックxの左上に空間的に隣接する画素サンプル、または前記画像ブロックxの上端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項14に記載の装置。
前記画像ブロックxの前記右上の画素サンプルに対応する候補動き情報ユニットセットは、x2個の画素サンプルの動き情報ユニットを備え、前記x2個の画素サンプルは、前記画像ブロックxの前記右上の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記右上の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x2は正の整数であり、
前記x2個の画素サンプルは、前記画像ブロックxの前記右上の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの右端に空間的に隣接する画素サンプル、前記画像ブロックxの右上に空間的に隣接する画素サンプル、または前記画像ブロックxの上端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項14または15のいずれかに記載の装置。
前記画像ブロックxの前記左下の画素サンプルに対応する候補動き情報ユニットセットは、x3個の画素サンプルの動き情報ユニットを備え、前記x3個の画素サンプルは、前記画像ブロックxの前記左下の画素サンプルに空間的に隣接する少なくとも1つの画素サンプルおよび／または前記画像ブロックxの前記左下の画素サンプルに時間的に隣接する少なくとも1つの画素サンプルを備え、x3は正の整数であり、
前記x3個の画素サンプルは、前記画像ブロックxの前記左下の画素サンプルと同じ位置を有する画素サンプル、前記画像ブロックxの左端に空間的に隣接する画素サンプル、前記画像ブロックxの左下に空間的に隣接する画素サンプル、または前記画像ブロックxの下端に空間的に隣接する画素サンプルの内の少なくとも1つを、前記画像ブロックxが属する映像フレームに時間的に隣接している映像フレーム内に備える、請求項14または15に記載の装置。
前記画像ブロックxの前記中央の画素サンプルa1に対応する候補動き情報ユニットセットはx5個の画素サンプルの動き情報ユニットを備え、前記x5個の画素サンプル内の1つの画素サンプルが画素サンプルa2であり、
前記画像ブロックxが属する映像フレーム内の前記中央の画素サンプルa1の位置は、前記画像ブロックxが属する映像フレームに隣接する映像フレーム内の前記画素サンプルa2の位置と同じであり、x5は正の整数である、請求項14または15に記載の装置。
前記統合動き情報ユニットセットiにおける予測方向が第1の予測方向である動きベクトルが異なる参照フレームインデックスに対応する場合、前記予測部は、前記統合動き情報ユニットセットiにおける予測方向が前記第1の予測方向である前記動きベクトルを同一の参照フレームに縮小するように、前記統合動き情報ユニットセットiに対してスケーリング処理を行い、前記非並進動作モデルおよび縮小された統合動き情報ユニットセットiを用いて前記画像ブロックxの前記画素値を予測するように構成され、前記第1の予測方向が順方向または逆方向であり、または、
前記予測部は、前記統合動き情報ユニットセットiにおいて予測方向が順方向である動きベクトルが異なる参照フレームインデックスに対応し、前記統合動き情報ユニットセットiにおいて予測方向が逆方向である動きベクトルが異なる参照フレームインデックスに対応した場合、前記統合動き情報ユニットセットiにおいて予測方向が順方向である前記動きベクトルが同一の参照フレームに縮小され、前記統合動き情報ユニットセットiにおいて予測方向が逆方向である前記動きベクトルが同一の参照フレームに縮小するように、前記統合動き情報ユニットセットiに対してスケーリング処理を行い、前記非並進動作モデルおよび縮小された統合動き情報ユニットセットiを用いて前記画像ブロックxの前記画素値を予測するように構成されている、請求項14または15に記載の装置。
前記予測部は、前記非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて計算により前記画像ブロックxの各画素の動きベクトルを求めて、前記画像ブロックx内の各画素の求められた前記動きベクトルを用いて前記画像ブロックx内の各画素の予測画素値を決定するように構成され、または、
前記予測部は、前記非並進動作モデルおよび前記統合動き情報ユニットセットiを用いて計算により前記画像ブロックxの各画素ブロックの動きベクトルを求めて、前記画像ブロックx内の各画素ブロックの求められた前記動きベクトルを用いて前記画像ブロックx内の各画素ブロックの各画素の予測画素値を決定するように構成された、請求項14または15に記載の装置。
前記第1の決定部は、画像ブロックy内のK2個の画素サンプルを決定して、前記K2個の画素サンプル内の各画素サンプルに対応する候補動き情報ユニットセットを決定するようにさらに構成され、K2は1より大きい整数であり、前記画像ブロックyは前記画像ブロックxに空間的に隣接しており、前記K2個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセットは、少なくとも1つの候補動き情報ユニットを備え、
前記第2の決定部は、K2個の動き情報ユニットを備える統合動き情報ユニットセットjを決定するようにさらに構成され、K2個の画素サンプルの画素サンプルz1に対応する候補動き情報ユニットセットは動き情報ユニットa2を含み、前記動き情報ユニットa2は、画素サンプルz2の動き情報ユニットに基づいて求められ、前記画素サンプルz2が前記画像ブロックx内の画素サンプルであり、前記画素サンプルz2と前記画素サンプルz1との間の距離が閾値未満であるか、または前記画素サンプルz2は、前記画像ブロックx内の画素サンプルであり、前記画素サンプルz2と前記画素サンプルz1との間の距離は最短であり、前記統合動き情報ユニットセットj内の前記K2個の動き情報ユニットは、前記K2個の画素サンプル内の各画素サンプルに対応する前記候補動き情報ユニットセット内の制約対応動き情報ユニットの少なくとも一部からそれぞれ選択され、
前記予測部は、前記非並進動作モデルおよび前記統合動き情報ユニットセットjを用いて前記画像ブロックyの画素値を予測するようにさらに構成されている、請求項14または15に記載の装置。
前記非並進動作モデルは、アフィン動きモデル、放物線動作モデル、回転動作モデル、遠近法動作モデル、せん断運動モデル、スケーリング動作モデル、または双線形動作モデルの内のいずれか1つである、請求項14または15に記載の装置。
前記画像予測装置は、映像符号化装置に適用されるか、または前記画像予測装置は、映像復号装置に適用される、請求項14または15に記載の装置。
前記画像予測装置が前記映像符号化装置に適用される場合、前記予測部は、前記統合動き情報ユニットセットiの識別子を映像ビットストリームに書き込むようにさらに構成されている、請求項23に記載の装置。