本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加の可能性を予め排除しないと理解しなければならない。
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に対する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が合わせて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合及び/または分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複説明は省略する。
本明細書で、ピクチャ(picture)は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス(slice)は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは複数のスライスで構成されてもよく、必要に応じて、ピクチャ及びスライスは互いに混用して用いられてもよい。
ピクセル(pixel)またはペル(pel)は、一つのピクチャ(または、映像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示し、輝度(ルマ)成分のピクセル/ピクセルの値のみを示してもよく、彩度(クロマ)成分のピクセル/ピクセルの値のみを示してもよい。
ユニット(unit)は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び該当領域に対する情報のうち少なくとも一つを含むことができる。ユニットは、場合によってブロック(block)または領域(area)などの用語と混用して用いられてもよい。一般的な場合、MxNのブロックは、M個の列とN個の行からなるサンプルまたは変換係数(transform coefficient)の集合を示すことができる。
図1は、本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図面である。
図1を参照すると、ビデオエンコーディング装置100は、ピクチャ分割部105、予測部110、レジデュアル処理部120、エントロピーエンコーディング部130、加算部140、フィルタ部150、及びメモリ160を含むことができる。レジデュアル処理部120は、減算部121、変換部122、量子化部123、再整列部124、逆量子化部125、及び逆変換部126を含むことができる。
ピクチャ分割部105は、入力されたピクチャを少なくとも一つの処理ユニット(processing unit)に分割できる。
一例として、処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット(largest coding unit、LCU)からQTBT(Quad−tree binary−tree)構造によって再帰的に(recursively)分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造及び/またはバイナリツリー構造に基づいて下位(deeper)デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に(recursively)もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。
他の例として、処理ユニットは、コーディングユニット(coding unit、CU)、予測ユニット(prediction unit、PU)または変換ユニット(transform unit、TU)を含むこともできる。コーディングユニットは、最大コーディングユニット(largest coding unit、LCU)からクアッドツリー構造によって下位(deeper)デプスのコーディングユニットに分割(split)されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に(recursively)もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット(smallest coding unit、SCU)が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割の基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング(partitioning)されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック(subblock)に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニット及び/または変換係数からレジデュアル信号(residual signal)を誘導するユニットである。以下、コーディングユニットはコーディングブロック(coding block、CB)、予測ユニットは予測ブロック(prediction block、PB)、変換ユニットは変換ブロック(transform block、TB)とも呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ(array)を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数またはレジデュアルサンプルのアレイを含むことができる。
予測部110は、処理対象ブロック(以下、現在ブロックという)に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部110で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部110は、現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。一例として、予測部110は、CU単位にイントラ予測またはインター予測が適用されるかを決定することができる。
イントラ予測の場合、予測部110は、現在ブロックが属するピクチャ(以下、現在ピクチャ)内の現在ブロック外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部110は、(i)現在ブロックの隣接(neighboring)参照サンプルの平均(average)または補間(interpolation)に基づいて予測サンプルを誘導することができ、(ii)現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定(予測)方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。(i)の場合は非方向性モードまたは非角度モードと呼ばれ、(ii)の場合は方向性(directional)モードまたは角度(angular)モードと呼ばれる。イントラ予測における予測モードは、例えば、33個の方向性予測モードと少なくとも2個以上の非方向性モードを有することができる。非方向性モードは、DC予測モード及びプラナーモード(Planarモード)を含むことができる。予測部110は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。
インター予測の場合、予測部110は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部110は、スキップ(skip)モード、マージ(merge)モード、及びMVP(motion vector prediction)モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部110は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差(レジデュアル)が送信されない。MVPモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子(Motion Vector Predictor)として利用して現在ブロックの動きベクトル予測子として利用して現在ブロックの動きベクトルを誘導することができる。
インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック(spatial neighboring block)と参照ピクチャ(reference picture)に存在する時間的隣接ブロック(temporal neighboring block)を含むことができる。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ(collocated picture、colPic)とも呼ばれる。動き情報(motion information)は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、(エントロピー)エンコーディングされてビットストリーム形態で出力されることができる。
スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト(reference picture list)上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト(Picture Order Count)に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャとの間のPOC(Picture order count)差に基づいて整列されることができる。POCは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。
減算部121は、原本サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、前述したようにレジデュアルサンプルを生成しない。
変換部122は、変換ブロック単位にレジデュアルサンプルを変換して変換係数(transform coefficient)を生成する。変換部122は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードによって変換を実行することができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが4×4のレジデュアルアレイ(array)である場合、レジデュアルサンプルは、DST(Discrete Sine Transform)変換カーネルを利用して変換され、その他の場合、レジデュアルサンプルは、DCT(Discrete Cosine Transform)変換カーネルを利用して変換できる。
量子化部123は、変換係数を量子化し、量子化された変換係数を生成することができる。
再整列部124は、量子化された変換係数を再整列する。再整列部124は、係数スキャニング(scanning)方法を介してブロック形態の量子化された変換係数を1次元ベクトル形態で再整列できる。ここで、再整列部124は、別途の構成で説明したが、量子化部123の一部であってもよい。
エントロピーエンコーディング部130は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングは、例えば、指数ゴロム(exponential Golomb)、CAVLC(context−adaptive variable length coding)、CABAC(context−adaptive binary arithmetic coding)などのようなエンコーディング方法を含むことができる。エントロピーエンコーディング部130は、量子化された変換係数外にビデオ復元に必要な情報(例えば、シンタックス要素(syntax element)の値等)を共にまたは別途にエントロピーエンコーディングまたは既設定された方法によってエンコーディングすることもできる。エンコーディングされた情報は、ビットストリーム形態でNAL(network abstraction layer)ユニット単位に送信または格納されることができる。
逆量子化部125は、量子化部123で量子化された値(量子化された変換係数)を逆量子化し、逆変換部126は、逆量子化部125で逆量子化された値を逆変換してレジデュアルサンプルを生成する。
加算部140は、レジデュアルサンプルと予測サンプルを加算してピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックが生成されることができる。ここで、加算部140は、別途の構成で説明したが、予測部110の一部であってもよい。一方、加算部140は、復元部(reconstruction module)または復元ブロック生成部とも呼ばれる。
復元されたピクチャ(reconstructed picture)に対してフィルタ部150は、デブロッキングフィルタ及び/またはサンプル適応的オフセット(sample adaptive offset)を適用することができる。デブロッキングフィルタリング及び/またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪曲が補正されることができる。サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部150は、ALF(Adaptive Loop Filter)を復元されたピクチャに適用することもできる。ALFは、デブロッキングフィルタ及び/またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。
メモリ160は、復元ピクチャ(デコーディングされたピクチャ)またはエンコーディング/デコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部150によりフィルタリング手順が完了した復元ピクチャである。前記格納された復元ピクチャは、他のピクチャの(インター)予測のための参照ピクチャとして活用されることができる。例えば、メモリ160は、インター予測に使われる(参照)ピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット(reference picture set)または参照ピクチャリスト(reference picture list)により指定されることができる。
図2は、本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図面である。
図2を参照すると、ビデオデコーディング装置200は、エントロピーデコーディング部210、レジデュアル処理部220、予測部230、加算部240、フィルタ部250、及びメモリ260を含むことができる。ここで、レジデュアル処理部220は、再整列部221、逆量子化部222、逆変換部223を含むことができる。
ビデオ情報を含むビットストリームが入力されると、ビデオデコーディング装置200は、ビデオエンコーディング装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。
例えば、ビデオデコーディング装置200は、ビデオエンコーディング装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットからクアッドツリー構造及び/またはバイナリツリー構造によって分割されることができる。
予測ユニット及び変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットである。
エントロピーデコーディング部210は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部210は、指数ゴロム符号化、CAVLCまたはCABACなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。
より詳細に、CABACエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するBINを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル/BINの情報を利用してコンテキスト(context)モデルを決定し、決定されたコンテキストモデルによってBINの発生確率を予測してBINの算術デコーディング(arithmetic decoding)を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、CABACエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル/BINのコンテキストモデルのためにデコーディングされたシンボル/BINの情報を利用してコンテキストモデルをアップデートすることができる。
エントロピーデコーディング部210でデコーディングされた情報のうち予測に対する情報は、予測部230に提供され、エントロピーデコーディング部210でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部221に入力されることができる。
再整列部221は、量子化されている変換係数を2次元のブロック形態で再整列できる。再整列部221は、エンコーディング装置で実行された係数スキャニングに対応して再整列を実行することができる。ここで、再整列部221は、別途の構成で説明したが、逆量子化部222の一部であってもよい。
逆量子化部222は、量子化されている変換係数を(逆)量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。
逆変換部223は、変換係数を逆変換してレジデュアルサンプルを誘導することができる。
予測部230は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部230で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部230は、前記予測に対する情報に基づいて、イントラ予測を適用するか、またはインター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測のうちいずれかを適用するかを決定する単位と予測サンプルを生成する単位は異なる。併せて、インター予測とイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測とイントラ予測のうちいずれかを適用するかは、CU単位に決定できる。また、例えば、インター予測において、PU単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、PU単位に予測モードを決定し、TU単位に予測サンプルを生成することもできる。
イントラ予測の場合、予測部230は、現在ピクチャ内の隣接参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部230は、現在ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用する予測モードが決定されることもできる。
インター予測の場合、予測部230は、参照ピクチャ上で動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部230は、スキップ(skip)モード、マージ(merge)モード、及びMVPモードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置で提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに対する情報は、前記予測に対する情報に基づいて取得または誘導されることができる。
スキップモードとマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
予測部230は、可用な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。
スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差(レジデュアル)が送信されない。
MVPモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として利用して現在ブロックの動きベクトルが誘導されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び/または時間的隣接ブロックであるColブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードではマージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使われる。前記予測に対する情報は、前記マージ候補リストに含まれている候補ブロックの中から選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部230は、前記マージインデックスを利用し、現在ブロックの動きベクトルを導出することができる。
他の例として、MVP(Motion Vector Prediction)モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び/または時間的隣接ブロックであるColブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的隣接ブロックの動きベクトル及び/または時間的隣接ブロックであるColブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。前記予測に対する情報は、前記リストに含まれている動きベクトル候補の中から選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部230は、前記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現在ブロックの予測動きベクトルを選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分(MVD)を求めることができ、これをエンコーディングしてビットストリーム形態で出力できる。即ち、MVDは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部230は、前記予測に対する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に対する情報から取得または誘導できる。
加算部240は、レジデュアルサンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元することができる。加算部240は、レジデュアルサンプルと予測サンプルをブロック単位に加算して現在ピクチャを復元することもできる。スキップモードが適用された場合にはレジデュアルが送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部240は、別途の構成で説明したが、予測部230の一部であってもよい。一方、加算部240は、復元部(reconstruction module)または復元ブロック生成部とも呼ばれる。
フィルタ部250は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び/またはALFなどを適用することができる。このとき、サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ALFは、デブロッキングフィルタリング及び/またはサンプル適応的オフセット以後に適用されることもできる。
メモリ260は、復元ピクチャ(デコーディングされたピクチャ)またはデコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部250によりフィルタリング手順が完了した復元ピクチャである。例えば、メモリ260は、インター予測に使われるピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ260は、復元されたピクチャを出力順序によって出力することもできる。
前述した内容のように、入力されたピクチャに対するコーディングが行われる場合、一つの処理ユニットに基づいて前記コーディングが行われ得る。前記処理ユニットは、コーディングユニット(coding unit、CU)で示し得る。一方、前記ピクチャ内の類似する情報を含む領域単位でコーティングが行われるほど変換効率が向上することができ、これを介して、全般的なコーディング効率が向上することができる。また、前記ピクチャ内の類似する情報を含む領域単位でコーディングが行われるほど予測の正確度が向上することができ、これを介して全般的なコーディング効率が向上することができる。しかしながら、クワッドツリー(quad tree、QT)構造のみが適用され、前記ピクチャが正方形のCUのみに分割される場合、前記CUが正確に類似する情報のみを含むように分割することは限界があり得る。例えば、前記ピクチャ内の特定の客体を示す情報が対角線の方向に広く位置し得、この場合、一つのCUで前記特定の客体を示す情報を含むと、前記特定の客体を示す情報以外の情報を多く含むようになることができ、複数の正方形のCUに前記特定の客体を示す情報を含むと、前記複数のCUそれぞれに対してコーディングが行われるべきであるので、コーディング効率が低下し得る。このような場合、前記ピクチャを前記特定の客体を示す情報を含む非正方形のCUに分割されるようにすることがよりコーディング効率を向上させることができる。よって、前記クワッドツリー構造と共に他の分割構造を適用して入力されたピクチャを正方形のCU及び非正方形のCUに分割する方法が提案され得る。これを介して、前記ピクチャは前記ピクチャ内の情報によって様々な形態のCUに分割され得、より効率的にコーティングが行われ得る。例えば、前記ピクチャは、QTGP(Quad Tree geometry partition)構造を介して分割され得る。
図3は、前記QTGP構造を介して分割されたCU、及び前記QTGP構造のシンタックスを例示的に示す。
前記QTGP構造は、CU(又はCTU)がQT構造を介して分割され、GP(geometry partition)構造を介して分割される構造を示し得る。前記GP構造は、GT(geometry tree)構造と呼ばれることもある。即ち、前記QTGP構造は、前記QT構造と前記GP構造とが結合した形態で構成された分割構造を示し得、ピクチャがCTU単位でコーティングされる場合、CTUは前記QT構造を介して分割され得、前記QT構造のリーフノード(leaf node)は、更にGP構造を介して分割され得る。ここで、前記GP構造は、前記CUが様々な形態の非正方形のサブCUに分割される構造を示し得る。即ち、Nx2N又は2NxNサイズの非正方形のサブCU以外に様々な形態の非正方形のサブCUが導出され得る。図3の(a)を参照すると、CUはQT構造を介して下位デプス(depth)の正方形のCUに分割され得、更に前記正方形のCUのうちの特定のCUは、前記GP構造を介して下位デプスの非正方形のCUに分割され得る。
図3の(b)は、前記QTGP構造のシンタックスが送信される一例を示し得る。図3の(b)に示している実線はQT構造を示し得、点線はGP構造を示し得る。また、上から下に行くほど、上位デプス(depth)から下位デプスのCUに対するシンタックスを示し得る。また、左から右への方向に左上側、右上側、左下側、右下側のCUに対するシンタックスを示し得る。具体的に、最も上の数字はnデプスのCUに対するシンタックスを示し得、上から二番目の位置の数字はn+1デプスのCU、上から三番目の位置の数字はn+2デプスのCU、上から四番目の位置の数字はn+3デプスのCUに対するシンタックスを示し得る。さらに、太字で表示された数字はQT構造に対するシンタックスの値を示し得、太字で表示されていない数字はGP構造に対するシンタックスの値を示し得る。
図3の(b)を参照すると、CUが前記QT構造を介して分割されるか否かを示すQT分割フラグが送信され得る。即ち、前記2Nx2NサイズのCUが4個のNxNサイズのサブCUに分割されるか否かを示すフラグが送信され得る。QT_split_flagは、前記QT分割フラグに対するシンタックス要素を示し得る。例えば、前記CUに対する前記QT分割フラグの値が1である場合、前記CUは4個のサブCUに分割され得、前記CUに対する前記QT分割フラグの値が0である場合、前記CUは分割されないことがある。また、入力映像に対する前記QT構造を調節するために、前記QT構造での最大のCUサイズ、最小のCUサイズ、最大のデプス等に対する情報が送信され得る。前述したQT構造に対する情報は、スライスタイプのそれぞれに対して送信され得、又は映像成分(輝度成分、彩度成分等)それぞれに対して送信され得る。
図3の(b)を参照すると、GP構造に対する情報は、QT構造でこれ以上分割されない末端ノードに対して送信され得る。即ち、前記QT構造で、末端ノードに該当するCUに対する前記GP構造に対する情報が送信され得る。ここで、前記GP構造に対する情報を含む情報は、GP分割情報と呼ばれる。例えば、前記CUの前記GP構造を介した分割可否、即ち、前記CUに対する前記GP構造の適用可否を示すGP分割フラグが送信され得る。GP_split_flag(又はGT_split_flag)は、前記GP分割フラグに対するシンタックス要素を示し得る。具体的に、前記GP分割フラグに対する値が1である場合、前記CUは2個のサブCUに分割され得、前記GP分割フラグに対する値が0である場合、前記CUは分割されないことがある。
一方、前記CUに対するGP分割フラグが前記CUに前記GP構造が適用されることを示す場合、前記GP構造を介した分割タイプを導出するために、分割角度(angle)及び/又は前記CUの中点(center)からの距離(distance)に対する情報が送信され得る。即ち、前記CUに対する分割境界線に対する情報が送信され得、前記CUは前記情報に基づいて導出された分割境界線を基準に分割され得る。
図4は、対象CUに対する前記QTGP構造のシンタックスが送信される一例を示す。
図4を参照すると、対象CUに対するQT_split_flagが送信され得る。前記QT_split_flagは、前述したように、前記対象CUが前記QT構造を介して分割されるか否かを示し得る。即ち、前記QT_split_flagは、前記対象CUが前記対象CUの半分の高さ(height)及び半分の幅(width)のサイズを有するサブCUに分割されるか否かを示し得る。
具体的に、例えば、前記対象CUの前記QT_split_flagの値が1である場合、即ち、前記QT_split_flagが、前記対象CUが前記対象CUの半分の高さ及び半分の幅のサイズを有するサブCUに分割されることを示す場合、前記対象CUは前記サブCUに分割され得る。この場合、前記サブCUに対する前記QT_split_flagが送信され得る。即ち、前記対象CUは、コーティング再帰的に(recursively)より下位デプスのCUに分割され、これ以上分割されない末端ノードのCUが導出され得る。
一方、前記末端ノードの対象CUに対するQT_split_flagの値が0である場合、即ち、前記QT_split_flagが、前記対象CUが前記対象CUの半分の高さ及び半分の幅のサイズを有するサブCUに分割されないことを示す場合、前記対象CUに対するGP_split_flagが送信され得る。前記GP_split_flagは、前述したように、前記対象CUが前記GP構造を介して分割されるか否かを示し得る。即ち、前記GP_split_flagは、例えば、2Nx2Nサイズの前記対象CUが様々な形態の非正方形のサブCUに分割されるか否かを示し得る。前記対象CUに前記GP構造が適用される場合、前記GP_split_flagとGP_mode値に応じて、前記対象CUから分割されたCUの模様が決定され得る。
具体的に、前記GP_split_flagの値が1である場合、前記対象CUは前記GP_modeが示す分割タイプに分割され得、前記GP_split_flagの値が0である場合、前記対象CUの分割タイプは2Nx2Nのタイプで導出され得る。言い換えると、前記GP_split_flagの値が0である場合、2Nx2Nサイズである前記対象CUは、分割されないことがある。前記GP_split_flagが、前記対象CUが前記GP構造を介して分割されることを示す場合、前記対象CUに対するGP_modeが送信され得る。前記GP_modeは、前記対象CUがどの方向に分割されるか、即ち、前記対象CUの分割タイプを示すインデックスであり得る。前記分割タイプを示すインデックスは、GP分割モードインデックスと呼ばれる。この場合、前記インデックスに基づいて前記CUの分割タイプが導出され得、前記分割タイプに基づいて、前記CUは非正方形のサブCUに分割され得る。例えば、(N/4)x2Nタイプ、(N/2)x2Nタイプ、Nx2Nタイプ、2NxNタイプ、及び2Nx(N/2)、2Nx(N/4)タイプが前記特定の分割タイプに既設定され得、前記インデックスは、前記タイプのうち一つを示し得る。
また、前記QTGP構造のシンタックスは、次の表のように示し得る。
ここで、QT_split_flagは、前述したQT分割フラグのシンタックス要素を示し得、GP_split_flagは、前述したGP分割フラグのシンタックス要素を示し得、GP_modeは、前述したGP分割モードインデックスのシンタックス要素を示し得る。
一方、前記CUに対するGP分割フラグが前記CUに前記GP構造が適用されることを示す場合、前述した内容のように、前記GP分割モードインデックスが受信される代わりに、前記GP構造を介した分割タイプを導出するために、分割角度(angle)及び/又は前記CUの中点(center)からの距離(distance)に対する情報が送信され得る。即ち、前記CUに対する分割境界線に対する情報が送信され得、前記CUは、前記情報に基づいて導出された分割境界線を基準として分割され得る。
図5は、前記分割角度及び/又は前記CUの中点からの距離に対する情報に基づいて導出される分割境界線を例示的に示す。図5を参照すると、前記分割角度に対する情報に基づいて前記CUが分割される方向(又は境界線)の角度が導出され得、前記中点からの距離に対する情報に基づいて前記CUが分割される境界線の位置が導出され得る。前記分割角度に対する情報及び前記中点からの距離に対する情報に基づいて、前記分割境界線が導出され得、前記導出された分割境界線に基づいて前記CUが分割され得る。
例えば、前記分割角度に対する情報に基づいて導出された分割角度の値が0度であり、前記中点からの距離に対する情報から導出された前記中点からの距離が0である場合、前記分割境界線は前記CUの中点を垂直に通り得、2Nx2Nサイズの前記CUは、前記BT構造でNx2NサイズのサブCUに分割されるタイプと同じように分割され得る。また、前記分割角度に対する情報に基づいて導出された分割角度の値が90度であり、前記中点からの距離に対する情報から導出された前記中点からの距離が0である場合、前記分割境界線は前記CUの中点を水平に通り得、2Nx2Nサイズの前記CUは、前記BT構造で2NxNサイズのサブCUに分割されるタイプと同じように分割され得る。また、前記CUに対する前記分割角度は、分割程度に応じて、11.25度、25度、45度又は90度等が選択的に使用され得、360度の角度範囲で均等に分割されるか、特定の角度を中心に非均等に分割されることもある。
また、前記中点からの距離の単位は、分割程度に応じて、1サンプル、2サンプル、又は4サンプル等が選択的に使用され得、又は前記CUのサイズに応じて適応的に導出される距離単位が使用されることもある。例えば、前記CUのサイズが4x4サイズである場合、前記CUに対する前記中点からの距離の単位は1サンプルとして導出され得、前記CUのサイズが8x8サイズである場合、前記CUに対する前記中点からの距離の単位は2サンプルとして導出され得る。これを介して、前記CUに対する前記中点からの距離が導出され得るが、例えば、ビットストリームを介して獲得された前記中点からの距離を示す分割情報の値がxである場合、前記距離の単位が1サンプルであれば、前記中点からの距離はxサンプルとして導出され得、前記距離の単位が2サンプルであれば、前記中点からの距離は2xサンプルとして導出され得る。また、前記CUのサイズが16x16サイズである場合、前記中点からの距離の単位は4サンプルとして導出され得る。一方、前記CUの中点から距離が遠いほど前記単位が大きく適用されることもある。具体的に、例えば、前記CUのサイズが32x32サイズである場合、前記CUは、前記中点からの距離の値が4以下である場合には1サンプル単位の距離が使用され得、前記中点からの距離の値が4超過8以下である場合には、2サンプル単位の距離が使用され、前記中点からの距離の値が8を超える場合には、4サンプル単位の距離が使用され得る。
前記CUに対する分割情報を示すために、前記分割角度を示す情報及び前記中点からの距離を示す情報それぞれに対するシンタックス要素がデコーディング装置に送信され得、又は前記分割角度及び前記中点からの距離を示す情報に対する一つのインデックスが送信されることもある。
一方、前記GP構造で分割された対象ブロックにインター予測が適用される場合、前記対象ブロックの動き情報は、前記対象ブロックの周辺ブロックの動き情報に基づいて導出され得る。具体的に、前記対象ブロックの周辺ブロックの動き情報を示す候補を含む動き情報の候補リストが構成され得、前記動き情報の候補リストの候補のうち一つを示すインデックスが受信され得、前記インデックスの指す候補の動き情報に基づいて、前記対象ブロックの動き情報が導出され得る。前記動き情報の候補リストは、前記対象ブロックの予測モードがマージモード又はMVPモードであるかに応じて、マージ候補リスト又は動きベクトル予測子候補リストを示し得る。
例えば、前記対象ブロックにマージモードが適用される場合、前記周辺ブロックの動き情報を示す候補を含むマージ候補リストが構成され得、マージインデックスがマージ候補リスト上で指示する候補の動き情報は、前記対象ブロックの動き情報として使用され得る。前記マージインデックスは、エンコーディング装置からシグナリングされ得るが、前記マージインデックスは、前記マージ候補リストに含まれた候補の中から選択された最適の動き情報を有する候補を指示し得る。前記候補の動き情報は、動きベクトルと参照ピクチャインデックスを含み得る。前記周辺ブロックは、前記対象ブロックの空間的周辺ブロック及び時間的周辺ブロックを含み得、前記マージ候補リストは、前記空間的周辺ブロックの動き情報を示す空間的候補と、前記時間的周辺ブロックの動き情報を示す時間的候補とを含み得る。
また、別の例として、前記対象ブロックにMVP(Motion Vector Prediction)モードの場合、復元された空間的周辺ブロックの動きベクトル及び/又は時間的周辺ブロックであるColブロックに対応する動きベクトルを用いて、動きベクトル予測子候補リストが生成され得る。即ち、復元された空間的周辺ブロックの動きベクトル及び/又は時間的周辺ブロックであるColブロックに対応する動きベクトルを候補として含む動きベクトル予測子候補リストが生成され得る。空間的周辺ブロックの動きベクトルを示す候補は空間的候補、前記時間的周辺ブロックの動きベクトルを示す候補は時間的候補と示し得る。前記動きベクトル予測子候補リストに含まれた候補の中から選択された候補を指示する動きベクトル予測子フラグが送信され得、前記動きベクトル候補リストの候補のうち、前記動きベクトル予測子フラグの示す候補が、前記対象ブロックの動きベクトル予測子(motion vector predictor、MVP)として選択され得る。この場合、前記対象ブロックの動きベクトルと前記MVPとの間の動きベクトル差分(motion vector difference、MVD)がビットストリームを介して送信され得、前記MVDと前記MVPとの加算を介して、前記対象ブロックの前記動きベクトルが導出され得る。
前述した内容のように、前記対象ブロックの周辺ブロックの動き情報に基づいて前記対象ブロックのマージ候補リスト又はMVP候補リストが生成される場合、前記マージ候補リスト又はMVP候補リストに含まれた空間的候補は、次のような空間的周辺ブロックに基づいて導出され得る。
図6は、前記対象ブロックの空間的周辺ブロックを例示的に示す。既存のビデオコーティングシステムで、前記対象ブロック周辺の所定位置の周辺ブロックに基づいて、前記マージ候補リスト又はMVP候補リストが構成され得る。例えば、図6に示すように、前記対象ブロックの左側に位置する二つのブロックA0(610)と、A1(620)、並びに現在ブロックの上側の三つのブロックB0(630)、B1(640)、B2(650)が空間的候補として選択され得る。ここで、A0(610)は、左下側周辺ブロック(lower left neighboring block)と呼ばれ、A1(620)は、左側周辺ブロック(left neighboring block)と呼ばれる。また、B0(630)は右上側周辺ブロック(upper right neighboring block)と、B1(640)は上側周辺ブロック(upper neighboring block)と、B2(650)は左上側周辺ブロック(upper left neighboring block)と呼ばれる。
具体的に、前記対象ブロックにマージモードが適用される場合、前記A0(610)、前記A1(620)、前記B0(630)、前記B1(640)及び/又は前記B2(650)の動き情報を空間的候補として含む前記マージ候補リストが構成され得る、また、前記対象ブロックにAMVPモードが適用される場合、前記A0(610)及び前記A1(620)のうち一つの動きベクトルが前記MVP候補リストに空間的候補として含まれ得、前記B0(630)、前記B1(640)、及び前記B2(650)のうち一つの動きベクトルが前記MVP候補リストに空間的候補として含まれ得る。図6に示している方向の順で周辺ブロックの動きベクトルが前記MVP候補リストに使用されるか判断され得るので、前記A0(610)、前記A1(620)の順で判断され得、前記B0(630)、前記B1(640)、前記B2(650)の順で判断され得る。
一方、対象ブロックが前述したGP構造を介して分割されたブロックである場合、ブロックの形態が様々に導出され得るので、固定された位置の周辺ブロックに基づいて前記対象ブロックの動き情報を導出する方法は効果的ではないことがある。具体的に、前記対象ブロックに隣接したブロックの動き情報が前記対象ブロックの動き情報と類似する可能性が高く、前記GP構造を介して分割される前記対象ブロックの形態は、様々な形態で導出され得るので、前記対象ブロックの形態に応じて、最も隣接した周辺ブロックの位置は異なり得る。従って、前記GP構造を介して分割された前記対象ブロックの形態に基づいて、前記対象ブロックの動き情報の候補として使用される周辺ブロックの位置が変更されることが、前記対象ブロックの動き情報がより正確に導出されるのに効果的なことがある。
よって、本発明では、前記GP構造を介して分割された前記対象ブロックの形態による空間的動きベクトルの予測方法について提案する。即ち、本発明では、前記GP構造を介して分割された前記対象ブロックの形態による空間的周辺ブロックの位置を提案する。
図7A乃至図7Cは、前記GP構造を介して分割されたブロックのタイプ(type)と、各タイプでの前記ブロックの動きベクトル予測に使用される周辺ブロックの位置を例示的に示す。図7A乃至図7Cを参照すると、対象ブロックは、前記GP構造を介して、第1のサブブロック及び第2のサブブロックに分割され得る。ここで、前記第1のサブブロックは、前記対象ブロックから分割されたブロックのうちの左側に位置したブロックを示し得、前記第2のサブブロックは、前記対象ブロックから分割されたブロックのうちの右側に位置したブロックを示し得る。また、前記GP構造のタイプ(type)は、6個の第1のタイプ乃至第6のタイプに分類され得る。
例えば、図7Aの(a)は、前記第1のタイプを示し得る。図7Aの(a)に示すように、前記第1のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左上段サンプルを含むように分割されるタイプを示し得る。前記対象ブロックが前記第1のタイプに分割された場合、前記第1のサブブロックは、既存の位置の左下段周辺ブロック及び左側周辺ブロックと隣接しないことがある。従って、前記既存の位置の左下段周辺ブロック及び左側周辺ブロックの代わりに、前記第1のサブブロックと隣接した位置の周辺ブロックA0’及び/又はA1’の動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。図7Aの(a)に示すように、前記周辺ブロックA0’及び/又はA1’は、前記対象ブロックの左側の境界の中間程度に位置し得る。例えば、前記第1のサブブロックの左側の高さ(height)がLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックA0’の位置は(−1,LH)として導出され得、前記第1のサブブロックの前記周辺ブロックA1’の位置は(−1,LH−1)として導出され得る。又は、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックA0’の位置は(−1,LH)として導出され得、前記第1のサブブロックの前記周辺ブロックA1’の位置は(−1,LH−1)として導出され得る。
また、前記対象ブロックが前記第1のタイプで分割された場合、前記第1のサブブロックは、既存の位置の右上段周辺ブロック及び上側周辺ブロックと隣接しないことがある。従って、前記既存の位置の右上段周辺ブロック及び上側周辺ブロックの代わりに、前記第1のサブブロックと隣接した位置の周辺ブロックB0’及び/又はB1’の動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。図7Aの(a)に示すように、前記周辺ブロックB0’及び/又はB1’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第1のサブブロックの上側の幅(width)がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。或いは、前記第1のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。
また、前記対象ブロックが前記第1のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左上段周辺ブロックと隣接しないことがある。従って、前記既存の位置の左上段周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックB2’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Aの(a)に示すように、前記周辺ブロックB2’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(−1,−1)として導出され得る。或いは、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(N−UW−1,−1)として導出され得る。
また、前述したタイプ1の前記第1のサブブロック及び前記第2のサブブロックの動き情報の候補と同様に、タイプ2乃至タイプ6の第1のサブブロック及び第2のサブブロックに対する動き情報の候補が導出され得る。
例えば、図7Aの(b)は、前記第2のタイプを示し得る。図7Aの(b)に示すように、前記第2のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右下段サンプルを含むように分割されるタイプを示し得る。前記対象ブロックが前記第2のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左下段周辺ブロック及び左側周辺ブロックと隣接しないことがある。従って、前記既存の位置の左下段周辺ブロック及び左側周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックA0’及び/又はA1’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Aの(b)に示すように、前記周辺ブロックA0’及び/又はA1’は、前記対象ブロックの下側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの下側の幅(width)がDWであり、前記第2のサブブロックの右側の高さ(height)がRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(−DW,RH)として導出され得、前記第2のサブブロックの前記周辺ブロックA1’の位置は(−DW,RH−1)として導出され得る。或いは、前記第2のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(N−1−DW,N)として導出され得、前記第1のサブブロックの前記周辺ブロックA1’の位置は(N−1−DW,N−1)として導出され得る。
また、前記対象ブロックが前記第2のタイプで分割された場合、前記第2のサブブロックは既存の位置の右上段周辺ブロック及び上側周辺ブロックと隣接しないことがある。従って、前記既存の位置の右上段周辺ブロック及び上側周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックB0’及び/又はB1’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Aの(b)に示すように、前記周辺ブロックB0’及び/又はB1’は、前記対象ブロックの右側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB0’の位置は(1,−1)として導出され得、前記第2のサブブロックの前記周辺ブロックB1’の位置は(0,−1)として導出され得る。或いは、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB0’の位置は(N,N−1−RH)として導出され得、前記第2のサブブロックの前記周辺ブロックB1’の位置は(N−1,N−1−RH)として導出され得る。
別の例として、図7Bの(c)は、前記第3のタイプを示し得る。図7Bの(c)に示すように、第3のタイプは前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右上段サンプルを含むように分割されるタイプを示し得る。前記対象ブロックが前記第3のタイプで分割された場合、前記第1のサブブロックは既存の位置の右上段周辺ブロック及び上側周辺ブロックと隣接しないことがある。従って、前記既存の位置の右上段周辺ブロック及び上側周辺ブロックの代わりに、前記第1のサブブロックと隣接した位置の周辺ブロックB0’及び/又はB1’の動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。図7Bの(c)に示すように、前記周辺ブロックB0’及び/又はB1’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。或いは、前記第1のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。
また、前記対象ブロックが前記第3のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左上段周辺ブロックと隣接しないことがある。従って、前記既存の位置の左上段周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックB2’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Bの(c)に示すように、前記周辺ブロックB2’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(−1,−1)として導出され得る。或いは、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(N−1−UW,−1)として導出され得る。
別の例として、図7Bの(d)は、第4のタイプを示し得る。図7Bの(d)に示すように、前記第4のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左下段サンプルを含むように分割されるタイプを示し得る。前記対象ブロックが前記第4のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左下段周辺ブロック及び左側周辺ブロックと隣接しないことがある。従って、前記既存の位置の左下段周辺ブロック及び左側周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックA0’及び/又はA1’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Bの(d)に示すように、前記周辺ブロックA0’及び/又はA1’は、前記対象ブロックの下側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(UW−1−DW,RH)として導出され得、前記第2のサブブロックの前記周辺ブロックA1’の位置は(UW−1−DW,RH−1)として導出され得る。或いは、前記第2のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(N−1−DW,N)として導出され得、前記第2のサブブロックの前記周辺ブロックA1’の位置は(N−1−DW,N−1)として導出され得る。
別の例として、図7Cの(e)は、第5のタイプを示し得る。図7Cの(e)に示すように、前記第5のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの左側の境界及び前記第2のサブブロックの右側の高さが前記対象ブロックの高さと同じように分割されるタイプを示し得る。或いは、前記第5のタイプは、前記対象ブロックの分割境界線が前記対象ブロックの上側の境界及び下側の境界と接するように分割されるタイプを示し得る。
前記対象ブロックが前記第5のタイプで分割された場合、前記第1のサブブロックは、既存の位置の右上段周辺ブロック及び上側周辺ブロックと隣接しないことがある。従って、前記既存の位置の右上段周辺ブロック及び上側周辺ブロックの代わりに、前記第1のサブブロックと隣接した位置の周辺ブロックB0’及び/又はB1’の動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。図7Cの(e)に示すように、前記周辺ブロックB0’及び/又はB1’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。或いは、前記第1のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックB0’の位置は(UW,−1)として導出され得、前記第1のサブブロックの前記周辺ブロックB1’の位置は(UW−1,−1)として導出され得る。
また、前記対象ブロックが前記第5のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左下段周辺ブロック及び左側周辺ブロックと隣接しないことがある。従って、前記既存の位置の左下段周辺ブロック及び左側周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックA0’及び/又はA1’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Cの(e)に示すように、前記周辺ブロックA0’及び/又はA1’は、前記対象ブロックの下側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(UW−1−DW,RH)として導出され得、前記第2のサブブロックの前記周辺ブロックA1’の位置は(UW−1−DW,RH−1)として導出され得る。或いは、前記第2のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックA0’の位置は(N−1−DW,N)として導出され得、前記第2のサブブロックの前記周辺ブロックA1’の位置は(N−1−DW,N−1)として導出され得る。
また、前記対象ブロックが前記第5のタイプで分割された場合、前記第2のサブブロックは、既存の位置の左上段周辺ブロックと隣接しないことがある。従って、前記既存の位置の左上段周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックB2’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Cの(e)に示すように、前記周辺ブロックB2’は、前記対象ブロックの上側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(−1,−1)として導出され得る。或いは、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB2’の位置は(N−1−UW,−1)として導出され得る。
別の例として、図7Cの(f)は、第6のタイプを示し得る。図7Cの(f)に示すように、前記第6のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの上側の境界及び前記第2のサブブロックの下側の幅が前記対象ブロックの幅と同じように分割されるタイプを示し得る。或いは、前記第6のタイプは、前記対象ブロックの分割境界線が前記対象ブロックの左側の境界及び右側の境界と接するように分割されるタイプを示し得る。
前記対象ブロックが前記第6のタイプで分割された場合、前記第1のサブブロックは、既存の位置の左下段周辺ブロック及び左側周辺ブロックと隣接しないことがある。従って、前記既存の位置の左下段周辺ブロック及び左側周辺ブロックの代わりに、前記第1のサブブロックと隣接した位置の周辺ブロックA0’及び/又はA1’の動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。図7Cの(f)に示すように、前記周辺ブロックA0’及び/又はA1’は、前記対象ブロックの左側の境界の中間程度に位置し得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックA0’の位置は(−1,LH)として導出され得、前記第1のサブブロックの前記周辺ブロックA1’の位置は(−1,LH−1)として導出され得る。或いは、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1のサブブロックの前記周辺ブロックA0’の位置は(−1,LH)として導出され得、前記第1のサブブロックの前記周辺ブロックA1’の位置は(−1,LH−1)として導出され得る。
また、前記対象ブロックが前記第6のタイプで分割された場合、前記第2のサブブロックは、既存の位置の右上段周辺ブロック及び上側周辺ブロックと隣接しないことがある。従って、前記既存の位置の右上段周辺ブロック及び上側周辺ブロックの代わりに、前記第2のサブブロックと隣接した位置の周辺ブロックB0’及び/又はB1’の動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。図7Cの(f)に示すように、前記周辺ブロックB0’及び/又はB1’は、前記対象ブロックの左側の境界の中間程度に位置し得る。例えば、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの左側の高さがLHであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB0’の位置は(DW,LH−1−RH)として導出され得、前記第2のサブブロックの前記周辺ブロックB1’の位置は(DW−1,LH−1−RH)として導出され得る。或いは、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2のサブブロックの前記周辺ブロックB0’の位置は(N,N−1−RH)として導出され得、前記第2のサブブロックの前記周辺ブロックB1’の位置は(N−1,N−1−RH)として導出され得る。
一方、前記第1のサブブロック又は前記第2のサブブロックが既存の位置の周辺ブロック隣接し、前記周辺ブロックの動き情報を候補として使用可能であるか、代替可能な前記第1のサブブロック又は前記第2のサブブロックに隣接した周辺ブロックが存在しない場合、既存の位置の周辺ブロックの動き情報が前記第1のサブブロック又は前記第2のサブブロックの動き情報の候補として使用され得る。
一方、前述した内容のように、対象ブロックの周辺ブロックの動き情報に基づいて、前記対象ブロックのマージ候補リスト又はMVP候補リストが生成される場合、前記マージ候補リスト又はMVP候補リストに含まれる時間的動き情報の候補は、次のような時間的周辺ブロックに基づいて導出され得る。
図8は、前記対象ブロックの時間的周辺ブロックを例示的に示す。既存のビデオコーティングシステムで、前記対象ブロックが含まれた対象ピクチャと異なるピクチャである参照ピクチャに含まれた対応ブロックに基づいて、前記マージ候補リスト又はMVP候補リストが構成され得る。ここで、前記対応ブロックは、前記対象ブロックと対応するブロックであって、前記参照ピクチャ内の前記対象ブロックと対応する位置のブロックを示し得る。
例えば、図8の(a)に示すように、前記参照ピクチャ内の前記対象ブロックの右下側周辺ブロックの位置のブロック810が、前記時間的周辺ブロックとして導出され得る。前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの候補として導出され得る。前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記時間的周辺ブロックの位置は(N,N)として導出され得る。ここで、前記時間的周辺ブロックが含まれた前記参照ピクチャは、同じ位置のピクチャ(co−located picture)と示してもよい。
或いは、図8の(b)に示すように、前記参照ピクチャ内の前記対象ブロックの中央右下段周辺ブロックの位置のブロック820が、前記時間的周辺ブロックとして導出され得る。前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの候補として導出され得る。前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記時間的周辺ブロックの位置は(N/2,N/2)として導出され得る。
一方、対象ブロックが前述したGP構造を介して分割されたブロックである場合、ブロックの形態が様々に導出され得るので、固定された位置の時間的周辺ブロックに基づいて前記対象ブロックの動き情報を導出する方法は、効果的ではないことがある。従って、前記GP構造を介して分割された前記対象ブロックの形態に応じて、前記異なる位置のブロックを前記時間的周辺ブロックとして導出する方法が、前記対象ブロックの動き情報がより正確に導出されるのに効果的なことがある。
よって、本発明では、前記GP構造を介して分割された前記対象ブロックの形態による時間的動きベクトルの予測方法について提案する。即ち、本発明では、前記GP構造を介して分割された前記対象ブロックの形態による時間的周辺ブロックの位置を提案する。
図9A乃至図9Bは、前記GP構造を介して分割されたブロックのタイプ(type)と各タイプでの前記ブロックの動きベクトル予測に使用される参照ピクチャ内の時間的周辺ブロックの位置を例示的に示す。ここで、前記時間的周辺ブロックを含む前記参照ピクチャは、同じ位置のピクチャ(co−located picture)と示してもよい。
図9A乃至図9Bを参照すると、対象ブロックは、前記GP構造を介して第1のサブブロック及び第2のサブブロックに分割され得る。ここで、前記第1のサブブロックは、前記対象ブロックから分割されたブロックのうちの左側に位置したブロックを示し得、前記第2のサブブロックは、前記対象ブロックから分割されたブロックのうちの右側に位置したブロックを示し得る。また、前記GP構造のタイプ(type)は、6個の第1のタイプ乃至第6のタイプに分類され得る。
例えば、図9Aの(a)は、前記第1のタイプの前記第1のサブブロック及び前記第2のサブブロックを示し得る。前記第1のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左上段サンプルを含むように分割されるタイプを示し得る。また、前記第1のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切る(across)タイプを示し得る。前記対象ブロックが前記第1のタイプで分割された場合、前記第1のサブブロックは、対象ブロックの右下段周辺ブロックの位置と隣接しないことがある。従って、参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの動き情報を前記対象ブロックの動き情報と類似しないことがある。
前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックの位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(0,LH−1)として導出され得る。前記参照ピクチャは同じ位置のピクチャ(co−located picture)と示してもよい。或いは、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(0,LH−1)として導出され得る。
一方、前記対象ブロックが前記第1のタイプで分割された場合、前記第1のサブブロックと異なり、前記第2のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(UW,RH)として導出され得る。或いは、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(DW,RH)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、前述したタイプ1の前記第1のサブブロック及び前記第2のサブブロックの時間的動き情報の候補と同様に、タイプ2乃至タイプ6の第1のサブブロック及び第2のサブブロックに対する時間的動き情報の候補が導出され得る。
例えば、図9Aの(b)は、前記第2のタイプの前記第1のサブブロック及び前記第2のサブブロックを示し得る。前記第2のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右下段サンプルを含むように分割されるタイプを示し得る。また、前記第2のタイプは、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切るタイプを示し得る。前記対象ブロックが前記第2のタイプで分割された場合、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックの位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,LH−1)として導出され得る。或いは、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,LH−1)として導出され得る。
一方、前記対象ブロックが前記第2のタイプで分割された場合、前記第1のサブブロックと異なり、前記第2のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(0,RH)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、別の例として、図9Aの(c)に示すように、前記対象ブロックは、第3のタイプで分割され得る。前記第3のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右上段サンプルを含むように分割されるタイプを示し得る。また、前記第3のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切るタイプを示し得る。前記対象ブロックが前記第3のタイプで分割された場合、前記第1のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW,LH)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、前記対象ブロックが前記第3のタイプで分割された場合、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第2のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第2のサブブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、図面には示していないが、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(UW−1,RH−1)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N−1,RH−1)として導出され得る。或いは、前記対象ブロックの時間的周辺ブロックが前記第2のサブブロックの時間的周辺ブロックとして使用され得る。例えば、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、図9aの(c)に示すように、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、別の例として、図9Aの(d)に示すように、前記対象ブロックは、第4のタイプで分割され得る。前記第4のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左下段サンプルを含むように分割されるタイプを示し得る。また、前記第4のタイプは、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切るタイプを示し得る。前記対象ブロックが前記第4のタイプで分割された場合、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックの位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が、前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,LH−1)として導出され得る。或いは、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,N−1)として導出され得る。
一方、前記対象ブロックが前記第4のタイプで分割された場合、前記第1のサブブロックと異なり、前記第2のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(UW,RH)として導出され得る。或いは、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(UW,RH)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、別の例として、図9Bの(e)に示すように、前記対象ブロックは、第5のタイプで分割され得る。第5のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの左側の境界及び前記第2のサブブロックの右側の高さが前記対象ブロックの高さと同じように分割されるタイプを示し得る。或いは、前記第5のタイプは、前記対象ブロックの分割境界線が前記対象ブロックの上側の境界及び下側の境界と接するように分割されるタイプを示し得る。
前記対象ブロックが前記第5のタイプで分割された場合、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロック位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,LH−1)として導出され得る。或いは、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(DW−1,N−1)として導出され得る。
一方、前記対象ブロックが前記第5のタイプで分割された場合、前記第1のサブブロックと異なり、前記第2のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(UW,RH)として導出され得る。或いは、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズはNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,RH)として導出され得る。或いは、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
また、別の例として、図9Bの(f)に示すように、前記対象ブロックは、第6のタイプで分割され得る。前記第6のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの上側の境界及び前記第2のサブブロックの下側の幅が前記対象ブロックの幅と同じように分割されるタイプを示し得る。或いは、前記第6のタイプは、前記対象ブロックの分割境界線が前記対象ブロックの左側の境界及び右側の境界と接するように分割されるタイプを示し得る。
前記対象ブロックが前記第6のタイプで分割された場合、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと対応する対応ブロックの代わりに、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックと対応する対応ブロックの動き情報が、前記第1のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記第1のサブブロックの右下段周辺ブロックの位置のブロックが前記第1のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(0,LH−1)として導出され得る。或いは、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第1のサブブロックの時間的周辺ブロックの位置は(0,LH−1)として導出され得る。
一方、前記対象ブロックが前記第6のタイプで分割された場合、前記第1のサブブロックと異なり、前記第2のサブブロックは、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックと隣接するので、前記参照ピクチャ内の前記対象ブロックの前記右下段周辺ブロックの動き情報は、前記第2のサブブロックの予測のための動き情報の候補として使用され得る。即ち、前記参照ピクチャ内の前記対応ブロックの右下段周辺ブロックの位置のブロックが前記第2のサブブロックの時間的周辺ブロックとして導出され得、前記時間的周辺ブロックの動き情報が前記マージ候補リスト又は前記MVP候補リストの時間的動き情報の候補として含まれ得る。例えば、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(0,RH)として導出され得る。或いは、前記対象ブロックのサイズはNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記参照ピクチャ内の前記第2のサブブロックの時間的周辺ブロックの位置は(N,N)として導出され得る。
一方、前述した内容のように、前記対象ブロックが前記GP構造を介して分割される場合、前記対象ブロックの第1のサブブロックと前記第2のサブブロックとの間の不連続が発生し得る。即ち、前記第1のサブブロックと前記第2のサブブロックの予測がそれぞれ別に行われ、よって、前記第1のサブブロックと前記第2のサブブロック間の境界が示されるという問題が発生し得る。本発明では、前記GP構造を介して分割された前記第1のサブブロックと前記第2のサブブロック間の不連続性を除去するために、前記第1のサブブロックと前記第2のサブブロック間の重複する動き補償を行う方法を提案する。
図10は、前記GP構造を介して分割された第1のサブブロックと第2のサブブロックの境界領域を例示的に示す。図10を参照すると、前記対象ブロックは、前記GP構造を介して前記第1のサブブロックと前記第2のサブブロックに分割され得る。言い換えると、前記対象ブロックは、分割境界線に基づいて前記第1のサブブロックと前記第2のサブブロックに分割され得る。この場合、前記第1のサブブロックの境界領域1010は、前記第1のサブブロックに含まれ、前記第2のサブブロックと隣接した領域を示し得る。また、前記第2のサブブロックの境界領域1020は、前記第2のサブブロックに含まれ、前記第1のサブブロックと隣接した領域を示し得る。前記第1のサブブロックの前記境界領域及び前記第2のサブブロックの前記境界領域のサンプルに対して、重複する動き補償が行われ得る。即ち、前記第1のサブブロックの前記境界領域及び前記第2のサブブロックの前記境界領域が、前記重複する動き補償が行われる領域として導出され得る。
図11は、前記重複する動き補償のためのフィルタリングが行われるサンプルを例示的に示し得る。図11に示しているP0及びP1は、前記第1のサブブロックの前記境界領域に含まれたサンプルを示し得、Q0及びQ1は、前記第2のサブブロックの前記境界領域に含まれたサンプルを示し得る。この場合、前記重複する動き補償のために前記P0及び/又は前記P1にフィルタリングが行われ得る。或いは、前記重複する動き補償のために、前記Q0及び/又は前記Q1にフィルタリングが行われ得る。言い換えると、前記第1のサブブロックと前記第2のサブブロックとの間の不連続性を除去するために、前記P0及び/又は前記P1にフィルタリングが行われ得、或いは、前記Q0及び/又は前記Q1にフィルタリングが行われ得る。
例えば、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接したサンプル及び前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接したサンプルに対して、前記フィルタリングが行われ得る。即ち、前記図11に示している前記P0及び前記Q0に対して、前記フィルタリングが行われ得る。具体的に、前記第1のサブブロックの動き情報に基づいて前記P0のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記P0のサンプル値2が導出され得、前記P0のサンプル値1及びサンプル値2に基づいて前記P0のフィルタリングされたサンプル値が導出され得る。また、前記第1のサブブロックの動き情報に基づいて前記Q0のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記Q0のサンプル値2が導出され得、前記Q0のサンプル値1及びサンプル値2に基づいて前記Q0のフィルタリングされたサンプル値が導出され得る。
この場合、フィルタリングされた前記P0の値及びフィルタリングされた前記Q0の値は、次の数式を介して導出され得る。
ここで、P0Part0は、前記第1のサブブロックの動き情報に基づいて前記P0のサンプル値1を示し得、P0Part1は、前記第2のサブブロックの動き情報に基づいて前記P0のサンプル値2を示し得、P0は、前記P0のフィルタリングされたサンプル値を示し得る。また、Q0Part0は、前記第1のサブブロックの動き情報に基づいて前記Q0のサンプル値1を示し得、Q0Part1は、前記第2のサブブロックの動き情報に基づいて前記Q0のサンプル値2を示し得、Q0は、前記Q0のフィルタリングされたサンプル値を示し得る。
或いは、フィルタリングされた前記P0の値及びフィルタリングされた前記Q0の値は、次の数式を介して導出され得る。
ここで、P0Part0は、前記第1のサブブロックの動き情報に基づいて前記P0のサンプル値1を示し得、P0Part1は、前記第2のサブブロックの動き情報に基づいて前記P0のサンプル値2を示し得、P0は、前記P0のフィルタリングされたサンプル値を示し得る。また、Q0Part0は、前記第1のサブブロックの動き情報に基づいて前記Q0のサンプル値1を示し得、Q0Part1は、前記第2のサブブロックの動き情報に基づいて前記Q0のサンプル値2を示し得、Q0は、前記Q0のフィルタリングされたサンプル値を示し得る。
また、別の例として、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの左側に隣接した第2のサンプルに対して、前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの右側に隣接した第2のサンプルに対して、前記フィルタリングが行われ得る。或いは、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの上側に隣接した第2のサンプルに対して、前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの下側に隣接した第2のサンプルに対して、前記フィルタリングが行われ得る。前記第1のサブブロックのうち、前記分割境界線の周辺の二つのサンプルが前記第1のサブブロックの境界領域に含まれ得、前記第2のサブブロックのうち、前記分割境界線の周辺の二つのサンプルが前記第2のサブブロックの境界領域に含まれ得る。この場合、前記図11に示している前記P0、前記P1、及び前記Q0、並びに前記Q1に対して、前記フィルタリングが行われ得る。具体的に、前記第1のサブブロックの動き情報に基づいて前記P0のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記P0のサンプル値2が導出され得、前記P0のサンプル値1及びサンプル値2に基づいて前記P0のフィルタリングされたサンプル値が導出され得る。また、前記第1のサブブロックの動き情報に基づいて前記P1のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記P1のサンプル値2が導出され得、前記P1のサンプル値1及びサンプル値2に基づいて前記P1のフィルタリングされたサンプル値が導出され得る。また、前記第1のサブブロックの動き情報に基づいて前記Q0のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記Q0のサンプル値2が導出され得、前記Q0のサンプル値1及びサンプル値2に基づいて前記Q0のフィルタリングされたサンプル値が導出され得る。また、前記第1のサブブロックの動き情報に基づいて前記Q1のサンプル値1が導出され得、前記第2のサブブロックの動き情報に基づいて前記Q1のサンプル値2が導出され得、前記Q1のサンプル値1及びサンプル値2に基づいて前記Q1のフィルタリングされたサンプル値が導出され得る。
この場合、フィルタリングされた前記P0の値、フィルタリングされた前記P1の値、フィルタリングされた前記Q0の値、及びフィルタリングされた前記Q1の値は、次の数式を介して導出され得る。
ここで、P0Part0は、前記第1のサブブロックの動き情報に基づいて前記P0のサンプル値1を示し得、P0Part1は、前記第2のサブブロックの動き情報に基づいて前記P0のサンプル値2を示し得、P0は、前記P0のフィルタリングされたサンプル値を示し得る。また、P1Part0は、前記第1のサブブロックの動き情報に基づいて前記P1のサンプル値1を示し得、P1Part1は、前記第2のサブブロックの動き情報に基づいて前記P1のサンプル値2を示し得、P1は、前記P1のフィルタリングされたサンプル値を示し得る。また、Q0Part0は、前記第1のサブブロックの動き情報に基づいて前記Q0のサンプル値1を示し得、Q0Part1は、前記第2のサブブロックの動き情報に基づいて前記Q0のサンプル値2を示し得、Q0は、前記Q0のフィルタリングされたサンプル値を示し得る。また、Q1Part0は、前記第1のサブブロックの動き情報に基づいて前記Q1のサンプル値1を示し得、Q1Part1は、前記第2のサブブロックの動き情報に基づいて前記Q1のサンプル値2を示し得、Q1は、前記Q1のフィルタリングされたサンプル値を示し得る。
前記フィルタリングが行われる前記分割境界線の周辺サンプルの数は、スライス単位又はブロック単位で可変的に選択され得る。或いは、前記フィルタリングが行われる前記分割境界線の周辺サンプルの数は、前記対象ブロックのサイズに基づいて選択され得る。例えば、前記対象ブロックが16x16サイズのブロックである場合、前記対象ブロックのサブブロックのサンプルのうち、前記分割境界線の周辺の一つのサンプルに対して、前記フィルタリングが適用され得る。また、前記対象ブロックが16x16サイズのブロックより大きいブロックである場合、前記対象ブロックのサブブロックのサンプルのうち、前記分割境界線の周辺の二つのサンプルに対して、前記フィルタリングが適用され得る。一方、前記フィルタリングの適用可否を示す情報は、SPS(sequence parameter set)、PPS(picture parameter set)、スライス、ブロック等の単位で送信され得る。
一方、前記対象ブロックが前記GP構造に基づいて分割された場合、様々な方法を介して前記対象ブロックに対する変換(transformation)過程が行われ得る。
一例として、前記第1のサブブロック及び前記第2のサブブロックに対する一つの変換、及び量子化過程を行う方法が提案され得る。具体的に、前記対象ブロックが前記GP構造に基づいて分割されて導出された前記第1のサブブロック及び前記第2のサブブロックそれぞれに対する予測が行われ得、前記第1のサブブロック及び前記第2のサブブロックそれぞれに対する残差信号が導出され得、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号に対する一つの変換、量子化及びエントロピーエンコーディングが行われて導出された前記第1のサブブロック及び前記第2のサブブロックのエンコーディングされた情報がデコーディング装置に送信され得る。言い換えると、エンコーディング装置は、前記第1のサブブロック及び前記第2のサブブロックに対する一つの変換及び量子化過程を行うことができ、前記変換及び量子化過程を介して生成された前記第1のサブブロック及び前記第2のサブブロックに対する情報をエントロピーエンコーディングしてデコーディング装置へ送信できる。
図12は、一つの変換過程が行われる第1のサブブロック及び前記第2のサブブロックの一例を示す。前記第1のサブブロック及び前記第2のサブブロックは、別途の予測が行われ得る。前記第1のサブブロックの予測を介して生成された前記第1のサブブロックの予測サンプル(predicted sample)に基づいて、前記第1のサブブロックに対する残差(residual)信号が生成され得、前記第2のサブブロックの予測を介して生成された前記第2のサブブロックの予測サンプル(predicted sample)に基づいて、前記第2のサブブロックに対する残差信号が生成され得る。この場合、図12に示すように、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号が一つのブロックに結合され得、前記結合されたブロックに対する変換及び量子化過程が行われ得る。
また、別の例として、前記第1のサブブロック及び前記第2のサブブロックに対する別の変換及び量子化過程を行う方法が提案され得る。
図13は、別の変換過程が行われる第1のサブブロック及び前記第2のサブブロックの一例を示す。図13の(a)は、変換される前記第1のサブブロックの前記残差信号を示し得、図13の(b)は、変換される前記第2のサブブロックの前記残差信号を示し得る。前記対象ブロックが前記GP構造に基づいて分割されて導出された前記第1のサブブロック及び前記第2のサブブロックそれぞれに対する予測が行われ得、前記第1のサブブロック及び前記第2のサブブロックそれぞれに対する残差信号が導出され得、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号それぞれに対する変換、量子化、及びエントロピーエンコーディングが行われ、前記第1のサブブロックのエンコーディングされた情報及び前記第2のサブブロックのエンコーディングされた情報が、導出及びデコーディング装置へ送信され得る。言い換えると、エンコーディング装置は、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号それぞれに対する別の変換及び量子化過程を行うことができ、前記変換及び量子化過程を介して生成された前記第1のサブブロック及び前記第2のサブブロックに対する情報をエントロピーエンコーディングし、デコーディング装置に送信できる。
また、別の例として、前記第1のサブブロック及び前記第2のサブブロックのうち、前記第1のサブブロックのみ変換され得る。即ち、前記第1のサブブロックの残差信号のみ変換され得る。この場合、前記第1のサブブロックのみを含む最も小さいサイズの変換カーネルに基づいて、前記第1のサブブロックの残差信号が変換され得る。即ち、前記変換カーネルは、前記第1のサブブロックのサイズを含むサイズの変換カーネルのうち最も小さいサイズの変換カーネルを示し得る。
或いは、図13の(c)に示すように、前記対象ブロックのサイズの変換カーネルに基づいて前記第1のサブブロックの残差信号が変換されるが、前記対象ブロックの領域のうち、前記第1のサブブロックに含まれていない領域、即ち、前記第2のサブブロック領域は、0に値を満たして変換が行われ得る。言い換えると、前記第1のサブブロックの残差信号に0とパディング(padding)された前記第2のサブブロック領域が結合され、前記対象ブロックサイズのブロックが導出され得、前記導出されたブロックに前記対象ブロックのサイズの変換カーネルに基づいて変換が行われ得る。
或いは、図13の(d)に示すように、前記第1のサブブロックの残差信号が再配列され得、前記再配列された残差信号が変換され得る。具体的に、前記図13の(d)に示すように、前記第1のサブブロックのa領域1310の残差信号は、前記第1のサブブロックのb領域1320に再配列され得、前記再配列された残差信号に対する変換が行われ得る。即ち、前記a領域1310の残差信号が前記b領域1320に再配列され、前記第1のサブブロックの残差信号は長方形の形態を有し得、再配列された前記第1のサブブロックを含むサイズの変換カーネルに基づいて、前記第1のサブブロックの残差信号が変換され得る。
図14は、本発明にかかるエンコーディング装置によるビデオエンコーディング方法を概略的に示す。図14に開示の方法は、図1に開示のエンコーディング装置によって行われ得る。具体的に、例えば、図14のS1400は、前記エンコーディング装置のピクチャ分割部によって行われ、S1410乃至S1420は、前記エンコーディング装置の予測部によって行われ、S1430は、前記エンコーディング装置のエントロピーエンコーディング部によって行われ得る。
エンコーディング装置は、対象ブロックを第1のサブブロック及び第2のサブブロックに分割する(S1400)。前記対象ブロックは、QT(quad−tree)構造で分割されたブロックであり得、前記QT構造でこれ以上分割されない前記QT構造の末端ノードのブロックであり得る。前記末端ノードは、リーフ(leaf)ノードと示してもよい。ここで、前記QT構造は、2Nx2Nサイズの対象ブロックが4個のNxNサイズのサブブロックに分割される構造を示し得る。この場合、前記対象ブロックは、GP(geometry partition)構造で分割され得、前記GP構造は、対象ブロックが様々な形態のサブブロックに分割される構造を示し得る。また、前記GP構造は、対象ブロックが任意の分割境界線に基づいて分割される構造を示し得る。
エンコーディング装置は、前記分割境界線を導出し得、前記対象ブロックを前記分割境界線に基づいて前記第1のサブブロック及び前記第2のサブブロックに分割し得る。即ち、前記対象ブロックは、前記分割境界線を介して第1のサブブロック及び第2のサブブロックに分割され得る。
この場合、エンコーディング装置は、前記対象ブロックに対する分割情報を生成し得る。前記分割情報は、GP分割情報と示してもよい 。前記分割情報は、前記対象ブロックは、分割境界線の角度(angle)を示す情報、及び前記分割境界線と前記対象ブロックの中点との距離を示す情報を含み得る。或いは、前記分割情報は、既設定された複数の分割タイプのうち一つを示すGP分割インデックスを含み得る。この場合、前記対象ブロックは、前記GP分割インデックスが示すタイプの前記第1のサブブロック及び前記第2のサブブロックに分割され得る。一方、前記第1のサブブロックは、前記対象ブロックから分割されたブロックのうちの左側に位置したブロックを示し得、前記第2のサブブロックは、前記対象ブロックから分割されたブロックのうちの右側に位置したブロックを示し得る。また、前記第1のサブブロック及び前記第2のサブブロックは、非長方形(non−rectangular)のブロックであり得る。
また、前記対象ブロックに対する前記分割情報は、前記対象ブロックに対するGP(geometry partition)分割フラグを含み得、前記GP分割フラグは、前記対象ブロックが様々な形態を有するサブブロックに分割されるか否かを示し得る。或いは、前記GP分割フラグは、前記対象ブロックが任意の分割境界線を介してサブブロックに分割されるか否かを示し得る。前記GP分割フラグの値が1である場合、即ち、前記GP分割フラグが、前記対象ブロックが前記サブブロックに分割されることを示す場合、前記対象ブロックは、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して第1のサブブロック及び第2のサブブロックに分割され得る。
エンコーディング装置は、前記対象ブロックの分割タイプ(type)に基づいて、前記第1のサブブロックに対する第1の動き情報の候補リスト及び前記第2のサブブロックに対する第2の動き情報の候補リストを導出する(S1410)。エンコーディング装置は、前記対象ブロックの分割タイプに基づいて、前記第1の動き情報の候補リスト及び前記第2の動き情報の候補リストを導出し得る。即ち、前記分割タイプに応じて、前記第1のサブブロックの空間的(spatial)周辺ブロック及び/又は時間的(temporal)周辺ブロックが導出され得、前記第2のサブブロックの空間的周辺ブロック及び/又は時間的周辺ブロックが導出され得る。前記第1の動き情報の候補リストは、前記第1のサブブロックの空間的周辺ブロックの動き情報を示す空間的候補及び/又は前記第1のサブブロックの時間的周辺ブロックの動き情報を示す時間的候補を含み得る。即ち、前記第1のサブブロックに対する前記第1の動き情報の候補リストは、前記第2のサブブロックに対する前記第2の動き情報の候補リストと異なり得る。前記第1のサブブロックの左側の高さ又は右側の高さは、前記対象ブロックの高さより小さいか等しいことがあり、前記第1のサブブロックの上側の幅又は下側の幅は、前記対象ブロックの幅より小さいか等しいことがある。また、前記第2のサブブロックの左側の高さ又は右側の高さは、前記対象ブロックの高さより小さいか等しいことがあり、前記第2のサブブロックの上側の幅又は下側の幅は、前記対象ブロックの幅より小さいか等しいことがある。
一方、前記第1のサブブロックにマージモードが適用される場合、前記第1の動き情報の候補リストは、マージ候補リストを示し得、前記第1のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第1の動き情報の候補リストは、MVP候補リストを示し得る。また、前記第2の動き情報の候補リストは、前記第2のサブブロックの空間的周辺ブロックの動き情報を示す空間的候補及び/又は前記第2のサブブロックの時間的周辺ブロックの動き情報を示す時間的候補を含み得る。一方、前記第2のサブブロックにマージモードが適用される場合、前記第2の動き情報の候補リストは、マージ候補リストを示し得、前記第2のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第2の動き情報の候補リストは、MVP候補リストを示し得る。
一方、前記分割情報に基づいて導出された分割タイプ(type)は、6個の第1のタイプ乃至第6のタイプを含み得る。
例えば、前記第1のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左上段サンプルを含むように分割されるタイプを示し得る。また、前記第1のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切る(across)タイプを示し得る。
前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得、前記第3の空間的周辺ブロックの位置は(UW,−1)であり得、前記第4の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得、前記第3の空間的周辺ブロックの位置は(UW,−1)であり得、前記第4の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(−1,−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズはNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(N−UW−1,−1)であり得る。
別の例として、第2のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右下段サンプルを含むように分割されるタイプを示し得る。また、前記第2のタイプは、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(−DW,RH−1)であり得、前記第3の空間的周辺ブロックの位置は(−1,−1)であり得、前記第4の空間的周辺ブロックの位置は(0,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さ(height)がRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得、前記第3の空間的周辺ブロックの位置は(N,N−1−RH)であり得、前記第4の空間的周辺ブロックの位置は(N−1,N−1−RH)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(N,N)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
別の例として、第3のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右上段サンプルを含むように分割されるタイプを示し得る。また、前記第3のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(−1,−1)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(UW,N)であり得る。一方、前記時間的周辺ブロックの位置は(UW−1,RH−1)のこともある。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(N−1−UW,−1)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(N,N)であり得る。一方、前記時間的周辺ブロックの位置は(N−1,RH−1)のこともある。
別の例として、第4のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左下段サンプルを含むように分割されるタイプを示し得る。また、前記第4のタイプは、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW−1−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(UW−1−DW,RH−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,N−1)であり得る。
別の例として、第5のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの左側の境界及び前記第2のサブブロックの右側の高さが前記対象ブロックの高さと同じように分割されるタイプを示し得る。また、前記第5のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補及び前記同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得、前記時間的周辺ブロックの位置は(DW−1,N−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補、及び同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW−1−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(UW−1−DW,RH−1)であり得、前記第3の空間的周辺ブロックの位置は(−1,−1)であり得、前記時間的周辺ブロックの位置は(UW−1,RH−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補、及び同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得、前記第3の空間的周辺ブロックの位置は(N−1−UW,−1)であり得、前記時間的周辺ブロックの位置は(N,N)であり得る。
別の例として、第6のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの上側の境界及び前記第2のサブブロックの下側の幅が前記対象ブロックの高さと同じように分割されるタイプを示し得る。また、前記第6のタイプは、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの左側の高さがLHであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(DW,LH−1−RH)であり得、前記第2の空間的周辺ブロックの位置は(DW−1,LH−1−RH)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N,N−1−RH)であり得、前記第2の空間的周辺ブロックの位置は(N−1,N−1−RH)であり得る。
エンコーディング装置は、前記第1の動き情報の候補リストに基づいて前記第1のサブブロックのインター予測を行い、前記第2の動き情報の候補リストに基づいて前記第2のサブブロックのインター予測及びエンコーディングを行う(S1420)。エンコーディング装置は、前記第1のサブブロック及び前記第2のサブブロックそれぞれに対するインター予測を別に行い得る。エンコーディング装置は、マージモード及びMVP(motion vector prediction)モードのうち、前記第1のサブブロックに適用されるモードを決定し得る。また、エンコーディング装置は、前記マージモード及び前記MVPモードのうち、前記第2のサブブロックに適用されるモードを決定し得る。
エンコーディング装置は、前記第1の動き情報の候補リストに基づいて、第1のサブブロックのインター予測を行い得る。具体的に、エンコーディング装置は、前記第1の動き情報の候補リストに基づいて前記第1のサブブロックの動き情報を導出し得る。例えば、前記第1のサブブロックにマージモードが適用される場合、前記第1の動き情報の候補リストは、マージ候補リストを示し得、前記第1の動き情報の候補リストのうち選択された候補の動き情報は、前記第1のサブブロックの動き情報として導出され得る。前記第1の動き情報の候補リストに含まれた候補のうち、前記第1のサブブロックの予測に適した候補が選択され得る。また、前記第1のサブブロックの予測情報が生成され得、前記予測情報は、前記選択された候補を示すマージインデックスを含み得る。前記第1のサブブロックの動き情報は、参照ピクチャインデックス及び動きベクトルを含み得る。
エンコーディング装置は、前記動き情報に基づいて前記第1のサブブロックに対するインター予測を行い得る。具体的に、エンコーディング装置は、前記動き情報に基づいて前記第1のサブブロックの参照ブロックを導出し得る。即ち、エンコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。エンコーディング装置は、前記参照ブロックに基づいて前記第1のサブブロックを予測し得る。即ち、エンコーディング装置は、前記参照ブロック内の復元サンプルを前記第1のサブブロックの予測サンプルとして導出し得る。
また、例えば、前記第1のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第1の動き情報の候補リストは、MVP候補リストを示し得、前記第1の動き情報の候補リストのうち選択された候補の動きベクトルは、前記第1のサブブロックの動きベクトル予測子(motion vector predictor、MVP)として導出され得る。前記第1の動き情報の候補リストに含まれた候補のうち、前記第1のサブブロックの予測に適した候補が選択され得る。エンコーディング装置は、前記MVPを用いて前記第1のサブブロックの動きベクトルを導出し得る。
また、前記第1のサブブロックの予測情報が生成され得、前記予測情報は、前記選択された候補を示すMVPフラグを含み得る。また、前記予測情報は、前記第1のサブブロックの動きベクトル差分(motion vector difference、MVD)を含み得る。
エンコーディング装置は、参照ピクチャリストに含まれた参照ピクチャのうち、前記第1のサブブロックの参照ピクチャを選択し得る。前記予測情報は、前記参照ピクチャを示す参照ピクチャインデックスを含み得る。
エンコーディング装置は、前記動き情報に基づいて前記第1のサブブロックに対するインター予測を行い得る。具体的に、エンコーディング装置は、前記動きベクトル及び参照ピクチャインデックスに基づいて前記第1のサブブロックの参照ブロックを導出し得る。即ち、エンコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。エンコーディング装置は、前記参照ブロックに基づいて前記第1のサブブロックを予測し得る。即ち、エンコーディング装置は、前記参照ブロック内の復元サンプルを前記第1のサブブロックの予測サンプルとして導出し得る。
また、エンコーディング装置は、前記第2の動き情報の候補リストに基づいて第2のサブブロックのインター予測を行い得る。具体的に、エンコーディング装置は、前記第2の動き情報の候補リストに基づいて前記第2のサブブロックの動き情報を導出し得る。例えば、前記第2のサブブロックにマージモードが適用される場合、前記第2の動き情報の候補リストは、マージ候補リストを示し得、前記第2の動き情報の候補リストのうち選択された候補の動き情報は、前記第2のサブブロックの動き情報として導出され得る。前記第2の動き情報の候補リストに含まれた候補のうち、前記第2のサブブロックの予測に適した候補が選択され得る。また、前記第2のサブブロックの予測情報が生成され得、前記予測情報は、前記選択された候補を示すマージインデックスを含み得る。前記第2のサブブロックの動き情報は、参照ピクチャインデックス及び動きベクトルを含み得る。
エンコーディング装置は、前記動き情報に基づいて前記第2のサブブロックに対するインター予測を行い得る。具体的に、エンコーディング装置は、前記動き情報に基づいて前記第2のサブブロックの参照ブロックを導出し得る。即ち、エンコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。エンコーディング装置は、前記参照ブロックに基づいて前記第2のサブブロックを予測し得る。即ち、エンコーディング装置は、前記参照ブロック内の復元サンプルを前記第2のサブブロックの予測サンプルとして導出し得る。
また、例えば、前記第2のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第2の動き情報の候補リストは、MVP候補リストを示し得、前記第2の動き情報の候補リストのうち選択された候補の動きベクトルは、前記第2のサブブロックの動きベクトル予測子(motion vector predictor、MVP)として導出され得る。前記第2の動き情報の候補リストに含まれた候補のうち、前記第2のサブブロックの予測に適した候補が選択され得る。エンコーディング装置は、前記MVPを用いて前記第2のサブブロックの動きベクトルを導出し得る。
また、前記第2のサブブロックの予測情報が生成され得、前記予測情報は、前記選択された候補を示すMVPフラグを含み得る。また、前記予測情報は、前記第2のサブブロックの動きベクトル差分(motion vector difference、MVD)を含み得る。
エンコーディング装置は、参照ピクチャリストに含まれた参照ピクチャのうち、前記第2のサブブロックの参照ピクチャを選択し得る。前記予測情報は、前記参照ピクチャを示す参照ピクチャインデックスを含み得る。
エンコーディング装置は、前記動き情報に基づいて前記第2のサブブロックに対するインター予測を行い得る。具体的に、エンコーディング装置は、前記動きベクトル及び参照ピクチャインデックスに基づいて前記第2のサブブロックの参照ブロックを導出し得る。即ち、エンコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。エンコーディング装置は、前記参照ブロックに基づいて前記第2のサブブロックを予測し得る。即ち、エンコーディング装置は、前記参照ブロック内の復元サンプルを前記第2のサブブロックの予測サンプルとして導出し得る。
また、エンコーディング装置は、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第1のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式1に基づいて導出され得る。或いは、前記第1のサンプルの前記サンプル値は、前述した数式2に基づいて導出され得る。
また、エンコーディング装置は、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの左側(又は上側)に隣接した第2のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて、前記第1のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。また、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第2のサンプルの前記サンプル値1及び前記サンプル値2に基づいて、前記第2のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第2のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第2のサンプルのサンプル値を導出し得る。また、前記第2のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。
また、エンコーディング装置は、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて、前記第1のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式1に基づいて導出され得る。或いは、前記第1のサンプルの前記サンプル値は、前述した数式2に基づいて導出され得る。
また、エンコーディング装置は、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの右側(又は下側)に隣接した第2のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて、前記第1のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。また、エンコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値2を導出し得る。次に、エンコーディング装置は、前記第2のサンプルの前記サンプル値1及び前記サンプル値2に基づいて、前記第2のサンプルのサンプル値を導出し得る。例えば、エンコーディング装置は、前記第2のサンプルの前記サンプル値1と前記サンプル値2とを加重和し、前記第2のサンプルのサンプル値を導出し得る。また、前記第2のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。
一方、前記フィルタリングが行われる前記第1のサブブロック及び前記第2のサブブロックのサンプルの数は、スライス単位又はブロック単位で決定され得る。或いは、前記フィルタリングが行われる前記第1のサブブロック及び前記第2のサブブロックの数は、前記対象ブロックのサイズに基づいて決定され得る。例えば、前記対象ブロックのサイズが16x16サイズである場合、前記第1のサブブロック及び/又は前記第2のサブブロックのサンプルのうち、前記分割境界線の周辺の一つのサンプルに対して、前記フィルタリングが適用され得る。即ち、前記対象ブロックのサイズが16x16サイズである場合、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプルに前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプルに前記フィルタリングが行われ得る。また、前記対象ブロックのサイズが16x16サイズより大きい場合、前記第1のサブブロック及び/又は前記第2のサブブロックのサンプルのうち、前記分割境界線の周辺の二つのサンプルに対して、前記フィルタリングが適用され得る。即ち、前記対象ブロックのサイズが16x16サイズより大きい場合、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの左側(又は上側)に隣接した第2のサンプルに前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの右側(又は下側)に隣接した第2のサンプルに前記フィルタリングが行われ得る。
一方、前記フィルタリングの適用可否を示す情報が生成され得る。前記フィルタリングの適用可否を示す情報は、SPS(sequence parameter set)、PPS(picture parameter set)、スライス、ブロックなどの単位で送信され得、前記フィルタリングの適用可否を示す情報に基づいて、前記第1のサブブロック及び前記第2のサブブロックの前記フィルタリングの適用可否が判断され得る。或いは、前記フィルタリングの適用可否を示す情報に基づいて、前記対象ブロックの前記フィルタリングの適用可否が判断され得る。
一方、エンコーディング装置は、前記第1のサブブロックの前記予測サンプルに基づいて、前記第1のサブブロックの残差(residual)信号を生成し得る。前記残差信号は、前記第1のサブブロックの原本サンプルと前記予測サンプルとの差異として導出され得る。また、エンコーディング装置は、前記第2のサブブロックの前記予測サンプルに基づいて、前記第2のサブブロックの残差信号を生成し得る。前記残差信号は、前記第2のサブブロックの原本サンプルと前記予測サンプルとの差異として導出され得る。
エンコーディング装置は、前記第1のサブブロックの前記残差信号及び前記第2のサブブロックの前記残差信号に対する一つの変換を行い、前記第1のサブブロック及び前記第2のサブブロックの残差情報を生成し得る。例えば、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号が一つのブロックに結合され得、前記結合されたブロックに対する変換過程が行われ得る。
また、エンコーディング装置は、前記第1のサブブロックの前記残差信号及び前記第2のサブブロックの前記残差信号に対する別途の変換を行い、前記第1のサブブロックの残差情報及び前記第2のサブブロックの残差情報を生成することもある。
例えば、前記第1のサブブロックのサイズを含むサイズの変換カーネル(transform kernel)に基づいて、前記第1のサブブロックの前記残差信号に対する変換が行われ、前記第1のサブブロックの前記残差情報が生成され得る。ここで、前記変換カーネルは、前記第1のサブブロックのサイズを含むサイズの変換カーネルのうち最も小さいサイズの変換カーネルを示し得る。
或いは、前記第1のサブブロックの前記残差信号に対する変換が行われ、前記第1のサブブロックの前記残差情報が生成されるが、前記残差信号に前記第2のサブブロックの領域に0とパディングされた信号が結合され得る。この場合、前記対象ブロックのサイズの変換カーネルに基づいて前記変換が行われ得る。
或いは、前記第1のサブブロックの前記残差信号に対する変換が行われ、前記第1のサブブロックの前記残差情報が生成されるが、前記残差信号は、長方形の形態のブロックに再配列され得る。一方、前記残差信号は、残差サンプルを示し得、前記残差情報は、変換係数を示し得る。
エンコーディング装置は、前記対象ブロックに対する分割情報及び残差情報をエンコーディングして送信する(S1430)。エンコーディング装置は、前記対象ブロックに対する分割情報をエンコーディングし、ビットストリームの形態で出力できる。前記分割情報は、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報を含み得る。前記対象ブロックは、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して、第1のサブブロック及び第2のサブブロックに分割され得る。また、前記対象ブロックの任意の境界に垂直でなく、前記対象ブロックを横切る前記分割境界線に沿って分割され得る。或いは、前記追加の分割情報は、既設定された複数の分割タイプのうち一つを示すGP分割インデックスを含み得る。
また、前記対象ブロックに対する前記分割情報は、前記対象ブロックに対するGP(geometry partition)分割フラグを含み得、前記GP分割フラグは、前記対象ブロックが様々な形態を有するサブブロックに分割されるか否かを示し得る。或いは、前記GP分割フラグは、前記対象ブロックが任意の分割境界線を介してサブブロックに分割されるか否かを示し得る。前記GP分割フラグの値が1である場合、即ち、前記GP分割フラグが、前記対象ブロックが前記サブブロックに分割されることを示す場合、前記対象ブロックは、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して、第1のサブブロック及び第2のサブブロックに分割され得る。
また、エンコーディング装置は、前記対象ブロックの残差情報を前記ビットストリームを介して送信し得る。即ち、エンコーディング装置は、前記第1のサブブロックの残差情報及び前記第1のサブブロックの残差情報を前記ビットストリームを介して送信し得る。
また、エンコーディング装置は、前記第1のサブブロックに対する予測情報をエンコーディングし、ビットストリームの形態で出力し得る。前記第1のサブブロックにマージモードが適用される場合、前記予測情報は、前記第1のサブブロックのマージインデックスを含み得る。前記マージインデックスは、前記第1のサブブロックの前記第1の動き情報の候補リストの候補のうち一つを示し得る。また、前記第1のサブブロックにMVPモードが適用される場合、前記予測情報は、前記第1のサブブロックのMVPフラグ、MVD及び参照ピクチャインデックスを含み得る。前記MVPフラグは、前記第1の動き情報の候補リストの候補のうち一つを示し得、前記MVPフラグに基づいて導出された候補の動きベクトルと前記MVDとの和で前記第1のサブブロックの動きベクトルが導出され得る。前記参照ピクチャインデックスは、前記第1のサブブロックの予測のための参照ピクチャを示し得る。
また、エンコーディング装置は、前記ビットストリームを介して、前記フィルタリングの適用可否を示す情報を送信し得る。前記フィルタリングの適用可否を示す情報は、SPS(sequence parameter set)、PPS(picture parameter set)、スライス、ブロック等の単位で送信され得、前記フィルタリングの適用可否を示す情報に基づいて、前記第1のサブブロック及び前記第2のサブブロックの前記フィルタリングの適用可否が判断され得る。或いは、前記フィルタリングの適用可否を示す情報に基づいて、前記対象ブロックの前記フィルタリングの適用可否が判断され得る。
図15は、本発明にかかるデコーディング装置によるビデオデコーディング方法を概略的に示す。図15に開示の方法は、図2に開示のデコーディング装置により行われ得る。具体的に、例えば、図15のS1500は、前記デコーディング装置のエントロピーデコーディング部によって行われ得、S1510は、前記デコーディング装置のピクチャ分割部によって行われ得、S1520乃至S1530は、前記デコーディング装置の予測部によって行われ得る。
デコーディング装置は、ビットストリームを介して対象ブロックに対する分割情報を獲得する(S1500)。前記対象ブロックは、QT(quad−tree)構造で分割されたブロックであり得、前記QT構造でこれ以上分割されない前記QT構造の末端ノードのブロックであり得る。前記末端ノードは、リーフ(leaf)ノードと示してもよい。ここで、前記QT構造は、2Nx2Nサイズの対象ブロックが4個のNxNサイズのサブブロックに分割される構造を示し得る。この場合、前記対象ブロックは、GP(geometry partition)構造で分割され得、前記分割情報は、GP分割構造と示してもよい。前記GP構造は、対象ブロックが様々な形態のサブブロックに分割される構造を示し得る。また、前記GP構造は、対象ブロックが任意の分割境界線に基づいて分割される構造を示し得る。
前記分割情報は、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報を含み得る。前記対象ブロックは、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して、第1のサブブロック及び第2のサブブロックに分割され得る。また、前記対象ブロックの任意の境界に垂直ではなく、前記対象ブロックを横切る前記分割境界線に沿って分割され得る。或いは、前記追加の分割情報は、既設定された複数の分割タイプのうち一つを示すGP分割インデックスを含み得る。
また、前記対象ブロックに対する前記分割情報は、前記対象ブロックに対するGP(geometry partition)分割フラグを含み得、前記GP分割フラグは、前記対象ブロックが様々な形態を有するサブブロックに分割されるか否かを示し得る。或いは、前記GP分割フラグは、前記対象ブロックが任意の分割境界線を介してサブブロックに分割されるか否かを示し得る。前記GP分割フラグの値が1である場合、即ち、前記GP分割フラグが、前記対象ブロックが前記サブブロックに分割されることを示す場合、前記対象ブロックは、分割境界線の角度(angle)を示す情報及び/又は前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して、第1のサブブロック及び第2のサブブロックに分割され得る。
デコーディング装置は、前記分割情報が示す分割境界線に基づいて、前記対象ブロックを第1のサブブロック及び第2のサブブロックに分割する(S1510)。前記分割情報は、前記対象ブロックの分割境界線の角度(angle)を示す情報及び前記分割境界線と前記対象ブロックの中点との距離を示す情報を含み得、この場合、前記対象ブロックは、分割境界線の角度(angle)を示す情報及び前記分割境界線と前記対象ブロックの中点との距離を示す情報に基づいて導出された分割境界線を介して、第1のサブブロック及び第2のサブブロックに分割され得る。或いは、前記分割情報は、既設定された複数の分割タイプのうち一つを示すGP分割インデックスを含み得る。前記分割タイプは、前記分割境界線が前記対象ブロックのどの境界を横切るか(across)示し得る。この場合、前記対象ブロックは、前記GP分割インデックスが示すタイプの前記第1のサブブロック及び前記第2のサブブロックに分割され得る。前記第1のサブブロックは、前記対象ブロックから分割されたブロックのうち、左側に位置したブロックを示し得、前記第2のサブブロックは、前記対象ブロックから分割されたブロックのうち、右側に位置したブロックを示し得る。また、前記第1のサブブロック及び前記第2のサブブロックは、非長方形(non−rectangular)のブロックであり得る。
デコーディング装置は、前記対象ブロックに対する前記分割情報に基づいて、前記第1のサブブロックに対する第1の動き情報の候補リスト及び前記第2のサブブロックに対する第2の動き情報の候補リストを導出する(S1520)。デコーディング装置は、前記分割情報に基づいて導出された分割タイプ(type)に基づいて、前記第1の動き情報の候補リスト及び前記第2の動き情報の候補リストを導出し得る。即ち、前記分割情報に基づいて導出された分割タイプに応じて、前記第1のサブブロックの空間的(spatial)周辺ブロック及び/又は時間的(temporal)周辺ブロックが導出され得、前記第2のサブブロックの空間的周辺ブロック及び/又は時間的周辺ブロックが導出され得る。前記第1の動き情報の候補リストは、前記第1のサブブロックの空間的周辺ブロックの動き情報を示す空間的候補及び/又は前記第1のサブブロックの同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。即ち、前記第1のサブブロックに対する前記第1の動き情報の候補リストは、前記第2のサブブロックに対する前記第2の動き情報の候補リストと異なり得る。前記第1のサブブロックの左側の高さ又は右側の高さは、前記対象ブロックの高さより小さいか等しいことがあり、前記第1のサブブロックの上側の幅又は下側の幅は、前記対象ブロックの幅より小さいか等しいことがある。また、前記第2のサブブロックの左側の高さ又は右側の高さは、前記対象ブロックの高さより小さいか等しいことがあり、前記第2のサブブロックの上側の幅又は下側の幅は、前記対象ブロックの幅より小さいか等しいことがある。
一方、前記第1のサブブロックにマージモードが適用される場合、前記第1の動き情報の候補リストは、マージ候補リストを示し得、前記第1のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第1の動き情報の候補リストは、MVP候補リストを示し得る。また、前記第2の動き情報の候補リストは、前記第2のサブブロックの空間的周辺ブロックの動き情報を示す空間的候補及び/又は前記第2のサブブロックの同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。一方、前記第2のサブブロックにマージモードが適用される場合、前記第2の動き情報の候補リストは、マージ候補リストを示し得、前記第2のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第2の動き情報の候補リストは、MVP候補リストを示し得る。
一方、前記分割情報に基づいて導出された分割タイプ(type)は、6個の第1のタイプ乃至第6のタイプを含み得る。
例えば、前記第1のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左上段サンプルを含むように分割されるタイプを示し得る。また、前記第1のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得、前記第3の空間的周辺ブロックの位置は(UW,−1)であり得、前記第4の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得、前記第3の空間的周辺ブロックの位置は(UW,−1)であり得、前記第4の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(−1,−1)であり得る。
また、前記対象ブロックが前記第1のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び左側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(N−UW−1,−1)であり得る。
別の例として、第2のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右下段サンプルを含むように分割されるタイプを示し得る。また、前記第2のタイプは、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(−DW,RH−1)であり得、前記第3の空間的周辺ブロックの位置は(−1,−1)であり得、前記第4の空間的周辺ブロックの位置は(0,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(0,LH)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さ(height)がRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補及び/又は第4の空間的周辺ブロックの動き情報を示す第4の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得、前記第3の空間的周辺ブロックの位置は(N,N−1−RH)であり得、前記第4の空間的周辺ブロックの位置は(N−1,N−1−RH)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(N,N)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第2のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの右側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
別の例として、第3のタイプは、前記第2のサブブロックが三角形の形態を有し、前記対象ブロックの右上段サンプルを含むように分割されるタイプを示し得る。また、前記第3のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(−1,−1)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(UW,N)であり得る。一方、前記時間的周辺ブロックの位置は(UW−1,RH−1)のこともある。
また、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、空間的周辺ブロックの動き情報を示す空間的候補を含み得る。この場合、前記空間的周辺ブロックの位置は(N−1−UW,−1)であり得る。また、前記第2の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第3のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び右側の境界を横切って、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(N,N)であり得る。一方、前記時間的周辺ブロックの位置は(N−1,RH−1)のこともある。
別の例として、第4のタイプは、前記第1のサブブロックが三角形の形態を有し、前記対象ブロックの左下段サンプルを含むように分割されるタイプを示し得る。また、前記第4のタイプは、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW−1−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(UW−1−DW,RH−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第4のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び下側の境界を横切って、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。この場合、前記時間的周辺ブロックの位置は(DW−1,N−1)であり得る。
別の例として、第5のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの左側の境界及び前記第2のサブブロックの右側の高さが前記対象ブロックの高さと同じように分割されるタイプを示し得る。また、前記第5のタイプは、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの下側の幅がDWであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(DW−1,LH−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第1のサブブロックの上側の幅がUWであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、並びに前記同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW,−1)であり得、前記第2の空間的周辺ブロックの位置は(UW−1,−1)であり得、前記時間的周辺ブロックの位置は(DW−1,N−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補、及び同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(UW−1−DW,RH)であり得、前記第2の空間的周辺ブロックの位置は(UW−1−DW,RH−1)であり得、前記第3の空間的周辺ブロックの位置は(−1,−1)であり得、前記時間的周辺ブロックの位置は(UW−1,RH−1)であり得る。
また、前記対象ブロックが前記第5のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの上側の境界及び下側の境界を横切って、前記第2のサブブロックの上側の幅がUWであり、前記第1のサブブロックの下側の幅がDWであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補、第2の空間的周辺ブロックの動き情報を示す第2の空間的候補、第3の空間的周辺ブロックの動き情報を示す第3の空間的候補、及び同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補のうち少なくとも一つを含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N−1−DW,N)であり得、前記第2の空間的周辺ブロックの位置は(N−1−DW,N−1)であり得、前記第3の空間的周辺ブロックの位置は(N−1−UW,−1)であり得、前記時間的周辺ブロックの位置は(N,N)であり得る。
別の例として、第6のタイプは、前記第1のサブブロック及び前記第2のサブブロックが四角形の形態を有し、前記第1のサブブロックの上側の境界及び前記第2のサブブロックの下側の幅が前記対象ブロックの高さと同じように分割されるタイプを示し得る。また、前記第6のタイプは、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切るタイプを示し得る。
前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記第1のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第1の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(−1,LH)であり得、前記第2の空間的周辺ブロックの位置は(−1,LH−1)であり得る。また、前記第1の動き情報の候補リストは、同じ位置のピクチャ(co−located picture)内の時間的周辺ブロックの動き情報を示す時間的候補を含み得る。例えば、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第1のサブブロックの左側の高さがLHであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記時間的周辺ブロックの位置は(0,LH−1)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第2のサブブロックの下側の幅がDWであり、前記第2のサブブロックの左側の高さがLHであり、前記第2のサブブロックの右側の高さがRHであり、前記第2のサブブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(DW,LH−1−RH)であり得、前記第2の空間的周辺ブロックの位置は(DW−1,LH−1−RH)であり得る。
また、前記対象ブロックが前記第6のタイプで分割され、即ち、前記分割境界線が前記対象ブロックの左側の境界及び右側の境界を横切って、前記第2のサブブロックの右側の高さがRHであり、前記対象ブロックのサイズがNxNであり、前記対象ブロックの左上段(top−left)サンプルポジションのx成分が0及びy成分が0である場合、前記第2の動き情報の候補リストは、第1の空間的周辺ブロックの動き情報を示す第1の空間的候補及び第2の空間的周辺ブロックの動き情報を示す第2の空間的候補を含み得る。この場合、前記第1の空間的周辺ブロックの位置は(N,N−1−RH)であり得、前記第2の空間的周辺ブロックの位置は(N−1,N−1−RH)であり得る。
デコーディング装置は、前記第1の動き情報の候補リストに基づいて第1のサブブロックのインター予測を行い、前記第2の動き情報の候補リストに基づいて前記第2のサブブロックのインター予測を行う(S1530)。デコーディング装置は、前記第1のサブブロック及び前記第2のサブブロックそれぞれに対する予測を別に行い得る。
デコーディング装置は、前記第1の動き情報の候補リストに基づいて第1のサブブロックのインター予測を行い得る。具体的に、デコーディング装置は、前記第1の動き情報の候補リストに基づいて前記第1のサブブロックの動き情報を導出し得る。例えば、前記第1のサブブロックにマージモードが適用される場合、前記第1の動き情報の候補リストは、マージ候補リストを示し得、前記第1の動き情報の候補リストのうちマージインデックスに基づいて選択された候補の動き情報は、前記第1のサブブロックの動き情報として導出され得る。前記ビットストリームを前記第1のサブブロックに対する予測情報が獲得され得、前記予測情報は、前記マージインデックスを含み得る。前記第1のサブブロックの動き情報は、参照ピクチャインデックス及び動きベクトルを含み得る。
デコーディング装置は、前記動き情報に基づいて前記第1のサブブロックに対するインター予測を行い得る。具体的に、デコーディング装置は、前記動き情報に基づいて前記第1のサブブロックの参照ブロックを導出し得る。即ち、デコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。デコーディング装置は、前記参照ブロックに基づいて前記第1のサブブロックを予測し得る。即ち、デコーディング装置は、前記参照ブロック内の復元サンプルを前記第1のサブブロックの予測サンプルとして導出し得る。
また、例えば、前記第1のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第1の動き情報の候補リストは、MVP候補リストを示し得、前記第1の動き情報の候補リストのうち、MVPフラグに基づいて選択された候補の動きベクトルは、前記第1のサブブロックの動きベクトル予測子(motion vector predictor、MVP)として導出され得る。前記ビットストリームを介して前記第1のサブブロックに対する予測情報が獲得され得、前記予測情報は、前記MVPフラグ及び前記第1のサブブロックの参照ピクチャインデックス、及び動きベクトル差分(motion vector difference、MVD)を含み得る。この場合、デコーディング装置は、前記MVPと前記MVDを加えて、前記第1のサブブロックの動きベクトルを導出し得る。
デコーディング装置は、前記動き情報に基づいて前記第1のサブブロックに対するインター予測を行い得る。具体的に、デコーディング装置は、前記動きベクトル及び前記参照ピクチャインデックスに基づいて前記第1のサブブロックの参照ブロックを導出し得る。即ち、デコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。デコーディング装置は、前記参照ブロックに基づいて前記第1のサブブロックを予測し得る。即ち、デコーディング装置は、前記参照ブロック内の復元サンプルを前記第1のサブブロックの予測サンプルとして導出し得る。
また、デコーディング装置は、前記第2の動き情報の候補リストに基づいて第2のサブブロックのインター予測を行い得る。デコーディング装置は、前記第2の動き情報の候補リストに基づいて前記第2のサブブロックの動き情報を導出し得る。例えば、前記第2のサブブロックにマージモードが適用される場合、前記第2の動き情報の候補リストは、マージ候補リストを示し得、前記第2の動き情報の候補リストのうち、マージインデックスに基づいて選択された候補の動き情報は、前記第2のサブブロックの動き情報として導出され得る。 前記ビットストリームを介して前記第2のサブブロックに対する予測情報が獲得され得、前記予測情報は、前記マージインデックスを含み得る。前記第2のサブブロックの動き情報は、参照ピクチャインデックス及び動きベクトルを含み得る。
デコーディング装置は、前記動き情報に基づいて前記第2のサブブロックに対するインター予測を行い得る。具体的に、デコーディング装置は、前記動き情報に基づいて前記第2のサブブロックの参照ブロックを導出し得る。即ち、デコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。デコーディング装置は、前記参照ブロックに基づいて前記第2のサブブロックを予測し得る。即ち、デコーディング装置は、前記参照ブロック内の復元サンプルを前記第2のサブブロックの予測サンプルとして導出し得る。
また、例えば、前記第2のサブブロックにMVP(motion vector prediction)モードが適用される場合、前記第2の動き情報の候補リストは、MVP候補リストを示し得、前記第2の動き情報の候補リストのうちMVPフラグに基づいて選択された候補の動きベクトルは、前記第2のサブブロックの動きベクトル予測子(motion vector predictor、MVP)として導出され得る。前記ビットストリームを介して前記第2のサブブロックに対する予測情報が獲得され得、前記予測情報は、前記MVPフラグ及び前記第2のサブブロックの参照ピクチャインデックス、及び動きベクトル差分(motion vector difference、MVD)を含み得る。この場合、デコーディング装置は、前記MVPと前記MVDを加えて、前記第2のサブブロックの動きベクトルを導出し得る。
デコーディング装置は、前記動き情報に基づいて前記第2のサブブロックに対するインター予測を行い得る。具体的に、デコーディング装置は、前記動きベクトル及び前記参照ピクチャインデックスに基づいて前記第2のサブブロックの参照ブロックを導出し得る。即ち、デコーディング装置は、前記参照ピクチャインデックスの指す参照ピクチャ内の前記動きベクトルを指す参照ブロックを導出し得る。デコーディング装置は、前記参照ブロックに基づいて前記第2のサブブロックを予測し得る。即ち、デコーディング装置は、前記参照ブロック内の復元サンプルを前記第2のサブブロックの予測サンプルとして導出し得る。
また、デコーディング装置は、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第1のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式1に基づいて導出され得る。或いは、前記第1のサンプルの前記サンプル値は、前述した数式2に基づいて導出され得る。
また、デコーディング装置は、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの左側(又は上側)に隣接した第2のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第1のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。また、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第2のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第2のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第2のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第2のサンプルのサンプル値を導出し得る。また、前記第2のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。
また、デコーディング装置は、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第1のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式1に基づいて導出され得る。或いは、前記第1のサンプルの前記サンプル値は、前述した数式2に基づいて導出され得る。
また、デコーディング装置は、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの右側(又は下側)に隣接した第2のサンプルに対してフィルタリングを行い得る。前記フィルタリングは、重複する動き補償フィルタリングと示してもよい。例えば、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第1のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第1のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第1のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第1のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第1のサンプルのサンプル値を導出し得る。また、前記第1のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。また、デコーディング装置は、前記第1のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値1を導出し得、前記第2のサブブロックの動き情報に基づいて前記第2のサンプルのサンプル値2を導出し得る。次に、デコーディング装置は、前記第2のサンプルの前記サンプル値1及び前記サンプル値2に基づいて前記第2のサンプルのサンプル値を導出し得る。例えば、デコーディング装置は、前記第2のサンプルの前記サンプル値1と前記サンプル値2を加重和し、前記第2のサンプルのサンプル値を導出し得る。また、前記第2のサンプルの前記サンプル値は、前述した数式3に基づいて導出され得る。
一方、前記フィルタリングが行われる前記第1のサブブロック及び前記第2のサブブロックのサンプルの数は、スライス単位又はブロック単位で決定され得る。或いは、前記フィルタリングが行われる前記第1のサブブロック及び前記第2のサブブロックの数は、前記対象ブロックのサイズに基づいて決定され得る。例えば、前記対象ブロックのサイズが16x16サイズである場合、前記第1のサブブロック及び/又は前記第2のサブブロックのサンプルのうち、前記分割境界線の周辺の一つのサンプルに対して前記フィルタリングが適用され得る。即ち、前記対象ブロックのサイズが16x16サイズである場合、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプルに前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプルに前記フィルタリングが行われ得る。また、前記対象ブロックのサイズが16x16サイズより大きい場合、前記第1のサブブロック及び/又は前記第2のサブブロックのサンプルのうち、前記分割境界線の周辺の二つのサンプルに対して、前記フィルタリングが適用され得る。即ち、前記対象ブロックのサイズが16x16サイズより大きい場合、前記第1のサブブロックのサンプルのうち、前記第2のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの左側(又は上側)に隣接した第2のサンプルに前記フィルタリングが行われ得、前記第2のサブブロックのサンプルのうち、前記第1のサブブロックと隣接した第1のサンプル及び前記第1のサンプルの右側(又は下側)に隣接した第2のサンプルに前記フィルタリングが行われ得る。
一方、前記フィルタリングの適用可否を示す情報がSPS(sequence parameter set)、PPS(picture parameter set)、スライス、ブロックなどの単位で送信され得、前記フィルタリングの適用可否を示す情報に基づいて、前記第1のサブブロック及び前記第2のサブブロックの前記フィルタリングの適用可否が判断され得る。或いは、前記フィルタリングの適用可否を示す情報に基づいて、前記対象ブロックの前記フィルタリングの適用可否が判断され得る。
一方、デコーディング装置は、前記ビットストリームを介して前記第1のサブブロック及び前記第2のサブブロックの残差(residual)情報を獲得し得る。この場合、デコーディング装置は、前記第1のサブブロック及び前記第2のサブブロックの前記残差情報に対する一つの変換を行い、前記第1のサブブロック及び前記第2のサブブロックの残差信号を生成し得る。ここで、前記残差情報は、変換係数(transform coefficient)を示してもよい。また、前記残差信号は、残差サンプルを示してもよい。
一方、デコーディング装置は、前記ビットストリームを介して前記第1のサブブロックの残差(residual)情報及び/又は前記第2のサブブロックの残差情報を獲得し得る。デコーディング装置は、前記第1のサブブロックの前記残差情報及び前記第2のサブブロックの前記残差情報に対する別途の変換を行い、前記第1のサブブロックの残差信号及び前記第2のサブブロックの残差信号を生成し得る。
例えば、前記第1のサブブロックのサイズを含むサイズの変換カーネル(transform kernel)に基づいて、前記第1のサブブロックの前記残差情報に対する変換が行われ、前記第1のサブブロックの前記残差信号が生成され得る。ここで、前記変換カーネルは、前記第1のサブブロックのサイズを含むサイズの変換カーネルのうち最も小さいサイズの変換カーネルを示し得る。
或いは、前記第1のサブブロックの前記残差情報に対する変換が行われ、前記第1のサブブロックの前記残差信号が生成されるが、前記残差信号は、前記第2のサブブロックの領域に対して0とパディングされた信号を含み得る。この場合、前記対象ブロックのサイズの変換カーネルに基づいて前記変換が行われ得る。
或いは、前記第1のサブブロックの前記残差情報に対する変換が行われ、前記第1のサブブロックの前記残差信号が生成されるが、前記残差信号は、再配列された第1のサブブロックに含まれた残差信号であり得る。前記再配列された第1のサブブロックは、前記第1のサブブロックが長方形の形態で再配列されたブロックであり得る。
デコーディング装置は、前記第1のサブブロックの前記予測サンプル及び前記残差信号を加算して復元サンプルを生成し得、前記復元サンプルに基づいて復元ピクチャを生成し得る。また、デコーディング装置は、前記第2のサブブロックの前記予測サンプル及び前記残差信号を加算して復元サンプルを生成し得、前記復元サンプルに基づいて復元ピクチャを生成し得る。以降のデコーディング装置は、必要に応じて主観的/客観的画質を向上させるために、デブロッキングフィルタリング及び/又はSAO手続のようなインループフィルタリング手続を前記復元ピクチャに適用できることは前述した通りである。
前述した本発明によれば、GP構造を介して分割されたブロックの分割タイプに応じて、前記ブロックの空間的動き情報の候補を導出し得、これを介して、予測効率を向上させることができ、全般的なコーティング効率を向上させることができる。
また、本発明によれば、GP構造を介して分割されたブロックの分割タイプに応じて、前記ブロックの時間的動き情報の候補を導出し得、これを介して、予測効率を向上させることができ、全般的なコーティング効率を向上させることができる。
また、本発明によれば、GP構造を介して分割されたブロックの境界周辺のサンプルに対するフィルタリングを行い得、これを介して、予測の正確度を向上させることができ、全般的なコーティング効率を向上させることができる。
また、本発明によれば、GP構造を介して分割されたブロックに対する変換過程を行い得、これを介して変換効率を向上させることができ、全般的なコーティング効率を向上させることができる。
前述した実施例で、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響を与えずに削除され得ることを理解できるはずだ。
前述した本発明にかかる方法は、ソフトウェアの形態で実現され得、本発明にかかるエンコーディング装置及び/又はデコーディング装置は、例えば、TV、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
本発明で実施例がソフトウェアで実現される際、前述した方法は、前述した機能を行うモジュール(過程、機能等)で実現され得る。モジュールはメモリに保存され、プロセッサにより実行され得る。メモリはプロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ASIC(application−specific integrated circuit)、他のチップセット、論理回路及び/又はデータ処理装置を含み得る。メモリは、ROM(read−only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、保存媒体及び/又は他の保存装置を含み得る。