JP2019530345A - 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置 - Google Patents

Abstract

本発明によるインター予測方法は、現在ブロックの動きベクトルを導き出すステップと、前記動きベクトルに基づいて前記現在ブロックに対する参照ブロックを導き出すステップと、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいてＩＣパラメータを導き出すステップであって、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含む、ステップと、前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出すステップと、を含むことを特徴とする。本発明によれば、付加情報のデータ量を減らしながら効率的にインター予測性能を高めることができる。【選択図】図５

Description

本発明は、映像コーディング技術に関し、さらに詳細には、映像コーディングシステムにおける照度補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）基盤インター予測方法及び装置に関する。

最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像のような高解像度、高品質の映像に対する需要が多様な分野において増加している。映像データが高解像度、高品質になるほど従来の映像データに比べて相対的に送信される情報量またはビット量が増加するから、従来の有線／無線広帯域回線のような媒体を利用して映像データを送信するか、または従来の格納媒体を利用して映像データを格納する場合、送信費用と格納費用が増加する。

これにより、高解像度、高品質映像の情報を効果的に送信または格納し、再生するために高効率の映像圧縮技術が求められる。

本発明の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

本発明の他の技術的課題は、予測性能を高める方法及び装置を提供することにある。

本発明のさらに他の技術的課題は、照度補償基盤インター予測性能を高める方法及び装置を提供することにある。

本発明のさらに他の技術的課題は、照度補償のための付加情報のデータ量を減らしながら、前記照度補償のためのパラメータを効率的に導き出す方法を提供することにある。

本発明の一実施の形態によれば、エンコード装置によって行われるインター予測方法が提供される。前記方法は、現在ブロックに対する参照ブロックを検出するステッップと、前記現在ブロックの動きベクトルを導き出すステップと、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいてＩＣパラメータを導き出すステップであって、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含む、ステップと、前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出すステップと、予測情報をエンコードして出力するステップと、を含むことを特徴とする。

本発明の他の一実施の形態によれば、インター予測のためのエンコード装置が提供される。前記エンコード装置は、現在ブロックに対する参照ブロックを検出し、前記現在ブロックの動きベクトルを導き出し、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいてＩＣパラメータを導き出すものの、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含み、前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出す予測部と、予測情報をエンコードして出力するエントロピーエンコード部と、を含むことを特徴とする。

本発明のさらに他の一実施の形態によれば、デコード装置によって行われるインター予測方法が提供される。前記方法は、現在ブロックの動きベクトルを導き出すステップと、前記動きベクトルに基づいて前記現在ブロックに対する参照ブロックを導き出すステップと、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいてＩＣパラメータを導き出すステップであって、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含む、ステップと、前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出すステップと、を含むことを特徴とする。

本発明のさらに他の一実施の形態によれば、インター予測のためのデコード装置が提供される。前記デコード装置は、現在ブロックの動きベクトルを導き出し、前記動きベクトルに基づいて前記現在ブロックに対する参照ブロックを導き出すものの、前記参照ブロックは、参照ピクチャ内に位置し、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいてＩＣパラメータを導き出すものの、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含み、前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出す予測部と、前記参照ピクチャを格納するメモリと、を含むことを特徴とする。

本発明によれば、ブロック構造に基づいた照度補償を介して付加情報のデータ量を減らしながら効率的にインター予測性能を高めることができる。

本発明によれば、レジデュアル情報に必要なデータ量を減らすことができ、全般的なコーディング効率を上げることができる。

本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図である。 本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図である。 ＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ Ｂｉｎａｒｙ Ｔｒｅｅ）構造を介して分割されたＣＵ及び前記ＱＴＢＴ構造のシグナリング方法を例示的に示す。 照度補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＩＣ）有無に応じる予測の例を示す。 ＩＣパラメータ導出のために使用される周辺参照サンプルを示す例である。 ＩＣパラメータ導出のために使用される周辺参照サンプルを示す例である。 非正方形ブロックに対して使用されるＩＣパラメータ導出のための周辺参照サンプルの例を示す。 非正方形ブロックに対して使用されるＩＣパラメータ導出のための右上側及び左下側周辺参照サンプルを含む周辺参照サンプルの例を示す。 ＩＣパラメータ導出のための周辺サンプルの例を示す。 本発明による多様な基準に応じるＩＣ適用を例示的に示す。 本発明による映像エンコードでのインター予測方法の一例を概略的に示す。 本発明による映像デコードでのインター予測方法の一例を概略的に示す。

本発明は、多様な変更を加えることができ、様々な実施の形態を有することができるから、特定の実施の形態を図面に例示し詳細に説明しようとする。しかし、これは、本発明を特定の実施の形態に限定しようとするものではない。本明細書において使用する用語は、ただ特定の実施の形態を説明するために使用されたものであって、本発明の技術的思想を限定しようとする意図として使用されるものではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するためであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないと理解されなければならない。

一方、本発明において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に示されたものであって、各構成が互いに別のハードウェアまたは別のソフトウェアにより実装されるということを意味しない。例えば、各構成のうち、二つ以上の構成が合わせられて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施の形態も本発明の本質から逸脱しない限り本発明の権利範囲に含まれる。

以下、添付した図面を参照して、本発明の好ましい実施の形態をさらに詳細に説明しようとする。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

本明細書においてピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定時間帯の一つの映像を表す単位を意味し、スライス（ｓＩＣｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスから構成されることができ、必要によってピクチャ及びスライスは、互いに混用して使用されることができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または映像）を構成する最小の単位を意味できる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般にピクセルまたはピクセルの値を表すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値だけを表すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値だけを表すことができる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を表す。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち、少なくとも一つを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。

図１は、本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図である。

図１を参照すると、ビデオエンコード装置１００は、ピクチャ分割部１０５、予測部１１０、レジデュアル処理部１２０、加算部１４０、フィルタ部１５０及びメモリ１６０を含むことができる。レジデュアル処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５及び逆変換部１２６を含むことができる。

ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。

一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ-ｔｒｅｅ ｂｉｎａｒｙ-ｔｒｅｅ）構造に従って再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造及び／またはバイナリツリー構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えばクアッドツリー構造がまず適用され、バイナリツリー構造が後ほど適用されることができる。または、バイナリツリー構造がまず適用されることもできる。もうこれ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が行われることができる。この場合、映像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直に最終コーディングユニットとして使用されることができ、または必要によってコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。

他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からクアッドツリー構造に従って、下位（ｄｅｅｐｅｒ）デプスのコーディングユニットに分割（ｓｐｌｉｔ）されることができる。この場合、映像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直に最終コーディングユニットとして使用されることができ、または必要によってコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。最小コーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さなコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割される基盤になるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットでありうる。このとき、予測ユニットは、サブブロック（ｓｕｂ ｂｌｏｃｋ）に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造に従って分割されることができ、変換係数を誘導するユニット及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットでありうる。以下、コーディングユニットは、コーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは、予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは、変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）と呼ばれることができる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味でき、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味でき、変換係数またはレジデュアルサンプルのアレイを含むことができる。

予測部１１０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部１１０で行われる予測の単位は、コーディングブロック、変換ブロック、または予測ブロックでありうる。

予測部１１０は、現在ブロックにイントラ予測が適用されるかインター予測が適用されるかを決定できる。一例として、予測部１１０は、ＣＵ単位としてイントラ予測またはインター予測が適用されるかを決定できる。

イントラ予測の場合に、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。このとき、予測部１１０は、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）あるいはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導でき、（ｉｉ）現在ブロックの周辺参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて、前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性モードまたは非角度モード、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。イントラ予測において予測モードは、例えば３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

インター予測の場合に、予測部１１０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導できる。スキップモードとマージモードの場合に、予測部１１０は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原サンプル間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して、現在ブロックの動きベクトル予測子として利用して、現在ブロックの動きベクトルを誘導できる。

インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、（エントロピー）エンコードされてビットストリーム形態で出力されることができる。

スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差に基づいて整列されることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。

減算部１２１は、原サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述のように、レジデュアルサンプルを生成しないことがある。

変換部１２２は、変換ブロック単位でレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードに応じて変換を行うことができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４のレジデュアルアレイ（ａｒｒａｙ）であると、レジデュアルサンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換され、その他の場合であると、レジデュアルサンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換できる。

量子化部１２３は、変換係数を量子化して、量子化された変換係数を生成できる。

再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別の構成として説明したが、再整列部１２４は、量子化部１２３の一部でありうる。

エントロピーエンコード部１３０は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードは、例えば指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ-ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ-ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコード方法を含むことができる。エントロピーエンコード部１３０は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別にエンコードすることもできる。エントロピーエンコードされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。

逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換して、レジデュアルサンプルを生成する。

加算部１４０は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位で加えられて復元ブロックが生成されることができる。ここで、加算部１４０は、別の構成として説明したが、加算部１４０は、予測部１１０の一部でありうる。一方、加算部１４０は、復元部または復元ブロック生成部と呼ばれることもできる。

復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅａｄ ａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用できる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されることができる。サンプル適応的オフセットは、サンプル単位で適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。

メモリ１６０は、復元ピクチャ（デコードされたピクチャ）またはエンコード／デコードに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部１５０によってフィルタリング手順が完了した復元ピクチャでありうる。前記格納された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使用される（参照）ピクチャを格納することができる。このとき、インター予測に使用されるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）あるいは参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。

図２は、本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図である。

図２を参照すると、ビデオデコード装置２００は、エントロピーデコード部２１０、レジデュアル処理部２２０、予測部２３０、加算部２４０、フィルタ部２５０及びメモリ２６０を含むことができる。ここで、レジデュアル処理部２２０は、再整列部２２１、逆量子化部２２２、逆変換部２２３を含むことができる。

ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置２００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元できる。

例えば、ビデオデコード装置２００は、ビデオエンコード装置で適用された処理ユニットを利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットでありうる。コーディングユニットは、最大コーディングユニットからクアッドツリー構造及び／またはバイナリツリー構造に従って分割されることができる。

予測ユニット及び変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットでありうる。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造に従って分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットでありうる。

エントロピーデコード部２１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。

さらに詳細に述べると、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報あるいは以前のステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルに応じてビン（ｂｉｎ）の発生確率を予測して、ビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って各構文要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後に次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して、文脈モデルをアップデートできる。

エントロピーデコード部２１０においてデコードされた情報のうち、予測に関する情報は、予測部２３０に提供され、エントロピーデコード部２１０においてエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数は、再整列部２２１に入力されることができる。

再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。ここで、再整列部２２１は、別の構成として説明したが、再整列部２２１は、逆量子化部２２２の一部でありうる。

逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力できる。このとき、量子化パラメータを誘導するための情報は、エンコード装置からシグナリングされることができる。

逆変換部２２３は、変換係数を逆変換してレジデュアルサンプルを誘導できる。

予測部２３０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部２３０で行われる予測の単位は、コーディングブロック、変換ブロック、または予測ブロックでありうる。

予測部２３０は、前記予測に関する情報に基づいて、イントラ予測を適用するかインター予測を適用するかを決定できる。このとき、イントラ予測とインター予測のうち、どれを適用するかを決定する単位と予測サンプルを生成する単位は、互いに異なることができる。なお、インター予測とイントラ予測において、予測サンプルを生成する単位もまた互いに異なることができる。例えば、インター予測とイントラ予測のうち、どれを適用するかは、ＣＵ単位で決定できる。また、例えば、インター予測においてＰＵ単位で予測モードを決定し予測サンプルを生成でき、イントラ予測においてＰＵ単位で予測モードを決定しＴＵ単位で予測サンプルを生成することもできる。

イントラ予測の場合に、予測部２３０は、現在ピクチャ内の周辺参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。予測部２３０は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを誘導できる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。

インター予測の場合に、予測部２３０は、参照ピクチャ上において動きベクトルにより参照ピクチャ上において特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。予測部２３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導できる。このとき、ビデオエンコード装置から提供された現在ブロックのインター予測に必要な動き情報、例えば動きベクトル、参照ピクチャインデックスなどに関する情報は、前記予測に関する情報に基づいて獲得または誘導されることができる。

スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。

予測部２３０は、利用可能な周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。

スキップモードの場合、マージモードとは異なり、予測サンプルと原サンプルとの間の差（レジデュアル）が送信されない。

ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して、現在ブロックの動きベクトルが誘導されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。

一例として、マージモードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルを利用して、マージ候補リストが生成されることができる。マージモードでは、マージ候補リストにおいて選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使用される。前記予測に関する情報は、前記マージ候補リストに含まれた候補ブロックのうち選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、前記マージインデックスを利用して、現在ブロックの動きベクトルを導き出すことができる。

他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルを利用して、動きベクトル予測子候補リストが生成されることができる。すなわち、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使用されることができる。前記予測に関する情報は、前記リストに含まれた動きベクトル候補のうち選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、前記動きベクトルインデックスを利用して、動きベクトル候補リストに含まれた動きベクトル候補のうち、現在ブロックの予測動きベクトルを選択できる。エンコード装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子間の動きベクトルの差分（ＭＶＤ）を求めることができ、これをエンコードしてビットストリーム形態で出力できる。すなわち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値で求めることができる。このとき、予測部２３０は、前記予測に関する情報に含まれた動きベクトルの差分を獲得し、前記動きベクトルの差分と前記動きベクトル予測字の加算を介して、現在ブロックの前記動きベクトルを導き出すことができる。予測部は、また参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から獲得または誘導できる。

加算部２４０は、レジデュアルサンプルと予測サンプルを足して現在ブロックあるいは現在ピクチャを復元できる。加算部２４０は、レジデュアルサンプルと予測サンプルをブロック単位で足して、現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが送信されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部２４０を別の構成として説明したが、加算部２４０は、予測部２３０の一部でありうる。一方、加算部２４０は、復元部または復元ブロック生成部と呼ばれることもできる。

フィルタ部２５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び／またはＡＬＦなどを適用できる。このとき、サンプル適応的オフセットは、サンプル単位で適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応的オフセット以後に適用されることもできる。

メモリ２６０は、復元ピクチャ（デコードされたピクチャ）またはデコードに必要な情報を格納することができる。ここで復元ピクチャは、前記フィルタ部２５０によってフィルタリング手順が完了した復元ピクチャでありうる。例えば、メモリ２６０は、インター予測に使用されるピクチャを格納することができる。このとき、インター予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序にしたがって出力することもできる。

入力されたピクチャに対するコーディングが行われる場合、一つの処理ユニットに基づいて前記コーディングが行われることができる。前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）で表すことができる。一方、前記ピクチャ内の類似の情報を含む領域単位でコーディングが行われるほど、変換効率が向上することができ、これを通じて全般的なコーディング効率が向上することができる。また、前記ピクチャ内の類似の情報を含む領域単位でコーディングが行われるほど、予測正確度が向上することができ、これを通じて全般的なコーディング効率が向上することができる。しかしながら、クアッドツリー（ｑｕａｄｔｒｅｅ、ＱＴ）構造だけが適用されて、前記ピクチャが正方形のＣＵだけに分割される場合、前記ＣＵが正確に類似の情報だけを含むように分割することには限界がありうる。このような場合、前記ピクチャを前記特定オブジェクトを表す情報を含む非正方形ＣＵに分割されるようにすることがよりコーディング効率を向上させることができる。

図３は、ＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ Ｂｉｎａｒｙ Ｔｒｅｅ）構造を介して分割されたＣＵ及び前記ＱＴＢＴ構造のシグナリング方法を例示的に示す。

前記ＱＴＢＴ構造は、ＣＵ（またはＣＴＵ）がＱＴ構造を介して分割され、バイナリツリー（ｂｉｎａｒｙ ｔｒｅｅ、ＢＴ）構造を介して分割される構造を表すことができる。すなわち、前記ＱＴＢＴは、前記ＱＴ構造と前記ＢＴ構造が結合された形態で構成された分割構造を表すことができ、ピクチャがＣＴＵ単位でコーディングされる場合、ＣＴＵは、前記ＱＴ構造を介して分割されることができ、前記ＱＴ構造のリーフノード（ｌｅａｆ ｎｏｄｅ）は、追加的にＢＴ構造を介して分割されることができる。ここで、前記リーフノードは、前記ＱＴ構造においてもうこれ以上分割されないＣＵを表すことができ、前記リーフノードは、末端ノードと呼ばれることもできる。また、前記ＱＴ構造は、２Ｎｘ２ＮサイズのＣＵ（またはＣＴＵ）が４個のＮｘＮサイズのサブＣＵに分割される構造を表すことができ、前記ＢＴ構造は、２Ｎｘ２ＮサイズのＣＵが２個のＮｘ２Ｎ（またはｎＬｘ２Ｎ、ｎＲｘ２Ｎ）サイズのサブＣＵまたは２個の２ＮｘＮ（または２ＮｘｎＵ、２ＮｘｎＤ）サイズのサブＣＵに分割される構造を表すことができる。図３の（ａ）を参照すると、ＣＵは、ＱＴ構造を介して下位デプス（ｄｅｐｔｈ）の正方形ＣＵに分割されることができ、追加的に前記正方形ＣＵのうち、特定ＣＵは、ＢＴ構造を介して下位デプスの非正方形ＣＵに分割されることができる。

図３の（ｂ）は、前記ＱＴＢＴ構造のシンタックスシグナリングの一例を示すことができる。図３の（ｂ）に示す実線は、ＱＴ構造を表すことができ、点線は、ＢＴ構造を表すことができる。また、上から下へ行くほど、上位デプス（ｄｅｐｔｈ）で下位（ｄｅｅｐｅｒ）デプスのＣＵに対するシンタックスを表すことができる。また、左から右への方向へ左上側、右上側、左下側、右下側ＣＵに対するシンタックスを表すことができる。具体的に、最も上の数字は、ｎデプスのＣＵに対するシンタックスを表すことができ、上から２番目の位置の数字は、ｎ＋１デプスのＣＵ、上から３番目の位置の数字は、ｎ＋２デプスのＣＵ、上から４番目の位置の数字は、ｎ＋３デプスのＣＵに対するシンタックスを表すことができる。また、ボールド体で表示された数字は、ＱＴ構造に対するシンタックスの値を表すことができ、ボールド体で表示されない数字は、ＢＴ構造に対するシンタックスの値を表すことができる。

図３の（ｂ）を参照すると、ＣＵが前記ＱＴ構造を介して分割されるかどうかを表すＱＴ分割フラッグが送信されることができる。すなわち、前記２Ｎｘ２ＮサイズのＣＵが４個のＮｘＮサイズのサブＣＵに分割されるかどうかを表すフラッグが送信されることができる。例えば、前記ＣＵに対する前記ＱＴ分割フラッグの値が１の場合、前記ＣＵは、４個のサブＣＵに分割されることができ、前記ＣＵに対する前記ＱＴ分割フラッグの値が０の場合、前記ＣＵは、分割されないことができる。また、入力映像に対する前記ＱＴ構造を調節するために、前記ＱＴ構造での最大ＣＵサイズ、最小ＣＵサイズ、最大デプスなどに対する情報が送信されることができる。上述のＱＴ構造に対する情報は、スライスタイプの各々に対して送信されることができ、または映像成分（輝度成分、彩度成分等）の各々に対して送信されることができる。一方、ＢＴ構造に対する情報は、ＱＴ構造においてもうこれ以上分割されない末端ノードに対して送信されることができる。すなわち、前記ＱＴ構造において末端ノードに該当するＣＵに対する前記ＢＴ構造に対する情報が送信されることができる。ここで、前記ＢＴ構造に対する情報を含む情報は、追加分割情報と呼ばれることができる。例えば、前記ＣＵの前記ＢＴ構造を介して分割するかどうか、すなわち、前記ＣＵに対する前記ＢＴ構造の適用有無を表すＢＴ分割フラッグが送信されることができる。具体的に、前記ＢＴ分割フラッグに対する値が１の場合、前記ＣＵは、２個のサブＣＵに分割されることができ、前記ＢＴ分割フラッグに対する値が０の場合、前記ＣＵは分割されないことができる。また、入力映像に対する前記ＢＴ構造を調節するために、ＢＴ構造での最大ＣＵサイズ、最小ＣＵサイズ、最大デプスなどに対する情報が送信されることができる。上述のＢＴ構造に対する情報は、スライスタイプの各々に対して送信されることができ、または映像成分の各々に対して送信されることができる。前記ＣＵが前記ＢＴ構造を介して分割される場合、前記ＣＵは、横または縦方向に分割されることができる。前記ＣＵがどんな方向に分割されているか、すなわち、前記ＣＵの分割タイプを表すＢＴ分割モードインデックスがさらに送信されることができる。

一方、上述のようにインター予測が行われる場合、現在ブロックに対する予測サンプルを含む予測されたブロックを生成できる。ここで、前記予測されたブロックは、空間ドメイン（またはピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同様に導出され、前記エンコード装置は、原ブロックの原サンプル値自体でない前記原ブロックと前記予測されたブロック間のレジデュアルに対する情報（レジデュアル情報）をデコード装置にシグナリングすることによって、映像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導き出し、前記レジデュアルブロックと前記予測されたブロックを合せて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成できる。

一方、映像内に光源または影が存在する場合、その影響を受ける領域に局地的（ｌｏｃａｌ）照度変化が発生する。この場合、ブロック内のオブジェクトに対する予測を行うにおいて、現在ピクチャの現在ブロックと参照ピクチャの参照ブロック間の照度の差によって、予測の性能が減少する。これは、ビデオエンコード／デコード過程において使用される一般的な動き推定（ｅｓｔｉｍａｔｉｏｎ）／補償（ｃｏｍｐｅｎｓａｔｉｏｎ）アルゴリズムによれば、このような局地的照度変化を補償できないためである。これに対し、このような局地的照度変化を補償する場合、より正確な予測を行うことができる。

図４は、照度補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＩＣ）有無に応じる予測の例を示す。

図４の（ａ）において、（インター）予測の対象になる現在ピクチャの現在ブロック４２０に比べて、対応する参照ピクチャのブロック４１０は、光源によって局地的に高い照度を有することができる。これは、現在ピクチャの参照ピクチャ間の時間的な差、現在ピクチャのオブジェクトの位置及び参照ピクチャのオブジェクトの位置の間の差、及び／または参照ブロックと現在ブロックの位置の差などによって発生できる。この場合、エンコーダは、ＲＤ（ｒａｔｅ-ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて前記ブロック４１０をインター予測のための参照ブロックとして使用することもでき、あるいは場合によってその周辺の他のブロックを参照ブロックとして使用することもできる。ただし、この場合、予測の効率が低下しレジデュアル信号に多くのデータが割り当てられなければならないという問題点がある。

一方、（ｂ）のように、本発明による照度補償を適用して補償された参照ブロック４３０に基づいて、現在ブロック４４０を予測して予測の効率を上げることができ、この場合、予測された現在ブロックと原ブロック間のレジデュアルが減少して、レジデュアル信号に割り当てられるデータが減ってコーディング効率が向上することができる。このように参照ブロックの照度を補償して予測の効率を上げる方法は、局地的照度補償（ｌｏｃａｔｉｏｎ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＬＩＣ）と呼ばれることができる。ＬＩＣは、ＩＣ（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）と混用されることもできる。

ＩＣのための付加情報として、ＩＣを適用するかどうかを表すためのＩＣフラッグ、及びＩＣを適用するためのＩＣパラメータが使用されることができる。ＩＣパラメータは、後述するようにスケーリングファクタ（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）ａ及びオフセットｂを含むことができる。ＩＣの効率を上げるためには、ＩＣのための付加情報を最小化しながら予測性能を高めることが重要である。例えば、付加情報を最小化するために、特定サイズのＣＵまたは２Ｎｘ２Ｎのパーティションタイプを有するＰＵに対して制限的に適用することのように、ブロックサイズまたはパーティションタイプを考慮してＩＣを適用するかどうかを決定することもできる。また、上述のようにＱＴＢＴ構造が使用される場合、ＣＵ、ＰＵ、ＴＵの区分なしで多様なサイズのＣＵが使用されうるから、該当構造に適合するようにＩＣを適用して予測の正確度を上げることができる。

ＩＣは、線形モデルを基盤として、例えば次のような数式１に基づくことができる。

ここで、ＩＣパラメータであるａ及びｂは、それぞれスケーリングファクタ及びオフセットを表し、ｘ及びｙは、それぞれＩＣパラメータを導き出すために使用される参照ブロックの周辺参照サンプル値及び現在ブロックの周辺参照サンプル値を表す。または、ｘ及びｙは、それぞれＩＣパラメータを導き出すために使用される参照ブロック内の参照サンプル値及び現在ブロックに対応する原（ｏｒｉｇｉｎａｌ）ピクチャ内の原ブロックのサンプル値を表すこともできる。前記参照ブロックは、前記現在ブロックの動きベクトルに基づいて指示されることができる。前記ＩＣパラメータ導出過程では、前記数式１の両辺の差をエラー（Ｅ）と見なすことができ、前記エラーを最小化させる条件を満たすＩＣパラメータａ、ｂを求めて、前記参照ブロックに適用できる。すなわち、ＩＣパラメータが導き出された後には、前記参照ブロックの参照サンプルにサンプル単位でスケーリングファクタ及びオフセットを適用して修正された（照度補償された）参照サンプルを導き出すことができる。

前記数式１において求めようとするＩＣパラメータａ、ｂは、結局両辺のエラーを最小化する値であるから、ＩＣパラメータを求めるための数式は、次のように表されることができる。

ここで、Ｅ（ａ，ｂ）は、エラーを最小化するａ、ｂ値を表し、ここでｉは、各サンプルのインデックシングを、λ（ラムダ）は、制御パラメータ（ｃｏｎｔｒｏｌ ｐａｒａｍｅｔｅｒ）を表す。前記λは、予め決まることができ、または例えば、ｘに基づいて導き出されることができる。一例として、

のように導き出されることができ、他の例としてλが０に設定されて前記数式２の後段は、省略されることもできる。これは、後述する数式においても同じである。

前記数式２を定理すると、次の通りに表すことができる。

前記数式３に基づいて、前記ＩＣパラメータａ、ｂは、次のように導き出されることができる。

前記数式４中、Ｎは、正規化パラメータ（ｎｏｒｍａｌｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を表す。ここで、Ｎは、前記数式３の

部分から導き出されることができる。例えば、Ｎは、現在ブロック（または参照ブロック）のサイズに基づいて決定されることができ、例えば、該当ブロックの幅＊広さまたは幅＋広さのような値になることができる。または、該当ブロックの幅または広さ＋ｎのような値などになることができる。

前記ＩＣパラメータを導き出すために、上述のように１）参照ブロック内の参照サンプル及び現在ブロックに対応する原（ｏｒｉｇｉｎａｌ）ピクチャ内の原ブロックのサンプルが使用されることができ、または２）前記参照ブロックの周辺参照サンプル及び前記現在ブロックの周辺参照サンプルが使用されることもできる。

前記１）のように、参照ブロック内の参照サンプル及び現在ブロックに対応する原ピクチャ内の原ブロックのサンプルに基づいて、前記ＩＣパラメータを求める場合、相対的に正確なパラメータを求めることができる。ただし、デコーダ段では、原ピクチャを獲得できないので、エンコーダ段において前記ＩＣパラメータを求めた後、前記デコーダ段にシグナリングしなければならないから、付加情報のデータ量が増える。

一方、前記２）のように前記参照ブロックの周辺参照サンプル及び前記現在ブロックの周辺参照サンプルに基づいて前記ＩＣパラメータを求める場合、この場合、周辺サンプルの関係を利用して求めたＩＣパラメータを利用するので、前記１）の場合より相対的にＩＣパラメータの正確度が低くなることができるが、デコーダ側面では、エンコーダからＩＣパラメータ（すなわち、ａ及びｂ）を明示的に受信しなくても、直接該当パラメータを求めることができるから、コーディング効率の側面において長所がある。

本発明によれば、前記参照ブロックの周辺参照サンプル及び前記現在ブロックの周辺参照サンプルに基づいて前記ＩＣパラメータを求める場合、具体的に次のような周辺サンプルが使用されることができる。

図５は、ＩＣパラメータ導出のために使用される周辺参照サンプルを示す例である。

図５の（ａ）では、現在ブロック５００の左側／上側周辺サンプル及び参照ブロック５１０の左側／上側周辺サンプルが１サンプル単位（１ｓｔｅｐ）で周辺参照サンプルとして使用される場合を示す。現在ブロック５００の左上段（ｔｏｐ-ｌｅｆｔ）サンプル位置を（０，０）とするとき、前記左側周辺サンプルの位置は、（-１，０），…，（-１，Ｈ-１）を含むことができ、前記上側周辺サンプルの位置は、（０，-１），…，（Ｗ-１，-１）を含むことができる。ここで、Ｈ及びＷは、前記現在ブロックの高さ及び幅を表すことができる。（ａ）では、前記現在ブロック５００の左側／上側境界に隣接した周辺サンプル及び前記参照ブロック５１０の左側／上側境界に隣接した周辺サンプルが全部周辺参照サンプルとして使用されることができる。

図５の（ｂ）では、現在ブロック５５０の左側／上側周辺サンプル及び参照ブロック５６０の左側／上側周辺サンプルが２サンプル単位（２ｓｔｅｐ）で周辺参照サンプルとして使用される場合を示す。（ｂ）では、前記現在ブロック５５０の左側／上側境界に隣接した周辺サンプル及び前記参照ブロック５５０の左側／上側境界に隣接した周辺サンプルが２サンプル単位でサブサンプリング（ｓｕｂ-ｓａｍｐｌｉｎｇ）されて、周辺参照サンプルとして使用されることができる。

一例として、前記（ａ）及び（ｂ）の区分は、現在ブロックのサイズ（または幅／高さ）に基づいて決定されることができる。例えば、該当ブロックのサイズが８×８より小さいか、または同じである場合、周辺サンプルが１サンプル単位として使用されることができ、該当ブロックのサイズが８×８より大きな場合、周辺サンプルが２サンプル単位として使用されることができる。このようにブロックサイズ（または幅／高さ）に基づいてＩＣパラメータ導出のために使用される周辺サンプルのステップ（ｓｔｅｐ）を適応的に決定することによって、ＩＣ性能を維持しながら複雑度を減少させることができる。たとえ前記（ｂ）では２ステップに基づいて説明したが、これは例示に過ぎず、２より大きな値のステップが適用されることができる。または、左側周辺サンプルに適用されるステップサイズと上側周辺サンプルに適用されるステップサイズが異なりうる。前記ステップサイズは、サブサンプリングファクタで表されることができる。

一方、ＱＴＢＴ構造が適用される場合、現在ピクチャのコーディングのために多様な割合の非正方形ブロックが使用されることができ、例えば、次の表のようなサイズのブロックが使用されることができる。

ブロックの種類は、ＱｕａｄＴｒｅｅの最小サイズ（ｍｉｎ）、最大サイズ（ｍａｘ）、デプス（ｄｅｐｔｈ）、ＢｉｎａｒｙＴｒｅｅの最小サイズ（ｍｉｎ）、最大サイズ（ｍａｘ）、デプス（ｄｅｐｔｈ）によって変わることができる。

非正方形ブロックを考慮して、より効率的にＩＣパラメータを導き出すために、例えば次のような周辺参照サンプルが使用されることができる。

図６は、ＩＣパラメータ導出のために使用される周辺参照サンプルを示す例である。

図６を参照すると、現在ブロックの幅と高さが異なる場合、左側と上側に対するステップサイズが異なるように設定されることができる。この場合、幅及び／または高さの大きさに基づいてステップサイズを設定できる。この場合、一例として、ＩＣパラメータ導出のために使用される左側周辺参照サンプルの数と上側周辺参照サンプルの数が同じく導き出されることができる。

例えば、ブロックの幅と高さが異なる場合、ｍｉｎ（幅、高さ）＞８であると、２ステップ、その他の場合、１ステップに基準ステップを決め、幅が高さより大きな場合、（幅／高さ）の割合で、その反対の場合、（高さ／幅）の割合で基準ステップを調整することができる。例えば、幅が高さより大きな場合、上側ステップに対して、前記基準ステップを（幅／高さ）の割合で増やすことができ、幅が高さより小さな場合、左側ステップに対して、前記基準ステップを（高さ／幅）の割合で増やすことができる。具体的に、例えば、（ａ）に示すように、基準ステップが１ステップで、ブロックの幅が８、高さが４の場合、左側ステップに対しては、基準ステップを適用し、上側ステップに対しては、基準ステップを（８／４）の割合で増やした２ステップが適用されることができる。また、例えば、（ｂ）に示すように、基準ステップが２ステップで、ブロックの幅が８、高さが４の場合、左側ステップに対しては、基準ステップを適用し、上側ステップに対しては、基準ステップを（８／４）の割合で増やした４ステップが適用されることができる。また、例えば、（ｃ）に示すように、基準ステップが１ステップで、ブロックの幅が８、高さが２の場合、左側ステップに対しては、基準ステップを適用し、上側ステップに対しては、基準ステップを（８／２）の割合で増やした４ステップが適用されることができる。また、例えば、（ｄ）に示すように、基準ステップが２ステップで、ブロックの幅が８、高さが２の場合、左側ステップに対しては、基準ステップを適用し、上側ステップに対しては、基準ステップを（８／２）の割合で増やした８ステップが適用されることができる。

具体的な例として、非正方形ブロックのサイズ、幅及び高さを考慮した左側／上側ステップのサイズは、次のように導き出されることができる。

表２を参照すると、８×１６ブロックの場合、幅に対するステップ（すなわち、上側ステップ；ステップＸ）は１、高さに対するステップ（すなわち、左側ステップ；ステップＹ）は２になって、合計１６個のサンプルを使用してＩＣパラメータが導き出されることができる。ここで、ステップＹは、ステップＸ＊１６／８に計算されることができる。１６×３２ブロックの場合、ステップＸは２、ステップＹは４（ステップＸ＊３２／１６）になって、合計１６個のサンプルを使用してＩＣパラメータが導き出されることができる。１６×６２ブロックの場合、ステップＸは２、ステップＹは８（ステップＸ＊６４／８）になって、合計１６個のサンプルを使用してＩＣパラメータが導き出されることができる。前記のような方法によれば、現在ブロックが非正方形である場合にも、効率的にＩＣパラメータ導出のための周辺サンプルを導き出すことができる。

一方、この場合、ブロックサイズによって特定面（左側または上側）に対しては、少ない数の参照サンプルだけが使用されてパラメータが計算されるので、ＩＣパラメータの正確度が低くなることができ、次のような方法により改善されることができる。

上述のマージモード及びＭＶＰモードにおいて表されたように、周辺ブロックの動きベクトルが現在ブロックの動きベクトル導出のために使用され、前記周辺ブロックは、現在ブロックの左側、上側に位置したブロックだけでなく、現在ブロックの左下側、右上側、左上側に位置したブロックが考慮されることができる。これは、前記現在ブロックの左側、上側ブロックだけでなく、左下側、右上側、左上側ブロックもまた、現在ブロックに対する高い関連性を有することができることを表す。すなわち、左側、上側に隣接した周辺サンプルだけでなく、左下側、右上側、左上側周辺サンプルもまた現在ブロックに対する照度変化を反映できる。したがって、ＱＴＢＴ構造が適用される場合、現在ブロックに隣接した左側周辺サンプル及び上側周辺サンプルだけでなく、その延長線に位置した左下側、右上側及び／または左上側周辺サンプルをさらに使用することによって、ＩＣパラメータの正確性を高めることができる。

図７は、非正方形ブロックに対して使用されるＩＣパラメータ導出のための周辺参照サンプルの例を示す。

図７を参照すると、ブロックの幅と高さが異なる場合、ブロックに隣接した左側周辺サンプル及び上側周辺サンプルだけでなく、ｍａｘ（幅、高さ）長さ分ほど延長線に置かれた左下側周辺サンプルまたは右上側周辺サンプルが周辺参照サンプルとしてさらに使用されることができる。この場合、ｍａｘ（幅、高さ）の値を有する正方形サイズで周辺参照サンプルが延びることができる。

この場合にも、上述したステップサイズに応じてサブサンプリングされたサンプルが使用されることができる。例えば、図７では、ステップＸ及びステップＹが２の場合を例示的に示しており、ただし、ステップサイズは、１、２、４、８等ブロックのサイズ、幅及び／または高さによって多様に設定されることができ、ステップＸ及びステップＹに対して異なって設定されうることは、上述のとおりである。

一方、図７では、幅及び高さのうち、より短い方向に対して周辺参照サンプルを延長して使用する例を説明したが、左側及び上側周辺サンプルを左下側及び右上側周辺参照サンプルまで延長して使用することもできる。

図８は、非正方形ブロックに対して使用されるＩＣパラメータ導出のための右上側及び左下側周辺参照サンプルを含む周辺参照サンプルの例を示す。

図８を参照すると、ブロックの幅と高さが異なる場合、幅及び高さの両方を延長して延長線に置かれた（左下側／右上側）周辺参照サンプルをさらに使用する方法を示す例である。この場合、延びて使用されるサンプルの数は、多様な方法で設定されることができ、例えば幅及び高さの割合またはｍｉｎ（幅、高さ）に基づいて決定されることができる。

例えば、図８の（ａ）において、ブロックの幅は８、高さは４であるから、幅と高さの割合が２の場合であり、この場合、ｍｉｎ（幅、高さ）の半分である２ほど延長できる。すなわち、ＩＣパラメータ導出のために、２個の左下側周辺参照サンプル及び２個の右上側周辺参照サンプルがさらに使用されることができる。また、例えば、ブロックの幅及び高さの比が４または８の場合には、図８の（ｂ）のように、ＩＣパラメータ導出のための左側周辺参照サンプル及び上側周辺参照サンプルの割合が２になるようにステップを調整した後、幅及び高さを延長できる。２ほど延長する場合、ＩＣパラメータ導出のために２個の左下側周辺参照サンプル及び２個の右上側周辺参照サンプルがさらに使用されることができる。図８では、左、上段の延長周辺参照サンプル数を同様に適用したが、これは例示に過ぎず、ブロックの模様によって左、上段の延長サンプル数が変わることができる。

一方、非正方形ブロックに対してＩＣパラメータ導出のために、左側または上側の少ない数の参照サンプルが使用される場合、これは、むしろエラー成分として作用してＩＣパラメータの正確度を下げることもできる。したがって、ブロックの左側及び上側周辺参照サンプルを利用する代わりに、ブロックの模様によって左側または上側周辺参照サンプルだけを使用することができる。

図９は、ＩＣパラメータ導出のための周辺サンプルの例を示す。

図９を参照すると、正方形ブロックに対しては、左側及び上側周辺参照サンプルを使用してＩＣパラメータを導き出すことができ、幅＞高さであるブロックの場合、上側周辺参照サンプルを使用してＩＣパラメータを導き出すことができ、幅＜高さであるブロックの場合、左側周辺参照サンプルを使用してＩＣパラメータを導き出すことができる。これを通じてブロックの左側または上側との関連性が高い場合に、関連性が低い面のサンプルを考慮せずにＩＣパラメータを導き出すことができる。このような方法は、ブロックのサイズ及び模様によって制限的に適用されることができ、左側及び／または上側ステップ数を調整して行われることもできる。

一方、現在ブロックに対してＩＣが適用されるかどうかは、ＩＣフラッグに基づいて決定されることができる。ＩＣフラッグは、ＩＣが利用可能な（ｅｎａｂｌｅ）ブロックに対して送信されることがあり、この場合、ブロックのサイズ及び／またはブロックの幅、高さ、大きさまたは割合に応じて、ＩＣが利用可能かどうか決定されることがある。例えば、ブロックのサイズが１６×１６より小さな場合、ＩＣが利用可能でないことがある。または、ブロックの模様が非正方形である場合に、ＩＣが利用可能でないことがある。またはブロックの模様が２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎである場合においてのみＩＣが利用可能であり、その他の場合には、利用可能でないことがある。または、ブロックの模様が２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×Ｎ／２、Ｎ／２×２Ｎである場合においてのみＩＣが利用可能であり、その他の場合には、利用可能でないことがある。あるいは、ブロックのサイズとブロックの模様に応じて、限定的にＩＣフラッグが送信されることができる。ここで、現在ブロックは、ＱＴＢＴ構造に応じるＣＵに対応でき、Ｎは、横、縦比を表すために使用されており、 ＱＴＢＴ構造が適用されない場合に使用されるＰＵのパーティションタイプ（モード）を表さない。また、ＱＴＢＴのＱｕａｄＴｒｅｅのリーフノードのブロックに対してのみＩＣを適用するかどうかを決定し（すなわち、ＩＣフラッグ送信）、または該当ブロックが正方形ブロックであるときにおいてのみＩＣを適用することも可能である。

図１０は、本発明による多様な基準に応じるＩＣ適用を例示的に示す。図１０において開示された動作は、コーディング装置によって行われることができ、コーディング装置は、エンコード装置及びデコード装置を含むことができる。

図１０を参照すると、コーディング装置は、ＩＣ条件をチェックする（Ｓ１０００）。コーディング装置は、本発明で上述の多様な条件を考慮して適応的に参照周辺サンプルを導き出し（Ｓ１０１０）、これに基づいてＩＣパラメータ（Ｓ１０２０）を計算できる。

ｉ）例えば、コーディング装置は、現在ブロックの幅（Ｗ）と高さ（Ｈ）が同じ場合、ブロックのサイズに応じてステップサイズを決定することができる。すなわち、Ｗ（＝Ｈ）が１６より大きなときには、幅、高さのステップサイズであるステップＸ、ステップＹをそれぞれ２に設定し、ｉｉ）Ｗ（＝Ｈ）が１６より小さなときには、ステップＸ、ステップＹをそれぞれ１に設定して、周辺参照サンプルを導き出すことができる。

一方、ｉｉｉ）コーディング装置は、幅と高さが異なる場合、仮に幅と高さの割合が２（例：８×４、１６×８、３２×１６等）である場合、幅方向と高さ方向の参照サンプルの数が同一なように、ステップＸは２に、ステップＹは１に設定でき、または高さと幅の割合が２（例：４×８、８×１６、１６×３２等）である場合、幅方向と高さ方向の参照サンプルの数が同一なように、ステップＸは１に、ステップＹは２に設定できる。ｉｖ）仮に幅と高さの割合が４（例：１６×４、３２×８等）である場合、ステップＸは２に、ステップＹは１に設定でき、または仮に高さと幅の割合が４（例：４×１６、８×３２等）である場合、ステップＸは１に、ステップＹは２に設定できる。この場合、図８において上述したように左下側周辺参照サンプル及び右上側周辺参照サンプルを含むように、周辺参照サンプルを拡張できる。

コーディング装置は、前記計算されたＩＣパラメータを利用してＩＣを適用する（Ｓ１０３０）。コーディング装置は、前記計算されたＩＣパラメータに基づいてＩＣを適用して、照度補償された予測サンプルを含む予測されたブロックを導き出すことができる。

図１１は、本発明による映像エンコードでのインター予測方法の一例を概略的に示す。図１１において開示された方法は、図１において開示されたエンコード装置によって行われることができる。具体的に例えば、図１１のＳ１１１０ないしＳ１１３０は、前記エンコード装置の予測部、Ｓ１１４０は、前記エンコード装置のエントロピーエンコード部によって行われることができる。

図１１を参照すると、エンコード装置は、現在ブロックに対する参照ブロックを検出する（Ｓ１１００）。エンコード装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を通じて参照ピクチャ上において最適なＲＤ（ｒａｔｅ-ｄｉｓｔｏｒｔｉｏｎ）コストを有する参照ブロックをさがすことができる。

エンコード装置は、現在ブロックの動きベクトルを導き出す（Ｓ１１１０）。エンコード装置は、前記現在ブロックの位置及び前記参照ブロックの位置に基づいて、前記参照ブロックを指す前記動きベクトルを導き出すことができる。前記動きベクトルは、現在ブロックのインター予測モード（例：マージモード、ＭＶＰモード）に応じて定義された手順に従ってデコード装置にシグナリングされることができる。

エンコード装置は、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルを導き出し、前記第１周辺参照サンプル及び前記第２周辺参照サンプルを利用して、ＩＣパラメータを導き出す（Ｓ１１２０）。前記ＩＣパラメータは、上述のスケーリングファクタａ及びオフセットｂを含むことができる。前記ＩＣパラメータは、上述の数式１ないし５に基づいて計算されることができる。前記第１周辺参照サンプル及び前記第２周辺参照サンプルは、図５ないし図９において上述したサンプルを含むことができる。

一例として、前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプル及び前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの左側境界に隣接する第２左側周辺参照サンプル及び前記現在ブロックの上側境界に隣接する第２上側周辺参照サンプルを含むことができる。この場合、前記第１左側周辺参照サンプルまたは前記第１上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルであり、前記第２左側周辺参照サンプルまたは前記第２上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルでありうる。また、前記現在ブロックは、非正方形ブロックであり、前記第１左側周辺参照サンプルに対する第１ステップサイズは、前記第１上側周辺参照サンプルに対する第２ステップサイズと異なり、前記第１ステップサイズは、前記第２左側周辺参照サンプルに対するステップサイズと同一で、前記第２ステップサイズは、前記第２上側周辺参照サンプルに対するステップサイズと同一でありうる。この場合、前記第１左側周辺参照サンプルの数と前記第１上側周辺参照サンプルの数は同一で、前記第２左側周辺参照サンプルの数と前記第２上側周辺参照サンプルの数は同一でありうる。ここで、前記第１ステップサイズ及び前記第２ステップサイズの割合は、前記現在ブロックの高さ及び幅の割合に基づいて決定されることができる。

他の例として、前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプルまたは前記参照ブロックの第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプルまたは前記現在ブロックの第２右上側周辺参照サンプルを含むことができる。例えば、前記現在ブロックの幅が高さより大きな場合、前記第１周辺参照サンプルは、前記第１左下側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記第２左下側周辺参照サンプルを含むことができる。この場合、前記第１左側周辺参照サンプルの数及び前記第１左下側周辺参照サンプルの数の和は、前記第１上側周辺参照サンプルの数と同一で、前記第２左側周辺参照サンプルの数及び前記第２左下側周辺参照サンプルの数の和は、前記第２上側周辺参照サンプルの数と同一でありうる。また、例えば、前記現在ブロックの幅が高さより小さな場合、前記第１周辺参照サンプルは、前記第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記第２右上側周辺参照サンプルを含むことができる。この場合、前記第１上側周辺参照サンプルの数及び前記第１右上側周辺参照サンプルの数の和は、前記第１左側周辺参照サンプルの数と同一で、前記第２上側周辺参照サンプルの数及び前記第２右上側周辺参照サンプルの数の和は、前記第２左側周辺参照サンプルの数と同一でありうる。

さらに他の例として、前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプル及び前記参照ブロックの第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプル及び前記現在ブロックの第２右上側周辺参照サンプルを含むこともできる。この場合、前記第１左下側周辺参照サンプルの数及び前記第１右上側周辺参照サンプルの数は、特定個数で同一で、前記特定個数は、前記現在ブロックの幅及び高さに基づいて決定されることができる。前記特定個数は、例えば、現在ブロックの幅及び高さの最小値の半分に決定されることができる。

さらに他の例として、前記現在ブロックが非正方形ブロックで、前記現在ブロックの幅が高さより大きな場合、前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプルだけを含むことができる。また、前記現在ブロックが非正方形ブロックで前記現在ブロックの幅が高さより小さな場合、前記第１周辺参照サンプルは、前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルだけを含むことができる。

エンコード装置は、前記計算されたＩＣパラメータに基づいて照度補償（ＩＣ）を行って、前記現在ブロックに対する（照度補償された）予測サンプルを導き出す（Ｓ１１３０）。エンコード装置は、前記スケーリングファクタ及びオフセットｂを前記参照ブロックの参照サンプルに適用して修正された参照サンプルを導き出すことができ、前記修正された参照サンプルに基づいて前記予測サンプルを獲得できる。

エンコード装置は、予測情報をエンコード及び出力する（Ｓ１１４０）。前記予測情報は、前記現在ブロックの前記動きベクトルに対する情報が含まれることができる。一例として、前記動きベクトルに対する情報は、前記現在ブロックに対するマージインデックスなどを含むことができる。他の例として、前記動きベクトルに対する情報は、ＭＶＰフラッグ及びＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）情報などを含むことができる。また、前記予測情報は、前記現在ブロックのインター予測モード情報を含むこともできる。また、前記予測情報は、ＩＣフラッグを含むこともできる。前記ＩＣフラッグは、前記現在ブロックに対して照度補償（ＩＣ）が利用可能な場合に限ってシグナリングされることができる。例えば、前記現在ブロックがＱＴＢＴ構造に基づいて分割されたブロックである場合、前記ＩＣが利用可能であるかどうかは、前記現在ブロックのサイズ、幅及び／または高さに基づいて決定されることができる。例えば、前記現在ブロックのサイズが特定サイズより大きいか、または現在ブロックの幅及び高さの比が２または４より小さな場合に限って、前記ＩＣが利用可能であると決定されることができる。

エンコード装置は、前記予測情報をエンコードしてビットストリーム形態で出力できる。前記ビットストリームは、ネットワークまたは格納媒体を介してデコード装置に送信されることができる。

図１２は、本発明による映像デコードでのインター予測方法の一例を概略的に示す。図１２において開示された方法は、図２において開示されたデコード装置によって行われることができる。具体的な例として、図１２のＳ１２００ないしＳ１２３０は、前記デコード装置の予測部によって行われることができる。

図１２を参照すると、デコード装置は、現在ブロックの動きベクトルを導き出す（Ｓ１２００）。デコード装置は、ビットストリームを介して獲得した予測情報に基づいて、前記現在ブロックに前記動きベクトルを導き出すことができる。前記ビットストリームは、ネットワークまたは格納媒体を介してエンコード装置から受信されることができる。一例として、デコード装置は、前記現在ブロックの周辺ブロックに基づいてマージ候補リストを生成し、前記予測情報に含まれたマージインデックスを利用して、前記マージ候補リストの中で選択したマージ候補の動きベクトルを前記動きベクトルとして導き出すことができる。他の例として、デコード装置は、前記現在ブロックの周辺ブロックに基づいてＭＶＰ候補リストを生成し、前記インター予測情報に含まれたＭＶＰフラッグに基づいて特定ＭＶＰ候補を選択し、前記選択されたＭＶＰ候補の動きベクトルと前記予測情報に含まれたＭＶＤ情報から導き出されたＭＶＤを利用して、前記動きベクトルを導き出すことができる。

デコード装置は、前記現在ブロックに対する参照ブロックを導き出す（Ｓ１２１０）。デコード装置は、前記動きベクトルに基づいて前記参照ブロックを導き出すことができる。デコード装置は、参照ピクチャ上において前記現在ブロックの位置を基準に前記動きベクトルが指す参照ブロックを導き出すことができる。

デコード装置は、前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルを導き出し、前記第１周辺参照サンプル及び前記第２周辺参照サンプルを利用して、ＩＣパラメータを導き出す（Ｓ１２２０）。前記ＩＣパラメータは、上述したスケーリングファクタａ及びオフセットｂを含むことができる。前記ＩＣパラメータは、上述した数式１ないし５に基づいて計算されることができる。前記第１周辺参照サンプル及び前記第２周辺参照サンプルは、図５ないし図９において上述したサンプルを含むことができる。

一例として、前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプル及び前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの左側境界に隣接する第２左側周辺参照サンプル及び前記現在ブロックの上側境界に隣接する第２上側周辺参照サンプルを含むことができる。この場合、前記第１左側周辺参照サンプルまたは前記第１上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルであり、前記第２左側周辺参照サンプルまたは前記第２上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルでありうる。また、前記現在ブロックは、非正方形ブロックであり、前記第１左側周辺参照サンプルに対する第１ステップサイズは、前記第１上側周辺参照サンプルに対する第２ステップサイズと異なり、前記第１ステップサイズは、前記第２左側周辺参照サンプルに対するステップサイズと同一で、前記第２ステップサイズは、前記第２上側周辺参照サンプルに対するステップサイズと同一でありうる。この場合、前記第１左側周辺参照サンプルの数と前記第１上側周辺参照サンプルの数は、同一で、前記第２左側周辺参照サンプルの数と前記第２上側周辺参照サンプルの数は、同一でありうる。ここで、前記第１ステップサイズ及び前記第２ステップサイズの割合は、前記現在ブロックの高さ及び幅の割合に基づいて決定されることができる。

他の例として、前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプルまたは前記参照ブロックの第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプルまたは前記現在ブロックの第２右上側周辺参照サンプルを含むことができる。例えば、前記現在ブロックの幅が高さより大きな場合、前記第１周辺参照サンプルは、前記第１左下側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記第２左下側周辺参照サンプルを含むことができる。この場合、前記第１左側周辺参照サンプルの数及び前記第１左下側周辺参照サンプルの数の和は、前記第１上側周辺参照サンプルの数と同一で、前記第２左側周辺参照サンプルの数及び前記第２左下側周辺参照サンプルの数の和は、前記第２上側周辺参照サンプルの数と同一でありうる。また、例えば、前記現在ブロックの幅が高さより小さな場合、前記第１周辺参照サンプルは、前記第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記第２右上側周辺参照サンプルを含むことができる。この場合、前記第１上側周辺参照サンプルの数及び前記第１右上側周辺参照サンプルの数の和は、前記第１左側周辺参照サンプルの数と同一で、前記第２上側周辺参照サンプルの数及び前記第２右上側周辺参照サンプルの数の和は、前記第２左側周辺参照サンプルの数と同一でありうる。

さらに他の例として、前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプル及び前記参照ブロックの第１右上側周辺参照サンプルを含み、前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプル及び前記現在ブロックの第２右上側周辺参照サンプルを含むこともできる。この場合、前記第１左下側周辺参照サンプルの数及び前記第１右上側周辺参照サンプルの数は、特定個数で同一であり、前記特定個数は、前記現在ブロックの幅及び高さに基づいて決定されることができる。前記特定個数は、例えば、現在ブロックの幅及び高さの最小値の半分に決定されることができる。

さらに他の例として、前記現在ブロックが非正方形ブロックで前記現在ブロックの幅が高さより大きな場合、前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプルだけを含むことができる。また、前記現在ブロックが非正方形ブロックで前記現在ブロックの幅が高さより小さな場合、前記第１周辺参照サンプルは、前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルだけを含むことができる。

デコード装置は、前記計算されたＩＣパラメータに基づいて照度補償（ＩＣ）を行って、前記現在ブロックに対する（照度補償された）予測サンプルを導き出す（Ｓ１２３０）。エンコード装置は、前記スケーリングファクタ及びオフセットｂを前記参照ブロックの参照サンプルに適用して修正された参照サンプルを導き出すことができ、前記修正された参照サンプルに基づいて前記予測サンプルを獲得できる。

一方、前記予測情報は、ＩＣフラッグを含むこともできる。デコード装置は、前記ＩＣフラッグに基づいて前記現在ブロックに前記ＩＣが適用されるかどうかを判断できる。前記ＩＣフラッグは、前記現在ブロックに対して前記ＩＣが利用可能な場合に限ってシグナリングされることができる。例えば、前記現在ブロックがＱＴＢＴ構造に基づいて分割されたブロックである場合、前記ＩＣが利用可能であるかどうかは、前記現在ブロックのサイズ、幅及び／または高さに基づいて決定されることができる。例えば、前記現在ブロックのサイズが特定サイズより大きいか、または現在ブロックの幅及び高さの比が２または４より小さな場合に限って、前記ＩＣが利用可能であると決定されることができる。

一方、たとえ図示していないが、デコード装置は、前記ビットストリームから前記現在ブロックに対するレジデュアルサンプルに関するレジデュアル情報を受信することができる。前記レジデュアル情報は、レジデュアルサンプルに関する変換係数を含むことができる。

デコード装置は、前記レジデュアル情報に基づいて前記現在ブロックに対する前記レジデュアルサンプル（またはレジデュアルサンプルアレイ）を導き出すことができる。デコード装置は、前記予測サンプルと前記レジデュアルサンプルに基づいて復元サンプルを生成でき、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャを導き出すことができる。以後、デコード装置は、必要によって主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／またはＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、上述したとおりである。

上述した本発明による方法は、ソフトウェア形態で実装されることができ、本発明によるエンコード装置及び／またはデコード装置は、例えばＴＶ、コンピュータ、スマートフォン、セットボックス、ディスプレイ装置などの映像処理を行う装置に含まれることができる。

本発明において実施の形態がソフトウェアにより実装されるとき、上述した方法は、上述した機能を行うモジュール（過程、機能など）により実装されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあることができ、よく知られた多様な手段でプロセッサと接続されることができる。プロセッサは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ-ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。

Claims (15)

1. デコード装置によって行われるインター予測方法であって、
   現在ブロックの動きベクトルを導き出すステップと、
   前記動きベクトルに基づいて前記現在ブロックに対する参照ブロックを導き出すステップと、
   前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいて照度補償（Ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＩＣ）パラメータを導き出すステップであって、前記ＩＣパラメータは、スケーリングファクタａ及びオフセットｂを含む、ステップと、
   前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出すステップと、を含むことを特徴とする、インター予測方法。
2. 前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプル及び前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルを含み、
   前記第２周辺参照サンプルは、前記現在ブロックの左側境界に隣接する第２左側周辺参照サンプル及び前記現在ブロックの上側境界に隣接する第２上側周辺参照サンプルを含むことを特徴とする、請求項１に記載のインター予測方法。
3. 前記第１左側周辺参照サンプルまたは前記第１上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルであり、
   前記第２左側周辺参照サンプルまたは前記第２上側周辺参照サンプルは、ステップサイズ２以上にサブサンプリングされたサンプルであることを特徴とする、請求項２に記載のインター予測方法。
4. 前記現在ブロックは、非正方形ブロックであり、
   前記第１左側周辺参照サンプルに対する第１ステップサイズは、前記第１上側周辺参照サンプルに対する第２ステップサイズと異なり、
   前記第１ステップサイズは、前記第２左側周辺参照サンプルに対するステップサイズと同一であり、
   前記第２ステップサイズは、前記第２上側周辺参照サンプルに対するステップサイズと同一であることを特徴とする、請求項２に記載のインター予測方法。
5. 前記第１左側周辺参照サンプルの数と前記第１上側周辺参照サンプルの数は、同一であり、
   前記第２左側周辺参照サンプルの数と前記第２上側周辺参照サンプルの数は、同一であることを特徴とする、請求項４に記載のインター予測方法。
6. 前記第１ステップサイズ及び前記第２ステップサイズの割合は、前記現在ブロックの高さ及び幅の割合に基づいて決定されることを特徴とする、請求項５に記載のインター予測方法。
7. 前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプルまたは前記参照ブロックの第１右上側周辺参照サンプルを含み、
   前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプルまたは前記現在ブロックの第２右上側周辺参照サンプルを含むことを特徴とする、請求項２に記載のインター予測方法。
8. 前記現在ブロックの幅が高さより大きな場合、
   前記第１周辺参照サンプルは、前記第１左下側周辺参照サンプルを含み、
   前記第２周辺参照サンプルは、前記第２左下側周辺参照サンプルを含むことを特徴とする、請求項７に記載のインター予測方法。
9. 前記第１左側周辺参照サンプルの数及び前記第１左下側周辺参照サンプルの数の和は、前記第１上側周辺参照サンプルの数と同一であり、
   前記第２左側周辺参照サンプルの数及び前記第２左下側周辺参照サンプルの数の和は、前記第２上側周辺参照サンプルの数と同じであることを特徴とする、請求項８に記載のインター予測方法。
10. 前記第１周辺参照サンプルは、前記参照ブロックの第１左下側周辺参照サンプル及び前記参照ブロックの第１右上側周辺参照サンプルを含み、
    前記第２周辺参照サンプルは、前記現在ブロックの第２左下側周辺参照サンプル及び前記現在ブロックの第２右上側周辺参照サンプルを含むことを特徴とする、請求項２に記載のインター予測方法。
11. 前記第１左下側周辺参照サンプルの数及び前記第１右上側周辺参照サンプルの数は、特定個数で同一であり、
    前記特定個数は、前記現在ブロックの幅及び高さに基づいて決定されることを特徴とする、請求項１０に記載のインター予測方法。
12. 前記特定個数は、幅及び高さの最小値の半分に決定されることを特徴とする、請求項１１に記載のインター予測方法。
13. 前記現在ブロックが非正方形ブロックであり、前記現在ブロックの幅が高さより大きな場合、前記第１周辺参照サンプルは、前記参照ブロックの左側境界に隣接する第１左側周辺参照サンプルだけを含み、
    前記現在ブロックが非正方形ブロックであり、前記現在ブロックの幅が高さより小さな場合、前記第１周辺参照サンプルは、前記参照ブロックの上側境界に隣接する第１上側周辺参照サンプルだけを含むことを特徴とする、請求項１に記載のインター予測方法。
14. 前記現在ブロックに対する前記ＩＣが利用可能な場合、ＩＣフラッグを受信するステップと、
    前記ＩＣフラッグに基づいて前記現在ブロックに前記ＩＣが適用されるかどうかを判断するステップと、をさらに含み、
    前記現在ブロックは、ＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ Ｂｉｎａｒｙ Ｔｒｅｅ）構造に基づいて分割されたブロックであり、
    前記ＩＣが利用可能かどうかは、前記現在ブロックのサイズに基づいて決定されることを特徴とする、請求項１に記載のインター予測方法。
15. インター予測のためのデコード装置であって、
    現在ブロックの動きベクトルを導き出し、
    前記動きベクトルに基づいて、参照ピクチャ内に位置する、前記現在ブロックに対する参照ブロックを導き出し、
    前記参照ブロックの第１周辺参照サンプル及び前記現在ブロックの第２周辺参照サンプルに基づいて、スケーリングファクタａ及びオフセットｂを含む照度補償（Ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＩＣ）パラメータを導き出し、
    前記スケーリングファクタ及びオフセットに基づいて前記参照ブロックの参照サンプルに対するＩＣを行って、前記現在ブロックに対する予測サンプルを導き出す予測部と、
    前記参照ピクチャを格納するメモリと、を含むことを特徴とする、デコード装置。

Images