JP2016129378A - 非対称形の補間フィルタを利用して、映像を補間する方法及びその装置 - Google Patents

Abstract

【課題】動き補償における副画素単位ピクセルの生成方法を提供する。
【解決手段】現在ブロックの予測のためのルマ参照ピクチャ内のルマ参照ブロックを現在ブロックのルマ動きベクトルを用いて決定する段階と、ルマ参照ピクチャ内の整数画素位置のサンプルに対して７タップフィルタを適用して、ルマ参照ブロックに含まれる１／４−画素位置または３／４−画素位置のルマサンプルを生成する段階と、現在ブロックの予測のためのクロマ参照ピクチャ内のクロマ参照ブロックを現在ブロックのクロマ動きベクトルを用いて決定する段階と、クロマ参照ピクチャ内の整数画素位置のサンプルに対して４タップフィルタを適用して、クロマ参照ブロックに含まれる１／８−画素位置または４／８−画素位置のクロマサンプルを生成する段階と、を含む動き補償方法であり、副画素の補間位置によって対称形の補間フィルタまたは非対称形の補間フィルタを選択８１する。
【選択図】図８

Description

本発明は、動き補償による予測符号化に関する。

従来の技術による映像の符号化及び復号化方法では、映像を符号化するために、一つのピクチャをマクロブロックに分割する。次いで、インター予測またはイントラ予測を利用して、それぞれのマクロブロックを予測符号化する。

インター予測は、ピクチャ間の時間的な重複性を除去して、映像を圧縮する方法であって、動き推定符号化が代表的な例である。動き推定符号化は、少なくとも一つの参照ピクチャを利用して、現在のピクチャのブロックをそれぞれ予測する。所定の評価関数を利用して、現在のブロックと最も類似した参照ブロックを所定の検索範囲で検索する。

現在のブロックを参照ブロックに基づいて予測し、現在のブロックからの予測結果として生成された予測ブロックを減算して生成されたレジデュアルブロックを符号化する。その時、予測をより正確に行うために、参照ピクチャの検索範囲に対して補間を行って、画素単位(integer pelunit)よりも小さいピクセル単位の副ピクセルを生成し、生成された副ピクセルに基づいてインター予測を行う。

本発明の目的は、映像補間を通じて、画素単位ピクセルを補間して、副画素単位ピクセルを生成するために、対称形の補間フィルタまたは非対称形の補間フィルタの係数を決定することにある。

本発明の一実施形態によって、変換に基づいた補間フィルタを利用して、映像を補間する方法は、画素単位ピクセルの間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、前記副画素単位の補間位置によって個別的に、前記補間位置を中心として対称的な形態の対称形の補間フィルタ、または非対称的な形態の非対称形の補間フィルタを選択するステップと、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、前記少なくとも一つの副画素単位のピクセル値を生成するステップと、を含む。

本発明によれば、副画素単位の補間のために、補間位置を中心としてフィルタ係数が対称的に構成された対称形の補間フィルタ、及び非対称的に構成された非対称形の補間フィルタが選択的に利用されることも可能である。また、副画素単位の補間のために、奇数タップ補間フィルタ及び偶数タップ補間フィルタのうち、補間位置によって選択的に利用される。必ずしも補間位置を中心として対称的に位置する画素単位ピクセルを参照して、フィルタリングを行う必要がなく、非対称的に位置する画素単位ピクセルを参照した補間フィルタリングも可能である。

一実施形態による映像補間装置を示すブロック図である。 画素単位と副画素単位の関係を示す図面である。 副画素単位のピクセル値を決定するために参照される隣接する画素単位ピクセルを示す図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを示す図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを示す図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを示す図面である。 一実施形態によって、副画素単位のピクセル値を決定するために、補間位置を中心として非対称的に位置した参照ピクセルを利用する補間フィルタリング方法を示す図面である。 一実施形態によって、副画素単位のピクセル値を決定するために、奇数個のフィルタ係数で構成された補間フィルタを利用する補間方法を示す図面である。 一実施形態によって、平滑化補間フィルタの平滑度パラメータを示すグラフである。 一実施形態によって、補間フィルタの振幅周波数応答グラフである。 一実施形態による映像補間方法を示すフローチャートである。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される３タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される４タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される５タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される６タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される７タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される７タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される７タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される８タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される８タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される８タップ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、正規化されたルマ補間フィルタのフィルタ係数を示す図面である。 一実施形態によって、正規化されたクロマ補間フィルタのフィルタ係数を示す図面である。 一実施形態による平滑化補間フィルタを利用するビデオ符号化装置を示すブロック図である。 一実施形態による平滑化補間フィルタを利用するビデオ復号化装置を示すブロック図である。 一実施形態による平滑化補間フィルタを利用する映像符号化方法を示すフローチャートである。 一実施形態による平滑化補間フィルタを利用する映像復号化方法を示すフローチャートである。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。 本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位と変換単位の関係を示す図面である。 本発明の一実施形態による深度別の符号化情報を示す図面である。 本発明の一実施形態による深度別の符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ符号化方法を示すフローチャートである。 本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ復号化方法を示すフローチャートである。

本発明の一実施形態によって、変換に基づいた補間フィルタを利用して、映像を補間する方法は、画素単位ピクセルの間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、前記副画素単位の補間位置によって個別的に、前記補間位置を中心として対称的な形態の対称形の補間フィルタ、または非対称的な形態の非対称形の補間フィルタを選択するステップと、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、前記少なくとも一つの副画素単位のピクセル値を生成するステップと、を含む。

一実施形態によって、前記対称形の補間フィルタは、前記補間位置を中心として同一な個数のフィルタ係数で構成され、前記非対称形の補間フィルタは、前記補間位置を中心として異なる個数のフィルタ係数で構成された非対称形の補間フィルタを含む。

一実施形態によって、前記少なくとも一つの副画素単位のピクセル値を生成するステップは、前記非対称形の補間フィルタが選択された場合、前記非対称形の補間フィルタのフィルタ係数を利用して、前記補間位置を中心として非対称的に位置した画素単位ピクセルを参照してフィルタリングを行うステップと、前記対称形の補間フィルタが選択された場合、前記対称形の補間フィルタのフィルタ係数を利用して、前記補間位置を中心として対称的に位置した画素単位ピクセルを参照してフィルタリングを行うステップと、を含む。

一実施形態によって、前記少なくとも一つの副画素単位のピクセル値を生成するステップは、前記補間フィルタのうち、奇数個のフィルタ係数で構成された非対称形の奇数タップ補間フィルタが選択された場合、前記非対称形の奇数タップ補間フィルタの奇数個のフィルタ係数を利用して、前記補間位置を中心として位置した奇数個の画素単位ピクセルを参照してフィルタリングを行うステップと、前記補間フィルタのうち、偶数個のフィルタ係数で構成された対称形の偶数タップ補間フィルタが選択された場合、前記対称形の偶数タップ補間フィルタの偶数個のフィルタ係数を利用して、前記補間位置を中心として位置した偶数個の画素単位ピクセルを参照してフィルタリングを行うステップと、を含む。

一実施形態によって、それぞれの補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、複数個の基底関数を利用した変換及び逆変換のためのフィルタと、非対称的な形態または対称的な形態であるウィンドウフィルタとを合成したフィルタ係数で構成される。

一実施形態によって、前記補間フィルタを選択するステップは、前記補間フィルタのうち、前記選択された補間フィルタを利用した補間結果として発生する周波数応答誤差を最小化するように正規化された補間フィルタを選択するステップを含む。

一実施形態によって、前記正規化された補間フィルタは、ｉ）７タップフィルタ係数｛−１，４，−１０，５８，１７，−５，１｝で構成されたウィンドウサイズ８．７である１／４画素単位補間フィルタ、及びｉｉ）８タップフィルタ係数｛−１，４，−１１，４０，４０，−１１，４，−１｝で構成されたウィンドウサイズ９．５である１／２画素単位補間フィルタを含む。

本発明の一実施形態によって、変換に基づいた補間フィルタを利用した映像補間装置は、画素単位ピクセルの間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、前記副画素単位の補間位置によって個別的に、前記補間位置を中心として対称的な形態の対称形の補間フィルタ、または非対称的な形態の非対称形の補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、前記少なくとも一つの副画素単位のピクセル値を生成する補間部と、を備える。

本発明の一実施形態によって、映像補間フィルタを利用したビデオ符号化装置は、入力ピクチャのブロック別に、画素単位ピクセルの間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、前記副画素単位の補間位置によって個別的に、前記補間位置を中心として対称的な形態の対称形の補間フィルタ、または非対称的な形態の非対称形の補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、前記少なくとも一つの副画素単位のピクセル値を生成して予測符号化を行い、前記予測符号化による予測結果に対して変換及び量子化を行う符号化部と、前記量子化された変換係数及び符号化情報に対してエントロピー符号化を行って生成されたビットストリームを出力する出力部と、前記補間フィルタのフィルタ係数が保存された保存部と、を備える。

本発明の一実施形態によって、映像補間フィルタを利用したビデオ復号化装置は、ビデオの符号化されたビットストリームを受信し、エントロピー復号化を行ってパージングして、符号化情報と前記ビデオのピクチャの符号化されたデータとを抽出する受信抽出部と、前記ピクチャのうち、現在のブロックの符号化されたデータのうち量子化された変換係数に対して逆量子化及び逆変換を行い、画素単位ピクセルの間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、前記副画素単位の補間位置によって個別的に、前記補間位置を中心として対称的な形態の対称形の補間フィルタ、または非対称的な形態の非対称形の補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、前記少なくとも一つの副画素単位のピクセル値を生成し、予測復号化を行うことによって、前記ピクチャを復元する復号化部と、前記補間フィルタのフィルタ係数が保存された保存部と、を備える。

一実施形態による映像補間方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供する。

以下、本明細書に記載の本発明の多様な実施形態において、‘映像’は、静止画像だけでなく、ビデオのような動画を含んで包括的に指す。

以下、図１ないし図１２Ｂを参照して、一実施形態によって、平滑化を考慮した非対称形の補間フィルタ及び対称形の補間フィルタを利用する映像補間が開示される。また、図１３Ａないし図２７を参照して、一実施形態による非対称形の補間フィルタ及び対称形の補間フィルタを利用するビデオの符号化及び復号化が開示され、特に、以下、図１５ないし図２５を参照して、一実施形態によって、ツリー構造による符号化単位に基づいて、非対称形の補間フィルタ及び対称形の補間フィルタを利用するビデオの符号化及び復号化が開示される。

以下、図１ないし図１２Ｂを参照して、一実施形態によって、平滑化を考慮した非対称形の補間フィルタ及び対称形の補間フィルタを利用する映像補間について詳述する。

図１は、一実施形態による映像補間装置１０を示すブロック図である。一実施形態による対称形／非対称形の補間フィルタを利用する映像補間装置１０は、フィルタ選択部１２及び補間部１４を備える。映像補間装置１０のフィルタ選択部１２及び補間部１４の動作は、ビデオエンコーディングプロセッサ、中央プロセッサ、グラフィックプロセッサなどによって有機的に制御される。

一実施形態による映像補間装置１０は、映像を入力されて、画素単位のピクセルを補間して、副画素単位のピクセル値を生成する。入力される映像は、ビデオのピクチャシーケンス、ピクチャ、フレーム、またはブロックである。

一実施形態によるフィルタ選択部１２は、画素単位の間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置に基づいて、補間フィルタを異なって選択する。

一実施形態による補間部１４は、フィルタ選択部１２で選択された補間フィルタを利用して、副画素単位の補間位置に隣接した画素単位ピクセルを補間して、副画素単位のピクセル値を生成する。副画素単位のピクセル値を生成するための画素単位ピクセルに対する補間フィルタリングは、副画素単位の補間位置に隣接した画素単位ピクセルを含んで、画素単位の参照ピクセル値に対して補間フィルタリングを行う動作を含む。

一実施形態による補間フィルタは、複数個の基底関数に基づいて、画素単位の参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数で構成される。

一実施形態による補間フィルタは、一次元フィルタまたは二次元フィルタの形態である。一実施形態による補間部１４は、選択された補間フィルタが一次元フィルタである場合、２方向以上の一次元補間フィルタを利用して、連続的にフィルタリングを行って、現在の副画素単位のピクセル値を生成する。

一実施形態によるフィルタ選択部１２は、補間フィルタのうち、副画素単位の補間位置によって個別的に補間フィルタを決定する。一実施形態による補間フィルタは、補間位置を中心として同一な個数のフィルタ係数で構成された対称形の補間フィルタと、異なる個数のフィルタ係数で構成された非対称形の補間フィルタとを含む。フィルタ選択部１２は、副画素単位の補間位置によって個別的に対称形の補間フィルタまたは非対称形の補間フィルタを選択する。

例えば、７タップ補間フィルタは、補間位置を中心として三つのフィルタ係数と、四つのフィルタ係数とで構成される。その場合、７タップ補間フィルタは、非対称形の補間フィルタであるとすることができる。

例えば、８タップ補間フィルタは、補間位置を中心として四つのフィルタ係数と、四つのフィルタ係数とで構成される。その場合、８タップ補間フィルタは、対称形の補間フィルタであるとすることができる。

フィルタ選択部１２で非対称形の補間フィルタが選択された場合には、補間部１４は、補間位置を中心として非対称的に位置する画素単位ピクセルを参照して、フィルタリングを行う。また、対称形の補間フィルタが選択された場合には、補間部１４は、補間位置を中心として対称的に位置する画素単位ピクセルを参照して、フィルタリングを行う。

一実施形態による補間フィルタは、奇数個のフィルタ係数を含む非対称形の奇数タップ補間フィルタと、偶数個のフィルタ係数を含む対称形の偶数タップ補間フィルタとを含む。フィルタ選択部１２は、副画素単位の補間位置によって個別的に非対称形の奇数タップ補間フィルタ、または対称形の偶数タップ補間フィルタを選択する。例えば、１／２画素単位補間フィルタと、１／４画素単位補間フィルタとが個別的に異なって選択されて、１／２画素単位補間フィルタとして、対称形の偶数タップ補間フィルタである８タップ補間フィルタが選択され、１／４画素単位補間フィルタとして、非対称形の奇数タップ補間フィルタである７タップ補間フィルタが選択される。

一実施形態によるそれぞれの補間フィルタは、画素単位ピクセルを空間ドメインで補間するために、複数個の基底関数を利用した変換及び逆変換のためのフィルタ係数と、低域通過フィルタリングのためのウィンドウフィルタ係数とを合成したフィルタ係数で構成される。

一実施形態による補間フィルタは、補間位置を中心として非対称的な形態であるウィンドウフィルタ、または対称的な形態であるウィンドウフィルタに基づいて生成されたフィルタである。

一実施形態による非対称形の補間フィルタは、複数個の基底関数に基づいた変換及び逆変換のためのフィルタと、非対称的な形態のウィンドウフィルタとを合成した結果として生成される。

一実施形態によって、奇数タップ補間フィルタが選択された場合、補間部１４は、奇数タップ補間フィルタの奇数個のフィルタ係数を利用して、補間位置を中心として位置した奇数個の画素単位ピクセルを参照してフィルタリングを行う。

一実施形態によって、偶数タップ補間フィルタが選択された場合、補間部１４は、偶数タップ補間フィルタの偶数個のフィルタ係数を利用して、補間位置を中心として位置した偶数個の画素単位ピクセルを参照してフィルタリングを行う。

一実施形態による奇数タップ補間フィルタは、補間位置を中心として異なる個数のフィルタ係数を含むので、非対称形の補間フィルタである。一実施形態による偶数タップ補間フィルタは、補間位置を中心として同一な個数のフィルタ係数を含む対称形の補間フィルタである。

一実施形態によるフィルタ選択部１２は、補間フィルタのうち、補間フィルタを利用した補間結果として発生する周波数応答誤差を最小化するように正規化された補間フィルタを選択する。例えば、正規化された補間フィルタは、ｉ）７タップフィルタ係数｛−１，４，−１０，５８，１７，−５，１｝で構成されたウィンドウサイズ８．７である１／４画素単位補間フィルタ、及びｉｉ）８タップフィルタ係数｛−１，４，−１１，４０，４０，−１１，４，−１｝で構成されたウィンドウサイズ９．５である１／２画素単位補間フィルタを含む。

また、一実施形態によるフィルタ選択部１２は、カラー成分ごとに補間フィルタを個別的に異なって選択してもよい。例えば、ルマピクセルのための正規化された補間フィルタは、１／４画素単位の７タップ補間フィルタ、及び１／２画素単位の８タップ補間フィルタとして決定される。クロマピクセルのための正規化された補間フィルタは、１／８画素単位、１／４画素単位及び１／２画素単位の４タップ補間フィルタとして決定される。

一実施形態によって決定されたクロマピクセルのための正規化された補間フィルタは、ｉ）１／８補間位置のための４タップフィルタ係数｛−２，５８，１０，−２｝で構成された平滑度０．０１２である１／８画素単位の補間フィルタ、ｉｉ）１／４補間位置のための４タップフィルタ係数｛−４，５４，１６，−２｝で構成された平滑度０．０１６である１／４画素単位の補間フィルタ、ｉｉｉ）３／８補間位置のための４タップフィルタ係数｛−６，４６，２８，−４｝で構成された平滑度０．０１８である１／８画素単位の補間フィルタ、及びｉｖ）１／２補間位置のための４タップフィルタ係数｛−４，３６，３６，−４｝で構成された平滑度０．０２０である１／２画素単位の補間フィルタを含む。

一実施形態による補間フィルタは、鏡反射型の対称フィルタであって、補間位置αのフィルタ係数ｆ（α）と、補間位置（１−α）のフィルタ係数ｆ_ｌ（１−α）とが同一である。

一実施形態によるルマピクセルのための１／４画素単位の補間フィルタは、鏡反射型の対称フィルタである。したがって、１／４補間位置のための補間フィルタと、３／４補間位置のための補間フィルタは、互いに対称的に同一な係数で構成される。１／４画素単位の７タップルマ補間フィルタが、１／４補間位置で、フィルタ係数｛−１，４，−１０，５８，１７，−５，１｝で構成されるならば、３／４補間位置では、フィルタ係数｛１，−５，１７，５８，−１０，４，−１｝で構成される。

一実施形態によるクロマピクセルのための１／８画素単位の補間フィルタは、鏡反射型の対称フィルタである。したがって、１／８補間位置のための補間フィルタと、７／８補間位置のための補間フィルタは、互いに対称的に同一な係数で構成される。同様に、３／８補間位置のための補間フィルタと、５／８補間位置のための補間フィルタは、互いに対称的に同一な係数で構成される。

一実施形態による補間フィルタは、複数個の基底関数を利用して決定されたフィルタ係数で構成された変換に基づいた補間フィルタに基づいて決定される。また、変換に基づいた補間フィルタが、補間位置と画素単位ピクセルとの間の距離によって平滑度を異ならせてフィルタリングを行うように、変形された平滑化補間フィルタが利用される。

一実施形態による平滑化補間フィルタは、補間位置と画素単位ピクセルとの間の距離に基づいて、平滑度が決定される。一実施形態による補間フィルタは、副画素単位の補間位置と平滑度とによって、異なるフィルタ係数で構成される。

一実施形態による平滑化補間フィルタは、画素単位ピクセルのうち、補間位置に隣接するピクセルと補間位置との間の距離に基づいて、平滑度が決定されることも可能である。

また、一実施形態による補間フィルタは、画素単位の参照ピクセルのうち、補間位置から遠い参照ピクセルであるほど、さらに平滑にするためのフィルタ係数で構成される。

一実施形態によって、変換及び逆変換のためのフィルタ係数と、低域通過フィルタリングのためのウィンドウフィルタ係数とが合成された平滑化補間フィルタは、画素単位の参照ピクセルのうち、補間位置に近い参照ピクセルであるほど、大きい加重値を付与し、補間位置から遠い参照ピクセルであるほど、小さい加重値を付与するためのフィルタ係数で構成される。

一実施形態による平滑化補間フィルタは、画素単位の参照ピクセルを平滑化し、複数個の基底関数を利用して、平滑化された画素単位の参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数で構成される。

一実施形態による平滑化補間フィルタは、副画素単位の補間位置と平滑度だけでなく、フィルタ長によって異なるフィルタ係数で構成される。

また、一実施形態による平滑化補間フィルタは、副画素単位の補間位置、平滑度及びフィルタ長だけでなく、補間結果のスケーリング割合によって異なるフィルタ係数で構成される。一実施形態によるフィルタ選択部１２は、平滑化補間フィルタのうち、フィルタ係数が整数に拡大した補間フィルタを選択する。一実施形態による補間部１４は、フィルタ選択部１２で選択された平滑化補間フィルタを利用して生成したピクセル値を正規化する。

また、一実施形態によるフィルタ選択部１２は、ピクセルの特性によって、補間フィルタのうち、異なる補間フィルタを選択する。一実施形態による補間部１４は、ピクセルの特性別にそれぞれ選択された異なる補間フィルタを利用して、副画素単位のピクセル値を生成する。

一実施形態によるフィルタ選択部１２で選択可能な補間フィルタは、一実施形態による平滑化補間フィルタだけでなく、平滑化を考慮しない一般の補間フィルタも含む。したがって、フィルタ選択部１２は、映像特性によって、平滑化を全く考慮しない一般の補間フィルタを選択することもできる。

具体的に、例えば、他の実施形態による映像補間装置１０は、カラー成分別に異なる補間フィルタを利用して、映像補間を行う。

他の実施形態によるフィルタ選択部１２は、補間フィルタのうち、副画素単位の補間位置及び現在のピクセルのカラー成分に基づいて異なって補間フィルタを選択する。他の実施形態による補間部１４は、選択された補間フィルタを利用して、画素単位ピクセルを補間して、少なくとも一つの副画素単位のピクセル値を生成する。

例えば、フィルタ選択部１２は、ルマ成分の補間フィルタと、クロマ成分の補間フィルタとを異なって決定する。

一実施形態によるフィルタ選択部１２は、クロマ成分のピクセル補間のために、補間フィルタのうち、ルマ成分のピクセルのための補間フィルタよりも平滑度の大きい平滑化補間フィルタを選択する。

また、クロマ成分のピクセル補間のために、ルマ成分のピクセルのための補間フィルタよりも平滑度の大きい平滑度パラメータに基づいて決定されたフィルタ係数で構成された補間フィルタ、ルマ成分のピクセルのための補間フィルタよりも高周波成分を多く除去するウィンドウフィルタと合成されたフィルタ係数で構成された補間フィルタなどが選択される。

一実施形態によって、クロマ成分の平滑な補間結果を導出するために、複数個の基底関数に基づいた変換及び逆変換のためのフィルタ係数と、低域通過フィルタリングのためのウィンドウフィルタ係数とが合成された平滑化補間フィルタが選択される。

一実施形態による映像補間装置１０は、フィルタ選択部１２及び補間部１４を総括的に制御する中央プロセッサ（図示せず）を備える。または、フィルタ選択部１２及び補間部１４がそれぞれの自体プロセッサ（図示せず）により作動し、プロセッサ（図示せず）が互いに有機的に作動することによって、映像補間装置１０が全体的に作動してもよい。または、一実施形態による映像補間装置１０の外部プロセッサ（図示せず）の制御によって、フィルタ選択部１２及び補間部１４が制御されてもよい。

一実施形態による映像補間装置１０は、フィルタ選択部１２及び補間部１４の入出力データが保存される一つ以上のデータ保存部（図示せず）を備える。映像補間装置１０は、データ保存部（図示せず）のデータ入出力を制御するメモリ制御部（図示せず）を備えてもよい。

一実施形態による映像補間装置１０は、映像補間動作を行う回路を含む別のプロセッサを含む。また、映像補間装置１０は、映像補間モジュールが記録された記録媒体を含み、中央プロセッサが映像補間モジュールを呼び出して駆動させることによって、一実施形態による映像補間動作を具現する場合も含む。

映像補間は、低画質の映像を高画質に変換する時に利用される。インターレース映像をプログレッシブ映像に変換する時に利用されてもよく、低画質の映像をアップサンプリングして、高画質の映像に変換する時に利用されてもよい。また、ビデオ符号化装置が映像を符号化する時、動き推定部及び動き補償部は、補間された参照フレームを利用して、インター予測を行う。参照フレームを補間して、高画質の映像を生成し、高画質の映像に基づいて動き推定及び補償を行うことによって、インター予測の正確度を高くすることができる。同様に、映像復号化装置が映像を復号化する時にも、動き補償部は、補間された参照フレームを利用して、動き補償を行うことによって、インター予測の正確度を高くすることができる。

また、一実施形態による映像補間装置１０が利用する平滑化補間フィルタは、補間フィルタを利用した補間結果の高周波成分を低減させて、より平滑な補間結果を導出する。高周波成分の存在は、映像圧縮効率を低下させるので、平滑度が調節可能な映像補間を通じて、映像符号化及び映像復号化の効率も向上する。

また、補間位置を中心としてフィルタ係数が対称的に構成された対称形の補間フィルタ、及び非対称的に構成された非対称形の補間フィルタが選択的に利用される。また、一実施形態によれば、補間フィルタは、奇数タップ補間フィルタ及び偶数タップ補間フィルタのうち、補間位置によって選択的に利用される。したがって、一実施形態による映像補間装置１０が利用した映像補間フィルタリングの場合、必ずしも補間位置を中心として対称的に位置する画素単位ピクセルを参照してフィルタリングを行う必要がなく、非対称的に位置する画素単位ピクセルを参照した補間フィルタリングも可能である。

以下、図２ないし図７Ｂを参照して、一実施形態によって、複数個の基底関数に基づいた変換及び逆変換のためのフィルタ係数と、ウィンドウフィルタ係数とが合成された補間フィルタを利用した映像補間について詳述する。

図２は、画素単位と副画素単位の関係を示す。図２を参照すれば、映像補間装置１０は、空間ドメインの画素単位のピクセル値、すなわち、所定のブロック２０の‘Ｏ’位置のピクセル値の間を補間して、補間位置である‘Ｘ’位置のピクセル値を生成する。‘Ｘ’位置のピクセル値は、α_ｘ及びα_ｙにより補間位置が決定される副画素単位のピクセル値である。図２は、所定のブロック２０が４×４である場合を例として説明するが、ブロックのサイズは、４×４に限定されず、それよりも大きいか、または小さいサイズのブロックに対する補間フィルタリングを通じて、副画素単位のピクセル値を生成可能であることは、当業者には自明であろう。

ビデオ処理分野において、現在の映像の動き補償及び予測のために、動きベクトルが利用される。予測符号化によれば、現在の映像を予測するために、以前に復号化された映像が参照され、動きベクトルは、参照映像の所定の地点を指す。したがって、動きベクトルは、参照映像の画素単位ピクセルを指す。

しかし、現在の映像が参照しようとするピクセルの位置が、参照映像の画素単位ピクセルの間に位置する地点である。かかる地点を副画素単位の位置という。副画素単位の位置にはピクセルが存在しないので、画素単位ピクセルのピクセル値を利用して、副画素単位のピクセル値が予測されるだけである。すなわち、画素単位ピクセルに対する補間を通じて、副画素単位のピクセル値が推定される。

以下、図３、図４Ａないし図４Ｃを参照して、画素単位ピクセルに対する補間方法について詳述する。

図３は、副画素単位のピクセル値を決定するために参照される隣接する画素単位ピクセルを示す。図３を参照すれば、映像補間装置１０は、空間ドメインの画素単位のピクセル値３１及び３３の間を補間して、補間位置のピクセル値３５を生成する。αにより補間位置が決定される副画素単位のピクセル値３５である。

図４Ａないし図４Ｃは、一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルを例示する。

図４Ａを参照すれば、画素単位ピクセルの二つのピクセル値３１及び３３の間を補間して、副画素単位のピクセル値３５を生成するために、ピクセル値３１及び３３を含む隣接した複数の画素単位ピクセルのピクセル値３７及び３９を利用する。言い換えれば、−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値を一次元補間フィルタリングすることによって、０番目のピクセルと１番目のピクセルとの間を補間する。

また、図４Ａは、水平方向のピクセル値の間を補間する場合を例として説明したが、垂直方向のピクセル値の間または対角方向のピクセル値を利用して、一次元補間フィルタリングが可能である。

図４Ｂを参照すれば、垂直方向に隣接したＰ_０ ４１及びＰ_１ ４３の間を補間して、垂直方向の補間位置αのピクセル値Ｐ（α）を生成する。図４Ａと比較して見れば、水平方向に配列されたピクセル値３７及び３９の代わりに、垂直方向に配列されたピクセル値４７及び４９を利用して、補間を行うという点のみが異なり、補間フィルタリング方法は類似している。

図４Ｃの実施形態も、図４Ｂの実施形態と同様に、水平方向に配列されたピクセル値３７及び３９の代わりに、対角方向に配列されたピクセル値４６及び４８を利用するという点のみが異なり、隣接した二つのピクセル値４０及び４２の間を補間して、補間位置αのピクセル値４４を生成する方法は、水平方向の一次元補間フィルタリング方法と類似している。

図４Ａないし図４Ｃで例示された方向の一次元補間フィルタリングだけでなく、より多様な方向の補間位置のピクセル値が生成されることも可能である。

副画素単位のピクセル値を生成するための画素単位ピクセルに対する補間は、補間フィルタリングを通じて具現される。補間フィルタリングを数式で表現すれば、下記の通りである。

２Ｍ個の画素単位の参照ピクセル｛ｐ_ｍ｝＝｛ｐ_−Ｍ＋１，ｐ_−Ｍ＋２，…，ｐ_０，ｐ_１，…，ｐ_Ｍ｝のベクトルｐと、フィルタ係数｛ｆ_ｍ｝＝｛ｆ_−Ｍ＋１，ｆ_−Ｍ＋２，…，ｆ_０，ｆ_１，…，ｆ_Ｍ｝のベクトルｆ（ｘ）との内積によって、補間結果として生成されたピクセル値ｐ（ｘ）が導出される。補間位置αによって、フィルタ係数ｆ（α）が変わり、これによって補間結果としてピクセル値ｐ（α）が決定されるので、いかなる補間フィルタが選択されるのか、すなわち、フィルタ係数ｆ（ｘ）がどのように決定されるのかが、補間フィルタリングの性能に相当な影響を及ぼす。

以下、基底関数に基づいた変換及び逆変換を利用した映像補間及び補間フィルタの決定方法について詳述する。

一実施形態によって、変換及び逆変換を利用した補間フィルタは、まず、異なる周波数成分の複数の基底関数を利用して、ピクセル値を変換する。変換は、空間ドメインのピクセル値を、変換ドメインの係数に変換する全ての変換であって、前述した離散コサイン変換である。画素単位のピクセル値は、複数の基底関数を利用して変換される。ピクセル値は、輝度成分に対するピクセル値であってもよく、彩度成分に対するピクセル値であってもよい。基底関数には制限がなく、空間ドメインのピクセル値を、変換ドメインの値に変換する全ての変換である。例えば、基底関数は、離散コサイン変換及び逆離散コサイン変換のためのコサイン関数またはサイン関数である。または、スプライン関数、多項基底関数など多様な基底関数が利用される。また、離散コサイン変換は、変形された離散コサイン変換、またはウィンドウを利用した変形された離散コサイン変換である。

一実施形態によって、変換及び逆変換を利用した補間フィルタは、変換に利用された複数の基底関数の位相を変更し、位相が変更された複数の基底関数を利用して生成された複数の係数、すなわち、変換ドメインの値を逆変換する。逆変換の結果、空間ドメインのピクセル値が出力され、出力された値は、補間位置のピクセル値である。

＜直交基底関数に基づいた直交変換及び逆変換を利用したフィルタ係数＞
以下、補間部１４が直交基底関数に基づいた変換及び逆変換を利用する補間フィルタリングについて詳述する。特に、直交基底関数の一例として、離散コサイン変換を挙げて説明する。

例えば、図４Ａを参照すれば、画素単位ピクセルの二つのピクセル値３１及び３３の間を補間して、副画素単位のピクセル値３５を生成するために、ピクセル値３１及び３３を含む隣接した複数のピクセル値３７及び３９を利用して、−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値に、一次元の離散コサイン変換を行い、位相が変更された基底関数に基づいて一次元の逆離散コサイン変換を行うことによって、０番目のピクセルと１番目のピクセルとの間を補間する。

補間部１４は、まず、画素単位のピクセル値に、一次元の離散コサイン変換を行う。一次元の離散コサイン変換は、下記の数式（１）を計算することによって行われる。

ｐ（ｌ）は、−（Ｍ−１）番目からＭ番目までのピクセル値３７及び３９であり、Ｃ_ｋは、ピクセル値に一次元の離散コサイン変換を行った結果として生成された複数の周波数ドメインの係数である。この時、ｋは、数式（１）の条件を満たす正の整数である。

補間部１４が数式（１）を計算して、ピクセル値３７及び３９に一次元の離散コサイン変換を行えば、下記の数式（２）を計算して係数を逆変換する。

αは、図４Ａに示したように二つのピクセル値の間の補間位置を意味するところ、１／２，１／４，３／４，１／８，３／８，５／８，７／８，１／１６などのように多様な分数値である。分数値には制限がなく、αは、分数値ではない実数値であってもよい。Ｐ（α）は、一次元の逆離散コサイン変換結果として生成される補間位置のピクセル値３５を意味する。

数式（１）と比較して見れば、逆離散コサイン変換に利用される基底関数であるコサイン関数の位相は、整数ｌの代わりに、分数αによって決定されるので、一次元の離散コサイン変換に利用される基底関数の位相と異なる。すなわち、逆変換において利用する基底関数、すなわち、コサイン関数の位相がそれぞれ２αによって変更されたということが分かる。補間部１４が数式（２）の位相が変更された複数のコサイン関数に基づいて、逆離散コサイン変換を行えば、図４Ａの補間位置、すなわち、Ｐ_αのピクセル値３５が生成される。

数式（１）による離散コサイン変換を行列式で表現すれば、下記の数式（３）の通りである。

ここで、Ｃは、数式（１）と関連して前述した２Ｍ個の係数についての２Ｍ×１行列であり、ＲＥＦは、数式（１）と関連して前述した画素単位のピクセル値、すなわち、Ｐ_{−（Ｍ−１）}，…，Ｐ_Ｍピクセル値についての２Ｍ×１行列である。補間に利用される画素単位のピクセル位置のピクセル値の個数、すなわち、２Ｍは、一次元補間フィルタのタップ数を意味する。Ｄは、一次元の離散コサイン変換のための正方行列であって、下記の数式（４）のように定義される。

ｋ及びｌは、前記条件を満たす整数であって、Ｄ_ｋｌは、数式（３）の離散コサイン変換のための正方行列Ｄのｋ行及びｌ列を意味する。Ｍは、数式（３）のＭと同一である。

数式（２）による位相が変更された複数の基底関数を利用した逆離散コサイン変換を行列式で表現すれば、下記の数式（５）の通りである。

ここで、Ｐ（α）は、数式（２）のＰ（α）と同一であり、Ｗ（α）は、位相が変更された複数の基底関数を利用した一次元の逆離散コサイン変換のための１×２Ｍ行列であって、下記の数式（６）のように定義される。

ｋは、前記条件を満たす整数であり、Ｗ_ｋ（α）は、数式（５）と関連して前述したＷ（α）行列のｋ列を意味する。数式（３）、（４）及び（５）に基づいて、一次元の離散コサイン変換及び位相が変更された複数の基底関数を利用した一次元の逆離散コサイン変換のためのフィルタＦ（α）は、下記の数式（７）のように定義される。

ｋ及びｌは、前記条件を満たす整数であり、Ｆ_ｌ（α）は、Ｆ（α）のｌ列を意味し、Ｗ（α）及びＤは、数式（３）のＷ（α）及びＤと同一である。

＜拡大補間のための補間フィルタ係数＞
一実施形態による多様な補間フィルタ生成方法は、整数ではない浮動小数点数を生成する演算式に基づいており、フィルタ係数の絶対値は、通常１より大きくない。特に、副画素単位の補間位置αにより、整数ではない実数の演算結果が発生する。

浮動小数点に基づいた演算効率よりも、整数に基づいた演算効率が高い。これによって、一実施形態による映像補間装置１０は、スケーリング割合を利用して、フィルタ係数を整数に拡大することによって、補間フィルタリングの演算効率性を向上させる。また、ピクセル値のビット深さが深くなるにつれて、補間フィルタリングの正確度も向上する。

一実施形態による映像補間装置１０は、フィルタ係数ｆ_ｍ（α）に所定の値を乗じ、大きい値の係数Ｆ_ｍ（α）を利用して、映像を補間する。例えば、数式（８）によって、フィルタ係数Ｆ_ｍ（α）は、フィルタ係数ｆ_ｍ（α）から拡大される。

演算効率のために、スケーリング割合は、２^ｎの形態である。ｎは、０及び正の整数である。２^ｎほど拡大したフィルタ係数による補間フィルタリング結果は、元来のフィルタ係数によるフィルタリング結果に比べて、ビット深さがｎビットほど拡大する。

拡大したフィルタ係数Ｆ_ｍ（α）を利用した整数演算補間フィルタリングは、数式（９）による。すなわち、拡大したフィルタ係数Ｆ_ｍ（α）を利用して、補間フィルタリングが行われた後、拡大したビット深さが元来のビット深さに復元されなければならない。

この時、ｏｆｆｓｅｔは、２^ｎ−１である。

すなわち、一実施形態による拡大した補間フィルタを利用して拡大されたフィルタリング結果は、元来のビットに復元されるために、スケーリング割合２^ｎほど縮小しなければならないので、拡大したフィルタリング結果のビット深さがｎビットほど縮小する。

水平方向の一次元補間フィルタリングと、垂直方向の一次元補間フィルタリングとを通じて、２ステップの補間フィルタリングが行われた場合、総２ｎビットほど縮小する。したがって、第１一次元補間フィルタがｎ１ビットほど拡大し、第２一次元補間フィルタがｎ２ビットほど拡大した場合、第１一次元補間フィルタリングと、第２一次元補間フィルタリングとを通じて、２ステップの補間フィルタリングが行われた後、ｎ１とｎ２の和２ｎほど縮小する。第１一次元補間フィルタは、拡大しない補間フィルタである。

補間フィルタ係数ｆ_ｍ（α）の総和は１であるので、

拡大した補間フィルタのフィルタ係数Ｆ_ｍ（α）のための正規化条件は、数式（１１）による必要がある。

しかし、数式（１１）による正規化条件は、ラウンディングエラーによって誤差が発生する。一実施形態による映像補間装置１０は、数式（１１）による正規化条件に基づいて、拡大したフィルタ係数Ｆ_ｍ（α）を四捨五入する。正規化のために、拡大したフィルタ係数Ｆ_ｍ（α）のうち一部は、元来の値に比べて所定の範囲内で調整される。例えば、拡大したフィルタ係数は、ラウンディングエラーを補正するために、±１の範囲内で調整される。

一実施形態による補間部１４は、参照ピクセルの個数が奇数である補間フィルタや、補間位置を中心として非対称形の補間フィルタのために、基底関数に基づいた変換及び逆変換を利用した補間フィルタを変形する。

前述した複数個の基底関数に基づいた変換及び逆変換を利用した補間フィルタの一種として、奇数個のフィルタ係数を含む奇数タップ補間フィルタを利用した映像補間について後述する。

＜非対称形の補間フィルタ＞
図５Ａは、一実施形態によって、副画素単位のピクセル値を決定するために、補間位置を中心として非対称的に位置した参照ピクセルを利用する補間フィルタリング方法を示す。

副画素単位である補間位置αのピクセルｐ（α）５０を求めるために、補間位置αを中心として、左側の参照ピクセル５２と、右側の参照ピクセル５４とが補間フィルタリングのために利用される場合を想定する。すなわち、補間位置αを中心として、左側の参照ピクセル５２の個数は３であり、右側の参照ピクセル５４の個数は５である。すなわち、奇数個のピクセルが参照されるので、補間位置αを中心として参照ピクセル５２，５４が非対称的に位置している。

数式（１）ないし（７）を参照して前述したように、補間位置αを中心として対称的に分布した２Ｍ個の画素単位の参照ピクセルｐ_−Ｍ＋１，ｐ_−Ｍ＋２，…，ｐ_０，ｐ_１，…，ｐ_Ｍを利用して、補間フィルタリングが行われる。すなわち、参照ピクセルをｐ_ｌと表現すれば、整数ｌの範囲は、−Ｍ＋１≦ｌ≦Ｍと表現される。

数式（１）ないし（７）の補間位置αが適切に（α−ｈ）ほど平行移動されれば、数式（１）ないし（７）を利用して、図５Ａのように補間位置αを中心として非対称的に位置した参照ピクセルを利用する補間フィルタのフィルタ係数が生成される。

すなわち、非対称的な参照ピクセル５２，５４をｐ_ｌと表現すれば、整数ｌの範囲は、−Ｍ＋１＋ｈ≦ｌ≦Ｍ＋ｈであり、この時、Ｍは４、ｈは１である。すなわち、補間位置αを中心として２Ｍ個の参照ピクセルが対称的に分布した場合に比べて、左側の参照ピクセル５２の個数が一つ少ない。

数式（１）ないし（７）の補間フィルタは、一次元フィルタであり、二次元フィルタリングのためには、一次元フィルタを利用して、垂直方向に補間フィルタリングが行われ、水平方向に補間フィルタリングが行われる。すなわち、一次元補間フィルタリングが二回行われる。動き補償のための二回の一次元補間フィルタリングのうち、二番目の一次元補間フィルタリングは、フィルタタップの数が半分サイズ拡張したフィルタを利用し、最初の一次元補間フィルタリングは、拡張したブロックに対して行われる。

ブロックの左側境界に対して補間フィルタリングを行う場合、左側境界の左側外にブロックを拡張しなければならない。補間位置αを中心として対称的に位置する２Ｍ個の参照ピクセルを利用する対称形の補間フィルタの場合、補間フィルタリングのために、ブロックの左側外にＭ個のピクセル距離ほど拡張しなければならない。

しかし、補間位置αを中心として非対称的に位置した参照ピクセルを利用する非対称形の補間フィルタの場合、補間フィルタリングのために、ブロックの左側外に（Ｍ−ｈ）個のピクセル距離ほどフィルタリング領域を拡張すればよい。同様に、ｈが負の方向である場合には、ブロックの右側境界についての補間フィルタリングを行う時、ブロックの右側外に（Ｍ＋ｈ）個のピクセル距離ほどフィルタリング領域を拡張すればよい。すなわち、ブロック境界の補間フィルタリングの場合、対称形の補間フィルタを利用する場合に比べて、非対称形の補間フィルタを利用する場合、ピクセル距離ほどブロック拡張領域が減少する。したがって、ブロック拡張領域が減少することによって、拡張領域のピクセル値を保存するための保存空間が減少し、かつブロック拡張のための演算量も減少する。

＜奇数タップ補間フィルタ＞
図５Ｂは、一実施形態によって、副画素単位のピクセル値を決定するために、奇数個のフィルタ係数で構成された補間フィルタを利用する補間方法を示す。

副画素単位である補間位置αのピクセルｐ（α）５５を求めるために、参照ピクセル｛ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２｝を利用する補間フィルタを想定すれば、参照ピクセルが総５個、すなわち、奇数個であり、補間位置αを中心として、三つの左側の参照ピクセル５１と、二つの右側の参照ピクセル５３とが補間フィルタリングのために参照される。

補間位置αを中心として、左側の参照ピクセル５１と右側の参照ピクセル５３とが非対称的に位置し、右側の参照ピクセル５３の個数が少ないので、図５Ｂの補間フィルタは、ブロックの右側境界についての補間フィルタリングに効果的である。

まず、下記の数式（１２）ないし（１５）によって、整数ｌの範囲が−Ｍ＋１≦ｌ≦Ｍ−１である参照ピクセル｛ｐ_ｌ｝を利用するフィルタサイズ（すなわち、フィルタタップの数）Ｓｉｚｅが２Ｍ−１である補間フィルタのフィルタ係数｛ｐ（α）｝が決定される。

Ｍが３である場合、図５Ｂの補間フィルタ係数は、数式（１５）によって決定される。

他の例として、下記の数式（１６）ないし（１９）によって、整数ｌの範囲が−Ｍ＋２≦ｌ≦Ｍであるピクセル｛ｐｌ｝を参照するフィルタサイズ（すなわち、フィルタタップの数）Ｓｉｚｅが２Ｍ−１である補間フィルタのフィルタ係数｛ｐ（α）｝が決定される。

数式（１９）によって決定されるフィルタ係数の補間フィルタリングは、図５Ｂの参照ピクセルに比べて、右側に１ほど平行移動されたピクセルを参照する。

数式（１２）ないし（１９）において、αは、０以上１以下の値に制限されない。すなわち、αは、０より小さいか、または１より大きい数であってもよい。したがって、数式（１２）ないし（１９）に基づいて、一実施形態によって、奇数フィルタタップで構成された補間フィルタ、すなわち、奇数タップ補間フィルタが具現される。補間フィルタのフィルタタップの数が奇数個であるので、補間フィルタを利用した補間フィルタリングは、奇数個の参照ピクセルを参照する。

一実施形態による補間フィルタは、前述した補間位置を中心として非対称的に位置した参照ピクセルを利用する補間フィルタと、奇数タップ補間フィルタとが結合された形態も可能である。すなわち、補間位置を中心として非対称的に位置する奇数ピクセルを参照して、補間フィルタリングを行う補間フィルタも利用可能である。

数式（１２）ないし（１５）において参照ピクセルの中心を一般化すれば、下記の数式（２０）及び（２１）によって、補間フィルタのフィルタ係数が誘導される。

ここで、Ｍ_ｍａｘ及びＭ_ｍｉｎは、それぞれ参照ピクセルのうち最小インデックス及び最大インデックス値を表し、参照ピクセルの範囲を表す。したがって、フィルタサイズＳｉｚｅは、（Ｍ_ｍａｘ−Ｍ_ｍｉｎ＋１）として決定される。例えば、７タップ補間フィルタの場合、Ｍ_ｍａｘ＝３及びＭ_ｍｉｎ＝−３であれば、参照ピクセルの中央インデックスが０である。Ｃｅｎｔｅｒは、参照ピクセルのうち中央インデックスを表す。すなわち、Ｃｅｎｔｅｒは、Ｍ_ｍａｘ及びＭ_ｍｉｎの平均値である。

また、数式（２０）及び（２１）の補間フィルタのための基底関数を、コサイン変換関数の基底関数Ｗｋとして表現すれば、下記の数式（２２）及び（２３）が誘導される。

したがって、一実施形態による補間フィルタは、補間位置を中心として非対称的に位置する参照ピクセルを利用する非対称形の補間フィルタであって、総フィルタ係数の個数が奇数である奇数タップ補間フィルタを含む。もちろん、数式（１）ないし（７）を参照して前述したように、一実施形態による補間フィルタは、対称形の補間フィルタと、偶数タップ補間フィルタとを含む。

ただし、奇数タップ補間フィルタは、一般的に非対称形の補間フィルタであるが、偶数タップ補間フィルタは、対称形の補間フィルタであってもよく、非対称形の補間フィルタであってもよい。例えば、８タップ補間フィルタが、補間位置を中心として四つのフィルタ係数と、四つのフィルタ係数とで構成された場合には、対称形の偶数タップ補間フィルタであるが、８タップ補間フィルタが、補間位置を中心として三つのフィルタ係数と、五つのフィルタ係数とで構成された場合には、非対称形の偶数タップ補間フィルタであるとすることができる。

一実施形態による補間フィルタは、補間位置によって、補間フィルタ応答の平滑度を調節して生成されたフィルタ係数で構成される。

以下、実施形態による多様な平滑化補間フィルタを決定するために、ウィンドウフィルタが利用される場合について詳述する。

＜ウィンドウフィルタを利用した平滑化補間フィルタ＞
一実施形態によって、ウィンドウフィルタを利用して、補間フィルタ係数を平滑化する方式について詳述する。

一実施形態によって、使用可能なウィンドウフィルタは、ハミングウィンドウ関数、コサインウィンドウ関数、エクスポーネンシャルウィンドウ関数、ハニングウィンドウ関数、ブラックマンウィンドウ関数、及び三角ウィンドウ関数を利用する。以下、説明の便宜上、特定のウィンドウフィルタを利用して、一実施形態による変換及び逆変換に基づいた補間フィルタを平滑化する実施形態について詳述するが、前述したウィンドウ関数以外に、類似した周波数応答を有する他のウィンドウ関数も活用可能であることは当業者にとって容易に理解できるであろう。

ハミングウィンドウ関数によるウィンドウ係数は、数式（２４）による。

ハミングウィンドウ関数を含む多様なウィンドウ関数は、入力ｎがＮ／２を基準として対称であり、周波数応答が低域通過フィルタと類似している。ウィンドウ関数についての入力のうち、ウィンドウ関数が形成するウィンドウによりカバーされる入力のみが出力される。ウィンドウサイズＮは、元来の補間フィルタのフィルタ長よりも大きい正の整数に設定される。例えば、１／２ピクセルまたは１／４ピクセルのように、副画素単位を生成するための補間フィルタにウィンドウ関数を適用するために、ウィンドウ関数の中央位置が１／２または１／４の副画素単位ほど移動される。すなわち、ウィンドウ関数の中央位置が補間位置に移動され、補間位置を中心として対称形態である。

例えば、数式（２５）及び（２６）は、それぞれ１／２ピクセル単位と１／４ピクセル単位の補間フィルタのためのハミングウィンドウ関数によるウィンドウ係数を例示する。

数式（２７）のウィンドウ係数は、副画素単位の補間位置αによって一般化された補間フィルタのためのウィンドウ関数として、順次にハミングウィンドウ関数、コサインウィンドウ関数、及びエクスポーネンシャルウィンドウ関数によるウィンドウ係数を例示する。

数式（２７）によるウィンドウ係数を、元来の補間フィルタｆ_ｋ（α）に合成することによって、平滑化補間フィルタ係数は、数式（２８）によって決定される。

一実施形態によって、ウィンドウフィルタを利用して、平滑化補間フィルタを決定することによって、画素単位の参照ピクセルと補間位置との間の距離に基づいて、補間フィルタ係数についての加重値が調節される。例えば、ウィンドウ関数により、補間フィルタのフィルタ係数のうち、補間位置から遠い距離に位置した画素単位の参照ピクセルのためのフィルタ係数は大きく平滑化され、補間位置に近い参照ピクセルのためのフィルタ係数は大きく変更しない形態で、平滑化補間フィルタが決定される。

また、ウィンドウフィルタを利用して、平滑化補間フィルタを決定することによって、画素単位の参照ピクセルを平滑化した後、補間フィルタリングが行われるという効果がある。入力された画素単位の参照ピクセル（Ｒｅｆ＝｛ｐ_−Ｍ＋１，ｐ_−Ｍ＋２，…，ｐ_０，ｐ_１，…，ｐ_Ｍ｝）は、ノイズを含んでいるか、または量子化エラーのようなエラーによって損傷されている。それによって、一実施形態による映像補間装置１０は、画素単位の参照ピクセルを利用した補間前に、画素単位の参照ピクセルを平滑化した後、補間フィルタリングを行うことによって、補間効果を向上させることができる。

＜非対称的なウィンドウフィルタを利用した補間フィルタ＞
一実施形態による非対称的なウィンドウフィルタは、フィルタの中央を中心として非対称的な形態である。したがって、補間フィルタのための非対称的なウィンドウフィルタは、補間位置を中心として非対称的に補間フィルタリングが行われる結果を誘導する。

下記の数式（２９）は、最も単純な形態の非対称的なウィンドウフィルタのフィルタ係数ｗ_ｌを表す。

Ｎは、ウィンドウサイズであり、Ｍ_ｍｉｎ及びＭ_ｍａｘは、それぞれ参照ピクセルのうち補間位置から最も遠いピクセル位置を表す。

一実施形態によるウィンドウフィルタは、ウィンドウサイズＮを変更することによって、フィルタ特性が調節される。ウィンドウサイズＮは、補間フィルタサイズＳｉｚｅより大きいか、またはそれと同じであるが、補間フィルタサイズの２倍よりは小さいか、またはそれと同じであることが望ましい（Ｓｉｚｅ≦Ｎ≦２＊Ｓｉｚｅ）。

例えば、数式（１）ないし（７）を数式（２９）と組み合わせれば、Ｍが４である対称形の補間フィルタのフィルタ係数を決定する場合、参照ピクセルの個数（２Ｍ）は８であるので、８タップ補間フィルタであり、ウィンドウサイズＮ＝１３であるウィンドウ関数を利用した結果、１／４画素単位の補間フィルタ及び１／２画素単位の補間フィルタのフィルタ係数は、下記の通りである。ここで、使われたスケーリングファクターＳは６４である。

１／４画素単位の補間フィルタ係数｛ｐ_ｌ｝＝｛−１，４，−１０，５７，１９，−７，３，−１｝；
１／２画素単位の補間フィルタ係数｛ｐ_ｌ｝＝｛−１，４，−１１，４０，４０，−１１，４，−１｝；
同様に、数式（１）ないし（７）を数式（２９）と組み合わせる時、Ｍ_ｍｉｎ及びＭ_ｍａｘを異なって調節すれば、非対称的なウィンドウフィルタを利用して、非対称形の補間フィルタのフィルタ係数が決定される。

＜二つのパラメータを利用した平滑化補間フィルタ＞
他の実施形態による平滑化補間フィルタは、二つのパラメータに基づいて、フィルタ係数の平滑度を決定する。変換及び逆変換に基づいた補間フィルタ係数と、平滑化マトリックスＳとを合成した副画素単位のための平滑化補間フィルタ係数は、数式（３０）による。

数式（３１）は、平滑化マトリックスＳの一例である。

数式（３１）による平滑化マトリックスＳは、３対角マトリックス形態である。すなわち、平滑化マトリックスＳの成分のうち、一つの中心対角線、及び中心対角線に隣接し、相応する二つの対角線上の成分を除いた残りの成分は、いずれも０である。

平滑化マトリックスＳにおいて、平滑度σ_ｉは、補間される画素単位ピクセルからの距離（ｉ−α）と関係なく決定されてもよい。その場合、平滑化マトリックスＳによる平滑化は、均等平滑化と呼ばれる。

また、一実施形態による平滑化マトリックスＳにおいて、平滑度σ_ｉは、画素単位ピクセル位置のインデックスｉによって変更されもする。その場合、平滑化マトリックスＳによる平滑化は、非均等平滑化と呼ばれる。例えば、平滑度σ_ｉは、数式（３２）による。

正の指数ｌは、補間される補間位置と画素単位の参照ピクセルとの間の距離が遠いほど、平滑化効果を向上させる。したがって、正の指数ｌは、平滑化の速度、すなわち、補間位置と画素単位の参照ピクセルとの間の距離によって、平滑化効果が向上する速度を制御することができる。平滑化パラメータβは、平滑化の範囲、すなわち、補間位置近辺での平滑化を制御することができる。

若し０より小さいβが使われれば、数式（１３）による平滑化マトリックスＳは、シャープニングフィルタに変更されもする。したがって、０より小さい平滑化マトリックスＳが変換及び逆変換を利用した補間フィルタと合成されれば、高周波成分を増幅させるフィルタが生成されることは、他の実施形態により具現される。

一実施形態による映像補間装置１０は、副画素単位の予測のために、平滑化補間フィルタ係数データを予めメモリなどに積載して使用する。

図６は、一実施形態によって、平滑化補間フィルタの平滑度パラメータによる平滑化ファクターのグラフ６７を示す。

第１曲線６８及び第２曲線６９は、一実施形態による離散変換に基づいた補間フィルタを平滑にするための平滑化ファクターのグラフを示す。ｍが大きいほど、すなわち、補間される画素単位ピクセルから遠くなるほど、平滑化ファクターは０に近くなる。

ここで、平滑化パラメータβの小さい第１曲線６８は、平滑化パラメータβの大きい第２曲線６９に比べて、相対的に平滑化ファクターの幅が広い。すなわち、平滑化パラメータβの大きい平滑化補間フィルタによれば、低周波成分のみが主にフィルタリングされて、相対的に強く平滑化された副画素単位のピクセル値が生成される。平滑化補間フィルタの平滑化パラメータβが相対的に小さければ、相対的に高周波成分が保存されたままで補間されて、副画素単位のピクセル値が生成される。

以上、多様な補間フィルタとフィルタ係数とが開示された。特に、補間フィルタのフィルタ係数を決定するための関数として、ウィンドウ関数、スプライン関数、多項式などが利用される。補間フィルタのためには、関数の周波数応答は周波数によって変わるが、関数の周波数応答のフィルタ利得が１に近いことが望ましい。したがって、一実施形態による映像補間装置１０は、周波数が変わるとしても、周波数応答のフィルタ利得が１に最も近い関数を利用して、フィルタ係数を決定し、該フィルタ係数で構成された補間フィルタを補間フィルタとして選択する。

＜正規化された補間フィルタ＞
一実施形態によって、補間フィルタは、フィルタサイズが大きくなるほど、補間結果の正確性が向上する。しかし、フィルタサイズが大きくなるほど、フィルタリング結果で高周波成分が保存されるので、ノイズに脆弱である。一実施形態による補間フィルタは、補間位置αを中心とするコサインウィンドウ関数を利用して、参照ピクセル値｛ｐ_ｌ｝を平滑化することによって、補間フィルタリング結果のノイズを減少させることができる。コサインウィンドウ関数を利用して、参照ピクセル値｛ｐ_ｌ｝を平滑化する動作は、数式（３３）による。

Ｎは、平滑化のためのウィンドウサイズであるが、必ずしも整数である必要はない。したがって、数式（７）による変換及び逆変換を利用したフィルタリングと、数式（３３）によるウィンドウフィルタリングとが結合されれば、副画素単位の補間位置αのための平滑化補間フィルタリングが可能である。これによる平滑化補間フィルタリングは、ＦＩＲ(Finite Impulse Response)フィルタにより具現され、下記の数式（３４）及び（３５）による。

数式（３４）及び（３５）において、ｐ_αは、平滑化補間フィルタリング結果として生成されたピクセル値であり、Ｆｉｌｔｅｒ_ｌ（α）は、平滑化補間フィルタのフィルタ係数を表す。Ｍ_ｍｉｎ及びＭ_ｍａｘは、参照ピクセルの範囲を表す。

クロマ成分のピクセルのための平滑化補間フィルタは、高周波成分の影響をさらに除去するために、平滑化補間フィルタの平滑化パラメータを調節する。平滑化パラメータσを利用したクロマ補間フィルタのフィルタ係数は、数式（３６）及び（３７）によって決定される。

図７は、一実施形態によって、補間フィルタの振幅周波数応答グラフ７０を示す。

補間フィルタにサイズ１であるハーモニック信号が入力されれば、補間フィルタの振幅周波数応答グラフ７０は、補間フィルタリング結果を表している。

振幅周波数応答グラフ７０は、一実施形態によって、基底関数として離散コサイン変換及び逆変換を利用する８タップ平滑化補間フィルタの第１周波数応答７１、一実施形態によって、正規化された８タップ平滑化補間フィルタの第２周波数応答７２、及びＨ．２６４ビデオコーディング標準による６タップ補間フィルタの第３周波数応答７３を示す。

周波数応答７１，７２，７３において、山(hill)７１１，７１５，７２１，７３１は、当該周波数で信号が増幅することを表し、谷(valley)７１３は、当該周波数で信号が減衰することを表す。入力信号が増幅したり減衰する効果は、補間フィルタリングに適していない。

理想的な振幅周波数応答７４は、全ての周波数で１であるので、山や谷が全く存在しない。それは、補間フィルタリングにより歪曲が発生しないことを意味する。

補間フィルタの周波数応答が理想的な振幅周波数応答７４に近いほど、補間フィルタリング結果がさらに正確になる。理想的な振幅周波数応答７４と比較して、補間フィルタの周波数応答の歪曲は、補間フィルタの周波数応答と、理想的な振幅周波数応答７４との差の二乗値、すなわち、差領域の広さとして数値化される。

例えば、一実施形態による正規化された平滑化補間フィルタは、ウィンドウフィルタサイズＮ及び平滑度σを調節することによって、理想的な振幅周波数応答７４に対する歪曲を最小化できる。理想的な振幅周波数応答７４と比較して、正規化された平滑化補間フィルタの周波数応答の歪曲は、振幅周波数応答グラフ７０において、理想的な振幅周波数応答７４と、第２周波数応答７２との間の斜線領域の広さに該当する。すなわち、斜線領域の広さが狭くなるほど、一実施形態による正規化された平滑化補間フィルタを利用した補間結果の正確性が向上する。

また、周波数がπに近くなるほど、ＦＩＲフィルタの周波数応答は０に近くなるので、ＦＩＲフィルタは、高周波成分を生成できない。また、補間フィルタの遮断レベルが低いほど、補間フィルタは、参照映像の詳細情報を復元できない。一般的に、フィルタ長が長いほど、さらに高い遮断レベルが割り当てられる。振幅周波数応答グラフ７０において、Ｈ．２６４ ６タップ補間フィルタの第３周波数応答７３の遮断レベル７３９に比べて、一実施形態による平滑化補間フィルタと、正規化された平滑化補間フィルタとの第１及び第２周波数応答７１，７２の遮断レベル７１９，７２９がさらに高いので、一実施形態による平滑化補間フィルタ、または正規化された平滑化補間フィルタを利用した補間結果が、Ｈ．２６４補間フィルタを利用した補間結果に比べて、参照映像の詳細情報をさらに正確に復元できる。

したがって、一実施形態による８タップ平滑化補間フィルタは、Ｈ．２６４ビデオコーディング標準で利用される６タップ補間フィルタに比べて、入力信号の高周波成分を保存する補間フィルタリング結果を導出できる。また、Ｈ．２６４ ６タップ補間フィルタの歪曲領域に比べて、８タップ平滑化補間フィルタの歪曲領域は相対的に狭いので、補間結果の歪曲が相対的に少ない。

一実施形態による８タップ平滑化補間フィルタのうち、正規化された平滑化補間フィルタの第２周波数応答７２が理想的な振幅周波数応答７４に近く、正規化していない第１周波数応答は、山と谷の歪曲領域が発生するので、歪曲領域が相対的にさらに広い。すなわち、正規化された平滑化補間フィルタに比べて、正規化していない平滑化補間フィルタのフィルタリング結果は、相対的に所望しないアーティファクトをさらに含む。

したがって、一実施形態による補間フィルタのフィルタ係数を決定するためには、理想的な振幅周波数応答７４と比較して、歪曲領域が最小化される正規化された平滑化補間フィルタのフィルタ係数を選択することが有利である。すなわち、一実施形態による平滑化補間フィルタのウィンドウフィルタサイズＮ及び平滑度σを調節して、フィルタ係数を正規化することによって、平滑化補間フィルタの周波数応答の歪曲領域が最小化されるフィルタ係数が決定される。

したがって、一実施形態による映像補間装置１０の補間フィルタは、平滑化を考慮して決定されたフィルタ係数で構成される。

＜位相移動α＆動きベクトル値＞
従来、動き補償のための正確度は、１／２画素単位または１／４画素単位のように１／２^ｐ画素単位の副画素単位である。これに対し、一実施形態による副画素単位の補間フィルタのフィルタ係数を決定するための補間位置αは、１／２^ｐ画素単位に限定されない。

一実施形態によって、補間位置αが１／２または１／４ではない副画素単位の動き補償のために、１／２画素単位または１／４画素単位の動きベクトルの部分ベクトルが利用される。例えば、１／２画素単位の動きベクトルＭＶの副画素単位成分セット｛α，１／２，１−α｝を仮定する。αが１／４より小さければ、動きベクトルＭＶの符号化単位成分の長さはさらに短くなるので、動き補償のための補間フィルタリングの安定性が向上し、差分動きベクトルのための符号化ビットが節約される。

ビデオコーディングにおいて最も広く利用されるカラーフォーマットは、４：２：０フォーマットである。その場合、ルマサンプルに比べて、半分個数のクロマサンプルが符号化される。ルマサンプルとクロマサンプルとの間に同一な動きベクトルが共有される場合、クロマ動きベクトルのサイズは、ルマ動きベクトルの半分である。したがって、ルマ補間フィルタの位相移動と、クロマ補間フィルタの位相移動は同期化される。

例えば、ルマ補間フィルタの位相移動が｛α_ｉ｝であれば、クロマ補間フィルタの位相移動は、｛α_ｉ／２｝∪｛１−α_ｉ／２｝∪｛１／２｝に同期化される。

例えば、動きベクトルＭＶの副画素単位成分セットを利用した動き補償の場合、ルマ補間フィルタの位相移動が｛α，１／２，１−α｝であれば、クロマ補間フィルタの位相移動は、｛α／２，（１−α）／２，１／２，１−α／２，１−（１−α）／２｝に同期化される。

以上、一実施形態による補間フィルタのフィルタ係数を決定するために、複数個の基底関数に基づいた変換及び逆変換を利用する補間フィルタ、副画素単位の補間のための補間フィルタ、対称形／非対称形の補間フィルタ、奇数タップ／偶数タップ補間フィルタ、ウィンドウフィルタを適用した補間フィルタ、平滑化を考慮した補間フィルタ、正規化された補間フィルタなどが述べられた。

前記それぞれの補間フィルタは、個別的に完全なフィルタであるが、それぞれの補間フィルタが合成されてもよい。例えば、一実施形態による補間フィルタは、副画素単位の補間が可能であり、補間位置を中心として参照ピクセルが対称的に位置するか、非対称的に位置するかに関係なく、補間フィルタリングを行う。また、フィルタ係数の個数が偶数または奇数であって、偶数個の画素単位ピクセルだけでなく、奇数個の画素単位ピクセルを参照する補間フィルタリングが可能である。また、正規化された平滑化補間フィルタのフィルタ係数が選択されることによって、参照ピクセルの詳細情報を保存しつつ、ノイズのような所望しない高周波成分は最小化して、補間フィルタリングによる歪曲を最小化できる。

図８は、一実施形態による映像補間方法を示すフローチャートである。

ステップ８１において、ピクチャの画素単位の間に位置する少なくとも一つの副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置によって、対称形の補間フィルタまたは非対称形の補間フィルタが選択される。

一実施形態によって選択された非対称形の補間フィルタは、奇数タップ補間フィルタである。一実施形態によって選択された対称形の補間フィルタは、偶数タップ補間フィルタである。

一実施形態によるそれぞれの補間フィルタは、画素単位ピクセルを空間ドメインで補間するために、複数個の基底関数を利用した変換及び逆変換のためのフィルタと、非対称的な形態または対称的な形態であるウィンドウフィルタとを合成したフィルタ係数で構成される。

一実施形態による補間フィルタのうち、選択された補間フィルタを利用した補間結果として発生する周波数応答誤差を最小化するように、正規化された補間フィルタが選択される。また、ノイズのような高周波成分の復元を防止するために、参照ピクセルを平滑化するためのフィルタ係数で構成された補間フィルタが選択される。

ステップ８３において、ステップ８１で選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間して、少なくとも一つの副画素単位のピクセル値が生成される。

ステップ８１で非対称形の補間フィルタが選択された場合には、ステップ８３において、補間位置を中心として非対称的に位置する画素単位ピクセルを参照して、フィルタリングが行われる。ステップ８１で対称形の補間フィルタが選択された場合には、ステップ８３において、補間位置を中心として対称的に位置する画素単位ピクセルを参照して、フィルタリングが行われる。

また、ステップ８１で非対称形の奇数タップ補間フィルタが選択された場合には、ステップ８３において、非対称形の奇数タップ補間フィルタの奇数個のフィルタ係数を利用して、補間位置を中心として位置した奇数個の画素単位ピクセルを参照して、フィルタリングが行われる。ステップ８１で対称形の偶数タップ補間フィルタが選択された場合には、ステップ８３において、対称形の偶数タップ補間フィルタの偶数個のフィルタ係数を利用して、補間位置を中心として位置した偶数個の画素単位ピクセルを参照して、フィルタリングが行われる。

以下、図９Ａないし図１２Ｂを参照して、副画素単位の補間位置によって選択的に決定された対称形／非対称形の補間フィルタのフィルタ係数の多様な実施形態が開示される。

図９Ａないし図１２Ｂに示した補間フィルタは、前述した原理によって、複数個の基底関数に基づいた変換及び逆変換を利用する副画素単位の補間フィルタと、高周波成分の平滑化のためにウィンドウフィルタとが合成されたフィルタであり、補間結果の予測が最小化されるように、ウィンドウサイズ及び平滑度が調節されたフィルタ係数で構成される。また、多様な対称形／非対称形の補間フィルタ、及び奇数タップ／偶数タップ補間フィルタが開示される。

一実施形態による補間フィルタは、鏡反射型の対称フィルタであるので、補間位置αのフィルタ係数ｆ_ｍ（α）を利用して、補間位置（１−α）のフィルタ係数ｆ_ｍ（１−α）が決定される。したがって、以下、図９Ａないし図１２Ｂのテーブルにおいて、動きベクトルＭＶの副画素単位が１／２より小さいか、またはそれと同じ場合の補間フィルタ係数｛ｆ_ｍ（α）｝のみが開示されているとしても、動きベクトルＭＶの副画素単位が１／２より大きい場合の残りの補間フィルタ係数｛ｆ_ｍ（α）｝が決定されることは当業者にとって容易に理解できるであろう。

まず、図９Ａないし図１１Ｃのテーブルにおいて、テーブルの最初の列‘ＦｒａｃＭＶ’は、１／２^ｐ画素単位の動き補償のための動きベクトルＭＶの副画素単位を表す。一実施形態による副画素単位の補間フィルタリングのために、‘ＦｒａｃＭＶ’値は、テーブルの二番目の列のフィルタ係数と組み合わせられる。テーブルの三番目の列の補間位置αは、副画素単位の補間位置を定義するためのパラメータであって、画素単位からの位相移動値を表す。テーブルの四番目の列のウィンドウフィルタサイズＮは、必ずしも整数である必要はない。補間フィルタのスケーリングビットは、６ビットである。

図９Ａないし図９Ｄは、それぞれ一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される３タップ、４タップ、５タップ及び６タップ補間フィルタのフィルタ係数を示す。

図９Ａは、３タップ補間フィルタであり、フィルタ係数｛ｐ_−１，ｐ_０，ｐ_１｝で構成される非対称形の補間フィルタを示す。したがって、図９Ａの補間フィルタを利用した補間フィルタリングは、補間位置を中心として非対称的に位置した画素単位ピクセルを参照する。例えば、水平補間を行うならば、補間位置を中心として左側に二つ、右側に一つの画素単位の参照ピクセルを利用して、補間フィルタリングが行われる。

図９Ｂは、４タップ補間フィルタであり、フィルタ係数｛ｐ_−１，ｐ_０，ｐ_１，ｐ_２｝で構成される対称形の補間フィルタを示す。したがって、図９Ｂの補間フィルタを利用した補間フィルタリングは、補間位置を中心として対称的に位置した画素単位ピクセルを参照する。例えば、水平補間を行うならば、補間位置を中心として左側に二つ、右側に二つの画素単位の参照ピクセルを利用して、補間フィルタリングが行われる。

図９Ｃは、５タップ補間フィルタであり、フィルタ係数｛ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ３｝で構成される非対称形の補間フィルタを示す。したがって、図９Ｃの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した二つの左側の画素単位の参照ピクセルと、三つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図９Ｄは、６タップ補間フィルタであり、フィルタ係数｛ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３｝で構成される対称形の補間フィルタを示す。したがって、図９Ｄの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として対称的に位置した三つの左側の画素単位の参照ピクセルと、三つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１０Ａないし図１０Ｃは、それぞれ一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される７タップ補間フィルタのフィルタ係数を示す。

図１０Ａは、フィルタ係数｛ｐ_−３，ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３｝で構成される非対称形の補間フィルタを示す。したがって、図１０Ａの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した四つの左側の画素単位の参照ピクセルと、三つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１０Ｂは、フィルタ係数｛ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４｝で構成される非対称形の補間フィルタを示す。したがって、図１０Ｂの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した三つの左側の画素単位の参照ピクセルと、四つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１０Ｃは、フィルタ係数｛ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５｝で構成される非対称形の補間フィルタを示す。したがって、図１０Ｃの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した二つの左側の画素単位の参照ピクセルと、五つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１１Ａないし図１１Ｃは、それぞれ一実施形態によって、補間位置及びウィンドウフィルタサイズによって決定される８タップ補間フィルタのフィルタ係数を示す。

図１１Ａは、フィルタ係数｛ｐ_−３，ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４｝で構成される対称形の補間フィルタを示す。したがって、図１１Ａの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として対称的に位置した四つの左側の画素単位の参照ピクセルと、四つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１１Ｂは、フィルタ係数｛ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５｝で構成される非対称形の補間フィルタを示す。したがって、図１１Ｂの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した三つの左側の画素単位の参照ピクセルと、五つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１１Ｃは、フィルタ係数｛ｐ_−４，ｐ_−３，ｐ_−２，ｐ_−１，ｐ_０，ｐ_１，ｐ_２，ｐ_３｝で構成される非対称形の補間フィルタを示す。したがって、図１１Ｃの補間フィルタを利用して、水平補間を行うならば、補間位置を中心として非対称的に位置した五つの左側の画素単位の参照ピクセルと、三つの右側の画素単位の参照ピクセルとを利用して、補間フィルタリングが行われる。

図１２Ａ及び図１２Ｂは、それぞれ一実施形態によって、正規化されたルマ補間フィルタ及びクロマ補間フィルタのフィルタ係数を示す。

図１２Ａ及び図１２Ｂは、＜正規化された補間フィルタ＞で前述したように、歪曲領域が最小化されるように選択された正規化された補間フィルタのフィルタ係数を示す。図１２Ａは、ルマ補間フィルタのフィルタ係数を示し、図１２Ｂは、クロマ補間フィルタのフィルタ係数を示す。

図１２Ａによれば、一実施形態によって、ルマ補間フィルタの正規化のために、ウィンドウフィルタのフィルタサイズＮが調節される。図９Ａないし図１１Ｃに例示された多様な補間フィルタのうち、１／４画素単位の補間フィルタリングのための正規化されたルマ補間フィルタとして、ウィンドウサイズ８．７を有する７タップ補間フィルタ｛−１，４，−１０，５８，１７，−５，−１｝が選択される。また、１／２画素単位の補間フィルタリングのための正規化されたルマ補間フィルタとして、ウィンドウサイズ９．５を有する８タップ補間フィルタ｛−１，４，−１１，４０，４０，−１１，４，−１｝が選択される。すなわち、１／４画素単位の正規化されたルマ補間フィルタとして、非対称形の補間フィルタが選択され、１／２画素単位の正規化されたルマ補間フィルタとして、対称形の補間フィルタが選択される。

図１２Ｂによれば、一実施形態によって正規化されたクロマ補間フィルタの正規化のために、平滑度σが調節される。一実施形態によって正規化されたクロマ補間フィルタは、１／８画素単位の４タップ対称形の補間フィルタが選択される。

以下、図１３Ａないし図２７を参照して、一実施形態による補間フィルタを利用するビデオの符号化及び復号化が開示される。図１５ないし図２５を参照して、一実施形態によって、ツリー構造による符号化単位に基づいたビデオの符号化及び復号化が開示され、図２６及び図２７を参照して、一実施形態による補間フィルタを利用するビデオの符号化方法及び復号化方法が開示される。

映像に係るデータに対して各種の動作が行われる時、映像に係るデータは、データグループに分割され、同じデータグループに含まれるデータに対して同じ動作が行われる。以下、本明細書において、所定の基準によって形成されるデータグループを‘データ単位’という。以下、本明細書において、‘データ単位’ごとに行われる動作は、データ単位に含まれたデータを利用して、当該動作が行われることを意味する。

＜補間フィルタを利用するビデオ符号化／復号化＞
図１３Ａは、一実施形態による補間フィルタを利用するビデオ符号化装置を示すブロック図である。

ビデオ符号化装置１００の符号化部１２０及び出力部１３０の動作は、ビデオエンコーディングプロセッサ、中央プロセッサ、グラフィックプロセッサなどによって有機的に制御される。

一実施形態によるビデオ符号化装置１００は、入力されたビデオのうち、現在のピクチャを符号化するために、現在のピクチャを所定のサイズのデータ単位に分割して、データ単位別に符号化を行う。

例えば、現在のピクチャは、空間ドメインの画素で構成される。現在のピクチャのうち、空間的に隣接する画素を共に符号化するために、所定の範囲内の隣接した画素が一つのグループを成すように、現在のピクチャは、所定のサイズの画素グループに分割される。分割された所定のサイズの画素グループの画素についての一連の符号化動作によって、現在のピクチャについての符号化が行われる。

ピクチャの符号化処理対象となる初期データが空間ドメインの画素値であるので、それぞれの所定のサイズの画素グループが、符号化処理対象となるデータ単位として利用される。また、空間ドメインの画素グループの画素値に対して、ビデオ符号化のための変換を行って、変換ドメインの変換係数が生成されるが、変換係数も空間ドメインの画素グループと同一なサイズの係数グループを維持する。したがって、変換ドメインの変換係数の係数グループも、ピクチャの符号化のためのデータ単位として利用される。

したがって、空間ドメイン及び変換ドメインを合わせて、所定のサイズのデータグループが符号化のためのデータ単位として利用される。この時、データ単位のサイズは、データ単位に含まれるデータの個数として定義される。例えば、空間ドメインの画素の個数、または変換ドメインの変換係数の個数が、データ単位のサイズを表す。

ビデオのうち、現在の符号化処理対象であるデータ単位、スライス、ピクチャ及びピクチャシーケンスのうちいずれか一つのデータレベルのデータグループごとに、現在のデータ単位についての符号化方式または符号化特性が決定される。

一実施形態によるビデオ符号化装置１００は、データ単位別にインター予測及びイントラ予測を含む予測符号化、変換、量子化及びエントロピー符号化を行うことによって、現在のピクチャの符号化を行う。

インター予測によれば、時間的に以前のまたはその次のピクチャのピクセル値を参照して、現在のピクセル値が推定されるように、参照ピクチャの参照領域のピクセル値と、現在のピクチャのピクセル値とのレジデュアルデータ、及び参照されたピクセル値を指す参照データが決定される。

一実施形態によるビデオ符号化装置１００は、より正確なインター予測のために、副画素単位のピクセル値を利用して、レジデュアルデータ及び参照データを決定する。ビデオ符号化装置１００は、副画素単位のインター予測のために、隣接する画素単位ピクセルを補間して、隣接する画素単位ピクセルの間に位置する副画素単位のピクセル値を決定する。

また、隣接する画素単位ピクセルを含めて二つ以上の画素単位の参照ピクセルについての補間フィルタリングを通じて、副画素単位のピクセル値が生成される。補間フィルタリングのための参照ピクセルは、参照ピクチャ上のピクセルである。

一実施形態によるビデオ符号化装置１００は、効率的な映像補間のために、補間フィルタ係数を選択的に決定する。一実施形態による符号化部１２０に、一実施形態による映像補間装置１０が搭載される。すなわち、符号化部１２０は、副画素単位のインター予測のために、映像補間装置１０により、変換及び逆変換に基づいて決定されたフィルタ係数で構成された補間フィルタを利用して、副画素単位のピクセル値を生成する。

一実施形態によるビデオ符号化装置１００は、効果的な補間フィルタリングのために、補間フィルタ係数を予めメモリに保存しておく。一実施形態による補間フィルタ係数は、補間位置、平滑度、フィルタタップの数、ビット深さ、スケーリング割合、変換に基づいた補間フィルタリングの基底関数、ウィンドウ関数、ウィンドウサイズの種類によって、多様な種類の補間フィルタ係数がビデオ符号化装置１００のメモリに保存されている。

例えば、ｉ）７タップフィルタ係数｛−１，４，−１０，５８，１７，−５，１｝で構成されたウィンドウサイズ８．７である１／４画素単位の補間フィルタ、及びｉｉ）８タップフィルタ係数｛−１，４，−１１，４０，４０，−１１，４，−１｝で構成されたウィンドウサイズ９．５である１／２画素単位の補間フィルタのフィルタ係数がメモリに保存され、本発明による補間フィルタリングのために利用される。

本例によるフィルタ係数を含めて、図９Ａないし図１２Ｂに例示された多様なフィルタ係数のように、多様な基底関数、ウィンドウ関数などを通じて変形可能な補間フィルタ係数が、補間フィルタとして利用されることは前述した通りである。

メモリに保存されたフィルタ係数を利用した補間フィルタリングを通じて、インター予測のための演算速度が速くなる。

符号化部１２０は、補間フィルタのうち、副画素単位の補間位置αによって対称形の補間フィルタ／非対称形の補間フィルタを選択して、インター予測に利用できる。加えて、フィルタタップの数、ビット深さ、スケーリング割合、ウィンドウフィルタサイズ、平滑度などによって、現在のピクセルに適している補間フィルタが決定される。

一実施形態による符号化部１００は、映像特性によって、補間フィルタを決定する。例えば、符号化部１００は、ピクセルのカラー成分によって、異なる補間フィルタを決定する。例えば、ルマ成分のピクセルのための補間フィルタと、クロマ成分のピクセルのための補間フィルタとが個々に選択され、異なる補間フィルタリングを通じて、補間された副画素単位のピクセル値がそれぞれ生成される。

副画素単位の補間に基づいたインター予測を含めて、イントラ予測、変換／量子化を行って、ビデオが符号化される。

一実施形態による出力部１３０は、符号化情報を符号化して出力し、符号化されたピクチャデータを出力する。符号化情報は、補間フィルタの選択についての情報が別途に符号化される。すなわち、副画素単位の予測符号化のために、いかなる補間フィルタが使われたかについての情報が符号化される。例えば、映像の符号化過程においていなかるフィルタを利用して補間したのか復号化する側が知っていて始めて、符号化過程で利用された補間フィルタと同一なフィルタを利用して、映像を補間して復号化する。このために、補間に利用されたフィルタを特定できる情報が映像と共に符号化される。ただし、フィルタの選択が以前の符号化結果、すなわち、コンテキストに基づいて行われる場合には、フィルタ選択に係る情報を別途に符号化する必要がない。

出力部１３０は、符号化情報及び符号化されたピクチャデータに対して、エントロピー符号化を行い、ビットストリームを出力する。

図１３Ｂは、一実施形態による補間フィルタを利用する映像復号化装置を示すブロック図である。

一実施形態による補間フィルタを利用するビデオ復号化装置２００は、受信抽出部２２０及び復号化部２３０を備える。以下、説明の便宜上、一実施形態による補間フィルタを利用するビデオ復号化装置２００を‘ビデオ復号化装置２００’と縮約して指す。ビデオ復号化装置２００の受信抽出部２２０及び復号化部２３０の動作は、ビデオデコーディングプロセッサ、グラフィックプロセッサ、中央プロセッサなどにより有機的に制御される。

ビデオ復号化装置２００は、ビットストリームから映像を復元するために、エントロピー復号化、逆量子化、逆変換、インター予測／補償、及びイントラ予測／補償を含む動作を通じて、ビットストリームの符号化されたピクチャデータを復号化する。

一実施形態による受信抽出部２２０は、符号化されたビデオについてのビットストリームを受信してパージングする。受信抽出部２２０は、パージングされたビットストリームから、現在のピクチャに対してデータ単位別に符号化されたデータを抽出し、符号化されたデータを復号化するように、符号化方式についての情報が収録された符号化情報を抽出する。

符号化情報が補間フィルタ情報を含む場合、復号化部２３０は、補間フィルタ情報から、いかなる補間フィルタを利用して、副画素単位のイントラ予測を行ったか読み取り、符号化過程で利用された補間フィルタを利用して、動き補償を行う。

復号化部２３０は、符号化モードについての情報に基づいて決定された各種の復号化方式によって、符号化されたピクチャに対して、エントロピー復号化、逆量子化、逆変換、インター予測／補償、イントラ予測／補償などの各種の復号化動作を行うことによって、符号化されたピクチャデータを復号化する。

動き補償のために、参照データを利用して、現在のピクチャについての時間的に以前のまたはその次の参照ピクチャの参照領域が決定され、参照領域のピクセル値と、レジデュアルデータとが合成されて、現在のピクセル値が復元される。

符号化過程において、副画素単位で補間されたピクセルに基づいて、レジデュアルデータ及び参照データが決定された場合、復号化部２３０も、副画素単位で補間されたピクセルに基づいて、動き補償を行う。復号化部２３０は、副画素単位の動き補償のために、参照ピクチャのピクセルのうち、隣接する画素単位ピクセルを補間して、副画素単位のピクセル値を生成する。隣接する画素単位ピクセルを含めて、二つ以上の画素単位の参照ピクセルについての補間フィルタリングを通じて、副画素単位のピクセル値が生成される。

一実施形態によるビデオ復号化装置２００は、効率的な映像補間のために、補間フィルタ係数を選択的に決定する。一実施形態による復号化部２３０に、一実施形態による映像補間装置１０が搭載される。すなわち、復号化部２３０は、副画素単位の動き補償のために、変換に基づいた補間フィルタを利用して、副画素単位のピクセル値を生成する。

一実施形態によるビデオ復号化装置２００は、効果的な補間フィルタリングのために、補間位置、平滑度、フィルタタップの数、ビット深さ、スケーリング割合、及び変換に基づいた補間フィルタリングの基底関数の種類によって、多様に選択可能な補間フィルタのフィルタ係数をメモリに保存しておく。

前述したように、例えば、（ｉ）８タップ、スケーリング割合２^６、１／４画素単位のフィルタ係数である｛−１，４，−１０，５７，１９，−７，３，−１｝、（ｉｉ）８タップ、スケーリング割合２^６、１／２画素単位のフィルタ係数である｛−１，４，−１１，４０，４０，−１１，４，−１｝、（ｉｉｉ）４タップ、スケーリング割合２^６、１／８画素単位のフィルタ係数である｛−３，６０，８，−１｝、（ｉｖ）４タップ、スケーリング割合２^６、１／４画素単位のフィルタ係数である｛−４，５４，１６，−２｝、（ｖ）４タップ、スケーリング割合２^６、３／８画素単位のフィルタ係数である｛−５，４６，２７，−４｝、（ｖｉ）４タップ、スケーリング割合２^６、１／２画素単位のフィルタ係数である｛−４，３６，３６，−４｝のうち少なくとも一つのフィルタ係数がメモリに保存され、本発明による補間フィルタリングのために利用される。本例によるフィルタ係数を含めて、図８Ａないし図１２Ｃに示したように、多様な基底関数、ウィンドウ関数などを通じて変形可能な補間フィルタ係数が、補間フィルタリングのために利用されることは前述した通りである。

復号化部２３０は、補間フィルタのうち、副画素単位の補間位置α、平滑度、フィルタタップの数、ビット深さ、スケーリング割合などによって、現在のピクセルに適している補間フィルタを選択的に決定して、副画素単位の動き補償を行う。

また、復号化部２３０は、映像特性によって、補間フィルタを決定する。例えば、ピクセルのカラー成分によって、異なる補間フィルタを選択し、ルマ成分のピクセルのための補間フィルタリングと、クロマ成分のピクセルのための補間フィルタリングとが個々に行われ、補間された副画素単位のピクセル値がそれぞれ生成される。

したがって、復号化部２３０は、逆量子化／逆変換を通じて、空間ドメインのデータを復元し、イントラ予測及び画素単位の補間だけでなく、副画素単位の補間に基づいた動き補償を行うことによって、ピクセル値を復元し、現在のピクチャを復元する。ピクチャが復元されることによって、ビデオが復号化される。

図１４Ａは、一実施形態による補間フィルタを利用する映像符号化方法を示すフローチャートである。ステップ１４１０において、入力されたビデオのうち、現在のピクチャを符号化するために、副画素単位の補間を利用した予測符号化が行われる。副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。一実施形態による補間フィルタの平滑度は、補間位置と画素単位との間の距離に基づいて決定される。

参照ピクチャ上の二つ以上の画素単位の参照ピクセルについての補間フィルタリングを通じて、副画素単位のピクセル値が生成される。生成された副画素単位のピクセル値を利用して、レジデュアルデータ及び参照データが決定されることによって、予測符号化が行われる。

効率的な映像補間のために、補間フィルタ係数を選択的に決定する。メモリは、対称形／非対称形の補間フィルタ、奇数タップ／偶数タップの補間フィルタ、正規化された補間フィルタのフィルタ係数を含んでいる。メモリに予め保存された補間フィルタ係数のうち、副画素単位の補間位置、平滑度、フィルタタップの数、ビット深さ、スケーリング割合、変換に基づいた補間フィルタリングの基底関数の種類、ウィンドウフィルタサイズ、カラー成分などによって、所望する補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

ステップ１４２０において、副画素単位の補間に基づいたインター予測を含めて、イントラ予測が行われた結果に対して、変換／量子化が行われる。

ステップ１４３０において、量子化された変換係数の形態である符号化されたピクチャデータ及び符号化情報に対して、エントロピー符号化を行って、ビットストリームを出力する。符号化情報は、副画素単位の予測符号化のために、いかなる補間フィルタが使われたかについての情報を含む。

図１４Ｂは、一実施形態による補間フィルタを利用する映像復号化方法を示すフローチャートである。ステップ１４５０において、符号化されたビデオについてのビットストリームを受信し、エントロピー復号化してパージングし、ビットストリームから、現在のピクチャの量子化された変換係数及び符号化情報が抽出される。

符号化情報が補間フィルタ情報を含む場合、補間フィルタ情報から必要な補間フィルタの種類を読み取ることも可能である。

ステップ１４６０において、符号化情報から読み取られた符号化モードに基づいて決定された各種の復号化方式によって、量子化された変換係数に対して逆量子化及び逆変換を行い、レジデュアルデータを含めて、空間ドメインのデータが復元される。

ステップ１４７０において、符号化モードに基づいて、動き補償、イントラ予測などの各種の復号化動作を通じて、符号化されたピクチャデータが復号化される。

特に、副画素単位で補間されたピクセルに基づいて、符号化されたレジデュアルデータ及び参照データが抽出された場合、副画素単位で補間されたピクセルに基づいて、動き補償が行われる。副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。

効率的な映像補間のために、補間フィルタ係数を選択的に決定する。メモリは、対称形／非対称形の補間フィルタ、奇数タップ／偶数タップの補間フィルタ、正規化された補間フィルタのフィルタ係数を含んでいる。メモリに予め保存された補間フィルタ係数のうち、副画素単位の補間位置、平滑度、フィルタタップの数、ヒット深さ、スケーリング割合、変換に基づいた補間フィルタリングの基底関数の種類、ウィンドウフィルタサイズ、カラー成分などによって、所望する補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。メモリに予め保存された補間フィルタ係数を利用して、補間されたピクセルを参照して動き補償が行われることによって、演算速度が速くなる。メモリは、対称形／非対称形の補間フィルタ、奇数タップ／偶数タップの補間フィルタを含んでいる。

参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の二つ以上の画素単位の参照ピクセルについての補間フィルタリングを通じて、副画素単位のピクセル値が生成される。生成された副画素単位のピクセル値と、レジデュアルデータとが合成されることによって、動き補償が行われ、予測復号化が行われる。

ステップ１４８０において、予測復号化を通じて復元されたピクセル値を利用して、現在のピクチャが復元され、ビデオが復号化される。

＜ツリー構造による符号化単位に基づいて、補間を利用するビデオ符号化／復号化＞
以下、図１５ないし図２７を参照して、一実施形態によって、ツリー構造による符号化単位に基づいて、補間フィルタを利用するビデオ符号化装置及びビデオ復号化装置、並びにそれに相応するビデオ符号化方法及びビデオ復号化方法の実施形態について詳述する。

本実施形態によるビデオ符号化装置１００は、一実施形態によるツリー構造による符号化単位及び変換単位に基づいて、ビデオを符号化する。

ビデオの現在のピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャが区画される。現在のピクチャが最大符号化単位よりも大きければ、現在のピクチャの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であって、横及び縦のサイズが２の二乗である正方形のデータ単位である。本実施形態による符号化部１２０は、少なくとも一つの最大符号化単位別にピクチャデータを符号化する。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別の符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在のピクチャの映像データを、最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割可能な総回数を制限する最大深度及び符号化単位の最大サイズは、予め設定されていてもよい。

本実施形態による符号化部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に、最終の符号化結果が出力される深度を決定する。すなわち、符号化部１２０は、現在のピクチャの最大符号化単位ごとに、深度別の符号化単位に映像データを符号化して、最小の符号化誤差が発生する深度を選択して、符号化深度として決定する。

符号化部１２０は、最大符号化単位別に決定された符号化深度の符号化単位で符号化された映像データを出力する。また、符号化部１２０は、決定された符号化深度についての情報を出力部１３０に伝達して、符号化深度についての情報を符号化情報として符号化する。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって、深度別の符号化単位に基づいて符号化され、それぞれの深度別の符号化単位に基づいた符号化結果が比較される。深度別の符号化単位の符号化誤差の比較結果、符号化誤差の最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、一つの最大符号化単位に含まれる同一な深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別の符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

したがって、一実施形態による符号化部１２０は、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在の最大符号化単位に含まれる全ての深度別の符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、異なる領域では独立して決定される。同様に、現在の領域についての符号化深度は、他の領域についての符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を表す。例えば、最大符号化単位の深度が０であるとする時、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であれば、深度０、１、２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別の符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に、深度別の符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別の符号化単位に対して、予測符号化及び変換を含む符号化が行われなければならない。以下、説明の便宜上、少なくとも一つの最大符号化単位のうち、現在の深度の符号化単位に基づいて、予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択可能である。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などのステップを経るが、全てのステップにわたって、同一なデータ単位が使われてもよく、ステップ別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて、予測符号化が行われる。以下、予測符号化の基本となるそれ以上分割されない符号化単位を、‘予測単位’とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションだけでなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意の形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションのみに対して行われる。符号化単位以内の一つの予測単位ごとに、独立して符号化が行われて、符号化誤差の最も小さい予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて、符号化単位の映像データの変換を行う。

符号化単位の変換のためには、符号化単位よりも小さいか、またはそれと同じサイズの変換単位に基づいて、変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位と、インターモードのための変換単位とを含む。

一実施形態によるツリー構造による符号化単位と類似した方式によって、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に達するまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位の変換単位のサイズが２Ｎ×２Ｎであれば、変換深度は０、変換単位のサイズがＮ×Ｎであれば、変換深度は１、変換単位のサイズがＮ／２×Ｎ／２であれば、変換深度は２に設定される。すなわち、変換単位に対しても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別の符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。したがって、符号化部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別の予測モード、変換のための変換単位のサイズなどを決定する。符号化深度別の符号化情報は、インター予測のために、副画素単位の補間のための補間フィルタリングに係る情報を含んでもよい。

また、符号化部１２０は、最大符号化単位または現在符号化単位ごとに予め限定的に設定された変換単位の最多分割レベルに基づいて、符号化単位についての符号化過程において、ツリー構造の変換単位を利用して変換を行う。

深度別の符号化単位ごとに、符号化単位よりも小さいか、またはそれと同じサイズの基本変換単位は、段階的に下位変換深度の変換単位に分割される。一実施形態によるツリー構造の変換単位は、現在許容される最大サイズの変換単位である基本変換単位から、符号化単位に許容される最多分割レベルまでの下位レベルの変換単位を含む。

符号化部１２０は、現在符号化単位内で変換深度によるレベル別に変換を行った結果、周辺領域の変換単位とは独立的であり、同一領域の変換深度別の変換単位の間には、階層的な構造を形成するツリー構造による変換単位を決定する。

すなわち、符号化単位ごとに多様なサイズの変換単位を利用して変換を行い、変換結果を比較することによって、ツリー構造による変換単位が決定される。符号化単位の決定過程において、符号化単位の変換のための変換単位が決定される。一つ以上の深度の深度別の符号化単位と、それぞれの深度別の符号化ごとに、内部に含まれる一つ以上の変換深度の変換深度別の変換単位が変換に利用される。

符号化単位ごとに、符号化誤差の最も小さい変換単位が決定されなければならない。変換単位の最小符号化誤差を発生させる変換深度が決定されるために、全ての変換深度別の変換単位ごとに符号化誤差が測定されて比較される。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位として決定されてもよい。

したがって、深度別の符号化単位と変換単位の組み合わせのうち、符号化誤差の最も小さい組み合わせが決定され、最大符号化単位内の領域ごとに個別的に組み合わせが決定されるので、ツリー構造の符号化単位と、ツリー構造の変換単位とが決定される。

一実施形態による最大符号化単位のツリー構造による符号化単位、パーティション、及びツリー構造による変換単位の決定方式については、図１５ないし図２５を参照して詳細に後述する。

符号化部１２０は、深度別の符号化単位の符号化誤差を、ラグランジュ乗数に基づいた率−歪曲最適化技法を利用して測定する。

ビデオ符号化装置１００は、符号化部１２０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データと、出力部１３０により符号化された深度別の符号化モードに係る情報とを共に含むビットストリームの形態で出力する。

一実施形態によるツリー構造の符号化単位、予測単位、変換単位などに基づいて、ピクチャが符号化されることによって決定された符号化深度の符号化単位の符号化モードに係る情報は、ビットストリームのヘッダ、ＳＰＳ(Sequence Parameter Set)、ＰＰＳ(Picture Parameter Set)などに含まれる。

符号化された映像データは、映像のレジデュアルデータの符号化結果である。

深度別の符号化モードに係る情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在の深度で符号化せず、下位深度の符号化単位で符号化するか否かを表す深度別の分割情報を利用して定義される。現在の符号化単位の現在の深度が符号化深度であれば、現在の符号化単位は、現在の深度の符号化単位で符号化されるので、現在の深度の分割情報は、それ以上下位深度に分割されないように定義される。逆に、現在の符号化単位の現在の深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みなければならないので、現在の深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在の深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して、符号化が行われる。現在の深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われて、同一な深度の符号化単位ごとに、再帰的に符号化が行われる。

一つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも一つの符号化モードに係る情報が決定されなければならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに係る情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画されて、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係る情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係る符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別の符号化単位別の符号化情報と、予測単位別の符号化情報とに分けられる。深度別の符号化単位別の符号化情報は、予測モード情報及びパーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係る情報、インターモードの参照映像インデックスに係る情報、動きベクトルに係る情報、イントラモードのクロマ成分に係る情報、イントラモードの補間方式に係る情報などを含む。

ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係る情報、及び最大深度に係る情報は、ビットストリームのヘッダ、ＳＰＳまたはＰＰＳに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別の符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在の深度の符号化単位のサイズが２Ｎ×２Ｎであれば、下位深度の符号化単位のサイズは、Ｎ×Ｎである。また、２Ｎ×２Ｎサイズの現在の符号化単位は、Ｎ×Ｎサイズの下位深度の符号化単位を最大四つ含む。

したがって、ビデオ符号化装置１００は、現在のピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などにより符号化するので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

したがって、映像の解像度が高すぎるか、またはデータ量が多すぎる映像を既存のマクロブロック単位で符号化すれば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節できるので、映像圧縮効率が向上する。

出力部１３０は、ツリー構造の符号化単位及びツリー構造の変換単位に基づいて、ビデオが符号化するのに使われた符号化方式に係る情報を表す符号化情報を符号化して出力する。一実施形態による符号化情報は、符号化深度の符号化単位についての各種の符号化モードに係る情報と、符号化深度に係る情報とを含む。

本実施形態によるビデオ復号化装置２００の各種のプロセッシングのための符号化単位、深度、予測単位、変換単位、各種の符号化モードに係る情報などの各種の用語の定義は、ビデオ符号化装置１００を参照して前述した通りである。

ビデオ復号化装置２００は、符号化されたビデオについてのビットストリームを受信する。受信抽出部２２０は、受信されたビットストリームをパージングする。受信抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに、符号化されたピクチャデータを抽出して、復号化部２３０に出力する。受信抽出部２２０は、現在のピクチャについてのヘッダ、ＳＰＳまたはＰＰＳから、現在のピクチャの符号化単位の最大サイズに係る情報を抽出する。

また、受信抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位についての符号化情報を抽出する。符号化情報から、符号化深度に係る情報及び符号化モードに係る情報が抽出される。抽出された符号化深度及び符号化モードに係る情報は、復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、復号化部２３０が最大符号化単位ごとに映像データを復号化する。

最大符号化単位別の符号化深度及び符号化モードに係る情報は、一つ以上の符号化深度情報について設定され、符号化深度別の符号化モードに係る情報は、当該符号化単位のパーティションタイプ情報、予測モード情報、及び変換単位のサイズ情報などを含む。符号化深度別の符号化情報から、インター予測のために、副画素単位の補間のための補間フィルタリングに係る情報が抽出される。また、符号化深度情報として、深度別の分割情報が抽出されることも可能である。

受信抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係る情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別の深度別の符号化単位ごとに、反復的に符号化を行って、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係る情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して、映像を復元する。

一実施形態による符号化深度及び符号化モードに係る符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して割り当てられているので、受信抽出部２２０は、所定のデータ単位別に、符号化深度及び符号化モードに係る情報を抽出する。所定のデータ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係る情報が記録されていれば、同一な符号化深度及び符号化モードに係る情報を有している所定のデータ単位は、同一な最大符号化単位に含まれるデータ単位として類推される。

復号化部２３０は、深度別の分割情報を利用して、現在の最大符号化単位の符号化深度を決定する。若し、分割情報が現在の深度でそれ以上分割されないことを表していれば、現在の深度が符号化深度である。したがって、復号化部２３０は、現在の最大符号化単位の符号化されたピクチャデータに対しても、現在の深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して設定されている符号化情報を観察して、同一な分割情報を含む符号化情報を保有しているデータ単位が集まって、復号化部２３０により同一な符号化モードに復号化する一つのデータ単位であると見なされる。

復号化部２３０は、最大符号化単位ごとに、前記読み取られた符号化深度及び符号化モードに基づいて、それぞれの最大符号化単位の符号化されたピクチャデータを復号化して、現在のピクチャを復元する。最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、符号化モードとしてパーティションタイプ、予測モード、変換単位構造などが読み取られる。復号化過程は、イントラ予測及び動き補償を含む予測過程と、逆変換過程とを含む。

復号化部２３０は、ツリー構造の符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、復号化部２３０は、ツリー構造の変換単位の構造を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行う。

ビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に係る情報を獲得して、現在のピクチャについての復号化に利用する。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像、またはデータ量が多すぎる映像であるとしても、符号化端から伝送された最適符号化モードに係る情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

図１５は、本発明の一実施形態による符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズが幅×高さで表現され、サイズ６４×６４の符号化単位から３２×３２，１６×１６，８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４，６４×３２，３２×６４，３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２，３２×１６，１６×３２，１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６，１６×８，８×１６，８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８，８×４，４×８，４×４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２×２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１５に示した最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０に比べて解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が二階層深くなって、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が一階層深くなって、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が三階層深くなって、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上する。

図１６は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの符号化単位に対して、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在のフレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

一実施形態による動き推定部４２０及び動き補償部４２５は、副画素単位の参照ピクセルを利用して、細密に動きを推定するために、画素単位のピクセルを補間して、副画素単位のピクセルを生成する。副画素単位のピクセルを生成するための補間フィルタは、図１及び図１３Ａで前述した補間フィルタである。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０及び周波数逆変換部４７０を通じて、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在の最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定しなければならない。

図１７は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。

ビットストリーム５０５から、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係る情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

一実施形態による動き補償部５６０は、副画素単位の参照ピクセルを利用して、細密に動きを補償するために、画素単位のピクセルを補間して、副画素単位のピクセルを生成する。副画素単位のピクセルを生成するための補間フィルタは、図２及び図１３Ｂで前述した補間フィルタである。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後のステップ別の作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０及び動き補償部５６０は、ツリー構造による符号化単位ごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定しなければならない。

図１８は、本発明の一実施形態による深度別の符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像特性によって適応的に決定されてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別の符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を示している。その時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別の符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別の符号化単位の予測符号化の基本となる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００で最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０が存在する。サイズ８×８である深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位であれば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、及びサイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、及びサイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、及びサイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、及びサイズ４×４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一な範囲及びサイズのデータを含むための深度別の符号化単位の個数は、深度が深くなるほど増加する。例えば、深度１の符号化単位が一つ含まれるデータに対して、深度２の符号化単位は四つ必要である。したがって、同一なデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位、及び四つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別の符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別の符号化単位の予測単位ごとに符号化を行って、当該深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行って、深度別の代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図１９は、本発明の一実施形態による符号化単位と変換単位の関係を示す
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位よりも小さいか、またはそれと同じサイズの符号化単位の映像を符号化または復号化する。符号化過程中で変換のための変換単位のサイズは、それぞれの符号化単位よりも大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して、変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２，１６×１６，８×８，４×４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図２０は、本発明の一実施形態による深度別の符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係る情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を符号化して伝送する。

パーティションタイプに係る情報８００は、現在の符号化単位の予測符号化のためのデータ単位として、現在の符号化単位の予測単位が分割されたパーティションの形態に係る情報を表す。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。その場合、現在の符号化単位のパーティションタイプに係る情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに係る情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに係る情報８１０を通じて、パーティションタイプに係る情報８００が表すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係る情報８２０は、現在の符号化単位を、どの変換単位に基づいて変換を行うかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、及び第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び受信抽出部２１０は、それぞれの深度別の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を抽出して、復号化に利用可能である。

図２１は、本発明の一実施形態による深度別の符号化単位を示す。

深度の変化を表すために、分割情報が利用される。分割情報は、現在の深度の符号化単位が、下位深度の符号化単位に分割されるか否かを表す。

深度０及びサイズ２Ｎ＿０×２Ｎ＿０の符号化単位９００の予測符号化のための予測単位９１０は、サイズ２Ｎ＿０×２Ｎ＿０のパーティションタイプ９１２、サイズ２Ｎ＿０×Ｎ＿０のパーティションタイプ９１４、サイズＮ＿０×２Ｎ＿０のパーティションタイプ９１６、及びサイズＮ＿０×Ｎ＿０のパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述したように、パーティションタイプは、これらに限定されず、非対称的なパーティション、任意の形態のパーティション、幾何学的な形態のパーティションなどを含む。

パーティションタイプごとに、一つのサイズ２Ｎ＿０×２Ｎ＿０のパーティション、二つのサイズ２Ｎ＿０×Ｎ＿０のパーティション、二つのサイズＮ＿０×２Ｎ＿０のパーティション、及び四つのサイズＮ＿０×Ｎ＿０のパーティションごとに、反復的に予測符号化が行わなければならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０、サイズ２Ｎ＿０×Ｎ＿０、及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに対して、予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、及びサイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して、反復的に符号化を行って、最小符号化誤差を検索する
最大深度がｄである場合、深度別の符号化単位は、深度がｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、及びサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、二つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、二つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、及び四つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を通じた符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在の最大符号化単位９００についての符号化深度が、深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されていない。

データ単位９９９は、現在の最大符号化単位についての‘最小単位’であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別の符号化誤差を比較して、最小符号化誤差が発生する深度を選択して、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別の最小符号化誤差を比較して、誤差が最も小さい深度が選択されて、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係る情報として符号化されて伝送される。また、深度０から符号化深度に達するまで、符号化単位が分割されなければならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別の分割情報は、‘１’に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び受信抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に係る情報を抽出して、符号化単位９１２を復号化するのに利用する。一実施形態によるビデオ復号化装置２００は、深度別の分割情報を利用して、分割情報が‘０’である深度を符号化深度として把握し、当該深度についての符号化モードに係る情報を利用して復号化する。

図２２ないし図２４は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別の符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別の符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別の符号化単位の変換単位である。

深度別の符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４の深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２の深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８の深度が３、符号化単位１０４０，１０４２，１０４４，１０４６の深度が４である。

予測単位１０６０のうち、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎ×２Ｎのパーティションタイプであり、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別の符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位よりも小さいか、またはそれと同じである。

変換単位１０７０のうち、一部の符号化単位１０５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較すれば、異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一な符号化単位についてのイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて、最適符号化単位が決定されることによって、再帰的なツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係る分割情報、パーティションタイプ情報、予測モード情報、及び変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定可能な一例を表す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の受信抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在の符号化単位が下位深度の符号化単位に分割されるか否かを表す。現在の深度ｄの分割情報が０であれば、現在の符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード及び変換単位サイズ情報が定義される。分割情報によってさらに分割されなければならない場合には、分割された四つの下位深度の符号化単位ごとに独立して符号化が行わなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、及び非対称的な割合で分割された非対称的なパーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを表す。非対称的なパーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的なパーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態である。

変換単位サイズは、イントラモードで二種類のサイズに、インターモードで二種類のサイズに設定される。すなわち、変換単位分割情報が０であれば、変換単位サイズが、現在の符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１であれば、現在の符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎである現在の符号化単位についてのパーティションタイプが、対称的なパーティションタイプであれば、変換単位サイズは、Ｎ×Ｎ、非対称的なパーティションタイプであれば、変換単位サイズは、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一な符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一な符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、その場合、現在の符号化単位が、周辺データ単位を参照して予測する場合、現在の符号化単位に隣接する深度別の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態として、現在の符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別の符号化単位の符号化情報を利用して、深度別の符号化単位内で、現在の符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されることも可能である。

図２５は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

変換単位分割情報(TU size flag)は、変換インデックスの一種であって、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更可能である。

例えば、パーティションタイプ情報が、対称的なパーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称的なパーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図２５を参照して前述した変換単位分割情報は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０，１，２，３，…に増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施例として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用できる。

例えば、（ａ）現在の符号化単位のサイズが６４×６４であり、最大変換単位サイズが３２×３２であれば、（ａ−１）変換単位分割情報が０である時、変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１である時、変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時、変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在の符号化単位のサイズが３２×３２であり、最小変換単位サイズが３２×３２であれば、（ｂ−１）変換単位分割情報が０である時、変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２よりも小さいことはないので、それ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在の符号化単位のサイズが６４×６４であり、最大変換単位分割情報が１であれば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。

したがって、最大変換単位分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位分割情報が０である場合の変換単位、すなわち、基本変換単位ＲｏｏｔＴｕのサイズを‘RootTuSize’と定義する時、現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’は、下記の数式（I）のように定義される。

CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) （I）
現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’と比較して、基本変換単位サイズ‘RootTuSize’は、システム上採択可能な最大変換単位サイズを表す。すなわち、数式（I）によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、基本変換単位サイズ‘RootTuSize’を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、それらのうち小さい値が、現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’である。

一実施形態による基本変換単位サイズ‘RootTuSize’は、予測モードによって変わる。

例えば、現在の予測モードがインターモードであれば、‘RootTuSize’は、下記の数式（II）によって決定される。数式（II）において、‘MaxTransformSize’は、最大変換単位サイズを表し、‘PUSize’は、現在の予測単位サイズを表す。

RootTuSize=min(MaxTransformSize,PUSize) （II）
すなわち、現在の予測モードがインターモードであれば、変換単位分割情報が０である場合の変換単位である基本変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在の予測単位サイズのうち小さい値に設定される。

現在のパーティション単位の予測モードがイントラモードであれば、‘RootTuSize’は、下記の数式（III）によって決定される。‘PartitionSize’は、現在のパーティション単位のサイズを表す。

RootTuSize=min(MaxTransformSize,PartitionSize) （III）
すなわち、現在の予測モードがイントラモードであれば、基本変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在のパーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変わる一実施例による現在の最大変換単位サイズである基本変換単位サイズ‘RootTuSize’は、一実施例であるのみ、現在の最大変換単位サイズを決定する要因が、それに限定されるものではないことに留意しなければならない。

図２６は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、補間フィルタを利用するビデオ符号化方法を示すフローチャートである。

ステップ２６１０において、入力されたビデオのうち、現在のピクチャを符号化するために、現在のピクチャは、少なくとも一つの最大符号化単位に分割される。最大符号化単位の領域の一つ以上が深度によって分割された少なくとも一つの分割領域がそれぞれ符号化される。深度別に分割領域ごとに符号化するために、副画素単位の補間に基づいたインター予測を含めてイントラ予測が行われた結果に対して、変換／量子化が行われる。

ここで、深度別に分割領域の符号化結果を比較して、少なくとも一つの分割領域別に最終の符号化結果が出力される分割深度が決定され、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。ツリー構造の符号化単位と同様に、ツリー構造による変換単位が決定される。すなわち、ピクチャの符号化結果として、決定されたツリー構造の符号化単位と同様に、ツリー構造による変換単位の符号化結果がピクチャの符号化されたデータとして出力される。

一実施形態によるインター予測は、符号化単位の予測単位またはパーティションごとに行われる。副画素単位の補間を利用して生成されたピクセルを参照して、現在の予測単位またはパーティションの動きが予測される。副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置に基づいて異なって補間フィルタが選択される。効率的な映像補間のために、補間フィルタ係数を選択的に決定できる。補間フィルタは、補間位置によって、個別的に対称形の補間フィルタ／非対称形の補間フィルタのうち一つとして決定される。補間フィルタは、奇数タップまたは偶数タップの補間フィルタである。

メモリに予め保存された補間フィルタ係数のうち、副画素単位の補間位置、平滑度、フィルタタップの数、ヒット深さ、スケーリング割合、変換に基づいた補間フィルタリングの基底関数の種類、ウィンドウフィルタサイズ、カラー成分などによって、所望する補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

ステップ２６２０において、最大符号化単位ごとに、少なくとも一つの分割領域別に最終の符号化結果である映像データと、符号化深度及び符号化モードに係る情報とがビットストリームの形態に出力される。

符号化モードに係る情報は、符号化深度に係る情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位階層構造情報などを含む。符号化情報は、副画素単位の予測符号化のために、いかなる補間フィルタが使われたかについての情報を含む。符号化された符号化モードに係る情報は、符号化された映像データと共に復号化端へ伝送される。

図２７は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、補間フィルタを利用するビデオ復号化方法を示すフローチャートである。

ステップ２７１０において、符号化されたビデオについてのビットストリームが受信される。

ステップ２７２０において、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在のピクチャの映像データと、最大符号化単位別の符号化深度及び符号化モードに係る情報とが抽出される。符号化情報から、副画素単位の動き補償のために、いかなる補間フィルタが必要であるかについての情報が抽出されることも可能である。

符号化情報から、一実施形態による符号化深度及び符号化モードに係る情報が読み取られる。一実施形態による符号化深度及び符号化モードに係る情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。また、抽出された情報のうち、変換単位階層構造情報によれば、符号化単位内のツリー構造による変換深度の変換単位が決定される。

ステップ２７３０において、最大符号化単位別の符号化深度及び符号化モードに係る情報を利用して、ツリー構造の符号化単位、これについての予測単位、これについてのツリー構造の変換単位に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードに係る情報に基づいて、現在の符号化単位に対して復号化が行われるので、ツリー構造の変換単位のうち決定された変換単位を利用して、現在の符号化単位に対して逆変換が行われる。

符号化単位の予測単位またはパーティションごとに、符号化モードに基づいて、動き補償、イントラ予測などの各種の復号化動作を通じて、符号化されたピクチャデータが復号化される。

特に、副画素単位で補間されたピクセルに基づいて符号化されたレジデュアルデータ及び参照データが抽出された場合、現在の予測単位または現在のパーティションについての動き補償は、副画素単位で補間されたピクセルを参照して行われる。副画素単位のピクセル値を生成するための補間フィルタのうち、副画素単位の補間位置に基づいて異なって補間フィルタが選択される。補間フィルタは、補間位置によって、個別的に対称形の補間フィルタ／非対称形の補間フィルタのうち一つとして決定される。補間フィルタは、奇数タップまたは偶数タップの補間フィルタである。

効率的な映像補間のために、補間フィルタ係数を選択的に決定できる。メモリに予め保存された補間フィルタ係数のうち、副画素単位の補間位置、平滑度、フィルタタップの数、ヒット深さ、スケーリング割合、変換に基づいた補間フィルタリングの基底関数の種類、ウィンドウフィルタサイズ、カラー成分などによって、所望する補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の二つ以上の画素単位の参照ピクセルについての補間フィルタリングを通じて、副画素単位のピクセル値が生成される。生成された副画素単位のピクセル値と、レジデュアルデータとが合成されることによって、現在の予測単位または現在のパーティションについての動き補償が行われ、予測復号化が行われる。

最大符号化単位ごとに復号化が行われるので、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置により再生されたり、記録媒体に保存されたり、ネットワークを通じて伝送される。

一方、前述した本発明の実施形態は、コンピュータで実行可能なプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用のデジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態で具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されなければならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されなければならない。

１０ 映像補間装置
１２ フィルタ選択部
１４ 補間部
１００ ビデオ符号化装置
１２０ 符号化部
１３０ 出力部
２００ ビデオ復号化装置
２２０ 受信抽出部
２３０ 復号化部

Claims (4)

1. 現在ブロックの予測のためのルマ参照ピクチャ内のルマ参照ブロックを前記現在ブロックのルマ動きベクトルを用いて決定する段階と、
   前記ルマ参照ピクチャ内の整数画素位置のサンプルに対して７タップフィルタを適用して、前記ルマ参照ブロックに含まれる１／４−画素位置または３／４−画素位置のルマサンプルを生成する段階と、
   前記現在ブロックの予測のためのクロマ参照ピクチャ内のクロマ参照ブロックを前記現在ブロックのクロマ動きベクトルを用いて決定する段階と、
   前記クロマ参照ピクチャ内の整数画素位置のサンプルに対して４タップフィルタを適用して、前記クロマ参照ブロックに含まれる１／８−画素位置または４／８−画素位置のクロマサンプルを生成する段階とを含み、
   前記７タップフィルタは７つのフィルタ係数を含み、
   前記４タップフィルタは４つのフィルタ係数を含み、
   前記１／４−画素位置のルマサンプルを生成するための７タップフィルタの係数は{−１,４,−１０,５８,１７,−５,１}であり、
   前記３／４−画素位置のルマサンプルを生成するための７タップフィルタの係数は{１,−５,１７,５８,−１０,４,−１}であることを特徴とする動き補償方法。
2. 前記ルマサンプルを生成する段階は、
   前記７タップフィルタのフィルタ係数の総和が１になりうるように決定されたルマスケーリングファクタを用いて、前記７タップフィルタを適用して生成されたサンプルをスケーリングする段階とを含み、
   前記ルマスケーリングファクタは６４であることを特徴とする請求項１に記載の動き補償方法。
3. 前記クロマサンプルを生成する段階は、
   前記４タップフィルタのフィルタ係数の総和が１になりうるように決定されたクロマスケーリングファクタを用いて、前記４タップフィルタを適用して生成されたサンプルをスケーリングする段階を含み、
   前記クロマスケーリングファクタは６４であることを特徴とする請求項１に記載の動き補償方法。
4. 現在ブロックの予測のためのルマ参照ピクチャ内のルマ参照ブロックを前記現在ブロックのルマ動きベクトルを用いて決定し、前記ルマ参照ピクチャ内の整数画素位置のサンプルに対して７タップフィルタを適用して、前記ルマ参照ブロックに含まれる１／４−画素位置のルマサンプルを生成するルマ補間フィルタリング部と、
   前記現在ブロックの予測のためのクロマ参照ピクチャ内のクロマ参照ブロックを前記現在ブロックのクロマ動きベクトルを用いて決定し、前記クロマ参照ピクチャ内の整数画素位置のサンプルに対して４タップフィルタを適用して、前記クロマ参照ブロックに含まれる１／８−画素位置、３/８−画素位置及び４／８−画素位置のうち一つ以上に該当するクロマサンプルを生成するクロマ補間フィルタリング部とを備え、
   前記７タップフィルタは７つのフィルタ係数を含み、
   前記４タップフィルタは４つのフィルタ係数を含み、
   前記１／４−画素位置のルマサンプルを生成するための７タップフィルタの係数は{−１,４,−１０,５８,１７,−５,１}であり、
   前記３／４−画素位置のルマサンプルを生成するための７タップフィルタの係数は{１,−５,１７,５８,−１０,４,−１}であることを特徴とする動き補償装置。
   

Images