JP2016187191A - 映像補間方法及び映像補間装置 - Google Patents

Abstract

【課題】映像信号のインター予測を正確に行うために、予測ブロック生成において整数ピクセル単位のピクセル値間を補間して分数ピクセル単位のピクセル値を生成する方法及び装置を提供する。【解決手段】映像を補間する方法は、複数の異なるフィルタのうち、整数ピクセル単位のピクセル値間を補間するための第１フィルタを補間位置によって選択する段階と、前記選択された第１フィルタを用いて、前記整数ピクセル単位のピクセル値間を補間して、少なくとも一つの分数ピクセル単位のピクセル値を生成する段階と、を含む。【選択図】図１４

Description

本発明は、映像を補間する方法及びその装置に係り、さらに詳しくは、整数ピクセル単位のピクセル値間を補間する方法及びその装置に関する。

従来技術による映像符号化、復号化方法では、映像を符号化するために一つのピクチャーをマクロブロックに分割する。次いで、インター予測またはイントラ予測を用いてそれぞれのマクロブロックを予測符号化する。

インター予測は、ピクチャー間の時間的な重複性を除去して映像を圧縮する方法であって、動き推定符号化が代表的な例である。動き推定符号化は、少なくとも一つの参照ピクチャーを用いて現在ピクチャーのブロックをそれぞれ予測する。所定の評価関数を用いて、現在ブロックと最も類似した参照ブロックを所定の検索範囲で検索する。

現在ブロックを参照ブロックに基づいて予測し、現在ブロックから予測結果として生成された予測ブロックを差し引いて生成された残差ブロックを符号化する。この時、予測をさらに正確に行うために参照ピクチャーの検索範囲に対して補間を行って、整数ピクセル単位より小さなピクセル単位のサブピクセルを生成し、生成されたサブピクセルに基づいてインター予測を行う。

本発明が解決しようとする技術的課題は、整数ピクセル単位のピクセル値間を補間して分数ピクセル単位のピクセル値を生成する方法及び装置を提供するところにあり、前記方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

前記技術的課題を解決するための本発明の一実施形態による映像を補間する方法は、複数の異なるフィルタのうち、整数ピクセル単位のピクセル値間を補間するための第１フィルタを補間位置によって選択する段階と、前記選択された第１フィルタを用いて、前記整数ピクセル単位のピクセル値間を補間して、少なくとも一つの分数ピクセル単位のピクセル値を生成する段階と、を含む。

本発明のさらに他の実施形態によれば、前記補間方法は、前記複数の異なるフィルタのうち、前記分数ピクセル単位のピクセル値間を補間するための第２フィルタを補間位置によって選択する段階と、前記選択された第２フィルタを用いて、前記分数ピクセル単位のピクセル値間を補間する段階と、をさらに含む。

本発明のさらに他の実施形態によれば、前記第１フィルタは、異なる周波数の複数の基底関数を用いて、前記整数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする。

本発明のさらに他の実施形態によれば、前記第２フィルタは、異なる周波数の複数の基底関数を用いて、前記生成された少なくとも一つの分数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態による映像を補間する装置は、複数の異なるフィルタのうち、整数ピクセル単位のピクセル値間を補間するための第１フィルタを補間位置によって選択するフィルタ選択部と、前記選択された第１フィルタを用いて、前記整数ピクセル単位のピクセル値間を補間して少なくとも一つの分数ピクセル単位のピクセル値を生成する補間部と、を備える。

本発明の他の実施形態によれば、前記フィルタ選択部は、前記複数の異なるフィルタのうち、前記分数ピクセル単位のピクセル値間を補間するための第２フィルタを補間位置によって選択し、前記補間部は、前記選択された第２フィルタを用いて、前記分数ピクセル単位のピクセル値間を補間することを特徴とする。

前記技術的課題を解決するために本発明は、前記補間方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明の他の実施形態によって映像を補間する方法は、異なる周波数を持つ複数の基底関数を用いて空間領域のピクセル値を変換する段階と、前記複数の基底関数の位相を変更する段階と、前記ピクセル値を変換することで獲得された複数の係数を、前記位相の変更された複数の基底関数を用いて逆変換する段階と、を含むことを特徴とする。

本発明によれば、変換及び逆変換に基づいて映像をさらに正確に補間することができて、さらに高い効率で映像を符号化、復号化できる。また、補間された映像をユーザにディスプレイすることで、映像機器を用いるユーザの満足度を高めることができる。

本発明の一実施形態による映像符号化装置を示す図面である。 本発明の一実施形態による映像復号化装置を示す図面である。 本発明の一実施形態による階層的符号化単位を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図面である。 本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す図面である。 本発明の一実施形態による符号化単位及び変換単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図面である。 本発明の一実施形態による映像を補間する装置を示す図面である。 本発明の一実施形態による映像補間装置の２次元補間方法を説明するための図面である。 本発明の一実施形態による補間領域を説明するための図面である。 本発明の一実施形態による１次元補間の例を示す図面である。 本発明の一実施形態による映像補間装置の１次元補間方法を説明するための図面である。 本発明のさらに他の実施形態による映像を補間する装置を示す図面である。 本発明の一実施形態による２次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による最適化された１次元補間フィルタを示す図面である。 本発明の一実施形態による１次元補間フィルタを用いた多様な方向のピクセル値を補間する方法を説明する図面である。 本発明の一実施形態による１次元補間フィルタを用いた多様な方向のピクセル値を補間する方法を説明する図面である。 本発明の一実施形態による２次元補間方法を説明するための図面である。 本発明の一実施形態による１次元補間フィルタを用いた２次元補間方法を説明するためのフローチャートである。 本発明の他の実施形態による１次元補間フィルタを用いた２次元補間方法を説明するためのフローチャートである。 本発明の一実施形態による映像を補間する方法を説明するためのフローチャートである。 本発明の他の実施形態による映像を補間する方法を説明するためのフローチャートである。 本発明のさらに他の実施形態による映像を補間する方法を説明するためのフローチャートである。 本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す図面である。 本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す図面である。 本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す図面である。 本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す図面である。 本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す図面である。

以下では、図面を参照して本発明の実施形態を詳細に説明する。構成要素を並べる前に先行される‘少なくとも一つの’などの表現は、構成要素の全体リストを修正するためのものであり、それぞれの構成要素を修飾するものではない。本明細書で“映像”は、ビデオの静止画または動画、すなわち、ビデオそのものを示す。

図１は、本発明の一実施形態による映像符号化装置を示す。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を備える。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて現在フレームまたは現在スライスを分割できる。現在フレームまたは現在スライスを、少なくとも一つの最大符号化単位に分割できる。

本発明の一実施形態によれば、最大符号化単位及び深度を用いて符号化単位が表現される。前述したように、最大符号化単位は、現在フレームの符号化単位のうちサイズの最も大きい符号化単位を示し、深度は、符号化単位が階層的に縮小した程度を示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小し、最大符号化単位の深度は最小深度と定義され、最小符号化単位の深度は最大深度と定義される。最大符号化単位は、深度が大きくなるにつれて深度別符号化単位のサイズは低減するので、ｋ深度のサブ符号化単位は、ｋより大きい深度の複数のサブ符号化単位を含む。

符号化されるフレームのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化できる。しかし、符号化単位を大きくし、そのサイズを固定させれば、変わり続ける映像の特性を反映して効率的に映像を符号化きない。

例えば、海または空などの平坦な領域を符号化する時には符号化単位を大きくするほど圧縮率が向上するが、人々またはビルなどの複雑な領域を符号化する時には、符号化単位を小さくするほど圧縮率が向上する。

このために本発明の一実施形態は、フレームまたはスライスごとに異なるサイズの最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小される最大回数を意味するので、最大深度によって最大映像符号化単位に含まれた最小符号化単位大きさが可変的に設定可能になる。

符号化深度決定部１２０は最大深度を定める。最大深度は、Ｒ−Ｄコスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）計算に基づいて定められる。最大深度は、フレームまたはスライスごとに異なって定められるか、またはそれぞれの最大符号化単位ごとに異なって定められる。決定された最大深度は符号化情報符号化部１４０に出力され、最大符号化単位別映像データは映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれる最も小さなサイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、異なる深度によって異なるサイズのサブ符号化単位に分割される。図８Ａないし図８Ｄを参照して詳細に後述する。また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基づいて予測または変換される。変換は、空間ドメインのピクセル値を周波数ドメインの係数に変換し、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅｒ Ｔｒａｎｓｆｏｒｍ）である。

言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行える。映像データの符号化のためには、予測、変換、エントロピー符号化などの処理段階を経るが、すべての段階にわたって同じサイズの処理単位が用いられてもよく、段階別に異なるサイズの処理単位を用いることができる。

例えば、映像符号化装置１００は、所定の符号化単位を予測するために符号化単位と異なる処理単位を選択する。

符号化単位のサイズが２Ｎ×２Ｎ（但し、Ｎは、正の整数）である場合、予測のための処理単位は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどでありうる。言い換えれば、符号化単位の高さまたは幅のうち少なくとも一つを半分にする形態の処理単位に基づいて動き予測が行われてもよい。以下、予測の基礎になる処理単位は‘予測単位’と言う。

予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つであり、特定予測モードは、特定サイズまたは形態の予測単位に対してのみ行われる。例えば、イントラモードは、正方形である２Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対してのみ行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位の内部に複数の予測単位があるならば、それぞれの予測単位に対して予測を行って符号化誤差の最も小さな予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて映像データを変換できる。符号化単位の変換のために、符号化単位より小さいか、または同じサイズのデータ単位に基づいて変換が行われる。以下、変換の基礎になる処理単位を‘変換単位’という。

符号化深度決定部１２０は、ラグランジュの乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法を用いて、最大符号化単位に含まれたサブ符号化単位を定められる。言い換えれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるかを定められるが、ここで複数のサブ符号化単位は、深度によってサイズが異なる。次いで、映像データ符号化部１３０は、符号化深度決定部１２０で定められた分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で定められた最大符号化単位の符号化モードに関する情報を符号化する。最大符号化単位の分割形態に関する情報、最大深度に関する情報及び深度別サブ符号化単位の符号化モードに関する情報を符号化してビットストリームを出力する。サブ符号化単位の符号化モードに関する情報は、サブ符号化単位の予測単位に関する情報、予測単位別予測モード情報、サブ符号化単位の変換単位に関する情報などを含む。

最大符号化単位の分割形態に関する情報は、それぞれの符号化単位に対して分割如何を示す情報である。例えば、最大符号化単位を分割して符号化する場合、最大符号化単位に対して分割如何を示す情報を符号化し、最大符号化単位を分割して生成されたサブ符号化単位を再び分割して符号化する場合にも、それぞれのサブ符号化単位に対して分割如何を示す情報を符号化する。分割如何を示す情報は、分割如何を示すフラグ情報でありうる。

最大符号化単位ごとに異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに符号化モードに関する情報が定められねばならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに関する情報が定められる。

映像符号化装置１００は、深度が大きくなるにつれて最大符号化単位の高さ及び幅を半分にして、サブ符号化単位を生成できる。すなわち、ｋ深度の符号化単位のサイズが２Ｎ×２Ｎならば、ｋ＋１深度の符号化単位のサイズはＮ×Ｎである。

したがって、一実施形態による映像符号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の分割形態を定められる。映像特性を考慮して可変的に最大符号化単位のサイズを調節し、異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することで、多様な解像度の映像をさらに効率的に符号化できる。

図２は、本発明の一実施形態による映像復号化装置を示す。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を備える。

映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングして、最大符号化単位別に映像データを獲得して映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在フレームまたはスライスに対するヘッダから、現在フレームまたはスライスの最大符号化単位に関する情報を抽出できる。言い換えれば、ビットストリームを最大符号化単位に分割して、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングして、現在フレームに対するヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードに関する情報を抽出する。分割形態及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態に関する情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位に関する情報を含む。前述したように分割形態に関する情報は、それぞれの符号化単位に対して符号化された分割如何を示す情報（例えば、フラグ情報）でありうる。符号化モードに関する情報は、サブ符号化単位別予測単位に関する情報、予測モードに関する情報及び変換単位に関する情報などを含む。

映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在フレームを復元する。

最大符号化単位の分割形態に関する情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化できる。復号化過程は、イントラ予測及び動き補償を含むインター予測過程及び逆変換過程を含む。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位に関する情報及び予測モードに関する情報に基づいて、イントラ予測またはインター予測を行える。また、映像データ復号化部２３０は、サブ符号化単位の変換単位に関する情報に基づいて、サブ符号化単位ごとに逆変換を行える。

図３は、本発明の一実施形態による階層的符号化単位を示す。図３を参照すれば、本発明による階層的符号化単位は、幅×高さが６４×６４である符号化単位から、３２×３２、１６×１６、８×８、及び４×４を含む。正方形状の符号化単位以外にも、幅×高さが６４×３２、３２×６４、３２×１６、１６×３２、１６×８、８×１６、８×４、４×８である符号化単位が存在できる。

図３を参照すれば、解像度が１９２０×１０８０である映像データ３１０に対して、最大符号化単位のサイズは６４×６４、最大深度が２に設定されている。

解像度が１９２０×１０８０である他の映像データ３２０に対して、最大符号化単位のサイズは６４×６４、最大深度が３に設定されている。解像度が３５２×２８８であるビデオデータ３３０に対して、最大符号化単位のサイズは１６×１６、最大深度は１に設定されている。

解像度が高いか、またはデータ量が多い場合、圧縮率向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、映像データ３３０に比べて、解像度の高い映像データ３１０及び３２０は、最大符号化単位のサイズが６４×６４に選択される。

最大深度は、階層的符号化単位で総階層数を示す。映像データ３１０の最大深度は２であるので、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度の増大につれて長軸サイズが３２、１６であるサブ符号化単位まで含む。

一方、映像データ３３０の最大深度は１であるので、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度の増大につれて長軸サイズが８、４である符号化単位まで含む。

映像データ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度の増大につれて長軸サイズが３２、１６、８、４であるサブ符号化単位まで含む。深度が増大するほどさらに小さなサブ符号化単位に基づいて映像を符号化するため、さらに細密な場面を含んでいる映像を好適に符号化できる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示す。イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの予測単位に対して、現在フレーム４０５及び参照フレーム４９５を用いてインター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残差値が生成され、生成された残差値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。

量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて再び残差値に復元され、復元された残差値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５として出力されうる。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示す。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、逆変換部５４０を経て残差値に復元される。残差値は、イントラ予測部５５０のイントラ予測の結果または動き補償部５６０の動き補償結果と加算されて符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のフレームの予測に用いられる。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮してサブ符号化単位内の予測単位及び予測モードを定め、逆変換部５４０は、変換単位のサイズを考慮して逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化、復号化を行うために、階層的な符号化単位を用いる。最大符号化単位及び最大深度は映像の特性によって適応的に設定されるか、またはユーザの要求に応じて多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を示す。符号化単位の階層構造６００の縦軸に沿って深度が増大し、深度の増加によってサブ符号化単位６２０ないし６５０の幅及び高さが縮小する。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

最大符号化単位６１０は、深度が０であり、符号化単位のサイズ、すなわち、幅及び高さが６４×６４である。縦軸に沿って深度が増大し、サイズ３２×３２である深度１のサブ符号化単位６２０、サイズ１６×１６である深度２のサブ符号化単位６３０、サイズ８×８である深度３のサブ符号化単位６４０、サイズ４×４である深度４のサブ符号化単位６５０が存在する。サイズ４×４である深度４のサブ符号化単位６５０は最小符号化単位である。

図６を参照すれば、それぞれの深度別に横軸に沿って予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４×６４の符号化単位６１０と同一であるか、またはそれより小さなサイズ６４×６４の予測単位６１０、サイズ６４×３２の予測単位６１２、サイズ３２×６４の予測単位６１４、サイズ３２×３２の予測単位６１６でありうる。

深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０と同一であるか、またはそれより小さなサイズ３２×３２の予測単位６２０、サイズ３２×１６の予測単位６２２、サイズ１６×３２の予測単位６２４、サイズ１６×１６の予測単位６２６でありうる。

深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０と同一であるか、またはそれより小さなサイズ１６×１６の予測単位６３０、サイズ１６×８の予測単位６３２、サイズ８×１６の予測単位６３４、サイズ８×８の予測単位６３６でありうる。

深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０と同一であるか、またはそれより小さなサイズ８×８の予測単位６４０、サイズ８×４の予測単位６４２、サイズ４×８の予測単位６４４、サイズ４×４の予測単位６４６でありうる。

最後に、深度４のサイズ４×４の符号化単位６５０は、最大深度の符号化単位であり、予測単位は、サイズ４×４の予測単位６５０、サイズ４×２の予測単位６５２、サイズ２×４の予測単位６５４、サイズ２×２の予測単位６５６である。

図７は、本発明の一実施形態による符号化単位及び変換単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化するか、または最大符号化単位より小さいか、または同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程中に変換のための変換単位のサイズも、符号化単位及び予測単位と関係なく最も高い圧縮率のためのサイズに選択される。例えば、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて変換が行われてもよい。

図８Ａないし図８Ｄは、本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す。

図８Ａ及び図８Ｂは、本発明の一実施形態による符号化単位及び予測単位を示す。

図８Ａは、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を示す。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割し、符号化した後で多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比べて、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａないし図８Ｄのように、最大符号化単位８１０を分割せずに最大符号化単位８００を符号化してもよい。

図８Ａを参照すれば、深度０である最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を４つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、再び深度２のサブ符号化単位に分割する。

深度１のサブ符号化単位のうち右側上部に位置しているサブ符号化単位及び左側下部に位置しているサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、再び深度３以上のサブ符号化単位に分割されうる。

図８Ｂは、最大符号化単位８１０に対する予測単位の分割形態を示す。図８Ｂを参照すれば、最大符号化単位に対する予測単位８６０は、最大符号化単位８１０と異なって分割される。言い換えれば、サブ符号化単位それぞれに対する予測単位は、サブ符号化単位より小さい。

例えば、深度１のサブ符号化単位のうち右側下部に位置しているサブ符号化単位８５４に対する予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１４、８、１６、８１８、８２８、８５０、８５２のうち一部のサブ符号化単位８１５、８１６、８５０、８５２に対する予測単位は、サブ符号化単位より小さい。

また、深度３のサブ符号化単位８２２、８３２、８４８に対する予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を高さまたは幅方向に半分にした形態であってもよく、高さ及び幅方向に４分した形態であってもよい。

図８Ｃ及び図８Ｄは、本発明の一実施形態による予測単位及び変換単位を示す。

図８Ｃは、図８Ｂに示した最大符号化単位８１０に対する予測単位の分割形態を示し、図８Ｄは、最大符号化単位８１０の変換単位の分割形態を示す。

図８Ｄを参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

例えば、深度１の符号化単位８５４に対する予測単位が高さを半分にした形態に選択されるとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択されうる。同様に、深度２の符号化単位８１４、８５０に対する予測単位が深度２の符号化単位８１４、８５０の高さを半分にした形態に選択されるとしても、変換単位は、深度２の符号化単位８１４、８５０の元来のサイズと同じサイズに選択されうる。

予測単位よりさらに小さなサイズに変換単位が選択されてもよい。例えば、深度２の符号化単位８５２に対する予測単位が、幅を半分にした形態に選択された場合に、変換単位は、予測単位よりさらに小さなサイズである、高さ及び幅を半分にした形態に選択されうる。

図９は、本発明の一実施形態による映像を補間する装置を示す。

映像の補間は、低画質の映像を高画質に変換する時に用いられる。インターレース（ｉｎｔｅｒｌａｃｅ）映像をプログレッシブ映像に変換する時に用いられてもよく、低画質の映像をアップサンプリングして高画質の映像に変換する時に用いられてもよい。また、図４の映像符号化装置４００が映像を符号化する時、動き推定部４２０及び動き補償部４２５は、補間された参照フレームを用いてインター予測を行える。参照フレーム４９５を補間して高画質の映像を生成し、高画質の映像に基づいて動き推定及び補償を行うことで、インター予測の正確度を高めることができる。同様に、映像復号化装置５００が映像を復号化する時にも、動き補償部５５０は、補間された参照フレームを用いて動き補償を行うことで、インター予測の正確度を高めることができる。

図９を参照すれば、本発明の一実施形態による映像補間装置９００は、変換部９１０及び逆変換部９２０を備える。変換部９１０は、異なる周波数の複数の基底関数を用いてピクセル値を変換する。変換は、空間ドメインのピクセル値を周波数ドメインの係数に変換するすべての変換であり、前述した離散コサイン変換でありうる。整数ピクセル単位のピクセル値を、複数の基底関数を用いて変換する。ピクセル値は、輝度成分に対するピクセル値であってもよく、彩度（ｃｈｒｏｍａ）成分に対するピクセル値であってもよい。基底関数には制限がなく、空間ドメインのピクセル値を周波数ドメインの値に変換するあらゆる変換でありうる。例えば、基底関数は、離散コサイン変換及び逆離散コサイン変換のためのコサイン関数であってもよい。また、サイン基底、多項基底（ｐｏｌｙｎｏｍｉａｌ ｂａｓｉｓ）などの多様な基底関数が用いられうる。また、離散コサイン変換は、変形離散コサイン変換、ウィンドウを用いた変形離散コサイン変換でありうる。

逆変換部９２０は、変換部９１０で変換に用いられた複数の基底関数の位相を変更し、位相変更された複数の基底関数を用いて変換部９１０で生成された複数の係数、すなわち、周波数ドメインの値を逆変換する。以下では、変換部９１０及び逆変換部９２０が行う変換及び逆変換を、２次元離散コサイン変換及び１次元離散コサイン変換を例として挙げて説明する。

＜２次元離散コサイン変換及び逆変換＞
図１０は、本発明の一実施形態による映像補間装置９００の２次元補間方法を説明するための図面である。図１０を参照すれば、映像補間装置９００は、空間ドメインの整数ピクセル単位のピクセル値、すなわち、所定ブロック１０００の‘Ｏ’位置のピクセル値間を補間して、補間位置である‘Ｘ’位置のピクセル値を生成する。‘Ｘ’位置のピクセル値は、α_ｘ及びα_ｙによって補間位置が定められる分数ピクセル単位のピクセル値である。図１０は、所定のブロック１０００が４×４である場合を例として説明するが、ブロックのサイズは４×４に限定されず、さらに大きいかまたはさらに小さなサイズのブロックに対して２次元離散コサイン変換及び２次元逆離散コサイン変換を行って分数ピクセル単位のピクセル値を生成できるということは、当業者が容易に分かる。

変換部９１０は、先ず整数ピクセル単位のピクセル値を２次元離散コサイン変換する。２次元離散コサイン変換は、次の数式（１）を計算することで行われる。

ここで、Ｃは、２次元離散コサイン結果として生成される周波数ドメインの係数を含むブロックであり、ＲＥＦは、離散コサイン変換の対象である所定のブロック１０００であり、Ｄ（ｘ）はｘ軸、すなわち、水平方向離散コサイン変換のための行列であり、Ｄ（ｙ）はｙ軸、すなわち、垂直方向離散コサイン変換のための行列である。この時、Ｄ（ｘ）及びＤ（ｙ）は、次の数式（２）のように定義される。

ｋ及びｌは、前記条件を満たす整数であって、Ｄ_ｋｌ（ｘ）は、Ｄ（ｘ）行列のｋ行、ｌ列を意味し、Ｓ_ｘは、正方行列Ｄ（ｘ）の横及び縦のサイズである。

ｋ及びｌは、前記条件を満たす整数であって、Ｄ_ｋｌ（ｙ）は、Ｄ（ｙ）行列のｋ行、ｌ列を意味し、Ｓ_ｙは、正方行列Ｄ（ｙ）の横及び縦のサイズである。

変換部９１０が、数式（１）を計算して所定のブロック１０００を２次元離散コサイン変換すれば、逆変換部９１０は、次の数式（４）を計算して変換部９１０に生成された周波数ドメインの係数を２次元逆離散コサイン変換する。

Ｐは、逆離散コサイン変換結果として生成された補間位置、すなわち、‘Ｘ’位置のピクセル値を含むブロックである。数式（２）と比較すれば、ブロックＣを逆離散コサイン変換するために、ブロックＣの両側にＷ（ｘ）及びＷ（ｙ）を乗じる。Ｗ（ｘ）は、水平方向逆離散コサイン変換のための行列であり、Ｗ（ｙ）は、垂直方向逆離散コサイン変換のための行列である。

ところが、前述したように逆変換部９１０が２次元逆離散コサイン変換を行う時には、位相の変更された基底関数を用いるところ、以下の数式（５）及び（６）のようにＷ（ｘ）及びＷ（ｙ）が定義されうる。

ｌ及びｋは、前記条件を満たす整数であって、Ｗ_ｌｋ（ｘ）は、Ｗ（ｘ）行列のｌ行、ｋ列を意味し、Ｓ_ｘは、正方行列Ｗ（ｘ）の横及び縦のサイズである。α_ｘは、図１０に示したように水平方向補間位置を意味するところ、１／２、１／４、３／４、１／８、３／８、５／８、７／８、１／１６、…などの多様な分数値でありうる。分数値には制限がなく、α_ｘは、分数ではない実数値であってもよい。

ｌ及びｋは、前記条件を満たす整数であって、Ｗ_ｌｋ（ｙ）は、Ｗ（ｙ）行列のｌ行、ｋ列を意味し、Ｓ_ｙは、正方行列Ｗ（ｙ）の横及び縦のサイズである。α_ｙは、図１０に示したように垂直方向補間位置を意味するところ、１／２、１／４、３／４、１／８、３／８、５／８、７／８、１／１６、…などの多様な分数値でありうる。分数値には制限がなく、α_ｙは、分数ではない実数値であってもよい。

数式（５）及び数式（６）を数式（２）及び数式（３）と比較すれば、逆変換部９１０で用いる基底関数、すなわち、コサイン関数の位相がそれぞれ２α_ｘ及び２α_ｙによって変更されたことが分かる。逆変換部９１０が、数式（５）及び数式（６）の位相変更された複数のコサイン関数に基づいて２次元逆離散コサイン変換を行えば、図１０の補間位置、すなわち、“Ｘ”位置のピクセル値が生成される。

図１１は、本発明の一実施形態による補間領域を説明するための図面である。

図９の変換部９１０及び逆変換部９２０が、２次元離散コサイン変換及び２次元逆離散コサイン変換を用いて補間位置のピクセル値を生成する時、補間の対象になるブロック、すなわち、補間領域１１１０より大きいサイズの領域１１２０を用いることができる。一般的に補間の正確度は、補間領域１１１０の境界で低くなる。補間のためには補間位置に隣接しているピクセル値との相関関係を考慮せねばならないが、図９の映像補間装置９００は、ブロック４００内部のピクセル値を２次元離散コサイン変換し、逆離散コサイン変換するため、ブロック４００外部のピクセル値との相関関係が考慮されないからである。

したがって、本発明による映像補間装置９００は、補間領域１１１０及び補間領域１１００に隣接している領域を含む大きいサイズのブロック１１２０に対して補間を行い、動き補償するときには補間領域１１１０のピクセル値を用いる。

＜１次元離散コサイン変換及び逆変換＞
図１２は、本発明の一実施形態による１次元補間の例を示す。図１２を参照すれば、映像補間装置９００は、空間ドメインの整数ピクセル単位のピクセル値１２１０及び１２２０の間を補間して補間位置のピクセル値１２００を生成する。αによって補間位置が定められる分数ピクセル単位のピクセル値１２００である。図１３を参照して詳細に説明する。

図１３は、本発明の一実施形態による映像補間装置９００の１次元補間方法を説明するための図面である。図１３を参照すれば、整数ピクセルの二つのピクセル値１２１０及び１２２０の間を補間して分数ピクセル単位のピクセル値１２００を生成するために、ピクセル値１２１０及び１２２０を含む隣接している複数のピクセル値１３１０及び１３２０を用いる。言い換えれば、−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値を１次元離散コサイン変換し、位相変更された基底関数に基づいて１次元逆離散コサイン変換することで０番目と１番目ピクセルの間を補間できる。図１３は、Ｍ＝６である場合を示したが、Ｍが必ずしも６であるものではなく、Ｍは０ではない正の整数でありうるということは当業者ならば容易に分かるであろう。

また、図１２及び図１３は、水平方向のピクセル値間を補間する場合を例として挙げて説明したが、垂直方向のピクセル値間または対角方向のピクセル値間を補間する場合にも、後述する補間方法が同様に適用されるということは当業者ならば容易に分かるであろう。これについては、図１８Ａ及び図１８Ｂを参照して後述する。

変換部９１０は、先ず整数ピクセル単位のピクセル値を１次元離散コサイン変換する。１次元離散コサイン変換は、次の数式（７）を計算することで行われる。

ｐ（ｌ）は、−（Ｍ−１）番目からＭ番目までのピクセル値、例えば、図１３の−５番目から６番目までのピクセル値１３１０及び１３２０であり、Ｃ_ｋは、ピクセル値を１次元離散コサイン変換した結果として生成された複数の係数である。この時、ｋは、数式（７）の条件を満たす正の整数である。

変換部９１０が数式（７）を計算して、ピクセル値１３１０及び１３２０を１次元離散コサイン変換すれば、逆変換部９１０は、次の数式（８）を計算して、変換部９１０に生成された周波数ドメインの係数を逆変換する。

αは、図１３に示したように、２つのピクセル値間の補間位置を意味するところ、１／２、１／４、３／４、１／８、３／８、５／８、７／８、１／１６…などの多様な分数値でありうる。分数値には制限がなく、αは、分数ではない実数値であってもよい。Ｐ（α）は、１次元逆離散コサイン変換結果として生成される補間位置のピクセル値１２００を意味する。数式（７）と比較すれば、逆離散コサイン変換に用いられる基底関数であるコサイン関数の位相は、整数ｌによって定められる代りに分数αによって定められるので、１次元離散コサイン変換に用いられる基底関数の位相と異なる。

図１４は、本発明のさらに他の実施形態による映像を補間する装置を示す。図１４を参照すれば、本発明のさらに他の実施形態による映像補間装置１４００は、フィルタ選択部１４１０及び補間部１４２０を備える。図９の映像補間装置９００は、映像の変換及び位相変更された複数の基底関数に基づいた逆変換を行う装置である。しかし、映像補間装置９００にピクセル値が入力される度に、変換及び逆変換を行うためには多量の演算が必要なため、映像処理システムの映像処理速度を低下させる恐れがある。

したがって、映像の変換及び位相変更された複数の基底関数に基づいた逆変換を行うためのフィルタの係数をあらかじめ計算しておき、映像補間装置１４００に入力される空間ドメインのピクセル値を予め計算されたフィルタを用いてフィルタリングすれば、周波数ドメインへの変換なしに空間ドメインで速く映像補間を行える。

フィルタ選択部１４１０は、補間位置に関する情報を受信して補間に用いられるフィルタを選択する。フィルタは、前述したように異なる周波数の複数の基底関数を用いてピクセル値を変換し、位相変更された基底関数を用いて変換した結果として生成された複数の係数を再び逆変換するためのフィルタである。補間位置によってフィルタの係数が異なるので、補間位置によってフィルタを選択する。

図９に関して前述したように、異なる周波数の複数の基底関数を用いてピクセル値を変換した後、補間位置によって逆変換のための基底関数の位相を異なって変更する。次いで、位相変更された基底関数を用いて逆変換すれば、該当の補間位置のピクセル値を補間できる。言い換えれば、整数ピクセル位置のピクセル値に基づいて変換を行い、補間位置によって異なる基底関数に基づいて逆変換を行えば、すべての補間位置に対して分数ピクセル位置のピクセル値を生成できるということを意味する。したがって、図１４に示したフィルタ選択部１４１０は、変換及び異なる基底関数に基づいた逆変換のための複数のフィルタをあらかじめ設定し、補間位置の情報を参照して異なるフィルタのうち一つを選択する。

補間部１４２０は、フィルタ選択部１４１０で選択されたフィルタを用いて補間を行う。フィルタ選択部１４１０に選択されたフィルタに基づいて、整数ピクセル単位の複数のピクセル値をフィルタリングすることで補間を行う。補間結果、所定の補間位置のピクセル値、すなわち、分数ピクセル単位のピクセル値が生成される。２次元フィルタを用いて整数ピクセル単位の複数のピクセル値を含むブロックをフィルタリングすることで、図１０に示したように、α_ｘ及びα_ｙ補間位置の複数のピクセル値が生成される。また、１次元フィルタを用いて、整数ピクセル単位の複数のピクセル値を含む行または列をフィルタリングすることで、図１３に示したようなα補間位置のピクセル値が生成される。以下では、２次元フィルタ及び１次元フィルタを用いた補間方法を、図面を参照して詳細に説明する。

＜２次元フィルタ＞
数式（４）に関して前述したように、

である。これを整理すれば、次の数式（９）の通りである。

Ｆ（ｘ）は、ＲＥＦブロックを水平方向に変換し、位相変更された複数の基底関数を用いて水平方向に逆変換するためのフィルタである。Ｆ（ｙ）は、ＲＥＦブロックを垂直方向に変換し、位相変更された複数の基底関数を用いて垂直方向に逆変換するためのフィルタである。例えば、Ｆ（ｘ）は、ＲＥＦブロックを水平方向に離散コサイン変換し、位相変更された複数のコサイン関数を用いて、水平方向に逆離散コサイン変換するためのフィルタである。また、Ｆ（ｙ）は、ＲＥＦブロックを垂直方向に離散コサイン変換し、位相変更された複数のコサイン関数を用いて垂直方向に逆離散コサイン変換するためのフィルタである。

数式（２）、（３）、（５）、（６）によって、フィルタＦ（ｘ）及びＦ（ｙ）は、次の数式（１０）及び（１１）のように定義される。

ｋ及びｌは、前記条件を満たす整数であり、Ｆ_ｋｌ（ｘ）は、Ｆ（ｘ）行列のｋ行、ｌ列を意味し、Ｓ_ｘは、正方行列Ｗ（ｘ）及びＤ（ｘ）の横及び縦のサイズである。Ｗ（ｘ）及びＤ（ｘ）のサイズが同一であるので、横及び縦のサイズもいずれも同一である。Ｗ_ｋｎ（ｘ）は、数式（５）に関して前述したＷ（ｘ）行列のｋ行、ｎ列を意味し、Ｄ_ｎｌ（ｘ）は、数式（２）に関して前述したＤ（ｘ）行列のｎ行、ｌ列を意味する。

ｋ及びｌは、前記条件を満たす整数であり、Ｆ_ｋｌ（ｙ）は、Ｆ（ｙ）行列のｋ行、ｌ列を意味し、Ｓ_ｙは、正方行列Ｗ（ｙ）及びＤ（ｙ）の横及び縦のサイズである。Ｗ（ｙ）及びＤ（ｙ）のサイズが同一であるので、横及び縦のサイズもいずれも同一である。Ｗ_ｎｌ（ｙ）は、数式（５）に関して前述したＷ（ｙ）行列のｎ行、ｌ列を意味し、Ｄ_ｋｎ（ｙ）は、数式（２）に関して前述したＤ（ｙ）行列のｋ行、ｎ列を意味する。

ところが、フィルタＦ（ｘ）及びＦ（ｙ）のビット深さを大きくして補間を行えば、さらに正確なフィルタリングが可能である。したがって、本発明の一実施形態は、Ｆ（ｘ）及びＦ（ｙ）の係数に所定の値を乗じて元来の係数より大きい値にし、大きい値の係数を含むフィルタを用いて映像を補間できる。この時、数式（９）を次の数式（１２）のように修正できる。

Ｆ’（ｘ）は、Ｆ（ｘ）の係数にスケーリングのためのファクター‘Ｓ’を乗じ、整数に四捨五入したフィルタであり、Ｆ’（ｙ）は、Ｆ（ｙ）の係数に‘Ｓ’を乗じ、整数に四捨五入したフィルタである。スケーリングされたフィルタを用いて補間を行ったので、補間位置のピクセル値を計算した後、スケーリングの効果を相殺するために‘Ｓ^２’でさらに割る。

図１５は、本発明の一実施形態による２次元補間フィルタを示す。図１５を参照すれば、数式（２）によってスケーリングされたフィルタ係数を示す。α_ｘが１／４、１／２及び３／４である時の２次元補間フィルタＦ’（ｘ）が図示されている。Ｆ（ｘ）の係数にスケーリングファクター（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）２^１３を乗じたＦ’（ｘ）のフィルタが図示されており、α_ｙが１／４、１／２及び３／４である場合、２次元補間フィルタＦ’（ｙ）は、Ｆ’（ｘ）をトランスポーズして用いられる。

フィルタ選択部１４１０が、補間位置に基づいて図１４のフィルタのうち一つを選択すれば、補間部１４２０は、数式（９）または数式（１２）を計算して補間位置のピクセル値を生成する。

＜１次元フィルタ＞
数式（７）による１次元離散コサイン変換を行列式で表現すれば、次の数式（１３）の通りである。

ここで、Ｃは、数式（７）に関して前述した２Ｍ個の係数に対する２Ｍ×１行列であり、ＲＥＦは、数式（７）に関して前述した整数ピクセル単位のピクセル値、すなわち、Ｐ_{−（Ｍ−１）}，…Ｐ_Ｍピクセル値に対する２Ｍ×１行列である。補間に用いられる整数ピクセル位置のピクセル値の数、すなわち、２Ｍは、１次元補間フィルタのタップ数を意味する。Ｄは、１次元離散コサイン変換のための正方行列であって、次の数式（１４）のように定義される。

ｋ及びｌは、前記条件を満たす整数であり、Ｄ_ｋｌは、数式（１３）の１次元離散コイン変換のための正方行列Ｄのｋ行、ｌ列を意味する。Ｍは、数式（１３）のＭと同じＭである。

数式（８）による、位相変更された複数の基底関数を用いた１次元逆離散コサイン変換を行列式で表現すれば、次の数式（１５）の通りである。

ここで、Ｐ（α）は、数式（８）のＰ（α）と同一であり、Ｗ（α）は、位相変更された複数の基底関数を用いた１次元逆離散コサイン変換のための１×２Ｍ行列であって、次の数式（１６）のように定義される。

ｋは、前記条件を満たす整数であり、Ｗ_ｋ（α）は、数式（１５）に関して前述したＷ（α）行列のｋ列を意味する。数式（１３）及び（１５）に基づいて、１次元離散コサイン変換及び位相変更された複数の基底関数を用いた１次元逆離散コサイン変換のためのフィルタＦ（α）は、次の数式（１７）のように定義できる。

ｋ及びｌは、前記条件を満たす整数であり、Ｆ_ｌ（α）は、Ｆ（α）のｌ列を意味し、Ｗ（α）及びＤは、数式（１３）のＷ（α）及びＤと同一である。

２次元補間フィルタと同様に１次元補間フィルタＦ（α）も、ビット深さを大きくしてフィルタリングの正確度を高めることができる。Ｆ（α）の係数に所定の値を乗じ、大きい値の係数を含むフィルタＦ（α）を用いて映像を補間できる。

例えば、Ｆ（α）にスケーリングのための値として２^{ＳｃａｌｉｎｇＢｉｔｓ}を乗じた後、補間を行える。この時、数式（１７）の

を次のように修正できる。

Ｆ’_ｌ（α）は、Ｆ（α）の係数にスケーリングファクター‘２^{ＳｃａｌｉｎｇＢｉｔｓ}’を乗じ、整数に四捨五入して生成されたスケーリングされたフィルタであり、ＲＥＦ_ｌは、数式（１７）のＲＥＦ行列のｌ行であり、‘２^{ＳｃａｌｉｎｇＢｉｔｓ}−１’は、フィルタリングされたピクセル値の四捨五入のために加算される値である。スケーリングされたフィルタとピクセル値に対する行列とを乗じて補間位置αのピクセル値を求めた後、‘２^{ＳｃａｌｉｎｇＢｉｔｓ}−１’を加算して四捨五入し、‘Ｓｃａｌｉｎｇ Ｂｉｔｓ’ビットほどビットシフトしてスケーリングの効果を相殺する。

前述した数式で四捨五入は、フィルタ係数を量子化する方法の一実施形態であるところ、フィルタ係数の量子化方法をさらに一般化すれば、次の数式（１９）及び（２０）によってフィルタ係数が修正され、最適化される。

ここで、Ｆ_ｌ（α）は、量子化されないフィルタのｌ番目の係数であり、フィルタｆ’_ｌ（α）は、量子化されたフィルタのｌ番目の係数である。εは、量子化程度によって選択できる任意の実数であるところ、例えば、０．２＊Ｆ_ｌ（α）でありうる。前記数式（１９）によれば、前述した数式（１３）ないし（１７）によって、実数であるＦ_ｌ（α）が計算されれば、Ｆ_ｌ（α）は、前記数式（１９）を満たす範囲内のｆ’ｌ（α）で修正することで、Ｆ_ｌ（α）を量子化された値に変換する。
フィルタ係数が所定のスケーリングファクターによってスケーリングされる場合には、数式（１９）による量子化は、次の数式（２０）のように修正される。

前記数式（２０）によれば、ｐは、スケーリングファクターであって、２^{ＳｃａｌｉｎｇＢｉｔｓ}であり、スケーリングされたフィルタ係数ｐ＊Ｆ_ｌ（α）はＦ’_ｌ（α）に変換される。

図１６Ａないし図１６Ｆは、本発明の一実施形態による１次元補間フィルタを示す。

前述した数式（１８）で言及したスケーリングされたフィルタが、タップ数及び補間位置によって図示される。図１６Ａないし図１６Ｆは、それぞれ４−タップフィルタ、６−タップフィルタ、８−タップフィルタ、１０−タップフィルタ、１２−タップフィルタ及び１４−タップフィルタを示す。図１６Ａないし図１６Ｆはいずれも、フィルタ係数のスケーリングファクターが“２５６”である場合、すなわち、“ＳｃａｌｉｎｇＢｉｔｓ”が“８”である場合を示す。

図１６Ａないし図１６Ｆのフィルタの係数は、高周波成分に対する係数を含む。これは、補間及び予測の正確性を高めることはできるが、高周波成分を含むことで映像圧縮の効率を低下させる恐れがある。図９に関して前述したように、補間は、さらに高い効率で映像を圧縮することを目的にする。ところが、補間及び予測の正確性のみ高くなり、圧縮率は低くなれば、補間の本来の目的を果たせない。このために、図１６Ａないし図１６Ｆの係数をさらに高い圧縮率のために調整できる。

例えば、フィルタ係数全体の絶対値のサイズを小さくし、フィルタの中央に位置している係数にさらに大きい加重値を乗じることができる。図１６Ｂの１／２補間位置のピクセル値を生成するための６−タップフィルタを例として挙げれば、｛１１，−４３，１６０，１６０，−４３，１１，｝で“１１”、“−４３”及び“１６０”の絶対値のサイズが小さくなるように係数を調整し、中央に位置している“１６０”のみに加重値を乗じることでフィルタ係数を調整できる。

図１７Ａないし図１７Ｙは、本発明の一実施形態による最適化された１次元補間フィルタを示す。

図１６Ａないし図１６Ｆに示したフィルタをハードウェア具現に好適に調整することもできる。コンピュータで数式（１７）または（１８）の計算を行う時、算術計算、すなわち、２進数のビットシフト及び加算が最小化されるようにフィルタ係数を最適化できる。

図１７Ａ及び図１７Ｂを参照すれば、それぞれのフィルタに対して補間のためのフィルタリングを行う時、必要な計算量が“ａｄｄｉｎｇ”及び“ｓｈｉｆｔ”と図示されている。図１７Ａないし図１７Ｍのフィルタは、該当補間位置で“ａｄｄｉｎｇ”及び“ｓｈｉｆｔ”が最小化するように最適化された係数を含む。

図１７Ａ及び図１７Ｂは、８ビットｏｆｆｓｅｔによってスケーリングされた１／４ピクセルの正確度で映像を補間するための、最適化された６タップフィルタ及び１２タップフィルタを示す。図１７Ｃ、図１７Ｄ及び図１７Ｅは、８ビットｏｆｆｓｅｔによってスケーリングされた１／４ピクセルの正確度で映像を補間するための８タップフィルタを示す。図１７Ｃ、図１７Ｄ及び図１７Ｅのフィルタは、フィルタ係数の最適化如何及び／または最適化方法によって区分される。図１７Ｆ及び図１７Ｇは、６ビットｏｆｆｓｅｔによってスケーリングされた１／４ピクセルの正確度で補間するための８タップフィルタを示す。図１７Ｆ及び図１７Ｇのフィルタは、フィルタ係数の最適化方法によって区分される。

図１７Ｈは、６ビットｏｆｆｓｅｔによってスケーリングされた１／８ピクセルの正確度で映像を補間するための、最適化された６タップフィルタを示す。図１７Ｉは、８ビットｏｆｆｓｅｔによってスケーリングされた１／８ピクセルの正確度で映像を補間するための、最適化された６タップフィルタを示す。

図１７Ｊ及び図１７Ｋは、５ビットｏｆｆｓｅｔによってスケーリングされた１／８ピクセルの正確度で映像を補間するための、最適化された４タップフィルタを示す。図１７Ｊ及び図１７Ｋのフィルタは、フィルタ係数の最適化方法によって区分される。図１７Ｌ及び図１７Ｍは、８ビットｏｆｆｓｅｔによってスケーリングされた１／８ピクセルの正確度で映像を補間するための最適化された４タップフィルタを示す。図１７Ｌ及び図１７Ｍのフィルタも、フィルタ係数の最適化方法によって区分される。

図１７Ｎ及び図１７Ｙは、８ビットｏｆｆｓｅｔによってスケーリングされた１／８ピクセルの正確度で映像を補間するための、最適化された４タップフィルタ、６タップフィルタ、８タップフィルタ、１０タップフィルタ及び１２タップフィルタを示す。図１７Ａないし図１７Ｍに図示されたフィルタに比べれば、フィルタ係数のうち一部の値が異なるだけであり、１／８補間位置を補間するためのフィルタの係数と７／８補間位置を補間するためのフィルタの係数とが互いに対称であり、２／８補間位置を補間するためのフィルタの係数と６／８補間位置を補間するためのフィルタの係数とが互いに対称であり、３／８補間位置を補間するためのフィルタの係数と５／８補間位置を補間するためのフィルタの係数とが互いに対称であるという点は同一である。

図２３Ａないし図２３Ｅは、本発明の一実施形態による１次元補間フィルタのスケーリング及び四捨五入方法を示す。

前述したように、補間フィルタリング方法は離散コサイン変換及び逆変換を用いるため、１次元補間フィルタは、絶対値が１以下のフィルタ係数を含む。したがって、数式（１２）に関して前述したように、２^{ＳｃａｌｉｎｇＢｉｔｓ}ほど乗じてフィルタ係数をスケーリングし、スケーリングされた係数を四捨五入して整数にした後、補間に用いる。

図２３Ａは、２^{ＳｃａｌｉｎｇＢｉｔｓ}によってスケーリングされたフィルタ係数を示す。１２タップフィルタである場合を図示し、スケーリングされただけであり、まだ整数に四捨五入されていない係数を含む。

図２３Ａのスケーリングされたフィルタ係数を小数点の第１桁で四捨五入して整数にすれば、図２３Ｂに示した通りである。図２３Ｂの補間フィルタを検討すれば、スケーリング後に四捨五入されたフィルタ係数の和が２５６にならないフィルタがある。１／８補間位置のピクセル値を補間するためのフィルタ、３／８補間位置のピクセル値を補間するためのフィルタ、５／８補間位置のピクセル値を補間するためのフィルタ及び７／８補間位置のピクセル値を補間するためのフィルタのフィルタ係数をいずれも加えれば、２５６にならない。８ビットＳｃａｌｉｎｇＢｉｔｓによってスケーリングされたフィルタのフィルタ係数の和は、２５６にならねばならないのにもかかわらず、フィルタ係数を四捨五入する過程で誤差が発生する。

フィルタ係数の和が一定でないのは、補間位置によってピクセル値のサイズが異なることを意味し、これを解決するために、フィルタ係数を調整して正規化したフィルタを生成できる。図２３Ｂのフィルタのフィルタ係数を調整して生成された正規化されたフィルタは、図２３Ｃに図示される。

図２３Ｂと図２３Ｃとを比較すれば、１／８補間位置のピクセル値を補間するためのフィルタ、３／８補間位置のピクセル値を補間するためのフィルタ、５／８補間位置のピクセル値を補間するためのフィルタ及び７／８補間位置のピクセル値を補間するためのフィルタのフィルタ係数のうち一部を調整して、全体フィルタ係数の和が２５６に正規化されたことが分かる。

図２３Ｄ及び図２３Ｅは、８タップフィルタに対するスケーリングされたフィルタ及び正規化されたフィルタを示す。２^{ＳｃａｌｉｎｇＢｉｔｓ}によってスケーリングされた８タップフィルタが図２３Ｄと同一である時、図２３Ｄに図示された８タップフィルタを小数点の第１桁で四捨五入した後、全体フィルタ係数の和が２５６になるように正規化したフィルタは、図２３Ｅに示した通りである。図２３Ｅに示したところによれば、一部のフィルタ係数が図２３Ｄに示した８タップフィルタのフィルタ係数を四捨五入した値と異なるということが分かる。全体フィルタ係数の和が２５６になるように一部のフィルタ係数を調整したからである。

図２３Ｂ及び図２３Ｃに示したように、スケーリング及び／または四捨五入によって少なくとも一つのフィルタ係数が異なるところ、図１６Ａないし図１６Ｆまたは図１７Ａないし図１７Ｙに示したフィルタで、少なくとも一つのフィルタ係数が所定の誤差範囲（例えば、±１または±２）内で異なる１次元補間フィルタも本発明の範囲に含まれるということは、当業者ならば容易に分かるであろう。

フィルタ選択部１４１０が、補間位置に基づいて、図１６Ａないし図１６Ｆまたは図１７Ａないし図１７Ｙのフィルタのうち一つを選択すれば、補間部１４２０は、数式（１７）または（１８）を計算して補間位置のピクセル値を生成する。フィルタ選択部１４１０がフィルタを選択するに当って、補間位置以外に他の要素、例えば、インター予測の方向、ループフィルタタイプ、ブロック内のピクセル位置などの要素も考慮できる。補間されるブロックのサイズによって異なるサイズ（すなわち、異なるタップ）のフィルタを選択してもよく、補間のためのフィルタリングの方向によって、異なるサイズのフィルタを選択してもよい。例えば、補間されるブロックが大きければ、サイズの大きいフィルタを選択してもよく、垂直方向に補間する場合には、メモリ接近を最小化するために、サイズの小さなフィルタのフィルタを選択してもよい。

実施形態によってフィルタの選択に関する情報が別途に符号化される。例えば、映像補間が映像の符号化過程で行われる場合には、いかなるフィルタを用いて補間したかを復号化する側で知っていて初めて、符号化過程で用いられたフィルタと同じフィルタを用いて映像を補間し、復号化できる。このために、補間に用いられたフィルタを特定できる情報が映像とともに符号化されてもよい。但し、フィルタの選択が以前の符号化結果、すなわち、コンテキストに基づいて行われる場合には、フィルタ選択に関する情報を別途に符号化する必要がない。

補間結果として生成されたピクセル値がピクセル値の最小値より小さいか、または最大値より大きければ、最小値または最大値に調整する。例えば、補間結果として生成されたピクセル値が最小値である“０”より小さければ“０”に調整し、最大値である“２５５”より大きければ“２５５”に調整する。

映像の符号化過程でインター予測をさらに正確に行うために補間を行う場合には、補間フィルタを特定するための情報も共に符号化されうる。言い換えれば、フィルタ選択部１４１０がいかなるフィルタを選択したかを示す情報を、映像パラメータとして映像と共に符号化できる。補間フィルタの選択は、符号化単位またはスライスまたはピクチャーごとに異なるので、フィルタ選択に関する情報も、符号化単位またはスライス単位またはピクチャー単位で、映像と共に符号化されうる。しかし、フィルタ選択が暗黙的なルールによってなされる場合には、フィルタ選択に関する情報が映像と共に符号化されなくてもよい。

補間部１４２０が補間を行う多様な実施形態について、図１８Ａ、図１８Ｂ及び１９を参照して詳細に説明する。

図１８Ａ及び図１８Ｂは、本発明の一実施形態による１次元補間フィルタを用いた多様な方向のピクセル値を補間する方法を説明する。図１８Ａ及び図１８Ｂを参照すれば、１次元来のピクセル値を１次元離散コサイン変換し、位相変更された複数の基底関数を用いて１次元逆離散コサイン変換するための１次元補間フィルタを用いて、多様な方向の補間位置のピクセル値を生成できる。

図１８Ａを参照すれば、垂直方向に隣接しているＰ_０１８０２とＰ_１１８０４との間を補間して、垂直方向の補間位置αのピクセル値Ｐ（α）を生成できる。図１３に比べれば、水平方向に配列されたピクセル値１３１０及び１３２０の代りに、垂直方向に配列されたピクセル値１８１０及び１８２０を用いて補間を行うという点のみ異なるだけであり、数式（１３）ないし（１８）に関して前述した補間方法がそのまま適用されうる。

図１８Ｂの実施形態も、図１８Ａの実施形態と同様に、水平方向に配列されたピクセル値１３１０及び１３２０の代りに、対角方向に配列されたピクセル値１８４０及び１８５０を用いるという点のみ異なるだけであり、隣接している２つのピクセル値１８３２及び１８３４の間を補間して補間位置αのピクセル値１８３０を生成する方法は、数式（１３）ないし（１８）に関して前述した補間方法と同一である。

図１９Ａは、本発明の一実施形態による２次元補間方法を説明するための図面である。図１９Ａを参照すれば、整数ピクセル単位のピクセル値１９００ないし１９０６に基づいて、分数ピクセル単位のピクセル値１９１０ないし１９５０が生成される。
先ず、映像補間装置１４００のフィルタ選択部１４１０は、整数ピクセル単位のピクセル値１９００ないし１９０６の間に存在する分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０を生成するための１次元補間フィルタを選択する。図１４に関して前述したように、補間位置によって異なるフィルタが選択される。例えば、上部に位置している二つのピクセル値１９００及び１９０２の間のピクセル値１９１０を補間するためのフィルタは、分数ピクセル単位のピクセル値１９１２、１９１４及び１９１６それぞれに対して異なって選択されうる。１／２ピクセル単位のピクセル値１９１４を生成するためのフィルタと、１／４ピクセル単位のピクセル値１９１２及び１９１６とを生成するためのフィルタとが異なる。また、同じ１／４ピクセル単位のピクセル値１９１２及び１９１６も異なるフィルタに基づいて生成される。図１４に関して前述したように、それぞれの補間位置ごとに逆変換のための基底関数の位相変更程度が異なるので、補間のために選択されるフィルタも異なる。

同様に、整数ピクセル単位のピクセル値１９００ないし１９０６の間の異なる分数ピクセル単位のピクセル値１９２０、１９３０及び１９４０も、補間位置によって異なって選択された１次元補間フィルタに基づいて生成される。

フィルタ選択部１４１０が、整数ピクセル単位のピクセル値１９００ないし１９０６の間の分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０を生成するためのフィルタを選択すれば、補間部１４２０は、選択されたフィルタに基づいてそれぞれの補間位置における分数ピクセル単位のピクセル値を生成する。本発明によれば、それぞれの補間位置のピクセル値を生成するためのフィルタがあらかじめ計算されているので、すべての補間位置のピクセル値を整数ピクセル単位のピクセル値に基づいて生成できる。

言い換えれば、１／４ピクセル単位のピクセル値１９１２及び１９１６は、整数ピクセル単位のピクセル値１９００及び１９２０に基づいて直接生成され、１／２ピクセル単位のピクセル値１９１４を先ず計算し、整数ピクセル単位のピクセル値１９００及び１９０２及び１／２ピクセル単位のピクセル値１９１４に基づいて１／４ピクセル単位のピクセル値１９１２及び１９１６を生成する必要がない。映像補間を、ピクセル単位が低くなるにつれて順次に行う必要がないため、速い速度で映像補間を行える。

しかし、本発明の他の実施形態によれば、補間位置によって本発明による補間方法と従来技術による補間方法とを結合してもよい。例えば、１／２ピクセル単位及び１／４ピクセル単位のピクセル値は、本発明による補間フィルタを用いて、整数ピクセル単位のピクセル値１９００及び１９２０から直接生成し、１／８ピクセル単位のピクセル値は、１／４ピクセル単位のピクセル値に、従来技術による線形補間フィルタを適用して生成してもよい。また、１／２ピクセル単位のピクセル値のみ、本発明による補間フィルタを用いて整数ピクセル単位のピクセル値１９００及び１９２０から直接生成し、１／４ピクセル単位のピクセル値は、１／２ピクセル単位のピクセル値に、従来技術による線形補間フィルタを適用して生成し、１／８ピクセル単位のピクセル値は、１／４ピクセル単位のピクセル値に、従来技術による線形補間フィルタを適用して生成してもよい。

補間結果、整数ピクセル単位のピクセル値１９００ないし１９０６の間の分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０がいずれも生成されれば、フィルタ選択部１４１０は、分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０の間を補間するための１次元補間フィルタを再び選択する。整数ピクセル単位のピクセル値１９００ないし１９０６の間を補間するために、フィルタを選択する時と同様に、補間位置によって異なるフィルタを選択する。

補間部１４２０は、フィルタ選択部１４１０で選択されたフィルタによって、補間位置それぞれに対応する分数ピクセル単位のピクセル値１９５０を生成する。分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０の間の他の分数ピクセル単位のピクセル値１９５０が生成される。

図１９Ｂは、本発明の一実施形態による１次元補間フィルタを用いた２次元補間方法を説明するための図面である。図１９Ｂを参照すれば、１次元補間フィルタを用いて垂直方向補間及び水平方向補間を繰り返して行うことで、２次元補間位置のピクセル値を生成できる。

整数ピクセル単位のピクセル値ＲＥＦ_{（ｉ，ｊ）}１９６０及びＲＥＦ_{（ｉ＋１，ｊ）}１９６４の間を水平方向に補間してＴｅｍｐ_{（ｉ，ｊ）}を生成する。また、ＲＥＦ_{（ｉ，ｊ＋１）}１９６２及びＲＥＦ_{（ｉ＋１，ｊ＋１）}１９６６の間を水平方向に補間してＴｅｍｐ_{（ｉ，ｊ＋１）}を生成する。次いで、Ｔｅｍｐ_{（ｉ，ｊ）}及びＴｅｍｐ_{（ｉ，ｊ＋１）}の間を垂直方向に補間して２次元補間位置のＰ_{（ｉ，ｊ）}を生成する。

１次元補間フィルタは、前述した１次元離散コサイン変換及び位相変更された複数の基底関数に基づいた１次元逆離散コサイン変換のためのフィルタでありうる。また、１次元補間フィルタは、数式（１７）に関して前述したスケーリングされたフィルタでありうるが、スケーリングされたフィルタに基づいて水平及び垂直方向補間を行う場合、次の数式（２１）を計算することで補間を行える。

Ｆ’_ｌ（α_ｘ）及びＦ’_ｌ（α_ｙ）は、数式（１８）のＦ’_ｌ（α）に対応する。但し、垂直方向の補間位置と水平方向の補間位置とが異なるので、補間位置によって異なる１次元補間フィルタが選択される。

水平方向の補間及び垂直方向の補間を行う時に、水平補間後にＳｔａｇｅＢｉｔｓ１によって最初のビットシフティングが行われ、垂直補間が行われた後でＳｔａｇｅＢｉｔｓ２が行われる。（すなわち、ＴｏｔａｌＢｉｔｓ＝ＳｔａｇｅＢｉｔｓ１＋ＳｔａｇｅＢｉｔｓ２）Ｓｔａｇｅ１Ｂｉｔｓ１が０に設定されるならば、最初のビットシフティングは行われない。

したがって、Ｆ’_ｌ（α_ｙ）のスケーリングファクターが“２^ｂｉｔ１”であり、Ｆ’_ｌ（α_ｘ）のスケーリングファクターが“２^ｂｉｔ２”である時、数式（２１）の“ｂｉｔｓ”は“ｂｉｔｓ＝ｂｉｔ１＋ｂｉｔ２”である。また、ＴｏｔａｌＢｉｔｓ＝‘ｂｉｔ１’＋‘ｂｉｔ２’である。

図１９Ｃは、本発明のさらに他の実施形態による１次元補間フィルタを用いた２次元補間方法を説明するための図面である。図１９Ｃを参照すれば、１次元補間フィルタを用いて垂直方向補間及び水平方向補間を繰り返して行うことで２次元補間位置のピクセル値を生成できる。

整数ピクセル単位のピクセル値ＲＥＦ_{（ｉ，ｊ）}１９６０及びＲＥＦ_{（ｉ，ｊ＋１）}１９６２の間を垂直方向に補間してＴｅｍｐ_{（ｉ，ｊ）}を生成する。また、ＲＥＦ_{（ｉ，ｊ＋１）}１９６４及びＲＥＦ_{（ｉ＋１，ｊ＋１）}１９６６の間を垂直方向に補間してＴｅｍｐ_{（ｉ＋１，ｊ）}を生成する。次いで、Ｔｅｍｐ_{（ｉ，ｊ）}及びＴｅｍｐ_{（ｉ＋１，ｊ）}の間を水平方向に補間して２次元補間位置のＰ_{（ｉ，ｊ）}を生成する。スケーリングされたフィルタに基づいて水平及び垂直方向補間を行う場合、次の数式（２２）を計算することで補間を行える。

図２０は、本発明の一実施形態による映像を補間する方法を説明するためのフローチャートである。図２０を参照すれば、段階２０１０で、本発明の一実施形態による映像補間装置９００は、異なる周波数の複数の基底関数を用いて空間ドメインのピクセル値を変換する。ピクセル値は、所定のブロックに含まれた複数のピクセル値であってもよく、水平または垂直方向に配列されたピクセル値の行または列であってもよい。

変換は、２次元離散コサイン変換または１次元離散コサイン変換であり、これについて変換部９１０、数式（１）、（２）、（３）及び７に関して前述した。

段階２０２０で、映像補間装置９００は、段階２０１０の変換に用いられた複数の基底関数の位相を変更する。α_ｘ及びα_ｙによって定められる２次元補間位置またはαにより定められる１次元補間位置によって、変換に用いられた複数の基底関数の位相を変更する。

段階２０３０で、映像補間装置９００は、段階２０２０で位相が変更された複数の基底関数を用いて、段階２０１０の変換結果として生成された複数の係数を逆変換する。段階２０１０で、変換結果として生成された複数の係数を逆変換して補間位置のピクセル値を生成する。

段階２０１０の変換が２次元離散コサイン変換であったならば、段階２０３０で映像補間装置９００は、位相変更された複数のコサイン関数を用いて、複数の離散コサイン係数を２次元逆離散コサイン変換して２次元補間位置のピクセル値を生成する。

段階２０１０の変換が、ピクセル値の行または列に対する１次元離散コサイン変換であれば、段階２０３０で映像補間装置９００は、位相変更された複数のコサイン関数を用いて複数の離散コサイン係数を１次元逆離散コサイン変換して、１次元補間位置のピクセル値を生成する。

位相変更された複数の基底関数及びこれに基づく逆変換は、逆変換部９２０、数式（４）、（５）、（６）及び（８）に関して前述した。

図２１は、本発明の他の実施形態による映像を補間する方法を説明するためのフローチャートである。図２１を参照すれば、段階２１１０で、本発明の一実施形態による映像補間装置１４００は、変換及び位相変更された複数の基底関数に基づいた逆変換のためのフィルタを、補間位置に基づいて選択する。補間位置に基づく離散コサイン変換、及び位相変更された複数のコサイン関数に基づく逆離散コサイン変換のためのフィルタを選択する。補間されるピクセル値が所定のブロックである場合には、２次元離散コサイン変換及び２次元逆離散コサイン変換のためのフィルタをα_ｘ及びα_ｙに基づいて選択し、補間されるピクセル値が行または列である場合には、１次元離散コサイン変換及び１次元逆離散コサイン変換のためのフィルタをαに基づいて選択する。図１５または図１６Ａないし図１６Ｆまたは図１７に示したフィルタのうち一つを、補間位置に基づいて選択できる。補間位置はもとより他の要素を考慮してフィルタのサイズを選択できるということは、フィルタ選択部１４１０及び図１７に関して前述した。

段階２１２０で、映像補間装置１４００は、段階２１１０で選択されたフィルタに基づいて補間を行う。段階２１１０で補間位置に基づいて選択されたフィルタを用いて、空間ドメインのピクセル値をフィルタリングすることで、２次元補間位置のピクセル値または１次元補間位置のピクセル値を生成する。フィルタを用いた補間は、数式（９）ないし（１９）に関して前述した。

図２２は、本発明のさらに他の実施形態による映像を補間する方法を説明するためのフローチャートである。図２２を参照すれば、段階２２１０で、映像補間装置１４００は、整数ピクセル単位のピクセル値１９００ないし１９０６の間を補間するためのフィルタを、補間位置によって異なって選択する。本発明の一実施形態による映像補間方法によれば、分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０が、整数ピクセル単位のピクセル値１９００ないし１９０６から直接生成される。したがって、映像補間装置１４００は、補間位置それぞれに対応する補間フィルタを段階２２１０で選択する。

段階２２２０で、映像補間装置１４００は、段階２２１０で補間位置によって異なって選択されたフィルタに基づいて整数ピクセル単位のピクセル値１９００ないし１９０６の間を補間して、少なくとも一つの分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０を生成する。

段階２２３０で、映像補間装置１４００は、段階２２２０で生成された分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０の間を補間するためのフィルタを、補間位置によって異なって選択する。図１９の分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０の間の他の分数ピクセル単位のピクセル値１９５０を生成するためのフィルタを、補間位置によって異なって選択する。

段階２２４０で、映像補間装置１４００は、段階２２３０で選択されたフィルタに基づいて分数ピクセル単位のピクセル値１９１０、１９２０、１９３０及び１９４０を補間して、他の分数ピクセル単位のピクセル値１９５０を生成する。

以上のように、本発明はたとえ限定された実施形態及び図面によって説明されたにしても、本発明が前記の実施形態に限定されるものではなく、これは当業者ならば、これらの記載より多様な修正及び変形が可能であろう。したがって、本発明の思想は、特許請求の範囲のみによって把握されねばならず、これと均等または等価的な変形はいずれも本発明の思想の範ちゅうに属するといえる。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部、映像復号化部及び映像補間装置は、図１、２、４、５、９及び１４に示したような装置それぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも一つのプロセッサを備える。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために前記バスに結合されて、前述したような命令を行うための少なくとも一つのプロセッサにカップリングされたメモリを備える。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての記録装置を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取れるコードが保存されて実行される。

以下、本願により教示される手段を例示的に列挙する。

（付記１）
映像を補間する方法において、
複数の異なるフィルタのうち、整数ピクセル単位のピクセル値間を補間するための第１フィルタを補間位置によって選択する段階と、
前記選択された第１フィルタを用いて、前記整数ピクセル単位のピクセル値間を補間して、少なくとも一つの分数ピクセル単位のピクセル値を生成する段階と、を含むことを特徴とする映像補間方法。

（付記２）
前記複数の異なるフィルタのうち、前記生成された少なくとも一つの分数ピクセル単位のピクセル値間を補間するための第２フィルタを補間位置によって選択する段階と、
前記第２フィルタを用いて、前記少なくとも一つの分数ピクセル単位のピクセル値間を補間する段階と、をさらに含むことを特徴とする付記１に記載の映像補間方法。

（付記３）
前記第１フィルタは、
異なる周波数の複数の基底関数を用いて、前記整数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする付記２に記載の映像補間方法。

（付記４）
前記第２フィルタは、
異なる周波数の複数の基底関数を用いて、前記生成された少なくとも一つの分数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする付記３に記載の映像補間方法。

（付記５）
映像を補間する装置において、
複数の異なるフィルタのうち、整数ピクセル単位のピクセル値間を補間するための第１フィルタを補間位置によって選択するフィルタ選択部と、
前記選択された第１フィルタを用いて、前記整数ピクセル単位のピクセル値間を補間して少なくとも一つの分数ピクセル単位のピクセル値を生成する補間部と、を備えることを特徴とする映像補間装置。

（付記６）
前記フィルタ選択部は、前記複数の異なるフィルタのうち、前記生成された少なくとも一つの分数ピクセル単位のピクセル値間を補間するための第２フィルタを補間位置によって選択し、
前記補間部は、前記選択された分数ピクセル単位のピクセル値間を補間するためのフィルタに基づいて、前記生成された少なくとも一つの分数ピクセル単位のピクセル値間を補間することを特徴とする付記５に記載の映像補間装置。

（付記７）
前記第１フィルタは、
異なる周波数の複数の基底関数を用いて、前記整数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする付記６に記載の映像補間装置。

（付記８）
前記第２フィルタは、
異なる周波数の複数の基底関数を用いて、前記生成された少なくとも一つの分数ピクセル単位のピクセル値を変換し、位相変更された複数の基底関数を用いて、前記変換結果として生成された複数の係数を逆変換するための空間ドメインのフィルタであることを特徴とする付記７に記載の映像補間装置。

（付記９）
付記１に記載の方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

（付記１０）
前記選択されたフィルタの係数をスケーリングファクターほど乗じることで前記選択されたフィルタがスケールされ、
前記少なくとも一つの分数ピクセル単位のピクセル値を生成する段階は、前記スケールされた、選択されたフィルタを用いて、前記整数ピクセル単位のピクセル値間を補間する段階を含むことを特徴とする付記１に記載の映像補間方法。

（付記１１）
前記第１フィルタを選択する段階は、
前記補間位置、及び前記整数ピクセル単位を含むブロックのサイズと、前記補間のためのフィルタリングの方向のうち少なくとも一つに基づいて、前記第１フィルタを選択する段階を含むことを特徴とする付記１に記載の映像補間方法。

特開平１１−２３８１２１号公報 特開２００２−１５２７４５ 国際公開第２００７／１４６５７４号

Claims (3)

1. 映像補間装置が行う動き補償のために映像を補間する方法において、
   整数画素単位の第１画素値に８-タップ補間フィルタを適用して、２/４画素位置の画素値を生成する段階と、
   前記生成された２/４画素位置の画素値を利用せずに前記整数画素単位の第１画素値に補間フィルタを適用して、１/４画素位置または３/４画素位置の画素値を生成する段階と、
   整数画素単位の第２画素値に４-タップ補間フィルタを適用して、１/８または３/８画素位置の画素値を生成する段階とを含み、
   前記２/４画素位置の画素値を生成するための８-タップ補間フィルタは８つの係数で構成され、
   前記１/８画素位置または３/８画素位置の画素値を生成するための４-タップ補間フィルタは４つの係数で構成されることを特徴とする動き補償のための映像補間方法。
2. 前記２/４-画素位置の画素値を生成する段階は、
   前記８タップ補間フィルタの係数の総和が１になりうるようにするためのスケーリングファクタを利用して、前記８タップ補間フィルタを適用して生成された画素値をスケーリングする段階を含み、
   前記スケーリングファクタは６４であることを特徴とする請求項１に記載の動き補償のための映像補間方法。
3. 整数画素単位の第１画素値に８-タップ補間フィルタを適用して２/４画素位置の画素値を生成し、前記生成された２/４画素位置の画素値を利用せずに前記整数画素単位の第１画素値に補間フィルタを適用して、１/４画素位置または３/４画素位置の画素値を生成し、整数画素単位の第２画素値に４-タップ補間フィルタを適用して、１/８または３/８画素位置の画素値を生成するプロセッサを備え、
   前記２/４画素位置の画素値を生成するための８-タップ補間フィルタは８つの係数で構成され、
   前記１/８画素位置又は３/８画素位置の画素値を生成するための４−タップ補間フィルタは４つの係数で構成されることを特徴とする動き補償のための映像補間装置。

Images