JP2015156708A - 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置 - Google Patents

Abstract

【課題】 現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを利用して、現在ブロックに対するイントラ予測を行うことによって、映像の圧縮効率を向上させる映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置を提供する。
【解決手段】 符号化される現在ブロックのイントラ予測時に利用される周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを利用し、イントラ予測を行う映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置である。
【選択図】 図１

Description

本発明は、フィルタリングされた周辺ピクセルを利用して、イントラ予測を行うことによって、映像の圧縮効率を向上させる映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、１つのピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能なあらゆる符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化に所要するビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度によって、符号化モードを一つ選択してマクロブロックを符号化する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が高まっている。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された予測モードによって符号化されている。

従来のビデオコーデックにおいて、ビデオは、所定サイズのマクロブロックに基づいて、限定された予測モードによって符号化される。

本発明が解決しようとする課題は、現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを利用して、現在ブロックに対するイントラ予測を行うことによって、映像の圧縮効率を向上させる映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置を提供することである。

本発明の一実施形態による映像符号化方法は、符号化される現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する段階と、前記フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち、前記現在ブロックのイントラ予測に利用される周辺ピクセルを選択する段階と、前記選択された周辺ピクセルを利用し、前記現在ブロックに対するイントラ予測を行う段階と、を含む。

本発明の一実施形態による映像復号化方法は、復号化される現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する段階と、ビットストリームから、前記現在ブロックに適用されたイントラ予測モード情報を抽出する段階と、前記フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち、前記現在ブロックのイントラ予測に利用される周辺ピクセルを選択する段階と、前記抽出された予測モード及び前記選択された周辺ピクセルを利用し、前記現在ブロックに対するイントラ予測を行う段階と、を含む。

本発明の一実施形態による映像符号化装置は、符号化される現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する周辺ピクセル・フィルタリング部と、前記フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち、前記現在ブロックのイントラ予測に利用される参照ピクセルを選択する参照ピクセル決定部と、前記選択された参照ピクセルを利用し、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含む。

本発明の一実施形態による映像復号化装置は、復号化される現在ブロックの周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する周辺ピクセル・フィルタリング部と、符号化されたビットストリームから、前記現在ブロックに適用されたイントラ予測モード情報を抽出するエントロピ復号化部と、前記フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち現在ブロックのイントラ予測に利用される参照ピクセルを選択する参照ピクセル決定部と、前記選択された参照ピクセルを利用し、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含む。

本発明によれば、コーディング効率が向上しうる。

本発明の一実施形態による映像符号化装置のブロック図である。 本発明の一実施形態による映像復号化装置のブロック図である。 本発明の一実施形態による階層的符号化単位を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態によって、深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態によるイントラ予測装置の構成を示したブロック図である。 本発明の一実施形態による符号化単位のサイズによるイントラ予測モードの個数を図示する図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他の例を説明するための図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。 本発明の一実施形態によって、現在符号化単位と、フィルタリングされる周辺ピクセルとを示した図である。 本発明の一実施形態による周辺ピクセルのフィルタリング過程について説明するための参照図である。 本発明の一実施形態による映像符号化方法を示したフローチャートである。 本発明の一実施形態による映像復号化方法を示したフローチャートである。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、映像符号化方法及び映像復号化方法について説明する。実施形態で、単位（unit）は、文脈によって、単位のサイズを示してもよい。本明細書で映像は、ビデオの静止映像、動映像を示し、映像は、ビデオ自体であってもよい。

以下、「符号化単位（coding unit）」は、エンコーダ側で符号化される映像データの符号化データ単位、及びデコーダ側で復号化される映像データの復号化データ単位である。また、符号化深度（coded depth）は、符号化単位が符号化された深度を意味する。

まず、図１ないし図１３を参照しつつ、本発明の一実施形態によるビデオ符号化方法及び装置、並びにビデオ復号化方法及びその装置について説明する。

図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照するに、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横にサイズが８より大きい２の二乗である正方形のデータ単位であってもよい。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

本発明の一実施形態によれば、最大符号化単位及び深度を利用して、符号化単位が表現される。最大符号化単位は、現在ピクチャの符号化単位のうちサイズが最も大きい符号化単位を示し、深度は、最大符号化単位から、符号化単位が空間的に分割された回数を示す。深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割され、最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。本発明の一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。

符号化深度決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最も小さな符号化誤差が発生する深度を選択して符号化深度に決定する。従って、決定された符号化深度に対応する符号化単位の符号化された映像データが最終的に出力される。また、符号化深度に対応する符号化単位は、符号化された符号化単位と見なされる。

決定された符号化深度及び決定された符号化深度による符号化された映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも１つの符号化深度が決定されてもよい。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であったとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであったとしても、位置によって深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されてもよい。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位に従って分割される。

従って、一実施形態による符号化深度決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示してもよい。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示してもよい。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は、５に設定されてもよい。

最大符号化単位の予測符号化及び変換は、最大符号化単位によって行われる。最大符号化単位による予測符号化及び変換はまた、最大深度以下の深度によるさらに深い深度の符号化単位に基づいて行われる。変換は、直交変換または整数変換方法によって行われる。

深度によって最大符号化単位が分割されるたびに、下位深度の符号化単位の個数が増加するために、予測符号化及び変換を含む符号化過程は、深度が深くなるにつれて発生するあらゆる下位深度の符号化単位に対して行われる。説明の便宜のために、予測符号化及び変換は、最大符号化単位で、現在深度の符号化単位に基づいて説明する。

符号化装置１００は、映像データを符号化するために、多様なサイズまたは形態のデータ単位を選択することができる。映像データを符号化するために、予測符号化、変換及びエントロピ符号化過程のような動作が遂行され、このとき、同じデータ単位があらゆる動作に利用されたり、あるいは各動作ごとに、互いに異なるデータ単位が利用されてもよい。

例えば、符号化装置１００は、映像データを符号化するための符号化単位だけではなく、符号化単位内の映像データに係わる予測符号化のために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のために、予測符号化は、符号化深度の符号化単位、すなわち、それ以上下位深度に対応する符号化単位に分割されない符号化単位を基に行われる。以下、それ以上分割されず、予測の基礎になるデータ単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になって、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位内部に、複数の予測単位があるならば、それぞれの予測単位に対して独立して符号化が行われ、符号化誤差が最も小さい予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズのデータ単位に基づいて、映像データを変換することができる。

符号化単位の変換のために、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基に、変換が行われる。例えば、変換のためのデータ単位は、イントラモードのデータ単位及びインターモードのデータ単位を含んでもよい。

以下、変換の基礎になる処理単位を「変換単位」とする。変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定されてもよい。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズが同一であるサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、全てで４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分され、全てで４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定されてもよい。例えば、変換階層的変換深度によって、上位変換深度の変換単位が４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定されてもよい。

符号化単位と同様に、符号化単位内の変換単位も、再帰的にさらに小さいサイズの領域に分割され、変換単位は、領域単位で独立するように決定されてもよい。従って、符号化単位の残存（residual）データが変換深度によって、ツリー構造による変換単位に従って分割される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位深度決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、符号化深度の符号化予測単位を予測単位パーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

本発明の一実施形態によって、最大符号化単位のツリー構造による符号化単位とパーティションとを決定する方法は、図３ないし図１２を参照しつつ後述する。

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率−歪曲最適化技法（rate-distortion optimization）を利用して、深度別符号化単位の符号化誤差を測定する。

映像データ符号化部１３０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び符号化深度による符号化モード情報をビットストリームとして出力する。

符号化された映像データは、映像の残存データを符号化して獲得される。

符号化深度による符号化モード情報は、符号化深度、予測単位のパーティション類型に係わる情報、予測モード情報及び変換単位サイズ情報を含んでもよい。

符号化深度情報は、現在深度に符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されてもよい。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上の下位深度で分割されないように定義される。反対に、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試せねばならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されてもよい。

現在深度が符号化深度ではないならば、符号化は、下位深度の符号化単位に分割された符号化単位に対して行われる。現在深度の１つの符号化単位には、少なくとも１つの下位深度の符号化単位が存在するために、符号化は、下位深度の各符号化単位に対して反復的に行われ、同じ深度の符号化単位に対して再帰的に符号化が行われる。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されてもよい。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあので、データに対して、符号化深度及び符号化モードについての情報が設定される。

従って、出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割されたサイズの正方形のデータ単位である。代案として、最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、符号化単位別符号化情報と、予測単位別符号化情報とに分類される。符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ＳＰＳ（sequence parameter set）またはビットストリームのヘッダに挿入されてもよい。

映像符号化装置１００で、下位深度の符号化単位は、上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を従来のマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。従って、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する。しかし、本発明の一実施形態による映像符号化装置１００は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇することが可能である。

図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照するに、本発明の一実施形態による映像復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。一実施形態による映像復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及び映像符号化装置１００を参照して前述したところと同一である。

受信部２１０は、ビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、各最大符号化単位別に、ツリー構造の符号化単位に係わる符号化された映像データを抽出し、抽出された映像データを獲得し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、受信された現在ピクチャの符号化単位の最大サイズに係わる情報を、現在ピクチャに係わるヘッダまたはＳＰＳから抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、ビットストリームをパージングし、最大符号化単位別にツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。言い換えれば、ビットストリームの映像データは、最大符号化単位に分割され、映像データ復号化部２３０は、各最大符号化単位の映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態による映像符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、映像復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているのであるならば、同じ符号化深度及び符号化モードについての情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位であると類推することができる。

映像データ復号化部２３０は、符号化情報抽出部で抽出された最大符号化単位別符号化深度及び符号化モード情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれたツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び逆変換過程を含んでもよい。逆変換過程は、逆直交変換または逆整数変換の方法によって行われる。映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用する現在最大符号化単位の少なくとも１つの符号化深度を決定することができる。もし分割情報が現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされる。

映像復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データが復号化される。また、符号化単位の最大サイズは、解像度及び映像データの量を考慮して決定される。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図３ないし図１３を参照しつつ、本発明の一実施形態によって、ツリー構造の符号化単位、予測単位及び変換単位を決定する方法について説明する。

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照するに、符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２、３２ｘ１６、１６ｘ３２、１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８、８ｘ４、４ｘ８、４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０ｘ１０８０、最大符号化単位のサイズは６４、最大深度は２に設定されている。ビデオデータ３２０については、解像度は１９２０ｘ１０８０、符号化単位の最大サイズは６４、最大深度は３に設定されている。また、ビデオデータ３３０については、解像度は３５２ｘ２８８、符号化単位の最大サイズは１６、最大深度は１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、さらに小さい符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示したものである。

一実施形態による映像符号化部４００は、前述のビデオ符号化装置１００の符号化深度決定部１２０で映像データを符号化する作業を遂行する。言い換えれば、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残存値が生成され、生成された残存値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、さらに残存値に復元され、復元された残存値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

本発明の一実施形態による映像符号化装置１００に適用するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて、映像符号化過程を処理する。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを考慮し、変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示したものである。

パージング部５１０は、ビットストリーム５０５から符号化された映像データ及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、逆量子化されたデータは、逆変換部５４０を経て、空間領域の映像データとして復元される。

イントラ予測部５５０は、空間領域の映像データについて、イントラモードで符号化単位に係わるイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を利用して、インターモードで符号化単位に係わる動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域の映像データは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されて出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理された映像データは、参照フレーム５８５として出力される。

本発明の一実施形態による映像復号化装置２００に適用するために、映像復号化装置５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０は、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて動作を遂行する。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードに基づいて動作を遂行し、逆変換部５４０は、符号化単位ごとに、変換単位のサイズに基づいて動作を遂行する。

図６は、本発明の一実施形態による深度別符号化単位及び予測パーティションを図示している。

一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されもする。

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる予測単位及びパーティションが図示されている。

符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位である。符号化単位６５０の予測単位は、サイズ４ｘ４のパーティションとしてのみ設定される。

一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同一の範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含まれるデータについて、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用して、それぞれ符号化されねばならない。

深度のうち現在深度によって符号化を行うために、符号化単位の階層構造６００の横軸に沿って、現在深度の符号化単位の予測単位ごとに符号化を行い、現在深度の最も小さい符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなるにつれて、それぞれの深度ごとに符号化を行い、深度別最小符号化誤差を比較して最小符号化誤差が検索されてもよい。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による、符号化単位７１０及び変換単位７２０の関係を図示している。

映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位に映像を分割して符号化／復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、符号化単位７１０のサイズが６４ｘ６４サイズであるとき、３３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。

本発明の一実施形態による映像符号化装置１００の符号化情報出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の動き予測のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちどれ１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの動き予測モードを示している。例えば、予測モードについての情報８１０を介して、分割タイプについての情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、動き予測が行われるか否かが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つであってもよい。

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化いかんを示すために、分割情報が利用可能である。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示している。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が、対称的比率で分割されたパーティション９１２，９１４，９１６，９１８だけ例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われねばならない。サイズ２Ｎ＿０ｘＮ＿０、サイズＮ＿０ｘＮ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについて遂行される。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０，Ｎ＿０ｘ２Ｎ＿０及びＮ＿０ｘＮ＿０のパーティションタイプ９１２，９１４，９１６，９１８による符号化誤差が比較され、パーティションタイプにおいて、最も小さい符号化誤差が決定される。もしパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、予測単位９１０は、それ以上下位深度に分割されない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割しつつ（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度による分割動作は、深度ｄ−１になるまで遂行し、分割情報は、０からｄ−２までの深度に対して符号化することができる。すなわち、動作９７０で、深度ｄ−２に対応する符号化単位が分割され、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して、予測符号化を介した符号化が行われてこそ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであり、ｄ−１の最下位深度を有する最小符号化単位９８０は、それ以上下位深度に分割されないために、符号化単位９８０について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる最小単位であってもよい。一実施形態による最小単位は、最小符号化単位９８０を４分割して獲得された正方形のデータ単位であってもよい。このような反復的符号化過程を介して、ビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードを、符号化深度の符号化モードに設定することができる。

かような方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択されて符号化深度に決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報に符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されねばならないので、符号化深度の分割情報だけが０に設定され、符号化深度を除外した深度別分割情報は、１に設定される。

映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用される。映像復号化装置２００は、深度別分割情報を利用して、分割情報が０である深度を符号化深度に決定し、当該深度に係わる符号化モードについての情報を復号化に利用することができる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位に係わって、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、変換単位１０５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、ビデオ符号化装置１００及びビデオ復号化装置２００で設定可能である一例を示している。

ビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位であって、それ以上分割されない深度が符号化深度であるから、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示してもよい。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示してもよい。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種のサイズ、インターモードで二種のサイズに設定可能である。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位のサイズはＮｘＮ、非対称型パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定可能である。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、この場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定可能である。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２）、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定可能である。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定されもする。

パーティションタイプ情報が、非対称型パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定されもする。

図１３を参照するに、変換単位分割情報（ＴＵ size flag）は、０または１を有するが、変換単位分割情報（ＴＵ size flag）は、１ビットに限定されるものではなく、変換単位分割情報（ＴＵ size flag）が０から増加するにつれて、変換単位は、階層的に分割されてツリー構造を有することができる。

その場合、実際に利用される変換単位のサイズは、変換単位の最大サイズ及び最小サイズと共に、変換単位の変換単位分割情報（ＴＵ size flag）を利用して表現されてもよい。一実施形態によれば、符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報（ＴＵ size flag）を符号化することができる。最大変換単位サイズ情報、最小変換単位サイズ情報、最大変換単位分割情報（ＴＵ size flag）を符号化した結果は、ＳＰＳに挿入される。一実施形態によれば、復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報、最大変換単位分割情報（ＴＵ size flag）を利用してビデオを復号化することができる
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位のサイズを３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位のサイズを１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位のサイズを８ｘ８に設定することができる。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２に設定され、変換単位のサイズが３２ｘ３２より小さいことはないので、それ以上の変換単位分割情報は設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は０または１であって、他の変換単位分割情報は設定されない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」であると定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記式（１）のように定義されてもよい。

CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示してもよい。すなわち、式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるから、それらのうち小さい値が現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」であってもよい。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記式（２）によって決定される。式（２）で、「MaxTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝min（MaxTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定されもする。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記式（３）によって決定される。「PartitionSize」は、現在パーティション単位のサイズを示す。

RootTuSize＝min（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定されもする。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれらに限定されるものではないということに留意せねばならない。

以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０、及び図５の映像復号化装置２００のイントラ予測部５５０で行われるイントラ予測について具体的に説明する。以下の説明で、符号化単位は、映像の符号化段階で、現在符号化されるブロックを指す用語であり、復号化単位は、映像の復号化段階で、現在復号化されるブロックを指す用語である。符号化単位及び復号化単位という用語は、映像の符号化段階及び復号化段階のうち、いずれの段階で指すものであるかという違いがあるだけであり、符号化段階での符号化単位は、復号化段階での復号化単位と呼ばれもする。用語の統一性のために、特別の場合を除いては、符号化段階及び復号化段階で同一に、符号化単位と統一して呼ぶことにする。また、本発明の一実施形態によるイントラ予測方法及び装置は、一般的な映像コーデックでのイントラ予測にも適用可能であるということを、本発明が属する技術分野で当業者であるならば、本明細書を介して理解することができるであろう。

図１４は、本発明の一実施形態によるイントラ予測装置１２００の構成を示したブロック図である。図１４を参照するに、本発明の一実施形態によるイントラ予測装置１２００は、周辺ピクセル・フィルタリング部１２１０、参照ピクセル決定部１２２０及びイントラ予測遂行部１２３０を含む。

周辺ピクセル・フィルタリング部１２１０は、符号化される現在符号化単位のイントラ予測に利用される周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する。周辺ピクセルをフィルタリングする過程については、図１９及び図２０を参照しつつ説明する。

図１９は、本発明の一実施形態によって、現在符号化単位と、フィルタリングされる周辺ピクセルとを示した図である。図１９を参照するに、周辺ピクセル・フィルタリング部１２１０は、現在イントラ予測される現在符号化単位１７００の上側のＸ個の周辺ピクセル１７１０、及び左側のＹ個の周辺ピクセル１７２０に対して、少なくとも１回以上のフィルタリングを行い、フィルタリングされた周辺ピクセルを生成する。ここで、現在符号化単位１７００のサイズをＮｘＮとすれば、周辺ピクセル・フィルタリング部１２１０は、現在符号化単位１７００の上側に隣接した２Ｎ個の周辺ピクセル１７１０、及び左側に隣接した２Ｎ個の周辺ピクセル１７２０の全てで４Ｎ個の周辺ピクセルに対してフィルタリングを行うことが望ましい。すなわち、Ｘ＝２Ｎ、Ｙ＝２Ｎであることが望ましい。周辺ピクセル・フィルタリング部１２１０によってフィルタリングされる上側の及び左側の周辺ピクセル１７１０，１７２０の個数は、これに限定されるものではなく、現在符号化単位に適用されるイントラ予測モードの方向性を考慮して変更可能である。

また図１９で、ＮｘＮサイズの現在符号化単位１７００の上側及び左側に隣接したＸ＋Ｙ個の原周辺ピクセル１７１０，１７２０をContextOrg［ｎ］（ｎは、０からＸ＋Ｙ−１までの整数）とすれば、左側の周辺ピクセル１７２０のうち、最も下端の周辺ピクセルがｎ＝０である場合、すなわち、ContextOrg［０」であり、上側の周辺ピクセル１７１０のうち、最も右側の周辺ピクセルがｎ＝Ｘ＋Ｙ−１、すなわち、ContextOrg［Ｘ＋Ｙ−１］に設定される。

図２０は、本発明の一実施形態による周辺ピクセルのフィルタリング過程について説明するための参照図である。図２０を参照するに、ＮｘＮサイズの現在符号化単位の上側及び左側に隣接した４Ｎ個の原周辺ピクセルをContextOrg［ｎ］（ｎは、０から４Ｎ−１までの整数）とすれば、周辺ピクセル・フィルタリング部１２１０は、原周辺ピクセル間の加重平均値を計算することによって、原周辺ピクセルをフィルタリングし、第１フィルタリングされた周辺ピクセルContextFiltered１［ｎ］を生成する。例えば、周辺ピクセル・フィルタリング部１２１０は、次の式（４）のように、原周辺ピクセル（ContextOrg［ｎ］）に３−タップフィルタ（３-tap filter）を適用して第１フィルタリングされた周辺ピクセルを生成する。

ContextFiltered１［ｎ］＝（ContextOrg［ｎ−１］＋２＊ContextOrg［ｎ］＋ContextOrg［ｎ＋１］）／４ （４）
式（４）を参照するに、周辺ピクセル・フィルタリング部１２１０は、原周辺ピクセルのうち、現在フィルタリングされる周辺ピクセルContextOrg［ｎ］と、その左右に位置した周辺ピクセルContextOrg［ｎ−１］，ContextOrg［ｎ＋１］との加重平均値を計算することによって、第１フィルタリングされた周辺ピクセルを生成する。第１フィルタリングされた周辺ピクセルのうち、両端のフィルタリングされた周辺ピクセルは、本来の周辺ピクセルの値を有する。すなわち、ContextFiltered１［０］＝ContextOrg［０］，ContextFiltered１［４Ｎ−１］＝ContextOrg［４Ｎ−１」である。

同様に、周辺ピクセル・フィルタリング部１２１０は、第１フィルタリングされた周辺ピクセル（ContextFiltered１［ｎ］）間の加重平均値をさらに計算し、第２フィルタリングされた周辺ピクセルContextFiltered２［ｎ］を生成することができる。例えば、周辺ピクセル・フィルタリング部１２１０は、次の式（５）のように、第１フィルタリングされた周辺ピクセルContextFiltered１［ｎ］に３−タップフィルタを適用し、第２フィルタリングされた周辺ピクセルを生成する。

ContextFiltered２［ｎ］＝（ContextFiltered１［ｎ−１］＋２＊ContextFiltered１［ｎ］＋ContextFiltered１［ｎ＋１］）／４ （５）
式（５）を参照するに、周辺ピクセル・フィルタリング部１２１０は、第１フィルタリングされた周辺ピクセルのうち、現在フィルタリングされる周辺ピクセルContextFiltered１［ｎ］と、その左右に位置した周辺ピクセルContextFiltered１［ｎ−１］，ContextFiltered１［ｎ＋１］との加重平均値を計算することによって、第２フィルタリングされた周辺ピクセルを生成する。第２フィルタリングされた周辺ピクセルのうち、両端の第２フィルタリングされた周辺ピクセルは、本来の第１フィルタリングされた周辺ピクセルの値を有する。すなわち、ContextFiltered２［０］＝ContextFiltered１［０］，ContextFiltered２［４Ｎ−１］＝ContextFiltered１［４Ｎ−１」である。かような周辺ピクセルに対するフィルタリング過程は、２回以上反復して行われる。また、周辺ピクセルに対して適用されるフィルタのタップ（tap）数は、前述の３タップフィルタ以外に、多様なタップ数やフィルタが適用可能である。また、周辺ピクセルに対して適用されるフィルタのタップ数やフィルタのタップ係数は、予測時に選択的に適用することができる。

参照ピクセル決定部１２２０は、フィルタリングされた周辺ピクセルと、本来の周辺ピクセルとのうち、現在符号化単位のイントラ予測に利用される参照ピクセルを決定する。具体的には、参照ピクセル決定部１２２０は、現在符号化単位のサイズ及び現在行われるイントラ予測モードの種類によって、本来の周辺ピクセル、第１フィルタリングされた周辺ピクセル及び第２フィルタリングされた周辺ピクセルのうち、どの周辺ピクセルを利用するかを選択することができる。例えば、本来の周辺ピクセルを利用する予測モードの参照インデックスを０、第１フィルタリングされた周辺ピクセルを利用する予測モードの参照インデックスを１、第２フィルタリングされた周辺ピクセルを利用する予測モードの参照インデックスを２とすれば、参照ピクセル決定部１２２０は、次の表２のように、現在符号化単位のサイズ及び現在行われるイントラ予測モードの種類によって、イントラ予測に利用された周辺ピクセルの種類を決定することができる。

表２を参照するに、例えば、現在符号化単位が３２ｘ３２のサイズを有し、イントラ予測モード４でイントラ予測される場合、参照インデックスは０であるから、参照ピクセル決定部１２２０は、現在符号化単位のイントラ予測に利用される参照ピクセルとして、原周辺ピクセルContextOrg［ｎ］を決定する。表２で各イントラ予測モードは、後述する表３に示されたているようなイントラ予測モードを示す。また、表２で、「−」で表示されているのは、当該符号化単位サイズに係わるイントラ予測モードが定義されていないことを意味する。表２は、後述する表３に表記されたイントラ予測モードに基づいたものであって、１つの例示でしかなく、表３と異なるように、符号化単位サイズ別にイントラ予測モードが設定された場合であるならば、当該符号化サイズについて適用されるイントラ予測モードに、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、どの周辺ピクセルを利用するかについて、表２に例示されたところと異なるように参照インデックスが設定されもする。

再び図１４を参照するに、参照ピクセル決定部１２２０で、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、現在符号化単位のイントラ予測に利用する参照ピクセルが決定されれば、イントラ予測遂行部１２３０は、決定された参照ピクセルを利用して、現在符号化単位のサイズによって利用可能なイントラ予測モードによって、イントラ予測を行って予測符号化単位を生成する。

図１５は、本発明の一実施形態による符号化単位のサイズによるイントラ予測モードの個数を図示している。

本発明の一実施形態によれば、符号化単位（復号化段階では、復号化単位）のサイズによって、符号化単位に適用するイントラ予測モードの個数を多様に設定することができる。一例として図１５を参照するに、イントラ予測される符号化単位のサイズをＮｘＮとするとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８サイズの符号化単位それぞれに対して実際行われるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５個（Example ２の場合）に設定可能である。このように、符号化単位のサイズによって、実際行われるイントラ予測モードの個数を差別化する理由は、符号化単位のサイズによって、予測モード情報を符号化するためのオーバーヘッドが異なるためである。言い換えれば、小さいサイズの符号化単位の場合、全体映像で占める部分が小さいにもかかわらず、かような小さい符号化単位の予測モードなどの付加情報を伝送するためのオーバーヘッドが増加しうる。従って、小さい符号化単位をあまりにも多くの予測モードで符号化する場合、ビット量が増加して圧縮効率が低下しうる。また、大きいサイズを有する符号化単位、例えば、６４ｘ６４以上のサイズを有する符号化単位は、一般的に映像の平坦な領域に対する符号化単位として選択される場合が多いために、かような平坦な領域を符号化するのに多く選択される大きいサイズの符号化単位をあまりにも多くの予測モードで符号化するも、圧縮効率側面で非効率的である。

従って、本発明の一実施形態によれば、符号化単位が、Ｎ１ｘＮ１（２≦Ｎ１≦４、Ｎ１は整数、Ｎ２ｘＮ２（８≦Ｎ２≦３２、Ｎ２は整数）、Ｎ３ｘＮ３（６４≦Ｎ３、Ｎ３は整数）の少なくとも三種のサイズに大別され、Ｎ１ｘＮ１サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ１（Ａ１は正の整数）、Ｎ２ｘＮ２サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ２（Ａ２は正の整数）、Ｎ３ｘＮ３サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ３（Ａ３は正の整数）であるとするとき、Ａ３≦Ａ１≦Ａ２の関係を満足なように、各符号化単位のサイズによって行われるイントラ予測モードの個数を設定することが望ましい。すなわち、現在ピクチャが、小さいサイズの符号化単位、中間サイズの符号化単位、大きいサイズの符号化単位に大きく分類されるとするとき、中間サイズの符号化単位が最も多くの数の予測モードを有し、小さいサイズの符号化単位及び大きいサイズの符号化単位は、相対的にさらに少ない数の予測モードを有するように設定することが望ましい。ただし、これに限定されるものではなく、小さいサイズ及び大きいサイズの符号化単位についても、さらに多くの数の予測モードを有するように設定することができるのである。図１５に図示された各符号化単位のサイズによる予測モードの個数は、一実施形態に過ぎず、各符号化単位のサイズによる予測モードの個数は変更可能である。

図１６Ａは、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例について説明するための図である。

図１５及び図１６Ａを参照するに、一例として、４×４サイズを有する符号化単位のイントラ予測時に、垂直（vertical）モード（モード０）、水平（horizontal）モード（モード１）、ＤＣ（direct current）モード（モード２）、対角線左側（diagonal down-left）モード（モード３）、対角線右側（diagonal down-right）モード（モード４）、垂直右側（vertical-right）モード（モード５）、水平下側（horizontal-down）モード（モード６）、垂直左側（vertical-left）モード（モード７）及び水平上側（horizontal-up）モード（モード８）を有することができる。

図１６Ｂは、図１６Ａのイントラ予測モードの方向を示す図である。図１６Ｂで、矢印の端にある数字は、その方向に予測を行う場合の当該モード値を示す。ここで、モード２は、方向性のないＤＣ予測モードであり、図示されていない。

図１６Ｃは、図１６Ａに図示された符号化単位に係わるイントラ予測方法を図示した図である。図１６Ｃを参照するに、符号化単位のサイズによって決定された利用可能なイントラ予測モードによって、現在符号化単位の周辺ピクセルであるＡ−Ｍを利用して、予測符号化単位を生成する。例えば、図１６Ａのモード０、すなわち、垂直モードによって、４×４サイズの現在符号化単位を予測符号化する動作について説明する。まず、４×４サイズの現在符号化単位の上側に隣接した画素ＡないしＤの画素値を、４×４現在符号化単位の画素値として予測する。すなわち、画素Ａの値を４×４現在符号化単位の最初の列に含まれた４個の画素値として、画素Ｂの値を４×４現在符号化単位の２列目に含まれた４個の画素値として、画素Ｃの値を４×４現在符号化単位の３列目に含まれた４個の画素値として、画素Ｄの値を４×４現在符号化単位の４列目に含まれた４個の画素値として予測する。次に、前記画素ＡないしＤを利用して予測された４×４現在符号化単位を、本来の４×４現在符号化単位に含まれた画素の実際値から減算して誤差値を求めた後、その誤差値を符号化する。一方、多様なイントラ予測モードを適用するとき、参照ピクセルとして利用される周辺ピクセルは、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち選択されるということは、前述の通りである。

図１７は、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他の例について説明するための図である。

図１５及び図１７を参照するに、一例として、２×２サイズを有する符号化単位のイントラ予測時に、垂直（vertical）モード、水平（horizontal）モード、ＤＣ（direct current）モード、プレーン（plane）モード及び対角線右側（diagonaldown-right）モードの全てで５個のモードが存在しうる。

一方、図１５に図示されているように、３２ｘ３２サイズを有する符号化単位が、３３個のイントラ予測モードを有するとするとき、３３個のイントラ予測モードの方向を設定する必要がある。本発明の一実施形態では、図１６及び図１７に図示されたようなイントラ予測モード以外に、多様な方向のイントラ予測モードを設定するために、符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定する。一例として、３３個の予測モードをそれぞれmode Ｎ（Ｎは、０から３２までの整数）と定義するとき、mode ０は、垂直モード、mode １は、水平モード、mode ２は、ＤＣモード、mode ３は、プレーンモードに設定され、mode ４〜mode ３１それぞれは、次の表３に表記されているように、（１，−１）、（１，１）、（１，２）、（２，１）、（１，−２）、（２，１）、（１，−２）、（２，−１）、（２，−１１）、（５，−７）、（１０，−７）、（１１，３）、（４，３）、（１，１１）、（１，−１）、（１２，−３）、（１，−１１）、（１，−７）、（３，−１０）、（５，−６）、（７，−６）、（７，−４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，−７）、（４，−３）のうち１つの値で表現される（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードで定義することができる。

図１８Ａないし図１８Ｃは、本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。

表３を参照して述べたように、本発明の一実施形態によるイントラ予測モードは、複数個の（ｄｘ，ｄｙ）パラメータを利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の多様な方向性を有することができる。

図１８Ａを参照するに、現在符号化単位内部の予測しようとする現在ピクセルＰを中心に、表３に表記されたモード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０上に位置した周辺ピクセルＡ，Ｂを、現在ピクセルＰの予測子として利用することができる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在符号化単位の上側及び左側の以前符号化単位のピクセルであることが望ましい。また、延長線１６０が、整数位置の周辺ピクセルではない整数位置周辺ピクセル間を通過する場合、延長線１６０にさらに近い周辺ピクセルを、現在ピクセルＰの予測子として利用することができる。

また、延長線１６０が整数位置の周辺ピクセルではない整数位置周辺ピクセル間を通過する場合、延長線１６０に近い周辺ピクセルのうち、現在ピクセルＰにさらに近い周辺ピクセルを予測子として利用したり、あるいは延長線１６０に近い周辺ピクセルと延長線１６０の交差点との距離を考慮した加重平均値を、現在ピクセルＰの予測子として利用することができる。

図１８Ｂ及び図１８Ｃは、図１８Ａの延長線１６０が、整数位置の周辺ピクセルではない整数位置周辺ピクセル間を通過する場合、予測子を生成する過程について説明するための参照図である。

図１８Ｂを参照するに、モード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０が、整数ピクセル位置の周辺ピクセルＡ １５１とＢ １５２との間を通過する場合、前述のように、延長線１５０に近い周辺ピクセルＡ １５１及びＢ １５２と、延長線１５０の交差点との距離を考慮した加重平均値を、現在ピクセルＰの予測子として利用することができる。例えば、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０の交差点と、周辺ピクセルＡ １５１との間の距離をｆ、交差点と、周辺ピクセルＢ １５２との間の距離をｇとすれば、現在ピクセルＰの予測子は、（Ａ＊ｇ＋Ｂ＊ｆ）／（ｆ＋ｇ）のように獲得される。ここで、ｆ及びｇは整数に正規化された距離であることが望ましい。実際のソフトウェアやハードウェアで具現するとき、現在ピクセルＰの予測子は、（ｇ＊Ａ＋ｆ＊Ｂ＋２）＞＞２のようにシフト演算を介して具現されてもよい。図１８Ｂに図示されているように、延長線１５０が整数ピクセル位置の周辺ピクセルＡ １５１と、周辺ピクセルＢ １５２との間を４等分する地点のうち、周辺ピクセルＡ １５１と近い１／４位置を通過する場合、現在ピクセルＰの予測子は、（３＊Ａ＋Ｂ）／４のように獲得されてもよい。かような演算は、（３＊Ａ＋Ｂ＋２）＞＞２のように、四捨五入過程を考慮したシフト演算を介して具現されてもよい。

一方、モード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０が、整数ピクセル位置の周辺ピクセルＡ １５１及びＢ １５２間を通過する場合、周辺ピクセルＡ １５１及び周辺ピクセルＢ １５２間の区間を所定個数に分割し、各分割された領域別に周辺ピクセルＡ １５１及び周辺ピクセルＢ １５２と交差点との距離を考慮した加重平均値を予測値として利用することができる。例えば、図１８Ｃを参照するに、周辺ピクセルＡ １５１及び周辺ピクセルＢ １５２間の区間を、図示されたように、５個の区間Ｐ１ないしＰ５に分離し、各区間別に、周辺ピクセルＡ １５１及び周辺ピクセルＢ １５２と交差地点との距離を考慮した代表加重平均値を決定し、かような代表加重平均値を、現在ピクセルＰの予測子として利用することができる。具体的には、延長線１５０が区間Ｐ１を通過する場合、現在ピクセルＰの予測子として、周辺ピクセルＡの値を決定することができる。延長線１５０が、区間Ｐ２を通過する場合、区間Ｐ２の中間地点と、周辺ピクセルＡと周辺ピクセルＢとの間の距離を考慮した加重平均値である（３＊Ａ＋１＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定可能である。延長線１５０が区間Ｐ３を通過する場合、区間Ｐ３の中間地点と、周辺ピクセルＡと周辺ピクセルＢとの間の距離を考慮した加重平均値である（２＊Ａ＋２＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１５０が区間Ｐ４を通過する場合、区間Ｐ４の中間地点と、周辺ピクセルＡと周辺ピクセルＢとの間の距離を考慮した加重平均値である（１＊Ａ＋３＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１５０が区間Ｐ５を通過する場合、現在ピクセルＰの予測子として、周辺ピクセルＢの値を決定することができる。

また、図示されているように、延長線１６０と出合う上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの２個の周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在ピクセルＰの予測子として利用したり、あるいはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用し、ｄｘ＊ｄｙ値が負数である場合には、左側の周辺ピクセルＢを利用することができる。また、参照ピクセルとして利用される周辺ピクセルは、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち選択されることは、前述の通りである。

表３に表記されたような多様な方向性を有するイントラ予測モードは、符号化端と復号化端とであらかじめ設定され、各符号化単位ごとに設定されたイントラ予測モードの当該インデックスだけ伝送させることが望ましい。

本発明の一実施形態によれば、符号化単位のサイズによって多様に設定されたイントラ予測モードによって予測符号化を行うことによって、映像の特性によって、さらに効率的な圧縮を可能にする。また、本発明の一実施形態によれば、原周辺ピクセルと、フィルタリングされた周辺ピクセルとを選択的に適用してイントラ予測を行うことによって、さらに多様な方式で予測を行い、映像の圧縮効率を向上させることができる。

本発明の他の実施形態において、一実施形態のように、現在符号化単位のサイズ及び現在行われるイントラ予測モードの種類によって、あらかじめ決定された周辺ピクセルを利用する代わりに、イントラ予測遂行部１２３０は、本来の周辺ピクセル、第１フィルタリングされた周辺ピクセル及び第２フィルタリングされた周辺ピクセルそれぞれを参照ピクセルとして利用し、現在符号化単位で利用可能なイントラ予測モードによって予測を行い、参照ピクセル決定部１２２０は、最も小さいコストを有する周辺ピクセルを、最終的に現在符号化単位のイントラ予測に利用する参照ピクセルとして選択することができる。

図２１は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図２１を参照するに、段階１９１０で、符号化される現在符号化単位の周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する。前述のように、周辺ピクセル・フィルタリング部１２１０は、現在符号化単位の上側及び左側の周辺ピクセルに対して、少なくとも１回以上のフィルタリングを行い、フィルタリングされた周辺ピクセルを生成する。ここで、符号化単位は、最大サイズを有する符号化単位である最大符号化単位及び最大符号化単位の階層的分割情報である深度に基づいて、現在ピクチャを分割した符号化単位であってもよい。

段階１９２０で、フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち、現在符号化単位のイントラ予測に利用される周辺ピクセルを選択する。前述のように、参照ピクセル決定部１２２０は、表２に例示されたように、現在符号化単位のサイズ及び現在行われるイントラ予測モードの種類によって、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、現在符号化単位のイントラ予測に利用される周辺ピクセルを決定することができる。他の実施形態において、参照ピクセル決定部１２２０は、原周辺ピクセル及びフィルタリングされた周辺ピクセルをそれぞれ利用したイントラ予測符号化の結果によるコストを比較し、最終的にイントラ予測に利用する周辺ピクセルを決定することができる。また、参照ピクセル決定部１２２０は、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、現在ブロックのイントラ予測にどの周辺ピクセルが利用されたかをシグナリングできる。すなわち、イントラ予測モード情報では、現在符号化単位に適用されたイントラ予測モード情報、及び原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、どの周辺ピクセルが参照ピクセルとして利用されたかを示す参照インデックス情報が含まれてもよい。前述の表２に記載されているように、現在符号化単位のイントラ予測モード及びサイズ情報によって、どの参照ピクセルを利用するかということが、符号化端と復号化端とで同一に設定されている場合であるならば、かような参照インデックス情報は、必ずしも伝送される必要はない。

段階１９３０で、選択された周辺ピクセルを利用して、現在符号化単位に係わるイントラ予測を行う。前述のように、イントラ予測遂行部１２３０は、決定された参照ピクセルを利用して、現在符号化単位で利用可能なイントラ予測モードを適用し、現在符号化単位のイントラ予測された予測符号化単位を生成して出力する。

図２２は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図２２を参照するに、段階２０１０で、復号化される現在復号化単位の周辺ピクセルをフィルタリングし、フィルタリングされた周辺ピクセルを生成する。

段階２０２０で、ビットストリームから分割された復号化単位に適用されたイントラ予測モード情報を抽出する。イントラ予測モード情報としては、現在復号化単位に適用されたイントラ予測モード情報、及び原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうち、どの周辺ピクセルが参照ピクセルとして利用されたかを示す参照インデックス情報が含まれもする。もし前述の表２に記載されたように、現在復号化単位のイントラ予測モード及びサイズ情報によって、どの参照ピクセルを利用するかが、符号化端と復号化端とで同一に設定されている場合であるならば、かような参照インデックス情報は、必ずしも伝送される必要はない。

段階２０３０で、フィルタリングされた周辺ピクセル及び原周辺ピクセルのうち、現在復号化単位のイントラ予測に利用される周辺ピクセルを選択する。前述のように、もし参照インデックス情報を別途にビットストリームに含めた場合には、抽出された参照インデックス情報を利用して、原周辺ピクセルと、フィルタリングされた周辺ピクセルとのうちどの周辺ピクセルを参照ピクセルとして利用するかを選択する。もし表２に記載されたように、現在復号化単位のサイズ及び現在復号化単位に適用されたイントラ予測モード情報から参照ピクセルを決定することができる場合には、現在復号化単位及び現在復号化単位に適用されたイントラ予測モードから、原周辺ピクセル、フィルタリングされた周辺ピクセルのうち、どの周辺ピクセルを参照ピクセルとして利用するかを決定することができる。

段階２０４０で、抽出された予測モード及び選択された周辺ピクセルを利用して、現在復号化単位に係わるイントラ予測を行う。

本発明による映像の符号化、復号化方法はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されてもよい。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

以上の実施例に関し、更に、以下の項目を開示する。

（１）映像復号化方法において、
ビットストリームから現在予測単位に適用されたイントラ予測モード情報を抽出する段階と、
前記現在予測単位のサイズ及び前記現在単位に適用されたイントラ予測モードに基づいて、前記現在予測単位に隣接した周辺ピクセルと、前記周辺ピクセルをフィルタリングしたフィルタリングされた周辺ピクセルのうち、前記現在予測単位のイントラ予測に用いられる周辺ピクセルを決定する段階と、
前記決定された周辺ピクセル及び前記抽出されたイントラ予測モード情報に基づいて、前記現在予測単位に対するイントラ予測を行う段階と、を含み、
前記映像は、深度によって前記最大符号化単位のサイズ情報による最大符号化単位から階層的に分割され、それぞれの符号化単位は、深度別に上位深度の符号化単位から分割された正方形のデータ単位のうちの１つであり、前記それぞれの符号化単位は、隣符号化単位と独立して下位深度の符号化単位に分割され、前記階層構造の符号化単位は、符号化された符号化単位を含むことを特徴とする映像復号化方法。

（２）前記決定する段階は、
前記現在予測単位のサイズに基づいて所定個数の周辺ピクセルを選択する段階と、
前記所定個数の周辺ピクセルをフィルタリングして、前記フィルタリングされた周辺ピクセルを生成する段階と、を含むことを特徴とする（１）に記載の映像復号化方法。

（３）前記フィルタリングされた周辺ピクセルは、前記周辺ピクセルの加重平均値を用いて獲得されることを特徴とする（１）に記載の映像復号化方法。

（４）前記所定個数の周辺ピクセルは、
現在ブロックのサイズをＮｘＮとする時、前記現在ブロックの上側及び右上側に隣接した２Ｎ個の周辺ピクセルと左側及び左下側に隣接した２Ｎ個の周辺ピクセルとを含むことを特徴とする（１）に記載の映像復号化方法。

（５）前記イントラ予測を行う段階は、
前記現在ピクセルを中心にｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは、整数）の角度を有するラインを用いて予測を行う予測モードを含むことを特徴とする（１）に記載の映像復号化方法。

Claims (2)

1. 映像復号化方法において、
   ビットストリームから現在ブロックに対してイントラ予測方向を含むイントラ予測モード情報を抽出する段階と、
   前記現在ブロックのサイズに基づいて、前記現在ブロックに隣接した周辺ピクセルと前記周辺ピクセルをフィルタリングしたフィルタリングされた周辺ピクセルのうち前記現在ブロックのイントラ予測に用いられる周辺ピクセルを決定する段階と、
   前記決定された周辺ピクセル及び前記イントラ予測モード情報を用いて前記現在ブロックについてのイントラ予測を行う段階を含み、
   前記現在ブロックのサイズをＮxＮ(Ｎは整数)であるとする時、前記周辺ピクセルは前記現在ブロックの上側及び右上側に隣接した２Ｎ個のピクセル及び前記現在ブロックの左側及び左下側に隣接した２Ｎ個のピクセルを含み、
   前記映像は、最大符号化単位のサイズについての情報によって複数の最大符号化単位で分割され、
   前記最大符号化単位は分割情報によって深度を有する多数の符号化単位で階層的に分割され、
   現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、
   前記分割情報が前記現在深度で分割されることを示す場合、前記現在深度の符号化単位は周辺符号化単位と独立して、下位深度の符号化単位で分割され、
   前記分割情報が前記現在深度で分割されないことを示す場合、少なくとも一つの予測単位が前記現在深度の符号化単位から獲得されることを特徴とする映像復号化方法。
2. 映像復号化装置において、
   ビットストリームから現在ブロックに対してイントラ予測方向を含むイントラ予測モード情報を抽出するエントロピー復号化部と、
   前記現在ブロックのサイズに基づいて、前記現在ブロックに隣接した周辺ピクセルと前記周辺ピクセルをフィルタリングしたフィルタリングされた周辺ピクセルのうち前記現在ブロックのイントラ予測に用いられる周辺ピクセルを決定する参照ピクセル決定部と、
   前記決定された周辺ピクセル及び前記イントラ予測モード情報を用いて前記現在ブロックについてのイントラ予測を行うイントラ予測遂行部を備え、
   前記現在ブロックのサイズをＮxＮ(Ｎは整数)であるとする時、前記周辺ピクセルは前記現在ブロックの上側及び右上側に隣接した２Ｎ個のピクセル及び前記現在ブロックの左側及び左下側に隣接した２Ｎ個のピクセルを含み、
   前記映像は、最大符号化単位のサイズについての情報によって複数の最大符号化単位で分割され、
   前記最大符号化単位は分割情報によって深度を有する多数の符号化単位で階層的に分割され、
   現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、
   前記分割情報が前記現在深度で分割されることを示す場合、前記現在深度の符号化単位は周辺符号化単位と独立して、下位深度の符号化単位で分割され、
   前記分割情報が前記現在深度で分割されないことを示す場合、少なくとも一つの予測単位が前記現在深度の符号化単位から獲得されることを特徴とする映像復号化装置。

Images