JP2015233305A - 映像の符号化方法及び装置、並びに映像の復号化方法及び装置 - Google Patents

Abstract

【課題】映像復号化方法を提供する。【解決手段】深度が増加するにつれて、階層的に分割される最大符号化単位を用いて符号化された映像データから、上位深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報を抽出する段階と、分割情報によって現在符号化単位が含まれた最大符号化単位の分割形態を決定する段階と、映像データから現在符号化単位の予測モードがスキップモードであるか否かを示すスキップ情報を獲得する段階と、スキップ情報によって現在符号化単位の予測モードがスキップモードである場合、現在符号化単位を一つの予測単位として決定する段階と、スキップ情報によって現在符号化単位の予測モードがスキップモードでない場合、現在符号化単位の分割タイプに基づいて現在符号化単位から一つ以上の予測単位を獲得する段階とを含む。【選択図】図２１

Description

本発明は、映像の符号化及び復号化に関する。

映像の予測符号化には、イントラ予測方式及びインター予測方式がある。イントラ予測は、単一フレーム内で、隣接した画素の相関関係（correlation）に基づいた予測方式である。インター予測は、動き予測及び補償を介して隣接フレームから符号化されるデータと類似した領域を予測する方式である。

一般的に、あるブロックの動きベクトルは、隣接ブロックの動きベクトルと密接な相関関係を有する。そのために、隣接ブロックから現在ブロックの動きベクトルを予測し、現在ブロックの動きベクトルと、予測動きベクトルとの差分動きベクトルだけを符号化することによって、符号化時に発生するビット量を減らすことができる。

スキップモードは、マクロブロックの動きベクトルが、周辺ブロックの動きベクトルを利用して予測された予測動きベクトルと同一であり、予測誤差が十分に小さい場合に選択されるモードである。マクロブロックの予測モードとして、スキップモードが選択された場合、符号化器は、マクロブロックがスキップモード情報だけを伝送し、残留データ（residual data）は伝送しない。復号化器では、スキップモードで符号化されたマクロブロックについて、その周辺ブロックから予測された予測動きベクトルを利用し、動き補償を遂行してマクロブロックを復元することができる。

本発明が解決しようとする技術的課題は、多様なサイズの階層的符号化単位に基づいて符号化された映像の分割形態情報と、各符号化単位のスキップモード情報と、を効率的に伝送する映像符号化、復号化方法及び装置を提供することである。

本発明は、多様なサイズの階層的符号化単位に基づいて符号化された映像の分割形態情報と、各符号化単位のスキップモード情報と、を効率的に伝送する映像符号化、復号化方法及び装置を提供するものである。

本発明によれば、多様なサイズの階層的符号化単位に基づいて符号化された映像の分割形態情報と、各符号化単位のスキップモード情報と、を効率的に伝送する映像符号化、復号化方法及び装置を提供することができる。

本発明の一実施形態による映像符号化装置のブロック図である。 本発明の一実施形態による映像復号化装置のブロック図である。 本発明の一実施形態による階層的符号化単位を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態によって、深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態によって、深度別符号化単位に基づいて決定された最大符号化単位の分割形態の一例である。 図１２の深度２の符号化単位が有する縮小情報について説明するための図である。 図１２の深度３の符号化単位が有する縮小情報について説明するための図である。 本発明の一実施形態による符号化単位の処理順序の一例を示した図である。 本発明の一実施形態による映像符号化方法を示したフローチャートである。 本発明の他の実施形態による映像符号化方法を示したフローチャートである。 本発明の一実施形態による映像復号化方法を示したフローチャートである。 本発明の一実施形態による映像復号化方法によって、最大サイズ復号化単位を分割する過程及びスキップ情報を復号化する過程を示したフローチャートである。 本発明の他の実施形態による映像復号化方法を示したフローチャートである。 本発明の他の実施形態による映像復号化方法によって、最大サイズ復号化単位を分割する過程及びスキップ情報を復号化する過程を示したフローチャートである。

本発明の一実施形態による映像符号化方法は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する段階と、深度（depth）が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、前記最大符号化単位の映像データを符号化し、前記最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する段階と、前記各符号化単位ごとに、前記各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報を設定する段階と、前記各符号化単位ごとに、前記決定された予測モードが、スキップモードであるか否かを示すスキップ情報を設定する段階と、前記各符号化単位ごとに設定された分割情報及びスキップ情報を符号化する段階と、を含むことを特徴とする。

本発明の他の実施形態による映像符号化方法は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する段階と、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、前記最大符号化単位の映像データを符号化し、前記最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する段階と、前記各符号化単位ごとに、前記各符号化単位と、前記各符号化単位が含まれる上位深度との予測モードが、スキップモードであるか否かということを含むスキップ情報を設定する段階と、前記各符号化単位ごとに、前記各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報を設定する段階と、前記各符号化単位ごとに設定された分割情報及びスキップ情報を符号化する段階と、を含むことを特徴とする。

本発明の一実施形態による映像復号化方法は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報を抽出する段階と、前記映像データから、前記現在復号化単位の予測モードが、スキップモードであるか否かを示すスキップ情報を抽出する段階と、前記分割情報によって、前記現在復号化単位が含まれた最大復号化単位の分割形態を決定する段階と、前記スキップ情報によって、前記現在復号化単位の予測モードが、スキップモードであるか否かを判断する段階と、を含むことを特徴とする。

本発明の他の実施形態による映像復号化方法は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位と、前記現在復号化単位が含まれる上位深度の復号化単位との予測モードが、スキップモードであるか否かを示すスキップ情報を抽出する段階と、前記現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報を抽出する段階と、前記抽出されたスキップ情報によって、前記現在復号化単位と、前記上位深度の復号化単位との予測モードが、スキップモードであるか否かを判断する段階と、前記縮小情報によって、前記現在復号化単位が含まれた最大復号化単位の分割形態を決定する段階と、を含むことを特徴とする。

本発明の一実施形態による映像符号化装置は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する最大符号化単位分割部；深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、前記最大符号化単位の映像データを符号化し、前記最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する符号化深度決定部；及び前記各符号化単位ごとに、前記各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報と、前記各符号化単位ごとに、前記決定された予測モードが、スキップモードであるか否かを示すスキップ情報と、を設定し、前記設定された分割情報及びスキップ情報を符号化する符号化情報符号化部；を含むことを特徴とする。

本発明の他の実施形態による映像符号化装置は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する最大符号化単位分割部；深度が増加するにつれて、階層的に分割される深度別符号単位に基づいて、前記最大符号化単位の映像データを符号化し、前記最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する符号化深度決定部；及び前記各符号化単位ごとに、前記各符号化単位と、前記各符号化単位が含まれる上位深度との予測モードが、スキップモードであるか否かということを含むスキップ情報、及び前記各符号化単位ごとに、前記各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報を設定し、前記各符号化単位ごとに、前記設定された分割情報及びスキップ情報を符号化する符号化情報符号化部；を含むことを特徴とする。

本発明の一実施形態による映像復号化装置は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報と、前記現在復号化単位の予測モードが、スキップモードであるか否かを示すスキップ情報と、を抽出する符号化情報抽出部；及び前記分割情報によって、前記現在復号化単位が含まれた最大復号化単位の分割形態を決定し、前記スキップ情報によって、前記現在復号化単位の予測モードが、スキップモードであるか否かを判断する復号化部；を含むことを特徴とする。

本発明の他の実施形態による映像復号化装置は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位と、前記現在復号化単位が含まれる上位深度の復号化単位との予測モードが、スキップモードであるか否かを示すスキップ情報、及び前記現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報を抽出する符号化情報抽出部；及び前記抽出されたスキップ情報によって、前記現在復号化単位、及び前記上位深度の復号化単位の予測モードが、スキップモードであるか否かを判断し、前記分割情報によって、前記現在復号化単位が含まれた最大復号化単位の分割形態を決定する復号化部；を含むことを特徴とする。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、映像符号化方法及び映像復号化方法について説明する。

図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の二乗である正方形のデータ単位であってもよい。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化深度決定部１２０に出力される。

本発明の一実施形態によれば、最大符号化単位及び深度（depth）を利用し、符号化単位が表現される。最大符号化単位は、現在ピクチャの符号化単位のうちサイズが最も大きい符号化単位を示し、深度は、最大符号化単位から、符号化単位が空間的に分割された回数を示す。深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割され、最大符号化単位の深度が最上位深度であり、最小符号化単位が、最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。本発明の一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度と、符号化単位の最大サイズとが既設定であってもよい。このような最大符号化単位及び最大深度は、ピクチャ単位またはスライス単位で設定することができる。すなわち、ピクチャまたはスライスごとに、異なる最大符号化単位及び最大深度を有し、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。このように、ピクチャまたはスライスごとに、最大符号化単位及び最大深度を可変的に設定することによって、平坦な領域の映像は、さらに大きい最大符号化単位を利用して符号化することによって、圧縮率を向上させ、複雑度が大きい映像は、さらに小さいサイズの符号化単位を利用し、映像の圧縮効率を向上させることができる。

符号化深度決定部１２０は、最大符号化単位ごとに深度を決定する。深度は、Ｒ−Ｄコスト（rate-distortion cost）計算に基いて決定されてもよい。具体的には、符号化深度決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位に映像データを符号化し、最も小さい符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも１つの符号化深度が決定されてもよい。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるといっても、それぞれのデータに係わる符号化誤差を測定し、下位深度への縮小いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるといっても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。換言すれば、最大符号化単位に含まれるデータであっても、位置によって、深度別誤差が異なるので、位置によって、符号化深度が異なるように決定されてもよい。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって分割される。

従って、一実施形態による符号化深度決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

また、最大符号化単位の予測符号化及び周波数変換の遂行時にも、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行されてもよい。換言すれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて遂行することができる。映像データの符号化のためには、予測、周波数変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にわたって、同じサイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測の基礎になるデータ単位と「予測単位」とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでありうる。一実施形態によるパーティション・タイプは、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位内部に、複数の予測単位があるならば、それぞれの予測単位について、独立して符号化が行われ、符号化誤差が最も小さい予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズのデータ単位に基づいて、映像データを周波数変換することができる。符号化単位の周波数変換のために、符号化単位より小さいか、あるいは同じサイズのデータ単位を基に、周波数変換が行われる。以下、周波数変換の基礎になる処理単位を「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位の残留データ（residual data）が、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定されてもよい。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位のサイズが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位のサイズがＮｘＮであるならば、変換深度１、変換単位のサイズがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位深度決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、符号化深度の符号化予測単位を、予測単位パーティションに分割したパーティション・タイプ、予測単位別予測モード、周波数変換のための変換単位のサイズなどを決定することができる。

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用し、深度別符号化単位の符号化誤差を測定し、最適の符号化誤差を有する最大符号化単位の分割形態を決定することができる。換言すれば、符号化深度決定部１２０は、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されているか決定することができるが、ここで、複数のサブ符号化単位は、深度によってサイズが異なる。

映像データ符号化部１３０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位の映像データを符号化し、ビットストリームを出力する。符号化深度決定部１２０で、最小符号化誤差を測定するために、符号化がすでに行われたので、これを利用し、符号化されたデータストリームを出力することもできる。

符号化情報符号化部１４０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位ごとに、深度別符号化モードに係わる情報を符号化し、ビットストリームを出力する。深度別符号化モードに係わる情報は、符号化深度情報、符号化深度の符号化予測単位を予測単位パーティションに分割するパーティション・タイプ情報、予測単位別予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度によって符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義されてもよい。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位に符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義されてもよい。反対に、現在符号化単位の現在深度が、符号化深度ではないないならば、下位深度の符号化単位を利用した符号化を試みることになるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されてもよい。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同じ深度の符号化単位ごとに再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定してもよい。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードに係わる情報が設定されてもよい。

従って、一実施形態による符号化情報符号化部１４０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が、４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれるあらゆる符号化単位内、予測単位内及び変換単位内に含まれる最大サイズの正方形データ単位でありうる。例えば、符号化情報符号化部１４０を介して出力される符号化情報は、深度別符号化・単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化・単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ（chroma）成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダに挿入されてもよい。

映像符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、ある階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度ｋの符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度ｋ＋１の符号化単位のサイズは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、一実施形態による映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化が可能であるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を、従来の１６ｘ１６サイズのマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、本発明の一実施形態による映像符号化装置は、映像のサイズを考慮し、符号化単位の最大サイズを増加させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇しうる。

図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態による映像復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及び映像符号化装置１００を参照して述べた通りである。映像関連データ獲得部２１０は、映像復号化装置２００が受信したビット列をパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像関連データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位に係わる情報を抽出することができる。本発明の一実施形態による映像復号化装置２００は、最大符号化単位別に映像データを復号化する。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態による映像符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、映像復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられるので、符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同じ符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された最大符号化単位別符号化深度及び符号化モード情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれたツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、判読されたパーティション・タイプ、予測モード、変換単位に基づいて符号化された映像データを復号化ことができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用する現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して復号化が可能である。すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位であると見なされる。

一実施形態による映像復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造に、他の符号化単位の符号化された映像データの復号化が可能になる。従って、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに係わる情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

図３で、ビデオデータ３１０については、解像度は１９２０ｘ１０８０、最大符号化単位のサイズは６４、最大深度が２に設定されている。また、ビデオデータ３２０については、解像度は１９２０ｘ１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。また、ビデオデータ３３０については、解像度は３５２ｘ２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、さらに小さい符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適するものとなる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示している。一実施形態による映像符号化部４００は、前述のビデオ符号化装置１００の符号化深度決定部１２０で、映像データを符号化するのに行う作業を含んで行う。図４を参照すれば、イントラ予測部４１０は、現在フレーム４０５のうち、イントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用し、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて、残留値が生成され、生成された残留値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。

量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、再び残留値に復元され、復元された残留値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素のイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０は、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて、映像符号化過程を処理する。特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを考慮し、変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を示している。図５を参照すれば、ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、残留値に復元される。残留値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償の結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、映像復号化過程を処理する。特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを決定せねばならない。

図６は、本発明の一実施形態による深度別符号化単位及び予測パーティションを図示している。

一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高、最大幅及び最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されもする。

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる予測単位及びパーティションが図示されている。

符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

さらに図６を参照すれば、それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最上位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０にのみ設定されもする。

一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含むデータについて、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用し、それぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最も小さい符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプとして選択される。

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さか、あるいは同じサイズの符号化単位で映像を分割して符号化したり復号化する。符号化過程において、周波数変換のための変換単位のサイズは、それぞれの符号化単位よりは大きくないデータ単位を基に選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われる。また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。

本発明の一実施形態による映像符号化装置１００の符号化情報出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティション・タイプに係わる情報８００は、現在符号化単位の動き予測のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティション・タイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの動き予測モードを示す。例えば、予測モードに係わる情報８１０を介して、分割タイプに係わる情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで動き予測が行われるか否かが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に、周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つであってもよい。

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化いかんを示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含んでもよい。予測単位が対称的比率で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティション・タイプは、これに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティション・タイプごとに、１個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われる。サイズ２Ｎ＿０ｘＮ＿０、サイズＮ＿０ｘＮ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについて行われる。サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティション・タイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティション・タイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割させつつ（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別縮小情報は、深度ｄ−１であるまで設定し、分割情報は、深度ｄ−２であるまで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。

パーティション・タイプのうち、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して予測符号化を介した符号化が行われてこそ、最小符号化誤差が発生するパーティション・タイプが検索される。サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１として決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また、最大深度がｄであるから、深度ｄ−１の符号化単位９８０について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると言える。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードが符号化深度の符号化モードに設定される。

かように、深度０、１、…、ｄ−１、ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティション・タイプ及び予測モードは、符号化モードに係わる情報に符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されねばならない。

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９００を復号化するのに利用される。一実施形態による映像復号化装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用し、復号化に利用することができる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位１０００について、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位１０００の深度が０であるとするならば、符号化単位１０１２，１０５４は深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は深度が４である。

予測単位１０６０のうち、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０のうち、一部１０５２，１０５４の映像データについては、符号化単位に比べて、小さいサイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。単位ごとに再帰的に符号化が行われて最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。

符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示している。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位に、それ以上分割されない深度が符号化深度であるから、符号化深度について、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割される場合には、分割された４個の下位深度の符号化単位ごとに独立して、符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティション・タイプで定義され、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。

パーティション・タイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定されてもよい。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定されもする。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位のサイズはＮｘＮ、非対称型パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれているか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用されもする。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ１３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵサイズフラグ）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が、非対称型パーティション・タイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵサイズフラグ）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、本発明の一実施形態によって深度別符号化単位に基づいて符号化された最大符号化単位の分割形態情報を示す分割情報（split flag）と、最大符号化単位に含まれた各符号化単位の予測モードが、スキップモードであるか否かを示すスキップ情報と、を階層的に符号化する方法について具体的に説明する。以下の説明で、符号化単位は、映像の符号化段階で呼ばれる用語であり、映像の復号化段階の側面で、符号化単位は、復号化単位として定義されてもよい。すなわち、符号化単位及び復号化単位という用語は、映像の符号化段階及び復号化段階のうち、いずれの段階で呼ばれるかという違いがあるのみであり、符号化段階での符号化単位は、復号化段階での復号化単位と呼ばれもする。用語の統一性のために、特別の場合を除いては、符号化段階及び復号化段階で、同一に符号化単位と統一して呼ぶことにする。

図１８は、本発明の一実施形態による映像符号化方法を示したフローチャートである。

図１及び図１８を参照すれば、段階１６１０で、最大符号化単位分割部１１０は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する。

段階１６２０で、符号化深度決定部１２０は、深度が深くなるにつれて、階層的に分割される深度別符号化単位に基づいて、最大符号化単位の映像データを符号化して最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する。前述のように、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位に映像データを符号化し、最も小さい符号化誤差が発生する深度を選択し、選択された深度を符号化深度として決定する。具体的には、符号化深度決定部１２０は、最大符号化単位内の映像データを、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化し、それぞれの深度別符号化単位に基づいた符号化結果を比較し、比較の結果、符号化誤差が最も小さい深度を選択する。また、符号化深度決定部１２０は、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんを決定する。

段階１６３０で、符号化情報符号化部１４０は、各符号化単位ごとに、各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報を設定する。分割情報を設定する過程については、図１４ないし図１６を参照して後述する。

段階１６４０で、符号化情報符号化部１４０は、各符号化単位ごとに決定された予測モードが、スキップモードであるか否かを示すスキップ情報を設定する。段階１６５０で、各符号化単位ごとに設定された分割情報及びスキップ情報を符号化する。

図１４は、本発明の一実施形態によって、深度別符号化単位に基づいて決定された最大符号化単位の分割形態の一例である。図１４で、図面符号１２００で表示された最も大きいブロックが、最大符号化単位であり、最大符号化単位１２００は、最大深度３の値を有すると仮定する。すなわち、最大符号化単位１２００のサイズを２Ｎｘ２Ｎとすれば、最大符号化単位１２００は、ＮｘＮサイズの深度１の符号化単位１２１０、（Ｎ／２）ｘ（Ｎ／２）サイズの深度２の符号化単位１２２０、及び（Ｎ／４）ｘ（Ｎ／４）サイズの深度３の符号化単位１２２０を利用して分割される。図１４に図示されているような最大符号化単位１２００の分割形態を伝送するために、本発明の一実施形態によれば、符号化情報符号化部１４０は、各符号化単位ごとに、各符号化単位が含まれる上位深度の符号化単位の分割いかんを含む分割情報を設定する。例えば、ＮｘＮサイズの深度１の符号化単位１２１０は、その上位符号化単位である深度０の最大符号化単位１２００の分割いかんを示す１ビットの分割情報を有する。分割情報の各ビットが、「１」の値を有する場合、当該深度の符号化単位が分割される場合を示し、分割情報の各ビットが、「０」の値を有する場合、当該深度の符号化単位が分割されない場合であるとするならば、図１４に図示されているような分割形態を有するために、深度１の符号化単位１２１０は、「１」の値を有する分割情報を有する。

図１５は、図１４の深度２の符号化単位１２２０が有する分割情報について説明するための図である。図１５の図面符号１３２０は、図１４に図示された深度２の符号化単位１２２０に対応する。図１５を参照すれば、符号化情報符号化部１４０は、深度２の符号化単位１３２０の分割情報であって、深度２の符号化単位１３２０が含まれる深度１の符号化単位１３１０、及び深度０の最大符号化単位１３００の分割いかんを示す２ビットの分割情報を設定する。分割情報の各ビットが、「１」の値を有する場合、当該深度の符号化単位が分割される場合を示し、分割情報の各ビットが、「０」の値を有する場合、当該深度の符号化単位が分割されない場合であるとするならば、深度２の符号化単位１３２０は、深度１の符号化単位１３１０及び深度０の最大符号化単位１３００が、いずれも分割されてこそ生成されるために、深度２の符号化単位１３２０は、「１１」という２ビットの分割情報を有する。

図１６は、図１４の深度３の符号化単位１２３０が有する分割情報について説明するための図である。図１６の図面符号１４３０は、図１４に図示された深度３の符号化単位１２３０に対応する。図１６を参照すれば、符号化情報符号化部１４０は、深度３の符号化単位１４３０の分割情報であって、深度３の符号化単位１４３０が含まれる深度２の符号化単位１４２０、深度１の符号化単位１４１０及び最大符号化単位１４００の分割いかんを示す３ビットの分割情報を有する。分割情報の各ビットが「１」の値を有する場合、当該深度の符号化単位が分割される場合を示し、分割情報の各ビットが「０」の値を有する場合、当該深度の符号化単位が分割されない場合であるとするならば、深度３の符号化単位１４３０は、深度２の符号化単位１４２０、深度１の符号化単位１４１０及び深度０の最大符号化単位１４００がいずれも分割されてこそ生成されるために、深度３の符号化単位１４３０は、「１１１」という３ビットの分割情報を有する。

このように、符号化情報符号化部１４０は、最大符号化単位から最下位符号化単位まで、現在符号化単位の高さ及び幅を階層的に分割した回数を示す最大深度をｄ（ｄは整数）、現在符号化単位の深度をｎ（０≦ｎ≦（ｄ−１）、ｎは整数）とするとき、現在符号化単位が含まれる上位深度の符号化単位の分割いかんを、ｎビットの分割情報を利用して設定することができる。ｎビットの分割情報の各ビットは、深度０から深度（ｎ−１）までの現在符号化単位より上位深度の符号化単位の分割いかんを示すように設定される。このとき、ｎビットの分割情報において、ＭＳＢ（most significant bit）及びＬＳＢ（least significant bit）のうち、いずれの順序で上位深度の分割いかんを示すかは、必要によって変更可能である。

一方、このように、現在符号化単位が含まれた上位深度の分割いかんを分割情報として、各符号化単位ごとに設定する場合、最大符号化単位で、各符号化単位が属する位置は、符号化端と復号化端とで同じ処理順序によって符号化単位を処理する場合、分割いかんに係わる情報から容易に決定されるのである。例えば、図１７に図示されているように、本発明の一実施形態で、最大符号化単位１５００内の各符号化単位は、同一深度の符号化単位をジグザグスキャン順序で処理され、復号化時にも、同じジグザグスキャン順序で、同一深度の復号化単位を処理するならば、前述の各符号化単位が有する上位深度の符号化単位の分割いかんを示す分割情報から、符号化時に決定された最大符号化単位の分割形態を復元することが可能である。本発明の一実施形態によるブロック処理順序は、例示したジグザグスキャン順序以外に多様に設定されるが、復号化時に、最大符号化単位の分割形態を決定することができるようにするために、符号化時と復号化時とで同一に、符号化単位の処理順序を設定することが必要である。

符号化情報符号化部１４０は、各符号化単位の決定された予測モードが、スキップモードであるか否かを示すスキップ情報を、各符号化単位ごとに１ビットを割り当てて設定する。例えば、スキップ情報のビットが「１」の値を有する場合、当該符号化単位の予測モードがスキップモードであることを示し、「０」の値を有する場合、当該符号化単位がスキップモード以外の他の予測モードによって予測されたものであるということを示すことができる。このように、符号化単位ごとに、スキップ情報を設定する理由は、スキップモードの場合、別途の予測過程なしに、周辺符号化単位の動き情報から復元され、またスキップモードとして決定された符号化単位は、復号化時に、別途の分割過程が省略され、映像の圧縮効率及び処理性能を向上させることができるためである。

図１９は、本発明の他の実施形態による映像符号化方法を示したフローチャートである。図１９を参照すれば、段階１７１０で、最大符号化単位分割部１１０は、現在ピクチャを、最大サイズの符号化単位の少なくとも１つの最大符号化単位に分割する。

段階１７２０で、符号化深度決定部１２０は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大符号化単位の映像データを符号化し、最大符号化単位の分割形態と、分割された各符号化単位の予測モードと、を決定する。前述のように、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位に映像データを符号化し、最も小さい符号化誤差が発生する深度を選択し、選択された深度を符号化深度として決定する。

段階１７３０で、符号化情報符号化部１４０は、各符号化単位ごとに各符号化単位と、前記各符号化単位が含まれる上位深度との予測モードが、スキップモードであるか否かということを含むスキップ情報を設定する。すなわち、本発明の他の実施形態によれば、各符号化単位のスキップ情報は、現在符号化単位だけではなく、現在符号化単位が含まれる上位深度の符号化単位のスキップモードを含むようにすることができる。具体的には、最大符号化単位から最下位符号化単位まで、現在符号化単位の高さ及び幅を階層的に分割した回数を示す最大深度をｄ（ｄは整数）、現在符号化単位の深度をｎ（０≦ｎ≦（ｄ−１）、ｎは整数）とするとき、符号化情報符号化部１４０は、現在符号化単位及び上位（ｎ−１）深度の符号化単位の予測モードが、スキップモードであるか否かを、ｎビットのスキップ情報を利用して設定することができる。ｎ＝１である場合、すなわち、現在符号化単位が深度１のサイズを有する符号化単位であるならば、直ちに上位深度の符号化単位は、最大符号化単位になるので、この場合には、自体の予測モードが、スキップモードであるか否かを示す１ビットのスキップ情報のみを有する。例えば、図１４で、深度１の符号化単位１２１０は、自体の予測モードが、スキップモードであるか否かを示す１ビットのスキップ情報を有する。

他の例として、図１５を参照すれば、符号化情報符号化部１４０は、深度２の符号化単位１３２０のスキップ情報として、深度２の符号化単位１３２０のスキップ情報を示す１ビットと、深度２の符号化単位１３２０が含まれる深度１の符号化単位１３１０のスキップ情報を示す１ビットとの総２ビットのスキップ情報を設定する。さらに他の例として、図１６を参照すれば、符号化情報符号化部１４０は、深度３の符号化単位１４３０のスキップ情報として、深度３の符号化単位１４３０のスキップ情報、深度３の符号化単位１４３０が含まれる深度２の符号化単位１４２０のスキップ情報、及び深度１の符号化単位１４１０のスキップ情報の総３ビットのスキップ情報を有するように設定することができる。

再び図１９を参照すれば、段階１７４０で、各符号化単位ごとに、各符号化単位が含まれる下位深度の符号化単位の分割いかんを含む分割情報を設定する。段階１７４０による分割情報を設定する段階は、前述の本発明の一実施形態と同一であり、具体的な説明は省略する。

段階１７５０で、各符号化単位ごとに設定された分割情報及びスキップ情報を符号化する。

図２０は、本発明の一実施形態による映像復号化方法を示したフローチャートである。本発明の一実施形態による映像復号化方法は、図１８に図示された本発明の一実施形態によって符号化されたビットストリームを復号化する場合に対応する。

図２及び図２０を参照すれば、段階１８１０で、符号化情報抽出部２２０は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報を抽出する。

段階１８２０で、符号化情報抽出部２２０は、映像データから、現在復号化単位の予測モードが、スキップモードであるか否かを示すスキップ情報を抽出する。

段階１８３０で、復号化部２３０は、分割情報によって現在復号化単位が含まれた最大復号化単位の分割形態を決定する。前述のように、分割情報は、現在復号化単位が含まれる上位深度の復号化単位の分割いかんを示すｎビットの分割情報を含んでいるので、このような分割情報を利用し、最大復号化単位を、現在復号化単位が有する深度の符号化単位まで分割することができる。

段階１８４０で、復号化部２３０は、スキップ情報によって、現在復号化単位の予測モードが、スキップモードであるか否かを判断する。もし現在復号化単位がスキップモードであると予測された場合、分割過程は中断され、符号化情報に含まれた他の情報などが復号化され始まる。

図２１は、本発明の一実施形態による映像復号化方法によって、最大サイズ復号化単位を分割する過程、及びスキップ情報を復号化する過程を示したフローチャートである。図２１を参照すれば、段階１９１０で、最大符号化単位に属した符号化単位の符号化情報が抽出される。前述のように、符号化単位には、分割情報及びスキップ情報が含まれている。

段階１９２０で、分割情報を復号化し、段階１９３０で復号化された分割情報によって、現在設定された深度によって、最大復号化単位を分割し、現在復号化単位が有する深度まで、現在復号化単位が分割されたか否かを判断する。一例として、前述のように、現在復号化単位が、「１１」の分割情報を有する深度２の復号化単位であるならば、現在復号化単位は、最大復号化単位を２回分割した符号化単位に含まれるものである。

段階１９３０の判断結果、現在復号化単位が有する深度まで、最大復号化単位が分割されていない場合であるならば、段階１９３５で、深度を一つ増加させる。

段階１９３０の判断結果、現在復号化単位が有する深度まで、最大復号化単位が分割された場合であるならば、段階１９４０で、スキップ情報を復号化する。段階１９５０で、現在復号化単位の予測モードが、スキップモードであるか否かを判断し、もしスキップモードであるならば、段階１９６０で、現在復号化単位が最後の復号化単位であるか否かを判断し、次の最大復号化単位の復号化に進むか（段階１９７０）、復号化単位のインデックス値を１段階増加させ、次の復号化単位の復号化を進める（ＣＵ INDEX＋１）（段階１９８０）。

段階１９５０の判断結果、段階１９５５で、現在復号化単位の予測モードが、スキップモードであるならば、分割情報及びスキップ情報以外の他の映像データに係わる情報を復号化する。

図２２は、本発明の他の実施形態による映像復号化方法を示したフローチャートである。本発明の他の実施形態による映像復号化方法は、図１９に図示された本発明の他の実施形態によって符号化されたビットストリームを復号化する場合に対応する。

図２及び図２２を参照すれば、段階２０１０で、符号化情報抽出部２２０は、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大サイズの符号化単位である最大符号化単位別に符号化された映像データから、復号化される現在復号化単位、及び現在復号化単位が含まれる上位深度の復号化単位の予測モードが、スキップモードであるか否かを示すスキップ情報を抽出する。

段階２０２０で、符号化情報抽出部２２０は、映像データから、現在復号化単位が含まれる上位深度の復号化単位の分割いかんを含む分割情報を抽出する。

段階２０３０で、復号化部２３０は、抽出されたスキップ情報によって、現在復号化単位及び上位深度の復号化単位の予測モードが、スキップモードであるか否かを判断する。このように、本発明の他の実施形態によって、分割情報を復号化する以前に、スキップ情報をまず復号化する場合、スキップモードであると判断された復号化単位については、分割過程が省略されるために、映像の処理性能を向上させることができる。

段階２０４０で、スキップモードであると判断されていない復号化単位について、分割情報によって、現在復号化単位が含まれた最大復号化単位の分割形態を決定する。

図２３は、本発明の他の実施形態による映像復号化方法によって、最大サイズ復号化単位を分割する過程、及びスキップ情報を復号化する過程を示したフローチャートである。図２３を参照すれば、段階２１１０で、最大符号化単位に属した符号化単位の符号化情報が抽出される。前述のように、符号化単位には、分割情報及びスキップ情報が含まれている。

段階２１２０で、スキップ情報を復号化し、段階２１３０で、復号化されたスキップ情報によって、現在復号化単位の予測モードが、スキップモードであるか否かを判断する。現在復号化単位の予測モードがスキップモードである場合、現在復号化単位が最後の復号化単位であるか否かを判断し（段階２１３５）、最後の復号化単位であるならば、次の最大復号化単位の復号化に進み（段階２１４０）、最後の復号化単位ではないならば、復号化単位インデックスを一つ増加させ、次の復号化単位に係わる復号化が進められるようにする（ＣＵ INDEX＋１）（段階２１４５）。現在復号化単位の予測モードが、スキップモードではないならば、段階２１５０で、現在復号化単位の分割情報を復号化する。

段階２１６０で、復号化された分割情報によって、現在設定された深度によって、最大復号化単位を分割し、現在復号化単位が有する深度まで分割されたか否かを判断する。一例として、前述のように、現在復号化単位が「１１」の分割情報を有する深度２の復号化単位であるならば、最大復号化単位を２回分割することになる。

段階２１６０の判断結果、現在復号化単位が有する深度まで、最大復号化単位が分割されていない場合であるならば、段階２１８０で、深度を一つ増加させ、段階２１６０の判断結果、現在復号化単位が有する深度まで、最大復号化単位が分割された場合であるならば、段階２１７０で、分割情報及びスキップ情報以外の他の映像データに係わる情報の復号化を開始する。

本発明による映像の符号化、復号化方法はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行される。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態に具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

２００ 映像復号化装置
２１０ 映像データ獲得部
２２０ 符号化情報抽出部
２３０ 映像データ復号化部

Claims (1)

1. 映像復号化方法において、
   深度が増加するにつれて、階層的に分割される最大符号化単位を用いて符号化された映像データから、上位深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報を獲得する段階と、
   前記分割情報によって前記現在符号化単位が含まれた最大符号化単位の分割形態を決定する段階と、
   前記映像データから前記現在符号化単位の予測モードがスキップモードであるか否かを示すスキップ情報を獲得する段階と、
   前記スキップ情報によって前記現在符号化単位の予測モードがスキップモードである場合、前記現在符号化単位を一つの予測単位として決定する段階と、
   前記スキップ情報によって前記現在符号化単位の予測モードがスキップモードである場合、前記現在符号化単位の分割タイプに基づいて前記現在符号化単位から一つ以上の予測単位を獲得する段階とを含み、
   前記分割タイプは前記現在符号化単位を対称形に分割して獲得される予測単位を示す対称形分割タイプ及び前記現在符号化単位を非対称形に分割して獲得される予測単位を示す非対称形分割タイプを含むことを特徴とする映像復号化方法。

Images