JP2016129363A - ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 - Google Patents

Abstract

【課題】空間領域及び変換領域の間の変換を行うビデオ
の符号化及び復号化を提供する。
【解決手段】ビデオのピクチャを、少なくとも１つの最大符号化単位に分割し、最大符号化単位ごとに、深度によって階層的に分割した深度別符号化単位、及び深度別符号化単位の深度に基づいて決定されたパーティションタイプを基にピクチャを符号化し、ツリー構造による符号化単位を決定し、ツリー構造による符号化単位及びパ
ーティションタイプに基づいて符号化されたデータ、符号化深度及び符号化モードについての情報、及び符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する。
【選択図】図１４

Description

本発明は、空間領域及び変換領域の間の変換を行うビデオの符号化及び復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、マクロブロックを、同一サイズのブロックを利用して、変換及び逆変換を行ってビデオデータを符号化／復号化する。

本発明は、階層的構造の予測パーティションを利用して、空間領域及び変換領域の間の変換を行うビデオの符号化及び復号化に関する。

本発明の一実施形態によるツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する段階と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含む。

映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を階層的に調節して決定することができるので、映像圧縮効率が上昇することが可能である。符号化端から、ビデオの符号化されたデータと共に、符号化深度及び符号化モードについての情報を伝送するので、復号化端は、ツリー構造による符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することができるので、映像の符号化／復号化の効率性が向上するのである。

本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置のブロック図である。 本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法のフローチャートである。

本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する段階と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含む。

一実施形態による前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含む。

本発明の一実施形態によるツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法は、ビデオのピクチャを、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する段階と、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する段階と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する段階と、を含む。

本発明の一実施形態による、ビデオデコーディング・プロセッサを含み、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する抽出部と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記ビデオデコーディング・プロセッサと連動し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する復号化部と、を含む。

本発明の一実施形態による、ビデオエンコーディング・プロセッサを含み、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置は、ビデオのピクチャを、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する最大符号化単位分割部と、前記ビデオエンコーディング・プロセッサと連動し、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する符号化単位決定部と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する出力部と、を含む。

本発明は、本発明の一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。本発明は、本発明のビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。

以下、本明細書に記載した本発明の多様な実施形態においてで、「映像」は、静止映像だけではなく、ビデオのような動画を含めて包括的に指称することができる。

以下、図１ないし図１５を参照しつつ、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。

図１は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置のブロック図である。

一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置１００は、「ビデオ符号化装置１００」と略称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されもする。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横にサイズが２の自乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別であり、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されもする。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義されもする。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されもする。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されてもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択されもする。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定されもする。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定されもする。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されもする。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されもする。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、最大深度は、４に設定されもする。

最大符号化単位の予測符号化及び変換が行われもする。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。一実施形態による、ビデオ符号化のために行う変換は、周波数変換、直交変換、定数変換などを含んでもよい。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使われ、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、さらにそれ以上分割されない符号化単位を基に予測符号化が行われもする。以下、予測符号化の基盤になるさらにそれ以上分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

一実施形態による符号化単位のパーティションタイプまたは予測単位の大きさは、現在符号化単位の深度、または現在符号化単位の下位深度への分割いかんに基づいて決定されもする。

現在符号化単位のパーティションタイプの対称的パーティションは、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分されたパーティションを含んでもよい。すなわち、サイズ２Ｎｘ２Ｎの符号化単位の対称的パーティションタイプは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎのパーティションを含んでもよい。

現在符号化単位がそれ以上下位深度の符号化単位に分割されることがなければ、現在符号化単位のパーティションタイプの対称的パーティションは、下位深度の符号化単位と同一サイズのパーティションを含んでもよい。すなわち、現在符号化単位が現在最大符号化単位の符号化単位のうち、それ以上下位深度の符号化単位に分割されることがない最小符号化単位であるならば、現在符号化単位の対称的パーティションは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎのパーティションだけではなく、サイズＮｘＮのパーティションを含むこともできる。

同様に、現在符号化単位が、現在最大符号化単位の符号化単位のうち。最下位深度の符号化単位であるならば、現在符号化単位の対称的パーティションは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎのパーティションだけではなく。サイズＮｘＮのパーティションを含んでもよい。しかし、最下位深度ではない深度の符号化単位については、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎのパーティションタイプが設定されもする。

例えば、現在深度のサイズ２Ｎｘ２Ｎである符号化単位が１回分割され、下位深度のサイズＮｘＮである符号化単位に分割されれば、サイズＮｘＮである符号化単位に対して、ＮｘＮサイズのパーティションを利用して、イントラ予測及びインター予測が行われもする。従って、不要なプロセスの重複を避けるために、一実施形態による階層的な符号化単位の構造では、サイズ２Ｎｘ２Ｎである符号化単位に対して、ＮｘＮサイズのパーティションタイプが設定されないこともある。

ただし、サイズ２Ｎｘ２Ｎの現在符号化単位が最小符号化単位であるならば、サイズＮｘＮの符号化単位にそれ以上分割されることがないので、現在符号化単位で、サイズＮｘＮのパーティションを利用したインター予測またはイントラ予測が行われもする。従って、サイズ２Ｎｘ２Ｎの最小符号化単位のパーティションタイプは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮのパーティションを含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードの予測符号化は、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎサイズのパーティションに対して行われる。

すなわち、現在符号化単位が最小符号化単位ではない場合、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位で、最下位深度の符号化単位ではない場合のうち、少なくとも１つの場合には、ＮｘＮサイズのパーティションを利用したイントラ予測及びインター予測は、省略される。

ただし、現在符号化単位が最小符号化単位であるならば、下位深度の符号化単位に対して、イントラ予測及びインター予測が行われることがないので、最小符号化単位に係わるイントラ予測及びインター予測は、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎサイズのパーティションだけではなく、ＮｘＮサイズのパーティションに対して行われもする。

また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われもする。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じであるサイズの変換単位を基に変換が行われもする。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区画されもする。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定されもする。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定されもする。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１３を参照しつつ詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されもする。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義されもする。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義されもする。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われもする。

１つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されもする。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定されもする。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。一実施形態による出力部１３０は、ビデオの符号化されたデータを伝送するためのビットストリームのヘッダ、ＳＰＳ（sequence parameter set）及びＰＰＳ（picture parameter set）などに、一実施形態による当該符号化深度及び符号化モードに係わる情報を挿入して出力することができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されもする。深度別符号化単位別符号化情報は、予測モード情報、パーティション・サイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。

また、ピクチャ、スライスまたはＧＯＰの別に定義される符号化単位の大きさ及び可変深度に係わる符号化単位構造情報が、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどに挿入されもする。

一実施形態による可変深度は、現在ツリー構造の符号化単位に対して許容される最大深度だけではなく、最小サイズの符号化単位の最下位深度、深度レベルの個数または深度の変化量を示すこともできる。

一実施形態による深度レベルの個数は、現在ツリー構造の符号化単位で、存在可能な深度別符号化単位の深度レベルの個数を示すことができる。一実施形態による深度の変化量は、現在ツリー構造の符号化単位で存在する深度別符号化単位の深度レベルの可変回数を示すことができる。

一実施形態による可変深度についての情報は、シーケンス、ピクチャ、スライスまたはＧＯＰごとに設定されもする。すなわち、シーケンス、ピクチャ、スライスまたはＧＯＰのデータ単位ごとに、現在ツリー構造の符号化単位で許容可能な符号化単位の最大サイズ及び最小サイズのうち少なくとも一つについての情報と、可変深度についての情報とが設定される。

従って、出力部１３０は、符号化情報として、ピクチャ、スライスまたはＧＯＰの別に決定された可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち、少なくとも二つ以上の情報を含み、符号化情報を、ビットストリームのヘッダ、すなわち、ＳＰＳ、ＰＰＳなどに挿入し、ビーストストリームを出力することができる。また、出力部１３０を介して出力される符号化情報は、変換インデックスを含んでもよい。一実施形態による変換インデックス情報は、現在符号化単位を変換するのに利用された変換単位の構造についての情報を示すことができる。一実施形態による変換インデックス情報は、現在変換単位が、下位レベルの変換単位に分割されるか否かを示すことができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を、最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置のブロック図である。一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置２００は、「ビデオ復号化装置２００」と略称する。

一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明した通りである。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、受信されたビットストリームから、現在ピクチャに係わるヘッダ、ＳＰＳ、ＰＰＳのうち少なくとも一つから、現在ピクチャの符号化単位の大きさ及び可変深度に係わる符号化単位構造情報と、符号化深度及び符号化モードに係わる情報と、を抽出することができる。

映像データ及び符号化情報抽出部２２０は、一実施形態による符号化情報から、シーケンス、ピクチャ、スライスまたはＧＯＰのデータ単位ごとに、現在ツリー構造の符号化単位で許容可能な符号化単位の最大サイズ及び最小サイズのうち、少なくとも一つについての情報と、可変深度についての情報とを抽出することができる。映像データ復号化部２３０は、符号化モード情報のうち、可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち、少なくとも二つ以上の情報を利用し、シーケンス、ピクチャ、スライスまたはＧＯＰなどのデータ単位ごとに、現在ツリー構造の符号化単位について許容可能な符号化単位の最大サイズ及び最小サイズを決定することができる。

一実施形態による符号化情報から、ピクチャ、スライスまたはＧＯＰの別に決定された可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち少なくとも二つ以上の情報が抽出され、判読された情報に基づいて、現在データ単位で許容可能な符号化単位の最大サイズ及び最小サイズが決定されもする。また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０に、最大符号化単位ごとに映像データを復号化させることができる。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。

また、映像データ復号化部２３０がパージングされたビットストリームから抽出した符号化モード情報から、符号化情報から変換インデックスについての情報が判読されもする。映像データ復号化部２３０は、映像データ、及び符号化情報抽出部２２０によって抽出された変換インデックス情報に基づいて、現在符号化単位の変換単位を構成し、変換単位に基づいて、現在符号化単位の逆変換を行いつつ、符号化されたデータを復号化する。符号化単位の復号化結果、現在ピクチャが復元される。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を生じさせる符号化方式によってデータを復号化し、映像を修復することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられてもよいので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推されもする。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを修復する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報を含めてツリー構造による変換単位を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像であるとしても、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して修復することができる。

以下、図３ないし図１３を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。

第１ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。第２ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。第３ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い、場合符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、第３ビデオデータ３３０に比べ、解像度が高い第１ビデオデータ３１０及び第２ビデオデータ３２０は、符号化サイズの最大サイズが６４に選択される。

第１ビデオデータ３１０の最大深度が２であるので、第１ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、第３ビデオデータ３３０の最大深度が１であるので、第３ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

第２ビデオデータ３２０の最大深度が３であるので、第２ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。

サイズ６４ｘ６４の符号化単位に対して、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４のパーティションタイプが設定されもする。第１ビデオデータ３１０、第２ビデオデータ３２０及び第３ビデオデータ３３０について、サイズ６４ｘ６４の符号化単位が最小符号化単位ではないから、サイズ３２ｘ３２のパーティションタイプは省略される。

サイズ３２ｘ３２の符号化単位について、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２のパーティションタイプが設定されもする。第１ビデオデータ３１０、第２ビデオデータ３２０及び第３ビデオデータ３３０について、サイズ３２ｘ３２の符号化単位が最小符号化単位ではないから、サイズ１６ｘ１６のパーティションタイプは省略される。

サイズ１６ｘ１６の符号化単位については、サイズ１６ｘ１６，１６ｘ８，８ｘ１６のパーティションタイプが設定されもする。第１ビデオデータ３１０について、サイズ１６ｘ１６の符号化単位が最小符号化単位であるので、サイズ８ｘ８のパーティションタイプが設定されもする。しかし、第２ビデオデータ３２０及び第３ビデオデータ３３０について、サイズ１６ｘ１６の符号化単位が最小符号化単位ではないから、サイズ８ｘ８のパーティションタイプが省略されもする。

ただし、第１ビデオデータ３１０、第２ビデオデータ３２０及び第３ビデオデータ３３０について、サイズ８ｘ８の符号化単位が最小符号化単位であるので、サイズ８ｘ８，８ｘ４，４ｘ８のパーティションタイプだけではなく、サイズ４ｘ４のパーティションタイプが設定されもする。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５に出力されもする。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４に分割される。サイズ６４ｘ６４の符号化単位６１０が最小符号化単位ではないので、サイズ３２ｘ３２のパーティションは、設定されない。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４に分割される。サイズ３２ｘ３２の符号化単位６２０が最小符号化単位ではないので、サイズ１６ｘ１６のパーティションは、設定されない。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４に分割される。サイズ１６ｘ１６の符号化単位６３０が最小符号化単位ではないので、サイズ８ｘ８のパーティションは、設定されない。

最後に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、最小符号化単位であり、最下位深度の符号化単位であるので、当該予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに。符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用してそれぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じであるサイズの符号化単位で映像を符号化したり復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択されもする。

図８は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４及びサイズＮｘ２Ｎのパーティション８０６のうち、いずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４及びサイズＮｘ２Ｎのパーティション８０６のうち一つを示すように設定される。ただし、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０が最小符号化単位である場合に、サイズＮｘＮのパーティション８０８を含んでもよい。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用されもする。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６を含んでもよい。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０については、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。しかし、サイズＮ＿０ｘＮ＿０の符号化単位９３０による符号化誤差がさらに小さければ、深度０を１に変更しつつ分割し（９２０）、深度１及びサイズＮ＿０ｘＮ＿０の符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６を含んでもよい。

また、サイズ２Ｎ＿１ｘＮ＿１，Ｎ＿１ｘ２Ｎ＿１，２Ｎ＿１ｘＮ＿１のパーティションタイプ９４２，９４４，９４６による符号化誤差より、サイズＮ＿２ｘＮ＿２の符号化単位９６０による符号化誤差がさらに小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄ−１である場合、深度別符号化単位は、深度ｄ−１になるまで分割され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄ−１であるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄ−１であるので、深度ｄ−１の符号化単位９８０に対して、分割情報は設定されない。

深度０及びサイズ２Ｎ＿０ｘ２Ｎ＿０の符号化単位９００、並びに深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１の符号化単位９３０は、最小符号化単位ではないので、サイズ２Ｎ＿０ｘ２Ｎ＿０の符号化単位９００の予測単位９１０は、Ｎ＿０ｘＮ＿０サイズのパーティションタイプを含まず、サイズ２Ｎ＿１ｘ２Ｎ＿１の符号化単位９３０の予測単位９４０は、サイズＮ＿１ｘＮ＿１のパーティションタイプを含むことができない。

ただし、最小符号化単位である深度ｄ−１の符号化単位９８０の予測単位９９０は、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると指称されもする。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が、４分割された大きさの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

このようにして、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し。誤差が最小である深度が選択され、符号化深度に決定されもする。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出して符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。ＮｘＮのパーティションタイプは、符号化単位１０３２が最小符号化単位である場合にのみ設定される。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部（１０５２）の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成されもする。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。

ビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して。パーティションタイプ情報、予測モード、変換単位サイズ情報が定義されもする。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。対称的パーティションタイプＮｘＮは、現在符号化単位２Ｎｘ２Ｎが最小符号化単位である場合にのみ設定されもする。

変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定されもする。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定されもする。サイズ２Ｎｘ２Ｎの符号化単位１３１８が最小符号化単位である場合には、パーティションタイプ情報が、ＮｘＮ １３２８に設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定されもする。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１３を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値段を持つフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用されもする。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入されもする。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例で、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さくないので、それ以上の変換単位分割情報が設定されない。

さらに他の例で、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報を、「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記の数式（１）のように定義される。

ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」である。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記の数式（２）によって決定されもする。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定されもする。

現在パーティション単位の予測モードが予測モードがイントラモードであるならば、「RootTuSize」は、下記の数式（３）によって決定されもする。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定されもする。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因が、これに限定されるものではないということに留意しなければならない。

図１４は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法のフローチャートである。

段階１２１０で、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。また、可能な全分割回数を示す最大深度があらかじめ設定されもする。段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域が符号化され、少なくとも１つの分割領域別に、最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ、さらに下位深度の符号化単位に分割されもする。深度別に、符号化単位ごとに反復して符号化が行われなければならない。

また、深度別符号化単位ごとに、符号化誤差が最小であるパーティションタイプ別変換単位が決定されなければならない。符号化単位の最小符号化誤差を生じさせる符号化深度が決定されるために、全ての深度別符号化単位ごとに、符号化誤差が測定されて比較される。

最大符号化単位ごとに、深度別符号化単位と、深度別符号化単位の深度とに基づいて決定されたパーティションタイプを基に、ピクチャが符号化され、深度別符号化単位ごとに、独立して符号化深度の符号化単位が決定され、ツリー構造による符号化単位が決定されもする。

現在符号化単位が下位深度の符号化単位にそれ以上分割されないのであるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位であるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位であるならば、現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含んでもよい。パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含んでもよい。現在符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて予測符号化が行われる。

従って、現在符号化単位が下位深度の符号化単位にそれ以上分割されない場合、または現在符号化単位が現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合には、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされた対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションだけではなく、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用した予測が行われもする。

また、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも１つの場合には、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測及びインター予測は省略される。

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別に最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。一実施形態による符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位サイズ情報及び変換インデックス情報などを含んでもよい。

一実施形態による、シーケンス、ピクチャ、スライスまたはＧＯＰなどのデータ単位ごとに、符号化単位の大きさ及び可変深度に係わる符号化単位構造情報が、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳのうち少なくとも一つに挿入されて出力されもする。一実施形態による符号化された符号化モードについての情報及び符号化単位の大きさ可変深度に係わる符号化単位構造情報は、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどに挿入されて符号化された映像データと共に。復号化端に伝送される。

図１５は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法のフローチャートである。

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度及び符号化モードについての情報、及び符号化単位のサイズ可変深度に係わる符号化単位構造情報が抽出される。一実施形態による符号化深度及び符号化モードについての情報、符号化単位構造情報、分割情報などは、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどから抽出されもする。

最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に符号化誤差が最小である深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を、深度別に階層的に分割した少なくとも１つのデータ単位に基づいて映像データが符号化されたものである。

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割されもする。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することによって、映像の符号化／復号化の効率性が向上する。

符号化情報のうち、現在ツリー構造の符号化単位に係わる可変深度についての情報、符号化単位の大きさについての情報のうち、少なくとも二つ以上の情報に基づいて、現在ツリー構造の符号化単位の符号化単位の最大サイズ及び最小サイズが決定されもする。

また、符号化モードについての情報のうち、変換インデックスによれば、符号化単位内のツリー構造による変換単位が決定される。

現在符号化単位の深度に基づいてパーティションタイプが決定され、符号化単位及びパーティションタイプを基に、予測復号化を含めてピクチャが復号化されもする。一実施形態によるパーティションタイプは、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされたパーティションのように、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含んでもよい。

現在符号化単位が下位深度の符号化単位に分割されないのであるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位であるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位であるならば、現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含んでもよい。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。

符号化単位構造情報及び分割情報に基づいて、符号化単位の最大サイズ及び最小サイズが判読され、現在ツリー構造の符号化単位が決定されもする。符号化モードについての情報から、符号化単位の予測単位のパーティションタイプ及び予測モードについての情報が判読され、パーティションタイプ及び予測モードについての情報に基づいて、符号化単位に係わる予測復号化が行われ、現在符号化単位が復号化される。

例えば、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも１つの場合には、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測、またはインター予測／補償は省略される。

ただし、現在符号化単位が下位深度の符号化単位に分割されることがない場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合には、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされたパーティションと、現在符号化単位が非対称的形態に分割されたパーティションだけではなく、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションと、を利用したイントラ予測、またはインター予測／補償も遂行することができる。

復号化された映像データは、再生装置によって再生されたり、あるいは記録媒体に保存されたり、ネットワークを介して伝送される。

なお、上述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるものであるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
上記の実施形態につき以下の付記を残しておく。
（付記１）
符号化されたビデオに係わるビットストリームを受信してパージングする段階と、
前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、
前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含み、
前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ復号化方法。
（付記２）
前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記３）
前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含み、
前記復号化段階は、前記パーティションタイプを利用して、イントラ予測またはインター補償を行う段階を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記４）
前記復号化段階は、
前記現在符号化単位が下位深度の符号化単位に分割される場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも１つの場合に、前記現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測またはインター補償を省略する段階をさらに含むことを特徴とする付記３に記載のビデオ復号化方法。
（付記５）
前記抽出段階は、前記符号化モードについての情報から、前記符号化単位の予測復号行うためのデータ単位である予測単位のパーティションタイプ及び予測モードについての情報を抽出し、
前記復号化段階は、前記抽出されたパーティションタイプ及び予測モードについての情報に基づいて、前記符号化単位に係わる予測復号行う段階を含み、
前記パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含み、
前記予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つを含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記６）
深度別符号化単位は、それぞれの深度による空間的分割回数ほど最大符号化単位が分割された領域であり、
前記符号化単位は、前記深度別符号化単位のうち、前記符号化深度によって。前記最大符号化単位が分割された領域であり、
前記最大符号化単位の深度が最上位深度であり、前記深度別符号化単位の大きさは、１階層上位深度の深度別符号化単位の高さ及び幅が半分された大きさであり、
前記ピクチャは、深度によって、最大符号化単位及び前記符号化単位に階層的に分割され、前記符号化単位は、それぞれの符号化深度によって独立して分割され、
前記最大符号化単位に対して、少なくとも１つの符号化深度が決定され、前記最大符号化単位は、前記少なくとも１つの符号化深度によって、少なくとも１つの符号化単位を含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記７）
ビデオのピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する段階と、
前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する段階と、
前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する段階と、を含み、
前記パーティションタイプは、現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ符号化方法。
（付記８）
前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記９）
前記現在符号化単位が下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも１つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含み、
前記符号化単位決定段階は、前記パーティションタイプを利用して、イントラ予測またはインター補償を行う段階を含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１０）
前記符号化単位決定段階は、
前記現在符号化単位が下位深度の符号化単位に分割される場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも１つの場合に、前記現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測またはインター予測を省略する段階をさらに含むことを特徴とする付記９に記載のビデオ符号化方法。
（付記１１）
前記符号化段階は、現在符号化単位の予測符号化を行うためのデータ単位である予測単位のパーティションタイプ及び予測モードに基づいて予測符号化を行う段階を含み、
前記出力段階は、前記符号化モードについての情報として、前記現在符号化単位のパーティションタイプ及び予測モードについての情報をビットストリームに挿入して伝送する段階を含み、
前記パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含み、
前記予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つを含むことを特徴とする付記７に記載のビデオ符号化方法。
（付記１２）
ビデオデコーディング・プロセッサを含むビデオ復号化装置において、
符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、
前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する抽出部と、
前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記ビデオデコーディング・プロセッサと連動し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する復号化部と、を含み、
前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ復号化装置。
（付記１３）
ビデオエンコーディング・プロセッサを含むビデオ符号化装置において、
ビデオのピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する最大符号化単位分割部と、
前記ビデオエンコーディング・プロセッサと連動し、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する符号化単位決定部と、
前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する出力部と、を含み、
前記パーティションタイプは、現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ符号化装置。
（付記１４）
付記１に記載のビデオ復号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。
（付記１５）
付記７に記載のビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。

１００ ビデオ符号化装置
１１０ 最大符号化単位分割部
１２０ 符号化単位決定部
１３０ 出力部
２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部
３１０ 第1ビデオデータ
３２０ 第２ビデオデータ
３３０ 第３ビデオデータ
４００ 映像符号化部
５００ 映像復号化部
６００ 符号化単位の階層構造
７１０ 符号化単位
７２０ 変換単位
８００ パーティションタイプについての情報
１０１０ 符号化単位
１０６０ 予測単位

Claims (1)

1. ビデオ復号化装置が行うビデオ復号化方法において、
   前記ビデオ復号化装置が、
   符号化されたビデオに係わるビットストリームを受信してパージングする段階と、
   前記ビットストリームから、
   前記ビデオのピクチャを復号化するためのデータ単位である、符号化単位の大きさ情報及び前記符号化単位の可変深度、符号化された深度に係わる情報、並びにイントラモード、インターモード及びスキップモードのうち少なくとも一つを含む予測モードのうち一つを指す符号化モードについての情報、
   を抽出する段階と、
   前記符号化単位の大きさ情報と、前記符号化単位の可変深度及び前記符号化された深度に係わる情報とに基づいて、現在符号化単位を決定する段階と、
   前記符号化モードがスキップモードを示す時、前記現在符号化単位と同一大きさで予測単位(２Ｎ×２Ｎ)を決定する段階と、
   前記符号化モードがイントラモード及びインターモードのうちいずれか一つを示す時、予測単位のパーティションを示すパーティションタイプ情報を獲得する段階と、
   前記符号化モードがイントラモードを示す時、前記現在符号化単位と前記パーティションタイプ情報に基づいて少なくとも一つの四角形ブロック(２Ｎ×２ＮまたはＮ×Ｎ)を含む予測単位を決定する段階と、
   前記符号化モードがインターモードを示す時、前記現在符号化単位と前記パーティションタイプ情報に基づいてパーティション(２Ｎ×２Ｎ)、対称的パーティション(２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ)及び非対称的パーティション(２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、ｎＬ×２Ｎ）のうちいずれか一つを含む予測単位を決定する段階と、
   を含み、
   前記対称的パーティションは、前記現在符号化単位の高さ及び幅のうち少なくとも一つを対称的に分割することによって獲得され、
   前記非対称的パーティションは、前記現在符号化単位の高さ及び幅のうち少なくとも一つを非対称的に分割することによって獲得される、
   前記符号化モードがインターモードを示す場合、前記対称的パーティションのうち前記現在符号化単位の高さ及び幅を半分した大きさのパーティション(Ｎ×Ｎ)は前記現在符号化単位の大きさが前記符号化単位の最小大きさの場合に可能であり、
   前記符号化された深度情報が現在深度に対する分割を示す場合、周辺符号化単位と独立して、前記現在符号化単位は下位深度の符号化単位に分割され、
   前記符号化された深度情報が現在深度に対して分割されないことを示す場合、前記符号化単位は前記現在符号化単位から獲得される、
   ことを特徴とする方法。

Images