JP2016171588A - 双方向予測及び単一方向予測が可能なビデオ予測方法及びその装置、ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 - Google Patents

Abstract

【課題】 双方向予測または単一方向予測が可能なビデオ予測技法、効率的な双方向予測または単一方向予測を伴うビデオ復号化方法及びその装置を提供する
【解決手段】 現在スライスが両予測タイプに該当する場合、第１予測のための１以上のピクチャを含む第１参照ピクチャ、及び第２予測のための１以上のピクチャを含む第２参照ピクチャを決定する段階と、第１参照ピクチャを基に第１参照リストを決定する段階と、第２参照ピクチャが第１参照ピクチャと同一であるか否かということに係わりなく、第２参照ピクチャを基に第２参照リストを決定する段階と、第１参照リスト及び第２参照リストのうち少なくとも一つを利用して、現在スライス内の現在予測単位に対するインター予測を行う段階と、を含むビデオ復号化方法。
【選択図】 図１

Description

本発明は、ビデオ予測、ビデオ予測を伴うビデオ符号化及び復号化に係わる。

高解像度または高画質のビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

ビデオコーデックは、ビデオの映像が、時間的または空間的に互いに相関性が高いという特徴を利用して予測技法を用いてデータ量を低減させる。予測技法によれば、周辺映像を利用して現在映像を予測するために、映像間の時間的距離または空間的距離、予測誤差などを利用して映像情報が記録される。

本発明は、双方向予測または単一方向予測が可能なビデオ予測技法、効率的な双方向予測または単一方向予測を伴うビデオ符号化、並びに復号化方法及びその装置を提供する。

本発明の一実施形態によるビデオ予測方法は、映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する段階と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する段階と、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する段階と、を含む。

本発明によれば、双方向予測または単一方向予測が可能なビデオ予測モードによって、参照リストを決定することにより、予測効率が最も高い参照映像の順序によって予測が遂行される。

一実施形態によるビデオ予測装置のブロック図である。 一実施形態によるビデオ予測符号化装置のブロック図である。 一実施形態によるビデオ予測復号化装置のブロック図である。 一実施形態によるビデオ予測方法のフローチャートである。 一実施形態によるビデオ予測符号化方法のフローチャートである。 一実施形態によるビデオ予測復号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図である。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化方法のフローチャートである。

本発明の一実施形態によるビデオ予測方法は、映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する段階と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する段階と、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する段階と、を含む。

一実施形態による前記ビデオ予測方法は、前記第１参照リストと前記第２参照リストとが示す第１方向予測及び第２方向予測のうち、少なくとも１つのための参照映像を、第１参照順序及び第２参照順序で参照し、前記復元映像を生成する段階をさらに含むことができる。

一実施形態による前記第１参照リストと、第２参照リストとの決定段階は、Ｂスライス・タイプである現在映像の予測のための参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、前記第１参照リストの参照順序と、前記第２参照リストの参照順序とを同一に決定する段階を含んでもよい。

一実施形態による前記復元映像生成段階は、Ｂスライス・タイプである現在映像の前記第２参照リストが前記参照映像を含まない場合、前記第１参照リストと同一の参照情報及び参照順序を含むように、前記第２参照リストを決定し、前記第１参照リスト及び前記第２参照リストが示す映像を参照し、前記復元映像を生成する段階を含んでもよい。

一実施形態による前記第１参照リストと、第２参照リストとの決定段階は、Ｂスライス・タイプである現在映像の参照映像が、単一方向予測のための参照映像のみを含む場合、前記第１参照リストと前記第２参照リストとが示す参照映像の個数が互いに同一であり、前記第１参照リストに含まれる参照情報と、前記第２参照リストに含まれる参照情報とが示す映像が互いに同一であり、前記第１参照リストと、前記第２参照リストとの参照順序を互いに同一に決定する段階を含んでもよい。

本発明の一実施形態によるビデオ予測符号化方法は、映像に対して予測を行い、少なくとも１つの参照映像を示す参照情報を決定する段階と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する段階と、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する段階と、前記参照情報及び予測誤差を符号化する段階と、を含む
一実施形態による前記ビデオ予測符号化方法は、Ｂスライス・タイプである現在映像のために決定された参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、前記第１参照リストの参照順序と、前記第２参照リストの参照順序とを同一に決定する段階を含んでもよい。

一実施形態による前記ビデオ予測符号化方法は、Ｂスライス・タイプである映像の参照映像が、単一方向予測のための参照映像を含む場合、前記第１参照リストと、前記第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を符号化する段階を含んでもよい。一実施形態による現在スライスのための前記単一方向予測情報は、スライス、シーケンス、ピクチャのうち少なくとも１つの映像単位ごとに符号化されてもよい。

一実施形態による前記ビデオ予測符号化方法は、Ｉスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプに追加し、前記現在映像のために決定された参照映像が、単一方向予測のための参照映像を含む場合には、前記第１参照リストと、前記第２参照リストとの参照順序が同一に設定される予測モードによって予測符号化される新規スライス・タイプを含むスライス・タイプ情報を符号化する段階を含んでもよい。

本発明の一実施形態によるビデオ予測復号化方法は、映像の予測のための少なくとも１つの参照映像を示す参照情報を受信する段階と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する段階と、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する段階と、を含む。

一実施形態による前記ビデオ予測復号化方法は、Ｂスライス・タイプである現在映像のために決定された参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、前記第１参照リストの参照順序と、前記第２参照リストの参照順序とを同一に決定する段階を含む。

一実施形態による前記ビデオ予測復号化方法は、Ｂスライス・タイプである映像の予測のための前記第１参照リストと、前記第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を受信する段階と、前記単一方向予測情報に基づいて、前記Ｂスライス・タイプである現在映像の予測のための参照映像が、単一方向予測のための参照映像を含む場合、前記第１参照リストと、前記第２参照リストとの参照順序を同一に決定する段階と、を含んでもよい。

一実施形態による前記ビデオ予測復号化方法は、現在スライスのための前記単一方向予測情報を、スライス、シーケンス、ピクチャのうち少なくとも１つの映像単位ごとに受信する段階と、前記スライス、シーケンス、ピクチャのうち少なくとも１つの映像単位ごとに、前記単一方向予測情報に基づいて、前記第１参照リストと、前記第２参照リストとの参照順序を同一に決定する段階と、を含んでもよい。

一実施形態による前記ビデオ予測復号化方法は、Ｉスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプに追加し、前記現在映像のために決定された参照映像が、単一方向予測のための参照映像のみを含むか否かということに基づいて、前記第１参照リストと、前記第２参照リストとの参照順序を決定する新規スライス・タイプを含むスライス・タイプ情報を受信する段階と、前記スライス・タイプ情報に基づいて、前記新規スライス・タイプである現在映像の予測のための参照映像が、単一方向予測のための参照映像を含む場合、前記第１参照リストと、前記第２参照リストとの参照順序を同一に決定する段階と、を含んでもよい。

本発明の一実施形態によるビデオ予測装置は、映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する参照情報決定部と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する参照リスト決定部と、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する復元映像生成部と、前記参照情報決定部、前記参照リスト決定部及び前記復元映像生成部の動作を制御するプロセッサと、を含む。

本発明の一実施形態によるビデオ予測符号化装置は、映像に対して予測を行い、少なくとも１つの参照映像を示す参照情報を決定する予測部と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定し、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合には、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する復元映像生成部と、前記決定された参照情報及び予測誤差を符号化する予測符号化部と、前記予測部、前記参照リスト決定部、前記復元映像生成部及び前記予測符号化部の動作を制御するプロセッサと、を含む。

本発明の一実施形態によるビデオ予測復号化装置は、受信されたビットストリームをパージングし、映像の予測のための少なくとも１つの参照映像を示す参照情報及び予測誤差を抽出する受信抽出部と、前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定し、前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合には、前記第１参照リストと前記第２参照リストとが示す映像を同一の参照順序で参照し、前記予測誤差を利用した補償を介して、前記復元映像を生成する復元映像生成部と、前記受信抽出部、前記参照リスト決定部及び前記復元映像生成部の動作を制御するプロセッサと、を含む。

本発明は、一実施形態によるビデオ予測方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明は、一実施形態によるビデオ予測符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明は、一実施形態によるビデオ予測復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図６を参照し、一実施形態による、双方向予測及び単一方向予測が可能なビデオの予測方法及びその装置、ビデオ予測符号化方法及びその装置、並びにビデオ予測復号化方法及びその装置について説明する。

図１は、一実施形態によるビデオ予測装置１０のブロック図を図示している。一実施形態によるビデオ予測装置１０は、参照情報決定部１２、参照リスト決定部１４及び復元映像生成部１６を含む。

一実施形態によるビデオ予測装置１０は、参照情報決定部１２、参照リスト決定部１４及び復元映像生成部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、参照情報決定部１２、参照リスト決定部１４及び復元映像生成部１６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）間が相互有機的に作動することによって、ビデオ予測符号化装置１０が全体的に作動する。または、一実施形態によるビデオ予測装置１０の外部プロセッサ（図示せず）の制御によって、参照情報決定部１２、参照リスト決定部１４及び復元映像生成部１６が制御されてもよい。

一実施形態によるビデオ予測装置１０は、参照情報決定部１２、参照リスト決定部１４及び復元映像生成部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ予測装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるビデオ予測装置１０は、ビデオの映像に対して予測を行う。ビデオ予測装置１０は、現在映像と周辺映像との時間的距離または空間的距離、予測誤差などを示す予測情報を決定する。従って、映像の全体データの代わりに、予測情報を利用して映像情報が記録されてもよい。

予測符号化は、時間的に前後映像を利用して、現在映像を予測するインター予測と、空間的に周辺映像を利用して、現在映像を予測するイントラ予測とを含む。従って、インター予測では、時間的に前後映像が参照映像に利用され、イントラ予測では、空間的に周辺映像が参照映像として利用されることにより、現在映像が予測される。参照映像は、ピクチャ、フレーム、ブロックなどの映像単位であってもよい。

一実施形態による参照情報決定部１２は、映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する。参照情報決定部１２は、現在映像の以前映像及び次の映像と、現在映像との類似度を決定し、現在映像と誤差が最小である映像を検出する。検出された映像が参照映像として決定され、参照映像を示す情報、例えば、映像の番号、インデックスなどが参照情報として決定される。参照映像において、参照ブロックを示す動き情報なども参照情報として決定される。イントラ予測のためには、現在映像と同一の映像内で、現在領域と隣接する周辺領域において、参照映像を示すインデックスが参照情報として決定されもする。

参照情報決定部１２は、現在映像と参照映像との誤差である予測誤差を決定することもできる。

一実施形態による参照リスト決定部１４は、参照情報決定部１２で決定された参照情報と、参照映像の参照順序を含む参照リストとを決定することができる。

参照リストは、第１参照リスト及び第２参照リストを含んでもよい。例えば、Ｂスライス・タイプ映像の予測のための参照リストは、リスト０予測（List０ prediction）のためのＬ０リスト、リスト１予測（List１ prediction）のためのＬ１リストを含んでもよい。第１参照リスト及び第２参照リストは、それぞれ一つ以上の参照映像を示すインデックスと、参照順序情報とを含んでもよい。

予測部１２によって、双方向予測のための参照映像が決定されれば、参照リスト決定部１４は、第１方向予測のための参照映像と、第２方向予測のための参照映像とを含む第１参照リスト及び第２参照リストを決定することができる。例えば、第１方向予測のための参照映像は、第１参照リストに含まれ、第２方向予測のための参照映像は、第２参照リストに含まれる。ただし、必ずしも１つの参照リストは、一方向予測のための参照映像のみを含むように限定されるものではない。

一実施形態による参照リスト決定部１４は、第１参照リストと第２参照リストに、参照映像の参照順序を決定することができる。例えば、現在映像と時間的に近い参照映像を優先的に参照するように参照順序が決定される。

一実施形態による参照リスト決定部１４は、現在映像の予測のための参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、第１参照リストの参照順序と、第２参照リストの参照順序とを同一に決定することができる。

例えば、予測部１２がＩ，Ｐ，Ｂスライス・タイプのうち、Ｂスライス・タイプである現在映像の参照映像を決定した結果、参照映像が、現在映像より時間的に先行する映像だけ含む場合、参照リスト決定部１４は、Ｌ０リストとＬ１リストとの参照順序を同一に決定することができる。

一実施形態による参照リスト決定部１４は、第１参照リストと、第２参照リストとの参照順序を同一に決定するために、第１参照リストに含まれる参照映像の個数と、第２参照リストに含まれる参照映像の個数とを同一にし、第１参照リストに含まれる参照インデックスが示す映像と、第２参照リストに含まれる参照インデックスの示す映像とが同一であるように決定することができる。

一実施形態による復元映像生成部１６は、第１参照リストと、第２参照リストとが示す参照映像を、当該参照順序で参照し、現在映像の予測誤差から復元映像を生成する。

一実施形態による復元映像生成部１６は、第２参照リストが参照映像を含まない場合、第２参照リストが第１参照リストと同一の参照情報及び参照順序を有するように、第２参照リストを変形することができる。これを基にして、復元映像生成部１６は、第１参照リストと、第２参照リストとが示す同一の映像を同一の順序で参照し、復元映像を生成することができる。

例えば、予測部１２が、Ｂスライス・タイプである現在映像のために決定した参照映像において、Ｌ１リストに含まれる参照映像がない場合、復元映像生成部１６は、Ｌ０リストとＬ１リストとを同一に構成し、Ｌ０リストとＬ１リストとが示す同一の映像を同一の参照順序で参照し、予測映像を復元することができる。

ビデオ予測技法は、映像の全体データの代わりに、予測情報を利用して、映像を表現することができるので、参照情報及び予測誤差の予測情報が記録されたり伝送されてもよく、外部から獲得された予測情報を利用して、ビデオ予測を行って映像が復元される。以下、図２及び図３を参照し、一実施形態による、ビデオ予測を基にするビデオ予測符号化装置２０及びビデオ予測復号化装置３０について説明する。

図２は、一実施形態によるビデオ予測符号化装置２０のブロック図を図示している。一実施形態によるビデオ予測符号化装置２０は、予測部２２、復元映像生成部２４及び予測符号化部２６を含む。

一実施形態による予測部２２は、映像に対して予測を行い、少なくとも１つの参照映像を示す参照情報を決定する。予測部２２は、現在映像に対して予測を行い、現在映像と参照映像との予測誤差を決定することができる。

復元映像生成部２４は、予測部２２によって決定された参照情報と、参照映像の参照順序とを含む第１参照リストと、第２参照リストとを決定する。復元映像生成部２４は、第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストと、第２参照リストとが示す参照順序によって参照し、復元映像を生成することができる。参照情報が、時間的に単一方向予測のための映像のみを示す場合には、復元映像生成部２４は、第１参照リストと、第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成することができる。

一実施形態による復元映像生成部２４の動作は、前述のビデオ予測装置１０の参照リスト決定部１４、及び復元映像生成部１６の動作に相応する。例えば、双方向予測が可能な現在映像のために決定された参照情報が、時間的に先行する参照映像のみを示す場合、復元映像生成部２４は、第１参照リストの参照順序と、第２参照リストの参照順序とを同一に決定することができる。従って、復元映像生成部２４は、第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストの参照順序と同一の順序で参照しながら、予測誤差から復元映像を生成することができる。

復元映像生成部２４によって生成された復元映像は、予測部２２で、他の映像の予測のための参照映像として利用されもする。

一実施形態による予測符号化部２６は、予測部２２で決定された参照情報及び予測誤差を符号化する。

予測符号化部２６は、Ｂスライス・タイプである現在映像のために決定された参照情報が、単一方向予測のための参照映像のみを示す場合、第１参照リストと第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を符号化することができる。

一実施形態によるＢスライス・タイプの種類によって、Ｌ０リストとＬ１リストとによって参照順序が決定されもする。例えば、第１Ｂスライス・タイプの映像のために、時間的に先行する映像を参照して前方予測だけが行われる場合、Ｌ０リストとＬ１リストとの参照順序を統一し、Ｌ０リストとＬ１リストとが示す先行映像は、同一の順序によって参照されてもよい。第２Ｂスライス・タイプの映像のために、時間的に先行する映像を参照して前方予測だけが行われる場合、Ｌ０リストとＬ１リストとの参照順序が同一ではないように決定され、Ｌ０リストとＬ１リストとが示す先行映像が、他の順序によって参照されてもよい。

予測情報符号化部２６は、Ｂスライス・タイプの現在映像について、時間的に先行する映像を参照する場合、現在映像が、第１Ｂスライス・タイプであるか、第２Ｂスライス・タイプであるかを示す単一方向予測情報を符号化することができる。単一方向予測情報は、フラグ形態で符号化されてもよい。

予測符号化部２６は、単一方向予測情報を、少なくとも１つの映像単位ごとに符号化することができる。例えば、予測情報符号化部２６は、スライスヘッダを介して、スライスごとに単一方向予測フラグ情報をシグナリングしたり、ＳＰＳ（sequence parameter set）を介して、シーケンスごとにシグナリングしたり、ＰＰＳ（picture parameter set）を介して、ピクチャごとにシグナリングすることもできる。従って、スライスごとに、シーケンスごとに、またはピクチャごとに、Ｂスライス・タイプである映像を、第１Ｂスライス・タイプの予測モードまたは第２Ｂスライス・タイプモードの予測モードで符号化するかが決定され、シグナリングされる。

すなわち、スライス、シーケンスまたはピクチャごとに、Ｂスライス・タイプ映像が、時間的に先行する参照映像のみを有する場合、Ｂスライス・タイプ映像の第１参照リストと、第２参照リストとを同一に構成するか否かが決定される。

Ｉスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプに追加して、第４スライス・タイプが定義されてもよい。第４スライス・タイプの映像は、参照映像が一方向の予測のための参照映像のみを含む場合、第１参照リストと、第２参照リストとが同一に設定される予測モードによって符号化されてもよい。予測情報符号化部１６は、Ｉスライス・タイプ、Ｐスライス・タイプ、Ｂスライス・タイプ及び第４スライス・タイプのうち一つを示すスライス・タイプ情報を符号化することもできる。

一実施形態によるビデオ予測符号化装置２０も、中央プロセッサ（図示せず）や外部プロセッサ（図示せず）によって、予測部２２、復元映像生成部２４及び予測符号化部２６を総括的に制御したり、あるいは予測部２２、復元映像生成部２４及び予測符号化部２６がそれぞれの自体プロセッサ（図示せず）によって作動する。

一実施形態によるビデオ予測符号化装置２０は、予測部２２、復元映像生成部２４及び予測符号化部２６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ予測符号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

ビデオ予測符号化装置２０は、映像の全体データの代わりに、予測情報を利用して、映像を表現することができるので、ビデオデータ量の節減が必要なビデオ圧縮符号化を行うビデオ符号化に適用されてもよい。

一実施形態によるビデオ予測符号化装置２０は、ビデオの映像を空間領域別に分割した符号化単位に基づいて、ビデオを符号化するビデオ符号化器に含まれたり連繋し、ビデオ符号化のための予測符号化を行うことができる。

一実施形態による符号化単位は、固定的に決定された形態のマクロブロックだけではなく、一実施形態によるツリー構造による符号化単位を含んでもよい。一実施形態によるツリー構造による符号化単位は、以下、図７ないし図１９を参照して説明する。

一実施形態によるビデオ予測符号化装置２０は、空間領域の映像について予測を行い、参照映像に係わる予測誤差、すなわち、残差成分を出力することができる。ビデオエンコーダは、残差成分について、変換、量子化を行い、量子化された変換係数を生成し、変換係数及び符号化情報などのシンボルに対してエントロピ符号化を行い、ビットストリームを出力することができる。ビデオエンコーダは、変換係数に対して、さらに逆量子化、逆変換、予測補償を経て、空間領域の映像を復元し、ループ・フィルタリングを行うこともできる。従って、ビデオ予測符号化装置２０を介した予測符号化を経て、ビデオエンコーダの圧縮符号化が具現される。

一実施形態によるビデオ予測符号化装置２０は、ビデオ符号化結果を出力するため、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、予測符号化を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ予測符号化装置１０または中央演算装置、グラフィック演算装置が、ビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

図３は、一実施形態によるビデオ予測復号化装置のブロック図を図示している。一実施形態によるビデオ予測復号化装置３０は、受信抽出部３２及び復元映像生成部３４を含む。

一実施形態による受信抽出部３２は、受信されたビットストリームをパージングし、映像の予測のための少なくとも１つの参照映像を示す参照情報、及び予測誤差を含む予測情報を抽出する。受信抽出部３２は、抽出された予測情報に基づいて、現在映像と参照映像との予測誤差と、参照情報とを決定することができる。

復元映像生成部３４は、受信抽出部３２によって決定された参照情報と、参照映像の参照順序とを含む第１参照リストと、第２参照リストとを決定する。復元映像生成部３４は、第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストと、第２参照リストとが示す参照順序によって参照し、復元映像を生成することができる。参照情報が、時間的に単一方向予測のための映像のみを示す場合には、復元映像生成部３４は、第１参照リストと、第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成することができる。

一実施形態による復元映像生成部３４の動作は、前述のビデオ予測装置１０の参照リスト決定部１４及び復元映像生成部１６の動作に相応する。例えば、双方向予測が可能な現在映像のために決定された参照情報が、時間的に先行する参照映像のみを示す場合、復元映像生成部２４は、第１参照リストの参照順序と、第２参照リストの参照順序とを同一に決定し、第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストの参照順序と同一の順序で参照しながら、予測誤差から復元映像を生成することができる。

復元映像生成部３４によって生成された復元映像は、予測復号化の結果映像に出力されてもよい。また復元映像は、他の映像の予測のための参照映像として利用される。

一実施形態による受信抽出部３２は、Ｂスライス・タイプである現在映像のために決定された参照情報が、単一方向予測のための参照映像のみを示す場合、第１参照リストと第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を受信することができる。

例えば、受信抽出部３２は、Ｂスライス・タイプの現在映像について、時間的に先行する映像を参照する場合、現在映像が、第１Ｂスライス・タイプまたは第２Ｂスライス・タイプであるかを示す単一方向予測情報を受信することができる。単一方向予測情報は、フラグ形態で符号化されてもよい。

単一方向予測情報に基づいて、現在映像が第１Ｂスライス・タイプであることが判読されれば、復元映像生成部３４は、Ｂスライス・タイプの映像の参照映像が、時間的に先行する映像のみを含む場合、Ｌ０リストとＬ１リストとが示す先行映像を、同一の順序によって参照することができる。単一方向予測情報に基づいて、現在映像が第２Ｂスライス・タイプであることが判読されれば、復元映像生成部３４は、Ｂスライス・タイプの映像の参照映像が、時間的に先行する映像のみを含む場合、Ｌ０リストとＬ１リストとが示す先行映像を互いに異なる順序によって参照することができる。

一実施形態による受信抽出部３２は、単一方向予測情報を、少なくとも１つの映像単位ごとに受信することができる。例えば、受信抽出部３２は、スライスヘッダを介してスライスごとに、ＳＰＳを介してシーケンスごとに、ＰＰＳを介してピクチャごとに単一方向予測情報を受信することもできる。従って、スライスごとに、シーケンスごとに、またはピクチャごとに、Ｂスライス・タイプである映像を、第１Ｂスライス・タイプの予測モードまたは第２Ｂスライス・タイプモードの予測モードに復号化するかが決定される。

一実施形態による受信抽出部３２は、Ｉスライス・タイプ、Ｐスライス・タイプ、Ｂスライス・タイプ及び第４スライス・タイプのうち一つを示すスライス・タイプ情報を受信することもできる。復元映像生成部３４は、スライス・タイプ情報に基づいて、現在映像がＩスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプではない、第４スライス・タイプであるということが決定されれば、現在映像のために決定された少なくとも１つの参照映像が、一方向の予測のための参照映像を含む場合には、第１参照リストと、第２参照リストとが同一に設定される予測モードによって復号化することができる。

一実施形態によるビデオ予測復号化装置３０も、中央プロセッサ（図示せず）や外部プロセッサ（図示せず）によって、受信抽出部３２及び復元映像生成部３４を総括的に制御したり、あるいは受信抽出部３２及び復元映像生成部３４が、それぞれの自体プロセッサ（図示せず）によって作動される。

一実施形態によるビデオ予測復号化装置２０も、予測部３２及び復元映像生成部３４の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ予測復号化装置３０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

ビデオ予測復号化装置３０は、映像の全体データの代わりに、予測情報を利用して、映像を復元することができるので、ビデオデータ量の節減が必要なビデオ圧縮符号化を行うビデオ復号化に適用される。

一実施形態によるビデオ予測復号化装置３０は、ビデオの映像を空間領域別に分割した符号化単位に基づいて、ビデオを符号化するビデオ符号化器に含まれたり連繋し、ビデオ復号化のための予測符号化を行うことができる。

一実施形態による符号化単位は、固定的に決定された形態のマクロブロックだけではなく、一実施形態によるツリー構造による符号化単位を含んでもよい。一実施形態による、ツリー構造による符号化単位は、以下、図７ないし図１９を参照し、説明することとする。

一実施形態によるビデオ予測復号化装置３０は、ビットストリームをパージングし、符号化シンボルを抽出することができる。シンボルに対して、エントロピ復号化、逆量子化及び逆変換を行い、参照映像に係わる予測誤差が復元される。予測誤差及び参照情報を利用した予測補償を経て、空間領域の映像を復元し、復元映像について、ループ・フィルタリングを行うこともできる。従って、ビデオ予測復号化装置３０を介した予測復号化を経て、ビデオデコーダーの圧縮復号化が具現される。

一実施形態によるビデオ予測復号化装置３０は、ビデオ符号化結果を出力するため、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、予測を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ予測復号化装置３０の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、予測復号化装置３０または中央演算装置、グラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。

図４は、一実施形態によるビデオ予測方法のフローチャートを図示している。段階４２で、映像の予測のための少なくとも１つの参照映像を示す参照情報が決定される。現在映像と参照映像との予測誤差が決定されもする。

段階４４で、段階４２で決定された参照情報と、参照映像の参照順序とを含む第１参照リスト及び第２参照リストが決定される。

双方向予測のための参照映像が決定されれば、第１方向予測のための参照映像と参照順序とを含む第１参照リストを決定し、第２方向予測のための参照映像と参照順序とを含む第２参照リストが決定される。

また、現在映像の予測のための参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、第１参照リストの参照順序と第２参照リストの参照順序とが同一に決定される。

例えば、時間的に先行する映像だけ参照する予測モードが存在する。予測時に発生しうるディレイを最小限にするために、前方予測のみを許容する予測モードが設定されてもよい。その場合、Ｂスライス・タイプである現在映像のために、時間的に先行する参照映像だけが決定され、第１参照リストの参照順序と第２参照リストの参照順序とが同一に決定される。

段階４６で、段階４４で決定された第１参照リストと、第２参照リストとが示す参照映像を、参照順序で参照し、予測誤差から復元映像が生成される。

第２参照リストが参照映像を含まない場合、第２参照リストが、第１参照リストと同一の参照情報及び参照順序を有するように、第２参照リストを再び決定し、第１参照リストと、第２参照リストとが示す同一の映像を、同一の順序で参照し、復元映像が生成される。

図５は、一実施形態によるビデオ予測符号化方法のフローチャートを図示している。段階５２で、映像について予測を行い、少なくとも１つの参照映像を示す参照情報が決定される。現在映像に係わる予測を介して、現在映像と参照映像との予測誤差が決定される。

段階５４で、段階５２で決定された参照情報と、参照映像の参照順序とを含む第１参照リストと、第２参照リストとが決定される、
段階５６で、段階５４で決定された第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストと、第２参照リストとが示す参照順序によって参照し、復元映像が生成される。参照情報が、時間的に単一方向予測のための映像のみを示す場合には、第１参照リストと、第２参照リストとの参照順序を同一であるように修正して、第１参照リストと、第２参照リストとが示す参照映像を、互いに同一の順序で参照しながら、予測誤差から復元映像が生成される。

段階５８で、段階５２で決定された参照情報及び予測誤差が符号化される。

Ｂスライス・タイプの現在映像について、時間的に先行する映像のみを参照する場合、現在映像が、第１Ｂスライス・タイプまたは第２Ｂスライス・タイプであるかを示す単一方向予測情報が符号化される。スライスヘッダ、ＳＰＳまたはＰＰＳを介して、単一方向予測情報がシグナリングされる。

または、Ｉスライス・タイプ、Ｐスライス・タイプ、Ｂスライス・タイプ及び第４スライス・タイプのうち一つを示すスライス・タイプ情報が符号化される。

図６は、一実施形態によるビデオ予測復号化方法のフローチャートを図示している。段階６２で、受信されたビットストリームをパージングし、映像の予測のための少なくとも１つの参照映像を示す参照情報及び予測誤差が抽出される。

段階６４で、段階６２で決定された参照情報と、参照映像の参照順序とを含む第１参照リストと、第２参照リストとを決定する。

段階６６で、段階６４で決定された第１参照リストと、第２参照リストとが示す参照映像を、第１参照リストと、第２参照リストとが示す参照順序によって参照し、復元映像が生成される。段階６８で、参照情報が、時間的に単一方向予測のための映像のみを示す場合には、第１参照リストと、第２参照リストとが示す映像を同一の参照順序で参照し、復元映像が生成される。

段階６２で、Ｂスライス・タイプである現在映像のために決定された参照情報が、単一方向予測のための参照映像のみを示す場合、第１参照リストと第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報が受信される。単一方向予測情報は、スライスごとに、シーケンスごとに、またはピクチャごとに、単一方向予測情報を受信される。

段階６２で受信された単一方向予測情報に基づいて、現在映像が、第１Ｂスライス・タイプであることが判読され、参照映像が、時間的に先行する映像のみを含む場合、段階６６では、Ｌ０リストとＬ１リストとが示す先行映像を、同一の順序によって参照し、復元映像が生成される。

段階６２で、Ｉスライス・タイプ、Ｐスライス・タイプ、Ｂスライス・タイプ及び第４スライス・タイプのうち一つを示すスライス・タイプ情報が受信される。スライス・タイプ情報に基づいて、現在映像が第４スライス・タイプであるということが判読され、現在映像のために決定された少なくとも１つの参照映像が、一方向の予測のための参照映像を含む場合には、段階６４では、第１参照リストと、第２参照リストとが同一に設定される予測モードによって参照映像が決定され、予測／補償を介して、映像が復元される。

従って、参照情報が、単一方向予測のための参照映像のみを示したり、あるいは時間的に先行する参照映像だけが使用可能な場合、第１参照リスト及び第２参照リストの参照順序を同一に決定することにより、第１参照リスト及び第２参照リストによって参照映像が決定されても、時間的に最も隣接した参照映像、または最も類似した参照映像の順序によって予測が行われる。また、第１参照リスト及び第２参照リストに含まれた同一の参照映像を、同一の順序で参照して映像が復元される場合にも、予測結果との組み合わせを介して、復元映像の画質が向上する。

以下、図７ないし図２１を参照し、一実施形態による双方向予測及び単一方向予測が可能なビデオ符号化及びビデオ復号化を拡張し、一実施形態による、ツリー構造による符号化単位を基にするビデオ符号化及びビデオ復号化に適用する実施形態について説明する。

図７は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位で、縦横に大きさが２の自乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位として定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが事前に設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度が１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションである。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどであってもよい。一実施形態によるパーティション・タイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティション・タイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位／パーティション、及び変換単位の決定方式については、図９ないし図１９を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率−歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティション・タイプ情報、予測モード情報、変換単位の大きさ情報などを含む。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション・サイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。出力部１３０は、図１ないし図６を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライス・タイプを含むスライス・タイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを拡大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。

図７のビデオ符号化装置１００は、図２を参照して説明したビデオ予測符号化装置２０の予測符号化動作を遂行することができる。

符号化単位決定部１２０は、ビデオ予測符号化装置１０の予測部２２、及び復元映像生成部２４の動作を遂行することができる。すなわち、予測部２２、及び復元映像生成部２４の予測及び補償の動作が、現在映像が分割された階層的構造の符号化単位のうち、符号化単位ごとに含まれたパーティションを基に行われる。Ｂスライス・タイプのパーティションのために、第１参照リスト及び第２参照リストを基にして、参照映像を決定することができる。

図１及び図２を参照して説明したところと同様に、符号化単位決定部１２０は、第１参照リスト及び第２参照リストが示す単一方向予測のための参照映像を、同一の参照順序によって参照し、現在パーティションの復元領域を生成することができる。符号化単位決定部１２０は、第１参照リスト及び第２参照リストが示す双方向予測のための参照映像を、当該参照順序によって参照し、現在パーティションの予測領域を復元することができる。

符号化単位決定部１２０は、現在映像の最大符号化単位ごとに、そしてそれぞれの最大符号化単位が深度別に分割された各深度の符号化単位ごとに、双方向予測または単一方向予測を伴う予測を行い、予測誤差に対する変換、量子化を含む符号化過程を経て生成された深度別符号化誤差を比較した結果に基づいて、最小誤差を発生させる符号化結果を出力する符号化深度の符号化単位とパーティションとを選択することができる。

一実施形態による双方向予測または単一方向予測は、第１参照リスト及び第２参照リストの参照順序によって、参照映像を利用して行われるということは、前述の通りである。特に、符号化単位決定部１２０は、双方向予測または単一方向予測が可能なスライス・タイプである現在パーティションのために、時間的に先行する参照映像を利用して前方予測する場合、第１参照リストと、第２参照リストとの参照順序を同一に決定することができる。符号化単位決定部１２０は、第１参照リストと、第２参照リストとが示す映像を、同一の参照順序通りに参照し、現在パーティションの復元映像を生成することができる。かように決定された符号化深度の符号化単位が、一実施形態によるツリー構造の符号化単位を構成することができる。

ビデオ符号化装置１００の出力部１３０は、ビデオ予測符号化装置１０の予測符号化部２６の動作を遂行することができる。すなわち、出力部１３０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、一実施形態による双方向予測及び単一方向予測によって生成された予測誤差の量子化された変換係数を出力することができる。

出力部１３０は、ツリー構造による符号化単位の符号化深度及び符号化モードに係わる情報を符号化して出力することができる。符号化モードに係わる情報は、一実施形態による双方向予測及び単一方向予測によって決定された参照情報、予測モード情報を含んでもよい。参照情報は、参照映像を示すインデックス、参照ブロックを示す動き情報などを含んでもよい。

出力部１３０は、一実施形態による双方向予測及び単一方向予測に係わる予測モード情報として、Ｂスライス・タイプ映像の第１参照リストと、第２参照リストとが同一であるか否かを示す単一方向予測情報、第４スライス・タイプを含むスライス・タイプ情報などを符号化することもできる。一実施形態による双方向予測及び単一方向予測によって決定された予測モード情報は、現在パーティションを含むスライスごとに、シーケンスごとに、またはピクチャごとに符号化される。

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図を図示している。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報の抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報の抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報の抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報の抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させるようにすることができる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定されてもよく、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出される。

映像データ及び符号化情報の抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報の抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであれば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティション・タイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティション・タイプ、予測モード及び変換単位大きさ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

また、図８のビデオ復号化装置２００は、図３を参照して説明したビデオ予測復号化装置３０の予測復号化動作を遂行することができる。

ビデオ復号化装置２００の受信部２１０と、映像データ及び符号化情報の抽出部２２０は、ビデオ予測復号化装置３０の受信抽出部３２の動作を遂行することができる。

一実施形態による映像データ及び符号化情報の抽出部２２０は、パージングされたビットストリームから、ツリー構造による符号化単位ごとに、一実施形態による双方向予測及び単一方向予測によって生成された予測誤差の量子化された変換係数を抽出することができる。

また、映像データ及び符号化情報の抽出部２２０は、パージングされたビットストリームから、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出しながら、一実施形態による双方向予測及び単一方向予測によって決定された予測モード情報を抽出することができる。映像データ及び符号化情報の抽出部２２０は、一実施形態によるＢスライス・タイプ映像の第１参照リストと、第２参照リストとが同一であるか否かを示す単一方向予測情報、第４スライス・タイプを含むスライス・タイプ情報などを抽出することもできる。一実施形態による双方向予測及び単一方向予測によって決定された予測モード情報は、現在パーティションを含むスライスごとに、シーケンスごとに、またはピクチャごとに別に抽出される。

また、映像データ及び符号化情報の抽出部２２０は、一実施形態による双方向予測及び単一方向予測のための参照映像及び参照ブロックを示す参照情報を抽出することができる。

ビデオ復号化装置２００の映像データ復号化部２３０は、ビデオ復号化装置３０の復元映像生成部３４の動作を遂行することができる。

映像データ復号化部２３０は、符号化深度及び符号化モードに係わる情報を利用して、ツリー構造の符号化単位を決定し、符号化単位ごとのパーティションを決定することができる。映像データ復号化部２３０は、現在映像のツリー構造の符号化単位ごとに、符号化された映像データについて逆量子化、逆変換を含む復号化過程を経て、符号化単位の予測誤差を復元することができる。

映像データ復号化部２３０は、ツリー構造の符号化単位ごとに含まれたパーティションを基にして、予測誤差に対して、一実施形態による双方向予測及び単一方向予測を行うことができる。Ｂスライス・タイプのパーティションのために、第１参照リスト及び第２参照リストを基にして、参照映像が決定される。映像データ復号化部２３０は、第１参照リスト及び第２参照リストが示す双方向予測のための参照映像を、当該参照順序によって参照し、現在パーティションの予測領域を復元することができる。

特に、図１及び図３を参照して説明したところと同様に、映像データ復号化部２３０は、第１参照リスト及び第２参照リストが示す単一方向予測のための参照映像を、同一の参照順序によって参照し、現在パーティションの復元領域を生成することができる。例えば、映像データ復号化部２３０は、双方向予測または単一方向予測が可能なスライス・タイプである現在映像のために、時間的に先行する参照映像を利用して前方予測する場合、第１参照リストと、第２参照リストとの参照順序を同一に決定し、第１参照リストと、第２参照リストとが示す映像を参照順序通りに参照し、パーティションを復元することができる。

これにより、映像データ復号化部２３０は、最大符号化単位ごとに、ツリー構造の符号化単位のパーティション別に予測復号化を行うことにより、現在映像の復元映像を生成することができる。

結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図９は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割されてもよく、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上するのである。

図１０は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

動き補償部４２５は、双方向予測が可能なＢスライス・タイプの参照映像を決定するために、Ｌ０リスト及びＬ１リストを決定することができる。Ｂスライス・タイプの映像が、時間的に先行する参照映像のみを有すると判断される場合、動き補償部４２５は、第１参照リストと、第２参照リストとの参照順序を同一に決定し、第１参照リストと、第２参照リストとが示す参照映像を、同一の順序で参照して補償を行い、復元映像を生成することができる。

図１１は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

動き補償部５６０は、双方向予測が可能なＢスライス・タイプの参照映像を決定するために、Ｌ０リスト及びＬ１リストを決定することができる。Ｂスライス・タイプの映像が、時間的に先行する参照映像のみを有すると判断される場合、動き補償部５６０は、第１参照リストと、第２参照リストとの参照順序を同一に決定し、第１参照リストと、第２参照リストとが示す参照映像を、同一の順序で参照して補償を行い、復元映像を生成することができる。

図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ、最大幅及び最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。事前に設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプとして選択される。

図１３は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が、６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１４は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティション・タイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティション・タイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティション・タイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報の抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図１５は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含んでもよい。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティション・タイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティション・タイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティション・タイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。

パーティション・タイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティション・タイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードが符号化深度の符号化モードとして設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティション・タイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」と設定され、符号化深度を除いた深度別分割情報は、「１」と設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報の抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１６、図１７及び図１８は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部の符号化単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位は、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティション・タイプで定義されてもよく、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。

パーティション・タイプ情報は、予測単位の高さまたは幅が、対称的な比率で分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率で分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで、２種の大きさ、インターモードで、２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティション・タイプによって変更される。

例えば、パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が、非対称形パーティション・タイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１９を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加し、変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例で、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定されてもよく、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されない。

さらに他の例で、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることはない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、これらうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」でもある。

一実施形態による最大変換単位サイズRootＴｕSizeは、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootＴｕSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize、PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。

図２０は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化方法のフローチャートを図示している。

段階１２１０で、現在映像は、少なくとも１つの最大符号化単位に分割される。また、可能な総分割回数を示す最大深度が事前に設定される。段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域が符号化され、少なくとも１つの分割領域別に、最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は、深度が深くなるたびに、空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されながら、さらに下位深度の符号化単位に分割される。深度別に符号化単位ごとに、反復して符号化が行われなければならない。

また、深度別符号化単位ごとに、符号化誤差が最小である予測単位及びパーティション、変換単位が決定されなければならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、予測誤差の符号化誤差が測定されて比較される。

符号化単位の決定過程において、予測のための予測単位及びパーティションが決定される。一実施形態による予測単位及びパーティションは、符号化単位の予測による誤差を最小化するデータ単位で決定される。符号化単位別に、予測結果、パーティションが決定され、パーティションのための参照映像が決定される。

双方向予測が可能なＢスライス・タイプのパーティションの予測補償のために、参照映像及び参照順序を含む参照リストが決定される。第１参照リスト及び第２参照リストは、それぞれ所定方向予測のための参照映像と、各参照映像の参照順序とを含んでもよい。ただし、現在パーティションのための参照映像が、時間的に先行する映像のみを含む場合には、第１参照リスト及び第２参照リストの参照順序が同一に決定される。第１参照リスト及び第２参照リストがそれぞれ示す参照映像と参照順序とが互いに同一に構成される。

第１参照リスト及び第２参照リストが示す参照映像と、各参照映像の参照順序とを基にして、パーティションの復元領域が生成される。

符号化単位ごとに、一実施形態による双方向予測または単一方向予測のための参照リストを利用する予測符号化が行われ、符号化誤差を最小化するパーティション・タイプと予測モードとが決定される。従って、最大符号化単位ごとに、符号化結果が出力されるツリー構造の符号化単位、パーティション・タイプ及び予測モードが決定される。

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別に、最終符号化結果である映像データと、符号化深度及び符号化モードに係わる情報とが出力される。符号化モードに係わる情報は、符号化深度に係わる情報または分割情報、予測単位のパーティション・タイプ情報、予測モード情報、変換単位階層構造情報などを含んでもよい。

一実施形態による符号化モードに係わる情報として、一実施形態による双方向予測及び単一方向予測によって決定された参照情報、予測モード情報などが符号化される。参照情報は、参照映像を示すインデックス、動き情報などを含んでもよい。一実施形態による予測モード情報、一実施形態によるＢスライス・タイプ映像の第１参照リストと、第２参照リストとが同一であるか否かを示す単一方向予測情報、第４スライス・タイプを含むスライス・タイプ情報などを含んでもよい。

符号化された符号化モードに係わる情報は、符号化された映像データと共に復号化端に伝送される。

図２１は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化方法のフローチャートを図示している。

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、並びに最大符号化単位別符号化深度及び符号化モードに係わる情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に、符号化誤差が最小である深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

一実施形態による符号化深度及び符号化モードに係わる情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することにより、映像の符号化／復号化の効率性が向上するのである。

一実施形態に符号化モードに係わる情報として、一実施形態による双方向予測及び単一方向予測のための参照情報及び予測モード情報が抽出される。一実施形態による双方向予測及び単一方向予測のための参照情報として、参照映像を示すインデックス、動き情報などが抽出される。一実施形態による双方向予測及び単一方向予測のための予測モード情報として、Ｂスライス・タイプ映像の第１参照リストと、第２参照リストとが同一であるか否かを示す単一方向予測情報、第４スライス・タイプを含むスライス・タイプ情報などが抽出される。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードに係わる情報に基づいて、現在符号化単位について復号化が行われながら、パーティション・タイプ情報に基づいて、予測単位またはパーティションが決定され、予測モード情報に基づいて、パーティション別に予測モードが決定され、パーティション別に予測補償が行われる。

双方向予測が可能なＢスライス・タイプのパーティションの予測補償のために、参照映像及び参照順序を含む参照リストが決定される。第１参照リスト及び第２参照リストが示す参照映像と、当該参照順序とによって参照し、パーティションの復元領域を生成することができる。ただし、現在パーティションのための参照映像が、時間的に先行する映像のみを含む場合には、第１参照リスト及び第２参照リストの参照順序が同一に決定される。第１参照リスト及び第２参照リストがそれぞれ示す参照映像と参照順序とが互いに同一に構成される。

符号化単位ごとに、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

なお、以下の付記を記す。
（付記１） ビデオ予測方法において、
映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する段階と、
前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する段階と、
前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する段階と、を含むことを特徴とするビデオ予測方法。
（付記２） 前記第１参照リストと、第２参照リストとの決定段階は、
Ｂスライス・タイプである現在映像の予測のための参照情報が、時間的に単一方向予測のための参照映像のみを示す場合、前記第１参照リストの参照順序と、前記第２参照リストの参照順序とを同一に決定する段階を含むことを特徴とする付記１に記載のビデオ予測方法。
（付記３） 前記復元映像生成段階は、
Ｂスライス・タイプである現在映像の前記第２参照リストが、前記参照映像を含まない場合、前記第１参照リストと同一の参照情報及び参照順序を含むように、前記第２参照リストを決定し、前記第１参照リスト及び前記第２参照リストが示す映像を参照し、前記復元映像を生成する段階を含むことを特徴とする付記１に記載のビデオ予測方法。
（付記４） 前記第１参照リストと、第２参照リストとの決定段階は、
Ｂスライス・タイプである現在映像の参照映像が、単一方向予測のための参照映像のみを含む場合、前記第１参照リストと前記第２参照リストとが示す参照映像の個数が互いに同一であり、前記第１参照リストに含まれる参照情報と、前記第２参照リストに含まれる参照情報とが示す映像が互いに同一であり、前記第１参照リストと、前記第２参照リストとの参照順序を互いに同一に決定する段階を含むことを特徴とする付記１に記載のビデオ予測方法。
（付記５） 前記ビデオ予測方法は、
前記映像について予測を行い、前記参照情報と予測誤差とを決定する段階と、
前記参照情報及び前記予測誤差を符号化する段階と、を含むことを特徴とする付記１に記載のビデオ予測方法。
（付記６） 前記符号化段階は、
Ｂスライス・タイプである映像の予測のための参照映像が、単一方向予測のための参照映像を含む場合、前記第１参照リストと、前記第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を符号化する段階を含み、
現在スライスのための前記単一方向予測情報は、スライス、シーケンス、ピクチャのうち少なくとも１つの映像単位ごとに符号化されることを特徴とする付記５に記載のビデオ予測方法。
（付記７） 前記符号化段階は、
Ｉスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプに追加し、前記現在映像のために決定された参照映像が、単一方向予測のための参照映像を含む場合には、前記第１参照リストと、前記第２参照リストとの参照順序が同一に設定される予測モードによって、予測符号化される新規スライス・タイプを含むスライス・タイプ情報を符号化する段階を含むことを特徴とする付記５に記載のビデオ予測方法。
（付記８） 前記ビデオ予測方法は、
映像の予測のための少なくとも１つの参照映像を示す参照情報を受信する段階をさらに含むことを特徴とする付記１に記載のビデオ予測方法。
（付記９） 前記参照情報受信段階は、
Ｂスライス・タイプである映像の予測のための前記第１参照リストと、前記第２参照リストとの参照順序が同一であるか否かを示す単一方向予測情報を受信する段階を含み、
前記第１参照リストと前記第２参照リストとの決定段階は、
前記単一方向予測情報に基づいて、前記第１参照リストと、前記第２参照リストとの参照順序を同一に決定する段階を含み、
現在スライスのための前記単一方向予測情報は、スライス、シーケンス、ピクチャのうち少なくとも１つの映像単位ごとに受信されることを特徴とする付記８に記載のビデオ予測方法。
（付記１０） 前記参照情報受信段階は、
Ｉスライス・タイプ、Ｐスライス・タイプ及びＢスライス・タイプに追加し、前記現在映像のために決定された参照映像が、単一方向予測のための参照映像のみを含むか否かということに基づいて、前記第１参照リストと、前記第２参照リストとの参照順序を決定する新規スライス・タイプを含むスライス・タイプ情報を受信する段階を含み、
前記第１参照リストと前記第２参照リストとの決定段階は、
前記スライス・タイプ情報に基づいて、前記第１参照リストと、前記第２参照リストとの参照順序を同一に決定する段階を含むことを特徴とする付記８に記載のビデオ予測方法。
（付記１１） 前記ビデオ予測方法は、
前記映像を最大サイズの符号化単位に分割された少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化結果を出力するために、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定する段階をさらに含み、
前記参照情報決定段階は、前記パーティションを基にして、前記参照映像を示す参照情報を決定する段階を含み、
前記深度別符号化単位のうち、周辺深度別符号化単位と独立して、それぞれの深度別符号化単位ごとに、前記符号化深度の符号化単位が決定され、前記ツリー構造による符号化単位は、前記最大符号化単位内で、同一領域では、深度によって階層的であり、他の領域については、独立的である符号化深度の符号化単位から構成されることを特徴とする付記１に記載のビデオ予測方法。
（付記１２） ビデオ予測装置において、
映像の予測のための少なくとも１つの参照映像を示す参照情報を決定する参照情報決定部と、
前記参照情報及び前記参照映像の参照順序を含む第１参照リストと、第２参照リストとを決定する参照リスト決定部と、
前記決定された参照情報が、時間的に単一方向予測のための映像のみを示す場合、前記第１参照リストと前記第２参照リストとが示す映像を、同一の参照順序で参照して復元映像を生成する復元映像生成部と、
前記参照情報決定部、前記参照リスト決定部及び前記復元映像生成部の動作を制御するプロセッサと、を含むことを特徴とするビデオ予測装置。
（付記１３） 前記ビデオ予測装置は、
前記映像について予測を行い、少なくとも１つの参照映像と予測誤差とを決定する予測部と、
前記決定された参照情報及び予測誤差を符号化する予測符号化部と、をさらに含むことを特徴とする付記１２に記載のビデオ予測装置。
（付記１４） 前記ビデオ予測装置において、
受信されたビットストリームをパージングし、前記映像の予測のための少なくとも１つの参照映像を示す参照情報及び予測誤差を抽出する受信抽出部をさらに含むことを特徴とする付記１２に記載のビデオ予測装置。
（付記１５） 付記１に記載のビデオ予測方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

１０ ビデオ予測装置
１２ 参照情報決定部
１４ 参照リスト決定部
１６ 復元映像生成部
２０ ビデオ予測符号化装置
２２ 予測部
２４ 復元映像生成部
２６ 予測符号化部
３０ ビデオ予測復号化装置
３２ 受信抽出部
３４ 復元映像生成部

Claims (4)

1. 現在スライスが両予測タイプに該当する場合、第１予測のための１以上のピクチャを含む第１参照ピクチャ、及び第２予測のための１以上のピクチャを含む第２参照ピクチャを決定する段階と、
   前記第１参照ピクチャを基に第１参照リストを決定する段階と、
   前記第２参照ピクチャが前記第１参照ピクチャと同一であるか否かということに係わりなく、前記第２参照ピクチャを基に第２参照リストを決定する段階と、
   前記第１参照リスト及び前記第２参照リストのうち少なくとも一つを利用して、前記現在スライス内の現在予測単位に対するインター予測を行う段階と、を含むビデオ復号化方法。
2. 前記第１参照リストは、Ｌ０リストであり、前記第２参照リストは、Ｌ１リストであることを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記両予測タイプは、Ｂスライスタイプであることを特徴とする請求項１に記載のビデオ復号化方法。
4. 現在スライスが両予測タイプに該当する場合、第１予測のための１以上のピクチャを含む第１参照ピクチャ、及び第２予測のための１以上のピクチャを含む第２参照ピクチャを決定する参照ピクチャ決定部と、
   前記第１参照ピクチャを基に第１参照リストを決定し、前記第２参照ピクチャが前記第１参照ピクチャと同一であるか否かということに係わりなく、前記第２参照ピクチャを基に第２参照リストを決定する参照リスト決定部と、
   前記第１参照リスト及び前記第２参照リストのうち少なくとも一つを利用して、前記現在スライス内の現在予測単位に対するインター予測を行う予測部と、を含むビデオ復号化装置。

Images