JP2015514350A - ツリー構造の符号化単位に基づいたスケーラブルビデオ符号化方法及びその装置、ツリー構造の符号化単位に基づいたスケーラブルビデオ復号化方法及びその装置 - Google Patents

Abstract

ツリー構造の符号化単位を基にしたスケーラブルビデオ符号化及びビデオ復号化に係り、映像の最大符号化単位が階層的に分割された符号化単位のうちツリー構造の符号化単位を基に、下位レイヤ映像を符号化し、上位レイヤ映像をツリー構造の符号化単位を基に下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定し、スケーラブル符号化モードに基づいて、下位レイヤ映像を参照するビデオ符号化方法である。

Description

本発明は、ビデオ符号化及びビデオ復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり、復号化したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

周波数変換を利用して空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の早い演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差でもって表現されるので、予測誤差に対して周波数変換が行われば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復して生じるデータを小サイズのデータで置換することにより、データ量を節減している。

本発明は、スケーラブルビデオ符号化技法及びスケーラブルビデオ復号化技法を遂行し、さらに詳細には、ツリー構造による符号化単位を利用するスケーラブルビデオ符号化技法及びスケーラブル復号化技法を遂行するものである。

本発明の一実施形態によるスケーラブルビデオ符号化方法は、映像の最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する段階と、上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定する段階と、前記決定されたスケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報を参照し、前記上位レイヤ映像を予測符号化する段階と、前記スケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報、及び前記上位レイヤ映像のスケーラブル符号化モードを出力する段階と、を含む。前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということが決定される。

本発明によれば、ツリー構造による符号化単位及び予測単位、変換単位を利用して符号化された下位レイヤ映像と上位レイヤ映像との間に、互いに対応する下位レイヤデータ単位と、上位レイヤデータ単位とを正確に検出し、下位レイヤデータ単位の各種符号化情報を利用して、上位レイヤデータ単位を決定することにより、上位レイヤ映像のための符号化情報の伝送ビット量を減縮し、効果的にスケーラブルビデオ符号化／復号化技法を具現することができる。

本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。 本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態によるスケーラブルビデオ符号化装置のブロック図である。 一実施形態によるスケーラブルビデオ復号化装置のブロック図である。 一実施形態によるスケーラブル符号化システムのブロック図である。 一実施形態によるインターレイヤ予測方法を図示する図面である。 一実施形態による、下位レイヤと上位レイヤとのマッピング関係を図示する図面である。 一実施形態によるスケーラブルビデオ符号化方法のフローチャートである。 一実施形態によるスケーラブルビデオ復号化方法のフローチャートである。 他の実施形態によるスケーラブルビデオ符号化方法のフローチャートである。 他の実施形態によるスケーラブルビデオ復号化方法のフローチャートである。

本発明の一実施形態によるスケーラブルビデオ符号化方法は、映像の最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する段階と、上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定する段階と、前記決定されたスケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報を参照し、前記上位レイヤ映像を予測符号化する段階と、前記スケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報、及び前記上位レイヤ映像のスケーラブル符号化モードを出力する段階と、を含む。前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということが決定される。

一実施形態によるスケーラブルビデオ符号化方法は、映像の最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する段階と、上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定する段階と、前記決定されたスケーラブル符号化モードに基づいて、前記上位レイヤのデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤのデータ単位の符号化情報を参照し、前記上位レイヤ映像を予測符号化する段階と、を含んでもよい。

本発明の一実施形態によるスケーラブルビデオ復号化方法は、受信されたビットストリームから、下位レイヤ映像の符号化情報、上位レイヤ映像のスケーラブル符号化モードをパージングする段階と、前記パージングされた下位レイヤ映像の符号化情報を利用して、前記下位レイヤ映像を、最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に復号化する段階と、前記上位レイヤ映像のスケーラブル符号化モードによって、前記下位レイヤ映像符号化情報を参照し、前記上位レイヤ映像を、前記ツリー構造の符号化単位に基づいて予測復号化する段階と、を含んでもよい。

一実施形態によるスケーラブルビデオ復号化方法は、受信されたビットストリームからパージングされた、下位レイヤ映像の符号化情報を利用して、下位レイヤ映像を、最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に復号化する段階と、前記ビットストリームからパージングされた、前記上位レイヤ映像のスケーラブル符号化モードによって、前記上位レイヤ映像のデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤ映像のデータ単位の符号化情報を参照し、前記上位レイヤ映像を、前記ツリー構造の符号化単位に基づいて予測復号化する段階と、を含んでもよい。

本発明の一実施形態によるスケーラブルビデオ符号化装置は、映像の最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する下位レイヤ符号化部と、上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定し、前記決定されたスケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報を参照し、前記上位レイヤ映像を予測符号化する上位レイヤ符号化部と、前記スケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報、及び前記上位レイヤ映像のスケーラブル符号化モードを出力する出力部と、を含む。

一実施形態によるスケーラブルビデオ符号化装置は、映像の最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する下位レイヤ符号化部と、上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定し、前記決定されたスケーラブル符号化モードに基づいて、前記上位レイヤのデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤのデータ単位の符号化情報を参照し、前記上位レイヤ映像を予測符号化する上位レイヤ符号化部と、を含む。

本発明の一実施形態によるスケーラブルビデオ復号化装置は、受信されたビットストリームから、下位レイヤ映像の符号化情報、上位レイヤ映像のスケーラブル符号化モードをパージングするパージング部と、前記パージングされた下位レイヤ映像の符号化情報を利用して、前記下位レイヤ映像を、最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に復号化する下位レイヤ復号化部と、前記上位レイヤ映像のスケーラブル符号化モードによって、前記下位レイヤ映像符号化情報を参照し、前記上位レイヤ映像をツリー構造の符号化単位に基づいて予測復号化する上位レイヤ復号化部と、を含む。

一実施形態によるスケーラブルビデオ復号化装置は、受信されたビットストリームからパージングされた、下位レイヤ映像の符号化情報を利用して、下位レイヤ映像を、最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に復号化する下位レイヤ復号化部と、前記ビットストリームからパージングされた、前記上位レイヤ映像のスケーラブル符号化モードによって、前記上位レイヤ映像のデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤ映像のデータ単位の符号化情報を参照し、前記上位レイヤ映像を、前記ツリー構造の符号化単位に基づいて予測復号化する上位レイヤ復号化部と、を含む。

本発明は、一実施形態によるスケーラブルビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体を含む。本発明は、一実施形態によるスケーラブルビデオ復号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体を含む。

以下、図１ないし図１３を参照し、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。また、図１４ないし図２を参照し、一実施形態による、ツリー構造の符号化単位に基づいたスケーラブルビデオ符号化技法及びスケーラブルビデオ復号化技法が開示される。

まず、図１ないし図１３を参照し、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法について詳細に説明する。

図１は、本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によっ、て深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図３ないし図１３を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小大きさに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、図１ないし図６を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図を図示している。一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など、各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに、映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定されもし、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであるならば、同一符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図３は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。

図４は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びオフセット調整部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット調整部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図５は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びオフセット調整部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びオフセット調整部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０において、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部以後の段階別作業が遂行される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット調整部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに変換単位の大きさを決定しなければならない。

図６は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６）に分割される。

最後に、深度３のサイズ８ｘ８の符号化単位６４０は、最小符号化単位であり、最下位深度の符号化単位である。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位において映像を符号化したり、復号化したりする。符号化過程中において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということ示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」と指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部パーティション１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す図面である。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４）、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１３を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加して変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）において、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないことに留意しなければならない。

以上、図１ないし図１３を参照して説明したツリー構造の符号化単位を含む最大符号化単位は、コーディング・ブロックツリー（coding block tree）、ブロックツリー、ルート・ブロックツリー（root block tree）、コーディングツリー、コーディングルートまたはツリートランク（tree trunk）などと多様に命名されたりする。

以下、図１４ないし図２２を参照し、ツリー構造の符号化単位に基づいたスケーラブルビデオ符号化技法及びスケーラブルビデオ復号化技法について詳細に説明する。

図１４は、一実施形態によるスケーラブルビデオ符号化装置（１４００）のブロック図を図示している。一実施形態によるスケーラブルビデオ符号化装置１４００は、下位レイヤ符号化部１４１０、上位レイヤ符号化部１４２０及び出力部１４３０を含む。

一実施形態による下位レイヤ符号化部１４１０は、多数レイヤに分類された映像のうち下位レイヤ映像を符号化する。

一実施形態によるスケーラブルビデオ符号化装置１４００は、先に図１ないし図１３を参照して説明したツリー構造の符号化単位に基づいて、下位レイヤ映像を符号化することができる。すなわち、下位レイヤ符号化部１４１０は、下位レイヤ映像を最大符号化単位に分割し、それぞれの最大符号化単位が階層的に分割された符号化単位のうち、分割が完了された符号化単位を基に、符号化モードを決定して符号化されたデータを出力することができる。

先に図１ないし図１３を参照して説明したように、ビデオ映像が空間的に分割されて最大符号化単位が形成され、それぞれの最大符号化単位は、複数の符号化単位に分割される。それぞれの符号化単位がさらに小さい符号化単位に分割されるか否かということが決定されるとき、符号化単位ごとに個別的に決定され、隣接する符号化単位と独立して決定される。

一実施形態による上位レイヤ符号化部１４２０は、多数レイヤに分類された映像のうち上位レイヤ映像を符号化する。

上位レイヤ符号化部１４２０は、上位レイヤ映像のツリー構造の符号化単位を基に、上位レイヤ映像が符号化されたデータを出力することができる。また、上位レイヤ符号化部１４２０は、上位レイヤ映像の符号化のために、下位レイヤ映像を参照するか否かということを示す情報であるスケーラブル符号化モードを決定することができる。上位レイヤ符号化部１４２０は、決定されたスケーラブル符号化モードに基づいて、下位レイヤ映像の符号化情報を参照し、上位レイヤ映像を予測符号化することができる。

一実施形態による出力部１４３０は、下位レイヤ符号化部１４１０の符号化結果により、下位レイヤ映像の符号化モード及び予測値を出力することができる。出力部１４３０は、下位レイヤ符号化部１４１０が、最大符号化単位別に、ツリー構造の符号化単位を基に符号化を行って符号化されたデータを出力することができる。

また、出力部１４３０は、上位レイヤ符号化部１４２０で決定されたスケーラブル符号化モードに基づいた符号化結果により、上位レイヤ映像のスケーラブル符号化モードを出力することができる。同様に、出力部１４３０は、上位レイヤ符号化部１４２０が、最大符号化単位別に、ツリー構造の符号化単位を基に符号化を行った結果により、選択的に符号化情報を出力することができる。

上位レイヤ映像が参照することができる下位レイヤ映像の符号化情報は、符号化された符号化モード、予測値、シンタックス、復元値などの符号化の結果として決定される諸般の情報のうち少なくとも一つでもある。一実施形態による符号化モードは、符号化単位の構造情報、予測モードによる予測情報を含んでもよい。符号化単位の構造情報とは、現在符号化単位の深度、現在符号化単位が構成する符号化単位のグループ形態のうち少なくとも一つを含んでもよい。予測情報は、イントラ予測のためのパーティション形態、イントラインデックス、インター予測のためのパーティション形態、動きベクトル、参照インデックス、非ゼロ係数位置情報（最後の係数位置情報）のうち少なくとも一つを含んでもよい。一実施形態による予測値は、量子化された変換係数、インター予測による係数の差分値、残差データのうち少なくとも一つを含んでもよい。

上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化モードにおいて、符号化単位の構造情報及び符号化単位に含まれる変換単位の構造情報のうち少なくとも一つを参照し、上位レイヤ映像を符号化することができる。一実施形態による変換単位の構造情報は、現在変換単位の変換深度、変換インデックスのうち少なくとも一つを含んでもよい。

上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化モードにおいて、予測モード、パーティションタイプ、動き情報及びイントラ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードを決定することができる。

上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化モードにおいて、ループフィルタリング関連情報、非ゼロ係数位置情報、復元された予測値、及び復元されたテクスチャ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードを決定することもできる。

例えば、現在データ単位の復元された予測値は、イントラモードの場合、現在データ単位の空間的に隣接する隣接データ単位の値を使用して決定される予測値を意味する。また、インター予測の場合、現在データ単位の復元された予測値は、現在データ単位が先に復元された参照フレームを利用した動き補償を行って生成した予測値を意味する。それによる一実施形態として、上位レイヤデータ単位の予測値は、下位レイヤ復元映像がスケーリングされた映像のうち、上位レイヤデータ単位に相応して位置する下位レイヤデータ単位の復元された予測値を利用して決定されもする。他の例として、上位レイヤデータ単位の予測値は、下位レイヤ復元映像のうち、上位レイヤデータ単位に相応して位置する下位レイヤデータ単位の復元された予測値がスケーリングされた値を利用して決定されもする。

上位レイヤ符号化部１４２０は、決定された上位レイヤ映像の符号化モードに基づいて、上位レイヤ映像を符号化することができる。

一実施形態による上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化情報において、残差情報及び変換係数のうち少なくとも一つを参照し、上位レイヤ映像の残差情報及び変換係数のうち少なくとも一つを決定することができる。

一実施形態による上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化情報において、イントラ予測またはインター予測によって生成された復元映像などの復元値を参照し、上位レイヤ映像の復元値を決定することもできる。

また、一実施形態による上位レイヤ符号化部１４２０は、下位レイヤ映像の符号化の結果として決定された符号化シンタックス要素（syntax elements）を利用して、上位レイヤ映像のための符号化シンタックス要素を決定することもできる。

そのように、上位レイヤ符号化部１４２０は、スケーラブル符号化モードによって、下位レイヤ映像の符号化情報を利用して決定された上位レイヤ映像の符号化情報に基づいて、上位レイヤ映像を符号化することができる。

一実施形態による上位レイヤ符号化部１４２０は、上位レイヤ映像の所定データ単位別に、スケーラブル符号化モードを決定することができる。例えば、ピクチャシーケンスごとに、個別的にスケーラブル符号化モードが決定される。例えば、ピクチャごとに、個別的にスケーラブル符号化モードが決定される。例えば、フレームごとに、個別的にスケーラブル符号化モードが決定される。例えば、タイルごとに個、別的にスケーラブル符号化モードが決定される。例えば、最大符号化単位ごとに、個別的にスケーラブル符号化モードが決定される。例えば、符号化単位ごとに、個別的にスケーラブル符号化モードが決定される。例えば、符号化単位の所定グループごとに、個別的にスケーラブル符号化モードが決定される。

すなわち、一実施形態による上位レイヤ符号化部１４２０は、各データ単位ごとに、当該スケーラブル符号化モードにより、インターレイヤ予測を行うこともあり、あるいは行わないこともある。

一実施形態による出力部１４３０は、下位レイヤ映像の符号化モード及び予測値を出力することができる。

一実施形態による出力部１４３０は、スケーラブル符号化モードによって出力する上位レイヤ映像のために出力する情報が異なりもする。

例えば、上位レイヤ符号化部１４２０は、上位レイヤ映像の第１スケーラブル符号化モードにより、上位レイヤ映像の符号化情報を下位レイヤ映像の符号化情報から類推したり、予測したりすることができる。または、上位レイヤ符号化部１４２０は、第１スケーラブル符号化モードにより、上位レイヤ映像の符号化情報のうち一部を、下位レイヤ映像の符号化モードから類推したり、予測したりすることができる。

その場合、出力部１４３０は、第１スケーラブル符号化モードによれば、上位レイヤ映像の符号化情報において、下位レイヤ映像から類推された情報を除いた残りの符号化情報を出力することができる。その場合、受信端は、直接受信した上位レイヤ映像の符号化情報は、受信された形態通り利用しながら、伝送されていない上位レイヤ映像の符号化モードは、下位レイヤ映像の符号化情報を参照して類推したり、予測したりすることができる。

他の例として、上位レイヤ符号化部１４２０は、上位レイヤ映像の第２スケーラブル符号化モードにより、上位レイヤ映像の符号化情報を、下位レイヤ映像の符号化情報から類推したり、予測したりすることができる。

その場合、出力部１４３０は、第２スケーラブル符号化モードによれば、上位レイヤ映像のスケーラブル符号化モードのみを出力し、上位レイヤ映像の符号化情報は、伝送しないこともある。その場合、受信端は、下位レイヤ映像の符号化モード、予測値、シンタックス、復元値のうち少なくとも一つを含む符号化情報から上、位レイヤ映像の符号化情報を誘導したり、予測したりすることができる。

一実施形態による上位レイヤ符号化部１４２０は、決定されたスケーラブル符号化モードに基づいて、上位レイヤのデータ単位が参照する下位レイヤ映像のデータ単位を決定することができる。言い換えれば、上位レイヤデータ単位の位置に相応する位置にマッピングされる下位レイヤデータ単位が決定される。上位レイヤ符号化部１４２０は、決定された下位レイヤのデータ単位の符号化モード、予測値、シンタックス、復元値のうち少なくとも一つを含む符号化情報を参照し、上位レイヤ映像を予測符号化することができる。

図１ないし図１３を参照して説明したように、下位レイヤ映像及び上位レイヤ映像のデータ単位は、それぞれ当該レイヤ映像の最大符号化単位、符号化単位、並びに符号化単位に含まれる予測単位、変換単位及び最小単位のうち少なくとも一つを含んでもよい。

一実施形態による上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位に相応する同種の下位レイヤ映像のデータ単位を決定することができる。例えば、上位レイヤ映像の最大符号化単位は、下位レイヤ映像の最大符号化単位を参照することができる。上位レイヤ映像の符号化単位は、下位レイヤ映像の符号化単位を参照することができる。

また、一実施形態による上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位グループに相応する同一グループ種類の下位レイヤ映像のデータ単位グループを決定することができる。例えば、上位レイヤ映像の符号化単位のグループは、下位レイヤ映像の符号化単位のグループを参照することができる。上位レイヤ映像の変換単位のグループは、下位レイヤ映像の変換単位のグループを参照することができる。下位レイヤ映像のデータ単位グループの参照可能な符号化情報を利用して、上位レイヤ映像の現在データ単位グループが符号化されもする。

上位レイヤ符号化部１４２０は、映像のデータ単位であるスライスまたはタイルについても、スケーラブル符号化を行うことができる。例えば、上位レイヤ符号化部１４２０は、上位レイヤ映像の現在スライスと相応する位置を含む下位レイヤ映像のスライスの符号化情報を参照し、上位レイヤの現在スライスを符号化することができる。または、上位レイヤ符号化部１４２０は、上位レイヤ映像の現在タイルに相応する位置を含む下位レイヤ映像のタイルの情報を参照し、上位レイヤ映像の現在タイルを符号化することもできる。

上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位に相応する下位レイヤ映像のデータ単位を決定するために、副画素（sub-pixel）レベルのサンプル正確度により、上位／下位レイヤ映像間のサンプルを比較することができる。例えば、１／１２画素レベルのサンプル位置まで、上位レイヤ映像に対応する下位レイヤ映像のサンプル位置を検索することができる。その場合、下位／上位レイヤ映像間に、２倍アップサンプリング関係である場合、１／４画素位置及び３／４画素位置の副画素レベルまでのサンプル正確度が必要である。３／２倍アップサンプリング関係である場合には、１／３画素位置及び２／３画素位置の副画素レベルまでのサンプル正確度が必要である。

そのような下位レイヤ映像と、上位レイヤ映像とのデータ単位のマッピングと係わる実施形態は、以下図１８を参照して上述する。

上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位に相応するが、現在データ単位グループと異なる種類のデータ単位を、下位レイヤ映像のうち決定することができる。例えば、上位レイヤ映像の符号化単位は、下位レイヤ映像の最大符号化単位を参照することができる。上位レイヤ映像の予測単位は、下位レイヤ映像の符号化単位を参照することができる。下位レイヤ映像のデータ単位の符号化情報を参照し、上位レイヤ映像の現在データ単位が符号化される。

上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位グループに相応するが、現在データ単位グループと異なる種類のデータ単位グループを、下位レイヤ映像のうち決定することができる。例えば、上位レイヤ映像の予測単位のグループは、下位レイヤ映像の符号化単位のグループを参照することができる。上位レイヤ映像の変換単位のグループは、下位レイヤ映像の符号化単位のグループを参照することができる。下位レイヤ映像の他種のデータ単位グループの符号化情報を参照し、上位レイヤ映像の現在データ単位グループが符号化される。

上位レイヤ符号化部１４２０は、上位レイヤ映像の現在データ単位のために、インターレイヤ予測モードが決定される場合、現在データ単位に含まれる下位データ単位のうち一部は、下位レイヤ映像を参照して予測符号化するインターレイヤ予測を行い、下位データ単位のうち残りは、上位レイヤ映像と同一レイヤ内で予測符号化することもできる。

上位レイヤ符号化部１４２０は、下位レイヤ映像から類推された符号化情報を調整し、調整された符号化情報を参照し、上位レイヤ映像の符号化情報を決定することができる。決定された上位レイヤ映像の符号化情報を利用して、上位レイヤ映像が復元される。下位レイヤ映像から類推された符号化情報を細密に調整するためのリファインメント（refinement）情報も符号化される。

一実施形態によるスケーラブルビデオ符号化装置１４００は、ツリー構造の符号化単位を基に符号化するので、一実施形態によるビデオ符号化装置１００と関連する。

例えば、スケーラブルビデオ符号化装置１４００の下位レイヤ符号化部１４１０は、ビデオ符号化装置１００の最大符号化単位分割部１１０、符号化単位決定部１２０、出力部１３０の動作により、下位レイヤ映像を、ツリー構造の符号化単位を基に符号化することができる。符号化単位決定部１２０は、下位レイヤ映像の符号化単位、予測単位、変換単位、パーティションなどのデータ単位について、符号化モードを決定することができる。伝送部１４３０は、出力部１３０の動作と同様に、下位レイヤ映像のデータ単位ごとに決定された符号化モード、及び符号化された予測値を含む符号化情報を出力することができる。

例えば、上位レイヤ符号化部１４２０も、最大符号化単位分割部１１０、符号化単位決定部１２０、出力部１３０の動作によって符号化を行うことができる。上位レイヤ符号化部１４２０の符号化動作は、符号化単位決定部１２０の動作と同様であるが、スケーラブル符号化モードに基づいて、上位レイヤ映像のための符号化情報を決定するために、下位レイヤ映像の符号化情報を参照することができる。また、伝送部１４３０は、出力部１３０の動作と同様であるが、スケーラブル符号化モードに基づいて、上位レイヤの符号化情報を選択的に符号化しないこともある。

一実施形態によるスケーラブルビデオ符号化装置１４００は、下位レイヤ符号化部１４１０、上位レイヤ符号化部１４２０及び出力部１４３０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、下位レイヤ符号化部１４１０、上位レイヤ符号化部１４２０及び出力部１４３０が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、スケーラブルビデオ符号化装置１４００が全体的に作動することもできる。または、一実施形態によるスケーラブルビデオ符号化装置１４００の外部プロセッサ（図示せず）の制御により、下位レイヤ符号化部１４１０、上位レイヤ符号化部１４２０及び出力部１４３０が制御されもする。

一実施形態によるスケーラブルビデオ符号化装置１４００は、下位レイヤ符号化部１４１０、上位レイヤ符号化部１４２０及び出力部１４３０の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるスケーラブルビデオ符号化装置１４００は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるスケーラブルビデオ符号化装置１４００の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、スケーラブルビデオ符号化装置１４００、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合を含んでもよい。

図１５は、一実施形態によるスケーラブルビデオ復号化装置１５００のブロック図を図示している。一実施形態によるスケーラブル復号化装置１５００は、パージング部１５１０、下位レイヤ復号化部１５２０及び上位レイヤ復号化部１５３０を含む。

スケーラブルビデオ復号化装置１５００は、ビデオの符号化されたデータが収録されたビットストリームを受信することができる。パージング部１５１０は、受信されたビットストリームから、下位レイヤ映像の符号化情報、上位レイヤ映像のスケーラブル符号化モードをパージングすることができる。

下位レイヤ復号化部１５２０は、パージングされた下位レイヤ映像の符号化情報を利用して、下位レイヤ映像を復号化することができる。スケーラブルビデオ復号化装置１５００が、ツリー構造の符号化単位を基に映像を復号化する場合、下位レイヤ復号化部１５２０は、下位レイヤ映像の最大符号化単位別に、ツリー構造の符号化単位を基に復号化を行うことができる。

上位レイヤ復号化部１５３０は、パージングされた上位レイヤ映像のスケーラブル符号化モードにより、下位レイヤ映像の符号化情報、すなわち、符号化情報を参照し、上位レイヤ映像を予測復号化することができる。同様に、上位レイヤ復号化部１５３０は、上位レイヤ映像の最大符号化単位別に、ツリー構造の符号化単位に基づいて、復号化を行うことができる。

例えば、上位レイヤ復号化部１５３０は、下位レイヤ映像の符号化モードの中で、符号化単位の構造情報及び符号化単位に含まれる変換単位の構造情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードを決定することができる。

例えば、上位レイヤ復号化部１５３０は、下位レイヤ映像の符号化モードにおいて、予測モード情報、パーティションタイプ情報、動き情報及びイントラ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードを決定することもできる。

例えば、上位レイヤ復号化部１５３０は、下位レイヤ映像の符号化モードにおいて、ループフィルタリング関連情報、非ゼロ係数位置情報、復元された予測情報、及び復元されたテクスチャ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードを決定することもできる。

上位レイヤ復号化部１５３０は、下位レイヤ映像の符号化モードを参照して決定された上位レイヤ映像の符号化モードに基づいて、上位レイヤ映像を復号化することができる。

例えば、上位レイヤ復号化部１５３０は、下位レイヤ映像の符号化モードにおいて、残差情報、係数情報及び復元された予測値のうち少なくとも一つを参照し、上位レイヤ映像の予測値を決定することもできる。上位レイヤ復号化部１５３０は、決定された上位レイヤ映像の予測値に基づいて、上位レイヤ映像を復号化することもできる。

パージング部１５１０は、第１スケーラブル符号化モードに基づいて、上位レイヤ映像の符号化モードとして、下位レイヤ映像の符号化モードから類推された情報を除いた残りの情報をパージングすることができる。その場合、上位レイヤ復号化部１５３０は、パージングされていない上位レイヤ映像の符号化モードについての情報は、下位レイヤ映像の符号化モードから誘導したり、予測したりすることができる。

または、パージング部１５１０は、第１スケーラブル符号化モードに基づいて、上位レイヤ映像の予測値として、下位レイヤ映像の予測値から類推された情報を除いた残りの情報をパージングすることができる。その場合、上位レイヤ復号化部１５３０は、パージングされていない上位レイヤ映像の予測値についての情報は、下位レイヤ映像の予測値から誘導したり、予測したりすることができる。

パージング部１５１０は、上位レイヤ映像が、第２スケーラブル符号化モードであるということを示すスケーラブル符号化モード情報のみをパージングすることもできる。その場合、上位レイヤ復号化部１５３０は、上位レイヤ映像の符号化情報を、下位レイヤ映像の符号化情報から誘導したり、予測したりすることができる。

また、上位レイヤ復号化部１５３０は、ビットストリームからパージングされた上位レイヤ映像のスケーラブル符号化モードにより、上位レイヤ映像のデータ単位が参照する下位レイヤ映像のデータ単位を決定することができる。すなわち、上位レイヤ映像のデータ単位の位置に相応する位置にマッピングされる下位レイヤ映像のデータ単位が決定される。上位レイヤ復号化部１５３０は、決定された下位レイヤ映像のデータ単位の符号化情報を参照し、上位レイヤ映像を予測復号化することができる。上位レイヤ映像は、ツリー構造の符号化単位に基づいて予測復号化される。

上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位に相応する下位レイヤ映像のデータ単位を決定するために、副画素レベルのサンプル正確度によって、上位レイヤ映像のサンプルに相応する下位レイヤ映像のサンプル位置を検索することができる。

上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位に相応する同種の下位レイヤ映像のデータ単位を決定することができる。上位レイヤ復号化部１５３０は、決定された下位レイヤ映像のデータ単位の符号化情報を参照し、上位レイヤ映像の現在データ単位の符号化情報を決定し、決定された現在データ単位の符号化情報を利用して、現在データ単位を復号化することができる。

上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位グループに相応する同一グループ種類の下位レイヤ映像のデータ単位グループを決定することもできる。上位レイヤ復号化部１５３０は、決定された下位レイヤ映像のデータ単位グループの符号化情報を参照し、上位レイヤ映像の現在データ単位グループの符号化情報を決定し、現在データ単位グループの符号化情報を利用して、現在データ単位グループを復号化することもできる。

上位レイヤ復号化部１５３０は、上位レイヤ映像の現在スライス情報及びタイル情報のうち少なくとも一つを参照し、上位レイヤ映像の現在スライス情報及びタイル情報のうち少なくとも一つを決定することもできる。

また、上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位に対応する他種の下位レイヤ映像のデータ単位を決定し、下位レイヤ映像のデータ単位の符号化情報を参照し、上位レイヤ映像の現在データ単位の符号化情報を決定することもできる。例えば、下位レイヤ映像の所定符号化単位の符号化情報をそのまま利用して、上位レイヤ映像の現在最大符号化単位の符号化情報を決定することもできる。

また、上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位グループに対応する他種の下位レイヤ映像のデータ単位グループを決定し、下位レイヤ映像のデータ単位グループの符号化情報を参照し、上位レイヤ映像の現在データ単位グループの符号化情報を決定することもできる。例えば、下位レイヤ映像の所定符号化単位グループの符号化情報をそのまま利用して、上位レイヤ映像の現在最大符号化単位グループの符号化情報を決定することもできる。

上位レイヤ復号化部１５３０は、上位レイヤ映像の現在データ単位のために、インターレイヤ予測モードが決定される場合、現在データ単位に含まれる下位データ単位のうち一部は、下位レイヤ映像を参照して復号化し、下位データ単位のうち残りは、上位レイヤ映像と同一レイヤ映像内で復号化することもできる。

上位レイヤ復号化部１５３０は、下位レイヤ映像から類推された符号化情報を修正し、修正された符号化情報を参照し、上位レイヤ映像の符号化情報を決定することができる。上位レイヤ復号化部１５３０は、決定された上位レイヤ映像の符号化情報を利用して、上位レイヤ映像を復元することもできる。パージング部１５１０は、リファインメント情報をパージングし、上位レイヤ復号化部１５３０は、パージングされたリファインメント情報に基づいて、下位レイヤ映像から類推された符号化情報を変更することもできる。

一実施形態によるスケーラブルビデオ復号化装置１５００は、ツリー構造の符号化単位を基に復号化するので、一実施形態によるビデオ復号化装置２００と関連する。

例えば、スケーラブルビデオ復号化装置１５００のパージング部１５１０は、ビデオ復号化装置２００の受信部２１０、並びに映像データ及び符号化情報抽出部２２０の動作により、ビットストリームを受信し、下位レイヤ映像に係わる符号化情報と、上位レイヤ映像に係わる符号化情報とをパージングすることができる。パージング部１５１０は、下位レイヤ映像の符号化単位、予測単位、変換単位、パーティションなどのデータ単位について符号化情報をパージングすることができる。ただし、パージング部１５１０は、スケーラブル符号化に基づいて、上位レイヤ映像の符号化情報を選択的にパージングしないこともある。

例えば、下位レイヤ復号化部１５２０は、ビデオ符号化装置１００の映像データ復号化部２３０の動作と同様に、パージングされた符号化情報を利用して、下位レイヤ映像をツリー構造の符号化単位を基に復号化することができる。

上位レイヤ符号化部１４２０も、ビデオ符号化装置１００の映像データ復号化部２３０の動作と同様に、パージングされた符号化情報を利用して、上位レイヤ映像を、ツリー構造の符号化単位を基に復号化することができる。ただし、上位レイヤ符号化部１４２０は、スケーラブル符号化モードに基づいて、下位レイヤ映像の符号化情報を参照し、上位レイヤ映像のための符号化情報を決定した後で復号化を行うことができる。

一実施形態によるスケーラブルビデオ復号化装置１５００は、パージング部１５１０、下位レイヤ復号化部１５２０及び上位レイヤ復号化部１５３０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、パージング部１５１０、下位レイヤ復号化部１５２０及び上位レイヤ復号化部１５３０が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、スケーラブルビデオ復号化装置１５００が全体的に作動することもできる。または、一実施形態によるスケーラブルビデオ復号化装置１５００の外部プロセッサ（図示せず）の制御により、パージング部１５１０、下位レイヤ復号化部１５２０及び上位レイヤ復号化部１５３０が制御されもする。

一実施形態によるスケーラブルビデオ復号化装置１５００は、パージング部１５１０、下位レイヤ復号化部１５２０及び上位レイヤ復号化部１５３０の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。スケーラブルビデオ復号化装置１５００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるスケーラブルビデオ復号化装置１５００は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、逆変換を含んだビデオ復号化動作を遂行することができる。一実施形態によるスケーラブルビデオ復号化装置１５００の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、スケーラブルビデオ復号化装置１５００、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセッシングモジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。

一実施形態によるスケーラブルビデオ符号化装置１４００と、一実施形態によるスケーラブルビデオ復号化装置１５００は、シーケンス、スライスまたはピクチャごとに別途に、インターレイヤ予測方式を決定することができる。例えば、第１ピクチャ（または、シーケンス、スライス）のためのインターレイヤ予測方式と、第２ピクチャのためのインターレイヤ予測方式とが別途に決定されもする。

また、インファード（inferred）・インターレイヤ予測の場合には、下位レイヤデータ単位の２以上の符号化情報を参照し、上位レイヤデータ単位の符号化情報が予測されもする。すなわち、参照する２以上の符号化情報が決定されている。例えば、下位レイヤデータ単位について決定された一連の符号化情報をそのまま使用して、上位レイヤデータ単位に係わる符号化情報が決定されもする。スケーラブルビデオ符号化装置１４００が、上位レイヤデータ単位について、インファード・インターレイヤ予測を行った場合、スケーラブルビデオ復号化装置１５００も、上位レイヤ映像に相応する下位レイヤデータ単位を決定した後、下位レイヤデータ単位の所定一連の符号化情報をそのまま使用して、上位レイヤデータ単位の符号化情報を決定することができる。

また、インターレイヤ予測のために、下位レイヤデータ単位の符号化情報は、修正された形態で利用されたり、縮小された形態で利用されたりする。例えば、上位レイヤデータ単位の動きベクトルを予測するために、下位レイヤ・パーティションの動きベクトルが、整数画素レベル、１／２画素レベルの副画素レベルのように、特定画素レベルの正確度で下方修正されて利用されもする。他の例として、多数の下位レイヤ・パーティションの動きベクトルが一つに併合された後、上位レイヤ・パーティションの動きベクトルとして利用されもする。

以下、図１６ないし図２２を参照し、スケーラブル符号化装置１４００及びスケーラブル復号化装置１５００のインターレイヤ予測方式について具体的に説明する。

図１６は、一実施形態によるスケーラブル符号化システム１６００のブロック図を図示している。スケーラブル符号化システム１６００は、下位レイヤ符号化端１６１０及び上位レイヤ符号化端１６６０、並びに下位レイヤ符号化端１６１０と、上位レイヤ符号化端１６６０との間のインターレイヤ予測端１６５０から構成される。下位レイヤ符号化端１６１０及び上位レイヤ符号化端１６６０は、それぞれ下位レイヤ符号化部１４１０及び上位レイヤ符号化部１４２０の具体的な構成を図示することができる。

スケーラブルビデオ符号化技法は、解像度のような空間的特性だけではなく、時間的特性及び画質のような質的特性により、多階層のレイヤ映像に分類される。以下、説明の便宜のために、スケーラブルビデオ符号化システム１６００が、映像解像度によって、低解像度映像が下位レイヤ映像に、高解像度映像が上位レイヤ映像に区別されて符号化する場合について詳細に説明する。

下位レイヤ符号化端１６１０は、低解像度映像シーケンスを入力され、低解像度映像ごとに符号化する。上位レイヤ符号化端１６６０は、高解像度映像シーケンスを入力され、高解像度映像ごとに符号化する。下位レイヤ符号化端１６１０と、上位レイヤ符号化端１６２０との動作中で重複される動作は、同時に説明する。

ブロック分割部１６１８，１６６８を介して、入力映像（低解像度映像、高解像度映像）は、最大符号化単位、符号化単位、予測単位、変換単位などに分割される。ブロック分割部１６１８，１６６８から出力された符号化単位の符号化のために、符号化単位の予測単位別に、イントラ予測またはインター予測が行われる。予測スイッチ１６４８，１６９８は、予測単位の予測モードが、イントラ予測モードまたはインター予測モードであるかということにより、動き補償部１６４０，１６９０から出力された以前復元映像を参照し、インター予測が行われるか、あるいはイントラ予測部１６４５，１６９５から出力された現在入力映像内で、現在予測単位の隣接予測単位を利用して、イントラ予測が行われる。インター予測を介して、予測単位別に、残差情報が生成される。

符号化単位の予測単位別に、予測単位と周辺映像との残差情報が、変換／量子化部１６２０，１６７０に入力される。変換／量子化部１６２０，１６７０は、符号化単位の変換単位を基に、変換単位別に変換及び量子化を行い、量子化された変換係数を出力することができる。

スケーリング／逆変換部１６２５，１６７５は、さらに符号化単位の変換単位別に、量子化された変換係数についてスケーリング及び逆変換を行い、空間領域の残差情報を生成することができる。予測スイッチ１６４８，１６９８によって、インターモードで制御される場合、残差情報は、以前復元映像または隣接予測単位と合成されることにより、現在予測単位を含む復元映像が生成され、現在復元映像は、ストレージ１６３０，１６８０に保存される。現在復元映像は、さらに次に符号化される予測単位の予測モードによって、イントラ予測部１６４５，１６９５／動き補償部１６４０，１６９０に伝達される。

特に、インターモードの場合、インループ・フィルタリング（in-loop filtering）部１６３５，１６８５は、ストレージ１６３０，１６８０に保存された復元映像について、符号化単位別に、デブロッキング・フィルタリング、ＳＡＯ（sample adaptive offset）フィルタリング及びＡＬＦ（adaptive loop filtering）のうち少なくとも１つのフィルタリングを行うことができる。符号化単位、符号化単位に含まれた予測単位及び変換単位のうち少なくとも一つについて、デブロッキング・フィルタリング、ＳＡＯフィルタリング及びＡＬＦフィルタリングのうち少なくとも１つのフィルタリングが行われる。

デブロッキング・フィルタリングは、データ単位のブロッキング現象を緩和させるためのフィルタリングであり、ＳＡＯフィルタリングは、データ符号化及び復号化によって変形されるピクセル値を補償するためのフィルタリングであり、ＡＬＦフィルタリングは、復元映像と原本映像との誤差（ＭＳＥ：mean squared error）を最小化するためのフィルタリングである。インループ・フィルタリング部１６３５，１６８５によってフィルタリングされたデータは、予測単位別に、動き補償部１６４０，１６９０に伝達される。また、ブロック分割部１６１８，１６６８から出力された、次の順序の符号化単位符号化のために、動き補償部１６４０，１６９０及びブロック分割部１６１８，１６６８が出力した現在復元映像と次符号化単位との残差情報が生成される。

そのように、入力映像の符号化単位ごとに、前述の符号化動作が反復される。

また、インターレイヤ予測のために、上位レイヤ符号化端１６６０は、下位レイヤ符号化端１６１０のストレージ１６３０に保存された復元映像を参照することができる。下位レイヤ符号化端１６１０の符号化コントロール部１６１５は、下位レイヤ符号化端１６１０のストレージ１６３０を制御し、下位レイヤ符号化端１６１０の復元映像を上位レイヤ符号化端１６６０に伝達することができる。インターレイヤ予測端１６５０では、インループ・フィルタリング部１６５５が、下位レイヤ符号化端１６１０のストレージ１６１０から出力された下位レイヤ復元映像について、デブロッキング・フィルタリング、ＳＡＯフィルタリング及びＡＬＦフィルタリングのうち少なくとも一つを行うことができる。インターレイヤ予測端１６５０は、下位レイヤと上位レイヤとの映像間に解像度が異なる場合、下位レイヤの復元映像をアップサンプリングし、上位レイヤ符号化端１６６０に伝達することができる。上位レイヤ符号化端１６６０のスイッチ１６９８の制御によって、インターレイヤ予測が行われる場合には、インターレイヤ予測端１６５０を介して伝達された下位レイヤ復元映像を参照し、上位レイヤ映像のインターレイヤ予測が行われもする。

映像の符号化のために、符号化単位、予測単位、変換単位のための各種符号化モードを設定することができる。例えば、符号化単位に係わる符号化モードとして、深度または分割情報（split flag）などが設定される。予測単位に係わる符号化モードとして、予測モード、パーティションタイプ、イントラ方向情報、参照リスト情報などが設定される。変換単位に係わる符号化モードとして、変換深度または分割情報などが設定される。

下位レイヤ符号化端１６１０は、符号化単位のための多様な深度、予測単位に係わる多様な予測モード、多様なパーティションタイプ、多様なイントラ方向、多様な参照リスト、変換単位のための多様な変換深度をそれぞれ適用して符号化を行った結果により、符号化効率が最も高い符号花深度、予測モード、パーティションタイプ、イントラ方向／参照リスト、変換深度などを決定することができる。下位レイヤ符号化端１６１０で決定される前記列挙された符号化モードに限定されるものではない。

下位レイヤ符号化端１６１０の符号化コントロール部１６１５は、それぞれ構成要素の動作に、多様な符号化モードが適切に適用されるように制御することができる。また、符号化コントロール部１６１５は、上位レイヤ符号化端１６６０のスケーラブルビデオ符号化のために、上位レイヤ符号化端１６６０が下、位レイヤ符号化端１６１０の符号化結果を参照し、符号化モードまたは残差情報を決定するように制御することができる。

例えば、上位レイヤ符号化端１６６０は、下位レイヤ符号化端１６１０の符号化モードを、上位レイヤ映像のための符号化モードとしてそのまま利用したり、下位レイヤ符号化端１６１０の符号化モードを参照し、上位レイヤ映像のための符号化モードを決定したりすることができる。下位レイヤ符号化端１６１０の符号化コントロール部１６１５は、下位レイヤ符号化端１６１０が、上位レイヤ符号化端１６６０の符号化コントロール部１６６５の制御信号を制御し、上位レイヤ符号化端１６６０が現在符号化モードを決定するために、下位レイヤ符号化端１６１０の符号化モードから現在符号化モードを利用することができる。

図１６で図示されたインターレイヤ予測方式によるスケーラブルビデオ符号化システム１６００と同様に、インターレイヤ予測方式によるスケーラブルビデオ復号化システムも具現される。すなわち、スケーラブルビデオ復号化システムは、下位レイヤ・ビットストリーム及び上位レイヤ・ビットストリームを受信することができる。スケーラブルビデオ復号化システムの下位レイヤ復号化端で、下位レイヤ・ビットストリームを復号化し、下位レイヤ復元映像を生成することができる。スケーラブルビデオ復号化システムの上位レイヤ復号化端では、下位レイヤ復元映像と、パージングした符号化情報とを利用して、上位レイヤ・ビットストリームを復号化し、上位レイヤ復元映像を生成することができる。

図１７は、一実施形態によるインターレイヤ予測方法を図示している。上位レイヤ映像のために、スケーラブルビデオ符号化が行われた場合、下位レイヤ映像のための符号化モードを利用して、上位レイヤ映像を符号化するインターレイヤ予測１７１０を行うか否かということが設定される。インターレイヤ予測１７１０が行われるのであれば、インターレイヤ・イントラ予測１７２０またはインターレイヤ動き予測１７３０が行われる。インターレイヤ予測１７１０が行われないのであれば、インターレイヤ動き予測１７４０、またはインターレイヤ動き予測ではない予測１７５０が行われる。

また、上位レイヤ映像のために、スケーラブルビデオ符号化が行われた場合、インターレイヤ予測１７１０が行われるか否かということと係わりなく、インターレイヤ残差予測１７６０または一般残差予測１７７０が行われる。

例えば、インターレイヤ・イントラ予測１７２０によれば、上位レイヤ映像に相応する下位レイヤ映像のサンプル値を参照し、上位レイヤ映像のサンプル値が予測される。第１インターレイヤ動き予測１７３０によれば、上位レイヤ映像に対応する下位レイヤ映像のインター予測による予測単位のパーティションタイプ、参照インデックス、動きベクトルなどが、上位レイヤ映像のインターモードとしてそのまま適用される。参照インデックスは、参照リストに含まれた参照映像において、各映像が参照される順序を示す。

例えば、第２インターレイヤ動き予測１７４０によれば、下位レイヤ映像のインター予測による符号化モードが、上位レイヤ映像の符号化モードとして参照される。例えば、上位レイヤ映像の参照インデックスは、下位レイヤ映像の参照インデックスをそのまま採用して決定されるが、上位レイヤ映像の動きベクトルは、下位レイヤ映像の動きベクトルを参照して予測される。

例えば、インターレイヤ予測ではない一般動き予測１７５０によれば、下位レイヤ映像の符号化結果と係わりなく、上位レイヤ映像シーケンスの他の映像を参照し、上位レイヤ映像のための動き予測が行われる。

また、上位レイヤ映像のためにスケーラブルビデオ符号化が行われた場合、インターレイヤ予測１７１０が行われるか否かということと係わりなく、インターレイヤ残差予測１７６０または一般残差予測１７７０が行われる。

インターレイヤ残差予測１７６０によれば、下位レイヤ映像の残差情報を参照し、上位レイヤ映像の残差情報が予測される。一般残差予測１７７０によれば、上位レイヤ映像シーケンスの他の映像を参照し、現在上位レイヤ映像の残差情報が予測される。

図１７を参照して説明したように、上位レイヤ映像のスケーラブルビデオ符号化のために、下位レイヤ映像と上位レイヤ映像とのインターレイヤ予測が行われる。インターレイヤ予測によれば、下位レイヤ映像の符号化モードを利用して、上位レイヤ映像の符号化モードが決定される「インターレイヤモード予測」；下位レイヤ映像の残差情報を利用して、上位レイヤ映像の残差情報が決定される「インターレイヤ残差予測」、及び下位レイヤ映像がイントラモードの場合にのみ下位レイヤ映像を参照し、上位レイヤ映像を予測符号化する「インターレイヤイントラ予測」が選択的に行われる。

また、一実施形態による符号化単位または予測単位ごとに、インターレイヤモード予測の遂行いかん、インターレイヤ残差予測の遂行いかん、またはインターレイヤイントラ予測の遂行いかんが決定される。

他の例として、インターモードであるパーティションごとに参照リストが決定され、参照リストごとに、インターレイヤ動き予測を行うか否かということが決定される。

例えば、上位レイヤ映像の現在符号化単位（予測単位）について、インターレイヤモード予測が行われる場合には、下位レイヤ映像のうち、相応する符号化単位（予測単位）の予測モードを、上位レイヤ映像の現在符号化単位（予測単位）の予測モードとして決定する。

以下、説明の便宜のために、「上位／下位レイヤ映像の現在符号化単位（予測単位）」を、「上位／下位レイヤデータ単位」と指称する。

すなわち、下位レイヤデータ単位がイントラモードで符号化されるならば、上位レイヤデータ単位のために、インターレイヤイントラ予測が行われる。下位レイヤデータ単位が、インターモードで符号化されるならば、上位レイヤデータ単位のために、インターレイヤ動き予測が行われる。

ただし、上位レイヤデータ単位に相応する位置の下位レイヤデータ単位が、インターモードで符号化された場合には、上位レイヤデータ単位のために、インターレイヤ残差予測が行われるか否かということがさらに決定される。下位レイヤデータ単位が、インターモードで符号化され、インターレイヤ残差予測が行われる場合には、下位レイヤデータ単位の残差情報を利用して、上位レイヤデータ単位の残差情報が予測される。下位レイヤデータ単位が、インターモードで符号化されたとしても、インターレイヤ残差予測が行われないのであるならが、下位レイヤデータ単位の残差情報を参照せず、上位レイヤデータ単位間の動き予測を介して、上位レイヤデータ単位の残差情報が決定される。

また、上位レイヤデータ単位について、インターレイヤモード予測が行われない場合、上位レイヤデータ単位の予測モードが、スキップモード、インターモードまたはイントラモードであるかということにより、インターレイヤ予測方式が決定される。例えば、インターモードの上位レイヤデータ単位であるならば、パーティションの参照リストごとに、インターレイヤ動き予測が行われるか否かということが決定される。イントラモードの上位レイヤデータ単位であるならば、インターレイヤイントラ予測が行われるか否かということが決定される。

インターレイヤ予測が行われるか否かということ、インターレイヤ残差予測が行われるか否かということ、またはインターレイヤイントラ予測が行われるか否かということが、データ単位ごとに選択的に決定される。例えば、スケーラブル符号化装置１４００は、毎スライスごとに、現在スライスのデータ単位について、インターレイヤ予測が行われるか否かということをあらかじめ設定することができる。また、スケーラブル符号化装置１４００のインターレイヤ予測いかんにより、スケーラブル復号化装置１５００は、毎スライスごとに、現在スライスのデータ単位についてイ、ンターレイヤ予測を行うか否かということを決定することができる。

他の例として、スケーラブル符号化装置１４００は、毎スライスごとに、現在スライスのデータ単位について、インターレイヤ動き予測を行うか否かということを設定することもできる。スケーラブル符号化装置１４００のインターレイヤ動き予測方式いかんにより、スケーラブル復号化装置１５００は、毎スライスごとに、現在スライスのデータ単位について、インターレイヤ動き予測を行うか否かということを決定することができる。

さらに他の例として、スケーラブル符号化装置１４００は、毎スライスごとに、データ単位について、インターレイヤ残差予測を行うか否かということを決定することができる。スケーラブル符号化装置１４００のインターレイヤ残差予測いかんにより、スケーラブル復号化装置１５００は、毎スライスごとに、データ単位について、インターレイヤ残差予測を行うか否かということを決定することができる。

以下、上位レイヤデータ単位の各インターレイヤ予測の具体的な動作についてさらに詳細に説明する。

・スケーラブルビデオ符号化装置１４００は、それぞれの上位レイヤデータ単位ごとに、インターレイヤモード予測を行うか否かということを設定することができる。上位レイヤデータ単位ごとに、インターレイヤモード予測を行う場合、上位レイヤデータ単位の残差情報だけが伝送され、符号化モードは、伝送されない。

スケーラブルビデオ符号化装置１４００が、データ単位ごとにインターレイヤモード予測を行ったか否かということにより、スケーラブルビデオ復号化装置１５００も、それぞれの上位レイヤデータ単位別に、インターレイヤモード予測を行うか否かということを決定することができる。インターレイヤモード予測の遂行いかんに基づいて、上位レイヤデータ単位の符号化モードとして、下位レイヤデータ単位の符号化モードをそのまま採用するか否かということが決定される。インターレイヤモード予測が行われる場合、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位の符号化モードを別途に受信して読み取らず、下位レイヤデータ単位の符号化モードを利用して、上位レイヤデータ単位の符号化単位を決定することができる。その場合、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位の残差情報のみを受信して読み取れば十分である。

・インターレイヤモード予測が行われながら、上位レイヤデータ単位に相応する下位レイヤデータ単位がイントラモードで符号化されるならば、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位について、「インターレイヤ・イントラ予測」を行うことができる。

まず、イントラモードの下位レイヤデータ単位の復元映像について、デブロッキング・フィルタリングが行われる。

下位レイヤデータ単位のデブロッキング・フィルタリングされた復元映像のうち、上位レイヤデータ単位に相応する部分がアップサンプリングされる。例えば、上位レイヤデータ単位のルマ成分は、４タップフィルタリングを介してアップサンプリングされ、クロマ成分は、双線形（bi-linear）フィルタリングを介してアップサンプリングされる。

アップサンプリングフィルタリングは、予測単位のパーティション境界を横切って行われる。ただし、隣接データ単位がイントラ符号化されないのであるならば、現在データ単位の境界領域の成分を境界外領域に拡張し、アップサンプリング・フィルタリングに必要なサンプルを生成することにより、下位レイヤデータ単位がアップサンプリングされる。

・インターレイヤモード予測が行われ、上位レイヤデータ単位に相応する下位レイヤデータ単位がインターモードで符号化されるならば、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位について、「インターレイヤ動き予測」を行うことができる。

まず、インターモードの下位レイヤデータ単位のパーティションタイプ、参照インデックス、動きベクトルなどが参照される。相応する下位レイヤデータ単位がアップサンプリングされ、上位レイヤデータ単位のパーティションタイプが決定される。例えば、下位レイヤ・パーティションの大きさがＭｘＮであるならば、下位レイヤ・パーティションをアップサンプリングした２Ｍｘ２Ｎサイズのパーティションを、上位レイヤ・パーティションとして決定することができる。

上位レイヤ・パーティションのためにアップサンプリングされたパーティションの参照インデックスは、下位レイヤ・パーティションの参照インデックスと同一に決定される。上位レイヤ・パーティションのためにアップサンプリングされたパーティションの動きベクトルは、下位レイヤ・パーティションの動きベクトルを、アップサンプリングの比率と同一比率に拡大させることによって獲得される。

・スケーラブルビデオ復号化装置１５００は、インターレイヤモード予測なしに、上位レイヤデータ単位がインターモードと決定されれば、上位レイヤデータ単位について、インターレイヤ動き予測を行うか否かということを決定することができる。

上位レイヤ・パーティションの参照リストごとに、インターレイヤ動き予測が行われるか否かということが決定される。スケーラブルビデオ復号化装置１５００でインターレイヤ動き予測が行われる場合には、相応する下位レイヤ・パーティションの参照インデックス及び動きベクトルを参照し、上位レイヤ・パーティションの参照インデックス及び動きベクトルを決定することができる。

・インターレイヤモード予測なしに、上位レイヤデータ単位がイントラモードと決定された場合には、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位のパーティションごとに、インターレイヤ・イントラ予測を行うか否かということを決定することができる。

インターレイヤ・イントラ予測が行われる場合には、上位レイヤデータ単位に相応する下位レイヤデータ単位が復号化された復元映像について、デブロッキング・フィルタリングが行われ、デブロッキング・フィルタリングされた復元映像にアップサンプリングが行われる。例えば、ルマ成分のアップサンプリングのために、４タップフィルタが利用され、クロマ成分のアップサンプリングのために、双線形フィルタが利用される。

下位レイヤデータ単位からアップサンプリングされた復元映像を参照し、上位レイヤデータ単位をイントラモードで予測することにより、上位レイヤデータ単位の予測映像が生成される。上位レイヤデータ単位の予測映像に、上位レイヤデータ単位の残差映像を合成し、上位レイヤデータ単位の復元映像が生成される。生成された復元映像には、デブロッキング・フィルタリングが行われる。

一実施形態によるインターレイヤ予測が、特定条件でのみ行われるように制限されもする。例えば、下位レイヤデータ単位が、イントラモードで符号化されたという条件が満足された場合にのみ、下位レイヤデータ単位のアップサンプリングされた復元映像を利用するイントラ予測を可能にする、制限されたインターレイヤ・イントラ予測もある。ただし、前記制限条件が満足されないか、あるいはマルチループ・デコーディング（multi-loop decoding）の場合には、スケーラブルビデオ符号化装置１４００においてインターレイヤ・イントラ予測を行ったか否かということにより、スケーラブルビデオ復号化装置１５００も、インターレイヤ・イントラ予測が完全に行われる。

・スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位に相応する位置の下位レイヤデータ単位が、インターモードであるならば、上位レイヤデータ単位について、インターレイヤ残差予測を行うか否かということを決定することができる。インターレイヤ残差予測の遂行いかんは、インターレイヤモード予測とは係わりなく決定される。

上位レイヤデータ単位がスキップモードであるならば、インターレイヤ残差予測が行われることがないので、インターレイヤ残差予測の遂行いかんが決定される必要がない。スケーラブルビデオ復号化装置１５００がインターレイヤ残差予測を行わないのであるならば、上位レイヤ映像を利用して現、在上位レイヤ予測単位を一般インターモードで復号化する。

インターレイヤ残差予測が行われる場合、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位のために、下位レイヤデータ単位の残差情報を、データ単位別にアップサンプリングして参照することができる。例えば、変換単位の残差情報が、双線形フィルタリングを介してアップサンプリングされる。

下位レイヤデータ単位からアップサンプリングされた残差情報は、上位レイヤデータ単位のうち動き補償された予測映像と合成され、インターレイヤ残差予測による予測映像が生成される。従って、上位レイヤデータ単位の原本映像と、インターレイヤ残差予測によって生成された予測映像との残差映像が新たに生成される。逆に、スケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位のインターレイヤ残差予測のための残差映像を、ビットストリームから読み取り、読み取られた残差映像、下位レイヤデータ単位からアップサンプリングされた残差情報、及び上位レイヤデータ単位のうち動き補償された予測映像を合成することにより、復元映像を生成することができる。

以上、インターレイヤ予測の一実施形態として、上位レイヤデータ単位のインターレイヤモード予測、インターレイヤ残差予測、インターレイヤ・イントラ予測の具体的な動作について説明した。ただし、スケーラブルビデオ符号化装置１４００及びスケーラブルビデオ復号化装置１５００に適用可能なインターレイヤ予測の一例であり、本発明のインターレイヤ予測は、それらに限定されるものではない。
＜インターレイヤ予測で参照可能な符号化情報＞
以下、インターレイヤ予測を介して、下位レイヤ映像と上位レイヤ映像との間に参照可能な符号化情報の多様な実施形態、特に、ツリー構造の符号化単位、符号化単位の予測単位、パーティション、変換単位を含む下位レイヤデータ単位に係わる符号化情報の多様な実施形態について詳細に説明する。

・下位レイヤ最大符号化単位に係わる符号化情報を参照し、上位レイヤ最大符号化単位の符号化情報が決定される。

・ツリー構造の符号化単位において、下位レイヤ符号化単位に係わる符号化情報を参照し、上位レイヤ符号化単位の符号化情報が決定される。

・ツリー構造の符号化単位のための分割情報または分割深度を含む「符号化単位の構造情報」において、下位レイヤ符号化単位に係わる構造情報を参照し、上位レイヤ符号化単位の構造情報が決定される。例えば、上位レイヤ映像の現在符号化単位の構造情報が、下位レイヤ映像の最大符号化単位のうち、上位レイヤ最大符号化単位に相応する最大符号化単位に含まれる符号化単位に係わる構造情報をそのまま採用して決定される。従って、上位レイヤ最大符号化単位に含まれるツリー構造の符号化単位は、下位レイヤ最大符号化単位のツリー構造の符号化単位と同一形態のツリー構造を有することができる。

他の例として、下位レイヤ符号化単位に係わる構造情報が、上位レイヤ符号化単位のツリー構造において一部分に適用される。例えば、上位レイヤ最大符号化単位に含まれるツリー構造の符号化単位のうち、最大符号化単位を４等分した正方形領域のうち左側下端領域に係わる符号化単位の構造を決定するために、下位レイヤ符号化単位に係わる構造情報が参照される。他の例として、上位レイヤ最大符号化単位に含まれるツリー構造の符号化単位のうち、最大符号化単位を含み、分割回数が少ない符号化単位の構造が、下位レイヤ符号化単位に係わる構造情報から類推される。

・ツリー構造の変換単位のための分割情報または変換深度を含む「変換単位の構造情報」において、下位レイヤ変換単位に係わる構造情報から、上位レイヤ変換単位の構造情報が類推される。また、下位レイヤ変換単位に係わる構造情報が、上位レイヤ変換単位のツリー構造のうち一部分に採用されもする。具体的な実施形態は、前述の符号化単位の構造情報と係わる実施形態と同様である。

・予測単位またはパーティションのインターモード、イントラモード、スキップモード、併合情報などを示す予測モードにおいて、下位レイヤ予測単位（パーティション）に係わる予測モードから、上位レイヤ予測単位（パーティション）の予測モードが類推される。

・予測単位、またはパーティションのサイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮ、あるいは非対称形態などを示すパーティションタイプにおいて、下位レイヤ予測単位（パーティション）に係わるパーティションタイプから、上位レイヤ予測単位（パーティション）のパーティションタイプが類推される。

・変換単位の残差情報において、下位レイヤ変換単位の残差情報を参照し、上位レイヤ変換単位の残差情報が類推される。また、上位レイヤ変換単位の残差情報のうち一部だけが、下位レイヤ変換単位の残差情報から類推されもする。

・変換単位の変換係数値において、下位レイヤ変換単位の変換係数値を参照し、上位レイヤ変換単位の変換係数値が類推される。また、上位レイヤ変換単位の変換係数値のうち一部だけが、下位レイヤ変換単位の変換係数値から類推されもする。例えば、上位レイヤ変換単位の変換係数値のうち、ＤＣ（direct current）成分だけ、または所定個数の低周波数成分の変換係数値だけが、下位レイヤ変換単位の変換係数値から類推されもする。

・変換単位の変換係数の位置において、下位レイヤ変換単位の変換係数のうち０ではない変換係数の位置から、上位レイヤ変換単位の０ではない変換係数の位置が決定される。

・復元されたテクスチャ情報において、下位レイヤデータ単位の復元されたテクスチャ情報を参照し、上位レイヤデータ単位のテクスチャ情報が決定される。

・下位レイヤデータ単位の復元された予測値、例えば、イントラモードの場合、現在データ単位の空間的に隣接する隣接データ単位の値を使用して決定される予測値、インター予測の場合、先に復元された参照フレームを利用した動き補償を行って生成したイェツックガブが、そのまま上位レイヤデータ単位の予測値として使用されもする。

・インターモードの下位レイヤ予測単位のインター予測関連情報を参照し、上位レイヤ予測単位のインター予測関連情報が決定される。例えば、インターレイヤ予測のために参照可能なインター予測関連情報は、動きベクトル、動きベクトル差分値（ＭＶＤ）、参照インデックス、インター予測方向（単一方向／双方向）を含んでもよい。また、予測単位の併合インデックス及びＡＭＶＰ（advanced motion vector prediction）インデックスのように、競争基盤の動き情報（motion competition scheme information）がインター予測関連情報として参照されもする。

・イントラモードの下位レイヤ予測単位のイントラ予測関連情報を参照し、上位レイヤ予測単位のイントラ予測関連情報が決定される。例えば、インターレイヤ予測のために参照可能なイントラ予測関連情報は、イントラ予測方向、並びにルマ・クロマ間予測モードとしてＬＭ（linea rmode）及びＤＭ（derivation mode）などを含んでもよい。ＬＭモードは、現在データ単位に隣接した周辺データ単位のピクセル、及び現在データ単位の復元されたルマ成分ピクセルから、クロマ成分ピクセルの予測値が決定される予測モードであり、ＤＭモードは、ルマ成分の予測モードが、そのままクロマ成分の予測モードとして使用される予測モードである。

・下位レイヤデータ単位のためのループフィルタ・パラメータを参照し、上位レイヤデータ単位のループフィルタ・パラメータが決定される。例えば、インターレイヤ予測のために参照可能なループフィルタ・パラメータは、サンプルについて適応的にオフセットを設定するためのＳＡＯ技法のためのパラメータであるＳＡＯタイプ、０ではないバンドオフセット（ＢＯ：band offset）を有するバンドの位置、エッジオフセット値、バンドオフセット値を含んでもよい。また、インターレイヤ予測のために参照可能なループフィルタ・パラメータは、適応的ループフィルタリング（ＡＬＦ：adaptive loop filtering）のためのフィルタ分類（classification）情報、フィルタ係数及びフィルタリングオン／オフ・フラグなどを含んでもよい。

・下位レイヤ映像の符号化の結果として決定された符号化シンタックスを利用して、上位レイヤ映像のための符号化シンタックスを決定することもできる。

先に、インターレイヤ予測のために参照可能な符号化情報の多様な実施形態について説明した。しかし、それは、一実施形態によるスケーラブルビデオ符号化装置１４００と、一実施形態によるスケーラブルビデオ復号化装置１５００とがインターレイヤ予測のために参照可能な符号化情報は、前述の実施形態にのみ限定されるものではない。

一実施形態によるスケーラブルビデオ符号化装置１４００と、一実施形態によるスケーラブルビデオ復号化装置１５００は、シーケンス、スライスまたはピクチャごとに別途に、インターレイヤ予測を制御することができる。例えば、第１ピクチャ（または、シーケンス、スライス）から、インターレイヤ予測のために下位レイヤデータ単位の第１符号化情報を参照し、上位レイヤデータ単位の第１符号化情報を決定するが、第２ピクチャでは、インターレイヤ予測のために、下位レイヤデータ単位の第２符号化情報を参照し、上位レイヤデータ単位の第２符号化情報を決定することもできる。

先に列挙された下位レイヤデータ単位の符号化情報が、それぞれ個別的にのみ参照可能なものではなく、下位レイヤデータ単位の２以上の符号化情報の組み合わせを参照し、上位レイヤデータ単位の符号化情報が予測されもする。

＜インファード・インターレイヤ予測方式＞
以下、下位レイヤデータ単位の２以上の符号化情報の組み合わせを参照し、上位レイヤデータ単位の符号化情報が決定される予測方式を、インファードインターレイヤ予測と命名する。

例えば、下位レイヤデータ単位について、一連の符号化情報が決定されている場合、下位レイヤデータ単位の一連の符号化情報をそのまま使用して、上位レイヤデータ単位に係わる符号化情報が決定されもする。例えば、下位レイヤデータ単位に係わるＮ個の符号化情報のうち、第１符号化情報、第３符号化情報及び第５符号化情報と同一に上、位レイヤデータ単位に係わる第１符号化情報、第３符号化情報及び第５符号化情報を決定することができる。

また、一実施形態によるスケーラブルビデオ符号化装置１４００と、一実施形態によるスケーラブルビデオ復号化装置１５００は、シーケンス、ピクチャ、スライスごとに別途に、インファード・インターレイヤ予測を制御することができる。また、１つのピクチャ内でも、最大符号化単位、符号化単位、予測単位（パーティション）または変換単位ごとに個別的に、インファード・インターレイヤ予測方式が制御される。

前述のシーケンス、ピクチャ、スライス、最大符号化単位、符号化単位、予測単位（パーティション）及び変換単位のうち少なくとも１つのデータ単位ごとに、個別的にインファード・インターレイヤ予測が行われるか否かということが決定される。例えば、第１ピクチャ（または、シーケンス、スライス）において、インファード・インターレイヤ予測が行われないが、第２ピクチャでは、インファード・インターレイヤ予測が行われることもある。また、１つのピクチャ内でも、第１最大符号化単位に含まれたデータ単位については、インファード・インターレイヤ予測が可能であるが、第２最大符号化単位に含まれたデータ単位については、インファード・インターレイヤ予測が許容されない。

また、シーケンス、ピクチャ、スライス、最大符号化単位、符号化単位、予測単位（パーティション）及び変換単位のうち少なくとも１つのデータ単位ごとに、個別的にインファード・インターレイヤ予測方式が決定される。一例として、第１ピクチャ（または、シーケンス、スライス）において、インファード・インターレイヤ予測を介して、下位レイヤデータ単位の第１符号化情報及び第４符号化情報のみを使用して、上位レイヤデータ単位の第１符号化情報及び第４符号化情報を決定するが、第２ピクチャでは、インファード・インターレイヤ予測を介して、下位レイヤデータ単位の第１符号化情報、第２符号化情報、第５符号化情報及び第８符号化情報をそのまま使用して、上位レイヤデータ単位の第１符号化情報、第２符号化情報、第５符号化情報及び第８符号化情報を決定することもできる。

具体的な例を挙げれば、インファード・インターレイヤ予測のうち、インファードモードによれば、上位レイヤデータ単位の全ての符号化情報が、下位レイヤデータ単位から予測される。従って、上位レイヤデータ単位に係わる符号化情報が符号化されなくてもよい。インファードモードによれば、上位レイヤデータ単位に係わるインファードモードパラメータが「真」値に符号化され、符号化情報は、全く符号化されない。

例えば、インファード・インターレイヤ予測のうちインファード予測によれば、上位レイヤデータ単位の全ての符号化モードが、下位レイヤデータ単位の符号化モードから類推される。従って、上位レイヤデータ単位の符号化情報において、下位レイヤデータ単位から類推可能な符号化モードは、符号化されない。しかし、インファード予測によれば、上位レイヤデータ単位の符号化モードは、下位レイヤデータ単位の符号化モードをそのまま利用することができても、上位レイヤデータ単位の符号化情報のうち、変換係数または残差情報は、別途に決定されなければならない。上位レイヤデータ単位に係わるインファード予測パラメータが「真」値に符号化され、上位レイヤデータ単位の変換係数または残差情報は、符号化され、下位レイヤデータ単位から類推可能な符号化モードは、符号化されない。

スケーラブルビデオ復号化装置１５００は、インファードモードパラメータに基づいて、上位レイヤデータ単位に係わる符号化モード情報及び変換係数（残差情報）をパージングしない。また、スケーラブルビデオ復号化装置１５００は、インファード予測パラメータに基づいて、上位レイヤデータ単位に係わる符号化モードをパージングしない。

ただし、前述のインファードモード及びインファード予測は、インファード・インターレイヤ予測方式のうち実施形態であるのみである。インファード・インターレイヤ予測は、決定された一連の符号化情報について、下位レイヤデータ単位の符号化情報をそのまま利用して、上位レイヤデータ単位の符号化情報を決定するインターレイヤ予測方式であるということは、前述の通りである。

インファード・インターレイヤ予測を行うか否かということを示すためのパラメータは、スケーラブルビデオ符号化装置１４００は、ＳＰＳ、ＰＰＳ（picture parameter set）、ＡＰＳ（adaptation parameter set）、スライスヘッダ（slice header）を利用して、シーケンス、ピクチャまたはスライスごとに、別途にパラメータを伝送することができる。また、最大符号化単位、符号化単位、変換単位及び予測単位（パーティション）のうち少なくともいずれか１つのデータ単位に係わる符号化モードとして、インファード・インターレイヤ予測を行うか否かということを示すパラメータが伝送されもする。

また、スケーラブルビデオ復号化装置１５００は、ＳＰＳ、ＰＰＳ、ＡＰＳまたはスライスヘッダから、シーケンス、ピクチャまたはスライスごとに、別途に前記パラメータをパージングすることができる。同様に、最大符号化単位、符号化単位、変換単位及び予測単位（パーティション）のうち少なくともいずれか１つのデータ単位に係わる符号化モードとして、インファードモードまたはインファード予測によるインファード・インターレイヤ予測を行うか否かということを示す情報がパージングされもする
また、インターレイヤ予測を介して、上位レイヤデータ単位の符号化モード情報が下位レイヤデータ単位の符号化モード情報から類推されたとしても、類推された情報を細密に修正するためのリファインメント情報が、上位レイヤデータ単位のために符号化される。例えば、一実施形態によるスケーラブルビデオ復号化装置１５００は、上位レイヤデータ単位の０ではない係数の位置は、下位レイヤデータ単位の示す非ゼロ（non-zero）係数位置情報から類推することができるが、読み取られたリファインメント情報を利用して、上位レイヤデータ単位の係数値を再調整して予測することができる。

例えば、変換係数のリファインメント情報として、変換係数のための「ａｂｓ＿level＿minus＿１」パラメータが読み取られる。例えば、「ａｂｓ＿level＿minus＿１」パラメータが真値である場合、非ゼロ係数の原本値の絶対値から１ほど減少した値が非ゼロ係数情報として伝送されたということを意味する。従って、受信してパージングした非ゼロ係数情報をさらに１ほど増加させることによって、上位レイヤデータ単位の類推された係数の大きさが正確に予測される。

先にリファインメント情報は、「ａｂｓ＿level＿minus＿１」パラメータに限定するものではなく、多様な情報に係わる予測値を調整するためのパラメータを含んでもよい。

＜インターレイヤ予測での上／下位レイヤデータ単位のマッピング関係＞
上位レイヤデータ単位と、下位レイヤデータ単位は、スケーラブルビデオ符号化技法によって、空間的解像度、時間的解像度または画質面において差があるので、一実施形態によるスケーラブルビデオ符号化装置１４００と、一実施形態によるスケーラブルビデオ復号化装置１５００は、インターレイヤ予測のために、上位レイヤデータ単位に相応する下位レイヤデータ単位を決定した後で参照することができる。

例えば、空間スケーラビリティに基づいたスケーラブルビデオ符号化／復号化技法によれば、下位レイヤ映像と上位レイヤ映像との空間的解像度が異なり、一般的に、下位レイヤ映像の解像度がさらに低い。従って、上位レイヤデータ単位に相応する下位レイヤデータ単位の位置を決定するためには、解像度の増減の比率（resizing ratio）が考慮される。下位／上位レイヤデータ単位間の増減の比率は、任意に決定される。例えば、１６分の１ピクセルサイズなどの副画素レベルにおいて、マッピング位置が正確に決定される。

上位レイヤデータ単位と、下位レイヤデータ単位との位置が座標に表現されるとき、上位レイヤデータ単位の座標にマッピングされる下位レイヤデータ単位の座標を決定するためのマッピング数式１，２，３，４は、下記通りである。マッピング数式１，２，３，４において、Round（）関数は、入力値の四捨五入値を出力する。

マッピング数式１：

マッピング数式２：

マッピング数式３：

マッピング数式４：

マッピング数式１，２で、Ｂｘ，Ｂｙはそれぞれ下位レイヤデータ単位のｘ軸座標値、ｙ軸座標値を、Ｅｘ，Ｅｙは、それぞれ上位レイヤデータ単位のｘ軸座標値、ｙ軸座標値を示す。Ｒｘ，Ｒｙは、それぞれマッピングの正確性を向上させるためのｘ軸方向、ｙ軸方向の参照オフセットを示す。Ｓは、解像度の増減指数を示す。マッピング数式３，４において、「BaseWidth」及び「BaseHight」は、それぞれ下位データ単位の幅及び高さを、「ScaledBaseWidth」及び「ScaledBaseHight」は、それぞれ下位データ単位がアップサンプリングされた後の幅及び高さを示す。

従って、解像度の増減の比率及び正確なマッピングのための参照オフセットを利用して、上位レイヤデータ単位のｘ軸座標値、ｙ軸座標値に対応する下位レイヤデータ単位のｘ軸座標値、ｙ軸座標値が決定される。

ただし、前述のマッピング数式１，２，３，４は、発明の理解のための具体的な実施形態であるのみであるということに留意しなければならない。

本発明において、下位／上位レイヤデータ単位間のマッピング位置は、多様な要因を考慮して決定される。例えば、下位／上位レイヤビデオ間の解像度の比率、縦横比（aspect ratio）、平行移動（translation）距離、オフセット（offset）などの一つ以上の要因を考慮し、下位／上位レイヤデータ単位間のマッピング位置が決定される。

一実施形態によるスケーラブルビデオ符号化装置１４００、及び一実施形態によるスケーラブルビデオ復号化装置１５００は、ツリー構造の符号化単位を基に、インターレイヤ予測を行うことができる。ツリー構造の符号化単位によれば、符号化単位は、深度によって決定されるので、それぞれの符号化単位の大きさが同じではない。従って、上位レイヤ符号化単位に相応する下位レイヤ符号化単位の位置が個別的に決定されなければならない。

以下、上位レイヤ映像の最大符号化単位、符号化単位、予測単位、変換単位またはパーティションを含む多様なレベルのデータ単位と、下位レイヤ映像の多様なレベルのデータ単位との間で可能な多様なマッピング関係について詳細に説明する。

図１８は、一実施形態による、下位レイヤと上位レイヤとのマッピング関係を図示している。特に、図１８は、ツリー構造の符号化単位に基づいたインターレイヤ予測のための下位レイヤと上位レイヤとのマッピング関係を図示している。上位レイヤデータ単位に相応するように決定された下位レイヤデータ単位は、「参照レイヤデータ単位」と指称されもする。

一実施形態によるインターレイヤ予測のために、上位レイヤ最大符号化単位１８２０に相応する下位レイヤ最大符号化単位１８１０の位置が決定される。例えば、上位レイヤ最大符号化単位１８２０の左側上端サンプル１８９０に対応するサンプル１８８０が下位レイヤデータ単位のうちいずれのデータ単位に属するかということを検索することにより、左側上端サンプル１８８０を含む下位レイヤ最大符号化単位１８１０が、上位レイヤ最大符号化単位１８２０に相応するデータ単位であるか否かということが決定される。

一実施形態によるインターレイヤ予測を介して下、位レイヤ符号化単位の構造から、上位レイヤ符号化単位の構造が類推される場合には、上位レイヤ最大符号化単位１８２０に含まれる符号化単位のツリー構造が、下位レイヤ最大符号化単位１８１０に含まれる符号化単位のツリー構造と同一に決定されもする。

符号化単位と同様に、ツリー構造による符号化単位に含まれるパーティション（予測単位）または変換単位の大きさも、当該符号化単位の大きさによって可変的でもある。また、同一サイズの符号化単位に含まれるパーティションまたは変換単位であるとしても、パーティションタイプまたは変換深度によって、パーティションまたは変換単位の大きさが変動される。従って、ツリー構造の符号化単位に基づいたパーティションまたは変換単位において、上位レイヤ・パーティションまたは上位レイヤ変換単位に相応する下位レイヤ・パーティションまたは下位レイヤ変換単位の位置は、個別的に決定されなければならない。

・図１８において、インターレイヤ予測のための参照レイヤ最大符号化単位を決定するために、上位レイヤ最大符号化単位１８２０の左側上端サンプル１８９０の位置に対応する下位レイヤ最大符号化単位１８１０の所定データ単位１８８０の位置が検索された。それと同様に、上位レイヤデータ単位の左側上端サンプルに対応する下位レイヤデータ単位の位置、センターの位置または所定位置が比較されることにより、参照レイヤデータ単位が決定される。

・図１８において、インターレイヤ予測のための他のレイヤの最大符号化単位がマッピングされた場合が例示されたが、最大符号化単位、符号化単位、予測単位、パーティション、変換単位、最小単位などを含む各種データ単位についても、他のレイヤのデータ単位がマッピングされる。

・従って、一実施形態によるインターレイヤ予測のために、上位レイヤデータ単位に相応する下位レイヤデータ単位を決定するために、下位レイヤデータ単位が、空間的解像度の増減比率または縦横比率ほどアップサンプリングされる。また、アップサンプリングされた位置は、参照オフセットほど移動され、参照レイヤデータ単位の位置が正確に決定される。スケーラブルビデオ符号化装置１４００及びスケーラブルビデオ復号化装置１５００の間に、参照オフセットについての情報が明示上に送受信される。しかし、参照オフセット情報が直接送受信されないとしても、上位レイヤデータ単位の周辺動き情報、変移（disparity）情報または幾何学的形態によって、参照オフセットが予測されもする。

・上位レイヤデータ単位の位置に相応する下位レイヤデータ単位の位置に係わる符号化情報が、上位レイヤデータ単位のインターレイヤ予測のために利用される。参照可能な符号化情報は、符号化モード、予測値、復元値、データ単位の構造情報、シンタックスのうち少なくとも一つを含んでもよい。

例えば、上位レイヤデータ単位の構造は、相応する下位レイヤデータ単位の構造（最大符号化単位の構造、符号化単位の構造、予測単位の構造、パーティションの構造、変換単位の構造など）から類推されもする。

・また、それぞれのレイヤ映像の単一データ単位間で比較される場合だけではなく、２以上のデータ単位のグループ間でインターレイヤ予測が行われる。上位レイヤデータ単位のグループに相応する位置を含む下位レイヤデータ単位のグループが決定される。

例えば、下位レイヤデータ単位のうち、上位レイヤデータ単位グループのうち所定位置のデータ単位に相応するデータ単位を含む下位レイヤデータ単位グループが、参照レイヤデータ単位グループとして決定される。

・データ単位グループ情報は、データ単位のグループを構成するための構造条件を示すことができる。例えば、下位レイヤ映像において、符号化単位のグループを構成するための符号化単位グループ情報から、上位レイヤ符号化単位のための符号化単位グループ情報が類推されもする。例えば、符号化単位グループ情報は、所定深度より低いか、あるいは同一の深度を有する符号化単位が集まって符号化単位グループを構成するという条件、所定個数以下の符号化単位が集まって符号化単位グループを構成するという条件などを含んでもよい。

データ単位グループ情報は、明示上に符号化され、スケーラブルビデオ符号化装置１４００及びスケーラブルビデオ復号化装置１５００間で送受信される。他の例として、データ単位グループ情報が送受信されないとしても、スケーラブルビデオ符号化装置１４００及びスケーラブルビデオ復号化装置１５００の間で、上位レイヤデータ単位のグループ情報が下位レイヤデータ単位のグループ情報から予測される。

・符号化単位グループ情報と同様に、インターレイヤ予測を介して、下位レイヤ最大符号化単位（変換単位）に係わるグループ情報を基に、上位レイヤ最大符号化単位（変換単位）に係わるグループ情報が類推される。

・また、上／下位レイヤスライスの間でも、インターレイヤ予測が可能である。上位レイヤデータ単位に相応する位置を含む下位レイヤデータ単位を含む下位レイヤスライスに係わる符号化情報を参照し、上位レイヤデータ単位を含む上位レイヤスライスに係わる符号化情報が類推される。スライスに係わる符号化情報は、スライス形態のようなスライス構造についての情報だけではなく、スライスに含まれるデータ単位の全ての符号化情報を含んでもよい。

また、上／下位レイヤタイルの間でも、インターレイヤ予測が可能である。上位レイヤデータ単位に相応する位置を含む下位レイヤデータ単位を含む下位レイヤタイルに係わる符号化情報を参照し、上位レイヤデータ単位を含む上位レイヤタイルに係わる符号化情報が類推される。タイルに係わる符号化情報は、タイル形態のようなタイル構造についての情報だけではなく、タイルに含まれるデータ単位の全ての符号化情報を含んでもよい。

・上位レイヤデータ単位は、同種の下位レイヤデータ単位を参照することができるという点は、詳細に説明した通りである。また、上位レイヤデータ単位は、異種の下位レイヤデータ単位を参照することもできる。

前述の＜インターレイヤ予測で参照可能な符号化情報＞において、上位レイヤデータ単位が利用することができる下位レイヤデータ単位の符号化情報が多様に開示された。ただし、本発明の技術的思想によって、インターレイヤ予測で参照可能な符号化情報が、前述の符号化情報だけに限定されて解釈されてはならず、上位レイヤ映像及び下位レイヤ映像の符号化の結果として生じる各種データとして解釈される。

また、インターレイヤ予測のために、上位／下位レイヤデータ単位間で１つの符号化情報が参照されるのではなく、少なくとも１つの符号化情報の組み合わせが参照される。参照可能な少なくとも１つの符号化情報が多様に組み合わせされることにより、参照符号化情報セットが多様に設定される。

同様に、＜インターレイヤ予測での上／下位レイヤデータ単位のマッピング関係＞において、互いに相応する上位レイヤデータ単位と、下位レイヤデータ単位とのマッピング関係が多様に開示された。ただし、本発明の技術的思想によってイ、ンターレイヤ予測において上／下位レイヤデータ単位のマッピング関係が、前述のマッピング関係だけに限定されて解釈されてはならず、相互連関可能な上位レイヤデータ単位（グループ）と、下位レイヤデータ単位（グループ）との各種マッピング関係として解釈される。

さらに、インターレイヤ予測のために、上位／下位レイヤデータ単位間で参照可能な参照符号化情報セットと、上位／下位レイヤデータ単位とのマッピング関係の組み合わせがさらに多様に設定される。例えば、インターレイヤ予測のための参照符号化情報セットが、α、β、γ、δ、…などと多様に設定され、上位／下位レイヤデータ単位間のマッピング関係がI、II、III、V…などと多様に設定される。そのような場合、参照符号化情報セットとマッピング関係との組み合わせが、「符号化情報セットα及びマッピング関係I」、「α及びII」、「α及びIII」、「α及びV」、…、「符号化情報セットβ及びマッピング関係I」、「β及びII」、「β及びIII」、「β及びV」、…、「符号化情報セットγ及びマッピング関係I」、「γ及びII」、「γ及びIII」、「γ及びV」、…、「符号化情報セットδ及びマッピング関係I」、「δ及びII」、「δ及びIII」、「δ及びV」、…のうち少なくとも一つに設定される。また、１つのマッピング関係に２以上の参照符号化情報セットが組み合わされるように設定されたり、１つの参照符号化情報セットに、２以上のマッピング関係が組み合わされたりするように設定されたりする。

以下、上位／下位レイヤ映像間のインターレイヤ予測において、異なるレベルのデータ単位がマッピングされる実施形態について詳細に説明する。

例えば、上位レイヤ符号化単位は、相応する位置を含む下位レイヤ最大符号化単位のグループに係わる符号化情報を参照することができる。反対に、上位レイヤ最大符号化単位は、相応する位置を含む下位レイヤ符号化単位のグループに係わる符号化情報を参照することができる。

例えば、上位レイヤ符号化単位の符号化情報は、相応する位置を含む下位レイヤ最大符号化単位グループの符号化情報を参照することができる。すなわち、参照される下位レイヤ最大符号化単位グループに、上位レイヤ符号化単位の全ての位置にそれぞれ相応する位置がいずれも含まれる。

同様に、上位レイヤ最大符号化単位の符号化情報は、相応する位置を含む下位レイヤ符号化単位グループの符号化情報を参照することができる。すなわち、参照される下位レイヤ符号化単位グループに、上位レイヤ最大符号化単位の全ての位置にそれぞれ相応する位置がいずれも含まれる。

一実施形態により、各シーケンスごとに、各ピクチャごとに、各スライスごとにまたは各最大符号化単位ごとに、個別的にインファード・インターレイヤ予測を行うか否かということが決定されるということは、前述の通りである。

また、所定データ単位について、インターレイヤ予測が行われても、所定データ単位内でも、部分的にインファード・インターレイヤ予測方式が制御される。例えば、最大符号化単位レベルにおいて、インターレイヤ予測が行われるか否かということが決定される場合、上位レイヤ映像の現在最大符号化単位について、インターレイヤ予測が行われても、現在最大符号化単位に含まれる下位レベルのデータ単位（符号化単位、予測単位、変換単位またはパーティション）内で一部データ単位についてだけ、相応する下位レイヤデータ単位を利用して、インファード・インターレイヤ予測が行われ、相応する下位レイヤデータ単位がない残りのデータ単位については、インファード・インターレイヤ予測が行われない。従って、上位レイヤ最大符号化単位に含まれる一部分（符号化単位、予測単位、変化単位、パーティション）は、下位レイヤデータ単位から類推されもするが、最大符号化単位の残り部分に係わる符号化情報は、符号化されて送受信される。

例えば、上位レイヤ最大符号化単位については、インターレイヤ予測が行われる場合、上位レイヤ最大符号化単位の符号化単位のうち、相応する下位レイヤ符号化単位を有する上位レイヤ符号化単位は、下位レイヤ符号化単位のイントラ予測によって生成された復元映像を参照して予測される。しかし、相応するイントラ予測された下位レイヤ符号化単位を有さない上位レイヤ符号化単位については、インターレイヤ予測ではない、上位レイヤ映像を利用する単一レイヤ予測が行われる。

また、下位レイヤデータ単位に係わる所定条件が満足される場合にのみ、上位レイヤデータ単位のために、インファード・インターレイヤ予測が可能である。スケーラブルビデオ符号化装置１４００は、所定条件が満足され、インファード・インターレイヤ予測が可能である場合には、実際に、インファード・インターレイヤ予測が行われたか否かということを示すための情報が伝送される。スケーラブルビデオ復号化装置１５００は、インファード・インターレイヤ予測が可能であるか否かということを示す情報をパージングし、所定条件が満足され、インファード・インターレイヤ予測が行われたということを読み取るならば、所定条件が満足されるとき、下位レイヤデータ単位に係わる一連の符号化モードの組み合わせがそのまま参照され、上位レイヤデータ単位の符号化モードを決定することができる。

例えば、他のレイヤの予測単位間の残差予測は、上位レイヤ予測単位の大きさが下位レイヤ予測単位の大きさより大きいか、あるいは同一である場合にのみ行われる。例えば、他のレイヤの最大符号化単位間のインターレイヤ予測は、上位レイヤ最大符号化単位の大きさが、下位レイヤ最大符号化単位の大きさより大きいか、あるいは同一である場合にのみ行われる。それは、解像度増減比率または縦横比率によって、下位レイヤの最大符号化単位または予測単位がアップサンプリングされるからである。

他の例として、上位レイヤデータ単位のＩスライス、Ｂスライス、Ｐスライスのような所定スライスタイプを条件に、インファード・インターレイヤ予測モードが可能である。

インファード・インターレイヤ予測の一例として、インターレイヤ・イントラスキップモードによる予測がある。インターレイヤ・イントラスキップモードによれば、上位レイヤデータ単位のためのイントラモードの残差情報がないので、上位レイヤデータ単位に対応する下位レイヤイントラ復元映像が、上位レイヤデータ単位のイントラ復元映像にそのまま利用される。

従って、具体的な一例として、上位レイヤデータ単位のスライスタイプが、Ｂスライス、Ｐスライスのようなインターモードのスライスタイプであるか、あるいはＩスライスのようなイントラモードのスライスタイプであるかということにより、インターレイヤ・イントラスキップモードを示す情報を符号化（復号化）するか否かということが決定される。

また、インターレイヤ予測のために、下位レイヤデータ単位の符号化情報は、修正された形態で利用されるか、あるいは縮小された形態で利用される。

例えば、下位レイヤ・パーティションの動きベクトルを、整数画素レベル、１／２画素レベルの副画素レベルのように、特定画素レベルの正確度で下方修正し、下位レイヤ・パーティションの下方修正された正確度の動きベクトルが、上位レイヤ・パーティションの動きベクトルの動きベクトルとして使用されもする。

他の例として、多数の下位レイヤ・パーティションの動きベクトルが一つに併合された後、上位レイヤ・パーティションによって参照されもする。

例えば、動きベクトルが併合される領域は、固定領域として決定される。固定サイズの領域に含まれたパーティション、または固定された隣接位置のデータ単位でのみ動きベクトルが併合される。

さらに他の例として、所定サイズの上位レイヤデータ単位に、２以上の下位レイヤデータ単位が対応されたとしても、下位レイヤデータ単位のうち１つのデータ単位の動き情報のみを利用して、上位レイヤデータ単位の動きベクトルが決定されもする。例えば、１６ｘ１６の上位レイヤデータ単位に対応する多数の下位レイヤデータ単位のうち、所定位置の下位レイヤデータ単位の動きベクトルを、上位レイヤデータ単位の動きベクトルとして利用することができる。

他の場合、動きベクトルが併合される領域を決定するための制御情報が、ＳＰＳ、ＰＰＳ、ＡＰＳまたはスライスヘッダに挿入されて伝送される。従って、シーケンス別に、ピクチャ別に、アダプテーション・パラメータ別にまたはスライス別に、動きベクトルが併合される領域を決定するための制御情報がパージングされる。また、下位レイヤ・パーティションの動き情報を変形して保存された場合を例として挙げることができる。原則的には、下位レイヤ・パーティションの動き情報は、参照インデックスと動きベクトルとの組み合わせとして保存される。しかし、一実施形態による下位レイヤ・パーティションの動き情報は、参照インデックスが０であると仮定し、参照インデックス０に対応する動きベクトルに大きさが調節されるか、あるいは変形された後で保存される。それにより、下位レイヤ・パーティションの動き情報の保存量が低減する。上位レイヤ・パーティションのインターレイヤ予測のためには、上位レイヤ・パーティションの参照インデックスに対応する参照映像により、下位レイヤ・パーティションの保存された動きベクトルがさらに変形される。すなわち、上位レイヤ・パーティションの参照映像によって変形された下位レイヤ・パーティションの動きベクトルを参照し、上位レイヤ・パーティションの動きベクトルが決定される。

図１９は、一実施形態によるスケーラブルビデオ符号化方法のフローチャートを図示している。

段階１９１０で、下位レイヤ映像が、ツリー構造の符号化単位を基に符号化される。段階１９２０で、上位レイヤ映像を、ツリー構造の符号化単位を基に符号化しながら、下位レイヤ映像を参照し、スケーラブル符号化するためにスケーラブル符号化モードが決定される。

段階１９３０で、段階１９２０で決定されたスケーラブル符号化モードに基づいて、下位レイヤ映像の符号化情報を参照し、上位レイヤ映像が予測符号化される。

一実施形態により、下位レイヤ映像の符号化モードにおいて、符号化単位の符号化情報及び符号化単位に含まれる変換単位の符号化情報のうち少なくとも一つを参照し、上位レイヤ映像が符号化される。

一実施形態により、下位レイヤ映像の符号化モードにおいて、構造情報、予測モード、パーティションタイプ、動き情報、イントラ情報、ループフィルタリング関連情報、非ゼロ係数位置情報、及び復元されたテクスチャ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードが決定される。

一実施形態により、下位レイヤ映像の符号化モードにおいて、残差情報、係数情報、及び復元された予測値のうち少なくとも一つを参照し、上位レイヤ映像の予測値が決定される。

段階１９４０で、スケーラブル符号化モードに基づいて、下位レイヤ映像の符号化モード及び予測値、並びに上位レイヤ映像のスケーラブル符号化モードが出力される。

第１スケーラブル符号化モードによれば、下位レイヤ映像の符号化情報から類推された情報を除いた残りの符号化情報がさらに出力される。第２スケーラブル符号化モードによれば、上位レイヤ映像のスケーラブル符号化モードだけ出力される。

図２０は、一実施形態によるスケーラブルビデオ復号化方法のフローチャートを図示している。

段階２０１０で、受信されたビットストリームから、下位レイヤ映像の符号化モード及び予測値、上位レイヤ映像のスケーラブル符号化モードがパージングされる。例えば、第１スケーラブル符号化モードによれば、下位レイヤ映像の符号化情報から類推された情報を除いた残りの情報は、ビットストリームからパージングされる。第２スケーラブル符号化モードによれば、上位レイヤ映像のスケーラブル符号化モード情報だけがビットストリームからパージングされる。

段階２０２０で、パージングされた下位レイヤ映像の符号化モード及び予測値を利用して、下位レイヤ映像がツリー構造の符号化単位を基に復号化される。

段階２０３０で、上位レイヤ映像をツリー構造の符号化単位に基づいて復号化するが、上位レイヤ映像のスケーラブル符号化モードによって、下位レイヤ映像の符号化情報を参照して上位レイヤ映像が予測復号化される。

一実施形態により、下位レイヤ映像の符号化情報を参照し、上位レイヤ映像の符号化モードが決定される。一実施形態により、下位レイヤ映像の符号化モードにおいて、構造情報、予測モード情報、パーティションタイプ情報、動き情報、イントラ情報及びループフィルタリング関連情報、非ゼロ係数位置情報、及び復元されたテクスチャ情報のうち少なくとも一つを参照し、上位レイヤ映像の符号化モードが決定される。一実施形態により、下位レイヤ映像の符号化モードにおいて、残差情報、係数情報及び復元された予測値のうち少なくとも一つを参照し、上位レイヤ映像の予測値が決定される。かように類推して決定された上位レイヤ映像の符号化情報に基づいて、上位レイヤ映像が復号化される。

図２１は、他の実施形態によるスケーラブルビデオ符号化方法のフローチャートを図示している。段階２１１０で、ツリー構造の符号化単位を基に、下位レイヤ映像が符号化される。段階２１２０で、上位レイヤ映像を、ツリー構造の符号化単位を基に符号化しながら、下位レイヤ映像を参照し、スケーラブル符号化するためのスケーラブル符号化モードが決定される。

段階２１３０では、段階２１２０で決定されたスケーラブル符号化モードに基づいて、上位レイヤのデータ単位が参照する下位レイヤ映像のデータ単位が決定される。ツリー構造の符号化単位に基づいたデータ単位は、最大符号化単位、符号化単位、符号化単位に含まれる予測単位、並びに変換単位及び最小単位のうち少なくとも一つを含んでもよい。かように決定された下位レイヤのデータ単位の符号化情報を参照し、上位レイヤ映像が予測符号化される。

一実施形態により、上位レイヤ映像の現在データ単位と同種の下位レイヤ映像のデータ単位が決定され、下位レイヤ映像のデータ単位の符号化情報を参照し、上位レイヤ映像の現在データ単位が符号化される。

一実施形態により、上位レイヤ映像の現在データ単位グループと同一グループ種類の下位レイヤ映像のデータ単位グループが決定され、下位レイヤ映像のデータ単位グループの符号化情報を参照し、上位レイヤ映像の現在データ単位グループが符号化される。

一実施形態により、上位レイヤ映像の現在データ単位に対応する他種の下位レイヤ映像のデータ単位が参照される。上位レイヤ映像の現在データ単位グループに対応する他種の下位レイヤ映像のデータ単位グループが参照されもする。

上位レイヤ映像の現在データ単位のために、インターレイヤ予測モードが決定される場合、現在データ単位に含まれる下位データ単位のうち一部は、下位レイヤ映像を参照して符号化され、残りは、上位レイヤ内で符号化される。

下位レイヤ映像から類推された符号化情報を変更し、変更された符号化情報を参照し、上位レイヤ映像の符号化情報が決定されもする。

図２２は、他の実施形態によるスケーラブルビデオ復号化方法のフローチャートを図示している。段階２２１０で、受信されたビットストリームからパージングされた、下位レイヤ映像の符号化モード及び予測値を利用して、下位レイヤ映像が、ツリー構造の符号化単位を基に復号化される。

段階２２２０で、ビットストリームからパージングされた、上位レイヤ映像のスケーラブル符号化モードにより、上位レイヤ映像のデータ単位が参照する前記下位レイヤ映像のデータ単位が決定される。上位レイヤ映像のツリー構造の符号化単位は、相応する下位レイヤ映像のデータ単位の符号化情報を参照して予測復号化される。

一実施形態により、上位レイヤ映像の現在データ単位と相応する下位レイヤ映像のデータ単位の符号化符号化情報を参照し、上位レイヤ映像の現在データ単位の符号化情報が決定される。

一実施形態により、上位レイヤ映像の現在データ単位グループと相応する下位レイヤ映像のデータ単位グループの符号化情報を参照し、上位レイヤ映像の現在データ単位グループの符号化情報が決定される。

一実施形態により、上位レイヤ映像の現在データ単位に対応する他種の下位レイヤ映像のデータ単位が参照される。一実施形態により、上位レイヤ映像の現在データ単位グループに対応する他種の下位レイヤ映像のデータ単位グループが参照されもする。

一実施形態により、上位レイヤ映像の現在データ単位のために、インターレイヤ予測モードが決定される場合、現在データ単位に含まれる下位データ単位のうち一部は、下位レイヤ映像を参照して復号化され、残りは、上位レイヤ内で復号化される。

符号化単位ごとに、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、ネットワークを介して伝送される。

図１９及び図２１を参照して詳細に説明したスケーラブルビデオ符号化方法は、スケーラブルビデオ符号化装置１４００の動作と相応する。スケーラブルビデオ符号化装置１４００は、図１９及び図２１を参照して詳細に説明したスケーラブルビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたメモリを含み、メモリから前記プログラムを呼び出して実行することにより、図１４を参照して詳細に説明したスケーラブルビデオ符号化装置１４００の動作を具現することもできる。または、スケーラブルビデオ符号化装置１４００は、スケーラブルビデオ符号化方法をコンピュータで具現するためのプログラムが記録された記録媒体から、前記プログラムを読み取って字実行することにより、図１４を参照して詳細に説明したスケーラブルビデオ符号化装置１４００の動作を具現することもできる。

図２０及び図２２を参照して詳細に説明したスケーラブルビデオ復号化方法は、スケーラブルビデオ復号化装置１５００の動作と相応する。スケーラブルビデオ復号化装置１５００は、図２０及び図２２を参照して詳細に説明したスケーラブルビデオ復号化方法をコンピュータで具現するためのプログラムが記録されたメモリを含み、メモリから前記プログラムを呼び出して実行することにより、図１５を参照して詳細に説明したスケーラブルビデオ復号化装置１５００の動作を具現することもできる。または、スケーラブルビデオ復号化装置１５００は、スケーラブルビデオ復号化方法をコンピュータで具現するためのプログラムが記録された記録媒体から、前記プログラムを読み取って実行することにより、図１５を参照して詳細に説明したスケーラブルビデオ復号化装置１５００の動作を具現することもできる。

一方、詳細に説明した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (15)

1. スケーラブルビデオ符号化方法において、
   映像の最大符号化単位が階層的に分割された符号化単位のうち、分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する段階と、
   上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定する段階と、
   前記決定されたスケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報を参照し、前記上位レイヤ映像を予測符号化する段階と、
   前記スケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化モード及び予測値、並びに前記上位レイヤ映像のスケーラブル符号化モードを出力する段階と、を含み、
   前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということを決定することを特徴とするスケーラブルビデオ符号化方法。
2. 前記上位レイヤ映像を予測符号化する段階は、
   前記下位レイヤ映像の符号化情報において、符号化単位の構造情報、前記符号化単位に含まれる変換単位の構造情報、予測モード、パーティションタイプ、動き情報、及びイントラ情報のうち少なくとも一つを参照し、前記上位レイヤ映像の符号化情報を決定する段階と、
   前記決定された上位レイヤ映像の符号化情報に基づいて、前記上位レイヤ映像を符号化する段階と、を含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
3. 前記上位レイヤ映像を予測符号化する段階は、
   前記下位レイヤ映像の残差情報、変換係数、予測値、復元値、シンタックス要素、ループフィルタリング関連情報、非ゼロ係数位置情報、復元された予測値、及び復元されたテクスチャ情報を参照し、前記上位レイヤ映像の符号化情報を決定する段階と、
   前記決定された上位レイヤ映像の符号化情報に基づいて、前記上位レイヤ映像を符号化する段階と、を含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
4. 前記上位レイヤ映像を予測符号化する段階は、
   前記決定されたスケーラブル符号化モードに基づいて、前記上位レイヤのデータ単位が参照する前記下位レイヤ映像のデータ単位を決定する段階と、
   前記決定された下位レイヤのデータ単位の符号化情報を参照し、前記上位レイヤ映像を予測符号化する段階と、を含み、
   前記データ単位は、前記最大符号化単位、前記符号化単位、並びに前記符号化単位に含まれる予測単位、変換単位及び最小単位のうち少なくとも一つを含むことを特徴とする請求項１に記載のスケーラブルビデオ符号化方法。
5. 前記上位レイヤ映像を予測符号化する段階は、
   前記上位レイヤ映像の現在データ単位に相応する同種の前記下位レイヤ映像のデータ単位の符号化情報、他種の前記下位レイヤ映像のデータ単位の符号化情報、前記下位レイヤ映像のうちデータ単位のスライス情報及びタイル情報のうち少なくとも一つを参照し、前記上位レイヤ映像の現在データ単位を符号化する段階を含むことを特徴とする請求項４に記載のスケーラブルビデオ符号化方法。
6. 前記上位レイヤ映像を予測符号化する段階は、
   前記上位レイヤ映像の現在データ単位グループに相応する同一グループ種類の前記下位レイヤ映像のデータ単位グループ、及び他種の前記下位レイヤ映像のデータ単位グループのうち少なくとも一つを決定する段階と、
   前記決定された下位レイヤ映像のデータ単位グループの符号化情報を参照し、前記上位レイヤ映像の現在データ単位グループを符号化する段階と、を含むことを特徴とする請求項４に記載のスケーラブルビデオ符号化方法。
7. スケーラブルビデオ復号化方法において、
   受信されたビットストリームから、下位レイヤ映像の符号化情報、上位レイヤ映像のスケーラブル符号化モードをパージングする段階と、
   前記パージングされた下位レイヤ映像の符号化情報を利用して、前記下位レイヤ映像を、最大符号化単位が階層的に分割された符号化単位のうち分割が完了された符号化単位を含むツリー構造の符号化単位を基に復号化する段階と、
   前記上位レイヤ映像のスケーラブル符号化モードにより、前記下位レイヤ映像符号化情報を参照し、前記上位レイヤ映像を、前記ツリー構造の符号化単位に基づいて予測復号化する段階と、を含み、
   前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということが決定されたことを特徴とするスケーラブルビデオ復号化方法。
8. 前記上位レイヤ映像を予測復号化する段階は、
   前記下位レイヤ映像の符号化情報において、符号化単位の構造情報、前記符号化単位に含まれる変換単位の構造情報、予測モード情報、パーティションタイプ情報、動き情報、及びイントラ情報のうち少なくとも一つを参照し、前記上位レイヤ映像の符号化情報を決定する段階と、
   前記決定された上位レイヤ映像の符号化情報に基づいて、前記上位レイヤ映像を復号化する段階と、を含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
9. 前記上位レイヤ映像を予測復号化する段階は、
   前記下位レイヤ映像の符号化情報において、残差情報、変換係数、予測値、復元値、シンタックス要素、ループフィルタリング関連情報、非ゼロ係数位置情報、復元された予測値、及び復元されたテクスチャ情報のうち少なくとも一つを参照し、前記上位レイヤ映像の符号化情報を決定する段階と、
   前記決定された上位レイヤ映像の符号化情報に基づいて、前記上位レイヤ映像を復号化する段階と、を含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
10. 前記上位レイヤ映像を復号化する段階は、
    前記ビットストリームからパージングされた、前記上位レイヤ映像のスケーラブル符号化モードにより、前記上位レイヤ映像のデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤ映像のデータ単位の符号化情報を参照し、前記上位レイヤ映像を、前記ツリー構造の符号化単位に基づいて予測復号化する段階を含み、
    前記データ単位は、前記最大符号化単位、前記符号化単位、並びに前記符号化単位に含まれる予測単位、変換単位及び最小単位のうち少なくとも一つを含むことを特徴とする請求項７に記載のスケーラブルビデオ復号化方法。
11. 前記上位レイヤ映像を予測復号化する段階は、
    前記上位レイヤ映像の現在データ単位に相応する同種の前記下位レイヤ映像のデータ単位の符号化情報、他種の前記下位レイヤ映像のデータ単位の符号化情報、前記下位レイヤ映像のうちデータ単位のスライス情報及びタイル情報のうち少なくとも一つを決定する段階と、
    前記決定された下位レイヤ映像のデータ単位の符号化情報を参照し、前記上位レイヤ映像の現在データ単位の符号化情報を決定する段階と、
    前記決定された現在データ単位の符号化情報を利用して、前記現在データ単位を復号化する段階と、を含むことを特徴とする請求項１０に記載のスケーラブルビデオ復号化方法。
12. 前記上位レイヤ映像を予測復号化する段階は、
    前記上位レイヤ映像の現在データ単位グループに相応する同一グループ種類の前記下位レイヤ映像のデータ単位グループ、及び他種の前記下位レイヤ映像のデータ単位グループのうち少なくとも一つを決定する段階と、
    前記決定された下位レイヤ映像のデータ単位グループの符号化情報を参照し、前記上位レイヤ映像の現在データ単位グループの符号化情報を決定する段階と、
    前記決定された現在データ単位グループの符号化情報を利用して、前記現在データ単位グループを復号化する段階と、を含むことを特徴とする請求項１０に記載のスケーラブルビデオ復号化方法。
13. スケーラブルビデオ符号化装置において、
    映像の最大符号化単位が階層的に分割された符号化単位のうち、分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する下位レイヤ符号化部と、
    上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定し、前記決定されたスケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報を参照し、前記上位レイヤ映像を予測符号化する上位レイヤ符号化部と、
    前記スケーラブル符号化モードに基づいて、前記下位レイヤ映像の符号化情報、及び前記上位レイヤ映像のスケーラブル符号化モードを出力する出力部と、を含み、
    前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということを決定することを特徴とするスケーラブルビデオ符号化装置。
14. スケーラブルビデオ符号化装置において、
    映像の最大符号化単位が階層的に分割された符号化単位のうち、分割が完了された符号化単位を含むツリー構造の符号化単位を基に、下位レイヤ映像を符号化する下位レイヤ符号化部と、
    上位レイヤ映像を、前記ツリー構造の符号化単位を基に、前記下位レイヤ映像を参照してスケーラブル符号化するためのスケーラブル符号化モードを決定し、前記決定されたスケーラブル符号化モードに基づいて、前記上位レイヤのデータ単位が参照する前記下位レイヤ映像のデータ単位を決定し、前記決定された下位レイヤのデータ単位の符号化情報を参照し、前記上位レイヤ映像を予測符号化する上位レイヤ符号化部と、を含み、
    前記ビデオ映像が空間的に分割された最大符号化単位において、それぞれの最大符号化単位は、複数の符号化単位に分割され、それぞれの符号化単位は、隣接する符号化単位と個別的に、さらに小さい符号化単位に分割されるか否かということを決定することを特徴とするスケーラブルビデオ符号化装置。
15. 請求項１または７に記載の方法をコンピュータで実行させるためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images