JP2017508420A - マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法、並びにその装置 - Google Patents

Abstract

マルチレイヤビデオ符号化／復号方法に係り、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰ（intra random access point）ピクチャが、ＩＤＲ（instantaneous decoder refresh）ピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得する段階、及び該ＩＤＲ整列情報を利用して、符号化データを復号することにより、マルチレイヤ映像を復元する段階を含むマルチレイヤビデオ復号方法である。

Description

本発明は、ビデオ符号化方法及びビデオ復号方法に係り、詳細には、マルチレイヤに係わる情報を含むパラメータを伝達する方法に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。カラー映像間の重複性除去のために、既存の圧縮システムは、ブロック基盤の予測を行う。既存の圧縮システムは、ビデオの符号化及び復号に使用されるパラメータをピクチャ単位で生成する。

本発明は、効率的なマルチレイヤビデオ符号化方法及びその復号方法を提供する。

前述の技術的課題を達成するための技術的手段として、同一アクセスユニット（access unit）に含まれたランダムアクセスのためのＩＲＡＰ（intra random access point）ピクチャが、ＩＤＲ（instantaneous decoder refresh）ピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得する段階、及び前記ＩＤＲ整列情報を利用して符号化データを復号することにより、マルチレイヤ映像を復元する段階を含むマルチレイヤビデオ復号方法を提供する。

多様な実施形態によるマルチレイヤビデオ符号化／復号方法を使用することにより、符号化／復号の効率向上効果がある。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ符号化装置が遂行するビデオ符号化方法のフローチャートである。 本発明の一実施形態によるビデオ復号装置のブロック図である。 本発明の一実施形態によるビデオ復号装置が遂行するビデオ復号方法のフローチャートである。 多様な実施形態によるＮＡＬ（network abstraction layer）ユニットのヘッダを示した図面である。 本発明の一実施形態によるマルチレイヤビデオの符号化されたデータを含むＮＡＬユニットを示す図面である。 一実施形態によるＶＰＳ（video parameter set）のシンタックスを示した図面である。 多視点ビデオに含まれた基本視点のピクチャのＰＯＣ（picture of current）、基本視点のピクチャのＰＯＣを分類した基本視点ＰＯＣ＿ＭＳＢｓ（most significant bits）、及び基本視点ＰＯＣ＿ＬＳＢ（least significant bitｓ）間の関係を例示する図面である。 本発明の多様な実施形態による、ＩＤＲ整列情報を利用する方法について説明するための図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいたビデオ符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいたビデオ復号部のブロック図である。 本発明の一実施形態による、符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による符号化情報を図示する図面である。 本発明の一実施形態による符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

本発明の１側面は、同一アクセスユニット（access unit）に含まれたランダムアクセスのためのＩＲＡＰ（intra random access point）ピクチャがＩＤＲ（instantaneous decoder refresh）ピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得する段階、及び前記ＩＤＲ整列情報を利用して、符号化データを復号することにより、マルチレイヤ映像を復元する段階を含むマルチレイヤビデオ復号方法を提供する。

また、前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、前記少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

また、前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、前記アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャに限定されてもよい。

また、前記アクセスユニットは、マルチレイヤに含まれたピクチャのうちＰＯＣ（picture of current）が同一ピクチャを含んでもよい。

また、前記ＩＤＲ整列情報は、前記ビットストリームに含まれたＶＰＳ ＮＡＬ（video parameter set network abstraction layer）ユニットから獲得することができる。

また、前記マルチレイヤ映像を復元する段階は、前記ＩＤＲ整列情報の値が１である場合、前記ＩＲＡＰピクチャと同一アクセスユニットに含まれたピクチャに対して、ＰＯＣ情報を獲得しない。

また、前記ＩＤＲ整列情報をビットストリームから獲得する段階は、前記ビットストリームから獲得した、同一アクセスユニットに存在する全てのピクチャは、同一ピクチャタイプを有するか否かということを示すピクチャタイプ整列情報の値が０であり、前記ビットストリームから獲得した、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャは、前記ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示すＩＲＡＰ整列情報の値が１である場合、前記ＩＤＲ整列情報を獲得することができる。

また、第２側面は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャがＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得し、前記ＩＤＲ整列情報を利用して、符号化データを復号することにより、マルチレイヤ映像を復元するビデオ復号部を含むマルチレイヤビデオ復号装置を提供することができる。

また、前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、前記少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

また、前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、前記アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャに限定されてもよい。

また、前記アクセスユニットは、マルチレイヤに含まれたピクチャのうちＰＯＣが同一ピクチャを含んでもよい。

また、前記ビデオ復号部は、前記ビットストリームから獲得した、同一アクセスユニットに存在する全てのピクチャは、同一ピクチャタイプを有するか否かということを示すピクチャタイプ整列情報の値が０であり、前記ビットストリームから獲得した、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャは、前記ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示すＩＲＡＰ整列情報の値が１である場合、前記ＩＤＲ整列情報を獲得することができる。

また、第３側面は、入力映像を符号化し、基本レイヤ符号化データ及び向上レイヤ符号化データを生成する段階、前記基本レイヤ符号化データ及び向上レイヤ符号化データを復号するために共通して使用され、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報を含むＮＡＬユニットを生成する段階、並びに前記ＮＡＬユニットを含むビットストリームを生成する段階を含むマルチレイヤビデオ符号化方法を提供することができる。

また、第４側面は、基本レイヤ符号化データ及び向上レイヤ符号化データを復号するために共通して使用され、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報を含むＮＡＬユニットを生成するビデオ符号化部、及び前記ＮＡＬユニットを含むビットストリームを生成するビットストリーム生成部を含むマルチレイヤビデオ符号化装置を提供することができる。

以下、図１Ａないし図７を参照し、多様な実施形態による、現在ブロックに隣接する周辺ブロックの特性によって、変位ベクトルまたは動きベクトルの予測方法を決定するビデオ符号化方法、ビデオ復号方法が提案される。

また、図８ないし図２０を参照し、先に提案したビデオ符号化方法及びビデオ復号方法に適用可能な多様な実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。

また、図２１ないし図２７を参照し、先に提案したビデオ符号化方法、ビデオ復号方法が適用可能な多様な実施形態が開示される。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示す。

以下「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。

現在ブロック（current color block）は、符号化したり復号したりするカラー映像のブロックを意味する。

現在カラー映像（current color image）は、現在ブロックが含まれたカラー映像を意味する。具体的には、現在カラー映像は、符号化したり復号したりするブロックを含んでいるカラー映像を示す。

現在ブロックに対応するデプス映像（corresponding depth image）は、現在ブロックが含まれたカラー映像（現在カラー映像）に対応するデプス映像を意味する。例えば、現在ブロックが含まれたカラー映像のデプス値を示す映像である。

周辺ブロック（neighboring block aroundthecurrentblock）は、現在ブロックに隣接する符号化されたり復号されたりする少なくとも１つのブロックを示す。例えば、周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、現在ブロックの左側下端、または現在ブロックの左側上端に位置することができる。

対応デプスブロック（colocated depth block in the corresponding depth map）は、現在ブロックに対応するデプス映像に含まれたデプス映像ブロックを意味する。例えば、対応ブロックは、カラー映像に対応するデプス映像において、現在ブロックと同一位置にあるブロックを含んでもよい。

マクロブロック（colocated depth macroblock）は、デプス映像の対応ブロックを含む上位概念のデプス映像ブロックを意味する。

周辺カラー映像（neighboring color image around the color image comprising the current color block）は、現在ブロックが含まれたカラー映像の視点と異なる視点を有するカラー映像を意味する。周辺カラー映像は、現在ブロックに対する映像処理過程が遂行される以前に、符号化されたり復号されたりしたカラー映像でもある。

まず、図１Ａないし図７を参照し、一実施形態による、ビデオ符号化装置及びビデオ符号化方法、並びにビデオ復号装置及びビデオ復号方法が開示される。

マルチレイヤ映像符号化及びその復号を行う方法が提示されている。例えば、ＭＶＣ（multi-view video coding）及びＳＶＣ（scalable video coding）は、多数のレイヤを使用する映像符号化及びその復号方法を提供する。

ＭＶＣは、多視点ビデオを圧縮する方法である。多視点ビデオは、１つの場面を何台ものカメラを利用して、多様な視点で同時に撮影した立体映像をいう。一般的に、ＭＶＣにおいて、基本視点映像は、基本レイヤに符号化され、付加視点映像は、向上レイヤに符号化される。

立体映像とは、深さ及び空間に係わる形状情報を同時に提供する三次元映像をいう。単に両眼にそれぞれ異なる視点の映像を提供するステレオとは異なり、観察者が見る視点を異にするたびに、異なる方向から見たような映像を提供するためには、さまざまな視点から撮影した映像が必要である。さまざまな視点で撮った映像は、データ量が膨大であるために、ＭＰＥＧ−２やＨ．２６４／ＡＶＣのような単一視点ビデオ圧縮（single-view video coding）によって最適化された符号化器を利用して圧縮すれば、伝送しなければならないデータさんが膨大であり、現在のネットワークインフラ、地上波帯域幅などを考慮するとき、観察者が見る視点を異にするたびに異なる方向から見たような映像を提供することは、実現がほぼ不可能である。

従って、さまざまな視点のビデオをいずれも圧縮伝送する代わりに、デプス映像を作り、さまざまな視点の映像のうち一部視点の映像のように圧縮伝送すれば、圧縮時に発生するデータ量を減らすことができる。デプス映像は、カラー映像において、物体が視聴者と離れている距離を０〜２５５の値で示した映像であるために、その特徴がカラー映像と類似している。一般的に、三次元（３Ｄ：３−dimensional）ビデオは、さまざまな視点のカラー映像及びデプス映像を含む。しかし、３Ｄビデオは、時間的に連続している映像間の時間的重複性を有しているだけではなく、互いに異なる視点間にも、さまざまな視点間重複性を有しているために、他の視点間の重複性を効率的に除去するように、符号化システムを利用して圧縮を行えば、さらに少量のデータで立体映像を伝送することができる。

ＳＶＣは，多様なマルチメディア環境において、ネットワークの状況、または端末機の解像度のような多様なユーザ環境によって、時間的、空間的及び画質的な観点から、階層的（scalable）に多様なサービス提供のための映像圧縮方法である。ＳＶＣにおいて基本レイヤ符号化データは、一般的に、低解像度映像を符号化するデータを含み、向上レイヤ符号化データは、一般的に、基本レイヤ符号化データのように符号化され、高解像度映像を符号化するための符号化データを含む。

図１Ａは、本発明の一実施形態によるビデオ符号化装置１０のブロック図を図示している。

多様な実施形態によるビデオ符号化装置１０は、ビデオ符号化部１２及びビットストリーム生成部１４を含んでもよい。ビデオ符号化部１２は、入力映像を符号化し、基本レイヤ符号化データを生成することができる。また、ビデオ符号化部１２は、入力映像を符号化し、向上レイヤ符号化データを生成することができる。

ビデオ符号化装置１０は、入力映像に対して、基本レイヤ符号化データ及び向上レイヤ符号化データが互いに参照しないように、基本レイヤ符号化データ及び向上レイヤ符号化をデータ独立して生成することができる。

また、ビデオ符号化部１２は、基本レイヤ符号化データを利用して、向上レイヤ符号化データを生成することができる。例えば、ビデオ符号化装置１０は、基本レイヤ符号化データを基に入力映像を符号化し、向上レイヤ符号化データを生成することができる。

ビデオ符号化部１２は、基本レイヤ符号化データ及び向上レイヤ符号化データを復号するために、共通して使用されるＩＤＲ整列情報を生成することができる。

一実施形態によるビデオ符号化装置１０は、基本レイヤ及び向上レイヤ符号化データを復号するために、共通して使用されるＩＤＲ整列情報を生成することができる。

ＩＤＲ整列情報は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すことができる。

例えば、ビデオ符号化装置１０のビデオ符号化部１２が生成したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、同一アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャに限定されてもよい。

例えば、ビデオ符号化装置１０のビデオ符号化部１２が生成したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第２レイヤのピクチャ、及び第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第３レイヤのピクチャは、ＩＤＲピクチャでもある。

また、ビデオ符号化装置１０のビデオ符号化部１２が生成したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

例えば、ビデオ符号化装置１０のビデオ符号化部１２が生成したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャは、ＩＤＲピクチャに限定されてもよい。

ビデオ符号化装置１０のビデオ符号化部１２は、多様なタイプのＮＡＬ（network abstraction layer）ユニットを生成することができる。例えば、ビデオ符号化装置１０は、ＶＰＳ（video parameter set）ＮＡＬユニット、ＳＰＳ（sequence parameter set）ＮＡＬユニット、ＰＰＳ（picture parameter set）ＮＡＬなどのＮＡＬユニットを生成することができるが、それらに限定されるものではなく、多様なタイプのＮＡＬユニットを生成することができる。

ビデオ符号化装置１０のビデオ符号化部１２は、ＩＤＲ整列情報を含むＮＡＬユニットを生成することができる。例えば、ビデオ符号化装置１０のビデオ符号化部１２は、ＩＤＲ整列情報を含むＶＰＳ ＮＡＬユニットを生成することができる。

ビットストリーム生成部１４は、ＶＰＳ ＮＡＬユニットを含むビットストリームを生成する。例えば、ビットストリーム生成部１４は、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット及びＰＰＳ ＮＡＬユニットを含むビットストリームを生成することができる。

以下、ＩＤＲ整列情報を利用したインターレイヤビデオ符号化装置１０の詳細な動作について、図１Ｂを参照して詳細に説明する。

図１Ｂは、本発明の一実施形態によるビデオ符号化装置１０が遂行するビデオ符号化方法のフローチャートを図示している。

段階Ｓ１１１において、ビデオ符号化装置１０は、入力映像を符号化し、基本レイヤ符号化データ及び向上レイヤ符号化データを生成することができる。

例えば、ビデオ符号化装置１０は、入力映像を符号化し、基本レイヤ符号化データを生成する。そして、ビデオ符号化装置１０は、入力映像を符号化し、向上レイヤ符号化データを生成する。基本レイヤ符号化データと向上レイヤ符号化データは、入力映像に対して、互いを参照せずに独立して生成されもするが、ビデオ符号化装置１０は、基本レイヤ符号化データを利用して、向上レイヤ符号化データを生成することができる。例えば、ビデオ符号化装置１０は、基本レイヤ符号化データを基に入力映像を符号化し、向上レイヤ符号化データを生成することができる。

段階Ｓ１１２において、ビデオ符号化装置１０は、ＩＤＲ整列情報を含むＮＡＬユニットを生成することができる。

一実施形態によるビデオ符号化装置１０は、基本レイヤ及び向上レイヤ符号化データを符号化するために、共通して使用されるＩＤＲ整列情報を生成することができる。

ＩＤＲ整列情報は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すことができる。

例えば、ビデオ符号化装置１０がＩＤＲ整列情報の値を１と設定した場合、ビットストリームに含まれたランダムアクセスのためのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。また説明すれば、ビデオ符号化装置１０が生成したＩＤＲ整列情報の値が１である場合、ビットストリームは、ＣＲＡ（clean random accesｓ）ピクチャ及びＢＬＡ（broken link access）ピクチャを含まない。

また、ビデオ符号化装置１０が生成したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、同一アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャでもある。

例えば、ビデオ符号化装置１０が生成したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第２レイヤのピクチャ、及び第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第３レイヤのピクチャは、ＩＤＲピクチャでもある。

また、ビデオ符号化装置１０が生成したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

例えば、ビデオ符号化装置１０が生成したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャは、ＩＤＲピクチャに限定されてもよい。

ビデオ符号化装置１０は、多様なタイプのＮＡＬユニットを生成することができる。例えば、ビデオ符号化装置１０は、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット、ＰＰＳ ＮＡＬなどのＮＡＬユニットを生成することができるが、それらに限定されるものではなく、多様なタイプのＮＡＬユニットを生成することができる。

ビデオ符号化装置１０は、ＩＤＲ整列情報を含むＮＡＬユニットを生成することができる。例えば、ビデオ符号化装置１０は、ＩＤＲ整列情報を含むＶＰＳ ＮＡＬユニットを生成することができる。

段階Ｓ１１３において、ビデオ符号化装置１０は、ＮＡＬユニットを含むビットストリームを生成することができる。例えば、ビデオ符号化装置１０は、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット及びＰＰＳ ＮＡＬユニットを含むビットストリームを生成することができる。

図２Ａは、本発明の一実施形態によるビデオ復号装置２０のブロック図を図示している。多様な実施形態によるビデオ復号装置２０は、ビットストリーム獲得部２２及びビデオ復号部２４を含んでもよい。

ビットストリーム獲得部２２は、符号化された映像のビットストリームを獲得する。

ビデオ復号部２４は、ビットストリームからＩＤＲ整列情報を獲得することができる。例えば、ビデオ復号部２４は、ビットストリームから、ＶＰＳ ＮＡＬユニットを獲得することができる。また、ビデオ復号部２４は、ＶＰＳ ＮＡＬユニットから、ＩＤＲ整列情報を獲得することができる。

ビデオ復号部２４は、ＩＤＲ整列情報を利用し、基本レイヤ符号化データ及び向上レイヤ符号化データを復号することができる。例えば、ビデオ復号部２４は、ビットストリームから基本レイヤ及び向上レイヤの符号化データ並びにＩＤＲ整列情報を利用して、マルチレイヤ符号化データを復号することができる。

基本レイヤ符号化データと向上レイヤ符号化データは、入力映像に対して、互いを参照せずに独立して復号される。一方、ビデオ復号部２４は、基本レイヤ符号化データと向上レイヤ符号化データのうち少なくともいずれか一つが他の一つを参照する場合、かような参照関係を利用して、映像を復号することができる。例えば、ビデオ復号部２４は、向上レイヤ符号化データが基本レイヤ符号化データを参照する場合、基本レイヤ符号化データを利用して、向上レイヤ符号化データを復号することができる。

ＩＤＲ整列情報は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すことができる。

以下、ＩＤＲ整列情報を利用したインターレイヤビデオ復号装置２０の詳細な動作について、図２Ｂを参照して詳細に説明する。

図２Ｂは、本発明の一実施形態によるビデオ復号装置２０が遂行するビデオ復号方法のフローチャートを図示している。

段階Ｓ２１１において、ビデオ復号装置２０は、符号化された映像のビットストリームを獲得することができる。ビデオ復号装置２０が獲得したビットストリームは、ＮＡＬユニットを含んでもよい。例えば、ビットストリームは、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット、及びＰＰＳ ＮＡＬユニットを含んでもよい。

段階Ｓ２１２において、ビデオ復号装置２０は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報を獲得することができる。

ビデオ復号装置２０は、ビデオデータを再生する場合ランダムアクセス方式を利用することができる。ランダムアクセス方式は、独立して復元可能なランダムアクセスポイント（ＲＡＰ：random acces spoint、以下「ＲＡＰ」ともする）ピクチャから再生を行う方式を意味する。例えば、ビデオ復号装置２０は、所定位置のＲＡＰピクチャに飛んで再生することができる。

ＲＡＰピクチャは、ＩＲＡＰを含んでもよい。ＩＲＡＰは、ＲＡＰピクチャのうちイントラモードを利用して符号化／復号されるピクチャを意味する。

ＩＲＡＰピクチャは、ピクチャ、ＣＲＡピクチャ及びＢＬＡピクチャを含んでもよい。

ＩＤＲピクチャは、復号される瞬間、復号装置のバッファがリフレッシュされるイントラピクチャを意味する。例えば、ビデオ復号装置２０に含まれたＤＰＢ（decoded picture buffer）は、ＩＤＲピクチャが復号されるとき、ＩＤＲピクチャ以前に復号されたピクチャを、それ以上参照されないピクチャにマーキングし、ＰＯＣ（picture order count）を初期化する。また、ＩＤＲピクチャ以後に復号されるピクチャは、ＩＤＲピクチャより出力順序上常に後にあり、ＩＤＲピクチャ以前のピクチャを参照せずに復号される。

ＣＲＡピクチャは、Ｉスライスによってのみ構成されたピクチャであり、ディスプレイ順序上で先立つが、符号化順序上でＣＲＡピクチャより遅く符号化されるピクチャを有するピクチャを示す。ＣＲＡピクチャよりディスプレイ順序上で先立つが、符号化順序上でＣＲＡピクチャより遅く符号化されるピクチャをリーディング（leading）ピクチャと定義する。

ＢＬＡピクチャは、スプライシング（splicing）位置によって、ＣＲＡピクチャを細分化したピクチャである。ＣＲＡピクチャがリーディングピクチャを有するか否かということ、ＣＲＡピクチャが、ＲＡＤＬ（random access decodable leading）ピクチャまたはＲＡＳＬ（random access skip leading）ピクチャを有するかということによって、ＣＲＡピクチャは、ＢＬＡピクチャに分類されてもよい。

復号順序と符号化順序は、それぞれ復号装置及び符号化装置において、ピクチャを処理する順序を意味する。符号化装置は、入力されたピクチャの順序によって、ピクチャを順次に符号化して出力し、復号装置は、符号化されたピクチャを受信した順序によって復号するので、ピクチャの符号化順序は、復号順序と同一である。

アクセスユニットは、互いに異なるレイヤに含まれたピクチャのうち同一再生順序を有するピクチャの集合を意味する。

例えば、同一アクセスユニットに含まれたピクチャは、ＰＯＣが同一である。具体的に説明すれば、第１レイヤに含まれた第１ピクチャと、第２レイヤに含まれた第２ピクチャとのＰＯＣが同一である場合、第１ピクチャと第２ピクチャは、同一アクセスユニットに含まれていると見られる。

ビデオ復号装置２０は、ＩＤＲ整列情報を獲得することができる。例えば、ビデオ復号装置２０は、ビットストリームに含まれたＶＰＳ ＮＡＬユニットから、ＩＤＲ整列情報を獲得することができる。

ビデオ復号装置２０は、ビットストリームから獲得したピクチャタイプ整列情報の値に基づいて、ＩＤＲ整列情報を獲得するか否かということを判断することができる。例えば、ビデオ復号装置２０が、ビットストリームから獲得したピクチャタイプ整列情報の値が０である場合、ＩＤＲ整列情報をパージングすることができる。

ピクチャタイプ整列情報は、同一アクセスユニットに存在する全てのピクチャが同一ピクチャタイプを有するか否かということを示す、例えば、ビデオ復号装置２０がビットストリームから獲得したピクチャタイプ整列情報が１である場合、ビットストリームに含まれたピクチャのうち同一アクセスユニットに含まれたピクチャの「ｎａｌ＿unit＿type」の値は、同一である。

ビデオ復号装置２０は、ビットストリームから獲得したＩＲＡＰ整列情報の値に基づいて、ＩＤＲ整列情報をパージングするか否かということを判断することができる。例えば、ビデオ復号装置２０が、ビットストリームから獲得したＩＲＡＰ整列情報の値が１である場合、ＩＤＲ整列情報をパージングすることができる。

ＩＲＡＰ整列情報は、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャが、ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示す。例えば、ビデオ復号装置２０がビットストリームから獲得したＩＲＡＰ整列情報が１であり、第１レイヤの第１ピクチャがＩＲＡＰピクチャである場合、第１レイヤと異なるレイヤに含まれ、第１ピクチャと同一アクセスユニットに含まれたピクチャの「ｎａｌ＿unit＿type」の値は、第１ピクチャの「ｎａｌ＿unit＿type」値と同一である。

ビデオ復号装置２０は、ビットストリームから獲得したピクチャタイプ整列情報及びＩＲＡＰ整列情報の値に基づいて、ＩＤＲ整列情報をパージングするか否かということを判断することができる。

例えば、ビデオ復号装置２０がビットストリームから獲得したピクチャタイプ整列情報の値が０である場合、ビデオ復号装置２０は、ＩＲＡＰ整列情報をパージングし、ビデオ復号装置２０がパージングしたＩＲＡＰ整列情報の値が１である場合、ビデオ復号装置２０は、ＩＤＲ整列情報をパージングすることができる。

ＩＤＲ整列情報は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すことができる。

例えば、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報の値が１である場合、ビットストリームに含まれたランダムアクセスのためのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。さらに説明すれば、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報の値が１である場合、ビットストリームは、ＣＲＡピクチャ及びＢＬＡピクチャを含まない。

また、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、同一アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャでもある。

例えば、ビットストリームに、第１レイヤ映像、第２レイヤ映像及び第３レイヤ映像が含まれており、ビデオ復号装置２０が獲得したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第２レイヤのピクチャ、及び第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第３レイヤのピクチャは、ＩＤＲピクチャでもある。

また、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、ＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

例えば、ビットストリームに、第１レイヤ映像、第２レイヤ映像及び第３レイヤ映像が含まれており、ビデオ復号装置２０が獲得したＩＤＲ整列情報の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャは、ＩＤＲピクチャに限定されてもよい。

段階Ｓ２１３において、ビデオ復号装置２０は、ＩＤＲ整列情報を利用して、マルチレイヤビデオ映像を復元することができる。

ビデオ復号装置２０は、ビットストリームから、基本レイヤ符号化データを獲得することができる。また、ビデオ復号装置２０は、獲得した基本レイヤ符号化データ及びＩＤＲ整列情報を利用し、基本レイヤ映像を復元することができる。

ビデオ復号装置２０は、ビットストリームから、向上レイヤ符号化データをさらに獲得することができる。また、ビデオ復号装置２０は、獲得した基本レイヤ符号化データ、向上レイヤ符号化データ、獲得したＩＤＲ整列情報、またはそれらの組み合わせを利用して、マルチレイヤビデオ映像を復元することができる。

図３は、多様な実施形態によるＮＡＬユニットのヘッダを示した図面である。

ＮＡＬユニットは、ＮＡＬヘッダ及びＲＢＳＰ（raw byte sequence payload）を含んでもよい。

図３に図示されているように、ＮＡＬユニットのヘッダは、ｎａｌ＿unit＿type情報を含んでもよい。ｎａｌ＿unit＿typeは、当該ＮＡＬユニットが、いかなる種類のＮＡＬユニットであるかということを示す。例えば、ｎａｌ＿unit＿typeは、当該ＮＡＬユニットがパラメータ三つに係わるＮＡＬユニットであるか、あるいは符号化データを含むＮＡＬユニットであるかということを示すことができる。例えば、ｎａｌ＿unit＿typeは、当該ＮＡＬユニットがＶＰＳ ＮＡＬユニットであるか、ＳＰＳ ＮＡＬユニットであるか、あるいはＰＰＳ ＮＡＬユニットであるかということを示すことができる。

一実施形態によるビデオ復号装置２０は、ビットストリームで読み取られたＮＡＬユニットのヘッダ情報のｎａｌ＿unit＿type情報を利用して、当該ＮＡＬユニットの種類を判断することができる。

図４は、本発明の一実施形態によるマルチレイヤビデオの符号化されたデータを含むＮＡＬユニットを示している。

ビットストリーム生成部１４は、符号化されたマルチレイヤビデオデータ及び付加情報を含むＮＡＬユニットを出力する。

ビデオパラメータセット（ＶＰＳ：video parameter set、以下「ＶＰＳ」ともする）は、マルチレイヤビデオに含まれたマルチレイヤ映像シーケンス６２，６３，６４に適用される情報を含む。ＶＰＳに係わる情報を含むＮＡＬユニットを、ＶＰＳ ＮＡＬユニット６１という。

ＶＰＳ ＮＡＬユニット６１は、マルチレイヤ映像シーケンス６２，６３，６４によって共有される共通したシンタックスエレメント（syntax element）、不要な情報の伝送を防ぐための動作点（operation point）に係わる情報、プロファイル（profile）やレベルのように、セッション論議（session negotiation）段階で必要な動作点に係わる必須情報などを含む。特に、一実施形態によるＶＰＳ ＮＡＬユニット６１には、マルチレイヤビデオでのスケーラビリティ具現のためのスケーラビリティ識別子に係わるスケーラビリティ情報が含まれる。スケーラビリティ情報は、マルチレイヤビデオに含まれたマルチレイヤ映像シーケンス６２，６３，６４に適用されるスケーラビリティを決定するための情報である。

スケーラビリティ情報は、マルチレイヤビデオに含まれたマルチレイヤ映像シーケンス６２，６３，６４に適用されるスケーラビリティ類型及びスケーラビリティ次元に係わる情報を含む。本発明の第１実施形態による符号化／復号方法においてスケーラビリティ情報は、ＮＡＬユニットヘッダに含まれた階層識別子の値から、直接に得られる。階層識別子は、ＶＰＳに含まれた多数のレイヤを区分するための識別子である。ＶＰＳは、各レイヤに係わる階層識別子を、ＶＰＳエクステンション（ＶＰＳ extension）を介してシグナリングすることができる。ＶＰＳの各レイヤに係わる階層識別子は、ＶＰＳ ＮＡＬユニットに含まれてシグナリングされる。例えば、ＶＰＳの特定レイヤに属するＮＡＬユニットの階層識別子は、ＶＰＳ ＮＡＬユニットに含まれてもよい。例えば、ＶＰＳに属するＮＡＬユニットの階層識別子は、ＶＰＳエクステンションを介してシグナリングされる。従って、本発明の一実施形態による符号化／復号方法においてＶＰＳを利用して、当該ＶＰＳに属するＮＡＬユニットのレイヤに係わるスケーラビリティ情報を、当該ＮＡＬユニットの階層識別子値を利用して得ることができる。

図５は、一実施形態によるＶＰＳのシンタックスを示した図面である。

ビデオ復号装置２０は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）を獲得することができる。

ビデオ復号装置２０は、ＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）を獲得することができる。例えば、ビデオ復号装置２０は、ビットストリームに含まれたＶＰＳ ＮＡＬユニットから、ＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）を獲得することができる。

図５を参照するとき、ビデオ復号装置２０は、ビットストリームから獲得したピクチャタイプ整列情報（cross＿layer＿ｐｉｃ＿type＿aligned＿flag）及びＩＲＡＰ整列情報（cross＿layer＿ｉｒａｐ＿aligned＿flag）の値に基づいて、ＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）をパージングするか否かということを判断することができる。

例えば、ビデオ復号装置２０がビットストリームから獲得したピクチャタイプ整列情報（cross＿layer＿ｐｉｃ＿type＿aligned＿flag）の値が０である場合、ビデオ復号装置２０は、ＩＲＡＰ整列情報をパージングし、ビデオ復号装置２０がパージングしたＩＲＡＰ整列情報の値が１である場合、ビデオ復号装置２０は、ＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）をパージングすることができる。
ピクチャタイプ整列情報（cross＿layer＿ｐｉｃ＿type＿aligned＿flag）は、同一アクセスユニットに存在する全てのピクチャが、同一ピクチャタイプを有するか否かということを示す、例えば、ビデオ復号装置２０がビットストリームから獲得したピクチャタイプ整列情報（cross＿layer＿ｐｉｃ＿type＿aligned＿flag）が１である場合、ビットストリームに含まれたピクチャのうち同一アクセスユニットに含まれたピクチャの「ｎａｌ＿unit＿type」の値は同一である。

ＩＲＡＰ整列情報（cross＿layer＿ｉｒａｐ＿aligned＿flag）は、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャは、ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示す。例えば、ビデオ復号装置２０がビットストリームから獲得したＩＲＡＰ整列情報（cross＿layer＿ｉｒａｐ＿aligned＿flag）が１であり、第１レイヤの第１ピクチャがＩＲＡＰピクチャである場合、第１レイヤと異なるレイヤに含まれ、第１ピクチャと同一アクセスユニットに含まれたピクチャの「ｎａｌ＿unit＿type」の値は、第１ピクチャの「ｎａｌ＿unit＿type」値と同一である。

ＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）は、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲピクチャに限定されるか否かということを示すことができる。

例えば、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１である場合、ビットストリームに含まれたランダムアクセスのためのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。さらに説明すれば、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１である場合、ビットストリームは、ＣＲＡピクチャ及びＢＬＡピクチャを含まない。

また、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、同一アクセスユニットに含まれたピクチャは、ＩＤＲピクチャでもある。

例えば、ビットストリームに、第１レイヤ映像、第２レイヤ映像及び第３レイヤ映像が含まれており、ビデオ復号装置２０が獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第２レイヤのピクチャ、及び第１レイヤ映像のピクチャと同一アクセスユニットに含まれた第３レイヤのピクチャは、ＩＤＲピクチャでもある。

また、ビデオ復号装置２０がビットストリームから獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１であり、同一アクセスユニットに含まれたピクチャのうち少なくとも一つがＩＲＡＰピクチャである場合、ＩＲＡＰピクチャは、ＩＤＲピクチャに限定されてもよい。

例えば、ビットストリームに、第１レイヤ映像、第２レイヤ映像及び第３レイヤ映像が含まれており、ビデオ復号装置２０が獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）の値が１であり、第１レイヤ映像のピクチャがＩＲＡＰピクチャである場合、第１レイヤ映像のピクチャは、ＩＤＲピクチャに限定されてもよい。

ビデオ復号装置２０は、ビットストリームから、基本レイヤ符号化データを獲得することができる。また、ビデオ復号装置２０は、獲得した基本レイヤ符号化データ及びＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）を利用して、基本レイヤ映像を復元することができる。

ビデオ復号装置２０は、ビットストリームから、向上レイヤ符号化データをさらに獲得することができる。また、ビデオ復号装置２０は、獲得した基本レイヤ符号化データ、向上レイヤ符号化データ、獲得したＩＤＲ整列情報（all＿layers＿ｉｄｒ＿aligned＿flag）、またはそれらの組み合わせを利用して、マルチレイヤビデオ映像を復元することができる。

図６は、多視点ビデオに含まれた基本視点のピクチャのＰＯＣ、基本視点のピクチャのＰＯＣを分類した基本視点ＰＯＣ＿ＭＳＢｓ及び基本視点ＰＯＣ＿ＬＳＢｓの関係を例示している。

ＩＤＲピクチャは、当該ピクチャを復号する瞬間、復号装置をリフレッシュするＩスライスによってのみ構成されたピクチャである。例えば、ＩＤＲピクチャが復号される瞬間、ＤＰＢは、ＩＤＲピクチャを除いた以前に復号されたピクチャを、それ以上参照されないピクチャ（unused for reference）とマーキングし、ＰＯＣも初期化される。また、ＩＤＲピクチャ以後に復号されるピクチャは、ＩＤＲピクチャよりデ、ィスプレイ順序（display order）上で常に後にあり、ＩＤＲピクチャ以前のピクチャを参照せずに復号される。

復号順序と符号化順序は、それぞれ復号装置及び符号化装置においてピクチャを処理する順序を意味する。符号化装置は、入力されたピクチャの順序によって、ピクチャを順次に符号化して出力し、復号装置は、符号化されたピクチャを受信した順序によって復号するので、ピクチャの符号化順序は、復号順序と同一である。

ＩＤＲピクチャを基準に、各ピクチャのディスプレイ順序を示すＰＯＣは、復号されたピクチャの出力視点を決定し、各ピクチャの予測復号に利用される参照ピクチャセット（reference picture set）などの決定に利用されるので、ピクチャのＰＯＣ情報は、ビデオ処理時に重要な役割を行う。

ＰＯＣは、ＩＤＲピクチャの復号瞬間に０にリセットされ、ＩＤＲピクチャ以後に、次のＩＤＲピクチャを復号するまでディスプレイされるピクチャは、＋１ずつ増加されるＰＯＣを有する。ＰＯＣをシグナリングする方式として、明示（explicit）方式がある。明示方式は、ＰＯＣを所定のｍ（ｍは、整数）個の上位ビットによって構成されたＭＳＢｓ（most significant bits）と、所定のｎ（ｎは、整数）個の下位ビットによって構成されたＬＳＢｓ（least significant bits）に分類し、各ピクチャのＰＯＣ情報として、ＬＳＢｓを伝送する方式を意味する。復号側では、以前ピクチャのＰＯＣのＭＳＢｓ及びＬＳＢｓ、及び受信された現在ピクチャのＰＯＣのＬＳＢｓの情報に基づいて、現在ピクチャのＰＯＣのＭＳＢｓを獲得することができる。

図６において矢印は、参照方向を示す。また、Ｉ＃は、＃番目に復号されるＩピクチャを意味し、ｂ＃またはＢ＃は、矢印による参照ピクチャを参照し、双方向予測される＃番目に復号されるＢピクチャを意味する。例えば、Ｂ２ピクチャは、Ｉ０ピクチャ及びＩ１ピクチャを参照して復号される。

図６を参照すれば、基本視点のピクチャは、Ｉ０、Ｉ１、Ｂ２、ｂ３、ｂ４、Ｉ５、Ｂ６、ｂ７、ｂ８の順序に復号される。ＰＯＣ値によって、基本視点のピクチャは、Ｉ０、ｂ３、Ｂ２、ｂ４、Ｉ１、ｂ７、Ｂ６、ｂ９、Ｉ５の順序に表示される。復号順序と違いがあるディスプレイ順序を決定するために、基本視点のピクチャのＰＯＣ情報をシグナリングしなければならない。前述のように、明示モードにおいてＰＯＣは、上位ビットによって構成されたＭＳＢｓと、下位ビットによって構成されたＬＳＢｓとに分類され、下位ビットであるＬＳＢｓだけがＰＯＣ情報に伝送される。

Ｉ０ピクチャ６１０は、基本視点のピクチャのうち最初に復号されるピクチャであり、ＩＤＲピクチャである。前述のように、ＩＤＲピクチャの復号瞬間には、ＰＯＣが０にリセットされるのでＩ０ピクチャ６１０は、０であるＰＯＣを有する。ＰＯＣのＬＳＢｓのビット数が２ビットであると仮定すれば、図示されているように、基本視点に含まれたピクチャのＰＯＣのＬＳＢｓは、「００ ０１ １０ １１」が反復される形態を有する。ＰＯＣのＭＳＢｓは、下位ビットを利用して表現可能な「００ ０１ １０ １１」の１サイクル（cycle）が完了すれば、＋１ずつ増加される。復号装置では、ＰＯＣのＬＳＢｓの情報のみを受信した場合にも、復号過程においてディスプレイされるピクチャの１サイクルが完了すれば、ＰＯＣのＭＳＢｓの値を＋１ほど増加させることにより、基本視点のピクチャのＰＯＣのＭＳＢｓを獲得することができる。そして、復号装置では、ＭＳＢｓとＬＳＢｓとを利用して、ピクチャのＰＯＣを復元することができる。例えば、Ｉ１ピクチャ６１１のＰＯＣを復元する過程について説明する。Ｉ１ピクチャ６１１について、所定データ単位を介して、ＰＯＣのＬＳＢｓ情報「００」が獲得される。Ｉ１ピクチャ６１１より以前に表示された以前ピクチャｂ４のＰＯＣのＬＳＢｓの値が「１１」であり、Ｉ１ピクチャ６１１のＰＯＣのＬＳＢｓの値が「００」であるので、以前ピクチャｂ４のＰＯＣのＭＳＢｓの値を＋１ほど増加させ、Ｉ１ピクチャ６１１のＰＯＣのＭＳＢｓの値として「０１」６１３が獲得される。ＭＳＢｓ及びＬＳＢｓが獲得されれば、ＭＳＢｓ＋ＬＳＢｓを介して、Ｉ１ピクチャ６１１のＰＯＣ値である４に該当する二進値「０１００」が獲得される。

このように、ＰＯＣのＬＳＢｓ情報のみを伝送することは、単一視点（uni-view）ビデオでは大きい問題はないが、多視点ビデオにおいて、視点間ランダムアクセスや視点間スイッチングが発生する場合、視点間ピクチャのＰＯＣの非同期化（asynchronous）を誘発する。例えば、基本視点の映像を再生する最中、付加視点の映像に、ランダムアクセスまたは視点間スイッチングが発生し、付加視点のＲＡＰピクチャであるＩピクチャ６１２から再生が行われる場合を仮定する。復号装置は、ランダムアクセスを介して、最初に復号される付加視点のＩピクチャ６１２のＰＯＣのＭＳＢｓを０にリセットする。従って、基本視点のＩピクチャ６１１のＰＯＣは、「０１」６１３のＭＳＢｓを有するのに対し、付加視点のＩピクチャ６１２のＰＯＣは、ランダムアクセスによって、「００」にリセットされたＭＳＢｓを有する。それにより、同一ＰＯＣを有さなければならない基本視点のＩピクチャ６１１と、付加視点のＩピクチャ６１２は、互いに異なるＰＯＣを有し、基本視点の映像のディスプレイ順序と、付加視点の映像のディスプレイ順序との不一致が発生する。

従って、一実施形態によれば、多視点ビデオにおいて、視点間ランダムアクセスや再生される視点が変更される視点スイッチングが発生する場合にも、各視点間同一時間に表示されなければならないピクチャ同期化のために、ＲＡＰピクチャのうちＣＲＡピクチャ及びＢＬＡピクチャに対して、ＰＯＣのＬＳＢｓ情報だけではなく、ＰＯＣのＭＳＢｓの情報を共に伝送する。ＩＤＲピクチャの場合には、ＰＯＣのＭＳＢｓ及びＬＳＢｓがいずれも０にリセットされ、０であるＰＯＣ値を有する。従って、符号化側では、同一アクセス単位に含まれたいずれか１レイヤのピクチャがＩＤＲピクチャである場合、対応する他のレイヤのピクチャをいずれもＩＤＲピクチャに設定することにより、ＩＤＲピクチャについては、別途にＰＯＣ情報を伝送しない。レイヤ間ランダムアクセスが発生し、ＲＡＰピクチャのうちＩＤＲピクチャから再生が行われる場合、ＩＤＲピクチャは、ＰＯＣ値が０にリセットされるために、各レイヤ間ＩＤＲピクチャは、いずれも同一ＰＯＣ値を有するので、同期化が可能である。

図７は、本発明の多様な実施形態による、ＩＤＲ整列情報を利用する方法について説明するための図面である。

ビデオ復号装置２０は、ビットストリームから、ＩＤＲ整列情報を獲得することができる。例えば、ビデオ復号装置２０は、ｕ（２）ほどのデータを読み取り、パラメータ（cross＿layer＿ｉｒａｐ＿aligned＿ｉｄｃ）を獲得することができる。

ビデオ復号装置２０は、ＩＤＲ整列情報の値に基づいて、現在ピクチャのＰＯＣ情報を獲得するか否かということを決定することができる。ＰＯＣ情報（slice＿ｐｉｃ＿order＿ｃｎｔ＿ｌｓｂ）は、現在ピクチャのＬＳＢｓ情報を含んでもよい。

例えば、ビデオ復号装置２０は、ＩＤＲ整列情報の値が１であり、同一アクセスユニットに含まれたピクチャのうち１つのピクチャがＩＤＲピクチャである場合、同一アクセスユニットに含まれたピクチャに係わるＰＯＣ情報（slice＿ｐｉｃ＿order＿ｃｎｔ＿ｌｓｂ）を獲得しない。

また、ビデオ復号装置２０は、ＩＤＲ整列情報の値が０である場合、同一アクセスユニットに含まれたピクチャのうち第１ピクチャがＩＤＲピクチャであるとしても、同一アクセスユニットに含まれたピクチャのうちＩＤＲピクチャではないピクチャに係わるＰＯＣ情報（slice＿ｐｉｃ＿order＿ｃｎｔ＿ｌｓｂ）を獲得することができる。

一方、説明の便宜のために、図４ないし図７では、それぞれビデオ復号装置２０が遂行する動作のみについて詳細に説明し、ビデオ符号化装置１０での動作は省略したが、ビデオ符号化装置１０においても、それにに対応する動作が遂行されるということは、本実施形態が属する技術分野の当業者であるならば、容易に理解することができるであろう。

前述のビデオ符号化装置及びビデオ復号装置によって遂行されるビデオ符号化方法及びビデオ復号方法は、インターレイヤビデオ符号化装置及びインターレイヤビデオ復号装置において、インターレイヤビデオを符号化及び復号するために使用される。

多様な実施形態によるインターレイヤビデオ符号化装置は、スケーラブルビデオコーディング（scalable video coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。インターレイヤビデオ符号化装置は、第１レイヤ映像シーケンスと第２レイヤ映像シーケンスとを互いに異なるレイヤに符号化することができる。

第１レイヤ符号化部が第１レイヤ映像を符号化し、第１レイヤ映像の符号化データを含む第１レイヤストリームを出力することができる。

第２レイヤ符号化部が第２レイヤ映像を符号化し、第２レイヤ映像の符号化データを含む第２レイヤストリームを出力することができる。

例えば、空間的スケーラビリティ（spatial scalability）に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第１レイヤ映像として符号化され、高解像度映像が第２レイヤ映像として符号化されてもよい。第１レイヤ映像の符号化結果が、第１レイヤストリームとして出力され、第２レイヤ映像の符号化結果が、第２レイヤストリームとして出力されてもよい。

他の例として、多視点ビデオが、スケーラブルビデオコーディング方式によって符号化されてもよい。左視点映像は、第１レイヤ映像として符号化され、右視点映像は、第２レイヤ映像として符号化されてもよい。または、中央視点映像、左視点映像及び右視点映像がそれぞれ符号化され、そのうち中央視点映像は、第１レイヤ映像として符号化され、左視点映像は、第１第２レイヤ映像として符号化され、右視点映像は、第２レイヤ映像として符号化されてもよい。

他の例として、時間的スケーラビリティに基づいた時間レイヤ的予測（temporal hierarchical prediction）によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第１レイヤストリームが出力されてもよい。フレームレート別に時間的レイヤ（temporal level）が分類され、各時間的レイヤが各レイヤに符号化されてもよい。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む第２レイヤストリームが出力されてもよい。

また、第１レイヤと、多数の第２レイヤとに係わるスケーラブルビデオコーディングが行われてもよい。第２レイヤが３以上である場合、第１レイヤ映像；最初の第２レイヤ映像、２番目第２レイヤ映像、…、Ｋ番目第２レイヤ映像が符号化される。それによって、第１レイヤ映像の符号化結果が第１レイヤストリームに出力され、最初、２番目、…、Ｋ番目の第２レイヤ映像の符号化結果が、それぞれ最初、２番目、…、Ｋ番目の第２レイヤストリームとして出力されてもよい。

多様な実施形態によるインターレイヤビデオ符号化装置は、単一レイヤの映像を参照し、現在映像を予測するインター予測（inter prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion vector）、及び現在映像と参照映像とのレジデュアル成分（residual）が生成されてもよい。

また、インターレイヤビデオ符号化装置は、第１レイヤ映像を参照し、第２レイヤ映像を予測するインターレイヤ予測（inter-layer prediction）を行うことができる。

また、一実施形態によるインターレイヤビデオ符号化装置が、第１レイヤ、第２レイヤ、第３レイヤなど３以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、第１レイヤ映像と第３レイヤ映像とのインターレイヤ予測、第２レイヤ映像と第３レイヤ映像とのインターレイヤ予測を行うこともできる。

インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュアル成分が生成されてもよい。

多様な実施形態によるインターレイヤビデオ符号化装置は、各レイヤごとに、ビデオのそれぞれの映のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding tree unit）、コーディングブロックツリー（coding block tree）、ブロックツリー、ルートブロックツリー（root block tree）、コーディングツリー、コーディングルートまたはツリートランク（tree trunk）など多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図８ないし図２０を参照して後述する。

インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に行われる。

一実施形態による符号化装置、及び一実施形態によるビデオ復号装置において、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用されてもよい。以下、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号方法及びその装置が開示される。

原則的には、マルチレイヤビデオのための符号化／復号過程において、第１レイヤ映像のための符号化／復号過程と、第２レイヤ映像のための符号化／復号過程が別途に遂行される。すなわち、マルチレイヤビデオのうちインターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号結果が相互参照されるが、シングルレイヤビデオごとに別途の符号化／復号過程が発生する。

従って、説明の便宜のために、図８ないし図２０を参照して説明されるツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号過程は、シングルレイヤビデオに対するビデオ符号化過程及びビデオ復号過程であるので、インター予測及び動き補償について詳細に説明される。

従って、一実施形態によるインターレイヤビデオ符号化装置の符号化部が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとに、ビデオ符号化を行うために、図８のビデオ符号化装置８００をマルチレイヤビデオのレイヤ個数ほど含み、各ビデオ符号化装置８００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、インターレイヤビデオ符号化装置は、各ビデオ符号化装置８００の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。それによって、インターレイヤビデオ符号化装置の符号化部は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと第２レイヤビデオストリームとを生成することができる。

それと類似して、一実施形態によるインターレイヤビデオ復号装置の復号部が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号するためには、受信した第１レイヤビデオストリーム及び第２レイヤビデオストリームに対して、レイヤ別にビデオ復号を行うために、図９のビデオ復号装置９００をマルチレイヤビデオのレイヤ個数ほど含み、各ビデオ復号装置９００ごとに割り当てられたシングルレイヤビデオの復号を行うように制御することができる。そして、インターレイヤビデオ復号装置が、各ビデオ復号装置９００の別個シングルレイヤの復号結果を利用して、インターレイヤ補償を行うことができる。それによって、インターレイヤビデオ復号装置の復号部は、レイヤ別に復元された第１レイヤ映像と第２レイヤ映像とを生成することができる。

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置８００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、符号化単位決定部８２０及び出力部８３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、「ビデオ符号化装置８００」に縮約して呼ぶ。

符号化単位決定部８２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と定義され、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によってレイヤ的に分類される。

最大符号化単位の高さ及び幅をレイヤ的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部８２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部８２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部８３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位がレイヤ的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部８２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によってレイヤ的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する最終深度は、他の領域に対する最終深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度が１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２、３及び４の深度レベルが存在するの、で第１最大深度は、４に設定され、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置８００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置８００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置８００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によっ、てツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

深度別分割情報は、深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部８２０は、最小符号化誤差を発生させた深度だけでなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位／パーティション、及び変換単位の決定方式については、図１７ないし図１９を参照して詳細に説明する。

符号化単位決定部８２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部８３０は、符号化単位決定部８２０で決定された少なくとも１つの深度に基づいて符号化された最大符号化単位の映像データ、及び深度別分割情報をビットストリーム形態に出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。

最終深度情報は、現在深度に符号化せずに、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならは、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、深度の符号化単位ごとに少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によってレイヤ的に区画され、位置別に深度が異なるので、データに対して、深度及び分割情報が設定される。

従って、一実施形態による出力部８３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部８３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部８３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置８００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１レイヤ上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置８００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位に符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

図１Ａで説明した構成を含むインターレイヤビデオ符号化装置は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置８００を含んでもよい。例えば、第１レイヤ符号化部が、１つのビデオ符号化装置８００を含み、第２レイヤ符号化部が、第２レイヤの個数ほどのビデオ符号化装置８００を含んでもよい。

ビデオ符号化装置８００が、第１レイヤ映像を符号化する場合、符号化単位決定部８２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。

ビデオ符号化装置８００が第２レイヤ映像を符号化する場合にも、符号化単位決定部８２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。

ビデオ符号化装置８００は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位についてのみ輝度補償が行われる。

図９は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置９００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、受信部９１０、映像データ及び符号化情報抽出部９２０及び映像データ復号部９３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、「ビデオ復号装置９００」と縮約して呼ぶ。

一実施形態によるビデオ復号装置９００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図８及びビデオ符号化装置８００を参照して説明したところと同一である。

受信部９１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部９３０に出力する。映像データ及び符号化情報抽出部９２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部９３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部９３０が、最大符号化単位ごとに、映像データを復号する。

最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部９２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置８００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された深度及び分割情報である。従って、ビデオ復号装置９００は、最小符号化誤差を発生させる符号化方式によって、データを復号して映像を復元することができる。

一実施形態による深度、及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部９２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号部９３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部９３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号部９３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号部９３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号部９３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度であり、それ以上分割されないことを示しているならば、現在深度である。従って、映像データ復号部９３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部９３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。

図２Ａで説明した構成を含むインターレイヤビデオ復号装置は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号装置９００を視点数ほど含んでもよい。

第１レイヤ映像ストリームが受信された場合には、ビデオ復号装置９００の映像データ復号部９３０は、抽出部９２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部９３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。

第２レイヤ映像ストリームが受信された場合には、ビデオ復号装置９００の映像データ復号部９３０は、抽出部９２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部９３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。

抽出部９２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報をビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。

結局、ビデオ復号装置９００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。

図１０は、多様な実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ１０１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ１０２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ１０３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ１０３０に比べ、解像度が高いビデオデータ１０１０，１０２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ１０１０の最大深度が２であるので、ビデオデータ１０１０の符号化単位１０１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２レイヤ深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ１０３０の最大深度が１であるので、ビデオデータ１０３０の符号化単位１０３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１レイヤ深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ１０２０の最大深度が３であるので、ビデオデータ１０２０の符号化単位１０２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３レイヤ深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上するのである。

図１１は、多様な実施形態による、符号化単位に基づいたビデオ符号化部１１００のブロック図を図示している。

一実施形態によるビデオ符号化部１１００は、ビデオ符号化装置８００のピクチャ符号化部１５２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部１１２０は、現在映像１１０５において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部１１１５は、インターモードの符号化単位に対して、予測単位別に、現在映像１１０５、及び復元ピクチャバッファ１１１０で獲得された参照映像を利用して、インター予測を行う。現在映像１１０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。そのとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングを行われる。

イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データを、現在映像１１０５のエンコーディングされる符号化単位に係わるデータから差し引くことによってレジデュデータを生成し、レジデュデータは、変換部１１２５及び量子化部１１３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部１１４５、逆変換部１１５０を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部１１５５及びＳＡＯ遂行部１１６０を経て、復元映像に生成される。生成された復元映像は、復元ピクチャバッファ１１１０に保存される。復元ピクチャバッファ１１１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部１１２５及び量子化部１１３０で量子化された変換係数は、エントロピー符号化部１１３５を経て、ビットストリーム１１４０として出力される。

一実施形態によるビデオ符号化部１１００がビデオ符号化装置８００に適用されるために、ビデオ符号化部１１００の構成要素であるインター予測部１１１５、イントラ予測部１１２０、変換部１１２５、量子化部１１３０、エントロピー符号化部１１３５、逆量子化部１１４５、逆変換部１１５０、デブロッキング部１１５５及びＳＡＯ遂行部１１６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。

特に、イントラ予測部１１２０及びインター予測部１１１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部１１２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内のクアッドツリーによる変換単位の分割いかんを決定することができる。

図１２は、多様な実施形態による、符号化単位に基づいたビデオ復号部１２００のブロック図を図示している。

エントロピー復号部１２１５は、ビットストリーム１２０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部１２２０及び逆変換部１２２５は、量子化された変換係数からレジデュデータを復元する。

イントラ予測部１２４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部１２３５は、現在映像のうちインターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ１２３０で獲得された参照映像を利用してインター予測を行う。

イントラ予測部１２４０またはインター予測部１２３５を経た各モードの符号化単位に係わる予測データと、レジデュデータとが加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部１２４５及びＳＡＯ遂行部１２５０を経て、復元映像１２６０として出力される。また、復元ピクチャバッファ１２３０に保存された復元映像は、参照映像として出力される。

ビデオ復号装置９００のピクチャ復号部９３０において映像データを復号するために、一実施形態によるビデオ復号部１２００のエントロピー復号部１２１５以後の段階別作業が遂行される。

ビデオ復号部１２００が、一実施形態によるビデオ復号装置９００に適用されるために、ビデオ復号部１２００の構成要素であるエントロピー復号部１２１５、逆量子化部１２２０、逆変換部１２２５、イントラ予測部１２４０、インター予測部１２３５、デブロッキング部１２４５及びＳＡＯ遂行部１２５０が最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて、作業を遂行することができる。

特に、イントラ予測部１２４０及びインター予測部１２３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部１２２５は、符号化単位ごとに、クアッドツリー構造による変換単位の分割いかんを決定することができる。

図１０の符号化動作、及び図１１の復号動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号動作について詳細に説明したものである。従って、図１Ａの符号化部が、２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部１１００を含んでもよい。類似して、図２Ａの復号部２６が２以上のレイヤのビデオストリームを復号するならば、レイヤ別に映像復号部１２００を含んでもよい。

図１３は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００は、映像特性を考慮するために、レイヤ的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位のレイヤ構造１３００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位のレイヤ構造１３００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位のレイヤ構造１３００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位１３１０は、符号化単位のレイヤ構造１３００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位１３２０、サイズ１６ｘ１６である深度２の符号化単位１３３０、サイズ８ｘ８である深度３の符号化単位１３４０が存在する。サイズ８ｘ８である深度３の符号化単位１３４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位１３１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位１３１０に含まれるサイズ６４ｘ６４のパーティション１３１０、サイズ６４ｘ３２のパーティション１３１２、サイズ３２ｘ６４のパーティション１３１４、サイズ３２ｘ３２のパーティション１３１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位１３２０の予測単位は、サイズ３２ｘ３２の符号化単位１３２０に含まれるサイズ３２ｘ３２のパーティション１３２０、サイズ３２ｘ１６のパーティション１３２２、サイズ１６ｘ３２のパーティション１３２４、サイズ１６ｘ１６のパーティション１３２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位１３３０の予測単位は、サイズ１６ｘ１６の符号化単位１３３０に含まれるサイズ１６ｘ１６のパーティション１３３０、サイズ１６ｘ８のパーティション１３３２、サイズ８ｘ１６のパーティション１３３４、サイズ８ｘ８のパーティション１３３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位１３４０の予測単位は、サイズ８ｘ８の符号化単位１３４０に含まれるサイズ８ｘ８のパーティション１３４０、サイズ８ｘ４のパーティション１３４２、サイズ４ｘ８のパーティション１３４４、サイズ４ｘ４のパーティション１３４６に分割される。

一実施形態によるビデオ符号化装置８００の符号化単位決定部８２０は、最大符号化単位１３１０の深度を決定するために、最大符号化単位１３１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位のレイヤ構造１３００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位のレイヤ構造１３００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位１３１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位１３１０の深度及びパーティションモードに選択される。

図１４は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位において、映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００において、現在符号化単位１４１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位１４２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位１４１０のデータに対して、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１５は、多様な実施形態による符号化情報を図示している。

一実施形態によるビデオ符号化装置８００の出力部８３０は、分割情報であり、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を符号化して伝送することができる。

パーティションモードに係わる情報１５００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６、サイズＮｘＮのパーティション１５０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報１５００は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６及びサイズＮｘＮのパーティション１５０８のうち一つを示すように設定される。

予測モードに係わる情報１５１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報１５１０を介して、パーティションモードに係わる情報１５００が示すパーティションがイントラモード１５１２、インターモード１５１４及びスキップモード１５１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報１５２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ１５２２、第２イントラ変換単位サイズ１５２４、第１インター変換単位サイズ１５２６、第２インター変換単位サイズ１５２８のうち一つである。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部９２０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を抽出して復号に利用することができる。

図１６は、多様な実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位１６００の予測符号化のための予測単位１６１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション１６１２，１６１４，１６１６，１６１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０ １６１２、２Ｎ＿０ｘＮ＿０ １６１４及びＮ＿０ｘ２Ｎ＿０のパーティションモード １６１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションモード１６１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（１６２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位１６３０に対して反復的に符号化を行い、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位１６３０の予測符号化のための予測単位１６４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード１６４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード１６４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード１６４６、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（１６５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位１６６０に対して反復的に符号化を行い、最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（１６７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位１６８０の予測符号化のための予測単位１６９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８を含んでもよい。

パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位１６００に係わる深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位１６８０については、分割情報が設定されない。

データ単位１６９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置８００は、符号化単位１６００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度として決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部９２０は、符号化単位１６００に係わる深度及び予測単位に係わる情報を抽出し、符号化単位１６１２の復号に利用することができる。一実施形態によるビデオ復号装置９００は、深度別分割情報を利用して、分割情報が「０」である深度を深度として把握し、当該深度に係わる分割情報を利用して、復号に利用することができる。

図１７、図１８及び図１９は多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１７１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置８００が決定した深度別符号化単位である。予測単位１７６０は、符号化単位１７１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１７７０は、それぞれの深度別符号化単位の変換単位である。

深度別符号化単位１７１０は、最大符号化単位の深度が０であるとすれば、符号化単位１７１２，１７５４は、深度が１であり、符号化単位１７１４，１７１６，１７１８，１７２８，１７５０，１７５２は、深度が２であり、符号化単位１７２０，１７２２，１７２４，１７２６，１７３０，１７３２，１７４８は、深度が３であり、符号化単位１７４０，１７４２，１７４４，１７４６は、深度が４である。

予測単位１７６０において、一部パーティション１７１４，１７１６，１７２２，１７３２，１７４８、１７５０，１７５２，１７５４は、符号化単位が分割された形態である。すなわち、パーティション１７１４，１７２２，１７５０，１７５４は、２ＮｘＮのパーティションモードであり、パーティション１７１６，１７４８，１７５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１７３２は、ＮｘＮのパーティションモードである。深度別符号化単位１７１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１７７０において、一部変換単位１７５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１７１４，１７１６，１７２２，１７３２，１７４８、１７５０，１７５２，１７５４は、予測単位１７６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置８００、及び一実施形態に他のビデオ復号装置９００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それによって、最大符号化単位ごとに、領域別に、レイヤ的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００において設定することができる一例を示している。

一実施形態によるビデオ符号化装置８００の出力部８３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置９００の符号化情報抽出部９２０は、受信されたビットストリームからツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎのみで定義される。

パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎと、を示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図２０は、表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位２０００は、深度の符号化単位２００２，２００４，２００６，２０１２，２０１４，２０１６，２０１８を含む。そのうち１つの符号化単位２０１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位２０１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６，ＮｘＮ ２０２８，２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４，ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定される。

変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。

例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６及びＮｘＮ ２０２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位２０４４が設定される。

パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４，ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位２０５４が設定される。

図２０を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、１、２、３、…などに増加し、変換単位がレイヤ的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズのように利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置８００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置９００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さくなることがないので、それ以上の変換単位分割情報が設定されることはない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位において、可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても変わる。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

RootTuSize＝min（MaxTransformSize，PUSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝min（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということを留意しなければならない。

図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１Ａないし図２０を参照して説明したビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先に図１Ａないし図２０を参照して説明したビデオ復号方法及び／またはビデオ復号方法は、「本発明のビデオ復号方法」とする。

また、先に図１Ａないし図２０を参照して説明したビデオ符号化装置、ビデオ符号化装置８００またはビデオ符号化部１１００によって構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先に図１Ａないし図２０を参照して説明したインターレイヤビデオ復号装置、ビデオ復号装置９００またはビデオ復号部１２００によって構成されたビデオ復号装置は、「本発明のビデオ復号装置」とする。

一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。

図２１は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒによって構成され、該トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において、特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。

図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムをコンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムが、コンピュータシステム２６７００に伝送される。

図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。

図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、カメラ１２６００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されもする。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を利用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。

カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及び復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００である。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムに復号して再生させ、個人放送（personal broadcasting）を可能にさせる。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本発明のビデオ符号化装置及びビデオ復号装置が適用される。

図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

図２４は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されるか、電子メール（Ｅ−mail）に受信されるか、あるいは他の形態によって獲得されたビデオや静止映像のように、符号化されたり復号されたりするデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０によって構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが、電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、ビデオ符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して、送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。

データ通信モードで、インターネットののウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号部１２６９０の構造は、前述の本発明のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述の本発明のビデオ復号方法を利用して符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。

それによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号装置のみを含む受信端末機でもある。

本発明の通信システムは、図２４及び図２５を参照して説明した構造に限定されるものでははい。例えば、図２６は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生される。

再生装置１２８３０において、本発明のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に本発明のビデオ復号装置が搭載されもする。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２３のカメラ１２５３０、カメラ・インターフェース１２６３０（図２５）及び映像符号化部１２７２０（図２５）を含まないこともある。例えば、コンピュータ１２１００（図２３）及びＴＶ受信機１２８１０も、図２３のカメラ１２５３０、カメラ・インターフェース１２６３０（図２５）及び映像符号化部１２７２０（図２５）を含まないこともある。

図２７は、多様な実施形態によるビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。

クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューディング環境で、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望ほど選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューディングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal computer）１４３００、スマートＴＶ（television）１４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、さまざまなところに分散している動画ＤＢを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューディングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報；及び住所、氏名など個人信用情報；を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号し、ビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画がそれ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機の選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００が、ユーザ端末機に当該動画を最初フレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００が、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。

図１Ａないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される多様な実施形態については、図２１ないし図２７で説明した。しかし、図１Ａないし図２０を参照して説明したビデオ符号化方法及びビデオ復号方法が記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。

以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということをを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。

Claims (15)

1. 同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲ（intra random access point）ピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得する段階と、
   前記ＩＤＲ整列情報を利用して、符号化データを復号することにより、マルチレイヤ映像を復元する段階と、を含むマルチレイヤビデオ復号方法。
2. 前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、
   前記少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されることを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
3. 前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、
   前記アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャに限定されることを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
4. 前記アクセスユニットは、マルチレイヤに含まれたピクチャのうちＰＯＣ（picture of current）が同一ピクチャを含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
5. 前記ＩＤＲ整列情報は、前記ビットストリームに含まれたＶＰＳ ＮＡＬ（video parameter set network abstraction layer）ユニットから獲得することを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
6. 前記マルチレイヤ映像を復元する段階は、
   前記ＩＤＲ整列情報の値が１である場合、前記ＩＲＡＰピクチャと同一アクセスユニットに含まれたピクチャに対して、ＰＯＣ情報を獲得しないことを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
7. 前記ＩＤＲ整列情報をビットストリームから獲得する段階は、
   前記ビットストリームから獲得した、同一アクセスユニットに存在する全てのピクチャは、同一ピクチャタイプを有するか否かということを示すピクチャタイプ整列情報の値が０であり、
   前記ビットストリームから獲得した、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャは、前記ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示すＩＲＡＰ（intra random access point）整列情報の値が１である場合、
   前記ＩＤＲ整列情報を獲得することを特徴とする請求項１に記載のマルチレイヤビデオ復号方法。
8. 同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰ（intra random access point）ピクチャが、ＩＤＲ（instantaneous decoder refresh）ピクチャに限定されるか否かということを示すＩＤＲ整列情報をビットストリームから獲得し、前記ＩＤＲ整列情報を利用して、符号化データを復号することにより、マルチレイヤ映像を復元するビデオ復号部を含むマルチレイヤビデオ復号装置。
9. 前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、
   前記少なくとも１つのＩＲＡＰピクチャは、ＩＤＲピクチャに限定されることを特徴とする請求項８に記載のマルチレイヤビデオ復号装置。
10. 前記ＩＤＲ整列情報の値が１であり、前記同一アクセスユニットに少なくとも１つのＩＲＡＰピクチャが含まれたとき、
    前記アクセスユニットに含まれた全てのピクチャは、ＩＤＲピクチャに限定されることを特徴とする請求項８に記載のマルチレイヤビデオ復号装置。
11. 前記アクセスユニットは、マルチレイヤに含まれたピクチャのうちＰＯＣ（picture of current）が同一ピクチャを含むことを特徴とする請求項８に記載のマルチレイヤビデオ復号装置。
12. 前記ビデオ復号部は、
    前記ビットストリームから獲得した、同一アクセスユニットに存在する全てのピクチャは、同一ピクチャタイプを有するか否かということを示すピクチャタイプ整列情報の値が０であり、前記ビットストリームから獲得した、同一アクセスユニットに含まれたピクチャのうちＩＲＡＰピクチャを参照するピクチャは、前記ＩＲＡＰピクチャと同一ピクチャタイプを有するか否かということを示すＩＲＡＰ整列情報の値が１である場合、前記ＩＤＲ整列情報を獲得することを特徴とする請求項８に記載のマルチレイヤビデオ復号装置。
13. 入力映像を符号化し、基本レイヤ符号化データ及び向上レイヤ符号化データを生成する段階と、
    前記基本レイヤ符号化データ及び向上レイヤ符号化データを復号するために共通して使用され、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰ（intra random access point）ピクチャが、ＩＤＲピクチャに限定されるか否かということを示すＩＤＲ整列情報を含むＮＡＬユニットを生成する段階と、
    前記ＮＡＬユニットを含むビットストリームを生成する段階と、を含むマルチレイヤビデオ符号化方法。
14. 基本レイヤ符号化データ及び向上レイヤ符号化データを復号するために共通して使用され、同一アクセスユニットに含まれたランダムアクセスのためのＩＲＡＰピクチャが、ＩＤＲ（instantaneous decoder refresh）ピクチャに限定されるか否かということを示すＩＤＲ整列情報を含むＮＡＬ（network abstraction layer）ユニットを生成するビデオ符号化部と、
    前記ＮＡＬユニットを含むビットストリームを生成するビットストリーム生成部と、を含むマルチレイヤビデオ符号化装置。
15. 請求項１ないし７のうちいずれか１項に記載の方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。