JP2010157823A - 画像符号化装置、画像符号化方法およびそのプログラム - Google Patents

Abstract

【課題】多視点画像を効率よく伝送または蓄積したい。
【解決手段】画像信号符号化部１０７は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する。奥行き情報生成部（例えば、デプス信号生成部１１１）は、複数の画像から、少なくとも一つの仮想視点からの特定空間の奥行きを示す奥行き情報を生成する。奥行き情報符号化部（例えば、デプス信号符号化部１０８）は、奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する。ユニット化部１０９は、画像信号符号化部１０７および奥行き情報符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成する。
【選択図】図３

Description

本発明は、異なる複数の視点から撮影された画像を符号化する画像符号化装置、画像符号化方法およびそのプログラムに関する。

近年、多視点からの画像を使用したアプリケーションが普及してきている。そのアプリケーションの一つに、２眼式立体テレビジョンがある。２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された、左眼用画像および右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像および右眼用画像は、それぞれ独立した画像として別個に伝送、または記録される。この場合、単一の２次元画像の約２倍の情報量が必要となってしまう。

そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像とし、その副画像の情報を一般的な圧縮符号化方法によって情報圧縮し、情報量を抑える手法が提案されている（例えば、特許文献１参照）。この提案されている立体テレビジョン画像伝送方式では、副画像の小領域毎に主画像との相関の高い相対位置を求め、その位置偏移量（以下、視差ベクトルという）と差信号（以下、予測残差信号という）とを伝送または記録するようにしている。主画像と視差ベクトルを用いれば副画像に近い画像が復元できるが、予測残差信号も伝送または記録するのは、物体の影になる部分など主画像がもたない副画像の情報は復元できないためである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式に、マルチビュー・プロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １３８１８−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュー・プロファイルは左眼用画像を基本レイヤーで、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて圧縮符号化する。

また、３台以上のカメラで撮影された多視点画像に対して、動き補償予測および視差補償予測を用いて情報量を抑える手法が提案されている（例えば、特許文献２参照）。この提案されている画像高能率符号化方式は、複数の視点の参照ピクチャとのパターンマッチングを行い、誤差が最小となる、動き補償予測画像または視差補償予測画像を選択することにより、符号化効率を向上させている。

また、ＪＶＴ（Joint Video Team）ではＡＶＣ／Ｈ．２６４符号化方式（非特許文献１参照）を多視点画像に拡張した多視点画像符号化方式（ＭＶＣ：Multiview Video Coding（以下、ＭＶＣ方式と呼ぶ））の標準化作業が進んでいる（非特許文献２参照）。上記のＭＰＥＧ−２ビデオ・マルチビュー・プロファイルと同様に、このＭＶＣ方式でも視点間の予測を取り入れることで、符号化効率を向上させている。
特開昭６１-１４４１９１号公報 特開平６−９８３１２号公報 ITU-T Recommendation H.264 (11/2007) Joint Draft 6.0 on Multiview Video Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-Z209, January 2008

上述した様々な方式を用いて、複数の視点からの多視点画像を符号化することができる。しかしながら、これらの方式は必要な視点の画像をすべて符号化することになっており、限られた伝送速度、蓄積容量を考慮すれば、多視点画像を効率よく伝送または蓄積することは難しい面が多い。例えば、必要とされる視点の数が多い場合、それらの視点の画像をすべて伝送または蓄積するとデータ量が非常に大きくなってしまう。すなわち、復号側で非常に大きなデータ量を受信または読み込まなければならなくなってしまう。また、復号側でユーザの指示に応じた自由視点の画像を高精度に生成することは難しい面が多い。

本発明はこうした状況に鑑みなされたものであり、その目的は、多視点画像を効率よく伝送または蓄積することができる画像符号化装置、画像符号化方法およびそのプログラムを提供することにある。

本発明のある態様の画像符号化装置は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第１符号化部と、複数の画像から、少なくとも一つの仮想視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成部と、奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第２符号化部と、第１符号化部および第２符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、多視点画像を効率よく伝送または蓄積することができる。

以下、図面と共に本発明の実施の形態を説明する。以下の実施の形態では、ＡＶＣ／Ｈ．２６４符号化方式を多視点画像に拡張したＭＶＣ方式をさらに拡張した方式で、多視点画像を符号化する例を説明する。

まず、ＡＶＣ／Ｈ．２６４符号化方式について簡単に説明する。ＡＶＣ／Ｈ．２６４符号化方式は、従来のＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）やＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）等の符号化方式に比べ、より高い符号化効率を実現している。

ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式におけるＰピクチャ（すなわち、順方向予測符号化画像）では、表示順で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行っていた。これに対して、ＡＶＣ／Ｈ．２６４符号化方式では、ＰピクチャおよびＢピクチャは複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順で先行するピクチャに加えて、既に符号化済みの表示順で後続のピクチャも参照することができる。

また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式におけるＢピクチャは、表示順で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、またはその２枚の参照ピクチャを同時に参照して２つのピクチャの平均値を、予測のための参照ピクチャとし、対象ピクチャと参照ピクチャとの差分データを符号化していた。これに対して、ＡＶＣ／Ｈ．２６４符号化方式では、Ｂピクチャは表示順で前方１枚、後方１枚という制約にとらわれず、かつ前方や後方に関係なく任意の参照ピクチャを予測のために参照可能である。さらに、Ｂピクチャは自己以外のＢピクチャを参照ピクチャとして参照することも可能である。

さらに、ＭＰＥＧ−２ビデオではピクチャ、ＭＰＥＧ−４ではビデオ・オブジェクト・プレーン（ＶＯＰ）を１つの単位として、ピクチャまたはＶＯＰ毎の符号化モードが決められていたが、ＡＶＣ／Ｈ．２６４符号化方式では、スライスを符号化の単位としており、１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライス等、異なるスライスを混在させることも可能である。

さらに、ＡＶＣ／Ｈ．２６４符号化方式ではビデオの画素信号（すなわち、符号化モード、動きベクトル、ＤＣＴ係数等）の符号化処理または復号処理を行うＶＣＬ（Video Coding Layer;ビデオ符号化層）と、ＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）が定義されている。

ＡＶＣ／Ｈ．２６４符号化方式で符号化された符号化ストリームは、ＮＡＬの一区切りであるＮＡＬユニットを単位として構成される。ＮＡＬユニットには、ＶＣＬで符号化されたデータ（すなわち、符号化モード、動きベクトル、ＤＣＴ係数等）を含むＶＣＬのＮＡＬユニットと、ＶＣＬで生成されたデータを含まないｎｏｎ−ＶＣＬのＮＡＬユニットがある。ｎｏｎ−ＶＣＬのＮＡＬユニットには、シーケンス全体の符号化に係るパラメータ情報が含まれているＳＰＳ（Sequence Parameter Set）、ピクチャの符号化に係るパラメータ情報が含まれているＰＰＳ（Picture Parameter Set）、ＶＣＬで符号化されたデータの復号に必要ではないＳＥＩ（Supplemental Enhancement Information：補足付加情報）等がある。

また、ＡＶＣ／Ｈ．２６４符号化方式における符号化の基本単位は、ピクチャが分割されたスライスであり、ＶＣＬのＮＡＬユニットはスライス単位となっている。そこで、いくつかのＮＡＬユニットをまとめたアクセス・ユニットと呼ばれる単位が定義されており、１アクセス・ユニットに１つの符号化されたピクチャが含まれる。

次に、ＭＶＣ方式について簡単に説明する。ここでは、多視点画像の各画像を符号化、および符号化された符号化ストリームを復号する際の視点間の関係、並びにその多視点画像を構成する符号化対象画像間の参照依存関係について、５視点の例を用いて説明する。

図２は、ＭＶＣ方式で５視点からなる多視点画像を符号化する際の、画像間の参照依存関係の一例を示す図である。縦軸は複数の視点の空間方向（本明細書では複数の視点の空間方向を視点方向とする）を示しており、横軸は撮影または表示順の時間方向を示している。Ｐ（ｖ，ｔ）（視点ｖ＝０，１，２，・・・；時間ｔ＝０，１，２，・・・）は、時間ｔにおける視点ｖの画像である。

また、矢印の終点側で指し示される画像は、符号化または復号される対象ピクチャである。矢印の始点側で指し示される画像は、その対象ピクチャが符号化または復号される際に参照される参照ピクチャである。すなわち、時間方向のインター予測（例えば、動き補償予測）や視点間予測（例えば、視差補償予測）で参照される参照ピクチャである。より具体的には、横方向の矢印の始点側で指し示される画像は、対象ピクチャが符号化または復号される際に時間方向のインター予測で参照される参照ピクチャであり、縦方向の矢印の始点側で指し示される画像は、視点間予測で参照される参照ピクチャである。

ここで、時間方向のインター予測は他の時間の画像を参照する予測方法であり、視点間予測は他の視点の画像を参照する予測方法である。また、時間方向のインター予測の参照ピクチャとして用いられる画像は、時間方向の符号化または復号順で先行する画像のみとし、視点間予測の参照ピクチャとして用いられる画像は、視点方向の符号化または復号順で先行する画像のみとする。例えば、図２に示す参照依存関係では、視点方向への視点の符号化または復号順を視点０、視点２、視点１、視点４、視点３とすればよい。また、時間方向への視点の符号化または復号順は、ｔ＝０、４、２、１、３、８、６、５、７、…とすればよい。まず、同じ時間である、ｔが０の各視点の画像を、上記視点方向への視点の符号化または復号順にしたがい、Ｐ（０，０），Ｐ（２，０），Ｐ（１，０），Ｐ（４，０），Ｐ（３，０）の順で符号化または復号する。その後、ｔが４の各視点の画像を同じく、上記視点方向への視点の符号化または復号順にしたがい、Ｐ（０，４），Ｐ（２，４），Ｐ（１，４），Ｐ（４，４），Ｐ（３，４）の順で符号化または復号する。以下、ｔが２の各視点の画像以降の画像についても同様に処理する。

また、視点０を基底視点とする。ＭＶＣ符号化方式では、基底視点とは他の視点に依存せずに符号化または復号することができる視点をいう。多視点画像のシーケンス全体で１つの視点だけが基底視点となる。すなわち、基底視点は他の視点の画像を視点間予測の参照画像として用いることなく、単独で符号化または復号することができる。また、非基底視点（すなわち、基底視点以外の視点）は、他の視点の画像を視点間予測の参照画像として用いることができる。

さらに、ＭＶＣ方式は、符号化される多視点画像の視点数、視点方向への符号化または復号順序、および視点間予測による各視点間の参照依存関係をシーケンス全体として符号化する仕組みを持っている。シーケンス情報のパラメータセットであるＳＰＳを拡張することにより符号化を行う。

符号化側でシーケンス全体として上記パラメータ、すなわち視点数および各視点の視点依存情報を符号化することにより、復号側ではシーケンス全体として、各視点の参照依存関係を判別することができる。各視点の参照依存情報は、視点間予測ピクチャのための参照ピクチャリストの初期化等の復号処理に用いられる。

（実施の形態１）
図１は、実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。実施の形態１に係る画像符号化装置１００は、符号化管理部１０１、パラメータ情報符号化部１１０、画像信号符号化部１０７および奥行き情報符号化部（より具体的には、デプス信号符号化部１０８）を備える。パラメータ情報符号化部１１０は、画像信号用シーケンス情報符号化部１０２、デプス信号用シーケンス情報符号化部１０３、画像信号用ピクチャ情報符号化部１０４、デプス信号用ピクチャ情報符号化部１０５およびカメラパラメータ情報符号化部１０６を含む。

これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

画像信号符号化部１０７は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する。当該複数の画像はカメラにより実際に撮像された画像であってもよいし、コンピュータグラフィックにより生成された画像であってもよい。当該複数の視点のうち基準とすべき視点が一つ設定される場合、画像信号符号化部１０７は、当該複数の画像のうち基準とすべき視点からの画像を符号化して第１画像符号化データを生成し、それ以外の画像を符号化して第２画像符号化データを生成することができる。

その際、画像信号符号化部１０７は、当該複数の画像のうち基準とすべき視点からの画像をフレーム内予測符号化し、それ以外の画像を複数の画像間でフレーム間予測符号化してもよい。ＭＶＣ方式では、当該基準とすべき視点は上述した基底視点である。当該フレーム間予測符号化は上述した視点間予測符号化である。

また、当該複数の画像が動画像の場合、画像信号符号化部１０７は各視点からの動画像を、それぞれ時間方向にフレーム間予測符号化することもできる。もちろん、視点方向へのフレーム間予測符号化と時間方向へのフレーム間予測符号化を併用することもできる。

上記奥行き情報符号化部は、少なくとも一つ以上の視点からの特定空間の奥行きを示す奥行き情報を符号化して、奥行き情報符号化データを生成する。当該奥行き情報はある視点からのモノクローム・フォーマットの画像（以下適宜、モノクローム画像とする）で表されてもよい。この場合、奥行き情報符号化部は、当該モノクローム画像を符号化して、奥行き情報符号化データを生成する。

上記奥行き情報符号化部は、それぞれ異なる複数の視点からの、複数のモノクローム画像のうち、基準とすべき視点からのモノクローム画像をフレーム内予測符号化し、それ以外のモノクローム画像を複数のモノクローム画像間でフレーム間予測符号化してもよい。ここで、モノクローム画像のもとになる基準とすべき視点は、画像信号符号化部１０７により符号化されるべき画像のもとになる基準とすべき視点と一致していてもよいし、別々であってもよい。

また、当該複数のモノクローム画像が動画像の場合、上記奥行き情報符号化部は各視点からのモノクローム・フォーマットの動画像を、それぞれ時間方向にフレーム間予測符号化することもできる。もちろん、視点方向へのフレーム間予測符号化と時間方向へのフレーム間予測符号化を併用することもできる。

ここで、上記奥行き情報のもとになる視点の数は、第１符号化部により符号化されるべき画像のもとになる視点の数より少なく設定されてもよいし、両者の視点の数が一致するように設定されてもよい。また、上記奥行き情報のもとになる各視点の位置は、画像信号符号化部１０７により符号化されるべき複数の画像のもとになる複数の視点の位置のいずれかに一致するように設定されてもよいし、いずれにも一致しないように設定されてもよい。

パラメータ情報符号化部１１０は、上記複数の画像および上記奥行き情報のもとになる、複数の視点を特定するための視点情報を含むパラメータ情報を符号化して、パラメータ情報符号化データを生成する。上述したように基準とすべき視点が一つ設定される場合、パラメータ情報符号化部１１０は、上記複数の画像のうち、基準とすべき視点からの画像の第１パラメータ情報と、それ以外の画像の第２パラメータ情報と、奥行き情報の第３パラメータ情報をそれぞれ符号化して、第１パラメータ情報符号化データ、第２パラメータ情報符号化データおよび第３パラメータ情報符号化データを生成する。

ここで、第３パラメータ情報は、第２パラメータ情報のシンタックス構造に対応するシンタックス構造で記述される。例えば、第２パラメータ情報および第３パラメータ情報をＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルに準拠して記述することができる。第２パラメータ情報および第３パラメータ情報には、視点の識別情報が記述される。画像信号符号化部１０７により符号化されるべき画像のもとになる視点の位置と、上記奥行き情報のもとになる視点の位置が一致する場合、それらの視点に共通の識別情報が付与される。すなわち、視点の識別情報は当該画像と当該奥行き情報との間で統一的に管理される。

ユニット化部１０９は、画像信号符号化部１０７および上記奥行き情報符号化部によりそれぞれ生成された、上記画像符号化データおよび上記奥行き情報符号化データを含む符号化ストリームを生成する。ユニット化部１０９は、パラメータ情報符号化部１１０により生成された上記パラメータ情報符号化データをさらに含む符号化ストリームを生成することもできる。

画像信号符号化部１０７により符号化されるべき画像のもとになる複数の視点のうち、基準とすべき視点が一つ設定される場合、ユニット化部１０９は、画像信号符号化部１０７、上記奥行き情報符号化部およびパラメータ情報符号化部１１０によりそれぞれ生成された、上記第１画像符号化データ、上記第２画像符号化データ、上記奥行き情報符号化データ、上記第１パラメータ情報符号化データ、上記第２パラメータ情報符号化データおよび上記第３パラメータ情報符号化データを含む符号化ストリームを生成する。

図３は、実施の形態１の変形例に係る画像符号化装置１００ａの構成を示すブロック図である。実施の形態１の変形例に係る画像符号化装置１００ａは、図１に示す画像符号化装置１００に奥行き情報生成部（より具体的には、デプス信号生成部１１１）が追加された構成である。

当該変形例において、上記奥行き情報生成部は、画像信号符号化部１０７により符号化されるべき複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する。上記奥行き情報生成部は、この奥行き情報の生成を既存のアルゴリズムを用いて実現することができる。上記奥行き情報符号化部は、当該奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する。その他の処理は、図１に示した実施の形態１の基本例に係る画像符号化装置１００の説明と同様のため、その説明を省略する。

ここで、実施の形態１に係る画像符号化装置１００で符号化されるべき画像、および奥行き情報について説明する。当該画像は被写体が各視点に対応する２次元平面にカメラ等の撮像装置により投影されることによってできる絵である。また、画像信号は２次元情報である画像を1次元の信号の流れに変換したものである。なお、デジタルで表現される画像、及び画像信号の最小単位は画素である。当該画像符号化装置１００に入力される多視点の画像信号は、設定された２以上の複数の視点でそれぞれ得られる画像信号を含む多視点画像信号である。ある視点の画像信号は、その視点から実際に撮影されて得られた画像信号であってもよいし、その視点から仮想的に撮影されたものとして、コンピュータグラフィックス等により生成された画像信号であってもよい。また、実際の撮影により得られた画像信号に対して、その撮影に用いられる各カメラのばらつきを補正するために、位置補正、輝度・色レベル補正を施す場合もある。

上記デプス信号は、設定された２以上の複数の視点でそれぞれ得られるデプス信号を含む多視点のデプス信号であってもよい。ある視点のデプス信号は、赤外線カメラ等によりその視点から実際に撮影されて得られたデプス信号であってもよいし、その視点から仮想的に撮影されたものとして、上記多視点の画像信号をもとに演算により生成されたデプス信号であってもよい。

当該奥行き情報は特定空間の奥行きを示す情報である。例えば、当該奥行き情報は画像内の被写体（すなわち、オブジェクト）の画像平面に対する、奥行き情報として表される。より具体的には、当該奥行き情報は２次元平面に投影された画像の奥行きを示す情報である。２次元平面に投影された画像の各画素に対応する奥行き情報が画素単位あるいは複数画素単位でマッピングされた画像をデプスマップと呼ぶ。デプス信号は２次元情報であるデプスマップが1次元の信号の流れに変換されたものである。なお、画像や画像信号と同様に、デジタルで表現されるデプスマップ、及びデプス信号の最小単位も画素である。上記デプス信号は、設定された２以上の複数の視点でそれぞれ得られるデプス信号を含む多視点のデプス信号であってもよい。ある視点のデプス信号は、赤外線カメラ等によりその視点から実際に撮影されて得られたデプス信号であってもよいし、その視点から仮想的に撮影されたものとして、上記多視点の画像信号をもとに演算により生成されたデプス信号であってもよい。

デプス信号の画素値も画像信号と同様に８ビットで表現されることが多いが、奥行き方向の再現性を高めるために９〜１４ビット程度で表現されてもよい。デプスマップはモノクローム・フォーマットの画像として表される。なお、上記画像の各画素との対応が取れる限りにおいては当該デプスマップの解像度は上記画像の解像度より低く設定されてもよい。

当該デプス信号は、主に、実在する視点の画像信号から、存在しない所望の仮想視点の画像信号を生成するために用いる。ユーザの指示に応じて表示されるべき画像の視点があらかじめ特定できない自由視点画像を復号側で表示する場合や、視点の数が多く、それらの視点のすべての画像をすべて撮影、伝送または蓄積することが困難な場合には仮想視点の画像信号を生成するのが有効である。

既存の視点の画像信号から、存在しない仮想視点の画像を生成するための手法の１つに特開平９−８１７４６号公報に開示されたものがある。この手法では、存在しない仮想視点の画像を生成する際、既存の視点の画像信号から奥行き情報を計算し、その奥行き情報に従って、所望の仮想視点の画像を生成する。

多視点の画像信号が符号化されて得られた符号化ストリームを伝送または蓄積し、その符号化ストリームを復号して得られる画像信号からデプス信号を求めて、所望の仮想視点の画像信号を生成する手法は、復号側でデプス信号を算出する処理の負担が大きい。また一般的に、復号側で生成されるデプス信号の品質は、符号側で生成されるデプス信号の品質より低くなる。一般的な符号化方式では、符号化する際に原画像信号の高周波成分が省略されるためである。

そこで、本実施の形態では符号化側で多視点の画像信号からデプス信号を生成し、複数の視点の画像信号と、複数の視点のデプス信号を符号化の対象とする。復号側は符号化ストリームを復号することにより、画像信号に加えてデプス信号も得ることができる。これにより、復号後にデプス信号を生成する必要がなく、復号側は符号化ストリームを復号して得られる、画像信号とデプス信号から所望の仮想視点の画像信号を生成することができる。

なお、仮想視点の画像信号を生成する場合、１つの視点の、画像信号およびデプス信号から画像を生成するよりも、複数の視点の、画像信号およびデプス信号から画像を生成する方がより良好な仮想視点の画像を得ることができる。以下、この知見について図４、図５を参照しながら、より詳細に説明する。

図４は、第２視点ＶＢおよび第３視点ＶＣから第１対象物ＯＡおよび第２対象物ＯＢが存在するシーンを撮影し、仮想視点である第１視点ＶＡ（以下、第１仮想視点ＶＡと表記する）の画像を生成する例を示す図である。
図５は、図４の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図５において、第２画像ＩＢは図４の第２視点ＶＢから撮影された画像を示し、第３画像ＩＣは図４の第３視点ＶＣから撮影された画像を示す。第２デプスマップＤＢは第２画像ＩＢに対応するデプスマップを示し、第３デプスマップＤＣは第３画像ＩＣに対応するデプスマップを示す。

以下の説明においては、最も後方の対象、すなわちカメラから最も遠い対象に対応するデプス信号の画素値を最小値である０とし、対象が前方にくればくるほど、すなわちカメラに近ければ近いほど、デプス信号の画素値を大きな値とする。また、第１画像ＩＡは第１仮想視点ＶＡから撮影したと仮定した場合に得られる画像（以下、予測画像という）を示し、実際に撮影されるものではなく、生成されるべき画像である。

また、第１−２画像ＩＡＢは、第２視点ＶＢから撮影された第２画像ＩＢとそれに対応する第２デプスマップＤＢから生成された第１仮想視点ＶＡの予測画像である。第２視点ＶＢから撮影された第２画像ＩＢとそれに対応する第２デプスマップＤＢから第１仮想視点ＶＡの予測画像を生成する場合、第２視点ＶＢから撮影した際に前方の第１対象物ＯＡにより隠蔽されていた部分が不明であり、欠落部分が発生する。第１−２画像ＩＡＢの黒塗りの部分が、当該第１仮想視点ＶＡの予測画像内で発生する第２欠落部分ＬＰＢである。

また、第１−３画像ＩＡＣは、第３視点ＶＣから撮影された第３画像ＩＣとそれに対応する第３デプスマップＤＣから生成された第１仮想視点ＶＡの予測画像である。第１−３画像ＩＡＣにも欠落部分が発生する。第１−３画像ＩＡＣの黒塗りの部分が、当該第１仮想視点ＶＡの予測画像内で発生する第３欠落部分ＬＰＣである。第１−３画像ＩＡＣの第３欠落部分ＬＰＣは、第１−２画像ＩＡＢの第２欠落部分ＬＰＢとは異なる位置に発生する。

そこで、第１−２画像ＩＡＢの第２欠落部分ＬＰＢを第１−３画像ＩＡＣの画像信号から補うことにより、欠落部分の少ない第１仮想視点ＶＡの第１画像ＩＡを生成することができる。なお、実際には対象物に立体感や影があり、撮影する視点の位置および方向と、光源との相対関係により、撮影して得られる画像に明るさや色の差が生じるが、図４、図５においてはその点を考慮せずに描いている。

それらの視点毎に生じる輝度差等を考慮したり、ノイズを低減するために、第１−２画像ＩＡＢと第１−３画像ＩＡＣの両方に存在する画素は平均値を用い、片方の画像に欠落部分が生じる画素についてのみもう一方の画像の画素だけを用いる方法もある。このように１つの視点の、画像信号およびデプス信号から生成された仮想視点の画像（図５では、第１−２画像ＩＡＢまたは第１−３画像ＩＡＣ）よりも、２つの視点の、画像信号およびデプス信号から生成された画像のほうが、欠落部分の少ない良好な画像を得ることができる。

また、２つの視点の、画像信号とデプス信号から仮想視点の画像信号を生成するよりも、それ以上の視点の、画像信号とデプス信号を用いた方が、より欠落部分の少ない良好な画像を得ることができる。このように、仮想視点の画像を生成する場合、１つの視点の、画像信号およびデプス信号から画像を生成するよりも、複数の視点の、画像信号およびデプス信号から画像を生成する方がより良好な仮想視点の画像を得ることができる。

また、２つの視点の、画像信号およびデプス信号から仮想視点の画像信号を生成する場合、視点間の距離が短い２つの視点の、画像信号およびデプス信号から生成する方が、視点間の距離が長い２つの視点の、画像信号およびデプス信号から生成するより良好な仮想視点の画像信号を得ることができる。以下、この知見について図６、図７を参照しながら、より詳細に説明する。

図６は、第５視点ＶＥおよび第６視点ＶＦから第３対象物ＯＣおよび第４対象物ＯＤが存在するシーンを撮影し、仮想視点である第４視点ＶＤ（以下、第４仮想視点ＶＤと表記する）の画像を生成する例を示す図である。
図７は、図６の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図７において、第５画像ＩＥは図６の第５視点ＶＥから撮影された画像を示し、第６画像ＩＦは図６の第６視点ＶＦから撮影された画像を示す。第５デプスマップＤＥは第５画像ＩＥに対応するデプスマップを示し、第６デプスマップＤＦは第３画像ＩＣに対応するデプスマップを示す。また、第４画像ＩＤは第４仮想視点ＶＤから撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。

また、第４−５画像ＩＤＥは、第５視点ＶＥから撮影された第５画像ＩＥとそれに対応する第５デプスマップＤＥから生成された第４仮想視点ＶＤの予測画像である。第５視点ＶＥから撮影された第５画像ＩＥとそれに対応する第５デプスマップＤＥから第４仮想視点ＶＤの予測画像を生成する場合、第５視点ＶＥから撮影した際に前方の第３対象物ＯＣにより隠蔽されていた部分が不明であり、欠落部分が発生する。第４−５画像ＩＤＥの黒塗りの部分が、当該第４仮想視点ＶＤの予測画像内で発生する第５欠落部分ＬＰＥである。

また、第４−６画像ＩＤＦは、第６視点ＶＦから撮影された第６画像ＩＦとそれに対応する第６デプスマップＤＦから生成された第４仮想視点ＶＤの予測画像である。第４−６画像ＩＤＦにも欠落部分が発生する。第４−６画像ＩＤＦの黒塗りの部分が、当該第４仮想視点ＶＤの予測画像内で発生する第６欠落部分ＬＰＦである。

第５視点ＶＥと第６視点ＶＦとを比較すると、第６視点ＶＦの方が第４仮想視点から離れているため、第６画像ＩＦの方が第４画像ＩＤからのずれ量が大きくなり、第４−６画像ＩＤＦの第６欠落部分ＬＰＦの面積の方が第４−５画像ＩＤＥの第５欠落部分ＬＰＥの面積より大きくなる。このように、視点間の距離が小さければ小さいほど、画像に写る被写体の視点間のずれ量、変形、明るさや色の差は小さくなり、良好な画像を得ることができる。したがって、仮想視点の画像信号を生成する場合、視点間の距離が短い複数の視点の、画像信号およびデプス信号から生成する方が、視点間の距離が長い複数の視点の、画像信号およびデプス信号から生成するより良好な仮想視点の画像を得ることができる。

また、コンテンツの奥行きの状態によっても仮想視点の画像信号の生成しやすさは異なる。重なり合う被写体同士の奥行きの差が小さければ小さいほど、より良好な仮想視点の画像信号を得ることができる。以下、この知見について図８、図９を参照しながら、より詳細に説明する。

図８は、第８視点ＶＨから第５対象物ＯＥまたは第６対象物ＯＦのいずれか一方と、第７対象物ＯＧが存在する２つのシーンを撮影し、仮想視点である第７視点ＶＧ（以下、第７仮想視点ＶＧと表記する）の画像を生成する例を示す図である。それぞれのシーンの撮影時には第５対象物ＯＥと第６対象物ＯＦは同時に存在しない。ここで、第５対象物ＯＥおよび第７対象物ＯＧが存在するシーンを第１シーンＨ１、第６対象物ＯＦおよび第７対象物ＯＧが存在するシーンを第２シーンＨ２とする。

図９は、図８の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図９において、第８−１画像ＩＨ１は図８の第８視点ＶＨから撮影された第１シーンＨ１の画像を示し、第８−２画像ＩＨ２は同様に図８の第８視点ＶＨから撮影された第２シーンＨ２の画像を示す。第８−１デプスマップＤＨ１は第８−１画像ＩＨ１に対応するデプスマップを示し、第８−２デプスマップＤＨ２は第８−２画像ＩＨ２に対応するデプスマップを示す。

第７−１画像ＩＧ１は第７仮想視点ＶＧから第１シーンＨ１を撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。また、第７−２画像ＩＧ２は第７仮想視点ＶＧから第２シーンＨ２を撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。

また、第７−８−１画像ＩＧＨ１は、第８視点ＶＨから撮影された第１シーンＨ１の第８−１画像ＩＨ１とそれに対応する第８−１デプスマップＤＨ１から生成された第７仮想視点ＶＧの第１シーンＨ１の予測画像である。第８視点ＶＨから撮影された第１シーンＨ１の第８−１画像ＩＨ１とそれに対応する第８−１デプスマップＤＨ１から第７仮想視点ＶＧの第１シーンＨ１の予測画像を生成する場合、第８視点ＶＨから撮影した際に前方の第５対象物ＯＥにより隠蔽されていた部分が不明であり、欠落部分が発生する。第７−８−１画像ＩＧＨ１の黒塗りの部分が、当該第７仮想視点ＶＧの第１シーンＨ１の予測画像内で発生する第８−１欠落部分ＬＰＨ１である。

また、第７−８−２画像ＩＧＨ２は、第８視点ＶＨから撮影された第２シーンＨ２の第８−２画像ＩＨ２とそれに対応する第８−２デプスマップＤＨ２から生成された第７仮想視点ＶＧの第２シーンＨ２の予測画像である。第７−８−２画像ＩＧＨ２にも欠落部分が発生する。第７−８−２画像ＩＧＨ２の黒塗りの部分が、当該第７仮想視点ＶＤの第２シーンＨ２の予測画像内で発生する第８−２欠落部分ＬＰＨ２である。

第８−１画像ＩＨ１と第７−１画像ＩＧ１とのずれ量と、第８−２画像ＩＨ２と第７−２画像ＩＧ２とのずれ量とを比較すると、後者の方が大きくなる。したがって、第７−８−２画像ＩＧＨ２の第８−２欠落部分ＬＰＨ２の面積の方が、第７−８−１画像ＩＧＨ１の第８−１欠落部分ＬＰＨ１の面積より大きくなる。このように、コンテンツの奥行きの状態によっても仮想視点の画像信号の生成しやすさが異なってくる。すなわち、互いに重なり合う被写体同士の奥行きの差が小さければ小さいほど、重なり合う被写体同士の、画像内における相対的なずれ量が小さくなり、生成される画像の欠落部分は小さくなり、良好な画像を得ることができる。

なお、重なり合う被写体同士の奥行きの差は、デプス信号から算出することができる。デプス信号（図９では、第８−１デプスマップＤＨ１および第８−２デプスマップＤＨ２）のエッジ（すなわち、濃度が急峻に変化する点）を抽出し、エッジ部分の境界を挟んだ画素値の差を算出し、その差が小さければ小さいほど、重なりあう被写体同士の奥行きの差を小さいと判定する。

このように、複数の視点の画像信号を含む多視点画像信号に加えて、複数の視点のデプス信号を含む多視点デプス信号を用いると、復号側で高精度な仮想視点の画像信号を生成することができる。また、視点間の間隔が密な多視点画像信号と、その各視点画像信号のそれぞれに対応した多視点デプス信号を用いると、復号側でさらに高精度な仮想視点の画像信号を生成することができる。

ただし、視点の数を多く設定しすぎると、ビットレートが高くなり、伝送効率または蓄積効率が低下する。従って、対象となるアプリケーションの伝送レートまたは蓄積媒体の容量を考慮して、多視点画像信号および多視点デプス信号のそれぞれにおいて符号化すべき視点を適切に決定する必要がある。

この際、必ずしも符号化される、多視点画像信号とデプス信号のそれぞれの視点が１対１に対応している必要はなく、多視点画像信号と多視点デプス信号とで異なる視点の信号が符号化されてもよい。この場合、より柔軟に符号化することができる。例えば、実際に撮影して得られた画像信号をすべて符号化し、伝送または蓄積する必要がある場合でも、仮想視点の画像信号の生成が容易な場合、符号化するデプス信号の視点を少なく設定してもよい。この場合、より効率的な符号化ストリームを生成することができる。ここで、仮想視点の画像信号の生成が容易な場合とは、符号化される多視点画像信号の視点間の間隔が十分に密である場合や、コンテンツに含まれる被写体同士の奥行きの差があまりない場合等である。

次に、実施の形態１に係る画像符号化装置１００で符号化されることにより生成される符号化ストリームについて説明する。
図１０は、符号化すべき、５視点（視点０、視点１、視点２、視点３および視点４）からの画像ＩＳを含む多視点画像、および３視点（視点０、視点２および視点４）からのデプスＤＳを含む多視点デプスマップを示す図である。縦軸は視点方向を示し、横軸は時間方向を示している。また、視点０を上記基底視点とする。ＭＶＣ符号化方式において、基底視点は他の視点に依存せずに符号化または復号することができる視点である。多視点画像を含む１つのシーケンス全体で１つの視点のみが基底視点に設定される。すなわち、基底視点の画像は、他の視点の画像を視点間予測の参照画像として用いることなく、単独で符号化または復号されることが可能である。また、非基底視点（すなわち、基底視点以外の視点）の画像は、他の視点の画像を視点間予測の参照画像として用いて符号化または復号されることが可能である。以下の説明では、図１０に示す多視点画像および多視点デプスマップを符号化する場合について述べる。

図１１は、実施の形態１に係る画像符号化装置１００で生成される符号化ストリームをＮＡＬユニット単位で表現した例を示す図である。１つの四角形のブロックが１つのＮＡＬユニットに相当する。ＮＡＬユニットはヘッダ部（すなわち、先頭部）であるＮＡＬユニットヘッダと、そのＮＡＬユニットヘッダを除いた生のデータであるＲＢＳＰ（Raw Byte Sequence Payload）を含む。それぞれのＮＡＬユニットのヘッダ部には常に“０”の値を持つフラグ（すなわち、"forbidden_zero_bit"）と、ＳＰＳ、ＰＰＳまたは参照ピクチャとなるスライスが含まれているかどうかを見分ける識別子（すなわち、"nal_ref_idc"）と、ＮＡＬユニットの種類を見分ける識別子（すなわち、"nal_unit_type"）が含まれる。

図１２は、ＡＶＣ／Ｈ．２６４符号化方式で規定されているＮＡＬユニットの種類を示す図である。復号側ではＮＡＬユニットの種類を、ＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子である"nal_unit_type"を参照することにより、識別することができる。

（ＳＰＳ＃Ａ）
図１１に示す符号化ストリームでは、まず、ＳＰＳ＃ＡのＮＡＬユニットが生成される。ＳＰＳ＃Ａには基底視点の画像信号（図１０では、視点０の画像の信号）の、シーケンス全体の符号化に関わる情報が設定される。ＳＰＳ＃ＡのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＳＰＳであることを示す“７”が設定される（図１２参照）。

図１３は、ＳＰＳのＮＡＬユニットの構成を示す図である。ＳＰＳのＲＢＳＰである"seq_parameter_set_rbsp"は、シーケンス全体の符号化に関わる情報が含まれる"seq_parameter_set_data"と、ＲＢＳＰの最後に付加する調整のためのビットである"rbsp_trailing_bits"を含む。"seq_parameter_set_data"にはプロファイルを識別するための"profile_idc"が含まれる。ここでのプロファイルとはＡＶＣ／Ｈ．２６４符号化方式のシンタックスのサブセットを示す。

例えば、ＳＰＳ＃Ａの"profile_idc"の値を“１００”に設定することにより、符号化ストリームがＡＶＣ／Ｈ．２６４符号化方式のハイ・プロファイル（High Profile）に準拠していることを示すことができる。その場合、ＳＰＳ＃Ａを参照すべき後述のＮＡＬユニットは、ハイ・プロファイルに準拠した制限に基づいて生成される。さらに、"seq_parameter_set_data"にはＳＰＳを識別するための、ＳＰＳを特定する一意の番号である"seq_parameter_set_id"が含まれており、ＳＰＳ＃Ａの"seq_parameter_set_id"には、後述するＳＰＳ＃ＢおよびＳＰＳ＃Ｃの、"seq_parameter_set_id"と異なる任意の値が設定される。この基底視点の画像信号のＳＰＳには、後述するシーケンス全体の符号化にかかわるＭＶＣ拡張の情報が含まれる"seq_parameter_set_mvc_extension"は含まれない。

（ＳＰＳ＃Ｂ）
続いて、ＳＰＳ＃ＢのＮＡＬユニットが生成される。ＳＰＳ＃Ｂには基底視点を除くその他の視点の画像信号（図１０では、視点１、視点２、視点３および視点４の画像の信号）の、シーケンス全体の符号化に関わる情報が設定される。ＳＰＳ＃ＢのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＭＶＣ拡張のＳＰＳであるサブセットＳＰＳであることを示す“１５”が設定される。

図１４は、サブセットＳＰＳのＮＡＬユニットの構成を示す図である。サブセットＳＰＳのＲＢＳＰである"subset_seq_parameter_set_rbsp"には、シーケンス全体の符号化に関わる情報が含まれる"seq_parameter_set_data"に加えて、シーケンス全体の符号化に関わるＭＶＣ拡張の情報が含まれる"seq_parameter_set_mvc_extension_rbsp"が含まれる。ＳＰＳ＃Ｂの"profile_idc"の値には、ＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイル（Multiview High Profile）を示す“１１８”が設定される。本明細書では、ＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルに対応した符号化方式をＭＶＣ符号化方式と呼ぶ。

ＳＰＳ＃Ｂを参照すべき後述のＮＡＬユニットは、マルチビュー・ハイ・プロファイルに準拠した制限に基づいて生成される。さらに、ＳＰＳ＃Ｂの"seq_parameter_set_id"には、上述したＳＰＳ＃Ａおよび後述するＳＰＳ＃Ｃの、"seq_parameter_set_id"と異なる任意の値が設定される。"seq_parameter_set_mvc_extension_rbsp"には、符号化される画像信号の視点数、視点方向への符号化または復号順序、および画像信号を符号化または復号する際の視点間予測の際に参照すべき、視点を特定するための視点間の依存関係を示す情報が含まれる。

図１４において、"num_views_minus1"は、上記符号化ビット列に上記視点の数を設定するためのパラメータであり、視点数から“１”を引いた値である。図１０の例では、視点０、視点１、視点２、視点３および視点４の５視点の画像の信号を含む多視点画像信号が符号化されるため、"num_views_minus1"の値には“４”が設定される。

続いて、"view_id[i]"が各視点ごとに視点方向への符号化または復号順序で、連続して繰り返し設定される構造となっている。"view_id[i]"は視点方向への符号化または復号順序をインデックスｉで示したときの視点の識別情報（以下、視点ＩＤという）を示す。すなわち、"view_id[i]"は視点方向への符号化または復号順序で、i番目の視点ＩＤを示す。ここで、本明細書では、配列のインデックス（すなわち、添え字）は０から始まるものとする。例えば、配列"view_id[i]"の先頭はview_id[0]、その次は"view_id[1]"となる。また、順序を表す際にも最初を０番目、その次を１番目とする。つまり、視点方向に最初に符号化または復号される視点を０番目、その次に符号化または復号される視点を１番目とする。例えば、視点０、視点２、視点１、視点４、視点３の順序で符号化される場合、"view_id[0]"には視点０の視点ＩＤを、"view_id[1]"には視点２の視点ＩＤを、"view_id[2]"には視点１の視点ＩＤを、"view_id[3]"には視点４の視点ＩＤを、および"view_id[4]"には視点３の視点ＩＤをそれぞれ設定する。

（ＳＰＳ＃Ｃ）
続いて、ＳＰＳ＃ＣのＮＡＬユニットが生成される。ＳＰＳ＃Ｃには各視点のデプス信号のシーケンス全体の符号化に関わる情報が設定される。ＳＰＳ＃Ｂと同様に、ＳＰＳ＃ＣのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＭＶＣ拡張のＳＰＳであるサブセットＳＰＳであることを示す“１５”が設定される。ここで、本実施の形態においては、多視点デプス信号も復号可能なプロファイルであることを示す"profile_idc"の値を“１２０”と規定する。したがって、ＳＰＳ＃Ｃの"profile_idc"の値が“１２０”に設定される。さらに、ＳＰＳ＃Ｃの"seq_parameter_set_id"には、上述したＳＰＳ＃ＡおよびＳＰＳ＃Ｂの、"seq_parameter_set_id"と異なる任意の値が設定され。"seq_parameter_set_mvc_extension_rbsp"には、符号化されるデプス信号の視点数、視点方向への符号化または復号順序、およびデプス信号を符号化または復号する際の視点間予測の際に参照すべき視点を特定するための、視点間の依存関係が含まれる。

"seq_parameter_set_mvc_extension_rbsp"にパラメータが、基底視点を除くその他の視点の画像信号の、シーケンス全体の符号化に関わる情報であるＳＰＳ＃Ｂと同様に設定される。上述したように、視点０、視点２および視点４の３視点の画像信号を含む多視点デプス信号を視点０、視点２および視点４の順序で符号化する場合、各パラメータの値は次のように設定される。まず、"num_views_minus1"の値を“２”に設定し、次に、"view_id[0]"に視点０の視点ＩＤを、"view_id[1]"に視点２の視点ＩＤを、および"view_id[2]"に視点４の視点ＩＤをそれぞれ設定する。同じ視点の画像信号およびデプス信号の視点ＩＤを共通とすることで、復号側で画像信号の視点とデプス信号の視点との対応関係を明確に特定することができる。

また、本実施の形態では、デプス信号はモノクローム・フォーマットの画像と同様に符号化されるため、"seq_parameter_set_data"に含まれる、輝度成分と色差成分との比を表すクロマ・フォーマット"chroma_format_idc"にはモノクロームを示す“０”が設定される。ここまで、多視点デプス信号を復号可能なプロファイルであることを示す"profile_idc"の値を“１２０”と規定する例を説明したが、既存の"profile_idc"の値以外であれば、いずれの値でもよい。
また、サブセットＳＰＳのＮＡＬユニットのＲＢＳＰに、デプス信号のシーケンス情報か否かを示すフラグを用意し、ＳＰＳ＃Ｃの"profile_idc"の値をマルチビュー・ハイ・プロファイルを示す“１１８”とすることもできる。

（ＰＰＳ＃Ａ）
続いて、ＰＰＳ＃ＡのＮＡＬユニットが生成される。ＰＰＳ＃Ａには基底視点の画像信号（図１０の例では、視点０の画像の信号）の、ピクチャ全体の符号化に関する情報が設定される。ＰＰＳ＃ＡのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される（図１２参照）。

図１５は、ＰＰＳのＮＡＬユニットの構成を示す図である。ＰＰＳのＲＢＳＰである"pic_parameter_set_rbsp"には、ＰＰＳを識別するための、ＰＰＳを特定する一意の番号である"pic_parameter_set_id"が含まれている。ＰＰＳ＃Ａの"pic_parameter_set_id"には、後述するＰＰＳ＃ＢおよびＰＰＳ＃Ｃの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、ＰＰＳのＲＢＳＰである"pic_parameter_set_rbsp"には、参照すべきＳＰＳを特定する番号である"seq_parameter_set_id"が含まれており、ＰＰＳ＃Ａの"seq_parameter_set_id"には、ＰＰＳ＃Ａが参照すべきＳＰＳ＃Ａの"seq_parameter_set_id"の値が設定される。

（ＰＰＳ＃Ｂ）
続いて、ＰＰＳ＃ＢのＮＡＬユニットが生成される。ＰＰＳ＃Ｂには基底視点を除くその他の視点の画像信号（ここでは図１０における、視点１および視点２の画像の信号）の、ピクチャ全体の符号化に関する情報が設定される。ＰＰＳ＃Ａと同様に、ＰＰＳ＃ＢのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される。

ＰＰＳ＃Ｂの"pic_parameter_set_id"には、上述したＰＰＳ＃Ａおよび後述するＰＰＳ＃Ｃの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、ＰＰＳ＃Ｂの"seq_parameter_set_id"には、ＰＰＳ＃Ｂが参照すべきＳＰＳ＃Ｂの"seq_parameter_set_id"の値が設定される。

（ＰＰＳ＃Ｃ）
続いて、ＰＰＳ＃ＣのＮＡＬユニットが生成される。ＰＰＳ＃Ｃには各視点のデプス信号のピクチャ情報が設定される。ＰＰＳ＃ＡおよびＰＰＳ＃Ｂと同様に、ＰＰＳ＃ＣのＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される。ＰＰＳ＃Ｃの"pic_parameter_set_id"には上述したＰＰＳ＃ＡおよびＰＰＳ＃Ｂの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、ＰＰＳ＃Ｃの"seq_parameter_set_id"には、ＰＰＳ＃Ｃが参照すべきＳＰＳ＃Ｃの"seq_parameter_set_id"の値が設定される。

（カメラパラメータ情報）
続いて、カメラパラメータ情報＃０のＮＡＬユニットが生成される。このカメラパラメータ情報には内部パラメータ情報と外部パラメータ情報が含まれる。内部パラメータ情報は各視点のカメラ固有の情報であり、各視点からの撮影に用いたカメラの、焦点距離、主点、ラジアルディストーション（すなわち、主点から放射方向のレンズの歪み）といった係数を含む。外部パラメータ情報は各視点のカメラの配置情報を含む。この配置情報は、３次元空間上の位置（ｘ、ｙ、ｚ座標）または３軸（x、ｙ、z軸）上の回転角度（ロール、ピッチ、ヨー）で表されることが可能である。

カメラパラメータ情報はそれぞれの時間で符号化される。例えば、カメラパラメータ情報＃０は後述のスライス＃Ａ００からスライス＃Ｂ３０までの画像の撮影に用いたカメラパラメータ情報である。このカメラパラメータ情報は補足付加情報の一種である"Multiview acqisition information SEI"として符号化される。カメラパラメータ情報＃０のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＳＥＩであることを示す“６”が設定される（図１２参照）。カメラパラメータ情報はＶＣＬで符号化されたデータの復号に直接必要なパラメータではないが、復号後の仮想視点の生成や表示の際に用いられる。

（プリフィックスＮＡＬユニット＃Ａ００）
続いて、プリフィックスＮＡＬユニット＃Ａ００が生成される。プリフィックスＮＡＬユニットは、プリフィックスＮＡＬユニットの後に続くスライスＮＡＬユニットの視点情報を符号化するためのＮＡＬユニットである。プリフィックスＮＡＬユニット＃Ａ００のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、プリフィックスＮＡＬユニットであることを示す“１４”が設定される（図１２参照）。

図１６は、プリフィックスＮＡＬユニットの構成を示す図である。プリフィックスＮＡＬユニットのヘッダ部であるＮＡＬユニットヘッダには、"forbidden_zero_bit"および"nal_ref_idc、nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"が含まれている。この"nal_unit_header_svc_mvc_extension"にはプリフィックスＮＡＬユニットの後に続くスライスＮＡＬユニットの視点情報が設定される。図１１のプリフィックスＮＡＬユニット＃Ａ００の"nal_unit_header_svc_mvc_extension"には、後に続くスライスＮＡＬユニット＃Ａ００の視点情報が設定される。

プリフィックスＮＡＬユニットの"nal_unit_header_svc_mvc_extension"には、視点情報の１つとして、後に続くスライスＮＡＬユニットの視点を識別するための、視点を特定する一意の番号である"view_id"が含まれる。プリフィックスＮＡＬユニット＃Ａ００の"view_id"には、視点０を示す値が設定される。ここで、この視点０の"view_id"には、他の視点である、視点１、視点２、視点３および視点４の"view_id"と異なる値を規定する。当該プリフィックスＮＡＬユニット＃Ａ００の"view_id"は、後に続く視点０のスライスＮＡＬユニット＃Ａ００の"view_id"として用いられる。なお、ＭＶＣ方式ではプリフィックスＮＡＬユニットのＲＢＳＰである"prefix_nal_unit_rbsp"には、いずれのデータも定義されておらず、空である。すなわち、ＭＶＣ方式ではプリフィックスＮＡＬユニットのＲＢＳＰにはデータが設定されない。

（スライスＮＡＬユニット＃Ａ００）
続いて、スライスＮＡＬユニット＃Ａ００が生成される。スライスＮＡＬユニット＃Ａ００には基底視点である視点０の画像信号がスライス単位で設定される。ここで、基底視点のスライスは、ＮＡＬユニットの種類を示す"nal_unit_type"が“１”または“５”（図１２参照）の、ＶＣＬのＮＡＬユニットとして生成される。また、基底視点の画像信号のシーケンスの、先頭のピクチャはＩＤＲピクチャとして符号化され、それに続くピクチャは非ＩＤＲピクチャとして符号化される。

スライスＮＡＬユニット＃Ａ００はシーケンスの先頭のスライスであるため、スライスＮＡＬユニット＃Ａ００のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＩＤＲピクチャの符号化されたスライスであることを示す“５”が設定される（図１２参照）。図１１の例では、１つのピクチャを１つのスライスとして符号化しているが、１つのピクチャを複数のスライスに分割して符号化することも可能である。

図１７は、"nal_unit_type"の値が“１”または“５”のスライスＮＡＬユニットの構成を示す図である。"nal_unit_type"の値が“１”または“５”のスライスＮＡＬユニットのＮＡＬユニットヘッダには、"nal_unit_header_svc_mvc_extension"が含まれないため、視点情報は設定されない。そこで、前に符号化されたプリフィックスＮＡＬユニットの"nal_unit_header_svc_mvc_extension"に設定されている視点情報を用いる。すなわち、プリフィックスＮＡＬユニット＃Ａ００の"nal_unit_header_svc_mvc_extension"に設定されている視点情報を、スライスＮＡＬユニット＃Ａ００の視点情報とする。

さらに、"nal_unit_type"の値が“１”または“５”のスライスＮＡＬユニットのＲＢＳＰである"slice_layer_without_partitioning_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化にかかわる情報を含む。"slice_data"はスライス内の画像信号が符号化されて得られる、符号化モード、動きベクトル、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。

"slice_header"には、参照すべきＰＰＳを特定する番号である"pic_parameter_set_id"が含まれる。スライスＮＡＬユニット＃Ａ００の"pic_parameter_set_id"には、スライスＮＡＬユニット＃Ａ００が参照すべきＰＰＳ＃Ａの"pic_parameter_set_id"の値が設定される。また、ＰＰＳ＃Ａの"seq_parameter_set_id"には、ＰＰＳ＃Ａが参照すべきＳＰＳ＃Ａの"seq_parameter_set_id"の値が設定されているため、スライスＮＡＬユニット＃Ａ００が参照すべきシーケンス情報がＳＰＳ＃Ａであることを明確に特定することができる。

（スライスＮＡＬユニット＃Ｂ２０）
続いて、スライスＮＡＬユニット１＃Ｂ２０が生成される。スライスＮＡＬユニット＃Ｂ２０は非基底視点である視点２の画像信号がスライス単位で符号化される。また、ここで符号化されるのは先の視点０のスライス＃Ａ００と同じ表示時刻の、視点２の画像信号のスライスである。スライスＮＡＬユニット＃Ｂ２０のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、基底視点以外の符号化されたスライスを示す“２０”が設定される（図１２参照）。

図１８は、"nal_unit_type"の値が“２０”のスライスＮＡＬユニットの構成を示す図である。"nal_unit_type"の値が“２０”のスライスＮＡＬユニットのヘッダ部であるＮＡＬユニットヘッダには、"forbidden_zero_bit"および"nal_ref_idc、nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"が含まれる。この"nal_unit_header_svc_mvc_extension"に当該スライスＮＡＬユニットの視点情報が設定される。"nal_unit_type"の値が“２０”のスライスＮＡＬユニットの"nal_unit_header_svc_mvc_extension"には、視点情報の１つとしてこのスライスＮＡＬユニットの視点を識別するための、視点を特定する一意の番号である"view_id"が含まれる。スライスＮＡＬユニット＃Ｂ２０の"view_id"には、視点２を示す値が設定される。ここで、この視点２の"view_id"は、他の視点である視点０、視点１、視点３および視点４の"view_id"と異なる値とする。

さらに、nal_unit_typeの値が“２０”のスライスＮＡＬユニットのＲＢＳＰである"slice_layer_in_scalable_extension_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化に関わる情報を含む。"slice_data"はスライス内の画像信号が符号化されて得られる、符号化モードと、動きベクトルまたは視差ベクトルと、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。"slice_header"には、参照すべきＰＰＳを特定する番号である"pic_parameter_set_id"が含まれる。スライスＮＡＬユニット＃Ｂ２０の"pic_parameter_set_id"には、スライスＮＡＬユニット＃Ｂ２０が参照すべきＰＰＳ＃Ｂの"pic_parameter_set_id"の値が設定される。また、ＰＰＳ＃Ｂの"seq_parameter_set_id"には、ＰＰＳ＃Ｂが参照すべきＳＰＳ＃Ｂの"seq_parameter_set_id"の値が設定されているため、スライスＮＡＬユニット＃Ｂ２０が参照すべきシーケンス情報はＳＰＳ＃Ｂであることを容易に判別することができる。

（スライスＮＡＬユニット＃Ｂ１０）
続いて、スライスＮＡＬユニット＃Ｂ１０、＃Ｂ４０、＃Ｂ３０がスライスＮＡＬユニット＃Ｂ２０と同様の方法で順次、生成される。スライスＮＡＬユニット＃Ｂ１０には非基底視点である視点１の画像信号がスライス単位で設定され、スライスＮＡＬユニット＃Ｂ４０には非基底視点である視点４の画像信号がスライス単位で設定され、およびスライスＮＡＬユニット＃Ｂ３０には非基底視点である視点３の画像信号がスライス単位で設定される。

また、ここで符号化されるのは先の、視点０のスライス＃Ａ００および視点２のスライス＃Ｂ２０と同じ表示時刻の、視点１、視点４、視点３のスライス単位の画像信号である。スライスＮＡＬユニット＃Ｂ２０と同様に、スライスＮＡＬユニット＃Ｂ１０、＃４０、＃３０のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、基底視点以外の符号化されたスライスを示す“２０”が設定される（図１２参照）。スライスＮＡＬユニット＃Ｂ１０の"view_id"には、視点１を示す値が、スライスＮＡＬユニット＃Ｂ４０の"view_id"には視点４を示す値が、およびスライスＮＡＬユニット＃Ｂ３０の"view_id"には視点３を示す値がそれぞれ設定される。ここで、それぞれの視点の"view_id"には、他の視点の"view_id"と異なる値が設定される。

スライスＮＡＬユニット＃Ｂ１０、＃Ｂ４０、＃Ｂ３０の"pic_parameter_set_id"には、スライスＮＡＬユニット＃Ｂ１０、＃Ｂ４０、＃Ｂ３０が参照すべきＰＰＳ＃Ｂの"pic_parameter_set_id"の値がそれぞれ設定される。また、ＰＰＳ＃Ｂの"seq_parameter_set_id"には、ＰＰＳ＃Ｂが参照すべきＳＰＳ＃Ｂの"seq_parameter_set_id"の値が設定されているため、スライスＮＡＬユニット＃Ｂ１０、＃Ｂ４０、＃Ｂ３０が参照すべきシーケンス情報がＳＰＳ＃Ｂであることを明確に特定することができる。

（スライスＮＡＬユニット＃Ｃ００）
続いて、スライスＮＡＬユニット＃Ｃ００が生成される。スライスＮＡＬユニット＃Ｃ００には視点０の画像信号のスライスＮＡＬユニット＃Ａ００に対応するデプス信号がスライス単位で設定される。ここで、本実施の形態においては、デプス信号が設定されたスライスＮＡＬユニットであることを示す"nal_unit_type"の値を“２１”と規定する。したがって、スライスＮＡＬユニット＃Ｃ００のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には“２１”が設定される。

デプス信号が設定されたスライスＮＡＬユニットの"nal_unit_type"において、既存の"nal_unit_type"の値を用いずに“２１”と設定することにより、従来のデプス信号を復号しないＭＶＣ方式との互換性を保つことができる。すなわち、上記符号化ビット列を従来の、デプス信号を復号しないＭＶＣ方式のデコーダで復号する際に、"nal_unit_type"の値が“２１”のＮＡＬユニットを無視して復号することにより、画像信号のみを正常に復号することができるためである。なお、ここではデプス信号が符号化されたスライスであることを示す"nal_unit_type"の値を“２１”と規定したが、将来の拡張のために予約された、“１６”、“１７”、“１８”、“２２”または“２３”等の他の値を用いてもよい。

さらに、"nal_unit_type"の値が“２１” のスライスＮＡＬユニットの構成を図１８に示す構成と同様に規定する。すなわち、"nal_unit_type"の値が“２１”のスライスＮＡＬユニットのヘッダ部であるＮＡＬユニットヘッダは、"forbidden_zero_bit"、"nal_ref_idc"および"nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"を含むものとする。

スライスＮＡＬユニット＃Ｃ００の"view_id"には、視点０を示す値が設定される。このスライスＮＡＬユニット＃Ｃ００の"view_id"の値は、スライスＮＡＬユニット＃Ｃ００に対応するスライスユニット＃Ａ００の視点情報が設定されるプリフィックスＮＡＬユニット＃Ａ００の"view_id"の値と等しい値である。

さらに、"nal_unit_type"の値が“２１”のスライスＮＡＬユニットのＲＢＳＰである"slice_layer_in_scalable_extension_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化にかかわる情報を含む。"slice_data"はスライス内のデプス信号が符号化されて得られる、符号化モードと、動きベクトルまたは視差ベクトルと、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。

"slice_header"には、参照すべきＰＰＳを特定する番号である"pic_parameter_set_id"が含まれる。スライスＮＡＬユニット＃Ｃ００の"pic_parameter_set_id"には、スライスＮＡＬユニット＃Ｃ００が参照すべきＰＰＳ＃Ｃの"pic_parameter_set_id"の値が設定される。また、ＰＰＳ＃Ｃの"seq_parameter_set_id"には、ＰＰＳ＃Ｃが参照べきＳＰＳ＃Ｃの"seq_parameter_set_id"の値が設定されているため、スライスＮＡＬユニット＃Ｃ００が参照すべきシーケンス情報がＳＰＳ＃Ｃであることを明確に特定することができる。

（スライスＮＡＬユニット＃Ｃ２０）
続いて、スライスＮＡＬユニット＃Ｃ２０、＃Ｃ４０がスライスＮＡＬユニット＃Ｃ００と同様の方法で順次、生成される。スライスＮＡＬユニット＃Ｃ２０には視点２の画像信号に対応する視点２のデプス信号がスライス単位で設定され、スライスＮＡＬユニット＃Ｃ４０には視点４の画像信号に対応する視点４のデプス信号がスライス単位で設定される。スライスＮＡＬユニット＃Ｃ００と同様に、スライスＮＡＬユニット＃Ｃ２０、＃４０のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には“２１”が設定される。

スライスＮＡＬユニット＃Ｃ２０のview_idには視点２を示す値を設定し、スライスＮＡＬユニット＃Ｃ４０のview_idには視点４を示す値を設定する。このスライスＮＡＬユニット＃Ｃ２０のview_idの値は、スライスＮＡＬユニット＃Ｃ２０に対応するスライスユニット＃Ｂ２０のview_idの値と等しい値であり、スライスＮＡＬユニット＃Ｃ４０のview_idの値は、スライスＮＡＬユニット＃Ｃ４０に対応するスライスユニット＃Ｂ４０のview_idの値と等しい値である。

スライスＮＡＬユニット＃Ｃ２０、＃４０の"pic_parameter_set_id"には、スライスＮＡＬユニット＃Ｃ２０、＃Ｃ４０が参照すべきＰＰＳ＃Ｃの"pic_parameter_set_id"の値が設定される。また、ＰＰＳ＃Ｃの"seq_parameter_set_id"には、ＰＰＳ＃Ｃが参照すべきＳＰＳ＃Ｃの"seq_parameter_set_id"の値が設定されているため、スライスＮＡＬユニット＃Ｃ２０、＃４０が参照すべきシーケンス情報がＳＰＳ＃Ｃであることを明確に特定することができる。

スライスＮＡＬユニット＃Ｃ４０に続くカメラパラメータ情報のＮＡＬユニット＃Ａ１以降のＮＡＬユニットも、カメラパラメータ情報＃０からスライスＮＡＬユニット＃Ｃ４０と同様に生成される。プリフィックスＮＡＬユニット＃Ａ０１には、後に続くスライス＃Ａ０１の視点情報が、プリフィックスＮＡＬユニット＃Ａ００と同様の方法で設定される。

スライスＮＡＬユニット＃Ａ０１には、スライスＮＡＬユニット＃Ａ００に設定された画像信号の符号化または復号順序で次にくる画像信号が、スライスＮＡＬユニット＃Ａ００と同様の方法でスライス単位で設定される。スライスＮＡＬユニット＃Ａ０１のＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を示す"nal_unit_type"の値には、非ＩＤＲピクチャの符号化されたスライスであることを示す“１”が設定される（図１２参照）。

スライスＮＡＬユニット＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１には、スライスＮＡＬユニット＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０に設定された画像信号のそれぞれの視点において符号化または復号順序で、次にくる画像信号が、スライスＮＡＬユニット＃Ｂ２０や＃Ｂ１０等と同様の方法でスライス単位でそれぞれ符号化される。スライスＮＡＬユニット＃Ｃ０１、＃Ｃ２１、＃Ｃ４１には、スライスＮＡＬユニット＃Ｃ００、＃Ｃ２０、＃Ｃ４０に設定されたデプス信号のそれぞれの視点において符号化または復号順序で次にくるデプス信号が、スライスＮＡＬユニット＃Ｃ００、＃Ｃ２０、＃Ｃ４０と同様の方法で、スライス単位でそれぞれ符号化される。

図１、図３に戻り、実施の形態１に係る画像符号化装置１００、１００ａの構成について、より具体的に説明する。符号化管理部１０１には、外部または図示しない符号化管理情報保持部から符号化管理情報が供給される。符号化管理部１０１は必要に応じて新たにパラメータを計算する。

符号化管理部１０１は、
（ａ）画像信号のシーケンス全体に関連するパラメータ情報（すなわち、画像信号のＳＰＳ）、
（ｂ）デプス信号のシーケンス全体に関連するパラメータ情報（すなわち、デプス信号のＳＰＳ）、
（ｃ）画像信号のピクチャに関連するパラメータ情報（すなわち、画像信号のＰＰＳ）、（ｄ）デプス信号のピクチャに関連するパラメータ情報（すなわち、デプス信号のＰＰＳ）、（ｅ）画像信号のピクチャのスライスに関連するヘッダ情報（すなわち、画像信号のスライスヘッダ）、
（ｆ）デプス信号のピクチャのスライスに関連するヘッダ情報（すなわち、デプス信号のスライスヘッダ）
等を含む符号化に関する情報を管理する。

さらに、符号化管理部１０１は多視点画像信号および多視点デプス信号の視点情報、符号化対象画像の参照依存関係、並びに符号化または復号順序を管理する。符号化管理部１０１は上記視点情報として、各視点における画像信号およびデプス信号の対応関係を視点ＩＤにより管理する。

符号化管理部１０１は上記参照依存関係として、視点単位で他の視点の画像信号またはデプス信号を参照するか否かを管理する。また、符号化管理部１０１は上記参照依存関係として、ピクチャまたはスライス単位で、符号化対象画像信号または符号化対象デプス信号を符号化する際に他の視点の画像信号またはデプス信号を参照画像として用いる視点間予測（例えば、視差補償予測）を行うか否かを管理する。また、符号化管理部１０１は上記参照依存関係として、符号化対象画像信号または符号化対象デプス信号が符号化された後に、符号化側で復号して得られる復号画像信号または復号デプス信号が、他の視点の符号化対象画像信号または符号化対象デプス信号を符号化する際の参照画像として用いられるか否かを管理する。さらに、符号化管理部１０１は上記参照依存関係として、複数ある参照画像の候補の中からどの参照画像を参照すべきかについて管理する。

また、符号化管理部１０１は上記符号化または復号順序として、復号側で、上記参照依存関係にしたがった復号対象画像信号の復号順番が、その画像信号が参照すべき参照画像の復号順番の後になるように管理する。また、符号化管理部１０１は上記符号化または復号順序として、同一時刻の各視点の画像信号とデプス信号が、復号された後に同時に出力されるのに適した順序で、画像信号およびデプス信号を符号化するように管理する。

画像信号用シーケンス情報符号化部１０２は、符号化管理部１０１で管理される基底視点の画像信号の、シーケンス全体に関連するパラメータ情報（すなわち、基底視点の画像信号のＳＰＳ）を符号化し、符号化ビット列を生成する。この符号化ビット列は、図１１に示した符号化ビット列全体の、ＳＰＳ＃ＡのＲＢＳＰ部に相当する。上述したように、基底視点の画像信号のＳＰＳは、図１３に示したＲＢＳＰである"seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。

さらに、画像信号用シーケンス情報符号化部１０２は、符号化管理部１０１で管理される非基底視点の画像信号の、シーケンス全体に関連するパラメータ情報（すなわち、非基底視点の画像信号のＳＰＳ）を符号化し、符号化ビット列を生成する。この符号化ビット列は、図１１に示した符号化ビット列全体の、ＳＰＳ＃ＢのＲＢＳＰ部に相当する。上述したように、非基底視点の画像信号用のＳＰＳは、図１４に示したＲＢＳＰである"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。ここでは、図１４に示すシンタックス構造に従ってＳＰＳのＭＶＣ拡張情報も符号化される。

デプス信号用シーケンス情報符号化部１０３は、符号化管理部１０１で管理されるデプス信号の、シーケンス全体に関連するパラメータ情報（すなわち、デプス信号のＳＰＳ）を符号化し、符号化ビット列を生成する。この符号化ビット列は、図１１に示した符号化ビット列全体の、ＳＰＳ＃ＣのＲＢＳＰ部に相当する。上述したように、デプス信号のＳＰＳは図１４に示したＲＢＳＰである"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。ここでは、図１４に示したシンタックス構造に従ってＳＰＳのＭＶＣ拡張情報も符号化される。

画像信号用ピクチャ情報符号化部１０４は、符号化管理部１０１で管理される画像信号のピクチャに関連する情報（すなわち、画像信号のＰＰＳ）を符号化し、符号化ビット列を生成する。この符号化ビット列は、図１１に示した符号化ビット列全体の、ＰＰＳ＃ＡおよびＰＰＳ＃Ｂの、ＲＢＳＰ部に相当する。上述したように、基底視点の画像信号のＰＰＳおよび非基底視点の画像信号のＰＰＳは、図１５に示したＲＢＳＰである"pic_parameter_set_rbsp"のシンタックス構造に従ってそれぞれ符号化される。

デプス信号用ピクチャ情報符号化部１０５は、符号化管理部１０１で管理されるデプス信号のピクチャに関連する情報（すなわち、デプス信号のＰＰＳ）を符号化し、符号化ビット列を生成する。この符号化ビット列は、図１１に示した符号化ビット列全体の、ＰＰＳ＃ＣのＲＢＳＰ部に相当する。上述したように、デプス信号のＰＰＳは、図１５に示したＲＢＳＰである"pic_parameter_set_rbsp"のシンタックス構造に従って符号化される。

カメラパラメータ情報符号化部１０６は、各視点の撮影に用いたカメラのパラメータ情報をＳＥＩとして符号化し、符号化ビット列を生成する。ここで、当該カメラパラメータ情報には内部パラメータ情報と外部パラメータ情報が含まれる。内部パラメータ情報は各視点のカメラ固有の情報であり、各視点からの撮影に用いたカメラの、焦点距離、主点、ラジアルディストーション（すなわち、主点から放射方向のレンズの歪み）といった係数を含む。外部パラメータ情報は各視点のカメラの配置情報を含む。この配置情報は、３次元空間上の位置（ｘ、ｙ、ｚ座標）または３軸（x、ｙ、z軸）上の回転角度（ロール、ピッチ、ヨー）で表されることが可能である。

画像信号符号化部１０７には各視点の画像信号が供給される。図１０の例において、画像信号符号化部１０７に供給される画像信号は、視点０、視点１、視点２、視点３および視点４の画像の信号である。画像信号符号化部１０７は、符号化管理部１０１で管理される画像信号のスライスに関連する情報（すなわち、画像信号のスライスヘッダ）、および供給される符号化対象の画像信号をスライス単位で符号化し、符号化ストリームを生成する。

この符号化ストリームは、図１１に示した符号化ストリーム全体の、スライス＃Ａ００、＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ａ０１、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１のＲＢＳＰ部に相当する。上述したように、基底視点の画像信号のスライスヘッダ、および供給される符号化対象の、基底視点のスライス単位の画像信号は、図１７に示したＲＢＳＰである"slice_layer_without_partitioning_rbsp"のシンタックス構造に従ってそれぞれ符号化される。より具体的には、上記基底視点のスライス単位の画像信号は、イントラ予測符号化、インター予測符号化、直行変換、量子化、エントロピー符号化等の処理を経ることにより、符号化される。

また、非基底視点の画像信号のスライスヘッダ、および供給される符号化対象の、非基底視点のスライス単位の画像信号は、図１８に示したＲＢＳＰである"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従ってそれぞれ符号化される。画像信号を符号化する際には視点間予測や動き補償予測を用いることがあるが、その際には既に符号化された画像信号のピクチャから局部的に復号された画像信号を参照画像として利用することができる。

デプス信号符号化部１０８には各視点のデプス信号が供給される。図１０の例において、デプス信号符号化部１０８に供給されるデプス信号は、視点０、視点２および視点４のデプスマップの信号である。デプス信号符号化部１０８は、符号化管理部１０１で管理されるデプス信号のスライスに関連する情報（すなわち、デプス信号のスライスヘッダ）、および供給される符号化対象のデプス信号をスライス単位で符号化し、符号化ストリームを生成する。

この符号化ビット列は、図１１に示した符号化ビット列全体の、スライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１のＲＢＳＰ部に相当する。上述したように、デプス信号のスライスヘッダおよび、供給される符号化対象のスライス単位のデプス信号は、図１８に示したＲＢＳＰである"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従ってそれぞれ符号化される。デプス信号を符号化する際には視点間予測や動き補償予測を用いることもあるが、その際には既に符号化されたデプス信号のピクチャから局部的に復号されたデプス信号を参照画像として利用することができる。デプス信号の符号化方法はグレースケールの画像信号の場合と同じ方法を利用することができる。

ユニット化部１０９は、
（ａ）画像信号用シーケンス情報符号化部１０２により生成された、基底視点の画像信号の、シーケンス情報の符号化ビット列、
（ｂ）画像信号用シーケンス情報符号化部１０２により生成された、非基底視点の画像信号の、シーケンス情報の符号化ビット列、
（ｃ）デプス信号用シーケンス情報符号化部１０３により生成された、デプス信号のシーケンス情報の符号化ビット列、
（ｄ）画像信号用ピクチャ情報符号化部１０４により生成された、基底視点の画像信号の、ピクチャ情報の符号化ビット列、
（ｅ）画像信号用ピクチャ情報符号化部１０４により生成された、非基底視点の画像信号の、ピクチャ情報の符号化ビット列、
（ｆ）デプス信号用ピクチャ情報符号化部１０５により生成された、デプス信号のピクチャ情報の符号化ビット列、
（ｇ）カメラパラメータ情報符号化部１０６により生成されたカメラパラメータ情報の符号化ビット列、
（ｈ）画像信号符号化部１０７により生成された、基底視点の画像信号のスライスに関連する情報（すなわち、基底視点の画像信号のスライスヘッダ）および基底視点のスライス単位の画像信号の符号化ビット列、
（ｉ）画像信号符号化部１０７により生成された、非基底視点の画像信号のスライスに関連する情報（すなわち、非基底視点の画像信号のスライスヘッダ）および非基底視点のスライス単位の画像信号の符号化ビット列、および
（ｊ）デプス信号符号化部１０８により生成された、デプス信号用のスライスに関連する情報（すなわち、デプス信号のスライスヘッダ）およびスライス単位のデプス信号の符号化ビット列に、
それぞれの符号化ビット列をＮＡＬユニット単位で扱うためのヘッダ情報であるＮＡＬユニットヘッダをそれぞれ付加することにより、それぞれＮＡＬユニット化する。

さらに、ユニット化部１０９は、必要に応じてＮＡＬユニット化した符号化ビット列同士を多重化し、図１１に示した多視点画像の符号化ビット列を生成する。さらに、ネットワークを介して当該符号化ビット列が伝送される場合、図示しないパケット化部は、ＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化する。図示しない送信部はそのパケット化された符号化ビット列を送信する。

ここで、画像信号用シーケンス情報符号化部１０２から供給される、基底視点の画像信号の、シーケンス情報の符号化ビット列には、図１３に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＳＰＳであることを示す“７”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列のＳＰＳ＃ＡのＮＡＬユニットに相当する。また、非基底視点の画像信号の、シーケンス情報の符号化ビット列には、図１４に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＭＶＣ拡張のＳＰＳであるサブセットＳＰＳであることを示す“１５”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、ＳＰＳ＃ＢのＮＡＬユニットに相当する。

デプス信号用シーケンス情報符号化部１０３から供給される、デプス信号のシーケンス情報の符号化ビット列には、図１４に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＭＶＣ拡張のＳＰＳであるサブセットＳＰＳであることを示す“１５”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、ＳＰＳ＃ＣのＮＡＬユニットに相当する。

画像信号用ピクチャ情報符号化部１０４から供給される、基底視点の画像信号の、ピクチャ情報の符号化ビット列には、図１５に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、ＰＰＳ＃ＡのＮＡＬユニットに相当する。また、非基底視点の画像信号の、ピクチャ情報の符号化ビット列にも、図１５に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、ＰＰＳ＃ＢのＮＡＬユニットに相当する。

デプス信号用ピクチャ情報符号化部１０５から供給される、デプス信号のピクチャ情報の符号化ビット列にも、図１５に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＰＰＳであることを示す“８”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、ＰＰＳ＃ＣのＮＡＬユニットに相当する。

カメラパラメータ情報符号化部１０６から供給されるカメラパラメータ情報の符号化ビット列には、ＳＥＩ用のＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、ＳＥＩであることを示す“６”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、カメラパラメータ情報＃０、＃１のＮＡＬユニットに相当する。

画像信号符号化部１０７から供給される、符号化された基底視点の画像信号のスライスヘッダ情報および符号化された基底視点の画像信号を含む符号化ビット列には、図１７に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、基底視点の画像信号のスライスであることを示す“１”または“５”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、スライス＃Ａ００、＃Ａ０１のＮＡＬユニットに相当する。

なお、上記基底視点の画像信号の、スライスＮＡＬユニットの前には、基底視点の画像信号の視点情報を符号化するためのプリフィックスＮＡＬユニットが設定される。プリフィックスＮＡＬユニットの構造は図１６に示した通りであるが、上述したように、ＭＶＣ方式ではＲＢＳＰが設定されないため、図１６に示したＮＡＬユニットヘッダのみが設定される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、プリフィックスＮＡＬユニットであることを示す“１４”が設定される。このＮＡＬユニットヘッダのみが符号化された符号化ビット列は、図１１に示した符号化ビット列全体の、プリフィックスＮＡＬユニット＃Ａ００、＃Ａ０１のＮＡＬユニットに相当する。

また、符号化された非基底視点の画像信号のスライスヘッダおよび符号化された非基底視点のスライス単位の画像信号を含む符号化ビット列には、図１８に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、非基底視点の画像信号のスライスであることを示す“２０”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１のＮＡＬユニットに相当する。

デプス信号符号化部１０８から供給される、符号化されたデプス信号のスライスヘッダおよび符号化されたスライス単位のデプス信号を含む符号化ビット列には、図１８に示したＮＡＬユニットヘッダが付加される。ここで、ＮＡＬユニットの種類を示す"nal_unit_type"の値には、デプス信号のスライスであることを示す“２１”が設定される。このＮＡＬユニットヘッダが付加された符号化ビット列は、図１１に示した符号化ビット列全体の、スライス＃Ｃ００、＃Ｃ１０、＃Ｃ２０、＃Ｃ０１、＃Ｃ１１、＃Ｃ２１のＮＡＬユニットに相当する。

次に、図１、３に示した実施の形態１に係る画像符号化装置１００、１００ａによる多視点画像の符号化処理手順について説明する。
図１９は、実施の形態１に係る画像符号化装置１００、１００ａによる多視点画像の符号化処理手順を示すフローチャートである。まず、画像信号用シーケンス情報符号化部１０２は基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を符号化し、基底視点の画像信号のシーケンス情報（すなわち、基底視点の画像信号のＳＰＳ）の符号化ビット列を生成する（Ｓ１０１）。

続いて、ユニット化部１０９はステップＳ１０１の処理により得られた、基底視点の画像信号の、シーケンス情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１０２）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、画像信号用シーケンス情報符号化部１０２は非基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を符号化し、非基底視点の画像信号用の、シーケンス情報（すなわち、非基底視点の画像信号のＳＰＳ）の符号化ビット列を生成する（Ｓ１０３）。

続いて、ユニット化部１０９はステップＳ１０４の処理により得られた、非基底視点の画像信号の、シーケンス情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１０４）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、デプス信号用シーケンス情報符号化部１０３は、デプス信号のシーケンス全体の符号化に係るパラメータ情報を符号化し、デプス信号のシーケンス情報（すなわち、デプス信号のＳＰＳ）の符号化ビット列を生成する（Ｓ１０５）。

続いて、ユニット化部１０９はステップＳ１０５の処理により得られた、デプス信号のシーケンス情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１０６）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、画像信号用ピクチャ情報符号化部１０４は、基底視点の画像信号の、ピクチャ全体の符号化に係るパラメータ情報を符号化し、基底視点の画像信号の、ピクチャ情報（すなわち、基底視点の画像信号のＰＰＳ）の符号化ビット列を生成する（Ｓ１０７）。

続いて、ユニット化部１０９はステップＳ１０７の処理により得られた、基底視点の画像信号の、ピクチャ情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１０８）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、画像信号用ピクチャ情報符号化部１０４は非基底視点の画像信号の、ピクチャ全体の符号化に係るパラメータ情報を符号化し、非基底視点の画像信号の、ピクチャ情報（すなわち、非基底視点の画像信号のＰＰＳ）の符号化ビット列を生成する（Ｓ１０９）。

続いて、ユニット化部１０９はステップＳ１０９の処理により得られた、非基底視点の画像信号の、ピクチャ情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１１０）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、デプス信号用ピクチャ情報符号化部１０５はデプス信号のピクチャ全体の符号化に係るパラメータ情報を符号化し、デプス信号のピクチャ情報（すなわち、デプス信号のＰＰＳ）の符号化ビット列を生成する（Ｓ１１１）。

続いて、ユニット化部１０９はステップＳ１１１の処理により得られた、デプス信号のピクチャ情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１１２）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、カメラパラメータ情報符号化部１０６は各視点の撮影に用いたカメラのパラメータ情報をＳＥＩとして符号化し、カメラパラメータ情報の符号化ビット列を生成する（Ｓ１１３）。

続いて、ユニット化部１０９はステップＳ１１３の処理により得られたカメラパラメータ情報の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１１４）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、ユニット化部１０９は、後に続くＮＡＬユニットの視点情報を含むＮＡＬユニット単位で扱うためのヘッダ情報を符号化し、プリフィックスＮＡＬユニットとする（Ｓ１１５）。上述したように、ＭＶＣ方式ではＲＢＳＰが符号化されないためである。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。

続いて、画像信号符号化部１０７は基底視点の画像信号のスライスに関連する情報（すなわち、基底視点の画像信号のスライスヘッダ）および符号化対象の基底視点の、スライス単位の画像信号を符号化し、基底視点のスライス単位の、画像信号の符号化ビット列を生成する（Ｓ１１６）。

続いて、ユニット化部１０９ステップＳ１１６の処理により得られた、基底視点のスライス単位の、画像信号の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１１７）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。なお、図１９には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップＳ１１６からＳ１１７の処理を繰り返す。

続いて、画像信号符号化部１０７は非基底視点の画像信号のスライスに関連する情報（すなわち、非基底視点の画像信号のスライスヘッダ）および符号化対象の基底視点の、スライス単位の画像信号を符号化し、非基底視点のスライス単位の、画像信号の符号化ビット列を生成する（Ｓ１１８）。

続いて、ユニット化部１０９はステップＳ１１７の処理により得られた、非基底視点のスライス単位の、画像信号の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１１９）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。なお、図１９には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップＳ１１８からＳ１１９の処理を繰り返す。

続いて、符号化管理部１０１は表示時刻において、符号化対象のすべての視点の画像信号の符号化処理が完了したか否かを判定する（Ｓ１２０）。当該表示時刻の画像信号の符号化処理が完了した場合（Ｓ１２０のＹ）、ステップＳ１２１の処理に進み、完了していない場合（Ｓ１２０のＮ）、ステップＳ１１８からステップＳ１２０の符号化処理を繰り返す。

続いて、デプス信号符号化部１０８はデプス信号のスライスに関連する情報（すなわち、デプス信号のスライスヘッダ）および符号化対象のスライス単位のデプス信号を符号化し、デプス信号のスライスの符号化ビット列を生成する（Ｓ１２１）。

続いて、ユニット化部１０９はステップＳ１２１の処理により得られた、スライス単位のデプス信号の符号化ビット列に、ＮＡＬユニット単位で扱うためのヘッダ情報を付加することによりＮＡＬユニット化する（Ｓ１２２）。さらに、ユニット化部１０９は、必要に応じて他のＮＡＬユニットと多重化する。なお、図１９には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップＳ１２１からＳ１２２の処理を繰り返す。

続いて、符号化管理部１０１は当該表示時刻において、符号化対象のすべての視点のデプス信号の符号化処理が完了したか否かを判定する（Ｓ１２３）。当該表示時刻のデプス信号の符号化処理が完了した場合（Ｓ１２３のＹ）、ステップＳ１２１の処理に進み、完了していない場合（Ｓ１２３のＮ）、ステップＳ１２１からステップＳ１２３の符号化処理を繰り返す。

続いて、符号化管理部１０１は、符号化対象のすべての画像信号およびデプス信号の符号化処理が完了したか否かを判定する（Ｓ１２４）。すべての画像信号およびデプス信号の符号化処理が完了した場合（Ｓ１２４のＹ）、本符号化処理を終了し、完了していない場合（Ｓ１２４のＮ）、ステップＳ１１３からステップＳ１２４の符号化処理を繰り返す。

次に、図１、３に示した実施の形態１に係る画像符号化装置１００、１００ａにより生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順について説明する。
図２０は、実施の形態１に係る画像符号化装置１００、１００ａにより生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順を示すフローチャートである。図２０のフローチャートに示す全体の処理は、図１９のフローチャートにおける、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１４、Ｓ１１５、Ｓ１１７、Ｓ１１９およびＳ１２２のそれぞれ処理の後に、必要に応じて実行される。

図２０のフローチャートにおいて、図示しないパケット化部は、図１９のフローチャートにおける、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１４、Ｓ１１５、Ｓ１１７、Ｓ１１９およびＳ１２２の処理により得られた符号化ビット列を、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化する（Ｓ２０１）。

続いて、当該パケット化部は、必要に応じてオーディオ等の符号化ビット列と多重化する（Ｓ２０２）。続いて、図示しない送信部はパケット化された符号化ビット列をネットワーク等を介して随時送信する（Ｓ２０３）。

なお、実施の形態１に係る画像符号化装置１００、１００ａにより符号化された符号化ビット列は、既存の単視点のＡＶＣ／Ｈ．２６４符号化方式に対応した復号装置でも復号することができる。その場合、復号側で基底視点の画像信号のみが得られる。例えば、実施の形態１に係る画像符号化装置１００、１００ａにより符号化された、図１１に示した符号化ビット列は、ＡＶＣ／Ｈ.２６４符号化方式のハイ・プロファイルに対応した復号装置で復号することができる。

その際には、ＡＶＣ／Ｈ．２６４符号化方式のハイ・プロファイルに対応している、
（ａ）"nal_unit_type"が“７”のＮＡＬユニットであるＳＰＳのＮＡＬユニット＃Ａ、
（ｂ）"nal_unit_type"が“８”のＮＡＬユニットであるＰＰＳのＮＡＬユニット＃Ａ、＃Ｂ、＃Ｃ、
（ｃ）"nal_unit_type"が“１”のＮＡＬユニットであるスライスＮＡＬユニット＃Ａ００、および
（ｄ）"nal_unit_type"が“５”のＮＡＬユニットであるスライスＮＡＬユニット＃Ａ０１、
を復号する。

ただし、ＰＰＳのＮＡＬユニット＃Ｂ、＃ＣについてはこれらのＰＰＳを参照するスライスＮＡＬユニットは復号しないので、実際には使われない。ＡＶＣ／Ｈ．２６４符号化方式のハイ・プロファイルに対応していない"nal_unit_type"が“１５”のＮＡＬユニットであるＳＰＳのＮＡＬユニット＃Ｂ、＃Ｃは復号しない。

同様に、
（ａ）"nal_unit_type"が“１４”のＮＡＬユニットであるプリフィックスＮＡＬユニット＃Ａ００、
（ｂ）"nal_unit_type"が“２０”のＮＡＬユニットであるスライスＮＡＬユニット＃Ｂ１０、＃Ｂ２０、＃Ｂ１１、＃Ｂ２１、および
（ｃ）"nal_unit_type"が“２１”のＮＡＬユニットであるスライスＮＡＬユニット＃Ｃ００、＃Ｃ１０、＃Ｃ２０、＃Ｃ０１、＃Ｃ１１、＃Ｃ２１、
も復号しない。

さらに、実施の形態１に係る画像符号化装置１００、１００ａにより符号化された符号化ビット列は、既存のＭＶＣ符合化方式に対応した復号装置でも復号することができる。その場合、復号側で多視点の画像信号のみが得られる。例えば、実施の形態１に係る画像符号化装置１００、１００ａにより符号化された、図１１に示した符号化ビット列は、ＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルに対応した復号装置で復号することができる。

その際には、ＡＶＣ／Ｈ.２６４符号化方式のマルチビュー・ハイ・プロファイルに対応している、
（ａ）"nal_unit_type"が“７”のＮＡＬユニットであるＳＰＳのＮＡＬユニット＃Ａ、
（ｂ）"nal_unit_type"が“１５”のＮＡＬユニットであるＳＰＳのＮＡＬユニット＃Ｂ、＃Ｃ、
（ｃ）"nal_unit_type"が“８”のＮＡＬユニットであるＰＰＳのＮＡＬユニット＃Ａ、＃Ｂ、＃Ｃ、
（ｄ）"nal_unit_type"が“１４”のＮＡＬユニットであるプリフィックスＮＡＬユニット＃Ａ００、
（ｅ）"nal_unit_type"が“１”のＮＡＬユニットであるスライスＮＡＬユニット＃Ａ００、
（ｆ）"nal_unit_type"が“５”のＮＡＬユニットであるスライスＮＡＬユニット＃Ａ０１、および
（ｇ）"nal_unit_type"が“２０”のＮＡＬユニットであるスライスＮＡＬユニット＃Ｂ１０、＃Ｂ２０、＃Ｂ１１、＃Ｂ２１、
を復号する。

ただし、ＳＰＳのＮＡＬユニット＃Ｃ、ＰＰＳ ＮＡＬユニット＃ＣについてはこれらのＳＰＳやＰＰＳを参照するスライスＮＡＬユニットは復号しないので、実際には使われない。ＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルに対応していない"nal_unit_type"が“２１”のＮＡＬユニットであるスライスＮＡＬユニット＃Ｃ００、＃Ｃ１０、＃Ｃ２０、＃Ｃ０１、＃Ｃ１１、＃Ｃ２１は復号しない。

以上説明したように実施の形態１によれば、複数の視点からの画像信号を含む多視点画像信号を符号化して生成された多視点画像符号化ビット列と、補助情報として複数の視点からのデプス信号を含む多視点デプス信号を符号化して生成された多視点デプス信号ビット列を同一の符号化ストリームとしてユニット化することにより、多視点画像を効率よく伝送または蓄積することができる。すなわち、符号化する画像信号の視点を大きく削減することができ、符号化効率や再生品質が向上する。

さらに、上記符号化ビット列のデータ構造を、従来の単視点の画像を復号する復号装置で基底視点の画像信号のみを復号したり、従来の多視点の画像を復号する復号装置で多視点画像信号のみを復号したりすることができる構造としたことにより、スケーラブル機能を実現し、従来の単視点の２次元画像を対象としたＡＶＣ／Ｈ．２６４符号化方式や、多視点の画像信号のみを対象としたＭＶＣ方式との互換性を保つことができる。

さらに、多視点画像信号と多視点デプス信号とを同数でそれぞれが１対１に対応している符号化ビット列を生成できるのはもちろんのこと、多視点画像信号とデプス信号の視点の数が異なっており、それぞれが１対１に対応していない符号化ビット列も生成することができる。

（実施の形態２）
次に、実施の形態１に係る画像符号化装置１００、１００ａにより符号化された符号化データを復号する画像復号装置３００について説明する。
図２１は、本発明の実施の形態２に係る画像復号装置３００の構成を示すブロック図である。実施の形態２に係る画像復号装置３００は、分解部３０１、復号管理部３０２、パラメータ情報復号部３２０、画像信号復号部３０７、奥行き情報復号部（より具体的には、デプス信号復号部３０９）および復号画像バッファ３１０を備える。パラメータ情報復号部３２０は、基底視点の画像信号用シーケンス情報復号部３０３、ＭＶＣ拡張情報を含むシーケンス情報復号部３０４、ピクチャ情報復号部３０５および補足付加情報復号部３０６を含む。

分解部３０１は、それぞれ異なる複数の視点からの複数の画像が符号化された画像符号化データと、少なくとも一つ以上の視点からの特定空間の奥行きを示す奥行き情報が符号化された奥行き情報符号化データと、複数の画像および奥行き情報のもとになる複数の視点を特定するための視点情報を含むパラメータ情報が符号化されたパラメータ情報符号化データとを含む符号化ストリームを分解する。この符号化ストリームには、実施の形態１に係る画像符号化装置１００、１００ａにより生成された符号化ストリームが含まれている。なお、この符号化ストリームに含まれる、奥行き情報符号化データの数は、画像符号化データの数より少なく設定されていてもよい。

画像信号復号部３０７は、分解部３０１により分解された画像符号化データを復号して、複数の画像を復元する。上記複数の視点のうち基準とすべき視点が一つ設定される場合、画像信号復号部３０７は、上記複数の画像のうち、基準とすべき視点からの画像が符号化された第１画像符号化データを復号して当該画像を復元し、当該基準とすべき視点からの画像以外の画像が符号化された第２画像符号化データを復号して当該画像を復元する。

上記奥行き情報復号部は、分解部３０１により分解された奥行き情報符号化データを復号して、奥行き情報を復元する。ここで、奥行き情報符号化データは、ある視点からのモノクローム画像で表された奥行き情報が符号化されたデータであってもよい。この場合、上記奥行き情報復号部は、奥行き情報符号化データを復号して、当該モノクローム画像を復元する。

パラメータ情報復号部３２０は、分解部３０１により分解されたパラメータ情報符号化データを復号して、パラメータ情報を復元する。上記複数の視点のうち基準とすべき視点が一つ設定される場合、パラメータ情報復号部３２０は、上記複数の画像のうち、基準とすべき視点からの画像の第１パラメータ情報が符号化された第１パラメータ情報符号化データを復号して、当該第１パラメータ情報を復元する。また、パラメータ情報復号部３２０は、上記複数の画像のうち、当該基準とすべき視点からの画像以外の画像の第２パラメータ情報が符号化された第２パラメータ情報符号化データを復号して、当該第２パラメータ情報を復元する。また、パラメータ情報復号部３２０は、上記奥行き情報の第３パラメータ情報が符号化された第３パラメータ情報符号化データを復号して、当該第３パラメータ情報を復元する。

なお、第３パラメータ情報は、第２パラメータ情報のシンタックス構造に対応するシンタックス構造で記述されてもよい。例えば、第２パラメータ情報および第３パラメータ情報はＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルに準拠して記述されてもよい。また、第２パラメータ情報および第３パラメータ情報には、視点の識別情報が記述されていてもよく、上記画像符号化データとして符号化されていた画像のもとになる視点の位置と、上記奥行き情報符号化データとして符号化されていた奥行き情報のもとになる視点の位置が一致する場合、それらの視点に共通の識別情報が付与されていてもよい。

図２２は、実施の形態２の変形例に係る画像復号装置３００ａの構成を示すブロック図である。実施の形態２の変形例に係る画像復号装置３００ａは、図２１に示す画像復号装置３００に仮想視点画像生成部３３０が追加された構成である。

当該変形例において、仮想視点画像生成部３３０は、画像信号復号部３０７により復号された画像および上記奥行き情報復号部により復号された奥行き情報をもとに、その画像のもとになる視点と異なる、別の視点からの画像を生成する。より具体的には、仮想視点画像生成部３３０は、画像信号復号部３０７により復号された画像、上記奥行き情報復号部により復号された奥行き情報、およびパラメータ情報復号部３２０により復号された、カメラパラメータ等のパラメータ情報をもとに、仮想視点からの画像を生成する。

仮想視点画像生成部３３０は、この仮想視点からの画像の生成を既存のアルゴリズムを用いて実現することができる。この仮想視点は、アプリケーションからの指示により、またはユーザ操作に起因して仮想視点画像生成部３３０に指定される。その他の処理は、図２１に示した実施の形態２の基本例に係る画像復号装置３００の説明と同様のため、その説明を省略する。

以下、実施の形態２に係る画像復号装置３００、３００ａの構成について、より具体的に説明する。分解部３０１は、実施の形態１に係る画像符号化装置１００、１００ａにより生成され符号化ビット列を取得する。符号化ビット列を取得する形態は、ネットワーク伝送された符号化ビット列を受信する形態でもよし、ＤＶＤ等の蓄積メディアに記録された符号化ビット列を読み込む形態でもよいし、ＢＳ／地上波等の放送で放映された符号化ビット列を受信する形態でもよい。

また、分解部３０１は、供給される符号化ビット列をＮＡＬユニット単位に分離する。この際、図示しないパケット分解部は、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等のパケット・ヘッダを除去する。分解部３０１は、分離したＮＡＬユニットのヘッダ部であるＮＡＬユニットヘッダを復号し、復号したＮＡＬユニットヘッダの情報を復号管理部３０２に供給する。これらのＮＡＬユニットヘッダの情報の管理は復号管理部３０２で行われる。

分解部３０１は、ＮＡＬユニットヘッダに含まれるＮＡＬユニットの種類を見分ける識別子である"nal_unit_type"の値が“７”、すなわち当該ＮＡＬユニットが、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列を基底視点の画像信号用シーケンス情報復号部３０３に供給する。

分解部３０１は、"nal_unit_type"の値が“１５”、すなわちＭＶＣ拡張情報を含むシーケンス全体の符号化に係るパラメータ情報が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列をＭＶＣ拡張情報を含むシーケンス情報復号部３０４に供給する。

分解部３０１は、"nal_unit_type"の値が“８”、すなわちピクチャの符号化に係るパラメータ情報等が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列をピクチャ情報復号部３０５に供給する。

分解部３０１は、"nal_unit_type"の値が“６”、すなわち補足付加情報が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列を補足付加情報復号部３０６に供給する。

分解部３０１は、"nal_unit_type"の値が“１”または“５”、すなわち基底視点の画像信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列を画像信号復号部３０７に供給する。

分解部３０１は、"nal_unit_type"の値が“２０”、すなわち非基底視点の画像信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列を画像信号復号部３０７に供給する。

分解部３０１は、"nal_unit_type"の値が“２１”、すなわちデプス信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列をデプス信号復号部３０９に供給する。

なお、"nal_unit_type"の値が“１４”、すなわち後に続くスライスＮＡＬユニットの視点情報等が符号化されているプリフィックスＮＡＬユニットの場合、当該ＮＡＬユニットのＲＢＳＰ部の符号化ビット列は空である。

分解部３０１は、"nal_unit_type"の値が“１４” 、“２０” 、“２１”の場合、ＮＡＬユニットヘッダに含まれる視点情報である"nal_unit_header_svc_mvc_extension"も復号し、復号された視点情報を復号管理部３０２に供給する。ここで復号される視点情報には視点ＩＤ等が含まれる。なお、"nal_unit_type"の値が“１４”のＮＡＬユニットヘッダに含まれる視点情報は、後に続くＮＡＬユニットの視点情報となり、"nal_unit_type"の値が “２０” または“２１” のＮＡＬユニットヘッダに含まれる視点情報は、当該ＮＡＬユニットの視点情報となる。これらの視点情報の管理は復号管理部３０２で行われる。

基底視点の画像信号用シーケンス情報復号部３０３は、分解部３０１から供給される基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のＳＰＳ＃ＡのＲＢＳＰ部に相当する。ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１３に示した"seq_parameter_set_rbsp"である。基底視点の画像信号用シーケンス情報復号部３０３は、図１３に示した"seq_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を得る。基底視点の画像信号用シーケンス情報復号部３０３は、この復号された基底視点の画像信号の、シーケンス情報を復号管理部３０２に供給する。この基底視点の画像信号の、シーケンス情報の管理は復号管理部３０２で行われる。

ＭＶＣ拡張情報を含むシーケンス情報復号部３０４は、分解部３０１から供給されるＭＶＣ拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のＳＰＳ＃Ｂ、ＳＰＳ＃ＣのＲＢＳＰ部に相当する。ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１４にした"subset_seq_parameter_set_rbsp"である。ＭＶＣ拡張情報を含むシーケンス情報復号部３０４は、図１４にした"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、非基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報またはデプス信号のシーケンス全体の符号化に係るパラメータ情報を得る。

非基底視点の画像信号のシーケンス情報か、デプス信号のシーケンス情報かは、"profile_idc"の値を参照することにより判別することができる。"profile_idc"の値が、ＡＶＣ／Ｈ．２６４符号化方式のマルチビュー・ハイ・プロファイルを示す“１１８”の場合、非基底視点の画像信号のシーケンス情報であり、多視点デプス信号も復号できるプロファイルであることを示す “１２０”の場合、デプス信号のシーケンス情報である。"subset_seq_parameter_set_rbsp"にはＭＶＣ拡張情報が含まれており、ＭＶＣ拡張情報を含むシーケンス情報復号部３０４で復号されるシーケンス情報には、ＭＶＣ拡張情報も含まれる。ＭＶＣ拡張情報を含むシーケンス情報復号部３０４は、これらの復号された、非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報を復号管理部３０２に供給する。これらのシーケンス情報の管理は復号管理部３０２で行われる。

ピクチャ情報復号部３０５は、分解部３０１から供給されるピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のＰＰＳ＃Ａ、ＰＰＳ＃Ｂ、ＰＰＳ＃ＣのＲＢＳＰ部に相当する。ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１５に示した"pic_parameter_set_rbsp"である。ピクチャ情報復号部３０５は、図１５に示した"pic_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、基底視点の画像信号、非基底視点の画像信号、またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報を得る。ピクチャ情報復号部３０５は、この復号されたピクチャ情報を復号管理部３０２に供給する。このピクチャ情報の管理は復号管理部３０２で行われる。

補足付加情報復号部３０６は、分解部３０１から供給される補足付加情報が符号化された符号化ビット列を復号し、補足付加情報を出力する。供給される符号化ビット列にカメラパラメータ情報が含まれている場合、復号後の仮想視点の画像信号の生成や表示の際に、このカメラパラメータ情報を用いることができる。

画像信号復号部３０７は、分解部３０１から供給される基底視点の画像信号の、スライスヘッダ、並びにスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のスライス＃Ａ００、＃Ａ０１のＲＢＳＰ部に相当する。ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１７に示した"slice_layer_without_partitioning_rbsp"である。

画像信号復号部３０７は、図１７に示した"slice_layer_without_partitioning_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、画像信号復号部３０７は、"slice_layer_without_partitioning_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。画像信号復号部３０７は、この復号されたスライスに関連する情報を復号管理部３０２に供給する。

ここで上述した通り、"slice_layer_without_partitioning_rbsp"に含まれる"slice_header"には、参照すべきＰＰＳを特定する番号"pic_parameter_set_id"が含まれており、図１１に示したスライス＃Ａ００、＃Ａ０１の"pic_parameter_set_id"には、スライス＃Ａ００、＃Ａ０１が参照すべきＰＰＳ＃Ａの"pic_parameter_set_id"の値が設定されている。また、ＰＰＳ＃Ａの"seq_parameter_set_id"には、ＰＰＳ＃Ａが参照すべきＳＰＳ＃Ａの"seq_parameter_set_id"の値が設定されているため、スライス＃Ａ００、＃Ａ０１が参照すべきシーケンス情報がＳＰＳ＃Ａであることを明確に特定することができる。これらの管理は復号管理部３０２で行われる。

画像信号復号部３０７は、スライス＃Ａ００または＃Ａ０１の"slice_header"から復号されたスライスに関連する情報に加えて、復号管理部３０２から供給されるスライス＃Ａ００、＃Ａ０１が参照すべき、ＳＰＳ＃Ａから復号されたシーケンス情報およびＰＰＳ＃Ａから復号されたピクチャ情報を用いて、"slice_layer_without_partitioning_rbsp"に含まれる"slice_data"を復号し、基底視点の復号画像信号を得る。

この基底視点の復号画像信号は、復号画像バッファ３１０に格納される。基底視点の画像信号の符号化ビット列を復号する際、動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ３１０に格納された基底視点の復号画像信号を参照画像として利用する。なお、基底視点のスライスＮＡＬユニットのＮＡＬユニットヘッダには視点情報が含まれないが、基底視点のスライスＮＡＬユニットの前に符号化されるプリフィックスＮＡＬユニットのＮＡＬユニットヘッダの視点情報を、基底視点のスライスＮＡＬユニットの視点情報とする。

さらに、画像信号復号部３０７は、分解部３０１から供給される非基底視点の画像信号の、スライスヘッダ、並びにスライスの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のスライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１のＲＢＳＰ部に相当する。

ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１８に示した"slice_layer_in_scalable_extension_rbsp"である。画像信号復号部３０７は、図１８に示した"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、画像信号復号部３０７は、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。画像信号復号部３０７は、この復号されたスライスに関連する情報を復号管理部３０２に供給する。

ここで上述した通り、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"には、参照すべきＰＰＳを特定する番号"pic_parameter_set_id"が含まれており、図１１に示したスライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１の"pic_parameter_set_id"には、スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１が参照すべきＰＰＳ＃Ｂの"pic_parameter_set_id"の値が設定されている。

また、ＰＰＳ＃Ｂの"seq_parameter_set_id"には、ＰＰＳ＃Ｂが参照すべきＳＰＳ＃Ｂの"seq_parameter_set_id"の値が設定されているため、スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１が参照すべきシーケンス情報がＳＰＳ＃Ｂであることを明確に特定することができる。これらの管理は復号管理部３０２で行われる。

画像信号復号部３０７は、
（ａ）スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１の"slice_header"から復号されたスライスに関連する情報に加えて、
（ｂ）復号管理部３０２から供給されるスライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１のＮＡＬユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
（ｃ）スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１が参照すべきＳＰＳ＃Ｂから復号されたシーケンス情報、および
（ｄ）スライス＃Ｂ２０、＃Ｂ１０、＃Ｂ４０、＃Ｂ３０、＃Ｂ２１、＃Ｂ１１、＃Ｂ４１、＃Ｂ３１が参照すべきＰＰＳ＃Ｂから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、非基底視点の復号画像信号を得る。

この非基底視点の復号画像信号は、復号画像バッファ３１０に格納される。非基底視点の画像信号の符号化ビット列を復号する際、視点間予測や動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ３１０に格納された基底視点、または非基底視点の画像信号を参照画像として利用する。

デプス信号復号部３０９は、分解部３０１から供給されるデプス信号の、スライスヘッ、並びにスライスの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図１１に示した符号化ビット列のスライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１のＲＢＳＰ部に相当する。

ここで、供給されるＲＢＳＰ部の符号化ビット列は、図１８に示した"slice_layer_in_scalable_extension_rbsp"である。デプス信号復号部３０９は、図１８に示した"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、デプス信号復号部３０９は、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。デプス信号復号部３０９は、この復号されたスライスに関連する情報を復号管理部３０２に供給する。

ここで上述した通り、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"には、参照すべきＰＰＳを特定する番号"pic_parameter_set_id"が含まれており、図１１に示したスライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１の"pic_parameter_set_id"には、スライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１が参照すべきＰＰＳ＃Ｃの"pic_parameter_set_id"の値が設定されている。また、ＰＰＳ＃Ｃの"seq_parameter_set_id"には、ＰＰＳ＃Ｃが参照すべきＳＰＳ＃Ｃの"seq_parameter_set_id"の値が設定されているため、スライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１が参照すべきシーケンス情報がＳＰＳ＃Ｃであることを明確に特定することができる。これらの管理は復号管理部３０２で行われる。

デプス信号復号部３０９は、
（ａ）スライススライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１の"slice_header"から復号されたスライスに関連する情報に加えて、
（ｂ）復号管理部３０２から供給されるスライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１のＮＡＬユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
（ｃ）スライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１が参照すべきＳＰＳ＃Ｃから復号されたシーケンス情報、および
（ｄ）スライス＃Ｃ００、＃Ｃ２０、＃Ｃ４０、＃Ｃ０１、＃Ｃ２１、＃Ｃ４１が参照すべきＰＰＳ＃Ｃから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、復号デプス信号を得る。

この復号デプス信号は復号画像バッファ３１０に格納される。デプス信号の符号化ビット列を復号する際には視点間予測や動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ３１０に格納された復号デプス信号を参照画像として利用する。なお、デプス信号の復号方法はモノクローム・フォーマットの画像信号の場合と同じ方法を利用することができる。

復号管理部３０２は、復号画像バッファ３１０に格納された、復号画像信号および復号デプス信号の出力タイミングを管理し、復号画像バッファ３１０から同一時刻の、各視点の復号画像信号および復号デプス信号を同期して出力する。この際、各視点の復号画像信号および復号デプス信号に、それらの視点を特定する情報である視点ＩＤを関連付けて出力する。

画像復号装置３００、３００ａから出力された各視点の復号画像信号は、表示装置等で表示されてもよい。所望の視点が出力されない場合、画像復号装置３００、３００ａから出力された復号画像信号、復号デプス信号、及びカメラパラメータ等の補足付加情報から、仮想視点の画像信号を生成し、得られた仮想視点の画像信号を表示装置等に表示する。なお、変形例に係る画像復号装置３００ａでは仮想視点画像生成部３３０でその仮想視点の画像信号を生成してもよい。

次に、図２１、２２に示した実施の形態２に係る画像復号装置３００、３００ａによる多視点画像の復号処理手順について説明する。
図２３は、実施の形態２に係る画像復号装置３００、３００ａによる多視点画像の復号処理手順を示すフローチャートである。図２３のフローチャートにおいて、分解部３０１は、取得した符号化ビット列をＮＡＬユニット単位に分離し、ＮＡＬユニットヘッダを復号する（Ｓ３０１）。このステップＳ３０１において、ネットワークを介して符号化ビット列を受信し、ＮＡＬユニット単位に分離する処理手順について、より具体的に説明する。

図２４は、ネットワークを介して符号化ビット列を受信し、ＮＡＬユニット単位に分離する処理手順について示すフローチャートである。図２４のフローチャートにおいて、図示しない受信部は、ネットワークを介して符号化ビット列を受信する（Ｓ４０１）。続いて、図示しないパケット分解部は、その受信された符号化ビット列に用いられたＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいて付加されたパケット・ヘッダを除去し、上記符号化ビット列を得る（Ｓ４０２）。続いて、分解部３０１は、その符号化ビット列をＮＡＬユニット単位で分離する（Ｓ４０２）。続いて、分解部３０１は、ＮＡＬユニットヘッダを復号する（Ｓ４０３）。

なお、分解部３０１は、"nal_unit_type"の値が“１４” 、“２０”または“２１”の場合、ＮＡＬユニットヘッダに含まれる視点情報である"nal_unit_header_svc_mvc_extension"も復号する。ここで復号される視点情報には視点ＩＤ等が含まれる。なお、"nal_unit_type"の値が“１４”のＮＡＬユニットヘッダに含まれる視点情報は、後に続くＮＡＬユニットの視点情報となり、"nal_unit_type"の値が “２０” または“２１” のＮＡＬユニットヘッダに含まれる視点情報は、当該ＮＡＬユニットの視点情報となる。

図２３のフローチャートに戻る。分解部３０１は、ステップＳ３０１の処理により分離されたＮＡＬユニットのヘッダ部であＮＡＬユニットヘッダに含まれる、ＮＡＬユニットの種類を見分ける識別子である"nal_unit_type"を評価する（Ｓ３０２）。
（ａ）"nal_unit_type"が“７”、すなわち当該ＮＡＬユニットが基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合（Ｓ３０２の７）、ステップＳ３０３に進む。
（ｂ）"nal_unit_type"が“１５”、すなわちＭＶＣ拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列の場合（Ｓ３０２の１５）、ステップＳ３０４に進む。
（ｃ）"nal_unit_type"が“８”、すなわち当該ＮＡＬユニットが基底視点の画像信号、非基底視点の画像信号、またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合（Ｓ３０２の８）、ステップＳ３０５に進む。
（ｄ）"nal_unit_type"が“６”、すなわち当該ＮＡＬユニットが補足付加情報が符号化された符号化ビット列の場合（Ｓ３０２の６）、ステップＳ３０６に進む。
（ｅ）"nal_unit_type"が“１４”、すなわち当該ＮＡＬユニットがプリフィックスＮＡＬユニットの場合（Ｓ３０２の１４）、ステップＳ３０７に進む。
（ｆ）"nal_unit_type"が“１”または“５”、すなわち当該ＮＡＬユニットが基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合（Ｓ３０２の１または５）、ステップＳ３０８に進む。
（ｇ）"nal_unit_type"が“２０”、すなわち当該ＮＡＬユニットが非基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合（Ｓ３０２の２０）、ステップＳ３０９に進む。
（ｈ）"nal_unit_type"が“２１”、すなわち当該ＮＡＬユニットがスライス単位のデプス信号が符号化された符号化ビット列の場合（Ｓ３０２の２１）、ステップＳ３１０に進む。
（ｉ）"nal_unit_type"がその他の値をとる場合（Ｓ３０２のその他）もあるが、本明細書では説明を省略する。

基底視点の画像信号用シーケンス情報復号部３０３は、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号し、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を得る（Ｓ３０３）。

ＭＶＣ拡張情報を含むシーケンス情報復号部３０４は、ＭＶＣ拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列を復号し、非基底視点の画像信号またはデプス信号の、シーケンス全体の符号化に係るパラメータ情報を得る（Ｓ３０４）。

ピクチャ情報復号部３０５は、ピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号し、基底視点の画像信号、非基底視点の画像信号またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報を得る（Ｓ３０５）。

補足付加情報復号部３０６は、補足付加情報が符号化された符号化ビット列を復号し、補足付加情報を得る（Ｓ３０６）。

分解部３０１は、プリフィックスＮＡＬユニットのＲＢＳＰを復号する（Ｓ３０７）。ただし、ＭＶＣ方式ではプリフィックスＮＡＬユニットのＲＢＳＰは空であるため、事実上復号処理は行われない。

画像信号復号部３０７は、基底視点の画像信号のスライスヘッダ、並びに基底視点の画像信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、基底視点のスライス単位の画像信号を得る（Ｓ３０８）。

画像信号復号部３０７は、非基底視点の画像信号のスライスヘッダ、並びに非基底視点の画像信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、非基底視点のスライス単位の画像信号を得る（Ｓ３０９）。

デプス信号復号部３０９は、デプス信号のスライスヘッダ、並びにデプス信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、スライス単位のデプス信号を得る（Ｓ３１０）。

復号管理部３０２は、復号された、画像信号およびデプス信号を出力するタイミングか否かを判断する（Ｓ３１１）。出力するタイミングでない場合（Ｓ３１１のＮ）、ステップＳ３１３に進み、出力するタイミングである場合（Ｓ３１１のＹ）、復号された、画像信号およびデプス信号を出力し（Ｓ３１２）、ステップＳ３１３に進む。この際、各視点の復号画像信号および復号デプス信号と、それらの視点を特定する情報である視点ＩＤとを関連付けて出力する。

すべてのＮＡＬユニットの復号処理が完了したかどうかを判定する（Ｓ３１３）。すべてのＮＡＬユニットの符号化処理が完了した場合（Ｓ３１３のＹ）、本復号処理を終了し、完了していない場合（Ｓ３１３のＮ）、ステップＳ３０１からステップＳ３１３の処理を繰り返す。

なお、実施の形態２に係る画像復号装置３００、３００ａは、単視点の画像信号が既存のＡＶＣ／Ｈ．２６４方式で符号化された符号化ビット列を復号し、単視点の画像信号を得ることもできる。さらに、実施の形態２に係る画像復号装置３００、３００ａは、デプス信号を含まない多視点の画像信号が既存のＭＶＣ方式で符号化された符号化ビット列を復号し、多視点の画像信号を得ることもできる。

以上の説明においては、図１０に示したような多視点画像とデプスマップの視点の数が異なっており、それぞれが１対１に対応していない場合について説明したが、もちろん多視点画像信号と多視点デプス信号が同数で、それぞれが１対１に対応していても符号化または復号することができる。

以上説明したように実施の形態２によれば、多視点画像の復号において、複数の視点からの画像信号を含む多視点画像信号とともに、補助情報として複数の視点からのデプス信号を含む多視点デプス信号が符号化された符号化ビット列を復号して、多視点画像信号と多視点デプス信号を得ることができる。その際、当該符号化ビット列を効率よく受信または読み出すことができる。

また、実施の形態２に係る画像復号装置３００、３００ａは、従来の単視点の画像信号のみが符号化された符号化ビット列を復号し、単視点の画像信号を得ることができる。さらに、実施の形態２に係る画像復号装置３００、３００ａは、補助情報としての多視点デプス信号を含まない、複数の視点の画像信号を含む多視点画像信号のみが符号化された符号化ビット列を復号して多視点画像信号を得ることもでき、上位互換性が保たれる。

さらに、多視点画像信号と多視点デプス信号が同数でそれぞれが１対１に対応した符号化ビット列を復号できるのはもちろんのこと、多視点画像信号とデプス信号の視点の数が異なっており、それぞれが1対１に対応していない符号化ビット列を復号することもできる。

（実施の形態３）
次に、本発明の実施の形態３に係る画像符号化装置について説明する。実施の形態３に係る画像符号化装置は、符号化する必要のある画像信号およびデプス信号の視点をコンテンツやシーンの内容に応じて判定し、その判定に応じて必要な視点の、画像信号およびデプス信号のみを符号化する点が実施の形態１に係る画像符号化装置と異なる。それ以外については、実施の形態１に係る画像符号化装置と同様であるため、その説明を省略する。

図２５は、実施の形態３に係る画像符号化装置４００の構成を示すブロック図である。図２５において、図２と同じ構成ブロックには同じ符号を付している。実施の形態３に係る画像符号化装置４００は、実施の形態１に係る画像符号化装置１００の構成に、判定部１２０、切替部１２１、１２２が追加された構成である。

判定部１２０は、ある視点からの奥行き情報を符号化対象とするか否かを判定する。この場合、ユニット化部１０９は、画像信号符号化部１０７により生成された画像符号化データ、および判定部１２０により符号化対象とすると判定された奥行き情報をデプス信号符号化部１０８により符号化した奥行き情報符号化データを含む符号化ストリームを生成する。

また、判定部１２０は、ある視点からの画像を符号化対象とするか否かを判定する。この場合、ユニット化部１０９は、判定部１２０により符号化対象とすると判定された画像を画像信号符号化部１０７により符号化した画像符号化データ、およびデプス信号符号化部１０８により生成された奥行き情報符号化データを含む符号化ストリームを生成する。なお、判定部１２０はその両方の判定を行うこともできる。その場合、ユニット化部１０９は、判定部１２０により符号化対象とすると判定された画像を画像信号符号化部１０７により符号化した画像符号化データ、および判定部１２０により符号化対象とすると判定された奥行き情報をデプス信号符号化部１０８により符号化した奥行き情報符号化データを含む符号化ストリームを生成する。

以下、判定部１２０の処理をより具体的に説明する。判定部１２０には、符号化管理情報、カメラパラメータ情報、各視点の画像信号、および各視点のデプス信号が供給される。判定部１２０はこれらをもとに、符号化すべき画像信号の視点およびデプス信号の視点を決定する。判定部１２０は、符号化しないと判定した、画像信号の視点およびデプス信号の視点に関する情報を省略した、新たな符号化管理情報を作成し、符号化管理部１０１に供給する。なお、図２５の符号化管理部１０１に供給される符号化管理情報は、図１の符号化管理部１０１に供給される符号化管理情報と同様の情報である。

以下、判定部１２０における判定方法の具体例を説明する。
判定例１として、判定部１２０は、判定対象の奥行き情報のもとになる視点と、既に符号化対象に決定されている別の奥行き情報のもとになる視点との距離が所定の第１基準距離より短いとき、判定対象の奥行き情報を符号化対象としないと判定し、当該第１基準距離より長いとき、判定対象の奥行き情報を符号化対象とすると判定する。当該第１基準距離は、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。

判定部１２０は、供給されるカメラパラメータ情報に含まれるカメラの外部パラメータ情報から、各画像信号の視点および各デプス信号の視点の位置を特定することができる。当該外部パラメータには各視点のカメラの配置情報が含まれ、この配置情報には３次元空間上の位置（ｘ、ｙ、ｚ座標）または３軸（x、ｙ、z軸）上の回転角度（ロール、ピッチ、ヨー）が含まれている。判定部１２０は、供給される、同時刻の複数のデプス信号の視点間の間隔が十分に密である場合、いずれかのデプス信号を符号化対象から外す。このように、判定部１２０は一部の視点からのデプス信号の符号化を省略しても復号側で所望の視点の画像信号の生成が容易にできると判断した場合、所望の視点の画像信号の生成に必要のない視点のデプス信号を省略し、その生成に必要な視点のデプス信号を符号化対象として採用する。この判定例１は、図６、７を参照しながら説明した知見にもとづく。

判定例２として、判定部１２０は、同一画像内の第１被写体と第２被写体との距離が所定の第２基準距離より短いとき、複数のデプス信号のうち一部のデプス信号を省略する。当該第２基準距離も、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。その際、判定部１２０は、第１被写体と第２被写体との距離が短いほど、符号化対象と判定すべき奥行き情報の数を減らしてもよい。

判定部１２０は、供給されるデプス信号から、重なり合う被写体同士の奥行きの差を算出することができる。この被写体同士の奥行きの差として、デプス信号のエッジ（例えば、濃度が急峻に変化する点）を抽出し、エッジ部分の境界を挟んだ画素値の差を用いることができる。判定部１２０は、重なりあう被写体同士の奥行きの差が十分小さく、一部の視点の符号化を省略しても復号側で所望の視点の画像信号を容易に生成できると判断した場合、所望の視点の画像信号の生成に必要のない視点のデプス信号を省略し、その生成に必要な視点のデプス信号を符号化対象として採用する。この判定例２は、図８、９を参照しながら説明した知見にもとづく。

上記判定例１、２において、復号側で所望の視点の画像信号の生成が前提となるアプリケーションの場合、デプス信号の視点と同様に画像信号の視点も省略することもできる。

判定例３として、判定部１２０は、判定対象の画像を用いずに別の画像および奥行き情報から判定対象の画像を予測生成した場合にて、その生成された画像の品質が所定の基準値より高い場合、判定対象の画像を符号化対象としないと判定する。当該基準値も、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。

判定部１２０は、供給される画像信号の、一部の視点の画像信号を省略し、残された視点の画像信号とデプス信号から省略した視点の画像信号を予測生成する。判定部１２０は、省略した視点の原画像信号と、その視点の予測生成した画像信号との間の歪み量を各画素毎に二乗誤差等の指標を用いて評価する。判定部１２０は、歪み量が所定の基準値より少ない視点の画像信号を、仮想視点の生成への寄与度が小さい信号であると判断し、当該視点の画像信号を省略する。なお、ここでは画像信号を省略するための処理について説明したが、同様の処理によりデプス信号を省略することもできる。

切替部１２１は、判定部１２０の判定結果に応じて、符号化対象とする視点の画像信号のみを画像信号符号化部１０７に供給する。この画像信号符号化部１０７に供給される画像信号は、図１の画像信号符号化部１０７に供給される画像信号と同様の信号である。同様に、切替部１２２は、判定部１２０の判定結果に応じて、符号化対象とする視点のデプス信号のみをデプス信号符号化部１０８に供給する。このデプス信号符号化部１０８に供給される画像信号は、図１のデプス信号符号化部１０８に供給されるデプス信号と同様の信号である。

次に、実施の形態３に係る画像符号化装置４００による多視点画像の符号化処理手順について説明する。
図２６は、実施の形態３に係る画像符号化装置４００による多視点画像の符号化処理手順を示すフローチャートである。上述したように、実施の形態３に係る画像符号化装置４００は、符号化する必要のある、画像信号およびデプス信号の視点を、コンテンツやシーンの内容に応じて判定する。図２６に示す実施の形態３に係る画像符号化処理手順は、符号化する必要のある、画像信号およびデプス信号の視点が変化した際、改めてシーケンスを開始する点が、図１９に示した実施の形態１に係る画像符号化処理手順と異なる。図２６において、図１９と同じステップには同じ符号を付し、図１９と異なる点のみを説明する。

図２６のフローチャートにおいて、判定部１２０は、符号化すべき画像信号の視点およびデプス信号の視点を評価して、その視点の信号を採用するか否か判定する（Ｓ５０１）。採用される信号のみがステップＳ５０２以降の処理に進む。

続いて、符号化管理部１０１は、ステップＳ５０１の処理により採用された、画像信号およびデプス信号の視点が変化したか否かを判断（Ｓ５０２）する。変化した場合（Ｓ５０２のＹ）および一番最初の場合、ステップＳ５０１に進み、変化していない場合（Ｓ５０２のＮ）、ステップＳ１１３に進む。

ステップＳ１０１以降、図１９の実施の形態１に係る画像符号化処理手順と同様に、画像信号およびデプス信号が符号化される。ただし、ステップＳ１２４の処理において、すべての画像信号およびデプス信号の符号化処理が完了していないと判定された場合（Ｓ１２４のＮ）、ステップＳ５０１からステップＳ１２４の符号化処理を繰り返す。

実施の形態１から３に係る画像符号化処理および画像復号処理は、その処理を実行可能なハードウェアを搭載した送信装置、蓄積装置、および受信装置により実現可能なことはもちろんのこと、ＲＯＭやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムを、コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線もしくは無線のネットワークを通してサーバから提供することも、地上波もしくは衛星デジタル放送のデータ放送として提供することも可能である。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態１に係る画像符号化装置の構成を示すブロック図である。 ＭＶＣ方式で５視点からなる多視点画像を符号化する際の、画像間の参照依存関係の一例を示す図である。 実施の形態１の変形例に係る画像符号化装置の構成を示すブロック図である。 第２視点および第３視点から第１対象物および第２対象物が存在するシーンを撮影し、仮想視点である第１視点の画像を生成する例を示す図である。 図４の例において、撮影される画像、それに対応するデプスマップ、および生成される画像を示す図である。 第５視点および第６視点から第３対象物および第４対象物が存在するシーンを撮影し、仮想視点である第４視点の画像を生成する例を示す図である。 図６の例において、撮影される画像、それに対応するデプスマップ、および生成される画像を示す図である。 第８視点から第５対象物または第６対象物のいずれか一方と、第７対象物が存在する２つのシーンを撮影し、仮想視点である第７視点の画像を生成する例を示す図である。 図９は、図８の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。 符号化すべき、５視点（視点０、視点１、視点２、視点３および視点４）からの画像を含む多視点画像、および３視点（視点０、視点２および視点４）からのデプスＤＳを含む多視点デプスマップを示す図である。 実施の形態１に係る画像符号化装置で生成される符号化ストリームをＮＡＬユニット単位で表現した例を示す図である。 ＡＶＣ／Ｈ．２６４符号化方式で規定されているＮＡＬユニットの種類を示す図である。 ＳＰＳのＮＡＬユニットの構成を示す図である。 サブセットＳＰＳのＮＡＬユニットの構成を示す図である。 ＰＰＳのＮＡＬユニットの構成を示す図である。 プリフィックスＮＡＬユニットの構成を示す図である。 "nal_unit_type"の値が“１”または“５”のスライスＮＡＬユニットの構成を示す図である。 "nal_unit_type"の値が“２０”のスライスＮＡＬユニットの構成を示す図である。 実施の形態１に係る画像符号化装置による多視点画像の符号化処理手順を示すフローチャートである。 実施の形態１に係る画像符号化装置により生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順を示すフローチャートである。 本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。 実施の形態２の変形例に係る画像復号装置の構成を示すブロック図である。 実施の形態２に係る画像復号装置による多視点画像の復号処理手順を示すフローチャートである。 ネットワークを介して符号化ビット列を受信し、ＮＡＬユニット単位に分離する処理手順について示すフローチャートである。 実施の形態３に係る画像符号化装置の構成を示すブロック図である。 実施の形態３に係る画像符号化装置による多視点画像の符号化処理手順を示すフローチャートである。

符号の説明

１００ 画像符号化装置、 １０１ 符号化管理部、 １０２ 画像信号用シーケンス情報符号化部、 １０３ デプス信号用シーケンス情報符号化部、 １０４ 画像信号用ピクチャ情報符号化部、 １０５ デプス信号用ピクチャ情報符号化部、 １０６ カメラパラメータ情報符号化部、 １０７ 画像信号符号化部、 １０８ デプス信号符号化部、 １０９ ユニット化部、 １１０ パラメータ情報符号化部、 １１１ デプス信号生成部、 １２０ 判定部、 １２１，１２２ 切替部、 ３００，３０１ 分解部、 ３０２ 復号管理部、 ３０３ 基底視点の画像信号用シーケンス情報復号部、 ３０４ ＭＶＣ拡張情報を含むシーケンス情報復号部、 ３０５ ピクチャ情報復号部、 ３０６ 補足付加情報復号部、 ３０７ 画像信号復号部、 ３０９ デプス信号復号部、 ３１０ 復号画像バッファ、 ３２０ パラメータ情報復号部、 ３３０ 仮想視点画像生成部。

Claims (6)

1. それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第１符号化部と、
   前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成部と、
   前記奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第２符号化部と、
   前記第１符号化部および前記第２符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成部と、
   を備えることを特徴とする画像符号化装置。
2. 前記第１符号化部は、それぞれ異なる複数の視点からの複数の画像のうち、基準とすべき視点からの画像をフレーム内予測符号化し、それ以外の画像を前記複数の画像間でフレーム間予測符号化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記奥行き情報生成部は、前記奥行き情報を、ある視点からの所定画素単位の奥行き情報として生成し、
   前記第２符号化部は、当該所定画素単位の奥行き情報を符号化することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記第２符号化部は、それぞれ異なる複数の視点からの、複数の所定画素単位の奥行き情報のうち、基準とすべき視点からの所定画素単位の奥行き情報をフレーム内予測符号化し、それ以外の所定画素単位の奥行き情報を前記複数の所定画素単位の奥行き情報間でフレーム間予測符号化することを特徴とする請求項３に記載の画像符号化装置。
5. それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第１符号化ステップと、
   前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成ステップと、
   前記奥行き情報生成ステップにより生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第２符号化ステップと、
   前記第１符号化ステップおよび前記第２符号化ステップによりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成ステップと、
   を備えることを特徴とする画像符号化方法。
6. それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第１符号化処理と、
   前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成処理と、
   前記奥行き情報生成処理により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第２符号化処理と、
   前記第１符号化処理により生成された画像符号化データ、および前記第２符号化処理により生成された奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成処理と、
   をコンピュータに実行させることを特徴とする画像符号化プログラム。