JP2009159465A - 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム - Google Patents

Abstract

【課題】符号化側で視点依存情報の一部を省略して符号化することにより、視点依存情報の符号量を削減する。
【解決手段】符号化順序情報符号化部２０３は、視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素を視点方向での符号化／復号順序で符号化する。参照視点数情報符号化部２０４は、視点間予測の参照として利用できる視点の数を示すシンタックス要素を符号化する。ただし、インデックスiが「１」以上のシンタックス要素を符号化する。参照視点情報符号化部２０５では視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素を符号化する。ただし、インデックスiが「０」または「１シンタックス要素を符号化することはなく、インデックスiが「２」以上の前記シンタックス要素を符号化する。
【選択図】図２

Description

本発明は多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムに係り、特に異なる視点から撮影された多視点画像を符号化して多視点画像符号化データを生成する多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムに関する。

＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置、システムが、普及している。

１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、光ディスクであるＤＶＤ（Digital Versatile Disk）や、Ｄ−ＶＨＳ（登録商標）規格のディジタルＶＴＲによる磁気テープなどの蓄積メディアや、ディジタル放送等のアプリケーションとして広く用いられている。

また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。

更に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）が共同でＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）を組織し、共同作業によって２００３年に、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。

ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＰピクチャ（順方向予測符号化画像）では、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行っていた。これに対して、ＡＶＣ／Ｈ.２６４符号化方式では、Ｐピクチャ及びＢピクチャは複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＢピクチャは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、もしくはその２枚の参照ピクチャを同時に参照し、２つのピクチャの平均値を予測ピクチャとし、対象ピクチャと予測ピクチャの差分データを符号化していた。

一方、ＡＶＣ／Ｈ.２６４符号化方式では、Ｂピクチャは表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照可能となった。さらに、Ｂピクチャを参照ピクチャとして参照することも可能となっている。ＰピクチャやＢピクチャの時間方向のインター予測（動き補償予測）において、複数の参照ピクチャの候補から実際にどの参照ピクチャを参照しているかを指定するために参照ピクチャリストが定義されている。参照ピクチャは参照ピクチャリストに登録され、その特定はインデックスにより指定する。このインデックスは参照インデックスと呼ばれる。また、参照ピクチャリストは参照ピクチャリスト０と参照ピクチャリスト１が定義されており、Ｐスライスは参照ピクチャリスト０に登録されている参照ピクチャのみを参照してインター予測を行うことが可能であり、Ｂスライスは参照ピクチャリスト０、参照ピクチャリスト１の両方のリストに登録されている参照ピクチャを参照してインター予測を行うことが可能である。参照ピクチャリスト０に登録されている参照ピクチャを参照する予測を、リスト０予測、参照ピクチャリスト１に登録されている参照ピクチャを参照する予測を、リスト１予測と呼んで区別している。

更に、ＭＰＥＧ−２ビデオではピクチャ、ＭＰＥＧ−４ではビデオ・オブジェクト・プレーン（ＶＯＰ）を１つの単位として、ピクチャ（ＶＯＰ）毎の符号化モードが決められていたが、ＡＶＣ／Ｈ.２６４符号化方式では、スライスを符号化の単位としており、１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライス等異なるスライスを混在させる構成にすることも可能となっている。

更に、ＡＶＣ／Ｈ.２６４符号化方式ではビデオの画素信号（符号化モード、動きベクトル、ＤＣＴ係数等）の符号化／復号処理を行うＶＣＬ（Video Coding Layer;ビデオ符号化層）と、ＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）が定義されている。

ＡＶＣ／Ｈ.２６４符号化方式で符号化された符号化ビット列はＮＡＬの一区切りであるＮＡＬユニットを単位として構成される。ＮＡＬユニットはＶＣＬで符号化されたデータ（符号化モード、動きベクトル、ＤＣＴ係数等）を含むＶＣＬ ＮＡＬユニットと、ＶＣＬで生成されたデータを含まないｎｏｎ−ＶＣＬ ＮＡＬユニットがある。ｎｏｎ−ＶＣＬ ＮＡＬユニットにはシーケンス全体の符号化に係るパラメータ情報が含まれているＳＰＳ（シーケンス・パラメータ・セット）や、ピクチャの符号化に係るパラメータ情報が含まれているＰＰＳ（ピクチャ・パラメータ・セット）、ＶＣＬで符号化されたデータの復号に必須ではないＳＥＩ（補足付加情報）等がある。

それぞれのＮＡＬユニットのヘッダ部（先頭部）には常に「０」の値を持つフラグ（forbidden_zero_bit）、ＳＰＳ、またはＰＰＳ、または参照ピクチャとなるスライスが含まれているかどうかを見分ける識別子（nal_ref_idc）、ＮＡＬユニットの種類を見分ける識別子（nal_unit_type）が含まれる。nal_unit_typeは、ＶＣＬ ＮＡＬユニットの場合、「１」から”５”のいずれかの値を持つように規定されており、ｎｏｎ−ＶＣＬ ＮＡＬユニットの場合、例えばＳＥＩが”６”、ＳＰＳが”７”、ＰＰＳが”８”の値を持つように規定されている。復号側ではＮＡＬユニットの種類はＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子である「nal_unit_type」で識別することができる。

また、ＡＶＣ／Ｈ.２６４符号化方式における符号化の基本の単位はピクチャを分割したスライスであり、ＶＣＬ ＮＡＬユニットはスライス単位となっている。そこで、いくつかのＮＡＬユニットを纏めたアクセス・ユニットと呼ばれる単位が定義されており、１アクセス・ユニットに１つの符号化されたピクチャが含まれている。

＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、及び右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されている。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。

そこで、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている（例えば、特許文献１参照）。この特許文献１に記載された立体テレビジョン画像伝送方式では、小領域毎に他方の画像での相関の高い相対位置を求め、その位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １３８１８−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。

また、３台以上のカメラで撮影された多視点画像に対して動き補償予測、視差補償予測を用いて情報量を抑える手法が提案されている（例えば、特許文献２参照）。この特許文献２に記載された画像高能率符号化方式は複数の視点の参照ピクチャとのパターンマッチングを行い、誤差が最小となる動き補償／視差補償予測画像を選択することにより、符号化効率を向上させている。

また、ＪＶＴではＡＶＣ／Ｈ.２６４符号化方式を多視点画像に拡張した多視点画像符号化（ＭＶＣ：Multiview Video Coding（以下、ＭＶＣ方式と呼ぶ））の標準化作業が進んでおり、現時点では規格の草案であるＪＤ４.０（Joint Draft 4.0）を最新版として発行している（例えば、非特許文献１参照）。上記のＭＰＥＧ−２ビデオ・マルチビュープロファイルと同様に、このＭＶＣ方式でも視点間の予測を取り入れることで、符号化効率を向上させている。

ここで、ＭＶＣ方式で多視点画像の各視点の画像を符号化、及び符号化された符号化ビット列を復号する際の視点間、及び視点画像を構成する符号化対象画像間の参照依存関係について８視点の場合を例にとって説明する。

図１０は、８視点からなる多視点画像を符号化する際の画像間の参照依存関係の一例を示す図であり、縦軸は視点での空間の次元の方向（本明細書では視点での空間の次元の方向を視点方向とする）を示しており、横軸は撮影（表示）順序での時間の次元の方向（本明細書では時間の次元の方向を時間方向とする）を示している。Ｐ（ｖ，ｔ）（視点ｖ＝０，１，２，・・・；時間ｔ＝０，１，２，・・・）は時間ｔにおける視点ｖの画像である。

また、矢印の終点で指し示す画像が符号化／復号する画像で、その符号化／復号する画像を符号化／復号する際に時間方向のインター予測（動き補償予測）や視点間予測（視差補償予測）で参照する参照ピクチャは矢印の始点で指し示す画像である。更に、符号化／復号する画像を符号化／復号する際に時間方向のインター予測で参照する参照ピクチャは横方向の矢印の始点で指し示す画像であり、視点間予測で参照する参照ピクチャは縦方向の矢印の始点で指し示す画像である。

ここで、時間方向のインター予測（動き補償予測）は他の時間の画像を参照する予測のことであり、視点間予測（視差補償予測）は他の視点の画像を参照する予測のことである。また、時間方向のインター予測の参照として用いることのできるのは時間方向での符号化／復号順で先行する画像のみとし、視点間予測の参照として用いることのできるのは視点方向での符号化／復号順序（視点空間の次元での符号化復号／順序）で先行する画像のみとする。

ここで、視点方向での視点の符号化／復号順序は視点０、視点２、視点１、視点４、視点３、視点６、視点５、視点７の順とした場合、視点０の画像Ｐ（０，ｔ）は、すべて他の視点の画像を参照せず、時間方向のインター予測（動き補償予測）を用いて通常のＡＶＣ／Ｈ.２６４と同様に符号化／復号する。また、視点０以外の視点（視点１〜７）では他の視点の復号画像から予測する視点間予測（視差補償予測）を用いている。例えば、視点２の画像Ｐ（２，０）は他の視点である視点０の画像Ｐ（０，０）の復号画像を参照ピクチャとし、視点間予測を用いて、符号化／復号する。

また、視点１の画像Ｐ（１，０）は他の視点である視点０の画像Ｐ（０，０）と視点２の画像Ｐ（２，０）の各復号画像を参照ピクチャとし、視点間予測を用いて、符号化／復号する。同じ時間であるｔが０の各視点の画像を前記視点方向での視点の符号化／復号順序でＰ（０，０），Ｐ（２，０），Ｐ（１，０），Ｐ（４，０），Ｐ（３，０），Ｐ（６，０），Ｐ（５，０），Ｐ（７，０）の順で符号化／復号した後、ｔが４の各視点の画像を同じく前記視点方向での視点の符号化／復号順序でＰ（０，４），Ｐ（２，４），Ｐ（１，４），Ｐ（４，４），Ｐ（３，４），Ｐ（６，４），Ｐ（５，４），Ｐ（７，４）の順で符号化する。その後、ｔが２の各視点の画像の符号化／復号に続く。

視点間の予測を取り入れるに際しては、ＡＶＣ／Ｈ．２６４方式で既に定義されている参照ピクチャリストに、時間方向のインター予測（動き補償予測）に用いる参照ピクチャに加えて視点間予測に用いる参照ピクチャも登録できるように拡張することで対応している。

更に、ＭＶＣ方式は、符号化される多視点画像の視点数や、視点間方向での符号化／復号順序、視点間予測によってもたらされる各視点間の参照依存関係をシーケンス全体として符号化する仕組みを持っており、シーケンス情報のパラメータセットであるＳＰＳ（シーケンス・パラメータ・セット）を拡張することにより符号化を行う。また、ＭＶＣ方式のＪＤ４.０で定義されているＳＰＳのＭＶＣ拡張部分のシンタックス構造に対して符号量を削減するために改良を加えたものが提案されている（非特許文献2参照）。このＳＰＳのＭＶＣ拡張部分のシンタックス構造を図２２を用いて説明する。

図２２において、「num_views_minus1」は符号化ビット列に符号化される視点の数を符号化するためのパラメータであり、視点数から「１」を引いた値である。続いて、「view_id[i]」が各視点毎に視点方向での符号化／復号順序で連続して繰り返し符号化される構造となっている。「view_id[i]」は視点方向での符号化／復号順序をインデックスｉで示したときの視点の視点ＩＤを示す。すなわち、「view_id[i]」は視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示す。ここで、本明細書の説明においては、配列のインデックス（添え字）は０から始まるものとする。例えば、配列「view_id[i]」の先頭は「view_id[0]」、その次は「view_id[1]」となる。また、順序を表す際にも最初を０番目、その次を１番目とする。つまり、視点方向で最初に符号化／復号する視点は０番目、その次に符号化／復号する視点は１番目とする。

続くシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」は視点間の参照依存関係を示す視点依存情報である。

「num_anchor_refs_l0[i]」は視点方向での符号化／復号順序でｉ番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数である。「num_anchor_refs_l0[i]」は各視点毎に存在する。

ここで、アンカーピクチャは復号時に異なる表示時刻の画像を参照ピクチャとして参照せずに復号することのできる画像である。アンカーピクチャの復号時に参照ピクチャとして用いることができるのは同時刻の他の視点のアンカーピクチャだけである。従って、アンカーピクチャは時間方向のインター予測を用いることはできない。例えば、図１０に示す参照依存関係で符号化する場合は、Ｐ（０，０）、Ｐ（１，０）、Ｐ（２，０）、Ｐ（０，４）、Ｐ（１，４）、Ｐ（２，４）などがアンカーピクチャである。

ここで、視点方向での符号化／復号順序が０番目の視点（最初に符号化／復号される視点）は常に視点間予測を用いずに、つまり他の視点を参照せずに符号化する。ここで、各視点において、視点間予測を用いずに、つまり他の視点を参照せずに符号化する際には参照できる視点の数を０で表す。従って、視点方向での符号化／復号順序が０番目の視点においては、視点間予測の参照として利用する視点の数は常に「０」となるので、「num_anchor_refs_l0[0]」が省略されている。従って、視点方向での符号化／復号順序で１番目の視点（次に符号化／復号される視点）、すなわち、インデックスiが「１」の「num_anchor_refs_l0[i]」から符号化される。

また、図２２の「anchor_ref_l0[i][j]」は視点方向での符号化／復号順序でｉ番目の視点のアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。「anchor_ref_l0[i][j]」は各視点について「num_anchor_refs_l0[i]」と同じ数存在する。

「num_anchor_refs_l1[i]」は視点方向での符号化／復号順序でｉ番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数である。「num_anchor_refs_l1[i]」は各視点毎に存在する。ここで、前記と同様の理由により、視点方向での符号化／復号順序が0番目の視点においては、視点間予測で参照できる視点の数は常に0となるので、「num_anchor_refs_l1[0]」が省略されている。従って、視点方向での符号化／復号順序で１番目の視点（次に符号化／復号される視点）、すなわち、インデックスiが１の「num_anchor_refs_l1[i]」から符号化される。「anchor_ref_l1[i][j]」は視点方向での符号化／復号順序でｉ番目の視点のアンカーピクチャ用の参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。「anchor_ref_l1[i][j]」は各視点について「num_anchor_refs_l1[i]」と同じ数存在する。

また、「num_non_anchor_refs_l0[i]」は視点方向での符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数である。「num_non_anchor_refs_l0[i]」は各視点毎に存在する。

ここで、ノンアンカーピクチャはアンカーピクチャを除く画像である。ノンアンカーピクチャの復号時に異なる表示時刻の画像を参照ピクチャとして参照することができる。つまり、時間方向のインター予測を用いることも可能である。例えば、図１０では、Ｐ（０，１）、Ｐ（１，１）、Ｐ（２，１）、Ｐ（０，２）、Ｐ（１，２）、Ｐ（２，２）などがノンアンカーピクチャである。ここで、前記と同様の理由により、視点方向での符号化／復号順序が０番目の視点においては、視点間予測で参照できる視点の数は常に「０」となるので、num_non_anchor_refs_l0[0]が省略されている。従って、視点方向での符号化／復号順序で１番目の視点（次に符号化／復号される視点）、すなわちインデックスiが「１」の「num_non_anchor_refs_l0[i]」から符号化される。

また、図２２の「non_anchor_ref_l0[i][j]」は視点方向での符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。「non_anchor_ref_l0[i][j]」は各視点について「num_non_anchor_refs_l0[i]」と同じ数存在する。

また、「num_non_anchor_refs_l1[i]」は視点方向での符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数である。「num_non_anchor_refs_l1[i]」は各視点毎に存在する。ここで、前記と同様の理由により、視点方向での符号化／復号順序が０番目の視点においては、視点間予測で参照できる視点の数は常に「０」となるので、「num_non_anchor_refs_l1[0]」が省略されている。従って、視点方向での符号化／復号順序で１番目の視点（次に符号化／復号される視点）、すなわち、インデックスiが「１」の「num_non_anchor_refs_l1[i]」から符号化される。

更に、「non_anchor_ref_l1[i][j]」は視点方向での符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。「non_anchor_ref_l1[i][j]」は各視点について「num_non_anchor_refs_l1[i]」と同じ数存在する。また、各シンタックス要素は指数ゴロム符号化（expothetical Golomb coding）と呼ばれる手法で符号無しで符号化される。

ここで用いる指数ゴロム符号化はユニバーサル符号化の一種で、変換テーブルを用いずに可変長符号化する方式である。指数ゴロム符号はprefixと呼ばれる「０」が連続したビット列の後に１ビットの「１」が続き、suffixと呼ばれる「０」又は「１」が連続したprefixのビット数と同じビット数のビット列が続く。prefixのビット数をｎとし、suffixの値をｓとすると、符号無し指数ゴロム符号で符号化されたビット列の値νは次式で導き出される。

ν＝２ⁿ−１＋ｓ （１）
符号なし指数ゴロム符号で符号化されるビット列とコード番号の関係を図２３に示す。例えば、これから復号するビット列が“0001010”の場合、最初に「０」が３つ連続するので、prefixのビット数ｎは「３」となる。次に続く「１」を省き、prefixのビット数３ビットに相当するsuffixのビット列は“０１０”であるので、このsuffixの値ｓは１０進数で「２」である。従って、（１）式により、このビット列のコード番号νは９（＝２³−１＋２）となる。

また、ＭＶＣ方式で定義されている図２２に示すシンタックス構造に従って、８視点からなる多視点画像を図１０に示す参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を図２４に示す。ここで、視点方向での視点の符号化／復号順序は視点０、視点２、視点１、視点４、視点３、視点６、視点５、視点７の順とし、視点０の視点ＩＤを「８」、視点１の視点ＩＤを「９」、視点２の視点ＩＤを「１０」、視点３の視点ＩＤを「１１」、視点４の視点ＩＤを「１２」、視点５の視点ＩＤを「１３」、視点６の視点ＩＤを「１４」、視点７の視点ＩＤを「１５」とする。

まず、図１０に示す多視点画像の視点数は８視点であるので、「num_views_minus1」は「７」が符号無し指数ゴロム符号で符号化される。その際のビット列は“0001000”となり、７ビットである。次に、「view_id[0]」の値は視点方向での視点の符号化／復号順序で０番目の視点（最初の視点）である視点０の視点ＩＤである「８」が符号無し指数ゴロム符号で符号化され、その際のビット列は“0001001”となり、７ビットである。同様に、「view_id[1]」の値は視点方向での視点の符号化／復号順序で１番目の視点（０番目の次の視点）である視点２の視点ＩＤである「１０」が符号化されてビット列は“0001011”となり、「view_id[2]」の値は視点方向での視点の符号化／復号順序で２番目に符号化される視点１の視点ＩＤである「９」が符号化されてビット列は“0001010”となる。以下の「view_id[3]」から「view_id[7]」も同様に符号化される。

続いて、視点依存情報のシンタックス要素が符号化される。ここで、視点方向での符号化／復号順序で０番目の視点（最初の視点）である視点０は常に他の視点を参照しないので、「num_anchor_refs_l0[0]」、「num_anchor_refs_l1[0]」は符号化しない。視点方向での符号化／復号順序で視点０に続く視点２のアンカーピクチャの符号化の際には参照ピクチャリスト０の参照ピクチャとして視点０だけを参照し、参照ピクチャリスト１は用いずに符号化する。参照ピクチャリスト０では視点間予測で参照する視点の数が１つであるので、「num_anchor_refs_l0[1]」の値は「１」が符号化され、「anchor_ref_l0[1][0]」は参照する視点０の視点ＩＤの値である「８」が符号無し指数ゴロム符号で符号化され、その際のビット列は“0001001”となり、７ビットである。

続いて、「num_anchor_refs_l1[1]」の値は「０」が符号化される。次に、符号化される視点１のアンカーピクチャの符号化の際には参照ピクチャリスト０の参照ピクチャとして視点０、参照ピクチャリスト１の参照ピクチャとして視点２を参照し、視点間予測で参照する視点の数がそれぞれ１つであるので、「num_anchor_refs_l0[2]」の値は「１」が符号化され、「anchor_ref_l0[2][0]」は参照する視点０の視点ＩＤの値である「８」が符号化される。更に、「num_anchor_refs_l1[2]」の値は「１」が符号化され、「anchor_ref_l1[2][0]」は参照する視点２の視点ＩＤの値である「１０」が符号化される。続く以下の視点依存情報のシンタックス要素も同様に符号化される。

符号化側でシーケンス全体として前記パラメータ、すなわち、視点数、及び各視点の視点依存情報を符号化することにより、復号側ではシーケンス全体として、各視点の参照依存関係を判別することができる。各視点の参照依存情報は視点間予測ピクチャのための参照ピクチャリストの初期化等の復号処理に用いる。

特開昭６１-１４４１９１号公報 特開平６−９８３１２号公報 Joint Draft 4.0 on Multiview Video Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-X209, July 2007 Comments on MVC high level syntax, J.H.Yang他, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-Y061, October 2007

ＭＶＣ方式では、多くの視点数を有する多視点画像を符号化する場合は、時間方向の冗長性を利用した時間方向のインター予測（動き補償予測）や、空間方向の冗長性を利用した直交変換に加えて、視点間の冗長性を利用した視点間予測（視差補償予測）を用いて符号化圧縮することで、より符号化効率を向上させることができる。

ＭＶＣ方式では、視点間予測のために、視点間の参照依存関係を示す視点依存情報をシーケンス全体として符号化する仕組みを持っており、シーケンス情報のパラメータセットであるＳＰＳ（シーケンス・パラメータ・セット）を拡張することにより符号化を行う。しかし、ＳＰＳはシーケンス全体に係る重要なパラメータであるので、機能を満たした上で、できる限り符号量を削減する必要がある。

本発明は以上の点に鑑みてなされたもので、符号化側で視点依存情報の一部を省略して符号化することにより、視点依存情報の符号量を削減する多視点画像符号化方法及び多視点画像符号化装置を提供することを目的とする。

上記目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、
各視点の画像信号の符号化において各視点の複数の視点間での符号化／復号順序を特定する情報を符号化する第１のステップと、複数の視点間での符号化／復号順序で最初に符号化する視点を０番目の視点、次に符号化する視点を１番目の視点とした場合に、ｉ番目（ただし、ｉは自然数）の視点において、各視点の画像信号の符号化の際に他の視点の復号画像信号を参照する視点間予測において参照できる０以上の視点の数の情報（ただし、０は視点間予測において参照できる視点がなく、この視点においては視点間予測を用いずに符号化することを示す。）を１番目以降の視点毎に符号化する第２のステップと、符号化／復号順序でｊ番目（ただし、ｊは２以上の自然数）に符号化する視点において、視点間予測で参照できる視点の数が１以上の際に、当該視点での視点間予測で参照する視点を特定する情報を、当該視点毎に符号化する第３のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
各視点の画像信号の符号化において各視点の複数の視点間での符号化／復号順序を特定する情報を符号化する第１の符号化手段と、複数の視点間での符号化／復号順序で最初に符号化する視点を０番目の視点、次に符号化する視点を１番目の視点とした場合に、ｉ番目（ただし、ｉは自然数）の視点において、各視点の画像信号の符号化の際に他の視点の復号画像信号を参照する視点間予測において参照できる０以上の視点の数の情報（ただし、０は視点間予測において参照できる視点がなく、この視点においては視点間予測を用いずに符号化することを示す。）を１番目以降の視点毎に符号化する第２の符号化手段と、符号化／復号順序でｊ番目（ただし、ｊは２以上の自然数）に符号化する視点において、視点間予測で参照できる視点の数が１以上の際に、当該視点での視点間予測で参照する視点を特定する情報を、当該視点毎に符号化する第３の符号化手段とを有することを特徴とする。

更に、上記の目的を達成するため、第３の発明は、第１の発明の各ステップをコンピュータにより実行させる多視点画像符号化プログラムであることを特徴とする。

本発明によれば、多視点画像の符号化の際に、視点方向での符号化／復号順序で１番目の視点の視点間予測の参照として用いられる視点を特定する情報を省略して符号化するようにしたため、ＳＰＳ（シーケンス・パラメータ・セット）の符号化ビット列の発生符号量を削減することができ、これにより、伝送時の伝送量を削減したり、蓄積媒体等への記録の際にデータ量を削減できるのは勿論のこと、符号化／復号の処理量が削減でき、更には、エラー耐性を高めることができる。

以下、図面と共に本発明の実施の形態を説明する。

（多視点画像符号化装置及び多視点画像符号化方法）
まず、本発明になる多視点画像符号化装置の一実施の形態について説明する。図１は、本発明になる多視点画像符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の多視点画像符号化装置は、符号化管理部１０１、シーケンス情報符号化部１０２、ピクチャ情報符号化部１０３、画像信号符号化部１０４、多重化１０５を備え、入力される多視点画像信号を符号化して符号化データ（符号化ビット列）を出力する。ここで、上記の多視点画像信号は、設定された２あるいは３以上の複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、その一の視点から実際に撮影して得られた画像信号、又はその一の視点から仮想的に撮影したものとして生成した画像信号である。

本実施の形態の多視点画像符号化装置の説明においては、ＡＶＣ／Ｈ.２６４符号化方式を多視点画像に拡張したＭＶＣ方式による多視点画像符号化装置として説明する。

まず、図１の多視点画像符号化装置で符号化することにより生成される符号化ビット列のシンタックス構造について説明する。図１１は本発明になるＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造を示す図である。

図１１に示すシンタックス構造においては、図２２に示した従来例と同様に、まず、符号化ビット列に符号化される視点の数から１を減じた値を示すシンタックス要素である「num_views_minus1」が符号無し整数指数ゴロム符号により符号化され、さらに、視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素である「view_id[i]」が各視点毎に視点方向での符号化／復号順序で連続して繰り返し符号化される構造となっている。

続くシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」は視点間の参照依存関係を示す視点依存情報である。「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」は、インデックスiが「０」を除いた各視点毎に符号化／復号順序で符号化される構造になっている。

ここで、本発明の多視点画像符号化方法、装置、プログラム、及び後述する多視点画像復号方法、装置、プログラムにおいては、視点方向での符号化／復号順序で1番目の視点については、視点間予測の参照として０番目の視点の復号画像のみを用いることができるものと規定する。

更に、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数、すなわち、「num_anchor_refs_l0[1]」が「１」のとき、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として用いられる視点の視点ＩＤ、すなわち「anchor_ref_l0[1][0]」の値は視点方向の符号化順序で０番目の視点の視点ＩＤ、すなわち「view_id[0]」の値とするものと規定する。

同様に、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数、すなわち、「num_anchor_refs_l1[1]」が「１」のとき、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として用いられる視点の視点ＩＤ、すなわち「anchor_ref_l1[1][0]」の値は視点方向の符号化順序で０番目の視点の視点ＩＤ、すなわち「view_id[0]」の値とするものと規定する。

同様に、視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数、すなわち「num_non_anchor_refs_l0[1]」が「１」のとき、視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として用いられる視点の視点ＩＤ、すなわち「non_anchor_ref_l0[1][0]」の値は視点方向の符号化順序で０番目の視点の視点ＩＤ、すなわち「view_id[0]」の値とするものと規定する。

同様に、視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数、すなわち、「num_non_anchor_refs_l1[1]」が「１」のとき、視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として用いられる視点の視点ＩＤ、すなわち「non_anchor_ref_l1[1][0]」の値は視点方向の符号化順序で０番目の視点の視点ＩＤ、すなわち「view_id[0]」の値とするものと規定する。

符号化側／復号側双方でこのように規定することで、インデックスiが「１」のシンタックス要素「anchor_ref_l0[1][0]」、「anchor_ref_l1[1][0]」、「non_anchor_ref_l0[1][0]」、「non_anchor_ref_l1[1][0]」を符号化側で符号化しなくても、それらの値を復号側で導出することが可能となる。従って、本発明ではインデックスiが「１」のシンタックス要素「anchor_ref_l0[1][0]」、「anchor_ref_l1[1][0]」、「non_anchor_ref_l0[1][0]」、「non_anchor_ref_l1[1][0]」の符号化、復号を常に省略する。

また、本発明ではインデックスiが「１」より大きいシンタックス要素、すなわち視点方向での符号化／復号順序で２番目以降の視点についてのみ、それぞれの「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」の値に応じた数の「anchor_ref_l0[i][j]」、「anchor_ref_l1[i][j]」、「non_anchor_ref_l0[i][j]」、「non_anchor_ref_l1[i][j]」が符号化される構造となっている。

視点方向での符号化／復号順序で先行する視点のみを視点間予測の参照として用いることができるものとした場合、視点方向での符号化／復号順序で１番目の視点の画像を符号化する際に視点間予測の参照として用いることができるのは０番目の視点の復号画像だけである。更に、「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」は「０」か「１」の値をとることができ、２以上の値をとることはできない。従って、本発明の前記規定を適用した上で、インデックスiが「１」のシンタックス要素「anchor_ref_l0[1][0]」、「anchor_ref_l1[1][0]」、「non_anchor_ref_l0[1][0]」、「non_anchor_ref_l1[1][0]」の符号化、復号を常に省略しても、従来例と同様の予測構造を設定して符号化することが可能である。

更に、インデックスiが「１」のシンタックス要素「anchor_ref_l0[1][0]」、「anchor_ref_l1[1][0]」、「non_anchor_ref_l0[1][0]」、「non_anchor_ref_l1[1][0]」の符号化、復号を常に省略することで、ＳＰＳ（シーケンス・パラメータ・セット）の符号化ビット列の発生符号量を削減することができるという効果がある。更に、符号化ビット列の発生符号量を削減することで、符号化／復号の処理量が削減できるという効果がある。

特に、ＳＰＳはシーケンス全体の符号化に係るパラメータ情報であるので、符号化ビット列中のシーケンスに属する他のデータを復号する際には不可欠であり、符号化ビット列に含まれる他のデータに比べて最も重要な情報である。符号化ビット列のシステム情報を入手するためにＳＰＳのみを復号したり、ピクチャ情報やスライスのヘッダ情報を復号する際には、まず、ＳＰＳの情報を復号する必要があるので、本実施の形態による処理量の削減効果はより大きいものとなる。また、システムによっては、ＳＰＳは符号化モード、及び動き／視差ベクトル、符号化残差信号等が符号化されている符号化ビット列であるＶＣＬ ＮＡＬユニットと分離して伝送されることもある。この場合、他のデータに比べてＳＰＳの符号量や処理量の削減効果はより大きいものとなる。

また、ＳＰＳの符号化ビット列の発生符号量を削減することで、伝送時におけるＳＰＳの符号化ビット列にエラーが生じるリスクが低下し、エラー耐性を高めることができる。ＳＰＳはシーケンス全体の符号化に係るパラメータ情報であり、ＳＰＳの符号化ビット列にエラーが生じると、シーケンス全体に影響を及ぼすので、本実施の形態のＳＰＳのエラー耐性の向上による効果は非常に大きい。

図１２は、本実施の形態の図１１に示すシンタックス構造に従って、８視点の多視点画像を図１０に示す参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を示す。ここで、図２４に示した従来例と同様に視点方向での視点の符号化／復号順序は視点０、視点２、視点１、視点４、視点３、視点６、視点５、視点７の順とし、視点０の視点ＩＤを「８」、視点１の視点ＩＤを「９」、視点２の視点ＩＤを「１０」、視点３の視点ＩＤを「１１」、視点４の視点ＩＤを「１２」、視点５の視点ＩＤを「１３」、視点６の視点ＩＤを「１４」、視点７の視点ＩＤを「１５」とする。

この図１２に示す本実施の形態のシンタックス構造と図２４に示した従来のシンタックス構造と比較すると、従来例、本実施の形態共に、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[1]」の値が「1」となっている。

しかし、図２４に示した従来のシンタックス構造において、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト０での０番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[1][0]」は参照する視点０の視点ＩＤの値である「８」が符号無し指数ゴロム符号で符号化され、その際のビット列は“0001001”となり、７ビットであるのに対し、図１２に示す本実施の形態の例では「anchor_ref_l0[1][0]」の符号化が省略されている。この省略された「anchor_ref_l0[1][0]」の値は復号側では導出する。

従って、本実施の形態のシンタックス構造に従えば、符号化により生成されるＳＰＳの符号化ビット列の符号量が従来例に対して削減でき、洗練されたものとなる。

次に、図１の実施の形態の多視点画像符号化装置の動作について説明する。図１において、まず、符号化管理部１０１は、外部から設定された符号化パラメータをもとに、必要に応じて新たにパラメータを計算し、シーケンス全体に関連するパラメータ情報（ＳＰＳ）、ピクチャに関連するパラメータ情報（ＰＰＳ）、ピクチャのスライスに関連するヘッダ情報（スライスヘッダ）等を含む符号化に関する管理を行う。さらに、符号化管理部１０１は、符号化対象画像の参照依存関係、符号化／復号順序を管理する。

参照依存関係については、視点単位で他の視点の復号画像を参照するか否かを管理するとともに、ピクチャまたはスライス単位で、符号化対象画像を符号化する際に他の視点の復号画像を参照画像として用いる視点間予測（視差補償予測）を行うか否か、符号化対象画像を符号化後に復号して得られる復号画像が他の視点の符号化対象画像を符号化する際に参照画像として用いられるか否か、複数ある参照画像の候補の中からどの参照画像を参照するかについて管理する。また、符号化／復号順序については、前記参照依存関係において、復号側で、復号する符号化ビット列の画像が参照する参照画像が復号された後に復号を開始できるように符号化／復号順序を管理する。

次に、シーケンス情報符号化部１０２は、符号化管理部１０１で管理されるシーケンス全体に関連するパラメータ情報（ＳＰＳ）を符号化する。ここでは、図１１に示すシンタックス構造に従ってＳＰＳのＭＶＣ拡張部分も符号化する。

図２はシーケンス情報符号化部１０２の一実施の形態のブロック図を示す。図２に示すように、シーケンス情報符号化部１０２は、ＭＶＣ拡張部分以外のシーケンス情報符号化部２０１、視点数情報符号化部２０２、符号化順序情報符号化部２０３、参照視点数情報符号化部２０４、及び参照視点情報符号化部２０５から構成される。また、参照視点数情報符号化部２０４、及び参照視点情報符号化部２０５は、視点依存情報符号化部２０６を構成している。更に、視点数情報符号化部２０２、及び符号化順序情報符号化部２０３は、視点依存情報符号化部２０６と共に、ＳＰＳ ＭＶＣ拡張部分符号化部２０７を構成している。

ＭＶＣ拡張部分以外のシーケンス情報符号化部２０１は、ＭＶＣ拡張部分以外のシーケンス情報、すなわちＡＶＣ／Ｈ.２６４方式でのＳＰＳ（シーケンス・パラメータ・セット）を符号化する。一方、視点数情報符号化部２０２、符号化順序情報符号化部２０３、参照視点数情報符号化部２０４、及び参照視点情報符号化部２０５で構成されるＳＰＳ ＭＶＣ拡張部分符号化部２０７は、図１１に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を符号化する。

まず、視点数情報符号化部２０２は、符号化ビット列に符号化される視点の数から「１」を減じた値を示すシンタックス要素「num_views_minus1」を符号化する。次に、符号化順序情報符号化部２０３は、視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素「view_id[i]」を視点方向での符号化／復号順序で符号化する。

次に、視点依存情報符号化部２０６を構成する参照視点数情報符号化部２０４、参照視点情報符号化部２０５により、視点依存情報を符号化する。ここで符号化する視点依存情報は前述のシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」である。

参照視点数情報符号化部２０４は、視点依存情報のうち、それぞれの視点のアンカーピクチャ用、及びノンアンカーピクチャ用の参照ピクチャリスト０、及び参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」を符号化する。ただし、前述のとおり、本実施の形態においては、参照視点数情報符号化部２０４ではインデックスiが「０」の前記シンタックス要素を符号化することはなく、インデックスiが「１」以上の前記シンタックス要素を符号化する。

参照視点情報符号化部２０５ではそれぞれの視点のアンカーピクチャ用、及びノンアンカーピクチャ用の参照ピクチャリスト０、及び参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[i][j]」、「anchor_ref_l1[i][j]」、「non_anchor_ref_l0[i][j]」、「non_anchor_ref_l1[i][j]」を符号化する。ただし、前述のとおり、本実施の形態においては参照視点情報符号化部２０５ではインデックスiが「０」または「１」の前記シンタックス要素を符号化することはなく、インデックスiが「２」以上の前記シンタックス要素を符号化する。

再び図１に戻って説明する。ピクチャ情報符号化部１０３は、符号化管理部１０１で管理されるピクチャに関連する情報（ＰＰＳ）を符号化する。また、画像信号符号化部１０４は、符号化管理部１０１で管理されるスライスに関連する情報（スライスヘッダ）及び供給される符号化対象の画像信号をスライス単位で符号化する。画像信号を符号化する際には視点間予測を用いることもあるが、その際には前記視点依存情報に基づいて視点間予測の参照画像を選択する。

多重化部１０５は、シーケンス情報符号化部１０２で符号化して得られたシーケンス情報の符号化ビット列と、ピクチャ情報符号化部１０３で符号化して得られたピクチャ情報の符号化ビット列と、画像信号符号化部１０４で符号化して得られたスライス情報及び画像信号の符号化ビット列とをそれぞれＮＡＬユニット単位で扱うためのヘッダ情報を付加して、多重化し、多視点画像の符号化ビット列とする。

次に、図１に示した本実施の形態の多視点画像符号化装置による多視点画像符号化処理手順について、図３〜図９のフローチャートを参照して説明する。各ステップの処理動作については図１、及び図２のブロック図を用いて説明したものと同じであるので、ここでは図１、及び図２と対応付けることで、処理手順のみを説明する。

まず、シーケンス全体の符号化に係るパラメータ情報を符号化し、シーケンス全体の符号化に係るパラメータ情報の符号化ビット列を生成する（図３のステップＳ１０１）。このステップＳ１０１の処理は、図１の多視点画像符号化装置ではシーケンス情報符号化部１０２での符号化動作に相当する。

この、ステップＳ１０１のシーケンス情報の符号化処理手順の一例について図４のフローチャートと共に更に詳細に説明する。まず、ＭＶＣ拡張部分以外のシーケンス情報を符号化する（ステップＳ１１１）。このステップＳ１１１の処理は、図２のＭＶＣ拡張部分以外のシーケンス情報符号化部２０１での符号化動作に相当する。

続いて、図１１に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を符号化する（ステップＳ１１２からＳ１１４）。まず、符号化ビット列に符号化される視点の数の情報を符号化する（ステップＳ１１２）。このステップＳ１１２の処理は、図２の視点数情報符号化部２０２での符号化動作に相当する。続いて、視点方向での符号化／復号順序で各視点の視点ＩＤの情報を符号化する（ステップＳ１１３）。このステップＳ１１３の処理は、図２の符号化順序情報符号化部２０３での符号化動作に相当する。

このステップＳ１１３の視点方向での符号化／復号順序での視点ＩＤの符号化処理手順の一例について図５のフローチャートと共に更に詳細に説明する。まず、視点方向での符号化／復号順序を示すインデックスiを「０」とする（ステップＳ１２１）。続いて、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ１２２）。インデックスiの値が（視点数−１）以下でない場合、ステップＳ１１３の符号化処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ１２３に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ１２２からステップＳ１２４までの処理を繰り返す。ステップＳ１２３では、視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素「view_id[i]」を符号化する。続いて、ステップＳ１２４では、インデックスiに「１」を加えて再びステップＳ１２２に進む。

再び、図４のフローチャートに戻って説明する。上記のステップＳ１１３の処理に続いて、ステップＳ１１４では、視点依存情報を符号化する。このステップＳ１１４の処理は、図２の参照視点数情報符号化部２０４と参照視点情報符号化部２０５で構成される視点依存情報符号化部２０６での符号化動作に相当する。

このステップＳ１１４の視点依存情報の符号化処理手順の一例について図６のフローチャートと共に更に詳細に説明する。ステップＳ１１４の視点依存情報の符号化処理では、アンカーピクチャの視点依存情報を符号化した後（ステップＳ１３１）、ノンアンカーピクチャの視点依存情報を符号化する（ステップＳ１３２）。このステップＳ１３２の処理が完了したら図６の視点依存情報の符号化処理は終了である。

このステップＳ１３１のアンカーピクチャの視点依存情報の符号化処理手順の一例について図７のフローチャートと共に更に詳細に説明する。図７のアンカーピクチャの視点依存情報の符号化処理では、インデックスｉが「０」、すなわち視点方向での符号化／復号順序で０番目に符号化／復号される視点（最初に符号化／復号される視点）は常に視点間予測を用いずに、つまり他の視点を参照せずに符号化するので、視点間予測の参照として利用する視点の数は常に「０」となり、「num_anchor_refs_l0[0]」、及び「num_anchor_refs_l0[1]」を符号化せず、値を常に「０」とする。そこで、視点方向での符号化／復号順序を示すインデックスiを「１」とする（ステップＳ１４１）。

続いて、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ１４２）。インデックスiの値が（視点数−１）以下でない場合、アンカーピクチャの視点依存情報の符号化処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ１４３に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ１４２からステップＳ１５５までの処理を繰り返す。

ステップＳ１４３では、視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[i]」を符号化する。

続いて、ステップＳ１４４では、インデックスｉが「１」より大きいかどうかを判断する。インデックスｉが「１」より大きいときはステップＳ１４５に進み、インデックスｊの値を「０」とする。続いて、インデックスｊの値が「num_anchor_refs_l0[i]」より小さいかどうかを判断し（ステップＳ１４６）、インデックスｊの値が「num_anchor_refs_l0[i]」の値より小さい場合、インデックスｊの値が「num_anchor_refs_l0[i]」の値以上になるまで、ステップＳ１４６からステップＳ１４８までの処理を繰り返す。

ステップＳ１４７では視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[i][j]」を符号化してステップＳ１４８に進む。ステップＳ１４８ではインデックスｊに「１」を加えて再びステップＳ１４６に進む。

一方、ステップＳ１４４でインデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」であると判定したとき、又はステップＳ１４６でインデックスｊの値が「num_anchor_refs_l0[i]」の値以上であると判定した場合、ステップＳ１４９に進む。ステップＳ１４９では、視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l1[i]」を符号化する。

続いて、インデックスｉが「１」より大きいかどうかを判断する（ステップＳ１５０）。インデックスｉが「１」より大きいときはステップＳ１５１に進み、インデックスｊの値を「０」とする。続いて、インデックスｊの値が「num_anchor_refs_l1[i]」より小さいかどうかを判断し（ステップＳ１５２）、インデックスｊの値が「num_anchor_refs_l1[i]」の値より小さい場合、インデックスｊの値が「num_anchor_refs_l1[i]」の値以上になるまで、ステップＳ１５２からステップＳ１５４までの処理を繰り返す。

インデックスｊの値が「num_anchor_refs_l1[i]」の値より小さい場合、視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l1[i][j]」を符号化する（ステップＳ１５３）。続いて、インデックスｊに「１」を加えて（ステップＳ１５４）、再びステップＳ１５２に進む。

一方、ステップＳ１５０でインデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」であると判定したとき、又はステップＳ１５２でインデックスｊの値が「num_anchor_refs_l1[i]」以上であると判定したときは、ステップＳ１５５に進む。ステップＳ１５５ではインデックスｉに「１」を加えて再びステップＳ１４２に進む。

次に、図６のステップＳ１３２のノンアンカーピクチャの視点依存情報の符号化処理手順の一例について図８のフローチャートと共に更に詳細に説明する。図８のノンアンカーピクチャの視点依存情報の符号化処理では、前述の理由により、「num_non_anchor_refs_l0[0]」、及び「num_non_anchor_refs_l0[1]」を符号化せず、値を常に「０」とする。そこで、インデックスiを「１」とした後（ステップＳ１６１）、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ１６２）。

インデックスiの値が（視点数−１）以下でない場合、ノンアンカーピクチャの視点依存情報の符号化処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ１６３に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ１６２からステップＳ１７５までの処理を繰り返す。

ステップＳ１６３では、視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_non_anchor_refs_l0[i]」を符号化する。

続いて、ステップＳ１６４では、インデックスｉが「１」より大きいかどうかを判断する。インデックスｉが「１」より大きいときはステップＳ１６５に進み、インデックスｊの値を「０」とする。続いて、インデックスｊの値が「num_non_anchor_refs_l0[i]」より小さいかどうかを判断し（ステップＳ１６６）、インデックスｊの値が「num_non_anchor_refs_l0[i]」の値より小さい場合、インデックスｊの値が「num_non_anchor_refs_l0[i]」の値以上になるまで、ステップＳ１６６からステップＳ１６８までの処理を繰り返す。

ステップＳ１６７では視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「non_anchor_ref_l0[i][j]」を符号化してステップＳ１６８に進む。ステップＳ１６８ではインデックスｊに「１」を加えて再びステップＳ１６６に進む。

一方、ステップＳ１６４でインデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」であると判定したとき、又はステップＳ１６６でインデックスｊの値が「num_non_anchor_refs_l0[i]」の値以上であると判定した場合、ステップＳ１６９に進む。ステップＳ１６９では、視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_non_anchor_refs_l1[i]」を符号化する。

続いて、ステップＳ１７２では、インデックスｉが「１」より大きいかどうかを判断する。インデックスｉが「１」より大きいときはステップＳ１７１に進み、インデックスｊの値を「０」とする。続いて、インデックスｊの値が「num_non_anchor_refs_l1[i]」より小さいかどうかを判断し（ステップＳ１７２）、インデックスｊの値が「num_non_anchor_refs_l1[i]」の値より小さい場合、インデックスｊの値が「num_non_anchor_refs_l1[i]」の値以上になるまで、ステップＳ１７２からステップＳ１７４までの処理を繰り返す。

ステップＳ１７３では視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「non_anchor_ref_l1[i][j]」を符号化してステップＳ１７４に進む。ステップＳ１７４ではインデックスｊに「１」を加えて再びステップＳ１７２に進む。

一方、ステップＳ１７０でインデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」であると判定したとき、又はステップＳ１７２でインデックスｊの値が「num_non_anchor_refs_l1[i]」の値以上であると判定したときは、ステップＳ１７５に進む。ステップＳ１７５ではインデックスｉに「１」を加えて再びステップＳ１６２に進む。

以上の図７、及び図８の処理手順の説明において、図７のステップＳ１４３、Ｓ１４９、図８のステップＳ１６３、Ｓ１６９の処理は、図２の参照視点数情報符号化部２０４の符号化動作に相当し、図７のステップＳ１４７、Ｓ１５３、図８のステップＳ１６７、Ｓ１７３の処理は図２の参照視点情報符号化部２０５の符号化動作に相当する。

再び、図４のフローチャートに戻って説明する。ステップＳ１１４の処理が完了したら図４のシーケンス情報の符号化処理は終了である。

再び、図３のフローチャートに戻って説明する。上記の図４乃至図８のフローチャートと共に説明したステップＳ１０１の処理が完了すると、ステップＳ１０２に進む。ステップＳ１０２では、シーケンス全体の符号化に係るパラメータ情報の符号化ビット列を多重化し、多重化された符号化ビット列を得る。このステップＳ１０２の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

次のステップＳ１０３では、ピクチャの符号化に係るパラメータ情報等を符号化し、ピクチャの符号化に係るパラメータ情報の符号化ビット列を生成する。このステップＳ１０３の処理は、図１の多視点画像符号化装置ではピクチャ情報符号化部１０３での符号化動作に相当する。

続いて、ステップＳ１０４では、ピクチャの符号化に係るパラメータ情報の符号化ビット列を多重化し、多重化された符号化ビット列を得る。このステップＳ１０４の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

続いて、ステップＳ１０５では、スライス情報及び画像信号を符号化する。このステップＳ１０５の処理は、図１の多視点画像符号化装置では画像信号符号化部１０４での処理動作に相当する。

続いて、ステップＳ１０６では、ステップＳ１０２、ステップＳ１０４で多重化されたビット列に続いて、復号画像出力順番号ｏ、符号化モード、及び、動きベクトルまたは視差ベクトル、符号化残差信号等の符号化ビット列を必要に応じて一つの符号化ビット列、または複数の符号化ビット列に適宜多重化する。このステップＳ１０６の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

ステップＳ１０６での多重化動作終了後に、符号化の対象となる多視点画像の全ての画像について符号化処理が完了したか否かを判断する（ステップＳ１０７）。完了している場合、本多視点画像符号化処理手順が終了となる。完了していない場合、ステップＳ１０５に進み、符号化の対象となる多視点画像の全ての画像について符号化処理が完了するまでステップＳ１０５からステップＳ１０６までの処理を繰り返す。

次に、ネットワークを介して伝送する場合の多重化部１０５での多重化及び送信処理手順について、図９のフローチャートを用いて説明する。図９において、多重化部１０５は、シーケンス情報の符号化ビット列と、ピクチャ情報の符号化ビット列と、スライス情報及び画像信号の符号化ビット列とをそれぞれ多重化したデータを、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化する（ステップＳ１８１）。

続いて、多重化部１０５は、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット・ヘッダを上記のパケットに付加した後（ステップＳ１８２）、ネットワークを介して送信する（ステップＳ１８３）。

（多視点画像復号装置及び多視点画像復号方法）
次に、本発明になる多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムにより生成された符号化データを復号する多視点画像復号方法及び多視点復号装置について図面を参照して説明する。

図１３は、多視点画像復号装置の一例のブロック図を示す。図１３に示すように、この多視点画像復号装置は、分離部３０１、復号管理部３０２、シーケンス情報復号部３０３、ピクチャ情報復号部３０４、画像信号復号部３０５を備え、多視点画像信号を符号化した符号化ビット列が入力され、これを復号して多視点画像信号を出力する。

次に、図１３に示す多視点画像復号装置の動作について、ＡＶＣ／Ｈ.２６４符号化方式と関連付けて説明する。まず、分離部３０１は、図１に示した多視点画像符号化装置により符号化され、ネットワークを介して送信された符号化ビット列を受信する。なお、本方式での符号化ビット列の供給形態はネットワーク伝送での受信のみならず、ＤＶＤ等の蓄積メディアに記録された符号化ビット列を読み込んだり、ＢＳ／地上波等の放送で放映された符号化ビット列を受信することもできる。

また、分離部３０１は、供給される符号化ビット列からパケット・ヘッダを除去し、ＮＡＬユニット単位に分離する。更に、分離部３０１は、分離したＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に係るパラメータ情報が符号化されている符号化ビット列の場合は、シーケンス情報復号部３０３に供給し、ピクチャの符号化に係るパラメータ情報等が符号化されている符号化ビット列の場合は、ピクチャ情報復号部３０４に供給し、当該ＮＡＬユニットがＶＣＬ ＮＡＬユニット、すなわち符号化モード、及び動き／視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合は、画像信号復号部３０５に供給する。

シーケンス情報復号部３０３は、分離部３０１で分離されたシーケンス全体の符号化に係るパラメータ情報（ＳＰＳ）が符号化された符号化ビット列を復号する。ここでは、図１１に示すシンタックス構造に従ってＳＰＳのＭＶＣ拡張部分も復号する。

図１４は、シーケンス情報復号部３０３の一例の構成を示すブロック図である。図１４に示すように、シーケンス情報復号部３０３は、ＭＶＣ拡張部分以外のシーケンス情報復号部４０１、視点数情報復号部４０２、復号順序情報復号部４０３、参照視点数情報復号部４０４、参照視点情報生成部４０５、参照視点情報復号部４０６、スイッチ４０７から構成される。スイッチ４０７は、シーケンス全体の符号化に係るパラメータ情報（ＳＰＳ）、及び、図１１に示すＳＰＳのＭＶＣ拡張のシンタックス構造、及び各復号部４０１〜４０４、４０６の復号結果に応じて切り替わり、符号化ビット列を各復号部４０１〜４０４、４０６に順次供給する。

また、参照視点数情報復号部４０４、参照視点情報生成部４０５、及び参照視点情報復号部４０６は、視点依存情報復号部４０８を構成している。更に、視点数情報復号部４０２、及び復号順序情報復号部４０３は、視点依存情報復号部４０８と共に、ＳＰＳ ＭＶＣ拡張部分復号部４０９を構成している。

図１４のＭＶＣ拡張部分以外のシーケンス情報復号部４０１は、符号化ビット列からＭＶＣ拡張部分以外のシーケンス情報、すなわちＡＶＣ／Ｈ.２６４方式でのＳＰＳ（シーケンス・パラメータ・セット）を復号する。また、視点数情報復号部４０２、復号順序情報復号部４０３、参照視点数情報復号部４０４、参照視点情報生成部４０５、参照視点情報復号部４０６から構成されるＳＰＳ ＭＶＣ拡張部分復号部４０９は、符号化ビット列から図１１に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を復号する。

このＳＰＳ ＭＶＣ拡張部分復号部４０９では、まず、視点数情報復号部４０２が符号化ビット列から、符号化ビット列に符号化される視点の数から「１」を減じた値を示すシンタックス要素「num_views_minus1」を復号する。次に、復号順序情報復号部４０３が符号化ビット列から、各視点毎に視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素「view_id[i]」を順次復号する。供給される符号化ビット列には視点方向での符号化／復号順序で視点ＩＤを示す「view_id_[i]」が符号化されているので、どのような符号化／復号順序で各視点が符号化されているのかを知ることができる。

次に、参照視点数情報復号部４０４、参照視点情報生成部４０５、参照視点情報復号部４０６から構成される視点依存情報復号部４０８が、符号化ビット列から視点依存情報を復号する。ここで復号する視点依存情報は前述のシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」である。

参照視点数情報復号部４０４は、視点依存情報のうち、それぞれの視点のアンカーピクチャ用、及びノンアンカーピクチャ用の参照ピクチャリスト０及び参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」を復号する。ただし、前述のとおり、本発明においては、供給される符号化ビット列にインデックスｉが「０」の前記シンタックス要素が符号化されることはないので、参照視点数情報復号部４０４ではインデックスiが「０」の前記シンタックス要素を復号することはなく、インデックスiが「１」以上の前記シンタックス要素を復号する。

参照視点情報復号部４０６は、それぞれ「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」に応じた数のそれぞれの視点のアンカーピクチャ用、及びノンアンカーピクチャ用の参照ピクチャリスト０、及び参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[i][j]」、「anchor_ref_l1[i][j]」、「non_anchor_ref_l0[i][j]」、「non_anchor_ref_l1[i][j]」を復号する。ただし、前述のとおり、本発明においては供給される符号化ビット列にiが「０」または「１」の前記シンタックス要素が符号化されることはないので、参照視点情報復号部４０６ではiが「０」または「１」の前記シンタックス要素を復号することはなく、iが「２」以上の前記シンタックス要素を復号する。

参照視点情報生成部４０５では、前述の理由により、視点方向での符号化／復号順序で1番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照の視点の数を示すシンタックス要素「num_anchor_refs_l0[1]」の値が「１」の場合は、視点方向での符号化／復号順序で1番目の視点のアンカーピクチャ用の参照ピクチャリスト０での０番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[1][0]」の値を視点方向での符号化／復号順序で０番目の視点の視点ＩＤである「view_id[0]」とする。

同様に、「num_anchor_refs_l1[1]」の値が「１」の場合は、「anchor_ref_l1[1][0]」の値を「view_id[0]」とし、「num_non_anchor_refs_l0[1]」の値が「１」の場合は「non_anchor_ref_l0[1][0]」の値を「view_id[0]」とし、「num_non_anchor_refs_l1[1]」の値が「１」の場合は「non_anchor_ref_l1[1][0]」の値を「view_id[0]」とする。

再び、図１３に戻って説明する。シーケンス情報復号部３０３で復号されたシーケンス全体の管理情報は、復号管理部３０２に供給され、復号の管理に用いられる。ピクチャ情報復号部３０４は、分離部３０１で分離されたピクチャの符号化に係るパラメータ情報（ＰＰＳ）が符号化された符号化ビット列を復号し、復号したパラメータ情報（ＰＰＳ）をピクチャ管理情報として復号管理部３０２に供給し、復号の管理に用いる。

画像信号復号部３０５は、復号管理部３０２から供給される視点数情報、復号順序情報、視点依存情報などを含む復号されたシーケンス全体の管理情報やピクチャ管理情報に基づいて、分離部３０１から供給される復号対象の符号化ビット列（符号化データ）を復号して画像信号を得る。画像信号を復号する際には視点間予測を用いて復号することもあるが、その際には前記視点依存情報も用いて視点間予測の参照画像を決定する。

次に、図１３に示した多視点画像復号装置による多視点画像復号処理手順について、図１５〜図２１のフローチャートを参照して説明する。各ステップの処理動作については図１３及び図１４のブロック図を用いて説明したものと同じであるので、ここでは図１３及び図１４と対応付けることで、処理手順のみを説明する。

まず、図１５のステップＳ２０１では符号化された符号化ビット列をＮＡＬユニット単位に分離する。このステップＳ２０１において、ネットワークを介して符号化ビット列を伝送する場合の受信及び分離処理手順について、図２１のフローチャートを用いて詳細に説明する。ステップＳ２０１の分離処理において、まず、ネットワークを介して符号化ビット列を受信し（ステップＳ２８１）、続いて、その受信した符号化ビット列に用いられたＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいて付加されたパケット・ヘッダを復号して除去する（ステップＳ２８２）。そして、ＮＡＬユニット単位で符号化ビット列を分離する（ステップＳ２８３）。

再び、図１５に戻って説明する。図１５のステップＳ２０１で分離されたＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に係るパラメータ情報（ＳＰＳ）、すなわちシーケンス情報であるか否か判定し（ステップＳ２０２）、シーケンス情報の場合、ステップＳ２０５に進み、シーケンス情報ではなくピクチャ情報（ＰＰＳ）と判定された場合（ステップＳ２０３）、ステップＳ２０６に進む。

また、当該ＮＡＬユニットがシーケンス情報でも、ピクチャ情報でもない場合は、ステップＳ２０４に進む。ステップＳ２０４では当該ＮＡＬユニットがＶＣＬ ＮＡＬユニットであるか、すなわち符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列であるかを判定し、ＶＣＬ ＮＡＬユニットである場合、ステップＳ２０７に進む。これらのステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４の処理は、図１３の多視点画像復号装置では分離部３０１での処理動作に相当する。

次に、ステップＳ２０５では、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号し、シーケンス全体の符号化に係るパラメータ情報を得る。このステップＳ２０５の処理は、図１３の多視点画像符号化装置ではシーケンス情報復号部３０３での復号動作に相当する。

この、ステップＳ２０５のシーケンス情報の復号処理手順の一例について図１６のフローチャートと共に更に詳細に説明する。シーケンス情報の復号処理では、まず、ＭＶＣ拡張部分以外のシーケンス情報を復号する（ステップＳ２１１）。このステップＳ２１１の処理は、図１４のＭＶＣ拡張部分以外のシーケンス情報復号部４０１での復号動作に相当する。

ステップＳ２１１に続いて、図１１に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を復号する（ステップＳ２１２からＳ２１４）。まず、符号化ビット列に符号化される視点の数の情報を復号する（ステップＳ２１２）。このステップＳ２１２の処理は、図１４の視点数情報復号部４０２での復号動作に相当する。ステップＳ２１２に続いて、視点方向での復号順序で符号化された各視点の視点ＩＤの情報を復号する（ステップＳ２１３）。このステップＳ２１３の復号処理は、図１４の復号順序情報復号部４０３での復号動作に相当する。

このステップＳ２１３の視点方向での復号順序で符号化された各視点の視点ＩＤの復号処理手順の一例について、図１７のフローチャートと共に更に詳細に説明する。ステップＳ２１３の復号処理では、まず、視点方向での符号化／復号順序を示すインデックスiを「０」とし（ステップＳ２２１）、続いて、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ２２２）。インデックスiの値が（視点数−１）以下でない場合、ステップＳ２１３の復号処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ２２３に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ２２２からステップＳ２２４までの処理を繰り返す。

ステップＳ２２３では、視点方向での符号化／復号順序でi番目の視点の視点ＩＤを示すシンタックス要素「view_id[i]」を復号する。続いて、ステップＳ２２４では、インデックスiに「１」を加えて、再びステップＳ２２２に進む。

再び、図１６のフローチャートに戻って説明する。図１７と共に説明した上記のステップＳ２１３の視点ＩＤの情報の復号処理に続いて、視点依存情報を復号する（ステップＳ２１４）。このステップＳ２１４の処理は、図１４の参照視点数情報復号部４０４、参照視点情報生成部４０５、参照視点情報復号部４０６で構成される視点依存情報復号部での復号動作に相当する。

このステップＳ２１４の視点依存情報の復号処理手順の一例について図１８のフローチャートと共に説明する。このステップＳ２１４では、まず、アンカーピクチャの視点依存情報を復号し（ステップＳ２３１）、続いてノンアンカーピクチャの視点依存情報を復号する（ステップＳ２３２）ことで復号処理を終了する。

次に、図１８のステップＳ２３１のアンカーピクチャの視点依存情報の復号処理手順の一例について図１９のフローチャートと共に更に詳細に説明する。

図１９のアンカーピクチャの視点依存情報の復号処理手順では、符号化ビット列に視点方向での符号化／復号順序で０番目の視点のアンカーピクチャ用の参照ピクチャリスト０及び参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[0]」と「num_anchor_refs_l1[0]」が符号化されておらず、それらの値を常に「０」とする（ステップＳ２４１）。そこで、視点方向での符号化／復号順序を示すインデックスiを「１」とする（ステップＳ２４２）。

続いて、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ２４３）。インデックスiの値が（視点数−１）以下でない場合、アンカーピクチャの視点依存情報の復号処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ２４４に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ２４３からステップＳ２６０までの処理を繰り返す。

ステップＳ２４４では、視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l0[i]」を復号する。続いて、ステップＳ２４５では、インデックスｉが「１」より大きいかどうかを判断する。インデックスｉが「１」より大きいときはステップＳ２４８に進み、インデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」のときは、ステップＳ２４６に進む。ステップＳ２４６では、「num_anchor_refs_l0[1]」の値が「１」かどうかを判断する。

ここで、「num_anchor_refs_l0[1]」は前述の通り、「０」または「１」の値を持つ。「num_anchor_refs_l0[1]」の値が「０」の場合、ステップＳ２５２に進み、値が「１」の場合、ステップＳ２４７に進む。前述の通り、インデックスiが「１」では符号化ビット列には視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素が符号化されていない。そこで、ステップＳ２４７では図１７のステップＳ２２３で復号した視点方向での符号化／復号順序で０番目の視点（最初に符号化／復号する視点）の視点ＩＤ、即ち「view_id[0]」の値を「anchor_ref_l0[1][0]」の値とし、ステップＳ２５２に進む。

一方、ステップＳ２４５でインデックスｉが「１」より大きいと判断したときは、インデックスｊを「０」とした後（ステップＳ２４８）、インデックスｊの値が「num_anchor_refs_l0[i]」より小さいかどうかを判断する（ステップＳ２４９）。インデックスｊの値が「num_anchor_refs_l0[i]」以上の場合、ステップＳ２５２に進む。一方、インデックスｊの値が「num_anchor_refs_l0[i]」より小さい場合、ステップＳ２５０に進み、インデックスｊの値が「num_anchor_refs_l0[i]」以上になるまで、ステップＳ２４９からステップＳ２５１までの処理を繰り返す。

ステップＳ２５０では視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l0[i][j]」を復号してステップＳ２５１に進む。続いて、ステップＳ２５１では、インデックスｊの値に「１」を加えて再びステップＳ２４９に進む。

ステップＳ２５２では、視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_anchor_refs_l1[i]」を復号する。続いて、インデックスｉが「１」より大きいかどうかを判断する（ステップＳ２５３）。インデックスｉが「１」より大きいときはステップＳ２５６に進み、インデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」のときは、ステップＳ２５４に進む。

ステップＳ２５４では、「num_anchor_refs_l1[1]」の値が「１」かどうかを判断する。ここで、「num_anchor_refs_l1[1]」は前述の通り、「０」または「１」の値を持つ。「num_anchor_refs_l1[1]」の値が「０」の場合、ステップＳ２６０に進み、値が「１」の場合、ステップＳ２５５に進む。前述の通り、インデックスiが「１」では符号化ビット列には視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素が符号化されていない。ステップＳ２５５では図１７のステップＳ２２３で復号した視点方向での符号化／復号順序で０番目の視点（最初に符号化／復号する視点）の視点ＩＤ、すなわち「view_id[0]」の値を「anchor_ref_l1[1][0]」の値とし、ステップＳ２６０に進む。

一方、ステップＳ２５３でインデックスｉの値が「１」より大きいと判定したときは、インデックスｊを「０」とした後（ステップＳ２５６）、インデックスｊの値が「num_anchor_refs_l1[i]」より小さいかどうかを判断する（ステップＳ２５７）。インデックスｊの値が「num_anchor_refs_l1[i]」以上の場合、ステップＳ２６０に進む。一方、インデックスｊの値が「num_anchor_refs_l1[i]」より小さい場合、ステップＳ２５８に進み、インデックスｊの値が「num_anchor_refs_l1[i]」以上になるまで、ステップＳ２５７からステップＳ２５９までの処理を繰り返す。

ステップＳ２５８では視点方向での符号化／復号順序でi番目の視点のアンカーピクチャ用の参照ピクチャリスト１でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「anchor_ref_l1[i][j]」を復号してステップＳ２５９に進む。ステップＳ２５９では、インデックスｊの値に「１」を加えて再びステップＳ２５７に進む。ステップＳ２６０では、インデックスｉの値に「１」を加えて再びステップＳ２４３に進む。

次に、図１８のステップＳ２３２のノンアンカーピクチャの視点依存情報の復号処理手順の一例について図２０のフローチャートと共に更に詳細に説明する。

図２０のノンアンカーピクチャの視点依存情報の復号処理では、符号化ビット列に視点方向での符号化／復号順序で０番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０及び参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_non_anchor_refs_l0[0]」と「num_non_anchor_refs_l1[0]」が符号化されておらず、それらの値を常に「０」とする（ステップＳ２６１）。そこで、インデックスiを「１」とする（ステップＳ２６２）。

続いて、インデックスiの値が（視点数−１）以下かどうかを判断する（ステップＳ２６３）。インデックスiの値が（視点数−１）以下でない場合、ノンアンカーピクチャの視点依存情報の復号処理を終了する。インデックスiの値が（視点数−１）以下の場合、ステップＳ２６４に進み、インデックスiの値が（視点数−１）以下でなくなるまで、ステップＳ２６３からステップＳ２８０までの処理を繰り返す。

ステップＳ２６４では、視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_non_anchor_refs_l0[i]」を復号する。続いて、ステップＳ２６５では、インデックスｉが「１」より大きいかどうかを判断する。インデックスｉが「１」より大きいときはステップＳ２６８に進み、インデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」のときは、ステップＳ２６６に進む。

ステップＳ２６６では、「num_non_anchor_refs_l0[1]」の値が「１」かどうかを判断する。ここで、「num_non_anchor_refs_l0[1]」は前述の通り、「０」または「１」の値を持つ。「num_non_anchor_refs_l0[1]」の値が「０」の場合、ステップＳ２７２に進み、値が「１」の場合、ステップＳ２６７に進む。

前述の通り、インデックスiが「１」では符号化ビット列には視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０での視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素が符号化されていない。そこで、ステップＳ２６７では図１７のステップＳ２２３で復号した視点方向での符号化／復号順序で０番目の視点（最初に符号化／復号する視点）の視点ＩＤ、即ち「view_id[0]」の値を「non_anchor_ref_l0[1][0]」の値とし、ステップＳ２７２に進む。

一方、ステップＳ２６５でインデックスｉの値が「１」より大きいと判定したときは、インデックスｊを「０」とした後（ステップＳ２６８）、インデックスｊの値が「num_non_anchor_refs_l0[i]」より小さいかどうかを判断する（ステップＳ２６９）。インデックスｊの値が「num_non_anchor_refs_l0[i]」以上の場合、ステップＳ２７２に進む。一方、インデックスｊの値が「num_non_anchor_refs_l0[i]」より小さい場合、ステップＳ２７０に進み、インデックスｊの値が「num_non_anchor_refs_l0[i]」以上になるまで、ステップＳ２６９からステップＳ２７１までの処理を繰り返す。

ステップＳ２７０では視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト０でのｊ番目の視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素「non_anchor_ref_l0[i][j]」を復号してステップＳ２７１に進む。続いて、ステップＳ２７１ではインデックスｊの値に「１」を加えて再びステップＳ２６９に進む。

ステップＳ２７２では、視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素「num_non_anchor_refs_l1[i]」を復号する。続いて、インデックスｉが１より大きいかどうかを判断する（ステップＳ２７３）。インデックスｉが「１」より大きいときはステップＳ２７６に進み、インデックスｉが「１」より大きくないとき、すなわち、インデックスｉが「１」のときは、ステップＳ２７４に進む。

ステップＳ２７４では、「num_non_anchor_refs_l1[1]」の値が「１」かどうかを判断する。ここで、「num_non_anchor_refs_l1[1]」は前述の通り、「０」または「１」の値を持つ。「num_non_anchor_refs_l1[1]」の値が「０」の場合、ステップＳ２８０に進み、値が「１」の場合、ステップＳ２７５に進む。

前述の通り、インデックスiが「１」では符号化ビット列には視点方向での符号化／復号順序で１番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１での視点間予測の参照として用いられる視点の視点ＩＤを示すシンタックス要素が符号化されていない。そこで、ステップＳ２７５では図１７のステップＳ２２３で復号した視点方向での符号化／復号順序で０番目の視点（最初に符号化／復号する視点）の視点ＩＤ、すなわち「view_id[0]」の値を「non_anchor_ref_l1[1][0]」の値とし、ステップＳ２８０に進む。

一方、ステップＳ２７３でインデックスｉの値が「１」より大きいと判定したときは、インデックスｊを「０」とした後（ステップＳ２７６）、インデックスｊの値が「num_non_anchor_refs_l1[i]」より小さいかどうかを判断する（ステップＳ２７７）。インデックスｊの値が「num_non_anchor_refs_l1[i]」の値以上の場合、ステップＳ２６０に進む。一方、インデックスｊの値が「num_non_anchor_refs_l1[i]」の値より小さい場合、ステップＳ２７８に進み、インデックスｊの値が「num_non_anchor_refs_l1[i]」以上になるまで、ステップＳ２７７からステップＳ２７９までの処理を繰り返す。

ステップＳ２７８では、視点方向での符号化／復号順序でi番目の視点のノンアンカーピクチャ用の参照ピクチャリスト１でのｊ番目の視点間予測野参照として用いられる視点の視点ＩＤを示すシンタックス要素「non_anchor_ref_l1[i][j]」を復号してステップＳ２７９に進む。ステップＳ２７９では、インデックスｊの値に「１」を加えて再びステップＳ２７７に進む。ステップＳ２８０では、インデックスｉの値に「１」を加えて再びステップＳ２６３に進む。

以上の図１９、及び図２０の処理手順の説明において、図１９のステップＳ２４４、Ｓ２５２、図２０のステップＳ２６４、Ｓ２７２の復号処理は、図１４の参照視点数情報復号部４０４の復号動作に相当する。また、図１９のステップＳ２４７、Ｓ２５５、図２０のステップＳ２６７、Ｓ２７５の処理は、図１４の参照視点情報生成部４０５の導出動作に相当する。更に、図１９のステップＳ２５０、Ｓ２５８、図２０のステップＳ２７０、Ｓ２７８の復号処理は、図１４の参照視点情報復号部４０６の復号動作に相当する。

再び、図１６に戻って説明する。図１８乃至図２０と共に説明した上記のステップＳ２１４の処理が完了したら図１６のシーケンス情報の符号化処理は終了である。

再び、図１５のフローチャートに戻って説明する。図１６乃至図２０と共に説明した上記のステップＳ２０５のシーケンス情報の復号処理が完了すると、ステップＳ２０８に進む。一方、ステップＳ２０６では、ピクチャの符号化に係るパラメータ情報を復号する。このステップＳ２０６の処理は、図１３の多視点画像復号装置のピクチャ情報復号部３０４での復号動作に相当する。ステップＳ２０６の復号処理が完了したらステップＳ２０８に進む。一方、ステップＳ２０７では、スライス情報及び画像信号を復号する。このステップＳ２０７の処理は、図１３の多視点画像復号装置では画像信号復号部３０５での復号動作に相当する。ステップＳ２０７の処理が完了したらステップＳ２０８に進む。

ステップＳ２０８では、復号の対象となる符号化ビット列のすべての復号処理が完了したか否かを判断する。完了している場合、本多視点画像復号処理手順が終了となる。完了していない場合、最初のステップＳ２０１に戻り、復号の対象となる符号化ビット列のすべての復号処理が完了するまでステップＳ２０１からステップＳ２０８までの処理を繰り返す。

なお、以上の説明においては、視点方向での符号化／復号順序で１番目の視点のアンカーピクチャ用、及びノンアンカーピクチャ用の参照ピクチャリスト０、及び参照ピクチャリスト１での視点間予測の参照として利用できる視点の数を示すシンタックス要素を符号化側で符号化し、復号側で復号するものとして説明したが、視点方向での符号化／復号順序で先行する視点のみを視点間予測で参照できるものとした場合、視点方向での符号化／復号順序で１番目の視点の視点間予測の際に参照できるのは０番目の視点ただ１つだけである。

従って、１番目の視点に関しては視点間予測の参照として利用できる視点の数は「０」か「１」の値をとる。視点間予測の参照として利用できる視点の数が「０」の場合、他の視点を参照せずに符号化／復号することを表し、視点間予測の参照として利用できる視点の数が「１」の場合、他の視点を参照して符号化／復号できることを表す。従って、１番目の視点に関しては、視点間予測の参照として利用できる視点の数の情報の替りに他の視点を参照するか否かの２値の情報、または視点間予測の参照として利用できる視点の数が「０」か「１」かの２値の情報を符号化側で符号化し、復号側で復号することで代用することができる。

なお、以上の説明においては、符号化、復号に用いる多視点画像は異なる視点から実際に撮影された多視点画像を符号化、復号することもできるが、実際には撮影していない仮想的な視点の位置を周辺の視点から補間する等、変換または生成された視点画像を符号化、復号することもでき、本発明に含まれる。

例えば、Ａ，Ｂ，Ｃ，Ｄの４つの視点の画像信号を備えた多視点画像信号は、（１）４つの視点の画像信号がすべて各視点で実際に撮影して得られた画像信号である場合、（２）４つの視点の画像信号がすべて各視点で仮想的に撮影したものとして生成した画像信号である場合、（３）Ａ，Ｂ視点の画像信号が各視点で実際に撮影して得られた画像信号、Ｃ，Ｄ視点の画像信号が各視点で仮想的に撮影したものとして生成した画像信号といったように、実際に撮影して得られた画像信号と仮想的に撮影したものとして生成した画像信号とが混在している場合の３つの場合が想定される。

また、コンピュータグラフィックス等の多視点画像を符号化、復号することもでき、本発明に含まれる。更に、以上の多視点画像符号化、および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明の多視点画像符号化装置の一実施の形態のブロック図である。 図１中の多視点画像符号化装置を構成するシーケンス情報符号化部１０２の一実施の形態のブロック図である。 本発明の多視点画像符号化処理説明用フローチャートである。 図３中のステップＳ１０１のシーケンス情報の符号化処理説明用フローチャートである。 図４中のステップＳ１１３の視点方向での符号化／復号順序による視点ＩＤの符号化処理説明用フローチャートである。 図４中のステップＳ１１４の視点依存情報の符号化処理説明用フローチャートである。 図６中のステップＳ１３１のアンカーピクチャの視点依存情報の符号化処理説明用フローチャートである。 図６中のステップＳ１３２のノンアンカーピクチャの視点依存情報の符号化処理説明用フローチャートである。 ネットワークを介して伝送する場合のパケット化及び送信処理説明用フローチャートである。 ８視点からなる多視点画像を符号化する際の画像間の参照依存関係の一例を示す図である。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例を示す図である。 図１１に示すシンタックス構造に基づいて、図１０に示す予測の参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例である。 多視点画像復号装置の一例のブロック図である。 図１３中の多視点画像復号装置を構成するシーケンス情報復号部３０３の一例のブロック図である。 多視点画像復号処理説明用フローチャートである。 図１５中のステップＳ２０５のシーケンス情報の復号処理説明用フローチャートである。 図１６中のステップＳ２１３の視点方向での符号化／復号順序で符号化された視点ＩＤの復号処理説明用フローチャートである。 図１６中のステップＳ２１４の視点依存情報の復号処理説明用フローチャートである。 図１８中のステップＳ２３１のアンカーピクチャの視点依存情報の復号処理説明用フローチャートである。 図１８中のステップＳ２３２のノンアンカーピクチャの視点依存情報の復号処理説明用フローチャートである。 ネットワークを介して受信する場合の受信処理説明用フローチャートである。 従来例のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例を示す図である。 符号なし指数ゴロム符号で符号化されたビット列とコード番号の関係の一例を示す図である。 図２２のシンタックス構造に基づいて、図１０に示す予測の参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を示す図である。

符号の説明

１０１ 符号化管理部
１０２ シーケンス情報符号化部
１０３ ピクチャ情報符号化部
１０４ 画像信号符号化部
１０５ 多重化部
２０１ ＭＶＣ拡張部分以外のシーケンス情報符号化部
２０２ 視点数情報符号化部
２０３ 符号化順序情報符号化部
２０４ 参照視点数情報符号化部
２０５ 参照視点情報符号化部
２０６ 視点依存情報符号化部
２０７ ＳＰＳ ＭＶＣ拡張部分符号化部
３０１ 分離部
３０２ 復号管理部
３０３ シーケンス情報復号部
３０４ ピクチャ情報復号部
３０５ 画像信号復号部
４０１ ＭＶＣ拡張部分以外のシーケンス情報復号部
４０２ 視点数情報復号部
４０３ 復号順序情報復号部
４０４ 参照視点数情報復号部
４０５ 参照視点情報生成部
４０６ 参照視点情報復号部
４０７ スイッチ
４０８ 視点依存情報復号部
４０９ ＳＰＳ ＭＶＣ拡張部分復号部

Claims (3)

1. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、
   前記各視点の画像信号の符号化において各視点の前記複数の視点間での符号化／復号順序を特定する情報を符号化する第１のステップと、
   前記複数の視点間での符号化／復号順序で最初に符号化する視点を０番目の視点、次に符号化する視点を１番目の視点とした場合に、ｉ番目（ただし、ｉは自然数）の視点において、前記各視点の画像信号の符号化の際に他の視点の復号画像信号を参照する視点間予測において参照できる０以上の視点の数の情報（ただし、０は視点間予測において参照できる視点がなく、この視点においては視点間予測を用いずに符号化することを示す。）を１番目以降の視点毎に符号化する第２のステップと、
   前記符号化／復号順序でｊ番目（ただし、ｊは２以上の自然数）に符号化する視点において、視点間予測で参照できる前記視点の数が１以上の際に、当該視点での前記視点間予測で参照する視点を特定する情報を、当該視点毎に符号化する第３のステップと
   を含むことを特徴とする多視点画像符号化方法。
2. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
   前記各視点の画像信号の符号化において各視点の前記複数の視点間での符号化／復号順序を特定する情報を符号化する第１の符号化手段と、
   前記複数の視点間での符号化／復号順序で最初に符号化する視点を０番目の視点、次に符号化する視点を１番目の視点とした場合に、ｉ番目（ただし、ｉは自然数）の視点において、前記各視点の画像信号の符号化の際に他の視点の復号画像信号を参照する視点間予測において参照できる０以上の視点の数の情報（ただし、０は視点間予測において参照できる視点がなく、この視点においては視点間予測を用いずに符号化することを示す。）を１番目以降の視点毎に符号化する第２の符号化手段と、
   前記符号化／復号順序でｊ番目（ただし、ｊは２以上の自然数）に符号化する視点において、視点間予測で参照できる前記視点の数が１以上の際に、当該視点での前記視点間予測で参照する視点を特定する情報を、当該視点毎に符号化する第３の符号化手段と、
   を有することを特徴とする多視点画像符号化装置。
3. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを、コンピュータにより生成させる多視点画像符号化プログラムであって、
   前記コンピュータに、
   前記各視点の画像信号の符号化において各視点の前記複数の視点間での符号化／復号順序を特定する情報を符号化する第１のステップと、
   前記複数の視点間での符号化／復号順序で最初に符号化する視点を０番目の視点、次に符号化する視点を１番目の視点とした場合に、ｉ番目（ただし、ｉは自然数）の視点において、前記各視点の画像信号の符号化の際に他の視点の復号画像信号を参照する視点間予測において参照できる０以上の視点の数の情報（ただし、０は視点間予測において参照できる視点がなく、この視点においては視点間予測を用いずに符号化することを示す。）を１番目以降の視点毎に符号化する第２のステップと、
   前記符号化／復号順序でｊ番目（ただし、ｊは２以上の自然数）に符号化する視点において、視点間予測で参照できる前記視点の数が１以上の際に、当該視点での前記視点間予測で参照する視点を特定する情報を、当該視点毎に符号化する第３のステップと、
   を実行させることを特徴とする多視点画像符号化プログラム。

Images