JP2009100070A - 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム - Google Patents

Abstract

【課題】多視点画像の符号化において、視点間予測を行わずに多視点画像を符号化する場合、視点間の依存関係を示す視点依存情報の符号化を行わないことで、冗長な符号量を削減する。
【解決手段】シーケンス情報符号化部２０１は、ＭＶＣ拡張部分以外のシーケンス情報、即ちＡＶＣ／Ｈ.２６４方式でのＳＰＳを符号化する。視点数情報符号化部２０２、符号化順序情報符号化部２０３、視点間予測情報符号化部２０４、及び視点依存情報符号化部２０５は、シンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を符号化する。視点間予測情報符号化部２０４は、視点間予測を用いて符号化するかどうかを示す視点間予測情報を符号化する。視点間予測を用いて符号化する場合のみ、視点依存情報符号化部２０５で視点依存情報を符号化する。
【選択図】図２

Description

本発明は多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムに係り、特に異なる視点から撮影された多視点画像を符号化して多視点画像符号化データを生成する多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムに関する。

＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置、システムが、普及している。

１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、光ディスクであるＤＶＤ（Digital Versatile Disk）や、Ｄ−ＶＨＳ（登録商標）規格のディジタルＶＴＲによる磁気テープなどの蓄積メディアや、ディジタル放送等のアプリケーションとして広く用いられている。

また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。

更に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）が共同でＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）を組織し、共同作業によって２００３年に、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。

ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＰピクチャ（順方向予測符号化画像）では、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行っていた。これに対して、ＡＶＣ／Ｈ.２６４符号化方式では、Ｐピクチャ及びＢピクチャは複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＢピクチャは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、もしくはその２枚の参照ピクチャを同時に参照し、２つのピクチャの平均値を予測ピクチャとし、対象ピクチャと予測ピクチャの差分データを符号化していた。

一方、ＡＶＣ／Ｈ.２６４符号化方式では、Ｂピクチャは表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照可能となった。さらに、Ｂピクチャを参照ピクチャとして参照することも可能となっている。ＰピクチャやＢピクチャの時間方向のインター予測（動き補償予測）において、複数の参照ピクチャの候補から実際にどの参照ピクチャを参照しているかを指定するために参照ピクチャリストが定義されている。参照ピクチャは参照ピクチャリストに登録され、その特定はインデックスにより指定する。このインデックスは参照インデックスと呼ばれる。また、参照ピクチャリストは参照ピクチャリスト０と参照ピクチャリスト１が定義されており、Ｐスライスは参照ピクチャリスト０に登録されている参照ピクチャのみを参照してインター予測を行うことが可能であり、Ｂスライスは参照ピクチャリスト０、参照ピクチャリスト１の両方のリストに登録されている参照ピクチャを参照してインター予測を行うことが可能である。

更に、ＭＰＥＧ−２ビデオではピクチャ、ＭＰＥＧ−４ではビデオ・オブジェクト・プレーン（ＶＯＰ）を１つの単位として、ピクチャ（ＶＯＰ）毎の符号化モードが決められていたが、ＡＶＣ／Ｈ.２６４符号化方式では、スライスを符号化の単位としており、１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライス等異なるスライスを混在させる構成にすることも可能となっている。

更に、ＡＶＣ／Ｈ.２６４符号化方式ではビデオの画素信号（符号化モード、動きベクトル、ＤＣＴ係数等）の符号化／復号処理を行うＶＣＬ（Video Coding Layer;ビデオ符号化層）と、ＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）が定義されている。

ＡＶＣ／Ｈ.２６４符号化方式で符号化された符号化ビット列はＮＡＬの一区切りであるＮＡＬユニットを単位として構成される。ＮＡＬユニットはＶＣＬで符号化されたデータ（符号化モード、動きベクトル、ＤＣＴ係数等）を含むＶＣＬ ＮＡＬユニットと、ＶＣＬで生成されたデータを含まないｎｏｎ−ＶＣＬ ＮＡＬユニットがある。ｎｏｎ−ＶＣＬ ＮＡＬユニットにはシーケンス全体の符号化に関わるパラメータ情報が含まれているＳＰＳ（シーケンス・パラメータ・セット）や、ピクチャの符号化に関わるパラメータ情報が含まれているＰＰＳ（ピクチャ・パラメータ・セット）、ＶＣＬで符号化されたデータの復号に必須ではないＳＥＩ（補足付加情報）等がある。

それぞれのＮＡＬユニットのヘッダ部（先頭部）には常に”０”の値を持つフラグ（forbidden_zero_bit）、ＳＰＳ、またはＰＰＳ、または参照ピクチャとなるスライスが含まれているかどうかを見分ける識別子（nal_ref_idc）、ＮＡＬユニットの種類を見分ける識別子（nal_unit_type）が含まれる。nal_unit_typeは、ＶＣＬ ＮＡＬユニットの場合、”１”から”５”のいずれかの値を持つように規定されており、ｎｏｎ−ＶＣＬ ＮＡＬユニットの場合、例えばＳＥＩが”６”、ＳＰＳが”７”、ＰＰＳが”８”の値を持つように規定されている。復号側ではＮＡＬユニットの種類はＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子であるnal_unit_typeで識別することができる。

また、ＡＶＣ／Ｈ.２６４符号化方式における符号化の基本の単位はピクチャを分割したスライスであり、ＶＣＬ ＮＡＬユニットはスライス単位となっている。そこで、いくつかのＮＡＬユニットを纏めたアクセス・ユニットと呼ばれる単位が定義されており、１アクセス・ユニットに１つの符号化されたピクチャが含まれている。

＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、及び右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されている。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。

そこで、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている（例えば、特許文献１参照）。この特許文献１に記載された立体テレビジョン画像伝送方式では、小領域毎に他方の画像での相関の高い相対位置を求め、その位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １３８１８−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。

また、３台以上のカメラで撮影された多視点画像に対して動き補償予測、視差補償予測を用いて情報量を抑える手法が提案されている（例えば、特許文献２参照）。この特許文献２に記載された画像高能率符号化方式は複数の視点の参照ピクチャとのパターンマッチングを行い、誤差が最小となる動き補償／視差補償予測画像を選択することにより、符号化効率を向上させている。

また、ＪＶＴではＡＶＣ／Ｈ.２６４符号化方式を多視点画像に拡張した多視点画像符号化（ＭＶＣ：Multiview Video Coding（以下、ＭＶＣ方式と呼ぶ））の標準化作業が進んでおり、現時点では規格の草案であるＪＤ４.０（Joint Draft 4.0）を最新版として発行している（例えば、非特許文献１参照）。上記のＭＰＥＧ−２ビデオ・マルチビュープロファイルと同様に、このＭＶＣ方式でも視点間の予測を取り入れることで、符号化効率を向上させている。

ここで、ＭＶＣ方式で多視点画像の各視点の画像を符号化、及び符号化された符号化ビット列を復号する際の視点間、及び視点画像を構成する符号化対象画像間の参照依存関係について８視点の場合を例にとって説明する。図２７は８視点からなる多視点画像を符号化する際の画像間の参照依存関係の一例を示す図であり、横軸は撮影（表示）順序での時間を示している。Ｐ（ｖ，ｔ）（視点ｖ＝０，１，２，・・・；時間ｔ＝０，１，２，・・・）は時間ｔにおける視点ｖの画像である。また、矢印の終点で指し示す画像が符号化／復号する画像で、その符号化／復号する画像を符号化／復号する際に時間方向のインター予測や視点間予測で参照する参照ピクチャは矢印の始点で指し示す画像である。更に、符号化／復号する画像を符号化／復号する際に時間方向のインター予測で参照する参照ピクチャは横方向の矢印の始点で指し示す画像であり、視点間予測で参照する参照ピクチャは縦方向の矢印の始点で指し示す画像である。

視点０の画像Ｐ（０，ｔ）は、すべて他の視点の画像を参照せず、時間方向のインター予測（動き補償予測）を用いて通常のＡＶＣ／Ｈ.２６４と同様に符号化／復号する。また、視点０以外の視点（視点１〜７）では他の視点の復号画像から予測する視点間予測（視差補償予測）を用いている。例えば、視点２の画像Ｐ（２，０）は他の視点である視点０の画像Ｐ（０，０）の復号画像を参照ピクチャとし、視点間予測を用いて、符号化／復号する。また、視点１の画像Ｐ（１，０）は他の視点である視点０の画像Ｐ（０，０）と視点２の画像Ｐ（２，０）の各復号画像を参照ピクチャとし、視点間予測を用いて、符号化／復号する。

視点間の予測を取り入れるに際しては、ＡＶＣ／Ｈ．２６４方式で既に定義されている参照ピクチャリストに、時間方向のインター予測（動き補償予測）に用いる参照ピクチャに加えて視点間予測に用いる参照ピクチャも登録できるように拡張することで対応している。

更に、ＭＶＣ方式は、符号化される多視点画像の視点数や、視点間方向の符号化／復号順序、視点間予測によってもたらされる各視点間の参照依存関係をシーケンス全体として符号化する仕組みを持っており、シーケンス情報のパラメータセットであるＳＰＳ（シーケンス・パラメータ・セット）を拡張することにより符号化を行う。ＳＰＳのＭＶＣ拡張部分のシンタックス構造を図２８を用いて説明する。図２８に示すシンタックス構造はＪＤ４.０で定義されているもので、「seq_parameter_set_mvc_extension」はＳＰＳに含まれるＭＶＣのための拡張である。

図２８において、「num_views_minus1」は符号化する多視点画像の視点数を符号化するためのパラメータであり、視点数から「１」を引いた値である。「view_id[i]」はｉによって指し示す視点方向での符号化順序での視点の視点ＩＤを示す。すなわち、視点方向での符号化／復号順序がi番目の視点の視点ＩＤを示す。続くシンタックス要素は視点間の依存関係を示す視点依存情報である。「num_anchor_refs_l0[i]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のアンカーピクチャのための参照ピクチャリスト０用に利用できる視点予測で参照できる視点の数である。

ここで、アンカーピクチャは復号時に異なる表示時刻の画像を参照ピクチャとして参照せずに復号することのできる画像である。アンカーピクチャの復号時に参照ピクチャとして用いることができるのは同時刻の他の視点のアンカーピクチャだけである。従って、アンカーピクチャは時間方向のインター予測を用いることはできない。例えば、図２７に示す参照依存関係で符号化する場合は、Ｐ（０，０）、Ｐ（１，０）、Ｐ（２，０）、Ｐ（０，４）、Ｐ（１，４）、Ｐ（２，４）などがアンカーピクチャである。

また、図２８の「anchor_ref_l0[i][j]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のアンカーピクチャ用に、初期化された参照ピクチャリスト０のｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。「num_anchor_refs_l1[i]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のアンカーピクチャのための参照ピクチャリスト１用に利用できる視点間予測で参照できる視点の数である。「anchor_ref_l1[i][j]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のアンカーピクチャ用に、初期化された参照ピクチャリスト１のｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。

また、「num_non_anchor_refs_l0[i]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のノンアンカーピクチャのための参照ピクチャリスト０用に利用できる視点間予測で参照できる視点の数である。ここで、ノンアンカーピクチャはアンカーピクチャを除く画像である。ノンアンカーピクチャの復号時に異なる表示時刻の画像を参照ピクチャとして参照することもできる。従って、時間方向のインター予測を用いることも可能である。例えば、図２７では、Ｐ（０，１）、Ｐ（１，１）、Ｐ（２，１）、Ｐ（０，２）、Ｐ（１，２）、Ｐ（２，２）などがノンアンカーピクチャである。

また、図２８の「non_anchor_ref_l0[i][j]」は、view_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用に、初期化された参照ピクチャリスト０のｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。また、「num_non_anchor_refs_l1[i]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のノンアンカーピクチャのための参照ピクチャリスト１用に利用できる視点間予測で参照できる視点の数である。更に、「non_anchor_ref_l1[i][j]」はview_id[i]に等しい視点ＩＤを持つ視点、すなわち視点方向の符号化／復号順序でｉ番目の視点のノンアンカーピクチャ用に、初期化された参照ピクチャリスト０のｊ番目の視点間予測の参照として用いられる視点の視点ＩＤの値を示す。また、各シンタックス要素は指数ゴロム符号化（expothetical Golomb coding）と呼ばれる手法で符号無しで符号化される。

ここで用いる指数ゴロム符号化はユニバーサル符号化の一種で、変換テーブルを用いずに可変長符号化する方式である。指数ゴロム符号はprefixと呼ばれる“０”が連続したビット列の後に１ビットの“１”が続き、suffixと呼ばれる“０”又は“１”が連続したprefixのビット数と同じビット数のビット列が続く。prefixのビット数をｎとし、suffixの値をｓとすると、符号無し指数ゴロム符号で符号化されたビット列の値νは次式で導き出される。

ν＝２ⁿ−１＋ｓ （１）
符号なし指数ゴロム符号で符号化されたビット列とコード番号の関係を図２９に示す。例えば、これから復号するビット列が“0001010”の場合、最初に“０”が３つ連続するので、prefixのビット数ｎは「３」となる。次に続く“１”を省き、prefixのビット数３ビットに相当するsuffixのビット列は“０１０”であるので、このsuffixの値ｓは１０進数で「２」である。従って、（１）式により、このビット列のコード番号νは９（＝２^３−１＋２）となる。

また、ＭＶＣ方式で定義されている図２８に示すシンタックス構造に従って、８視点からなる多視点画像を図２７に示す参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を図３０に示す。まず、図２７に示す多視点画像の視点数は８視点であるので、「num_views_minus1」は「７」が符号無し指数ゴロム符号で符号化される。その際のビット列は“0001000”となり、７ビットである。次に、同一時刻での視点の符号化順序は視点０、視点２、視点１、視点４、視点３、視点６、視点５、視点７の順で符号化されるので、まず、「view_id[0]」の値は視点０の視点ＩＤである「０」が符号無し指数ゴロム符号で符号化され、その際のビット列は“１”となり、１ビットである。同様に、「view_id[1]」の値は視点２の視点ＩＤである「２」が符号化されてビット列は“０１１”となり、「view_id[2]」の値は視点１の視点ＩＤである「１」が符号化されてビット列は“０１０”となる。以下の「view_id[3]」から「view_id[7]」も同様に符号化される。

続いて、視点依存情報のシンタックス要素が符号化される。まず、視点０は他の視点を参照しないので、「num_anchor_refs_l0[0]」、「num_anchor_refs_l1[0]」の値は「０」が符号化される。視点０に続いて符号化される視点２のアンカーピクチャの符号化の際には視点０を参照するので、視点間予測で参照する視点の数が１つであるので、「num_anchor_refs_l0[1]」の値は「１」が符号化され、「anchor_ref_l0[1][0]」は参照する視点０の視点ＩＤの値である「０」が符号化される。続く以下のシンタックス要素も同様に符号化される。

符号化側でシーケンス全体として前記パラメータ、すなわち、視点数、及び各視点の視点依存情報を符号化することにより、復号側ではシーケンス全体として、各視点の参照依存関係を判別することができる。各視点の参照依存情報は視点間予測ピクチャのための参照ピクチャリストの初期化等の復号処理に用いる。

特開昭６１-１４４１９１号公報 特開平６−９８３１２号公報 Joint Draft 4.0 on Multiview Video Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-X209, July 2007

ＭＶＣ方式では、多くの視点数を有する多視点画像を符号化する場合は時間方向の冗長性を利用した時間方向のインター予測（動き補償予測）や、空間方向の冗長性を利用した直交変換に加えて、視点間の冗長性を利用した視点間予測（視差補償予測）を用いて符号化圧縮することで、より符号化効率を向上させることができる。

一方、多視点画像信号が符号化された符号化ビット列から必ずしも全ての視点の画像を復号する必要はなく、必要な視点だけを復号するなど、視点のアクセスが容易であることが重要なアプリケーションも存在する。しかしながら、視点間予測を用いて符号化圧縮した符号化ビット列から所望の視点の画像を取得する際には、当該視点以外に視点間予測の参照ピクチャとなる視点の画像を復号してから当該画像を復号しなければならない。そこで、視点のアクセスを優先するアプリケーション用途として、視点間予測を用いずに符号化する場合もある。

従来のＭＶＣ方式では視点間予測を用いて符号化することが前提となっており、視点間予測を用いずに符号化する際にも視点依存情報として各視点の視点間予測に用いる視点の数を０として符号化しており、冗長であった。

本発明は以上の点に鑑みてなされたもので、視点間予測を行わずに符号化する場合において冗長な符号量を削減する多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムを提供することを目的とする。

上記目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、
各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す視点間予測情報を符号化する第１のステップと、他の視点の復号画像信号を参照して符号化する画像がある場合には、視点間の依存関係を示す視点依存情報を符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には視点依存情報を符号化しない第２のステップと、符号化対象の各視点の画像信号を、他の視点の復号画像信号を参照して符号化する画像がある場合には視点依存情報の値に従い符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には他の視点の復号画像信号を参照せずに符号化する第３のステップと、を含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す視点間予測情報を符号化する第１の符号化手段と、他の視点の復号画像信号を参照して符号化する画像がある場合には、視点間の依存関係を示す視点依存情報を符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には視点依存情報を符号化しない第２の符号化手段と、符号化対象の各視点の画像信号を他の視点の復号画像信号を参照して符号化する画像がある場合には視点依存情報の値に従い符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には他の視点の復号画像信号を参照せずに符号化する第３の符号化手段と、を有することを特徴とする。

更に、上記の目的を達成するため、第３の発明は、第１の発明の各ステップをコンピュータにより実行させる多視点画像符号化プログラムであることを特徴とする。

これらの発明では、多視点画像の符号化の際に、視点間の予測を用いて符号化されるかどうかを示す視点予測情報を符号化し、視点間の予測を用いて符号化される場合にのみ各視点の視点依存情報を符号化し、視点間の予測を用いずに符号化されている場合には視点依存情報を符号化しないことを特徴とする。

本発明によれば、多視点画像の復号側において、視点間の予測を用いて符号化されるかどうかを示す視点間予測情報を復号した値に基づいて、視点依存情報を復号することなく、視点間の予測が使われていないことを判断させることができ、視点間の予測が使われていない場合は視点毎に独立して復号させることができるので処理量を削減でき、また、各視点毎の視点依存情報が符号化されていないので、生成する符号化ビット列の符号量も削減できる。

以下、図面と共に本発明の実施の形態を説明する。

（多視点画像符号化装置及び多視点画像符号化方法）
まず、本発明になる多視点画像符号化装置の一実施の形態について説明する。図１は本発明になる多視点画像符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の多視点画像符号化装置は、符号化管理部１０１、シーケンス情報符号化部１０２、ピクチャ情報符号化部１０３、画像信号符号化部１０４、多重化１０５を備え、入力される多視点画像信号を符号化して符号化データ（符号化ビット列）を出力する。ここで、上記の多視点画像信号は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、その一の視点から実際に撮影して得られた画像信号、又はその一の視点から仮想的に撮影したものとして生成した画像信号である。

本実施の形態の多視点画像符号化装置の説明においては、ＡＶＣ／Ｈ.２６４符号化方式を多視点画像に拡張したＭＶＣ方式による多視点画像符号化装置として説明する。

ＭＶＣ方式は視点間の予測を取り入れて符号化することで、符号化効率を向上させている。一方、多視点画像信号が符号化された符号化ビット列から必ずしも全ての視点の画像を復号する必要はなく、必要な視点だけを復号するなど、視点のアクセスが容易であることが重要なアプリケーションも存在する。しかしながら、視点間予測を用いて符号化圧縮した符号化ビット列から所望の視点の画像を取得する際には、当該視点以外に視点間予測の参照ピクチャとなる視点の画像を復号してから当該画像を復号しなければならない。そこで、視点のアクセスを優先するアプリケーション用途として、視点間予測を用いずに符号化することも多い。

ここで、ＭＶＣ方式で多視点画像の各視点の画像を視点間予測を用いずに符号化、及び符号化された符号化ビット列を復号する際の画像間の参照依存関係について８視点の場合を例にとって説明する。図１０は８視点からなる多視点画像を視点間予測を用いずに符号化する際の画像間の参照依存関係の一例を示す図であり、図２７と同様に、横軸は撮影（表示）順序での時間を示している。Ｐ（ｖ，ｔ）（視点ｖ＝０，１，２，・・・；時間ｔ＝０，１，２，・・・）は時間ｔにおける視点ｖの画像である。また、矢印の終点で指し示す画像が符号化／復号する画像で、その符号化／復号する画像を符号化／復号する際に時間方向のインター予測で参照する参照ピクチャは矢印の始点で指し示す画像である。

ＭＶＣ方式で定義されている図２８に示すシンタックス構造に従って、８視点の多視点画像を図１０に示す参照依存関係のように視点間予測を用いずに符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を図１１に示す。

まず、図１０に示す多視点画像の視点数は８視点であるので、図１１に示すように、「num_views_minus1」は「７」が符号無し指数ゴロム符号で符号化される。その際のビット列は“000100”となり、７ビットである。次に、同一時刻での視点の符号化／復号順序は視点０、視点１、視点２、視点３、視点４、視点５、視点６、視点７の順で符号化されるものとし、まず、「view_id[0]」の値は視点０の視点ＩＤである「０」が符号無し指数ゴロム符号で符号化され、その際のビット列は“１”となり、１ビットである。続いて、「view_id[1]」の値は視点１の視点ＩＤである「１」が符号化されてビット列は“０１０”となり、「view_id[2]」の値は視点２の視点ＩＤである「２」が符号化されてビット列は“０１１”となる。以下の「view_id[3]」から「view_id[7]」も同様に符号化される。

続いて、視点依存情報のシンタックス要素が符号化される。ここで符号化される多視点画像は視点間予測を用いずに符号化されるので、どの視点においてもアンカーピクチャ／ノンアンカーピクチャ、参照ピクチャリスト０／参照ピクチャリスト１を問わず他の視点を参照しないので、すべての視点において「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」の値は「０」が符号化される。従って、ＭＶＣ方式で定義されている図２８に示すシンタックス構造に従って、８視点の多視点画像を視点間予測を用いずに符号化する場合、視点依存情報に関するシンタックス要素を符号化した結果は図１１に示すように“１”が３２個連続したビット列となる。

すなわち、前述したように、ＭＶＣ方式は視点間予測を用いずに符号化する際の特別な仕組みが無く、視点間予測を用いずに符号化する際にも視点依存情報として各視点の視点間予測に用いる視点の数を視点毎に符号化する必要があり、そのために図１１に示すように視点数に４を乗じた数（ここでは、３２）の“１”が連続したビット列となり、冗長となる。そこで、本発明では、ＭＶＣ方式に視点間予測を用いずに符号化する際の冗長性を削減する仕組みを導入する。

次に、本発明になる図１の多視点画像符号化装置で符号化することにより生成される符号化ビット列のシンタックス構造について説明する。図１２は本発明になるＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造を示す図である。従来例の図２８のシンタックス構造と比較すると、１ビットのシンタックス要素「inter_view_pred_flag」が追加されており、「inter_view_pred_flag」の値に応じて、視点依存情報であるシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」を符号化するか否かを決定する構造になっている点が異なる。

上記のシンタックス要素「inter_view_pred_flag」は、多視点画像を符号化する際に、各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す情報であり、視点間予測を用いるか否かを示す１ビットの２値のフラグである。このシンタックス要素「inter_view_pred_flag」の値が「１」の場合、視点間予測を用いて符号化されていることを示す。

この場合、従来と同様に、視点依存情報であるシンタックス要素が符号化される。すなわち、「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」がそれぞれ符号化され、それぞれの値が「１」以上の場合は「anchor_ref_l0[i][j]」、「anchor_ref_l1[i][j]」、「non_anchor_ref_l0[i][j]」、「non_anchor_ref_l1[i][j]」も符号化される。

一方、上記のシンタックス要素「inter_view_pred_flag」の値が「０」の場合、視点間予測を用いずに符号化されていることを示す。その場合、視点依存情報であるシンタックス要素は符号化されない。すなわち、すべての視点の「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」の値を「０」とみなす。

図１３は、本実施の形態の図１２に示すシンタックス構造に従って、８視点の多視点画像を図１０に示す参照依存関係のように視点間予測を用いずに符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を示す。多視点画像を視点間予測を用いずに符号化する場合に関しては、ＭＶＣ方式で定義されている図２８に示すシンタックス構造に従えば、視点依存情報として各視点の視点間予測に用いる視点の数を視点毎に符号化する必要があり、そのために図１１に示すように視点数に「４」を乗じた数の“１”が連続したビット列となり、冗長となる。

これに対し、本実施の形態の図１２に示すシンタックス構造に従って視点間予測を用いずに符号化した場合は、視点依存情報は図１３に示すように１ビットのシンタックス要素「inter_view_pred_flag」のフラグのみで代用することができる。従って、本実施の形態のシンタックス構造によれば、生成される符号化ビット列の符号量が大きく削減され、視点依存情報を符号化／復号することなく済ませることができ、洗練されたものとなる。

次に、図１の実施の形態の多視点画像符号化装置の動作について説明する。図１において、まず、符号化管理部１０１は、外部から設定された符号化パラメータをもとに、必要に応じて新たにパラメータを計算し、シーケンス全体に関連するパラメータ情報（ＳＰＳ）、ピクチャに関連するパラメータ情報（ＰＰＳ）、ピクチャのスライスに関連するヘッダ情報（スライスヘッダ）等を含む符号化に関する管理を行う。さらに、符号化管理部１０１は撮影／表示時間順に入力された視点画像Ｍ（０）、Ｍ（１）、Ｍ（２）、・・・を構成する各符号化対象画像の参照依存関係、符号化／復号順序を管理する。

参照依存関係については、視点単位で他の視点の復号画像を参照するか否かを管理するとともに、ピクチャまたはスライス単位で、符号化対象画像を符号化する際に他の視点の復号画像を参照画像として用いる視点間予測（視差補償予測）を行うか否か、符号化対象画像を符号化後に復号して得られる復号画像が他の視点の符号化対象画像を符号化する際に参照画像として用いられるか否か、複数ある参照画像の候補の中からどの参照画像を参照するかについて管理する。また、符号化／復号順序については、前記参照依存関係において、復号側で、復号する符号化ビット列の画像が参照する参照画像が復号された後に復号を開始できるように符号化／復号順序を管理する。

次に、シーケンス情報符号化部１０２は、符号化管理部１０１で管理されるシーケンス全体に関連するパラメータ情報（ＳＰＳ）を符号化する。ここでは、図１２に示すシンタックス構造に従ってＳＰＳのＭＶＣ拡張部分も符号化する。

図２はシーケンス情報符号化部１０２の一実施の形態のブロック図を示す。図２に示すように、シーケンス情報符号化部１０２は、シーケンス情報符号化部２０１、視点数情報符号化部２０２、符号化順序情報符号化部２０３、視点間予測情報符号化部２０４、及び視点依存情報符号化部２０５から構成される。シーケンス情報符号化部２０１は、ＭＶＣ拡張部分以外のシーケンス情報、即ちＡＶＣ／Ｈ.２６４方式でのＳＰＳ（シーケンス・パラメータ・セット）を符号化する。

一方、視点数情報符号化部２０２、符号化順序情報符号化部２０３、視点間予測情報符号化部２０４、及び視点依存情報符号化部２０５は、図１２に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を符号化する。まず、視点数情報符号化部２０２は、視点数の情報としてシンタックス要素「num_views_minus1」を符号化する。次に、符号化順序情報符号化部２０３は、視点方向の符号化／復号順序の情報としてシンタックス要素「view_id[i]」を視点方向の符号化／復号順序で符号化する。

次に、視点間予測情報符号化部２０４は、視点間予測を用いて符号化するかどうかを示す視点間予測情報として１ビットのシンタックス要素「inter_view_pred_flag」を符号化する。さらに、視点間予測を用いて符号化する場合は、視点依存情報符号化部２０５で視点依存情報として前述したシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i]
[j]」を符号化する。

再び図１に戻って説明する。ピクチャ情報符号化部１０３は、符号化管理部１０１で管理されるピクチャに関連する情報（ＰＰＳ）を符号化する。また、画像信号符号化部１０４は、符号化管理部１０１で管理されるスライスに関連する情報（スライスヘッダ）及び供給される符号化対象の画像信号をスライス単位で符号化する。画像信号を符号化する際には視点間予測を用いることもあるが、その際には前記視点依存情報に基づいて視点間予測の参照画像を選択する。

多重化部１０５は、シーケンス情報符号化部１０２で符号化して得られたシーケンス情報の符号化ビット列と、ピクチャ情報符号化部１０３で符号化して得られたピクチャ情報の符号化ビット列と、画像信号符号化部１０４で符号化して得られたスライス情報及び画像信号の符号化ビット列とをそれぞれ多重化し、多視点画像の符号化ビット列とする。

次に、図１に示した本実施の形態の多視点画像符号化装置による多視点画像符号化処理手順について、図３のフローチャートを参照して説明する。各ステップの処理動作については図１、及び図２のブロック図を用いて説明したものと同じであるので、ここでは図１、及び図２と対応付けることで、処理手順のみを説明する。

まず、シーケンス全体の符号化に関わるパラメータ情報を符号化し、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列を生成する（ステップＳ１０１）。このステップＳ１０１の処理は、図１の多視点画像符号化装置ではシーケンス情報符号化部１０２での符号化動作に相当する。

この、ステップＳ１０１のシーケンス情報の符号化処理手順の一例について図４のフローチャートと共に更に詳細に説明する。まず、シーケンス情報符号化部１０２は、ＭＶＣ拡張部分以外のシーケンス情報を符号化する（ステップＳ１１１）。このステップＳ１１１の処理は、図２のシーケンス情報符号化部１０２では、ＭＶＣ拡張部分以外のシーケンス情報符号化部２０１での符号化動作に相当する。

続いて、視点数の情報を符号化する（ステップＳ１１２）。このステップＳ１１２の処理は、図２のシーケンス情報符号化部１０２では、視点数情報符号化部２０２での符号化動作に相当する。続いて、視点方向の符号化／復号順序で各視点の視点ＩＤの情報を符号化する（ステップＳ１１３）。このステップＳ１１３の処理は、図２のシーケンス情報符号化部１０２では、符号化順序情報符号化部２０３での符号化動作に相当する。

この、ステップＳ１１３の視点方向の符号化／復号順序での視点ＩＤの符号化処理手順の一例について図５のフローチャートと共に更に詳細に説明する。まず、変数iを０とする（ステップＳ１２１）。続いて、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ１２２）。変数iの値が（視点数−１）以下でない場合、符号化処理を終了する。変数iの値が（視点数−１）以下の場合、ステップＳ１２３に進み、変数iの値が（視点数−１）以下でなくなるまで、ステップＳ１２３とステップＳ１２４の処理を繰り返す。ステップＳ１２３では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素 「view_id[i]」を符号化する。続いて、ステップＳ１２４では、変数iに「１」を加えて再びステップＳ１２２に進む。

再び、図４のフローチャートに戻って説明する。上記のステップＳ１１３の処理に続いて、ステップＳ１１４では、視点間予測を用いて符号化するかどうかを示す情報を符号化する。このステップＳ１１４の処理は、図２のシーケンス情報符号化部１０２では、視点間予測情報符号化部２０４での符号化動作に相当する。続いて、視点間予測を用いて符号化するかどうかを判断し（ステップＳ１１５）、視点間予測を用いて符号化する場合は、ステップＳ１１６により視点依存情報を符号化し、視点間予測を用いずに符号化する場合は、視点依存情報を符号化せずにシーケンス情報の符号化処理を終了する。このステップＳ１１６の処理は、図２のシーケンス情報符号化部１０２では、視点依存情報符号化部２０５での符号化動作に相当する。

この、ステップＳ１１６の視点依存情報の符号化処理手順の一例について図６のフローチャートと共に更に詳細に説明する。ステップＳ１１６の視点依存情報の符号化処理では、アンカーピクチャの視点依存情報を符号化した後（ステップＳ１３１）、ノンアンカーピクチャの視点依存情報を符号化する（ステップＳ１３２）。このステップＳ１３２の処理が完了したら図６の視点依存情報の符号化処理は終了である。

上記のステップＳ１３１のアンカーピクチャの視点依存情報の符号化処理手順の一例について図７のフローチャートと共に更に詳細に説明する。まず、変数iを０とし（ステップＳ１４１）、続いて、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ１４２）。変数iの値が（視点数−１）以下でない場合、アンカーピクチャの視点依存情報の符号化処理を終了する。変数iの値が（視点数−１）以下の場合、ステップＳ１４３に進み、変数iの値が（視点数−１）以下でなくなるまで、ステップＳ１４３からステップＳ１５３までの処理を繰り返す。

ステップＳ１４３では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_anchor_refs_l0[i]」を符号化する。続いて、ステップＳ１４４では、変数ｊを「０」とする。続いて、ステップＳ１４５では変数ｊの値が「num_anchor_refs_l0[i]」より小さいかどうかを判断し、変数ｊの値が「num_anchor_refs_l0[i]」の値以上の場合、ステップＳ１４８に進む。一方、変数ｊの値が「num_anchor_refs_l0[i]」の値より小さい場合、変数ｊの値が「num_anchor_refs_l0[i]」の値以上になるまで、ステップＳ１４５からステップＳ１４７までの処理を繰り返す。ステップＳ１４６では視点方向の符号化／復号順序でi番目の視点の参照画像リスト０のインデックスがｊのシンタックス要素「anchor_ref_l0[i][j]」を符号化してステップＳ１４７に進む。ステップＳ１４７では変数ｊに「１」を加えて再びステップＳ１４５に進む。

上記のステップＳ１４８では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_anchor_refs_l1[i]」を符号化する。続くステップＳ１４９では、変数ｊを「０」とする。続くステップＳ１５０では変数ｊの値が「num_anchor_refs_l1[i]」より小さいかどうかを判断する。変数ｊの値が「num_anchor_refs_l1[i]」以上の場合、ステップＳ１５３に進み、変数ｉに「１」を加えて再びステップＳ１４２に進む。一方、変数ｊの値が「num_anchor_refs_l1[i]」より小さい場合、ｊの値がnum_anchor_refs_l1[i]以上になるまで、ステップＳ１５０からステップＳ１５２までの処理を繰り返す。ステップＳ１５１では、視点方向の符号化／復号順序でi番目の視点の参照画像リスト１のインデックスがｊのシンタックス要素「anchor_ref_l1[i][j]」を符号化してステップＳ１５２に進む。ステップＳ１５２では、変数ｊに「１」を加えて再びステップＳ１５０に進む。

次に、図６のステップＳ１３２のノンアンカーピクチャの視点依存情報の符号化処理手順の一例について図８のフローチャートと共に更に詳細に説明する。まず、変数iを「０」とした後（ステップＳ１５４）、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ１５５）。変数iの値が（視点数−１）以下でない場合、ノンアンカーピクチャの視点依存情報の符号化処理を終了する。変数iの値が（視点数−１）以下の場合、ステップＳ１５６に進み、変数iの値が（視点数−１）以下でなくなるまで、ステップＳ１５５からステップＳ１６６までの処理を繰り返す。

ステップＳ１５６では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l0[i]」を符号化する。続くステップＳ１５７で変数ｊの値を「０」とした後、ステップＳ１５８で変数ｊの値が視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l0[i]」より小さいかどうかを判断する。変数ｊの値が上記のシンタックス要素「num_non_anchor_refs_l0[i]」以上の場合、ステップＳ１６１に進み、変数ｊの値が上記のシンタックス要素「num_non_anchor_refs_l0[i]」より小さい場合、ステップＳ１５９に進み、変数ｊの値が「num_non_anchor_refs_l0[i]」以上になるまで、ステップＳ１５８からステップＳ１６０までの処理を繰り返す。

ステップＳ１５９では視点方向の符号化／復号順序でi番目の視点の参照画像リスト０のインデックスがｊのシンタックス要素「anchor_ref_l0[i][j]」を符号化して、ステップＳ１６０に進む。ステップＳ１６０では変数ｊに「１」を加えて再びステップＳ１５８に進む。

ステップＳ１６１では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l1[i]」を符号化する。続くステップＳ１６２で変数ｊを０とし、続くステップＳ１６３では変数ｊの値が上記の視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l1[i]」より小さいかどうかを判断する。変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」以上の場合、ステップＳ１６６に進み変数ｉに「１」を加えてステップＳ１５５に戻る。

一方、変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」より小さい場合、ステップＳ１６４に進み、変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」の値以上になるまで、ステップＳ１６３からステップＳ１６５までの処理を繰り返す。ステップＳ１６４では視点方向の符号化／復号順序でi番目の視点の参照画像リスト１のインデックスがｊのシンタックス要素「non_anchor_ref_l1[i][j]」を符号化して、ステップＳ１６５に進む。ステップＳ１６５では変数ｊに「１」を加えて再びステップＳ１６３に進む。

再び、図４のフローチャートに戻って説明する。ステップＳ１１６の処理が完了したら図４のシーケンス情報の符号化処理は終了である。

再び、図３のフローチャートに戻って説明する。上記の図４乃至図８のフローチャートと共に説明したステップＳ１０１の処理が完了すると、ステップＳ１０２に進む。ステップＳ１０２では、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列を多重化し、多重化された符号化ビット列を得る。このステップＳ１０２の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

次のステップＳ１０３では、ピクチャの符号化に関わるパラメータ情報等を符号化し、ピクチャの符号化に係わるパラメータ情報の符号化ビット列を生成する。このステップＳ１０３の処理は、図１の多視点画像符号化装置ではピクチャ情報符号化部１０３での符号化動作に相当する。

続いて、ステップＳ１０４では、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列を多重化し、多重化された符号化ビット列を得る。このステップＳ１０４の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

続いて、ステップＳ１０５では、スライス情報及び、画像信号を符号化する。このステップＳ１０５の処理は、図１の多視点画像符号化装置では画像信号符号化部１０４での処理動作に相当する。

続いて、ステップＳ１０６では、ステップＳ１０２、ステップＳ１０４で多重化されたビット列に続いて、復号画像出力順番号ｏ、符号化モード、及び、動きベクトルまたは視差ベクトル、符号化残差信号等の符号化ビット列を必要に応じて一つの符号化ビット列、または複数の符号化ビット列に適宜多重化する。このステップＳ１０６の処理は、図１の多視点画像符号化装置では多重化部１０５での多重化動作に相当する。

次に、ネットワークを介して伝送する場合の多重化部１０５での多重化及び送信処理手順について、図９のフローチャートを用いて説明する。図９において、多重化部１０５は、シーケンス情報の符号化ビット列と、ピクチャ情報の符号化ビット列と、スライス情報及び画像信号の符号化ビット列とをそれぞれ多重化したデータを、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化する（ステップＳ１７１）。続いて、多重化部１０５は、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット・ヘッダを上記のパケットに付加した後（ステップＳ１７２）、ネットワークを介して送信する（ステップＳ１７３）。

再び図３に戻って説明する。ステップＳ１０７では、符号化の対象となる多視点画像の全ての画像について符号化処理が完了したか否かを判断する。完了している場合、本多視点画像符号化処理手順が終了となる。完了していない場合、ステップＳ１０５に進み、符号化の対象となる多視点画像の全ての画像について符号化処理が完了するまでステップＳ１０５からステップＳ１０６までの処理を繰り返す。

（復号装置及び復号方法）
次に、本発明になる多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラムにより生成された符号化データを復号する多視点画像復号方法及び多視点復号装置について図面を参照して説明する。

図１４は多視点画像復号装置の一例のブロック図を示す。図１４に示すように、この多視点画像復号装置は、分離部３０１、復号管理部３０２、シーケンス情報復号部３０３、ピクチャ情報復号部３０４、画像信号復号部３０５を備え、多視点画像信号を符号化した符号化ビット列が入力され、これを復号して多視点画像信号を出力する。

次に、図１４に示す多視点画像復号装置の動作について、ＡＶＣ／Ｈ.２６４符号化方式と関連付けて説明する。まず、分離部３０１は、図１に示した多視点画像符号化装置により符号化され、ネットワークを介して送信された符号化ビット列を受信する。なお、本方式での符号化ビット列の供給形態はネットワーク伝送での受信のみならず、ＤＶＤ等の蓄積メディアに記録された符号化ビット列を読み込んだり、ＢＳ／地上波等の放送で放映された符号化ビット列を受信することもできる。

また、分離部３０１は、供給される符号化ビット列からパケット・ヘッダを除去し、ＮＡＬユニット単位に分離する。更に、分離部３０１は、分離したＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に関わるパラメータ情報が符号化されている符号化ビット列の場合は、シーケンス情報復号部３０３に供給し、ピクチャの符号化に関わるパラメータ情報等が符号化されている符号化ビット列の場合は、ピクチャ情報復号部３０４に供給し、当該ＮＡＬユニットがＶＣＬ ＮＡＬユニット、すなわち符号化モード、及び動き／視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合は、画像信号復号部３０５に供給する。

シーケンス情報復号部３０３は、分離部３０１で分離されたシーケンス全体の符号化に関わるパラメータ情報（ＳＰＳ）が符号化された符号化ビット列を復号する。ここでは、図１２に示すシンタックス構造に従ってＳＰＳのＭＶＣ拡張部分も復号する。

図１５はシーケンス情報復号部３０３の一例の構成を示すブロック図である。図１５に示すように、シーケンス情報復号部３０３は、スイッチ４０６、シーケンス情報復号部４０１、視点数情報復号部４０２、復号順序情報復号部４０３、視点間予測情報復号部４０４、及び視点依存情報復号部４０５から構成される。スイッチ４０６は、図１２に示すシンタックス構造に応じて切り替わり、符号化ビット列を復号部４０１〜４０４に順次供給する。また、スイッチ４０６は、視点間予測情報復号部４０４により復号された視点間予測情報の値が「１」のときは符号化ビット列を視点依存情報復号部４０５に供給し、視点間予測情報の値が「０」のときは、符号化ビット列を視点依存情報復号部４０５には供給しない。

シーケンス情報復号部４０１は、ＭＶＣ拡張部分以外のシーケンス情報、すなわちＡＶＣ／Ｈ.２６４方式でのＳＰＳ（シーケンス・パラメータ・セット）を復号する。視点数情報復号部４０２、復号順序情報復号部４０３、視点間予測情報復号部４０４、及び視点依存情報復号部４０５は、図１２に示すシンタックス構造に従ってシーケンス全体に関連する情報（ＳＰＳ）のＭＶＣ拡張部分を復号する。まず、視点数情報復号部４０２が視点数の情報としてシンタックス要素「num_views_minus1」を復号する。次に、復号順序情報復号部４０３がシンタックス要素「view_id[i]」を順次復号する。「view_id_[i]」は符号化／復号順序で視点ＩＤが符号化されているので、どのような復号順序で各視点が符号化されているのかを知ることができる。

次に、視点間予測情報復号部４０４が視点間予測を用いて符号化されているかどうかを示す情報、即ち視点間予測を用いて復号するかどうかを示す情報としてシンタックス要素「inter_view_pred_flag」を復号する。シンタックス要素「inter_view_pred_flag」の値により、次の視点依存情報復号部４０５で視点依存情報を復号するかどうかが決まる。シンタックス要素「inter_view_pred_flag」の値が「０」の場合、視点間予測を用いずに復号し、視点依存情報が符号化されていない。この場合、スイッチ４０６は視点依存情報復号部４０５に切り替わることはない。また、この場合、以降の復号処理においては、復号装置は全ての視点について他の視点を参照せずに復号できる視点であると判断して復号する。具体的にはすべての視点の「num_anchor_refs_l0[i]」、「num_anchor_refs_l1[i]」、「num_non_anchor_refs_l0[i]」、「num_non_anchor_refs_l1[i]」の値を「０」とする。

一方、シンタックス要素「inter_view_pred_flag」の値が「１」の場合、視点間予測を用いて復号するので、視点依存情報復号部４０５で視点依存情報としてシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」を復号する。

再び、図１４に戻って説明する。シーケンス情報復号部３０３で復号されたシーケンス全体の管理情報は復号管理部３０２に供給され、復号の管理に用いられる。ピクチャ情報復号部３０４は、分離部３０１で分離されたピクチャの符号化に関わるパラメータ情報（ＰＰＳ）が符号化された符号化ビット列を復号し、復号したパラメータ情報（ＰＰＳ）をピクチャ管理情報として復号管理部３０２に供給し、復号の管理に用いる。

画像信号復号部３０５は、復号管理部３０２から供給される視点数情報、復号順序情報、視点間予測情報、視点依存情報などの復号されたシーケンス情報に基づいて、分離部３０１から供給される復号対象の符号化ビット列（符号化データ）を復号して画像信号を得る。画像信号を復号する際には視点間予測を用いて復号することもあるが、その際には前記視点依存情報も用いて視点間予測の参照画像を決定する。

次に、図１４に示した多視点画像復号装置による多視点画像復号処理手順について、図１６のフローチャートを参照して説明する。各ステップの処理動作については図１４及び図１５のブロック図を用いて説明したものと同じであるので、ここでは図１４及び図１５と対応付けることで、処理手順のみを説明する。

まず、符号化された符号化ビット列をＮＡＬユニット単位に分離する（ステップＳ２０１）。このステップＳ２０１において、ネットワークを介して符号化ビット列を伝送する場合の受信及び分離処理手順について、図２２のフローチャートを用いて詳細に説明する。ステップＳ２０１の分離処理において、まず、ネットワークを介して符号化ビット列を受信し（ステップＳ２７１）、続いて、その受信した符号化ビット列に用いられたＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいて付加されたパケット・ヘッダを復号して除去する（ステップＳ２７２）。そして、ＮＡＬユニット単位で符号化ビット列を分離する（ステップＳ２７３）。

再び、図１６に戻って説明する。図１６のステップＳ２０１で分離されたＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に関わるパラメータ情報（ＳＰＳ）、すなわちシーケンス情報であるか否か判定し（ステップＳ２０２）、シーケンス情報の場合、ステップＳ２０５に進み、シーケンス情報ではなくピクチャ情報（ＰＰＳ）と判定された場合（ステップＳ２０３）、ステップＳ２０６に進む。

また、当該ＮＡＬユニットがシーケンス情報でも、ピクチャ情報でもない場合は、ステップＳ２０４に進む。ステップＳ２０４では当該ＮＡＬユニットがＶＣＬ ＮＡＬユニットであるか、すなわち符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列であるかを判定し、ＶＣＬ ＮＡＬユニットである場合、ステップＳ２０７に進む。これらのステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４の処理は、図１４の多視点画像復号装置では分離部３０１での処理動作に相当する。

次に、ステップＳ２０５では、シーケンス全体の符号化に関わるパラメータ情報が符号化された符号化ビット列を復号し、シーケンス全体の符号化に関わるパラメータ情報を得る。このステップＳ２０５の処理は、図１４の多視点画像符号化装置ではシーケンス情報復号部３０３での復号動作に相当する。

この、ステップＳ２０５のシーケンス情報の復号処理手順の一例について図１７のフローチャートと共に更に詳細に説明する。シーケンス情報の復号処理では、まず、ＭＶＣ拡張部分以外のシーケンス情報を復号する（ステップＳ２１１）。このステップＳ２１１の処理は、図１５のシーケンス情報復号部３０３内のＭＶＣ拡張部分以外のシーケンス情報復号部４０１での復号動作に相当する。

ステップＳ２１１に続いて、視点数の情報を復号する（ステップＳ２１２）。このステップＳ２１２の処理は、図１５のシーケンス情報復号部３０３では視点数情報復号部４０２での復号動作に相当する。ステップＳ２１２に続いて、視点方向の復号順序で符号化された各視点の視点ＩＤの情報を復号する（ステップＳ２１３）。このステップＳ２１３の復号処理は、図１５のシーケンス情報復号部３０３内の復号順序情報復号部４０３での復号動作に相当する。

ここで、ステップＳ２１３の視点方向の復号順序で符号化された各視点の視点ＩＤの復号処理手順の一例について、図１８のフローチャートと共に更に詳細に説明する。ステップＳ２１３の復号処理では、まず、変数iを０とし（ステップＳ２２１）、続いて、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ２２２）。変数iの値が（視点数−１）以下でない場合、ステップＳ２１３の復号処理を終了する。変数iの値が（視点数−１）以下の場合、変数iの値が（視点数−１）以下でなくなるまで、ステップＳ２２３とステップＳ２２４の処理を繰り返す。

ステップＳ２２３では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「view_id[i]」を復号する。続いて、ステップＳ２２４では、変数iに「１」を加えて、再びステップＳ２２２に進む。

再び、図１７のフローチャートに戻って説明する。図１８と共に説明した上記のステップＳ２１３の復号処理に続いて、視点間予測を用いて符号化されているかどうかを示す視点間予測情報「inter_view_pred_flag」を復号する（ステップＳ２１４）。このステップＳ２１４の処理は、図１５のシーケンス情報復号部３０３内の視点間予測情報復号部４０４での復号動作に相当する。続いて、「inter_view_pred_flag」の値に基づいて、視点間予測を用いて符号化されているかどうかを判断し（ステップＳ２１５）、視点間予測を用いて符号化されている場合（「inter_view_pred_flag」の値が「１」）は、ステップＳ２１６により視点依存情報を復号し、視点間予測を用いずに符号化されている場合（「inter_view_pred_flag」の値が「０」）は、シーケンス情報の復号処理を終了する。このステップＳ２１５とＳ２１６の処理は、図１５のシーケンス情報復号部３０３内の視点依存情報復号部４０５での復号動作とスイッチ４０６の切換動作とに相当する。すなわち、図１５において、スイッチ４０６は、復号した「inter_view_pred_flag」の値が「１」のときのみ、入力される符号化ビット列を視点依存情報復号部４０５に供給し、復号した「inter_view_pred_flag」の値が「０」のときは入力される符号化ビット列を視点依存情報復号部４０５には供給しない。

次に、図１７のステップＳ２１６の視点依存情報の復号処理手順の一例について図１９のフローチャートと共に説明する。このステップＳ２１６では、まず、アンカーピクチャの視点依存情報を復号し（ステップＳ２３１）、続いてノンアンカーピクチャの視点依存情報を復号する（ステップＳ２３２）ことで復号処理を終了する。

次に、図１９のステップＳ２３１のアンカーピクチャの視点依存情報の復号処理手順の一例について図２０のフローチャートと共に更に詳細に説明する。ステップＳ２３１のアンカーピクチャの視点依存情報の復号処理では、まず、変数iを０とし（ステップＳ２４１）、続いて、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ２４２）。変数iの値が（視点数−１）以下でない場合、アンカーピクチャの視点依存情報の復号処理を終了する。変数iの値が（視点数−１）以下の場合、ステップＳ２４３に進み、変数iの値が（視点数−１）以下でなくなるまで、ステップＳ２４２からステップＳ２５３までの処理を繰り返す。

ステップＳ２４３では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_anchor_refs_l0[i]」を復号する。続いて、変数ｊを「０」とした後（ステップＳ２４４）、変数ｊの値が「num_anchor_refs_l0[i]」より小さいかどうかを判断する（ステップＳ２４５）。変数ｊの値が「num_anchor_refs_l0[i]」以上の場合、ステップＳ２４８に進む。変数ｊの値が「num_anchor_refs_l0[i]」より小さい場合、ステップＳ２４６に進み、変数ｊの値が「num_anchor_refs_l0[i]」の値以上になるまで、ステップＳ２４５からステップＳ２４７までの処理を繰り返す。ステップＳ２４６では視点方向の符号化／復号順序でi番目の視点の参照画像リスト０のインデックスがｊのシンタックス要素 「anchor_ref_l0[i][j]」を復号してステップＳ２４７に進む。ステップＳ２４７では、変数ｊの値に「１」を加えて再びステップＳ２４５に進む。

一方、ステップＳ２４８では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_anchor_refs_l1[i]」を復号する。続いて、変数ｊを０とした後（ステップＳ２４９）、変数ｊの値が復号した上記シンタックス要素「num_anchor_refs_l1[i]」の値より小さいかどうかを判断する（ステップＳ２５０）。変数ｊの値がシンタックス要素「num_anchor_refs_l1[i]」の値以上の場合、変数ｉの値に「１」を加算して（ステップＳ２５３）、ステップＳ２４２に戻る。

一方、変数ｊの値がシンタックス要素「num_anchor_refs_l1[i]」の値より小さい場合、変数ｊの値がシンタックス要素「num_anchor_refs_l1[i]」の値以上になるまで、ステップＳ２５０からステップＳ２５２までの処理を繰り返す。すなわち、ステップＳ２５０に続くステップＳ２５１では、視点方向の符号化／復号順序でi番目の視点の参照画像リスト１のインデックスｊのシンタックス要素「anchor_ref_l1[i][j]」を復号してステップＳ２５２に進む。ステップＳ２５２では、変数ｊの値に「１」を加えて再びステップＳ２５０に進む。

次に、図１９のステップＳ２３２のノンアンカーピクチャの視点依存情報の復号処理手順の一例について図２１のフローチャートと共に更に詳細に説明する。ステップＳ２３２のノンアンカーピクチャの視点依存情報の復号処理では、まず、変数iを「０」とし（ステップＳ２５４）、続いて、変数iの値が（視点数−１）以下かどうかを判断する（ステップＳ２５５）。変数iの値が（視点数−１）以下でない場合、ノンアンカーピクチャの視点依存情報の復号処理を終了する。変数iの値が（視点数−１）以下の場合、ステップＳ２５６に進み、iの値が（視点数−１）以下でなくなるまで、ステップＳ２５５からステップＳ２６６までの処理を繰り返す。

ステップＳ２５６では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l0[i]」を復号する。続いて、変数ｊを「０」とし（ステップＳ２５７）、続いて、変数ｊの値が、復号した上記のシンタックス要素「num_non_anchor_refs_l0[i]」の値より小さいかどうかを判断する。変数ｊの値がシンタックス要素「num_non_anchor_refs_l0[i]」の値以上の場合、ステップＳ２６１に進む。変数ｊの値がシンタックス要素「num_non_anchor_refs_l0[i]」の値より小さい場合、変数ｊの値がシンタックス要素「num_non_anchor_refs_l0[i]」の値より小さくなくなるまで、ステップＳ２５８からステップＳ２６０までの処理を繰り返す。ステップＳ２５８に続くステップＳ２５９では視点方向の符号化／復号順序でi番目の視点の参照画像リスト０のインデックスがｊのシンタックス要素「anchor_ref_l0[i][j]」を復号してステップＳ２６０に進む。続いて、ステップＳ２６０では変数ｊの値に「１」を加えて再びステップＳ２５８に進む。

一方、ステップＳ２６１では、視点方向の符号化／復号順序でi番目の視点のシンタックス要素「num_non_anchor_refs_l1[i]」を復号する。続いて、変数ｊを０とした後（ステップＳ２６２）、変数ｊの値が復号した上記シンタックス要素「num_non_anchor_refs_l1[i]」の値より小さいかどうかを判断する（ステップＳ２６３）。変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」の値以上の場合、変数ｉの値に「１」を加算して（ステップＳ２６６）、ステップＳ２５５に戻る。

一方、変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」の値より小さい場合、変数ｊの値がシンタックス要素「num_non_anchor_refs_l1[i]」の値以上になるまで、ステップＳ２６３からステップＳ２６５までの処理を繰り返す。すなわち、ステップＳ２６３に続くステップＳ２６４では、視点方向の符号化／復号順序でi番目の視点の参照画像リスト１のインデックスがｊのシンタックス要素「non_anchor_ref_l1[i][j]」を復号してステップＳ２６５に進む。ステップＳ２６５では、変数ｊの値に「１」を加えて再びステップＳ２６３に進む。

再び、図１７に戻って説明する。ステップＳ２１６の処理が完了したら図１７のシーケンス情報の符号化処理は終了である。

再び、図１６のフローチャートに戻って説明する。図１７乃至図２１と共に説明した上記のステップＳ２０５の処理が完了すると、ステップＳ２０８に進む。一方、ステップＳ２０６では、ピクチャの符号化に関わるパラメータ情報を復号する。このステップＳ２０６の処理は、図１４の多視点画像復号装置のピクチャ情報復号部３０４での復号動作に相当する。ステップＳ２０６の処理が完了したらステップＳ２０８に進む。一方、ステップＳ２０７では、スライス情報及び画像信号を復号する。このステップＳ２０７の処理は、図１４の多視点画像復号装置では画像信号復号部３０５での復号動作に相当する。ステップＳ２０７の処理が完了したらステップＳ２０８に進む。

ステップＳ２０８では、復号の対象となる符号化ビット列のすべての復号処理が完了したか否かを判断する。完了している場合、本多視点画像復号処理手順が終了となる。完了していない場合、最初のステップＳ２０１に戻り、復号の対象となる符号化ビット列のすべての復号処理が完了するまでステップＳ２０１からステップＳ２０８までの処理を繰り返す。

なお、以上の説明においては、視点間予測を用いて符号化するかどうかの情報を符号化し、この情報に基づいて視点依存情報が符号化されるかどうかを判断したが、視点間予測を用いて符号化するかどうかの情報をアンカーピクチャ用とノンアンカーピクチャ用で別々に用意して符号化／復号することもでき、本発明に含まれる。

図２３は、視点間予測を用いて符号化するかどうかの情報をアンカーピクチャ用とノンアンカーピクチャ用で別々に用意した場合のＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造の一例を示す。図１２のシンタックス構造と比較すると、図２３ではアンカーピクチャ用のシンタックス要素「anchor_inter_view_pred_flag」と、ノンアンカーピクチャ用のシンタックス要素「non_anchor_inter_view_pred_flag」とが用意されており、「anchor_inter_view_pred_flag」の値に応じて、アンカーピクチャ用の視点依存情報であるシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」を符号化／復号するか否かを決定し、「non_anchor_inter_view_pred_flag」の値に応じて、ノンアンカーピクチャ用の視点依存情報であるシンタックス要素「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」を符号化／復号するか否かを決定する構造になっている点が異なる。

また、視点間予測を用いて符号化するかどうかの情報を参照ピクチャリスト０用と参照ピクチャリスト１用で別々に用意して符号化／復号することもでき、本発明に含まれる。図２４は、視点間予測を用いて符号化するかどうかの情報を参照ピクチャリスト０用と参照ピクチャリスト１用で別々に用意した場合のＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造の一例を示す。図１２のシンタックス構造と比較すると、図２４のシンタックス構造では参照ピクチャリスト０用のシンタックス要素「inter_view_pred_l0_flag」と、参照ピクチャリスト１用の「inter_view_pred_l1_flag」とが用意されており、「inter_view_pred_l0_flag」の値に応じて、参照ピクチャリスト０用の視点依存情報であるシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」、「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」を符号化／復号されるか否かを決定し、「inter_view_pred_l1_flag」の値に応じて、ノンアンカーピクチャ用の視点依存情報であるシンタックス要素「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」を符号化／復号するか否かを決定する構造になっている点が異なる。

また、視点間予測を用いて符号化するかどうかの情報をアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用、ノンアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用で別々に用意して符号化／復号することもでき、本発明に含まれる。図２５は、視点間予測を用いて符号化するかどうかの情報をアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用、ノンアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用で別々に用意した場合のＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造の一例を示す。

図１２のシンタックス構造と比較すると、図２５のシンタックス構造ではアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用のシンタックス要素「anchor_inter_view_pred_l0_flag」及び「anchor_inter_view_pred_l1_flag」と、ノンアンカーピクチャの参照ピクチャリスト０用と参照ピクチャ１用のシンタックス要素「non_anchor_inter_view_pred_l0_flag」及び「non_anchor_inter_view_pred_l1_flag」とが用意されており、「anchor_inter_view_pred_l0_flag」の値に応じて、アンカーピクチャの参照ピクチャリスト０用の視点依存情報であるシンタックス要素「num_anchor_refs_l0[i]」、「anchor_ref_l0[i][j]」を符号化／復号するか否かを決定し、「anchor_inter_view_pred_l1_flag」の値に応じて、アンカーピクチャの参照ピクチャリスト１用の視点依存情報であるシンタックス要素「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」を符号化／復号するか否かを決定し、「non_anchor_inter_view_pred_l0_flag」の値に応じて、ノンアンカーピクチャの参照ピクチャリスト０用の視点依存情報であるシンタックス要素「num_non_anchor_refs_l0[i]」、「non_anchor_ref_l0[i][j]」を符号化／復号するか否かを決定し、「non_anchor_inter_view_pred_l0_flag」の値に応じて、ノンアンカーピクチャの参照ピクチャリスト１用の視点依存情報であるシンタックス要素「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」を符号化／復号するか否かを決定する構造になっている点が異なる。

なお、図１２に示すシンタックス構造に従った符号化／復号方式の説明においては、視点間予測を用いて符号化／復号するかどうかの情報を符号化し、この情報に基づいて視点依存情報が符号化／復号されるかどうかを判断したが、さらに、この情報に基づいて視点方向の符号化／復号順序情報も符号化されるかどうかを切り替えることもでき、本発明に含まれる。

図２６は、視点間予測を用いて符号化するかどうかの情報に応じて視点依存情報に加えて符号化／復号順序情報を符号化するかどうかも切り替える場合のＳＰＳにおけるＭＶＣ拡張部分のシンタックス構造の一例を示す。図１２と比較すると、図２６のシンタックス構造では、シンタックス要素「inter_view_pred_flag」の値に応じて、符号化／復号順序情報であるシンタックス要素「view_id[i]」が符号化／復号されるか否かも決定する構造になっている点が異なる。「inter_view_pred_flag」の値が「０」となり、「view_id[i]」が符号化されない場合は、視点方向の符号化／復号順序情報であるシンタックス要素「view_id[i]」の値を「０」から昇順と規定してもよいし、未定と規定してもよい。

なお、以上の説明においては、視点間予測を用いて符号化するかどうかの情報を符号化し、この情報に基づいて視点依存情報が符号化されるかどうかを判断したが、視点間予測を用いて符号化するかどうかの情報が判断できる暗示的な情報が存在する場合には、視点間予測を用いて符号化するかどうかの情報を明示的に符号化する必要はなく、暗示的な情報に基づいて視点依存情報が符号化されるかどうかを判断することもでき、本発明に含まれる。例えば、視点間予測を用いずに多視点画像を符号化するプロファイル、及び視点間予測を用いて多視点画像を符号化するプロファイルを規定する。さらに、視点間予測を用いずに多視点画像を符号化するプロファイルの場合は視点依存情報を符号化しないと規定する。そして、そのプロファイルを判別するための情報を符号化し、復号側でそのプロファイルを判別するための情報を復号することで、プロファイルを判別することができ、暗示的な情報であるプロファイルの値から視点間予測を用いて符号化されているか否かが判別できる。

なお、以上の説明においては、符号化、復号に用いる多視点画像は異なる視点から実際に撮影された多視点画像を符号化、復号することもできるが、実際には撮影していない仮想的な視点の位置を周辺の視点から補間する等、変換または生成された視点画像を符号化、復号することもでき、本発明に含まれる。

例えば、Ａ，Ｂ，Ｃ，Ｄの４つの視点の画像信号を備えた多視点画像信号は、（１）４つの視点の画像信号がすべて各視点で実際に撮影して得られた画像信号である場合、（２）４つの視点の画像信号がすべて各視点で仮想的に撮影したものとして生成した画像信号である場合、（３）Ａ，Ｂ視点の画像信号が各視点で実際に撮影して得られた画像信号、Ｃ，Ｄ視点の画像信号が各視点で仮想的に撮影したものとして生成した画像信号といったように、実際に撮影して得られた画像信号と仮想的に撮影したものとして生成した画像信号とが混在している場合の３つの場合が想定される。

また、コンピュータグラフィックス等の多視点画像を符号化、復号することもでき、本発明に含まれる。更に、以上の多視点画像符号化、および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明の多視点画像符号化装置の一実施の形態のブロック図である。 図１中の多視点画像符号化装置を構成するシーケンス情報符号化部１０２の一例のブロック図である。 本発明の多視点画像符号化処理説明用フローチャートである。 図３中のステップＳ１０１のシーケンス情報の符号化処理説明用フローチャートである。 図４中のステップＳ１１３の符号化／復号順序による視点ＩＤの符号化処理説明用フローチャートである。 図４中のステップＳ１１６の視点依存情報の符号化処理説明用フローチャートである。 図６中のステップＳ１３１のアンカーピクチャの視点依存情報の符号化処理説明用フローチャートである。 図６中のステップＳ１３２のノンアンカーピクチャの視点依存情報の符号化処理説明用フローチャートである。 ネットワークを介して伝送する場合のパケット化及び送信処理説明用フローチャートである。 ８視点からなる多視点画像を視点間予測を用いずに符号化する際の画像間の参照依存関係の一例を示す図である。 図２８に示すシンタックス構造に基づいて、図１０に示す予測の参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例である。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 図１２に示すシンタックス構造に基づいて、図１０に示す予測の参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例である。 多視点画像復号装置の一例のブロック図である。 図１３中の多視点画像復号装置を構成するシーケンス情報復号部３０３の一例のブロック図である。 多視点画像復号処理説明用フローチャートである。 図１６中のステップＳ２０５のシーケンス情報の復号処理説明用フローチャートである。 図１７中のステップＳ２１３の符号化／復号順序で符号化された視点ＩＤの復号処理説明用フローチャートである。 図１７中のステップＳ２１６の視点依存情報の復号処理説明用フローチャートである。 図１９中のステップＳ２３１のアンカーピクチャの視点依存情報の復号処理説明用フローチャートである。 図１９中のステップＳ２３２のノンアンカーピクチャの視点依存情報の復号処理説明用フローチャートである。 ネットワークを介して受信する場合の受信処理説明用フローチャートである。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 本発明のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 ８視点からなる多視点画像を視点間予測を用いて符号化する際の予測の参照依存関係の一例を示す図である。 従来例のＳＰＳのＭＶＣ拡張部分のシンタックス構造の一例である。 符号なし指数ゴロム符号で符号化されたビット列とコード番号の関係の一例である。 図２８のシンタックス構造に基づいて、図２７に示す予測の参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例である。

符号の説明

１０１ 符号化管理部
１０２ シーケンス情報符号化部
１０３ ピクチャ情報符号化部
１０４ 画像信号符号化部
１０５ 多重化部
２０１ ＭＶＣ拡張部分以外のシーケンス情報符号化部
２０２ 視点数情報符号化部
２０３ 符号化順序情報符号化部
２０４ 視点間予測情報符号化部
２０５ 視点依存情報符号化部
３０１ 分離部
３０２ 復号管理部
３０３ シーケンス情報復号部
３０４ ピクチャ情報復号部
３０５ 画像信号復号部
４０１ ＭＶＣ拡張部分以外のシーケンス情報復号部
４０２ 視点数情報復号部
４０３ 復号順序情報復号部
４０４ 視点間予測情報復号部
４０５ 視点依存情報復号部

Claims (3)

1. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、
   前記各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す視点間予測情報を符号化する第１のステップと、
   他の視点の復号画像信号を参照して符号化する画像がある場合には、視点間の依存関係を示す視点依存情報を符号化し、前記他の視点の復号画像信号を参照して符号化する画像がない場合には前記視点依存情報を符号化しない第２のステップと、
   符号化対象の前記各視点の画像信号を他の視点の復号画像信号を参照して符号化する画像がある場合には前記視点依存情報の値に従い符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には他の視点の復号画像信号を参照せずに符号化する第３のステップと、
   を含むことを特徴とする多視点画像符号化方法。
2. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
   前記各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す視点間予測情報を符号化する第１の符号化手段と、
   他の視点の復号画像信号を参照して符号化する画像がある場合には、視点間の依存関係を示す視点依存情報を符号化し、前記他の視点の復号画像信号を参照して符号化する画像がない場合には前記視点依存情報を符号化しない第２の符号化手段と、
   符号化対象の前記各視点の画像信号を他の視点の復号画像信号を参照して符号化する画像がある場合には前記視点依存情報の値に従い符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には他の視点の復号画像信号を参照せずに符号化する第３の符号化手段と、
   を有することを特徴とする多視点画像符号化装置。
3. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを、コンピュータにより生成させる多視点画像符号化プログラムであって、
   前記コンピュータに、
   前記各視点の画像信号の符号化において他の視点の復号画像信号を参照して符号化する画像があるか否かを示す視点間予測情報を符号化する第１のステップと、
   他の視点の復号画像信号を参照して符号化する画像がある場合には、視点間の依存関係を示す視点依存情報を符号化し、前記他の視点の復号画像信号を参照して符号化する画像がない場合には前記視点依存情報を符号化しない第２のステップと、
   符号化対象の前記各視点の画像信号を他の視点の復号画像信号を参照して符号化する画像がある場合には前記視点依存情報の値に従い符号化し、他の視点の復号画像信号を参照して符号化する画像がない場合には他の視点の復号画像信号を参照せずに符号化する第３のステップと
   を実行させることを特徴とする多視点画像符号化プログラム。

Images