JP2008182669A - 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム - Google Patents

Abstract

【課題】従来の符号化された多視点画像の符号化ビット列を、復号側で並列処理により復号する際に、他の視点を参照する視差補償予測を行う視点において、視差補償予測で参照する他の視点の復号画像の復号処理が完了しているか否かがわからず、視差補償予測の参照画像として利用できるかどうかわからないという問題がある。
【解決手段】符号化管理部１０１は撮影／表示時間順に入力された視点画像Ｍ（０）、Ｍ（１）、Ｍ（２）、・・・を構成する各符号化対象画像の参照依存関係、符号化順序を管理すると共に、視点参照依存カウントを管理する。符号化ビット列生成部１０２は、符号化管理部１０１の出力に基づいて、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を基底視点とし、その基底視点の画像信号の符号化開始時刻に対する基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を生成して符号化する。
【選択図】図１

Description

本発明は多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラムに係り、特に異なる視点から撮影された多視点画像を符号化して多視点画像符号化データを生成する多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、及びその多視点画像符号化データを復号する多視点画像復号装置、多視点画像復号方法、多視点画像復号プログラムに関する。

＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置、システムが、普及している。

１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、光ディスクであるＤＶＤ（Digital Versatile Disk）や、Ｄ−ＶＨＳ（登録商標）規格のディジタルＶＴＲによる磁気テープなどの蓄積メディアや、ディジタル放送等のアプリケーションとして広く用いられている。

また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。

更に、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）の合同技術委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。

ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行う。これに対して、ＡＶＣ／Ｈ.２６４符号化方式では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。

また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＢピクチャは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、もしくはその２枚の参照ピクチャを同時に参照し、２つのピクチャの平均値を予測ピクチャとし、対象ピクチャと予測ピクチャの差分データを符号化する。一方、ＡＶＣ／Ｈ.２６４符号化方式では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照可能となった。また、Ｂピクチャを参照ピクチャとして参照することも可能となっている。

更に、ＭＰＥＧ−２ビデオではピクチャ、ＭＰＥＧ−４ではビデオ・オブジェクト・プレーン（ＶＯＰ）を１つの単位として、ピクチャ（ＶＯＰ）ごとの符号化モードが決められていたが、ＡＶＣ／Ｈ.２６４符号化方式では、スライスを符号化の単位としており、１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライス等異なるスライスを混在させる構成にすることも可能となっている。

更に、ＡＶＣ／Ｈ.２６４符号化方式ではビデオの画素信号（符号化モード、動きベクトル、ＤＣＴ係数等）の符号化／復号処理を行うＶＣＬ（Video Coding Layer;ビデオ符号化層）と、ＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）が定義されている。

ＡＶＣ／Ｈ.２６４符号化方式で符号化された符号化ビット列はＮＡＬの一区切りであるＮＡＬユニットを単位として構成される。ＮＡＬユニットはＶＣＬで符号化されたデータ（符号化モード、動きベクトル、ＤＣＴ係数等）を含むＶＣＬ ＮＡＬユニットと、ＶＣＬで生成されたデータを含まないｎｏｎ−ＶＣＬ ＮＡＬユニットがある。ｎｏｎ−ＶＣＬ ＮＡＬユニットにはシーケンス全体の符号化に関わるパラメータ情報が含まれているＳＰＳ（シーケンス・パラメータ・セット）や、ピクチャの符号化に関わるパラメータ情報が含まれているＰＰＳ（ピクチャ・パラメータ・セット）、ＶＣＬで符号化されたデータの復号に必須ではないＳＥＩ（補足付加情報）等がある。

また、ＡＶＣ／Ｈ.２６４符号化方式における符号化の基本の単位はピクチャを分割したスライスであり、ＶＣＬ ＮＡＬユニットはスライス単位となっている。そこで、符号化ビット列の情報をピクチャ単位で扱うために、いくつかのＮＡＬユニットを纏めたアクセス・ユニットと呼ばれる単位が定義されており、１アクセス・ユニットに１つの符号化されたピクチャが含まれている。

＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、及び右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されている。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。

そこで、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている（例えば、特許文献１参照）。この特許文献１に記載された立体テレビジョン画像伝送方式では、小領域毎に他方の画像での相関の高い相対位置を求め、その位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １３８１８−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。

また、３台以上のカメラで撮影された多視点画像に対して動き補償予測、視差補償予測を用いて情報量を抑える手法が提案されている（例えば、特許文献２参照）。この特許文献２に記載された画像高能率符号化方式は複数の視点の参照画像とのパターンマッチングを行い、誤差が最小となる動き補償／視差補償予測画像を選択することにより、符号化効率を向上させている。

特開昭６１-１４４１９１号公報 特開平６−９８３１２号公報

多くの視点数を有する多視点画像が符号化された符号化ビット列を復号しリアルタイムで三次元表示装置等に出力する場合、現状では１つのプロセッサで全ての視点をリアルタイムで復号することは困難であり、複数のプロセッサを用いて、並列処理により復号することが必要である。

しかしながら、従来の立体テレビジョン画像伝送方式、画像高能率符号化方式で符号化された多視点画像の符号化ビット列を、復号側で並列処理により復号する際に、他の視点を参照する視差補償予測を行う視点において、視差補償予測で参照する他の視点の復号画像の復号処理が完了しているか否かがわからず、視差補償予測の参照画像として利用できるかどうかわからないという問題がある。

本発明は以上の点に鑑みてなされたもので、復号側での並列処理によりリアルタイムでの復号処理を考慮した多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラムを提供することを目的とする。

上記目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点として指定又は計算する第１の手段と、第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を指定又は計算する第２の手段と、遅延時間を示す情報を符号化する符号化手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点として指定又は計算する第１のステップと、第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を指定又は計算する第２のステップと、遅延時間を示す情報を符号化する第３のステップとを含むことを特徴とする。また、上記の目的を達成するため、第３の発明の多視点画像符号化プログラムは、第２の発明の各ステップをコンピュータに実行させることを特徴とする。

上記の第１乃至第３の発明では、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点とし、その第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を生成して符号化するようにしたため、復号側で上記の遅延時間を示す情報を復号させることで、復号時に第１の基底視点以外の他の視点の画像信号を参照する視差補償予測を行う際に、視差補償予測で参照する他の視点の復号画像の復号処理が完了しているか否かを判別させることができる。

また、上記の目的を達成するため、第４の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号装置であって、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データを復号して第１の基底視点を判別する判別手段と、第２の符号化データを復号して、第１の基底視点の復号開始時刻に対する第１の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を得る遅延時間復号手段と、遅延時間復号手段により復号されたそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第１の基底視点の画像信号を復号すると共に、第１の符号化データ中の第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を第１の基底視点の復号開始時刻に対して遅延して復号する遅延・復号手段とを有することを特徴とする。

また、上記の目的を達成するため、第５の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号方法であって、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データを復号して第１の基底視点を判別する第１のステップと、第２の符号化データを復号して、第１の基底視点の復号開始時刻に対する第１の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を得る第２のステップと、第２のステップにより復号されたそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第１の基底視点の画像信号を復号すると共に、第１の符号化データ中の第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を第１の基底視点の復号開始時刻に対して遅延して復号する第３のステップとを含むことを特徴とする。また、上記の目的を達成するため、第６の発明の多視点画像復号プログラムは、第５の発明の多視点画像復号方法の各ステップをコンピュータにより実行させることを特徴とする。

上記の第４乃至第６の発明では、多視点画像信号が符号化されてなる第１の符号化データと、各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データとが入力され、これら第１及び第２の符号化データを復号する際に、第２の符号化データを復号して、第１の基底視点の復号開始時刻に対する第１の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を復号し、その復号されたそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第１の基底視点の画像信号を復号すると共に、第１の符号化データ中の第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を第１の基底視点の復号開始時刻に対して遅延して復号するようにしたため、復号時に第１の基底視点以外の他の視点の画像信号を参照する視差補償予測を行う際に、視差補償予測で参照する他の視点の復号画像の復号処理が完了しているか否かを判別させることができる。

また、上記の目的を達成するため、第７の発明は設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号装置であって、一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して、参照依存情報を得る復号手段と、各視点の内で、符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、参照依存情報から、第２の基底視点を判別する判別手段と、参照依存情報から、第２の基底視点の復号開始時刻に対する第２の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を算出する遅延時間算出手段と、遅延時間算出手段により算出されたそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第２の基底視点の符号化画像信号を復号すると共に、第１の符号化データ中の第２の基底視点以外の視点の符号化画像信号の復号開始時刻を第２の基底視点の復号開始時刻に対して遅延して復号する遅延・復号手段と、を有することを特徴とする。

また、上記の目的を達成するため、第８の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号方法であって、一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して、参照依存情報を得る第１のステップと、各視点の内で、符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、参照依存情報から、第２の基底視点を判別する第２のステップと、参照依存情報から、第２の基底視点の復号開始時刻に対する第２の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を算出する第３のステップと、第３のステップにより算出されたそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第２の基底視点の符号化画像信号を復号すると共に、第１の符号化データ中の第２の基底視点以外の視点の符号化画像信号の復号開始時刻を第２の基底視点の復号開始時刻に対して遅延して復号する第４のステップと、を含むことを特徴とする。また、上記の目的を達成するため、第９の発明の多視点画像復号プログラムは、第８の発明の多視点画像復号方法の各ステップをコンピュータにより実行させることを特徴とする。

上記の第７乃至第９の発明では、一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して参照依存情報を得て、各視点の内で、符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、参照依存情報から第２の基底視点を判別すると共に、参照依存情報から第２の基底視点の復号開始時刻に対する第２の基底視点以外の視点の復号開始時刻の遅延時間を示す情報を算出し、算出したそれぞれの視点の遅延時間を示す情報に基づいて、入力された第１の符号化データ中の第２の基底視点の符号化画像信号を復号すると共に、第１の符号化データ中の第２の基底視点以外の視点の符号化画像信号を復号するようにしたため、復号時に第２の基底視点以外の他の視点の画像信号を参照する視差補償予測を行う際に、視差補償予測で参照する他の視点の復号画像の復号処理が完了した状態で復号を行うことができる。

本発明によれば、多視点画像の符号化の際に、第１の基底視点（各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点）の復号開始時刻に対する各視点の復号開始時刻の遅延時間を示す情報を符号化しておくので、復号側で各視点の画像信号の符号化ビット列を並列処理によりリアルタイムで復号する際に、第１の基底視点の復号開始時刻に対する第１の基底視点以外の各視点の復号開始時刻を容易に知ることができ、第１の基底視点（他の視点を参照せずに復号する視点）の復号開始時刻に対する各視点の復号開始時刻の遅延時間を示す情報に応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列（符号化データ）の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償される。

また、本発明によれば、多視点画像の復号の際に、第１の基底視点（各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点）の符号化画像信号の復号開始時刻に対する各視点の符号化画像信号の復号開始時刻の遅延時間を示す情報を復号するようにしたため、各視点の画像信号の符号化ビット列を並列処理によりリアルタイムで復号する際に、第１の基底視点の復号開始時刻に対する第１の基底視点以外の各視点の復号開始時刻の遅延時間を容易に知ることができ、第１の基底視点の復号開始時刻に対する各視点の復号開始時刻の遅延時間を示す情報に応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列（符号化データ）の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償されるので、効率的に符号化データの復号を並列処理によりリアルタイムでできる。

更に、本発明によれば、多視点画像の復号の際に、第２の基底視点（符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点）の符号化画像信号の復号開始時刻に対する各視点の符号化画像信号の復号開始時刻の遅延時間を示す情報を算出するようにしたため、第２の基底視点の復号開始時刻に対する第２の基底視点以外の各視点の復号開始時刻の遅延時間を容易に知ることができ、第２の基底視点の復号開始時刻に対する各視点の復号開始時刻の遅延時間を示す情報に応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列（符号化データ）の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償されるので、効率的に符号化データの復号を並列処理によりリアルタイムでできる。

以下、図面と共に本発明の各実施の形態を説明する。まず、本発明の多視点画像復号装置で復号する符号化データを生成する本発明の多視点画像符号化装置、方法、及びプログラムについて図面を参照して説明する。

（第１の実施の形態）
図１は本発明になる多視点画像符号化装置の第１の実施の形態のブロック図を示し、図２は図１の多視点画像符号化装置を構成する視点画像符号化部の一例のブロック図を示す。また、図３は図１の多視点画像符号化装置、及び多視点画像符号化方法、多視点画像符号化プログラムの処理手順を説明するフローチャートである。本実施の形態ではＡＶＣ／Ｈ.２６４符号化方式をベースとし、多視点に拡張した多視点画像符号化装置として説明する。

図１に示すように、多視点画像符号化装置は符号化管理部１０１、符号化ビット列生成部１０２、視点画像符号化部１０３、１０４、１０５を備えている。Ｍ（ｖ）（ｖ＝０、１、２、・・・）は本実施の形態の多視点画像符号化装置に供給される多視点画像のそれぞれの視点画像であり、ｖは視点を特定する視点ＩＤである。Ｓ（ｖ）（ｖ＝０、１、２、・・・）は符号化の結果得られる各視点の符号化ビット列である。以下、視点ＩＤがｖの視点を視点ｖ（視点０、視点１、視点２、・・・）とする。図１ではｖ＝０、１、２の３視点のみ図示しており、ｖが３以上の視点は省略している。

また、図１の多視点画像符号化装置を構成する視点画像符号化部１０３、１０４、１０５はそれぞれ同一構成であり、図２に示すように、画像バッファ２０１、動き／視差補償予測部２０２、符号化モード判定部２０３、残差信号算出部２０４、残差信号符号化部２０５、残差信号復号部２０６、残差信号重畳部２０７、復号画像バッファ２０８、符号化ビット列生成部２０９、スイッチ２１０、２１１を備えている。なお、スイッチ２１０には他の視点からの参照画像Ｒ（ｖ'）が入力され、スイッチ２１１からは他の視点の参照画像Ｒ（ｖ）として出力される。

次に、図１に示す本実施の形態の多視点画像符号化装置の動作について、図３のフローチャートを併せ参照して説明する。まず、図１において、符号化管理部１０１は外部から設定された符号化パラメータをもとに、必要に応じて新たにパラメータを計算し、シーケンス全体に関連する情報、ピクチャに関連する情報、ピクチャのスライスに関連する情報等を含む符号化に関する管理を行う。さらに、符号化管理部１０１は撮影／表示時間順に入力された視点画像Ｍ（０）、Ｍ（１）、Ｍ（２）、・・・を構成する各符号化対象画像の参照依存関係、符号化順序を管理する。参照依存関係については、視点単位で他の視点の復号画像を参照するか否かを管理するとともに、ピクチャまたはスライス単位で、符号化対象画像を符号化する際に他の視点の復号画像を参照画像として用いる視差補償予測を行うか否か、符号化対象画像を符号化後に復号して得られる復号画像が他の視点の符号化対象画像を符号化する際に参照画像として用いられるか否か、複数ある参照画像の候補の中からどの参照画像を参照するかについて管理する。また、符号化順序については、前記参照依存関係において、復号側で、復号する符号化ビット列の画像が参照する参照画像が復号された後に復号を開始できるように符号化順序を管理する。

また、符号化管理部１０１は後述する視点参照依存カウントを管理する。視点参照依存カウントは外部から設定されたパラメータの一つとして視点毎に設定されるが、前記参照依存関係、及び前記符号化順序より、算出してもよい。さらに前記管理情報を符号化ビット列生成部１０２に供給すると共に、視点画像符号化部１０２、１０３、１０４を制御する。

ここで、各視点の視点画像を符号化、及び符号化された符号化ビット列を復号する際の視点間、及び視点画像を構成する符号化対象画像間の参照依存関係について８視点の場合を例にとって説明する。図４は８視点からなる多視点画像を符号化する際の画像間の参照依存関係の一例を示す図であり、横軸は撮影（表示）順序での時間を示している。Ｐ（ｖ，ｔ）（視点ｖ＝０，１，２，・・・；時間ｔ＝０，１，２，・・・）は視点ｖの視点画像Ｍ（ｖ）を構成する画像である。また、矢印の終点で指し示す画像が符号化／復号する画像で、その符号化／復号する画像を符号化／復号する際に動き補償予測や視差補償予測で参照する参照画像は矢印の始点で指し示す画像である。更に、符号化／復号する画像を符号化／復号する際に動き補償予測で参照する参照画像は横方向の矢印の始点で指し示す画像であり、視差補償予測で参照する参照画像は縦方向の矢印の始点で指し示す画像である。

視点０の画像Ｐ（０，ｔ）は、すべて他の視点の画像を参照せず、動き補償予測を用いる通常のＡＶＣ／Ｈ.２６４と同様に符号化／復号する。本発明では他の視点の復号画像を視差補償予測のために参照しない視点を基底視点と定義し、少なくとも基底視点を１つ以上設定する。図４においては視点０が基底視点（第１の基底視点）となり、視点０以外の視点では他の視点の復号画像から予測する視差補償予測を用いている。例えば、視点２の画像Ｐ（２，０）は他の視点である視点０の画像Ｐ（０，０）の復号画像を参照画像とし、視差補償予測を用いて、符号化／復号する。また、視点１の画像Ｐ（１，０）は他の視点である視点０の画像Ｐ（０，０）と視点２の画像Ｐ（２，０）の各復号画像を参照画像とし、視差補償予測を用いて、符号化／復号する。

次に、本発明で用いる視点参照依存カウントについて説明する。図５は図４に示す参照依存関係で符号化された符号化ビット列を復号側で各視点を並列処理によりリアルタイムで復号する際の復号順序の一例を示す図であり、横軸は復号順序での時間を示す。図５において、垂直方向に並んでいる画像同士は互いに視差補償することはなく相互に直接参照依存関係が無いので、それらの符号化ビット列を同じ時刻（タイミング）で復号することができることを示している。また、図４と同様に、矢印の終点で指し示す画像が復号する画像で、その復号する画像を復号する際に動き補償予測や視差補償予測で参照する参照画像は矢印の始点で指し示す画像である。ただし、動き補償予測を示す矢印については視点０だけを記している。また、本発明では、１つのアクセス・ユニットの符号化ビット列を復号する時間の単位を１アクセス・ユニット時間と定義する。

第１の基底視点である視点０の符号化ビット列は他の視点に依存することなく復号できる。しかし、視点０以外の視点では他の視点の復号画像から予測する視差補償予測を用いているので、復号の際には参照する視点に依存する。例えば、視点２の画像Ｐ（２，０）、画像Ｐ（２，４）、画像Ｐ（２，８）は視点０の画像Ｐ（０，０）、画像Ｐ（０，４）、画像Ｐ（０，８）の復号画像をそれぞれ参照画像として視差補償予測を行う。従って、視点２の画像Ｐ（２，０）、画像Ｐ（２，４）、画像Ｐ（２，８）の符号化ビット列を復号する際には、それぞれの参照画像として用いる画像Ｐ（０，０）、画像Ｐ（０，４）、画像Ｐ（０，８）の符号化ビット列と同時に復号することはできず、それぞれの参照画像となる画像の復号処理が完了し、参照することができるようになるまで遅延させる必要がある。

その条件を満たすためには、視点２の符号化ビット列の復号には視点０に対して１アクセス・ユニット時間の遅延が必要である。本発明では各視点の符号化画像を復号する際に必要な第１の基底視点に対するアクセス・ユニット単位の遅延を視点参照依存カウントと定義する。すなわち、視点参照依存カウントは視差補償予測する画像を復号する際に参照画像となる他の視点の画像の復号処理が完了していることを補償する復号開始時刻（タイミング）を復号側で容易に知るためのパラメータである。ここで、第１の基底視点の視点参照依存カウントは"０"とする。視点２の場合、視点０に対して１アクセス・ユニット時間の遅延が必要となるので、視点参照依存カウントを"１"とする。

図６は図４に示す参照依存関係で符号化する場合のそれぞれの視点に対応する視点参照依存カウントの一例を示す。図６に示すように、視点ＩＤが「０」、「２」の場合、上記のように視点参照依存カウントは"０"、"１"である。また、視点ＩＤが「１」、「４」の場合は視点参照依存カウントはそれぞれ"２"、視点ＩＤが「３」、「６」の場合は視点参照依存カウントはそれぞれ"３"、視点ＩＤが「５」、「７」の場合は視点参照依存カウントはそれぞれ"４"である。

本実施の形態では符号化時に、それぞれの視点に対応する視点参照依存カウントを符号化することにより、復号側で各視点を並列処理によりリアルタイムで復号する際に、視点参照依存カウントにより第１の基底視点の復号開始時刻（タイミング）に対する各視点の復号開始時刻（タイミング）の遅延時間を容易に知ることができ、視点参照依存カウントに応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることを補償される。

次に、上記の視点参照依存カウントを符号化する方法について説明する。視点参照依存カウントを符号化する方法には、それぞれの視点の視点参照依存カウントを纏めてシーケンス全体に関連するパラメータとして、符号化する方法と、視点参照依存カウントを視点毎に独立でそれぞれ符号化する方法がある。

図７は視点参照依存カウントを符号化する方法として、それぞれの視点の視点参照依存カウントを纏めてシーケンス全体に関連するパラメータとして（例えば、ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳやＳＥＩとして）符号化する場合の一例を説明する図であり、図７（ａ）は符号化シンタックス構造を示している。図７において、「num_views_minus1」
は符号化する多視点画像の視点数を符号化するためのパラメータであり、視点数は１以上となるため、視点数から１を引いた値を、８ビットの固定長で符号化する。８ビットの固定長の場合、１から２５６までの視点数を表すことができる。

また、「view_dependency[i]」は視点参照依存カウントを符号化するためのパラメータであり、視点参照依存カウントの値を同じく８ビットの固定長で符号化する。８ビットの固定長の場合、０から２５５までの視点参照依存カウントの値を表すことができる。ここで、ｉは視点ＩＤであり、forループと組み合わせてそれぞれの視点の視点参照依存カウントを符号化することを表している。

図７（ｂ）は図７（ａ）のシンタックス構造に従って図４〜図６で説明した８視点の視点参照依存カウントを符号化する場合の一例を示す。図７（ｂ）に示すように、８ビットの「num_views_minus1」が「０００００１１１」であることから視点数から１を引いた値が「７」、つまり８視点であることを示しており、続く各８ビットの８つの「view_dependency[0]」〜「view_dependency[7]」により、視点０から視点７までの各視点毎の図６に示した８視点の視点参照依存カウントの値を表している。なお、ここでは固定長で符号化する場合について説明したが、各パラメータをハフマン符号化、算術符号化等のエントロピー符号化で符号化してもよい。

図８は視点参照依存カウントを符号化する方法として、視点参照依存カウントを視点毎に独立で（例えば、ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットとして）それぞれ符号化する場合の一例を説明する図である。図８（ａ）は符号化シンタックス構造を示している。図８において、「view_id」は視点を特定する視点ＩＤを符号化するためのパラメータであり、８ビットの固定長で符号化する。８ビットの固定長の場合、視点数が２５６以下において、０から２５５までの視点ＩＤを表すことができる。また、「view_d
ependency」は視点参照依存カウントの値を同じく８ビットの固定長で符号化する。図８（ｂ）は図８（ａ）のシンタックス構造に従って図４〜図６で説明した８つの視点の一つである視点１の視点参照依存カウントを符号化する場合の一例である。視点１以外の他の視点についても同様にして視点毎に独立で（ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットとして）それぞれ符号化する。

なお、ここでは固定長で符号化する場合について説明したが、各パラメータをハフマン符号化、算術符号化等のエントロピー符号化で符号化してもよい。また、視点参照依存カウントを必ずしもすべてのスライスで符号化する必要はない。しかし、復号側にはそれぞれの視点において少なくともシーケンスの先頭のアクセス・ユニットでは視点参照依存カウントの値を通知する必要がある。そこで、各視点において視点参照依存カウントのデフォルト値を"０"とし、当該視点の視点参照依存カウントが符号化されている場合は復号し、その値に更新する。

ここで、従来のＡＶＣ／Ｈ.２６４方式との互換性を保つために、第１の基底視点については従来のＡＶＣ／Ｈ.２６４方式のシンタックス構造で符号化することがある。このようにすることで、第１の基底視点の符号化ビット列については復号側で従来のＡＶＣ／Ｈ.２６４方式により復号することができる。しかし、従来のＡＶＣ／Ｈ.２６４方式により復号することができるようにするためには、図８（ａ）に示すシンタックス構造を新たに定義することができず、「view_dependency」を符号化できない場合がある。そこで、従来のＡＶＣ／Ｈ.２６４方式で符号化している視点を第１の基底視点と規定し、復号側で従来のＡＶＣ／Ｈ.２６４方式で符号化している視点を復号する場合は、この視点を第１の基底視点とし、「view_dependency」の値はデフォルト値である"０"とする。

また、図８は視点参照依存カウントを符号化する方法として、視点参照依存カウントを視点毎に独立で（ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットとして）それぞれ符号化する場合の一例として説明したが、視点参照依存カウントを視点毎に独立で符号化する場合は、ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットに限らず、視点毎の符号化パラメータを符号化する他のパラメータとともに符号化すればよい。

再び、図１に戻って説明する。符号化ビット列生成部１０２は符号化管理部１０１から供給されるシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等のそれぞれのパラメータを（ＡＶＣ／Ｈ．２６４符号化方式のＳＰＳ、ＰＰＳ、ＳＥＩ情報として）符号化ビット列に符号化する（図３のステップＳ１０１）。本実施の形態では復号側でそれぞれの視点が第１の基底視点か否かを判別する必要があるので、復号側でそれぞれの視点について第１の基底視点か否かを判別することができるパラメータを直接的に符号化するか、または他の符号化パラメータから計算できるように間接的に符号化する。また、それぞれの視点の視点参照依存カウントを纏めてシーケンス全体に関連するパラメータとして符号化する場合は、例えば図７（ａ）のシンタックス構造に従って、（ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳのパラメータの一つとして）それぞれの視点の視点参照依存カウントを符号化する。

視点画像符号化部１０３は符号化管理部１０１により制御され、表示時間順に入力される視点０の視点画像Ｍ（０）をアクセス・ユニットと呼ばれる単位で符号化し、視点０の符号化ビット列Ｓ（０）を得る（図３のステップＳ１０３〜Ｓ１１７）。同様に、視点画像符号化部１０４、１０５も符号化管理部１０１により制御され、それぞれ表示時間順に入力される視点１の視点画像Ｍ（１）、視点２の視点画像Ｍ（２）を符号化し、視点１の符号化ビット列Ｓ（１）、視点２の符号化ビット列Ｓ（２）を得るが（図３のステップＳ１０３〜Ｓ１１７）、視点２の視点画像符号化部１０５では視点０の視点画像符号化部１０３から供給される参照画像Ｒ（０）も用いて符号化し、視点１の視点画像符号化部１０４では視点０の視点画像符号化部１０３、視点２の視点画像符号化部１０５から供給される参照画像Ｒ（０）、Ｒ（２）も用いて符号化する。視点画像符号化部１０３、１０４、１０５は共通の符号化方法で符号化することができる。

次に、視点画像符号化部１０３、１０４、１０５の構成について図２を用いて説明する。符号化管理部１０１の制御は図２に示した視点画像符号化部１０３、１０４、１０５を構成するすべてのブロック対して及ぶが、特に説明上重要なものに対してのみ、点線の矢印で示している。符号化管理部１０１の制御により、スイッチ２１０をオフにして視差補償予測の機能を停止し、スイッチ２１１をオンにした場合、視点０の視点画像符号化部１０３と等価となる。また、符号化管理部１０１の制御により、スイッチ２１０をオンにし、スイッチ２１１をオフにすることで、視点１の視点画像符号化部１０４と等価となり、スイッチ２１０、及びスイッチ２１１を共にオンにすることで、視点２の視点画像符号化部１０５と等価となる。

図２の画像バッファ２０１は視点毎に表示時間順に供給された視点ｖの視点画像Ｍ（ｖ）（ｖ＝０，１，２，・・・）を格納する（図３のステップＳ１０３）。また、符号化管理部１０１では１つの画像を１つのアクセス・ユニットと呼ばれる単位で管理し、さらにアクセス・ユニットをピクチャのスライスに分割し管理して符号化する（図３のステップＳ１０４〜Ｓ１１７）。まず、符号化ビット列生成部２０９は符号化管理部１０１で管理されるそれぞれのピクチャのスライスに関連する情報を（ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットとして）スライス毎に符号化ビット列に符号化する（図３のステップＳ１０５）。

ここで、視点を特定する当該視点ＩＤもピクチャのスライスに関連する情報として符号化する。また、視点参照依存カウントを視点毎に独立で符号化する場合は、例えば図８（ａ）のシンタックス構造に従って、ピクチャのスライスに関連するパラメータの一つとして当該視点に相当する視点参照依存カウントを符号化する。前記のように、視点参照依存カウントを必ずしもすべてのスライスで符号化する必要はないが、当該視点の視点参照依存カウントの値が"０"で無い場合、少なくとも復号開始となるアクセス・ユニットでは符号化する必要がある。さらに、符号化ビット列生成部２０９は符号化モード、動き／視差ベクトル、符号化残差信号等の画素ブロックの情報を符号化するが、それについては後述する。

画像バッファ２０１は、符号化順制御部１０１で管理される符号化順序に応じて、格納された符号化対象画像を画素ブロック単位で動き／視差補償予測部２０２、及び残差信号演算部２０４に供給する。すなわち、表示時間順序に供給された視点画像は符号化順序に並び替えられて画像バッファ２０１から出力される。

本実施の形態では、参照画像を用いずに画面内で符号化するイントラ符号化方式（図示しない）、既に符号化後に復号された復号画像を参照画像としこの参照画像を用いて動き補償予測を行い動き補償予測の際に算出される動きベクトルを符号化する方式、別視点からの参照画像を用いて視差補償予測を行い視差補償予測の際に算出される視差ベクトルを符号化する方式を用い、これらの符号化方式のモードを複数画素から構成される画素ブロック単位で単独あるいは組み合わせて適応的に切り替える。

動き／視差補償予測部２０２は、従来のＡＶＣ／Ｈ.２６４方式等と同様に動き補償予測を行うのに加えて、第１の基底視点以外の視点では視差補償予測を行う（図３のステップＳ１０７）。動き補償予測は後述する復号画像バッファ２０８から供給される表示順序で前方又は後方の同一視点の復号画像を参照画像とするが、視差補償予測は別視点の視点画像符号化部より供給される復号画像を参照画像とすれば共通の処理を行うことができる。この動き／視差補償予測部２０２は、符号化管理部１０１の制御に応じて、画像バッファ２０１から供給される画素ブロックと、復号画像バッファ２０８から供給される参照画像との間でブロックマッチングを行い、動き補償予測の場合は動きベクトル、視差補償予測の場合は視差ベクトルを検出し、動き補償予測／視差補償予測ブロック信号を作成して動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部２０３に供給する。

動き補償予測／視差補償予測を行うか否か、参照画像の数、どの復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化管理部１０１で制御され、この制御に応じて動き補償予測／視差補償予測に関するすべての符号化モードの候補となるすべての組み合わせについて動き補償予測／視差補償予測を行い、それぞれの動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部２０３に供給する。ここでの画素ブロックのサイズの候補とは、画素ブロックを更に分割したそれぞれの小ブロックのことである。例えば、画素ブロックを水平方向１６画素、垂直方向１６画素（すなわち、１６×１６）とした場合、１６×８、８×１６、８×８、８×４、４×８、４×４等の小ブロックに分割して動き補償予測を行い、候補とする。

符号化モード判定部２０３では、動き補償予測、視差補償予測のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせると効率の良い符号化が実現できるかを判定して符号化モードを決定し、得られた符号化モード、及び当該動きベクトル／視差ベクトルを符号化ビット列生成部２０９に供給すると共に、当該予測信号を選択または必要に応じて生成し、残差信号演算部２０４に供給する（図３のステップＳ１０８）。

残差信号演算部２０４は画像バッファ２０１から供給される符号化対象の視点画像Ｍ（ｖ）から、符号化モード判定部２０３から供給される予測信号を減算することにより、予測残差信号を得て残差信号符号化部２０５へ出力する（図３のステップＳ１０９）。残差信号符号化部２０５は入力された予測残差信号に対して直交変換、量子化等の残差信号符号化処理を行い、符号化残差信号を算出する（図３のステップＳ１１０）。

符号化管理部１０１は、処理している当該符号化対象画像（符号化対象の視点画像Ｍ（ｖ））が符号化順序で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像として利用されるか否かを管理しており（図３のステップＳ１１１）、参照画像として利用される場合は、残差信号復号部２０６を制御して符号化残差信号を復号させ、
それにより得られた復号画像信号を、残差信号重畳部２０７を介して復号画像バッファ２０８に供給させて画素ブロック単位で順次格納する（図３のステップＳ１１２〜Ｓ１１４）。

すなわち、ステップＳ１１２〜Ｓ１１４では、まず、残差信号復号部２０６は残差信号符号化部１０７から入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（図３のステップＳ１１２）。残差信号重畳部２０７は符号化モード判定部２０３から供給される予測信号に残差信号復号部２０６から供給される復号残差信号を重畳して復号画像信号を算出し（図３のステップＳ１１３）、その復号画像信号を復号画像バッファ２０８に画素ブロック単位で順次格納する（図３のステップＳ１１４）。この復号画像バッファ２０８に格納された復号画像信号は、必要に応じて、符号化順で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像となる。

符号化ビット列生成部２０９は符号化モード判定部２０３から入力される符号化モード、及び、動きベクトルまたは視差ベクトル、残差信号符号化部２０５から入力される符号化残差信号等を算術符号化等のエントロピー符号化を用いて順次符号化し、符号化ビット列Ｓ（ｖ）（ｖ＝０，１，２，・・・）を生成する（図３のステップＳ１１５）。

以上、ステップＳ１０７からステップＳ１１５までの処理を画素ブロック単位でピクチャのスライス内のすべての画素ブロックの符号化が完了するまで繰り返す（図３のステップＳ１０６〜Ｓ１１６）。更に、ステップＳ１０５からステップＳ１１６までの処理をアクセス・ユニット内の全てのスライスの符号化が完了するまで繰り返す（図３のステップＳ１０４〜Ｓ１１７）。更に、ステップＳ１０３からステップＳ１１７までの処理を各視点の符号化対象画像（アクセス・ユニット）毎に繰り返す（図３のステップＳ１０２〜Ｓ１１８）。

再び、図１に戻って説明する。符号化ビット列生成部１０２からシーケンス情報、ピクチャ情報、補足付加情報等の符号化ビット列が出力され、視点画像符号化部１０３、１０４、１０５から各視点の符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）が出力される。これらを必要に応じて多重化部（図示せず）で多重化して１本の符号化ビット列にする。多重化しない場合は上記の各符号化ビット列を独立した符号化ビット列として出力する。

次に、本発明の多視点画像復号装置、方法、及びプログラムの第１の実施の形態について図面を参照して説明する。本実施の形態の多視点画像復号装置は本発明の第１の実施の形態の多視点画像符号化装置により符号化された符号化ビット列を視点毎に並列処理によりリアルタイムで復号する装置である。図９は本発明になる多視点画像復号装置の第１の実施の形態のブロック図であり、図１０は図９の多視点画像復号装置を構成する視点画像復号部の一例の構成図である。また、図１１は図９の多視点画像復号装置、及び多視点画像復号方法、多視点画像復号プログラムの処理手順を説明するフローチャートである。図９の実施の形態の多視点画像復号装置は多視点画像符号化装置と同様に、ＡＶＣ／Ｈ.２６４符号化方式をベースとし、多視点に拡張した多視点画像復号装置であるものとして説明する。

図９に示すように、多視点画像復号装置は符号化ビット列復号部３０１、３０３、３０６、３０９、復号管理部３０２、バッファ３０４、３０７、３１０、視点画像復号部３０５、３０８、３１１を備えている。符号化ビット列復号部３０３、３０６、３０９に供給される符号化ビット列Ｓ（ｖ）（ｖ＝０，１，２）は、図１の多視点画像符号化装置により視点毎に生成された各視点の符号化ビット列であり、Ｍ'（ｖ）（ｖ＝０，１，２）は復号の結果、出力される多視点画像のそれぞれの視点画像である。図９ではｖ＝０、１、２の３視点のみ図示しており、ｖが３以上の視点は省略している。また、符号化ビット列復号部３０１に供給される符号化ビット列（シーケンス・パラメータ等）は、図１の多視点画像符号化装置により視点毎に生成されたシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等のそれぞれのパラメータを符号化して得られた符号化ビット列である。

また、多視点画像復号装置の一部を構成する視点画像復号部３０５、３０８、３１１はそれぞれ同一構成であり、図１０に示すように、符号化ビット列復号部４０１、動き／視差補償予測部４０２、予測信号合成部４０３、残差信号復号部４０４、残差信号重畳部４０５、復号画像バッファ４０６、スイッチ４０７、４０８を備えている。

次に、図９に示す第１の実施の形態の多視点画像復号装置の動作について、図１１のフローチャートを併せ参照して説明する。まず、図９において、符号化ビット列復号部３０１は図１に示した多視点画像符号化装置により符号化された符号化ビット列を復号する（図１１のステップＳ２０１）。ここで復号する符号化ビット列はシーケンス全体に関連するパラメータ（ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳ）、ピクチャに関連するパラメータ（ＡＶＣ／Ｈ.２６４符号化方式のＰＰＳ）、補足付加情報（ＡＶＣ／Ｈ.２６４符号化方式のＳＥＩ）等である。それぞれの視点の視点参照依存カウントを纏めてシーケンス全体に関連するパラメータとして符号化された符号化ビット列を復号する場合は、例えば図７（ａ）のシンタックス構造に従って、（ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳのパラメータの一つとして）それぞれの視点の視点参照依存カウントを復号する。復号されたシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等は復号管理部３０２にそれぞれ供給される。

続く以下の処理（図１１のＳ２０２〜Ｓ２２０）は各視点毎に並列で処理される。まず、符号化ビット列復号部３０３、３０６、３０９はそれぞれの視点毎に供給される視点０、視点１、視点２の符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）中の所定のデータを復号する（図１１のステップＳ２０４）。ここで、符号化ビット列復号部３０３、３０６、３０９が復号するデータは、ピクチャのスライスに関連するパラメータ（ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニットのヘッダ、及びスライス・ヘッダとして符号化されたパラメータ）であり、画素ブロックに関連する符号化モード、動き／視差ベクトル、ＤＣＴ係数等は復号しない。

視点参照依存カウントが視点毎に独立で符号化された符号化ビット列を復号する場合は、例えば図８（ａ）のシンタックス構造に従って、ピクチャのスライスに関連するパラメータの一つとして当該視点に相当する視点参照依存カウントを復号する。この場合、前述したように、視点参照依存カウントが必ずしもすべてのスライスで符号化されているとは限らないので、後述する復号管理部３０２では各視点において視点参照依存カウントのデフォルト値を"０"とし、当該視点の視点参照依存カウントが符号化されている場合は符号化ビット列復号部３０３、３０６、３０９で復号し、復号管理部３０２ではその値に更新する。それぞれ視点毎に復号されたピクチャのスライスに関連するパラメータは復号管理部３０２に供給される。さらに、符号化ビット列復号部３０３、３０６、３０９は、ここでは復号しない画素ブロックに関連する符号化モード、動き／視差ベクトル、ＤＣＴ係数等の符号化ビット列を随時バッファ３０４、３０７、３１０に供給する（図１１のステップＳ２０５）。

更に、ピクチャを複数のスライス単位に分割された符号化ビット列の情報をアクセス・ユニットと呼ばれる単位で扱うために、符号化ビット列復号部３０３、３０６、３０９はステップＳ２０４からステップＳ２０５までの処理をアクセス・ユニット内の全てのスライスがバッファに供給されるまで繰り返す（図１１のステップＳ２０３〜Ｓ２０６）。

復号管理部３０２は符号化ビット列復号部３０１から供給されるシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータと、符号化ビット列復号部３０３、３０６、３０９から供給される復号されたピクチャのスライスに関連するパラメータとに基づいて、復号に関する管理を行う。本実施の形態では他の視点の復号画像を視差補償予測のための参照画像として参照しない視点である第１の基底視点の復号開始時刻（タイミング）に対して、第１の基底視点でない視点の復号開始時刻（タイミング）を遅延させるので、供給されたパラメータを基に、それぞれの視点が第１の基底視点か否かを判別して管理する。各視点が基底視点かどうかは各視点の視点参照依存カウントが"０"かどうかで判別し、視点参照依存カウントが"０"の場合、基底視点である。また、復号管理部３０２は符号化ビット列復号部３０３、３０６、３０９から供給される視点参照依存カウントに基づいて、それぞれの視点の復号開始時刻（タイミング）を管理する。更に、復号管理部３０２は各画像の復号を開始する復号クロックを管理し、それぞれの時刻（タイミング）でそれぞれの視点の復号を開始することが可能か否かを判断し、それぞれの視点の視点参照依存カウントに応じて復号開始時刻（タイミング）を遅延させる（図１１のステップＳ２０７）。

バッファ３０４、３０７、３１０はそれぞれ視点０、視点１、視点２の符号化ビット列復号部３０３、３０６、３０９から供給されるアクセス・ユニット単位の画素ブロックに関連する符号化モード、動き／視差ベクトル、ＤＣＴ係数等の符号化ビット列を保持する。また、バッファ３０４、３０７、３１０は復号管理部３０２に復号開始時刻（タイミング）を制御され、復号を開始する時刻（タイミング）になったら、それぞれ保持している視点０、視点１、視点２の当該符号化ビット列を読み出して視点画像復号部３０５、３０８、３１１に供給し、アクセス・ユニットの復号処理を開始させる（図１１のステップＳ２０８）。

ここで、復号順序及び復号時刻（タイミング）について図４に示す参照依存関係で符号化された符号化ビット列を図５に示す復号順序で復号する場合の処理手順について説明する。この場合、多視点画像復号装置には、図９の符号化ビット列復号部が３０３、３０６、３０９以外に更に５つの符号化ビット列復号部が並列に設けられており、また、バッファもバッファ３０４、３０７、３１０以外に更に５つ並列に設けられ、視点画像復号部も視点画像復号部３０５、３０８、３１１以外に更に５つ並列に設けられている。

復号管理部３０２は符号化ビット列の視点毎の１アクセス・ユニット時間周期で"１"ずつ増加するカウンタを"０"にセットする。バッファ３０４、３０７、３１０等の全部で８個のバッファにそれぞれ各視点の符号化ビット列が充分格納され、視点参照依存カウントが"０"である視点のアクセス・ユニット内の全てのスライスの符号化ビット列が揃った後、まず、最初に視点参照依存カウントが"０"である視点０の先頭であるＰ（０，０）のアクセス・ユニットをバッファ３０４から読み出して視点画像復号部３０５で復号する。この時刻（タイミング）では視点参照依存カウントが"０"より大きい視点１〜７は復号せず、遅延させる。そして、復号管理部３０２は１アクセス・ユニット時間周期でカウンタを１つ増加し"１"とする。

次に、カウンタの値以下の視点参照依存カウントの値を持つ視点０のＰ（０，４）、及び視点２の先頭であるＰ（２，０）のアクセス・ユニットをバッファ３０４、３１０から読み出して視点画像復号部３０５、３１１で同時に並列に復号する。この時刻（タイミング）では視点参照依存カウントの値がカウンタの値である"１"より大きい視点１、及び視点３〜７は復号せず、さらに遅延させる。そして、復号管理部３０２は１アクセス・ユニット時間周期でカウンタをさらに１つ増加し、"２"とする。

次に、カウンタの値以下の視点参照依存カウントの値を持つ視点０のＰ（０，２）、視点２のＰ（２，４）、及び視点１の先頭であるＰ（１，０）、視点４の先頭であるＰ（４，０）のアクセス・ユニットをバッファ３０４、３１０及び視点４のバッファから読み出して、視点復号部３０５、３１１及び視点４の視点復号部で同時に並列に復号する。この時刻（タイミング）では視点参照依存カウントの値がカウンタの値である"２"より大きい視点３、及び視点５〜７は復号せず、さらに遅延させる。そして、復号管理部３０２は１アクセス・ユニット時間周期でカウンタをさらに１つ増加し、"３"とする。

次に、カウンタの値以下の視点参照依存カウントの値を持つ視点０のＰ（０，１）、視点１のＰ（１，４）、視点２のＰ（２，２）、視点４のＰ（４，４）及び視点３の先頭であるＰ（３，０）、視点６の先頭であるＰ（６，０）のアクセス・ユニットをバッファ３０４、３１０及び視点４、視点３、視点６の各バッファから読み出して、視点復号部３０５、３１１及び視点４、視点３、視点６の各視点復号部で同時に並列に復号する。この時刻（タイミング）では視点参照依存カウントの値がカウンタの値である"３"より大きい視点５、７は復号せず、さらに遅延させる。そして、復号管理部３０２は１アクセス・ユニット時間周期でカウンタをさらに１つ増加し、"４"とする。

次に、カウンタの値以下の視点参照依存カウントの値を持つ視点０のＰ（０，３）、視点１のＰ（１，２）、視点２のＰ（２，１）、視点３のＰ（３，４）、視点４のＰ（４，２）、視点６のＰ（６，４）及び視点５の先頭であるＰ（５，０）、視点７の先頭であるＰ（７，０）のアクセス・ユニットを、バッファ３０４、３０７、３１０及び視点３、視点４、視点６、視点５、視点７の各バッファから読み出して、視点復号部３０５、３０８、３１１及び視点３、視点４、視点６、視点５、視点７の各視点復号部で同時に並列に復号する。この時刻（タイミング）では全ての視点参照依存カウントの値がカウンタの値である"４"以下なので、すべての視点のアクセス・ユニットが復号できる。以下、同様に全ての８視点の符号化ビット列Ｓ（０）〜Ｓ（７）を同時に並列で１アクセス・ユニット時間周期で復号する。

このように、視点画像復号部３０５は復号管理部３０２により制御され、視点０のバッファ３０４から１アクセス・ユニット時間周期で供給される視点０の符号化ビット列Ｓ（０）を復号し、視点０の視点画像Ｍ'（０）を得る（図１１のステップＳ２０８〜Ｓ２２０）。同様に、視点画像復号部３０８、３１１も復号管理部３０２により制御され、それぞれ１アクセス・ユニット時間周期で視点１の符号化ビット列Ｓ（１）、視点２の符号化ビット列Ｓ（２）を復号し、視点１の視点画像Ｍ（１）、視点２の視点画像Ｍ（２）を得るが（図１１のステップＳ２０８〜Ｓ２２０）、視点２の視点画像復号部３１１では視点０の視点画像復号部３０５から供給される参照画像も用いて復号し、視点画像復号部３０８では視点０の視点画像復号部３０５及び視点２の視点画像復号部３１１から供給される参照画像も用いて復号する。視点画像復号部３０５、３０８、３１１は共通の復号方法で復号することができる。

次に、視点画像復号部３０５、３０８、３１１の構成及び動作について図１０及び図１１を用いて説明する。図１０は一つの視点画像復号部の構成を示しており、復号管理部３０２の制御は図１０に示す一つの視点画像復号部のすべてのブロック対して及ぶが、特に説明上重要なものに対してのみ、点線の矢印で示している。復号管理部３０２の制御により、スイッチ４０７をオフにして動き／視差補償予測部４０２の機能を停止し、スイッチ４０８をオンにした場合、視点０の視点画像復号部３０５と等価となる。また、復号管理部３０２の制御により、スイッチ４０７をオンにし、スイッチ４０８をオフにすることで、視点１の視点画像符号化部３０８と等価となり、スイッチ４０７、及びスイッチ４０８を共にオンにすることで、視点２の視点画像符号化部３１１と等価となる。

符号化ビット列復号部４０１は算術符号化等のエントロピー符号化を用いて符号化された符号化ビット列Ｓ（ｖ）（ｖ＝０，１，２，・・・）を復号し、画素ブロック単位で、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号（符号化された予測残差信号）等の情報を得る（図１１のステップＳ２１１）。

復号された符号化モードにより、復号するブロックがイントラ、動き補償予測、視差補償予測のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせられているかが分かる。動き／視差補償予測部４０２は動き補償予測及び視差補償予測を行う（図１１のステップＳ２１２）。動き／視差補償予測部４０２は当該ブロックで動き補償予測が行われている場合、復号画像バッファ４０６から供給される復号画像を参照画像として、符号化ビット列復号部４０１から供給される復号された動きベクトルに応じた動き補償予測を行い、動き補償予測ブロックを得る。更に、当該動き／視差補償予測部４０２で視差補償予測が行われている場合、別視点の視点画像復号部からスイッチ４０７を介して供給される復号画像Ｒ（ｖ'）を参照画像として、符号化ビット列復号部４０１から供給される復号された視差ベクトルに応じた視差補償予測を行い、視差補償予測ブロックを得る。

予測信号合成部４０３は符号化モードに応じて合成が必要ならば、動き／視差補償予測部４０２から供給される動き補償予測ブロック、あるいは視差補償予測ブロックを合成し、合成が必要でなければ、そのままの信号とし、当該ブロックの予測信号を生成する（図１１のステップＳ２１３）。

一方、残差信号復号部４０４は符号化ビット列復号部４０１から供給された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（図１１のステップＳ２１４）。残差信号重畳部４０５は予測信号合成部４０３から供給される予測信号に、残差信号復号部４０４から供給される復号残差信号を重畳して復号画像信号を算出し（図１１のステップＳ２１５）、復号画像バッファ４０６に画素ブロック単位で順次格納する（図１１のステップＳ２１６）。

以上、ステップＳ２１１からステップＳ２１６までの処理を画素ブロック単位でピクチャのスライス内のすべての画素ブロックの復号が完了するまで繰り返す（図１１のステップＳ２１０〜Ｓ２１７）。更に、ステップＳ２１０からステップＳ２１７までの処理をアクセス・ユニット内のすべてのスライスの復号が完了するまで繰り返す（図１１のステップＳ２０９〜Ｓ２１８）。

更に、復号画像バッファ４０６は復号管理部３０２により制御される時刻（タイミング）で、格納された復号画像信号Ｍ（ｖ'）を所定の視点の復号画像信号として表示時間順で表示装置等に出力する（図１１のステップＳ２１９）。また、この復号画像バッファ４０６に格納された復号画像信号は、必要に応じてオンとされるスイッチ４０８を介して他の視点の参照画像Ｒ（ｖ'）として出力される。そして、ステップＳ２０３からステップＳ２１９までの処理を各視点の符号化対象画像毎に繰り返す（図１１のステップＳ２０２〜Ｓ２２０）。ここで、ステップＳ２０２からステップＳ２２０までの処理は視点毎に並列に行う。

また、図９には図示していないが、本実施の形態の多視点画像復号装置に供給される符号化ビット列が多重化されている場合、ＡＶＣ／Ｈ.２６４符号化方式のＮＡＬユニット単位で分離し、ＮＡＬユニットのヘッダ部分を復号してＮＡＬユニットの種類を判別し、
分離する。ＮＡＬユニットがシーケンス全体に関連するパラメータ（ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳ）、ピクチャに関連するパラメータ（ＡＶＣ／Ｈ.２６４符号化方式のＰＰＳ）、補足付加情報（ＡＶＣ／Ｈ.２６４符号化方式のＳＥＩ）の場合は、符号化ビット列復号部３０１に供給し、ピクチャのスライス情報（ＡＶＣ／Ｈ.２６４符号化方式のＶＣＬ ＮＡＬユニット）の場合は、視点ＩＤに応じて、符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）として、それぞれの視点に割り当てる。

なお、以上の説明においては、各視点を並列処理によりリアルタイムで復号する際に、それぞれの１つ視点を１つのプロセス（視点画像復号部）で復号する場合について述べたが、本発明はこれに限定されることはなく、視点とプロセスの数が一致してなくても本発明を適用できる。例えば、図５に示す８視点の多視点画像を４つのプロセスで復号する場合、２つの視点を１つのプロセスで復号し、アクセス・ユニットの復号周期を２倍速とする。視点０と視点１を１つのプロセスで復号し、視点０のＰ（０，２）とＰ（１，０）のアクセス・ユニットを復号する際にはどちらか一方のアクセス・ユニットを復号した後に、もう一方のアクセス・ユニットを復号する。

以上のように、図１に示した第１の実施の形態の多視点画像符号化装置において、それぞれの視点に対応する視点参照依存カウントを符号化することにより、復号側で各視点の符号化ビット列を並列処理によりリアルタイムで復号する際に、第１の基底視点の復号開始時刻（タイミング）に対する各視点の復号開始時刻（タイミング）の遅延時間を容易に知ることができ、視点参照依存カウントに応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列（符号化データ）の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償される。

一方、図９に示した第１の実施の形態の多視点画像復号装置において、それぞれの視点に対応する視点参照依存カウントが符号化されている符号化ビット列を復号することにより、各視点の符号化ビット列を並列処理によりリアルタイムで復号する際に、第１の基底視点の復号開始時刻（タイミング）に対する各視点の復号開始時刻（タイミング）の遅延時間を容易に知ることができ、視点参照依存カウントに応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償されるので、効率的に符号化データの復号を並列処理によりリアルタイムでできる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の多視点画像符号化装置、及び方法について説明する。図１２は本発明になる多視点画像符号化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成要素には同一符号を付してある。図１２に示す第２の実施の形態は、図１に示した第１の実施の形態と比較して、符号化管理部５０１と符号化ビット列生成部５０２の処理動作が異なる。

次に、図１２に示す第２の実施の形態の多視点画像符号化装置の動作について説明する。まず、図１２において、符号化管理部５０１は外部から設定された符号化パラメータをもとに、シーケンス全体に関連する情報、ピクチャに関連する情報、ピクチャのスライスに関連する情報等を含む符号化に関する管理を行うとともに、参照依存関係、符号化順序を管理する。符号化管理部５０１の符号化管理の処理動作は、図１の符号化管理部１０１と同様であるが、第２の実施の形態の多視点画像符号化装置では視点参照依存カウントを符号化しないので、シーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等を符号化ビット列生成部５０２に供給する際に、視点参照依存カウントは供給しない。

ただし、後述する第２の実施の形態の多視点画像復号装置では、視点参照依存カウントを算出して、復号タイミングを管理するので、第２の実施の形態の多視点画像符号化装置では、視点参照依存カウントが計算できるように、符号化管理部５０１で参照依存関係を管理し、符号化ビット列生成部５０２で符号化する。

例えば、ＡＶＣ／Ｈ.２６４符号化方式を多視点画像に拡張した多視点画像符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ。以下、ＭＶＣ方式と呼ぶ。）の標準化作業が進んでおり、ここでは、シーケンス全体に関連する情報として視点数、及び各視点の参照依存情報を符号化する手法が提案されている（ＪＤ１．０：Joint Draft 1.0 on Multiview Video Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-U209, November 2006）。この手法では、視点数や各視点の参照依存情報はシーケンス情報のパラメータセットであるＳＰＳ（シーケンス・パラメータ・セット）を拡張することにより符号化される。ＳＰＳのＭＶＣ拡張部分ののシンタックス構造を図１９を用いて説明する。図１９に示すシンタックス構造はＪＤ１．０で定義されているもので、「seq_parameter_set_mvc_extension」はＳＰＳに含まれるＭＶＣのための拡張である。

図１９において、「num_views_minus1」は符号化する多視点画像の視点数を符号化するためのパラメータであり、視点数から１を引いた値である。「num_anchor_refs_l0[i]」は視点ＩＤがｉである視点のアンカーピクチャのための参照画像リスト０の参照画像の数である。ここで、アンカーピクチャは復号時に異なる表示時刻の画像を参照画像として参照せずに復号することのできる画像である。アンカーピクチャの復号時に参照画像として用いることができるのは同時刻の他の視点のアンカーピクチャだけである。したがって、アンカーピクチャは動き補償予測を用いることはできない。例えば、図４に示す参照依存関係で符号化する場合は、Ｐ（０，０），Ｐ（１，０），Ｐ（２，０），Ｐ（０，４），Ｐ（１，４），Ｐ（２，４）などがアンカーピクチャである。また、参照画像リストはＰスライスやＢスライスのインター予測（動き補償予測、視差補償予測）において、複数の参照画像の候補から実際にどの参照画像を参照しているかを指定するために使われる参照画像のリストである。参照画像リストは参照画像リスト０と参照画像リスト１の２つあるが、Ｐスライスは参照画像リスト０のみを用いてインター予測を行うことが可能であり、Ｂスライスは参照画像リスト０、参照画像リスト１の両方を用いてインター予測を行うことが可能となる。

また、図１９の「anchor_ref_l0[i][j]」は視点ＩＤがｉである視点のアンカーピクチャのための参照画像リスト０中のｊ番目の参照画像として用いられる視点の視点ＩＤの値を示す。「num_anchor_refs_l1[i]」は視点ＩＤがｉである視点のアンカーピクチャのための参照画像リスト１の参照画像の数である。「anchor_ref_l1[i][j]」は視点ＩＤがｉである視点のアンカーピクチャのための参照画像リスト１中のｊ番目の参照画像として用いられる視点の視点ＩＤの値を示す。「num_non_anchor_refs_l0[i]」は視点ＩＤがｉである視点の非アンカーピクチャのための参照画像リスト０の参照画像の数である。ここで、非アンカーピクチャはアンカーピクチャを除く画像である。非アンカーピクチャの復号時に異なる表示時刻の画像を参照画像として参照することもできる。したがって、動き補償予測を用いることも可能である。例えば、図４では、Ｐ（０，１），Ｐ（１，１），Ｐ（２，１），Ｐ（０，２），Ｐ（１，２），Ｐ（２，２）などが非アンカーピクチャである。

また、図１９の「non_anchor_ref_l0[i][j]」は視点ＩＤがｉである視点の非アンカーピクチャのための参照画像リスト０中のｊ番目の参照画像として用いられる視点の視点ＩＤの値を示す。また、「num_non_anchor_refs_l1[i]」は視点ＩＤがｉである視点の非アンカーピクチャのための参照画像リスト1の参照画像の数である。更に、「non_anchor_ref_l1[i][j]」は視点ＩＤがｉである視点の非アンカーピクチャのための参照画像リスト１中のｊ番目の参照画像として用いられる視点の視点ＩＤの値を示す。また、各シンタックス要素は指数ゴロム符号化（expothetical Golomb coding）と呼ばれる手法で符号無しで符号化される。ここで用いる指数ゴロム符号化はユニバーサル符号化の一種で、変換テーブルを用いずに可変長符号化する方式である。

また、図１９に示すシンタックス構造に従って、８視点の多視点画像を図４に示す参照依存関係で符号化する際のＳＰＳのＭＶＣ拡張部分の各シンタックス要素とその値の一例を図２０に示す。まず、図２０において、num_views_minus1は7が符号無し指数ゴロム符号で符号化される。これは符号化されている多視点画像の視点数が8視点であることを示す。続いて、参照依存情報のシンタックス要素が符号化される。まず、num_anchor_refs_l0[0]の値が0となっており、これは視点0のアンカーピクチャのための参照画像リスト０の参照画像の数が０であることを示す。続くnum_anchor_refs_l1[0]の値も0となっており、これは視点0のアンカーピクチャのための参照画像リスト１の参照画像の数が０であることを示す。続くnum_anchor_refs_l0[1]の値が2となっており、これは視点1のアンカーピクチャのための参照画像リスト０の参照画像の数が2であることを示す。この場合、続いてanchor_ref_l0[1][0]、anchor_ref_l0[1][1]が符号化され、その値はそれぞれ０、２となっており、これは視点1のアンカーピクチャのための参照画像リスト０の参照画像として、視点０と視点２が用いられることを示す。続くアンカーピクチャの他の各視点の参照画像リスト０、リスト１、及び非アンカーピクチャの各視点の参照画像リスト０、リスト１に関する参照依存情報のシンタックス要素も同様に符号化される。

このように、本実施の形態２では、符号化側でシーケンス全体として前記パラメータ、即ち、視点数、及び各視点の参照依存情報を符号化パラメータの一つとして符号化して復号側に転送ないしは送信し、復号側では符号化側から視点数、及び各視点の参照依存情報を含む符号化パラメータを受信して復号することによりシーケンス全体として、各視点の参照依存関係を判別することができる。また、後述する第２の実施の形態の多視点画像復号装置では前記パラメータを用いて視点参照依存カウントを算出する。

再び、図１２に戻って説明する。図１２において、符号化ビット列生成部５０２は符号化管理部５０１から供給されるシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等のそれぞれのパラメータを（ＡＶＣ／Ｈ.２６４符号化方式のＳＰＳ、ＰＰＳ、ＳＥＩ情報として）符号化ビット列に符号化する。特に、参照依存関係を示すパラメータから復号側で視点参照依存カウントが計算できるように、例えば図１９に示すシンタックス構造で参照依存関係を示すパラメータを符号化する。

この符号化ビット列生成部５０２の符号化処理（符号化ビット列生成処理）の処理動作は、図１の符号化管理部１０１と略同様であるが、第２の実施の形態の多視点画像符号化装置では視点参照依存カウントを符号化しないので、視点参照依存カウントは供給されず、視点参照依存カウントを符号化しない点が符号化管理部１０１の処理動作と異なる。なお、図１２に示す視点画像符号化部１０３、１０４、１０５の動作は図１と同様である。

次に、本発明になる多視点画像復号装置、方法、及びプログラムの第２の実施の形態について図面を参照して説明する。この第２の実施の形態の多視点画像復号装置は図１２に示した第２の実施の形態の多視点画像符号化装置に対応した復号装置で、図１２に示した多視点画像符号化装置により符号化された符号化ビット列を視点毎に並列処理によりリアルタイムで復号する装置である。

図１３は本発明になる多視点画像復号装置の第２の実施の形態のブロック図を示す。同図中、図９と同一構成要素には同一符号を付してある。図１３に示す第２の実施の形態の多視点画像復号装置は、図９に示した第１の実施の形態の多視点画像復号装置と比較して、視点参照依存カウント算出部６１２が追加されている点と符号化ビット列復号部６０１、復号管理部６０２の処理動作が異なる。更に、図１４は図１３の多視点画像復号装置、及び多視点画像復号方法、多視点画像復号プログラムの処理手順を説明するフローチャートである。図１４に示した処理手順は、図１１に示した第１の実施の形態の多視点画像復号装置、及び多視点画像復号方法、多視点画像復号プログラムの処理手順と比較して、ステップＳ３０２が追加されている点と、ステップＳ３０１の処理動作が異なる。

次に、図１３に示す第２の実施の形態の多視点画像復号装置の動作について、図１４のフローチャートを併せ参照して説明する。まず、図１３において、符号化ビット列復号部６０１は図１２に示した多視点画像符号化装置により符号化された符号化ビット列を復号する（図１４のステップＳ３０１）。符号化ビット列復号部６０１の符号化ビット列復号処理動作は、図９の符号化ビット列復号部３０１と略同様であるが、符号化ビット列復号部６０１に供給される符号化ビット列には視点依存カウントは符号化されておらず、従って、視点依存カウントを復号しない点が符号化ビット列復号部３０１と異なる。

符号化ビット列復号部６０１に供給される符号化ビット列に視点数と参照依存関係を示す情報が図１９に示すシンタックス構造で符号化されている場合、視点数の情報は「num_views_minus1」として取得し、参照依存関係を示す情報は「num_anchor_refs_l0[i]」、「anchor_ref_l1[i][j]」、「num_anchor_refs_l1[i]」、「anchor_ref_l1[i][j]」、「num_non_anchor_refs_l0[i]」、「anchor_non_ref_l1[i][j]」、「num_non_anchor_refs_l1[i]」、「non_anchor_ref_l1[i][j]」として取得する。ただし、「num_views_minus1」は視点数から１を減じた値となっている。復号されたシーケンス全体に関連するパラメータ、ピクチャに関連するパラメータ、補足付加情報等は、復号管理部６０２に供給されるとともに、復号された視点数と参照依存関係を示す情報が視点参照依存カウント算出部６１２に供給される。

視点参照依存カウント算出部６１２は、符号化ビット列復号部６０１より供給される視点数と参照依存関係を示す情報とから、他の視点の復号画像を視差補償予測のための参照画像として参照しない基底視点を判別し、各視点の視点参照依存カウントを算出する（図１４のステップＳ３０２）。ここで、ステップＳ３０２の各視点の視点参照依存カウントの算出処理手順の一例について図１５〜図１８のフローチャートと共に説明する。また、具体例として、参照依存関係が図１９に示すシンタックス構造で符号化され、それらの値が図２０である場合について、説明する。

ここで、視点参照依存カウントを「view_dependency_count[i]」と定義する。この視点参照依存カウント「view_dependency_count[i]」のインデックスｉは視点ＩＤを示し、０から（多視点画像の視点数−１）までの値をとる。また、ある視点が視差補償予測等で参照する他の視点を視差補償用参照視点、視差補償用参照視点の視点ＩＤを視差補償用参照視点ＩＤとする。さらに、視差補償用参照視点の数を「num_ref_views[i]」と定義する。また、この視差補償用参照視点の数「num_ref_views[i]」のインデックスｉは視点ＩＤを示し、０から（多視点画像の視点数−１）までの値をとる。更に、視差補償用参照ＩＤを「ref_view_id[i][k]」と定義する。この視差補償用参照ＩＤ「ref_view_id[i][k]」のインデックスｉは視点ＩＤを示し、０から（多視点画像の視点数−１）までの値をとる。また、「ref_view_id[i][k]」のインデックスｋはそれぞれの視点における複数の視差補償用参照視点を示すためのインデックスであり、それぞれの視点について０から（num_ref_views[i]−１）までの値をとる。

図１４のステップＳ３０２の各視点の視点参照依存カウントの算出処理において、まず、それぞれの視点について、視差補償用参照視点の数と各視差補償用参照視点ＩＤの値を重複することなくすべて算出する（図１５のステップＳ４０１）。例えば、図１９に示す参照依存関係がシンタックス構造で符号化される場合、それぞれの視点が動き補償予測、視差補償予測で参照する視点の視点ＩＤは「anchor_ref_l0[i][j]」、「anchor_ref_l1[i][j]」、「non_anchor_ref_l0[i][j]」、「non_anchor_ref_l1[i][j]」に明記されており、これらのパラメータからそれぞれの視点について、重複することなくすべての視差補償用参照視点ＩＤを抽出する。

これらのパラメータの値が図２０である場合において、それぞれの視点の各視差補償用参照視点ＩＤの値と視差補償用参照視点の数を図２１に示す。図２０において、視点０はアンカーピクチャについてはnum_anchor_refs_l0[0]、num_anchor_refs_l1[0]の値が共に０であり、どの視点も参照しない。非アンカーピクチャについては non_anchor_ref_l0[0][0]、non_anchor_ref_l0[0][1]、non_anchor_ref_l1[0][0]、non_anchor_ref_l1[0][1]が”０”となっている。すなわち同じ視点である視点０を動き補償予測により参照し、他の視点の復号画像を視差補償予測のための参照画像として参照しない基底視点（第２の基底視点）である。従って、視点０の視差補償用参照視点の数は”０”となる。つまり、本実施の形態では、符号化ビット列復号部６０１は入力される符号化ビット列には視点依存カウントが含まれていないので、視点依存カウントを復号しないが、符号化ビット列復号部６０１で復号された符号化ビット列中の視点数と参照依存関係を示す情報とに基づいて、視点参照依存カウント算出部６１２によって視点参照依存カウントを算出し、符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点０（第２の基底視点）を判別する。

視点１はanchor_ref_l0[1][0]、anchor_ref_l1[1][1]、non_anchor_ref_l0[1][1]が”
０”、anchor_ref_l0[1][1]、anchor_ref_l1[1][0]、non_anchor_ref_l1[1][1]が”２”
、non_anchor_ref_l0[1][0]、non_anchor_ref_l1[1][0]が”１”であるので、他の視点である視点０、及び視点２を視差補償予測により参照し、同じ視点である視点１を動き補償予測により参照して符号化されていることがわかる。したがって、これらのパラメータから重複することなくすべての視差補償用参照視点ＩＤを抽出すると、視差補償用参照視点の数は”２”、各視差補償用参照視点ＩＤの値は”０”と”２”となる（num_ref_views[1]は”２”、ref_view_id[1][0]は”０”、ref_view_id[1][1]は”２”となる）。

次に、すべての視点の中で、他の視点を参照しないそれぞれの視点、すなわち基底視点の視点参照依存カウントの値を"０"に設定する（図１５のステップＳ４０２）。例えば、図２１では、視差補償用参照視点の数が"０"であるのは視点０だけであるので、視点０の視点参照依存カウントの値のみを"０"に設定する（view_dependency_count[0]のみが"０"となる）。次に、他の視点を参照するそれぞれの視点、すなわち規定視点でない視点の視点参照依存カウントの値を算出する（図１５のステップＳ４０３）。

このステップＳ４０３の算出処理手順の一例について図１６のフローチャートと共に説明する。まず、それぞれの視点ＩＤの値を示すインデックスｉを初期値として"０"に設定する（図１６のステップＳ５０１）。次に、当該視点の視点依存カウントview_dependency_count[i]が既に算出しているかどうか判定し（図１６のステップＳ５０２）、まだ算出されていない場合、ステップＳ５０３に進み、当該視点の視点参照依存カウントview_dependency_count[i]が既に算出されている場合、ステップＳ５０３からＳ５０５までの処理をスキップして、ステップＳ５０６に進む。当該視点の視点参照依存カウントview_dependency_count[i]がまだ算出されていない場合、当該視点のすべての視差補償用参照視点の視点参照依存カウントが既に算出されているかどうかを判定する（図１６のステップＳ５０３）。

このステップＳ５０３の判定処理手順の一例について図１７のフローチャートと共に説明する。まず、インデックスｋの初期値として"０"に設定する（図１７のステップＳ６０１）。次に、当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]が既に算出されているかどうかを判断する（図１７のステップＳ６０２）。

ステップＳ６０２において当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]が既に算出されていると判断した場合、インデックスｋに１を加算する（図１７のステップＳ６０３）。次に、インデックスｋと当該視点の視差補償用参照視点の数num_ref_views[i]とを比較する（図１６のステップＳ６０４）。インデックスｋの値が当該視点の視差補償用参照視点の数num_ref_views[i]の値より小さい場合、再びステップＳ６０２に進む。それ以外の場合、当該視点のすべての視差補償用参照視点の視点参照依存カウントが既に算出されていると判定し（図１６のステップＳ６０５）、ステップＳ５０３の処理（図１７の処理）を終了する。

一方、ステップＳ６０２において当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]がまだ算出されていないと判断した場合、当該視点のすべての視差補償用参照視点の視点参照依存カウントがまだ算出されていないと判定し（図１７のステップＳ６０６）、ステップＳ５０３の処理（図１７の処理）を終了する。

再び、図１６のフローチャートに戻って説明する。図１７と共に説明したステップＳ５０３の判定結果に応じて、当該視点の視点参照依存カウントを算出することができるか否かを判断する（図１６のステップＳ５０４）。ステップＳ５０３で当該視点のすべての視差補償用参照視点の視点参照依存カウントがまだ算出されていないと判定した場合、ステップＳ５０５をスキップして、ステップＳ５０６に進む。ステップＳ５０３で当該視点のすべての視差補償用参照視点の視点参照依存カウントが既に算出されていると判定した場合、当該視点の視点参照依存カウントを算出する（図１６のステップＳ５０５）。

このステップＳ５０５の算出処理手順の一例について図１８のフローチャートと共に説明する。まず、当該視点の視点参照依存カウントview_dependency_count[i]の値を仮に"１"に設定する（図１８のステップＳ７０１）。次にインデックスｋの初期値として"０"に設定する（図１８のステップＳ７０２）。次に、当該視点の視点参照依存カウントview_dependency_count[i]の値と当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]の値とを比較する（図１８のステップＳ７０３）。当該視点の視点参照依存カウントview_dependency_count[i]の値が当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]の値より大きい場合、ステップＳ７０４をスキップして、ステップＳ７０５に進む。

当該視点の視点参照依存カウントview_dependency_count[i]の値が当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]の値以下場合、当該視点の視点参照依存カウントview_dependency_count[i]に当該視点の視差補償用参照視点の参照依存カウントview_dependency_count[ref_view_id[i][k]]の値に"１"を加えた値を代入して（図１８のステップＳ７０４）、ステップＳ７０５に進む。

ステップＳ７０５では、インデックスｋに"１"を加算する。続いて、インデックスｋと当該視点の視差補償用参照視点の数num_ref_views[i]とを比較する（図１８のステップＳ７０６）。インデックスｋの値が当該視点の視差補償用参照視点の数num_ref_views[i]の値より小さい場合、再びステップＳ７０３に進む。それ以外の場合、ステップＳ５０５の処理（図１８の処理）を終了する。ステップＳ５０５の処理が終了した時点での当該視点の視点参照依存カウントview_dependency_count[i]の値が算出結果となる。

再び、図１６のフローチャートに戻って説明する。図１８と共に説明したステップＳ５０５の処理が終了すると、続いてインデックスｉに"１"を加算する（図１６のステップＳ５０６）。続いて、インデックスｉと視点数の情報num_views_minus1[i]とを比較する（図１６のステップＳ５０７）。インデックスｉの値が視点数の情報num_views_minus1[i]の値以下の場合、再びステップＳ５０２に進む。それ以外の場合、すべての視点の視点参照依存カウントの値が算出されているかどうかを判定する（図１６のステップＳ５０８）。ステップＳ５０８の判定結果に応じて、再びステップＳ５０１からＳ５０８までの処理を行うかどうかを判断する（図１６のステップＳ５０９）。ステップＳ５０９ですべての視点の視点参照依存カウントの値を算出していないと判断した場合、再びステップＳ５０１に進み最初から処理を行う。ステップＳ５０９ですべての視点の視点参照依存カウントの値を算出したと判断した場合、図１５のステップＳ４０３の処理（図１６の処理）が終了し、図１４のステップＳ３０２及び図１５の視点参照依存カウント算出処理が終了する。

再び、図１３に戻って説明する。視点参照依存カウント算出部６１２で、図１４のステップＳ３０２及び図１５〜図１８のフローチャートと共に説明した方法で判別された各視点が基底視点であるかどうかの基底視点情報、及び算出された各視点の視点参照依存カウントは復号管理部６０２に供給される。以後、図１３の復号管理部６０２、バッファ３０４、３０７、３１０、視点画像復号部３０５、３０８、３１１は、図１４のステップＳ２０２〜Ｓ２２０で示す復号動作を行う。この図１４のステップＳ２０２〜Ｓ２２０で示す復号動作は、図１１のステップ２０２〜Ｓ２２０で示した図９の復号管理部３０２、バッファ３０４、３０７、３１０、視点画像復号部３０５、３０８、３１１の復号動作と同様であり、各視点毎に並列で処理される点についても同様である。また、図１３に示す復号管理部６０２の管理動作は図９の復号管理部３０２と略同様であるが、判別された基底視点情報、及び視点参照依存カウントが視点参照依存カウント算出部６１２から供給される点が復号管理部３０２と異なる。ただし、復号管理部６０２では参照依存カウント算出部６１２で判別された基底視点情報が供給されなくても、参照依存カウント算出部６１２から供給される各視点の視点参照依存カウントが"０"か否かで各視点が基底視点かどうかを判別することもできる。

以上のように、図１２に示した第２の実施の形態の多視点画像符号化装置において、視点数と参照依存関係を示す情報とを符号化することにより、復号側で各視点の符号化ビット列を並列処理によりリアルタイムで復号する際に、視点数と参照依存関係を示す情報とからそれぞれの視点に対応する視点参照依存カウントを算出することにより、第２の基底視点の復号開始時刻（タイミング）に対する各視点の復号開始時刻（タイミング）の遅延時間を容易に知ることができ、視点参照依存カウントに応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列（符号化データ）の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償される。

一方、図１３に示した第２の実施の形態の多視点画像復号装置において、多視点画像の視点数と参照依存関係を示す情報が符号化されている符号化ビット列を復号し、それらの情報からそれぞれの視点に対応する視点参照依存カウントを算出することにより、各視点の符号化ビット列を並列処理によりリアルタイムで復号する際に、第２の基底視点の復号開始時刻（タイミング）に対する各視点の復号開始時刻（タイミング）の遅延時間を容易に知ることができ、視点参照依存カウントに応じて各視点の復号開始時刻（タイミング）を遅延させて符号化ビット列の復号を開始することで、視点間の同期が取れ、視差補償予測を用いる画像の復号時に参照画像となる他の視点の画像の復号処理が完了していることが補償されるので、効率的に符号化データの復号を並列処理によりリアルタイムでできる。

なお、以上の説明においては、符号化、復号に用いる多視点画像は異なる視点から実際に撮影された多視点画像を符号化、復号することもできるが、実際には撮影していない仮想的な視点の位置を周辺の視点から補間する等、変換または生成された視点画像を符号化、復号することもでき、本発明に含まれる。

例えば、Ａ，Ｂ，Ｃ，Ｄの４つの視点の画像信号を備えた多視点画像信号は、（１）４つの視点の画像信号がすべて各視点で実際に撮影して得られた画像信号である場合、（２）４つの視点の画像信号がすべて各視点で仮想的に撮影したものとして生成した画像信号である場合、（３）Ａ，Ｂ視点の画像信号が各視点で実際に撮影して得られた画像信号、Ｃ，Ｄ視点の画像信号が各視点で仮想的に撮影したものとして生成した画像信号といったように、実際に撮影して得られた画像信号と仮想的に撮影したものとして生成した画像信号とが混在している場合の３つの場合が想定される。

また、コンピュータグラフィックス等の多視点画像を符号化、復号することもでき、本発明に含まれる。

更に、以上の多視点画像符号化、および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明の多視点画像符号化装置の第１の実施の形態のブロック図である。 図１中の多視点画像符号化装置を構成する視点画像符号化部の一例のブロック図である。 図１の装置の多視点画像符号化処理説明用フローチャートである。 ８視点からなる多視点画像を符号化する際の画像間の参照依存関係の一例を示す図である。 図４に示す参照依存関係で符号化された符号化ビット列を復号側で各視点を並列処理によりリアルタイムで復号する際の復号順序の一例を示す図である。 図４に示す予測関係で符号化する場合のそれぞれの視点に対応する視点参照依存カウントの一例を示す図である。 それぞれの視点の視点参照依存カウントを纏めてシーケンス全体に関連するパラメータとして符号化する場合の一例を説明する図であり、（ａ）は符号化シンタックス構造の一例を示す図、（ｂ）は（ａ）のシンタックス構造に従って８視点の視点参照依存カウントを符号化する場合の一例を示す図である。 視点参照依存カウントを視点ごとに独立でそれぞれ符号化する場合の一例を説明する図であり、（ａ）は符号化シンタックス構造の一例を示す図、（ｂ）は（ａ）のシンタックス構造に従って８つの視点の一つである視点１の視点参照依存カウントを符号化する場合の一例を示す図である。 本発明の多視点画像復号装置の第１の実施の形態のブロック図である。 図９の多視点画像復号装置を構成する視点画像復号部の一例のブロック図である。 図９の装置の多視点画像復号処理説明用フローチャートである。 本発明の多視点画像符号化装置の第２の実施の形態のブロック図である。 本発明の多視点画像復号装置の第２の実施の形態のブロック図である。 図１３の装置の多視点画像復号処理説明用フローチャートである。 図１４中のステップ３０２の視点参照依存カウントの算出処理説明用フローチャートである。 図１５中のステップＳ４０３の処理手順の一例を説明する図である。 図１６中のステップＳ５０３の処理手順の一例を説明する図である。 図１６中のステップＳ５０５の処理手順の一例を説明する図である。 シーケンスの先頭で参照依存関係を符号化する際の参照依存関係のシンタックス構造の一例を示す図である。 図４に示す予測構造の参照依存関係に関する情報を図１９に示すシンタックス構造で符号化する際の各シンタックス要素とその値の一例である。 図２０における、それぞれの視点の視差補償用参照視点ＩＤの数の値である。

符号の説明

１０１、５０１ 符号化管理部
１０２、５０２ 符号化ビット列生成部
１０３、１０４、１０５ 視点画像符号化部
２０１ 画像バッファ
２０２、４０２ 動き／視差補償予測部
２０３ 符号化モード判定部
２０４ 残差信号算出部
２０５ 残差信号符号化部
２０６、４０４ 残差信号復号部
２０７、４０５ 残差信号重畳部
２０８、４０６ 復号画像バッファ
２０９ 符号化ビット列生成部
２１０、２１１、４０７、４０８ スイッチ
３０１、３０３、３０６、３０９、６０１ 符号化ビット列復号部
３０２、６０２ 復号管理部
３０４、３０７、３１０ バッファ
３０５、３０８、３１１ 視点画像復号部
４０１ 符号化ビット列復号部
４０３ 予測信号合成部
６１２ 視点参照依存カウント算出部

Claims (9)

1. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点として指定又は計算する第１の手段と、
   前記第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を指定又は計算する第２の手段と、
   前記遅延時間を示す情報を符号化する符号化手段と、
   を有することを特徴とする多視点画像符号化装置。
2. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化方法であって、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点として指定又は計算する第１のステップと、
   前記第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を指定又は計算する第２のステップと、
   前記遅延時間を示す情報を符号化する第３のステップと、
   を含むことを特徴とする多視点画像符号化方法。
3. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを、コンピュータにより生成させる多視点画像符号化プログラムであって、
   前記コンピュータに、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点として指定又は計算する第１のステップと、
   前記第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報を指定又は計算する第２のステップと、
   前記遅延時間を示す情報を符号化する第３のステップと、
   を実行させることを特徴とする多視点画像符号化プログラム。
4. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号装置であって、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データを復号して前記第１の基底視点を判別する判別手段と、
   前記第２の符号化データを復号して、前記第１の基底視点の復号開始時刻に対する該第１の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を得る遅延時間復号手段と、
   前記遅延時間復号手段により復号されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第１の基底視点の画像信号を復号すると共に、前記第１の符号化データ中の前記第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を前記第１の基底視点の復号開始時刻に対して遅延して復号する遅延・復号手段と、
   を有することを特徴とする多視点画像復号装置。
5. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号方法であって、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データを復号して前記第１の基底視点を判別する第１のステップと、
   前記第２の符号化データを復号して、前記第１の基底視点の復号開始時刻に対する該第１の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を得る第２のステップと、
   前記第２のステップにより復号されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第１の基底視点の画像信号を復号すると共に、前記第１の符号化データ中の前記第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を前記第１の基底視点の復号開始時刻に対して遅延して復号する第３のステップと、
   を含むことを特徴とする多視点画像復号方法。
6. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを、コンピュータにより復号させる多視点画像復号プログラムであって、
   前記コンピュータに、
   前記各視点の画像信号の符号化時に他の視点の画像信号を参照しない視点を第１の基底視点と定義したとき、その第１の基底視点の画像信号の符号化開始時刻に対する該第１の基底視点以外の視点の画像信号の復号開始時刻の遅延時間を示す情報が符号化されてなる第２の符号化データを復号して前記第１の基底視点を判別する第１のステップと、
   前記第２の符号化データを復号して、前記第１の基底視点の復号開始時刻に対する該第１の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を得る第２のステップと、
   前記第２のステップにより復号されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第１の基底視点の画像信号を復号すると共に、前記第１の符号化データ中の前記第１の基底視点以外の視点の符号化されている画像信号の復号開始時刻を前記第１の基底視点の復号開始時刻に対して遅延して復号する第３のステップと、
   を実行させることを特徴とする多視点画像復号プログラム。
7. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号装置であって、
   前記一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して、前記参照依存情報を得る復号手段と、
   前記各視点の内で、該符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、前記参照依存情報から、前記第２の基底視点を判別する判別手段と、
   前記参照依存情報から、前記第２の基底視点の復号開始時刻に対する該第２の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を算出する遅延時間算出手段と、
   前記遅延時間算出手段により算出されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第２の基底視点の符号化画像信号を復号すると共に、前記第１の符号化データ中の前記第２の基底視点以外の視点の符号化画像信号の復号開始時刻を前記第２の基底視点の復号開始時刻に対して遅延して復号する遅延・復号手段と、
   を有することを特徴とする多視点画像復号装置。
8. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを復号する多視点画像復号方法であって、
   前記一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して、前記参照依存情報を得る第１のステップと、
   前記各視点の内で、該符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、前記参照依存情報から、前記第２の基底視点を判別する第２のステップと、
   前記参照依存情報から、前記第２の基底視点の復号開始時刻に対する該第２の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を算出する第３のステップと、
   前記第３のステップにより算出されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第２の基底視点の符号化画像信号を復号すると共に、前記第１の符号化データ中の前記第２の基底視点以外の視点の符号化画像信号の復号開始時刻を前記第２の基底視点の復号開始時刻に対して遅延して復号する第４のステップと、
   を含むことを特徴とする多視点画像復号方法。
9. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号が符号化されてなる第１の符号化データを、コンピュータにより復号させる多視点画像復号プログラムであって、
   前記コンピュータに、
   前記一の視点の符号化画像信号を復号する際に、どの視点の符号化画像信号を参照して復号するかを示す参照依存情報が符号化されてなる第２の符号化データを復号して、前記参照依存情報を得る第１のステップと、
   前記各視点の内で、該符号化画像信号を復号する際に他の視点の符号化画像信号を参照しない視点を第２の基底視点と定義したとき、前記参照依存情報から、前記第２の基底視点を判別する第２のステップと、
   前記参照依存情報から、前記第２の基底視点の復号開始時刻に対する該第２の基底視点以外の視点の復号開始時刻の前記遅延時間を示す情報を算出する第３のステップと、
   前記第３のステップにより算出されたそれぞれの視点の前記遅延時間を示す情報に基づいて、入力された前記第１の符号化データ中の前記第２の基底視点の符号化画像信号を復号すると共に、前記第１の符号化データ中の前記第２の基底視点以外の視点の符号化画像信号の復号開始時刻を前記第２の基底視点の復号開始時刻に対して遅延して復号する第４のステップと、
   を実行させることを特徴とする多視点画像復号プログラム。

Images