JP2007180982A - 画像復号装置、画像復号方法、及び画像復号プログラム - Google Patents

Abstract

【課題】 多視点画像符号化においてより符号化効率の向上が図られた符号化データを適確に復号すること。
【解決手段】 視点補間部４０４は当該ブロックで視点補間が行われている場合、別視点の復号画像バッファ４０８から供給される参照画像Ｓ（ｖ’）から視点補間を行い、視点補間ブロックを得る。予測信号合成部４０５は符号化モードに応じて合成が必要ならば、動き補償予測部４０２から供給される動き補償予測ブロック、視差補償予測部４０３から供給される視差補償予測ブロック、視点補間部４０４から供給される視点補間ブロックを合成し、合成が必要でなければ、そのままの信号とし、当該ブロックの予測信号を生成する。残差信号重畳部４０７は予測信号合成部４０５から供給される予測信号に残差信号復号部４０６から供給される復号残差信号を重畳して復号画像信号を算出する。
【選択図】 図８

Description

本発明は、異なる視点から撮像された多視点画像が符号化された各視点画像の符号化データを復号する画像復号装置、画像復号方法、及び画像復号プログラムに関するものである。

＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化方式に準拠した装置、システムが、普及している。

１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、ＤＶＤやＤ−ＶＨＳなどの蓄積、ディジタル放送等のアプリケーションとして広く用いられている。

また、ネットワーク伝送や携帯端末等のアプリケーションにおいてより高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。

さらに、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵＴではＨ．２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ．２６４符号化方式と呼ぶ）が国際標準として制定された。このＡＶＣ／Ｈ．２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。
＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮像された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、および右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されていた。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。そこで、従来より、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている。例えば、特許文献１「立体テレビジョン画像伝送方法」（特開昭６１-１４４１９１号公報）に記載された立体テレビジョン画像伝送方式では小領域ごとに他方の画像での相関の高い相対位置を求めその位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっている。時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。図５に画像間の予測関係の例を示す。矢印の終点で指し示す画像が符号化画像で、矢印の始点で指し示す画像は符号化画像を符号化する際に動き補償予測や視差補償予測で参照する参照画像である。左眼用画像は動き補償予測のみを用いる通常のＭＰＥＧ−２ビデオ符号化方式（以下、ＭＰＥＧ−２ビデオ・マルチビュープロファイルと区別するために通常の単視点画像を符号化するＭＰＥＧ−２ビデオ符号化方式をＭＰＥＧ−２ビデオ・メインプロファイルとする。）で符号化する。一方、図５に示す例では、右眼用画像では、Ｐピクチャは同じ時刻に表示される左眼用画像から予測する視差補償予測を用いて符号化され、Ｂピクチャは過去の画像からこれから符号化する画像を予測する動き補償予測と、同じ時刻に表示される左眼用画像から予測する視差補償予測を用いて符号化される。ＭＰＥＧ−２ビデオ・メインプロファイルでの２方向予測が過去と未来の画像を参照するところを、ＭＰＥＧ−２ビデオ・マルチビュープロファイルの右画像の符号化では過去の画像と左画像の２方向を参照するように予測ベクトルの定義を変更したととらえればよい。この予測ベクトルの定義を除くとＭＰＥＧ−２マルチビュープロファイルの右画像の符号化はＭＰＥＧ−２メインプロファイルの符号化と全く同一であり、予測後の残差をＤＣＴ、量子化、可変長符号化することで画像データを圧縮したビットストリームを得る。

また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行い、中間視点画像の残差信号を伝送する手法としては特許文献２「画像伝送装置、送信装置及び受信装置」（特開２００４−４８７２５号公報）がある。この手法では、送信側で、多視点画像中の隣接しない２つの画像からその中間視点の画像を生成し、その生成した中間視点画像とその中間視点の実際の画像との残差を求め、上記２つの画像と中間視点画像の残差とを圧縮符号化して伝送する。受信側で、伝送されてきた２つの画像と中間視点画像の残差とを復号化伸長し、２つの画像から中間視点の画像を生成し、復号化伸長した中間視点画像の残差を重畳して中間視点での実際の画像に対応する画像を復元する。

図１０は従来例の多視点画像圧縮伝送システムの送信側の構成図である。図１０において、Ｍ（０）、Ｍ（１）、Ｍ（２）、Ｍ（３）は４視点の各視点位置で撮像された画像であり、Ｓ（０）、Ｓ（１）、Ｓ（２）、Ｓ（３）は符号化の結果得られる各視点位置でのビット列である。画像圧縮符号化部５０１は多視点画像中のＭ（０）、Ｍ（３）を、ＭＰＥＧ等の既存の技術により圧縮符号化し、ビット列Ｓ（０）、Ｓ（３）を得る。復号化画像伸長部５０２は、画像圧縮符号化部５０１によって圧縮符号化された画像データを復号し、復号画像Ｍ’（０）、Ｍ’（３）を得る。中間視点画像生成部５０３はＭ’（０）、Ｍ’（３）から、視点画像Ｍ（１）、Ｍ（２）に相当する視点画像を推定により生成し、補間画像Ｍ”（１）、Ｍ”（２）を得る。残差成分算出部５０４は実際に撮像され供給される視点画像Ｍ（１）から中間視点画像生成部５０３で推定により生成された補間画像Ｍ”（１）を減算し、残差信号を得る。この得られた残差信号は実際に撮像され供給される視点画像と推定により生成された補間画像とのずれを表す。同様に、残差成分算出部５０５は実際に撮像され供給される視点画像Ｍ（２）から中間視点画像生成部５０３で推定により生成された補間画像Ｍ”（２）を減算し、残差信号を得る。残差圧縮符号化部５０６は前記２つの残差信号を圧縮符号化し、ビット列Ｓ（１）、Ｓ（２）を得る。

図１１は従来例の多視点画像圧縮伝送システムの受信側の構成図である。復号化画像伸長部６０１は送信側の画像圧縮符号化部５０１によって圧縮符号化されて生成されたビット列Ｓ（０）、Ｓ（３）を、ＭＰＥＧ等の既存の技術により復号し、送信側と全く同一の復号画像Ｍ’（０）、Ｍ’（３）を得る。復号化残差伸長部６０２は、送信側の残差圧縮符号化部５０６で圧縮符号化されて生成されたビット列Ｓ（１）、Ｓ（２）を復号し、残差信号を得る。中間視点画像生成部６０３は復号画像信号Ｍ’（０）、Ｍ’（３）から、視点画像Ｍ（１）、Ｍ（２）に相当する視点画像を推定により生成し、補間画像Ｍ”（１）、Ｍ”（２）を得る。送信側と全く同一の手法で視点画像を推定により生成することで、送信側と同一の補間画像Ｍ”（１）、Ｍ”（２）を得ることができる。残差信号重畳部６０４、６０５は中間視点画像生成部６０３で生成された補間画像Ｍ”（１）、Ｍ”（２）に復号化残差伸長部６０２で復号された残差信号をそれぞれ重畳し、復号画像信号Ｍ’（１）、Ｍ’（２）を得る。
特開昭６１-１４４１９１号公報 特開２００４−４８７２５号公報

従来の多視点画像符号化方式では、別視点の復号画像を参照画像として視差補償を用いて符号化した場合、視差ベクトルを符号化する必要があった。また、中間視点画像の生成を行い、中間視点画像の残差信号を伝送する手法では視点間の間隔が大きく、視差が大きい場合、誤補間により、残差信号が大きくなり、符号化効率が低下することがあった。

本発明は、多視点画像符号化において、予測、補間モードをブロック単位で適応的に選択することにより符号化効率の向上が図られた符号化データを適確に復号することを目的とする。

そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１） 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号装置において、
第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納する手段と、
第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納する手段と、
第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号手段であり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号手段と、
復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成手段であり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成手段と、
復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得る手段と、
を備えたことを特徴とする画像復号装置。
（２） 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号方法において、
第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納するステップと、
第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納するステップと、
第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号ステップであり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号ステップと、
復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成ステップであり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成ステップと、
復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得るステップと、
を備えたことを特徴とする画像復号方法。
（３） 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号処理をコンピュータに実行させるための画像復号プログラムにおいて、
第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納させる手段と、
第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納させる手段と、
第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号手段であり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号手段と、
復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成手段であり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成手段と、
復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得る手段と、
してコンピュータを機能させるための画像復号プログラム。
（４） 上記（１）に記載の画像復号装置であって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号装置。
（５） 上記（２）に記載の画像復号方法であって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号方法。
（６） 上記（３）に記載の画像復号プログラムであって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号プログラム。
（７） 上記（１）に記載の画像復号装置であって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号装置。
（８） 上記（２）に記載の画像復号方法であって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号方法。
（９） 上記（３）に記載の画像復号プログラムであって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
（１０） 上記（１）に記載の画像復号装置であって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号装置。
（１１） 上記（２）に記載の画像復号方法であって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号方法。
（１２） 上記（３）に記載の画像復号プログラムであって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
（１３） 上記（１）に記載の画像復号装置であって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号装置。
（１４） 上記（２）に記載の画像復号方法であって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号方法。
（１５） 上記（３）に記載の画像復号プログラムであって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号プログラム。
（１６） 上記（１）に記載の画像復号装置であって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号装置。
（１７） 上記（２）に記載の画像復号方法であって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号方法。
（１８） 上記（３）に記載の画像復号プログラムであって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
（１９） 上記（１）に記載の画像復号装置であって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号装置。
（２０） 上記（２）に記載の画像復号方法であって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号方法。
（２１） 上記（３）に記載の画像復号プログラムであって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号プログラム。

本発明によれば、既に符号化復号済みの別の視点の画像を参照画像とし、これらの参照画像から視点補間を行い予測信号となる画像信号を生成する視点補間を用いることにより、視点間の相関が高く良好な視点補間信号が得られる画素ブロックにおいては、動きベクトルや視差ベクトル等のベクトル情報を符号化する必要のないこの視点補間を行う符号化モードをブロック単位で適応的に切り替えて選択することにより、より高い符号化効率を実現した多視点画像符号化において符号化された符号化データを、適確に復号することができる。

以下、図面と共に本発明の実施例を説明する。
［実施例］
本発明の実施例１を適用した多視点画像符号化・復号システムについて図面を参照して説明する。

図１は本発明の実施例１を適用した多視点画像符号化・復号システムにおける多視点画像符号化装置の構成を説明する図であり、図２はその多視点画像符号化装置を構成する視点画像符号化部の構成を説明する図である。また、図３は処理手順を説明するフローチャートである。

図１に示すように、多視点画像符号化装置は符号化制御部１０１、視点画像符号化部１０２、１０３、１０４、多重化部１０５を備えている。Ｍ（０）：第１の視点から撮像された視点画像、Ｍ（１）：第３の視点から撮像された視点画像、Ｍ（２）：第２の視点から撮像された視点画像は、本多視点画像符号化装置に供給される多視点画像のそれぞれの視点画像である。Ｓ（０）、Ｓ（１）、Ｓ（２）は符号化の結果得られる各視点の符号化ビット列である。本装置では３視点で説明しているが、それ以上の多視点画像も符号化することができる。また、図２に示すように、多視点画像符号化装置を構成する視点画像符号化部は並べ替えバッファ２０１、動き補償予測部２０２、視差補償予測部２０３、視点補間部２０４、符号化モード判定部２０５、残差信号算出部２０６、残差信号符号化部２０７、残差信号復号部２０８、残差信号重畳部２０９、復号画像バッファ２１０、符号化ビット列生成部２１１、スイッチ２１２、２１３、２１４、２１５、２１６を備えている。

まず、図１において、符号化制御部１０１は表示時間順に入力された視点画像Ｍ（０）、Ｍ（１）、Ｍ（２）を構成する各符号化画像の符号化順を決定するとともに、符号化画像を符号化する際に別視点の復号画像を参照画像として用いる視差補償予測、視点補間を行うか否か、符号化画像を符号化復号化して得られる復号画像が別視点の符号化画像を符号化する際の参照画像として用いられるか否か、複数ある参照画像の候補の中からどの参照画像を参照するかについて決定し、さらに、視点画像符号化部１０２、１０３、１０４を制御する。本装置では、視点画像Ｍ（１）を符号化する際には視点画像Ｍ（０）及びＭ（２）を参照画像として用い、視点画像Ｍ（０）及びＭ（２）を符号化する際には別視点の画像を参照画像として用いない場合について説明する。

視点画像Ｍ（０）、Ｍ（１）、Ｍ（２）を符号化する際の画像間の予測関係、符号化順序について、図４を用いて説明する。図４は多視点画像を符号化する際の画像間の予測関係の例であり、各視点画像は水平に配置して撮像されたものである。各視点画像は左から順にＭ（０）、Ｍ（１）、Ｍ（２）である。また、矢印の終点で指し示す画像が符号化画像で、その符号化画像を符号化する際に動き補償予測や視差補償予測で参照する参照画像は矢印の始点で指し示す画像である。

視点画像Ｍ（０）、Ｍ（２）は他の視点の画像を参照せず、動き補償予測を用いる通常のＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４などと同様の符号化方式で符号化する。例えば、視点画像Ｍ（０）の画像Ｐ１４はＰピクチャ（１枚の参照画像を予測のために参照可能となるピクチャ）であり、画像Ｐ１１の復号画像を参照画像とし、動き補償予測を用いて、符号化する。さらに、画像Ｐ１２はＢピクチャ（２枚の参照画像を予測のために参照可能となるピクチャ）であり、画像Ｐ１１及びＰ１４の復号画像を参照画像とし、動き補償予測を用いて、符号化する。一方、視点画像Ｍ（１）は動き補償予測に加えて、視点画像のうち符号化画像と同じ時間に表示される画像を参照画像として予測する視差補償予測、及び視点補間を用いて符号化する。例えば、視点画像Ｍ（１）の画像Ｐ２２は同一視点の時間的に前後する画像Ｐ２１及びＰ２４の復号画像を参照画像とし、動き補償予測を行うのに加えて、時間が同一で別視点の画像Ｐ１２及びＰ３２の復号画像を参照画像とし、視差補償予測、及び視点補間を用いて符号化する。画像Ｐ２２を符号化する際には参照画像となる画像Ｐ２１、Ｐ２４、Ｐ１２及びＰ３２は符号化、復号化が完了し、復号画像バッファに格納されていなければならない。本例では、Ｐ１１、Ｐ３１、Ｐ２１、Ｐ１４、Ｐ３４、Ｐ２４、Ｐ１２、Ｐ３２、Ｐ２２、Ｐ１３、Ｐ３３、Ｐ２３…の符号化順で符号化すればよい。

再び、図１に戻って説明する。視点画像符号化部１０２は符号化制御部１０１により符号化タイミング等を制御されて表示時間順に入力された視点画像Ｍ（０）を符号化し、符号化ビット列Ｓ（０）を得る。同様に、視点画像符号化部１０３、１０４も符号化制御部１０１により符号化タイミング等を制御されて表示時間順に入力された視点画像Ｍ（１）、Ｍ（２）を符号化し、符号化ビット列Ｓ（１）、Ｓ（２）を得るが、視点画像符号化部１０３では視点画像符号化部１０２及び１０４から供給される参照画像も用いて符号化する。視点画像符号化部１０２、１０３、１０４は共通の符号化方法で符号化することができる。視点画像符号化部１０２、１０３、１０４の構成を図２を用いて説明する。

符号化制御部１０１の制御は図２におけるすべてのブロック対して及ぶが、特に説明上重要なものに対してのみ、点線の矢印で示している。
符号化制御部１０１の制御により、スイッチ２１２及び２１３を共にＯＦＦにし、視差補償予測部２０３と視差補間部２０４の機能を停止して、スイッチ２１６をＯＮにした場合、視点画像符号化部１０２、１０４と等価となる。また、符号化制御部１０１の制御により、スイッチ２１２及び２１３を共にＯＮにし、スイッチ２１６をＯＦＦにすることで、視点画像符号化部１０３と等価となる。

並べ替えバッファ２０１は表示時間順に入力された視点画像Ｍ（ｖ）（ｖ＝０，１，２…）を格納する。そして、符号化順制御部１０１で決定された符号化順に応じて、符号化画像が画素ブロック単位で出力される。つまり表示時間順に入力された視点画像は符号化順に並び替えられて出力される（ステップＳ１０２）。

本方式では、参照画像を用いず画面内で符号化する方式（図示しない）、すでに符号化復号された復号画像を参照画像としこの参照画像を用いて動き補償予測を行い動き補償予測の際に算出される動きベクトルを符号化する方式、別視点からの参照画像を用いて視差補償予測を行い視差補償予測の際に算出される視差ベクトルを符号化する方式に加えて、別視点からの参照画像を用いて視点補間を行うが、視差ベクトルを符号化しない方式を用い、これらのモードを複数画素から構成される画素ブロック単位で単独あるいは組み合わせて適応的に切り替える。

動き補償予測部２０２は従来のＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４方式と同様に復号画像バッファ２１０から供給される参照画像と符号化する画素ブロックとの間でブロックマッチングを行い、動きベクトルを検出し、動き補償予測ブロックを作成して動き補償予測信号、及び動きベクトルを符号化モード判定部２０５に供給する（ステップＳ１０５）。動き補償予測を行うか否か（ステップＳ１０４）、参照画像の数、どの復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化制御部１０１で決定され、この決定に応じて動き補償予測に関するすべての符号化モードの候補となるすべての組み合わせについて動き補償予測を行い、それぞれの動き補償予測信号、及び動きベクトルを符号化モード判定部２０５に供給する。ここでの画素ブロックのサイズの候補とは、画素ブロックをさらに分割したそれぞれの小ブロックのことである。例えば、画素ブロックを１６×１６画素とした場合、１６×８、８×１６、８×８、８×４、４×８、４×４等の小ブロックに分割して動き補償予測を行い、候補とする。

視差補償予測部２０３は従来のＭＰＥＧ−２マルチビュープロファイル方式と同様に別視点から供給される参照画像Ｓ（ｖ’）と符号化する画素ブロックとの間でブロックマッチングを行い、視差ベクトルを検出し、視差補償予測ブロックを作成して視差補償予測信号、及び視差ベクトルを符号化モード判定部２０５に供給する（ステップＳ１０７）。視差補償予測を行うか否か（ステップＳ１０６）、参照画像の数、どの視点の復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化制御部１０１で決定され、この決定に応じて、視差補償予測を行う場合はスイッチ２１２がＯＮとなり、他の視点の復号画像バッファから参照画像となる復号画像が供給される。視差補償予測に関する符号化モードの候補となるすべての組み合わせについて視差補償予測を行い、それぞれの動き補償予測信号、及び動きベクトルを符号化モード判定部２０５に供給する。

視点補間部２０４は符号化する画素ブロックは用いず、別視点の２つ以上の参照画像Ｒ（ｖ’）のみを用いて符号化画像の符号化する画素ブロックに相当する視点補間ブロックを作成して視点補間信号を符号化モード判定部２０５に供給する（ステップＳ１０９）。視点補間を行うか否か（ステップＳ１０８）、参照画像の数、どの視点の復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化制御部１０１で決定され、この決定に応じて、視点補間を行う場合はスイッチ２１３がＯＮとなり、他の視点の復号画像バッファから参照画像となる復号画像が供給される。

多視点画像において、すべての視点の画像を撮像により得るのではなく、一部の画像のみを撮像し、残りの画像は得られた画像から画像処理により撮像されていない視点を補間作成する方法が提案されている。撮像された多視点画像の内の隣接する２視点の画像を参照画像とし、４×４から１６×１６画素の画素ブロック単位で、２視点間のブロックマッチングを行い、撮像されていない視点の補間を行う手法としては、例えば、特開平１０−１３８６０号公報：「立体画像補間装置及びその方法」に示されている。

ここでは、ブロックマッチングにより、参照画像Ｒ（ｖ−１）とＲ（ｖ＋１）から中間の視点補間画像Ｐ（ｖ）を生成する視点補間の一例について図６を用いて説明する。参照画像Ｒ（ｖ−１）とＲ（ｖ＋１）の画素ブロックを予め定めた範囲で移動させながら、ブロックマッチングを行う。移動方法は視差補間する画素ブロックと同じ位置を中心として点対照に参照画像Ｒ（ｖ−１）とＲ（ｖ＋１）の画素ブロックを移動させる。このときの移動方向、移動量を表す移動ベクトルは水平垂直方向共に大きさが同じで正負を逆とする。例えば参照画像Ｒ（ｖ−１）の画素ブロックを水平方向に＋２画素移動させた場合、参照画像Ｒ（ｖ−１）の画素ブロックを水平方向に−２画素移動させる。そして、移動させるごとに画素ブロック間の画素の差分絶対値和、または差分二乗和を算出し、評価値とする。予め定めた範囲内で評価値の最も小さい移動ベクトルを指し示す画素ブロックの画素の重み付け平均値を画素ブロックの画素ごとに算出し、視点補間画素ブロックとする。重み付け度合いはカメラパラメータ等の視点情報により決まり、補間する視点に近い方の参照画像信号の割合が多くなるようにする。ここではブロックマッチングを画素ブロック単位で説明したが、画素ブロックをさらに分割した小ブロック単位でブロックマッチング、視点補間を行うこともできる。

また、本方式の画像符号化装置で生成する符号化ビット列を復号する画像復号装置でも本方式の画像符号化装置と同じ視点補間方法を定義する。例えばブロックマッチングによる視点補間手法では、ブロックマッチングの探索範囲、重み付け平均を算出する際の重み付け度合い、画素ブロックをさらに分割した小ブロックのサイズなど、すべての動作、パラメータを符号化装置、復号装置で共通に定義する。このようにすることで、視差ベクトルを符号化しなくても符号化装置と復号装置で同じ視点補間信号を得ることができる。

符号化モード判定部２０５はイントラ、動き補償予測、視差補償予測、視点補間のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせると効率のよい符号化が実現できるかを判定する（ステップＳ１１０）。例えば、時間軸上で前と後の参照画像からの動き補償予測を組み合わせる場合、前の参照画像から動き補償予測を行って得られた動き補償予測ブロックと後ろの参照画像から動き補償予測を行って得られた動き補償予測ブロックの画素値を平均したブロックを生成して候補とする。また、動き補償予測と視差補償予測と組み合わせたり、動き補償予測と視点補間を組み合わせたりすることもできる。さらに、画素値を平均する際には１：１の平均のみならず、１：２、１：３などの重み付けをしてもよい。また、画素ブロックを４×４から１６×１６画素の小ブロックに分割して符号化モードの候補とした場合、それぞれの小ブロックの予測／補間方法を変えることもできる。

符号化モードを判定する手法については様々なものがあるが、例えば各符号化モードについて符号量と歪み量を算出し、これら符号量と歪み量のバランスにおいて最適な符号化モードを選択する手法がある。この符号化モード判定では、まずそれぞれの符号化モードの組み合わせに対して、残差信号を算出し、この残差信号やベクトル及び符号化モードを符号化して得られる符号化列のビット長を算出し、符号量とする。画像補間モードに関しては視差ベクトルを符号化しないので、残差信号、符号化モードを符号化して得られる符号化列のビット長を符号量とする。さらに、符号化した残差信号を復号し、予測信号と加算された復号信号と符号化前の画像信号との絶対値誤差和、あるいは二乗和を算出し、歪み量とする。符号量に予め定めた乗数を乗じ、歪み量に加算し、評価値とする。候補となるすべての符号化モードの組み合わせの評価値の中で最小のものを選択し、当該画素ブロックの符号化モードとする。

残差信号演算部２０６は並べ替えバッファ２０１から供給される信号から、符号化モード判定部２０５から供給される予測信号を減算し、残差信号を得る（ステップＳ１１１）。残差信号符号化部２０７は入力された残差信号に対して直交変換、量子化等の残差信号符号化処理を行い、符号化残差信号を算出する（ステップＳ１１２）。

符号化画像が符号化順で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測、視点補間の参照画像となる場合は（ステップＳ１１３）、符号化してから復号した復号画像信号を復号画像バッファ２１０に画素ブロック単位で順次格納する（ステップＳ１１１４〜Ｓ１１６）。まず、スイッチ２１４がＯＮとなり、残差信号復号部２０８は入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（ステップＳ１１４）。残差信号重畳部２０９は符号化モード判定部２０５から供給される予測信号に残差信号復号部２０８から供給される復号残差信号を重畳し、復号画像信号を算出する（ステップＳ１１５）。さらに、復号画像信号を復号画像バッファ２１０に画素ブロック単位で順次格納する（ステップＳ１１６）。この復号画像バッファに格納された復号画像信号は必要に応じて、スイッチ２１６がＯＮとなり、他の視点の参照画像となる。

符号化ビット列生成部２１１は符号化モード判定部２０５から入力される符号化モード、及び、動きベクトルまたは視差ベクトル、残差信号符号化部２０７から入力される残差信号等をハフマン符号化、算術符号化等の情報をエントロピー符号化を用いて順次符号化し、符号化ビット列Ｓ（ｖ）（ｖ＝０，１，２…）を生成する（ステップＳ１１７）。ここで、動き補償予測、または視差補償予測を用いる場合はスイッチ２１５はＯＮとなり、動きベクトル、または視差ベクトルを符号化し、そうでない場合はスイッチ２１５はＯＦＦとなり、動きベクトル及び視差ベクトルを符号化しない。

以上、ステップＳ１０４からステップＳ１１７までの処理を画素ブロック単位で符号化画像内のすべての画素ブロックの符号化が完了するまで繰り返す（ステップＳ１０３〜Ｓ１１８）。

さらに、ステップＳ１０２からステップＳ１１８までの処理を各視点の符号化画像ごとに繰り返す（ステップＳ１０１〜Ｓ１１９）。
再び、図１に戻って説明する。多重化部１０５は視点画像符号化部１０２、１０３、１０４で生成された符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）を多重化して１本の符号化ビット列にする。この際、前述したように、参照画像を用いて符号化する画像は参照画像の符号化が完了した後に、符号化されなければならないので、多重化する際にも、符号化の順序に習って多重化する。つまり、図４の画像Ｐ２２の符号化ビット列を多重化する際には参照画像となる画像Ｐ２１、Ｐ２４、Ｐ１２及びＰ３２の符号化ビット列の多重化が完了した後に多重化する。また、復号側で復号タイミングや表示タイミングが判別できるように、復号時刻情報や表示時刻情報を付加する。

次に、復号側について図面を参照して説明する。
図７は本発明の実施例１を適用した多視点画像符号化・復号システムにおける多視点画像復号装置の構成を説明する図であり、図８はその多視点画像復号装置を構成する視点画像復号部の構成を説明する図である。また、図９は処理手順を説明するフローチャートである。

図７に示すように、多視点画像復号装置は分離部３０１、復号制御部３０２、視点画像復号部３０３、３０４、３０５を備えている。Ｓ（０）、Ｓ（１）、Ｓ（２）は分離部３０１で視点ごとに分離され視点画像復号装置に供給される各視点の符号化ビット列であり、Ｍ’（０）、Ｍ’（１）、Ｍ’（２）は多視点画像復号装置から出力される多視点画像のそれぞれの視点画像である。本装置では３視点で説明しているが、それ以上の多視点画像も復号することができる。また、図８に示すように、多視点画像復号装置を構成する視点画像復号部は符号化ビット列復号部４０１、動き補償予測部４０２、視差補償予測部４０３、視点補間部４０４、予測信号合成部４０５、残差信号復号部４０６、残差信号重畳部４０７、復号画像バッファ４０８、並べ替えバッファ４０９、スイッチ４１０、４１１、４１２、４１３、４１４、４１５、４１６を備えている。

まず、図８において、分離部３０１は多重化された符号化ビット列を視点ごとの符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）に分離する。また、復号制御部３０２は多重化された符号化ビット列に付加されている復号時刻情報を復号し、各視点の復号順序を制御する。さらに、視点画像復号部３０３は復号制御部３０２に復号タイミング等を制御されて、符号化ビット列Ｓ（０）を復号し、視点画像Ｍ（０）を得る。同様に、視点画像復号部３０４、３０５も復号制御部３０２に復号タイミング等を制御されて、符号化ビット列Ｓ（１）、符号化ビット列Ｓ（２）を復号し、視点画像Ｍ（１）、視点画像Ｍ（２）を得るが、視点画像復号部３０４では視点画像復号部３０３及び３０５から供給される参照画像も用いて符号化する。視点画像復号部３０３、３０４、３０５は共通の符号化方法で符号化することができる。視点画像復号部３０３、３０４、３０５の構成を図８を用いて説明する。

復号制御部３０２の制御は図８におけるすべてのブロック対して及ぶ。
復号制御部３０２の制御により、スイッチ４１３及び４１４を共にＯＦＦにし、視差補償予測部４０３と視差補間部４０４の機能を停止して、スイッチ４１６をＯＮにした場合、視点画像復号部３０３、３０５と等価となる。また、復号制御部３０２の制御により、スイッチ４１３及び４１４を共にＯＮにし、スイッチ４１６をＯＦＦにすることで、視点画像符号化部３０４と等価となる。

符号化ビット列復号部４０１はハフマン符号化、算術符号化等のエントロピー符号化を用いて符号化された符号化ビット列Ｓ（ｖ）（ｖ＝０，１，２…）を復号し、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号（符号化された予測残差信号）などの情報を得る（ステップＳ２０３）。

復号された符号化モードにより、復号するブロックが動き補償予測、視差補償予測、視点補間のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせられているかがわかる。この符号化モードによる制御は図８におけるすべてのブロック対して及ぶ。

動き補償予測部４０２は当該ブロックで動き補償予測が行われている場合（ステップＳ２０４）、符号化モードに応じてスイッチ４１０がＯＮとなり動きベクトルが供給されるとともに、スイッチ４１２がＯＮとなり復号画像バッファ４０８から供給される参照画像から動きベクトルに応じた動き補償予測を行い、動き補償予測ブロックを得る（ステップＳ２０５）。

視差補償予測部４０３は当該ブロックで視差補償予測が行われている場合（ステップＳ２０６）、符号化モードに応じてスイッチ４１１がＯＮとなり視差ベクトルが供給されるとともに、スイッチ４１３がＯＮとなり別視点の復号画像バッファ４０８から供給される参照画像Ｓ（ｖ’）から視差ベクトルに応じた視差補償予測を行い、視差補償予測ブロックを得る（ステップＳ２０７）。

視点補間部４０４は当該ブロックで視点補間が行われている場合（ステップＳ２０８）、符号化モードに応じてスイッチ４１４がＯＮとなり別視点の復号画像バッファ４０８から供給される参照画像Ｓ（ｖ’）から視点補間を行い、視点補間ブロックを得る（ステップＳ２０９）。予め規定した符号化装置と全く同一の方法で当該ブロックを補間することにより、視差ベクトル等の情報が無くても符号化装置と全く同一の視点補間ブロックを得ることができる。

予測信号合成部４０５は符号化モードに応じて合成が必要ならば、動き補償予測部４０２から供給される動き補償予測ブロック、視差補償予測部４０３から供給される視差補償予測ブロック、視点補間部４０４から供給される視点補間ブロックを合成し、合成が必要でなければ、そのままの信号とし、当該ブロックの予測信号を生成する（ステップＳ２１０）。

一方、残差信号復号部４０６は入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（ステップＳ２１１）。
残差信号重畳部４０７は予測信号合成部４０５から供給される予測信号に残差信号復号部４０６から供給される復号残差信号を重畳して復号画像信号を算出し、並べ替えバッファ４０９に画素ブロック単位で順次格納する（ステップＳ２１２）。

さらに、復号画像が復号順で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測、視点補間の参照画像となる場合は（ステップＳ２１３）、スイッチ４１５がＯＮとなり、復号画像信号を復号画像バッファ２１０に画素ブロック単位で順次格納する（ステップＳ２１４）。この復号画像バッファに格納された復号画像信号は必要に応じて、スイッチ４１６がＯＮとなり、他の視点の参照画像となる。

以上、ステップＳ２０３からステップＳ２１４までの処理を画素ブロック単位で符号化画像内のすべての画素ブロックの復号が完了するまで繰り返す（ステップＳ２０２〜Ｓ２１５）。

さらに、並べ替えバッファ４０９は格納された復号画像信号を表示時間順に並び替えて表示装置等に出力する（ステップＳ２１６）。
さらに、ステップＳ２０２からステップＳ２１６までの処理を各視点の符号化画像ごとに繰り返す（ステップＳ２０１〜Ｓ２１７）。

以上のように、本実施例によれば、時間方向の冗長性を利用して動き補償予測を用いて動きベクトルと残差成分を符号化するモード、視点間の冗長性を利用して視差補償予測を用いて視差ベクトルと残差成分を符号化するモードをブロック単位で適応的に選択するので、静止している部分など、時間方向の相関が高い部分では動き補償予測により符号化し、視点間の変化の少ない部分では視差補償予測を用いて符号化することにより、高い符号化効率を得ることができる。

それに加えて、本実施例によれば、既に符号化復号済みの別の視点の画像を参照画像とし、これらの参照画像から視点補間を行い予測信号となる画像信号を生成する視点補間を用いることにより、視点間の相関が高く良好な視点補間信号が得られる画素ブロックにおいては、動きベクトルや視差ベクトル等のベクトル情報を符号化する必要のないこの視点補間を行う符号化モードをブロック単位で適応的に切り替えて選択することにより、より高い符号化効率を得ることができるという効果を得ることができる。

さらに、本実施例によれば、このように符号化効率の向上が図られた符号化データを適確に復号するこができる。
また、実施例１を適用したシステムにおける図１に示す符号化装置では、復号画像バッファを視点画像符号化部の内部に配置しているが、他の実施例を適用した例として図１２に示すように、視点画像符号化部の外部に配置することで１つの復号画像バッファを各視点画像符号化部で共通に利用する構成でもよい。視点画像符号化部７０２、７０３、７０４の動作は復号画像を各視点共通の復号画像バッファ７０６に格納し、参照画像として取り出すこと以外は図２の視点画像符号化装置と同様である。

また、実施例１を適用したシステムにおける図７に示す復号装置では、復号画像バッファを視点画像復号部８０３、８０４、８０５の内部に配置しているが、他の実施例を適用した例として図１３に示すように視点画像復号部の外部に配置することで１つの復号画像バッファを各視点画像復号部で共通に利用する構成でもよい。視点画像復号部８０３、８０４、８０５の動作は復号画像を各視点共通の復号画像バッファ８０６に格納し、参照画像として取り出すこと以外は図８の視点画像復号装置と同様である。

また、上記説明においては、複数視点の動画像で説明したが、複数視点の静止画像に適用してもよく、本発明に含まれる。静止画像の場合、動き補償予測は適用しない。
また、上記説明ではブロックマッチングによる視点補間で説明したが、この方法に限らず他の視点補間方式を用いても良い。例えば、「中西、藤井、木本、谷本：“ＥＰＩ上の対応点軌跡を用いた適応フィルタによる光線空間データ補間”，映情学会誌 Ｖｏｌ．５６ Ｎｏ．８，ｐｐ．１３２１−１３２７，（２００２）」に示されている、多視点画像からＥＰＩ（エピポーラプレーンイメージ）を作成し、作成したＥＰＩ上の各ラインの間を内挿することにより視点補間を行う手法を用いてもよい。

また、手法の異なる複数の補間方法を定義し、複数ブロックをまとめたエリア単位、画像単位などでフラグにより切り替えてもよい。
また、上記説明においては、画素ブロック単位で、動き補償予測、視差補償予測、視点補間の符号化モードを判定したが、複数ブロックをまとめたエリア単位、または画像単位で、視点間の相関性を利用する視差補償予測、視点補間のいずれか一方を候補として採用するかを切り替えてもよい。この場合、エリア単位、または画像単位で候補として採用した手法を識別するフラグを符号化する。このようにすることで、符号化モードの符号量を減らすことができる。

また、上記説明においては、符号化側で生成した各視点のビット列を多重化部で多重化して伝送、蓄積しているが、多重化せず、各視点のビット列として独立に伝送、蓄積する構成でもよい。また、復号側では多重化されたビット列を分離部により分離しているが、各視点のビット列を独立に受信し、復号する構成でも良い。

以上の多視点画像符号化、および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのはもちろんのこと、ＲＯＭやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明の実施例１を適用した多視点画像符号化・復号システムにおける多視点画像符号化装置の構成を示す構成図である。 図１に示す多視点画像符号化装置を構成する視点画像符号化部を示す図である。 図２に示す視点画像符号化部の多視点画像符号化処理のフローチャートである。 図１に示す多視点画像符号化装置における画像間の予測関係、符号化順序を説明する図である。 従来の予測関係を説明する図である。 ブロックマッチングによる画像補間の一例を説明する図である。 本発明の実施例１を適用した多視点画像符号化・復号システムにおける多視点画像復号装置の構成を示す構成図である。 図７に示す多視点画像復号装置を構成する視点画像復号部を示す図である。 図８に示す視点画像復号部の多視点画像復号処理のフローチャートである。 従来例の多視点画像圧縮伝送システムの送信側の構成図である。 従来例の多視点画像圧縮伝送システムの受信側の構成図である。 本発明の他の実施例を適用した多視点画像符号化・復号システムにおける多視点画像符号化装置の構成を示す構成図である。 本発明の他の実施例を適用した多視点画像符号化・復号システムにおける多視点画像復号装置の構成を示す構成図である。

符号の説明

１０１ 符号化制御部
１０２、１０３、１０４ 視点画像符号化部
１０５ 多重化部
２０１ 並べ替えバッファ
２０２ 動き補償予測部
２０３ 視差補償予測部
２０４ 視点補間部
２０５ 符号化モード判定部
２０６ 残差信号算出部
２０７ 残差信号符号化部
２０８ 残差信号復号部
２０９ 残差信号重畳部
２１０ 復号画像バッファ
２１１ 符号化ビット列生成部
２１２、２１３、２１４、２１５、２１６ スイッチ
３０１ 分離部
３０２ 復号制御部
３０３、３０４、３０５ 視点画像復号部
４０１ 符号化ビット列復号部
４０２ 動き補償予測部
４０３ 視差補償予測部
４０４ 視点補間部
４０５ 予測信号合成部
４０６ 残差信号復号部
４０７ 残差信号重畳部
４０８ 復号画像バッファ
４０９ 並べ替えバッファ
４１０、４１１、４１２、４１３、４１４、４１５、４１６ スイッチ
５０１ 画像圧縮符号化部
５０２ 復号化画像伸長部
５０３ 中間視点画像生成部
５０４、５０５ 残差成分算出部
５０６ 残差圧縮符号化部
６０１ 復号化画像伸長部
６０２ 復号化残差伸長部
６０３ 中間視点画像生成部
６０４、６０５ 残差信号重畳部
７０１ 符号化制御部
７０２、７０３、７０４ 視点画像符号化部
７０５ 多重化部
７０６ 復号画像バッファ
８０１ 分離部
８０２ 復号制御部
８０３、８０４、８０５ 視点画像復号部
８０６ 復号画像バッファ

Claims (21)

1. 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号装置において、
   第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納する手段と、
   第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納する手段と、
   第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号手段であり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号手段と、
   復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成手段であり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成手段と、
   復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得る手段と、
   を備えたことを特徴とする画像復号装置。
2. 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号方法において、
   第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納するステップと、
   第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納するステップと、
   第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号ステップであり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号ステップと、
   復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成ステップであり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成ステップと、
   復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得るステップと、
   を備えたことを特徴とする画像復号方法。
3. 異なる視点から撮像された多視点画像を符号化した各視点画像の符号化データを復号する画像復号処理をコンピュータに実行させるための画像復号プログラムにおいて、
   第１の視点から撮像された視点画像が符号化された符号化データを復号して得た第１の復号画像を第１の復号画像バッファに格納させる手段と、
   第２の視点から撮像された視点画像が符号化された符号化データを復号して得た第２の復号画像を第２の復号画像バッファに格納させる手段と、
   第３の視点から撮像された視点画像が、画素ブロック単位の符号化モードを示す符号化モード情報と共に符号化された第３の視点画像符号化データを復号し、前記画素ブロック単位の符号化モード及び前記画素ブロック単位の残差信号を得る復号手段であり、この復号対象となる第３の視点画像符号化データは、複数の符号化モードに対応した各予測信号の元となる信号を生成する際に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の視点から撮像された視点画像の符号化過程で得られる局部復号画像と、前記第２の視点から撮像された視点画の符号化過程で得られる局部復号画像とから補間する視点補間を行って視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとして生成し、生成された前記各予測信号の元となる信号に基づき、前記視点補間を行う符号化モードを含む前記複数の符号化モードの中から、画素ブロック単位で符号化モードを選択し、選択された符号化モードに応じた予測信号を得て、前記第３の視点の視点画像から、前記選択された符号化モードに従って得られた予測信号を減算して前記画素ブロック単位の残差信号を算出し、前記選択された符号化モードを示す符号化モード情報、及び前記残差信号を符号化して生成された符号化データである復号手段と、
   復号して得られた前記符号化モードに応じて画素ブロック単位の予測信号を生成する生成手段であり、前記視点補間を行う符号化モードが得られた場合に、前記第３の視点から撮像された視点画像に対応する画素ブロックを、前記第１の復号画像バッファに格納された第１の復号画像、及び前記第２の復号画像バッファに格納された第２の復号画像から補間する視点補間を行い視点補間画素ブロックとして得て、その視点補間画素ブロックを前記予測信号の元となる信号の一つとする生成手段と、
   復号して得た前記符号化モードに応じて生成した前記予測信号と、前記第３の視点画像符号化データを復号して得た前記残差信号とを重畳し、第３の復号画像を得る手段と、
   してコンピュータを機能させるための画像復号プログラム。
4. 請求項１に記載の画像復号装置であって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号装置。
5. 請求項２に記載の画像復号方法であって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号方法。
6. 請求項３に記載の画像復号プログラムであって、第１の復号画像バッファと第２の復号画像バッファとを共通の復号画像バッファとすることを特徴とする画像復号プログラム。
7. 請求項１に記載の画像復号装置であって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号装置。
8. 請求項２に記載の画像復号方法であって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号方法。
9. 請求項３に記載の画像復号プログラムであって、前記複数の符号化モードは前記画素ブロック単位で動き補償予測を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
10. 請求項１に記載の画像復号装置であって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号装置。
11. 請求項２に記載の画像復号方法であって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号方法。
12. 請求項３に記載の画像復号プログラムであって、前記複数の符号化モードは前記画素ブロック単位で視差補償予測を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
13. 請求項１に記載の画像復号装置であって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号装置。
14. 請求項２に記載の画像復号方法であって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号方法。
15. 請求項３に記載の画像復号プログラムであって、前記複数の符号化モードはそれぞれ符号化対象となる前記画素ブロックのサイズとして複数のサイズを備えていることを特徴とする画像復号プログラム。
16. 請求項１に記載の画像復号装置であって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号装置。
17. 請求項２に記載の画像復号方法であって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号方法。
18. 請求項３に記載の画像復号プログラムであって、前記複数の符号化モードは視点補間と動き補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
19. 請求項１に記載の画像復号装置であって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号装置。
20. 請求項２に記載の画像復号方法であって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号方法。
21. 請求項３に記載の画像復号プログラムであって、前記複数の符号化モードは視点補間と視差補償予測との重み付け平均処理を行う符号化モードを含むものであることを特徴とする画像復号プログラム。
    
    

Images