JP2012124564A - 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム - Google Patents

Abstract

【課題】ブロック内の画像信号を画面内予測符号化する際の画面内予測方法を示す情報を符号化するために必要な符号量を削減する。
【解決手段】視点合成部１０５は，別のカメラで撮影された画像を用いて符号化対象画像に対応する視点合成画像を生成する。最適予測画像生成部１０７は，画面内予測方法ごとに予測画像を生成し，その良し悪しを視点合成画像と比較し，１つの画面内予測方法を決定する。画像信号符号化部１０８は，その決定した画面内予測方法を用いて予測画像を生成し符号化する。視点合成画像は復号側でも同じものが生成可能であるため，復号側でも同様の手順によって，同じ画面内予測方法を識別することができる。そのため，画面内予測方法を示す情報の符号化が不要となる。
【選択図】図１

Description

本発明は，多視点画像の符号化および復号の方法や装置に関するものである。

多視点画像とは，複数のカメラで同じ被写体と背景を撮影して得られる画像群のことである。一般的な画像符号化では，被写体が空間的に連続して存在するという特徴を利用した画面内予測を用いて効率的な符号化を実現する。画面内予測はイントラ予測と呼ばれることもある。画面内予測はＨ．２６４／ＡＶＣに代表される近年の動画像符号化方式の国際標準規格に採用されている手法である（Ｈ．２６４／ＡＶＣの詳細については，例えば，非特許文献１参照）。

画面内予測では，１枚の画像を複数のブロックに分割して，ラスタースキャン順などの予め定められた順序で符号化していく際に，符号化対象ブロック内の被写体（またはテクスチャ）の連続する向きを推定し，その向きに従って既に符号化済みの隣接画素の画像信号をコピーすることで予測画像を生成する。なお，画面内予測を用いたブロックでは，画面内予測を行う向きを示す情報と，符号化対象画像と予測画像との差分とが符号化されることになる。

画面内予測の予測品質は，符号化対象画像の連続性をどの程度正確に表現できているかに依存する。Ｈ．２６４／ＡＶＣでは，画面内予測を行う向きとして８方向が定義されているが，より精度を高めるためにさらに多くの向きを定義して予測精度を高める方法も存在する（例えば，非特許文献２参照）。また，方向性のない複雑なテクスチャなどのブロックに対して，少しでも画像信号のエネルギーを減少させられる画面内予測方法として，Ｈ．２６４／ＡＶＣでは，隣接画素の平均値を予測値とするＤＣ予測や，滑らかな色の変化を持った予測画像を生成するＰｌａｎｅ予測などを用いることが可能である。

多視点画像符号化では，多視点画像がほぼ同じ空間を撮影していることから，画像内だけでなく画像間でも高い相関が存在する。そのため視点間の視差を補償して生成した画像との間でフレーム間差分を取り，差分信号のみを符号化する視差補償予測符号化と呼ばれる手法も用いられる。視差補償予測は，Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ．Ｈとして国際標準規格に採用されている。

ここで用いられる視差とは，異なる位置に配置されたカメラの画像平面上で，被写体が投影される位置の差である。視差補償予測ではこれを二次元ベクトルで表現して符号化を行っているが，視差がカメラと被写体のカメラからの位置（デプス）とに依存して発生する情報であるため，この原理を利用した視点合成予測（視点補間予測）と呼ばれる方式が存在する。

視点合成予測（視点補間予測）は，カメラや被写体の三次元的な位置関係に従って，既に処理が終了し復号結果が得られている多視点画像の一部分を用いて，符号化もしくは復号処理を行う別の視点に対するフレームを合成（補間）して得られた画像を，予測画像として用いる方式である（例えば，非特許文献３参照）。

被写体の三次元的な位置を表現するために，カメラから被写体までの距離（デプス）を画素ごとに表現したデプスマップ（距離画像，視差画像，ディスパリティマップと呼ばれることもある）が用いられることが多い。デプスマップの他には，被写体のポリゴン情報や被写体空間のボクセル情報を用いることもできる。

なお，デプスマップを取得する方法には，大きく分けると，赤外線パルスなどを用いて測定することで生成する方法と，多視点画像上で同じ被写体が写っている点を見つけ，そこから三角測量の原理を用いて推定する方法があるが，どちらの方法で得られたデプスマップを用いるかは視点合成予測において大きな問題ではない。また，デプスマップが得られるのであれば，符号化側や復号側など，どこで推定するかも大きな問題ではない。

ただし，予測符号化を行う場合においては，一般的に，符号化側で用いたデプスマップと復号側で用いたデプスマップとが一致しない場合には，ドリフトと呼ばれる符号化歪みが発生することになる。そのため，符号化側で用いたデプスマップを復号側へ伝送するか，符号化側と復号側とで全く同じデータと手法を用いてデプスマップを推定する方法が用いられる。

なお，本発明を実施する上で用いることができる技術として，下記の非特許文献４〜非特許文献９に記載されている技術がある。特に，非特許文献４〜非特許文献８には，視点合成画像の生成方法の例が示されている。

Rec. ITU-T H.264，"Advanced video coding for generic audiovisual services", March 2009. K. McCann, W.-J. Han, and I. Kim, "Samsung's Response to the Call for Proposals on Video Compression Technology", Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010. S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, and Y. Yashima,"View Scalable Multiview Video Coding Using 3-D Warping with Depth Map "， IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1485-1495, November, 2007. Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV "，In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. S. Yea and A. Vetro,"View Synthesis Prediction for Rate-Overhead Reduction in FTV", In Proceedings of 3DTV-CON2008, pp. 145-148, May 2008. J. Sun, N. Zheng, and H. Shum,"Stereo Matching Using Belief Propagation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7, pp. 787-800, July 2003. S. Shimizu, Y. Tonomura, H. Kimata, and Y. Ohtani,"Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding "，In Proceedings of ICDSC2009, August 2009. K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fuji, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 11, pp. 1436-1449, November 2007. K. Ugur, K. R. Andersson, and A. Fuldseth,"Description of video coding technology proposal by Tandberg, Nokia, Ericsson", Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A119, April 2010.

上述した従来技術では，視差補償予測や視点合成予測を用いることで，カメラ間の画像信号の冗長性を取り除くことができるため，それぞれのカメラで撮影した映像を独立に符号化する場合に比べて，多視点画像を高効率に圧縮符号化することができる。

しかしながら，多視点画像では，カメラ間相関と画面内相関の両方が同時に存在する。そのため，視差補償予測や視点合成予測のみを用いた場合には，画面内相関を利用して空間的な冗長性を取り除くことができないため，効率的な符号化を実現することができない。

非特許文献１では，ブロックごとに画面内予測と視差補償予測との適応選択を導入することで，カメラ間相関と画面内相関の両方を利用しようとしている。この方法を用いることで，どちらか一方の相関しか使用しない場合に比べて効率的な符号化を実現できる。しかし，ブロックごとにどちらか一方を選択するということは，ブロックごとにより強い相関を示したものを利用することで，より多くの冗長性を削減しているだけで，カメラ間と時間とで同時に存在している冗長性まで削減できるわけではない。

この課題に対する解決策として，イントラ予測などの画面内相関を利用した手法によって生成された予測画像と，視差補償予測や視点合成予測などのカメラ間相関を利用した手法によって生成された予測映像との重み付け平均を用いる方法が容易に類推可能である。この手法を用いることで，ある程度の符号化効率改善の効果が得られる。しかしながら，重み付け平均を用いて予測画像を生成することは，画面内相関とカメラ間相関との間で，その相関を利用する比率を分配しているに過ぎない。つまり，同時に利用しているのではなく，どちらの相関を利用するかをより柔軟に行っているに過ぎないため，同時に存在している冗長性を削減するものではない。

また，従来技術では，画面内予測の予測精度を画面内予測に用いる方向や方式を増やすことで改善している。画面内予測を用いたブロックを正しく復号するためには，復号側へ符号化時に使用された予測画像生成法を識別するための情報を符号化しなくてはならない。そのため，従来技術のように予測画像の生成方法の選択肢を増加させると，画像信号の予測精度を向上することは可能であるが，予測画像の生成方法を識別するための符号量が増大してしまい，トータルとして効率的な符号化を実現することができない。

本発明は係る事情に鑑みてなされたものであって，画面内相関とカメラ間相関が同時に存在する多視点画像に対して，カメラ間相関を利用した画面内相関の推定，つまりカメラ間相関を利用して画面内予測を行う向きなどの画面内予測方法を推定することで，画面内予測方法を示すための情報量を削減し，効率的な多視点映像符号化を実現することを目的とする。

画面内予測では，被写体の空間的な連続性を利用して予測画像を生成する。そのため，一般的な画像符号化では，様々な空間的な連続性を仮定して複数の画面内予測画像候補を生成し，その中から符号化対象画像を効率良く表現できているものを予測画像として用いる。このとき，復号側で同じ予測画像を生成するために，どの画面内予測画像候補を用いたか示す情報を符号化する必要がある。

本発明では，別のカメラで撮影された画像を用いて符号化対象画像に対応する視点合成画像を生成し，その視点合成画像を用いて，どの画面内予測画像候補を用いるかを決定する。この視点合成画像は復号側で同じものを生成することが可能であるため，どの画面内予測画像候補を用いたかを示す情報なしでも，同様の方法を用いて複数の画面内予測画像候補から予測画像を生成することができる。この結果，本発明では，画面内予測を行うにもかかわらず，画面内予測の方法を示す情報を符号化する必要がなくなり，その分の符号量を削減することができるという効果が得られる。

また，従来は予測精度と画面内予測の方法を示す情報の符号量の関係で，限られた数の画面内予測方法しか用いることができなかったが，本発明は，画面内予測方法の数に限らず，その情報を符号化する必要がなくなる。したがって，本発明を用いることで符号化対象画像をより精度良く予測することが可能となり，予測残差の符号化に必要な符号量も削減することができるという効果も得られる。本発明は，詳しくは以下の特徴を有する。

〔第１の発明〕
本発明は，画面内予測方法ごとに予測画像を生成し，その良し悪しを視点合成画像と比較し，１つの画面内予測方法を決定する。符号化側では，その決定した画面内予測方法を用いて予測画像を生成し符号化する。視点合成画像は復号側でも同じものが生成可能であるため，復号側でも同様の手順によって，同じ画面内予測方法を識別することができる。そのため，同じ予測画像を生成し，正しく画像信号を復号することができる。つまり，どの画面内予測方法を用いたかを示すための情報を符号化側で符号化して，復号側へ通知する必要がなくなり，その分の符号量を削減することができる。

例えば，画面内予測方法が９種類存在した場合，予測方法を示す情報の符号化に，従来技術ではブロックごとにｌｏｇ₂ ９≒３．１ビットの符号量が必要であるが，本発明では０ビットの符号量となる。さらに，本発明は画面内予測方法の数に関係なく０ビットの符号量となるため，画面内予測方法の数を増やすことで予測効率を向上させ，画像信号の符号化に必要な符号量を削減することも可能である。

以上のことから，第１の発明は，ブロック内の画像信号を画面内予測符号化する際の画面内予測方法を示す情報を符号化するために必要な符号量を削減することができるという効果がある。

〔第２の発明〕
視点合成画像は，かなりの高い精度で生成することが可能であるが，デプス情報やカメラパラメータの誤差などの影響を受けて，部分的にノイズが発生することがある。そのため，視点合成画像を基準として予測画像の生成方法を決定すると，その部分的なノイズの影響を受けて，予測残差が最小ではない方法を選んでしまう可能性がある。

そこで，第２の発明では，第１の発明においてさらに，視点合成画像がどの適度正しくできたかを表す信頼度を計算し，その信頼度を用いて画素ごとに評価値を重み付けする。これにより，部分的に発生するノイズの影響を軽減して，より予測残差を小さくする予測画像生成法を選択できる確率を向上させることができる。予測残差が小さくなることで，画像信号の符号量を削減することができる。

以上のことから，第２の発明は，最適な画面内予測方法の推定精度の向上，およびそれに伴う画像信号の符号量の削減という効果がある。

〔第３の発明〕
第３の発明は，予測画像生成法を決定する際に，復号画像を用いずに，視点合成画像のみを用いることで，複数の画面内予測画像候補を生成し，それを評価する。これによって隣接ブロックの符号化（復号）処理の終了を待たずに，任意のブロックに対する予測画像生成法を決定することができるため，予測画像生成法を決定する処理と，その予測画像生成法に従って画像信号を符号化する処理とを，並列に処理できるようになり，処理の高速化が可能になる。

〔第４の発明〕
画像信号を符号化する際の予測残差が最小となる予測画像生成法は，復号側では使用できない符号化対象画像を用いなければ，見つけることができない。そのため，復号側でも生成することのできる，視点合成画像を基準にして推定した予測画像生成法は，予測残差を最小にすることができず，予測画像生成方法を示すための情報を符号化する必要がなかったとしても，トータルとしてそのブロックの符号量が増大してしまう可能性がある。

そこで，第４の発明は，符号化対象画像を用いて決定した最適な予測画像生成法と，視点合成画像を用いることで復号側でも同定可能な予測画像生成法とを比較し，両者が同じかどうかを示すバイナリフラグを生成する。両者が同じ場合には，そのバイナリフラグのみを符号化し，そうでない場合には，バイナリフラグに加えて最適な予測画像生成法を示す情報を符号化する。

このようにすることで推定が正しいかどうかを復号側で知ることができ，推定が誤ってしまう場合でも最適な予測画像生成法を用いて符号化することができるようになる。

従来技術で予測画像生成法を示すためにＮビットが必要であるとすると，本技術を用いた場合に予測画像生成法を示すために必要なビット数はｐ＋（１−ｐ）×（Ｎ＋１）となる（ｐは推定が当たる確率）。つまり，推定が１／Ｎ以上の確率で正しければ，トータルの符号量を削減することができる。９種類の予測画像生成法（Ｈ．２６４／ＡＶＣ）であればＮ≒３なので，３０％以上の確率で予測が正しければ符号量を削減できる。３３種類の予測画像生成法（非特許文献２）であればＮ≒５なので，２０％以上の確率で予測が正しければ符号量を削減することができる。以上により，本発明は，予測画像生成法の推定が誤った場合に，画像信号の符号量が増大してしまうことを防ぐことができる。

本発明によれば，画面内相関とカメラ間相関が同時に存在する多視点画像を符号化する際に，別のカメラで撮影された映像から生成された視点合成画像を用いて画面内予測の方法を推定することで，画面内予測方法の予測においてカメラ間相関を，映像信号予測において画面内相関を利用可能になり，２つの相関を同時に利用した効率的な多視点画像符号化を実現することができるようになる。

第１実施形態による多視点画像符号化装置の構成を示すブロック図である。 第１実施形態による多視点画像符号化装置の処理フローチャートである。 予測画像生成を決定する処理の詳細なフローチャートである。 多視点画像符号化装置の他の構成例を示すブロック図である。 図４に示す多視点画像符号化装置の処理フローチャートである。 多視点画像符号化装置のさらに他の構成例を示すブロック図である。 最適予測画像生成法決定部が行う処理の詳細なフローチャートである。 多視点画像符号化装置（図１と図６）の動作の比較を示す図である。 多視点画像符号化装置（図１と図６）の動作の比較を示す図である。 多視点画像符号化装置（図１と図６）の動作の比較を示す図である。 多視点画像符号化装置（図１と図６）の動作の比較を示す図である。 多視点画像符号化装置のさらに他の構成例を示すブロック図である。 第２実施形態による多視点画像符号化装置の構成を示すブロック図である。 第２実施形態による多視点画像符号化装置の処理フローチャートである。 多視点画像符号化装置のさらに他の構成例を示すブロック図である。 多視点画像符号化装置のさらに他の構成例を示すブロック図である。 多視点画像符号化装置のさらに他の構成例を示すブロック図である。 第３実施形態による多視点画像復号装置の構成を示すブロック図である。 第３実施形態による多視点画像復号装置の処理フローチャートである。 多視点画像復号装置の他の構成例を示すブロック図である。 図２０に示す多視点画像復号装置の処理フローチャートである。 多視点画像復号装置のさらに他の構成例を示すブロック図である。 多視点画像復号装置（図１８と図２２）の動作の比較を示す図である。 多視点画像復号装置のさらに他の構成例を示すブロック図である。 第４実施形態による多視点画像復号装置の構成を示すブロック図である。 第４実施形態による多視点画像復号装置の処理フローチャートである。 多視点画像復号装置の他の処理例を示す処理フローチャートである。 多視点画像復号装置のさらに他の構成例を示すブロック図である。 多視点画像復号装置のさらに他の構成例を示すブロック図である。 多視点画像復号装置のさらに他の構成例を示すブロック図である。 多視点画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 多視点画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。

以下，本発明の一実施形態を，図面を参照して説明する。

〔第１実施形態：多視点画像符号化装置〕
まず，第１実施形態について説明する。図１は，本発明の第１実施形態による多視点画像符号化装置の構成を示すブロック図である。多視点画像符号化装置１００は，図１に示すように，符号化対象画像入力部１０１，符号化対象画像メモリ１０２，参照視点画像入力部１０３，参照視点画像メモリ１０４，視点合成部１０５，視点合成画像メモリ１０６，最適予測画像生成部１０７，画像信号符号化部１０８，画像信号復号部１０９，および復号画像メモリ１１０を備えている。

符号化対象画像入力部１０１は，符号化対象となる視点の画像を入力する。以下は，この符号化対象となる視点を符号化対象視点と呼び，この画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ１０２は，入力された符号化対象画像を蓄積する。

参照視点画像入力部１０３は，符号化対象の視点とは別の視点から，同時刻に同じ被写体を撮影した画像を入力する。以下では，この符号化対象の視点とは別の視点のことを参照視点と呼び，この画像のことを参照視点画像と呼ぶ。参照視点画像メモリ１０４は，入力された参照視点画像を蓄積する。

視点合成部１０５は，参照視点画像を用いて符号化対象視点における画像を合成する。以下では，この合成された画像のことを視点合成画像と呼ぶ。視点合成画像メモリ１０６は，生成された視点合成画像を蓄積する。

最適予測画像生成部１０７は，予測画像候補生成手段，予測画像評価手段の機能を有し，符号化対象領域に対する視点合成画像を用いて，符号化対象領域の周辺に対する復号画像から符号化対象領域の予測画像を生成する。画像信号符号化部１０８は，生成された予測画像を用いて，符号化対象画像を予測符号化する。画像信号復号部１０９は，生成された予測画像を用いて，生成された符号データを復号して復号画像を生成する。復号画像メモリ１１０は，生成された復号画像を蓄積する。

図２は，第１実施形態による多視点画像符号化装置１００の動作を説明するためのフローチャートである。このフローチャートに従って，多視点画像符号化装置１００の実行する処理について詳細に説明する。

まず，符号化対象画像入力部１０１より符号化対象画像Ｏｒｇが入力され，符号化対象画像メモリ１０２に格納され，参照視点画像入力部１０３より符号化対象画像Ｏｒｇと同時刻に参照視点で撮影された参照視点画像Ｒｅｆ_n （ｎ＝１，２，…，Ｎ）が入力され，参照視点画像メモリ１０４に蓄積される（ステップＳ１０１）。ここで入力される参照視点画像は，既に符号化済みの画像を復号したものとする。これは，復号装置で得られる情報と全く同じ情報を用いることで，ドリフト等の符号化ノイズの発生を抑えるためである。ただし，そのような符号化ノイズの発生を許容する場合には，符号化前のオリジナルのものが入力されてもかまわない。なお，ｎは参照視点を示すインデックスであり，Ｎは利用可能な参照視点の数である。

次に，視点合成部１０５で，参照視点画像の画像信号を用いて，符号化対象画像と同時刻に同じ視点で撮影された画像を合成し，生成された視点合成画像Ｓｙｎを視点合成画像メモリ１０６に蓄積する（ステップＳ１０２）。この視点合成画像の生成には，どのような方法を用いてもかまわない。例えば，参照視点画像の他に参照視点画像に対するデプス情報が与えられるのであれば，非特許文献３や非特許文献４などに記載されている手法を用いることができる。

また，符号化対象画像に対するデプス情報が与えられた場合には，非特許文献５などに記載されている手法を用いることも可能である。

全くデプス情報が得られない場合では，非特許文献６などに記載のステレオ法やデプス推定法と呼ばれる手法を用いて，参照視点画像もしくは符号化対象画像に対するデプス情報を生成した後に，前述のような手法を適用して視点合成画像を生成することができる（非特許文献７）。また，デプス情報を明には生成せずに参照視点画像から視点合成画像を直接生成する方法もある（非特許文献８）。

なお，これらの手法を用いるには，通常，カメラの位置関係やカメラによる投影プロセスを示すカメラパラメータが必要となる。これらのカメラパラメータも参照視点画像から推定することが可能である。なお，デプス情報やカメラパラメータなどを復号側で推定しない場合，符号化装置内で使用したそれらの情報は別途符号化して伝送する必要がある。

視点合成画像の生成が終了したら，符号化対象画像を分割し，その領域ごとに予測画像を生成して，符号化対象画像の画像信号を符号化する（ステップＳ１０３〜Ｓ１０９）。つまり，符号化対象ブロックインデックスをｂｌｋ，総符号化対象ブロック数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化した後（ステップＳ１０３），ｂｌｋに１を加算しながら（ステップＳ１０８），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１０９），以下の処理（ステップＳ１０４〜ステップＳ１０７）を繰り返す。

なお，上記視点合成画像の生成をブロックごとに行うことが可能であれば，視点合成画像の生成も符号化対象ブロックごとに繰り返す処理の一部として行ってもかまわない。例えば，符号化対象画像に対するデプス情報が与えられている場合は，視点合成画像をブロックごとに生成することが可能である。

符号化対象ブロックごとに繰り返される処理では，まず，最適予測画像生成部１０７で，ブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］を用いて，ブロックｂｌｋに対する最適予測画像生成法ｍｏｄｅを決定し（ステップＳ１０４），復号画像メモリ１１０に蓄積されているブロックｂｌｋ周辺の復号画像を用いて，ブロックｂｌｋに対する予測画像Ｐｒｅｄ［ｂｌｋ］を生成する（ステップＳ１０５）。

ブロックｂｌｋに対する最適予測画像生成法を決定する処理は，視点合成画像Ｓｙｎ［ｂｌｋ］をターゲット画像とみなして，適合度を最大化もしくは乖離度を最小化する画面内予測画像を生成するための方法を，予め定められた予測方法の集合の中から求める処理である。この第１実施形態では，乖離度を示す評価値を用いるものとする。乖離度を示す評価値の具体例としては，次の式(1) で表される視点合成画像とのＳＡＤ（差分絶対値和）や式(2) で表される視点合成画像とのＳＳＤ（差分二乗和）などがある。

ｃｏｓｔ（ｍ）＝Σ_p ｜Ｓｙｎ［ｐ］−Ｐｒｅｄ_m ［ｐ］｜ 式(1)
ｃｏｓｔ（ｍ）＝Σ_p （Ｓｙｎ［ｐ］−Ｐｒｅｄ_m ［ｐ］）² 式(2)
ここで，ｃｏｓｔは評価値，ｍは画面内予測画像を生成する方法を示すインデックス値，Ｐｒｅｄ_m は方法ｍに従って復号画像メモリ１１０に蓄積されているブロックｂｌｋ周辺の復号画像から生成された予測画像候補を示す。Σ_p は∀ｐ∈ｂｌｋについての和を表している。これら以外に視点合成画像と予測画像候補の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Ａで表すと，次の式(3) で表すことができる。なお，‖Ｘ‖はＸのノルムを表す。

ｃｏｓｔ（ｍ）＝‖Ａ・（Ｓｙｎ［ｂｌｋ］−Ｐｒｅｄ_m ［ｂｌｋ］）‖ 式(3)
また，上記のような視点合成画像と予測画像候補との乖離度のみを測る方法ではなく，発生する符号量と歪み量を鑑みたＲＤコストを用いてもかまわない。ここで用いるＲＤコストは，Ｐｒｅｄ_m ［ｂｌｋ］を予測画像としてＳｙｎ［ｂｌｋ］を符号化した際の符号量Ｒ（ｍ）と，その結果得られる復号画像のＳｙｎ［ｂｌｋ］からの歪み量Ｄ（ｍ）とを用いて，次の式(4) で表すことができる。なお，λはラグランジュの未定乗数であり，予め定められた値を用いる。

ｃｏｓｔ（ｍ）＝Ｄ（ｍ）＋λＲ（ｍ） 式(4)
したがって，ステップＳ１０４では，次の式(5) で表される，評価値を最小化する最適予測画像生成法を求める処理を行う。

ｍｏｄｅ＝ａｒｇｍｉｎ_m （ｃｏｓｔ（ｍ）） 式(5)
図３に，ステップＳ１０４で行う予測画像生成を決定する処理の詳細フローを示す。予測画像生成を決定するにあたっては，各予測画像生成法の評価値を求め，その評価値を比較することで，最適予測画像生成法を決定する。

つまり，予測画像生成法インデックスｍを０で，評価済み予測画像生成法のうち最も評価値の良かったものを記録する変数ｍｏｄｅを０で，予測画像生成法ｍｏｄｅにおける評価値ｍｉｎ＿ｃｏｓｔを絶対に取り得ない最大値ＭＡＸで，それぞれ初期化し（ステップＳ１４０１），ｍを１ずつ加算しながら（ステップＳ１４０６），ｍが予測画像生成法の数ｎｕｍＭｏｄｅｓになるまで（ステップＳ１４０７），以下の処理（ステップＳ１４０２〜ステップＳ１４０５）を繰り返す。なお，ここでは評価値が小さいほど良い予測画像生成法であることを示すものとする。

予測画像生成法ごとに繰り返される処理では，まず，ｍで示される予測画像生成法に従って，復号画像メモリ１１０に蓄積されているブロックｂｌｋの周辺の復号画像を用いて予測画像候補Ｐｒｅｄ_m ［ｂｌｋ］を生成する（ステップＳ１４０２）。

予測画像候補が生成できたら，予測画像候補と視点合成画像とを比較して評価値ｃｏｓｔ（ｍ）を求める（ステップＳ１４０３）。評価値の計算には，上述の式(1) 〜式(4) など，復号側と同じである限りは任意のものを用いることができる。

評価値が求まったら，その値がｍｉｎ＿ｃｏｓｔよりも小さいかどうかを調べ（ステップＳ１４０４），小さい場合にはｍｏｄｅをｍで，ｍｉｎ＿ｃｏｓｔをｃｏｓｔ（ｍ）で書き換えて（ステップＳ１４０５），次の予測画像生成法へ移る。ｍｉｎ＿ｃｏｓｔ以上であった場合には，そのまま次の予測画像生成法へ移る。なお，処理がｅｎｄに辿り着いた際のｍｏｄｅがブロックｂｌｋに対する最適予測画像生成法となる。

ステップＳ１０５の予測画像Ｐｒｅｄ［ｂｌｋ］を生成する処理は，次の式(6) で表される。なお，ステップＳ１０４の評価を行う際に，最も評価値が小さい予測画像候補を蓄積しておき，ステップＳ１０５では得られた予測方法ｍｏｄｅで予測画像を生成せずに，蓄積してあった予測画像候補を予測画像として設定してもかまわない。

Ｐｒｅｄ［ｂｌｋ］＝Ｐｒｅｄ_mode［ｂｌｋ］ 式(6)
画面内予測画像を生成するための方法の集合としては，復号側と同じであれば，どのような方法が含まれていてもかまわないし，その集合の大きさがいくつであってもかまわない。例えば，Ｈ．２６４／ＡＶＣのイントラ予測のように，８つ異なる予測方向に従ったイントラ予測，隣接画素の復号画像の平均値で予測画像を生成するＤＣ予測，グラデーションを想定して隣接画素を線形補間することで予測画像を生成するＰｌａｎｅ予測からなる集合を用いてもかまわない。また，非特許文献２や非特許文献９のようにさらに多数の予測方向を集合に加えてもかまわないし，また，非特許文献９のように先に一部分を符号化し，その情報を用いて双方向予測を行う方法を集合に加えてもかまわない。

予測画像が得られたら，画像信号符号化部１０８で，ブロックｂｌｋに対する画像信号Ｏｒｇ［ｂｌｋ］を予測符号化する（ステップＳ１０６）。符号化にはどのような方法を用いてもかまわない。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では，ブロックｂｌｋの画像信号と予測画像との差分信号（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄ［ｂｌｋ］）に対して，ＤＣＴなどの周波数変換，量子化，２値化，エントロピー符号化を順に施すことで符号化を行う。

次に，画像信号復号部１０９で，符号化結果として得られた符号データと予測画像とを用いて，ブロックｂｌｋに対する画像信号を復号し，復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を復号画像メモリ１１０に蓄積する（ステップＳ１０７）。ここでは，符号化時に用いた手法に対応する手法を用いる。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば，符号データに対して，エントロピー復号，逆２値化，逆量子化，ＩＤＣＴなどの周波数逆変換を順に施し，得られた２次元信号に対して予測信号を加え，最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は，他のブロックを符号化する際の予測画像を生成するために用いられる。

第１実施形態では，すべての画素において視点合成画像が同程度の精度で生成できるものとしているが，視点合成の確からしさを考慮して予測画像生成法の評価を行ってもかまわない。

図４に，視点合成の確からしさを用いて予測画像生成法を決定する場合の多視点画像符号化装置のブロック図を示す。図４に示す多視点画像符号化装置１００１が，図１に示す多視点画像符号化装置１００と違う点は，視点合成画像に対して合成の確からしさを計算して最適予測画像生成部１０７へ通知する信頼度設定部１１１が加わった点である。

図５に，多視点画像符号化装置１００１の処理フローを示す。図２に示す多視点画像符号化装置１００の処理フローとの違いは，符号化処理ブロックごとに視点合成画像の信頼度を計算し（ステップＳ１０３５），その信頼度とブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］とを用いて，ブロックｂｌｋに対する最適予測画像生成法ｍｏｄｅを決定する（ステップＳ１０４′）という点である。

本実施形態では，信頼度ρは，０〜１までの実数とするが，０以上で大きな値がより信頼度が高いとするような定義のものであれば，どのように表現してもかまわない。例えば，１以上の８ビット整数で表現してもかまわない。

信頼度ρは，前述の通り合成がどれぐらい正確に行われたかを示すことができればどのようなものでもかまわない。例えば，最も簡単なものとしては，視点合成画像の各画素が対応する参照視点フレーム上の画素の画素値の分散値を用いる方法がある。ただし，分散の最大値は不明であるため，画像全体における分散値の最大値が１になるように正規化する必要がある。視点合成画像上の画素Ｓｙｎ［ｐ］を視点合成するのに使用した各参照画像上の画素をＲｅｆ_n ［ｐ_n ］で表すとすると，信頼度ρは次の式(7) や式(8) を用いて表すことが可能である。

ρ［ｐ］＝１−ｖａｒ１（ｐ）／ｍａｘ_q （ｖａｌ１（ｑ）） 式(7)
ρ［ｐ］＝１−ｖａｒ２（ｐ）／ｍａｘ_q （ｖａｌ２（ｑ）） 式(8)
なお，ｍａｘは与えられた集合に対する最大値を返す関数であるとし，その他の関数は次の式(9) で表現されるものである。

ｖａｒ１（ｐ）＝Σ_n ｜Ｒｅｆ_n ［ｐ_n ］−ａｖｅ（ｐ）｜／Ｎ
ｖａｒ２（ｐ）＝Σ_n （Ｒｅｆ_n ［ｐ_n ］−ａｖｅ（ｐ））² ／Ｎ 式(9)
ａｖｅ（ｐ）＝Σ_n Ｒｅｆ_n ［ｐ_n ］／Ｎ
分散以外にも，次の式(10)で表される対応する参照視点画像の画素の最大値と最小値の差を用いる方法もある。

ρ［ｐ］＝１−ｄｉｆｆ（ｐ）／ｍａｘ_q （ｄｉｆｆ（ｑ）） 式(10)
ｄｉｆｆ（ｑ）＝ｍａｘ_n （Ｒｅｆ_n ［ｐ_n ］）−ｍｉｎ_n （Ｒｅｆ_n ［ｐ_n ］）
なお，ｍｉｎは，与えられた集合に対する最小値を返す関数である。これらの方法は，単純であるが，オクルージョンの発生を考慮していないため，常に最適な信頼度が得られるとは限らない。そこで，オクルージョンの発生を考慮して，参照視点画像上の対応画素の集合を画素値によってクラスタリングし，最も大きいクラスタに属する画素の画素値に対して，分散値や最大値と最小値の差を計算して用いてもかまわない。

さらに別の方法としては，視点間の対応点における誤差が正規分布やラプラス分布に従うと仮定し，分布の平均値や分散値をパラメータとして，前記式(10)のｄｉｆｆなどで求められる各画素の誤差量に対応する確率の値を用いてもかまわない。分布のモデルやその平均値や分散値は予め定められたものを用いてもかまわないし，情報を符号化して伝送してもかまわない。一般に被写体が完全拡散反射しているのであれば，理論的に分布の平均値は０とすることができる。

また，被写体の完全拡散反射を考慮して，視点合成画像を生成した際の対応点が得られるデプス付近で，対応画素の画素値の誤差量が最小であると仮定すると，デプスを微小に変化させたときの誤差量の変化から誤差分布モデルを推定し，その誤差分布モデルや，その誤差分布モデルと視点合成画像生成時の参照視点画像上の対応画素の画素値に基づいた値を用いる方法を用いてもかまわない。誤差分布モデルに基づいた値としては，その分布に従う際に誤差が一定の範囲内に収まる確率を用いる方法がある。誤差分布モデルと視点合成画像生成時の参照視点画像上の対応画素の画素値に基づいた値としては，誤差の発生確率が推定した分布に従うとした場合に，視点合成画像生成時の参照視点フレーム上の対応画素の画素値で表される状況が発生する確率を用いる方法がある。

さらに別な方法として，視点合成を行う際に必要となる視差やデプスを推定する際にBelief Propagationと呼ばれる手法（非特許文献６参照）を用いた場合，各画素において，視差やデプスに対する確率分布が得られるため，その情報を用いてもかまわない。Belief Propagation以外でも視点合成画像の各画素について合成の確からしさを計算するものであれば，その情報を用いることが可能である。

視点合成画像生成時に対応点探索やステレオ法，デプス推定を行う場合には，それらの情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては，視点合成画像生成と信頼度計算を同時に行うことで，演算量を削減することが可能である。

その信頼度とブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］とを用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅを決定する処理（ステップＳ１０４′）では，前述の式(1) 〜式(3) の代わりに，次の式(11)〜式(13)によって評価値ｃｏｓｔを定義し，式(5) で表される最小化処理を行う。

ｃｏｓｔ（ｍ）＝Σ_p ρ（ｐ）・｜Ｓｙｎ［ｐ］−Ｐｒｅｄ_m ［ｐ］｜ 式(11)
ｃｏｓｔ（ｍ）＝Σ_p ρ（ｐ）・（Ｓｙｎ［ｐ］−Ｐｒｅｄ_m ［ｐ］）² 式(12)
ここで，ｃｏｓｔは評価値，ｍは画面内予測画像を生成する方法を示すインデックス値，Ｐｒｅｄ_m は方法ｍに従って復号画像メモリ１１０に蓄積されているブロックｂｌｋ周辺の復号画像から生成された予測画像候補を示す。これら以外に視点合成画像と予測画像候補の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いる方法がある。その変換を行列Ａで表すと次の式(13)で表すことができる。なお，‖Ｘ‖はＸのノルムを，演算子・は行列積を，演算子＊は要素ごとの乗算を表す。
ｃｏｓｔ（ｍ）＝‖ρ［ｂｌｋ］＊Ａ・（Ｓｙｎ［ｂｌｋ］−Ｐｒｅｄ_m ［ｂｌｋ］）‖ 式(13)
第１実施形態では，予測画像生成法を決定する際に，復号画像メモリ１１０に蓄積されている，ブロックｂｌｋの周辺の既に符号化済み画素を用いて評価を行っているが，復号画像を用いずに，視点合成画像のみを用いて評価を行ってもかまわない。

図６に，視点合成画像のみから予測画像生成法を決定する場合の多視点画像符号化装置のブロック図を示す。図６に示す多視点画像符号化装置１００２が，図１に示す多視点画像符号化装置１００と違う点は，最適予測画像生成部１０７が，最適予測画像生成法決定部１１２と予測画像生成部１１３とに分割された点である。

最適予測画像生成法決定部１１２は，視点合成画像のみを用いて，予め定められた予測画像生成法の中から，ブロックｂｌｋに対する予測画像を生成するのに適した方法を１つ決定する。予測画像生成部１１３は，与えられた予測画像生成法に従って，復号画像メモリ１１０に蓄積されている，ブロックｂｌｋの周辺の復号画像を用いて予測画像を生成する。

多視点画像符号化装置１００２の処理フローは，図２に示す多視点画像符号化装置１００の処理フローと同じであるが，ステップＳ１０４における詳細処理が異なる。図７に，ステップＳ１０４で，最適予測画像生成法決定部１１２が行う処理の詳細フローを示す。

最適予測画像生成法決定部１１２では，各予測画像生成法の評価値を求め，その評価値を比較することで，予測画像生成法を決定する。つまり，予測画像生成法インデックスｍを０で，評価済み予測画像生成法のうち最も評価値の良かったものを記録する変数ｍｏｄｅを０で，予測画像生成法ｍｏｄｅにおける評価値ｍｉｎ＿ｃｏｓｔを絶対に取り得ない最大値ＭＡＸで，それぞれ初期化し（ステップＳ１４１１），ｍを１ずつ加算しながら（ステップＳ１４１６），ｍが予測画像生成法の数ｎｕｍＭｏｄｅｓになるまで（ステップＳ１４１７），以下の処理（ステップＳ１４１２〜ステップＳ１４１５）を繰り返す。なお，ここでは評価値が小さいほど良い予測画像生成法であることを示すものとする。

予測画像生成法ごとに繰り返される処理では，まず，ｍで示される予測画像生成法に従って，ブロックｂｌｋの周辺の視点合成画像を用いて疑似予測画像ＱＰｒｅｄ_m ［ｂｌｋ］を生成する（ステップＳ１４１２）。なお，図３のステップＳ１４０２との違いは，復号画像ではなく視点合成画像を用いて画像を生成する点である。

疑似予測画像が生成できたら，疑似予測画像と視点合成画像とを比較して評価値ｃｏｓｔ（ｍ）を求める（ステップＳ１４１３）。ここでの処理は，Ｐｒｅｄ_m がＱＰｒｅｄ_m と置き換わるだけで，図３のステップＳ１４０３と同じである。つまり，評価値の計算には，上述の式(1) 〜式(4) のＰｒｅｄ_m をＱＰｒｅｄ_m と置き換えたものなど，復号側と同じである限りは任意のものを用いることができる。

評価値が求まったら，その値がｍｉｎ＿ｃｏｓｔよりも小さいかどうかを調べ（ステップＳ１４１４），小さい場合にはｍｏｄｅをｍで，ｍｉｎ＿ｃｏｓｔをｃｏｓｔ（ｍ）で書き換えて（ステップＳ１４１５），次の予測画像生成法へ移る。ｍｉｎ＿ｃｏｓｔ以上であった場合には，そのまま次の予測画像生成法へ移る。なお，処理がｅｎｄに辿り着いた際のｍｏｄｅがブロックｂｌｋに対する予測画像生成法となる。

予測画像生成部１１３は，このｍｏｄｅに従って，復号画像メモリ１１０に蓄積されているブロックｂｌｋの周辺の復号画像を用いて予測画像Ｐｒｅｄを生成する。なお，予測画像生成法の評価を行う際に生成したものは視点合成画像を使用しているため，図１の多視点画像符号化装置１００と異なり，ここでは必ず予測画像の生成処理を行う必要がある。

このように予測画像生成法の評価にあたって視点合成画像のみを用いると，並列演算処理が可能になるという利点が生まれる。図１に示す多視点画像符号化装置１００では，ブロックｂｌｋの予測画像生成法を決定するために，ブロックｂｌｋ周辺の復号画像が生成されている必要がある。つまり，ブロックｂｌｋの予測画像生成法を決定するためには，ブロックｂｌｋ周辺の符号化処理の終了を待たなくてはならない。しかしながら，本実施形態の多視点画像符号化装置１００２では，ブロックｂｌｋの予測画像生成法を視点合成画像のみから決定するため，各ブロックの符号化処理とは独立して予測画像生成法を決定することが可能となる。

つまり，ブロックｂｌｋに対する予測画像生成法の決定処理をＰ_blk ，画像信号の符号化処理をＥ_blk で表し，ラスタースキャン順にブロックを符号化すると仮定すると，多視点画像符号化装置１００は，図８（Ａ）のように交互に処理を行う必要がある。一方，多視点画像符号化装置１００２では，図８（Ｂ）のように，それぞれ独立して処理を行うことが可能となり，処理時間を大幅に削減できる。

図８は，予測画像生成法の決定処理と画像信号の符号化処理の処理時間が同じである場合を示したが，両者の処理時間が同一でない場合においても処理時間を削減することが可能である。図９に，予測画像生成法の決定処理より符号化処理の方が処理時間が長い場合を示す。符号化処理において複雑な２値化や算術符号化を行う場合が，図９の例に該当する。この場合，符号化処理は待ち時間なく行うことが可能となる。

図１０は，符号化処理より予測画像生成法の決定処理の方が処理時間が長い場合を示している。予測画像生成法の数が非常に多い場合などが，この場合に該当する。この場合，符号化処理は予測画像生成法の決定を待たなくてはならないが，符号化処理を行いながら次のブロックの予測画像生成法の決定処理を行うことができるため，処理時間を短縮することが可能となる。また，予測画像生成法の決定処理もブロックごとに独立しているため，予測画像生成法を決定する処理を並列に行うことで，待ち時間なしで符号化処理を行うようにすることも可能である。図１１は，予測画像生成法の決定処理を２つ同時に行う場合を示している。

多視点画像符号化装置１００２においても，視点合成処理の信頼度を考慮して，より適切な予測画像生成法を設定することが可能である。その場合の多視点画像符号化装置は図１２で示される。図１２に示す多視点画像符号化装置１００３には，図６に示す多視点画像符号化装置１００２に対して，信頼度設定部１１１が加わっている。信頼度設定部１１１は，視点合成画像に対して合成の確からしさを計算し，最適予測画像生成法決定部１１２へ通知する。この信頼度設定部１１１が行う処理は，図４の多視点画像符号化装置１００１で説明した信頼度設定部１１１の処理と同様である。

〔第２実施形態：多視点画像符号化装置〕
次に，本発明の第２実施形態について説明する。図１３は，本発明の第２実施形態による多視点画像符号化装置の構成を示すブロック図である。多視点画像符号化装置２００は，図１３に示すように，符号化対象画像入力部２０１，符号化対象画像メモリ２０２，参照視点画像入力部２０３，参照視点画像メモリ２０４，視点合成部２０５，視点合成画像メモリ２０６，予測画像生成法推定部２０７，予測画像生成部２０８，予測情報符号化部２０９，画像信号符号化部２１０，画像信号復号部２１１，復号画像メモリ２１２，および多重化部２１３を備えている。

符号化対象画像入力部２０１は，符号化対象画像を入力する。符号化対象画像メモリ２０２は，入力された符号化対象画像を蓄積する。参照視点画像入力部２０３は，参照視点画像を入力する。参照視点画像メモリ２０４は，入力された参照視点画像を蓄積する。視点合成部２０５は，参照視点画像を用いて符号化対象視点における画像を合成する。視点合成画像メモリ２０６は，生成された視点合成画像を蓄積する。

予測画像生成法推定部２０７は，符号化対象領域に対する視点合成画像を用いて，符号化対象領域の周辺に対する復号画像から符号化対象領域の予測画像を生成する方法を推定する。予測画像生成部２０８は，符号化対象領域に対する符号化対象画像を用いて，符号化対象領域の周辺に対する復号画像から符号化対象領域の予測画像を生成する方法を決定し，予測画像を生成する。予測情報符号化部２０９は，予測画像の生成方法とその推定値から，予測画像の生成方法を示すための情報を符号化する。以下では，この符号化される情報を予測情報と呼ぶ。

画像信号符号化部２１０は，生成された予測画像を用いて，符号化対象画像を予測符号化する。画像信号復号部２１１は，生成された予測画像を用いて，生成された符号データを復号して復号画像を生成する。復号画像メモリ２１２は，生成された復号画像を蓄積する。多重化部２１３は，予測情報の符号データと画像信号の符号データとを多重化して出力する。

図１４は，第２実施形態による多視点画像符号化装置２００の動作を説明するためのフローチャートである。このフローチャートに従って，多視点画像符号化装置２００の実行する処理について詳細に説明する。

まず，符号化対象画像入力部２０１より符号化対象画像Ｏｒｇが入力され，符号化対象画像メモリ２０２に格納され，参照視点画像入力部２０３より符号化対象画像Ｏｒｇと同時刻に参照視点で撮影された参照視点画像Ｒｅｆ_n （ｎ＝１，２，…，Ｎ）が入力され，参照視点画像メモリ２０４に蓄積される（ステップＳ２０１）。ここで入力される参照視点画像は，既に符号化済みの画像を復号したものとする。これは，復号装置で得られる情報と全く同じ情報を用いることで，ドリフト等の符号化ノイズの発生を抑えるためである。ただし，そのような符号化ノイズの発生を許容する場合には，符号化前のオリジナルのものが入力されてもかまわない。なお，ｎは参照視点を示すインデックスであり，Ｎは利用可能な参照視点の数である。

次に，視点合成部２０５で，参照視点画像の画像信号を用いて，符号化対象画像と同時刻に同じ視点で撮影された画像を合成し，生成された視点合成画像Ｓｙｎを視点合成画像メモリ２０６に蓄積する（ステップＳ２０２）。ここでの処理は，第１実施形態のステップＳ１０２と同じである。

視点合成画像の生成が終了したら，符号化対象画像を分割し，その領域ごとに予測画像を生成して，符号化対象画像の画像信号を符号化する（ステップＳ２０３〜Ｓ２１２）。つまり，符号化対象ブロックインデックスをｂｌｋ，総符号化対象ブロック数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化した後（ステップＳ２０３），ｂｌｋに１を加算しながら（ステップＳ２１１），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１２），以下の処理（ステップＳ２０４〜ステップＳ２１０）を繰り返す。

なお，上記視点合成画像の生成をブロックごとに行うことが可能であれば，視点合成画像の生成も符号化対象ブロックごとに繰り返す処理の一部として行ってもかまわない。例えば，符号化対象画像に対するデプス情報が与えられている場合には，視点合成画像をブロックごとに生成することが可能である。

符号化対象ブロックごとに繰り返される処理では，まず，予測画像生成法推定部２０７で，ブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］を用いて，ブロックｂｌｋに対する予測画像生成法の推定値ｐｍｏｄｅを生成する（ステップＳ２０４）。ここでの処理は，第１実施形態のステップＳ１０４と同じである。

次に，予測画像生成部２０８で，ブロックｂｌｋに対する符号化対象画像Ｏｒｇ［ｂｌｋ］を用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅを決定し（ステップＳ２０５），復号画像メモリ２１２に蓄積されているブロックｂｌｋ周辺の復号画像を用いて，ブロックｂｌｋに対する予測画像Ｐｒｅｄ［ｂｌｋ］を生成する（ステップＳ２０６）。

ブロックｂｌｋに対する予測画像生成法を決定する処理は，符号化対象画像Ｏｒｇ［ｂｌｋ］をターゲット画像とみなして，適合度を最大化もしくは乖離度を最小化する画面内予測画像を生成するための方法を，予め定められた予測方法の集合の中から求める処理である。つまり，ここでの処理は視点合成画像Ｓｙｎ［ｂｌｋ］の代わりに，符号化対象画像Ｏｒｇ［ｂｌｋ］を用いた第１実施形態のステップＳ１０４と同じ処理である。ただし，評価値としてＲＤコストを用いる場合，予測情報の符号量を考慮に入れる必要がある。予測画像生成法の推定値がｐｍｏｄｅで，予測画像生成法がｍのときの予測情報の符号量をＯ（ｐｍｏｄｅ，ｍ）で表すとすると，ＲＤコストを用いた評価値は，次の式(14)で表される。なお，ＤとＲは式(4) と同じである。

ｃｏｓｔ（ｍ）＝Ｄ（ｍ）＋λ｛Ｒ（ｍ）＋Ｏ（ｐｍｏｄｅ，ｍ）｝ 式(14)
ブロックｂｌｋに対する予測画像Ｐｒｅｄ［ｂｌｋ］を生成する処理は，第１実施形態のステップＳ１０５と同じ処理である。なお，同様に，ステップＳ２０５で各予測画像生成法の評価を行う際に，最も評価値が小さい予測画像候補を蓄積しておき，ステップＳ２０６では得られた予測方法ｍｏｄｅで予測画像を生成せずに，蓄積してあった予測画像候補を予測画像として設定してもかまわない。

次に，予測情報符号化部２０９で，得られた予測画像生成法ｍｏｄｅとその推定値ｐｍｏｄｅとから予測情報を符号化する（ステップＳ２０７）。ここでは，ｐｍｏｄｅとｍｏｄｅが等しい場合には，予測が正しいことを示すビットフラグを符号化し，等しくない場合には，予測が正しくないことを示すビットフラグと予測画像生成法を示すための情報とを符号化する。

ビットフラグは１ビットのバイナリ情報であり，例えば予測が正しい場合には１を，正しくない場合には０を用いることができる。予測画像生成法を示すための情報は，固定のテーブルを用いて表現してもかまわないし，ｐｍｏｄｅごとに異なるテーブルを用いて表現してもかまわない。例えば，予測画像生成法が予測の向きを示す情報である場合，ｐｍｏｄｅの示す向きに近いものほど短い符号長となるようなテーブルを用意してもかまわない。ただし，ｐｍｏｄｅごとに異なるテーブルを用いる場合，復号側でｐｍｏｄｅを全ブロックで生成する必要が生じ，復号処理の演算量が増加する。また，ｐｍｏｄｅとｍｏｄｅが異なる場合に，Ｈ．２６４／ＡＶＣのように隣接ブロックで使用された予測画像生成法を用いて第２の予測値を生成して，その第２の予測値が正しいか否かを示すためのビットフラグを符号化してもかまわない。なお，テーブル等を用いて予測画像生成法を二値化した後に算術符号化を用いて符号化することもできる。その際に，Ｈ．２６４／ＡＶＣのように隣接ブロックの状況に応じたコンテキストを生成して，そのコンテキストごとに０／１の発生確率を制御しながら符号化してもかまわない。

次に，画像信号符号化部２１０で，ブロックｂｌｋに対する画像信号Ｏｒｇ［ｂｌｋ］を予測符号化する（ステップＳ２０８）。符号化にはどのような方法を用いてもかまわない。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では，ブロックｂｌｋの画像信号と予測画像との差分信号（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄ［ｂｌｋ］）に対して，ＤＣＴなどの周波数変換，量子化，２値化，エントロピー符号化を順に施すことで符号化を行う。なお，ここでの処理は，第１実施形態のステップＳ１０６と同じである。

次に，画像信号復号部２１１で，符号化結果として得られた符号データと予測画像とを用いて，ブロックｂｌｋに対する画像信号を復号し，復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を復号画像メモリ２１２に蓄積する（ステップＳ２０９）。ここでは，符号化時に用いた手法に対応する手法を用いる。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば，符号データに対して，エントロピー復号，逆２値化，逆量子化，ＩＤＣＴなどの周波数逆変換を順に施し，得られた２次元信号に対して予測信号を加え，最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は，他のブロックを符号化する際の予測画像を生成するために用いられる。なお，ここでの処理は，第１実施形態のステップＳ１０７と同じである。

最後に，多重化部２１３で，予測情報の符号データと，画像信号の符号データとを多重化して出力する（ステップＳ２１０）。なお，ここではブロックごとに多重化しているが，全ブロックが終了してから多重化してもかまわない。ただし，その場合には符号データをバッファリングしてから多重化する必要が生じるほか，多重化の方法によっては復号側でも全ての符号データを受け取った後で逆多重化しなくてはならなくなる。

第２実施形態では，すべての画素において視点合成画像が同程度の精度で生成できるものとしているが，視点合成の確からしさを考慮して予測画像生成法の評価を行ってもかまわない。

図１５に，視点合成の確からしさを用いて予測画像生成法を決定する場合の多視点画像符号化装置のブロック図を示す。図１５に示す多視点画像符号化装置２００１が，図１３に示す多視点画像符号化装置２００と違う点は，視点合成画像に対して合成の確からしさを計算して予測画像生成法推定部２０７へ通知する信頼度設定部２１５が加わった点である。

信頼度を用いる場合には，ステップＳ２０４で予測画像生成法を推定する際に，まず，ブロックｂｌｋに対する視点合成画像の信頼度を計算し，その信頼度とブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］とを用いて，ブロックｂｌｋに対する予測画像生成法の推定値ｐｍｏｄｅを生成することになる。信頼度を計算する処理は，第１実施形態のステップＳ１０３５と同じであり，信頼度を用いて予測画像生成法の推定値を生成する処理は，生成される値が予測画像生成法の推定値となるだけで，第１実施形態のステップＳ１０４′と同じである。

第２実施形態では，予測画像生成法を推定する際に復号画像メモリ２１２に蓄積されている，ブロックｂｌｋの周辺の既に符号化済み画素を用いて評価を行っているが，復号画像を用いずに，視点合成画像のみを用いて評価を行ってもかまわない。

図１６に，視点合成画像のみから予測画像生成法を決定する場合の多視点画像符号化装置のブロック図を示す。図１６に示す多視点画像符号化装置２００２が，図１３に示す多視点画像符号化装置２００と違う点は，予測画像生成法推定部２０７への入力が視点合成画像のみになった点である。

この場合の予測画像生成法を推定する処理（ステップＳ２０４）は，第１実施形態の図７の処理フローで示される処理と同じである。ただし，予測画像生成法ｍｏｄｅの代わりに，予測画像生成法の推定値ｐｍｏｄｅを求める。

このように予測画像生成法の評価にあたって視点合成画像のみを用いると，並列演算処理が可能になるという利点が生まれる。多視点画像符号化装置２００では，ブロックｂｌｋの予測画像生成法を決定するために，ブロックｂｌｋ周辺の復号画像が生成されている必要がある。つまり，ブロックｂｌｋの予測画像生成法を決定するためには，ブロックｂｌｋ周辺の符号化処理の終了を待たなくてはならない。しかしながら，多視点画像符号化装置２００２では，ブロックｂｌｋの予測画像生成法を視点合成画像のみから決定するため，各ブロックの符号化処理とは独立して予測画像生成法を決定することが可能となる。

多視点画像符号化装置２００２においても，視点合成処理の信頼度を考慮して，より適切な予測画像生成法を設定することが可能である。その場合の装置構成は，図１７で示される多視点画像符号化装置２００３のようになる。

〔第３実施形態：多視点画像復号装置〕
次に，本発明の第３実施形態について説明する。図１８は，本発明の第３実施形態による多視点画像復号装置の構成を示すブロック図である。多視点画像復号装置３００は，図１８に示すように，符号データ入力部３０１，符号データメモリ３０２，参照視点画像入力部３０３，参照視点画像メモリ３０４，視点合成部３０５，視点合成画像メモリ３０６，最適予測画像生成部３０７，画像信号復号部３０８，および復号画像メモリ３０９を備えている。

符号データ入力部３０１は，復号対象となる視点の画像に対する符号データを入力する。以下では，この復号対象となる視点を復号対象視点と呼び，復号される画像のことを復号対象画像と呼ぶ。符号データメモリ３０２は，入力された符号データを蓄積する。

参照視点画像入力部３０３は，復号対象視点とは別の視点から，同時刻に同じ被写体を撮影した画像を入力する。以下では，この復号対象視点とは別の視点のことを参照視点と呼び，この画像のことを参照視点画像と呼ぶ。参照視点画像メモリ３０４は，入力された参照視点画像を蓄積する。視点合成部３０５は，参照視点画像を用いて復号対象視点における画像を合成する。以下では，この合成された画像のことを視点合成画像と呼ぶ。視点合成画像メモリ３０６は，生成された視点合成画像を蓄積する。

最適予測画像生成部３０７は，復号対象領域に対する視点合成画像を用いて，復号対象領域の周辺に対する復号画像から復号対象領域の予測画像を生成する。画像信号復号部３０８は，生成された予測画像を用いて，入力された符号データを復号して復号画像を生成する。復号画像メモリ３０９は，生成された復号画像を蓄積する。

図１９は，第３実施形態による多視点画像復号装置３００の動作を説明するためのフローチャートである。このフローチャートに従って，多視点画像復号装置３００の実行する処理について詳細に説明する。

まず，符号データ入力部３０１より復号対象画像に対する符号データが入力され，符号データメモリ３０２に格納され，参照視点画像入力部３０３より復号対象画像と同時刻に参照視点で撮影された参照視点画像Ｒｅｆ_n （ｎ＝１，２，…，Ｎ）が入力され，参照視点画像メモリ３０４に蓄積される（ステップＳ３０１）。ここで入力される参照視点画像は符号化側で用いたものと同じものとする。これは，同じ情報を用いることで，ドリフト等の符号化ノイズの発生を抑えるためである。ただし，そのような符号化ノイズの発生を許容する場合には，符号化側と異なるものが入力されてもかまわない。なお，ｎは参照視点を示すインデックスであり，Ｎは利用可能な参照視点の数である。

次に，視点合成部３０５で，参照視点画像の画像信号を用いて，復号対象画像と同時刻に同じ視点で撮影された画像を合成し，生成された視点合成画像Ｓｙｎを視点合成画像メモリ３０６に蓄積する（ステップＳ３０２）。この処理は，第１実施形態のステップＳ１０２の処理と同じである。なお，視点合成処理に必要なカメラの位置関係やカメラによる投影プロセスを示すカメラパラメータが符号化されている場合には，事前に復号しておく必要がある。

視点合成画像の生成が終了したら，復号対象画像を分割し，その領域ごとに予測画像を生成して，復号対象画像の画像信号を符号データから復号する（ステップＳ３０３〜Ｓ３０８）。つまり，復号対象ブロックインデックスをｂｌｋ，総復号対象ブロック数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化した後（ステップＳ３０３），ｂｌｋに１を加算しながら（ステップＳ３０７），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ３０８），以下の処理（ステップＳ３０４〜ステップＳ３０６）を繰り返す。

なお，上記視点合成画像の生成をブロックごとに行うことが可能であれば，視点合成画像の生成も復号対象ブロックごとに繰り返す処理の一部として行ってもかまわない。例えば，復号対象画像に対するデプス情報が与えられている場合には，視点合成画像をブロックごとに生成することが可能である。

復号対象ブロックごとに繰り返される処理では，まず，最適予測画像生成部３０７で，ブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］を用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅを決定し（ステップＳ３０４），復号画像メモリ３０９に蓄積されているブロックｂｌｋ周辺の復号画像を用いて，ブロックｂｌｋに対する予測画像Ｐｒｅｄ［ｂｌｋ］を生成する（ステップＳ３０５）。ここでの処理は，それぞれ第１実施形態のステップＳ１０４およびステップＳ１０５と同じである。

予測画像が得られたら，画像信号復号部３０８で，符号データと予測画像とを用いて，ブロックｂｌｋに対する画像信号を復号する（ステップＳ３０６）。ここでは，符号化時に用いた手法に対応する手法を用いる。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば，符号データに対して，エントロピー復号，逆２値化，逆量子化，ＩＤＣＴなどの周波数逆変換を順に施し，得られた２次元信号に対して予測信号を加え，最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた復号画像Ｄｅｃ［ｂｌｋ］は多視点画像復号装置３００の出力となると共に，他のブロックの予測画像生成に用いるために復号画像メモリ３０９に蓄積する。

第３実施形態では，すべての画素において視点合成画像が同程度の精度で生成できるものとしているが，視点合成の確からしさを考慮して予測画像生成法の評価を行ってもかまわない。ただし，視点合成の確からしさを考慮するか否かは符号化側と同じにする必要がある。これはドリフト等の符号化ノイズの発生を防ぐためである。

図２０に，視点合成の確からしさを用いて予測画像生成法を決定する場合の多視点画像復号装置のブロック図を示す。図２０に示す多視点画像復号装置３００１が，図１８に示す多視点画像復号装置３００と違う点は，視点合成画像に対して合成の確からしさを計算して最適予測画像生成部３０７へ通知する信頼度設定部３１０が加わった点である。

図２１に，多視点画像復号装置３００１の処理フローを示す。図１９の多視点画像復号装置３００の処理フローとの違いは，復号処理ブロックごとに視点合成画像の信頼度を計算し（ステップＳ３０３５），その信頼度とブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］とを用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅを決定する（ステップＳ３０４′）という点である。これらの処理は，それぞれ第１実施形態のステップＳ１０３５，Ｓ１０４′と同じである。

信頼度には，第１実施形態で説明したものなど，合成がどれぐらい正確に行われたかを示すことができれば任意の定義のものを用いてもかまわない。しかし，符号化側で用いた定義と同一のものを用いる必要がある。これはドリフト等の符号化ノイズの発生を防ぐためである。

第３実施形態では，予測画像生成法を決定する際に復号画像メモリ３０９に蓄積されている，ブロックｂｌｋの周辺の既に符号化済み画素を用いて評価を行っているが，復号画像を用いずに，視点合成画像のみを用いて評価を行ってもかまわない。

図２２に，視点合成画像のみから予測画像生成法を決定する場合の多視点画像復号装置のブロック図を示す。図２２に示す多視点画像復号装置３００２が，図１８に示す多視点画像復号装置３００と違う点は，最適予測画像生成部３０７が，最適予測画像生成法決定部３１１と予測画像生成部３１２とに分割された点である。

最適予測画像生成法決定部３１１は，予測画像候補生成手段，予測画像評価手段の機能を有し，視点合成画像のみを用いて，予め定められた予測画像生成法の中から，ブロックｂｌｋに対する予測画像を生成するのに適した方法を１つ決定する。予測画像生成部３１２は，与えられた予測画像生成法に従って，復号画像メモリ３０９に蓄積されている，ブロックｂｌｋの周辺の復号画像を用いて予測画像を生成する。

多視点画像復号装置３００２の処理フローは，図１９に示す多視点画像復号装置３００の処理フローと同じであるが，ステップＳ３０４における詳細処理が異なる。ここでは，図７に示す処理フローに従って，最適予測画像生成法決定部３１１で予測画像生成法を決定する。処理の内容は第１実施形態において図７を用いて説明したものと同じである。

予測画像生成部３１２は，このｍｏｄｅに従って，復号画像メモリ３０９に蓄積されているブロックｂｌｋの周辺の復号画像を用いて予測画像Ｐｒｅｄを生成する。なお，予測画像生成法を決定する際に生成した画像は視点合成画像を使用した疑似予測画像であるため，図１８の多視点画像復号装置３００と異なり，ここでは必ず予測画像の生成処理を行う必要がある。

このように予測画像生成法の評価にあたって視点合成画像のみを用いると，並列演算処理が可能になるという利点が生まれる。多視点画像復号装置３００では，ブロックｂｌｋの予測画像生成法を決定するために，ブロックｂｌｋ周辺の復号画像が復号画像メモリ３０９に蓄積されている必要がある。つまり，ブロックｂｌｋの予測画像生成法を決定するためには，ブロックｂｌｋ周辺の復号処理の終了を待たなくてはならない。しかしながら，多視点画像復号装置３００２では，ブロックｂｌｋの予測画像生成法を視点合成画像のみから決定するため，各ブロックの画像信号の復号処理とは独立して予測画像生成法を決定することが可能となる。

つまり，ブロックｂｌｋに対する予測画像生成法の決定処理をＰ_blk ，画像信号の復号処理をＤ_blk で表し，ラスタースキャン順にブロックを復号すると仮定すると，多視点画像復号装置３００は図２３（Ａ）のように交互に処理を行う必要がある。一方，多視点画像復号装置３００２では図２３（Ｂ）のように，それぞれ独立して処理を行うことが可能となり，処理時間を大幅に削減できる。図２３では，予測画像生成法の決定処理と画像信号の復号処理に係る時間が同じとしているが，両者の時間が異なる場合でも，並列化によって処理時間を大幅に減らすことができる。

多視点画像復号装置３００２においても，視点合成処理の信頼度を考慮して，より適切な予測画像生成法を設定することが可能である。その場合の装置構成は，図２４で示される多視点画像復号装置３００３のようになる。

〔第４実施形態：多視点画像復号装置〕
次に，本発明の第４実施形態について説明する。図２５は，本発明の第４実施形態による多視点画像復号装置の構成を示すブロック図である。多視点画像復号装置４００は，図２５に示すように，符号データ入力部４０１，符号データメモリ４０２，参照視点画像入力部４０３，参照視点画像メモリ４０４，視点合成部４０５，視点合成画像メモリ４０６，分離部４０７，予測情報復号部４０８，予測画像生成法推定部４０９，予測画像生成部４１０，画像信号復号部４１１，および復号画像メモリ４１２を備えている。

符号データ入力部４０１は，復号対象画像の符号データを入力する。符号データメモリ４０２は，入力された符号データを蓄積する。参照視点画像入力部４０３は，参照視点画像を入力する。参照視点画像メモリ４０４は，入力された参照視点画像を蓄積する。視点合成部４０５は，参照視点画像を用いて符号化対象視点における画像を合成する。視点合成画像メモリ４０６は，生成された視点合成画像を蓄積する。分離部４０７は，入力された符号データを，予測情報の符号データと画像信号の符号データとに分離する。予測情報復号部４０８は，予測情報の符号データを復号し，予測画像の生成法を示すための情報を生成する。

予測画像生成法推定部４０９は，復号対象領域に対する視点合成画像を用いて，復号対象領域の周辺に対する復号画像から復号対象領域の予測画像を生成する方法を推定する。予測画像生成部４１０は，与えられた予測画像生成法に従って，復号対象領域の周辺に対する復号画像から復号対象領域の予測画像を生成する。画像信号復号部４１１は，生成された予測画像を用いて，符号データを復号して復号画像を生成する。復号画像メモリ４１２は，生成された復号画像を蓄積する。

図２６は，第４実施形態による多視点画像復号装置４００の動作を説明するためのフローチャートである。このフローチャートに従って，多視点画像復号装置４００の実行する処理について詳細に説明する。

まず，符号データ入力部４０１より復号対象画像の符号データが入力され，符号データメモリ４０２に格納され，参照視点画像入力部４０３より復号対象画像と同時刻に参照視点で撮影された参照視点画像Ｒｅｆ_n （ｎ＝１，２，…，Ｎ）が入力され，参照視点画像メモリ４０４に蓄積される（ステップＳ４０１）。ここで入力される参照視点画像は，符号化側で使用したものと同じものとする。なお，ｎは参照視点を示すインデックスであり，Ｎは利用可能な参照視点の数である。

次に，視点合成部４０５で，参照視点画像の画像信号を用いて，復号対象画像と同時刻に同じ視点で撮影された画像を合成し，生成された視点合成画像Ｓｙｎを視点合成画像メモリ４０６に蓄積する（ステップＳ４０２）。ここでの処理は，第３実施形態のステップＳ３０２と同じである。

視点合成画像の生成が終了したら，復号対象画像を分割し，その領域ごとに予測画像を生成して，符号データより復号対象画像の画像信号を復号する（ステップＳ４０３〜Ｓ４１２）。つまり，復号対象ブロックインデックスをｂｌｋ，総復号対象ブロック数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化した後（ステップＳ４０３），ｂｌｋに１を加算しながら（ステップＳ４１１），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ４１２），以下の処理（ステップＳ４０４〜ステップＳ４１０）を繰り返す。

なお，上記視点合成画像の生成をブロックごとに行うことが可能であれば，視点合成画像の生成も復号対象ブロックごとに繰り返す処理の一部として行ってもかまわない。例えば，復号対象画像に対するデプス情報が与えられている場合には，視点合成画像をブロックごとに生成することが可能である。

復号対象ブロックごとに繰り返される処理では，まず，分離部４０７でブロックｂｌｋに対する符号データを予測情報の符号データと画像信号の符号データとに分離する（ステップＳ４０４）。次に，予測情報復号部４０８で，予測情報の符号データより，予測が正しいか否かを表す予測成否フラグｆｌａｇを復号する（ステップＳ４０５）。予測成否フラグが得られたら，その予測成否フラグをチェックし（ステップＳ４０６），それに従って予測画像生成法を決定する（ステップＳ４０７，ステップＳ４０８）。図２６のフローでは，ｆｌａｇが１の場合に予測が正しいことを示し，ｆｌａｇが０の場合に予測が誤りであることを示す。

予測が正しいと判断された場合には，予測画像生成法推定部４０９で，ブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］を用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅを推定する（ステップＳ４０７）。ここでの処理は，第２実施形態のステップＳ２０４と同じである。ただし，推定された値は予測画像生成法の推定値ｐｍｏｄｅではなく，予測画像生成法ｍｏｄｅとして設定される。

予測が誤りと判断された場合には，予測情報復号部４０８で，予測画像生成法を予測情報の符号データから復号する（ステップＳ４０８）。ここでは符号化側で行われた方法に対応する方法を用いる。つまり，符号化の際に２値化とエントロピー符号化が行われている場合には，符号データに対してエントロピー復号処理を施し，得られたバイナリ列を逆２値化することで予測画像生成法ｍｏｄｅを得る。

予測画像生成法が得られたら，予測画像生成部４１０で，予測画像生成法ｍｏｄｅに従って，復号画像メモリ４１２に蓄積されているブロックｂｌｋ周辺の復号画像から，ブロックｂｌｋに対する予測画像Ｐｒｅｄ［ｂｌｋ］を生成する（ステップＳ４０９）。予測画像生成法を予測して得た場合，ステップＳ４０７で各予測画像生成法を用いて予測画像候補を生成しているため，最小の評価値となる予測画像候補を蓄積し，ここでは蓄積してあった予測画像候補を予測画像として設定してもかまわない。なお，予測画像生成法を復号して得た場合には，ここで常に予測画像を生成する必要がある。

予測画像が得られたら，画像信号復号部４１１で，画像信号の符号データと予測画像とを用いて，ブロックｂｌｋに対する画像信号を復号する（ステップＳ４１０）。ここでの処理は第３実施形態のステップＳ３０６と同じである。復号して得られた復号画像は多視点画像復号装置４００の出力となると共に，他のブロックの予測画像生成に用いるために復号画像メモリ４１２に蓄積する。

なお，上述の説明では，常に画像全体に対して視点合成画像を生成するものとして説明したが，ブロックごとに視点合成画像を生成することが可能な場合，ステップＳ４０２を省略し，ステップＳ４０７の直前でブロックｂｌｋに対する視点合成画像のみを生成するようにしてもかまわない。この場合，使用されない視点合成画像を生成することがなくなり，復号処理の演算量を削減することが可能となる。

また，上記の説明では，予測画像生成法ｍｏｄｅは予測画像生成法の推定値ｐｍｏｄｅによらない方法で符号化されているものとして説明した。しかし，ｐｍｏｄｅによって符号テーブルを変えて符号化されていることもある。その場合の処理フローを図２７に示す。基本的な処理は同じであるが，図２７の処理フローでは，予測成否フラグによらず，予測画像生成法推定部４０９で，ブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］を用いて，ブロックｂｌｋに対する予測画像生成法の推定値ｐｍｏｄｅを生成する（ステップＳ４０７′）。この処理は，第２実施形態のステップＳ２０４と同じである。そして，予測成否フラグによって予測が正しいと判断された場合には，ｐｍｏｄｅを予測画像生成法ｍｏｄｅとし（ステップＳ４０７″），予測が誤りと判断された場合には，ｐｍｏｄｅに従ってテーブルを変化させながら，予測情報の符号データより，予測画像生成法ｍｏｄｅを復号する（ステップＳ４０８′）。

第４実施形態では，すべての画素において視点合成画像が同程度の精度で生成できるものとしているが，視点合成の確からしさを考慮して予測画像生成法の評価を行ってもかまわない。図２８に，視点合成の確からしさを用いて予測画像生成法を決定する場合の多視点画像復号装置のブロック図を示す。図２８に示す多視点画像復号装置４００１が，図２５に示す多視点画像復号装置４００と違う点は，視点合成画像に対して合成の確からしさを計算して予測画像生成法推定部４０９へ通知する信頼度設定部４１３が加わった点である。

信頼度を用いる場合には，ステップＳ４０７やステップＳ４０７′で予測画像生成法を推定する際に，まず，ブロックｂｌｋに対する視点合成画像の信頼度を計算し，その信頼度とブロックｂｌｋに対する視点合成画像Ｓｙｎ［ｂｌｋ］とを用いて，ブロックｂｌｋに対する予測画像生成法ｍｏｄｅまたはその推定値ｐｍｏｄｅを生成することになる。信頼度を計算する処理は第３実施形態のステップＳ３０３５と同じであり，信頼度を用いて予測画像生成法またはその推定値を生成する処理は，生成した値の扱いが異なるだけで，第１実施形態のステップＳ１０４′と同じである。

信頼度には，第１実施形態で説明したものなど，合成がどれぐらい正確に行われたかを示すことができれば任意の定義のものを用いてもかまわない。しかし，符号化側で用いた定義と同一のものを用いる必要がある。これはドリフト等の符号化ノイズの発生を防ぐためである。

第４実施形態では，予測画像生成法を推定する際に復号画像メモリ４１２に蓄積されている，ブロックｂｌｋの復号画像を用いて評価を行っているが，復号画像を用いずに，視点合成画像のみを用いて評価を行ってもかまわない。図２９に，視点合成画像のみから予測画像生成法を決定する場合の多視点画像復号装置のブロック図を示す。図２９に示す多視点画像復号装置４００２が，図２５に示す多視点画像復号装置４００と違う点は，予測画像生成法推定部２０７への入力が視点合成画像のみになった点である。

この場合の予測画像生成法を推定する処理（ステップＳ４０７，ステップＳ４０７′）は，第１実施形態のＳ１０４と同じであり，図７に示す処理フローに従って，予測画像生成法推定部４０９で予測画像生成法ｍｏｄｅを生成する。ただし，ステップＳ４０７′では，予測画像生成法ｍｏｄｅの代わりに，予測画像生成法の推定値ｐｍｏｄｅを求める。

このように予測画像生成法の評価にあたって視点合成画像のみを用いると，並列演算処理が可能になるという利点が生まれる。多視点画像復号装置４００では，ブロックｂｌｋの予測画像生成法を決定するために，ブロックｂｌｋ周辺の復号画像が生成されている必要がある。つまり，ブロックｂｌｋの予測画像生成法を決定するためには，ブロックｂｌｋ周辺の復号処理の終了を待たなくてはならない。しかしながら，多視点画像復号装置４００２では，ブロックｂｌｋの予測画像生成法を視点合成画像のみから決定するため，各ブロックの画像信号の復号処理とは独立して予測画像生成法を決定することが可能となる。

なお，このように並列処理性を向上させた場合で，予測画像生成法の推定値を生成しない場合は，予測画像生成法を決定する処理（ステップＳ４０７）の直前で，視点合成画像をブロックｂｌｋおよび疑似予測画像の生成に使用するブロックｂｌｋの周辺画素に対してのみ生成するようにしてもかまわない。この場合，使用されない視点合成画像を生成することがなくなり，復号処理の演算量を削減することが可能となる。

多視点画像復号装置４００２においても，視点合成処理の信頼度を考慮して，より適切な予測画像生成法を設定することが可能である。その場合の装置構成は，図３０で示される多視点画像復号装置４００３のようになる。

上述した第１〜第４実施形態では，画像中の全てのブロックを本発明のイントラ予測によって符号化および復号する処理を説明したが，Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ．Ｈなどで用いられる視差補償予測に代表されるインタービュー予測と，イントラ予測とを切り替えながら符号化および復号を行ってもかまわない。その場合には，ブロックごとにイントラ予測が用いられたか，インタービュー予測が用いられたかを示す情報を符号化および復号する必要がある。

上述した第１〜第４実施形態では，多視点画像を符号化および復号する処理を説明したが，複数の連続する画像に対して適応することで多視点動画像の符号化および復号にも適用することができる。また，動画像の一部のフレームや一部のブロックのみに適用することも可能である。

上述した第１〜第４実施形態では，参照視点画像として，符号化対象画像または復号対象画像と同時刻に参照視点で撮影された画像を入力し，視点合成画像の生成に利用する場合を説明した。しかし，多視点動画像の符号化および復号を行う場合に，符号化対象画像または復号対象画像とは異なる時刻に参照視点で撮影された既に符号化または復号済みの画像を入力し，その画像を用いて時空間的に視点合成画像を生成してもかまわない。どの時刻に参照視点で撮影された画像を入力するかは，視点合成画像を生成するアルゴリズムに依存する。ただし，ドリフトなどの符号化ノイズの発生を防ぐためには，符号化側と復号側で同じものを入力し，使用する必要がある。

また，上述の説明では，予測画像生成方法は画面内予測に限定して説明したが，視差補償予測や動き補償予測などのフレーム間予測を含めるように拡張することは容易に類推可能である。フレーム間予測が含まれた場合も，同様にして既に符号化済みの参照フレームから予測画像を生成し，その予測画像と視点合成画像とを比較することで，その予測画像生成法を同じように評価することが可能である。また，参照フレームに対する視点合成画像を生成することで疑似予測画像を生成し，予測画像生成方法の決定処理と画像信号の符号化／復号処理を並列化することも可能である。このような拡張を行うことで，ブロックごとに画面内予測とフレーム間予測とのどちらを用いたかを示す情報の符号量を削減することが可能となる。

以上説明した多視点画像符号化および多視点画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

図３１に，多視点画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，例えばネットワークを介して参照視点の画像信号を入力する参照視点画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と，図１および図２等で説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである多視点画像符号化プログラム５４１が格納されたプログラム記憶装置５４と，ＣＰＵ５０がメモリ５１にロードされた多視点画像符号化プログラム５４１を実行することにより生成された符号データを，例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

図示省略するが，他に，視点合成画像記憶部，予測画像候補記憶部，予測画像記憶部，符号データ記憶部，復号画像記憶部などのハードウェアが設けられ，本手法の実施に利用される。また，信頼度記憶部，疑似予測画像記憶部，予測画像生成法記憶部，予測画像生成法推定値記憶部，画像信号符号データ記憶部，予測情報符号データ記憶部が用いられることもある。

図３２に，多視点画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ６０と，ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と，多視点画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と，例えばネットワークを介して参照視点の画像信号を入力する参照視点画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と，図１８および図１９等で説明した処理をＣＰＵ６０に実行させるソフトウェアプログラムである多視点画像復号プログラム６４１が格納されたプログラム記憶装置６４と，ＣＰＵ６０がメモリ６１にロードされた多視点画像復号プログラム６４１を実行することにより，符号データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部６５とが，バスで接続された構成になっている。

図示省略するが，他に，視点合成画像記憶部，予測画像候補記憶部，予測画像記憶部，復号画像記憶部などのハードウェアが設けられ，本手法の実施に利用される。また，信頼度記憶部，疑似予測画像記憶部，予測画像生成法記憶部，予測画像生成法推定値記憶部，予測成否フラグ記憶部，画像信号符号データ記憶部，予測情報符号データ記憶部が用いられることもある。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。

１００，１００１，１００２，１００３，２００，２００１，２００２，２００３ 多視点画像符号化装置
１０１，２０１ 符号化対象画像入力部
１０２，２０２ 符号化対象画像メモリ
１０３，２０３，３０３，４０３ 参照視点画像入力部
１０４，２０４，３０４，４０４ 参照視点画像メモリ
１０５，２０５，３０５，４０５ 視点合成部
１０６，２０６，３０６，４０６ 視点合成画像メモリ
１０７，３０７ 最適予測画像生成部
１０８，２１０ 画像信号符号化部
１０９，２１１，３０８，４１１ 画像信号復号部
１１０，２１２，３０９，４１２ 復号画像メモリ
１１１，２１５，３１０，４１３ 信頼度設定部
１１２，３１１ 最適予測画像生成法決定部
１１３，２０８，３１２，４１０ 予測画像生成部
２０７，４０９ 予測画像生成法推定部
２０９ 予測情報符号化部
２１３ 多重化部
３００，３００１，３００２，３００３，４００，４００１，４００２，４００３ 多視点画像復号装置
３０１，４０１ 符号データ入力部
３０２，４０２ 符号データメモリ
４０７ 分離部
４０８ 予測情報復号部

Claims (18)

1. 多視点画像のある符号化対象視点に対する画像を符号化するにあたって，前記符号化対象視点とは異なる１つまたは複数の参照視点で符号化対象画像と同時刻に撮影された既に符号化済みの参照視点画像を用いて，符号化対象画像を分割した領域ごとに予測符号化を行う多視点画像符号化方法であって，
   前記参照視点画像を用いて，前記符号化対象視点における視点合成画像を生成する視点合成画像生成ステップと，
   符号化対象領域ごとに周辺の既に符号化済みの領域の復号画像から複数の画面内予測画像候補を生成する予測画像候補生成ステップと，
   前記視点合成画像を用いて前記画面内予測画像候補の評価値を決定する予測画像候補評価ステップと，
   前記評価値に基づいて前記画面内予測画像候補から画面内予測画像を生成する予測画像生成ステップと，
   前記画面内予測画像を用いて符号化対象領域の前記符号化対象画像を予測符号化する画像信号符号化ステップと
   を有することを特徴とする多視点画像符号化方法。
2. 前記視点合成画像の各画素について，前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップをさらに含み，
   前記予測画像候補評価ステップは，前記信頼度に基づいて評価値に重みを付ける
   ことを特徴とする請求項１に記載の多視点画像符号化方法。
3. 前記予測画像候補生成ステップは，符号化対象領域ごとに周辺の既に符号化済みの領域の視点合成画像から複数の画面内予測画像候補を生成し，
   前記予測画像生成ステップは，前記評価値に基づいて符号化対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
   ことを特徴とする請求項１または請求項２に記載の多視点画像符号化方法。
4. 符号化対象領域ごとに，符号化対象画像を用いて画面内予測画像の生成方法を決定する予測画像生成法決定ステップと，
   前記評価値に基づいて前記画面内予測画像の生成方法を推定する予測画像生成法推定ステップと，
   前記画面内予測画像の生成方法の推定値と前記予測画像の生成方法が等しい場合には推定が正しいという情報を符号化し，そうでない場合には推定が誤りという情報と前記予測画像の生成方法を示す情報とを符号化する予測方法符号化ステップとをさらに含み，
   前記予測画像生成ステップでは，前記予測画像の生成方法に従って，符号化対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
   ことを特徴とする請求項１，請求項２または請求項３に記載の多視点画像符号化方法。
5. 多視点画像のある復号対象視点に対する画像の符号データを復号するにあたって，前記復号対象視点とは異なる１つまたは複数の参照視点で復号対象画像と同時刻に撮影された既に復号済みの参照視点画像を用いて，復号対象画像を分割した領域ごとに復号対象画像を復号する多視点画像復号方法であって，
   前記参照視点画像を用いて，前記復号対象視点における視点合成画像を生成する視点合成画像生成ステップと，
   復号対象領域ごとに周辺の既に復号済みの領域の復号画像から複数の画面内予測画像候補を生成する予測画像候補生成ステップと，
   前記視点合成画像を用いて前記画面内予測画像候補の評価値を決定する予測画像候補評価ステップと，
   前記評価値に基づいて前記画面内予測画像候補から画面内予測画像を生成する予測画像生成ステップと，
   前記画面内予測画像を予測信号として，予測符号化されている復号対象画像を符号データから復号する画像信号復号ステップと
   を有することを特徴とする多視点画像復号方法。
6. 前記視点合成画像の各画素について，前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップをさらに含み，
   前記予測画像候補評価ステップは，前記信頼度に基づいて評価値に重みを付ける
   ことを特徴とする請求項５に記載の多視点画像復号方法。
7. 前記予測画像候補生成ステップは，復号対象領域ごとに周辺の既に復号済みの領域の視点合成画像から複数の画面内予測画像候補を生成し，
   前記予測画像生成ステップは，前記評価値に基づいて復号対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
   ことを特徴とする請求項５または請求項６に記載の多視点画像復号方法。
8. 前記評価値に基づいて画面内予測画像の生成方法を推定する予測画像生成法推定ステップと，
   前記画面内予測画像の生成方法の推定値が正しいか否かを示すフラグを符号データから復号するフラグ復号ステップと，
   前記フラグが推定値が正しいことを示していた場合には前記画面内予測画像の生成方法の推定値を，そうでない場合には前記画面内予測画像の生成方法を示す情報を符号データから復号して得られた値を，前記予測画像の生成方法として設定する予測画像生成法設定ステップとをさらに含み，
   前記予測画像生成ステップでは，前記予測画像生成法に従って，復号対象領域周辺の既に復号済みの領域の復号画像から画面内予測画像を生成する
   ことを特徴とする請求項５，請求項６または請求項７に記載の多視点画像復号方法。
9. 多視点画像のある符号化対象視点に対する画像を符号化するにあたって，前記符号化対象視点とは異なる１つまたは複数の参照視点で符号化対象画像と同時刻に撮影された既に符号化済みの参照視点画像を用いて，符号化対象画像を分割した領域ごとに予測符号化を行う多視点画像符号化装置であって，
   前記参照視点画像を用いて，前記符号化対象視点における視点合成画像を生成する視点合成画像生成手段と，
   符号化対象領域ごとに周辺の既に符号化済みの領域の復号画像から複数の画面内予測画像候補を生成する予測画像候補生成手段と，
   前記視点合成画像を用いて前記画面内予測画像候補の評価値を決定する予測画像候補評価手段と，
   前記評価値に基づいて前記画面内予測画像候補から画面内予測画像を生成する予測画像生成手段と，
   前記画面内予測画像を用いて符号化対象領域の前記符号化対象画像を予測符号化する画像信号符号化手段と
   を備えることを特徴とする多視点画像符号化装置。
10. 前記視点合成画像の各画素について，前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段をさらに含み，
    前記予測画像候補評価手段は，前記信頼度に基づいて評価値に重みを付ける
    ことを特徴とする請求項９に記載の多視点画像符号化装置。
11. 前記予測画像候補生成手段は，符号化対象領域ごとに周辺の既に符号化済みの領域の視点合成画像から複数の画面内予測画像候補を生成し，
    前記予測画像生成手段は，前記評価値に基づいて符号化対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
    ことを特徴とする請求項９または請求項１０に記載の多視点画像符号化装置。
12. 符号化対象領域ごとに，符号化対象画像を用いて画面内予測画像の生成方法を決定する予測画像生成法決定手段と，
    前記評価値に基づいて前記画面内予測画像の生成方法を推定する予測画像生成法推定手段と，
    前記画面内予測画像の生成方法の推定値と前記予測画像の生成方法が等しい場合には推定が正しいという情報を符号化し，そうでない場合には推定が誤りという情報と前記予測画像の生成方法を示す情報とを符号化する予測方法符号化手段とをさらに含み，
    前記予測画像生成手段は，前記予測画像の生成方法に従って，符号化対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
    ことを特徴とする請求項９，請求項１０または請求項１１に記載の多視点画像符号化装置。
13. 多視点画像のある復号対象視点に対する画像の符号データを復号するにあたって，前記復号対象視点とは異なる１つまたは複数の参照視点で復号対象画像と同時刻に撮影された既に復号済みの参照視点画像を用いて，復号対象画像を分割した領域ごとに復号対象画像を復号する多視点画像復号装置であって，
    前記参照視点画像を用いて，前記符号化対象視点における視点合成画像を生成する視点合成画像生成手段と，
    復号対象領域ごとに周辺の既に復号済みの領域の復号画像から複数の画面内予測画像候補を生成する予測画像候補生成手段と，
    前記視点合成画像を用いて前記画面内予測画像候補の評価値を決定する予測画像候補評価手段と，
    前記評価値に基づいて前記画面内予測画像候補から画面内予測画像を生成する予測画像生成手段と，
    前記画面内予測画像を予測信号として，予測符号化されている復号対象画像を符号データから復号する画像信号復号手段と
    を備えることを特徴とする多視点画像復号装置。
14. 前記視点合成画像の各画素について，前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段をさらに含み，
    前記予測画像候補評価手段は，前記信頼度に基づいて評価値に重みを付ける
    ことを特徴とする請求項１３に記載の多視点画像復号装置。
15. 前記予測画像候補生成手段は，復号対象領域ごとに周辺の既に復号済みの領域の視点合成画像から複数の画面内予測画像候補を生成し，
    前記予測画像生成手段は，前記評価値に基づいて復号対象領域周辺の既に符号化済みの領域の復号画像から画面内予測画像を生成する
    ことを特徴とする請求項１３または請求項１４に記載の多視点画像復号装置。
16. 前記評価値に基づいて画面内予測画像の生成方法を推定する予測画像生成法推定手段と，
    前記画面内予測画像の生成方法の推定値が正しいか否かを示すフラグを符号データから復号するフラグ復号手段と，
    前記フラグが推定値が正しいことを示していた場合には前記画面内予測画像の生成方法の推定値を，そうでない場合には前記画面内予測画像の生成方法を示す情報を符号データから復号して得られた値を，前記予測画像の生成方法として設定する予測画像生成法設定手段とをさらに含み，
    前記予測画像生成手段は，前記予測画像生成法に従って，復号対象領域周辺の既に復号済みの領域の復号画像から画面内予測画像を生成する
    ことを特徴とする請求項１３，請求項１４または請求項１５に記載の多視点画像復号装置。
17. 請求項１から請求項４までのいずれか１項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラム。
18. 請求項５から請求項８までのいずれか１項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラム。

Images