JP2013019801A - 関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラム - Google Patents

Abstract

【課題】ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供する。
【解決手段】関数算出装置１１０は、参照視点画像及び複数の近傍視点画像を受信する正規化部１１１と、参照視点画像及び近傍視点画像をステレオペア毎に平行化する正規化部１１１と、平行化したステレオペアの視差を正規化する正規化部１１１と、視差を正規化したステレオペアの参照視点画像及び近傍視点画像に、マッチングウィンドウを定めるウィンドウ設定部１１２と、マッチングウィンドウ間の１次元ＰＯＣ関数を、視差を正規化したステレオペア毎に算出する関数算出部１１３と、１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する関数統合部１１４と、を備える。
【選択図】図１

Description

本発明は、画像の相関関数を算出する関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムに関する。

多方向から物体が撮像されている複数の２次元画像（以下、「多視点画像」という）に基づいて、その物体の表面形状を復元する３次元復元技術がある。近年、３次元復元技術の発達に伴い、復元された物体の表面形状を表すメッシュモデル（３次元形状モデル）が、多視点画像のみに基づいて、高精度に生成されるようになった。

多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。

特開２０１０−１５２５３５号公報

特許文献１に開示された３次元形状復元装置は、隣接した２点から撮影された画像のみに基づいて視差を算出している。このため、特許文献１に開示された３次元形状復元装置は、ノイズの影響を受けやすい等、条件によっては、ステレオペア（画像ペア）の相関関数を精度良く算出することができない場合があるという問題がある。ステレオペアの相関関数が精度良く算出されなければ、相関関数に基づくデプスマップ（奥行きマップ）の精度が低下してしまうので、そのデプスマップに基づくメッシュモデルの精度も低下してしまうこととなる。

本発明は、前記の点に鑑みてなされたものであり、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、平行化したステレオペアの視差を正規化する正規化部と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、を備えることを特徴とする関数算出装置である。

また、本発明は、前記正規化部が、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする関数算出装置である。

また、本発明は、前記ウィンドウ設定部が、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする関数算出装置である。

また、本発明は、前記ウィンドウ設定部が、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする関数算出装置である。

また、本発明は、前記関数算出部が、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする関数算出装置である。

また、本発明は、前記関数算出部が、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする関数算出装置である。

また、本発明は、関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置である。

また、本発明は、関数算出装置における関数算出方法であって、受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、正規化部が、平行化したステレオペアの視差を正規化するステップと、ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、を有することを特徴とする関数算出方法である。

また、本発明は、コンピュータに、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、平行化したステレオペアの視差を正規化する手順と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、を実行させるための関数算出プログラムである。

本発明によれば、関数算出装置は、平行化したステレオペアの視差を正規化部が正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、多視点画像を撮像するカメラの設置位置が制限された場合でも、ステレオペアの相関関数を精度良く算出することができる。

本発明の一実施形態における、演算処理装置の構成を表す図である。 本発明の一実施形態における、１次元位相限定相関法の概要を表す図である。 本発明の一実施形態における、３次元点と視差との関係を表す図である。 本発明の一実施形態における、１次元位相限定相関法による相関関数をステレオペア毎に表す図である。 本発明の一実施形態における、関数算出装置の動作手順を表すフローチャートである。 本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表す図である。 本発明の一実施形態における、奥行きの探索手順を表すフローチャートである。 本発明の一実施形態における、メッシュモデルを生成する実験例の結果を示す表である。 本発明の一実施形態における、生成されたメッシュモデルの例を表す図である。

本発明の一実施形態について図面を参照して詳細に説明する。図１には、演算処理装置の構成が表されている。演算処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、バス４００を介して記憶装置２００及び出力装置３００に接続されている。

演算処理装置１００は、多視点画像を記憶装置２００から読み込み、これら多視点画像を構成するステレオペアの視差を正規化する。ここで、正規化とは、例えば、同一平面上に設置されていない複数のカメラから物体が撮像されたステレオペアの視差を、参照視点と、参照視点の近傍に仮想的に設置されたカメラからの視点（近傍視点）との視差となるように、カメラパラメータ（例えば、座標系、焦点距離）を用いて、視差を変換することである。正規化の詳細については、図３を用いて後述する。

また、演算処理装置１００は、視差が正規化されたステレオペアからマッチングウィンドウを切り出し、切り出したマッチングウィンドウ毎にステレオペアの相関関数を算出する。また、演算処理装置１００は、マッチングウィンドウ毎に算出した相関関数のうち、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが高い相関関数のみを統合し、統合した相関関数に基づいてデプスマップｄｅｐを生成する。ここで、デプスマップとは、多視点画像に撮像されている物体の表面形状の奥行きを表すマップ情報である。また、演算処理装置１００は、生成したデプスマップｄｅｐに基づいて、物体の表面形状が復元されたメッシュモデルを生成し、生成したメッシュモデルを表すデータを出力装置３００に出力する。

以下では、画像信号の位相成分に着目した画像マッチング手法である位置限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づく相関関数（以下、「ＰＯＣ関数」という）が、相関関数の一例として用いられるものとして説明を続ける。

まず、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法について説明する。
平行化されたステレオペアでは、ステレオペアの一方の画像（以下、「参照視点画像」という）から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像（以下、「近傍視点画像」という）から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが１次元方向に並ぶので、演算処理装置１００は、１次元ＰＯＣ関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。

図２には、１次元位相限定相関法の概要が表されている。１次元画像におけるＮ（Ｎは、整数）個の点について、１次元画像信号ｆ(ｎ)、及び１次元画像信号ｇ（ｎ）が与えられた場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の平行移動量は、１次元ＰＯＣに基づいて算出される。ここで、１次元画像信号の離散時間インデックスｎは、ｎ＝−Ｍ，…，Ｍ（Ｍは、正の整数）であるとする。また、Ｎ＝２Ｍ＋１とする。

１次元画像信号ｆ(ｎ)の１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＤＦＴ) 結果は、式（１）により表される。また、１次元画像信号ｇ(ｎ) の１次元離散フーリエ変換結果は、式（２）により表される。

ここで、ｋ＝−Ｍ，…，Ｍは、離散周波数インデックスである。また、Ｗ_Ｎ＝ｅ^{−ｊ２π／Ｎ}は、回転因子である。また、Ａ_Ｆ (ｋ) 及びＡ_Ｇ(ｋ) は、振幅スペクトルである。また、θ_Ｆ（ｋ）及びθ_Ｇ（ｋ）は、位相スペクトルである。また、正規化相互パワースペクトルＲ（ｋ）は、式（３）により表される。

ここで、上付き線が付いているＧ（ｋ）は、Ｇ（ｋ）の複素共役である。また、θ_Ｆ（ｋ）−θ_Ｇ（ｋ）は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の位相差スペクトルである。

また、１次元ＰＯＣ関数ｒ（ｎ）は、正規化相互パワースペクトルＲ（ｋ）の１次元逆離散フーリエ変換(Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＩＤＦＴ) として、式（４）により表される。

ステレオペアである１次元画像信号ｆ（ｎ）及び１次元画像信号ｇ（ｎ）が、微小な平行移動量δだけ互いに平行移動した関係にある場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) のＰＯＣ関数ｒ(ｎ) は、式（５）により表される。

式（５）は、１次元画像信号が平行移動量δだけ微小に平行移動した場合のＰＯＣ関数の一般形を表している。ここで、αは、相関ピークの高さ（ピーク値）を表現するために導入されたパラメータである。無相関なノイズが画像に加わると、相関ピークの高さαの値が減少するため、実際にはα≦１となる。この場合、ＰＯＣ関数の相関ピークの高さαは、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ)の類似度の指標に相当する。また、相関ピークの位置座標は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) の平行移動量δに相当する。

したがって、１次元画像信号間の類似度は、相関ピークの高さαに基づいて算出される。また、１次元画像信号間の平行移動量δは、相関ピークの位置座標に基づいて、サブピクセル精度で算出される。

実際の多視点画像では、視点の基線長の変化に伴う歪み、及びデジタル画像に生じるノイズの影響により、平行移動量δに推定誤差が生じることがある。そこで、１次元ＰＯＣ関数を用いて平行移動量δを算出する際に重要となる各種の高精度化手法について、以下に説明する。

１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）では、信号波形が周期的に循環することを仮定するため、信号波形の端点での不連続性が問題となる。この不連続性の影響を軽減するため、１次元画像信号ｆ(ｎ) 及びｇ(ｎ) に対して窓関数ｗ（ｎ）を適用する。以下では、窓関数として、式（６）に示す１次元ハニング窓を用いるものとする。

また、自然画像では一般に低周波数成分にエネルギーが集中し、高周波数成分のエネルギーは低周波数成分と比較して小さくなることが知られている。このため、エイリアシング（周波数成分の折り返し）、雑音（ノイズ）、歪みなどの外乱が画像に加わった場合、高周波数成分の信号対雑音比（ＳＮ比）は大幅に低下する。

そこで、演算処理装置１００（図１を参照）は、信頼性の低い高周波数成分の影響を抑制するため、正規化相互パワースペクトルＲ（ｋ）を算出する際に、低域通過型のスペクトル重み付け関数Ｈ(ｋ)を適用する。以下では、ペクトル重み付け関数として、式（７）に表されるガウス関数を用いるものとする。

ここで、σは、ガウス関数の幅を表す定数である。以下では、一例として、σ＝√（０．５）とする。この場合、相関ピークモデルは、式（８）に表されるガウス型になる。

平行移動量δは一般に実数値であるため、ＰＯＣ関数の相関ピークの位置座標は、サンプリング格子点の間、すなわち、画像のピクセル間に存在する。そこで、演算処理装置１００は、相関ピークモデルを表す式（８）を、実際に算出されたＰＯＣ関数の数値データに対してフィッティングすることにより、画像のピクセル間に存在する相関ピークの位置座標を推定する。この場合、相関ピークの高さα、及び平行移動量δが、フィッティングパラメータとなる。以下では、フィッティング手法として、非線型最小２乗問題の解法の一つである「Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法」を用いるものとする。

演算処理装置１００は、ＰＯＣ関数に基づく画像マッチング手法をステレオペア間の対応付けに適用する場合、物体表面の注目点が撮像された画像における対応点の座標を中心にマッチングウィンドウを切り出し、切り出したウィンドウ間のＰＯＣ関数を算出する。この場合、わずか１組のウィンドウに基づいてＰＯＣ関数の相関ピークの位置座標を高精度に算出することは、ノイズの影響もあることから困難である。

そこで、演算処理装置１００は、注目点が撮像された複数のステレオペアからマッチングウィンドウをそれぞれ切り出し、切り出した複数のマッチングウィンドウから１次元画像信号を抽出する。また、１次元画像信号に基づく１次元ＰＯＣ関数は、複数のステレオペアに基づいて平均化されることで統合される。以下、平均化されたＰＯＣ関数を「平均ＰＯＣ関数」という。相関ピークα及び平行移動量δの算出に平均ＰＯＣ関数を用いることで、ノイズの影響を抑えることが可能となる。
以上が、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法についての説明である。

図１に戻り、演算処理装置１００の構成の説明を続ける。演算処理装置１００は、関数算出装置１１０と、デプスマップ生成装置１２０と、メッシュモデル生成装置１３０とを備える。関数算出装置１１０は、ＰＯＣ関数の相関ピークの位置座標、すなわち、マッチングウィンドウの平行移動量δに基づいて、画像に撮像された３次元点（注目点）の座標を算出する。関数算出装置１１０は、正規化部１１１と、ウィンドウ設定部１１２と、関数算出部１１３と、関数統合部１１４とを備える。

正規化部１１１は、ステレオペアを構成する参照視点画像及び近傍視点画像を平行化する。また、正規化部１１１は、１次元位相限定相関法（１次元ＰＯＣ）に基づいて、複数のステレオペアの視差を正規化し、視差を正規化した複数のステレオペアによる平均ＰＯＣ関数を算出する。複数のステレオペアの視差を正規化することにより、関数算出装置１１０は、カメラが同一平面上に設置されていない場合でも、相関関数を統合することができる。

正規化部１１１は、カメラパラメータ（例えば、座標系、焦点距離）が既知である多視点画像Ｖ＝｛Ｖ_０，…，Ｖ_Ｌ−１｝のうち、参照視点画像Ｖ_Ｒ∈Ｖと、その近傍の視点から撮像された近傍視点画像Ｃ＝｛Ｃ_０，…，Ｃ_Ｋ−１｝⊂Ｖ−｛Ｖ_Ｒ｝とを、記憶装置２００から読み込む。ここで、Ｌは、多視点画像の枚数である。また、Ｋは、近傍視点画像Ｃの枚数である。

正規化部１１１は、近傍視点画像Ｃのいずれかと参照視点画像Ｖ_Ｒとの組から成るＫ組のステレオペアを、カメラパラメータにより平行化する。また、関数算出装置１１０は、平行化したステレオペアを構成する参照視点画像及び近傍視点画像からマッチングウィンドウを切り出し、切り出したマッチングウィンドウの視差を正規化する。

正規化部１１１は、ステレオペアから切り出されたマッチングウィンドウの視差を、次のように正規化する。ここで、予め定められた世界座標と一致するように、参照視点画像Ｖ_Ｒのカメラ座標が予め定められる。

正規化部１１１は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉ（Ｃ_ｉ∈Ｃ）におけるマッチングウィンドウの視差を、３次元点Ｍ＝（Ｘ，Ｙ，Ｚ）について算出する場合、参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃ_ｉを、カメラパラメータにより平行化する。ここで、参照視点画像Ｖ_Ｒのカメラ座標に対する回転行列Ｒ_ｉは、式（９）により表される。

この場合、平行化したステレオペアにおける３次元点Ｍ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）と、３次元点Ｍとの関係は、式（１０）により表される。

また、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける３次元点Ｍ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）と、視差ｄ_ｉとの関係は、式（１１）により表される。

ここで、（ｕ_ｉ，ｖ_ｉ）は、平行化した参照視点画像Ｖ_Ｒにおける、３次元点Ｍ_ｉの対応点のピクセル座標を表す。また、（ｕ_０ｉ，ｖ_０ｉ）は、平行化した参照視点画像Ｖ_Ｒにおける画角中心を表す。また、β_ｉは焦点距離を表す。また、Ｂ_ｉは、ステレオペア間の基線長を表す。

３次元点Ｍと視差ｄ_ｉとの関係は、式（１０）及び式（１１）に基づいて、式（１２）により表される。

また、参照視点画像Ｖ_Ｒと近傍視点画像Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ｝との間には、式（１３）により示される関係が成り立つ。

また、予め定められた世界座標における３次元点Ｍの座標は、式（１２）及び式（１３）に基づいて、式（１４）〜（１６）により表される。

平行化したステレオペアＶ_Ｒ-Ｃ_ｉの視差ｄ_ｉと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊの視差ｄ_ｊとには、式（１７）により表される関係が成り立つ。

したがって、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける視差ｄ_ｉと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊにおける視差ｄ_ｊとは、参照視点画像Ｖ_Ｒにおける対応点のピクセル座標と、カメラパラメータとに依存する視差の倍率ｓにより関係付けられる。ここで、カメラパラメータは、焦点距離β_ｉ、及びステレオペア間の基線長Ｂ_ｉである。

つまり、正規化された視差ｄは、各ステレオペアの視差の倍率ｓが考慮されることにより定められる。平行化したステレオペアＶ_Ｒ-Ｃ_ｉ(ｉ＝０，…，Ｋ−１) が与えられた場合、平行化した各ステレオペアの視差ｄ_ｉと、正規化された視差ｄとには、式（１８）により表される関係が成り立つ。式（１８）により、正規化部１１１は、平行化したステレオペアの視差を正規化する。

ここで、ｓ_ｉは、平行化した各ステレオペアの視差の倍率である。また、平行化していない参照視点画像Ｖ_Ｒにおける対応点のピクセル座標（ｕ，ｖ）について、平行化した各ステレオペアの視差の倍率ｓ_ｉは、式（１７）に基づいて式（１９）により表される。

ここで、｜ｓ｜は、式（２０）により表される。

この場合、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける３次元点Ｍ_ｉは、式（２１）により表される。

また、ウィンドウ設定部１１２は、物体表面の注目点が撮像された画像における対応点を中心に、マッチングウィンドウを切り出す。また、関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間のＰＯＣ関数を算出する。また、関数統合部１１４は、関数算出部１１３が算出した複数のＰＯＣ関数を統合する。

図３には、３次元点と視差との関係が表されている。平行化したステレオペアＶ_Ｒ-Ｃ_ｉ（Ｃ_ｉ∈Ｃ）における視差は、３次元点Ｍ及び参照視点画像Ｖ_Ｒを通る視線方向に、３次元点Ｍから微小量ΔＭ＝（ΔＸ，ΔＹ，ΔＺ）だけずれた位置に在る点Ｍ’（＝Ｍ＋ΔＭ）に基づいて定められる。

この場合、３次元点Ｍ’は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける視差ｄ_ｉと、式（１２）とに基づいて、式（２２）により表される。

ここで、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける、真の位置に在る３次元点Ｍの視差ｄ_ｉに対して、３次元点Ｍの視差ｄ_ｉに誤差δ_ｉが生じた場合、３次元点Ｍの視差ｄ_ｉと、３次元点Ｍ’の視差ｄ’_ｉとには、式（２３）により表される関係が成り立つ。

以下、局所的な画像変形は平行移動による画像変形のみである、と仮定する。参照視点画像Ｖ_Ｒにおける対応点を中心に切り出したマッチングウィンドウｆ_ｉと、近傍視点画像Ｃ_ｉにおける対応点を中心に切り出したマッチングウィンドウｇ_ｉとの平行移動量δ_ｉは、マッチングウィンドウｆ_ｉ及びマッチングウィンドウｇ_ｉ間の１次元ＰＯＣ関数の相関ピークの位置座標に基づいて算出される。

ここで、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける平行移動量δ_iと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊ（Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ}) における平行移動量δ_j とが一致しない場合には、平行化したステレオペアＶ_Ｒ-Ｃ_ｉに基づく相関ピークの位置座標と、平行化したステレオペアＶ_Ｒ-Ｃ_ｊに基づく相関ピークの位置座標とは、一致しない。

例えば、図３では、平行化したステレオペアＶ_Ｒ‐Ｃ_０の基線長Ｂ_０よりも、平行化したステレオペアＶ_Ｒ‐Ｃ_１の基線長Ｂ_１の方が長い。このため、奥行き方向への同じ変化量ΔＺに対しては、平行化したステレオペアＶ_Ｒ‐Ｃ_１における対応点の平行移動量δ_１は、平行化したステレオペアＶ_Ｒ‐Ｃ_０における対応点の平行移動量δ_０より大きい。

図１に戻り、演算処理装置１００の構成の説明を続ける。ウィンドウ設定部１１２は、平行化した各ステレオペアから切り出したマッチングウィンドウを、正規化された視差に基づいて拡大又は縮小する。関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間の１次元ＰＯＣ関数を算出する。

関数統合部１１４は、関数算出部１１３が算出した１次元ＰＯＣ関数をステレオペア間で平均化することにより、１次元ＰＯＣ関数を統合する。これにより、マッチングウィンドウ毎に算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で統一される。ここで、３次元点Ｍについて正規化された視差ｄと、３次元点Ｍ’について正規化された視差ｄ’（＝ｄ＋δ）とに基づいて、３次元点Ｍ’は、式（２４）により表される。

したがって、平行化したステレオペアＶ_Ｒ‐Ｃ_iにおける対応点を中心に切り出したマッチングウィンドウｆ_ｉと、近傍視点画像Ｃ_ｉにおける対応点を中心に切り出したマッチングウィンドウｇ_ｉとの平行移動量は、Ｓ_ｉδとなる。そこで、マッチングウィンドウｆ_ｉ及びマッチングウィンドウｇ_ｉのウィンドウサイズは、それぞれＳ_ｉｗと定められる。ここで、ウィンドウサイズｗは、予め定められた基準サイズである。

また、ウィンドウサイズＳ_ｉｗが（１／Ｓ_ｉ）倍に拡大又は縮小されることで、１次元画像信号のマッチングウィンドウのウィンドウサイズは、ウィンドウサイズｗに共通化される。以下、ウィンドウサイズＳ_ｉｗが（１／Ｓ_ｉ）倍に拡大又は縮小されたマッチングウィンドウｆ_ｉを、マッチングウィンドウｆ_ｉ’と表記する。同様に、ウィンドウサイズＳ_ｉｗが（１／Ｓ_ｉ）倍に拡大又は縮小されたマッチングウィンドウｇ_ｉを、マッチングウィンドウｇ_ｉ’と表記する。

マッチングウィンドウｆ_ｉ’及びマッチングウィンドウｇ_ｉ’に基づいて算出された１次元ＰＯＣ関数の相関ピークの位置座標は、マッチングウィンドウｆ_ｉ’及びマッチングウィンドウｇ_ｉ’間の平行移動量δに相当する。ここで、平行化したステレオペアＶ_Ｒ‐Ｃ_ｊ（Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ｝）から切り出したマッチングウィンドウのサイズは、ウィンドウサイズＳ_ｊｗである。平行化したステレオペアＶ_Ｒ‐Ｃ_ｊの１次元ＰＯＣ関数の相関ピークは、ウィンドウサイズＳ_ｉｗとは異なるウィンドウサイズＳ_ｊｗが（１／Ｓ_ｊ）倍に拡大又は縮小されることで、平行化したステレオペアＶ_Ｒ‐Ｃ_ｉの１次元ＰＯＣ関数の相関ピークと一致するようになる。

また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小に加えて、対象物体の表面形状に応じたウィンドウサイズとなるように、マッチングウィンドウをさらに拡大又は縮小してもよい。

また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小の拡大縮小率を決定する際に、ウィンドウサイズ（拡大縮小率）を変化させた複数のマッチングウィンドウ毎に画像マッチングを実行し、１次元ＰＯＣ関数の相関ピークが最も高くなるウィンドウサイズを採用してもよい。

なお、多視点画像に基づいて３次元復元することを考慮すれば、複数のステレオペアにおいて、それぞれの左右の画像から切り出されたマッチングウィンドウのウィンドウサイズには、ステレオペア間で互いに関係性がある（例えば、近い位置に在るステレオペア同士では、同じようなウィンドウサイズとなる）。そこで、ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、マッチングウィンドウのサイズに制約を加えてもよい。

図４には、１次元位相限定相関法による相関関数（１次元ＰＯＣ関数）が、ステレオペア毎に表されている。図４（Ａ）には、正規化された視差の倍率ｓが考慮されず、平行化したすべてのステレオペアから、同じウィンドウサイズｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、マッチングウィンドウ間の平行移動量δ_ｉは、ステレオペア毎に異なる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致しない。

一方、図４（Ｂ）には、正規化された視差の倍率ｓが考慮され、平行化した各ステレオペアから、同じウィンドウサイズｓ_ｉｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、正規化された視差の倍率ｓが考慮されたことで、マッチングウィンドウ間の平行移動量δ_ｉは、ステレオペア毎で同じになる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致する。したがって、平行化した各ステレオペアに基づいて算出された１次元ＰＯＣ関数は、位置座標がステレオペア間で一致しているので統合可能である。

関数統合部１１４は、ステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。予め定められた世界座標における３次元点Ｍ（注目点）の座標は、統合した１次元ＰＯＣ関数の相関ピークの位置座標に基づく平行移動量δを用いて、式（２５）により表される。

ここで、オクルージョン（手前に在る物体が、背後に在る物体を隠す状態）により、３次元点Ｍが近傍視点画像Ｃ_ｉ∈Ｃに写っていない場合、又は、物体境界において複数の視差を持つ領域からマッチングウィンドウが切り出された場合、そのマッチングウィンドウから算出される１次元ＰＯＣ関数の相関ピークの位置座標に、非常に大きい誤差が生じることが予想される。また、マッチングウィンドウ間の画像変形が平行移動のみによって近似できない場合、そのマッチングウィンドウから算出されるＰＯＣ関数の相関ピークの高さαが低くなることが、実験的に知られている。

そこで、関数統合部１１４は、統合した１次元ＰＯＣ関数のうち、相関ピークの高さαが閾値ｔｈ_ｃｏｒｒ以上である（画像の類似度が高い）１次元ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力する。

デプスマップ生成装置１２０は、関数統合部１１４が出力した１次元ＰＯＣ関数に基づいて、デプスマップを生成する。これにより、デプスマップ生成装置は、オクルージョン及び物体境界などの影響を抑えながら、デプスマップを生成することができる。

メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。

記憶装置２００は、参照視点画像Ｖ_Ｒと、近傍視点画像Ｃと、デプスマップを表すデータと、メッシュモデルを表すデータとを記憶する。また、記憶装置２００は、処理に用いられる各種パラメータ、及びプログラムを記憶する。

出力装置３００には、メッシュモデルを表すデータが入力される。出力装置３００は、メッシュモデルを表すデータに基づいて、復元された物体の表面形状を表示する。出力装置３００は、例えば、液晶ディスプレイ装置である。

次に、関数算出装置の動作手順について説明する。
図５は、関数算出装置の動作手順を表すフローチャートである。関数算出装置１１０の正規化部１１１（図１を参照）は、参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃを、記憶装置２００から読み込む（ステップＳ１）。正規化部１１１は、ステレオペアを構成する参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃを平行化し、平行化したステレオペアの視差を正規化する（ステップＳ２）。

ウィンドウ設定部１１２（図１を参照）は、ステレオペアから切り出すマッチングウィンドウのウィンドウサイズを、視差の倍率に基づいて拡大又は縮小する（ステップＳ３）。関数算出部１１３は（図１を参照）、拡大又は縮小されたマッチングウィンドウ間の１次元ＰＯＣ関数を算出する（ステップＳ４）。

関数統合部１１４（図１を参照）は、算出された１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する（ステップＳ５）。デプスマップ生成装置１２０（図１を参照）は、統合された１次元ＰＯＣ関数に基づいて、デプスマップを生成する（ステップＳ６）。メッシュモデル生成装置１３０は、デプスマップに基づいて、メッシュモデルを生成する（ステップＳ７）。

＜画像ピラミッドを用いて奥行きを探索する方法について＞
関数算出装置１１０は、３次元点Ｍの奥行きを探索する（座標を算出する）場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置１２０は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、３次元点Ｍ群の世界座標を表すデプスマップを算出することができる。

図６には、画像ピラミッドの各階層での関数算出装置の動作手順が表されている。ここで、奥行き探索処理への入力情報は、参照視点画像Ｖ_Ｒと、その近傍視点画像Ｃ＝{Ｃ_０，…，Ｃ_Ｋ−１} である。また、奥行き探索処理からの出力情報は、デプスマップｄｅｐと、相関値マップｃｏｒｒと、信頼値マップｃｏｎｆである。また、デプスマップ算出処理に用いられる各パラメータは、相関ピークの高さの閾値ｔｈ_ｃｏｒｒと、画像ピラミッドの階層数Ｈと、基準サイズであるウィンドウサイズｗと、平均ＰＯＣ関数を算出する処理に用いるライン数ｌである。

正規化部１１１（図１を参照）は、参照視点画像Ｖ_Ｒと、その近傍の視点から撮像された近傍視点画像Ｃとを、記憶装置２００から読み込む。そして、正規化部１１１は、ステレオペアＶ_Ｒ-Ｃ_ｉ（ｉ＝０，…，Ｋ−１）を平行化する。さらに、関数算出部１１３は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉの画像ピラミッド（階層画像）を生成する。

以下、平行化したステレオペアＶ_Ｒ-Ｃ_ｉを構成する参照視点画像をＶ_{ｒｅｃｔ，ｉ，０}と、近傍視点画像をＣ_{ｒｅｃｔ，ｉ，０}と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、参照視点画像Ｖ_{ｒｅｃｔ，ｉ，０}を（２−ｈ）倍した画像を、参照視点画像Ｖ_{ｒｅｃｔ，ｉ，ｈ}と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、近傍視点画像Ｃ_{ｒｅｃｔ，ｉ，０}を（２−ｈ）倍した画像を、近傍視点画像Ｃ_{ｒｅｃｔ，ｉ，ｈ}と表記する。

関数算出部１１３（図１を参照）は、画像ピラミッドの最上層Ｈ−１に対して、画像全体のマッチングを実行することにより、奥行きを探索する開始座標Ｚ_ｉｎｉｔを定める。この開始座標Ｚ_ｉｎｉｔは、参照視点画像Ｖ_{ｒｅｃｔ，ｉ，Ｈ−１}と、近傍視点画像Ｃ_{ｒｅｃｔ，ｉ，Ｈ−１}との１次元ＰＯＣ関数の相関ピークの位置座標に基づいて、各ステレオペア（ｉ＝０，…，Ｋ−１）について視差が算出されることにより定められる。

関数算出部１１３は、参照視点画像Ｖ_Ｒにおける任意の点ｍ＝ (ｕ，ｖ）について、奥行き（デプス）、相関値及び信頼値を算出し、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを、記憶装置２００に記憶させる。ここで、関数算出部１１３は、参照視点画像Ｖ_Ｒにおける任意の点ｍの座標を、参照視点画像Ｖ_Ｒ上で変化させながら処理を繰り返すことで、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを算出する。

以下、ステレオペアの一方を構成する参照視点画像Ｖ_{ｒｅｃｔ，ｉ，ｈ}（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍ_ｉ，ｈ＝ (ｕ_ｉ，ｈ， ｖ_ｉ，ｈ)と表記する。また、ステレオペアの他方を構成する近傍視点画像Ｃ_{ｒｅｃｔ，ｉ，ｈ}（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍ’_ｉ，ｈ＝ (ｕ’_ｉ，ｈ，ｖ’_ｉ，ｈ) と表記する。

図７は、奥行きの探索手順を表すフローチャートである。正規化部１１１は、参照視点画像Ｖ_Ｒ上の任意の点ｍにおける視差の倍率ｓ_ｉ（ｉ＝０，…，Ｋ−１）を、式（１９）に基づいて算出する。この場合、平行化した参照視点画像Ｖ_{ｒｅｃｔ，ｉ，０}における対応点ｍ_ｉ＝ (ｕ_ｉ，ｖ_ｉ）は、平行化したステレオペアを構成する画像の変形に用いられる射影行列に基づいて算出される（ステップＳａ１）。

関数算出部１１３は、画像ピラミッドの階層ｈ＝Ｈ−１、及び３次元点Ｍ＝Ｍ_ｉｎｉｔと初期設定し、世界座標における３次元点Ｍの座標の探索を、画像ピラミッドの最上層Ｈ−１から開始する。ここで、Ｍ_ｉｎｉｔは、参照視点画像Ｖ_Ｒにおいて、任意の点ｍの座標を通る視線上で奥行きがＺ_ｉｎｉｔの位置に在る３次元点である（ステップＳａ２）。

ウィンドウ設定部１１２は、ウィンドウサイズｓ_ｉｗ×ライン数ｌの大きさで、対応点ｍ_ｉ，ｈを中心に参照視点画像Ｖ_{ｒｅｃｔ，ｉ，ｈ}からマッチングウィンドウｆ_ｉ，ｈを切り出す。また、ウィンドウ設定部１１２は、ウィンドウサイズｓ_ｉｗ×ライン数ｌの大きさで、対応点ｍ_ｉ，ｈを中心に近傍視点画像Ｖ_{ｒｅｃｔ，ｉ，ｈ}からマッチングウィンドウｇ_ｉ，ｈを切り出す。関数算出部１１３は、切り出されたマッチングウィンドウｆ_ｉ，ｈ及びマッチングウィンドウｇ_ｉ，ｈに基づいて、1次元ＰＯＣ関数ｒ_ｉ，ｈを算出する（ステップＳａ３）。

関数統合部１１４は、1次元ＰＯＣ関数ｒ_ｉ，ｈのうち、相関ピークの高さα_i≧閾値ｔｈ_ｃｏｒｒである1次元ＰＯＣ関数を平均化することにより、平均ＰＯＣ関数ｒ_{ａｖｅ，ｈ}を算出する（ステップＳａ４）。以下、相関ピークの高さα_ｉ≧閾値ｔｈ_ｃｏｒｒとなる1次元ＰＯＣ関数の個数を、Ｋ’と表記する。

関数統合部１１４は、平均ＰＯＣ関数ｒ_{ａｖｅ，ｈ}に対して関数フィッティングを実行することにより、平均ＰＯＣ関数の相関ピークの高さαと、平均ＰＯＣ関数の相関ピークの位置座標（平行移動量δに相当）とを算出する。関数統合部１１４は、平行移動量δ及び式（２５）に基づいて、世界座標（参照視点画像のカメラ座標）における３次元点Ｍの座標を更新する（ステップＳａ５）。

関数統合部１１４は、画像ピラミッドの階層が最下層であるか否かを判定する（ステップＳａ６）。画像ピラミッドの階層が最下層である場合（ステップＳａ６−Ｙｅｓ）、デプスマップ生成装置１２０は、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが閾値以上である３次元点Ｍ群のデプスマップを生成する（ステップＳａ７）。

ここで、デプスマップｄｅｐ(ｍ)は、階層ｈ＝０（最下層）である場合における１次元ＰＯＣ関数ｒ_{ａｖｅ，０}と、３次元点Ｍ＝ (Ｘ，Ｙ，Ｚ) とを用いて、式（２６）のように予め定義される。同様に、相関値マップｃｏｒｒ(ｍ)は、式（２７）のように予め定義される。また、同様に、信頼値マップｃｏｎｆ(ｍ)は、式（２８）のように予め定義される。

一方、ステップＳａ６において、画像ピラミッドの階層が最下層でない場合（ステップＳａ６−Ｎｏ）、関数統合部１１４は、階層ｈから値１を減算し、ステップＳａ３に処理を戻す（ステップＳａ８）。

以上により、デプスマップ生成装置１２０は、閾値以上である相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆに基づいてデプスマップｄｅｐを生成することにより、３次元点Ｍ群について信頼性が高い座標を算出することができる。

＜メッシュモデルを生成する実験の結果について＞
図８には、メッシュモデルを生成する実験例の結果が、表により示されている。この表には、奥行き方向への変化量ΔＺと、復元点数と、誤対応点数と、誤対応率［％］と、二乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：ＲＭＳ）誤差［ｍｍ］と、処理時間［ｓ］とについて、Ｇｏｅｓｅｌｅらの手法と、関数算出装置１１０（図１を参照）が実行する提案手法とが、比較できるように示されている。

また、図９には、生成されたメッシュモデルの例が表されている。ここで、図９（Ａ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（正規化相互相関(Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ‐Ｃｏｒｒｅｌａｔｉｏｎ: ＮＣＣ)）（ΔＺ＝２００［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｂ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（ΔＺ＝１０［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｃ）には、提案手法により生成されたメッシュモデルの例が表されている。また、図９（Ｄ）には、真値のメッシュモデルの例が表されている。

まず、図８に戻り、復元点数と誤対応点数について比較する。まず、提案手法は、Ｇｏｅｓｅｌｅらの手法に比べ復元点数が多く、誤対応点が少ないという結果が、図８に示されている。なお、Ｇｏｅｓｅｌｅらの手法において、復元する点の信頼値の閾値を上げることで誤対応点数を減らすことは可能であるが、その場合、復元点数も減少してしまうこととなる。一方、提案手法では、そのようなことが無い。したがって、提案手法を実行する関数算出装置１１０（図１を参照）は、格別の効果を奏するものである。

この比較結果は、図９からも確認をすることができる。提案手法を実行する関数算出装置１１０は、画像ピラミッドの上位層においてウィンドウサイズを大きくし、マッチングウィンドウから多くの情報を用いることで、大きな誤対応が発生することを抑制している。また、ＰＯＣ関数に基づく画像マッチングでは、周波数領域での重み付けによりノイズの影響が抑えられるため、関数算出装置１１０は、テクスチャの少ない領域でも、ノイズの影響を受けることなく、高精度なマッチングを実行することができるという格別の効果を奏するものである。

次に、図８に戻り、復元された３次元点群の精度（ＲＭＳ誤差）、及び処理時間について比較する。提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝１０［ｍｍ］の場合よりも、高精度に３次元点群を算出することができる。また、その場合の処理速度は、２０倍以上も高速である。

また，Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合、処理時間について、提案手法とＧｏｅｓｅｌｅらの手法とは、ほぼ同じである。それにもかかわらず、復元精度（ＲＭＳ誤差）について、提案手法の方がＧｏｅｓｅｌｅらの手法よりも２倍以上も高精度である。したがって、提案手法を実行する関数算出装置１１０は、格別の効果を奏するものである。

なお、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合に、奥行きの分解能が不十分であることは、図９（Ａ）に復元された物体の表面形状が粗くなっていることからも確認することができる。

また、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法と比較して高速に奥行き探索を実行することができる。これは、提案手法の方が、Ｇｏｅｓｅｌｅらの手法と比較してマッチング回数が非常に少ないためである。

例えば、Ｇｏｅｓｅｌｅらの手法による奥行き探索では、１点の注目点につき、ΔＺ＝２００［ｍｍ］の場合（図９（Ａ）を参照）、８５回のマッチングを実行することが必要である。また、ΔＺ＝１０［ｍｍ］の場合（図９（Ｂ）を参照）、１，７０１回のマッチングを実行することが必要である。なお、これらの値は、一例である。

一方、提案手法による奥行き探索では、画像ピラミッドの各階層でマッチングを１回ずつ実行するのみであるため、１点の注目点につき、わずか４回という非常に少ない回数のマッチングにより、高精度な奥行き探索の結果を得ることができる。したがって、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法に比べ、高速かつ高精度なデプスマップを生成することができるという格別の効果を奏するものである。

以上のように、関数算出装置１１０は、所定方向から物体を撮像した画像である参照視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の近傍視点画像を受信する正規化部１１１（受信部）と、前記参照視点画像及び前記近傍視点画像をステレオペア毎に平行化する正規化部１１１（平行化部）と、平行化したステレオペアの視差を正規化する正規化部１１１と、前記視差を正規化したステレオペアを構成する前記参照視点画像及び前記近傍視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部１１２と、前記マッチングウィンドウ間の相関関数（１次元ＰＯＣ関数）を、前記視差を正規化したステレオペア毎に算出する関数算出部１１３と、前記算出された相関関数のうち、相関ピークの高さαが閾値以上である相関関数を統合する関数統合部１１４と、を備える。
この構成により、関数算出装置は、平行化したステレオペアの視差を正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる。また、物体の３次元形状をデジタル情報化して保存するデジタルアーカイブでは、多視点画像を撮像するカメラの設置位置が制限され、同一平面上にカメラを設置できないことがある。この場合でも、関数算出装置は、ステレオペアの相関関数を精度良く算出することができる。また、関数算出装置は、奥行き推定に必要なマッチング回数を大幅に削減することができる。また、関数算出装置は、複数のステレオカメラペアについて算出される視差マップを、仮想的に設置されたステレオカメラの視差マップに統合することができる。

なお、正規化視差に基づき相関関数を統合した場合、それぞれの相関関数は、２次元画像座標上で統合される。このため、統合された相関関数では、相関ピークの値の他に、相関ピークの位置を利用することができる。そこで、多視点画像からのデプスマップ生成において、この正規化視差に基づく相関関数の統合を用いることで、相関関数のピーク値だけでなくピーク位置を用いて、奥行きを決定することが可能であり、１回の奥行き推定に必要なマッチング回数を、大幅に削減することができる。これにより、デプスマップは、少ない計算コストで生成される。

また、正規化部１１１は、前記平行化したステレオペアの視差ｄ_ｉに応じた倍率ｓ_ｉを算出することにより、前記平行化したステレオペアの視差を正規化し、ウィンドウ設定部１１２は、前記倍率ｓ_ｉに基づいて、前記マッチングウィンドウのサイズｓ_ｉｗを定める。
この構成により、正規化部１１１は、平行化したステレオペアの視差に応じた倍率を算出することにより、平行化したステレオペアの視差を正規化する。これにより、関数算出装置は、統合した相関関数により定まる平行移動量に基づいて、正規化された視差を算出することができる。

ウィンドウ設定部１１２は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを（１／Ｓ_ｉ）倍に拡大又は縮小する。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウを拡大又は縮小する。これにより、関数算出装置は、基線長の長いステレオペアに基づいて、すなわち、より自由に設置されたカメラからの多視点画像に基づいて、ステレオペアの相関関数を精度良く算出することができる。

ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加える。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウのサイズに幾何学的制約を加える。複数のステレオペアにおいて、それぞれの左右の画像のマッチングウィンドウの拡大縮小率には、互いに関係性があるので、これにより、関数算出装置は、マッチング回数を多くすることなく、ステレオペアの相関関数を精度良く算出することができる。

関数算出部１１３は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数（ＰＯＣ関数）を算出する。
この構成により、関数算出部１１３は、ＰＯＣ関数を算出する。これにより、関数算出装置は、位相限定相関関数のピーク形状が理論的に既知であることを利用し、算出される位相限定相関関数に対してピーク形状の理論値を関数フィッティングすることで、入力される画像に依らない高精度な平行移動量推定を行うことが可能である。また、関数算出装置は、この位相限定相関法用いた画像マッチングを、正規化された視差に基づく相関関数の統合手法に適用することで、複数のステレオペアから計算される位相限定相関関数を統合することができる。また、関数算出装置は、基線長の長いステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。

関数算出部１１３は、画像ピラミッドの階層に応じて相関関数を算出する。
この構成により、関数算出部１１３は、正規化視差に基づく相関関数の統合による奥行き探索と、画像ピラミッドを用いた粗密戦略とを組み合わせて、相関関数を算出する。これにより、関数算出装置は、マッチングウィンドウのサイズを大きくすることなく、且つ、マッチング回数を多くすることなく、ステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。また、関数算出装置は、大きな誤対応の発生を防ぐことができる。

なお、この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。

デプスマップ生成装置１２０は、関数算出装置１１０が統合した相関関数（１次元ＰＯＣ関数）に基づいて、デプスマップを生成する。
これにより、デプスマップ生成装置は、少ない計算コストでデプスマップを生成することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、関数算出部１１３は、原画像に対して縮小画像を再帰的に生成することで、画像ピラミッドを作成し、画像ピラミッドの上位層ではおおまかな奥行き探索（相関関数の算出）を実行し、一方、画像ピラミッドの下位層では精密な奥行き探索を実行してもよい。これにより。小さいウィンドウサイズ、及び、少ないマッチング回数でロバストな奥行き探索が可能となる。また、画像ピラミッドを用いた粗密戦略を用いることで、大きな誤対応が発生することを防ぐこともできる。この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。

また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…演算処理装置、１１０…関数算出装置、１１１…正規化部（受信部、平行化部）、１１２…ウィンドウ設定部、１１３…関数算出部、１１４…関数統合部、１２０…デプスマップ生成装置、１３０…メッシュモデル生成装置、２００…記憶装置、３００…出力装置、４００…バス

Claims (9)

1. 所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、
   前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、
   平行化したステレオペアの視差を正規化する正規化部と、
   前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、
   前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、
   前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、
   を備えることを特徴とする関数算出装置。
2. 前記正規化部は、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、
   前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする請求項１に記載の関数算出装置。
3. 前記ウィンドウ設定部は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする請求項１又は請求項２に記載の関数算出装置。
4. 前記ウィンドウ設定部は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする請求項３に記載の関数算出装置。
5. 前記関数算出部は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の関数算出装置。
6. 前記関数算出部は、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする請求項１から請求項５のいずれか一項に記載の関数算出装置。
7. 請求項１から請求項６のいずれか一項に記載の関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置。
8. 関数算出装置における関数算出方法であって、
   受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、
   平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、
   正規化部が、平行化したステレオペアの視差を正規化するステップと、
   ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、
   関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、
   関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、
   を有することを特徴とする関数算出方法。
9. コンピュータに、
   所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、
   前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、
   平行化したステレオペアの視差を正規化する手順と、
   前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、
   前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、
   前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、
   を実行させるための関数算出プログラム。