JP2020009255A - 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム - Google Patents

Abstract

【課題】ブラーが発生した領域を含む多視点画像を用いた場合にも三次元形状を精度よく復元することができる三次元形状モデル生成装置を提供する。【解決手段】対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成部と、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理部を備える。【選択図】図１

Description

本発明は、対象物が異なる視点から撮像された二枚以上の複数の撮像画像から、この対象物の三次元形状モデルを生成する三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラムに関する。

対象物が異なる視点から撮像された複数の二次元撮像画像（以下、「多視点画像」と示す）に基づいて、その対象物の三次元形状モデルを生成する三次元復元手法がある。
例えば、非特許文献１には多視点画像から三次元形状を復元する手法が開示されている。非特許文献１では、多視点画像を用いてステレオマッチングを行うことにより、視点（撮像位置）ごとのデプスマップを生成する。このデプスマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における奥行きの情報が示されたマップである。そして、作成した複数のデプスマップを統合することにより、対象物の三次元形状を復元する。
ここで、一般に、多視点画像から三次元形状を復元する手法において、当該手法の入力として用いられる多視点画像の画質は、復元する対象物の三次元形状の精度や品質に強く影響を及ぼす重要な要素の一つである。例えば、三次元形状モデルの精度や品質に強く影響を及ぼす要素として、画像のブラー（画像のぼやけや、画像のブレ等）が挙げられる。復元対象である対象物にピントが合っていないぼやけた画像や、撮像時に対象物やカメラが移動したことにより対象物がブレた画像が多視点画像に含まれている場合、復元される三次元形状モデルの精度が著しく低下する傾向にあることが知られている。このため、多視点画像から対象物の三次元形状を復元する手法においては、復元対象がぼやけていたり、ブレていたりする画像が多視点画像として用いられないようにすることが望ましい。

Ｍ．Ｇｏｅｓｅｌｅ， Ｂ．Ｃｕｒｌｅｓｓ， Ｓ．Ｍ．Ｓｅｉｔｚ，"Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｖｉｓｉｔｅｄ"， Ｐｒｏｃ．ｏｆ ｔｈｅ ＩＥＥＥ ２００６

しかしながら、三次元形状の復元に用いる全ての多視点画像にブラーが生じないように撮像することは困難である。例えば、動画像や連続撮影により撮像した画像を用いて多視点画像を取得する場合がある。この場合、対象物やカメラを移動させながら撮像を行うため、画像のブレを抑制するためには、高価な機材や高度な撮像スキルが要求されてしまう。また、比較的小さい対象物を近接した至近距離から撮像しようとする場合、被写界深度が浅くなるため、背景や前景がぼやけてしまい、画像にぼやけた領域が含まれないように撮像することは困難である。すなわち、多視点画像から対象物の三次元形状を復元する手法においては、このようなブラーが発生しやすい状況で撮像された多視点画像を利用することが敬遠されるため、当該手法の利用や用途の拡大を妨げる要因となっている。

本発明は、このような状況に鑑みてなされたもので、ブラーが発生した領域を含む多視点画像を用いた場合にも三次元形状を精度よく復元することができる三次元形状モデル生成装置、三次元モデル生成方法及びプログラムを提供する。

本発明の、三次元形状モデル生成装置は、対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成部と、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理部を備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部とを備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、前記多視点画像と前記三次元点群における三次元点の三次元座標とを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記三次元点群における三次元点の三次元座標を最適化する三次元点最適化部と、前記三次元点群の各三次元点の三次元座標に応じて、新たな三次元点を前記三次元点群に追加する三次元点追加部とを備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記三次元点群における各三次元点に対応した視点ごとの幾何的な位置関係に基づく適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、ステレオマッチングに用いる視点を選択する視点選択部を更に備え、前記三次元点最適化部は、前記選択された視点を用いて前記三次元点のマッチングを行うことを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に使用する視点を選択する視点選択部と、前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と、を備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、前記三次元点群における三次元点に対応した視点ごとの適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、マッチング処理に使用する視点を選択する視点選択部と、前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と、を備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記三次元復元処理部が、前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に使用する視点を選択する視点選択部と、前記選択された視点を用いた前記三次元点のマッチングのマッチングスコアの重み付けを、し、前記ブラーマップの画素ごとのブラー量に応じて行い、前記三次元点の三次元座標を最適化する三次元点最適化部と、を備えることを特徴とする。

本発明の、三次元モデル生成方法は、対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元モデル生成方法であり、ブラーマップ生成部が、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成過程と、三次元復元処理部が、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理過程を含むことを特徴とする。

本発明のプログラムは、対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置としてコンピュータを動作させるプログラムであり、前記コンピュータを、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成手段、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理手段として動作させるためのプログラムである。

本発明によれば、ブラーが発生した領域を含む多視点画像を用いた場合にも三次元形状を精度よく復元することができる。

本発明の実施形態による１三次元形状モデル生成装置１の構成例を示すブロック図である。 本発明の実施形態によるブラーマップ生成部１０７が生成するブラーマップの例を示す図である。 本発明の実施形態による三次元形状モデル生成装置１が行う動作例を示すフローチャートである。 本発明の実施形態による三次元形状モデル生成装置１が生成した三次元形状モデルの画像の例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の実施形態による三次元形状モデル生成装置１の構成例を示すブロック図である。図１において、三次元形状モデル生成装置１は、三次元復元処理部１００、ブラーマップ生成部１０７、多視点画像入力部１０８、多視点画像記憶部１０９、三次元点群記憶部１１０、三次元形状モデル記憶部１１１及びブラーマップ記憶部１１２を備える。

三次元復元処理部１００は、二枚以上の多視点画像とブラーマップとを用いて、多視点画像における画素ごとのブラー量に応じてウィンドウマッチングによるマッチングスコアの重み付けを行い、対象物の三次元形状を示す三次元形状モデルを生成する。ここで、ブラーマップは、多視点画像それぞれの画素ごとの点におけるぼやけやブレの情報が示されたマップである。三次元復元処理部１００がブラーマップを用いて三次元形状モデルを生成する方法については後で詳しく説明する。

ブラーマップ生成部１０７は、多視点画像の各画像について画素ごとのブラーの強度を示すブラーマップを生成する。このブラーマップは、多視点画像それぞれの画素ごとの点におけるぼやけやブレの情報が示されたマップであり、例えば、画素ごとの三次元点においてブラーが発生していない確率を０〜１の範囲で示したマップである。具体的には、ブラーマップの値が０に近い場合にはその三次元点においてブラーが発生していない確率が低い、つまりブラーが発生している確率が高いことを示す。一方、ブラーマップの値が１に近い場合にはその三次元点においてブラーが発生していない確率が高いことを示す。

ブラーマップ生成部１０７は、例えば、このブラーマップを生成するひとつの方法として、機械学習手法を用いてブラーマップを生成する。ディープラーニングとも呼ばれる機械学習手法のひとつに、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）がある。このＣＮＮについて、入力画像と対応したブラーマップの学習データセットにて、パラメータの学習をおこなうことで、カラー画像からブラーマップを生成するＣＮＮを構築することが可能である。

また、ブラーマップ生成部１０７は、ブラーマップを生成する、他の方法として、周波数解析手法を用いてブラーマップを生成するようにしてもよい。この場合、ブラーマップ生成部１０７は、画像における各画素について、その画素の近傍の局所領域のフーリエ変換を行い、局所領域における高周波数成分を抽出する。そして、ブラーマップ生成部１０７は、抽出した局所領域における高周波数成分が、所定の閾値以上であるか否かを判定する。これにより、ブラーマップ生成部１０７は、その局所領域がぼやけているか否か判定することが可能である。すなわち、ブラーマップ生成部１０７は、局所領域における高周波数成分の量が所定の閾値以上である場合にその局所領域のピントが合っていると判定し、局所領域における高周波数成分の量が所定の閾値未満である場合にその局所領域のピントが合っていない、つまりぼやけていると判定する。
ブラーマップ生成部１０７は、生成した多視点画像のブラーマップをブラーマップ記憶部１１２に書き込んで記憶させる。

図２は、本発明の実施形態によるブラーマップ生成部１０７が生成するブラーマップの例を示す図である。図２（ａ）は多視点画像の例を、図２（ｂ）は図２（ａ）の多視点画像に対応するブラーマップを示している。図２（ｂ）では、０〜１のブラーマップの値を０〜２５５の輝度に対応させた画像によりブラーマップを示している。
図２（ａ）に示すように、多視点画像においては、例えば、背景はピントが合っていないが、対象物にはほぼ全体にピントが合っている。
図２（ｂ）に示すように、ブラーマップにおいては、背景に対応する領域は全体的に黒で示されており、輝度が小さいことが示されている。これは、背景に対応する領域においてブラーが発生している（つまり、ピントが合っていない）確率が高いことを示している。一方、対象物に対応する領域は全体的に白で示されており、輝度が大きいことが示されている。これは、対象物に対応する領域においてブラーが発生していない（つまり、ピントが合っている）確率が高いことを示している。

図１に戻り、多視点画像入力部１０８は、撮像装置（不図示）が撮像した、異なる複数の視点から撮像された多視点画像のデータを入力し、この多視点画像に視点識別情報を付与し、多視点画像記憶部１０９に対して書き込んで記憶させる。
多視点画像記憶部１０９は多視点画像入力部１０８に入力された多視点画像のデータを視点識別情報と対応付けて記憶する。
三次元点群記憶部１１０は三次元点群生成部１０３により生成された三次元点群のデータを記憶する。
三次元形状モデル記憶部１１１は、三次元形状モデル生成部１０６により生成された三次元形状モデルのデータを記憶する。
ブラーマップ記憶部１１２は、ブラーマップ生成部１０７により生成されたブラーマップのデータを記憶する。

ここで、三次元復元処理部１００がブラーマップを用いて三次元形状モデルを生成する方法について説明する。
図１に示すように、三次元復元処理部１００は、カメラパラメータ推定部１０１、デプスマップ生成部１０２、三次元点群生成部１０３、視点選択部１０４、三次元点最適化部１０５及び三次元形状モデル生成部１０６を備える。

カメラパラメータ推定部１０１は、多視点画像の各画像についてカメラパラメータを推定する。このカメラパラメータは、外部パラメータと内部パラメータとを含み、外部パラメータが世界座標系におけるレンズの中心座標、レンズの光軸の方向などであり、内部パラメータが焦点距離、画像中心、画像の分解能（画素数）及び歪曲収差係数などである。
カメラパラメータ推定部１０１は、例えば、画像から特徴量を抽出して対応点の計算を行うＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）に、多視点画像の画像情報を入力することにより、カメラパラメータを推定する。ＳｆＭにおいては、入力された多視点画像を用いて、多視点画像の組合せについて対応付けを行い、対応付けた多視点画像における対応点の組合せの再投影誤差が最小となるようなカメラパラメータを推定する。
なお、上記では、カメラパラメータ推定部１０１がＳｆＭを用いてカメラパラメータを推定する場合を例示して説明したが、これに限定されない。カメラパラメータ推定部１０１は、多視点画像を撮像する撮像装置を事前に校正しておくことで、カメラパラメータの一部若しくは全部を推定するようにしてもよい。

デプスマップ生成部１０２は、多視点画像及びカメラパラメータの各々を用いて、各視点の多視点画像に対応する世界座標系におけるデプスマップを生成する。このデプスマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における奥行きの情報が示されたマップである。

本実施形態において、デプスマップ生成部１０２は、例えば、デプスマップを生成する際に、パッチマッチステレオ（PatchMatch Stereo）法を用いている。パッチマッチステレオ法においては、各視点の多視点画像それぞれの画素のデプスマップ及び法線ベクトルマップの各々を乱数により初期化することで生成する。そして、デプスマップ生成部１０２は、乱数により生成したデプスマップ及び法線ベクトルマップに対して、画素ごとに隣接する他の画素に対する数値の空間伝搬と、及び異なる視点の多視点画像における数値の空間伝搬と、乱数により求めた調整値を用いて各画素の深度情報（奥行き情報）及び法線ベクトルの微調整とを繰り返して行なう。デプスマップ生成部１０２は、異なる視点の多視点画像における同一の箇所に相当する画素間のマッチングスコアが最大値となるデプスマップ及び法線ベクトルマップを、各視点における多視点画像のデプスマップ及び法線ベクトルマップのそれぞれとする（例えば、特願２０１６−１２４８２０号公報の記載参照）。デプスマップ生成部１０２は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群記憶部１１０に対して書き込んで記憶させる。

ここで、マッチングスコアは、画像の局所領域（パッチ）における正規化相互相関（ＮＣＣ、Normalized Cross-Correlation）、または画像の局所領域のＳＳＤ（Sum of Squared Differences）などが用いられる。この場合、マッチングを行うステレオペアの一方の画像においてブラーが発生していると、正しい奥行値にもかかわらずマッチングスコアが低くなってしまったり、不正確な奥行値にもかかわらずマッチングスコアが高くなってしまったりする不整合が起こり得る。このため、一方の画像においてブラーが発生しているステレオペアと、両方の画像でブラーが発生していない（つまり、ピントが合っている）ステレオペアとの各々のマッチングスコアとを同等に扱ってしまうと、そこから推定される奥行値の精度が低下してしまう可能性がある。

そこで、本実施形態では、デプスマップ生成部１０２は、ブラーマップ生成部１０７により生成されたブラーマップを用いて、マッチングスコアに重み付けを行う。具体的に、デプスマップ生成部１０２は、以下の（１）式に示すようにマッチングスコアＳを算出する。

Ｓ＝（Ｗ１）＊ＮＣＣ（Ｉ_Ｒ，Ｉ_Ｃ，ｍ_Ｒ，ｍ_Ｃ，Ｎ） …（１）

（１）式において、Ｉ_Ｒはデプスマップを生成する対象となる視点（参照視点）の画像を示す。また、Ｉ_Ｃは参照視点の画像とステレオペアとなる視点（近傍視点）の画像を示す。ｍ_Ｒは参照視点における特定の画素点（注目画素）の座標を示す。ｍ_Ｃは近傍視点における投影点の座標を示す。Ｎはウィンドウサイズを示す。そして、Ｗ１は重み関数を示す。また、ＮＣＣ（Ｉ_Ｒ，Ｉ_Ｃ，ｍ_Ｒ，ｍ_Ｃ，Ｎ）は、参照視点の画像Ｉ_Ｒにおける画素点ｍ_Ｒの近傍Ｎ×Ｎ画素の局所領域と、近傍視点の画像Ｉ_Ｃにおける投影点ｍ_Ｃの近傍Ｎ×Ｎ画素の局所領域とのＮＣＣの値を表す。ここで、マッチングスコアとしてＮＣＣの代わりにＳＳＤを用いる場合、（１）式のＮＣＣ（Ｉ_Ｒ，Ｉ_Ｃ，ｍ_Ｒ，ｍ_Ｃ，Ｎ）の項が、ＳＳＤ（Ｉ_Ｒ，Ｉ_Ｃ，ｍ_Ｒ，ｍ_Ｃ，Ｎ）に置き換えられたものを用いる。なお、（１）式において、「＊」は乗算を示す演算子である。

本実施形態において、デプスマップ生成部１０２は、（１）式に示す重み関数Ｗ１として、以下の（２）式を用いる。

Ｗ１＝（１−ＡＢＳ（Ｂ_Ｒ（ｍ_Ｒ）−Ｂ_Ｃ（ｍ_Ｃ））） …（２）

（２）式において、Ｂ_Ｒ（ｍ_Ｒ）は参照視点の画像における画素点ｍ_Ｒのブラーマップの値を示す。Ｂ_Ｃ（ｍ_Ｃ）は近傍視点の画像における投影点ｍ_Ｃのブラーマップの値を示す。また、ＡＢＳ（ｋ）は実数ｋの絶対値を示す関数である。

また、デプスマップ生成部１０２は、（２）式に示す重み関数Ｗ１に代えて、以下の（３）式を用いるようにしてもよい。

Ｗ１＝ＭＩＮ（１−（Ｂ_Ｒ（ｍ_Ｒ）−Ｂ_Ｃ（ｍ_Ｃ）），１） …（３）

（３）式において、ＭＩＮ（ｘ，ｙ）は実数ｘと実数ｙとのうちで、小さい方の実数を示す関数である。

また、デプスマップ生成部１０２は、（２）及び（３）式に示す重み関数Ｗ１に代えて、以下の（４）式を用いるようにしてもよい。

Ｗ１＝Ｂ_Ｒ（ｍ_Ｒ） …（４）

デプスマップ生成部１０２は、上記に示す重み関数Ｗ１を用いて、（１）式に示すマッチングスコアを算出する。これにより、マッチングスコアが、ブラーマップを用いて重みづけがなされる。
例えば、マッチングを行うステレオペアの一方の画像においてブラーが発生している場合、（２）式におけるＢ_Ｒ（ｍ_Ｒ）又はＢ_Ｃ（ｍ_Ｃ）の何れか一方の値が０に近い値となり、他方が１に近い値となる。この場合、（２）式に示す重み関数Ｗ１は１よりも小さい値となる。この場合、（１）式に示すマッチングスコアＳは、重みづけがなされる前のマッチングスコアＳと比較して小さいスコアとなる。
一方、マッチングを行うステレオペアの両方の画像においてブラーが発生していない場合、（２）式におけるＢ_Ｒ（ｍ_Ｒ）又はＢ_Ｃ（ｍ_Ｃ）の両方の値が１に近い値となる。この場合、（２）式に示す重み関数Ｗ１は１に近い値となる。この場合、（１）式に示すマッチングスコアＳは、重みづけがなされる前のマッチングスコアＳと比較してほぼ同等のスコアとなる。
すなわち、デプスマップ生成部１０２は、重み関数Ｗ１を用いてマッチングスコアを算出することにより、ブラーが発生していないステレオペアのマッチングスコアＳが、一方にブラーが発生しているステレオペアのマッチングスコアＳよりも高い値が示されるようにする。これにより、ブラーが発生していないステレオペアが重視され、デプスマップにおいて、多視点画像におけるブラーの発生に起因する影響、つまり推定される奥行値の精度の低下を抑制することが可能となる。

三次元点群生成部１０３は、全視点におけるデプスマップ及び法線ベクトルマップの各々を統合し、対象物の三次元形状に対応する三次元点群を生成する。ここで、三次元点群生成部１０３は、デプスマップ及び撮像装置のカメラパラメータの各々を用いた所定の演算により、上記三次元点群を生成する。すなわち、三次元点群生成部１０３は、各視点の多視点画像のデプスマップの各々から三次元点群を求め、この三次元点群における三次元点の三次元座標を、それぞれのカメラパラメータに基づいて座標変換を行ない、世界座標系における三次元座標とする。

これにより、三次元点群生成部１０３は、各多視点画像に対応するデプスマップに基づく三次元点群を、世界座標系において統合する。そして、三次元点群生成部１０３は、合成した三次元点群に対して三次元点群識別情報を付与し、三次元点群記憶部１１０の三次元点群テーブルに対して書き込んで記憶させる。

視点選択部１０４は、統合後の三次元点群における三次元点ごとのマッチングを行なうため、マッチングに用いる２個以上の複数の視点の多視点画像を選択する。

この場合、視点選択部１０４は、三次元点とマッチングに用いる各視点との間の幾何学的な位置関係のみを用いて視点を選択すると、その三次元点の投影点の近傍においてブラーが発生している画像であっても、その画像を最適な視点を有する画像として選択する可能性がある。もし、視点選択部１０４が、ステレオマッチングに用いる視点として、ブラーが発生している画像を選択した場合、ステレオマッチングの精度が著しく低下する可能性がある。つまり、選択された視点を用いて計算される三次元点の精度が低下したり、その三次元点が誤対応として除去されたりする可能性がある。

そこで、本実施形態では、視点選択部１０４は、三次元点と視点の幾何的な位置関係に加えて、ブラーマップ生成部１０７により生成されたブラーマップを用いて、視点を選択する。すなわち、視点選択部１０４は、三次元点群における各三次元点に対応した視点ごとの幾何的な位置関係に基づく適正スコアに、ブラーマップの画素ごとのブラー量に応じた重み付けを行い、ステレオマッチングに用いる視点を選択する。

例えば、視点選択部１０４は、以下に示す（５）式により選択コストＳ_ｉｊ（適正スコア）を求め、求めた選択コストＳ_ｉｊが最も高かった視点から順に、三次元点のマッチングに用いるために必要な数の視点を選択する。

Ｓ_ｉｊ＝Ｗ２＊（Ｖ_ｉｊ＊（Ｃ_ｊ・ｒ_ｉｊ）＊（−ｎ_ｉ・ｒ_ｉｊ）） …（５）

（５）式において、選択コストＳ_ｉｊは三次元点群におけるｉ番目の三次元点と、複数の視点におけるｊ番目の視点とを組合せた場合における選択コストを示す。そして、Ｗ２は重み関数を示す。
Ｃ_ｊはｊ番目の視点の光軸のベクトルを示す。ｎ_ｉはｉ番目の三次元点の法線ベクトルを示す。ｒ_ｉｊはｊ番目の視点からｉ番目の三次元点に向かう視点ベクトルを示す。また、（５）式における「・」はベクトル内積を示す演算子であり、「＊」は単なる乗算を示す演算子である。つまり、上記（５）式における（Ｃ_ｊ・ｒ_ｉｊ）の項は、対象となるｉ番目の三次元点に対応する画素の位置座標が、より中央近傍にある（ベクトルＣ_ｊと視点ベクトルｒ_ｉｊとの間の角度がより小さい）多視点画像に対応する視点の選択コストＳ_ｉｊが高くなるように算出される項である。また、（−ｎ_ｉ・ｒ_ｉｊ）の項は、対象となるｉ番目の三次元点に対応する法線ベクトルｎ_iと視点ベクトルｒ_ｉｊとの間の角度がより小さく、尚且つ、方向が互いに反対となる方向である多視点画像に対応する視点の選択コストＳ_ｉｊが高くなるように算出される項である。

Ｖ_ｉｊはｉ番目の三次元点がｊ番目の視点から見えるか否かを示す可視性の係数（パラメータ）である。ここで、係数Ｖ_ｉｊは、ｉ番目の三次元点がｊ番目の視点から見える場合に「１」であり、ｉ番目の三次元点がｊ番目の視点から見えない場合に「０」である。すなわち、係数Ｖ_ｉｊは、ｉ番目の三次元点がｊ番目の視点から見えない場合には選択コストＳ_ｉｊを０とする。

本実施形態において、視点選択部１０４は、例えば、下記（６）式に示す重み関数Ｗ２を用いるようにしてよい。

Ｗ２＝Ｂ_ｊ（ｍ_ｉｊ） …（６）

（６）式において、Ｂ_ｊ（ｍ_ｉｊ）は、ｊ番目の視点における、ｉ番目の三次元点のｊ番目の視点における投影点ｍ_ｉｊのブラーマップの値を示す。

このようにして、視点選択部１０４は、上記の重み関数Ｗ２を用いて算出した選択コストに基づいて視点を選択する。これにより、視点選択部１０４は、三次元点の投影点の近傍でブラーが発生している画像の選択コストを低く算出する。このため、視点選択部１０４は、三次元点の投影点の近傍でブラーが発生している画像が選択される可能性を低下させることが可能となる。

三次元点最適化部１０５は、三次元点群における三次元点ごとに、選択された視点の各々の多視点画像を用いて、三次元座標のマッチングを行ない、三次元座標の再計算の処理を行う。ここで三次元点最適化部１０５は、マッチングを行う対象とする三次元点群に、三次元点群生成部１０３により生成された三次元点群を用いてもよいし、デプスマップ生成部１０２により生成された三次元点群を用いてもよい。ここでのデプスマップ生成部１０２により生成された三次元点群とは、各視点の多視点画像それぞれの画素のデプスマップ及び法線ベクトルマップの各々を乱数により初期化することで生成された三次元点群である。

本実施形態においては、多視点画像間の三次元点のマッチング処理を、位相限定相関法を用いて行なう。この位相限定相関法は、正規化相互相関及びＳＳＤにより求めるマッチングスコアによるマッチングに比較し、処理時間が長くなるが、より高精度に三次元座標を求めることができる（例えば、特願２０１５−１４１５３３号公報の記載を参照）。
この位相限定相関法によるマッチングにおいて、三次元点最適化部１０５は、三次元点の各々において、三次元座標及び法線ベクトルの各々により、選択された視点の多視点画像のそれぞれにおける局所領域を設定する。そして、三次元点最適化部１０５は、多視点画像の各々の局所領域の画像から位相限定相関関数を算出することにより、多視点画像間における局所領域の画像の微少な平行移動量を推定する。

三次元点最適化部１０５は、この推定した平行移動量に基づき、三次元点の三次元座標を修正する再計算を行なう。三次元点最適化部１０５は、最適化した三次元点の三次元座標を用いて、三次元点群における三次元点の三次元座標を更新する。

また、三次元点最適化部１０５は、最適化した後の三次元点群に対して、新たな三次元点群を追加してもよい。この場合、三次元点最適化部１０５は、「三次元点追加部」の一例である。新たな三次元点群を追加する方法の一例として、最適化後の三次元点群の各三次元点の三次元座標、及び法線ベクトルに、三次元点群全体の大きさと比較して微小な乱数を加えた三次元座標、及び法線ベクトルを新たに追加する方法が挙げられる。また、他の方法の例として、最適化後の三次元点群の各三次元点について、その三次元点の法線ベクトルと三次元座標とにより設定される三次元平面上に、三次元点群全体の大きさと比較して微小な一定間隔で格子状に配置された三次元点群を新たに追加する方法がある。なお、三次元点最適化部１０５は、最適化した後の三次元点群に対して新たな三次元点群を追加してもよいし、最適化する前の三次元点群に対して新たな三次元点群を追加してもよい。

三次元点最適化部１０５は、三次元点群における三次元点の三次元座標を更新させる処理と、三次元点群に新たな三次元点を追加する処理とを繰り返し行なう。

この場合、三次元点最適化部１０５は、多視点画像間の位相限定相関法によるマッチングを行う際に、多視点画像から生成した複数のステレオペアについて、位相限定相関関数を算出し、それら複数の位相限定相関関数を統合することで、多視点画像間の位相限定相関関数とする。ここで、ステレオペアの片方の画像にブラーが発生している場合に、計算される位相限定相関関数に誤差が生じる。つまり、複数の位相限定相関関数の統合に単純な平均化を用いると、多視点画像中に対象物がぼやけていたりブレていたりする画像が含まれる場合、平均化後の位相限定相関関数にブラーの発生に起因する誤差が生じ、最終的に計算される三次元点の三次元座標の精度が低下する可能性がある。

そこで、本実施形態では、三次元点最適化部１０５は、ブラーマップ生成部１０７により生成されたブラーマップを用いて、各ステレオペアから計算される位相限定相関関数の重み付き平均を算出する。そして、三次元点最適化部１０５は、重み付き平均により算出した位相限定相関関数を、三次元座標の算出に用いる。三次元点最適化部１０５は、例えば、上記（２）〜（４）式の何れかに示す重み関数Ｗ１を用いて、重み付き平均を算出するようにしてよい。
これにより、三次元点最適化部１０５は、ステレオペアの片方の画像でブラーが発生しているペアから計算される位相限定相関関数が、重み付き平均後の位相限定相関関数に与える影響が小さくすることができ、ブラーの発生に起因する三次元座標の精度低下を抑制することが可能である。
三次元点最適化部１０５は、再計算した三次元座標に基づく三次元点群を、多視点画像記憶部１０９に書き込んで記憶させる。

三次元形状モデル生成部１０６は、三次元座標を再計算した三次元点からなる三次元点群を用い、三次元形状モデル（三次元メッシュモデル）を生成する。三次元形状モデル生成部は、例えば、メッシュ再構築（Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の手法を用いて、三次元点群から三次元形状モデルを生成する。
そして、三次元形状モデル生成部１０６は、生成した三次元形状モデルに対して形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部１１１に書き込んで記憶させる。

図３は、本発明の実施形態による三次元形状モデル生成装置１が行う動作例を示すフローチャートである。以下に示すフローチャートは、異なる複数の多視点画像から、デプスマップを生成した後、三次元点群を生成して、この三次元点群に基づいて、三次元形状モデルを生成する、三次元形状モデル生成装置１の処理の流れを示している。

ステップＳ１：
多視点画像入力部１０８は、異なった複数の視点で撮像装置により撮像した複数の多視点画像を外部装置（不図示）から入力し、多視点画像を撮像した視点の各々に視点識別情報を付与する。そして、多視点画像入力部１０８は、入力した多視点画像の各々のデータを、多視点画像記憶部１０９に対して書き込んで記憶させる。

ステップＳ２：
ブラーマップ生成部１０７は、多視点画像の各画像について画素ごとのブラーマップを生成する。ブラーマップ生成部１０７は、カラー画像からブラーマップを生成するＣＮＮに、多視点画像を入力させることより当該多視点画像のブラーマップを生成する。そして、ブラーマップ生成部１０７は、多視点画像のブラーマップの各々を、ブラーマップ記憶部１１２に対して書き込んで記憶させる。

ステップＳ３：
カメラパラメータ推定部１０１は、多視点画像の各々のカメラパラメータを推定する。カメラパラメータ推定部１０１は、多視点画像記憶部１０９に記憶された多視点画像の各々のデータを読み出し、多視点画像の各々のデータをＳｆＭに入力することにより当該多視点画像のカメラパラメータを推定する。そして、カメラパラメータ推定部１０１は、推定した多視点画像の各々のカメラパラメータをデプスマップ生成部１０２に出力する。

ステップＳ４：
デプスマップ生成部１０２は、多視点画像、及びカメラパラメータ推定部１０１により推定されたカメラパラメータの各々を用いて、各視点に対応するデプスマップ及び法線ベクトルマップを生成する。この時、デプスマップ生成部１０２は、重み関数Ｗ１を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるようにデプスマップ及び法線ベクトルマップを生成する。デプスマップ生成部１０２は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群生成部１０３に出力する。

ステップＳ５：
三次元点群生成部１０３は、デプスマップ生成部１０２により生成された、多視点画像の全視点におけるデプスマップ及び法線ベクトルマップの各々を統合し、対象物の三次元形状に対応する三次元点群を生成する。三次元点群生成部１０３は、合成した三次元点群に対して三次元点群識別情報を付与し、三次元点群記憶部１１０の三次元点群テーブルに対して書き込んで記憶させる。

ステップＳ６：
視点選択部１０４は、三次元点群における各三次元点のマッチングを行なうための複数、例えば２個の視点を選択する。このとき、視点選択部１０４は、重み関数Ｗ２を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるように視点を選択する。視点選択部１０４は、選択した視点を示す情報を三次元点最適化部１０５に出力する。

ステップＳ７：
三次元点最適化部１０５は、視点選択部１０４により選択された視点を用いて選択された複数の視点における多視点画像の各々における三次元点の三次元座標を再計算し、三次元点を最適化する。このとき、三次元点最適化部１０５は、重み関数Ｗ１を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるように三次元点を最適化する。三次元点最適化部１０５は、最適化した三次元点群のデータを三次元点群記憶部１１０に記憶させる。

ステップＳ８：
三次元形状モデル生成部１０６は、三次元点最適化部１０５により最適化された三次元点群のデータを用いて三次元形状モデルを生成する。三次元形状モデル生成部１０６は、例えば、メッシュ再構築の手法を用いて三次元メッシュモデルを生成する。三次元形状モデル生成部１０６は、生成した三次元メッシュモデルを三次元形状モデル記憶部１１１に記憶させる。

図４は、本発明の実施形態による三次元形状モデル生成装置１が生成した三次元形状モデルの画像の例を示す図である。図４（ａ）及び図４（ｂ）の各々は、異なる視点から撮像した多視点画像の例を示す図である。ここで、図４（ａ）及び図４（ｂ）の多視点画像には、対象物の一部にブラーが発生している画像が含まれる。
図４（ｃ）及び図４（ｄ）の各々は、ブラーマップによる重みづけを行わずに作成した従来の三次元メッシュモデルの例を示す図である。図４（ｅ）及び図４（ｆ）の各々は、ブラーマップによる重みづけを行い作成した三次元メッシュモデルの例を示す図である。

図４（ｃ）及び図４（ｄ）に示すように、ブラーが発生している画像が含まれる多視点画像から、従来の三次元復元手法を用いて三次元メッシュモデルを作成した場合、ブラーマップによる重み付けが行わないために、復元結果において、対象の一部が欠損したり、ノイズ状の不正確な形状として復元されたりすることが確認できる。

これに対し、本実施形態では、図４（ｃ）及び図４（ｄ）に示すように、ブラーが発生している画像が含まれる多視点画像から、ブラーマップによる重み付けを行った上で三次元メッシュモデルを作成した場合、来の三次元復元手法を用いて三次元メッシュモデルを作成した場合と比較して、復元領域が拡大し、誤差が減少していることが確認できる。
このように、本実施形態を用いることで、多視点画像に対象の一部にブラーが発生している画像が含まれる場合においても、三次元形状を高精度に復元することが可能である。

上述した実施形態における三次元形状モデル生成装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…三次元形状モデル生成装置
１００…三次元復元処理部
１０１…カメラパラメータ推定部
１０２…デプスマップ生成部
１０３…三次元点群生成部
１０４…視点選択部
１０５…三次元点最適化部
１０６…三次元形状モデル生成部
１０７…ブラーマップ生成部
１０８…多視点画像入力部
１０９…多視点画像記憶部
１１０…三次元点群記憶部
１１１…三次元形状モデル記憶部
１１２…ブラーマップ記憶部

Claims (9)

1. 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、
   前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成部と、
   前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理部と
   を備えることを特徴とする三次元形状モデル生成装置。
2. 前記三次元復元処理部が、
   前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と
   を備えることを特徴とする請求項１に記載の三次元形状モデル生成装置。
3. 前記三次元復元処理部が、
   前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
   前記多視点画像と前記三次元点群における三次元点の三次元座標とを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記三次元点群における三次元点の三次元座標を最適化する三次元点最適化部と、
   前記三次元点群の各三次元点の三次元座標に応じて、新たな三次元点を前記三次元点群に追加する三次元点追加部と
   を備えることを特徴とする請求項１に記載の三次元形状モデル生成装置。
4. 前記三次元復元処理部が、
   前記三次元点群における各三次元点に対応した視点ごとの幾何的な位置関係に基づく適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、ステレオマッチングに用いる視点を選択する視点選択部
   を更に備え、
   前記三次元点最適化部は、前記選択された視点を用いて前記三次元点のマッチングを行う
   ことを特徴とする請求項３に記載の三次元形状モデル生成装置。
5. 前記三次元復元処理部が、
   前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
   前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に用いられる視点を選択する視点選択部と、
   前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
   を備えることを特徴とする請求項１に記載の三次元形状モデル生成装置。
6. 前記三次元復元処理部が、
   前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
   前記三次元点群における三次元点に対応した視点ごとの適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、マッチング処理に用いられる視点を選択する視点選択部と、
   前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
   を備えることを特徴とする請求項１、又は請求項５に記載の三次元形状モデル生成装置。
7. 前記三次元復元処理部が、
   前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
   前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に用いられる視点を選択する視点選択部と、
   前記選択された視点を用いた前記三次元点のマッチングのマッチングスコアの重み付けを、し、前記ブラーマップの画素ごとのブラー量に応じて行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
   を備えることを特徴とする請求項１、請求項５又は請求項６に記載の三次元形状モデル生成装置。
8. 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元モデル生成方法であり、
   ブラーマップ生成部が、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成過程と、
   三次元復元処理部が、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理過程と
   を含むことを特徴とする三次元形状モデル生成方法。
9. 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置としてコンピュータを動作させるプログラムであり、
   前記コンピュータを、
   前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成手段、
   前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理手段
   として動作させるためのプログラム。