JP2020098421A - 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム - Google Patents

Abstract

【課題】多視点画像から生成した三次元形状モデルにおける三次元形状が生成されなかった領域について、その三次元形状が生成されなかった要因を特定することができる三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムを提供する。【解決手段】対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成部と、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成部と、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定部と、を備える。【選択図】図１

Description

本発明は、対象物を異なる視点から撮像した二枚以上の複数の画像から三次元形状モデルを生成する三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムに関する。

対象物を異なる視点から撮像した複数の画像（以下、「多視点画像」と称する）に基づいて、対象物の三次元形状モデルを生成する三次元復元手法がある。
例えば、非特許文献１には多視点画像からステレオマッチングの技術を用いて三次元形状を復元する手法が開示されている。

Ｍ．Ｇｏｅｓｅｌｅ， Ｂ．Ｃｕｒｌｅｓｓ， Ｓ．Ｍ．Ｓｅｉｔｚ，"Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｖｉｓｉｔｅｄ"， Ｐｒｏｃ．ｏｆ ｔｈｅ ＩＥＥＥ ２００６

しかしながら、多視点画像から生成した三次元形状モデルにおいて、三次元形状が生成されない未生成領域が発生することがある。
未生成領域が発生する要因としては、例えば、対象物が他の物体に隠れてしまうオクルージョンにより特定の部分が撮像されている画像が少なくなってしまったことにより特定の部分における深度情報が正しく算出されないことが考えられる。また、他の要因としては、表面の質感が少ないテクスチャレスである場合や、多視点画像を撮像する際の対象物と撮像位置（視点）との距離が近すぎる又は遠すぎる場合にも、深度情報が正しく算出されなくなる可能性がある。しかし、三次元形状モデルを生成するアルゴリズムを詳しく知らないユーザが、未生成領域が発生した場合に、これらの要因を特定することは困難であった。

本発明は、このような状況に鑑みてなされたもので、多視点画像から生成した三次元形状モデルにおける三次元形状が生成されなかった領域について、その三次元形状が生成されない要因を特定することができる三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムを提供する。

本発明の、三次元形状モデル生成装置は、対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成部と、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成部と、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定部と、を備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記メッシュモデル生成部は、三次元点群を用いて前記対象物の三次元形状をポリゴンで表す第１メッシュモデルを生成する第１メッシュモデル生成部と、前記第１メッシュモデルから所定の条件に基づく不正確ポリゴンを除去した第２メッシュモデルを生成する第２メッシュモデル生成部と、を有し、前記特定部は、前記不正確ポリゴンに対応する領域を、三次元形状が生成されなかった未生成領域とし、当該未生成領域において三次元形状が生成されなかった未生成要因を前記不正確ポリゴンごとに特定することを特徴とする。

本発明の、三次元形状モデル生成装置は、前記不正確ポリゴンは、前記第１メッシュモデルに含まれるポリゴンのうち、所定の閾値以上の面積を有するポリゴン、所定の閾値以上の面積比を有するポリゴン、所定の閾値以上の長さの辺を有するポリゴン、所定の境界領域の外に存在するポリゴン、及びポリゴンに含まれる前記三次元点群の点密度が所定の閾値未満のポリゴンの各々の少なくとも何れかに該当するポリゴンであることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記特定部は、前記未生成領域に対応する箇所が撮像された前記多視点画像の数に基づいて、前記未生成領域における前記未生成要因がオクルージョンに起因するものか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成装置は、前記特定部は、前記多視点画像における前記未生成領域に対応する箇所の輝度勾配に基づいて、前記多視点画像ごとに、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因がテクスチャレスに起因するものか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成装置は、前記特定部は、前記多視点画像における前記未生成領域に対応する箇所を学習済みモデルに入力して得られる出力に基づいて、前記多視点画像ごとに、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因が前記対象物から視点までの撮影距離に起因するものか否かを判定し、前記学習済みモデルは、学習用対象物を異なる視点から撮像した二枚以上の画像である学習用多視点画像から生成した学習用三次元形状モデルにおける前記未生成領域について、前記学習用多視点画像の各々における前記学習用三次元形状モデルの前記未生成領域に対応する箇所と、前記未生成領域における前記未生成要因とを対応づけた学習データを用いて機械学習を実行することにより作成されたモデルであることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記特定部は、前記多視点画像ごとに前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因を判定した結果を投票することにより前記未生成領域における前記未生成要因を決定することを特徴とする。

本発明の、三次元形状モデル生成装置は、前記多視点画像に前記未生成領域及び前記未生成要因を表示する表示部、更に備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記メッシュモデルに前記未生成領域及び前記未生成要因を表示する表示部、更に備えることを特徴とする。

本発明の、三次元形状モデル生成装置は、前記表示部は、前記未生成要因に対する対策を表示することを特徴とする。

本発明の、三次元形状モデル生成方法は、対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置の三次元形状モデル生成方法であり、三次元点群生成部が、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成過程と、メッシュモデル生成部が、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成過程と、特定部が、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定過程と、を含むことを特徴とする。

本発明のプログラムは、対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置に用いられるコンピュータを、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成手段、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成手段、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定手段として動作させるためのプログラムである。

本発明によれば、多視点画像から生成した三次元形状モデルにおける三次元形状が生成されなかった領域について、その三次元形状が生成されない要因を特定することができる。

実施形態による三次元形状モデル生成装置１における構成の例を示すブロック図である。 実施形態による多視点画像情報取得部１０１により取得される多視点画像Ｇの例を示す図である。 実施形態による三次元点群生成部１０３により生成される三次元点群Ｔの例を示す図である。 実施形態による第１メッシュモデル生成部１０４により生成されるメッシュモデルＭの例を示す図である。 実施形態による第２メッシュモデル生成部１０５により生成されるメッシュモデルＭの例を示す図である。 実施形態による表示部１１０により表示される表示例を示す図である。 実施形態による表示部１１０により表示される表示例を示す図である。 実施形態による三次元形状モデル生成装置１が行う処理の流れを説明するフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、実施形態による三次元形状モデル生成装置１における構成の例を示すブロック図である。三次元形状モデル生成装置１は、例えば、多視点画像情報取得部１０１と、カメラパラメータ取得部１０２と、三次元点群生成部１０３と、第１メッシュモデル生成部１０４と、第２メッシュモデル生成部１０５と、多視点画像情報記憶部１０６と、三次元点群情報記憶部１０７と、メッシュモデル情報記憶部１０８と、特定部１０９と、表示部１１０とを備える。ここで、第１メッシュモデル生成部１０４と第２メッシュモデル生成部１０５とは、「メッシュモデル生成部」の一例である。

多視点画像情報取得部１０１は、多視点画像の情報を取得する。多視点画像とは、三次元形状モデルを生成する対象とする対象物を互いに異なる視点から撮像した二枚以上の画像である。多視点画像の情報とは、多視点画像を表現するために必要な情報であって、例えば、多視点画像の各々のピクセル毎の輝度値やＲＧＢ値を示す情報である。多視点画像情報取得部１０１は、例えば、多視点画像情報記憶部１０６を参照し、多視点画像情報記憶部１０６に予め記憶された多視点画像の情報を取得する。多視点画像情報取得部１０１は、取得した多視点画像の情報を三次元点群生成部１０３に出力する。

図２は、実施形態による多視点画像情報取得部１０１により取得される多視点画像Ｇの例を示す図である。
図２に示すように、多視点画像は、対象物（この例では、複数の家屋の模型を連結させた街並みの模型）を互いに異なる視点から撮像した画像である。この例では、パラソルが設けられたテラスを備える家屋を、当該テラスを有する側から見た方向を対象物の正面方向として、視点が正面からみてやや左側の上に位置する多視点画像Ｇ１、視点が正面からみてやや右側にある多視点画像Ｇ２、視点が正面からみて左側にある多視点画像Ｇ３、視点が正面からみて右側にある多視点画像Ｇ４、の各々を示している。また、多視点画像Ｇ１は、上方向に視点があるため、テラスや玄関部の床面が撮像されているが、左右の壁面は撮像されていない。多視点画像Ｇ２は、右側に視点があるため、右側の壁面が撮像されているが、左側の壁面は撮像されていない。多視点画像Ｇ３は、左側に視点があるが、一階の部分が切れた状態で撮像されており、左側の壁面の一部のみが撮像されている。多視点画像Ｇ４は、右側に視点があるが、一階の部分が切れた状態で撮像されており、右側の壁面の一部のみが撮像されている。多視点画像Ｇ３では、視点からみてテラスを備える家屋の奥に配置された家屋が撮像されている。
このように、対象物を異なる視点から撮像した多視点画像を多数用いることにより、対象物における様々な箇所の深度情報を算出することが可能となり、算出した深度情報から対象物の三次元形状モデルを生成することが可能となる。

図１に戻り、カメラパラメータ取得部１０２は、多視点画像のカメラパラメータを取得する。多視点画像のカメラパラメータとは、多視点画像の属性情報であって、例えば、多視点画像を撮像した際の視点の位置、撮像方向、画角などを示す情報である。また、カメラパラメータには、多視点画像を撮像した撮像装置に関する情報（所謂、内部パラメータ）を含んでいてもよい。内部パラメータは、撮像装置の構成要素の仕様や撮像時の状態を示す情報であって、例えば、撮像時レンズの焦点距離、シャッタースピード、露光状態、画像の分解能（ピクセル数）、レンズの歪曲収差係数などを示す情報である。カメラパラメータ取得部１０２、例えば、多視点画像情報記憶部１０６を参照し、多視点画像情報記憶部１０６に予め記憶された多視点画像のカメラパラメータを取得する。カメラパラメータ取得部１０２は、取得した多視点画像のカメラパラメータを三次元点群生成部１０３に出力する。

三次元点群生成部１０３は、多視点画像の情報、及び多視点画像のカメラパラメータを用いて対象物の三次元形状に対応する三次元点群（図３参照）を生成する。三次元点群生成部１０３は、生成した三次元点群を、三次元点群情報記憶部１０７に記憶させる。
三次元点群生成部１０３は、まず、多視点画像の情報、及びカメラパラメータを用いて、デプスマップを生成する。デプスマップとは、多視点画像の各々におけるピクセル毎の奥行き（デプス）を示す情報（マップ）である。三次元点群生成部１０３は、例えば、パッチマッチステレオ（PatchMatch Stereo）法を用いてデプスマップを生成する。この場合、三次元点群生成部１０３は、多視点画像におけるデプスマップ及び法線ベクトルマップのピクセル毎の初期値を乱数により生成する。

三次元点群生成部１０３は、乱数により初期値を生成したデプスマップ及び法線ベクトルマップに対して、ピクセル毎に隣接する他のピクセルに対する数値の空間伝搬と、多視点画像における数値の空間伝搬と、乱数により求めた調整値を用いて、ピクセル毎の深度情報（奥行き情報）及び法線ベクトルの微調整とを繰り返して行なう。三次元点群生成部１０３は、多視点画像における同一のピクセル間のマッチングスコアが最大値となるデプスマップ及び法線ベクトルマップを、多視点画像のデプスマップ及び法線ベクトルマップそれぞれとする（例えば、特願２０１６−１２４８２０号公報の記載参照）。ここで、マッチングスコアとして、画像の局所領域（パッチ）における正規化相互相関、または画像の局所領域のＳＳＤ（Sum of Squared Differences）などが用いられてもよい。

三次元点群生成部１０３は、多視点画像の各々のデプスマップを統合して三次元点群を生成する。三次元点群生成部１０３は、多視点画像におけるデプスマップの各々から三次元点群を求め、この三次元点群における三次元点の三次元座標を、多視点画像のカメラパラメータに基づいて座標変換を行ない、世界座標系における三次元座標とする。つまり、三次元点群生成部１０３は、多視点画像の各々に対応するデプスマップに基づく三次元点群の各々を、世界座標系において統合する。

三次元点群生成部１０３は、異なる多視点画像における同一の領域において、異なる三次元点として生成されている複数の三次元点を、一つの三次元点とする処理を行なう。例えば、三次元点群生成部１０３は、ボクセルグリッドフィルタを用いて、上述した同一の領域における複数の三次元点の統合を行なう。すなわち、三次元点群生成部１０３は、世界座標系における三次元空間を所定の大きさのボクセルグリッドで区切る。そして、三次元点群生成部１０３は、区切ったボクセル毎に内部に含まれる三次元点の三次元座標を抽出し、ボクセル内における三次元点の三次元座標の平均値を有する三次元点のみを残し、他の三次元点を除去する。

図３は、実施形態による三次元点群生成部１０３により生成される三次元点群Ｔの例を示す図である。図３では、三次元点群Ｔ１と、三次元点群Ｔ１の一部である三次元点群Ｔ１０を拡大させた図を示している。
図３に示すように、三次元点群Ｔ１は、対象物の様々な箇所に対応する三次元点の集合である。この例では、多視点画像Ｇ３と同方向の視点からみた三次元点群を示しており、正面左側からみた、テラスを備える家屋の、当該家屋の両隣の家屋が点群により復元されている。一方、三次元点群Ｔ１０の左上の部分においては、点群が存在しない部分があり対象物が上手く復元されていない。

ここで、三次元点群生成部１０３により多視点画像から三次元点群が生成される際、多視点画像に撮像されている箇所でも、三次元点が生成されない場合がある。

この原因の一つとして、ある視点の多視点画像における三次元点群の三次元点が、他の視点の多視点画像における三次元点群の三次元点により遮蔽されている、つまり、ある視点から見える対象物が、他の視点から見える他の物体の後ろに隠れてしまうオクルージョンが発生したことが考えられる。この場合、ステレオ視の原理による三次元座標の計算に必要な視点数に満たないために、三次元座標が計算できなかったり、オクルージョンが発生していない視点数よりもオクルージョンが発生している視点数が多いと、深度情報の誤差が大きくなってしまうために、正しい位置に三次元点を生成できなかったりする。

或いは、対象物において表面の質感が少ないテクスチャレスである領域があり、特徴点が精度よく検出できないためにステレオマッチングを行う多視点画像のペアにおけるピクセル間のマッチングが不適切となったことが考えられる。この場合、マッチングの誤差により正しい位置に三次元点を生成できなかったり、マッチングスコアが低いことにより三次元座標の計算に必要な視点数で対応関係を求められずに三次元座標が計算できなかったりする。

或いは、ステレオマッチングを行う多視点画像のペアにおいて対象物から多視点画像の視点までの距離（以下、撮影距離ともいう）が互いに大きく異なり、互いの多視点画像において対象物の見え方が異なるためにピクセル間のマッチングが不適切となったことが考えられる。

このように、オクルージョン、テクスチャレス、又は撮影距離などの要因から、実際には存在しない不正確な三次元点が生成されたり、正確な位置に三次元点が生成されなかったりする可能性がある。

図１に戻り、第１メッシュモデル生成部１０４は、三次元点群を用いて、メッシュモデルを生成する。メッシュモデルは、対象物の三次元形状をポリゴン（多角形）の集合体として示す三次元形状モデルである。第１メッシュモデル生成部１０４は、生成したメッシュモデルを、メッシュモデル情報記憶部１０８に記憶させる。

第１メッシュモデル生成部１０４は、例えば、ポワソンメッシュ再構築（Poisson Surface Reconstruction）やフローティングスケールメッシュ再構築（Floating Scale Surface Reconstruction）の手法を用いて、三次元点群からメッシュモデルを生成する。

図４は、実施形態による第１メッシュモデル生成部１０４により生成されるメッシュモデルＭの例を示す図である。図４では、メッシュモデルＭ１と、メッシュモデルＭ１の一部であるメッシュモデルＭ１０を拡大させた図を示している。
図４に示すように、メッシュモデルＭ１は、対象物の様々な箇所に対応するポリゴンの集合である。この例では、三次元点群Ｔ１と同方向の視点からみたメッシュモデルを示しており、三次元点群Ｔ１において復元されていた部分が細かいポリゴンで表現されている。一方、三次元点群Ｔ１において上手く復元されていなかった部分については目の粗いポリゴンで表現されており、対象物が上手く復元されていない。また、三次元点群Ｔ１において三次元点が存在しない部分についても、メッシュモデルＭ１においてポリゴンが生成され、補間されることもある。

そして、このように補間によって生成したポリゴンは不正確なポリゴン（以下、不正確ポリゴンともいう）である可能性が高く、メッシュモデルＭ１には不正確なポリゴンが含まれてしまう。

この対策として、第２メッシュモデル生成部１０５は、第１メッシュモデル生成部１０４により生成されたメッシュモデル（以下、第１メッシュモデルともいう）から不正確ポリゴンを除去する。つまり、第２メッシュモデル生成部１０５は、第１メッシュモデルから不正確ポリゴンを除去したメッシュモデル（以下、第２メッシュモデルともいう）を生成する。第２メッシュモデル生成部１０５は、生成したメッシュモデルを、メッシュモデル情報記憶部１０８に記憶させる。

ここで、第２メッシュモデル生成部１０５が第１メッシュモデルから除去する不正確ポリゴンについて説明する。不正確ポリゴンは、三次元形状を形成する上で、不正確とみなされるポリゴンであり、例えば、不正確な三次元点を用いて生成されたポリゴンや、三次元点が存在しない領域を補間するように生成されたポリゴンである。第２メッシュモデル生成部１０５は、例えば、所定の条件を有するポリゴンを不正確ポリゴンとみなして除去する。

ここでの所定の条件は、例えば、ポリゴンの面積が所定の閾値以上であること、ポリゴンの面積比が所定の閾値以上であること等である。ここでの面積比は、メッシュモデルに含まれる全てのポリゴンの面積の代表値（例えば、単純加算平均値や中央値など）に対する各ポリゴンの面積の比率である。
また、所定の条件に、ポリゴンの一辺の長さが所定の閾値以上であること、ポリゴンが予め設定された所定の境界領域（バウンディングボックス）の外に存在していること等が含まれていてもよい。ここでのバウンディングボックスは、例えば、対象物の三次元点を中心とした所定の大きさの円、或いは矩形で示される領域である。また、所定の条件に、ポリゴンに含まれる三次元点の点密度が所定の閾値未満であることが含まれていてもよい。

なお、上述した不正確ポリゴンの判定に用いる面積、面積比、一辺の長さ、点密度の各々に応じた所定の閾値、或いはバウンディングボックスの領域は、生成する三次元形状モデルの精度や、生成の過程で用いる演算処理装置の処理能力などに応じて任意に定められてよい。

図５は、実施形態による第２メッシュモデル生成部１０５により生成されるメッシュモデルＭの例を示す図である。図５では、メッシュモデルＭ２と、メッシュモデルＭ２の一部であるメッシュモデルＭ２０を拡大させた図を示している。
図５に示すように、メッシュモデルＭ２は、メッシュモデルＭ１において対象物が上手く復元されていたポリゴンを残し、上手く復元されていなかった不正確ポリゴンが除去されたメッシュモデルである。

図１に戻り、多視点画像情報記憶部１０６は、多視点画像の輝度値やＲＧＢ値等の情報、及びカメラパラメータを記憶する。
三次元点群情報記憶部１０７は、三次元点群生成部１０３により生成された三次元点群の情報を記憶する。
メッシュモデル情報記憶部１０８は、第１メッシュモデル生成部１０４により生成された第１メッシュモデル、及び第２メッシュモデル生成部１０５により生成された第２メッシュモデルの情報を記憶する。

特定部１０９は、メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定する。ここでのメッシュモデルは、第１メッシュモデル生成部１０４により生成された第１メッシュモデルであってもよいし、第２メッシュモデル生成部１０５により生成された第２メッシュモデルであってもよい。また、特定部１０９は、メッシュモデルにおける未生成領域を特定するとともに、多視点画像の各々について、メッシュモデルにおける未生成領域に対応する領域を特定する。

例えば、特定部１０９は、メッシュモデルを二次元平面に投影し、投影したメッシュモデルのうち、ポリゴンが形成されていない領域を未生成領域とする。そして、特定部１０９は、多視点画像の各々の視点からみたメッシュモデルを二次元平面に投影し、その視点に対応する多視点画像と、投影したメッシュモデルとを比較し、投影したメッシュモデルにおける未生成領域に対応する多視点画像の領域を、多視点画像における未生成領域として特定する。

或いは、特定部１０９は、第１メッシュモデルから除去された不正確ポリゴンが形成されていた領域を未生成領域とするようにしてもよい。特定部１０９は、多視点画像の各々の視点からみた不正確ポリゴンを二次元平面に投影し、その視点に対応する多視点画像と、投影した不正確ポリゴンとを比較し、投影した不正確ポリゴンに対応する多視点画像の領域を、多視点画像における未生成領域として特定する。

或いは、特定部１０９は、三次元点群生成部１０３により生成された多視点画像毎のデプスマップのうち、深度情報が算出されなかったピクセルに対応する領域を、その多視点画像における未生成領域としてもよい。

特定部１０９は、特定した未生成領域において、更に、その未生成領域に三次元形状が生成されなかった未生成要因を特定する。ここでの未生成要因は、例えば、対象物にオクルージョンである部分が存在することに起因するもの（以下、単にオクルージョンという）であるか否か、対象物にテクスチャレスである部分が存在することに起因するもの（以下、単にテクスチャレスという）であるか否か、対象物から視点までの撮影距離が遠すぎたり近すぎたりすることに起因するもの（以下、単に撮影距離という）であるか否か、を判断するものである。

特定部１０９は、例えば、メッシュモデルにおける未生成領域について、その未生成領域に対応する箇所が撮像された多視点画像を抽出する。特定部１０９は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値未満である場合、そのメッシュモデルにおける未生成領域の未生成要因がオクルージョンであると判定する。特定部１０９は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値以上である場合、そのメッシュモデルにおける未生成領域の未生成要因がオクルージョンでないと判定する。これは、オクルージョンが発生した領域においては、メッシュモデルが精度よく生成された領域と比較して、正しくステレオマッチングのペアを組める多視点画像が少ないと考えられるためである。

また、特定部１０９は、多視点画像の各々における未生成領域について、輝度勾配を算出し、算出した輝度勾配が所定の閾値未満であれば、その未生成領域の未生成要因がテクスチャレスであると判定する。

また、特定部１０９は、多視点画像の各々における未生成領域について、当該未生成領域に対応するデプスマップの深度情報を用いて算出した未生成領域における奥行値の代表値（例えば、平均値や中央値など）が、所定の閾値未満であれば、その未生成領域の未生成要因が撮影距離であると判定する。

また、特定部１０９は、多視点画像の各々における未生成領域について、機械学習手法を用いて未生成要因を特定するようにしてもよい。例えば、特定部１０９は、多視点画像の各々における未生成領域を学習済みモデルに入力して得られる出力に基づいて未生成要因を特定する。

ここでの学習済みモデルは、学習用の対象物（学習用対象物）とする様々な物体を異なる視点から撮像した学習用の多視点画像から生成した学習用三次元形状モデルにおける未生成領域に、未生成要因を対応付けた学習データを用いて機械学習を実行することにより作成されたモデルである。学習済みモデルを作成する機械学習の技法としては、畳み込みニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、決定木学習、遺伝的プログラミング、などの一般的に用いられている技法のいずれが用いられてもよい。

例えば、特定部１０９は、学習用三次元形状モデルにおける未生成領域について、学習用の多視点画像の各々におけるその未生成領域に対応する箇所に、未生成要因を対応付けた学習データを用いて機械学習を実行することにより未生成領域と未生成要因との対応関係を学習した学習済みモデルを生成する。

特定部１０９は、未生成領域を有する多視点画像を学習済みモデルに入力する。
学習済みモデルは、例えば、入力された多視点画像における未生成領域と、学習済みの学習用多視点画像の各々における未生成領域との類似度合いを算出する。ここでの類似度合いは、例えば、入力された多視点画像における未生成領域の特徴量を高次元のベクトル表現により数値化した値と、学習済みの学習用多視点画像における未生成領域の特徴量を高次元のベクトル表現により数値化した値との、高次元のベクトル空間における距離として算出される。このベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。

学習済みモデルは、入力された多視点画像における未生成領域との類似度合いが所定の閾値未満である、つまり類似していると判定することができる学習済みの学習用多視点画像における未生成領域に対応付けられた未生成要因を、入力された多視点画像における未生成領域の未生成要因として出力する。

特定部１０９は、未生成領域を有する多視点画像を学習済みモデルに入力して得られる出力に基づいて、多視点画像における未生成領域の未生成要因を特定する。すなわち、特定部１０９は、学習済みモデルから未生成要因として撮影距離が出力された場合、入力された多視点画像における未生成領域の未生成要因が撮影距離であると判定する。特定部１０９は、学習済みモデルから未生成要因として撮影距離とは異なる要因が出力された場合、入力された多視点画像における未生成領域の未生成要因が撮影距離でないと判定する。

なお、上記では、特定部１０９が学習済みモデルを用いて、未生成要因が撮影距離であるか否かを判定する場合を例示して説明したが、これに限定されることはない。特定部１０９は、学習済みモデルを用いて他の未生成要因（例えば、オクルージョンやテクスチャレス）であるか否かを判定するようにしてもよい。

上述したように、特定部１０９は、多視点画像毎に、多視点画像における未生成領域について未生成要因を特定する。この場合、メッシュモデルにおける同一の未生成領域に対応する箇所であっても、多視点画像の各々において互いに異なる未生成要因が特定される場合がある。例えば、図５のようにテラスを備える家屋の左隣の家屋の壁面の一部が未生成領域となるメッシュモデルＭ２が生成された場合、図２の多視点画像Ｇ１では未生成要因がオクルージョンであると判定され、多視点画像Ｇ２では未生成要因が撮影距離であると判定される場合があると考えられる。

この対策として、特定部１０９は、多視点画像の各々における未生成領域について特定した未生成要因を投票することにより、メッシュモデルにおける未生成領域の未生成要因を決定してもよい。
例えば、特定部１０９は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の各々について、当該対応する箇所の未生成要因を特定する。特定部１０９は、未生成要因として特定されたもののうち最も数が多い要因を、メッシュモデルにおける当該未生成領域の未生成要因とする。
或いは、特定部１０９は、未生成要因として特定されたすべての要因に対し、所定の閾値以上の割合を示す要因を、メッシュモデルにおける当該未生成領域の未生成要因とするようにしてもよい。

上記では、特定部１０９が未生成領域における未生成要因を特定する場合を例示して説明したが、これに限定されない。特定部１０９は、未生成領域として特定した不正確ポリゴンについて、その不正確ポリゴンが除去の対象となり三次元形状が生成されなかった未生成要因を特定するようにしてもよい。

特定部１０９は、例えば、第１メッシュモデルにおける不正確ポリゴンについて、その不正確ポリゴンに対応する箇所が撮像された多視点画像を抽出する。特定部１０９は、不正確ポリゴンに対応する箇所が撮像された多視点画像の数が所定の閾値未満である場合、その不正確ポリゴンの未生成要因がオクルージョンであると判定する。特定部１０９は、不正確ポリゴンに対応する箇所が撮像された多視点画像の数が所定の閾値以上である場合、その不正確ポリゴンの未生成要因がオクルージョンでないと判定する。特定部１０９は、未生成領域に対応するポリゴン（不正確ポリゴン）の深度情報を用いて算出した不正確ポリゴンの奥行値の代表値が、所定の閾値未満であれば、その未生成領域の未生成要因が撮影距離であると判定する。

特定部１０９は、不正確ポリゴンを多視点画像の各々に投影させた未生成領域について、上述した輝度勾配を算出することにより未生成要因がテクスチャレスであるか否かを判定する。

特定部１０９は、不正確ポリゴンを多視点画像の各々に投影させた未生成領域について、上述した機械学習手法を用いて未生成要因が撮影距離であるか否かを判定する。

また、特定部１０９は、多視点画像の各々における不正確ポリゴンについて特定した未生成要因を投票することにより、上述したように、不正確ポリゴンの未生成要因を決定してもよい。

表示部１１０は、特定部１０９により特定された未生成領域、その未生成領域において特定された未生成要因、及びその未生成要因に対する対策を表示する。表示部１１０は、メッシュモデルに未生成領域等を表示するようにしてもよいし、多視点画像に未生成領域等を表示するようにしてもよい。

図６は、実施形態による表示部１１０により表示される表示例を示す図である。図６ではメッシュモデルに未生成領域等を表示させた例を示している。
図６に示すように、表示部１１０は、メッシュモデルＭ２における未生成領域を、例えば矢印の表示Ｈ１２、Ｈ２２、Ｈ３２、Ｈ４２により表示する。表示部１１０は、メッシュモデルＭ２における未生成領域の各々の未生成要因及びその対策をメッセージの表示Ｈ１〜Ｈ４により表示する。
この例では、表示Ｈ１２に対応する未生成領域における未生成要因がオクルージョンであることがメッセージの表示Ｈ１０により示され、その対策として当該領域を撮像した多視点画像を増やすことが表示Ｈ１１により示されている。
また、表示Ｈ２２に対応する未生成領域における未生成要因がテクスチャレスであることがメッセージの表示Ｈ２０により示され、その対策として当該領域に模様を付けることが表示Ｈ２１により示されている。
また、表示Ｈ３２に対応する未生成領域における未生成要因が撮影距離であることがメッセージの表示Ｈ３０により示され、その対策として当該領域に撮影距離を近づけた多視点画像を撮像することが表示Ｈ３１により示されている。
また、表示Ｈ４２に対応する未生成領域における未生成要因がオクルージョンであることがメッセージの表示Ｈ４０により示され、その対策として当該領域を撮像した多視点画像を増やすことが表示Ｈ４１により示されている。

図７は、実施形態による表示部１１０により表示される表示例を示す図である。図７では多視点画像に未生成領域等を表示させた例を示している。
図７に示すように、表示部１１０は、多視点画像Ｇ３における未生成領域を、例えば矢印の表示Ｈ５２、Ｈ６２により表示する。表示部１１０は、多視点画像Ｇ３における未生成領域の各々の未生成要因及びその対策をメッセージの表示Ｈ５、Ｈ６により表示する。
この例では、表示Ｈ５２が、図６の表示Ｈ２２に対応している。この場合、図６同様に、未生成領域における未生成要因がテクスチャレスであることがメッセージの表示Ｈ５０により示され、その対策として当該領域に模様を付けることが表示Ｈ５１により示されている。
また、表示Ｈ６２が、図６の表示Ｈ３２に対応している。この場合、図６同様に、未生成領域における未生成要因が撮影距離であることがメッセージの表示Ｈ６０により示され、その対策として当該領域に撮影距離を近づけた多視点画像を撮像することが表示Ｈ６１により示されている。

図８は、実施形態による三次元形状モデル生成装置１が行う処理の流れを説明するフローチャートである。
ステップＳ１０：
三次元形状モデル生成装置１は、多視点画像情報取得部１０１により多視点画像の情報（例えば、輝度値やＲＧＢ値）を取得する。また、三次元形状モデル生成装置１は、カメラパラメータ取得部１０２により多視点画像のカメラパラメータを取得する。
ステップＳ１１：
三次元形状モデル生成装置１は、三次元点群生成部１０３により対象物の三次元点群を生成する。三次元点群生成部１０３は、多視点画像の情報とカメラパラメータを用いて、多視点画像のピクセル毎にステレオマッチングを行うことにより、その多視点画像におけるデプスマップを生成する。三次元点群生成部１０３は、多視点画像毎のデプスマップを統合することにより対象物の三次元点群を生成する。

ステップＳ１２：
三次元形状モデル生成装置１は、第１メッシュモデル生成部１０４によりメッシュモデル（第１メッシュモデル）を生成する。第１メッシュモデル生成部１０４は、対象物の三次元点群から第１メッシュモデルを生成する。また、三次元形状モデル生成装置１は、第２メッシュモデル生成部１０５により、第１名詞から不正確ポリゴンを除去した第２メッシュモデルを生成するようにしてもよい。
ステップＳ１３：
三次元形状モデル生成装置１は、特定部１０９により、メッシュモデルにおける未生成領域を特定する。特定部１０９は、第１メッシュモデルを様々な視点から見た三次元形状を二次元平面に投影した場合において、ポリゴンが存在しない領域を未生成領域とする。或いは、特定部１０９は、第２メッシュモデル生成部１０５により除去された不正確ポリゴンが存在していた領域を未生成領域としてもよい。

ステップＳ１４：
三次元形状モデル生成装置１は、特定部１０９により、多視点画像における、メッシュモデルの未生成領域に対応する箇所を特定する。特定部１０９は、メッシュモデルを多視点画像の視点からみた三次元形状を二次元平面に投影させた画像における未生成領域に対応する領域を、多視点画像における未生成領域として特定する。
ステップＳ１５：
三次元形状モデル生成装置１は、特定部１０９により、メッシュモデルの未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値未満であるか否かを判定する。
ステップＳ１６：
三次元形状モデル生成装置１は、特定部１０９により、メッシュモデルの未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値未満であると判定した場合、その未生成領域における未生成要因はオクルージョンであると判定する。

ステップＳ１７：
三次元形状モデル生成装置１は、特定部１０９により、多視点画像における未生成領域の輝度勾配が所定の閾値未満であるか否かを判定する。
ステップＳ１８：
三次元形状モデル生成装置１は、特定部１０９により、多視点画像における未生成領域の輝度勾配が所定の閾値未満であると判定した場合、その未生成領域における未生成要因はテクスチャレスであると判定する。

ステップＳ１９：
三次元形状モデル生成装置１は、特定部１０９により、未生成領域を有する多視点画像を学習済みモデルに入力して得られる出力が撮影距離であるか否かを判定する。ここでの学習済みモデルは、未生成領域を有する学習用の多視点画像に、その未生成領域における未生成要因を対応付けた学習データを用いて機械学習を実行することにより作成されたモデルである。
ステップＳ２０：
三次元形状モデル生成装置１は、特定部１０９により、学習済みモデルから得られた出力が撮影距離であると判定した場合、その未生成領域における未生成要因は撮影距離であると判定する。

以上説明したように、実施形態における三次元形状モデル生成装置１は、三次元点群生成部１０３と第１メッシュモデル生成部１０４（又は第２メッシュモデル生成部１０５）と特定部１０９とを備える。三次元点群生成部１０３は、多視点画像Ｇから対象物の三次元形状に対応する三次元点群を生成する。第１メッシュモデル生成部１０４は、三次元点群を用いて対象物の三次元形状をポリゴンで表すメッシュモデルＭを生成する。特定部１０９は、メッシュモデルＭのうち、三次元形状が生成されなかった未生成領域を特定し、メッシュモデルＭと多視点画像Ｇとを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する。これにより、実施形態における三次元形状モデル生成装置１は、多視点画像Ｇから生成した三次元形状モデル（メッシュモデルＭ）における三次元形状が生成されなかった領域について、多視点画像Ｇに投影することにより、三次元形状が生成されなかった要因を特定することができる。

また、実施形態における三次元形状モデル生成装置１では、特定部１０９は、未生成領域に対応する箇所が撮像された多視点画像の数に基づいて、未生成領域における未生成要因がオクルージョンに起因するものか否かを判定する。これにより実施形態における三次元形状モデル生成装置１は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の数をカウントするという容易な方法により未生成要因がオクルージョンに起因するものか否かを判定することができる。

また、実施形態における三次元形状モデル生成装置１では、特定部１０９は、多視点画像における未生成領域に対応する箇所の輝度勾配に基づいて、多視点画像ごとに、多視点画像における未生成領域に対応する箇所の未生成要因がテクスチャレスに起因するものか否かを判定する。これにより、実施形態における三次元形状モデル生成装置１は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の数が多く存在し、未生成要因がオクルージョンに起因するものでない場合であっても、その領域における輝度勾配に基づいて、未生成要因がテクスチャレスに起因するものか否かを判定することができる。

また、実施形態における三次元形状モデル生成装置１では、特定部１０９は、多視点画像における未生成領域に対応する箇所を学習済みモデルに入力して得られる出力に基づいて、多視点画像ごとに、多視点画像における未生成領域に対応する箇所の未生成要因が撮影距離に起因するものか否かを判定する。これにより、実施形態における三次元形状モデル生成装置１は、未生成要因がオクルージョン又はテクスチャレスと判定されない場合であっても、機械学習手法を用いて、未生成要因を特定することが可能となる。

また、実施形態における三次元形状モデル生成装置１では、特定部１０９は、多視点画像ごとに、多視点画像における未生成領域に対応する箇所の未生成要因を判定した結果を投票することにより未生成領域における未生成要因を決定する。これにより、実施形態における三次元形状モデル生成装置１は、メッシュモデルにおける同一の未生成領域について、多視点画像により異なる未生成要因が特定された場合であっても、投票による多数決などにより、未生成要因を決定することができる。

また、実施形態における三次元形状モデル生成装置１では、特定部１０９は、第１メッシュモデルにおいて不正確ポリゴンが存在していた領域を未生成領域として特定し、不正確ポリゴン毎に未生成要因を特定するようにしてもよい。これにより、実施形態における三次元形状モデル生成装置１では、未生成領域についてより細かい領域ごとに未生成要因を特定することが可能である。

また、実施形態における三次元形状モデル生成装置１では、不正確ポリゴンは、第１メッシュモデルに含まれるポリゴンのうち、所定の閾値以上の面積を有するポリゴン、所定の閾値以上の面積比を有するポリゴン、所定の閾値以上の長さの辺を有するポリゴン、所定の境界領域の外に存在するポリゴン、及びポリゴンに含まれる前記三次元点群の点密度が所定の閾値未満のポリゴンの各々の少なくとも何れかに該当するポリゴンである。これにより、実施形態における三次元形状モデル生成装置１では、ポリゴンの面積や面積比、或いは一辺の長さや、三次元点の点密度等、定量的な指標に基づいて、不正確ポリゴンか否かを判定することができる。

また、実施形態における三次元形状モデル生成装置１では、多視点画像、及び／又はメッシュモデルに、未生成領域及び未生成要因を表示する表示部１１０、更に備えることにより、三次元形状モデルを生成するアルゴリズムを詳しく知らないユーザに、未生成領域及び未生成要因を認識させることが可能となる。さらに表示部１１０が、未生成要因に対する対策を表示することで、ユーザは未生成要因を解消し得る対策を認識することができる。

上述した実施形態における三次元形状モデル生成装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…三次元形状モデル生成装置
１０１…多視点画像情報取得部
１０２…カメラパラメータ取得部
１０３…三次元点群生成部
１０４…第１メッシュモデル生成部
１０５…第２メッシュモデル生成部
１０６…多視点画像情報記憶部
１０７…三次元点群情報記憶部
１０８…メッシュモデル情報記憶部
１０９…特定部
１１０…表示部

Claims (13)

1. 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、
   前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成部と、
   前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成部と、
   前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定部と、
   を備えることを特徴とする三次元形状モデル生成装置。
2. 前記メッシュモデル生成部は、
   三次元点群を用いて前記対象物の三次元形状をポリゴンで表す第１メッシュモデルを生成する第１メッシュモデル生成部と、
   前記第１メッシュモデルから所定の条件に基づく不正確ポリゴンを除去した第２メッシュモデルを生成する第２メッシュモデル生成部と、
   を有し、
   前記特定部は、前記不正確ポリゴンに対応する領域を、三次元形状が生成されなかった未生成領域とし、当該未生成領域において三次元形状が生成されなかった未生成要因を前記不正確ポリゴンごとに特定する、
   請求項１に記載の三次元形状モデル生成装置。
3. 前記不正確ポリゴンは、前記第１メッシュモデルに含まれるポリゴンのうち、所定の閾値以上の面積を有するポリゴン、所定の閾値以上の面積比を有するポリゴン、所定の閾値以上の長さの辺を有するポリゴン、所定の境界領域の外に存在するポリゴン、及びポリゴンに含まれる前記三次元点群の点密度が所定の閾値未満のポリゴンの各々の少なくとも何れかに該当するポリゴンである、
   請求項２に記載の三次元形状モデル生成装置。
4. 前記特定部は、前記未生成領域に対応する箇所が撮像された前記多視点画像の数に基づいて、前記未生成領域における前記未生成要因がオクルージョンに起因するものか否かを判定する、
   ことを特徴とする請求項１から請求項３の何れか一項に記載の三次元形状モデル生成装置。
5. 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所の輝度勾配に基づいて、前記多視点画像ごとに、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因がテクスチャレスに起因するものか否かを判定する、
   ことを特徴とする請求項１から請求項４の何れか一項に記載の三次元形状モデル生成装置。
6. 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因が前記対象物から視点までの撮影距離に起因するものか否かを判定する、
   ことを特徴とする請求項１から請求項５の何れか一項に記載の三次元形状モデル生成装置。
7. 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所を学習済みモデルに入力して得られる出力に基づいて、前記未生成要因を判定し、
   前記学習済みモデルは、学習用対象物を異なる視点から撮像した二枚以上の画像である学習用多視点画像から生成した学習用三次元形状モデルにおける前記未生成領域について、前記学習用多視点画像の各々における前記学習用三次元形状モデルの前記未生成領域に対応する箇所と、前記未生成領域における前記未生成要因とを対応づけた学習データを用いて機械学習を実行することにより作成されたモデルである、
   ことを特徴とする請求項１から請求項６の何れか一項に記載の三次元形状モデル生成装置。
8. 前記特定部は、前記多視点画像ごとに前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因を判定した結果を投票することにより前記未生成領域における前記未生成要因を決定する、
   ことを特徴とする請求項５から請求項７の何れか一項に記載の三次元形状モデル生成装置。
9. 前記多視点画像に前記未生成領域及び前記未生成要因を表示する表示部、更に備える
   ことを特徴とする請求項１から請求項８の何れか一項に記載の三次元形状モデル生成装置。
10. 前記メッシュモデルに前記未生成領域及び前記未生成要因を表示する表示部、更に備える
    ことを特徴とする請求項１から請求項９の何れか一項に記載の三次元形状モデル生成装置。
11. 前記表示部は、前記未生成要因に対する対策を表示する、
    請求項９又は請求項１０に記載の三次元形状モデル生成装置。
12. 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置の三次元形状モデル生成方法であり、
    三次元点群生成部が、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成過程と、
    メッシュモデル生成部が、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成過程と、
    特定部が、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定過程と、
    を含むことを特徴とする三次元形状モデル生成方法。
13. 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置に用いられるコンピュータを、
    前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成手段、
    前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成手段、
    前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定手段、
    として動作させるためのプログラム。