JP2020088646A - 三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラム - Google Patents

Abstract

【課題】経験の少ない撮像者に精度の良い三次元形状モデルを生成する多視点画像の撮像を支援することができる三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラムを提供する。【解決手段】視点を移動させながら前記対象物を撮像する多視点画像における、撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出部と、前記対象物領域抽出部により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定部と、前記判定部により判定された判定結果を出力する出力部と、を備える。【選択図】図１

Description

本発明は、対象物が異なる視点から撮像された二枚以上の複数の撮像画像による三次元形状モデルの生成を支援する三次元形状モデル生成支援装置、三次元形状モデル生成支援方法及びプログラムに関する。

対象物が異なる視点から撮像された複数の画像（以下、「多視点画像」と称する）に基づいて、その対象物の三次元形状モデルを生成する三次元復元手法がある。
例えば、非特許文献１には多視点画像から三次元形状を復元する手法が開示されている。

Ｍ．Ｇｏｅｓｅｌｅ， Ｂ．Ｃｕｒｌｅｓｓ， Ｓ．Ｍ．Ｓｅｉｔｚ，"Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｖｉｓｉｔｅｄ"， Ｐｒｏｃ．ｏｆ ｔｈｅ ＩＥＥＥ ２００６

しかしながら、三次元形状モデルを精度よく生成可能な多視点画像を撮像するためには経験を必要とする。精度に影響する要因としては、例えば、多視点画像同士のオーバラップ率や、画像のブレやボケ、明るさ等が考えられる。経験の少ない者は、これらの要因を総合的に考慮して撮像を行うことが困難であるため、精度の良い三次元形状モデルを生成する多視点画像を撮像することができないという問題があった。

本発明は、このような状況に鑑みてなされたもので、経験の少ない撮像者に精度の良い三次元形状モデルを生成する多視点画像の撮像を支援することができる三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラムを提供する。

本発明の、三次元形状モデル生成支援装置は、対象物の三次元形状モデルを生成するために用いられる、視点を移動させながら前記対象物を撮像する多視点画像における、撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出部と、前記対象物領域抽出部により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定部と、前記判定部により判定された判定結果を出力する出力部と、を備えることを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記対象物領域抽出部は、前記プレビュー画像における特徴点を複数抽出する特徴点抽出部と、前記プレビュー画像における特徴点の各々について、前記プレビュー画像の特徴点に対応する前記参照画像における特徴点を対応付ける対応部と、前記対応付けられた、参照画像における特徴点の座標と前記プレビュー画像における特徴点の座標との距離である移動量を用いて、前記プレビュー画像における特徴点の各々の中で当該移動量が相対的に小さい特徴点を含む物体の領域を前記対象物領域として抽出する領域抽出部と、を有することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部は、前記プレビュー画像における前記対象物領域の位置から前記参照画像における前記対象物領域に相当する領域の位置までの距離である前記対象物領域の移動量が所定の閾値と比較することにより、前記精度に関する所定条件として前記対象物領域の移動量が適切であるか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部は、前記プレビュー画像における前記対象物領域の位置の変化率が所定の閾値以上であるか否かを判定することにより、前記精度に関する所定条件として前記対象物領域にブレが生じているか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部は、前記プレビュー画像における前記対象物領域から抽出される前記対象物の輪郭線に対応する画素の輝度情報と、当該画素に隣り合う画素の輝度情報との差分が、所定の閾値以上であるか否かを判定することにより、前記精度に関する所定条件として前記対象物領域にボケが生じているか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部は、画像と当該画像にボケが生じているか否かを対応付けた学習データを用いて機械学習を実行することにより作成された学習済みモデルに、前記プレビュー画像を入力して得られる、前記対象物領域においてボケが生じているか否かを推定した結果を示す出力に基づいて、前記精度に関する所定条件として前記対象物領域にボケが生じているか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部は、前記プレビュー画像における前記対象物領域に対応する各画素の輝度値の代表値と所定の閾値とを比較することにより、前記精度に関する所定条件として前記対象物領域の明度が適切であるか否かを判定することを特徴とする。

本発明の、三次元形状モデル生成支援装置は、前記判定部により前記プレビュー画像における前記対象物の明度が適切でないと判定された場合に、前記プレビュー画像における前記対象物の明度を調整する明度調整部を更に備え、前記判定部は、前記明度調整部により前記対象物の明度を調整された前記プレビュー画像における前記対象物の明度が適切であるか否かを再度判定することを特徴とする。

本発明の、三次元形状モデル生成支援方法は、画像情報取得部が、対象物の三次元形状モデルを生成するために用いられる多視点画像であって、視点を移動させながら前記対象物を撮像する多視点画像における撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像取得過程と、対象物領域抽出部が、前記画像情報取得部により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出過程と、判定部が、前記対象物領域抽出部により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定過程と、出力部が、前記判定部により判定された判定結果を出力する出力過程と、を含むことを特徴とする。

本発明のプログラムは、コンピュータを、対象物の三次元形状モデルを生成するために用いられる多視点画像であって、視点を移動させながら前記対象物を撮像する多視点画像における撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像情報取得手段、前記画像情報取得手段により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出手段、前記対象物領域抽出手段により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定手段、前記判定手段により判定された判定結果を出力する出力手段、として動作させるためのプログラムである。

本発明によれば、経験の少ない撮像者に精度の良い三次元形状モデルを生成する多視点画像の撮像を支援することができる。

第１の実施形態による三次元形状モデル生成支援システム１における構成の例を示すブロック図である。 第１の実施形態による対象物領域抽出部２２における構成の例を示すブロック図である。 第１の実施形態による表示部２６の表示画面における表示例を示す図である。 第１の実施形態による三次元形状モデル生成支援装置２０が行う処理の流れを説明するフローチャートである。 第２の実施形態による表示部２６の表示画面における表示例を示す図である。 第３の実施形態による表示部２６の表示画面における表示例を示す図である。 第４の実施形態による三次元形状モデル生成支援システム１における構成の例を示すブロック図である。 第４の実施形態による表示部２６の表示画面における表示例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、第１の実施形態による三次元形状モデル生成支援システム１における構成の例を示すブロック図である。三次元形状モデル生成支援システム１は、例えば、撮像装置１０と三次元形状モデル生成支援装置２０とを備える。撮像装置１０と三次元形状モデル生成支援装置２０とは、例えばＵＳＢ（Universal Serial Bus）ケーブル等により通信可能に接続される。

撮像装置１０は、例えば、多視点画像を撮像するデジタルカメラである。多視点画像は、対象物の三次元形状モデルを生成するための画像であって、対象物を異なる視点から撮像した複数の画像である。なお、撮像装置１０は、動画像を撮像するビデオカメラであってもよいし、静止画像を撮像するカメラであってもよい。撮像装置１０がビデオカメラである場合、多視点画像は動画像におけるフレーム毎の画像である。

撮像装置１０は、例えば、撮像部１１と、フォーカス調整部１２と、光量調整部１３と、画像情報出力部１４とを備える。

撮像部１１は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いてプレビュー画像を撮像する。

撮像部１１は、プレビュー画像における撮像前の多視点画像であるプレビュー画像の情報を画像情報出力部１４に出力する。プレビュー画像は、撮像される前（シャッタボタンが押下される前）における、撮像部１１のイメージセンサからの出力を示す画像であって、例えば、撮像装置１０の背面や側面に取り付けられた液晶ディスプレイ（不図示）等により構成されるライブビューモニタ（ファインダ）に表示される画像である。

また、撮像部１１は、撮像後（シャッタボタンが押下された後）の多視点画像の情報を画像情報出力部１４に出力する。画像の情報としては、例えば、画像を構成する各画素の輝度を示す輝度情報である。

フォーカス調整部１２は、撮像部１１の撮像における焦点の条件として、イメージセンサとレンズの位置関係を調整する。フォーカス調整部１２は、例えば、撮像者により操作される。
光量調整部１３は、撮像部１１の撮像における露光の条件として、シャッタースピード、絞り値、照明光（フラッシュ光源）の有無、照明光の強度などを調整する。光量調整部１３は、例えば、撮像者により操作される。
画像情報出力部１４は、撮像部１１からのプレビュー画像、及び撮像後の多視点画像の情報を三次元形状モデル生成支援装置２０に出力する。

三次元形状モデル生成支援装置２０は、撮像装置１０により撮像される多視点画像における対象物、三次元形状モデルを生成するにあたり適切な精度を満たしているかを判定し、その結果を表示する装置である。

三次元形状モデル生成支援装置２０は、画像情報取得部２１と、対象物領域抽出部２２と、判定部２３と、制御部２４と、画像情報記憶部２５と、表示部２６と、出力部２７とを備える。

画像情報取得部２１は、撮像装置１０から撮像後の多視点画像を取得し、取得した情報を画像情報記憶部２５に記憶させる。また、画像情報取得部２１は、撮像装置１０からプレビュー画像の情報を取得し、取得した情報を対象物領域抽出部２２に出力する。

対象物領域抽出部２２は、プレビュー画像と、プレビュー画像の前に撮像された多視点画像である参照画像とを用いて、プレビュー画像における対象物が撮像された領域である対象物領域を抽出する。対象物領域抽出部２２は、プレビュー画像の情報、及び抽出した対象物領域を示す情報を判定部２３に出力する。

図２は、第１の実施形態による対象物領域抽出部２２における構成の例を示すブロック図である。図２に示すように、対象物領域抽出部２２は、例えば、特徴点抽出部２２０と、対応部２２１と、領域抽出部２２２とを備える。

特徴点抽出部２２０は、プレビュー画像における特徴点を複数抽出する。ここで、特徴点とは、画像上の特徴的な箇所を示す点であり、例えば、画像上の角や線が交わる点である。この場合、人の顔の画像の特徴点は、例えば、眉尻、目頭、口角等である。画像上で定量的・自動的に抽出される特徴点として良く知られているものの一つとして、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110）があり、これを適用することも可能である。

対応部２２１は、プレビュー画像の特徴点の各々について、参照画像における特徴点との対応付けを行う。対応部２２１は、例えば、プレビュー画像の特徴点を含む微小領域と、参照画像の特徴点を含む微小領域との相関を算出することにより対応付けを行う。対応部２２１は、双方の微小領域における各画素の輝度値の差分（色や明るさの違い）の総和を算出し、算出した差分の総和が所定の閾値以下、或いは最小となる微小領域の組合せを抽出する。対応部２２１は、抽出した微小領域の組合せにおける、プレビュー画像の特徴点と参照画像の特徴点とを、対応する対応点とする。

領域抽出部２２２は、プレビュー画像における対象物領域を抽出する。領域抽出部２２２は、プレビュー画像における特徴点のうち、参照画像における対応点が特定された特徴点について移動量を算出する。移動量は、プレビュー画像における特徴点の画像座標から、参照画像における対応点の画像座標を減算した値である。領域抽出部２２２は、プレビュー画像における特徴点のうち、移動量が相対的に小さい特徴点を含む領域を対象物領域として抽出する。

これは、対象物を正面から見た場合、側面からか見た場合、背面から見た場合、というように視点を移動させながら対象物を撮像する場合、視点位置は対象物を中心に円を描くように移動するため、多視点画像における対象物以外の背景の領域が、対象物領域と比較して移動量が大きくなる性質を利用している。なお、本実施形態では、一定の方向に少しずつ視点を移動させながら、多視点画像が撮像されることを前提とする。つまり、不規則に視点を移動させてランダムに撮像を行うことは想定していない。

領域抽出部２２２は、例えば、プレビュー画像における特徴点の各々の移動量を算出し、算出した移動量の代表値（例えば、単純加算平均値）に基づく所定の閾値を設定し、移動量が所定の閾値以下となる特徴点を抽出する。領域抽出部２２２は、抽出した特徴点が含まれる物体の領域を対象物領域とする。

図１に戻り、対象物領域抽出部２２は、プレビュー画像の情報、及び抽出した対象物領域を示す情報を出力部２７に出力する。

判定部２３は、対象物領域抽出部２２により抽出された対象物領域が、三次元形状モデルの復元精度に関する所定条件を満たすか否かを判定する。

一般に、三次元形状モデルの生成においては、ステレオマッチングの技術を用いて三次元形状モデルにおける奥行値を算出する。この場合、多視点画像の中からステレオマッチングのペアを選択するが、ペアの画像の間の視差角が小さすぎる、つまり対象物の移動がほとんどない場合には、ステレオマッチングの原理上、奥行値の誤差が大きくなる傾向にある。また、ペアの画像の間の視差角が大きすぎる、つまり対象物が大きく移動してしまう場合、互いの画像において対象物が正対しなくなり、対応点が少なくなり画像処理が困難となると共に、奥行値が算出できなくなるか、或いは算出できたとしても奥行値の誤差が誤ったものとなってしまう可能性が高い。

そこで、本実施形態では、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域の移動量が適切であるか否かを判定する。

判定部２３は、プレビュー画像における対象物領域の位置から参照画像における対象物領域に相当する領域の位置までの距離を、対象物領域の移動量として算出する。プレビュー画像における対象物領域の位置は、例えば、対象物領域における代表点（例えば、重心位置）の画像座標である。参照画像における対象物領域に相当する領域の位置は、例えば、その領域における代表点（例えば、重心位置）の画像座標である。
或いは、判定部２３は、プレビュー画像における対象物領域の特徴点の各々における対応点からの移動量の単純加算平均値を、対象物領域の移動量として算出してもよい。

判定部２３は、算出した対象物領域の移動量が所定の上限以上であるか否かを判定し、移動量が所定の上限以上である場合には対象物の移動量が大きすぎるために、移動量が適切ではないと判定する。また、判定部２３は、算出した対象物領域の移動量が所定の下限未満であるか否かを判定し、移動量が所定の下限未満である場合には対象物の移動量が小さすぎるために、移動量が適切ではないと判定する。判定部２３は算出した対象物領域の移動量が所定の下限以上、且つ所定の上限未満である場合、移動量が適切であると判定する。なお、この場合における所定の上限、及び所定の下限は、対象物と撮像装置１０との距離等に応じて任意に定めされてよい。判定部２３は、判定結果を表示部２６、及び出力部２７に出力する。

画像情報記憶部２５は、画像情報取得部２１により取得された撮像済みの多視点画像の情報を記憶する。
出力部２７は、画像情報取得部２１により取得されたプレビュー画像、対象物領域抽出部２２により特定されたプレビュー画像における対象物領域、及び判定部２３により判定された判定結果を示す情報を、表示部２６に出力する。また、表示部２６は、判定部２３により判定された判定結果に応じた音や音声を出力するようにしてもよい。
表示部２６は、出力部２７からの情報を表示する。表示部２６は、画像情報取得部２１により取得されたプレビュー画像を表示する。また、表示部２６は、対象物領域抽出部２２により特定されたプレビュー画像における対象物領域を表示する。また、表示部２６は、判定部２３により判定された判定結果を表示する。

図３は、第１の実施形態による表示部２６の表示画面における表示例を示す図である。図３（ａ）は、対象物領域抽出部２２によりプレビュー画像における対象物領域が特定された場合の表示例である。図３（ｂ）は、判定部２３により対象物の移動量が大きすぎると判定された場合の表示例である。図３（ｃ）は、判定部２３により対象物の移動量が小さすぎると判定された場合の表示例である。

図３（ａ）に示すように、対象物領域抽出部２２によりプレビュー画像における対象物領域が特定された場合、表示部２６の表示画面には、「対象物領域を認識しました」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。
図３（ｂ）に示すように、判定部２３により対象物の移動量が小さすぎると判定された場合、表示部２６の表示画面には、「前の画像との共通領域が少ないので、戻ってください」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。
図３（ｃ）に示すように、判定部２３により対象物の移動量が大きすぎると判定された場合、表示部２６の表示画面には、「前の画像との共通領域が多いので、離れてください」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。

図３（ｂ）、（ｃ）に示すように、表示部２６は、判定結果と共に、対処方法を表示するようにしてもよい。これにより、撮像者は、表示部２６に表示されたメッセージＭを視認して、「戻ってください」と表示されていれば現在撮像している位置から前回撮像した視点の位置に戻る方向に移動することで、適切な視点に移動することができる。また、撮像者は、表示部２６に、「離れてください」と表示されていれば現在撮像している位置から前回撮像した視点の位置と離れる方向に移動することで、適切な視点に移動することができる。

図４は、第１の実施形態による三次元形状モデル生成支援装置２０が行う処理の流れを説明するフローチャートである。
ステップＳ１０：
三次元形状モデル生成支援装置２０は、画像情報取得部２１により撮像装置１０からプレビュー画像の情報を取得する。
ステップＳ１１：
三次元形状モデル生成支援装置２０は、対象物領域抽出部２２によりプレビュー画像における対象物領域を抽出する。対象物領域抽出部２２は、プレビュー画像における特徴点を抽出し、プレビュー画像における特徴点の各々について、プレビュー画像の前に撮像された参照画像における対応点を特定する。対象物領域抽出部２２は対応点を特定できた特徴点について、対応点から特徴点までの移動量を算出し、移動量が相対的に少ない特徴点を含む物体の領域を対象物領域とする。
ステップＳ１２：
三次元形状モデル生成支援装置２０は、対象物領域抽出部２２により抽出された対象物領域を、プレビュー画像と共に表示部２６に表示する。
ステップＳ１３：
三次元形状モデル生成支援装置２０は、判定部２３によりプレビュー画像における対象物の移動量が適切か否かを判定する。判定部２３は、プレビュー画像における対象物の移動量が所定の上限以上、又は所定の下限未満である場合、移動量が適切ではないと判定する。一方、判定部２３は、プレビュー画像における対象物の移動量が所定の下限以上、且つ所定の上限未満である場合、移動量が適切であると判定する。
ステップＳ１４：
三次元形状モデル生成支援装置２０は、判定部２３により判定された判定結果を表示部２６に表示する。表示部２６は、例えば、判定結果を表示すると共に対処方法を示すメッセージＭを表示する。

以上説明したように、第１の実施形態における三次元形状モデル生成支援装置２０は、画像情報取得部２１と対象物領域抽出部２２と判定部２３と出力部２７とを備える。画像情報取得部２１は、プレビュー画像の情報を取得する。対象物領域抽出部２２は、プレビュー画像における対象物領域を抽出する。判定部２３は、プレビュー画像における対象物領域が、三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する。出力部２７は判定部２３による判定結果を出力する。これにより、第１の実施形態における三次元形状モデル生成支援装置２０は、プレビュー画像、つまり撮像者が撮像しようとしている画像が、三次元形状モデルを生成するのに適しているか、或いは三次元形状モデルの精度を劣化させる要因を含んでいるために適さないものなのかを撮像者に認識させることができる。つまり、撮像者は、自身が撮像しようとしている画像が適切な精度を満たしているか否かを認識することができ、多視点画像を撮像する経験がない場合であっても精度の良い三次元形状モデルを生成する多視点画像を撮像することが可能となる。

また、第１の実施形態における三次元形状モデル生成支援装置２０では、対象物領域抽出部２２は、特徴点抽出部２２０と対応部２２１と領域抽出部２２２を備える。特徴点抽出部２２０はプレビュー画像における特徴点を抽出する。対応部２２１は、プレビュー画像における特徴点と、参照画像における特徴点とを対応付ける。領域抽出部２２２はプレビュー画像における特徴点の移動量に基づいて対象物領域を抽出する。これにより、第１の実施形態における三次元形状モデル生成支援装置２０では、プレビュー画像の中央とは異なる領域に対象物が撮像されている場合や、複数の物体が撮像されている場合であっても、対象物領域を抽出することが可能である。
また、第１の実施形態における三次元形状モデル生成支援装置２０では、判定部２３はプレビュー画像における対象物の移動量が適切であるか否かを判定することにより、対象物の移動量が適切な画像を撮像することが可能となり、精度よく三次元形状モデルを生成し得る多視点画像を取得することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域にブレが生じているか否かを判定する点において、上述した実施形態と相違する。

画像情報取得部２１は、所定の周期でプレビュー画像の情報を取得する。
対象物領域抽出部２２は、画像情報取得部２１によりプレビュー画像が取得される度に、或いはプレビュー画像の情報が変化する度に、対象物領域を抽出する。
判定部２３は、対象物領域抽出部２２により対象物領域が抽出される度に、対象物領域における代表点（例えば、重心位置）の画像座標を取得する。判定部２３は、今回取得した画像座標と前回取得した画像座標の差分が所定の閾値以上である場合、対象物領域にブレが生じていると判定する。一方、判定部２３は、今回取得した画像座標と前回取得した画像座標の差分が所定の閾値未満である場合、対象物領域にブレが生じていないと判定する。

図５は、第２の実施形態による表示部２６の表示画面における表示例を示す図である。
図５に示すように、判定部２３により、対象物領域にブレが生じていると判定された場合、表示部２６の表示画面には、「画像がブレているので移動速度を落としてください」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。

以上説明したように、第２の実施形態の三次元形状モデル生成支援装置２０では、判定部２３は、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域のブレが生じているか否かを判定する。これにより、第２の実施形態の三次元形状モデル生成支援装置２０では、対象物がブレていない多視点画像を撮像することができ、精度よく三次元形状モデルを生成し得る多視点画像を取得することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域にボケが生じているか否かを判定する点において、上述した実施形態と相違する。

判定部２３は、プレビュー画像にラプラシアンフィルタやソーベル（Sobel）フィルタを用いて、プレビュー画像における対象物の輪郭線（エッジ）を検出する。判定部２３は検出したエッジに対応する画素の輝度情報と、隣り合う画素の輝度情報との差分を算出する。判定部２３は、算出した差分が所定の閾値以上である場合、対象物領域にボケが生じていないと判定する。判定部２３は、算出した差分が所定の閾値未満である場合、対象物領域にボケが生じていると判定する。

或いは、判定部２３は、機械学習手法を用いて対象物領域にボケが生じているか否かを判定するようにしてもよい。例えば、判定部２３は、教師データとしての画像と当該画像にボケが生じているか否かを対応付けた学習データを用いて機械学習を実行することにより作成された学習済みモデルを作成する。判定部２３は、学習済みモデルにプレビュー画像を入力する。学習済みモデルは、例えば、学習済みの画像の中から入力されたプレビュー画像に類似する画像を抽出し、抽出した学習済みの画像に対応付けられたボケが生じているか否かの情報を出力する。判定部２３は、学習済みモデルからボケが生じている旨の出力がなされた場合には対象物領域にボケが生じていると判定する。一方、判定部２３は、学習済みモデルからボケが生じていない旨の出力がなされた場合には対象物領域にボケが生じていないと判定する。

図６は、第３の実施形態による表示部２６の表示画面における表示例を示す図である。
図６に示すように、判定部２３により、対象物領域にブレが生じていると判定された場合、表示部２６の表示画面には、「対象物領域がボケているのでフォーカスを合わせてください」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。

以上説明したように、第３の実施形態の三次元形状モデル生成支援装置２０では、判定部２３は、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域にボケが生じているか否かを判定する。これにより、第３の実施形態の三次元形状モデル生成支援装置２０では、対象物がボケていない多視点画像を撮像することができ、精度よく三次元形状モデルを生成し得る多視点画像を取得することができる。

（第４の実施形態）
次に、第４の実施形態について説明する。本実施形態では、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域の明度が適切であるか否かを判定し、対象物領域の明度が適切でない場合には当該明度を調整する点において、上述した実施形態と相違する。

図７は、第４の実施形態による三次元形状モデル生成支援システム１における構成の例を示すブロック図である。本実施形態では、三次元形状モデル生成支援装置２０は、判定部２３と、明度調整部２８とを備える。

判定部２３は、プレビュー画像における対象物領域の各画素の輝度値を取得し、取得した各輝度値の代表値（例えば、単純加算平均値、或いは最低値や最高値）が所定の閾値以上であるか否かを判定する。例えば、判定部２３は、各輝度値の最低値が所定の下限以上である、各輝度値の最高値が所定の上限未満である場合、対象物領域の明度が適切であると判定する。一方、判定部２３は、対象物領域の明度が適切であると判定しない場合、対象物領域の明度が適切でないと判定する。
判定部２３は、対象物領域の明度が適切でない場合において、各輝度値の単純加算平均値が所定の下限未満である場合、対象物領域が暗すぎると判定する。また、判定部２３は、対象物領域の明度が適切でない場合において、各輝度値の単純加算平均値が所定の上限以上である場合、対象物領域が明るすぎると判定する。

明度調整部２８は、判定部２３により対象物領域の明度が適切でないと判定された場合、ヒストグラム平均化法等により、対象物領域の明度を調整する。ヒストグラム平均化法は、画像が取り得る全ての輝度値について、輝度値に対する画素の数が同等となるように平滑化（調整）する。このため、対象物領域において、明度のばらつきがある場合にヒストグラム平均化法により明度を適切に調整することが可能である。一方、対象物領域の全体において、明度が一様に高い（白飛び）、或いは低い（黒つぶれ）状態が発生している場合には、ヒストグラム平均化法により明度を適切に調整することが困難となる。明度調整部２８により明度が適切に調整しきれない場合、撮像装置１０における露光量（シャッタースピードやＩＳＯ）を調整する必要がある。

このため、判定部２３は、明度調整部２８により調整された対象物領域について、当該対象物領域の明度が適切であるか否かを、再度、判定し、再度の判定結果を出力部２７に出力する。

図８は、第４の実施形態による表示部２６の表示画面における表示例を示す図である。
図８に示すように、判定部２３により、対象物領域が暗すぎると判定された場合、表示部２６の表示画面には、「対象物領域が暗いので露光調整をしてください」とのメッセージＭと共に、プレビュー画像Ｇと、プレビュー画像Ｇにおける対象物領域Ｅが表示される。

以上説明したように、第４の実施形態の三次元形状モデル生成支援装置２０では、判定部２３と明度調整部２８とを備える。判定部２３は、三次元形状モデルにおける生成の精度に関する所定条件として、プレビュー画像における対象物領域の明度が適切か否かを判定する。明度調整部２８は、対象物領域の明度が適切でない場合に明度を調整する。判定部２３は、明度調整部２８により調整された対象物領域の明度が適切か否かを再度判定し、再度の判定結果を出力部２７に出力する。これにより、第４の実施形態の三次元形状モデル生成支援装置２０では、対象物領域の明度が適切な多視点画像を撮像することができ、精度よく三次元形状モデルを生成し得る多視点画像を取得することができる。

なお、上述した実施形態では、撮像装置１０と三次元形状モデル生成支援装置２０とがＵＳＢケーブルにより接続された場合を例示して説明したが、これに限定されない。例えば、スマートフォンやタブレットのように、撮像装置１０と三次元形状モデル生成支援装置２０の各機能部が一つの装置に備わっていてもよい。また、撮像装置１０と三次元形状モデル生成支援装置２０とが、インターネットのネットワークを介して接続されていてもよい。

上述した実施形態における三次元形状モデル生成支援装置２０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…三次元形状モデル生成支援システム
１０…撮像装置
１１…撮像部
１２…フォーカス調整部
１３…光量調整部
１４…画像情報出力部
２０…三次元形状モデル生成支援装置
２１…画像情報取得部
２２…対象物領域抽出部
２２０…特徴点抽出部
２２１…対応部
２２２…領域抽出部
２３…判定部
２５…画像情報記憶部
２６…表示部
２７…出力部
２８…明度調整部

Claims (10)

1. 対象物の三次元形状モデルを生成するために用いられる、視点を移動させながら前記対象物を撮像する多視点画像における、撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像情報取得部と、
   前記画像情報取得部により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出部と、
   前記対象物領域抽出部により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定部と、
   前記判定部により判定された判定結果を出力する出力部と、
   を備えることを特徴とする三次元形状モデル生成支援装置。
2. 前記対象物領域抽出部は、
   前記プレビュー画像における特徴点を複数抽出する特徴点抽出部と、
   前記プレビュー画像における特徴点の各々について、前記プレビュー画像の特徴点に対応する前記参照画像における特徴点を対応付ける対応部と、
   前記対応付けられた、参照画像における特徴点の座標と前記プレビュー画像における特徴点の座標との距離である移動量を用いて、前記プレビュー画像における特徴点の各々の中で当該移動量が相対的に小さい特徴点を含む物体の領域を前記対象物領域として抽出する領域抽出部と、
   を有することを特徴とする請求項１に記載の三次元形状モデル生成支援装置。
3. 前記判定部は、前記プレビュー画像における前記対象物領域の位置から前記参照画像における前記対象物領域に相当する領域の位置までの距離である前記対象物領域の移動量を所定の閾値と比較することにより、前記精度に関する所定条件として前記対象物領域の移動量が適切であるか否かを判定する、
   請求項１又は請求項２に記載の三次元形状モデル生成支援装置。
4. 前記判定部は、前記プレビュー画像における前記対象物領域の位置の変化率が所定の閾値以上であるか否かを判定することにより、前記精度に関する所定条件として前記対象物領域にブレが生じているか否かを判定する、
   請求項１から請求項３のいずれか一項に記載の三次元形状モデル生成支援装置。
5. 前記判定部は、前記プレビュー画像における前記対象物領域から抽出される前記対象物の輪郭線に対応する画素の輝度情報と、当該画素に隣り合う画素の輝度情報との差分が、所定の閾値以上であるか否かを判定することにより、前記精度に関する所定条件として前記対象物領域にボケが生じているか否かを判定する、
   請求項１から請求項４のいずれか一項に記載の三次元形状モデル生成支援装置。
6. 前記判定部は、画像と当該画像にボケが生じているか否かを対応付けた学習データを用いて機械学習を実行することにより作成された学習済みモデルに、前記プレビュー画像を入力して得られる、前記対象物領域においてボケが生じているか否かを推定した結果を示す出力に基づいて、前記精度に関する所定条件として前記対象物領域にボケが生じているか否かを判定する、
   請求項１から請求項５のいずれか一項に記載の三次元形状モデル生成支援装置。
7. 前記判定部は、前記プレビュー画像における前記対象物領域に対応する各画素の輝度値の代表値と所定の閾値とを比較することにより、前記精度に関する所定条件として前記対象物領域の明度が適切であるか否かを判定する、
   請求項１から請求項６のいずれか一項に記載の三次元形状モデル生成支援装置。
8. 前記判定部により前記プレビュー画像における前記対象物の明度が適切でないと判定された場合に、前記プレビュー画像における前記対象物の明度を調整する明度調整部を更に備え、
   前記判定部は、前記明度調整部により前記対象物の明度を調整された前記プレビュー画像における前記対象物の明度が適切であるか否かを再度判定する、
   請求項７に記載の三次元形状モデル生成支援装置。
9. 画像情報取得部が、対象物の三次元形状モデルを生成するために用いられる多視点画像であって、視点を移動させながら前記対象物を撮像する多視点画像における撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像取得過程と、
   対象物領域抽出部が、前記画像情報取得部により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出過程と、
   判定部が、前記対象物領域抽出部により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定過程と、
   出力部が、前記判定部により判定された判定結果を出力する出力過程と、
   を含むことを特徴とする三次元形状モデル生成支援方法。
10. コンピュータを、
    対象物の三次元形状モデルを生成するために用いられる多視点画像であって、視点を移動させながら前記対象物を撮像する多視点画像における撮像前の前記多視点画像を示すプレビュー画像の情報を取得する画像情報取得手段、
    前記画像情報取得手段により取得された前記プレビュー画像と、前記プレビュー画像の前に撮像された前記多視点画像である参照画像とを用いて、前記プレビュー画像における前記対象物が撮像された領域である対象物領域を抽出する対象物領域抽出手段、
    前記対象物領域抽出手段により抽出された前記対象物領域が、前記三次元形状モデルにおける生成の精度に関する所定条件を満たすか否かを判定する判定手段、
    前記判定手段により判定された判定結果を出力する出力手段、
    として動作させるためのプログラム。