JP2020166498A - 情報処理装置、三次元モデルの生成方法、及びプログラム - Google Patents

Abstract

【課題】三次元形状の再現精度をより高めること。【解決手段】複数の異なる視点から対象物を撮影した複数の撮像画像が格納される記憶部と、複数の撮像画像から対象物の三次元モデルを生成するモデル生成部と、各視点から見た三次元モデルの深度画像を生成し、深度画像に基づいて、画質が低下しやすい特定領域を抽出し、各視点に対応する撮像画像から特定領域を除去するためのマスク画像を生成するマスク生成部と、を備え、モデル生成部は、複数の撮像画像のそれぞれからマスク画像に基づいて特定領域を除去し、除去後の撮像画像に基づいて対象物の三次元モデルを新たに生成する、情報処理装置が提供される。【選択図】図３

Description

本発明は、情報処理装置、三次元モデルの生成方法、及びプログラムに関する。

近年、文化財、美術品、及び工芸品など、保存価値の高い物品をスキャンし、その形状やテクスチャをデジタルデータの形で保存する技術（デジタルアーカイブ）の研究開発が進められている。例えば、対象物の形状は、三次元における自由視点画像（特許文献１）の生成に利用可能な三次元モデルの形で取り込むことができる。なお、三次元モデルは、例えば、多視点の撮像画像に基づいて生成される（非特許文献１）。

なお、非特許文献１では、ＳＩＦＴ（Scale Invariant Feature Transform）を利用して特徴点を抽出し、ＳＦＭ（Structure from motion）及びＭＶＳ（Multi View Stereo）を利用して対象物の三次元モデルを生成する方法が提案されている。また、多視点の撮像画像から対象物の背景を削除したシルエット画像を利用して三次元モデルを生成する方法が提案されている（非特許文献２）。

特開2015-022510号公報

Y.Furukawa and J.Ponce, "Accurate, Dense, and Robust Multi-View Stereopsis", CVPR 2007. W.Matusik et al., "Image-Based Visual Hulls", SIGGRAPH 2000．

上記の提案方法を適用することで対象物の三次元モデルが得られる。しかしながら、ボケや回折などの影響で撮像画像の一部に画質が低くなる領域が生じ、三次元形状の再現精度やテクスチャの品質が低下することがある。例えば、対象物に深い凹凸がある場合や、対象物の先端から背景までの距離が大きい場合、被写界深度から外れた部分にボケが生じたり、回折により背景の画が回り込んで対象物に被ったりする。

ボケや回折により撮像画像の画質が低下すると、三次元形状に貼り付けられるテクスチャの品質も低下する。また、撮像画像の特徴点マッチングを三次元形状の再現に利用している場合、画質の低下が特徴点マッチングの精度を低下させる要因となりうる。なお、上述したボケや回折の影響と同様に光学的な理由で撮像画像の画質低下を招く要因がある場合には上記と同様の課題が生じうる。

そこで、本発明の１つの観点によれば、本発明の目的は、三次元モデルの再現精度を高めることが可能な情報処理装置、三次元モデルの生成方法、及びプログラムを提供することにある。

本発明の一態様によれば、複数の異なる視点から対象物を撮影した複数の撮像画像が格納される記憶部と、複数の撮像画像から対象物の三次元モデルを生成するモデル生成部と、各視点から見た三次元モデルの深度画像を生成し、深度画像に基づいて、画質が低下しやすい特定領域を抽出し、各視点に対応する撮像画像から特定領域を除去するためのマスク画像を生成するマスク生成部と、を備え、モデル生成部は、複数の撮像画像のそれぞれからマスク画像に基づいて特定領域を除去し、除去後の撮像画像に基づいて対象物の三次元モデルを新たに生成する、情報処理装置が提供される。

また、本発明の他の一態様によれば、コンピュータが、複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、複数の撮像画像から対象物の三次元モデルを生成し、各視点から見た三次元モデルの深度画像を生成し、深度画像に基づいて、画質が低下しやすい特定領域を抽出し、各視点に対応する撮像画像から特定領域を除去するためのマスク画像を生成し、複数の撮像画像のそれぞれからマスク画像に基づいて特定領域を除去し、除去後の撮像画像に基づいて対象物の三次元モデルを新たに生成する処理を実行する、三次元モデルの生成方法が提供される。

また、本発明の更に他の一態様によれば、コンピュータに、複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、複数の撮像画像から対象物の三次元モデルを生成し、各視点から見た三次元モデルの深度画像を生成し、深度画像に基づいて、画質が低下しやすい特定領域を抽出し、各視点に対応する撮像画像から特定領域を除去するためのマスク画像を生成し、複数の撮像画像のそれぞれからマスク画像に基づいて特定領域を除去し、除去後の撮像画像に基づいて対象物の三次元モデルを新たに生成する処理を実行させるためのプログラムが提供される。

本発明によれば、三次元モデルの再現精度を高めることができる。

三次元復元システムの構成例を示した模式図である。 情報処理装置の機能を実現可能なハードウェア構成例を示したブロック図である。 情報処理装置が有する機能の一例を示したブロック図である。 三次元モデルの生成方法について説明するための説明図である。 三次元モデルの生成に関する処理の流れを示したフロー図である。 判定処理の流れを示したフロー図である。

以下に添付図面を参照しながら、本発明の実施形態（以下、本実施形態）について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

本実施形態は、立体形状を有する対象物の三次元形状及びそのテクスチャを復元する三次元復元技術に関する。特に、対象物を複数の視点で撮影した複数の撮影画像（以下、多視点画像）を利用して、対象物の三次元形状を再現すると共に、再現した三次元形状にテクスチャを貼り付けて三次元モデルを生成する仕組みに関する。

なお、多視点画像の撮影方法としては、カメラなどの撮影手段を移動させる方法でもよいし、撮影手段を固定して対象物を移動させる方法でもよい。但し、デジタルアーカイブの対象となる対象物を扱う場合には、対象物の損傷や汚損を回避するために、撮影手段を移動させる前者の方法が好ましい。以下では、説明の都合上、上記の仕組みを実現するためのシステムを三次元復元システムと称し、これについて詳細に説明する。

［１−１．三次元復元システム］
図１を参照しながら、本実施形態に係る三次元復元システムについて説明する。図１は、三次元復元システムの構成例を示した模式図である。

図１に示すように、本実施形態に係る三次元復元システムは、情報処理装置１０１、記憶装置１０２、及び表示装置１０３を含む。

情報処理装置１０１は、例えば、ＰＣ（Personal Computer）、サーバ装置、ワークステーションなどのコンピュータである。記憶装置１０２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）装置、半導体メモリ、又はこれらの組み合わせなどである。表示装置１０３は、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスである。

記憶装置１０２には、多視点画像の画像データが格納される。

図１には、一例として、対象物１０ａの周囲に設定された複数の視点＃０、＃１、…、＃２４から対象物１０ａを撮影する様子が模式的に示されている。この例において、多視点画像の撮影には、撮像装置３０が利用される。図１の例では１台の撮像装置３０が記載されているが、複数台の撮像装置が利用されてもよい。

撮影方法としては、例えば、１台の撮像装置３０を視点＃０、＃１、…、＃２４の位置に移動して各視点から対象物１０ａを撮影する方法がある。他の撮影方法としては、各視点の位置に撮像装置を設置し、各撮像装置で対象物１０ａを撮影する方法がある。

以下では、説明の都合上、１台の撮像装置３０を利用して対象物１０ａする方法を例に挙げて説明を進めるが、多視点画像の撮影方法については、この例に限定されない。例えば、対象物１０ａの位置や向きを動かすことが可能であれば、撮像装置３０の位置を固定した状態で、対象物１０ａを回転させながら多視点画像を取得することも可能である。

撮像装置３０は、撮影後又はリアルタイムに記憶装置１０２へと多視点画像の画像データを転送する。例えば、撮像装置３０は、有線又は無線の通信手段を用いて画像データを記憶装置１０２に転送してもよい。また、撮影者が、メモリカードなどの記憶媒体を利用して撮像装置３０から記憶装置１０２に画像データをコピーしてもよい。記憶装置１０２に画像データを格納するタイミングは後述する三次元復元の処理を実行する前でもよいし、その処理の実行中に画像データが記憶装置１０２に順次格納されるようにしてもよい。

ここで、図１に例示した視点及び対象物１０ａの見え方について、さらに説明する。

図１に例示した視点＃０は、対象物１０ａを真上から見下ろす視点であってもよい。視点＃０から撮影すると、視点＃０に対向する対象物１０ａの上面と共に、背景２０が撮影されうる。視点＃１、…、＃２４は、対象物１０ａを囲むように設定されうる。例えば、視点＃１、…、＃２４は、対象物１０ａを中心とする円又は楕円状の軌道に沿って配置されうる。この例では、軌道が背景２０の面に平行な平面上に設定されている。

例えば、視点＃１、…、＃２４は、対象物１０ａの中心を通り背景２０に垂直な軸を基準とする回転方向に等角度で配置されてもよい。等角度で視点＃１、…、＃２４を配置する場合、例えば、隣り合う２つの視点から撮影された撮影画像の端部が少なくとも一部で重なるように角度が設定されてもよい。なお、視点＃０、＃１、…、＃２４の設定方法は、この例に限定されない。例えば、対象物１０ａの中心に対応する背景２０の点を基準とする半球面上に複数の視点を配置してもよい。また、これらの例に限らず、対象物１０ａに対して様々な角度、位置、距離に視点が配置されてもよい。なお、各視点から対象物１０ａまでの距離が一定の場合、各視点から撮影した撮影画像の解像度（ｄｐｉ）が均質になり、テクスチャの品質向上に寄与しうる。

背景２０の模様は任意に設定することが可能であるが、画像処理の都合などから黒、白、グレーなどの色で構成される模様が設定されてもよい。但し、背景２０の模様は設定されなくてもよい。視点＃０から対象物１０ａを撮影する場合、対象物１０ａの上面と背景２０とが撮像画像に写り込む。このとき、対象物１０ａの上面と背景２０との間の距離が大きいと、回折効果により対象物１０ａの輪郭部に背景２０の色が回り込んで重なることがある。背景２０の色が黒、白、グレーなどの目立つ色の場合、撮像画像の画質に対する影響が大きくなる。

また、視点＃０に限らず、対象物１０ａに深い凹凸があると、ボケの効果により、対象物１０ａ上の合焦部分（ピントが合った部分）に比べて、奥行き方向に離れた部分で画像の鮮鋭度が低下する。なお、対象物１０ａの形状や視点の位置によっては、ボケや回折などの光学的な要因による撮像画像の画質低下が生じうる。こうした画質低下は、三次元復元の精度及びテクスチャの品質に悪影響を及ぼしうる。

上記の三次元復元システムは、多視点画像として撮像された複数の撮影画像の対応関係を特定し、撮影方向及び撮影位置を含む幾何学的な視点情報、特定した対応関係、及び各撮影画像を用いて三次元復元に関する処理を実行する。撮影画像間の対応関係を特定する際、三次元復元システムは、例えば、各撮影画像の特徴点抽出を実行し、隣接する視点に対応する撮像画像間で特徴点マッチングを実行する。

特徴点抽出には、例えば、ＳＩＦＴ、ＳＵＲＦ（Speeded-Up Robust Features）、ＦＡＳＴ（Features from Accelerated Segment Test）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＣＡＲＤ（Compact And Real-time Descriptors）などの特徴量が利用される。

上述したボケや回折の影響により撮像画像の画質が低下していると、特徴点マッチングの精度が低下しうる。そもそも、ボケた撮影画像や、輪郭部分に背景２０の色が被った撮影画像がテクスチャとして三次元形状に貼り付けられれば、当然にテクスチャの品質が低くなる。そのため、本実施形態に係る三次元復元システムでは、画質低下を招く光学的な影響を除去する仕組みを提供する。この仕組みを適用することで、三次元復元の精度を向上させることができる。

［１−２．情報処理装置］
以下、上述した仕組みについての処理を実行する情報処理装置１０１の機能及びその機能を実現可能なハードウェアの例について説明する。

（ハードウェア）
まず、図２を参照しながら、情報処理装置１０１のハードウェアについて説明する。図２は、情報処理装置の機能を実現可能なハードウェア構成例を示したブロック図である。後述する情報処理装置１０１の機能は、コンピュータプログラムを用いて図２に示すハードウェアを制御することにより実現されうる。

図２に示すハードウェアは、主に、プロセッサ１０１ａ、メモリ１０１ｂ、表示Ｉ／Ｆ（Interface）１０１ｃ、通信Ｉ／Ｆ１０１ｄ、接続Ｉ／Ｆ１０１ｅを有する。なお、図２に示したハードウェア構成は一例であり、一部の要素を省略してもよいし、新たな要素を追加してもよい。このような変形例も当然に本実施形態の技術的範囲に属する。

プロセッサ１０１ａは、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの処理装置である。メモリ１０１ｂは、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ、ＳＳＤ、フラッシュメモリなどの記憶装置である。

表示Ｉ／Ｆ１０１ｃは、ＬＣＤ、ＥＬＤなどのディスプレイデバイス（図１の例では表示装置１０３）を接続するためのインターフェースである。例えば、表示Ｉ／Ｆ１０１ｃは、プロセッサ１０１ａ及び／又は表示Ｉ／Ｆ１０１ｃに搭載されたＧＰＵ（Graphic Processing Unit）により表示制御を実施する。

通信Ｉ／Ｆ１０１ｄは、有線及び／又は無線のネットワークに接続するためのインターフェースである。通信Ｉ／Ｆ１０１ｄは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、光通信ネットワーク、携帯電話ネットワークなどに接続される。

接続Ｉ／Ｆ１０１ｅは、外部デバイスを接続するためのインターフェースである。接続Ｉ／Ｆ１０１ｅは、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）などである。

接続Ｉ／Ｆ１０１ｅには、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されうる。また、接続Ｉ／Ｆ１０１ｅには、スピーカなどのオーディオデバイス及び／又はプリンタなどが接続されうる。また、接続Ｉ／Ｆ１０１ｅには、可搬性の非一時的な記録媒体１０１ｆが接続されうる。記録媒体１０１ｆは、例えば、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどである。

上述したプロセッサ１０１ａは、記録媒体１０１ｆに格納されたプログラムを読み出してメモリ１０１ｂに格納し、メモリ１０１ｂから読み出したプログラムに従って情報処理装置１０１の動作を制御しうる。なお、情報処理装置１０１の動作を制御するプログラムは、メモリ１０１ｂに予め格納されてもよいし、通信Ｉ／Ｆ１０１ｄを介してネットワークからダウンロードされてもよい。

（機能ブロック）
次に、図３を参照しながら、情報処理装置１０１の機能について説明する。図３は、情報処理装置が有する機能の一例を示したブロック図である。

図３に示すように、情報処理装置１０１は、記憶部１１１、モデル生成部１１２、及びマスク生成部１１３を有する。記憶部１１１の機能は、上述したメモリ１０１ｂなどを用いて実現可能である。モデル生成部１１２及びマスク生成部１１３の機能は、上述したプロセッサ１０１ａなどを用いて実現可能である。

（記憶部１１１）
記憶部１１１には、モデル情報１１１ａ、深度画像の集合１１１ｂ、フィルタ情報１１１ｃ、及びマスク画像の集合１１１ｄが格納される。

モデル情報１１１ａは、記憶装置１０２に格納された複数の撮影画像に基づいて生成される三次元モデルの情報である。モデル情報１１１ａには、生成された三次元形状の情報及びその三次元形状に貼り付けられたテクスチャの情報が含まれる。

深度画像の集合１１１ｂには、モデル情報１１１ａに含まれる三次元形状に基づいて生成される各視点の深度画像が含まれる。深度画像は、デプスマップなどとも称され、深度画像の各画素に対応する対象物の各点について、撮像面から対象物までの距離を濃淡で表現した画像である。例えば、深度画像は、撮像面からの距離が遠いほど黒に近く、その距離が遠いほど白に近いグレースケールのイメージであってもよい。なお、撮像面は、撮像装置３０の撮像素子又はその撮像素子に平行な任意の面に設定されてもよい。

フィルタ情報１１１ｃは、深度画像からマスク画像を生成する空間フィルタリングの際に利用される情報である。例えば、フィルタ情報１１１ｃは、空間フィルタの種類及びパラメータ（フィルタ値）や、マスク画像の生成時に利用される二値化閾値などを含む。空間フィルタとしては、ガウシアンフィルタなどの平滑化フィルタ、及びラプラシアンフィルタなどの先鋭化フィルタが用いられる。なお、この例に限定されず、実施の態様に応じて様々な種類の空間フィルタが組み合わせて利用されてもよい。この場合、それらの空間フィルタに関する情報もフィルタ情報１１１ｃに含まれうる。

マスク画像の集合１１１ｄには、各撮影画像から上述した光学的な影響を除去するためのマスク画像が含まれる。マスク画像は、深度画像の空間フィルタリング、及び、空間フィルタリング後の深度画像に対する二値化処理により生成される画像である。各視点に対応する撮影画像に対して、それぞれ対応するマスク画像が生成されるため、マスク画像の集合１１１ｄには、各視点に対応するマスク画像が含まれる。マスク画像は、例えば、マスク対象部分を白、マスク対象部分以外の部分を黒で表現した二値画像で表現されうる。

（モデル生成部１１２）
モデル生成部１１２は、三次元モデル復元機能１１２ａ、及びマスク処理機能１１２ｂを有する。三次元モデル復元機能１１２ａは、対象物の三次元形状を復元し、テクスチャを貼り付けて三次元モデルを復元する機能である。マスク処理機能１１２ｂは、各視点に対応する撮影画像に対して、その撮影画像に対応するマスク画像を適用する機能である。

例えば、モデル生成部１１２は、三次元モデル復元機能１１２ａにより、記憶装置１０２から各視点に対応する撮影画像を取得すると共に、各視点における撮影位置及び撮影方向などの情報に基づいて、各撮影画像から対象物の三次元モデルを復元する。このとき、モデル生成部１１２は、撮像装置３０の撮影パラメータ（レンズの焦点距離、絞り値、撮像素子のサイズ、ＩＳＯ感度など）や照明の設定パラメータ（照明の位置及び向きなど）の少なくとも１つをさらに考慮してもよい。

また、モデル生成部１１２は、マスク処理機能１１２ｂにより、記憶部１１１からマスク画像を取得すると共に、各視点の撮影画像に対して、対応するマスク画像を適用する。例えば、モデル生成部１１２は、マスク画像が示すマスク対象部分を撮影画像から除去するか、三次元モデル復元機能１１２ａによりマスク対象部分が参照されないように設定する。以下では、説明の都合上、マスク対象部分が除去されたか、マスク対象部分が参照されないように設定された撮影画像をマスク後の撮影画像と表記する場合がある。

また、モデル生成部１１２は、三次元モデル復元機能１１２ａにより、各視点に対応するマスク後の撮影画像に基づいて対象物の三次元モデルを復元する。そして、モデル生成部１１２は、復元した三次元モデルの情報を用いてモデル情報１１１ａを更新する。モデル生成部１１２は、後述するマスク生成部１１３によりマスク画像が生成される度に、マスク処理機能１１２ｂによりマスク後の撮影画像を生成し、生成したマスク後の撮影画像に基づいて対象物の三次元モデルを復元する。このように、マスク画像が更新される度に、対象物の三次元モデルが更新される。なお、更新の回数は任意に設定されうる。

（マスク生成部１１３）
マスク生成部１１３は、深度画像生成機能１１３ａ、空間フィルタリング機能１１３ｂ、及び二値化機能１１３ｃを有する。深度画像生成機能１１３ａは、三次元形状から各視点の深度画像を生成する処理を実行する機能である。空間フィルタリング機能１１３ｂは、深度画像に空間フィルタリングを適用して、ボケや回折などの光学的な影響を除去するための処理を実行する機能である。二値化機能１１３ｃは、空間フィルタリング後の深度画像を二値化する処理を実行する機能である。

マスク生成部１１３は、深度画像生成機能１１３ａにより、対象物の三次元形状に基づいて各視点に対応する深度画像を生成する。各視点における撮像装置３０の撮影パラメータは事前設定されてもよいし、三次元形状を復元する処理の中で推定及び更新されてもよい。各視点に置かれた撮像面から三次元形状の表面までの距離は、撮影パラメータに基づき、計算により求めることが可能である。そのため、マスク生成部１１３は、深度画像生成機能１１３ａにより上記の深度画像を生成することができる。

また、マスク生成部１１３は、空間フィルタリング機能１１３ｂにより、各視点に対応する深度画像に空間フィルタリング適用する。さらに、マスク生成部１１３は、二値化機能１１３ｃにより、事前に設定された二値化閾値を用いてマスク画像を生成する。

例えば、深度画像の注目画素を処理する場合、マスク生成部１１３は、注目画素の画素値と所定の半径内（ボケ・回折幅）にある画素値との差に対し、画素間の距離に応じたガウシアンフィルタの重みを掛けた値を求め、求めた値の中で最大値となる値（以下、評価値）を特定する（空間フィルタリング機能１１３ｂ）。さらに、マスク生成部１１３は、深度画像内の各画素について特定した評価値をそれぞれ二値化閾値で判定し、判定結果に応じて各画素の画素値（例えば、１又は０）を決定する（二値化機能１１３ｃ）。これにより、二値で表現されたマスク画像が得られる。

なお、ボケ・回折幅に対応する所定の半径は、例えば、実際にサンプルを撮影して得られた撮影画像を事前に評価した結果などに基づいて予め設定されうる。また、ユーザが経験などに基づいて任意に設定してもよい。

なお、上述した空間フィルタリングの適用方法は一例であり、他の方法も適用可能である。例えば、マスク生成部１１３は、深度画像にガウシアンフィルタなどの平滑化フィルタを適用して深度画像のノイズを除去し、ノイズを除去した深度画像に対してラプラシアンフィルタなどの先鋭化フィルタを適用してもよい。先鋭化フィルタの適用により、画素値がプラス方向に変化する位置がボケとみなせ、マイナス方向に変化する位置が回折とみなせる。そのため、プラスの閾値（ボケ用閾値）及びマイナスの閾値（回折用閾値）を利用してマスク画像を生成することができる。

上記の二値化閾値は、シミュレーションや実験などにより事前に決定されうる。例えば、既知の形状を有する対象物のサンプルを利用し、撮影画像から上述した光学的な影響により画質低下が生じている領域を特定することで、特定した領域を深度画像から抽出可能な二値化閾値を決定することができる。また、実際に三次元復元を実施して、復元された三次元形状と実際のサンプル形状との差から二値化閾値を決定することもできる。

ところで、上記の説明では、三次元復元により得られた三次元形状から深度画像を生成する場合について述べたが、デプスセンサなどによる測定を利用して深度画像が得られている場合には、測定により得られた深度画像が利用されてもよい。この場合、測定により得られた深度画像を利用して精度良く対象物の三次元形状が復元されうる。

（繰り返し処理について）
本実施形態に係る三次元復元の処理は、同じ対象物の多視点画像について繰り返し実行される。ここでは、図４を参照しながら、この繰り返し処理の流れについて説明する。図４は、三次元モデルの生成方法について説明するための説明図である。なお、以下の繰り返し処理についての説明では、事前に深度画像が得られていない場合（上述したデプスセンサなどによる測定を行っていない場合）を想定する。

図４には、４つの処理工程Ｓ１−Ｓ４が模式的に示されている。処理工程Ｓ１−Ｓ４は繰り返し実行される。以下では、説明の都合上、処理工程Ｓ１−Ｓ４がｊ回（Ｊ≧２）実行されることを想定し、ｊ回目（ｊ＝１，２，…，Ｊ）に処理工程Ｓ１−Ｓ４が実行されることをｊ回目の処理と称する場合がある。

処理工程Ｓ１は、多視点画像として記憶装置１０２に格納された撮影画像Ｐ０、Ｐ１、…、Ｐ２４に対する処理を実行する工程である。撮影画像Ｐ０、Ｐ１、…、Ｐ２４は、視点＃０、＃１、…、＃２４に対応する。

１回目の処理では、事前に深度画像が得られておらず、深度画像から生成されるマスク画像が記憶部１１１にないため、モデル生成部１１２は、撮像画像Ｐ０、Ｐ１、…、Ｐ２４に対するマスク画像の適用（マスク処理）をスキップする。２回目以降の処理では、記憶部１１１にマスク画像があるため、モデル生成部１１２は、撮像画像Ｐ０、Ｐ１、…、Ｐ２４にマスク画像を適用する。

処理工程Ｓ２は、撮影画像Ｐ０、Ｐ１、…、Ｐ２４から三次元モデルＭ１０ａを生成する工程である。１回目の処理では、処理工程Ｓ１でマスク処理がスキップされているため、モデル生成部１１２は、オリジナルの撮影画像Ｐ０、Ｐ１、…、Ｐ２４から三次元モデルＭ１０ａを生成する。２回目以降の処理では、処理工程Ｓ１でマスク処理が適用されているため、モデル生成部１１２は、マスク後の撮影画像Ｐ０、Ｐ１、…、Ｐ２４から三次元モデルＭ１０ａを生成する。

処理工程Ｓ３は、三次元モデルＭ１０ａから深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４を生成する工程である。深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４の生成は三次元モデルＭ１０ａに基づいて実行されるため、処理工程Ｓ３で実行される処理の内容は１回目も２回目以降も実質的に同じである。

但し、１回目はオリジナルの撮像画像Ｐ０、Ｐ１、…、Ｐ２４に基づく三次元モデルＭ１０ａを利用し、２回目以降はマスク後の撮像画像Ｐ０、Ｐ１、…、Ｐ２４に基づく三次元モデルＭ１０ａを利用して処理が実行される。また、２回目以降も、記憶部１１１内の各視点に対応するマスク画像が更新されるため、その更新に応じて三次元モデルＭ１０ａが更新される。よって、処理工程Ｓ３で生成される深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４は、処理が繰り返される度に更新される。

処理工程Ｓ４は、深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４からマスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４を生成する工程である。上述したように、マスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４は、深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４に空間フィルタリング及び二値化処理を適用することで得られる。処理工程Ｓ３と同様に、処理工程Ｓ４で生成されるマスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４は、処理が繰り返される度に更新される。

上記の処理工程Ｓ１でマスク処理が適用されることで、ボケにより画質が低下していた部分や、回折により背景の色が被ってしまっていた部分が除去されうる。そのため、処理工程Ｓ２における三次元形状の復元精度及びテクスチャの品質が向上しうる。

対象物の再現精度が高い三次元モデルＭ１０ａが得られると、その三次元モデルＭ１０ａから生成される深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４及びマスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４の品質も向上する。その結果、光学的な影響が及ぶ領域をより精度良く特定することが可能になる。

繰り返し回数は、例えば、許容される処理時間や処理負荷を考慮して設定されてもよい。上述した処理工程Ｓ１−Ｓ４の繰り返し回数は事前に設定されてもよいし、或いは、三次元モデルＭ１０ａの復元精度に関する評価結果に基づいて処理が終了してもよい。後者の場合、具体的には、前回生成した三次元モデルＭ１０ａの形状と、今回生成した三次元モデルＭ１０ａの形状との差が所定の判定閾値より小さいかを判定し、小さい場合に繰り返し処理を終了する仕組みが考えられる。

他の方法として、前回生成した深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４と、今回生成した深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４との差が所定の判定閾値より小さい場合に処理を終了する方法が考えられる。

さらに他の方法として、前回生成したマスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４と、今回生成したマスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４との差が所定の判定閾値より小さい場合に処理を終了する方法が考えられる。その変形例として、一部の深度画像又は一部のマスク画像について上記の差を評価する方法が考えられる。上記の判定閾値は、シミュレーション又は実験により事前に設定されうる。

［１−３．処理フロー］
ここで、図５を参照しながら、情報処理装置１０１が実行する処理の流れについて説明する。図５は、三次元モデルの生成に関する処理の流れを示したフロー図である。

（Ｓ１０１）モデル生成部１１２は、記憶装置１０２に多視点画像として格納された各視点に対応する撮影画像を取得する。図４に示した例の場合、モデル生成部１１２が、記憶装置１０２から撮影画像Ｐ０、Ｐ１、…、Ｐ２４を取得する。

（Ｓ１０２）モデル生成部１１２は、記憶部１１１にマスク画像の集合１１１ｄがあるか否かを判定する。

例えば、図４に示した繰り返し処理の１回目ではマスク画像が生成されていないため、記憶部１１１にはマスク画像がない。一方、２回目以降ではマスク画像が生成されている。マスク画像が記憶部１１１に格納されていない場合（１回目）、処理はＳ１０４へと進む。マスク画像が記憶部１１１に格納されている場合（２回目以降）、処理はＳ１０３へと進む。

（Ｓ１０３）モデル生成部１１２は、記憶部１１１から各視点に対応するマスク画像を読み出し、対応する撮影画像にマスク処理を施す。例えば、モデル生成部１１２は、撮影画像Ｐｋ（ｋ＝０、１、…、２４）に対してマスク画像ｍＰｋを適用する。このマスク処理により、画質の低下が懸念される箇所を撮影画像から除外することができる。

（Ｓ１０４）モデル生成部１１２は、複数の撮影画像に基づいて三次元モデルを生成する。図４に示した繰り返し処理の１回目では、記憶装置１０２から取得されたオリジナルの撮影画像に基づいて三次元モデルＭ１０ａが生成される。一方、２回目以降ではマスク後の撮影画像に基づいて三次元モデルＭ１０ａが生成される。なお、三次元モデルの生成方法については任意のモデリング手法を適用することができる。

（Ｓ１０５）マスク生成部１１３は、Ｓ１０４で生成された三次元モデルに基づいて各視点に対応する深度画像を生成する。例えば、マスク生成部１１３は、復元した三次元モデルＭ１０ａについて、視点＃０、＃１、…、＃２４から三次元モデルＭ１０ａの表面までの距離を計算し、計算した距離に基づいて深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４を生成する。

（Ｓ１０６）マスク生成部１１３は、各視点に対応する深度画像に対して空間フィルタリングを適用する。例えば、マスク生成部１１３は、深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４のそれぞれに空間フィルタリングを適用する。

（Ｓ１０７）マスク生成部１１３は、空間フィルタリングを適用後の各深度画像を対象に二値化処理を実行する。例えば、深度画像ｄＰ０、ｄＰ１、…、ｄＰ２４に対応する空間フィルタリング後の深度画像に対して二値化処理を施すことで、マスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４が得られる。この場合、マスク生成部１１３は、マスク画像の集合１１１ｄとして、マスク画像ｍＰ０、ｍＰ１、…、ｍＰ２４を記憶部１１１に格納する。

（Ｓ１０８）モデル生成部１１２は、繰り返し処理を継続するか否かを判定する。

例えば、モデル生成部１１２は、Ｓ１０２−Ｓ１０７の処理を実行した回数が所定の閾値（以下、繰り返し閾値）に達していない場合に繰り返し処理を継続すると判定してもよい。また、モデル生成部１１２は、前回生成した三次元モデルと、今回生成した三次元モデルとの間で復元精度を比較し、復元精度が所望の精度に達していない場合に繰り返し処理を継続すると判定してもよい。

繰り返し処理を継続する場合、処理はＳ１０２へと進む。一方、繰り返し処理を継続しない場合、図５に示した一連の処理は終了する。

ここで、図６を参照しながら、Ｓ１０８に示した判定処理の一例について、さらに説明する。図６は、判定処理の流れを示したフロー図である。

図６に示した判定処理では、繰り返し閾値に基づく判定結果、及び、三次元モデルの復元精度に基づく判定結果に基づいて繰り返し処理を継続するか否かが判定される。

この例では、復元精度の評価にマスク画像を利用する方法が採用されている。そのため、前回生成されたマスク画像の集合１１１ｄが記憶部１１１から消去されず、今回生成されたマスク画像の集合１１１ｄと共に記憶部１１１に格納されている。例えば、繰り返し処理の３回目においてＳ１０７の処理（図５を参照）が終了した時点で、繰り返し処理の２回目及び３回目に生成されたマスク画像の集合１１１ｄが記憶部１１１に格納されている。以下、この前提に基づいて説明を進める。

（Ｓ１１１）モデル生成部１１２は、繰り返し回数が繰り返し閾値未満であるか否かを判定する。繰り返し閾値は、２以上の整数である。

繰り返し閾値は、例えば、三次元モデルの生成処理に許容される処理時間に基づいて事前に設定されうる。また、繰り返し閾値は、情報処理装置１０１の処理能力に基づいて設定されてもよいし、ユーザにより任意に指定されてもよい。繰り返し回数が繰り返し閾値未満である場合、処理はＳ１１２へと進む。一方、繰り返し回数が繰り返し閾値以上である場合、処理はＳ１１９へと進む。

（Ｓ１１２）モデル生成部１１２は、前回生成されたマスク画像の集合１１１ｄを記憶部１１１から取得する。以下では、説明の都合上、前回生成されたマスク画像の集合１１１ｄに含まれるマスク画像を「前回画像」と表記する場合がある。

（Ｓ１１３）モデル生成部１１２は、今回生成されたマスク画像の集合１１１ｄを記憶部１１１から取得する。以下では、説明の都合上、今回生成されたマスク画像の集合１１１ｄに含まれるマスク画像を「今回画像」と表記する場合がある。

（Ｓ１１４、Ｓ１１６）モデル生成部１１２は、視点＃ｋ（ｋ＝０，１，…，Ｎ）を識別するためのパラメータｋを０からＮまで変化させながら、Ｓ１１５の処理を実行する。図４に示した例の場合、Ｎは２４である。パラメータｋがＮの場合についてＳ１１５の処理を実行した後、処理はＳ１１７へと進む。

（Ｓ１１５）モデル生成部１１２は、視点＃ｋの前回画像と今回画像との差分を計算する。

例えば、モデル生成部１１２は、前回画像と今回画像とを比較し、対応する画素の画素値が異なる画素に第１の差分画素値（例えば、１）を割り当て、対応する画素の画素値が同じ画素に第２の差分画素値（例えば、０）を割り当てて差分画像を生成する。第１の差分画素値及び第２の差分画素値は、例えば、対応する画素の２つの画素値を入力とするＸＯＲゲートにより容易に計算されうる。

（Ｓ１１７）モデル生成部１１２は、各視点に対応する差分画像の合計画素値（各差分画像における合計）を計算する。また、モデル生成部１１２は、全ての視点に対応する合計画素値の総計値（全差分画像における合計）を計算する。そして、モデル生成部１１２は、計算した総計値が所定の閾値（以下、差分閾値）以上であるか否かを判定する。差分閾値は、例えば、全画素数に占める割合（例えば、１％など）などを基準に事前に設定される。

上記の総計値は、深度画像においてマスク処理の対象となる画素数が、前回の処理と今回の処理との間でどれだけ変化したかを評価するための指標である。繰り返し処理により三次元モデルの復元精度が改善された場合、マスク処理の対象となる画素数が変化する。一方、光学的な影響により画質低下した領域をほとんど除去できるマスク画像が得られ、既に高い復元精度が得られている場合、繰り返し処理によって生じるマスク画像の変化は小さくなる。上記の総計値は、この変化を評価するための指標である。

上記の総計値が差分閾値以上の場合、処理はＳ１１８へと進む。一方、上記の総計値が差分閾値未満の場合、処理はＳ１１９へと進む。

（Ｓ１１８）モデル生成部１１２は、処理を継続すると判定し、図６に示した一連の処理を終了する。この場合、図５の処理フローにおいて、処理はＳ１０２へと進み、繰り返し処理が継続される。

（Ｓ１１９）モデル生成部１１２は、処理を継続しないと判定し、図６に示した一連の処理を終了する。この場合、図５の処理フローにおいて、図５に示した一連の処理を終了する。

繰り返し回数が繰り返し閾値以上の場合、及び、マスク画像の改善余地に対応する差分の総計値が閾値未満の場合、処理はＳ１１９へと到達する。つまり、図６の例は、処理時間が許す限り繰り返し処理を実行し続け（繰り返し閾値に基づく判定）、十分な復元精度が得られた場合には繰り返し閾値を待たずに処理を終了する（差分閾値に基づく判定）という判定処理の仕組みを具体的に示した処理フローである。

なお、図６に示した判定処理の処理フローは一例であり、繰り返し処理を継続するか否かを判定する方法はこの例に限定されない。例えば、図６に示した処理フローの一部を省略する変形例や、図６とは異なる判定基準に基づく判定処理が採用されてもよい。例えば、繰り返し閾値に基づく判定、又は差分閾値に基づく判定についての処理部分を省略する変形が可能である。こうした変形例についても当然に本実施形態の技術的範囲に属する。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。

１０ａ 対象物
２０ 背景領域
３０ 撮像装置
１０１ 情報処理装置
１０２ 記憶装置
１０３ 表示装置
１１１ 記憶部
１１１ａ モデル情報
１１１ｂ 深度画像の集合
１１１ｃ フィルタ情報の集合
１１１ｄ マスク画像の集合
１１２ モデル生成部
１１２ａ 三次元モデル復元機能
１１２ｂ マスク処理機能
１１３ マスク生成部１１３
１１３ａ 深度画像生成機能
１１３ｂ 空間フィルタ機能
１１３ｃ 二値化機能
Ｐ０、…、Ｐ２４ 撮影画像
ｄＰ０、…、ｄＰ２４ 深度画像
ｍＰ０、…、ｍＰ２４ マスク画像
Ｍ１０ａ 三次元モデル

Claims (5)

1. 複数の異なる視点から対象物を撮影した複数の撮像画像が格納される記憶部と、
   前記複数の撮像画像から前記対象物の三次元モデルを生成するモデル生成部と、
   各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像に基づいて、画質が低下しやすい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成するマスク生成部と、を備え、
   前記モデル生成部は、前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する、情報処理装置。
2. 前記マスク生成部により、新たに生成された前記三次元モデルについて前記マスク画像を生成する第１の工程と、前記第１の工程で生成された前記マスク画像に基づいて前記除去後の撮像画像を生成する第２の工程と、前記除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する第３の工程と、を繰り返し実行する、
   請求項１に記載の情報処理装置。
3. 前記深度画像は、深度に対応する階調値で表現され、
   前記マスク生成部は、前記深度画像の中で、前記階調値の勾配に基づく評価値が所定の閾値より大きい部分を前記特定領域として判定する、
   請求項１又は２に記載の情報処理装置。
4. コンピュータが、
   複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、
   前記複数の撮像画像から前記対象物の三次元モデルを生成し、
   各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像に基づいて、画質が低下しやすい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成し、
   前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する
   処理を実行する、三次元モデルの生成方法。
5. コンピュータに、
   複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、
   前記複数の撮像画像から前記対象物の三次元モデルを生成し、
   各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像に基づいて、画質が低下しやすい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成し、
   前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する
   処理を実行させるためのプログラム。

Images