JP2020076590A - 処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】取得される法線情報の精度を向上させることが可能な処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体を提供すること。【解決手段】処理装置は、被写体までの距離情報を取得する距離取得部と、距離情報を用いて、法線情報の取得に必要な画像の最低枚数を決定する決定部と、最低枚数以上の複数の画像を取得する画像取得部と、を有する。【選択図】図３

Description

本発明は、処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体に関する。

被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から射出され、被写体によって反射された光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。被写体の面法線を取得する方法として、例えば、レーザ光を用いた三角測量や２眼ステレオなどの方法で取得された距離情報から求められた三次元形状を面法線情報に変換する方法が知られている。しかしながら、このような方法では装置は複雑になり、取得された面法線の精度は不十分である。

そこで、特許文献１や非特許文献１では、被写体の面法線を直接取得する方法として照度差ステレオ法を開示している。照度差ステレオ法は、被写体の面法線と被写体から光源への方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を取得する方法である。被写体の反射特性は、例えば、ランバートの余弦則に従うランバート反射モデルを用いて近似することができる。

特開２０１０−１２２１５８号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２、２０１１

デジタルカメラなどの撮像装置において照度差ステレオ法により被写体の面法線を取得する場合、それぞれ異なる位置に配置された複数の光源からの光を被写体に照射する必要がある。光源の位置が固定されている場合、被写体が遠くなるほど、撮像装置に設けられている撮像光学系の光軸と光源から被写体への光とがなす角度（照射角度）が小さくなる。複数の光源位置での輝度変化から被写体の面法線を取得する照度差ステレオ法では、照射角度が小さくなると輝度変化が低下し、撮像装置内でのノイズの影響が強くなる。その結果、取得される面法線にばらつきが生じる。また、光源位置が異なる複数の撮影画像にブレ画像や位置ずれ画像等が含まれる場合、取得される面法線に誤差が生じる。

本発明は、取得される法線情報の精度を向上させることが可能な処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、被写体までの距離情報を取得する距離取得部と、距離情報を用いて、法線情報の取得に必要な画像の最低枚数を決定する決定部と、最低枚数以上の複数の画像を取得する画像取得部と、を有することを特徴とする。

また、本発明の他の側面としての処理システムは、光源部と、被写体までの距離情報を取得する距離取得部と、距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定する決定部と、光源部から光を照射して撮影された最低枚数以上の撮影画像を画像として取得する画像取得部と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、被写体を撮像する撮像部と、被写体までの距離情報を取得する距離取得部と、距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定する決定部と、撮像部が撮像する最低枚数以上の撮影画像を画像として取得する画像取得部と、を有することを特徴とする。

また、本発明の他の側面としての処理方法は、被写体までの距離情報を取得するステップと、距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定するステップと、最低枚数以上の複数の画像を取得するステップと、を有することを特徴とする。

本発明によれば、取得される法線情報の精度を向上させることが可能な処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体を提供することができる。

実施例１の撮像装置の外観図である。 実施例１の撮像装置のブロック図である。 処理システムを示す図である。 実施例１の面法線取得処理を示すフローチャートである。 撮像素子の受光部と撮像光学系の瞳との関係図である。 撮像部の模式図である。 撮像の他の例を示す図である。 距離ごとの法線取得最低枚数を示すテーブルの一例である。 実施例２の撮像装置のブロック図である。 実施例２の面法線取得処理を示すフローチャートである。 実施例３の処理システムの外観図である。 Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を取得する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は、図１１に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度値ｉはランバートの余弦則から以下の式（１）で示される。

異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、・・・、ｓ_Ｍ、光源ベクトルの各成分ごとの輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）で示される。

式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、・・・ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いて、Ｅρ_ｄｎは以下の式（３）で示される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるので、Ｅρ_ｄを１つの変数とみなすと、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ_３を成分ｓ_１、ｓ_２に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング方法や最適化方法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング方法や最適化方法を用いることができる。

また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される、式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いたり、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。

また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。

式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

図１は本実施例の撮像装置１の外観図であり、図２Ａは撮像装置１のブロック図である。撮像装置１は、撮像部１００、光源部２００およびレリーズボタン３００を備える。光源部２００は、撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置された８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されるものではない。また、本実施例では、光源部２００は、撮像装置１内に内蔵されているが、着脱可能に取り付けられる構成としてもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるためのボタンである。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。本実施例では、撮像光学系１０１は、撮像装置１内に内蔵されているが、一眼レフカメラのように撮像装置１に着脱可能に取り付けられる構成であってもよい。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の法線情報を取得する。画像処理部１０４は、距離取得部１０４ａ、最低枚数決定部（決定部）１０４ｂ、入力画像取得部（画像取得部）１０４ｃおよび法線取得部１０４ｄを備える。距離取得部１０４ａは、被写体までの距離情報を取得する。最低枚数決定部１０４ｂは、距離情報を用いて、法線情報の取得に必要な最低枚数である法線取得最低枚数を決定する。入力画像取得部１０４ｃは、法線取得最低枚数以上の複数の画像を入力画像として取得する。法線取得部１０４ｄは、複数の入力画像を用いて法線情報を取得する。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を、表示部１０５に表示してもよい。なお、本実施例では、距離取得部１０４ａ、最低枚数決定部１０４ｂ、入力画像取得部１０４ｃおよび法線取得部１０４ｄは、撮像装置１内に内蔵されているが、後述するように撮像装置１とは別に構成されていてもよい。

情報入力部１０８は、ユーザーによって選択された撮影条件（絞り値、露出時間および焦点距離など）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。

以下、図３のフローチャートを参照して、本実施例の面法線取得処理について説明する。図３は、本実施例の面法線取得処理を示すフローチャートである。本実施例の面法線取得処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

ステップＳ１０１では、システムコントローラー１１０は、ユーザーによって選択された撮影条件を情報入力部１０８から取得する。

ステップＳ１０２では、システムコントローラー１１０は、レリーズボタン３００が半押しされたかどうかを判定する。半押しされた場合、撮像装置１は、撮影準備状態となり、オートフォーカスや以下のステップで必要なプリ撮影を行い、不図示のメモリやＤＲＡＭにプリ撮影画像を保存する。また、プロセスは、ステップＳ１０３に進む。半押しされていない場合、ステップＳ１０２の処理を繰り返す。

ステップＳ１０３では、距離取得部１０４ａは、被写体までの距離情報を取得する。本実施例では、距離取得部１０４ａは、ステップＳ１０２においてオートフォーカス、またはユーザーによる手動のフォーカスが行われた際のフォーカスレンズの位置から距離情報を取得する。また、距離取得部１０４ａは、異なる視点から撮影した複数の視差画像を取得するステレオ法によって距離情報を取得してもよい。ステレオ法では、取得した複数の視差画像中の被写体の対応点の視差量、撮影した各視点の位置情報および光学系の焦点距離から三角測量によって奥行きを取得する。距離情報は、被写体の対応点で算出された奥行きの平均値としてもよいし、被写体の特定の点における奥行きとしてもよい。視差画像から距離情報を取得する場合、複数の視差画像の撮像部は、図４に示されるように、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部（画素）に導いて光電変換を行う撮像系を有する。

図４は、撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素の対（画素対）が複数配列されている。複数のＧ１画素および複数のＧ２画素をまとめてそれぞれ、Ｇ１画素群およびＧ２画素群という。対のＧ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。また、マイクロレンズＭＬと受光部との間には、カラーフィルタＣＦが設けられている。

図５は、射出瞳ＥＸＰの位置に薄肉レンズが配置されていると仮定した場合の撮像部の模式図である。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。撮像している物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束は通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、マイクロレンズＭＬごとに設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。

図４および図５において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったり、Ｐ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。

図６は、撮像の他の例を示す図である。図６に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２）を設けることで視差画像を取得することができる。また、複数のカメラを用いて同一被写体を撮像する場合も視差画像を取得することができる。

ステップＳ１０４では、最低枚数決定部１０４ｂは、ステップＳ１０３で取得された距離情報を用いて、照度差ステレオ法による法線情報の取得に必要な画像の最低枚数である法線取得最低枚数を決定する。光源の位置が固定されている場合、被写体が遠くなるほど、撮像光学系の光軸と光源方向とがなす角（照射角度）が小さくなる。複数の光源位置での輝度変化から被写体の面法線を取得する照度差ステレオ法では、照射角度が小さくなると輝度変化が低下し、ノイズの影響が強くなる。ノイズの影響が強くなると、取得される面法線にばらつきが生じる。ばらついた面法線を用いて被写体の見えを変更する画像処理（レンダリング処理）を行うと、元の画像はノイズが増幅されてしまう。したがって、被写体までの距離が遠く、ノイズの影響が強くなる場合、面法線の取得に用いる画像枚数を多くすることでノイズの影響を低減することが好ましい。そこで、本実施例では、最低枚数決定部１０４は、距離情報が遠いほど、法線取得最低枚数を多くする。すなわち、最低枚数決定部１０４は、距離情報が第１の被写体距離である場合に決定する法線取得最低枚数を、距離情報が第１の被写体距離より短い第２の被写体距離情報である場合に決定する法線取得最低枚数に比べて多くする。例えば、最低枚数決定部１０４ｂは、法線取得最低枚数Ｎが式（８）を満足するように、法線取得最低枚数を決定する。

式（８）において、σ_ｎは撮像装置のノイズの標準偏差、θは照射角度、ｃは定数である。照射角度θは、光源面の光軸中心から被写体までの距離Ｄと光軸からの光源までの距離Ｌとを用いて、ｔａｎ⁻¹（Ｌ／Ｄ）で表わされる。なお、最低枚数決定部１０４ｂは、式（８）とは異なる条件を用いて、法線取得最低枚数Ｎを決定してもよい。

また、最低枚数決定部１０４ｂは、距離情報に基づく法線取得最低枚数をテーブルとして所持し、このテーブルを参照して法線取得最低枚数を決定してもよい。図７は、距離ごとの法線取得最低枚数を示すテーブルの一例である。

また、最低枚数決定部１０４ｂは、式（８）において、距離情報に応じた照射角度に基づいて法線算出最低枚数を決定する代わりに、ＩＳＯ感度に基づいて法線算出最低枚数を決定してもよい。撮像装置のノイズの標準偏差σ_ｎは、撮影時のＩＳＯ感度に基づいて決定することができる。

ステップＳ１０５では、レリーズボタン３００が全押しされたかどうかを判定する。全押しされた場合、撮像装置１は撮影状態となり、本撮影を開始する。また、プロセスは、ステップＳ１０６に進む。全押しされていない場合、ステップＳ１０５の処理を繰り返す。

ステップＳ１０６では、システムコントローラ１１０は、照射光源制御部１０６を介して、光源部２００の光源からの光を順次照射させ、撮像制御部１０７を介して撮像部１００に被写体を撮像させる。入力画像取得部１０４ｃは、複数の撮影画像を入力画像として取得する。本ステップでは、ステップＳ１０４で決定された法線取得最低枚数以上の撮影が行われる。光源部２００の光源数より少ない数の撮影を行う場合、発光させる各光源間の距離がなるべく大きくなる光源の組み合わせで発光させるとよい。発光させる各光源が近くにまとまると、光源位置を変化させた際の輝度変化が小さくなり、面法線の取得精度が低下する。また、光源部２００の光源数より多い数の撮影を行う場合、光源１つにつき複数回の撮影を行ってもよい。ただし、上述したように、照度差ステレオ法により面法線を取得する場合、少なくとも３つの光源を用いて画像を取得する必要がある。

ステップＳ１０７では、法線取得部１０４ｄは、照度差ステレオ法を用いて、光源位置による複数の入力画像の輝度の変化に基づいて被写体の法線情報を取得する。

なお、本実施例では、撮像装置１内で被写体の面法線が取得されるが、撮像装置１とは異なる処理システム２を用いて被写体の面法線を取得してもよい。図２Ｂは、処理システム２を示す図である。処理システム２は、処理装置５００、撮像部５０１、光源部５０２および法線取得部５０３を有する。処理装置５００は、距離取得部５００ａ、最低枚数決定部５００ｂおよび入力画像取得部５００ｃを備える。

処理システム２を用いて法線を取得する場合、まず、距離取得部５００ａは、被写体までの距離情報を取得する。次に、最低枚数決定部５００ｂは、距離情報を用いて、法線情報の取得に必要な最低枚数である法線取得最低枚数を決定する。次に、入力画像取得部５００ｃは、法線取得最低枚数に応じて光源部５０２を点灯させ、被写体を撮像部５０１に撮像させ、入力画像を取得する。最後に、法線取得部５０３は、入力画像を用いて、法線情報を取得する。

なお、処理装置５００が法線取得部５０３を備えていてもよい。また、光源部５０２や距離取得部５００ａはそれぞれ、個別の装置であってもよいし、撮像部５０１に搭載されていてもよい。また、撮像部５０１および光源部５０２はそれぞれ、個別の装置であってもよいし、光源部５０２が撮像部５０１に内蔵されていてもよい。

以上説明したように、本実施例では、距離情報を用いて法線取得最低枚数を決定することで、取得される法線情報の精度を向上させることが可能である。

本実施例では、照度差ステレオ法による法線取得において法線取得精度の劣化の要因となり得る画像（以下、劣化要因画像）を検出し、入力画像の枚数が距離情報を用いて決定される法線取得最低枚数以上となるように、劣化要因画像を、入力画像から除去または補正する。このような処理を行うことで、取得される法線情報の精度を実施例１に比べて向上させることが可能である。

図８は、本実施例の撮像装置１のブロック図である。画像処理部１０４は、実施例１の構成に加え、劣化要因画像を検出するとともに、劣化要因画像を、入力画像から除去、または補正する検出処理部１０４ａを備える。

図９は、本実施例の面法線取得処理を示すフローチャートである。本実施例の面法線取得処理も実施例１と同様、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。

ステップＳ２０１〜Ｓ２０５およびＳ２０９はそれぞれ、図３のステップＳ１０１〜Ｓ１０５およびＳ１０７と同様であるため、詳細な説明は省略する。

ステップＳ２０６では、システムコントローラ１１０は、照射光源制御部１０６を介して、光源部２００の光源からの光を順次照射させ、撮像制御部１０７を介して撮像部１００に被写体を撮像させる。入力画像取得部１０４ｃは、複数の撮影画像を入力画像として取得する。本ステップでは、ステップＳ２０４で決定された法線取得最低枚数以上の撮影が行われる。さらに言うと、ステップＳ２０７以降で検出された劣化要因画像を、入力画像から除去または補正するため、法線取得最低枚数より多く撮影することが好ましい。例えば、法線取得最低枚数の２倍の撮影を行えばよい。ただし、上述したように、照度差ステレオ法により面法線を取得する場合、少なくとも３つの光源を用いて画像を取得する必要がある。

ステップＳ２０７では、検出処理部１０４ｅは、ステップＳ２０６で取得された複数の入力画像から劣化要因画像を検出する。劣化要因画像とは、例えば、ブレが含まれた画像（ブレ画像）や入力画像内における主被写体の位置がずれた画像（位置ずれ画像）である。また、光源部２００の一部が遮られて光源からの光が被写体に照射されずに撮影された画像等も劣化要因画像である。また、検出処理部１０４ｅは、ユーザーにより選択された画像を劣化要因画像として検出してもよい。

ブレ画像は、ブレがない画像に比べて周波数が低周波側にシフトしている画像である。そのため、検出処理部１０４ｅは、取得された複数の入力画像を周波数空間に変換した際の特定の周波数における値や特定の周波数帯域での平均値等からブレ画像を検出すればよい。例えば、周波数空間に変換した際の最大周波数の半分の周波数での値や最大周波数の半分以降の周波数における周波数帯域での平均値である周波数値が、複数の入力画像での周波数値の平均値や中央値の８０％より低い画像をブレ画像と検出すればよい。ただし、本発明はこれに限定されるものではない。

検出処理部１０４ｅは、複数の入力画像のうち基準となる画像（基準画像）とのエッジ成分の差分がしきい値以上である画像を位置ずれ画像として検出すればよい。また、検出処理部１０４ｅは、複数の入力画像でＳＵＲＦ等の特徴量を使用した対応点の検出を行い、対応点のずれが大きい画像を位置ずれ画像として検出してもよい。ただし、本発明はこれに限定されるものではない。

検出処理部１０４ｅは、光源部２００の一部が遮られて光源からの光が被写体に光が照射されずに撮影された画像として、平均輝度がしきい値以下である画像や、各入力画像の平均輝度の平均値や中央値の５０％より低い平均輝度を持つ画像を検出すればよい。ただし、本発明はこれに限定されるものではない。

ステップＳ２０８では、検出処理部１０４ｅは、ステップＳ２０７で検出された劣化要因画像を、ステップＳ２０６で取得された複数の入力画像から除去、または補正する。ただし、除去または補正した後の入力画像の枚数がステップＳ２０４で決定された法線取得最低枚数より少なくならないようにする必要がある。例えば、検出処理部１０４ｅは、除去された劣化要因画像を除く入力画像の枚数が法線取得枚数以上となるように、劣化要因画像の少なくとも一部を除去すればよい。また、検出処理部１０４ｅは、補正されていない劣化要因画像を除く入力画像の枚数が法線取得最低枚数以上となるように、劣化要因画像の少なくとも一部を補正すればよい。また、検出処理部１０４ｅは、検出された劣化要因画像を除く入力画像の枚数が法線取得最低枚数より少ない場合、表示部１０５に警告または再撮影を促すメッセージを表示させてもよい。

例えば、ブレ画像を補正する場合、ブレ関数を推定して補正するブラインドデコンボリューションや入力したブレ関数に基づいて補正するルーシー・リチャードソン・アルゴリズム等、種々のデコンボリューション方法を用いることができる。ブレ関数は、撮像装置１内の加速度センサーなどで取得される撮影時の動き情報を用いて作成してもよい。

位置ずれ画像を補正する場合、基準画像との輝度値の差分が最少になるように位置ずれ補正を最適化する強度ベースの方法や特徴量を使用した対応点の検出を行い幾何学変換を推定して補正する特徴量ベース等、種々の位置合わせ方法を用いることができる。ただし、複数の入力画像はそれぞれ撮影時の光源位置が異なるため、特徴量ベースの方法を用いることが好ましい。

以上説明したように、本実施例では、距離情報を用いて、法線取得最低枚数を決定することで、取得される法線情報の精度を向上させることが可能である。また、本実施例では、入力画像の枚数が法線取得最低枚数を満足するように、法線情報の取得において劣化要因となる画像を、入力画像から除外または補正することで、取得される法線情報の精度を実施例１に比べて向上させることが可能である。

実施例１および実施例２では、光源部２００が内蔵された撮像装置１について説明したが、本実施例では、撮像装置と光源ユニットとから構成される処理システムについて説明する。

図１０は、本実施例の処理システムの外観図である。処理システムは、被写体３０３を撮像する撮像装置３０１、および複数の光源ユニット３０２を備える。撮像装置３０１は、実施例１の撮像装置１と同様の構成を有するが、照度差ステレオ法用の複数の光源を内蔵する必要はない。光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。照度差ステレオ法では少なくとも３つの光源を用いて取得された画像が必要であるが、本実施例のように光源位置が可変な光源ユニットを使用する場合、少なくとも１つの光源ユニットがあればよい。ただし、光源ユニットの位置を変え、少なくとも３つの光源位置で撮影を行う必要がある。

本実施例の法線取得処理については、実施例１または実施例２のフローと同様であるため、詳細な説明は省略する。

以上説明したように、本実施例では、距離情報を用いて法線取得最低枚数を決定することで、取得される法線情報の精度を向上させることが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５００ 処理装置
５００ａ 距離取得部
５００ｂ 最低枚数決定部（決定部）
５００ｃ 入力画像取得部（画像取得部）

Claims (15)

1. 被写体までの距離情報を取得する距離取得部と、
   前記距離情報を用いて、法線情報の取得に必要な画像の最低枚数を決定する決定部と、
   前記最低枚数以上の複数の画像を取得する画像取得部と、を有することを特徴とする処理装置。
2. 前記複数の画像は、少なくとも３つの異なる光源位置で撮影された複数の撮影画像であることを特徴とする請求項１に記載の処理装置。
3. 前記複数の画像を用いて、法線情報を取得する法線取得部を更に有することを特徴とする請求項１または２に記載の処理装置。
4. 前記決定部は、前記距離情報が第１の被写体距離である場合に決定する最低枚数を、前記距離情報が前記第１の被写体距離より短い第２の被写体距離である場合に決定する最低枚数に比べて多くすることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
5. 前記複数の画像から劣化要因画像を検出するとともに、前記複数の画像から前記劣化要因画像の少なくとも一部を除去する検出処理部を更に有することを特徴とする請求項１から４のいずれか１項に記載の処理装置。
6. 前記検出処理部は、除去された前記劣化要因画像を除く前記複数の画像の枚数が前記最低枚数以上となるように、前記劣化要因画像の少なくとも一部を除去することを特徴とする請求項５に記載の処理装置。
7. 前記複数の画像から劣化要因画像を検出するとともに、前記劣化要因画像を除く前記複数の画像の枚数が前記最低枚数より少ない場合、警告または再撮影を促すメッセージを表示部に表示させる検出処理部を更に有することを特徴とする請求項１から６のいずれか１項に記載の処理装置。
8. 前記複数の画像から劣化要因画像を検出するとともに、前記複数の画像から前記劣化要因画像の少なくとも一部を補正する検出処理部を更に有することを特徴とする請求項１から７のいずれか１項に記載の処理装置。
9. 前記検出処理部は、補正されていない前記劣化要因画像を除く前記複数の画像の枚数が前記最低枚数以上となるように、前記劣化要因画像の少なくとも一部を補正することを特徴とする請求項８に記載の処理装置。
10. 前記劣化要因画像は、ブレ画像、位置ずれ画像、および光源からの光が前記被写体に照射されずに撮影された画像の少なくともいずれかであることを特徴とする請求項５から９のいずれか１項に記載の処理装置。
11. 光源部と、
    被写体までの距離情報を取得する距離取得部と、
    前記距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定する決定部と、
    前記光源部から光を照射して撮影された前記最低枚数以上の撮影画像を画像として取得する画像取得部と、を有することを特徴とする処理システム。
12. 被写体を撮像する撮像部と、
    前記被写体までの距離情報を取得する距離取得部と、
    前記距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定する決定部と、
    前記撮像部が撮像する前記最低枚数以上の撮影画像を画像として取得する画像取得部と、を有することを特徴とする撮像装置。
13. 被写体までの距離情報を取得するステップと、
    前記距離情報を用いて法線情報の取得に必要な画像の最低枚数を決定するステップと、
    前記最低枚数以上の複数の画像を取得するステップと、を有することを特徴とする処理方法。
14. 請求項１３に記載の処理方法をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。