JP2018022937A - 撮像システム、その制御方法およびコンピュータプログラム - Google Patents

Abstract

【課題】ユーザが法線情報の取得が可能か否かを容易に確認することができるようにする。【解決手段】撮像システムは、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部１０４ｂと、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部１０４ｃとを有する。法線取得条件は、例えば被写体までの距離、撮像画像における輝度および被写体の表面の材質に関する条件である。【選択図】図１

Description

本発明は、被写体の法線情報を取得する撮像システムに関する。

デジタルカメラ等の撮像システムで被写体を撮像して得られた撮像画像から、被写体の形状情報として該被写体の表面の面法線の情報（以下、法線情報という）を取得する方法が知られている。法線情報を用いることで、撮像後の画像処理において被写体の見えを変更した画像やユーザが任意に選択した光源条件に対応した画像等を生成することができる。法線情報を取得する方法には、レーザ光を用いた三角測量や２眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献１にて開示された照度差ステレオ法等がある。

照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置のそれぞれでの被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。

照度差ステレオ法により法線情報を取得する際には、複数の光源位置で光源を順次点灯して被写体を互いに異なる方向から照明することで被写体（撮像画像）の輝度変化を得る必要がある。この際、光源位置が固定されていると、被写体が遠いほど撮像光軸と光源の方向とがなす角（以下、照明角度という）が小さくなる。照明角度が小さくなると輝度変化が低下するため、撮像画像に含まれるノイズの影響によって算出される法線情報にばらつきが生じ易くなる。つまり、被写体距離によっては法線情報を取得することができなくなる。

特開２０１０−１２２１５８号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、Vol.2011-CVIM-177，No.29，pp.1-12，2011

しかしながら、法線情報を取得可能な従来の撮像システムでは、撮像時にユーザに対して法線情報が取得可能な条件（被写体距離の範囲等）が明示されないために、ユーザが撮像を行っても希望する法線情報を取得することができない場合がある。

本発明は、ユーザが法線情報の取得が可能か否かを容易に確認することができるようにした撮像システム等を提供する。

本発明の一側面としての撮像システムは、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部と、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部とを有することを特徴とする。

また、本発明の他の一側面としての撮像システムの制御方法は、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得するステップと、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成するステップとを有することを特徴とする。

なお、撮像システムのコンピュータに、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する処理と、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する処理と実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、ユーザは条件表示画像を見ることで法線情報の取得が可能か否かを容易に確認することができる。

本発明の実施例１である撮像装置の外観図。 実施例１の撮像装置の構成を示すブロック図。 実施例１における処理を示すフローチャート。 実施例１の撮像装置の撮像部における撮像素子の受光部と撮像光学系の瞳との関係を示す図。 図４に示した撮像部を模式的に示す図。 実施例１における他の撮像の例を示す図。 実施例１における撮影シーンの例を示す図。 実施例１における表示画像の例を示す図。 本発明の実施例２である撮像システムの外観図。 簡略化されたTorrance-Sparrowモデルを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

本実施形態では被写体の法線情報を取得する。法線情報（面法線情報）とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。

まず、法線情報を取得する手法である照度差ステレオ法について説明する。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。光源位置とは点灯（発光）する光源の位置を意味し、光源方向とは被写体から見た光源位置の方向である。

仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図１０に示した光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。

反射光の輝度をｉとは、物体のランバート拡散反射率をρｄとし、入射光の強さをＥとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓとし、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、

と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向ｓ１，ｓ２，・・・，ｓＭで得られた輝度値ｉ１，ｉ２，・・・ｉＭとすると（１）式から以下のように表せる。

ここで左辺はＭ行１列の輝度ベクトルであり、右辺の［ｓ１Ｔ,・・・,ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓである。また、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左から乗じることで、Ｅρｄｎが下記のように求まる。

左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄで１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって、３つの光源条件で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。

一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。

また、行列計算を用いなくとも、既存のフィッティング手法や最適化手法によって解を求めてもよい。特に、被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルｎの各成分や反射特性モデルの未知係数に対する線形方程式でなくなることがある。この場合は、行列計算ができず、既存のフィッティング手法や最適化手法によって解を求めることとなる。

また、Ｍ＞３である場合には、３以上Ｍ−１以下の条件式の組み合わせが複数得られるため、複数の法線候補を求めることもできる。この場合は、後述の方法によって解を選択するとよい。

面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ｎ（ｘ，ｙ）として、ｎ（ｘ−１，ｙ）が既知であれば評価関数である、

が最小となる解を選択するとよい。ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、

が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、

が最小となるように解を選択してもよい。

上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。

また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとして、

が滑らかな表面では成り立つ。このため、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば法線ｎを算出することができる。表面に粗さがある一般の被写体の場合は、鏡面反射も射出角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。

また、複数の解候補の平均によって真の解を決めてもよい。

本発明の実施例１である撮像システム（法線情報取得システム）について説明する。本実施例の撮像システムは、撮像レンズを含めた一体型の撮像装置として構成されている。図１には本実施例の撮像装置の外観を示し、図２には該撮像装置の構成を示している。

撮像装置は、図１に示すように不図示の被写体からの光を結像させる撮像レンズ（撮像光学系）１０１を含む撮像部１００と、該撮像レンズ１０１の周囲に配置された複数の光源２０１を含む光源部２００とを有する。図１には光源部２００が８つの光源２０１を含む場合を示しているが、照度差ステレオ法を利用するには最低３つの光源位置で別々に点灯可能な光源が必要であるため、光源２０１の数は３つ以上であれば幾つでもよい。また、図１には８つの光源２０１を撮像部１００（撮像レンズ１０１）の光軸から等距離の位置（同一円上）に周方向等間隔で配置しているが、これは例であり、光軸から等距離でなくてもよいし、周方向等間隔でなくてもよい。また、図１には光源部２００が撮像装置に内蔵されている場合を示しているが、外付けされる光源部を用いてもよい。撮像装置はさらに、オートフォーカス（ＡＦ）や測光等の撮像準備動作および後述するプリ撮像を指示するためにユーザに半押し操作され、記録用の撮像画像（本撮像画像）を取得する本撮像を指示するために全押し操作されるレリーズスイッチ３００を有する。

図２において、撮像レンズ１０１は不図示の被写体からの光を撮像素子１０２上に結像させる。撮像光学系１０１は、変倍レンズ１０１ｂ、絞り１０１ａおよびフォーカスレンズ１０１ｃを含む。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮像レンズ１０１により形成された光学像としての被写体像を光電変換（撮像）する。撮像レンズ１０１および撮像素子１０２により撮像部１００が構成される。

撮像素子１０２での光電変換により生成されたアナログ撮像信号は、Ａ／Ｄコンバータ１０３でデジタル撮像信号に変換されて画像処理部１０４に入力される。システムコントローラ１１０は、コンピュータにより構成され、本実施例の撮像装置の全ての動作や処理を制御する。

画像処理専用コンピュータとしての画像処理部１０４は、デジタル撮像信号に対して所定の処理を行い、ライブビュー画像、撮像画像（本撮像画像、プリ撮像画像）および後述する法線条件表示画像を生成する。画像処理部１０４は、被写体距離推定部（距離取得部）１０４ａ、法線取得条件取得部（条件取得部）１０４ｂ、表示画像生成部（画像生成部）１０４ｃおよび法線推定部（法線生成部）１０４ｄを有する。

被写体距離推定部１０４ａは、後述する距離推定処理による被写体距離の推定結果を示す距離情報を生成する。法線取得条件取得部１０４ｂは、被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する。法線取得条件は、主として撮像装置に対する被写体までの距離（被写体距離）に関する条件であり、その取得には撮像条件や光源条件等が用いられる。撮像条件とは、撮像を行う際の撮像レンズ１０１の絞り１０１ａの設定値（以下、絞り値という）、焦点距離を変化させる変倍レンズ１０１ａの位置（以下、ズーム位置という）およびフォーカスレンズ１０１ｃの位置（以下、フォーカス位置という）等である。また、撮像条件には、撮像における撮像素子１０２の露出時間や、撮像レンズ１０１の合焦対象としての被写体（合焦被写体）も含まれる。一方、光源条件とは、上記８つの光源２０１のうち点灯する光源の位置（光源位置）や該光源からの被写体への照射光量等である。なお、本実施例では、法線取得条件を被写体の位置に関する条件として主として説明するが、後述するように被写体の表面の材質等、他の項目に関する条件を加えてもよい。

表示画像生成部１０４ｃは、法線取得条件得部１０４ｂで取得した法線取得条件と被写体距離推定部１０４ａにより推定された距離情報とを用いて条件表示画像を生成する画像生成処理を行う。条件表示画像は、撮像対象である被写体が法線取得条件を満たすか否か、つまりは該被写体を撮像することで法線情報の取得が可能か否かを示す情報（以下、法線取得ガイド情報という）を表示する画像である。条件表示画像は、撮像画像の取得のための本撮像前にライブビュー画像に代わって又はライブビュー画像として表示部１０５に表示される。なお、条件表示画像は、法線取得条件自体を示す情報（以下、法線取得条件情報という）を含むものであってもよく、法線取得ガイド情報および法線取得条件情報のうち少なくとも一方を含む画像であればよい。

表示部１０５は、液晶ディスプレイ等の表示デバイスを含む。ユーザは表示部１０５に表示されたライブビュー画像を見て撮像構図を選択し、また条件表示画像を見て法線情報の取得が可能か否かを確認することができる。

表示制御部１１１は、システムコントローラ１１０からの指示に基づいて、表示部１０５における表示のＯＮ／ＯＦＦおよび表示する画像の切り替えを行う。システムコントローラ１１０は、ユーザがレリーズスイッチ３００を半押し操作することに応じて表示制御部１１１に条件表示画像の表示指示を送る。

画像処理部１０４の法線推定部１０４ｄは、本撮像により画像処理部１０４にて生成された複数の光源位置での輝度情報を含む撮像画像を用いて被写体の表面の法線情報を推定（取得）する法線推定処理を行う。なお、複数の光源位置での輝度情報を含む撮像画像は、１つの光源位置に対して１つの撮像画像（つまりは複数の光源位置に対して複数の撮像画像）であってもよいし、複数の光源位置でのそれぞれの輝度情報を分離可能に含む１つの撮像画像であってもよい。

画像処理部１０４で生成された撮像画像、条件表示画像および推定された法線情報を含む法線推定画像は、半導体メモリや光ディスク等により構成される画像記録部１０９に保存される。また、画像処理部１０４は、被写体距離推定部１０４ａで得られた距離情報を含む距離情報画像や、法線情報を用いてユーザが任意に選択した光源条件に対応する画像として生成された任意光源画像等も生成することができる。

情報入力部１０８は、ユーザが所望の撮像条件（絞り値、ズーム位置、フォーカス位置、露光時間および合焦被写体等）を選択して入力する情報を検出してシステムコントローラ１１０にそのデータを供給する。撮像制御部１０７は、システムコントローラ１１０からの指示に基づいて、フォーカスレンズ１０１ｃを移動させたり、絞り値を変更したり、撮像素子１０２の露出時間を制御したりすることで、ユーザ所望の撮像条件での撮像を可能とする。光源制御部１０６は、システムコントローラ１１０の指示に応じて、光源部２００のうち点灯する光源２０１を選択したりその発光量を制御したりする。なお、撮像レンズ１０１は、撮像装置に対して一体に設けられていてもよいし、交換レンズとして撮像装置に対して着脱（交換）可能に設けられていてもよい。

図３のフローチャートには、条件表示画像を生成してユーザに対して表示する画像生成処理の手順および法線推定処理の手順を示している。これらの処理は、システムコントローラ１１０および画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１０１では、システムコントローラ１１０は、ユーザが情報入力部１０８を通じて入力した本撮像での撮像条件および光源条件を設定する。光源条件は、ユーザが入力した撮影条件に基づいて自動で設定するようにしてもよい。例えば、本撮像時に適正露出になるように光源の光量を自動設定する。撮像条件および光源条件は前述した通りであるが、合焦被写体はユーザがタッチパネル機能を有する表示部（合焦被写体設定部）１０５に表示されたライブビュー画像の一部をタッチ（指定）することに応じて設定してもよい。また、画像処理部１０４が顔認識機能等により認識した人物等の主被写体をユーザが許可することで合焦被写体として設定してもよい。

ステップＳ１０２では、システムコントローラ１１０は、レリーズスイッチ３００が半押し操作されたか否かを判定する。半押し操作された場合はシステムコントローラ１１０はＡＦ等の撮像準備動作を行うとともにプリ撮像を行い、不図示のメモリまたはＤＲＡＭにプリ撮像により画像処理部１０４で生成されたプリ撮像画像を保存する。なお、プリ撮像時の撮像条件および光源条件は、ステップＳ１０１で設定された本撮像時の撮像条件および光源条件と同じであることが望ましいが、異なっていてもよく、例えば、プリ撮像時は光源を発光させなくてもよい。

ステップＳ１０３では、画像処理部１０４（被写体距離推定部）１０４ａは、ステップＳ１０２で取得したプリ撮像画像を用いて被写体距離を推定することで被写体距離情報を生成する。なお、ステップＳ１０３は後述するステップＳ１０４の後に行ってもよい。

本実施例では、互いに異なる視点からの撮像により生成された複数の視差画像を取得し、ステレオ法によって被写体距離を推定する。ステレオ法では、取得した複数の視差画像中に存在する被写体の対応点間の視差量、各視点の位置および撮像レンズ１０１の焦点距離とから三角測量法によって奥行きを推定することができる。推定する被写体距離は、被写体の複数の対応点間で算出された奥行きの平均値としてもよいし、被写体の特定点における奥行きとしてもよい。

被写体距離の推定に用いられる複数の視差画像を取得するために、本実施例の撮像部１００は、撮像レンズ１０１の射出瞳のうち互いに異なる複数の部分領域を通過した複数の光束を、撮像素子１０２における互いに異なる受光部（画素）で受光する。図４には、撮像部１００における撮像素子１０２の受光部と撮像レンズ１０１の射出瞳との関係を示す。図４において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像レンズ１０１の射出瞳を示している。Ｇ１，Ｇ２は受光部（以下それぞれをＧ１画素およびＧ２画素という）であり、１つのＧ１画素と１つのＧ２画素とが互いに対をなしている。撮像素子１０２には、Ｇ１画素とＧ２画素の対である画素対が複数配列されている。対のＧ１画素とＧ２画素は、共通の（つまりは画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子１０２に配列された複数のＧ１画素をまとめてＧ１画素群ともいい、同様に撮像素子１０２に配列された複数のＧ２画素をまとめてＧ２画素群ともいう。

図５には、図４に示した射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。Ｇ１画素は射出瞳ＥＸＰのうち部分領域Ｐ１（以下、Ｐ１領域という）を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうち部分領域Ｐ２（以下、Ｐ２領域という）を通過した光束を受光する。ＯＳＰは撮像している物点である。物点ＯＳＰには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する射出瞳ＥＸＰ内での部分領域（位置）に応じてＧ１画素またはＧ２画素に入射する。射出瞳ＥＸＰ内の互いに異なる部分領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、射出瞳ＥＸＰ内の互いに異なる部分領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割ともいう。

また、図４および図５において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。

さらに別の例として、図６に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２）を設けることで複数の視差画像を取得することもできる。また、複数のカメラを用いて同一被写体を撮像する場合も複数の視差画像が得られる。

また、被写体距離は、ステップＳ１０２でのＡＦによって又はユーザがマニュアルフォーカスを行うことによって移動したフォーカス位置から推定してもよいし、ＴＯＦ（Time Of Flight）方式等の種々の距離計測方法を用いて推定してもよい。

ステップＳ１０４では、画像処理部１０４（法線取得条件取得部１０４ｂ）は、合焦被写体についての法線取得条件を取得する。上述したように光源位置が固定されている場合には被写体が遠くなるほど撮像レンズ１０１の光軸方向と光源方向とがなす照明角度が小さくなる。複数の光源位置での輝度変化から法線情報を取得する照度差ステレオ法においては、照明角度が小さくなると輝度変化が低下するため、ノイズの影響によって推定される法線情報にばらつきが生じ易くなる。ばらついた法線情報を用いて被写体の見えを変更する処理を行うと、ノイズが増幅されたような画像が生成されてしまう。したがって、照明角度が所定値としての下限閾値以上となるような被写体距離の範囲を法線取得条件として取得することが好ましい。例えば、照明角度θが（８）式で示される条件を満たすような被写体距離の範囲を法線取得条件として取得する。（８）式において、右辺は閾値に相当し、ｃは定数であり、σ_ｎは撮像装置で発生するノイズの標準偏差であり、Ｅは被写体への入射光の強さである。ただし、照明角度θに対する閾値は（８）式に示されるものに限定されない。

また、照明角度が大きくなると被写体中の陰領域が多くなり、法線情報の算出が困難になる場合がある。このため、照明角度が所定値としての上限閾値以上にならないような被写体距離の範囲を法線取得条件として取得してもよい。

また、被写体への照射光量が所定値としての下限閾値以上となる被写体距離の範囲を法線取得条件としてもよい。被写体への照射光量は被写体距離の２乗に比例して減衰するため、下限閾値以上の照射光量が確保できない被写体距離ではノイズの影響が大きくなり、法線情報の算出が困難となる。

さらに、本撮像時の撮像条件から決定される被写界深度に基づいて法線取得条件を取得してもよい。撮像装置の被写界深度外の被写体距離にある被写体はぼけてしまうため、正確な法線情報の取得が困難となる。したがって、被写界深度内の被写体距離の範囲を法線取得条件として取得してもよい。

また、撮像条件や光源条件ごとの法線取得条件を予めメモリに保存しておき、本撮像時の撮像条件や光源条件に対応した法線取得条件を該メモリから読み出すことで取得してもよい。

ステップＳ１０５では、画像処理部１０４（表示画像生成部１０４ｃ）は、ステップＳ１０３で生成（推定）した被写体距離情報とステップＳ１０４で取得した法線取得条件とに基づいて条件表示画像を生成する。

ここでは、例えば図７に示すような被写体空間をプリ撮像した場合について説明する。プリ撮像では撮像レンズ１０１は被写体Ｂに合焦しており、プリ撮像画像は図８（ａ）に示すようになる。被写体Ｂは、合焦被写体として被写界深度内に入っており、かつ照明角度が下限閾値以上となる被写体距離に存在しているため、法線取得条件を満たす条件内被写体となる。一方、被写体Ｃは被写界深度内に入っているが、照明角度が下限閾値より小さくなる被写体距離に存在しているため、法線取得条件を満たさない条件外被写体となる。また、被写体Ａは照明角度が下限閾値以上であるが、被写界深度外に存在しておりプリ撮像画像中でぼけているため、条件外被写体となる。

表示画像生成部１０４ｃは、図８（ａ）に示したプリ撮像画像から、ステップＳ１０３で取得した被写体空間内の全ての被写体Ａ〜Ｃの被写体距離情報とステップＳ１０４で取得した法線取得条件とを比較することにより、条件内被写体と条件外被写体とを抽出する。条件内被写体Ｂを抽出した画像を図８（ｂ）に示し、条件外被写体Ａ，Ｃを抽出した画像を図８（ｃ）に示す。

そして表示画像生成部１０４ｃは、図８（ｄ）に示すように、プリ撮像画像のうち条件内被写体Ｂが写っている領域以外の領域（条件外被写体Ａ，Ｃが写っている領域）に斜線によるマーキングを行うことで法線取得ガイド情報を含む条件表示画像を生成する。法線取得ガイド情報は、被写体Ｂについては法線情報の取得が可能であり、被写体Ａ，Ｃについては法線情報の取得が不可能であることを示す。

なお、図８（ｄ）ではプリ撮像画像のうち条件外被写体が写っている領域に斜線によるマーキングを行う場合について説明したが、該領域に斜線以外の図形を用いたマーキングを行ってもよい。また、該領域の色を変更したり、輝度を落としたり、該領域を点滅させたり、該領域内の被写体のエッジ部を強調したりする等、他の処理を行ってもよい。条件内被写体と条件外被写体とが明示できればよいので、プリ撮像画像のうち条件内被写体が写っている領域に対してマーキング等の処理を行ってもよい。

また、条件内被写体か否かを明示する処理を、ステップＳ１０１で指定された合焦被写体が存在する領域のみに対して行ってもよい。例えば、合焦被写体が照明角度が下限閾値以上となる被写体距離に存在すればプリ撮像画像内に「ＯＫ」を表示した条件表示画像を生成し、照明角度が下限閾値より小さくなる被写体距離に存在すればプリ撮像画像内に「ＮＧ」を表示した条件表示画像を生成する。

また、表示画像生成部１０４ｃは、図８（ｅ）に示すように、プリ撮像画像の一部にステップＳ１０４で取得した法線取得条件を数値等で直接示す法線取得条件情報を含ませた条件表示画像を生成してもよい。

さらに、被写体距離に関する法線取得条件以外の法線取得条件として、撮像画像の輝度や被写体の表面の材質に関する法線取得条件を用いてもよい。例えばプリ撮像時の撮像条件と光源条件から、同じ撮像条件と光源条件で行われる本撮像時に輝度が飽和すると推定される法線情報取得が困難な被写体に対しても、同様に法線取得条件を満たさない条件外被写体として条件表示画像内に明示してもよい。また、表面の材質が金属や透明体等であり、ランバート反射成分（拡散反射成分）が観測できずに法線情報の取得が困難な被写体についても同様である。例えば、プリ撮像を行った際に被写体の認識を行い、法線情報の取得が困難な材質の被写体に対して、法線取得条件を満たさない条件外被写体として条件表示画像内に明示する。なお、輝度飽和する被写体やランバート反射が観測できない被写体を条件外被写体とする場合には、ステップＳ１０３での被写体距離の推定は不要である。また、被写体距離に関する法線取得条件と、撮像画像の輝度に関する法線取得条件と、被写体の表面の材質に関する法線取得条件のうち少なくとも２つを組み合わせてもよい。

ステップＳ１０６では、表示制御部１１１は、ステップＳ１０５で生成された条件表示画像を表示部１０５に表示させる。以上の一連の処理は、撮像素子１０２を通じてプリ撮像画像が取得されている間、一定の周期で繰り返し実行される。これによりユーザは、現在の撮像条件および光源条件において合焦被写体の法線情報の取得が可能か否かをほぼリアルタイムで容易に確認することができる。

ステップＳ１０７では、システムコントローラ１１０は、レリーズスイッチ３００が全押し操作されたか否かを判定し、全押し操作されると本撮像を行うためにステップＳ１０８に進む。

ステップＳ１０８では、システムコントローラ１１０は、撮像制御部１０７と光源制御部１０６を通じて撮像部１００と光源部２００を制御して複数の光源位置での撮像を行う。

そして、ステップＳ１０９では、システムコントローラ１１０は、画像処理部１０４に撮像素子１０２およびＡ／Ｄコンバータ１０３からのデジタル撮像信号を用いて本撮像画像を生成させる。さらに、法線推定部１０４ｄに本撮像画像から法線情報を推定する法線推定処理を行わせる。この際、画像処理部１０４は、デジタル撮像信号に対して通常の現像処理や各種補正処理を行ってもよい。法線推定部１０４ｄは、上述した照度差ステレオ法を用いて、光源位置ごとの輝度情報の変化に基づいて法線情報を推定する。システムコントローラ１１０は、画像処理部１０４に法線推定処理により得られた法線情報を含む法線推定画像を生成させ、表示制御部１１１を通じて表示部１０５に表示させたり、画像記録部１０９に記録させたりする。

本実施例では、法線情報の推定に照度差ステレオ法を用いたが、ステレオ方式やＴＯＦ方式等の方法で距離情報を取得し、距離情報から求めた三次元形状を法線情報に変換する方法を用いてもよい。

図９には、本発明の実施例２である撮像システム（法線情報取得システム）を示している。実施例１では、光源部を内蔵した撮像装置について説明したが、本実施例では、撮像装置とその外部に設けられた光源ユニットからなる撮像システムについて説明する。

本システムは、被写体３０３を撮像する撮像装置３０１と複数の光源ユニット３０２とを有する。本実施例における撮像装置３０１も、基本的には実施例１において図２に示した構成を有するが、図２中の光源部２００および光源制御部１０６は有する必要はない。

光源ユニット３０２は、撮像装置３０１と有線または無線で通信可能であり、撮像装置３０１は光源ユニット３０２からの光源位置情報を取得できることが望ましい。撮像装置３０１は、光源ユニット３０２からの光源位置情報を取得できない場合には、ユーザに光源位置情報を入力させるようにしてもよい。さらに、入力された光源位置情報に基づいて、自動的に各光源ユニット３０２の位置（光源位置）を変えられるようにしてもよい。

照度差ステレオ法では３つ以上の光源位置での撮像が必要であるが、本実施例のように光源位置が可変である場合は、少なくとも１つ用意した光源ユニットの位置を撮像ごとに変えて３つ以上の光源位置で撮像を行えばよい。

本実施例においても撮像装置３０１は、実施例１と同様の処理を行って条件表示画像を生成および表示する。これにより、ユーザは法線情報の取得が可能か否かを容易に確認することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像部
１０４ 画像処理部
１１０ システムコントローラ
２０１ 光源

Claims (15)

1. 被写体を撮像する撮像システムであって、
   前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部と、
   前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部とを有することを特徴とする撮像システム。
2. 前記法線取得条件は、前記被写体までの距離に関する条件であることを特徴とする請求項１に記載の撮像システム。
3. 前記法線取得条件は、前記撮像における光軸方向に対して前記被写体を照明する光源の方向がなす角度が所定値より大きくなる前記距離に関する条件であることを特徴とする請求項２に記載の撮像システム。
4. 前記法線取得条件は、前記被写体が前記撮像における被写界深度内に入る前記距離に関する条件であることを特徴とする請求項２に記載の撮像システム。
5. 前記法線取得条件は、前記被写体を照明する光源から前記被写体への照射光量が所定値より多くなる前記距離に関する条件であることを特徴とする請求項１または２に記載の撮像システム。
6. 前記被写体の距離情報を取得する距離取得部を有し、
   前記画像生成部は、前記距離情報と前記法線取得条件とに基づいて前記表示画像を生成することを特徴とする請求項１から５のいずれか一項に記載の撮像システム。
7. 前記法線取得条件は、前記撮像画像における輝度に関する条件であることを特徴とする請求項１から６のいずれか一項に記載の撮像システム。
8. 前記法線取得条件は、前記表面の材質に関する条件であることを特徴する請求項１から７のいずれか一項に記載の撮像システム。
9. 前記画像生成部は、前記撮像画像を生成するための前記撮像が行われる前に前記条件表示画像を生成することを特徴とする請求項１から８のいずれか一項に記載の撮像システム。
10. 互いに異なる３つ以上の位置で点灯可能な光源を有することを特徴とする請求項１から９のいずれか一項に記載の撮像システム。
11. 前記３つ以上の位置で前記光源を別々に点灯させて前記被写体を撮像することにより生成された前記撮像画像における輝度情報に基づいて前記法線情報を生成する法線生成部を有することを特徴とする請求項１０に記載の撮像システム。
12. 前記撮像において合焦対象としての被写体である合焦被写体を設定する合焦被写体設定部を有し、
    前記画像生成部は、設定された前記合焦被写体についての前記情報を含む前記表示画像を生成することを特徴とする請求項１から１１のいずれか一項に記載の撮像システム。
13. 前記被写体を撮像する撮像素子と、
    互いに異なる３つ以上の位置で点灯可能な光源と、
    前記条件表示画像を表示する表示部とを有する撮像装置として構成されていることを特徴とする請求項１から１２のいずれか一項に記載の撮像システム。
14. 被写体を撮像する撮像システムの制御方法であって、
    前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得するステップと、
    前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成するステップとを有することを特徴とする撮像システムの制御方法。
15. 被写体を撮像する撮像システムのコンピュータに、
    前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する処理と、
    前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する処理と実行させることを特徴とするコンピュータプログラム。