JP2018054413A - 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】被写体の面法線を高精度に算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供する。【解決手段】互いに異なる３つ以上の位置の光源２００からの光を被写体に順次照射して被写体の３つ以上の輝度情報を取得する輝度情報取得部と、３つ以上の輝度情報から第１の反射特性を用いて算出された被写体の第１の法線情報を取得する第１の法線取得部１０４ｂと、第１の法線情報に基づいて、第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する第２の法線取得部１０４ｄと、を有する。【選択図】図２Ａ

Description

本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。

被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から射出され、被写体によって反射された光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。被写体の面法線を取得する方法として、例えば、レーザ光を用いた三角測量や２眼ステレオなどの方法で取得された距離情報から求められた三次元形状を面法線情報に変換する方法が知られている。しかしながら、このような方法では装置は複雑になり、取得された面法線の精度は不十分である。

そこで、特許文献１や非特許文献１では、被写体の面法線を直接取得する方法として照度差ステレオ法を開示している。照度差ステレオ法は、被写体の面法線と被写体から光源への方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を算出する方法である。被写体の反射特性は、例えば、ランバートの余弦則に従うランバート反射モデルを用いて近似することができる。

特開２０１０−１２２１５８号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２、２０１１

照度差ステレオ法では、被写体の反射特性がランバート反射である仮定の下で面法線を算出する。しかしながら、実物体の表面における反射では、入射角にのみ依存するランバート反射だけではなく、入射角や反射角に依存して反射率が変化するフレネル項も存在する。そのため、被写体の反射特性がランバート反射とする照度差ステレオ法では、被写体の面法線を正確に算出することができない。

このような課題に鑑みて、本発明は、被写体の面法線を高精度に算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、互いに異なる３つ以上の位置の光源からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得する輝度情報取得部と、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得する第１の法線取得部と、前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する第２の法線取得部と、を有することを特徴とする。

また、本発明の他の側面としての処理システムは、光源部と、互いに異なる３つ以上の位置の前記光源部からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得する輝度情報取得部と、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得する第１の法線取得部と、前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する第２の法線取得部と、を備える処理装置と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、互いに異なる３つ以上の位置の光源からの光を順次照射される被写体を撮像する撮像部と、前記撮像部が撮像する前記被写体の３つ以上の輝度情報を取得し、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得し、前記第１の法線情報に基づいて前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する処理部と、を有することを特徴とする。

また、本発明の他の側面としての処理方法は、互いに異なる３つ以上の位置の光源からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得するステップと、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得するステップと、前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得するステップと、を有することを特徴とする。

本発明によれば、被写体の面法線を高精度に算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。

実施例１の撮像装置の外観図である。 実施例１の撮像装置のブロック図である。 実施例１の処理システムを示す図である。 実施例１の面法線算出処理を示すフローチャートである。 拡散反射モデルを示す図である。 拡散反射モデルのパラメータを示す図である。 撮像素子の受光部と撮像光学系の瞳との関係図である。 撮像系の模式図である。 撮像の他の例を示す図である。 実施例２の面法線算出処理を示すフローチャートである。 実施例３の法線情報取得システムの外観図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を算出する方法である。反射特性は、ランバートの余弦則に従うランバート反射モデルで近似すればよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρ_ｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度値ｉはランバートの余弦則から以下の式（１）で示される。

異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、・・・、ｓ_Ｍ、光源ベクトルの各成分ごとの輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）で示される。

式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、・・・ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いて、Ｅρ_ｄｎは以下の式（３）で示される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるので、Ｅρ_ｄを１つの変数とみなすと、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ_３を成分ｓ_１、ｓ_２に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式でなくなることがある。その場合でも、未知変数に対して未知変数以上の方程式が得られれば、既知のフィッティング手法や最適化手法を用いることができる。

光源ベクトルの各成分ごとの輝度値のうち、陰影や輝度飽和により正確な値が取得できなかった輝度値を使用して単位面法線ベクトルｎを算出した場合、正確な法線ベクトルを算出することが困難となる。したがって、陰影や輝度飽和により正確な値が取得できなかった輝度値は使用せずに単位面法線ベクトルｎを算出してもよい。つまり、Ｍ＝ｍの光源ベクトルｓ_ｍで得られた輝度値ｉ_ｍが陰影や輝度飽和により正確な値でない場合、光源ベクトルｓ_ｍおよび輝度値ｉ_ｍを式（３）から除外して単位面法線ベクトルｎを算出する。除外する輝度値は、しきい値判定により決定すればよい。ただし、上述したように、単位面法線ベクトルｎを算出するためには少なくとも３つの輝度情報が必要である。

図１は本実施例の撮像装置１の外観図であり、図２Ａは撮像装置１のブロック図である。撮像装置１は、撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１を備える。光源部２００は、撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置された８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００は、撮像装置１に内蔵されているが、着脱可能に取り付けられる構成としてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。本実施例では、撮像光学系１０１は、撮像装置１に内蔵されているが、一眼レフカメラのように撮像装置１に着脱可能に取り付けられる構成であってもよい。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の法線情報を算出する。画像処理部１０４は、撮影画像取得部１０４ａ、第１の法線情報を取得する第１の法線取得部１０４ｂ、補正テーブルを取得する補正テーブル取得部１０４ｃ、および第２の法線情報を取得する第２の法線取得部１０４ｄを備える。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を、表示部１０５に表示してもよい。なお、本実施例では、撮影画像取得部１０４ａ、第１の法線取得部１０４ｂ、補正テーブル取得部１０４ｃ、および第２の法線取得部１０４ｄは、撮像装置１に内蔵されているが、後述するように撮像装置１とは別に構成されてもよい。

情報入力部１０８は、ユーザーによって選択された撮影条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。

次に、図３のフローチャートを参照して、本実施例の面法線算出処理について説明する。図３は、本実施例の面法線算出処理を示すフローチャートである。本実施例の面法線算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、撮影画像取得部１０４ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の撮影画像を取得する。複数の撮影画像は、単一の光源の位置を変更して光源からの光を順次照射することで取得してもよいし、それぞれ位置の異なる複数の光源からの光を順次照射して取得してもよい。

ステップＳ１０２では、第１の法線取得部１０４ｂは、まず、ステップＳ１０１で取得された複数の撮影画像から複数の輝度情報を取得する。すなわち、第１の法線取得部１０４ｂは、輝度情報取得部としても機能する。第１の法線取得部１０４ｂは、次に、光源位置による輝度情報の変化から照度差ステレオ法を用いて算出された被写体の第１の法線情報を取得する。

ステップＳ１０３では、補正テーブル取得部１０４ｃは、ステップＳ１０２で取得した被写体の第１の法線情報を補正するための補正テーブルを取得する。上述したように、照度差ステレオ法では、被写体の反射特性がランバート反射である仮定の下で面法線を算出する。しかしながら、実物体の表面における反射では、入射角にのみ依存するランバート反射だけではなく、入射角、射出角および屈折率に依存して反射率（または透過率）が変化するフレネル項も存在する。例えば、図４に示されるように、被写体内部に透過した光が内部拡散を経て、透過した点から再び界面を透過した光が拡散反射光として観測されるモデルを考える。このモデルでは、照射した光が２度界面を透過する。光が界面を透過する場合の透過率は、フレネルの式を用いて以下の式（４）で示される。

ここで、Ｔ_ｐはｐ偏光の透過率、Ｔ_ｓはｓ偏光の透過率である。光の透過率Ｔは、例えば、Ｔ_ｐとＴ_ｓの平均値で表すことができる。θ_ｔは屈折角であり、以下の式（５）で示されるスネルの法則に従って、入射角θ_iと屈折率ｎ（ｎ_１：入射側媒質の屈折率、ｎ_２：屈折側媒質の屈折率）によって変化する。

式（４）から算出される、図５（ａ）に示される光が被写体に入射する場合の透過率Ｔ_ｉｎｃと、図５（ｂ）に示される光が被写体から射出される場合の透過率Ｔ_ｏｕｔを用いて、反射率（フレネル項）Ｒは以下の式（６）で求められる。

すなわち、本実施例では、フレネル項は、照射した光が被写体の内部に入射する際の透過率と被写体の内部から光が射出される際の透過率の少なくとも一方に基づいて算出される。

光が被写体に入射する場合、光源方向と面法線で決まる入射角と屈折率で透過率Ｔ_ｉｎｃが変化し、被写体から射出される場合、視線方向と面法線で決まる射出角と屈折率で透過率Ｔ_ｏｕｔが変化する。つまり、式（２）においてフレネル項を考慮すると、以下の式（７）で示されるように、光源Ｍごとに異なる反射率Ｒ_Ｍにより観測される各輝度値が変化する。

したがって、ステップＳ１０２で反射特性がランバート反射である仮定の下で取得した第１の法線情報には、フレネル項の影響により誤差が生じている。

そこで、本実施例では、反射特性の乖離による面法線誤差を補正するために、補正テーブルを用いる。補正テーブルは、誤差のない理想の面法線と、ステップＳ１０２で取得する第１の法線情報のような誤差の生じた面法線を対応付けしたテーブルである。つまり、ランバート反射およびフレネル項（第２の反射特性）を考慮した場合に得られるであろう誤差のない理想の面法線と、ランバート反射（第１の反射特性）のみを考慮した場合に得られるであろう誤差の生じた面法線の関係をテーブル化する。２つの面法線の関係として、２つの面法線の組をテーブル化してもよいし、誤差の生じた面法線と、誤差の生じた面法線と理想の面法線との差（補正量）との組をテーブル化してもよい。

面法線誤差の要因であるフレネル項は、入射角や反射角に依存する。つまり、フレネル項は、光源方向、被写体の面法線および視線方向によって変化する。さらに、光源方向と視線方向は、３次元的な被写体位置（被写体距離や位置）などの撮影条件によって変化する。また、フレネル項による面法線誤差は、各光源の位置や個数などの光源条件によって変化する。したがって、補正テーブルは、光源条件および撮影条件ごとに作成しておくことが望ましい。

しかしながら、光源条件および撮影条件ごとの補正テーブルは、膨大な量のバリエーションとなる。したがって、現実的には、多数の補正テーブルの中から必要なものだけを保持しておけばよい。例えば、２つの面法線の差（内積）がしきい値より大きくなる、すなわち面法線の誤差が大きい場合の補正テーブルのみを保持してもよい。この場合、補正テーブルは離散的に作成されているため、保持する補正テーブル以外の面法線の関係に関するデータは補間処理によって生成してもよい。

補正テーブルは、あらかじめシミュレーション等で作成しておき、半導体メモリ等の記憶部１１１に保存しておく。また、補正テーブルは、測定によって作成されてもよい。補正テーブル取得部１０４は、記憶部１１１が保持する補正テーブルから撮影時の光源条件および撮影条件に一致した補正テーブルを取得する。

ここで、光源条件や撮影条件として被写体距離の情報が必要であるため、撮像装置１は被写体距離を算出できることが好ましい。被写体距離は、撮影時の撮像光学系１０１のフォーカスレンズの位置から算出してもよいし、レーザ距離計等を用いて算出してもよい。また、被写体距離は、異なる視点から撮影した複数の視差画像を取得するステレオ法によって算出してもよい。ステレオ法では、取得した複数の視差画像中の被写体の対応点の視差量と撮影した各視点の位置情報および光学系の焦点距離から三角測量によって奥行きを算出する。被写体距離は、被写体の対応点で算出された奥行きの平均値としてもよいし、被写体の特定の点における奥行きとしてもよい。視差画像から被写体距離を算出する場合、複数の視差画像の撮像部は、図６に示されるように、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部（画素）に導いて光電変換を行う撮像系を有する。

図６は、撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素の対（画素対）が複数配列されている。複数のＧ１画素をまとめてＧ１画素群といい、複数のＧ２画素をまとめてＧ２画素群という。対のＧ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。また、マイクロレンズＭＬと受光部との間には、カラーフィルタＣＦが設けられている。

図７は、図６の射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系の模式図である。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。撮像している物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束は通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、マイクロレンズＭＬごとに設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。

図６および図７において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。

図８は、撮像の他の例を示す図である。図８に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１、２）を設けることで視差画像を取得することができる。また、複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られる。

また、フレネル項は被写体の屈折率によっても変化するため、屈折率ごとに補正テーブルを作成してもよいし、所定の屈折率を仮定して補正テーブルを作成してもよい。

また、本実施例では第１の反射特性がランバート反射、第２の反射特性がランバート反射とフレネル項である場合について説明したが、本発明はこれに限定されない。第１の反射特性は、第１の法線情報を算出する際に使用される反射特性、第２の反射特性は、第１の反射特性とは異なる反射特性であって、被写体の真の反射特性に近い反射特性であればよい。第１および第２の反射特性は、例えば、オーレン・ネイヤー反射等であってもよい。

ステップＳ１０４では、第２の法線取得部１０４ｄは、ステップＳ１０３で取得した補正テーブルに基づいてステップＳ１０２で取得した第１の法線情報を補正することで第２の法線情報を取得する。第２の法線情報は、フレネル項による誤差が低減された法線情報である。被写体の反射特性をフレネル項を考慮したモデルで仮定し、フィッティング手法や最適化手法を用いて法線情報を算出することもできるが、本実施例の補正テーブルを用いた手法はより簡易な計算で高精度に法線情報を取得できる。

なお、本実施例では撮像装置１内で被写体の法線情報を算出しているが、図２Ｂに示されるように、撮像装置とは異なる処理システム２を用いて被写体の法線情報を算出してもよい。図２Ｂに示される処理システム２は、処理装置５００、処理部５０１、撮像部５０２および光源部５０３を備える。処理装置５００は、第１の法線取得部５００ａ、補正テーブル取得部５００ｂおよび第２の法線取得部５００ｃを備える。処理部５０１は、撮影画像取得部５０１ａおよび第１の法線算出部５０１ｂを備える。処理システム２を用いて法線情報を算出する場合、まず、撮影画像取得部５０１ａは複数の光源位置で被写体の撮像を行うことで取得された複数の撮影画像を取得し、第１の法線取得部５００ａは複数の撮影画像から複数の輝度情報を取得する。すなわち、第１の法線取得部５００ａは、輝度情報取得部としても機能する。次に、第１の法線算出部５０１ｂは光源位置による輝度情報の変化から照度差ステレオ法を用いて被写体の第１の法線情報を算出し、第１の法線取得部５００ａは第１の法線算出部５０１ｂが算出した被写体の第１の法線情報を取得する。そして、補正テーブル取得部５００ｂは、第１の法線取得部５００ａが取得した被写体の第１の法線情報を補正するための補正テーブルを取得する。さらに、第２の法線取得部５００ｃは、補正テーブル取得部５００ｂが取得した補正テーブルに基づいて、第１の法線取得部５００ａが取得した被写体の第１の法線情報を補正することで第２の法線情報を取得する。なお、処理システムは少なくとも処理装置５００と処理部５０１を備えていればよく、処理装置５００が処理部５０１を備えていてもよい。また、撮像部５０２および光源部５０３はそれぞれ、個別の装置であってもよいし、光源部５０３が撮像部５０２に内蔵されていてもよい。

以上説明したように、本実施例では、高精度に被写体の法線情報を算出することができる。

本実施例では、補正テーブルを用いて撮影画像の輝度情報を補正し、補正された輝度情報を用いて第２の法線情報を取得する方法について説明する。本実施例の撮像装置は、実施例１と同様の撮像装置である。

図９のフローチャートを参照して、本実施例の面法線算出処理について説明する。図９は、本実施例の面法線算出処理を示すフローチャートである。本実施例の面法線算出処理は、図２Ａに示されるシステムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

本実施例のステップＳ２０１およびＳ２０２はそれぞれ、実施例１のステップＳ１０１、Ｓ１０２と同様であるため、詳細な説明は省略する。

ステップＳ２０３では、補正テーブル取得部１０４ｃは、ステップＳ２０１で取得した複数の撮影画像の輝度情報（第１の輝度情報）を補正するための補正テーブルを取得する。ランバート反射に加えてフレネル項を考慮すると、式（７）で示されるように、光源Ｍごとに異なる反射率Ｒ_Ｍに基づいて観測される輝度値が変化するため、面法線に誤差が生じる。そこで、本実施例では、ステップＳ２０２で取得する第１の法線情報のような誤差の生じた面法線と光源ごとの反射率Ｒ_Ｍとを対応付けした補正テーブルを用いる。本実施例では、実施例１と同様に、光源条件および撮影条件ごとに補正テーブルを作成しておき、撮影時の条件に一致する補正テーブルを取得する。

ステップＳ２０４では、第２の法線取得部１０４ｄは、ステップＳ２０３で取得した補正テーブルに基づいてステップＳ２０１で取得した第１の輝度情報を補正することで第２の輝度情報を取得する。第２の輝度情報は、フレネル項による輝度情報の誤差が低減された輝度情報である。具体的には、ステップＳ２０１で取得した複数の第１の輝度情報に対して、補正テーブルに一致する条件（第１の法線情報、光源条件および撮影条件等）での反射率Ｒ_Ｍを除算することでフレネル項の影響を低減した第２の輝度情報を取得する。

ステップＳ２０５では、第２の法線取得部１０４ｄは、ステップＳ２０４で補正した光源位置を変化させた複数の第２の輝度情報を用いて被写体の第２の法線情報を取得する。第２の法線情報は、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいてステップＳ２０２と同様に算出される。第２の法線情報は、フレネル項による誤差が低減された法線情報である。

以上説明したように、本実施例では、高精度に被写体の法線情報を算出することができる。

実施例１および２では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットから構成される法線情報取得システムについて説明する。

図１０は、法線情報取得システムの外観図である。法線情報取得システムは、被写体３０３を撮像する撮像装置３０１、および複数の光源ユニット３０２を備える。本実施例の撮像装置３０１は、実施例１と同様の撮像装置であるが、複数の光源を内蔵する構成である必要はない。

光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも３光源を順次照射して撮像された画像が必要であるが、光源が移動可能に構成された光源ユニットを使用する場合、少なくとも１つの光源を備えていればよい。ただし、光源を移動させて、最低３つの光源位置で撮影を行う必要がある。なお、光源ユニット３０２が自動で光源位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合には、撮像装置３０１の表示部に表示される光源位置に位置するようにユーザーに光源ユニット３０２を調整させてもよい。

本実施例の面法線算出処理は実施例１および２の処理と同様であるため、詳細な説明は省略する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５００ 処理装置
５００ａ 第１の法線取得部
５００ｃ 第２の法線取得部

Claims (19)

1. 互いに異なる３つ以上の位置の光源からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得する輝度情報取得部と、
   前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得する第１の法線取得部と、
   前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する第２の法線取得部と、を有することを特徴とする処理装置。
2. 前記第２の法線取得部は、前記第１の法線情報を補正することで前記第２の法線情報を取得することを特徴とする請求項１に記載の処理装置。
3. 前記第２の法線取得部は、前記第１の法線情報に基づいて前記３つ以上の輝度情報を補正し、補正された前記３つ以上の輝度情報に基づいて前記第２の法線情報を取得することを特徴とする請求項１に記載の処理装置。
4. 前記第２の法線取得部は、前記第１および第２の法線情報の関係をテーブル化した補正テーブルに基づいて前記第１の法線情報を補正することで前記第２の法線情報を取得することを特徴とする請求項２に記載の処理装置。
5. 前記第２の法線取得部は、前記第１の法線情報と前記第２の反射特性に基づいて算出される前記３つ以上の輝度情報に対する補正量との関係をテーブル化した補正テーブルに基づいて前記３つ以上の輝度情報を補正することを特徴とする請求項３に記載の処理装置。
6. 前記第１の反射特性は、ランバート反射であることを特徴とする請求項１から５のいずれか１項に記載の処理装置。
7. 前記第２の反射特性は、ランバート反射とフレネル項であることを特徴とする請求項１から６のいずれか１項に記載の処理装置。
8. 前記フレネル項は、照射した光が前記被写体の内部に入射する際の透過率と前記被写体の内部から光が射出される際の透過率の少なくとも一方に基づいて算出されることを特徴とする請求項７に記載の処理装置。
9. 前記補正テーブルは、撮影条件および光源条件ごとに作成され、
   前記第２の法線取得部は、撮影時の撮影条件および光源条件に一致した補正テーブルを参照して補正を行うことを特徴とする請求項４から８のいずれか１項に記載の処理装置。
10. 前記補正テーブルは、前記第１および第２の法線情報の差がしきい値より大きくなる場合に作成されることを特徴とする請求項４から９のいずれか１項に記載の処理装置。
11. 前記補正テーブルは、離散的に作成され、
    前記第２の法線取得部は、撮影時の撮影条件および光源条件に対応するデータを前記補正テーブルを補間することで生成することを特徴とする請求項４から１０のいずれか１項に記載の処理装置。
12. 光源部と、
    互いに異なる３つ以上の位置の前記光源部からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得する輝度情報取得部と、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得する第１の法線取得部と、前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する第２の法線取得部と、を備える処理装置と、を有することを特徴とする処理システム。
13. 前記光源部は、移動可能であることを特徴とする請求項１２に記載の処理システム。
14. 互いに位置の異なる３つ以上の光源部を備えることを特徴とする請求項１２に記載の処理システム。
15. 前記被写体を撮像する撮像部を更に有することを特徴とする請求項１２から１４のいずれか１項に記載の処理システム。
16. 互いに異なる３つ以上の位置の光源からの光を順次照射される被写体を撮像する撮像部と、
    前記撮像部が撮像する前記被写体の３つ以上の輝度情報を取得し、前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得し、前記第１の法線情報に基づいて前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得する処理部と、を有することを特徴とする撮像装置。
17. 互いに異なる３つ以上の位置の光源からの光を被写体に順次照射して前記被写体の３つ以上の輝度情報を取得するステップと、
    前記３つ以上の輝度情報から第１の反射特性を用いて算出された前記被写体の第１の法線情報を取得するステップと、
    前記第１の法線情報に基づいて、前記第１の反射特性とは異なる第２の反射特性に基づく第２の法線情報を取得するステップと、を有することを特徴とする処理方法。
18. 請求項１７に記載の処理方法をコンピュータに実行させるためのプログラム。
19. 請求項１８に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。