JP2019200140A - 撮像装置、アクセサリ、処理装置、処理方法、および、プログラム - Google Patents

Abstract

【課題】複数の画像間の照度ムラを少ないデータ量で補正可能な撮像装置を提供する。【解決手段】撮像装置（１０）は、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮像光学系（１０１）により形成された被写体像を光電変換し、少なくとも３枚の画像データを出力する撮像素子（１０２）と、少なくとも３つの状態に関して共通の光量分布に関する共通情報に基づいて、画像データのそれぞれの複数の輝度分布に関する情報を取得する輝度分布取得部（１０４ｂ）とを有する。【選択図】図１

Description

本発明は、照度差ステレオ撮影を行う撮像装置に関する。

照度差ステレオ法を用いることで被写体の面法線を取得できることが知られている。照度差ステレオ法では、光源の位置に応じた被写体の輝度変化情報を用いるため、光源の光量情報が必要となる。そこで特許文献１には、複数の光源ごとの明るさや温度を検出して光量ばらつきを補正し、被写体の法線情報を取得する方法が開示されている。特許文献２には、照度差ステレオ法とは異なるが、複数の光源位置での照明により木材の繊維潜り角を測定する際に、同じ光源位置で撮影した無地平板の画像の輝度値を用いて補正輝度値を求める方法が開示されている。

特開２０１７−１６１３７４号公報 特開２００２−７１３２９号公報

しかしながら、特許文献１に開示された方法では、画面内の光量ムラ（照度ムラ）を補正しないため、それぞれ異なる位置の光源から撮像領域内の被写体に入射する光量分布がそろっている必要がある。例えば光源が理想的な平行光であればよいが、実際には光源は拡散光源が被写体から有限距離に配置される。このため、異なる位置の光源から入射する光量分布が被写体面上でそろうように照明することは困難である。

特許文献２に開示された方法では、実際に無地平板を撮影した画像の輝度値を用いるため被写体面上の光量分布が補正される。しかし、光源ごとに無地平板を撮影する必要があり、負荷が大きい。また、撮影する木材と同じ撮影距離に無地平板を配置する必要がある。このため、撮像装置と被写体と光源の位置関係が固定できる測定装置としてはよいが、一般的な被写体を撮像する撮像装置としては参照用の被写体を設置して光源ごとの撮影を行うことは困難である。したがって、予め記憶部に被写体面上の光量分布を記憶しておくことが望ましいが、光源ごとの光量分布を記憶するには大きなデータ容量が必要となる。また、記憶部に記憶した情報から光源ごとに光量分布を算出する場合には、計算負荷が大きくなる。

そこで本発明は、小さいデータ容量および計算負荷で複数の画像間の照度ムラを補正可能な撮像装置、アクセサリ、処理装置、処理方法、および、プログラムを提供することを目的とする。

本発明の一側面としての撮像装置は、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮像光学系により形成された被写体像を光電変換し、少なくとも３枚の画像データを出力する撮像素子と、前記少なくとも３つの状態に関して共通の光量分布に関する共通情報に基づいて、前記画像データのそれぞれの複数の輝度分布に関する情報を取得する輝度分布取得部とを有する。

本発明の他の側面としてのアクセサリは、撮像装置に着脱可能なアクセサリであって、少なくとも３つの異なる光源位置で個別に発光可能な発光部と、前記撮像装置に対して、前記撮像装置が前記発光部の前記光源位置に関して共通の光量分布に関する共通情報を取得するための情報を送信する通信部とを有する。

本発明の他の側面としてのアクセサリは、撮像装置に着脱可能なアクセサリであって、少なくとも３つの異なる光源位置で個別に発光可能な発光部と、前記光源位置に関して共通の光量分布に関する共通情報を記憶する記憶部と、前記撮像装置に対して前記共通情報を送信する通信部とを有する。

本発明の他の側面としての処理装置は、少なくとも３つの異なる光源の位置に関して共通の光量分布に関する共通情報を取得する光量分布情報取得部と、前記共通情報に基づいて、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮影して得られた少なくとも３枚の画像データのそれぞれの輝度分布に関する情報を取得する輝度分布取得部とを有する。

本発明の他の側面としての処理方法は、少なくとも３つの異なる光源の位置に関して共通の光量分布に関する共通情報を取得するステップと、前記共通情報に基づいて、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮影して得られた少なくとも３枚の画像データのそれぞれの輝度分布に関する情報を取得するステップとを有する。

本発明の他の側面としてのプログラムは、前記処理方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の画像間の照度ムラを少ないデータ量で補正可能な撮像装置、アクセサリ、処理装置、処理方法、および、プログラムを提供することができる。

各実施例における撮像システムの外観図である。 各実施例における撮像システムの外観図である。 各実施例における撮像システムのブロック図である。 各実施例における処理方法のフローチャートである。 実施例１における光量分布情報および各光源の光量分布の説明図である。 実施例２における光量分布情報および各光源の光量分布の説明図である。 各実施例における鏡面反射成分の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、本実施形態における照度差ステレオ法の概要について説明する。照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。図７は、ランバート反射モデルにおける鏡面反射成分の説明図である。図７に示されるように、鏡面反射成分は、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρ_ｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとする。このとき、輝度値ｉは、ランバートの余弦則より、以下の式（１）のように表される。

ここで、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、…、ｓ_Ｍ、光源ベクトルの各成分の輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）のように表される。

式（２）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、…ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いることにより、Ｅρ_ｄｎは以下の式（３）のように表される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄとの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるため、Ｅρ_ｄを１つの変数とすると、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ_３を成分ｓ_１、ｓ_２に対して線形独立に選択することが好ましい。

Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した３つの条件式から、Ｍ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

またＭ＞３の場合、３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば、以下の式（４）で表される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示されるように、式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとすると、以下の式（７）が成り立つ。

式（７）で表されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

例えば式（１）からわかるように、照度差ステレオ法では入射光の強さＥが法線情報の推定結果に影響を与える。複数の光源位置で撮像した一連の撮影画像において、ある画素での輝度変化に着目した場合、光源ごとの光量が想定値に対してばらついていると左辺の輝度値ｉがばらついているように法線を推定してしまう。この光量のばらつきは、光源ごとの発光量のばらつきや、光源からの光が被写体面上に入射する際の光量の分布（照度ムラ、光量分布）によっても生じる。特に撮影距離に自由度がある一般的な撮像装置では、位置の異なる光源による被写体面上での光量分布（照度ムラ）が等しくなるよう設計および制御することは困難であるため、得られた画像の輝度値を補正することが必要である。

次に、図１乃至図３を参照して、本発明の実施例１における撮像システムについて説明する。本実施例の撮像システム１は、撮像装置（カメラ本体）１０と、レンズ装置（交換レンズ）１００と、撮像装置１０に着脱可能な照明装置（アクセサリ）２０とを備えて構成される。図１は、本実施例における撮像システム１の外観図であり、撮像装置１０と照明装置２０とが分離した状態を示している。図２は、撮像システム１の外観図であり、照明装置２０が撮像装置１０に取り付けられた状態を示している。図２（Ａ）は撮像システム１の正面図、図２（Ｂ）は撮像システム１の斜視図をそれぞれ示している。図３は、撮像システム１のブロック図である。

図１および図２に示されるように、照明装置２０は、発光部２００と照射光源制御部１０６とを有する。発光部２００はレンズ装置１００に取り付けられ、照射光源制御部１０６は撮像装置１０の本体部に取り付けられる。本実施例において、発光部２００は８つの光源２００ａ〜２００ｈを有するが、これに限定されるものではない。照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、発光部２００は少なくとも３つの光源を備えていればよい。また本実施例において、レンズ装置１００の撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源２００ａ〜２００ｈを等間隔で配置しているが、これに限定されるものではない。

また本実施例において、発光部２００は、撮像装置１０に着脱可能な照明装置２０に設けられているが、これに限定されるものではない。発光部２００は、撮像装置１０と一体的に構成されていてもよい。また、照度差ステレオ法では発光させた光源の位置が互いに異なる少なくとも３つ状態（少なくとも３つ発光パターン）で撮像された少なくとも３枚の画像が必要であるが、本実施例のように複数の光源を設ける構成に限定されるものではない。例えば、１つの光源と、この光源を移動する移動部とを設け、移動部を用いて光源を移動させることにより、少なくとも互いに異なる３つの光源位置で撮像を行うように構成してもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるための操作部である。

レンズ装置１００は、被写体像を形成する撮像光学系１０１を有する。撮像光学系１０１は、絞り１０１ａおよびレンズ群１０１ｂを備え、被写体から射出される光を撮像素子１０２上に結像させる。本実施例において、撮像光学系１０１を備えたレンズ装置１００は撮像装置１０に着脱可能に取り付けられるが、これに限定されるものではない。レンズ装置１００は、撮像装置１０と一体的に構成されていてもよい。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を備え、撮像光学系１０１により形成された被写体像（光学像）を光電変換し、画像データを出力する。撮像素子１０２の光電変換により生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部（処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して、各種の画像処理を行う。また画像処理部１０４は、被写体の面法線情報を取得する。面法線情報とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報、および、求めた面法線の妥当性に関する情報等であるが、これらに限定されるものではない。

画像処理部１０４は、光量分布情報取得部１０４ａ、輝度分布取得部１０４ｂ、補正部１０４ｃ、および、法線推定部１０４ｄを有する。光量分布情報取得部１０４ａは、発光部２００（光源２００ａ〜２００ｈ）の面法線情報を取得するための発光パターンに関して共通の光量分布に関する光量分布情報（共通情報）を取得する。輝度分布取得部１０４ｂは、各発光パターンに共通の光量分布情報（共通情報）に基づいて、光源２００ａ〜２００ｈを個別に（順次）点灯させて撮像した複数の画像データのそれぞれの複数の輝度分布（輝度補正値分布）に関する情報を取得する。各画像データに対応する輝度分布（輝度補正値分布）に関する情報は、各画像データの取得の際に発光させた光源の被写体空間での光量分布（照度ムラ）による画像データの輝度値への影響（各光源の光量分布による画像データ間の差異）を補正するための情報である。輝度分布（輝度補正値分布）に関する情報は、照度差ステレオ方式による面法線情報の取得制度を高めるために用いられるものであり、各画像データを取得した際に発光させた光源の位置の違いによる被写体の見えの違い自体を補正するためのものではない。補正部１０４ｃは、輝度分布に関する情報に基づいて、複数の画像データの輝度値を補正する。法線推定部１０４ｄは、輝度分布と複数の画像データとに基づいて（すなわち、補正された複数の画像データに基づいて）、被写体の法線情報を推定する。

画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部１０５に表示してもよい。本実施例において、光量分布情報取得部１０４ａ、輝度分布取得部１０４ｂ、補正部１０４ｃ、および、法線推定部１０４ｄの各部は、撮像装置１０に設けられているが、これに限定されるものではない。例えば、各部を後述するように撮像装置１０とは別の装置（パーソナルコンピュータ、スマートフォン、または、タブレット端末等）に設けてもよい。

情報入力部１０８は、ユーザにより選択された撮影条件（絞り値、露出時間、および、焦点距離等）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、通信部１１３、１１４を介して、システムコントローラ１１０から出力される指示に応じて発光部２００の発光状態を制御する。撮像制御部１０７は、システムコントローラ１１０から出力される情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。ＲＯＭ（記憶部）１１１は、システムコントローラ１１０により実行される各種のプログラムやそれに必要となるデータを格納している。また、照明装置２０に内蔵されたＲＯＭ（記憶部）１１２は、光量分布情報取得部１０４ａが取得する光量分布情報が記録されたテーブルを格納している。ＲＯＭ１１２に格納された光量分布情報は、照明装置２０の通信部１１３と撮像装置１０の通信部１１４とを介して、光量分布情報取得部１０４ａに送信される。

なお本実施例において、光量分布情報は、照明装置２０のＲＯＭ１１２に格納されているが、これに限定されるものではない。例えば、光量分布情報を撮像装置１０のＲＯＭ１１１に格納しておき、システムコントローラ１１０が照明装置２０から取得した照明装置２０を特定する情報（アクセサリＩＤ等）に基づいて光量分布情報を取得してもよい。この情報は、例えばＲＯＭ１１２に格納され、通信部１１３、１１４を介してシステムコントローラ１１０に送信される。

次に、図４および図５を参照して、本実施例における処理方法（法線情報算出処理）について説明する。図４は、本実施例における処理方法（法線情報算出処理）を示すフローチャートである。本実施例の法線情報算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムに従って実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。図５は、本実施例における光量分布情報および各光源の光量分布の説明図である。

まずステップＳ１０１において、システムコントローラ１１０は、情報入力部１０８からユーザにより設定される撮影条件（絞り値、露出時間、または、焦点距離等）を設定する。その後、システムコントローラ１１０は、ユーザによるレリーズボタン３００の全押し動作に連動して、設定された撮影条件で被写体の撮像を行う。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して、８つに区切られた発光部２００（光源２００ａ〜２００ｈ）のうち、互いに位置の異なる少なくとも３つの光源からの光を被写体に（個別に）順次照射させる。システムコントローラ１１０は、少なくとも３つの光源を（個別に）順次発光させた状態で複数の撮像を行うように、撮像制御部１０７を介して撮像光学系１０１および撮像素子１０２を制御する。これにより撮像素子１０２は、少なくとも３つの光源を（個別に）順次発光させた状態で撮像された複数の画像データに対応するアナログ信号を出力する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ信号をＡ／Ｄ変換することで撮影画像（輝度情報）を形成し、画像処理部１０４に出力する。なお画像処理部１０４は、画像生成のために、通常の現像処理や各種の画像補正処理を実行してもよい。

続いてステップＳ１０２において、システムコントローラ１１０は、光量分布情報取得部１０４ａに照明装置２０のＲＯＭ１１２から現在の撮影距離（撮影条件）に対応する光量分布情報を取得させる。本実施例において、光量分布情報は複数の光源２００ａ〜２００ｈに関して共通の光量分布情報である。また光量分布情報は、例えば図５（Ａ）に示される光量分布情報５０１であり、被写体平面上で回転対称な光量分布である。光量分布情報取得部１０４ａは、光量分布情報として、例えば、対称軸からの動径方向の光量の変化を半径についての多項式としてフィッティングした係数（光量分布を取得するためのデータ）を取得するが、これに限定されるものではない。

続いてステップＳ１０３において、輝度分布取得部１０４ｂは、ステップＳ１０２にて取得した１つの共通した光量分布情報に基づいて、各各画像データに対応する複数の輝度分布（輝度補正値分布）に関する情報を取得する。図５（Ｂ）〜（Ｄ）はそれぞれ、発光部２００のうち右側の光源、右上側の光源、上側の光源をそれぞれ発光させたときの被写体面上の光量分布５０２、５０３、５０４を示す。複数の光量分布５０２、５０３、５０４は、互いに撮像光学系１０１の光軸ＯＡ、すなわち画面中心（撮像素子１０２の撮像面の中心）に対して互いに対称性を有する。すなわち、例えば光量分布５０２を画面の中心に対してある角度回転させると、光量分布５０３、５０４が得られる。また本実施例において、１つの光量分布（例えば光量分布５０２）を平行移動することによって他の光量分布（例えば光量分布５０３または光量分布５０４）を得ることができる。

輝度分布取得部１０４ｂは、発光部２００の右側の光源を発光させたときの画面中心から見た光量分布中心位置（基準位置）を、ＲＯＭ１１２から取得する。また輝度分布取得部１０４ｂは、取得した光量分布中心位置とステップＳ１０２にて取得した光量分布情報とに基づいて、右側の光源を発光させた状態に対応した画面内光量分布（撮影された画角内での光量分布）を取得する。そして輝度分布取得部１０４ｂは、取得した画面内光量分布の逆数を右側の光源を発光させた状態で撮像された画像に対する輝度分布（輝度補正値分布）に関する情報として取得する。画面内光量分布を取得するには、ＲＯＭ１１２から取得した光量分布中心位置に光量分布の中心位置が合うように、Ｓ１０２で取得した光量分布情報の一部を切り出せばよい。その他の発光パターンに関しても、それぞれの発光パターンに対応した光量分布中心位置を取得して画面内光量分布を取得すればよい。

なお本実施例において、輝度補正値分布は画面内光量分布の逆数であるが、これに限定されるものではない。各光源に対する光量分布の比が補正できれば、輝度補正値分布は画面内光量分布の逆数でなくてもよい。また本実施例において、画面領域に制限されない光量分布を計算し、その画面位置が合うように切り出すことで各光源に対する画面領域内の光量分布を取得しているが、これに限定されるものではない。例えば、各画面領域に合うように光量分布情報から直接各光源に対する光量分布を取得してもよい。

続いてステップＳ１０４において、補正部１０４ｃは、ステップＳ１０１にて取得した撮影画像を、ステップＳ１０３にて取得した輝度補正値分布を用いて補正する。これにより、画像処理部１０４は、画面内光量分布に応じた影響（撮影時に発光させた各光源の光量分布による各画像データの差異）が補正された補正画像を取得することができる。

続いてステップＳ１０５において、法線推定部１０４ｄは、ステップＳ１０４にて取得した少なくとも３つの光源のそれぞれに対応する補正画像の輝度値を用いて、照度差ステレオ法により被写体の法線情報を推定（算出）する。そして画像記録部１０９は、推定された法線情報や画像情報を保存し、本フローは完了する。

本実施例の撮像装置１０（画像処理部１０４）は、少なくとも３つの光源を個別に発光させた際の被写体面上での光量分布を複数の画像データ間で補正する。これにより、光源位置や配光特性に起因する光量分布（照度ムラ）による複数の画像データ間の誤差を低減して、被写体の法線情報を高精度に推定することができる。また画像処理部１０４は、各光源に関して共通の光量分布情報に基づいて各光源に対応する輝度補正値分布を取得する。これにより、記憶容量および計算負荷を低減することができる。

なお本実施例では、照度ムラの補正について説明したが、各光源の照射光量のばらつきを更に補正してもよい。また本実施例では、ステップＳ１０４にて補正画像を取得し、ステップＳ１０５にて補正画像に基づいて法線情報を推定するが、これに限定されるものではない。例えば、ステップＳ１０１にて取得した撮影画像とステップＳ１０３に手取得した輝度補正値分布とに基づいて、法線情報を推定してもよい。これは例えば式（３）において、入射光の強さＥを各光源の違いを考慮した縦ベクトルとして扱うことで可能である。

次に、図６を参照して、本発明の実施例２について説明する。なお、本実施例における撮像装置の基本構成や処理方法は、実施例１と同様であるため、それらの説明を省略する。

本実施例における光量分布情報は、被写体平面上で非回転対称な光量分布である。非回転対称な光量分布とは、例えば図６（Ａ）に示される光量分布情報６０１である。光量分布情報６０１は、上下対称形である（線対称である）。このため本実施例では、光量分布情報６０１のうち上側半分に関するデータを離散的なテーブルとして記憶しておき、全体のデータを取得することができる。なお本実施例において、適宜関数近似した係数を取得する等、別の形式で取得してもよい。

輝度分布取得部１０４ｂは、取得した光量分布情報に基づいて、各画像データに対応する複数の輝度分布（輝度補正値分布）に関する情報を取得する。図６（Ｂ）〜（Ｄ）はそれぞれ、発光部２００のうち右側の光源、右上側の光源、上側の光源をそれぞれ発光させたときの被写体面上の光量分布６０２、６０３、６０４を示す。複数の光量分布６０２、６０３、６０４は、互いに撮像光学系１０１の光軸ＯＡ、すなわち画面中心（撮像素子１０２の撮像面の中心）に対して互いに対称性を有する。すなわち、例えば光量分布６０２を画面の中心に対してある角度回転させると、光量分布６０３、６０４が得られる。ただし、複数の光量分布６０２、６０３、６０４は、実施例１の光量分布５０２、５０３、５０４とは異なり、１つの光量分布を平行移動することによって他の光量分布を得ることはできない。

本実施例では、右側の光源を発光させたときの被写体空間での光量分布６０３を光量分布情報として取得する。このため、ステップＳ１０２にて取得した光量分布情報を撮像装置１０で撮像する画面領域に応じて切り出すことにより、右側の光源発光時の画面内光量分布を取得し、その逆数を輝度補正値分布として取得する。その他の発光パターンについても、共通する光量分布情報として取得した光量分布６０３を画面中心に対して所定角度だけ回転させ、画角（画面領域）に応じて切り出すことで取得することができる。

本実施例の撮像装置１０（画像処理部１０４）は、少なくとも３つの光源を個別に発光させた際の被写体面上での光量分布を複数の画像データ間で補正する。これにより、光源位置や配光特性による照度ムラによる複数の画像データ間の誤差を低減して、被写体の法線情報を高精度に推定することができる。また画像処理部１０４は、各光源に関して共通の光量分布情報に基づいて各光源に対応する輝度補正値分布を取得する。これにより、記憶容量および計算負荷を低減することができる。

各実施例では、撮像装置１０内で被写体の法線情報を算出しているが、撮像装置１０とは異なる処理システムを用いて被写体の法線情報を算出してもよい。例えば、輝度分布取得部１０４ｂ、補正部１０４ｃ、および、法線推定部１０４ｄは、ＰＣ等の異なる画像処理装置上のプログラムであってもよい。この場合、光量分布情報は、撮像装置が画像のヘッダ情報等の付加情報として書き込むことによって画像処理装置で読み出してもよい。また、各実施例では照明装置２０に光量分布情報を記憶しているが、これに限定されるものではない。例えば、照明装置２０の識別ＩＤや撮像時の発光に関する情報に基づいて、画像処理装置上のプログラム内に記憶した光量分布情報を取得してもよい。また、輝度補正値分布を取得する際、撮像時の撮影条件（ズーム、撮影距離等）に基づいて撮像領域内の輝度補正値分布を取得してもよい。

このように各実施例において、撮像装置１０は、少なくとも３つの異なる位置で光源２００ａ〜２００ｈを個別に発光させた状態で撮像光学系１０１により形成された被写体像を光電変換し、複数の画像データを出力する撮像素子１０２を有する。輝度分布取得部１０４ｂは、光源の位置に関して共通の光量分布情報に基づいて、複数の画像データのそれぞれの複数の輝度分布を取得する。好ましくは、複数の輝度分布は、画像データを取得した際に発光させた光源の光量分布による画像データの輝度値への影響を補正するための輝度補正値分布である。

光源位置の異なる少なくとも３つの発光部を有し、それらを点灯させて被写体を撮像することで、光源位置による被写体の輝度変化、すなわち見えの変化を取得でき、照度差ステレオ法によって法線の情報を取得することができる。また、夫々の光源を点灯させて被写体を撮影する際は、一般的に光源が被写体に照射する光量が画角に応じて異なる照度ムラが生じる。上述したように照度差ステレオ法においては被写体上の同じ位置、すなわち画像上の同じ画素位置において入射する光量をそろえる必要がある。一定の画角範囲で光源ごとの光量をそろえるには平行光を入射する必要があるが、撮影距離に自由度がある一般的な撮像装置では困難である。さらに、光源も十分遠方に配置しなければならない等の制約を受けるため、特に撮像装置に着脱するような照明装置ではより困難である。また、測定装置とは異なり一般的な撮像装置では適切な露光時間で撮影を行う必要があり、撮像に必要な発光量を得るために発光部はＬＥＤ等の発光素子を複数用いて構成されることも多い。このように複数の発光素子を用いることも照度ムラの原因となる。

そこで本実施形態では、照度ムラによって生じる光源ごとの光量ばらつきを、画像の輝度を補正する輝度分布（輝度補正値分布）に関する情報を用いることで、実効的に光量分布（照度ムラ）による影響をなくすことができる。輝度補正値分布とは、異なる発光部に対応した画像ごとの画面領域に応じた輝度補正値を指す。異なる発光部に対応した画面領域内の光量分布（照度ムラ）の例を図５（Ｂ）〜（Ｄ）、図６（Ｂ）〜（Ｄ）に示す。図５は回転対称性のある光量分布（照度ムラ）の場合、図６は非回転対称な光量分布（照度ムラ）の場合に相当する。図５および図６において（Ｂ）〜（Ｄ）はそれぞれ発光部の右側、右上側、上側に対応している。輝度補正値分布は、光量分布（照度ムラ）による輝度値への影響を画像間で合わせるための補正値であり、例えば照度の逆数である。輝度補正値分布は発光する光源位置の違いによる被写体の見えの違いを補正するためのものではない。

輝度補正値分布は、発光部の位置や光学系によって異なるため、一般に夫々の発光部に対して異なる分布となる。輝度補正値分布を撮影距離や光学系の撮像する画角範囲に応じて取得するには、補正値のデータ容量が大きくなり、また補正値を取得する際の処理負荷も大きくなる。そこで本実施形態では、共通の光量分布情報（共通情報）に基づいてこれらの互いに異なる輝度補正値分布を取得することで、データ容量を低減し処理負荷も小さくすることができる。

輝度補正値分布が撮像領域に対する値であるのに対して、光量分布情報とは例えば発光部の位置を基準とする等により発光部ごとの位置の違いによらない照射光量の分布情報である。すなわち、撮像する画面領域とは独立に決まる分布である。照射光量の分布の例を図５（Ａ）、図６（Ａ）に示す。この照度分布を示す情報が光量分布情報である。光量分布情報として、例えば一定距離の平面に照射した際の照度分布の値そのものを保持してもよく、また照度分布を多項式などの関数でフィッティングした係数を持つことでデータ容量を低減してもよい。また、二次元面上の照度分布ではなく、照射光量の角度特性として保持してもよく、撮像光学系の光軸に平行な軸に対する角度について夫々の発光部の角度特性が共通であるように構成するとよい。本実施形態では、発光部によらない共通の光量分布情報を取得し、光源位置や画面領域に合わせることで輝度補正値分布を取得する。

好ましくは、複数の輝度補正値分布のそれぞれは、撮像光学系の光軸に関して非対称（非回転対称または非点対称）である。また好ましくは、複数の輝度補正値分布は、撮像光学系の光軸に関して互いに対称（回転対称または点対称）である。

前述のように輝度補正値分布は発光部の位置や光学系、撮影距離や光学系の撮像する画角範囲によって異なるため、回転対称に制御することは困難であり、非回転対称とすることで設計上のサイズ、コスト等の観点で有利である。一方、複数の輝度補正値分布を、撮像光学系の光軸について回転対称にすることで、発光部のそれぞれに対して共通の光量分布情報に基づいて取得することができる。この場合、ある光源に対する輝度補正値分布に回転操作を加えることで他の光源に対する輝度補正値分布を取得することができ、輝度補正値分布を取得する際の処理負荷を低減できる。

好ましくは、複数の輝度補正値分布は、互いに並進対称（シフト移動可能な関係）である。複数の輝度補正値分布を、撮像光学系の光軸に垂直な方向に対して並進対称にすることで、発光部のそれぞれに対して共通の光量分布情報に基づいて取得することができる。この場合、ある光源に対する輝度補正値分布に並進操作を加えることで他の光源に対する輝度補正値分布を取得することができ、輝度補正値分布を取得する際の処理負荷を低減できる。

好ましくは、光量分布情報は非回転対称の光量分布である。前述のように、発光部は複数の発光素子や、キセノン管やランプ等の一定の大きさを有する光源、および、光源から出射する光を被写体側へ照射するための投光光学系を用いるため、光量分布情報を回転対称に制御することは困難である。このため、非回転対称な光量分布とすることで設計上のサイズやコスト、投光光学系の配置自由度等の観点で有利である。

各実施例において、照明装置２０は、撮像装置１０に着脱可能なアクセサリであって、発光部２００と通信部１１３とを有する。発光部２００は、少なくとも３つの異なる光源位置で個別に発光可能である。通信部１１３は、撮像装置１０に対して、撮像装置１０が発光部２００の光源位置に関して共通の光量分布情報を取得するための情報（アクセサリＩＤ等）を送信する。または、照明装置２０は光源位置に関して共通の光量分布情報を記憶する記憶部（ＲＯＭ１１２）を有し、通信部１１３は撮像装置１０に対して光量分布情報を送信する。

好ましくは、発光部は、異なる光源位置に配置された複数の光源２００ａ〜２００ｈを有する。または、好ましくは、発光部は、１つの光源と、１つの光源を移動させる移動部とを有し、移動部を用いて１つの光源を移動させることにより異なる光源位置で発光可能である。また好ましくは、発光部は、光源と光源からの出射する光を被写体側へ照射する投光光学系を有する。また好ましくは、発光部の異なる位置は、撮像装置の撮像光学系の光軸に関して対称である。また好ましくは、発光部は、非回転対称な光学系を有する。また好ましくは、発光部は、撮像装置の撮像光学系の光軸に関して対称（回転対称）な光学系を有する。

一般の撮像装置とともに用いる場合、発光部は被写体までの距離や環境の明るさ等に適した光量、配光特性等の仕様を選択できることが好ましい。このため、発光部は撮像装置とは独立した照明装置である。その場合、照明装置によって光量分布情報が変わるため、照明装置の光量分布を通信することが好ましい。また、光量分布情報を通信する代わりに光量分布情報を特定可能な情報として照明装置の機種情報や光量分布を可変できる場合、その制御情報等を通信してもよい。照明装置を単一の照明装置として構成することで共通の光量分布情報として単一の情報を通信できるとともに、発光部間の位置や向き等の関係を既知とすることができるため、共通の光量分布情報からそれぞれの輝度補正値分布を取得することが容易になる。撮像装置に着脱可能な照明装置として構成することで、発光部と撮像部（撮像光学系１０１、撮像素子１０２）の位置や向き等の関係を既知とすることができるため、撮像光学系の光軸方向を基準とした光量分布情報を考慮する際に容易に取得できる。また装置として取り付けることで発光部の位置や向きを精度よく決めることができ、撮像部に依存する輝度補正値分布を精度よく取得することができる。

好ましくは、発光部は、光源と光源からの出射する光を被写体側へ照射する投光光学系を有する。一般の撮像装置として用いる場合、撮影距離や撮影画角に自由度を持たせることが好ましい。この場合、発光部を光源のみから構成すると光の利用効率が低く均一性も十分ではない。そこで投光光学系を用いて照射することで、配光を制御して光の利用効率や均一性の向上ができる。さらに、この時、各投光光学系は共通した形状を有することが好ましい。すなわち、各投光光学系の光線有効領域は互いに略合同または相似であることが好ましい。複数の投光光学系の内の１つは、他の投光光学系と同一の形状の部材から成るであることがより好ましい。投光光学系の形状は、投光光学系を通して照射される光の光量分布に強く影響する。そのため、各投光光学系の形状を共通化させることにより、各発光パターン下での光量分布を互いに類似させることができる。これによって、共通の光量分布情報から各発光パターンにおける輝度補正値分布を精度良く取得することが可能となる。

好ましくは、発光部は、撮像光学系の光軸に対して対称（回転対称）である。発光部を撮像光学系の光軸に対して回転対称な位置に配置することで、輝度補正値分布を互いに対称性のある分布としやすくなり、共通の光量分布情報に基づいて複数の輝度補正値分布を取得する際の処理負荷が低減される。また、発光部が面光源である場合や投光光学系を有するなど向きが定義できる構成の場合、位置とあわせて向きもそれぞれ回転対称な関係とすることが好ましい。

好ましくは、発光部は非回転対称な光学系を有する。発光部を撮像光学系の周囲に配置することを考えた場合に、例えば放射状に広がる配置とする等の非回転対称な光学系とすることで、複数の光源や面光源の配置が容易になる。また、発光部の面積を広げやすくなることで投光光学系により配光を制御して光の利用効率や均一性の向上ができる。

好ましくは、発光部は、撮像光学系の光軸を中心とした円周状の互いに異なる位置に配置されている。発光部をこのように配置することで、輝度補正値分布を互いに対称性のある分布としやすくなり、共通の光量分布情報に基づいて複数の輝度補正値分布を取得する際の処理負荷が低減される。

好ましくは、輝度補正値分布は、撮影条件に応じて異なる。より好ましくは、撮影条件は、撮像光学系の焦点距離（ズーム位置）、被写体距離（撮影距離、フォーカス位置）、光源の位置、または、光源の配光特性である。輝度補正値分布は撮影範囲に依存するため、撮像光学系のズーム機能や交換式レンズの交換による焦点距離に基づいて輝度補正値分布を取得する。また輝度補正値分布は、被写体距離に依存し、光量分布情報も被写体面上の照度として保持する場合は被写体距離に依存するため、被写体距離に基づいて取得することで精度よく輝度補正値分布を取得する。被写体距離は、撮像光学系のフォーカス情報を取得したりステレオ光学系を用いたりする等公知の方法によって取得すればよい。また輝度補正値分布は、撮像部と光源位置との関係に依存するため、光源位置に基づいて取得することで精度よく輝度補正値分布を取得することができる。また輝度補正値分布は、発光部の配光特性に依存するため、配光特性に基づいて取得することで精度よく輝度補正値分布を取得することができる。

好ましくは、光量分布情報は、発光部の配光特性に応じて異なる。光量分布情報は、発光部の配光特性に依存するため、配光特性に基づいて取得することで精度よく輝度補正値分布を取得することができる。特に発光部の配光特性が制御可能な場合、配光特性の制御情報に基づいて輝度補正値分布を取得することが好ましい。

好ましくは、撮像装置１０は、輝度分布に関する情報に基づいて複数の画像データを補正する補正部１０４ｃを有する。複数の画像（画像データ）を補正して補正画像を生成することで、画像間の照度ムラの違いを実効的になくすことができる。照度差ステレオ法により法線情報を推定する際には、この補正画像を用いることで、精度よく被写体の法線情報を取得することができる。

好ましくは、撮像装置１０は、輝度補正値分布と複数の画像データとに基づいて被写体の法線情報を推定する法線推定部１０４ｄを有する。輝度補正値分布に基づいて画像間の照度を実効的に合わせた複数画像から法線情報を推定することで、精度よく被写体の法線情報を取得することができる。法線情報を取得する際には、輝度補正値分布を用いて輝度値を補正した画像に照度差ステレオ法を適用してもよい。また、法線を取得する際の式（１）の入射光強度Ｅを光源ごとに補正することや、取得した法線を照度の違いに基づいて補正すること等、実効的に画像間の照度ムラの影響を低減する方法であればよい。

好ましくは、撮像装置１０は、光量分布情報を記憶する記憶部（ＲＯＭ１１１）を有する。撮像装置と被写体、光源の位置関係が固定できる測定装置とは異なり、一般的な被写体を撮像する撮像装置としては参照用の被写体を設置して光源ごとの撮影を行うことは困難である。したがって、撮像装置としては予め記憶部に光量分布情報を記憶しておくことが好ましい。記憶する光量分布情報は設計値にもとに算出してもよいし、実際に製造時や調整時に無地平板を撮影した輝度値に基づいて算出してもよい。

好ましくは、撮像装置１０は、光源を有する照明装置２０との通信を行う通信部１１４と、光量分布情報を取得する光量分布情報取得部１０４ｂとを有する。光量分布情報取得部は、通信部を介して、照明装置から光量分布情報または光量分布情報を取得するための情報（アクセサリＩＤ等）を取得する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、複数の画像間の照度ムラを少ないデータ量で補正可能な撮像装置、アクセサリ、処理装置、処理方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像装置
１０２ 撮像素子
１０４ｂ 輝度分布取得部

Claims (24)

1. 発光させた光源の位置が互いに異なる少なくとも３つの状態で撮像光学系により形成された被写体像を光電変換し、少なくとも３枚の画像データを出力する撮像素子と、
   前記少なくとも３つの状態に関して共通の光量分布に関する共通情報に基づいて、前記画像データのそれぞれの複数の輝度分布に関する情報を取得する輝度分布取得部と、を有することを特徴とする撮像装置。
2. 前記輝度分布に関する情報は、前記画像データを取得した際に発光させた光源の光量分布による影響を補正するための輝度補正値分布に関する情報であることを特徴とする請求項１に記載の撮像装置。
3. 前記複数の輝度分布のそれぞれは、非回転対称な分布であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数の輝度分布のうちの１つの輝度分布は、前記複数の輝度分布のうちの他の輝度分布を前記撮像光学系の光軸を中心に回転させて得られる輝度分布と等しいことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の輝度分布のうちの１つの輝度分布は、前記複数の輝度分布のうちの他の輝度分布を平行移動させて得られる輝度分布に等しいことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記共通情報は、非回転対称な光量分布に関する情報であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記光源を有する照明装置との通信を行う通信部と、
   前記共通情報を取得する光量分布情報取得部と、を更に有し、
   前記光量分布情報取得部は、前記通信部を介して、前記照明装置から前記共通情報または前記共通情報を取得するための情報を取得することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記輝度分布は、撮影条件に応じて異なることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮影条件は、前記撮像光学系の焦点距離であることを特徴とする請求項８に記載の撮像装置。
10. 前記撮影条件は、被写体距離であることを特徴とする請求項８または９に記載の撮像装置。
11. 前記撮影条件は、前記光源の位置であることを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
12. 前記撮影条件は、前記光源の配光特性である特徴とする請求項８乃至１１のいずれか１項に記載の撮像装置。
13. 前記輝度分布に関する情報に基づいて前記複数の画像データを補正する補正部を更に有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記輝度分布に関する情報と前記複数の前記画像データとに基づいて被写体の法線情報を推定する法線推定部を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 撮像装置に着脱可能なアクセサリであって、
    少なくとも３つの異なる光源位置で個別に発光可能な発光部と、
    前記撮像装置に対して、前記撮像装置が前記発光部の前記光源位置に関して共通の光量分布に関する共通情報を取得するための情報を送信する通信部と、を有することを特徴とするアクセサリ。
16. 撮像装置に着脱可能なアクセサリであって、
    少なくとも３つの異なる光源位置で個別に発光可能な発光部と、
    前記光源位置に関して共通の光量分布に関する共通情報を記憶する記憶部と、
    前記撮像装置に対して前記共通情報を送信する通信部と、
    を有することを特徴とするアクセサリ。
17. 前記発光部は、前記異なる光源位置に配置された複数の光源を有することを特徴とする請求項１５または１６に記載のアクセサリ。
18. 前記複数の光源は、前記撮像装置の撮像光学系の光軸を中心とした円周状の互いに異なる位置に配置されていることを特徴とする請求項１７に記載のアクセサリ。
19. 前記発光部は、前記複数の光源のそれぞれから出射される光を被写体側へ照射する複数の投光光学系を有することを特徴とする請求項１７または１８に記載のアクセサリ。
20. 前記複数の投光光学系のそれぞれは、互いに共通した形状を有することを特徴とする請求項１９に記載のアクセサリ。
21. 前記複数の投光光学系のそれぞれは、非回転対称な形状を有することを特徴とする請求項１９または２０に記載のアクセサリ。
22. 少なくとも３つの異なる光源の位置に関して共通の光量分布に関する共通情報を取得する光量分布情報取得部と、
    前記共通情報に基づいて、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮影して得られた少なくとも３枚の画像データのそれぞれの輝度分布に関する情報を取得する輝度分布取得部と、を有することを特徴とする処理装置。
23. 少なくとも３つの異なる光源の位置に関して共通の光量分布に関する共通情報を取得するステップと、
    前記共通情報に基づいて、発光させた光源の位置が互いに異なる少なくとも３つの状態で撮影して得られた少なくとも３枚の画像データのそれぞれの輝度分布に関する情報を取得するステップと、を有することを特徴とする処理方法。
24. 少なくとも３つの異なる光源の位置に関して共通の光量分布に関する共通情報を取得するステップと、
    前記共通情報に基づいて、発光させた光源の位置が異なる少なくとも３つの状態で撮影して得られた少なくとも３枚の画像データのそれぞれの輝度分布に関する情報を取得するステップと、をコンピュータに実行させることを特徴とするプログラム。