JP2015109523A - 撮像装置、調整装置および調整方法 - Google Patents

Abstract

【課題】フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができる撮像装置、調整装置および調整方法を提供する。【解決手段】撮像装置１０は、フィルタ部２と、受光素子アレイ４と、フィルタ部２の複数のフィルタ領域それぞれに対応する位置情報を記憶する記憶部５０と、この位置情報に基づいて、被写体からの光がフィルタ部２に入射した際に得られる画像から、フィルタ部２の各フィルタ領域に対応する画像領域を検出する領域検出部４３と、検出された画像領域の出力値に基づいて、被写体の色を検出する色検出部４４と、を備える。フィルタ部２のあるフィルタ領域（対象領域）に対応する位置情報は、その対象領域に対応する波長特性を持つ検査光をフィルタ部２に入射させた際に得られる画像に対して二値化処理を行い、得られた二値化画像を用いて特定される受光素子アレイ４上の位置を示す情報である。【選択図】図７

Description

本発明は、被写体の色を検出する機能を持つ撮像装置、撮像装置の調整を行う調整装置および調整方法に関する。

従来、被写体からの光を、異なる波長特性を持つ複数の光に空間的に分離して受光し、分離された光に対応する複数の領域を含む画像を出力する撮像装置が知られている（例えば、特許文献１参照）。特許文献１に記載の撮像装置は、プレノプティックカメラの構成において、マイクロレンズアレイの前段に、各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部を配置している。そして、フィルタ部およびマイクロレンズアレイを順次透過した光を受光素子アレイで受光して、マイクロレンズアレイを構成する各マイクロレンズに対応する部分画像（以下、マクロピクセルという。）が整列したライトフィールド画像を出力する。

ライトフィールド画像内の各マクロピクセルは、それぞれ、フィルタ部の複数のフィルタ領域に対応する複数の画像領域を持つ。これらのマクロピクセルから、同じフィルタ領域に対応する画像領域の出力値をそれぞれ取り出して再配置することにより、各フィルタ領域を透過した光の強度に応じた複数の画像を生成することができる。これら複数の画像は、例えば、被写体の色を検出する用途などで利用することができる。

しかし、特許文献１に記載の撮像装置では、ライトフィールド画像内の各マクロピクセルにおいて、どの位置がどのフィルタ領域に対応しているのかを正確に特定することが困難であり、例えば、被写体の色の検出などに支障をきたす懸念がある。

本発明は、上記に鑑みてなされたものであって、フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができる撮像装置、調整装置および調整方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、前記位置情報に基づいて、被写体からの光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像から、前記フィルタ部の各フィルタ領域を透過した光に対応する画像領域を検出する領域検出部と、検出された前記画像領域の出力値に基づいて、前記被写体の色を検出する色検出部と、を備え、前記フィルタ部の複数のフィルタ領域のうちの一つを対象領域としたときに、前記対象領域に対応する前記位置情報は、前記対象領域の波長選択性に対応する波長特性を持つ検査光を前記フィルタ部に入射させた際に前記受光素子アレイが出力する画像に対して二値化処理を行い、得られた二値化画像を用いて特定される前記受光素子アレイ上の位置を示す情報であることを特徴とする。

本発明によれば、フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができるという効果を奏する。

図１は、実施形態の撮像装置における光学系の概念図である。 図２は、フィルタ部の幾何学的設計例を示す図である。 図３は、フィルタ部の分光透過率を示す図である。 図４は、マイクロレンズアレイを光軸に沿った方向から見た平面図である。 図５は、撮像装置により撮像されたライトフィールド画像を示す図である。 図６は、マクロピクセルを拡大して示す図である。 図７は、第１実施形態の撮像装置の具体的な構成例を示す図である。 図８は、フィルタ部の３つのフィルタ領域それぞれの分光透過率の差分と、その最大値とを示す図である。 図９は、バンドパスフィルタの分光透過率を示す図である。 図１０は、検査光をフィルタ部に入射させた際に受光素子アレイが出力するライトフィールド画像に含まれるマクロピクセルを拡大して示す図である。 図１１は、第２実施形態の撮像装置の具体的な構成例を示す図である。 図１２は、撮像装置に対する調整を行う際の調整装置の処理手順を示すフローチャートである。

以下に添付図面を参照して、この発明に係る撮像装置、調整装置および調整方法の実施形態を詳細に説明する。なお、以下で説明する実施形態は、プレノプティックカメラの構成を有する撮像装置に対して本発明を適用した例であるが、適用可能な撮像装置はこれに限らない。本発明は、被写体からの光を、異なる波長特性を持つ複数の光に空間的に分離して受光し、分離された光に対応する複数の領域を含む画像を出力する撮像装置に対して広く適用可能である。

＜第１実施形態＞
図１は、本実施形態の撮像装置における光学系の概念図である。図１では、説明を分かり易くするために、撮像レンズとして機能するメインレンズ１を単レンズで示し、メインレンズ１の絞り位置を単レンズの中心としている。

メインレンズ１の絞り位置には、フィルタ部２が配置されている。なお、図１では、単レンズで示したメインレンズ１内にフィルタ部２が配置されるように図示されているが、実際にはレンズの内部にフィルタ部２が配置されることはない。

フィルタ部２は、各々が異なる波長選択性を持つ複数のフィルタ領域を有している。本実施形態では、フィルタ部２として、ＣＩＥにより定められたＸＹＺ表色系の等色関数に基づいた分光透過率を持つ色の三刺激値に対応したカラーフィルタを用いる。

図２は、本実施形態のフィルタ部２の幾何学的設計例を示す図である。本実施形態のフィルタ部２は、図２に示すように、ＸＹＺ表色系の等色関数に基づいて設計された３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有する。

図３は、本実施形態のフィルタ部２の分光透過率を示す図である。図３中の実線はフィルタ領域Ｆ_Ｘの分光透過率Ｔ_Ｘ（λ）を示し、一点鎖線はフィルタ領域Ｆ_Ｙの分光透過率Ｔ_Ｙ（λ）を示し、破線はフィルタ領域Ｆ_Ｚの分光透過率Ｔ_Ｚ（λ）を示している。これらＴ_Ｘ（λ），Ｔ_Ｙ（λ），Ｔ_Ｚ（λ）は、ＸＹＺ表色系の等色関数を透過率に置換したものである。このように、フィルタ部２の各フィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚは、各々が異なる波長選択性を持つ。なお、図２および図３に示すフィルタ部２は一例であり、これに限定されるものではない。フィルタ部２は、異なる波長選択性を持つ複数のフィルタ領域を有する構成であればよく、フィルタ領域の数は２つであってもよし、４つ以上であってもよい。

メインレンズ１の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるマイクロレンズアレイ３が配置されている。また、光学系のイメージ面には、フィルタ部２およびマイクロレンズアレイ３を透過した光を受光して画像を出力する受光素子アレイ４が配置されている。受光素子アレイ４は、画素ごとのカラーフィルタが実装されていないモノクロセンサであり、各受光素子が画像の１画素に対応する。マイクロレンズアレイ３を構成する各マイクロレンズの径と、受光素子アレイ４を構成する各受光素子の大きさは、おおよそ３０：１〜２：１の比率の関係にある。

図４は、マイクロレンズアレイ３を光軸Ｐ（図１参照）に沿った方向から見た平面図である。図４中の白で示した部分が各マイクロレンズであり、黒で示した部分が遮光部である。遮光部は、曲率を持たない平坦部や、曲率が製造的に設計値仕様を満たさない領域である。これらの領域からの光は、設計上意図しない光線を受光素子まで届けるおそれがあるため、遮光することで設計から想定される電気信号が得られるようにしている。このことは、正確な測定値を得るために重要である。

本実施形態の撮像装置では、物体（被写体）Ｏｂから発する光のうち、メインレンズ１の開口に入射して絞りを通過する光束が、マイクロレンズアレイ３を透過して受光素子アレイ４により受光される。メインレンズ１に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ１の絞りの異なる位置を通過する。本実施形態の撮像装置では、メインレンズ１の絞り位置に、３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有するフィルタ部２が配置されている。したがって、メインレンズ１の絞りの異なる位置を通過する各光線は、それぞれ、異なる分光透過率（波長選択性）を持つ３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過することで、波長特性が異なる３種類の光線となる。

フィルタ部２を透過した光線はマイクロレンズアレイ３付近で一旦結像するが、その後、マイクロレンズアレイ２の作用によって拡散され、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過した光線が、それぞれ受光素子アレイ４の別々の位置に到達する。すなわち、メインレンズ１の絞り位置を通過する光線は、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚのうちのいずれのフィルタ領域を透過したかに応じて、受光素子アレイ４のセンサ面における受光位置が異なる。このため、本実施形態の撮像装置では、物体（被写体）Ｏｂのある一点から発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解した値を測定することができる。

図５は、本実施形態の撮像装置により撮像されたライトフィールド画像を示す図である。本実施形態の撮像装置で画像を撮像すると、図５に示すように、小さな円の部分画像が並んだライトフィールド画像が得られる。ライトフィールド画像に含まれる部分画像が円になるのは、メインレンズ１の絞り形状が円であるためである。ライトフィールド画像に含まれるそれぞれの小さな円の部分画像を「マクロピクセル」と呼ぶ。各マクロピクセルは、マイクロレンズアレイ３を構成する各マイクロレンズの直下に形成される。

図６は、マクロピクセルを拡大して示す図である。マクロピクセルの内部構造は、メインレンズ１の絞り位置に配置されたフィルタ部２の構造（図２参照）に対応したものとなる。すなわち、本実施形態の撮像装置により撮像されたライトフィールド画像に含まれる各マクロピクセルは、図６に示すように、フィルタ部２のフィルタ領域Ｆ_Ｘに対応する画像領域Ｍ_Ｘと、フィルタ領域Ｆ_Ｙに対応する画像領域Ｍ_Ｙと、フィルタ領域Ｆ_Ｚに対応する画像領域Ｍ_Ｚとを有する。マクロピクセルにおける各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚは、それぞれフィルタ部２のフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過した光を受光することで得られる。なお、図６に示すマクロピクセルの内部構造が図２に示したフィルタ部２の構造に対して上下反転しているのは、光学系を通過してきたためである。ただし、この対応関係は光学系に依存するため、この例に限ったものではない。

本実施形態の撮像装置では、マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値から、そのマクロピクセルに対応する物体位置の分光エネルギを測定することができる。マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値をｖ＝［ｖ_Ｘ，ｖ_Ｙ，ｖ_Ｚ］^ｔとする。ｔは行列の転置を意味する。出力値のとりかたは、画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚごとの受光素子の出力の平均値をとってもよいし、画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚごとに受光素子ひとつを選択してその出力値を代表値として採用してもよい。ただし、画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚごとの受光素子の出力の平均値を各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値とすることで、電気的なランダムノイズの影響を抑制し、ノイズに対して頑健な信号を得ることができる。

マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値は、物体（被写体）Ｏｂから発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解した値に、受光素子アレイ４の分光感度を乗じたものとなる。受光素子アレイ４の分光感度は設計時に既知なので、上記の出力値を受光素子アレイ４の分光感度で除算することで、物体（被写体）Ｏｂから発した光の三刺激値Ｘ，Ｙ，Ｚを求めることができる。そして、この三刺激値Ｘ，Ｙ，Ｚから、物体（被写体）Ｏｂの色（ＸＹＺ色空間における表色値）を検出することができる。

ここで、本実施形態の撮像装置では、マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値から物体（被写体）Ｏｂの色を検出するために、実際に製造した実機で、受光素子アレイ４のどの受光素子がマクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚに対応しているかを特定する必要がある。すなわち、実機では、例えば光学系のアライメント誤差などの製造誤差があるため、マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚに対応する受光素子アレイ４の受光素子が、個体ごとに異なる場合がある。

そこで、本実施形態の撮像装置では、マクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚに対応する受光素子アレイ４の受光素子の位置、つまり、フィルタ部２の各フィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過した光を受光する受光素子アレイ４上の位置を後述する方法によって特定し、その位置を示す位置情報を記憶部に格納している。そして、この記憶部に格納された位置情報を用いて、受光素子アレイ４が出力するライトフィールド画像からマクロピクセルの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚを検出し、検出した各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値に基づいて、物体（被写体）Ｏｂの色を検出するようにしている。

図７は、本実施形態の撮像装置の具体的な構成例を示す図である。図７に示す撮像装置１０は、レンズモジュール２０と、カメラ部３０と、演算装置４０と、記憶部５０とを備える。

レンズモジュール２０は、第１レンズ１ａおよび第２レンズ１ｂと、上述したフィルタ部２とを有している。第１レンズ１ａおよび第２レンズ１ｂは、上述したメインレンズ１を構成する。ただし、この構成は一例であり、メインレンズ１を構成する光学素子の絞り位置にフィルタ部２が配置された構成であればよい。

カメラ部３０は、上述したマイクロレンズアレイ３と、上述した受光素子アレイ４と、フレームメモリ３１とを有している。フレームメモリ３１は、受光素子アレイ４が出力するライトフィールド画像を一時的に保持する。

演算装置４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェースなどを備えたマイクロコンピュータを用いて構成される。演算装置４０は、例えば、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭに格納された所定のプログラムを実行することにより、図７に示すように、二値化処理部４１、位置特定部４２、領域検出部４３、および色検出部４４の各機能構成を実現する。これらのうち、二値化処理部４１および位置特定部４２は、上述した位置情報を記憶部５０に格納するための機能構成であり、例えば、実機を出荷する前、あるいは出荷後の任意のタイミングで実施される調整時に、調整作業者による所定の操作に応じて呼び出される。一方、領域検出部４３および色検出部４４は、実際にライトフィールド画像を用いて被写体の色を検出するための機能構成であり、被写体の撮像時に受光素子アレイ４がライトフィールド画像を出力するたびに呼び出される。

撮像装置１０の調整時には、図７に示す光源６１から出射されてバンドパスフィルタ６２を透過した光を検査光として、光学系のフィルタ部２に入射させる。検査光は、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚのうち、位置特定の対象とするフィルタ領域（以下、対象領域という。）に対応する波長特性を持つ光であり、対象領域ごとに設定される。撮像装置１０の調整時には、対象領域に応じてバンドパスフィルタ６２を切り替えることで、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚそれぞれに対応する検査光を、フィルタ部２に順次入射させる（検査光発生手段）。なお、検査光の詳細は後述する。

二値化処理部４１は、上述した検査光がフィルタ部２に入射した際に受光素子アレイ４が出力するライトフィールド画像に対して二値化処理を行い、明るい画素は白、それ以外の画素は黒となる二値化画像を生成する。

位置特定部４２は、二値化処理部４１が生成した二値化画像を用いて、白画素の座標を特定するとともに、白画素がつながっている「かたまり」（連結部分）の位置を特定することにより、フィルタ部２の対象領域に対応するマクロピクセル内の画像領域の位置を特定する。例えば、フィルタ部２のフィルタ領域Ｆ_Ｘを対象領域とした場合、ライトフィールド画像において横方向にｉ番目、縦方向にｊ番目のマクロピクセル内の画像領域Ｍ_ＸをＭ_Ｘ（ｉ，ｊ）とすると、Ｍ_Ｘ（ｉ，ｊ）は通常、複数の画素からなる。位置特定部４２は、Ｍ_Ｘ（ｉ，ｊ）に属する各画素の座標をｉ，ｊと対応付けて特定し、これらを画像領域Ｍ_Ｘの位置情報として記憶部５０に格納する。

記憶部５０は、位置特定部４２によって特定された位置情報を記憶する不揮発性メモリである。記憶部５０は、位置特定部４２によって特定された位置情報を、例えば、ルックアップテーブルのかたちで保持することができる。

領域検出部４３は、記憶部５０が記憶する位置情報に基づいて、被写体の撮像時、つまり、被写体からの光がフィルタ部２に入射した際に受光素子アレイ４が出力するライトフィールド画像から、各マクロピクセルの画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚをそれぞれ検出する。また、本実施形態の領域検出部４３は、検出した各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値をマクロピクセルの位置に応じて再配置することにより、中間画像を生成する。

具体的には、領域検出部４３は、ライトフィールド画像に含まれる各マクロピクセル内の画像領域Ｍ_Ｘを検出し、検出した画像領域Ｍ_Ｘの出力値（例えば、画像領域Ｍ_Ｘを構成する画素の平均値）を各マクロピクセルの位置ｉ，ｊに従って再配置することにより、フィルタ部２のフィルタ領域Ｆ_Ｘに対応する中間画像を生成する。すなわち、（ｉ，ｊ）＝（１，１）ならば、ライトフィールド画像の例えば左上端のマクロピクセル内の画像領域Ｍ_Ｘの出力値を中間画像の左上端の画素の値とする。この処理を、ライトフィールド画像に含まれるすべてのマクロピクセルについて行うことで、フィルタ部２のフィルタ領域Ｆ_Ｘを透過した光で形成された二次元画像である中間画像を生成することができる。

また、領域検出部４３は、ライトフィールド画像に含まれる各マクロピクセル内の画像領域Ｍ_Ｙ，Ｍ_Ｚについても同様の処理を行うことで、フィルタ部２のフィルタ領域Ｆ_Ｙに対応する中間画像や、フィルタ領域Ｆ_Ｚに対応する中間画像も生成することができる。

色検出部４４は、領域検出部４３が検出した各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値に基づいて、上述した方法により被写体の色を検出する。本実施形態の色検出部４４は、領域検出部４３が生成した３つの中間画像（フィルタ部２のフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚに各々対応する３つの中間画像）を用いることにより、被写体の異なる位置の色を個別に検出することができる。

なお、領域検出部４３は、３つの画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚに各々対応する中間画像を生成する代わりに、３つの画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの代表的な出力値を取得する構成であってもよい。この場合、色検出部４４は、３つの画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの代表的な出力値に基づいて、被写体の色を検出する。

上述した二値化処理部４１、位置特定部４２、領域検出部４３、および色検出部４４の各機能構成は、その一部あるいは全部を、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現してもよい。

ここで、撮像装置１０の調整時に用いる検査光の詳細について説明する。検査光は、上述したように、受光素子アレイ４が出力するライトフィールド画像から、フィルタ部２の対象領域に対応する画像領域を分離して、その位置を特定するために用いられる光であり、対象領域に対応する波長特性を持つ。例えば、検査光は、フィルタ部２の対象領域の分光透過率と他のフィルタ領域の分光透過率との差分に基づいて定められた波長特性を持つ光である。より具体的には、フィルタ部２の対象領域の分光透過率と他のフィルタ領域の分光透過率との差分の最大値を中心波長とする光を、検査光として用いることができる。

フィルタ部２のフィルタ領域Ｆ_Ｘを対象領域とする場合、まず、フィルタ領域Ｆ_Ｘの分光透過率Ｔ_Ｘ（λ）と、他の２つのフィルタ領域Ｆ_Ｙ，Ｆ_Ｚの分光透過率Ｔ_Ｙ（λ），Ｔ_Ｚ（λ）との差分Ｄ_Ｘ（λ）を、下記式（１）により求める。
Ｄ_Ｘ（λ）＝Ｔ_Ｘ（λ）−Ｔ_Ｙ（λ）−Ｔ_Ｚ（λ） ・・・（１）
そして、差分Ｄ_Ｘ（λ）の最大値Ｓ_Ｘの波長の光を、フィルタ領域Ｆ_Ｘを対象領域とする場合の検査光、つまり、受光素子アレイ４が出力するライトフィールド画像から画像領域Ｍ_Ｘを分離するための検査光とする。

フィルタ部２のフィルタ領域Ｆ_Ｙを対象領域とする場合は、同様に、フィルタ領域Ｆ_Ｙの分光透過率Ｔ_Ｙ（λ）と、他の２つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｚの分光透過率Ｔ_Ｘ（λ），Ｔ_Ｚ（λ）との差分Ｄ_Ｙ（λ）を求める。そして、差分Ｄ_Ｙ（λ）の最大値Ｓ_Ｙの波長の光を、フィルタ領域Ｆ_Ｙを対象領域とする場合の検査光、つまり、受光素子アレイ４が出力するライトフィールド画像から画像領域Ｍ_Ｙを分離するための検査光とする。

フィルタ部２のフィルタ領域Ｆ_Ｚを対象領域とする場合は、同様に、フィルタ領域Ｆ_Ｚの分光透過率Ｔ_Ｚ（λ）と、他の２つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙの分光透過率Ｔ_Ｘ（λ），Ｔ_Ｙ（λ）との差分Ｄ_Ｚ（λ）を求める。そして、差分Ｄ_Ｚ（λ）の最大値Ｓ_Ｚの波長の光を、フィルタ領域Ｆ_Ｚを対象領域とする場合の検査光、つまり、受光素子アレイ４が出力するライトフィールド画像から画像領域Ｍ_Ｚを分離するための検査光とする。

図８は、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚそれぞれの分光透過率Ｔ_Ｘ（λ），Ｔ_Ｙ（λ），Ｔ_Ｚ（λ）の差分Ｄ_Ｘ（λ），Ｄ_Ｙ（λ），Ｄ_Ｚ（λ）と、その最大値Ｓ_Ｘ，Ｓ_Ｙ，Ｓ_Ｚとを示す図である。図８中の実線は差分Ｄ_Ｘ（λ）を示し、一点鎖線は差分Ｄ_Ｙ（λ）を示し、破線は差分Ｄ_Ｚ（λ）を示している。また、それぞれの差分Ｄ_Ｘ（λ），Ｄ_Ｙ（λ），Ｄ_Ｚ（λ）において、矢印で示した位置の波長が、最大値Ｓ_Ｘ，Ｓ_Ｙ，Ｓ_Ｚである。

検査光としては、波長Ｓ_Ｘ，Ｓ_Ｙ，Ｓ_Ｚの単色光が理想的である。しかし、波長Ｓ_Ｘ，Ｓ_Ｙ，Ｓ_Ｚの単色光を得ることは困難であるため、それぞれの波長を中心波長とした、波長的に広がりのあるスペクトルを持つ光を検査光として用いればよい。

フィルタ部２のフィルタ領域Ｆ_Ｘを対象領域とする場合、波長Ｓ_Ｘを中心波長とする検査光を得るために、例えば広い可視光域を含む広い波長域に強度を持つキセノンランプを光源６１として用いる。そして、この光源６１から出射された光を透過するバンドパスフィルタ６２として、波長Ｓ_Ｘを中心波長とする分光透過率を持つバンドパスフィルタを用いる。図９は、波長Ｓ_Ｘを中心波長とする検査光を得るために用いるバンドパスフィルタ６２の分光透過率を示す図である。このようなバンドパスフィルタ６２としては、例えば、色素を用いた吸収型フィルタを用いることができる。

図１０は、撮像装置１０の調整時において、波長Ｓ_Ｘを中心波長とする検査光をフィルタ部２に入射させた際に受光素子アレイ４が出力するライトフィールド画像に含まれるマクロピクセルを拡大して示す図である。波長Ｓ_Ｘを中心波長とする検査光をフィルタ部２に入射させた際に受光素子アレイ４が出力するライトフィールド画像では、図１０に示すように、各マクロピクセル内の画像領域Ｍ_Ｘの画素だけが大きな画素値を持つため明るく見える。つまり、各マクロピクセル内の画像領域Ｍ_Ｘと他の画像領域Ｍ_Ｙ，Ｍ_Ｚとのコントラストが最大となっている。このライトフィールド画像に対して、適切な閾値を用いて二値化処理を行うことで、得られた二値化画像から画像領域Ｍ_Ｘの位置を正確に特定することができる。

また、フィルタ部２のフィルタ領域Ｆ_Ｙを対象領域とする場合は、波長Ｓ_Ｙを中心波長とする分光透過率を持つバンドパスフィルタ６２を用いることで、波長Ｓ_Ｙを中心波長とする検査光を得る。そして、この検査光をフィルタ部２に入射させた際に受光素子アレイ４が出力するライトフィールド画像に対して二値化処理を行うことで、得られた二値化画像から画像領域Ｍ_Ｙの位置を正確に特定することができる。

また、フィルタ部２のフィルタ領域Ｆ_Ｚを対象領域とする場合は、波長Ｓ_Ｚを中心波長とする分光透過率を持つバンドパスフィルタ６２を用いることで、波長Ｓ_Ｚを中心波長とする検査光を得る。そして、この検査光をフィルタ部２に入射させた際に受光素子アレイ４が出力するライトフィールド画像に対して二値化処理を行うことで、得られた二値化画像から画像領域Ｍ_Ｚの位置を正確に特定することができる。

以上のように特定された画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚそれぞれの位置は、位置情報として撮像装置１０の記憶部５０に格納される。そして、撮像装置１０を用いて実際に被写体を撮像して被写体の色を検出する際には、記憶部５０が記憶する位置情報を用いて、被写体の撮像により得られるライトフィールド画像から、各マクロピクセルの画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚを正しく検出することができる。そして、検出した画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの出力値に基づいて、被写体の色を適切に検出することができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の撮像装置１０によれば、フィルタ部２の各フィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚに対応する画像内の位置を正確に特定し、被写体の色の検出などを適切に行うことができる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、調整時のライトフィールド画像に対する二値化処理と、二値化画像を用いて画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの位置を特定して位置情報を記憶部５０に格納する処理とを、調整装置が行う。以下、第１実施形態と同様の構成要素については同一の符号を付して重複した説明を適宜省略し、第２実施形態の特徴点のみを説明する。

図１１は、第２実施形態の撮像装置の具体的な構成例を示す図である。図１１に示す撮像装置７０は、レンズモジュール２０と、カメラ部３０と、演算装置８０と、記憶部５０とを備える。レンズモジュール２０、カメラ部３０、および記憶部５０は、第１実施形態と同様である。演算装置８０は、第１実施形態の演算装置４０と異なり、領域検出部４３および色検出部４４のみを備え、二値化処理部４１および位置特定部４２は設けられていない。

第２実施形態では、撮像装置７０の調整時に、図１１に示す調整装置９０を用いる。この調整装置９０は、第１実施形態と同様の光源６１およびバンドパスフィルタ６２（検査光発生手段）のほかに、演算装置１００を備える。この調整装置９０の演算装置１００に、第１実施形態の二値化処理部４１と同様の二値化処理部１０１と、第１実施形態の位置特定部４２と同様の位置特定部１０２とが設けられている。

調整装置９０は、撮像装置７０の調整時に光源６１を駆動し、光源６１から出射された光をバンドパスフィルタ６２を透過させることによって検査光として、この検査光を撮像装置７０のフィルタ部２に入射させる。そして、検査光がフィルタ部２に入射した際に受光素子アレイ４が出力するライトフィールド画像を、撮像装置７０から取得して演算装置１００に入力する。

演算装置１００の二値化処理部１０１は、第１実施形態の二値化処理部４１と同様に、検査光がフィルタ部２に入射した際に受光素子アレイ４が出力するライトフィールド画像に対して二値化処理を行って、二値化画像を生成する。

演算装置１００の位置特定部１０２は、第１実施形態の位置特定部４２と同様に、二値化処理部１０１が生成した二値化画像を用いて、白画素の座標を特定するとともに、白画素の連結部分の位置を特定することにより、フィルタ部２の対象領域に対応するマクロピクセル内の画像領域の位置を特定する。そして、位置特定部１０２は、特定した画像領域の位置を示す位置情報を、撮像装置７０の記憶部５０に格納する。

図１２は、撮像装置７０に対する調整を行う際の調整装置９０の処理手順を示すフローチャートである。なお、この図１２のフローチャートで示すステップＳ１０１〜ステップＳ１０５の処理手順は、第１実施形態の撮像装置１０に対する調整時にも適用できる。第１実施形態の撮像装置１０に対する調整時に適用する場合は、ステップＳ１０２およびステップＳ１０３の処理が、撮像装置１０の内部で実施される。

撮像装置７０に対する調整を行う際、調整装置９０は、まず光源６１を駆動し、光源６１から出射された光をバンドパスフィルタ６２を透過させることによって検査光として、この検査光を撮像装置７０のフィルタ部２に入射させる（ステップＳ１０１）。

次に、調整装置９０の二値化処理部１０１が、撮像装置７０の受光素子アレイ４が出力するライトフィールド画像に対して二値化処理を行って、二値化画像を生成する（ステップＳ１０２）。

次に、調整装置９０の位置特定部１０２が、二値化処理部１０１が生成した二値化画像を用いて、フィルタ部２の対象領域に対応するマクロピクセル内の画像領域の位置を特定し、特定した位置を示す位置情報を、撮像装置７０の記憶部５０に格納する（ステップＳ１０３）。

次に、調整装置９０は、撮像装置７０のフィルタ部２のすべてのフィルタ領域を対象領域として処理を行ったか否かを判定する（ステップＳ１０４）。そして、対象領域としていないフィルタ領域があれば（ステップＳ１０４：Ｎｏ）、新たに対象領域とするフィルタ領域に応じてバンドパスフィルタ６２を切り替えた後（ステップＳ１０５）、ステップＳ１０１に戻って以降の処理を繰り返す。一方、すべてのフィルタ領域を対象領域として処理を行った場合は（ステップＳ１０４：Ｙｅｓ）、撮像装置７０の調整を終了する。

以上説明したように、第２実施形態では、撮像装置７０のフィルタ部２に検査光を入射させた際に受光素子アレイ４が出力するライトフィールド画像に対する二値化処理と、得られた二値化画像を用いて画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの位置を特定して位置情報を記憶部５０に格納する処理とを、調整装置９０が行うようにしている。したがって、撮像装置７０での処理負荷を低減しながら、第１実施形態と同様の効果を得ることができる。

以上、本発明の具体的な実施形態について説明したが、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々の変形を加えながら具体化することができる。例えば、以下のような変形例が考えられる。

（変形例１）
上述した第１実施形態および第２実施形態では、検査光を得るためのバンドパスフィルタ６２として、色素を用いた吸収型フィルタを用いた。しかし、バンドパスフィルタ６２としては、吸収型フィルタに限らず、例えば、誘電体多層膜を用いた干渉型フィルタを用いるようにしてもよい。誘電体多層膜は、分光透過率の設計自由度が高いため、より仕様に近い分光透過率のバンドパスフィルタ６２を作製できるという利点がある。

（変形例２）
上述した第１実施形態および第２実施形態では、光源６１として、キセノンランプを用いた。しかし、光源６１としては、キセノンランプに限らず、例えば、ハロゲンランプや発光ダイオードなどを用いるようにしてもよい。ハロゲンランプは、短波長側の光強度がキセノンランプよりも低いが、キセノンランプと同様に広い波長域にわたって強度を持つので、光源６１として用いることが可能である。また、発光ダイオードは、一般的に波長帯域はキセノンランプやハロゲンランプに比べて狭いが、光源６１として用いることは可能である。

（変形例３）
上述した第１実施形態および第２実施形態では、キセノンランプなどの光源６１から出射された光をバンドパスフィルタ６２を透過させることで、対象領域に対応する波長特性を持つ検査光を得るようにしていた。しかし、キセノンランプなどの光源６１とバンドパスフィルタ６２の組み合わせに代えて、対象領域に対応する波長特性を持つレーザを出射するレーザダイオードを用い、このレーザダイオードが出射するレーザを検査光として、撮像装置１０，７０のフィルタ部２に入射させるようにしてもよい。レーザダイオードは、純度の高い特定の波長を発光することができるので、レーザダイオードを検査光の光源として用いることにより、上述した第１実施形態や第２実施形態と比較して、コントラストの高い画像が得られるといった利点がある。

１ メインレンズ
２ フィルタ部
３ マイクロレンズアレイ
４ 受光素子アレイ
１０ 撮像装置
４１ 二値化処理部
４２ 位置特定部
４３ 領域検出部
４４ 色検出部
５０ 記憶部
６１ 光源
６２ バンドパスフィルタ
７０ 撮像装置
９０ 調整装置
１０１ 二値化処理部
１０２ 位置特定部

特開２０１３−２１４９５０号公報

Claims (11)

1. 各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
   前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
   前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、
   前記位置情報に基づいて、被写体からの光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像から、前記フィルタ部の各フィルタ領域を透過した光に対応する画像領域を検出する領域検出部と、
   検出された前記画像領域の出力値に基づいて、前記被写体の色を検出する色検出部と、を備え、
   前記フィルタ部の複数のフィルタ領域のうちの一つを対象領域としたときに、前記対象領域に対応する前記位置情報は、前記対象領域の波長選択性に対応する波長特性を持つ検査光を前記フィルタ部に入射させた際に前記受光素子アレイが出力する画像に対して二値化処理を行い、得られた二値化画像を用いて特定される前記受光素子アレイ上の位置を示す情報であることを特徴とする撮像装置。
2. 前記二値化処理を行う二値化処理部と、
   前記二値化画像を用いて、前記対象領域を透過した光を受光する前記受光素子アレイ上の位置を特定し、特定した位置を示す位置情報を、前記対象領域に対応する前記位置情報として前記記憶部に格納する位置特定部と、をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記フィルタ部は、等色関数に基づいた分光透過率を持つ少なくとも３つのフィルタ領域を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記検査光は、前記対象領域の分光透過率と他のフィルタ領域の分光透過率との差分に基づいて定められた波長特性を持つ光であることを特徴とする請求項３に記載の撮像装置。
5. 前記検査光は、前記対象領域の分光透過率と他のフィルタ領域の分光透過率との差分の最大値を中心波長とする光であることを特徴とする請求項４に記載の撮像装置。
6. 各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
   前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
   前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、を備える撮像装置の調整を行う調整装置であって、
   前記フィルタ部の複数のフィルタ領域のうちの一つを対象領域としたときに、前記対象領域の波長選択性に対応する波長特性を持つ検査光を前記フィルタ部に入射させる検査光発生手段と、
   前記検査光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像を取得して該画像に対して二値化処理を行う二値化処理部と、
   前記二値化処理により得られた二値化画像を用いて、前記対象領域を透過した光を受光する前記受光素子アレイ上の位置を特定し、特定した位置を示す位置情報を、前記対象領域に対応する前記位置情報として前記記憶部に格納する位置特定部と、を備えることを特徴とする調整装置。
7. 前記検査光発生手段は、
   光源と、
   前記光源から出射された光を透過して前記検査光とする、前記フィルタ部とは異なるバンドパスフィルタと、を備えることを特徴とする請求項６に記載の調整装置。
8. 前記バンドパスフィルタは、色素を用いた吸収型フィルタまたは誘電体多層膜を用いた干渉型フィルタであることを特徴とする請求項７に記載の調整装置。
9. 前記光源は、キセノンランプ、ハロゲンランプ、発光ダイオードのいずれかであることを特徴とする請求項７に記載の調整装置。
10. 前記検査光発生手段は、前記対象領域の波長選択性に対応する波長特性を持つレーザを前記検査光として前記フィルタ部に入射させることを特徴とする請求項６に記載の調整装置。
11. 各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
    前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
    前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、を備える撮像装置の調整方法であって、
    前記フィルタ部の複数のフィルタ領域のうちの一つを対象領域としたときに、前記対象領域の波長選択性に対応する波長特性を持つ検査光を前記フィルタ部に入射させる工程と、
    前記検査光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像に対して二値化処理を行う工程と、
    前記二値化処理により得られた二値化画像を用いて、前記対象領域を透過した光を受光する前記受光素子アレイ上の位置を特定し、特定した位置を示す位置情報を、前記対象領域に対応する前記位置情報として前記記憶部に格納する工程と、を含むことを特徴とする調整方法。

Images