JP2014075780A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】フィルタの分割数を多くすることなく多数種類の分光情報を同時に取得することができ、配置精度に伴うコスト上昇や光量低下、解像度低下の問題を解消できる撮像装置を提供する。
【解決手段】撮像装置１２は、メインレンズ２４と、該レンズの絞り付近に配置された第１のフィルタ２６と、マイクロレンズアレイ３と、カラーセンサ６とを有している。第１のフィルタ２６とカラーセンサ６はそれぞれ分光特性が異なる複数のフィルタから構成されている。物体からの分光情報を、第１のフィルタの各フィルタと、カラーセンサの各フィルタとに振り分けて、その組み合わせパターンから得られる多種類のバンドパスフィルタによる分光情報を同時に得る。
【選択図】図２

Description

本発明は、物体からの分光情報を取得する撮像装置、該撮像装置を備えた撮像システムに関する。

物体のスペクトルを評価することにより、物体の本来の分光反射率特性、状態を観察することができる。
スペクトルを測定する装置としては、プリズムや回折格子（グレーティング）、液晶チューナブルフィルタ等を利用した分光器が一般的に知られている。

これまでの分光器は、リアルタイム（瞬時的）に点、線分のスペクトルを測定することはできるが、面を一度に測定することでできない、といった問題があった。
面を計測する場合には、線測定の分光器を用いてスキャンすることで測定していた。
この方式では、細胞などのスペクトルを測定する場合は、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないといった問題があった。

特許文献１には、二次元の分光反射率特性を測定する目的で、波長可変フィルタを用いて、波長領域が異なる複数のチャンネルを切り替え、撮影されたマルチバンド画像より、撮影被写体のスペクトルを推定する方法が開示されている。
波長可変フィルタでチャンネルを切り替えながら、同一の被写体を撮影手段により撮影した複数の原画像からなるマルチバンド画像を取得し、該マルチバンド画像から被写体のスペクトルを推定するものである。
波長可変フィルタのチャンネル数は、１０チャンネル以上としている。

しかしながら、特許文献１に記載の方式は、波長可変フィルタでチャンネルを切り替えながら逐一バンド画像を得るものであるため、複数のチャンネルの分光画像を一度にリアルタイム（瞬時的）に測定することはできない。
すなわち、波長可変フィルタのチャンネルを切り替えて各バンド画像を得る動作が１０回以上必要となり、時間を要することを避けられない。
このため、上述した、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないという問題の解消には至っていない。

特許文献２のFIG.11には、対物レンズ（以下、「メインレンズ」という）に入射した光を、メインレンズの絞り付近に配置された、分光特性の異なるバンドパスフィルタからなるフィルタに通し、フィルタ通過後の光束をマイクロレンズアレイ（以下「ＭＬＡ」という）で複数に分割してセンサで受光する構成が開示されている。
センサとしてカラーセンサを用いると、センサ側にも複数のフィルタが存在するため、情報が重畳することとなり所望の特性が得られない。このため、センサとしてはモノクロセンサが用いられている。
この方式によれば、複数種類の分光情報を同時に取得することができ、撮影後にスペクトル毎に並べ替えることにより画像が得られる。

一般的に、自然界のスペクトルを精度良く計測するためには、最低6バンド以上のバンドパスフィルタが必要と言われている。
特許文献２の方式で、６種類以上の分光情報を得るためには、メインレンズの絞り付近に分光特性の異なる６つ以上のバンドパスフィルタを配置する必要がある。

しかしながら、上記絞り領域に分光特性の異なるフィルタを6枚以上同時に配備しようとすると、絞り径が小さいため、フィルタの配置精度が必然的に高くなる。
配置精度の向上は、撮像装置のコスト上昇につながる。
また、フィルタの間隙部分、すなわち、フィルタとフィルタの境界部分は物体からの光線を遮ってしまうため、フィルタ数を多くすると光量の低下に繋がるという問題もあった。

特許文献２には、ＭＬＡとセンサの間にフィルタを配置する構成も記載されている（FIG.3参照）。
この場合には、レイアウト上メインレンズの絞り径の影響を受けないためにフィルタの配置精度は要求されない。
しかしながら、フィルタ数を多くすることによる光量低下の問題は依然として解消されない。

また、フィルタの分割数が多くなると、解像度が低くなるという問題もある。
図９は、この種の撮像装置で撮影された画像を示している。メインレンズの絞り形状に対応して、小さな円が並んだ状態となる。ここでは、それぞれの小さな円を「マクロピクセル」と呼ぶこととする。

マクロピクセルを全て集めると１つの画像となる。
フィルタの分割数が多くなると、分割数に応じた光情報が１つのマクロピクセル内に入り込み、センサ側での一つのフィルタに対する画素がとれる光情報量が小さくなる。
これを解消すべく、マクロピクセルを大きくしがちであり、そのようにすると解像度は必然的に低くなる。

本発明は、このような現状に鑑みて創案されたもので、フィルタの分割数を多くすることなく多数種類の分光情報を同時に取得することができ、配置精度に伴うコスト上昇や光量低下、解像度低下の問題を解消できる撮像装置の提供を、その主な目的する。

上記目的を達成すべく、本発明は、センサとしてカラーセンサを用い、カラーセンサ側のフィルタの複数の分光特性と、光学系（メインレンズ）側のフィルタの複数の分光特性とをそれぞれ異ならせることにより、その組み合わせパターンによって見かけ上バンドパスフィルタ数を増やし、メインレンズ側のフィルタ数を抑制することとした。

具体的には、本発明は、光学系と、前記光学系により集光された光情報を電子情報に変換するセンサと、を備え、物体からの分光情報を取得する撮像装置において、前記光学系の絞り付近には、複数のフィルタあるいは複数の領域からなり、複数の分光特性を有する第１のフィルタが配置されており、前記センサは、複数の分光特性を有する第２のフィルタと、受光素子とを備え、前記光学系と、前記センサとの間には、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、第１のフィルタと第２のフィルタは異なる分光特性を有することを特徴とする。

本発明によれば、物体からの分光情報を、第１のフィルタの複数の分光特性と、第２のフィルタの複数の分光特性との組み合わせによって増加させる構成としたので、光学系の絞り付近におけるフィルタの数を多くすることなく、多種類の分光情報を同時に取得することができる。
これにより、フィルタの配置精度を高める必要がなくコスト上昇を抑制できるとともに、光量低下、解像度低下の問題を一挙に解消できる。

本発明の撮像装置の原理を説明するための模式図である。 本発明の一実施形態に係る撮像システムの構成を示す図で、（ａ）は正面図、（ｂ）は側面図である。 カラーセンサの要部拡大断面図である。 一般的なカラーセンサのフィルタの分光特性を示す図である。 第１のフィルタにおける各フィルタの配置構成を示す正面図である。 第１のフィルタを構成するフィルタの分光特性を示す図である。 カラーセンサにおける第２のフィルタを構成するフィルタの分光特性を示す図である。 第１のフィルタを構成する各フィルタの分光特性と、カラーセンサにおける第２のフィルタを構成する各フィルタの分光特性との組み合わせによる分光パターンを示す模式図である。 デジタルリフォーカス方式のカメラで撮影された画像の一例を示す図である。

以下、本発明の一実施形態を図を参照して説明する。
本実施形態に係る撮像装置及び撮像システムの具体的構成を説明する前に、図１に基づいて本発明の原理を説明する。
ここでは、機能原理を分かり易く説明するために、光学系２は単レンズで示し、光学系２の絞り位置Ｓを単レンズの中心としている。
単レンズ２の中心には、第１のフィルタを構成する３種類のフィルタｆ１（Ｒ：レッド）、ｆ２（Ｇ：グリーン）、ｆ３（Ｂ：ブルー）が並べられている。
実際にはレンズ内にフィルタが位置することはない。

単レンズ２の集光位置付近には、ＭＬＡ３が配置されている。図中のイメージ領域４においては、センサ５が配置されている。
ここでは、簡便な理解のために、センサ５はモノクロセンサとする。

物体１の一点から広がった光は、単レンズ２上の異なる位置に入射し、位置に応じて異なる分光特性を有するフィルタｆ１〜ｆ３を通過する。
フィルタを通過した光は、ＭＬＡ３付近で一度結像するが、その後ＭＬＡ３により、各々センサ５の別位置に照射される。
この時、ある一点からの異なる分光特性を持つ光が、センサ５上に異なる位置に照射されるために、一度に複数の分光情報をセンサ５上に投影することができる。

物体１の上記一点とは異なった位置の分光情報も、上記と同様に、センサ５の異なる位置に照射され、最終的に画像処理で、分光特性毎に並べ替えを実施することで、分光特性毎の二次元画像を一度に取得することができる。
この原理を応用すれば、単レンズ２の絞り付近に複数のバンドパスフィルタを配置することで、物体の二次元のスペクトルを瞬時的に計測することができる。
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。

上述のように、一般的に、自然界のスペクトルを計測するためには、最低6バンド以上のバンドパスフィルタが必要と言われている。
分光特性情報の種類を増加させるべく、上記絞り領域に分光特性の異なるフィルタを6枚以上同時に配備しようとすると、絞り径が小さいため、フィルタの配置精度が必然的に高くなる。
これにより、撮像装置の製造コストの上昇を避けられない。

複数のフィルタを付き合わせて１つのフィルタユニットを構成した場合、フィルタとフィルタの境界部分は物体からの光線を遮ってしまうため、フィルタ数を多くすると境界部分の多さに比例して光量低下をきたす。
そこで、本実施形態では、センサとして3色のカラーセンサを利用し、かつ絞り付近に3種類の異なるフィルタを配備することで、絞り付近のフィルタ枚数を少なくし、かつ6種類以上の分光情報が得られるようにした。

図２に本実施形態に係る撮像システムの構成を示す。
撮像システム１０は、物体からの分光情報を取得し、取得された分光情報に基づいて複数種類の分光画像を生成する撮像装置１２と、スペクトル推定手段としてのスペクトル推定部１６とを有している。
分光画像の生成は、分光画像生成手段としてのFPGA（Field-Programmable Gate Array）14により行われる。
スペクトル推定部１６はＣＰＵ、ＲＯＭ、ＲＡＭ等を有し、生成された分光画像から画素毎の分光反射率を算出してスペクトルを推定する。

撮像装置１２は、レンズモジュール１８と、カメラ部２０とから構成されており、FPGA14はカメラ部２０に内蔵されている。
FPGA14は撮像装置１２の外部にあってもよい。
レンズモジュール１８は、鏡筒２２と、該鏡筒２２内に設けられた光学系としてのメインレンズ２４と、該メインレンズの絞り付近に配置された第１のフィルタ２６と、レンズ２８とを有している。

カメラ部２０は、その内部にレンズアレイとしてのＭＬＡ３と、カラーセンサ６と、FPGA14とを有している。
ＭＬＡ３は、メインレンズ２４の光軸と直交する方向に複数のマイクロレンズを配置した構成を有している。
鏡筒２２の先端部には、光源としてのＬＥＤ３０が周方向に等間隔に埋設状態で複数設けられている。ＬＥＤ３０を光源とすることにより、撮影環境条件に左右されず安定した分光情報を取得することができる。

カラーセンサ６の断面図を図３に示す。一般的なカラーセンサの構成としては、例えば、凸版印刷エレクトロニクス（ＣＣＤ／ＣＭＯＳセンサ用オンチップカラーフィルタ）のホームページ（参考URL：http://material.toppan.co.jp/semicon/onchip/）に記載されているものが知られている。
カラーセンサ６上には、ＭＬＡ３とは異なり、１画素ずつに対応したマイクロレンズ３２が実装されている。マイクロレンズ３２の集合体は、センサ側のレンズアレイとしてなる。

カラーフィルタ３４は、本実施形態における第２のフィルタであり、少なくとも２つの異なる分光特性を有している。
ここでは、カラーフィルタ３４は、分光特性の異なる３つのフィルタｆ４、ｆ５、ｆ６から構成されている。
一般的なカラーセンサは、ベイヤー配列でRGBのカラーフィルタが画素毎に配備されている。

図３において、符号３６は平坦化層を、３８は遮光膜を、４０は電極を、４２は受光素子を、４４はシリコン基板をそれぞれ示している。

図４に、一般的なカラーセンサのフィルタの分光特性を示す。
Ｂ（ブルー）では４７０nm付近に、Ｇ（グリーン）では540nm付近に、Ｒ（レッド）では620nm付近にそれぞれスペクトルのピーク（最大値）を有していることが分かる。
またＲ、Ｇ、Ｂのそれぞれの分光特性は、各々の裾野の部分で、オーバーラップしている様子が分かる。

具体的には、ＲとＧは520-650nm、700-800nm付近で、ＧとＢは420-510nm付近でオーバーラップしている。
カラーセンサ６の前に配備されたＭＬＡ３のマイクロレンズの径と、カラーセンサ６に実装されているマイクロレンズ３２の径は、おおよそ30:1〜10:1の比率の関係にある。

図５に、第１のフィルタ２６の正面図を示す。
異なる分光特性を有する3種類のフィルタｆ１、ｆ２、ｆ３が１枚の板ガラス上で一体的に成膜加工されている。
本実施形態では、多層膜蒸着により、１枚のフィルタで3種類の異なる分光特性を実現しているが、異なる3枚の板ガラスフィルタを用意し、光軸方向に重ね合わせて構成してもよい。
各々のフィルタは、メインレンズ２４の中心付近を境に3分割されている。換言すれば、メインレンズ２４の光軸の軸心回りに分光特性が異なる。

図６に第１のフィルタ（ユニット）２６を構成する各フィルタの分光特性を示し、図７にカラーセンサ６のカラーフィルタ３４を構成するフィルタｆ４、ｆ５、ｆ６の分光特性を示す。
第１のフィルタの３種類のフィルタのうち、フィルタｆ１、フィルタｆ２は、可視域（400nm-700nm）にピークを持つバンドパスフィルタである。
フィルタｆ３は、可視域全般を通すスルーパスフィルタである。
２種類のバンドパスフィルタｆ１、ｆ２のピーク波長はそれぞれ、500nm、600nmであり、共にカラーセンサ６におけるカラーフィルタ３４を構成するフィルタｆ４〜ｆ６のピーク波長の間に最大感度を持つ。

第１のフィルタ２６を構成する各フィルタｆ１、ｆ２、ｆ３と、カラーセンサ６における第２のフィルタを構成する各フィルタｆ４、ｆ５、ｆ６の分光特性はそれぞれ異なっている。
第１のフィルタ２６を構成する各フィルタと、カラーセンサ６における第２のフィルタを構成する各フィルタを光線が通過することで、３×３＝９種類のバンドパスフィルタを通ったのと同様の分光情報を同時に取得することができる。

すなわち、（ｆ１−ｆ４）、（ｆ１−ｆ５）、（ｆ１−ｆ６），（ｆ２−ｆ４）、（ｆ２−ｆ５）、（ｆ２−ｆ６），（ｆ３−ｆ４）、（ｆ３−ｆ５）、（ｆ３−ｆ６）の組み合わせパターンが得られるため、第１のフィルタ位置に９種類のバンドパスフィルタを設けた場合と同様の分光機能が得られる。
しかしながら、厳密には、各々のフィルタの分光透過領域の部分のみ光は透過することができるため、図８に示すように、本実施形態では実質的に、6種類の分光情報を取得することとなる。

すなわち、スルーパスフィルタｆ３と第２のフィルタとの組み合わせでは、図８（ａ）〜（ｃ）に示すように、３種類の分光情報を取得することができる。
バンドパスフィルタｆ１と第２のフィルタとの組み合わせでは、図８（ｄ）に示すように、１種類の分光情報を取得することができる。
バンドパスフィルタｆ２と第２のフィルタとの組み合わせでは、図８（ｅ）、（ｆ）に示すように、２種類の分光情報を取得することができる。

カメラ部２０内に実装されているFPGA14は、上述した撮影画像の分光特性毎に並べ替えを施し、6種類の分光画像の生成を行っている。
そして、後段のソフトウェア１６において、6種類の分光画像から、画素毎のスペクトルを計算する。
6種類のバンドパスフィルタの出力結果から、スペクトルを推定するためには、スペクトル分布の波長間をスプライン補間やラグランジェ補間等により非線形に補間する方法が、一般的に知られている。

上記構成により、メインレンズの絞り付近のフィルタ数を多くすることなく、6種類以上の分光情報を得ることができる。
これにより、第１のフィルタにおける各フィルタの配置精度を高めなくとも、安価な構成でマルチバンド二次元測定の精度を高めることができる。
要するに、物体からの分光情報を、カメラ側に配備されたフィルタおよびセンサに実装されているフィルタに振り分けることで、センサ上に実装されているフィルタの数以上の分光情報を同時に取得できる。

一般的に、メインレンズのバンドパスフィルタとセンサ上のカラーのバンドパスフィルタを透過した光量は、可視域全域に亘って透過する光量に比べ少ない。
本実施形態では、6種類の分光情報を１つのセンサ上で検出することになるため、光量が多い分光画像と光量が少ない分光画像を１つの露光条件で検出することとなり、必然的にS/Nが悪くなる。
そこで、図５に示したように、スルーパスフィルタｆ３の有効領域に比べ、バンドパスフィルタｆ１、ｆ２の有効領域を広く取ることとしている。

これにより、光量が多い分光領域は狭いエリアで、光量が少ない分光領域は広いエリアで検出し、全体のS/Nを上げることができる。
本実施形態では、図５に示すように、第１のフィルタ２６の有効光透過面において、スルーパスフィルタｆ３の光透過面積は該有効光透過面の１／４に相当する。
２つのバンドパスフィルタのうち、フィルタｆ２の光透過面積は該有効光透過面の約１／４に相当し、フィルタｆ１の光透過面積は該有効光透過面の約２／４に相当する。

１ 物体
３ レンズアレイ
６ センサとしてのカラーセンサ
１２ 撮像装置
２４ 光学系としてのメインレンズ
２６ 第１のフィルタ
３４ 第２のフィルタとしてのカラーフィルタ

特開２００１−９９７１０号公報 ＵＳ ７，４３３，０４２ Ｂ１

Claims (8)

1. 光学系と、
   前記光学系により集光された光情報を電子情報に変換するセンサと、を備え、
   物体からの分光情報を取得する撮像装置において、
   前記光学系の絞り付近には、複数のフィルタあるいは複数の領域からなり、複数の分光特性を有する第１のフィルタが配置されており、
   前記センサは、複数の分光特性を有する第２のフィルタと、受光素子とを備え、
   前記光学系と、前記センサとの間には、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、
   第１のフィルタと第２のフィルタは異なる分光特性を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   第２のフィルタは、３つの異なる分光特性を有していることを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   第１のフィルタの前記複数のフィルタあるいは複数の領域のうち、少なくとも１つの分光特性は、第２のフィルタの分光特性のピーク間に分光ピーク位置を持つことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   第１のフィルタの前記複数のフィルタあるいは複数の領域のうち、少なくとも1つは、第２のフィルタの分光透過域を全て含む分光特性を有していることを特徴とする撮像装置。
5. 請求項１〜４のいずれか１つに記載の撮像装置において、
   第１のフィルタは、複数のフィルタを付け合わせて１つのユニットをなし、前記光学系の光軸の軸心回りに分光特性が異なることを特徴とする撮像装置。
6. 請求項１〜４のいずれか１つに記載の撮像装置において、
   第１のフィルタは、１枚の板ガラスに分光特性の異なる領域が複数形成され、前記光学系の光軸の軸心回りに分光特性が異なることを特徴とする撮像装置。
7. 請求項５又は６に記載の撮像装置において、
   第１のフィルタの前記複数のフィルタあるいは複数の領域のうち、前記分光透過域を全て含むフィルタあるいは領域の光透過面積は、前記分光ピーク間に分光ピーク位置を持つフィルタあるいは領域の光透過面積に比べて狭いことを特徴とする撮像装置。
8. 物体からの分光情報を取得し、取得された分光情報に基づいて複数種類の分光画像を生成する撮像装置と、
   生成された分光画像から画素毎のスペクトルを推定するスペクトル推定部と、
   を有する撮像システムにおいて、
   前記撮像装置が、請求項１〜７のいずれか１つに記載のものであることを特徴とする撮像システム。

Images