JP2014095688A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】ノイズに対するロバスト性の高い撮像装置を提供する。
【解決手段】メインレンズ２４の絞り付近（ここでは中心）には、分光透過率が空間的に連続的に変化するフィルタ２６が配置されている。メインレンズ２４の集光位置付近には、複数のマイクロレンズから構成されるＭＬＡ３が配置されている。符号６はセンサを示す。フィルタ２６を通過した光線は、ＭＬＡ３付近で一旦結像するが、その後ＭＬＡ３により、それぞれセンサの別位置に到達するため、物体１のある一点の分光反射率を同時に測定することができる。連続的な分光反射率を撮影と同時に直接得ることができるため、推定処理は不要となり、ノイズに対するロバスト性の高い二次元分光反射率を測定することができる。
【選択図】図１

Description

本発明は、物体からの分光情報を取得する撮像装置、該撮像装置を備えた撮像システムに関する。

物体のスペクトルを評価することにより、物体の本来の分光反射率特性、状態を観察することができる。
スペクトルを測定する装置としては、プリズムや回折格子（グレーティング）、液晶チューナブルフィルタ等を利用した分光器が一般的に知られている。

これまでの分光器は、リアルタイム（瞬時的）に点、線分のスペクトルを測定することはできるが、面を一度に測定することでできない、といった問題があった。
面を計測する場合には、線測定の分光器を用いてスキャンすることで測定していた。
この方式では、細胞などのスペクトルを測定する場合は、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないといった問題があった。

特許文献１には、二次元の分光反射率特性を測定する目的で、波長可変フィルタを用いて、波長領域が異なる複数のチャンネルを切り替え、撮影されたマルチバンド画像より、撮影被写体のスペクトルを推定する方法が開示されている。
波長可変フィルタでチャンネルを切り替えながら、同一の被写体を撮影手段により撮影した複数の原画像からなるマルチバンド画像を取得し、該マルチバンド画像から被写体のスペクトルを推定するものである。
波長可変フィルタのチャンネル数は、１０チャンネル以上としている。

しかしながら、特許文献１に記載の方式は、波長可変フィルタでチャンネルを切り替えながら逐一バンド画像を得るものであるため、複数のチャンネルのスペクトル画像を一度にリアルタイム（瞬時的）に測定することはできない。
すなわち、波長可変フィルタのチャンネルを切り替えて各バンド画像を得る動作が１０回以上必要となり、時間を要することを避けられない。
このため、上述した、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないという問題の解消には至っていない。

特許文献２のFIG.11には、対物レンズ（以下、「メインレンズ」という）に入射した光を、メインレンズの絞り付近に配置された、分光特性の異なるバンドパスフィルタからなるフィルタに通し、フィルタ通過後の光束をマイクロレンズアレイ（以下「ＭＬＡ」という）で複数に分割してセンサで受光する構成が開示されている。
センサとしてカラーセンサを用いると、センサ側にも複数のフィルタが存在するため、情報が重畳することとなり所望の特性が得られない。このため、センサとしてはモノクロセンサが用いられている。
この方式によれば、複数種類の分光情報を同時に取得することができ、撮影後にスペクトル毎に並べ替えることにより画像が得られる。

すなわち、撮影画像の分光特性毎に並べ替えを施し、複数種類の分光画像の生成を行っている。
そして、ソフトウェアにおいて、複数種類の分光画像から、画素毎のスペクトルを計算する。
複数種類のバンドパスフィルタの出力結果から、スペクトルを推定するためには、スペクトル分布の波長間をスプライン補間やラグランジェ補間等により非線形に補間する方法が、一般的に知られている。

上記のように、従来においては、波長的に離散的な複数のバンドの出力から連続的な分光反射率を推定するようになっている。
しかしながら、高精度な推定処理には被検物に対する事前知識（具体的には被検物のスペクトルに似たスペクトル群の統計量）が必要であり、ノイズの影響も大きく受ける。

本発明は、このような現状に鑑みて創案されたもので、ノイズに対するロバスト性の高い撮像装置の提供を、その目的とする。

上記目的を達成すべく、本発明は、連続的な分光反射率を撮影時にダイレクトに得ることとし、推定処理を不要にしてノイズの影響を排除することとした。

具体的には、本発明は、光学系と、前記光学系により集光された光情報を電子情報に変換するセンサと、を備え、物体からの分光情報を取得する撮像装置において、前記光学系の絞り付近には、複数の分光特性を有するフィルタが配置され、前記光学系と、前記センサとの間には、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、前記フィルタは、空間的に連続的に分光透過率が変化するフィルタであることを特徴とする。

本発明によれば、連続的な分光透過特性をもつフィルタを利用することで、連続的な分光反射率を撮影と同時に直接得ることができる。
これにより、推定処理は不要となり、ノイズに対するロバスト性の高い撮像装置を実現できる。

本発明の撮像装置の原理を説明するための模式図である。 本発明の第１の実施形態に係る撮像システムの構成を示す図で、（ａ）は正面図、（ｂ）は側面図である。 フィルタ及び絞りの形状を示す正面図である。 撮影画像の一例を示す図である。 マクロピクセルの拡大図である。 波長と分光反射率との関係を示す特性図である。 二次元分光反射率を測定する処理のフローチャートである。 フィルタの製造方法を示す概要断面図である。 分光透過率が連続的に変化するフィルタの位置と透過率との関係の一例を示す図である。 第２の実施形態におけるフィルタの及び絞りの形状を示す正面図である。 第３の実施形態におけるフィルタの及び絞りの形状を示す正面図である。 第４の実施形態におけるフィルタの及び絞りの形状を示す正面図である。

以下、本発明の実施形態を図を参照して説明する。
図１乃至図９に基づいて第１の実施形態を説明する。本実施形態に係る撮像装置及び撮像システムの具体的構成を説明する前に、図１に基づいて本実施形態に係る撮像装置の原理を説明する。
ここでは、分かり易く説明するために、光学系としてのメインレンズ２４は単レンズで示し、メインレンズ２４の絞り位置Ｓを単レンズの中心としている。
メインレンズ２４の中心には、分光透過率が空間的に連続的に変化するフィルタ２６が配置されている。すなわち、フィルタ２６は複数の分光特性を有する。
実際には、レンズ内にフィルタが位置することはない。

フィルタ２６の分光透過率の連続性の方向性は、１つの面内であれば限定されない。
例えば、メインレンズ２４の光軸に直交する面において、図１中の上下方向、又はこれに直交する方向、あるいは斜めに交差する方向などで連続性を有していればよい。

メインレンズ２４の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるＭＬＡ３が配置されている。
イメージ面６にはセンサとしての受光素子アレイが配置されている。受光素子アレイは複数の受光素子からなる。以下においては、符号６を受光素子アレイとして表記する。
ＭＬＡ３のマイクロレンズの径と、受光素子アレイ６を構成する各受光素子とは、おおよそ30:1〜10:1の比率の関係にある。
ＭＬＡ３では、受光素子アレイの二次元平面方向に略方向に複数のマイクロレンズが並んでいる。

受光素子アレイ６は、画素ごとのカラーフィルタが実装されていないモノクロセンサである。以下、受光素子アレイを「モノクロセンサ」ともいう。
受光素子アレイ６は、光学系により集光された光情報を電子情報に変換するセンサである。
物体１から発する光のうち、メインレンズ２４の開口に入射する光束が分光反射率測定の対象となる。
メインレンズ２４に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ２４の絞りの異なる位置を通過する。

メインレンズ２４の絞り位置にフィルタ２６を配置しているので、各光線は異なる分光透過率のフィルタを通過することになる。
フィルタ２６を通過した光線は、ＭＬＡ３付近で一旦結像するが、その後ＭＬＡ３により、それぞれセンサの別位置に到達する。
すなわち、センサ面の位置は光線が通過したフィルタ位置に対応するので、物体のある一点の分光反射率を同時に測定することができる。

図１では、光軸上の一点のみの場合を示しているが、軸外についても同様であり、二次元の分光反射率を同時に測定することが可能となる。

フィルタ２６は、メインレンズ２４の絞り付近に配置される。
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。

図２に本実施形態に係る撮像システムの構成を示す。
撮像システム１０は、物体からの分光情報を取得する撮像装置１２と、分光反射率を算出してスペクトルを推定するスペクトル推定部１６とを有している。
撮像装置１２は、該撮像装置１２により取得された分光情報に基づいて複数種類の分光画像を生成する分光画像生成手段としてのFPGA（Field-Programmable Gate Array）14を有している。
スペクトル推定部１６は、CPUやROM、RAM等により構成され、FPGA１４により生成された分光画像から画素毎の分光反射率を算出してスペクトルを推定する。

撮像装置１２は、レンズモジュール１８と、カメラ部２０とから構成されており、FPGA14はカメラ部２０に内蔵されている。
FPGA14は撮像装置１２の外部にあってもよい。
レンズモジュール１８は、鏡筒２２と、該鏡筒２２内に設けられたメインレンズ２４と、フィルタ２６と、レンズ２８とを有している。

カメラ部２０は、その内部にＭＬＡ３と、モノクロセンサ６と、FPGA14とを有している。
ＭＬＡ３は、メインレンズ２４の光軸と直交する方向に複数のマイクロレンズを配置した構成を有している。
鏡筒２２の先端部には、光源としてのＬＥＤ３０が周方向に等間隔に埋設状態で複数設けられている。ＬＥＤ３０を光源とすることにより、撮影環境条件に左右されず安定した分光情報を取得することができる。

図３は、本実施形態に係るフィルタ２６及び絞りの正面図である。
フィルタ２６の下部が短波長、上部が長波長の分光透過率ピークを持つ。
この場合、撮影画像は、図４に示すように、小さな円が並んだものとなる。円になるのは単レンズの絞り形状が円であるためである。

それぞれの小さな円を、ここでは「マクロピクセル」と呼ぶこととする。マクロピクセルを全て集めると１つの画像となる。
各マクロピクセルは、ＭＬＡ３を構成する各小レンズ（マイクロレンズ）の直下に形成される。マクロピクセルの径とマイクロレンズの径はほぼ同じである。
図１に示すように、マクロピクセルの上部はフィルタ２６の下部を通過してきた光線が到達し、下部にはフィルタ２６の上部を通過してきた光線が到達する。

フィルタ２６の下部が短波長、上部が長波長の分光透過率を持つような配置とすると、それに対応するように、マクロピクセルの上部には短波長、下部には長波長の光線が到達する。
各マクロピクセルの行ごとの平均値を算出し、照明の分光強度、レンズの分光透過率、フィルタの分光透過率、受光素子の分光感度を考慮して計算することで分光反射率を求めることができる。

マクロピクセルの拡大図を図５に示す。
ここでは、一つのマクロピクセルが23x23画素の場合を考える。この一つのマクロピクセルから被検物のある点の分光反射率を求める。
まず、最も短波長（λs）側の反射率を求める手順を述べる。

撮像装置から得られるデータは受光素子からの出力値であり、出力値は受光素子に入射する光線量に対応している。
光線量は照明の分光強度、被検物の分光反射率、光学系（メインレンズ）の分光透過率、フィルタ２６の分光透過率、受光素子の分光感度の５つの特性の波長λsにおける値の積である。
よって、被検物のλsにおける反射率を求めるには、出力値を分光反射率以外の４つの値で除算すればよい。

ここでの出力値には、図５の最下段の行の画素23個の出力値の総和をマクロピクセルが形成されている面積で除した値を用いる。
マクロピクセルが形成されている面積とは、図５中黒く塗りつぶされている領域以外の光線が届いている面積のことである。
これは各行の出力値を規格化するためである。以上の手順でλsでの反射率の相対値を得ることができる。絶対値は別途校正が必要となる。

照明の分光強度、光学系の分光透過率、フィルタの分光透過率、受光素子の分光感度、マクロピクセルの各行の面積は設計時に既知である。
以上の処理をマクロピクセルの各行に対して適用することで23の波長における反射率を得ることができる。
その測定結果の一例を図６に示す。横軸が波長、縦軸が分光反射率の相対値である。

以上が一つのマクロピクセルに対する処理であり、全てのマクロピクセルに対して同じ処理を適用することで、二次元分光反射率を測定することが可能となる。処理の流れを図７に示す。

フィルタ２６は、図８に示すように、光学ガラスなどの透明基板３２に薄膜３４を、厚みがくさび状に変化するように蒸着することで作製することができる。
本実施形態における薄膜３４の材質は五酸化ニオブであり、短波長側の材質は五酸化タンタルである。
薄膜３４の膜厚は数十〜数百nmである。膜厚の薄いほうが短波長、厚いほうが長波長に対応する。薄膜３４の厚みがくさび状（無段階）に変化するため、分光透過率も連続的に変化する。

光の干渉により分光透過率を制御しているので、透過光が強め合う条件が分光透過率のピーク波長に相当する。
透明基板３２の厚みは、フィルタの保持が可能であればよい。絞り位置付近にレンズが近接している設計のレンズもあり、その場合は薄いほうがよい。例えば0.5mm程度である。
分光透過率が連続的に変化するフィルタの位置と透過率との関係は、例えば図９に示すものが知られている（株式会社ニコンのリニアバリアブルフィルタ（ＬＶＦ）のウェブサイトより抜粋）。

上記のように、連続的な分光透過特性をもつフィルタを利用することで、連続的な分光反射率を撮影と同時に直接得ることができる。
これにより、推定処理は不要となり、ノイズに対するロバスト性の高い二次元分光反射率を測定することができる。

図１０に第２の実施形態を示す。
なお、上記実施形態と同一部分は同一符号で示し、特に必要がない限り既にした構成上及び機能上の説明は省略して要部のみ説明する（以下の他の実施形態において同じ）。
本実施形態におけるフィルタ２６は、透過帯域毎に分割した構成を有している。

すなわち、フィルタ２６は、400nm〜500nmの波長域に対応するフィルタ２６ａと、500nm〜600nmの波長域に対応するフィルタ２６ｂと、600nm〜700nmの波長域に対応するフィルタ２６ｃとから構成されている。
したがって、フィルタ２６は、紫外域あるいは赤外域においても連続的に分光透過率が変化するフィルタである。
各フィルタ２６ａ、２６ｂ、２６ｃは、それぞれが空間的に連続的に分光透過率が変化するフィルタである。ここでは、図中上から下に向ってそれぞれ波長が大きくなっている。
各フィルタ２６ａ、２６ｂ、２６ｃの長手方向の向きは統一する必要はない。要するに、分光透過率が連続的に変化する領域が存在すればよく、方向性は関係ない。
また、各フィルタ２６ａ、２６ｂ、２６ｃは上記構成に限定されず、各々異なる波長域を少なくとも一部に有していればよい。

各透過帯域は一例であり、これらの値に限定される趣旨ではない。
このようにフィルタを分割することで、１画素に対応する波長幅を狭くすることができる。
すなわち、波長的な分解能が高い分光反射率測定が可能となる。
また、分割して配置することにより、細長いフィルタに比べ、狭い絞り径内で分光透過率の連続性を確保することができる。

図１１に第３の実施形態を示す。
本実施形態では、絞りの形状を矩形としている。
絞りの形状を矩形にすることでマクロピクセルの形状も矩形となり、円形のときと比べて利用できる画素が増える。

すなわち、図４におけるマクロピクセル間の黒い部分（画像形成に寄与しない部分）を少なくすることができる。
その結果、マクロピクセルの上端や下端の画素に対する波長のS/N比を向上させることができ、分光反射率の測定精度を向上させることができる。

図１２に第４の実施形態を示す。
本実施形態におけるフィルタ２６は、同心円状に連続的に分光透過率が変化するフィルタである。
このようにすることで、一般的な円形絞りの場合でも、各波長のS/Nを高くすることができ、分光反射率の測定精度を向上させることができる。

上記フィルタ２６において、紫外領域あるいは赤外領域にも連続的な分光透過率をもつ構成としてもよい。
このようにすれば、不可視領域の分光反射率測定ができ、人間の眼で見たときは違いがわからない物体でも成分や素材の差を検出することが可能となる。

１ 物体
３ レンズアレイ
６ センサとしてのモノクロセンサ
１２ 撮像装置
１４ 分光画像生成手段としてのFPGA
２４ 光学系としてのメインレンズ
２６ フィルタ
３２ 透明基板
３４ 薄膜

特開２００１−９９７１０号公報 ＵＳ ７，４３３，０４２ Ｂ１

Claims (10)

1. 光学系と、
   前記光学系により集光された光情報を電子情報に変換するセンサと、を備え、
   物体からの分光情報を取得する撮像装置において、
   前記光学系の絞り付近には、複数の分光特性を有するフィルタが配置され、
   前記光学系と、前記センサとの間には、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、
   前記フィルタは、空間的に連続的に分光透過率が変化するフィルタであることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記フィルタは、複数に分割して配置されていることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記フィルタは、各々異なる波長域を少なくとも一部に有する複数のフィルタからなることを特徴とする撮像装置。
4. 請求項１〜３のいずれか１つに記載の撮像装置において、
   前記光学系の絞りの形状が、矩形であることを特徴とする撮像装置。
5. 請求項１〜４のいずれか１つに記載の撮像装置において、
   前記フィルタは、その形状の中心から同心円状に連続的に分光透過率が変化することを特徴とする撮像装置。
6. 請求項１〜５のいずれか１つに記載の撮像装置において、
   前記フィルタは、紫外域あるいは赤外域においても連続的に分光透過率が変化するフィルタであることを特徴とする撮像装置。
7. 請求項１〜６のいずれか１つに記載の撮像装置において、
   前記フィルタは、透明基板に薄膜を厚みがくさび状に変化するように蒸着されて形成され、厚みの変化が分光透過率の変化に対応していることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記薄膜の材質は、五酸化ニオブであることを特徴とする撮像装置。
9. 請求項７又は８に記載の撮像装置において、
   前記薄膜の短波長側の材質は、五酸化タンタルであることを特徴とする撮像装置。
10. 物体からの分光情報を取得し、取得された分光情報に基づいて複数種類の分光画像を生成する撮像装置と、
    生成された分光画像から画素毎の分光反射率を算出してスペクトルを推定するスペクトル推定部と、
    を有する撮像システムにおいて、
    前記撮像装置が、請求項１〜９のいずれか１つに記載のものであることを特徴とする撮像システム。

Images