JP2011232606A

JP2011232606A - 光学素子及び撮像装置

Info

Publication number: JP2011232606A
Application number: JP2010103566A
Authority: JP
Inventors: Isao Shimoyama; 下山　　勲; Kiyoshi Matsumoto; 松本　　潔; 智之 ▲高▼畑; Tomoyuki Takahata; Eiji Iwase; 英治岩瀬; Tetsuro Suga; 哲朗菅
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2011-11-17
Anticipated expiration: 2030-04-28
Also published as: JP5445963B2

Abstract

【課題】複数種類の画像において被写体の対応位置を容易に認識し得る光学素子及び撮像装置を提供できるようにすることを目的とする。
【解決手段】外郭15内に中心部Oを中心に当該中心部Oを含んだ内側領域ER１に可視光・近赤外光透過レンズ12を設け、中心部Oを中心にして内側領域ER1を囲むように形成された外側領域ER2に遠赤外光透過レンズ13を設けることで、可視光・近赤外光透過レンズ12の光軸と、遠赤外光透過レンズ13の光軸とを一致させることができるので、これら可視光・近赤外光透過レンズ12と遠赤外光透過レンズ13を透過した可視光Laと遠赤外光Lbから被写体画像の対応位置が一致した色画像及び温度画像を生成でき、各色画像及び温度画像において被写体の対応位置を容易に認識し得る。
【選択図】図２

Description

本発明は、光学素子及び撮像装置に関する。

従来、人・物や風景等の被写体の色が付されたカラー画像（以下、色画像と呼ぶ）を取得するカメラ（以下、色画像カメラと呼ぶ）や、遠赤外光を受光して被写体の温度の分布を示した画像（以下、温度画像と呼ぶ）を取得するサーモグラフィ（以下、温度画像カメラと呼ぶ）、光源から照射され被写体で反射した近赤外光の飛行時間を計測することにより被写体までの距離を測定する、ＴＯＦ（タイムオブフライト）原理を利用して被写体までの距離を濃淡で表示した画像（以下、距離画像と呼ぶ）を取得するカメラ（以下、距離画像カメラと呼ぶ）を用いて、これら色画像、温度画像及び距離画像を基に１つの被写体の状態を判定することが考えられている（例えば、特許文献１参照）。

この場合、これら色画像、温度画像及び距離画像は同じ被写体を撮像していることから、被写体のどの部分がどのような状態になっているかを瞬時に判断し易いように、これら色画像中の被写体と、温度画像中の被写体と、距離画像中の被写体とが同じような状態で表示されていることが望ましい。そこで、図２３（Ａ）に示すように、色画像カメラ201、距離画像カメラ202及び温度画像カメラ203を備えた撮像システム200では、色画像カメラ201、距離画像カメラ202及び温度画像カメラ203によって被写体SBが同じ角度から撮像されるように、これら色画像カメラ201、距離画像カメラ202及び温度画像カメラ203を一列に併置させることが考えられる。

特開２００９−１００２５６号公報

しかしながら、かかる構成でなる撮像システム200では、色画像カメラ201、距離画像カメラ202及び温度画像カメラ203毎にそれぞれ個別の光軸で被写体SBを撮像していることから、図２３（Ｂ）に示すように、これら色画像205a、距離画像205b及び温度画像205cにおいて互いに被写体画像206a,206b,206cの対応位置207がずれてしまい、各色画像205a、距離画像205b及び温度画像205cにおいて被写体SBを認識し難いという問題があった。

そこで、本発明は以上の点を考慮してなされたもので、複数種類の画像において被写体の対応位置を容易に認識し得る光学素子及び撮像装置を提供できるようにすることを目的とする。

かかる課題を解決するため本発明の請求項１は、所定形状の外郭を有する光学素子において、前記外郭内は２つの領域に分けられており、遠赤外光が非透過で可視光が透過する可視光透過レンズが一方の領域に設けられ、前記一方の領域に隣接した他方の領域に、前記可視光が非透過で前記遠赤外光が透過する遠赤外光透過レンズが設けられていることを特徴とするものである。

また、本発明の請求項２は、前記２つの領域は、中心部を中心に前記中心部を含んだ内側領域と、前記中心部を中心に前記内側領域を囲むように形成された外側領域とであり、前記内側領域又は前記外側領域のいずれか一方に、前記可視光透過レンズが設けられ、前記可視光透過レンズが設けられていない他方の前記外側領域又は前記内側領域に、前記遠赤外光透過レンズが設けられていることを特徴とするものである。

また、本発明の請求項３は、前記可視光透過レンズが前記内側領域に設けられ、前記遠赤外光透過レンズが前記外側領域に設けられていることを特徴とするものである。

また、本発明の請求項４は、前記遠赤外光透過レンズが、フレネルレンズでなることを特徴とするものである。

また、本発明の請求項５は、前記可視光レンズは、近赤外光も透過することを特徴とするものである。

また、本発明の請求項６は、請求項１〜５のうちいずれか１項記載の光学素子と、前記光学素子を透過した光を受光する撮像素子とを備え、前記撮像素子は、前記可視光透過レンズを透過した前記可視光を受光して光電変換する可視光受光部と、前記遠赤外光透過レンズを透過した前記遠赤外光を受光して光電変換する遠赤外光受光部とを有することを特徴とするものである。

また、本発明の請求項７は、前記撮像素子には貫通孔が穿設されており、光源から発した近赤外光が前記貫通孔を通過して被写体に照射され、前記被写体で反射して前記貫通孔を通過し戻ってきた反射光を受光する近赤外光受光部を備えることを特徴とするものである。

また、本発明の請求項８は、前記可視光受光部と前記遠赤外光受光部とが同一平面上に配置されているものである。

本発明の請求項１及び請求項６によれば、可視光透過レンズの光軸と、遠赤外光透過レンズの光軸とを一致させることができるので、これら可視光透過レンズと遠赤外光透過レンズを透過した可視光と遠赤外光から被写体画像の対応位置が一致した色画像及び温度画像を生成でき、各色画像及び温度画像において被写体の対応位置を容易に認識し得る。

本発明の撮像システムを示す概略図である。撮像装置の構成を示す概略図と、距離情報取得手段の説明に供する概略図である。光学素子の正面構成を示す概略図と、遠赤外光透過レンズの表面の写真である。フレネルレンズ構造における深さと外郭からの距離との関係を示すグラフである。光学素子の製造方法の説明に供する概略図である。フレネルレンズ構造の形成方法の説明に供する概略図である。シリコン基板上に形成されるフォトレジストのパターン（１）を示す概略図である。開口の面積とエッチングにより形成した溝の深さとの関係を示すグラフである。シリコン基板上に形成されるフォトレジストのパターン（２）を示す概略図である。開口のアスペクト比と溝の深さとの関係を示すグラフである。受光素子の構成を示す概略図である。温度計測部の構成を示す概略図である。集光基板上に形成された複数の温度計測部の構成を示す概略図である。他の実施の形態による光学素子の構成を示す概略図である。他の実施の形態による撮像装置の構成（１）を示す概略図である。他の実施の形態による撮像装置の構成（２）を示す概略図である。他の実施の形態による撮像素子の構成（１）を示す概略図である。他の実施の形態による撮像素子の構成（２）を示す概略図である。他の実施の形態による受光部の構成を示す概略図である。被写体の表面が粗い場合のときに検出される可視光の説明に供する概略図、グラフ及び写真である。被写体の表面が滑らかな場合のときに検出される可視光の説明に供する概略図、グラフ及び写真である。他の実施の形態による撮像装置の構成（３）を示す概略図である。従来の撮像システムの構成と、それにより得られる色画像、距離画像及び温度画像の様子とを示す概略図である。

以下図面に基づいて本発明の実施形態の一例を詳述する。

（１）本発明の概略
図１において、１は本発明の撮像装置が内蔵された撮像システムを示し、この撮像システム１は、被写体SBをそのまま表示したカラー画像（色画像）10aと、ＴＯＦ原理を利用して撮像システム１から被写体SBまでの距離に応じて被写体SBを濃淡変化で表示した画像（距離画像）10bと、温度変化に応じて被写体SBを濃淡変化で表示した画像（温度画像）10cとを同時に取得し得るように構成されている。

撮像システム１は、これら色画像10a、距離画像10b及び温度画像10cを取得する際、内部の撮像装置２により同じ光軸で被写体SBを撮像し得るように構成されており、色画像10a、距離画像10b及び温度画像10cに表示されている各被写体画像11a,11b,11cの対応位置112a,112b,112cが、色画像10a、距離画像10b及び温度画像10c同士でほぼ一致して表示し得るようになされている。

実際上、撮像システム１に内蔵されている撮像装置２は、図２（Ａ）及び（Ｂ）に示すように、被写体SBからの可視光La及び遠赤外光Lbが入射される光学素子３と、当該光学素子３を通過した可視光La及び遠赤外光Lbが導光される撮像素子４と、光源５から発するパルス状の近赤外光Lcを近赤外光二軸スキャナ６、撮像素子４及び光学素子３を順次通過させて被写体SBに照射し、当該被写体SBから反射して戻ってきた近赤外光Lcを光学素子３、撮像素子４及び近赤外光二軸スキャナ６を順次通過させて近赤外光受光部７で受光する距離情報取得手段８とを有する。

そして、撮像素子４は、光学素子３で分光された可視光La及び遠赤外光Lbが入射されると、これら可視光La及び遠赤外光Lbをそれぞれ各画像毎に光電変換し、その結果得られる各信号電荷をそれぞれ読み出すことにより、可視光画像信号と遠赤外光画像信号とを生成し、これらを図示しない画像処理装置へ供給する。画像処理装置は、可視光画像信号及び遠赤外光画像信号を撮像素子４から受け取ると、これら可視光画像信号及び遠赤外光画像信号に対しそれぞれ補正等の所定の画像処理を施し、色画像10a及び温度画像10cを生成し得るようになされている。

また、この画像処理装置は、後述する距離情報取得手段８から距離画像信号を受け取ると、この距離画像信号を基に距離画像10bを生成し得るようになされている。因みに、可視光La、遠赤外光Lb及び近赤外光Lcは、これら一般的な波長が適用され、例えばその一例として、波長が約380nm〜800nmで人が色として感じる範囲を可視光Laとし、波長が約800nm〜2500nmの範囲を近赤外光Lcとし、波長が約8000nm〜10000nmの範囲を遠赤外光Lbとしている。

（２）光学素子について
（２−１）光学素子の構成
図２（Ａ）及び（Ｂ）に示したように、光学素子３は、中心部を含んで中心部周辺に形成される内側領域ER1に可視光・近赤外光透過レンズ12が設けられているとともに、内側領域ER1を囲むようにして当該内側領域ER1に隣接して形成された外側領域ER2に遠赤外光透過レンズ13が設けられた構成を有する。ここで、可視光・近赤外光透過レンズ12は、例えばガラスやプラスチック等からなり、可視光La及び近赤外光Lcを透過し得る一方で、遠赤外光Lbを吸収することにより、可視光La及び近赤外光Lcのみを透過させて撮像素子４に導光し得るようになされている。これに対して、遠赤外光透過レンズ13は、例えばシリコンやゲルマニウム等からなり、遠赤外光Lbを透過し得る一方で、可視光Laを反射させることにより、遠赤外光Lbのみを透過させて撮像素子４に導光し得るようになされている。

実際上、この実施の形態の場合、図３に示すように、光学素子３は、例えば外郭15が円形状に形成されており、直径約25mm、厚さが約1mmに選定されている。なお、この実施の形態の場合、光学素子３の外郭15の一例として円形状とした場合について述べたが、本発明はこれに限らず、光学素子３の外郭を四辺状等この他種々の形状としてもよい。

ここで、本発明の光学素子３の外郭15内は、中心部Oを中心にして当該中心部Oを含んで円形状に形成された内側領域ER1と、中心部Oを中心にして内側領域ER1を囲むようにして形成された円環状の外側領域ER2との分割されており、この内側領域ER1に可視光・近赤外光透過レンズ12が配置されているとともに、外側領域ER2に遠赤外光透過レンズ13が配置されている。

図２（Ａ）及び（Ｂ）に示したように、可視光・近赤外光透過レンズ12は、被写体SB側に配置される一方のレンズ面12aが湾曲状に膨出した形状を有するとともに、当該一方のレンズ面12aと対向した他方のレンズ面12bがほぼ平坦状に形成されており、一方のレンズ面12aから入射した可視光La及び近赤外光Lcを撮像素子４に結像させ得るようになされている。

また、遠赤外光透過レンズ13は、被写体SB側に配置される一方のレンズ面13aに、外郭15側をなだらかな傾斜面16aとした断面鋸歯状でなる凸部16が所定間隔で形成されたフレネルレンズ構造を有する。実際上、この遠赤外光透過レンズ13は、図３に示すように、一方のレンズ面13aに中心部Oを中心に凸部16が輪帯状のパターンに形成されている。なお、遠赤外光透過レンズ13には、後述する「（２−３）遠赤外光透過レンズのフレネルレンズ構造の形成方法」に記載した形成方法により、図４に示すような、凸部16のピッチが250μm、最大の段差が25μmと極めて微細な凸部16が形成されている。

（２−２）光学素子の製造方法
因みに、このような構造を有した光学素子３は以下のようにして製造することができる。先ず初めに、図５（Ａ）に示すように、所定の厚みを有した円盤状のシリコン基板20を用意する。次いで、図５（Ｂ）に示すように、シリコン基板20の一方のレンズ面13aに、中心部を中心として円形状で底部に貫通孔がある凹部20aを形成するとともに、その凹部20a周辺に外郭15側になだらかな傾斜面16aを有した断面鋸歯状の凸部16を輪帯状のパターンで形成する。

次いで、図５（Ｃ）に示すように、凹部20aと外郭形状が同一で、かつ凹部20aの外郭よりも僅かに小さい外郭を有した可視光・近赤外光透過レンズ12を用意し、当該可視光・近赤外光透過レンズ12を凹部20aに嵌合させることにより固定する。次いで、シリコン基板20の他方のレンズ面13bを削ってゆき、図５（Ｄ）に示すように、可視光・近赤外光透過レンズ12の他方のレンズ面12bと同一平面上に形成することにより遠赤外光透過レンズ13を形成し、可視光・近赤外光透過レンズ12と遠赤外光透過レンズ13とからなる光学素子３を製造することができる。

（２−３）遠赤外光透過レンズのフレネルレンズ構造の形成方法
因みに、遠赤外光透過レンズ13に形成されるフレネルレンズ構造の形成方法としては、本願発明者による特願２００９−０１０８８２号に開示されている手法を用いることができる。すなわち、被エッチングパターンの粗密によりエッチング速度が異なる現象（マイクロローディング効果）を用いて、遠赤外光透過レンズ13にフレネルレンズ構造を形成できる。この場合、シリコン基板上にフォトレジストを均一に塗布した後、電子ビーム（Electron Beam）により、フォトレジストの所定領域を矩形状に除去して複数の開口を所定間隔で形成する。

次いで、フォトレジストによるパターンが形成されたシリコン基板に対しエッチングを行う。なお、この場合のエッチングは異方性エッチングが好ましく、例えば、誘導結合型反応性イオンエッチング(ICP-RIE :Inductive Coupled Plasma-Reactive Ion Etching)により行うことができる。これにより、図６（Ａ）に示すように、フォトレジスト21の各開口23から露出していたシリコン基板20の表面には、深さ方向にエッチングされた溝25が形成されるとともに、溝25と溝25との間には、柱部24が形成される。このとき、溝25は、各開口23の面積に応じて、深さが異なり、面積が大きい開口23の溝25aでは、面積が小さい開口23の溝25bに比べて深く形成される。

次いで、フォトレジスト21を除去した後、柱部24をエッチングにより除去することにより、図６（Ｂ）に示すように、外郭15側に向けてなだらかに傾斜する傾斜面16aを有した凸部16が形成され得る。なお、この場合のエッチングは、等方性エッチングが好ましく、例えば、SF₆（六フッ化硫黄）を用いたエッチングにより、溝25と溝25との間に形成された柱部24を除去し得る。すなわち、このシリコン基板20では、中心部O側の開口23の表面積を、外郭側の開口23の表面積に比べて小さくなるように形成しておくことで、エッチングにより外郭15側になだらかな傾斜面16aを有した凸部16を形成し得る（図５（Ｂ））。

因みに、ここで開口23の面積と、エッチングにより形成した溝25の深さとの関係について説明する。ここでは、図７に示すように、一辺の長さａである正方形の開口23からなるパターン22のフォトレジスト21を用いてシリコン基板20に対し、異方性エッチングを行った。なお、この開口23は、隣り合う開口23と間隔ｗ（2μm）をあけて縦横に配列させている。各開口23の面積と、溝25の深さとの関係は、図８から明らかなように、開口23の面積が大きくなれば、エッチングにより形成される溝25も深くなることが確認できてきる。

また、開口23のアスペクト比と溝25の深さとの関係について説明する。ここでは、図９に示すように、各辺の長さをａ，ｂとする矩形の開口23からなるパターン22のフォトレジスト21を形成したシリコン基板20を用意した。なお、この開口23は、隣り合う開口23とｗ（2μm）の間隔をあけて縦横に配列させている。アスペクト比（ａ／ｂ）毎に面積の異なる複数の開口（3.16μm², 5.62μm², 10.0μm², 17.8μm², 31.6μm², 56.2μm², 100μm², 178μm²,316μm²）を形成し、エッチングを行った。図１０は、横軸にアスペクト比（b/a）、縦軸にアスペクト比を１とした場合の溝25の深さに対する比を示す。図１０から明らかなように、開口23は、面積及びアスペクト比を種々選択することにより、エッチング深さの異なる溝25を選択的に形成できることが確認できた。すなわち、アスペクト比を適宜調整することで、所望の形状を有した凸部16を形成させることができる。

（３）距離情報取得手段について
次に、距離情報取得手段８による距離画像信号の生成について以下説明する。図２（Ｂ）に示すように、距離情報取得手段８は、パルス状の近赤外光Lcを照射する光源５と、光源５から照射された近赤外光Lcを撮像素子４側へ反射させるとともに、当該撮像素子４からの反射光を近赤外光受光部７側に反射させる近赤外光二軸スキャナ６と、当該近赤外光二軸スキャナ６からの反射光を受光する近赤外光受光部７とから構成されている。

ここで、光源５から発する近赤外光Lcは、近赤外光二軸スキャナ６が傾くことにより、撮像素子４上を上下左右に走査するように反射され得る。ここで、撮像素子４は、距離画像10bの各画素に対応する箇所にピンホール36,40（後述する）がそれぞれ形成された受光素子31と、この受光素子31の裏面に設けられた屈折レンズ32とから構成されている。光源５から発した近赤外光Lcは、近赤外光二軸スキャナ６で反射して屈折レンズ32へ照射され、当該屈折レンズ32により適切な角度に屈折し、受光素子31のピンホール36,40を通過して可視光・近赤外光透過レンズ12により被写体SBに焦点を結ぶ。

これにより被写体SBの表面で散乱された近赤外光Lcは、反射光として可視光・近赤外光透過レンズ12により受光素子31のピンホール36,40に結像され、屈折レンズ32により近赤外光二軸スキャナ６側へ屈折されて、近赤外光二軸スキャナ６で反射し近赤外光受光部７へ照射される。このように撮像素子４では、近赤外光Lcを受光素子31のピンホール36,40を通過させることで、可視光Laと同じ光軸を持たせることができるとともに、可視光・近赤外光透過レンズ12から特定の被写体SBに対し近赤外光Lcを確実に照射させることができる。

近赤外光受光部７は、光源５から発した近赤外光Lcが被写体SBで反射されて戻ってくるまでの飛行時間を、近赤外光受光部７の受光面の各画素毎に検出しており、これら各画素毎の飛行時間を距離画像信号として画像処理装置（図示せず）へ送出する。これにより画像処理装置は、距離画像信号に基づいて各画素毎の飛行時間を濃淡で表した距離画像10b（図１）を生成し得るようになされている。

なお、上述した実施の形態においては、光源５から発した近赤外光Lcが被写体SBで反射して戻ってきた反射光を、近赤外光受光部７で受光するまでの飛行時間を検出する、パルスＴＯＦ法を適用した場合について述べたが、本発明はこれに限らず、強度変調をかけた近赤外光Lcを光源５から発し、被写体SBで反射されて戻ってきた反射光の位相差を検出する、位相ＴＯＦ法を適用してもよい。因みに、この実施の形態の場合、パルスＴＯＦ法を適用していることから、数ｍ〜100ｍ程度の長距離を計測可能であり、また強い光を発することができることから屋外でも使用可能である。

（４）受光素子について
次に撮像素子４のうち受光素子31について以下説明する。この実施の形態の場合、受光素子31は、図１１に示すように、可視光Laを検出する板状の可視光受光部33と、遠赤外光Lbを検出する板状の遠赤外光受光部34とから構成されており、可視光受光部33の裏面33bに遠赤外光受光部34の表面34aが、同心状に重ね合わされた二重構造を有する。また、この受光素子31は、光学素子３側に可視光受光部33の表面33aが対向するように配置され、光学素子３と遠赤外光受光部34との間に可視光受光部33が介在されるように配置される。

実際上、この可視光受光部33には、表面33aに複数のフォトセンサ35がマトリックス状に配列されており、各フォトセンサ35に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタR,G,Bが所定の配列構造で配置されている。因みに、このフォトセンサ35には、ＲＧＢのカラーフィルタR,G.Bに替えて、ＣＭＹ等その他種々のカラーフィルタを用いることもできる。ここで、この可視光受光部33は、例えば遠赤外光Lbを透過可能なシリコンからなり、所定領域に厚みを貫通したピンホール36を有し、これらフォトセンサ35間にシリコンからなる格子状領域37が形成されている。

可視光受光部33は、カラーフィルタR,G,Bの色に応じた所定の可視光Laのみを各フォトセンサ35が検出してこれを光電変換し、その結果得られた各信号電荷をそれぞれ可視光画像信号として、図示しない画像処理装置へ送出し得るようになされている。ここで、フォトセンサ35間やピンホール36を区分けする格子状領域37は、シリコンにより形成されていることから、遠赤外光Lbを透過し得るように構成されている。これにより可視光受光部33は、各フォトセンサ35間の格子状領域37で遠赤外光Lbが透過し、可視光受光部33の裏面33bに配置された遠赤外光受光部34まで遠赤外光Lbが到達し得るようになされている。

遠赤外光受光部34は、例えばシリコンからなり、表面34aに温度計測部39と、ピンホール40とを有する。ピンホール40は、可視光受光部33のピンホール36と同一形状及び同一の大きさからなり、遠赤外光受光部34が可視光受光部33に重ね合わされた際に、可視光受光部33のピンホール36と外郭を一致させるように重ね合わせられ得る。

温度計測部39は、遠赤外光受光部34の表面34aに所定間隔を空けて複数設けられており、遠赤外光受光部34が可視光受光部33に重ね合わされた際に、可視光受光部33における複数のフォトセンサ35と格子状領域37とに対向するように配置され得る。そして、各温度計測部39は、可視光受光部33を透過した遠赤外光Lbを受光すると、それぞれ検出した遠赤外光を光電変換し、その結果得られる各信号電荷を画像処理装置へ送出するようになされている。

ここで、遠赤外光受光部34は、図１２に示すように、集光基板41とセンサ基板42とから構成されており、集光基板41の表面に形成された集光部43と、センサ基板42に形成されたセンサ部44とにより温度計測部39が形成されている。

集光部43は、例えばシリコンからなり、すり鉢状に凹んだ放物面43aを有し、この放物面43aの表面に例えばアルミニウムや金でなる反射膜45が形成された構成を有する。集光部43に対応させて設けられたセンサ部44には中空部44aが形成されており、この中空部44a及び集光部43間に例えば熱電対やサーミスタ等でなる感熱素子46が設けられている。

ここで、温度計測部39は、放物面43aの反射膜45により遠赤外光Lbが反射され集光される箇所を温接点46aとし、集光部43周辺の集光基板41表面を冷接点として、これら温接点46a及び冷接点間に生じる温度差を感熱素子46により電位差として検出し得る。温度計測部39は、この温接点46a及び冷接点間の温度差に対応した電位差を増幅回路で増幅させて、これを画像処理装置へ送出するようになされている。

ここで、温度計測部39は、集光部43内に入射され反射膜45で反射された遠赤外光Lbが、集光部43上部に配置した感熱素子46の温接点46aに集光し得るように、放物面43aの傾斜角度や、感熱素子46の検出位置が選定されている。なお、集光部43の形成方法としては、本願発明者による特願２００９−０１０８８２号に開示されている手法を用いることができる。

図１３に示すように、各集光部43では、入射される遠赤外光Lbの光軸a1,a2,a3の傾きがそれぞれ異なることから、遠赤外光Lbがそれぞれの温接点46aに集光し得るように、集光基板41での形成位置に応じて、放物面43aの傾斜角度や、温接点46aの位置が選定されている。このようにして、遠赤外光受光部34では、温度画像の各画素に対応した温度計測部39毎に温度を検出しており、その結果を信号電荷としてそれぞれ読み出して遠赤外光画像信号として図示しない画像処理装置へ送出し得るようになされている。そして、画像処理装置では、遠赤外光画像信号を基に被写体画像11bの温度差を濃淡で表した温度画像10c（図１）を生成することができる。

（５）動作及び効果
以上の構成において、光学素子３では、外郭15内の中心部Oを中心とし当該中心部Oを含んだ内側領域ER1に可視光・近赤外光透過レンズ12を設け、中心部Oを中心とし内側領域ER1を囲むようにして形成された外側領域ER2に遠赤外光透過レンズ13を設けるようにした。これにより、この光学素子３では、可視光・近赤外光透過レンズ12の光軸と、遠赤外光透過レンズ13の光軸とを一致させることができ、かくして可視光La及び遠赤外光Lbを同じ光軸で撮像素子４へ結像させることができる。

これに加えて、光学素子３は、可視光・近赤外光透過レンズ12において可視光Laが透過し、かつ遠赤外光Lbが吸収されるとともに、遠赤外光透過レンズ13において遠赤外光Lbが透過し、かつ可視光Laが反射されることから、可視光Laと遠赤外光Lbとが混合することを防止できる。

また、撮像装置２では、遠赤外光Lbを透過し、かつ可視光Laを光電変換する可視光受光部33と、遠赤外光Lbを光電変換する遠赤外光受光部34と同心状に重ねて積層させるようにしたことにより、光学素子３により同じ光軸で得られた可視光Laと遠赤外光Lbを、それぞれ可視光受光部33及び遠赤外光受光部34に同じ光軸で結像させることができる。

これにより撮像装置２では、同じ光軸で得られた可視光Laと遠赤外光Lbから、それぞれ色画像10a及び温度画像10cを生成できることから、被写体画像11a,11cの対応位置112a,112cが一致した色画像10a及び温度画像10cを生成でき、各色画像10a及び温度画像10cにおいて被写体SBの対応位置を容易に認識し得る。

さらに、この撮像装置２では、撮像素子４に距離画像10bの画素と対応させて複数のピンホール36,40が形成されており、光源５から発した近赤外光Lcが近赤外光二軸スキャナ６によってこの撮像素子４上を走査する。これにより、撮像装置２では、光源５から発した近赤外光Lcが各ピンホール36,40を通過し、可視光・近赤外光透過レンズ12を透過して被写体SBに照射される。また、撮像装置２では、被写体SBで近赤外光Lcが反射して戻ってきた反射光を、可視光・近赤外光透過レンズ12を透過させてピンホール36,40から近赤外光二軸スキャナ６に到達させ、当該近赤外光二軸スキャナ６を介して近赤外光受光部７で受光する。

このように、撮像装置２では、近赤外光Lcについても可視光・近赤外光透過レンズ12を通過することにより、近赤外光Lcの光軸も、可視光La及び遠赤外光Lbの光軸と一致させることができ、かくして可視光La、遠赤外光Lb及び近赤外光Lcを１つの光学素子３によってそれぞれ同じ光軸で撮像素子４へ結像させることができる。

これにより撮像装置２では、同じ光軸で得られた可視光Laと遠赤外光Lbと近赤外光Lcから、それぞれ色画像10aと温度画像10cと距離画像10bを生成できることから、被写体画像11a,11c,11bの対応位置112a,112c,112bが相互に一致した色画像10a、温度画像10c及び距離画像10bを生成でき、各色画像10a、温度画像10c及び距離画像10bにおいて被写体SBの対応位置を容易に認識し得る。

また、撮像装置２では、受光素子31に近赤外光Lcが通過可能なピンホール36,40を設け、受光素子31の裏面側から近赤外光Lcを照射してピンホール36,40を通過させるようにしたことにより、当該受光素子31の裏面側に近赤外光二軸スキャナ６や光源を５、近赤外光受光部７を設けることができる。

これにより、撮像装置２では、光学素子３と受光素子31との間に近赤外光二軸スキャナ６や光源５等を設ける必要がなくなり、光学素子３からの可視光Laや遠赤外光Lb、近赤外光Lcが撮像素子４に導光される途中で妨げられずに、撮像素子４へ直接導光させることができ、可視光Laや遠赤外光Lb、近赤外光Lcから画素の欠けがない色画像10aと温度画像10cと距離画像10bを生成できる。

（６）他の実施の形態
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施の形態においては、外郭15内で中心部Oを含んだ内側領域ER1に可視光・近赤外光透過レンズ12を設け、当該内側領域ER1を囲むように形成された外側領域ER2に遠赤外光透過レンズ13を設けるようにした場合について述べたが、本発明はこれに限らず、可視光・近赤外光透過レンズと遠赤外光透過レンズの配置を逆にして、例えば、外郭15内で中心部Oを含んだ内側領域ER1に遠赤外光透過レンズを設け、当該内側領域ER1を囲むようにして形成された外側領域ER2に可視光・近赤外光透過レンズを設けるようにしてもよい。

また、上述した実施の形態においては、外郭内の２つの領域として、中心部Oを中心に中心部Oを含んだ円形状の内側領域ER1と、中心部Oを中心に内側領域ER1を囲むように形成された円環状の外側領域ER2とに分け、内側領域ER1に可視光・近赤外光透過レンズ12を設け、外側領域ER2に遠赤外光透過レンズ13を設けるようにした場合について述べたが、本発明はこれに限らず、円形状、四辺状又は三角状等の各種外郭形状を有する光学素子を、中心部Oを通る中央線や対角線、中心部Oを避けた直線等を境にして、２つの半円状、長方形状又は三角形状等の各種形状でなる２つの領域に分け、一方の領域に可視光・近赤外光透過レンズ12を設け、当該一方の領域に隣接した他方の領域に遠赤外光透過レンズ13を設けるようにしてよく、光学素子の２つの領域としてその他種々の形状からなる領域に分けるようにしてもよい。

さらに、上述した実施の形態においては、光学素子３に対して、可視光Laと遠赤外光Lbと近赤外光Lcとを透過させ、色画像10a、温度画像10c、距離画像10bを生成するようにした場合について述べたが、本発明はこれに限らず、距離情報取得手段８を設けずに、光学素子３に対して、可視光La及び遠赤外光Lbだけを透過させ、色画像10a、温度画像10cだけを生成するようにしてもよい。

さらに、他の実施の形態として、図１４（Ａ）に示す光学素子50のように、可視光・近赤外光透過レンズ12を囲むように配置される外側領域ER2に、可視光・近赤外光透過レンズ12のレンズ面12aの曲面に合わせてレンズ面51aが滑らかな湾曲状に形成された、フレネルレンズ構造を有しない遠赤外光透過レンズ51を設けるようにしてもよい。なお、図１４（Ａ）中、51bは遠赤外光透過レンズ51の他方のレンズ面を示し、可視光・近赤外光透過レンズ12の他方のレンズ面12bに表面を合わせてほぼ平坦に形成されている。

また、図１４（Ｂ）において、54は他の実施の形態による光学素子群を示す。この光学素子群54は、光学素子３と、可視光・近赤外光透過レンズ55と、可視光・近赤外光透過レンズ57及び遠赤外光透過レンズ58からなる光学素子56とが対向するように配置された構成を有する。実際上、この光学素子群54は、光学素子３の可視光・近赤外光透過レンズ12と、可視光・近赤外光透過レンズ55と、光学素子56の可視光・近赤外光透過レンズ57とが対向するように配置されているとともに、光学素子３の遠赤外光透過レンズ13と、光学素子56の遠赤外光透過レンズ58とが対向するように配置されている。

これにより、可視光・近赤外光透過レンズ12,55,57では、可視光La及び近赤外光Lcだけが透過し、遠赤外光Lbが吸収されることから、可視光La及び近赤外光Lcだけを撮像素子４に結像させることができる。また、遠赤外光透過レンズ13,58では、遠赤外光Lbだけが透過し、可視光Laが反射されることから、遠赤外光Lbだけを撮像素子４に結像させることができる。

因みに、可視光・近赤外光透過レンズ55は、一方のレンズ面55aがほぼ平坦に形成され、他方のレンズ面55bが凹んだ湾曲状に形成されており、レンズ面55aから入射された可視光La及び近赤外光Lcを光学素子56の可視光・近赤外光透過レンズ57に導光させ得るようになされている。

また、光学素子56において、可視光・近赤外光透過レンズ57の外周に配置された遠赤外光透過レンズ58は、撮像素子４と対向する側のレンズ面58bがフレネルレンズ構造を有し、レンズ面58aが平坦に形成されている。これにより光学素子56は、レンズ面58aから入射された遠赤外光Lbを、フレネルレンズ構造により撮像素子４へ導光させ得るようになされている。

次に、図１５において、60は他の実施の形態による撮像装置を示し、上述した実施の形態とは距離情報取得手段61の近赤外光スキャナ62が、光学素子63の可視光透過レンズ64内に設けられている点で相違している。可視光透過レンズ64は、例えばガラスやプラスチック等からなり、可視光Laを透過し得る一方で、遠赤外光Lbを吸収することにより、可視光Laを透過して撮像素子４に導光し得るようになされている。かかる構成に加えて、可視光透過レンズ64には、中心部に液体が封入された中空部65a,65bが形成されており、この中空部65a,65bに近赤外光スキャナ62が配置されている。

近赤外光スキャナ62は、中空部65aに設けられた第１スキャナ部62aと、中空部65bに設けられた第２スキャナ部62bとが対向するように配置された構成を有しており、光源５から照射されたパルス状の近赤外光Lcを、第１スキャナ部62aで反射させて第２スキャナ部62bへ照射し、当該第２スキャナ部62bで近赤外光Lcを屈折させて被写体SBに照射し得る。

その後、被写体SBで反射され戻ってきた近赤外光Lcは、第２スキャナ部62bで屈折されて第１スキャナ部62aへ照射され、当該第１スキャナ部62aにより近赤外光受光部７へ反射されて近赤外光受光部７で受光され得る。近赤外光スキャナ62は、第１スキャナ部62aと第２スキャナ部62bとの角度を調整することにより近赤外光Lcを走査させ、近赤外光受光部７において距離画像10bの各画素毎に飛行時間を検出し得るようになされている。そして、このような構成を有する撮像装置60でも、上述した実施の形態と同様の効果を得ることができる。

また、図１６において、70は他の実施の形態による撮像装置を示し、上述した実施の形態とは距離情報取得手段71の構成が相違している。この場合、距離情報取得手段71は、光学素子72の中心軸上に光源73が配置されているとともに、光学素子72の可視光・近赤外光透過レンズ76内に近赤外光スキャナ74が設けられている。実際上、可視光・近赤外光透過レンズ76には、中心部に液体が封入された中空部77a,77bが形成されており、この中空部77a,77bに近赤外光スキャナ74が設けられている。

近赤外光スキャナ74は、中空部77aに設けられた第１スキャナ部74aと、中空部77bに設けられた第２スキャナ部74bとからなり、これら第１スキャナ部74a及び第２スキャナ部74bとが光源73とほぼ一直線上に並ぶように配置され得る。近赤外光スキャナ74は、第１スキャナ部74aと第２スキャナ部74bとの角度を調整することにより近赤外光Lcを走査させ、撮像素子75において距離画像10bの各画素毎に飛行時間を検出し得るようになされている。

ここで、この撮像装置70では、可視光La、遠赤外光Lb及び近赤外光Lcが、撮像素子75に結像され得るようになされている。実際上、撮像素子75は、図１７（Ａ）に示すように、例えばＲＧＢのいずれかの可視光Laをそれぞれ検出する複数のフォトセンサ81aと、遠赤外光Lbを検出する遠赤外光受光部81bと、近赤外光Lcを検出する近赤外光受光部81cとが同一平面上に配置された構成を有する。これにより、撮像素子75は、同一平面上で可視光La、遠赤外光Lb及び近赤外光Lcの全てを検出し得、これらフォトセンサ81a、遠赤外光受光部81ｂ及び近赤外光受光部81cを重ね合わせる必要がない分だけ薄型化を図ることができる。

また、このような撮像素子としては、図１７（Ｂ）に示すように、受光面を全て同じ大きさの領域に区分けし、各領域にそれぞれフォトセンサ83aと遠赤外光受光部83ｂと近赤外光受光部83cとを所定の配列構造で配列させ、これらを同一平面上に設けるようにしてもよい。

次に、図１８（Ａ）において、85は他の実施の形態による撮像素子を示し、遠赤外光受光部86、可視光受光部87及び近赤外光受光部88をそれぞれ別体から構成し、光学素子３側から遠赤外光受光部86、可視光受光部87及び近赤外光受光部88の順に積層させる構成としてもよい。この場合、遠赤外光Lbは、遠赤外光受光部86の受光面90で受光され、可視光Laは、遠赤外光受光部86に形成されたピンホール89を通過して遠赤外光受光部86の裏面に設けられた可視光受光部87で受光され、近赤外光Lcは、遠赤外光受光部86のピンホール89を通過した後、可視光受光部87を透過して当該可視光受光部87の裏面に設けられた近赤外光受光部88で受光され得る。

また、図１８（Ｂ）に示すように、可視光La及び近赤外光Lcを受光する可視光・近赤外光受光部93と、遠赤外光Lbを受光する遠赤外光受光部94からなる撮像素子を適用するようにしてもよく、さらに、他の実施の形態としてこの他種々の組み合わせを適用してもよい。この場合であっても、上述した実施の形態と同様の効果を得ることができる。

さらに、上述した実施の形態においては、ＲＧＢを検出するフォトセンサ35が設けられた可視光受光部33を適用した場合について述べたが、本発明はこれに限らず、図１９に示すように、ファブリペローフィルタ101と、光センサ103とからなる受光部100を適用してもよい。因みに、ファブリペローフィルタ101は、対向させた２枚の半透過鏡のうち１枚を固定鏡102bとし、他の１枚を可動鏡102aとして、可動鏡102aを微小移動させて固定鏡102bとの間隔を微小変位させることにより、透過する波長帯域を変えることができる波長可変フィルタである。これにより、ＲＧＢだけでなく、他の色の可視光を光センサ103で検出することができ、被写体SBの詳細な色情報を基に被写体SBの状態を一段と容易に認識できる。なお、この受光部100は近赤外光も撮像することができ、また、材料を適切に選ぶことで、遠赤外光も撮像できる。

なお、図２０（Ａ）に示すように、ある被写体（図中「object」と示す）の表面が、図２０（Ｃ）に示すように粗い場合には、検出角度（図２０（Ａ）中「15°」〜「−60°」の間の６段階）を変えることで、図２０（Ｂ）に示すように、異なる角度でも同じピーク波長を持つなど、類似したスペクトル形状を持つことが分かる。また、図２１（Ａ）に示すように、ある被写体（図中「object」と示す）の表面が、図２１（Ｃ）に示すように滑らかな場合でも、検出角度（図２１（Ａ）中「15°」〜「−60°」の間の６段階）を変えることで、図２１（Ｃ）に示すように、異なる角度でも類似したスペクトル形状を持つことが分かる。かくして、光の強度を検出する検出手段を設けることで、光の強度変化の状態から被写体の表面の状態を判断し易くでき、これら情報を基に被写体画像を認識し易い色画像を生成することができる。

また、図２２は、他の実施の形態による撮像装置110を示し、光学素子３と対向するように屈折レンズ32が配置されており、光学素子３及び屈折レンズ32間にビームスプリッタ111が設けられ、このビームスプリッタ111を中心に受光素子112と屈折レンズ32とが直交するように配置されている。ビームスプリッタ111は、所定の角度が設けられており、光学素子３を透過した可視光La及び遠赤外光Lbを反射させて、これら可視光La及び遠赤外光Lbを受光素子112に受光させる。ここで、受光素子112は、図示しない可視光受光部及び遠赤外光受光部を受光面に備えており、ビームスプリッタ111を経由して受光した可視光La及び遠赤外光Lbをそれぞれ可視光受光部及び遠赤外光受光部により検出し得るようになされている。

また、このビームスプリッタ111は、近赤外光Lcが透過し得るように構成されており、光源５から近赤外光二軸スキャナ６及び屈折レンズ32を経由して照射された近赤外光Lcを透過させ光学素子３にそのまま照射させるとともに、外部から光学素子３を介して反射光として戻ってきた近赤外光Lcを透過させ、そのまま屈折レンズ32及び近赤外二軸スキャナ６を経由させて近赤外受光部７に受光させ得る。そして、撮像装置110では、このような構成であっても、上述した実施の形態と同様に、可視光La、遠赤外光Lb及び近赤外光Lcの光軸を一致させることができ、かくして可視光La、遠赤外光Lb及び近赤外光Lcを１つの光学素子３によってそれぞれ同じ光軸で受光素子112及び遠赤外光受光部７へ結像させることができる。

２撮像装置
３光学素子
４撮像素子
12 可視光・近赤外光透過レンズ（可視光透過レンズ）
13 遠赤外光透過レンズ
36,40 ピンホール（貫通孔）

Claims

所定形状の外郭を有する光学素子において、
前記外郭内は２つの領域に分けられており、
遠赤外光が非透過で可視光が透過する可視光透過レンズが一方の領域に設けられ、
前記一方の領域に隣接した他方の領域に、前記可視光が非透過で前記遠赤外光が透過する遠赤外光透過レンズが設けられている
ことを特徴とする光学素子。
前記２つの領域は、中心部を中心に前記中心部を含んだ内側領域と、前記中心部を中心に前記内側領域を囲むように形成された外側領域とであり、
前記内側領域又は前記外側領域のいずれか一方に、前記可視光透過レンズが設けられ、
前記可視光透過レンズが設けられていない他方の前記外側領域又は前記内側領域に、前記遠赤外光透過レンズが設けられている
ことを特徴とする請求項１記載の光学素子。
前記可視光透過レンズが前記内側領域に設けられ、前記遠赤外光透過レンズが前記外側領域に設けられている
ことを特徴とする請求項２記載の光学素子。
前記遠赤外光透過レンズが、フレネルレンズでなる
ことを特徴とする請求項２又は３記載の光学素子。
前記可視光レンズは、近赤外光も透過する
ことを特徴とする請求項１〜４のうちいずれか１項記載の光学素子。
請求項１〜５のうちいずれか１項記載の光学素子と、
前記光学素子を透過した光を受光する撮像素子とを備え、
前記撮像素子は、
前記可視光透過レンズを透過した前記可視光を受光して光電変換する可視光受光部と、前記遠赤外光透過レンズを透過した前記遠赤外光を受光して光電変換する遠赤外光受光部とを有する
ことを特徴とする撮像装置。
前記撮像素子には貫通孔が穿設されており、
光源から発した近赤外光が前記貫通孔を通過して被写体に照射され、前記被写体で反射して前記貫通孔を通過し戻ってきた反射光を受光する近赤外光受光部を備える
ことを特徴とする請求項６記載の撮像装置。
前記可視光受光部と前記遠赤外光受光部とが同一平面上に配置されている
ことを特徴とする請求項６又は７記載の撮像装置。