JP2017216678A - 撮像システム - Google Patents

Abstract

【課題】近赤外画像と可視画像とを取得可能な新規な構造を備える撮像システムを提供する。
【解決手段】本開示の一態様に係る撮像システムは、第１波長域の近赤外線を含む出射光を出射する光源と、イメージセンサと、可視領域のうち少なくとも一部の波長域の可視光および前記第１波長域の近赤外線を透過させるダブルバンドパスフィルタとを備える。前記イメージセンサは、複数の光検出セルと、前記第１波長域の近赤外線を選択的に透過させる第１フィルタと、前記可視光に含まれる第２波長域の光を選択的に透過させる第２フィルタと、前記可視光に含まれる第３波長域の光を選択的に透過させる第３フィルタと、前記可視光に含まれる第４波長域の光を選択的に透過させる第４フィルタと、赤外吸収フィルタとを有する。前記赤外吸収フィルタは、前記第２から第４フィルタに対向し、前記第１波長域の近赤外線を吸収する。
【選択図】図１Ａ

Description

本願は、撮像システムに関する。

イメージセンサ（例えば固体撮像デバイス）を備えたカメラによってカラー画像を生成する場合、一般に、光路の途中に赤外吸収フィルタが配置される。これは、赤外吸収フィルタを用いない場合、近赤外線の影響により、赤、緑、および青の信号に近赤外の信号が混入し、不自然な色調の画像が生成されるからである。赤外吸収フィルタを用いたカメラは、例えば、特許文献１に開示されている。

一方、可視画像と近赤外画像とを共通の光学系を用いて取得することが可能なカメラも提案されている。そのようなカメラは、例えば、特許文献２から４に開示されている。

特開２００２−１８２２７０号公報 特開平１０−６５１３５号公報 特開２００７−１８９３７６号公報 特開２００７−５３７３１号公報

本開示は、近赤外画像と可視画像とを取得可能な新規な構造を備える撮像システムを提供する。

本開示の一態様に係る撮像システムは、第１波長域の近赤外線を含む出射光を出射する光源と、イメージセンサと、前記イメージセンサに入射する入射光の経路上に配置され、可視領域のうち少なくとも一部の波長域の可視光および前記第１波長域の近赤外線を透過させるダブルバンドパスフィルタと、を備える。前記イメージセンサは、各々が、前記入射光の一部を受光し、受光量に応じた電気信号を出力する、複数の光検出セルと、前記複数の光検出セルに含まれる第１光検出セルに対向し、前記第１波長域の近赤外線を選択的に透過させる第１フィルタと、前記複数の光検出セルに含まれる第２光検出セルに対向して配置され、前記可視光に含まれる第２波長域の光を選択的に透過させる第２フィルタと、前記複数の光検出セルに含まれる第３光検出セルに対向し、前記可視光に含まれる第３波長域の光を選択的に透過させる第３フィルタと、前記複数の光検出セルに含まれる第４光検出セルに対向し、前記可視光に含まれる第４波長域の光を選択的に透過させる第４フィルタと、前記第２フィルタ、前記第３フィルタ、および前記第４フィルタに対向し、前記第１波長域の近赤外線を吸収し、前記可視光を透過させる赤外吸収フィルタと、を含む。

本開示の一態様によれば、共通の撮像光学系を用いて、可視画像および近赤外画像を同時に取得することができる。可視画像および近赤外画像の情報を用いた信号処理により、様々な用途に活用できる撮像システムを実現し得る。

図１Ａは、第１の実施形態に係る撮像システムの概略構成を示す図である。 図１Ｂは、第１の実施形態に係る撮像システムで用いられるイメージセンサの構造を模式的に示す断面図である。 図１Ｃは、第１の実施形態に係る撮像システムで用いられるイメージセンサの複数の光検出セルのレイアウトを示す平面図である。 図１Ｄは、第１の実施形態に係る撮像システムで用いられるイメージセンサの赤外吸収フィルタの配置の例を示す平面図である。 図１Ｅは、イメージセンサのより詳細な構造を示す断面図である。 図１Ｆは、信号処理装置の概略的な構成例を示すブロック図である。 図２は、イメージセンサの光検出セル上に形成されるカラーフィルタの特性の例を示している。 図３は、比較例のイメージセンサにおける赤画素、緑画素、青画素、および近赤外画素のそれぞれの分光感度特性を示している。 図４は、赤外吸収フィルタの特性の一例を示している。 図５Ａは、作製したイメージセンサの画素ごとの分光感度特性を示している。 図５Ｂは、赤画素、緑画素、および青画素における光源からの光の中心波長の近傍の光透過率を示している。 図６は、ダブルバンドパスフィルタの透過特性の一例を示している。 図７は、ダブルバンドパスフィルタを備える実施形態１の撮像システムの画素ごとの分光感度特性を示している。 図８は、赤外吸収フィルタに用いられ得る有機材料の一例を示している。 図９は、第２の実施形態によるイメージセンサの構造を模式的に示す断面図である。 図１０Ａは、第３の実施形態による撮像システムの概略的な構成を示す図である。 図１０Ｂは、取得した画像から額部における１００×２００画素の領域内における近赤外画素の値の平均値を所定時間ごとにプロットして表示した結果を示している。

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。本明細書では、可視光のみならず赤外線についても「光」と表現し、赤外線を「赤外光」と称することがある。

一般に、イメージセンサを用いたカメラまたはカメラモジュールによってカラー画像を生成するためには、光路の途中に赤外カットフィルタを挿入することが必要である。従来用いられているカラーフィルタは、可視領域については、例えば青、緑、赤の三原色のいずれかの光のみを透過させるカラーフィルタとして機能するが、近赤外領域については遮光性能が低い。このため、カラーフィルタは、所望の色の光だけでなく近赤外光も透過させてしまう。人間の眼は近赤外光に感度を有しないが、イメージセンサに一般に用いられているシリコン基板は、約１１００ｎｍまでの波長域の近赤外光に感度を有している。このため、赤外カットフィルタを用いないと、近赤外光の影響で、赤、緑、青の信号に近赤外の信号が混入し、不自然な色合いの写真が生成されてしまう。

一方、近赤外光には豊富な情報量が含まれるため、近赤外画像を取得したいという用途が存在する。例えば、食品、農産物、薬品、および紙幣などの検査、ならびに監視などの用途である。さらに、近赤外光を用いた監視カメラ、距離計測、およびマシンビジョンなど、近赤外光イメージングの応用は拡がりを見せている。

このような用途には赤外光専用の撮像システムが用いられることが多い。一方で、可視光の画像と同時に近赤外光の画像を取得したいという要求がある。これは、装置の小型化、低価格化、および簡便性を実現するためである。同一の撮像光学系で可視画像と近赤外画像とが取得できれば、両者の画像のずれを小さくすることができる。このため、コンピューテーショナルフォトグラフィと呼ばれる、両者の画像を用いた演算によって新たな情報を取得するような方法を用いる際に、ずれの無い同一視野の複数の画像を利用できるという利点が得られる。従来、このようなシステムでは、近赤外画像と可視画像とを別の光学系を用いて取得することが一般に行なわれていた。しかし、そのような方法では両者の画像に視差が生じる。視差を補正するために複雑な画像処理が必要となり、高速な処理が実現できない。共通の光学系を用いて、可視画像と近赤外画像とを同時に取得することができれば、複雑な画像処理を省略し、画像からの情報取得を高精度かつ高速にできる。

近赤外画像を利用する撮像システムの方式には、パッシブ照明方式と、アクティブ照明方式とがある。パッシブ照明方式は、撮像用の近赤外照明光を用いずに通常の照明光または自然光を用いて撮像する方式である。アクティブ照明方式は、撮像用の近赤外照明光を用いて撮像する方式である。近年、近赤外光の画像から対象物の構造または特性を計測する試みがなされている。前述のコンピューテーショナルフォトグラフィおよびマシンビジョンでは、様々な近赤外光の照明方式が用いられる。例えば、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）方式に用いられるパルス照明、および構造化照明法に用いられるパターン照明などがある。このような近赤外画像取得のための近赤外光源には、波長帯域の狭い発光ダイオード（ＬＥＤ）またはレーザーなどの光源が用いられることが多い。

可視画像と近赤外画像とを同一の光学系で取得するという要求に応えるために、従来の赤、緑、および青の画素に加えて、近赤外光を検出する画素を有する撮像システムが作られている。近赤外光を検出する画素では、近赤外光のみを透過させる近赤外フィルタが受光部上に配置される。近赤外フィルタは、可視光を透過させないためブラックフィルタとも呼ばれる。しかしながら、このような撮像システムでは、既に述べたように赤、緑、および青の画素に赤外光が入射してしまうため、正常なカラー画像を得ることができない。

この課題を解決するために、赤、緑、および青の画素の上にだけ赤外カットフィルタを形成する構成が提案されている。例えば特許文献２は、赤外カットフィルタとして、詳細は明示されていないが、通常のカラーフィルタと同等の有機材料からなるカラーフィルタを用いることを開示している。一方、特許文献３および４は、赤外カットフィルタとして、無機多層膜からなる干渉フィルタを用いることを開示している。特許文献２および３には、赤外フィルタおよび赤外カットフィルタの詳細な光学特性については述べられていない。特許文献４には、フィルタの光学特性について厳しい制約は必要ない旨が記載されている。特許文献４は、６００〜８００ｎｍ程度以上の波長の近赤外光を遮蔽する特性をもつ赤外カットフィルタと、７５０ｎｍ以上の波長の近赤外光を透過させる特性をもつ近赤外フィルタとを用いる例を開示している。

本発明者は、特許文献３および４に開示されているような無機多層膜からなる干渉フィルタを赤外カットフィルタとして用いた場合、以下の課題があることを見出した。
（１）無機多層膜をイメージセンサの基板上に堆積する際に、堆積可能な積層数には限界があるため、十分な赤外カット特性を得ることが困難である。
（２）干渉フィルタは近赤外光を吸収するのではなく反射するため、撮像システム内のレンズまたは封止ガラスなどの部材の表面で反射が生じる。反射された光はフレアとなり画質を低下させる。

上記（１）に関して、積層可能な層数の限界は、イメージセンサの作製プロセスおよび画素寸法に依存するが、概ね１０層程度である。これ以上層数が多くなると、厚くなりすぎてイメージセンサの光学特性を劣化させる。さらに、層数の増加に伴い、チップの製造コストが増大する。１０層程度の干渉フィルタでは、数％から１０％程度の近赤外光が透過してしまう。また、半導体プロセスで干渉フィルタを形成した場合、多層膜の膜厚のばらつきが生じ得る。その結果、干渉フィルタの特性にばらつきが生じ、歩留まりの低下を招き得る。

デジタルカメラまたは携帯電話等の機器が高性能化するにつれて、これらの機器に従来にない機能が求められるようになってきている。例えば、単一の撮像システムで美しい可視光の画像だけでなく近赤外光の画像を取得できることが要望されている。さらに、可視画像と近赤光画像とを同時に表示できるシステムが要望されている。しかしながら、可視画像と近赤外画像とを同時に取得できる従来の撮像システムでは、近赤外光の影響により、美しく自然な可視光画像を取得することは困難であった。特に、撮像用に近赤外照明を点灯させるような撮像システムにおいては、照明から出射する近赤外光の強度が高い。その結果、高輝度の近赤外画像が取得可能であるが、近赤外光の可視画素への混入が生じ、カラー画像の色再現性が劣化する。

そこで本発明者は、以下の項目に記載の撮像システムの構成に想到した。

［項目１］
本開示の項目１に係る撮像システムは、第１波長域の近赤外線を含む出射光を出射する光源と、イメージセンサと、前記イメージセンサに入射する入射光の経路上に配置され、可視領域のうち少なくとも一部の波長域の可視光および前記第１波長域の近赤外線を透過させるダブルバンドパスフィルタと、を備える。前記イメージセンサは、各々が、前記入射光の一部を受光し、受光量に応じた電気信号を出力する、複数の光検出セルと、前記複数の光検出セルに含まれる第１光検出セルに対向し、前記第１波長域の近赤外線を選択的に透過させる第１フィルタと、前記複数の光検出セルに含まれる第２光検出セルに対向して配置され、前記可視光に含まれる第２波長域の光を選択的に透過させる第２フィルタと、前記複数の光検出セルに含まれる第３光検出セルに対向し、前記可視光に含まれる第３波長域の光を選択的に透過させる第３フィルタと、前記複数の光検出セルに含まれる第４光検出セルに対向し、前記可視光に含まれる第４波長域の光を選択的に透過させる第４フィルタと、前記第２フィルタ、前記第３フィルタ、および前記第４フィルタに対向し、前記第１波長域の近赤外線を吸収し、前記可視光を透過させる赤外吸収フィルタと、を含む。

［項目２］
項目１に記載の撮像システムは、前記イメージセンサに接続され、前記第１光検出セルから出力された第１電気信号、前記第２光検出セルから出力された第２電気信号、前記第３光検出セルから出力された第３電気信号、および前記第４光検出セルから出力された第４電気信号から、画像を示す信号を生成する信号処理装置をさらに備えてもよい。

［項目３］
項目２に記載の撮像システムにおいて、前記画像は、可視画像及び近赤外画像を含んでもよく、
前記信号処理装置は、
前記第２電気信号、前記第３電気信号、および前記第４電気信号から、前記可視画像を示す信号を生成し、
前記第１電気信号から、前記近赤外画像を示す信号を生成してもよい。

［項目４］
項目２に記載の撮像システムにおいて、前記信号処理装置は、
前記第２電気信号、前記第３電気信号、および前記第４電気信号から、可視画像の情報を生成し、
前記可視画像の情報に、前記第１電気信号を用いた演算によって得られる情報を重ね合わせることにより、前記画像を示す信号を生成してもよい。

［項目５］
項目４に記載の撮像システムにおいて、前記光源は生体に前記出射光を出射してもよく、
前記第１電気信号を用いた演算によって得られる情報が、前記生体に関する情報であってもよい。

［項目６］
項目２から５のいずれかに記載の撮像システムにおいて、前記信号処理装置はさらに、
前記第１電気信号から、対象物までの距離に関する情報を生成してもよい。

［項目７］
項目６に記載の撮像システムにおいて、前記出射光はパルス光であってもよく、
前記信号処理装置は、前記パルス光が前記光源から出射されてから前記複数の光検出セルによって検出されるまでの時間から、前記距離に関する情報を生成してもよい。

［項目８］
項目６に記載の撮像システムにおいて、前記光源は、光パターンを前記対象物に投影してもよく、
前記信号処理装置は、
前記第１電気信号から近赤外画像の情報を生成し、前記近赤外画像における前記光パターンの位置に基づいて、前記距離に関する情報を生成してもよい。

［項目９］
項目６に記載の撮像システムにおいて、前記信号処理装置は、
前記第２電気信号、前記第３電気信号、および前記第４電気信号から可視画像の情報を生成し、
前記可視画像の情報に前記距離に関する情報を重ね合わせることにより、前記画像を示す信号を生成してもよい。

［項目１０］
項目６に記載の撮像システムにおいて、前記画像は立体画像であってもよく、
前記信号処理装置は、
前記第２電気信号、前記第３電気信号、および前記第４電気信号から可視画像の情報を生成し、
前記距離に関する情報を用いて、前記可視画像を前記立体画像に変換してもよい。

［項目１１］
項目１から１０のいずれかに記載の撮像システムにおいて、前記複数の光検出セルの各々は、２つの電極と、前記２つの電極の間の有機光電変換膜と、前記２つの電極の一方に電気的に接続された信号蓄積部とを含んでいてもよい。

［項目１２］
項目１から１１のいずれかに記載の撮像システムにおいて、前記赤外吸収フィルタは、有機膜フィルタであってもよい。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていても良い。

本開示の実施形態において用いられるイメージセンサは、一般に広く用いられているシリコンイメージセンサ（例えば、ＣＭＯＳセンサまたはＣＣＤセンサ）であってもよく、有機積層型イメージセンサまたは化合物半導体イメージセンサであってもよい。単結晶シリコンで形成した光電変換層は、１０００ｎｍ以上の波長の近赤外光に対して感度が低く、１２００ｎｍを超える近赤外光に対しては感度を有していない。このため、１０００ｎｍよりも長い波長の赤外光照明を用いる場合にはシリコン以外の光電変換層を有するイメージセンサを用いることが有効である。

本開示の実施形態によれば、例えば、人間の視感度と略一致した可視画像と、人間の眼には見えない近赤外光による画像とを同時に取得することができる。同一の撮像光学系で可視画像と近赤外画像とを取得できるため、装置の小型化および低コスト化を図ることができる。さらに、２つの画像を信号処理することにより、写真撮影だけではなく種々の用途に活用できる撮像システムを実現することもできる。

以下、図面を参照しながら本開示の実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示している。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能または類似する機能を有する構成要素には共通の参照符号を付し、重複する説明を省略することがある。

（実施形態１）
図１Ａは、第１の実施形態に係る撮像システムの概略構成を示す図である。図１Ｂは、第１の実施形態に係る撮像システムで用いられるイメージセンサ１０１の構造を模式的に示す断面図である。図１Ｃは、第１の実施形態に係る撮像システムで用いられるイメージセンサ１０１の複数の光検出セルのレイアウトを示す平面図である。図１Ｄは、第１の実施形態に係る撮像システムで用いられるイメージセンサ１０１の赤外吸収フィルタ１０４の配置の例を示す平面図である。図１Ｅは、イメージセンサ１０１のより詳細な構造を示す断面図である。

図１Ａに示すように、本実施形態の撮像システムは、光源ユニット１２３と、カメラ１００と、カメラレンズ１２１と、信号処理装置２００とを備える。光源ユニット１２３は、第１波長域の近赤外線を含む光を出射する光源１２４と、照明領域を限定する光学系１２５とを有する。光学系１２５は、少なくとも１つのレンズを含む。カメラ１００は、イメージセンサ１０１と、ダブルバンドパスフィルタ１２０とを有する。ダブルバンドパスフィルタ１２０は、イメージセンサ１０１に入射する光の経路上に配置され、可視領域のうち少なくとも一部の波長域の可視光および第１波長域の近赤外線を透過させる。ダブルバンドパスフィルタ１２０は、「２波長透過フィルタ」、「デュアルバンドパスフィルタ」、または「マルチバンドパスフィルタ」と呼ぶこともできる。イメージセンサ１０１は、可視光に含まれる３つの波長域（例えば赤、緑、青の波長域）の光をそれぞれ検出する３種類の可視光画素と、第１波長域の近赤外線を検出する近赤外画素とを有する。イメージセンサ１０１は、可視光画素上に、第１波長域の近赤外線を吸収する赤外吸収フィルタを有する。カメラレンズ１２１は、少なくとも１つのレンズ１２２を有する。信号処理装置２００は、イメージセンサ１０１に接続されている。信号処理装置２００は、イメージセンサ１０１から出力された信号を処理し、各種の画像情報を生成する。

以下、各構成要素をより詳細に説明する。

光源１２４は、例えば、狭帯域の近赤外線を発するＬＥＤ光源またはレーザー光源などの発光素子であり得る。光源１２４が発する近赤外線の波長域である第１波長域は、例えば８７０ｎｍを中心とする狭帯域の波長域であり得る。光源１２４の種類および使用する波長域は、目的または用途に応じて適宜選択することができる。光源１２４は、用途によっては、近赤外線だけでなく可視光を出射してもよい。

ダブルバンドパスフィルタ１２０は、可視領域のうち少なくとも一部の波長域の可視光（例えば４００〜６５０ｎｍの波長域の光）と、光源１２４から出射される近赤外光の波長（例えば８７０ｎｍ）を中心とする波長域（例えば、８２０〜９２０ｎｍ）の近赤外光とを透過させ、他の波長域の光をカットする特性を有する。なお、ダブルバンドパスフィルタ１２０が透過させる光の波長域は、上記の波長域に限定されず、用途に応じて適宜選択され得る。例えば、透過させる可視光の波長域を、４００−７００ｎｍに設定してもよい。また、透過させる近赤外光の波長域を、例えば８７０±２０ｎｍまたは８７０ｎｍ±２５ｎｍに設定してもよい。ここで「透過」および「カット」とは、１００％の透過およびカットを意味しない。例えば、ダブルバンドパスフィルタ１２０が干渉型フィルタの場合、透過波長域については９０％以上の透過率にすることが可能であり、カット波長域については２〜５％以下の透過率に抑えることが可能である。ダブルバンドパスフィルタ１２０が吸収型フィルタの場合、透過波長域については８０％以上の透過率にすることが可能であり、カット波長域については１０％以下の透過率に抑えることが可能である。

本実施形態では、照明用の光源１２４から出射される近赤外光の波長域と、ダブルバンドパスフィルタ１２０が透過させる近赤外光の波長域と、イメージセンサ１０１における近赤外フィルタが透過させる近赤外光の波長域とは、少なくとも一部の波長域が重複している。これらの波長域が完全に一致している必要はない。その重複する波長域が検出対象の波長域に一致していればよい。例えば、光源１２４は、狭帯域の近赤外光に限らず、ある程度ブロードな波長域の近赤外光を出射してもよい。それぞれの光学素子の光学特性については後述する。

図１Ｂは、イメージセンサ１０１の概略的な構成を示している。本実施形態におけるイメージセンサ１０１は、赤外吸収フィルタ１０４と、近赤外フィルタ１０３１とを有している点を除けば、標準的なＣＭＯＳなどのイメージセンサと同様の構造を有する。この標準的なイメージセンサと同様の構成を有する部分を、図１Ｂでは簡略化して基板１０２として表している。

イメージセンサ１０１は、受光部である複数の光検出セル３００を有する基板１０２と、複数の光検出セル３００に対向して配置されたカラーフィルタ１０３と、カラーフィルタ１０３の一部を覆うように形成された赤外吸収フィルタ１０４とを備える。複数の光検出セル３００の各々は、光電変換によって受光量に応じた電気信号を出力するフォトダイオードを含み得る。カラーフィルタ１０３は、赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１を含む。赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１は、規則的な平面パターンに従って、複数の光検出セル３００の各々を覆うように形成されている。近赤外フィルタ１０３１、赤フィルタ１０３２、緑フィルタ１０３３、および青フィルタ１０３４は、それぞれ本開示における第１フィルタ、第２フィルタ、第３フィルタ、および第４フィルタに相当する。

図１Ｃは、カラーフィルタ１０３の配列の一例を示している。複数の光検出セル、並びにその上の赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１は、図１Ｃに示されるように行列状に配列されている。赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１の下に位置する光検出セルは、それぞれ、赤の光、緑の光、青の光、および近赤外線を検出する光検出セルとして機能する。以下、説明を簡略化するために、赤、緑、および青の光を検出する光検出セルを、それぞれ、赤画素、緑画素、および青画素と称し、近赤外線を検出する光検出セルを近赤外画素と呼ぶ。本実施形態において、近赤外画素、赤画素、緑画素、および青画素は、それぞれ第１光検出セル、第２光検出セル、第３光検出セル、および第４光検出セルに相当する。

行列状に配置された複数の画素は、２ｘ２を単位とする複数の単位ブロックに分割され、それらの単位ブロックが２次元的に配列されている。各単位ブロックにおける４つの光検出セルに対向して、赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１が配置される。近赤外フィルタ１０３１は、光源１２４から出射される第１波長域の近赤外線を選択的に透過させる特性を有する。赤フィルタ１０３２は、可視光に含まれる赤の波長域の光を選択的に透過させる特性を有する。緑フィルタ１０３３は、可視光に含まれる緑の波長域の光を選択的に透過させる特性を有する。青フィルタ１０３４は、可視光に含まれる青の波長域の光を選択的に透過させる特性を有する。これにより、単位ブロックごとに、赤画素、緑画素、青画素、および近赤外画素が含まれる。図１Ｃに示す例では、通常のイメージセンサで用いられるベイヤー配置の片方の緑画素を近赤外画素に置き換えた配置が採用されている。ベイヤー配置とは、２ｘ２行列の対角位置に２つの緑画素を配置し、残った対角位置に赤画素と青画素を配置するカラー画素の標準的な配置である。本実施形態において、赤の波長域、緑の波長域、および青の波長域は、それぞれ第２波長域、第３波長域、および第４波長域に相当する。

なお、本実施形態においては、赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４が配置されるが、これらに代えて、他の色フィルタを配置することも可能である。例えば、青および緑に組み合わせに相当するシアンの波長域の光を選択的に透過させるシアンフィルタ、緑および赤に組み合わせに相当するイエローの波長域の光を選択的に透過させるイエローフィルタ、赤および青に組み合わせに相当するおよびマゼンタの波長域の光を選択的に透過させるマゼンタフィルタを代わりに用いてもよい。その場合であっても、信号処理装置２００は、各可視光画素からの信号を用いた演算によって、赤、緑、青の信号成分を算出し、可視光画像の情報を生成することができる。

図１Ｄに示すように、赤外吸収フィルタ１０４は、２×２の単位ブロックに含まれる４個の画素のうちの赤画素、緑画素、青画素の３画素の上に形成され、近赤外画素上には形成されない。すなわち、赤外吸収フィルタ１０４は、近赤外画素上および近赤外フィルタ１０３１上に開口を有する。図１Ｄに示す例に限らず、赤外吸収フィルタ１０４は、複数の領域に分離していてもよい。このような構成により、近赤外光は、赤外吸収フィルタ１０４で吸収されるため、可視画素である赤画素、緑画素、および青画素には入射せず、近赤外画素だけに入射する。赤外吸収フィルタ１０４は、後述するように、例えば有機材料によって構成され得る。このため、赤外吸収フィルタ１０４を、「有機膜フィルタ」と称することがある。

本実施形態におけるイメージセンサ１０１として、例えば、一般に広く用いられているＣＭＯＳ型シリコンイメージセンサを用いることができる。本発明者が試作のために使用したＣＭＯＳイメージセンサは、画素サイズ２．７５μｍ×２．７５μｍの２１０万画素のＣＭＯＳイメージセンサである。

図１Ｅは、図１Ｂに簡略化して示したイメージセンサ１０１の断面構造をより詳細に示している。図１Ｂでは省略した基板１０２の構造が示されている。基板１０２の製造方法に関しては、赤外吸収フィルタ１０４および近赤外フィルタ１０３１の形成工程を除いては標準的なＣＭＯＳイメージセンサの製造方法と共通である。このため、ここでは詳細な説明は省略し、概略のみを説明した上で、赤外吸収フィルタ１０４および近赤外フィルタ１０３１の形成方法を詳説する。

イメージセンサ１０１は、シリコン基板１０５にイオン注入によって各々の光検出セルに対応するフォトダイオード１０６を形成した後、シリコン基板１０５上にトランジスタ１０７、金属配線１０８、カラーフィルタ１０３、赤外吸収フィルタ１０４、および複数のマイクロレンズ１０９を形成することによって作製され得る。シリコン基板１０５に形成された光検出セルの各々は、入射光を光電変換するフォトダイオード１０６から出力される電気信号を読み出すための読み出し回路を含む。シリコン基板１０５は、複数のフォトダイオード１０６を表面に有する。光検出セルの各々は、シリコン基板１０５の表面を平面視したときに図１Ｃに示されるように行列状に整列するように形成され得る。

イメージセンサ１０１は、例えば以下のようなプロセスによって作製することができる。まず、通常のＣＭＯＳイメージセンサの製造プロセスで基板１０２を形成する。その後、フォトリソグラフィプロセスを用いて、緑フィルタ１０３３、青フィルタ１０３４、赤フィルタ１０３２、および近赤外フィルタ１０３１を順次、画素領域上に形成する。ここまでは通常のカラーイメージセンサの製造工程と同じである。本実施形態では、これに加えて可視光をカットし近赤外光のみを透過させる近赤外フィルタ１０３１を画素領域上に形成する。

図１Ｆは、信号処理装置２００の概略的な構成例を示すブロック図である。図１Ｆには、信号処理装置２００に接続されたディスプレイ２６も示されている。ディスプレイ２６は、信号処理装置２００に内蔵されていてもよい。信号処理装置２００は、イメージセンサ１０１に電気的に接続された入力インタフェース（ＩＦ）２１と、各種の信号処理を行う演算回路２２と、各種のデータを記録するメモリ２４と、装置全体の動作を制御する制御回路２５と、データを出力する出力インタフェース（ＩＦ）２３とを備えている。ディスプレイ２６は、出力ＩＦ２３に接続され、処理結果を表示する。演算回路２２は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の画像処理回路であり得る。制御回路２５は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータ等の集積回路であり得る。制御回路２５は、例えばメモリ２４に記録された制御プログラムを実行することにより、演算回路２２への演算指示等の制御を行う。制御回路２５および演算回路２２は、統合された１つの回路によって実現されていてもよい。信号処理装置２００は、カメラ１００の内部に設けられていてもよい。一方、信号処理装置２００は、撮像システムの外部の要素であってもよい。信号処理装置２００は、撮像システムから離れた場所に設けられたコンピュータ（例えばサーバコンピュータ）であってもよい。

信号処理装置２００は、イメージセンサ１０１における複数の光検出セルから出力された複数の電気信号から、画像を示す信号を生成して出力する。より具体的には、信号処理装置２００は、赤フィルタ１０３２に対向する光検出セルから出力された第２電気信号、緑フィルタ１０３３に対向する光検出セルから出力された第３電気信号、および青フィルタ１０３４に対向する光検出セルから出力された第４電気信号から、可視画像を示す信号を生成して出力することができる。また、信号処理装置２００は、近赤外フィルタ１０３１に対向する光検出セルから出力された第１電気信号から、近赤外画像を示す信号を生成して出力することができる。

図２は、イメージセンサ１０１の光検出セル上に形成されるカラーフィルタ１０３の特性の例を示している。図中において、ＩＲは近赤外フィルタ１０３１の特性、Ｒは赤フィルタ１０３２の特性、Ｇは緑フィルタ１０３３の特性、およびＢは青フィルタ１０３４の特性をそれぞれ示す。赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４は、通常のカラーイメージセンサで一般に用いられているカラーフィルタと同じ特性を有する。近赤外フィルタ１０３１は、この例では、８００ｎｍ以上の近赤外光を透過させる特性を有する。近赤外フィルタ１０３１は、光源１２４から出射される第１波長域の近赤外光を透過させる特性を有する。近赤外フィルタ１０３１として、この例では８００ｎｍ以上の波長の近赤外光を透過させるフィルタが選択されているが、他のフィルタを選択してもよい。例えば、６５０ｎｍ以上の波長の光を透過させる材料（例えば国際公開第２０１４／０４１７４２号公報に開示）で近赤外フィルタ１０３１を構成してもよい。近赤外フィルタ１０３１には、光源１２４から出射される第１波長域の近赤外光を透過させ、それ以下の波長の光をできるだけ透過させない材料が用いられ得る。これにより、近赤外画素への可視光の入射を抑制することができる。

以下、本実施形態の撮像システムのそれぞれの構成要素に要求される光学特性を説明する。本実施形態の撮像システムの目的の１つは、カラー画像と近赤外画像とを同時に取得することである。撮像の際、可視光が近赤外画素に混入しないこと、および近赤外光が可視画素に混入しないことが要望されている。本発明者は、そのような撮像を可能にすることを目的として本実施形態の撮像システムを設計した。図２に示すような赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１を採用した場合、通常、赤フィルタ１０３２、緑フィルタ１０３３、および青フィルタ１０３４は近赤外光を透過してしまう。本発明者は、比較のため、赤外吸収フィルタ１０４を用いず、赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１を用いて、比較例のイメージセンサを試作した。図３は、比較例のイメージセンサにおける赤画素、緑画素、青画素、および近赤外画素のそれぞれの分光感度特性を示している。分光感度特性は、感度の波長依存性に相当する。シリコン基板は５５０ｎｍ付近に感度のピークを持ち、短波長側および長波長側に向って感度が低下するという特性を持つ。このため、イメージセンサの感度である量子効率は緑が最も高く、短波長側の青、および長波長側の赤から赤外では低下する。図３からわかるように、感度は１０００ｎｍ以上で特に低い。１２００ｎｍ以上の波長ではシリコンのバンドギャップの方が大きくなるためイメージセンサは感度を持たない。図３に示すように、８００ｎｍ以上の波長では近赤外画素だけでなく、全ての可視画素も感度を有する。これは、図２に示すように、赤フィルタ１０３２、緑フィルタ１０３３、および青フィルタ１０３４が８００ｎｍ以上の波長を透過させるためである。このため、近赤外光を照射して撮像した場合、可視画素の信号に近赤外の成分が重畳されるため正常なカラー画像を得ることができない。そこで、本実施形態では、イメージセンサ上の近赤外画素以外の部分に赤外吸収フィルタ１０４が形成されている。

図４は、本実施形態において使用され得る赤外吸収フィルタ１０４の特性の一例を示している。この例では、図中において矢印で示す光源１２４からの光の中心波長８７０ｎｍに強い吸収性を持つフィルタ材料が使用されている。可視画素上のみに赤外吸収フィルタ１０４を形成することにより、可視画素が近赤外光の影響を受けることを回避し、近赤外画素については必要な近赤外感度を保持することができる。

本発明者は、図２に示す特性を有する赤フィルタ１０３２、緑フィルタ１０３３、青フィルタ１０３４、および近赤外フィルタ１０３１と、図４に示す特性を有する赤外吸収フィルタ１０４とを用いてイメージセンサを作製した。図５Ａは、作製したイメージセンサの画素ごとの分光感度特性を示している。図５Ｂは、赤画素、緑画素、および青画素における光源１２４からの光の中心波長である８７０ｎｍの近傍の光透過率を示している。図５Ｂは、図５Ａにおける破線枠で囲まれた特性を拡大して示している。図５Ｂからわかるように、いずれの画素についても光透過率が低く抑えられ、特に緑画素および青画素では１％以下の光透過率が得られている。これは、赤外吸収フィルタ１０４の材料である有機顔料の強い吸収特性によって実現が可能となった。

図５Ａに示す特性を有するイメージセンサを用いることで、可視画素に入射する近赤外照明光の影響を除去することが可能になった。しかしながら、色再現性の良いカラー画像を提供するためにはさらに課題が残っている。光源の波長（本実施形態では８７０ｎｍを中心とする狭帯域）以外の波長をもつ近赤外光が撮像シーンに存在する場合、その近赤外光は可視画素に入射し得る。その場合、正常な色再現ができなくなる。光源１２４とは別に存在する可視照明がＬＥＤ照明または蛍光灯照明であれば、その照明光には赤外光成分がほとんど含まれないため、問題は発生しない。しかし、屋外の太陽光または白熱電球からの光によって対象物が照射された場合、その光に含まれる近赤外光の影響を受けてしまう。

本実施形態では、カメラ１００にダブルバンドパスフィルタ１２０を搭載することにより、上記課題を解決することができる。本実施形態におけるダブルバンドパスフィルタ１２０は、通常のカメラにおいて赤外カットフィルタが配置されている位置であるイメージセンサ１０１の直前の位置に配置されている。図６は、本実施形態において使用され得るダブルバンドパスフィルタ１２０の透過特性の一例を示している。この例では、可視光の波長領域（４００−６５０ｎｍ）および近赤外照明光の波長領域（８２０−９２０ｎｍ）に透過性を有し、他の波長領域の光をカットするフィルタを採用した。

図７は、このようなダブルバンドパスフィルタ１２０を備える本実施形態の撮像システムの画素ごとの分光感度特性を示している。赤画素、緑画素、および青画素は、それぞれ赤色、緑色、および青色の波長域の光のみに感度を持ち、近赤外画素は、可視光には感度を持たず、近赤外照明光の波長を中心とした狭い波長範囲にのみ感度を有している。図７に示されている特性が、本実施形態における撮像システムの分光感度特性である。

ここで、本実施形態において使用され得る赤外吸収フィルタ１０４をより詳細に説明する。図８は、赤外吸収フィルタ１０４に用いられ得る有機材料の一例を示している。この吸収材料は、中心吸収波長が８７０ｎｍである近赤外線吸収化合物である。この化合物は、例えば特開２０１０−２２２５５７号に記載されている。図８においてＲは置換基を表し、Ｒを変えることにより、吸収波長を変化させることができる。これにより、照明光の波長に対応した近赤外線吸収特性の材料を得ることができる。図８に示す近赤外線吸収化合物をアクリル樹脂（ベースポリマ）、感光剤、シクロヘキサノン溶剤と混ぜ合わせて感光性の赤外吸収フィルタを製作することができる。この材料は感光性を有しているため、通常のカラーフィルタと同様にリソグラフィプロセスによってパターン形成が可能である。近赤外線吸収材料としては、図８に示される化合物に限定されるものではなく、例えば特開２０１１−２０８１０１号に記載のスクアリリウム化合物、特開平８−１４３８５３号に記載のイッテルビウム塩化合物、特開２００２−１４６２５４号に記載のクロコニウム染料などを使用することも可能である。これらの材料は材料ごとに吸収波長が異なり、それぞれの化合物の末端置換基を変えることで吸収波長を細かく調整できる。このため、撮像システムの用途および特性に応じて波長を選択することが可能である。

次に、本実施形態における赤外吸収フィルタ１０４の利点を説明する。イメージセンサ上に積層可能な赤外カットフィルタとして、特許文献３および４は、無機多層膜からなる干渉フィルタを用いることを開示している。このような従来の干渉型のフィルタをイメージセンサ上に積層した場合、本開示の実施形態で得られるような強い近赤外光のカットは困難であった。これは、半導体プロセスの制約のため、屈折率の異なる膜の総積層数は最大で１０層程度に制約されるためである。本発明者の検討によれば、イメージセンサ上に積層された干渉型の赤外カットフィルタでは、近赤外光の透過率を、最小でも数％程度までしか抑えられないことがわかっている。また、干渉型の近赤外カットフィルタは赤外光を吸収するのではなく、反射してしまうため、イメージセンサ上で反射された近赤外光がカメラレンズまたは封止ガラスなどの部材の表面で反射してイメージセンサに再入射し、フレアなどの画質上の問題を発生させることがあった。本実施形態における赤外吸収フィルタ１０４は、近赤外光を吸収するため反射が発生せずフレア等の画質上の問題を生じさせない。このことも本実施形態における吸収型の赤外吸収フィルタ１０４を用いることの利点の１つである。

吸収型の近赤外カットフィルタを用いて、例えば６５０−１２００ｎｍの広い帯域の近赤外光をカットできれば、カメラ側にダブルバンドパスフィルタを用いる必要が無くコスト削減につながると考えられる。しかしながら、そのようなフィルタをイメージセンサ上に配置するためには、およそ２μｍ以下の膜厚で１％以下の透過率を実現するような強い近赤外吸収を実現する必要がある。そのようなフィルタの実現は困難である。これは、強い吸収性は吸収剤の化学結合に起因する特性であるため、広い波長帯域で強い吸収を得ることができないためである。このため、本実施形態では、光源１２４から出射される近赤外線の波長域と、ダブルバンドパスフィルタ１２０が透過させる近赤外線の波長域と、赤外吸収フィルタ１０４が吸収する近赤外線の波長域とが揃えられている。これにより、所望の性能を有する撮像システムを比較的容易に実現できた。

続いて、上述の撮像システムの応用例を説明する。現在、近赤外光を用いた距離測定の用途が拡大している。そのような用途には、例えば、ゲーム、ジェスチャーコントロール、および３Ｄ空間認識などがある。近赤外光を用いた距離測定に関しては、例えば、均一なパルス光を対象物に照射し、対象物から当該光が返ってくるまでの時間を計測することによって距離を算出する方式であるＴＯＦ（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）方式）が広く用いられるようになっている。また、近赤外光のパターン（例えば、複数の光スポットまたはドットのパターン）を対象物に投影し、取得した近赤外画像におけるその投影光の位置に基づいて、対象物までの距離を測定する方式である構造化照明法が広く用いられるようになっている。これらの技術では、近赤外光を用いて測定した対象物までの距離情報と、通常のカラーカメラから得られた画像情報とを信号処理によって組み合わせて対象物の動きまたは３Ｄ空間を合成する方法が用いられることが一般的である。このような目的では、一般に近赤外光源と２台のカメラ（近赤外カメラおよび可視カメラ）とが組み合わせて用いられる。一台のカメラで距離測定用の近赤外画像と対象物のカラー写真とが同時に撮影できれば、装置の小型化、低コスト化だけでなく、２台のカメラの画像合成のための補正演算の必要がなくなる。その結果、演算負荷が軽くなり、高精度で高速な画像処理が可能になるというメリットがある。しかしながら、既に述べたように、従来の撮像システムでは、可視画素への近赤外光の混入が大きく、ひとつのイメージセンサで近赤外画像とカラー画像とを同時に取得することが困難であった。このため、従来のシステム（例えば、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔおよびＩｎｔｅｌ社のＲｅａｌＳｅｎｓｅなど）では、２台のカメラで近赤外画像とカラー画像とを取得し、それらを合成して空間を認識するという方法が用いられてきた。それに対して、本実施形態の撮像システムを用いることにより、一台のカメラで美しいカラー画像とコントラストの高い近赤外画像とを同時に取得することが可能になった。

以下、本実施形態の撮像システムによって距離情報または３次元情報を生成する例を説明する。光源１２４は、例えば８７０ｎｍの波長のレーザー光源であり得る。レーザー光源の出口部分に、専用に設計された回折光学素子（ＤＯＥ：Ｄｉｆｆｒａｃｔｉｖｅ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）が配置され得る。この光学素子は、入射するレーザー光を複数のドットに分割して対象物を照射するように設計されている。複数のドットは、例えば、射出角度４５度ｘ４５度において１５５ｘ１５５点の擬似ランダムドットであり得る。このようなレーザー光源によって対象物に照射されたドットイメージの光パターンは、イメージセンサ１０１によって撮像される。

信号処理装置２００は、近赤外フィルタ１０３１に対向する光検出セルである近赤外画素から出力された電気信号から、対象物までの距離情報を生成して出力することができる。信号処理装置２００は、近赤外画素から出力される電気信号から生成した近赤外画像から、光パターンの位置を特定する。当該パターンの画像中での位置と、既知のドットパターンとの相関から、対象物と撮像システムとの距離を算出することができる。投影されたパターンは、予めＤＯＥによりプログラムされた擬似ランダムパターンであるため、撮像されたパターンと設計されたパターンとの相関を計算することにより、投影されたドットパターンの位置が特定できる。その位置関係から、物体と撮像システムの距離を算出することが可能である。

本実施形態の撮像システムをＴＯＦ方式の測距に利用する場合、光源１２４は、パルス光を対象物に照射するように構成され得る。信号処理装置２００は、パルス光が光源１２４から出射されてから複数の光検出セルによって検出されるまでの時間から、対象物までの距離情報を生成することができる。信号処理装置２００は、可視画像の情報に距離情報を重ね合わせた画像を示す信号を生成して出力することもできる。そのような画像は、例えば図１Ｆに示すディスプレイ２６に表示され得る。信号処理装置２００は、上記のようにして生成した距離情報を用いて、可視画像を立体画像に変換し、当該立体画像を示す信号を出力してもよい。

本実施形態では、近赤外画像とカラー画像とが同一のイメージセンサの撮像面に結像している。このため、この２つの画像の重ね合わせには２台のカメラを用いた従来の方法のような複雑な補正は必要ない。言いかえれば、本実施形態の構成により、カラー画像に写っている物体の距離を直ちに得ることができるようになった。本実施形態の撮像システムを用いることで、軽量、小型、低コストで、高精度かつ高速な３次元計測が可能になった。これらの技術は、ジェスチャーコントロールおよびゲームなどの用途だけでなく、マシンビジョンおよび車載用の画像認識等の産業用の分野においても有効である。

（実施形態２）
次に、第２の実施形態として、有機積層イメージセンサを用いた撮像システムを説明する。光電変換膜として、適切な有機材料を用いることで、シリコンによるフォトダイオードを光電変換膜として用いる場合に比べて、近赤外光に対する感度を高めることができる。

図９は、本実施形態によるイメージセンサ１０１の構造を模式的に示す断面図である。このイメージセンサ１０１は、シリコン基板１０５内に信号蓄積部１１０を有し、シリコン基板１０５上に電荷検出回路と、光電変換部とを有する。電荷検出回路は、トランジスタ１０７と金属配線１０８とを含む。電荷検出回路は、下部電極１１１によって捕捉された信号電荷を検出し、信号電圧を出力する。光電変換部は、上部電極１１３と、下部電極１１１と、有機光電変換膜１１２とを有する。有機光電変換膜１１２は、上部電極１１３と下部電極１１１とに挟まれている。下部電極１１１と、信号蓄積部１１０とは、互いに電気的に接続されている。上部電極１１３の上には保護膜１１４が形成されている。保護膜１１４の上には、実施形態１と同様、カラーフィルタ１０３、赤外吸収フィルタ１０４、およびマイクロレンズ１０９が配置されている。

有機光電変換膜１１２の構造を以下に詳細に説明する。上部電極１１３は、例えば、ＩＴＯ等の導電性の透明材料によって形成される。下部電極１１１は、例えば、アルミニウムもしくは銅等の金属、または不純物がドープされ導電性が付与されたポリシリコン等によって形成され得る。

本実施形態における有機光電変換膜１１２は、例えば、Ｒｕｂｒｅｎｅ：Ｃ７０およびＳｎＮｃ：Ｃ７０を共蒸着することによって形成され得る。イメージセンサ１０１に可視域から近赤外域の感度を持たせるために、可視域に光電変換特性を持つＲｕｂｒｅｎｅ：Ｃ７０と、赤外域に光電変換特性を持つＳｎＮｃ：Ｃ７０という二つの材料が共蒸着され得る。これらの材料を用いることにより、シリコンではほとんど感度の無かった１０００ｎｍの波長の近赤外線について３０％程度の量子効率が得られることが確認された。ここでは有機光電変換膜１１２の材料としてＲｕｂｒｅｎｅ：Ｃ７０およびＳｎＮｃ：Ｃ７０を用いたが、有機光電変換膜１１２の材料は、これに限られない。例えば、トリアリールアミン化合物、ベンジジン化合物、ピラゾリン化合物、スチリルアミン化合物、ヒドラゾン化合物、トリフェニルメタン化合物、カルバゾール化合物、ポリシラン化合物、チオフェン化合物、フタロシアニン化合物、シアニン化合物、メロシアニン化合物、オキソノール化合物、ポリアミン化合物、インドール化合物、ピロール化合物、ピラゾール化合物、ポリアリーレン化合物、縮合芳香族炭素環化合物（ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、テトラセン誘導体、ピレン誘導体、ペリレン誘導体、フルオランテン誘導体）、含窒素ヘテロ環化合物を配位子として有する金属錯体等、種々の金属錯体または有機化合物を用いることができる。なお、上記に限らず、可視域または近赤外域に吸収特性を持ち、光電変換層として成膜できる有機化合物であれば、低分子、高分子を問わず有機光電変換膜１１２を構成する材料として使用することができる。

イメージセンサ１０１の光電変換膜として、有機光電変換膜１１２を用いて近赤外域での感度を向上させた点を除けば、本実施形態の構成および動作は実施形態１と同様である。実施形態１について説明した種々の応用例は、本実施形態においても同様に適用可能である。

以下、本実施形態の撮像システムを車載カメラに応用した例を説明する。近赤外照明として機能する光源１２４は、例えば車載のヘッドライトとして用いられ得る。光源１２４は、例えば波長９４０ｎｍの近赤外線を出射するＬＥＤ光源であり得る。ダブルバンドパスフィルタ１２０が透過させる近赤外線の中心波長、およびイメージセンサ１０１が有する赤外吸収フィルタ１０４が吸収する近赤外線の中心波長も、９４０ｎｍになるように設計され得る。水蒸気が９４０ｎｍの近赤外線を吸収するため、太陽光を光源とする屋外での利用においてはこの波長を利用することが有利である。これは、外乱光として作用する環境光が大気中の水蒸気によって吸収されるため、他の波長を用いた場合と比べて安定した近赤外光のセンシングが可能となるためである。このようなシステムを用いることにより、夜間に近赤外光と可視光の２つのヘッドライトによって確実に周辺の状況を検知することが可能となる。また、昼間においても、太陽光が直接差し込むようなまぶしい環境において、近赤外画像を用いて周囲の状況をモニタすることが可能になる。さらに、明け方または夕暮れのような視認性の悪い環境においても、可視画像と近赤外画像とを併用することで、より安全な周囲環境のモニタリングが可能になる。

（実施形態３）
カメラを用いた遠隔生体センシングが検討されている。これは、カメラを用いて非接触で拘束感なく生体情報（例えば、呼吸、心拍、または血圧等の情報）をセンシングする技術である。従来の可視カメラを用いてセンシングする方法が一般的であるが、近赤外光を用いる試みも行なわれている。その理由は、生体の窓と呼ばれる６５０−１３００ｎｍの近赤外光は、生体に対する透過性が高く、生体のより深部の情報を取得する用途に適しているためである。本実施形態は、このような生体センシングの用途に利用される撮像システムに関する。

図１０Ａは、本実施形態の撮像システムの概略的な構成を示す図である。図１０Ａには、撮像システムの他に、対象物である人の顔も示されている。本実施形態の撮像システムの基本的な構成は、実施形態１または２における構成と同様である。ただし、本実施形態では、光源１２４として、例えば波長８５０ｎｍの近赤外光を出射するＬＥＤ光源が用いられている。ダブルバンドパスフィルタ１２０が透過させる近赤外線の中心波長、およびイメージセンサ１０１が有する赤外吸収フィルタ１０４が吸収する近赤外線の中心波長も、８５０ｎｍになるように設計されている。可視光の光源は、特に設けられておらず、通常の環境光（例えば室内のＬＥＤ照明）を光源として用いている。

本実施形態における撮像システムの撮像対象には生体が含まれる。信号処理装置２００は、近赤外画素から出力された複数の電気信号を用いた演算により、生体に関する情報を生成して出力することができる。生体に関する情報を、可視画像の情報に重ね合わせた画像を示す信号を生成して出力することもできる。例えば、可視画像とともに、後述する図１０Ｂに示すような血流の変化を示す情報をディスプレイに表示することができる。本明細書において、「生体に関する情報」とは、例えば心拍、血流量、血圧、血中酸素飽和度などの血液に関する種々の情報、または、メラニン色素の濃度、しみの有無、およびあざの有無などの、皮膚に関する種々の情報であり得る。

本実施形態の撮像システムを用いて、額を中心に顔を撮像した結果を説明する。図１０Ｂは、取得した画像から額部における１００×２００画素の領域内における近赤外画素の値の平均値を所定時間ごとにプロットして表示した結果を示している。心拍による血流の変化に伴って血液による近赤外光の吸収率が変化するため、反射光強度が時間的に変化していることがわかる。反射光強度の変化が脈動を表しており、近赤外画像から得られる情報によって肌の内部の血流の情報が効率的に捕らえられていることがわかる。

本実施形態のシステムでは、近赤外画素だけでなく可視画素である赤画素、緑画素、および青画素のデータも同時に取得される。以下、これらのデータの比較を行なった結果を説明する。額部の１００ｘ２００画素領域内における赤画素、緑画素、青画素近赤外画素のそれぞれの値の平均値を、図１０Ｂと同様に所定時間ごとにプロットして表示したところ、いずれの画素のデータについても６０−８０Ｈｚの心拍変動が観測された。各画素の心拍データを解析すると、メラニン色素の少ない対象者では緑画素の信号雑音比（ＳＮ比：ｓｉｇｎａｌ−ｎｏｉｓｅ ｒａｔｉｏ）が最も高く、メラニン色素比率の高い対象者では近赤外画素の信号雑音比（ＳＮ比：ｓｉｇｎａｌ−ｎｏｉｓｅ ｒａｔｉｏ）が最も高かった。これは、皮膚表面のメラニン色素の影響により、体内から戻ってくる光の信号成分が低下したためであると考えられる。また、可視画素からの信号を用いた実験では、環境光の影響を受けやすいことも明らかになった。以上の結果から、可視光と同時に近赤外光で生体情報をモニタできる本開示のシステムがより安定かつ正確に生体情報を検出するために有効であることが示された。

本開示の撮像システムは、例えば、ジェスチャーコントロール、ゲームなどの用途に加えて、マシンビジョンおよび車載用の画像認識等の分野において有用である。

２１ 入力インタフェース
２２ 演算回路
２３ 出力インタフェース
２４ メモリ
２５ 制御回路
２６ ディスプレイ
１００ カメラ
１０１ イメージセンサ
１０２ 基板
１０３ カラーフィルタ
１０４ 赤外吸収フィルタ
１０５ シリコン基板
１０６ フォトダイオード
１０７ トランジスタ
１０８ 金属配線
１０９ マイクロレンズ
１１０ 信号蓄積部
１１１ 下部電極
１１２ 有機光電変換膜
１１３ 上部電極
１１４ 保護膜
１２０ ダブルバンドパスフィルタ
１２１ カメラレンズ
１２２ レンズ
１２３ 光源ユニット
１２４ 光源
１２５ 光学系
２００ 信号処理装置
３００ 光検出セル
１０３１ 近赤外フィルタ
１０３２ 赤フィルタ
１０３３ 緑フィルタ
１０３４ 青フィルタ

Claims (12)

1. 第１波長域の近赤外線を含む出射光を出射する光源と、
   イメージセンサと、
   前記イメージセンサに入射する入射光の経路上に配置され、可視領域のうち少なくとも一部の波長域の可視光および前記第１波長域の近赤外線を透過させるダブルバンドパスフィルタと、
   を備え、
   前記イメージセンサは、
   各々が、前記入射光の一部を受光し、受光量に応じた電気信号を出力する、複数の光検出セルと、
   前記複数の光検出セルに含まれる第１光検出セルに対向し、前記第１波長域の近赤外線を選択的に透過させる第１フィルタと、
   前記複数の光検出セルに含まれる第２光検出セルに対向して配置され、前記可視光に含まれる第２波長域の光を選択的に透過させる第２フィルタと、
   前記複数の光検出セルに含まれる第３光検出セルに対向し、前記可視光に含まれる第３波長域の光を選択的に透過させる第３フィルタと、
   前記複数の光検出セルに含まれる第４光検出セルに対向し、前記可視光に含まれる第４波長域の光を選択的に透過させる第４フィルタと、
   前記第２フィルタ、前記第３フィルタ、および前記第４フィルタに対向し、前記第１波長域の近赤外線を吸収し、前記可視光を透過させる赤外吸収フィルタと、
   を含む、撮像システム。
2. 前記イメージセンサに接続され、前記第１光検出セルから出力された第１電気信号、前記第２光検出セルから出力された第２電気信号、前記第３光検出セルから出力された第３電気信号、および前記第４光検出セルから出力された第４電気信号から、画像を示す信号を生成する信号処理装置をさらに備える、
   請求項１に記載の撮像システム。
3. 前記画像は、可視画像及び近赤外画像を含み、
   前記信号処理装置は、
   前記第２電気信号、前記第３電気信号、および前記第４電気信号から、前記可視画像を示す信号を生成し、
   前記第１電気信号から、前記近赤外画像を示す信号を生成する、
   請求項２に記載の撮像システム。
4. 前記信号処理装置は、
   前記第２電気信号、前記第３電気信号、および前記第４電気信号から、可視画像の情報を生成し、
   前記可視画像の情報に、前記第１電気信号を用いた演算によって得られる情報を重ね合わせることにより、前記画像を示す信号を生成する、
   請求項２に記載の撮像システム。
5. 前記光源は生体に前記出射光を出射し、
   前記第１電気信号を用いた演算によって得られる情報が、前記生体に関する情報である、
   請求項４に記載の撮像システム。
6. 前記信号処理装置はさらに、
   前記第１電気信号から、対象物までの距離に関する情報を生成する、
   請求項２から５のいずれかに記載の撮像システム。
7. 前記出射光はパルス光であり、
   前記信号処理装置は、前記パルス光が前記光源から出射されてから前記複数の光検出セルによって検出されるまでの時間から、前記距離に関する情報を生成する、
   請求項６に記載の撮像システム。
8. 前記光源は、光パターンを前記対象物に投影し、
   前記信号処理装置は、
   前記第１電気信号から近赤外画像の情報を生成し、前記近赤外画像における前記光パターンの位置に基づいて、前記距離に関する情報を生成する、
   請求項６に記載の撮像システム。
9. 前記信号処理装置は、
   前記第２電気信号、前記第３電気信号、および前記第４電気信号から可視画像の情報を生成し、
   前記可視画像の情報に前記距離に関する情報を重ね合わせることにより、前記画像を示す信号を生成する、
   請求項６から８のいずれかに記載の撮像システム。
10. 前記画像は立体画像であり、
    前記信号処理装置は、
    前記第２電気信号、前記第３電気信号、および前記第４電気信号から可視画像の情報を生成し、
    前記距離に関する情報を用いて、前記可視画像を前記立体画像に変換する、
    請求項６から８のいずれかに記載の撮像システム。
11. 前記複数の光検出セルの各々は、
    ２つの電極と、
    前記２つの電極の間の有機光電変換膜と、
    前記２つの電極の一方に電気的に接続された信号蓄積部と、を含む、
    請求項１から１０のいずれかに記載の撮像システム。
12. 前記赤外吸収フィルタは、有機膜フィルタである、
    請求項１から１１のいずれかに記載の撮像システム。

Images