JP2019165447A - 固体撮像装置及び撮像システム - Google Patents

Abstract

【課題】通常照度から暗闇（０ルクス）まで広範な照度環境において、カラー画像を高感度で撮影できる固体撮像装置及び撮像システムを提供する。【解決手段】固体撮像装置１に、第１の可視光を受光する第１可視光画素と第１の近赤外光を受光する第１近赤外画素とが相互に隣接して設けられた第１検出部２１と、第１の可視光とは波長が異なる第２の可視光を受光する第２可視光画素と第２の近赤外光を受光する第２近赤外画素とが相互に隣接して設けられた第２検出部２２と、第１の可視光及び第２の可視光と波長が異なる第３の可視光を受光する第３可視光画素と第３の近赤外光を受光する第３近赤外画素とが相互に隣接して設けられた第３検出部２３と、被写体からの光を分光して第１〜第３検出部２１〜２３に向けて出射する分光素子２４を設ける。【選択図】図９

Description

本発明は、カラー画像撮影用の固体撮像装置及び撮像システムに関する。より詳しくは、特定波長の近赤外光を検出してカラー画像を生成する技術に関する。

被写体で反射された赤外線や被写体が放射する赤外線を検出し、被写体のカラー画像を形成する画像撮影装置が提案されている（特許文献１参照）。特許文献１に記載の画像撮影装置では、近赤外波長領域においても、可視波長領域と同様の被写体分光反射率特性が見られることを利用して、近赤外光からカラー画像を生成している。具体的には、同一被写体を可視光下で目視したときの色と相関関係が高い近赤外領域の光を検出し、その検出情報から疑似的に表示色を生成している。この技術を利用すれば、極低照度環境や暗闇においても、カラー画像を撮像することが可能となる。

一方、特許文献１に記載の技術を実現するためには、赤色光（Ｒ）、緑色光（Ｇ）及び青色光（Ｂ）に対応する３種の近赤外光（ＮＩＲ−Ｒ，−Ｇ，−Ｂ）を検出する必要がある。従来、可視領域の光と近赤外領域の光の両方を検出可能な固体撮像素子としては、例えば、赤色光（Ｒ）、緑色光（Ｇ）又は青色光（Ｂ）を検出するための画素と、近赤外光（ＮＩＲ）を検出するための画素を、同一基板上に配列したものが提案されている（例えば、特許文献２〜４参照）。

また、赤色光（Ｒ）、緑色光（Ｇ）又は青色光（Ｂ）と、それに対応する３種の近赤外光（ＮＩＲ−Ｒ，−Ｇ，−Ｂ）とを、それぞれ同一画素で検出する光検出装置も提案されている（特許文献５，６参照）。例えば、特許文献５に記載の光検出装置では、赤色光（Ｒ）とそれに対応する近赤外光（ＮＩＲ−Ｒ）のみを透過する光学フィルター、緑色光（Ｇ）とそれに対応する近赤外光（ＮＩＲ−Ｇ）のみを透過する光学フィルター、及び青色光（Ｂ）とそれに対応する近赤外光（ＮＩＲ−Ｂ）のみを透過する光学フィルターを備える画素が、周期的に配置されている。

国際公開第２０１１／０１３７６５号 国際公開第２００７／０８６１５５号 特開２００８−２４４２４６号公報 特開２０１６−１７４０２８号公報 国際公開第２０１５／１５９６５１号 国際公開第２０１６／１５８１２８号

しかしながら、前述した従来の固体撮像素子には、以下に示す問題点がある。先ず、特許文献２〜４に記載の固体撮像素子における近赤外光検出用画素は、赤外線フィルターを設けず、ＲＧＢのカラーフィルターのみを設けることで、可視光の入射を遮断する構成となっているため、これらの固体撮像素子では特定波長の近赤外光を選択的に検出することはできない。即ち、特許文献２〜４に記載の固体撮像素子では、極低照度環境や暗闇におけるカラー画像の撮像は困難である。

一方、特許文献５，６に記載の光検出装置は、特許文献１に記載の技術への適用を想定したものであるが、可視領域における特定波長と近赤外領域における特定波長のみを透過し、それ以外の光を反射する光学フィルターは、設計が難しい。また、このような光学フィルターを、特許文献５に記載されているような高屈折層と低屈折層を積層した構造とした場合、高精度の膜厚制御が要求され、更に製造プロセスも煩雑となる。このため、特許文献５，６に記載の光検出装置は、製造コストや製造プロセスの面から、更なる改良が求められている。

そこで、本発明は、通常照度から暗闇（０ルクス）まで広範な照度環境において、カラー画像を高感度で撮影できる固体撮像装置及び撮像システムを提供することを目的とする。

本発明に係る固体撮像装置は、第１の可視光を受光する第１可視光画素と第１の近赤外光を受光する第１近赤外画素とが相互に隣接して設けられた第１検出部と、前記第１の可視光とは波長が異なる第２の可視光を受光する第２可視光画素と第２の近赤外光を受光する第２近赤外画素とが相互に隣接して設けられた第２検出部と、前記第１の可視光及び前記第２の可視光と波長が異なる第３の可視光を受光する第３可視光画素と第３の近赤外光を受光する第３近赤外画素とが相互に隣接して設けられた第３検出部と、被写体からの光を分光して前記第１〜第３検出部に向けて出射する分光素子とを有する。
この固体撮像装置では、前記第１近赤外画素で前記第１の可視光も受光し、前記第２近赤外画素で前記第２の可視光も受光し、前記第３近赤外画素で前記第３の可視光も受光してもよい。
例えば、前記第１の可視光、前記第２の可視光及び前記第３の可視光は、それぞれ赤色光、緑色光及び青色光である。
本発明の固体撮像装置では、前記第１の近赤外光を前記第１の可視光と相関関係にある近赤外領域の光とし、前記第２の近赤外光を前記第２の可視光と相関関係にある近赤外領域の光とし、前記第３の近赤外光を前記第３の可視光と相関関係にある近赤外領域の光とすることができる。
又は、本発明の固体撮像装置は、前記第１〜第３近赤外画素により波長の異なる２種又は３種の近赤外光を受光することができる。即ち、前記第１の近赤外光、前記第２の近赤外光及び前記第３の近赤外光のうち２種は同一波長の光でもよい。
又は、本発明の固体撮像装置では、前記第２近赤外画素及び／又は第３近赤外画素において、前記第１の可視光と相関関係にある近赤外領域の光、前記第２の可視光と相関関係にある近赤外領域の光及び前記第３の可視光と相関関係にある近赤外領域の光のうち２以上を含む帯域の光を受光することもできる。
一方、本発明の固体撮像装置は、前記第１〜第３検出部が相互に異なる素子に設けられていてもよい。
また、本発明の固体撮像装置には、前記第１〜第３検出部で取得した信号を用いて、カラー画像を生成する画像生成部が設けられていてもよい。
前記画像生成部では、例えば前記第１〜第３可視光画素で検出した可視光成分と、前記第１〜第３近赤外画素で検出した近赤外光成分を、任意比率で合成し、カラー画像を生成する。

本発明に係る撮像システムは、前述した固体撮像装置と、被写体に近赤外光を照射する光照射装置とを備える。
この撮像システムでは、前記固体撮像装置に、各検出部での可視光及び近赤外光の検出結果に基づき、前記光照射装置から出射される近赤外光の光量を制御する照明光制御部が設けられていてもよい。

本発明によれば、通常照度から暗闇（０ルクス）まで広範な照度環境で高感度撮影が可能となり、低照度下においてもカラー画像を得ることができる。

本発明の第１の実施形態の固体撮像装置の基本構成を示す概念図である。 Ａは検出部１１〜１３を備える固体撮像素子の画素配置例を示す図であり、ＢはＡの各画素上に設けられた光学フィルターの分光特性を示す図である。 Ａは検出部１１〜１３を備える固体撮像素子の他の画素配置例を示す図であり、ＢはＡの各画素上に設けられた光学フィルターの分光特性を示す図である。 Ａは検出部１１〜１３を備える固体撮像素子の他の画素配置例を示す図であり、ＢはＡの各画素上に設けられた光学フィルターの分光特性を示す図である。 Ａ〜Ｃは検出部１１〜１３を備える固体撮像素子の他の画素配置例を示す図である。 図２に示す画素配列の固体撮像素子を用いた場合に得られる検出成分を示す図である。 図３に示す画素配列の固体撮像素子を用いた場合に得られる検出成分を示す図である。 図４に示す画素配列の固体撮像素子を用いた場合に得られる検出成分を示す図である。 本発明の第１の実施形態の第１変形例の固体撮像装置の構成を模式的に示す図である。 Ａ〜Ｃはそれぞれ検出部２１，２２，２３における画素配置例を示す図である。 本発明の第２の実施形態の固体撮像装置を示す概念図である。 図１１に示す画像生成部３５の構成例を示す図である。 本発明の第３の実施形態の撮像システムを示す概念図である。 本発明の第４の実施形態に係る物体識別システムの構成を模式的に示す図である。 本発明の第５の実施形態に係る固体撮像素子の画素配置例を示す図である。 本発明の第５の実施形態に係る固体撮像素子の他の画素配置例を示す図である。

以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

（第１の実施形態）
先ず、本発明の第１の実施形態に係る固体撮像装置について説明する。本実施形態の固体撮像装置は、可視光を受光する画素（可視光画素）と近赤外光を受光する画素（近赤外画素）とが相互に隣接して設けられ、検出対象の波長範囲が異なる３種以上の検出部を有する。図１は本実施形態の固体撮像装置の基本構成を示す概念図である。

図１に示すように、本実施形態の固体撮像装置１は、被写体で反射された光や被写体から放射された光を検出する第１検出部１１、第２検出部１２及び第３検出部１３を備えている。これら検出部１１〜１３では、特定波長の可視光及び近赤外光を検出し、例えば可視光に基づく信号Ｓ_１，Ｓ_２，Ｓ_３、近赤外光に基づく信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３を出力する。

［可視光画素］
第１検出部１１に設けられた第１可視光画素と、第２検出部１２に設けられた第２可視光画素と、第３検出部１３に設けられた第３可視光画素は、それぞれ異なる波長の可視光を受光する。例えば、第１可視光画素で赤色光Ｒを受光する場合は、第２可視光画素で緑色光Ｇを受光し、第３可視光画素で青色光Ｂを受光する。

その場合、検出部１１〜１３の各可視光画素は、入射した光を電気信号として検出する光電変換層上に、赤色光Ｒ以外の可視光を反射及び／又は吸収する赤色光フィルターと、緑色光Ｇ以外の可視光を反射及び／又は吸収する緑色光フィルターと、青色光Ｂ以外の可視光を反射及び／又は吸収する青色光フィルターを設けた構成とすればよい。

光電変換層は、シリコンなどの基板に複数の光電変換部が形成されたものであり、赤色光フィルター、緑色光フィルター及び青色光フィルターは、それぞれ対応する光電変換部上に形成される。光電変換層の構造は、特に限定されるものではなく、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）構造などを採用することができる。

なお、光電変換層上に設けられる各カラーフィルターの透過波長は、前述した赤色光Ｒ、緑色光Ｇ及び青色光Ｂに限定されるものではなく、固体撮像装置の仕様などに応じて適宜選択することができる。また、各カラーフィルターを形成する材料も、特に限定されるものではなく、公知の材料を用いることができる。

［近赤外画素］
一方、第１検出部１１に設けられた第１近赤外画素と、第２検出部１２に設けられた第２近赤外画素と、第３検出部１３に設けられた第３近赤外画素は、２種以上の波長の光を検出する。即ち、検出部１１〜１３の近赤外画素は、それぞれ異なる波長の近赤外光を受光してもよいが、異なる検出部の近赤外画素が同一波長の近赤外光を受光してもよい。

各検出部で異なる波長の近赤外光を受光する場合、第１〜第３近赤外画素は、それぞれ前述した第１〜第３可視光画素で受光する可視光と相関関係にある近赤外領域の光を受光することができる。例えば、第１〜第３可視光画素でそれぞれ赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）を受光する場合、第１〜第３近赤外画素ではＲＧＢと相関関係にある近赤外光を受光する。

検出部１１〜１３の各近赤外画素は、光電変換層上に、干渉フィルターなどのように特定波長の近赤外光を選択的に透過する光学フィルターを設けた構成とすることができる。第１〜第３近赤外画素でＲＧＢと相関関係にある近赤外光を受光する場合は、例えば、第１近赤外画素に８００ｎｍよりも長波長の近赤外光の透過率が５０％以下のショートパスフィルタを設け、第２近赤外画素には中心波長が８５０ｎｍのバンドパスフィルタを設け、第３近赤外画素には８９０ｎｍよりも短波長の近赤外光の透過率が５０％以下のロングパスフィルタを設けた構成とすればよい。

また、例えば、第１近赤外画素は第１可視光画素で受光する可視光と相関関係にある近赤外領域の光を受光し、第２近赤外画素と第３近赤外画素は、第３可視光画素で受光する可視光と相関関係にある近赤外領域の光、第２可視光画素で受光する可視光と相関関係にある近赤外領域の光、又は、その両方を含む広帯域の光を受光することもできる。

更に、本実施形態の固体撮像装置１では、第１〜第３近赤外画素を近赤外光のみを受光する構成としてもよいが、近赤外光と共に可視光を受光する構成とすることもできる。これにより、可視光による撮影時の感度を確保してＳ／Ｎ（Signal／Noise）比を低下させることなく、近赤外光によるカラー撮影を実現することができる。

［構成例］
本実施形態の固体撮像装置１では、各検出部１１〜１３を１つの固体撮像素子上に形成することができる。図２Ａ，３Ａ，４Ａは検出部１１〜１３を備える固体撮像素子の画素配置例であり、図２Ｂ，３Ｂ，４Ｂは各画素上に設けられた光学フィルターの分光特性を示す図である。また、図６〜図８はそれぞれ図２〜図４に示す画素配列の固体撮像素子を用いた場合に得られる検出成分を示す図である。

３種の検出部１１〜１３を同一素子上に設ける場合、例えば図２Ａ，３Ａ，４Ａに示す繰り返し単位を有する画素配置を採用することができる。図２Ａに示す画素配置の固体撮像素子では、図２Ｂに示すように、第１検出部１１で、赤色光Ｒ及び赤色光と相関関係にある近赤外光ＩＲＲが検出される。また、第２検出部１２では、緑色光Ｇ及び緑色光と相関関係にある近赤外光ＩＲＧが検出される。更に、第３検出部１３では、青色光Ｂと及び青色光と相関関係にある近赤外光ＩＲＢが検出される。

ここで、例えば、近赤外光ＩＲＲは７００〜８３０ｎｍの範囲で任意の波長の光であり、近赤外光ＩＲＧは８８０〜１２００ｎｍの範囲で任意の波長の光であり、近赤外光ＩＲＢは８３０〜８８０ｎｍの範囲で任意の波長の光であり、それぞれ異なる波長の光である。

この画素配置の場合、可視光については各可視光画素により、赤色光Ｒ、緑色光Ｇ、青色光Ｂが直接検出されるが、近赤外画素では可視光と近赤外光の両方が検出されるため、図６に示すように、近赤外画素で検出された成分から、可視光画素で検出された成分を除くことにより、ＲＧＢと相関関係にある近赤外光ＩＲＲ，ＩＲＧ，ＩＲＢを抽出することができる。

このように、図２Ａに示す画素配置は、可視光について３波長成分、近赤外光について３波長成分を検出することができるため、超低照度下や暗闇（０ルクス）においても、色再現性に優れたカラー画像が得られる。また、この画素配置の固体撮像素子は、波長毎に異なる画素で検出するため、各画素の設計が容易であり、膜構成も簡素化できるため、従来品よりも容易に製造することが可能となる。

一方、図３Ａ及び図４Ａは、感度重視の画素配置の例である。図３Ａに示す画素配置の場合、図３Ｂに示すように、第１検出部１１では、赤色光Ｒ及び赤色光と相関関係にある近赤外光ＩＲＲが検出される。また、第２検出部１２では、緑色光Ｇ及び緑色光と相関関係にある近赤外光ＩＲＧが検出される。更に、第３検出部１３では、青色光Ｂ及び緑色光と相関関係にある近赤外光ＩＲＧが検出される。

また、図４Ａに示す画素配置の場合は、図４Ｂに示すように、第１検出部１１では、赤色光Ｒ及び赤色光と相関関係にある近赤外光ＩＲＲが検出される。また、第２検出部１２では、緑色光Ｇ及び赤色光と相関関係にある近赤外光ＩＲＲから緑色光と相関関係にある近赤外光ＩＲＧまでを含む広帯域の光ＩＲＷが検出される。更に、第３検出部１３では、青色光Ｂ及び緑色光と相関関係にある近赤外光ＩＲＧが検出される。

図３及び図４に示す画素配置の固体撮像素子では、図７及び図８に示すように、近赤外成分は、赤色光Ｒと相関関係にある近赤外光ＩＲＲと、緑色光Ｇと相関関係にある近赤外光ＩＲＧのみ分離抽出し、青色光Ｂのみと相関関係にある近赤外光ＩＲＢは検出しない。これにより、各近赤外画素の検出波長の選択範囲が拡がるため、低照度下におけるカラー撮影の感度を向上させることができる。

なお、図２〜４には４画素で１つの検出部を構成している例を示しているが、本発明はこれに限定されるものではなく、可視光画素と近赤外画素とが隣接配置されていれば、各検出部を構成する画素の数は問わない。図５Ａ〜Ｃは検出部１１〜１３を備える固体撮像素子の他の画素配置例を示す図である。具体的には、図５Ａ及び図５Ｂに示す繰り返し単位を有する画素配置のように、２つ画素で１つの検出部を構成することもでき、その場合、可視光画素と近赤外画素の並びは縦・横のいずれでもよい。

また、４画素で１つの検出部を構成する場合も、検出部内において可視光画素と近赤外画素が隣接配置されていればよく、図５Ｃのように、繰り返し単位の中で隣り合う他の検出部の各画素との間については、可視光画素と近赤外画素が隣接配置されていなくてもよい。即ち、本実施形態の固体撮像素子では、図５Ｃに示す画素配置のように、検出部１１に設けられた赤色光Ｒを受光する可視光画素と、検出部１２に設けられた緑色光Ｇを受光する可視光画素が、隣接配置されていてもよい。

更に、図１〜４には３つの検出部１１〜１３を設けた例を示しているが、本発明はこれに限定されるものではなく、可視光画素と近赤外画素が相互に隣接して配置され、少なくとも可視光域における検出波長が相互に異なる４種以上の検出部を設けることもできる。

本実施形態の固体撮像装置では、可視光画素と近赤外画素が相互に隣接して配置された３種以上の検出部を有し、３波長以上の可視光と、２波長以上の近赤外光を検出しているため、各検出部で検出された可視光、近赤外光又はその両方を用いて、カラー画像を生成することができる。このため、本実施形態の固体撮像装置を用いることにより、通常照度から暗闇（０ルクス）まで広範な照度環境で、カラー画像の撮影が可能となる。特に、人工照明のない夜間などのように可視光の光量が著しく低下している環境では、可視光と近赤外光の両方を用いて、カラー画像を生成することで、ノイズが少なく、色再現性に優れたカラー画像が得られる。

本実施形態の固体撮像装置では、通常照度においても近赤外光を検出しており、その検出信号を用いて補正を行うことできるため、別途赤外カットフィルターを設ける必要がない。同様に、近赤外画素による信号を利用してカラー画像を生成する場合も、可視光成分を用いて補正し、色調整を行うことができるため、別途可視光カットフィルタ（赤外パス）を設ける必要もない。これにより、装置構成を簡素化することができる。

（第１の実施形態の第１変形例）
次に、本発明の第１の実施形態の第１変形例に係る固体撮像装置について説明する。前述した第１の実施形態の固体撮像装置は、３つの検出部が同一画素上に形成されている構成を採用しているが、本発明はこれに限定されるものではなく、各検出部がそれぞれ異なる固体撮像素子に形成されていてもよい。

図９は本変形例の固体撮像装置の構成を模式的に示す図であり、図１０Ａ〜Ｃはそれぞれ検出部２１，２２，２３における画素配置例を示す図である。図９に示すように、本変形例の固体撮像装置２は、可視光を受光する可視光画素と、近赤外光を受光する近赤外画素とを備える検出部２１，２２，２３が、それぞれ個別の固体撮像素子に設けられている。そして、この固体撮像装置２には、被写体からの光（可視光・近赤外光）を特定波長毎に分光し、各検出部２１，２２，２３に向けて出射する分光素子２４が設けられている。

［検出部２１〜２３］
本変形例の固体撮像装置２の各検出部２１〜２３は、例えば、図１０Ａ〜Ｃに示すような繰り返し単位を有する画素配置にすることができる。この場合、第１検出部２１では、赤色光Ｒ及び赤色光と相関関係にある近赤外光ＩＲＲが検出される。また、第２検出部２２では、緑色光Ｇ及び緑色光と相関関係にある近赤外光ＩＲＧが検出され、第３検出部１３では、青色光Ｂ及び青色光と相関関係にある近赤外光ＩＲＢが検出される。

本変形例の固体撮像装置２は、分光素子２４により特定波長毎に分光された光が各画素に入射するため、検出部２１〜２３の各画素にはカラーフィルターを設ける必要がない。なお、可視光画素Ｒ，Ｇ，Ｂには、赤外線カットフィルターが設けられていてもよい。また、各検出部２１〜２３の画素配置は、図１０Ａ〜Ｃに示すものに限定されるものではなく、前述した第１の実施形態と同様に、可視光画素と近赤外画素とが隣接配置されていれば、繰り返し単位の数や１単位あたりの画素の数は、特に限定されるものではない。

［分光素子２４］
分光素子２４としては、例えばダイクロイックプリズムなどを用いることができるが、検出対象の光を分光できればよく、種類や特性は特に限定されるものではない。

本変形例の固体撮像装置は、検出部毎に固体撮像素子を設けているため、図２〜５に示す同一素子上に複数の検出部を設ける構成に比べて、画素の構成がシンプルとなり、固体撮像素子の製造コストを低減することができる。また、本変形例の固体撮像装置では、３つの検出部の対応する画素で、一の光から分光された光を検出しているため、一領域につき波長が異なる３種類の光を検出でき、更に同一波長の画素間の密度も高まるため、より高い解像度を確保することができる。なお、本変形例の固体撮像装置における上記以外の構成及び効果は、前述した第１の実施形態と同様である。

（第２の実施形態）
次に、本発明の第２の実施形態に係る固体撮像装置について説明する。図１１は本実施形態の固体撮像装置を示す概念図である。なお、図１１においては、図１に示す固体撮像装置と同じ構成要素には同じ符号を付し、その詳細な説明は省略する。図１１に示すように、本実施形態の固体撮像装置３は、第１〜第３検出部１１，１２，１３に加えて、画像生成部３１が設けられている。

［画像生成部３１］
図１２は画像生成部３１の構成例を示す図である。画像生成部３１は、第１〜第３検出部１１，１２，１３から出力された可視光信号Ｓ_１，Ｓ_２，Ｓ_３、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３に基づきカラー画像を生成するものである。画像生成部３５は、例えば「昼モード」の場合は、可視光画素からの可視光信号Ｓ_１，Ｓ_２，Ｓ_３のみを利用しカラー画像を生成し、「夜モード」の場合は近赤外画素からの近赤外信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３のみを利用してカラー画像を生成する。

また、画像生成部３１は、可視光信号Ｓ_１，Ｓ_２，Ｓ_３及び近赤外信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３の両方を用いて、カラー画像を生成することもできる。可視光信号及び近赤外信号を合成する場合、画像生成部３１は、例えば、図１２に示すように、可視光成分と近赤外光成分との比から、これらの合成比を決定する構成とすることができる。

例えば、全画素位置に対して１つの合成比を決める場合、一定画素範囲の積分値などを用いることができる。その際、対象画素範囲は、観察時に重視されるような有効領域内の位置が望ましいが、有効領域に対して、各応答レベルの検出部を設けることが難しい場合は、簡易な代替手法として、有効画素の外側である端部に、小規模な検出専用領域を設けて、その領域だけの検出結果から判断してもよい。また、画素領域ごとに異なる比率で合成する場合は、隣接画素の応答を用いたり、局所的に周辺画素の応答にフィルター処理を行った結果を用いたりすることができる。比較する２種のペアは１組の情報だけでなく、複数組を用いてもよく、任意の重み平均などにより１つの代表的な成分比情報に換算して利用してもよい。

また、可視光成分と近赤外成分の合成比は、例えば、算出された成分比率をそのまま適用してもよいが、意図的に変調してもよい。変調の方法としては、例えば、「成分比情報のみを非線形に適用」、「近赤外光の成分比が一定以上にならないと近赤外の合成比を与えない」、「他の情報とも組み合わせた追加的な条件設定」、「可視光成分のみでオート露出機構が判断する入射光量が小さいほど、又は、（露出補正用）ゲイン値が大きいほど、近赤外の合成比を与える。」などが挙げられる。

本実施形態の固体撮像装置は、３波長以上の可視光と、２波長以上の近赤外光を検出しているため、通常照度から暗闇（０ルクス）まで広範な照度環境で撮影することができ、高解像度のカラー画像を生成することができる。また、本実施形態の固体撮像装置は、可視光成分と近赤外成分の合成比率を任意で設定することができるため、使用環境などに応じて、最適な設定を行うことができ、汎用性に優れている。

なお、画像生成部は、固体撮像装置に内蔵されていなくてもよく、例えば前述した各処理をコンピュータに実装されたプログラムにより実行することもできる。また、本実施形態の固体撮像装置における上記以外の構成及び効果は、前述した第１の実施形態及びその変形例と同様である。

（第３の実施形態）
次に、本発明の第３の実施形態に係る撮像システムについて説明する。図１３は本実施形態の撮像システムの構成例を示す図である。図１３に示すように、本実施形態の撮像システムは、固体撮像装置４と、被写体６に照明光である近赤外光を照射する光照射装置５を備えている。

この撮像システムの固体撮像装置４には、検出部１１，１２，１３での可視光及び近赤外光の検出結果に基づき、光照射装置５から出射される照明光（近赤外光）の光量を制御する照明光制御部４１が設けられている。この撮像システムでは、例えば、入射光を優先的に最適化し、その結果に応じて合成比を決めることができる。

照明光制御部４１は、例えば画像生成部３１において、可視光の信号レベルが低いと判断されたときに近赤外光を照射したり、可視光の信号レベルと近赤外光の信号レベルが一定基準を満たすように照射光量を変調したりする。また、光照射装置５が、波長領域が異なる複数種類の光源別に光量を操作できる場合は、分光分布を最適化することもできる。

本実施形態の撮像システムでは、検出部から出力された可視光信号及び近赤外信号に基づき、被写体に照明光（近赤外光）を照射する光照射装置５を制御しているため、常に最適な条件でカラー撮影を行うことが可能である。本実施形態の撮像システムは、光照射の制御をせずに撮影して、後から信号処理のみで補正を行う場合に比べて、信号処理前の撮像段階での信号をより適正に保つことができるため、例えば色再現性とＳ／Ｎ比を両立させて画質のバランスを両方に保つことが可能な範囲が拡がる。これにより、暗闇（０ルクス）まで広範な照度環境で安定してカラー撮影を行うことができる。

なお、本実施形態の撮像システムにおける上記以外の構成及び効果は、前述した第１の実施形態、その変形例及び第２の実施形態と同様である。

（第４の実施形態）
次に、本発明の第４の実施形態に係る物体識別システムについて説明する。図１４は本実施形態の物体識別システムの構成を模式的に示す図である。図１４に示すように、本実施形態の物体識別システムは、対象物体５０に取り付けられ、特定波長の近赤外光を発する光源５２ａ〜５２ｃと、光源５２ａ〜５２ｃから出射された近赤外光を検出する光検出器５３と、物体判定部及び物体識別部を備えるデータ処理装置（図示せず）とを有する。

そして、本実施形態の物体識別装置では、光源５２ａ〜５２ｃのいずれかを備える複数の対象物体５０を光検出器５３で撮像し、その移動軌跡を記録すると共に、光源５２ａ〜５２ｃから発せられる近赤外光の波長により対象物体５０を識別する。なお、図７には対象物体５０以外の物体（人や木など）も示している。

［光源５２ａ〜５２ｃ］
光源５２ａ〜５２ｃは、相互に異なる波長の近赤外光を発する発光素子であり、例えば赤外発光ダイオードなどを用いることができる。また、発光素子の代わりに、光源として、特定波長の近赤外光のみを反射する材料又はこのような材料を含む塗料を用いてもよい。

対象物体５０に取り付ける光源５２ａ〜５２ｃは、全て発光波長が異なる必要はなく、例えば複数の対象物体２５０に同一波長を発する光源を取り付け、グループ毎に識別又は移動軌跡の検出を行ってもよい。また、光源の発光波長も３種に限定されるものではなく、対象物体５０の数又は対象物体グループの数に応じて、適宜設定することができ、例えば、対象物体５０が１つ又は１グループの場合は、近赤外光を発する１種の発光素子を用いることができる。

［光検出器５３］
光検出器５３は、光源２２ａ〜２２ｃから発せられる近赤外光をそれぞれ波長毎に区別して検出し、記録できるものであればよく、例えば前述した第１及び第２の実施形態の固体撮像装置を用いることができる。また、光源５２ａ，５２ｂ，５２ｃがそれぞれ近赤外光ＮＩＲ−Ｒ，−Ｇ，−Ｂを発する赤外発光ダイオードである場合、光検出器５３には、可視光における赤色光（Ｒ）、緑色光（Ｇ）及び青色光（Ｂ）と同様に近赤外光ＮＩＲ−Ｒ，−Ｇ，−Ｂを区別して検出可能な撮像素子を備えるものを用いればよい。

なお、光検出器５３は、少なくとも近赤外光を検出可能であればよいが、例えば近赤外像と可視像を同時に撮像し、各画像を重ね合わせて記録又は表示してもよい。その場合、１つの撮像装置で近赤外像と可視像の両方を撮像してもよいが、それぞれ別の装置で撮像してもよい。

［データ処理装置］
データ処理装置には、光検出器５３での検出結果から対象物体５０が検出領域内に存在するか否かを判定する物体判定部と、光検出器５３で検出された近赤外光の波長情報から対象物体５０を識別する物体識別部が設けられている。物体識別部は、例えば、光検出器で検出された近赤外光の波長から、対象物体に付与された色情報を取得し、色情報から対象物体を識別する。

また、検出対象領域の可視光画像を撮像する撮像装置を更に有する場合、データ処理装置には、撮像装置で撮像された可視光画像に、物体識別部で取得された対象物体の色情報やこの色情報に関連付けられている任意の情報を付加する画像合成部が設けられていてもよい。ここで、色情報に予め関連付けられる情報としては、対象物体の名前や特徴などが挙げられるが、これらに限定されるものではなく、目的に応じて適宜設定することができる。

このデータ処理装置での処理結果は、例えば別途設けられた表示装置に表示される。具体的には、可視光により撮影した静止画又は動画上に、対象物体５０の位置や移動軌跡を所定の色で表示したり、対象物体５０を示す記号やイラストなどを表示したりする。

本実施形態の物体識別システムは、近赤外光を利用して対象物体を識別しているため、例えば人混みの中にいる人の動きをモニターする場合などのように、対象物体以外の物体が多数ある場合でも、容易にかつ確実に対象物体の有無や位置を特定し、その移動軌跡を取得することができる。また、本実施形態の物体識別システムで用いている近赤外光は人間に見えないため、人に用いる場合でも違和感を与えずに利用することができる。

（第５の実施形態）
次に、本発明の第５の実施形態に係る固体撮像素子について説明する。図１５及び図１６は本実施形態の固体撮像素子の画素配置例を示す図である。本発明の固体撮像装置は、図１５及び図１６に示す繰り返し単位を有する画素配置の固体撮像素子を用いることもできる。図１５及び図１６に示す固体撮像素子のように、緑色光Ｇ及び緑色光と相関関係にある近赤外光ＩＲＧを検出する画素を密に配置することにより、輝度解像度を高めることが可能となる。

１〜４ 固体撮像装置
５ 光照射装置
６ 被写体
１１〜１３、２１〜２３ 検出部
２４ 分光素子
３１ 画像生成部
４１ 照射制御部
５０ 対象物体
５２ａ〜５２ｃ 光源
５３ 光検出器

Claims (11)

1. 第１の可視光を受光する第１可視光画素と第１の近赤外光を受光する第１近赤外画素とが相互に隣接して設けられた第１検出部と、
   前記第１の可視光とは波長が異なる第２の可視光を受光する第２可視光画素と第２の近赤外光を受光する第２近赤外画素とが相互に隣接して設けられた第２検出部と、
   前記第１の可視光及び前記第２の可視光と波長が異なる第３の可視光を受光する第３可視光画素と第３の近赤外光を受光する第３近赤外画素とが相互に隣接して設けられた第３検出部と、
   被写体からの光を分光して前記第１〜第３検出部に向けて出射する分光素子と
   を有する固体撮像装置。
2. 前記第１近赤外画素は前記第１の可視光も受光し、
   前記第２近赤外画素は前記第２の可視光も受光し、
   前記第３近赤外画素は前記第３の可視光も受光する
   請求項１に記載の固体撮像装置。
3. 前記第１の可視光、前記第２の可視光及び前記第３の可視光は、それぞれ赤色光、緑色光及び青色光である請求項１又は２に記載の固体撮像装置。
4. 前記第１の近赤外光は前記第１の可視光と相関関係にある近赤外領域の光であり、
   前記第２の近赤外光は前記第２の可視光と相関関係にある近赤外領域の光であり、
   前記第３の近赤外光は前記第３の可視光と相関関係にある近赤外領域の光である
   請求項１〜３のいずれか１項に記載の固体撮像装置。
5. 前記第１〜第３近赤外画素により波長の異なる２種又は３種の近赤外光を受光する請求項１〜３のいずれか１項に記載の固体撮像装置。
6. 前記第２近赤外画素及び／又は第３近赤外画素は、前記第１の可視光と相関関係にある近赤外領域の光、前記第２の可視光と相関関係にある近赤外領域の光及び前記第３の可視光と相関関係にある近赤外領域の光のうち２以上を含む帯域の光を受光する請求項１〜３のいずれか１項に記載の固体撮像装置。
7. 前記第１〜第３検出部は相互に異なる素子に設けられている請求項１〜６のいずれか１項に記載の固体撮像素子。
8. 前記第１〜第３検出部で取得した信号を用いて、カラー画像を生成する画像生成部を有する請求項１〜７のいずれか１項に記載の固体撮像装置。
9. 前記画像生成部は、前記第１〜第３可視光画素で検出した可視光成分と、前記第１〜第３近赤外画素で検出した近赤外光成分を、任意比率で合成し、カラー画像を生成する請求項８に記載の固体撮像装置。
10. 請求項１〜９のいずれか１項に記載の固体撮像装置と、
    被写体に近赤外光を照射する光照射装置と
    を備える撮像システム。
11. 前記固体撮像装置には、各検出部での可視光及び近赤外光の検出結果に基づき、前記光照射装置から出射される近赤外光の光量を制御する照明光制御部が設けられている請求項１０に記載の撮像システム。

Images