JP2015053578A - カラー撮像装置及びカラー撮像方法 - Google Patents

Abstract

【課題】擬似カラー画像と、可視光カラー画像と、近赤外画像とを同時に得ることができるカラー撮像装置を提供する。【解決手段】カラー撮像装置は、４種類の色フィルタを配置したイメージセンサ（１０５）と、イメージセンサの入射光経路に配置され、光センサ部の受光特性で所定波長帯域を遮断し、可視光帯域と長波長側近赤外光帯域とを通過させる光学帯域分離フィルタ（１０３）と、色フィルタの画素出力から４種類のデータを分離する色分離処理部（７０２）と、４種類の色データから複数種類の赤、緑、及び青データを生成し、赤、青、及び緑データ毎に個々のデータの大きさを調整して再合成することにより、赤、緑、及び青成分を得るデータ演算処理部（７０３）とを備えている。【選択図】図１

Description

本開示は、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いたカラー撮像装置及びカラー撮像方法に関する。

人間の色や明るさに対する感度特性は、可視光領域に感度を持つ。可視光領域に隣接した赤外領域を近赤外領域といい、人間の目は約７００ｎｍよりも長波長側では殆ど感度を有さない。

一般的なカメラにおいて、近赤外光は、色再現性を低下させるなどの弊害があるため、通常、撮像デバイスに被写体からの光（像）を制御する光学部品内に赤外線遮断フィルタ（赤外カットフィルタ）が設けられる。

撮像デバイス自体は赤外光にも感度を有するため、夜間撮影や監視用の高感度カメラ装置では可視光から赤外光まで広い帯域の光（像）を撮像することが可能である。

蛍光灯や電球やＬＥＤ（Light Emitting Diode）等の照明（光源）の違いにより、また、太陽光でも時刻によって含まれる赤外光の割合が異なるため、そのような撮影環境の変化に適応して赤外線を遮断すべきかどうかが決まる。

近赤外光が加算された画像は、色再現性は低いが物体認識に適した画像であり、この画像を取得可能な機構と、人の目に見えない赤外ＬＥＤ光等の照射機構とを組み合わせると、夜間でもくっきりとした画像が得られる監視カメラ装置が実現できる。監視カメラ装置では、昼間は赤外カットフィルタを入射光路上に配置して用いる。

一方、単に近赤外光及び赤外光を遮断する機構とするのではなく、昼間におけるカラー画像撮像とともに夜間等における近赤外光による撮像を可能とするための工夫が成されている。

例えば特許文献１には、可視光カラー画像及び近赤外光画像を独立に得る撮像装置を提供することを目的とした技術が開示されている。具体的に、可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタは、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタであり、４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めている。

また、例えば特許文献２には、簡単な演算で正確かつ直接に画素データからＩＲ成分の分離が行えるとともに、近赤外光成分の大きさ、または、近赤外光成分が除去された色成分の大きさを正確に知る技術が開示されている。具体的に、光センサ部の入射光経路に専用のフィルタを配置する。オンチップの色フィルタが形成された光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限よりも大きく１０００ｎｍ以下の長波長側帯域を通過させるいわゆる２バンド光学帯域分離フィルタを実装し、４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めている。

このように、特許文献１，２の技術では、ともに近赤外光を含むイメージセンサのデータから、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることができ、ＩＲ成分の大きさ、または、ＩＲ成分が除去された色成分の大きさを正確に知ることにより、精度よく所定のカメラ制御処理ができる画像入力処理装置を実現することを目的にしている。

特許文献１では、４種類の色フィルタを、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタとして、４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めている。

また、特許文献２では、光センサ部にオンチップで形成されたオンチップの補色系４色（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）の色フィルタを含む複数のケースにおいて、色分離後の４色の画素データ間で、減算を行うことによって、長波長側帯域の近赤外光成分を画素データから分離するようにしている。

特開２００２−１４２２２８号公報 特開２００８−２８９００１号公報

しかしながら、補色フィルタ（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）および原色と補色を含む４色フィルタにおいて、前記２つの文献で開示された技術では、演算処理により得られた青、緑、赤各色の積算値に関してほぼ正確な値を得て可視光カラー画像を出力しているが、環境光色温度が変化する状況で色バランスのとれた高画質なカラー画像を、どのように実現するかに関しての具体的な画像処理方法の詳細記載がない。

また、可視光と近赤外光との両方の成分を含む、高感度で色Ｓ／Ｎの良い高品質な「擬似カラー画像」を生成する画像処理方法が開示されていない。

開示された技術で「可視光カラー画像」、「擬似カラー画像」を生成した場合には、演算処理により得られた青、緑、赤各色の成分が４色フィルタの１色に含まれる成分を主成分としているため、色Ｓ／Ｎの劣化や、強い環境光のもとイメージセンサ出力の飽和が発生した画素エリアに対して高輝度部の着色現象が発生しやすい課題がある。

かかる点に鑑みて、本開示は、昼夜を問わず、近赤外光を含む様々な光源環境において、高感度で色バランスと色Ｓ／Ｎが良好で近赤外光成分による着色のない可視光と近赤外光の両方の成分を含む「擬似カラー画像」と、可視光カラー画像と、近赤外画像とを同時に得ることができるカラー撮像装置を提供することを目的とする。

上記課題を解決するため本開示によって次のような解決手段を講じた。すなわち、カラー撮像装置は、可視光及び近赤外光に感度を有し、各画素に、波長透過特性が調整された原色と補色とを含む４種類の色フィルタを配置したイメージセンサと、前記イメージセンサの入射光経路に配置され、オンチップの色フィルタが形成された光センサ部の受光特性で可視光波長帯域の上限から全てのフィルタ色の感度がほぼ揃う近赤外の波長までの所定波長帯域を遮断し、当該遮断された所定波長帯域の短波長側となる可視光帯域と前記感度がほぼ揃う近赤外の波長から更に大きいほうに任意の波長幅を有する長波長側近赤外光帯域との少なくとも２つの帯域を通過させる光学帯域分離フィルタと、前記４種類の色フィルタの画素出力から色毎の４種類のデータを分離して出力する色分離処理部と、前記４種類の色データからマトリクス演算によって複数種類の赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）データを生成し、当該赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）データ毎に個々のデータの大きさを調整して再合成することにより、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスがとれた、赤（Ｒ）成分、緑（Ｇ）成分、及び青（Ｂ）成分を抽出するデータ演算処理部とを備えていることを特徴とする。

また、前記波長透過特性が調整された４種類の色フィルタは、シアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、及び緑（Ｇ）の色フィルタであることを特徴とする。

また、前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及びマゼンダ（Ｍｇ）の色フィルタであることを特徴とする。

また、前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び黄（Ｙｅ）の色フィルタであることを特徴とする。

また、前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及びシアン（Ｃｙ）の色フィルタであることを特徴とする。

また、前記データ演算処理部は、複数種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを演算出力するにあたり、近赤外光成分ＩＲを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、及び第１の赤（Ｒ１）と、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）、第２の緑（Ｇ２）、及び第２の赤（Ｒ２）との、少なくとも２種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを同時に演算出力できる構成を有することを特徴とする。

また、前記データ演算処理部は、環境光色温度の変化に対して前記２種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを用いて白バランスをとる際、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、及び第１の赤（Ｒ１）を第１の主たる成分とし、第１の主たる成分に含まれる近赤外光成分ＩＲの大きさがほぼ等しくなるように、それぞれゲイン調整するとともに、近赤外光成分ＩＲをほとんど含まず可視光成分を主たる成分とする第２の青（Ｂ２）成分、第２の緑（Ｇ２）成分、及び第２の赤（Ｒ２）成分のゲイン調整をして、前記ゲイン調整後の第１の主たる成分に、前記ゲイン調整後の第２の青（Ｂ２）成分、第２の緑（Ｇ２）成分、及び第２の赤（Ｒ２）成分を合成する構成をとることで、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスのとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を演算出力することを特徴とする。

また、上記カラー撮像装置において、波長透過特性を調整された４種類の色フィルタがシアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、緑（Ｇ）の色フィルタの場合には、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる青（Ｂ）成分とシアン（Ｃｙ）に含まれる青（Ｂ）成分を任意の比率で合成したものであり、可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる赤（Ｒ）成分と黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を任意の比率で合成したものであり、可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる緑（Ｇ）成分と緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分を任意の比率で合成したものであり、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はシアン（Ｃｙ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる成分からマゼンダ（Ｍｇ）と緑（Ｇ）の色フィルタに含まれる成分を減算した緑（Ｇ）成分を主成分とすることを特徴とする。

また、上記カラー撮像装置において、波長透過特性を調整された４種類の色フィルタが赤（Ｒ）、緑（Ｇ）、青（Ｂ）、マゼンダ（Ｍｇ）の色フィルタの場合には、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はマゼンダ（Ｍｇ）と緑（Ｇ）の色フィルタに含まれる成分から赤（Ｒ）と青（Ｂ）の色フィルタに含まれる成分を減算した緑（Ｇ）成分を主成分とすることを特徴とする。

また、上記カラー撮像装置において、波長透過特性を調整された４種類の色フィルタが赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙｅ）の色フィルタの場合には、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分は黄（Ｙｅ）の色フィルタに含まれる緑（Ｇ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分は青（Ｂ）と黄（Ｙｅ）の色フィルタに含まれる成分から赤（Ｒ）と緑（Ｇ）の色フィルタに含まれる成分を減算した青（Ｂ）成分を主成分とすることを特徴とする。

また、上記カラー撮像装置において、波長透過特性を調整された４種類の色フィルタが赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃｙ）の色フィルタの場合には、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はシアン（Ｃｙ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はシアン（Ｃｙ）の色フィルタに含まれる緑（Ｇ）成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は赤（Ｒ）とシアン（Ｃｙ）の色フィルタに含まれる成分から緑（Ｇ）と青（Ｂ）の色フィルタに含まれる成分を減算した赤（Ｒ）成分を主成分とすることを特徴とする。

また、前記データ演算処理部は、さらに近赤外光成分ＩＲのデータを抽出する演算機能を合わせて有し、色分離された近赤外光成分ＩＲを含む４種類の色フィルタのデータのうち、可視光帯域成分がほぼ等しくなるｎ＋１（ｎは自然数）画素分の組み合わせ加算データとｎ画素分の組み合わせ加算データとの減算処理を行うことで、近赤外光成分ＩＲの主成分を出力することを特徴とする。

また、前記イメージセンサは、画素毎の全画素読み出しが可能に構成されていることを特徴とする。

また、前記イメージセンサは、４色の色画素毎に近傍の２画素以上の同色画素成分を加算して読み出しが可能に構成されていることを特徴とする。

また、前記４種類の色フィルタをオンチップで規則的に形成配置するにあたり、緑（Ｇ）の色フィルタは、シアン（Ｃｙ）と黄（Ｙｅ）との２つの色フィルタの積層構造で形成することを特徴とする。

また、前記波長透過特性を調整された４種類のシアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、緑（Ｇ）の色フィルタを前記イメージセンサの各画素に２×２画素周期で繰り返し配置するにあたり、マゼンダ（Ｍｇ）と緑（Ｇ）とが対角に位置し、かつシアン（Ｃｙ）と黄（Ｙｅ）とが対角に位置するとともに、マゼンダ（Ｍｇ）と緑（Ｇ）とをあわせた配置、ならびにシアン（Ｃｙ）と黄（Ｙｅ）とをあわせた配置がそれぞれ市松状の配置になることを特徴とする。

本開示によれば、昼夜を問わず、近赤外光を含む様々な光源環境において、高感度で色バランスと色Ｓ／Ｎが良好で近赤外光成分による着色のない可視光と近赤外光の両方の成分を含む「擬似カラー画像」と、可視光カラー画像と、近赤外画像とを同時に得ることができるカラー撮像装置を提供することができる。

図１は、一実施形態に係るカラー撮像装置の構成図である。 図２は、本開示に係る波長透過特性が調整された原色と補色を含む４種類の色フィルタの色配置を説明するための図である。 図３は、図１の光学帯域分離フィルタの分光特性を示すグラフである。 図４は、補色系フィルタを実装した撮像部の出力の実際の分光感度特性を示すグラフである。 図５は、原色系フィルタを実装した撮像部の出力の実際の分光感度特性を示すグラフである。 図６は、各色フィルタ画素の出力成分の特徴を示す図である。 図７は、図１のカラー画像処理部の具体例を示すブロック図である。 図８は、図７のデータ演算処理部の具体例を示すブロック図である。

以下、図面に従って本開示に係るカラー撮像装置の好ましい実施の形態について詳説する。

図１は、本開示の一実施形態に係るカラー撮像装置の構成図である。このカラー撮像装置は、後述する画像処理を行う画像処理装置としての機能を有しており、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して映像信号出力する単板式のデジタルカメラである。撮像部１２は、光学レンズ１０１、光学ローパスフィルタ（ＯＬＰＦ）１０２、光学帯域分離フィルタ１０３、波長透過特性を調整された原色と補色を含む４種類の色フィルタ１０４、可視光及び近赤外光に感度を有する撮像素子１０５、撮像素子１０５の信号をＡ／Ｄ（Analog/Digital）変換してデータ出力するアナログフロントエンド部（ＡＦＥ）１０６を含む。

撮像素子１０５は、ＣＣＤ（Charge Coupled Device）型或いはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型などに代表されるイメージセンサである。撮像素子１０５の受光面には多数のフォトダイオード（感光画素）が二次元的に配列されており、光学レンズ１０１を通過した被写体情報を入射光量に応じた量の信号電荷に光電変換する。

光学ローパスフィルタ１０２は、撮像素子１０５の受光面に結像される被写体像に対して画素ピッチに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジングの発生を防止する。

光学帯域分離フィルタ１０３は、複数のバンドを通過させるフィルタであり、可視光帯域と任意の幅をもつ近赤外帯域との少なくとも２つの帯域を通過させる。

色フィルタ１０４は、撮像素子１０５の一画素に対応する位置に原色および補色の何れかの色が存在するように規則的な所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。撮像素子１０５は、シャッターゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。撮像素子１０５の動作（露光、読み出し等）はＣＰＵ（Central Processing Unit）１０９により制御される。撮像素子１０５から出力された画像信号はアナログフロントエンド部（ＡＦＥ）１０６に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理後、Ａ／Ｄ変換処理によりデジタル信号に変換される。

また、ＣＭＯＳ型に代表される撮像素子においては、高速読み出しを実現する手段として、撮像素子１０５内にノイズ処理部とＡ／Ｄ変換器とを実装し、直接デジタル信号として出力する形態もある。

ＡＦＥ１０６でＡ／Ｄ変換された画像データは、前処理部１０７を経てカラー画像処理部１０８に送られる。前処理部１０７は、黒レベル補正や画素並び変え処理などを行う。

カラー画像処理部１０８は、原色および補色の何れかの４種類の色フィルタの画素出力から色毎の４種類の色データを分離して出力する色分離処理部と、４種類の色データからマトリクス演算によって複数種類の赤（Ｒ）、緑（Ｇ）、青（Ｂ）データを生成し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）データ毎に個々にデータの大きさを調整して再合成することにより、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスのとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を抽出するデータ演算処理部とを含む。また、カラー画像処理部１０８は、同時化（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調などの各種処理を実施してカラー画像を出力する画像処理手段である。

ＣＰＵ１０９は、所定のプログラムに従って本実施形態に係るカラー撮像装置を統括制御する。

図２は、本開示に係る波長透過特性を調整された原色と補色を含む４種類の色フィルタを２×２画素周期で４種類のＡＢＣＤの位置に色配置した場合の例を示す図である。

符号２０１は、２×２画素周期のＡＢＣＤ配置である。符号２０２は、ＡＢＣＤに配置された４種類の色フィルタが、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）の場合を示す。符号２０３は、ＡＢＣＤに配置された４種類の色フィルタが、赤（Ｒ）、緑（Ｇ）、マゼンダ（Ｍｇ）、青（Ｂ）の場合を示す。符号２０４は、ＡＢＣＤに配置された４種類の色フィルタが、赤（Ｒ）、緑（Ｇ）、黄（Ｙｅ）、青（Ｂ）の場合を示す。符号２０５は、ＡＢＣＤに配置された４種類の色フィルタが、赤（Ｒ）、緑（Ｇ）、シアン（Ｃｙ）、青（Ｂ）の場合である。

図３は、図１の光学帯域分離フィルタの分光特性を示すグラフである。光学帯域分離フィルタ１０３は複数のバンドを通過させるフィルタであり、図中縦軸は透過率、横軸は光の波長である。図３に示すように、光学帯域分離フィルタ１０３は、可視光帯域（４００ｎｍ〜６５０ｎｍ）と任意の幅をもつ近赤外帯域(８００ｎｍ〜９００ｎｍ)との少なくとも２つの帯域の光を通過させる。

図４は、補色系フィルタを実装した撮像部の出力の実際の分光感度特性を示すグラフである。図５は、原色系フィルタを実装した撮像部の出力の実際の分光感度特性を示すグラフである。

図４の分光感度特性を示す補色系撮像素子は、波長が８２０ｎｍを少し超える付近から長波長側、例えば８２０ｎｍ以上で、Ｙｅ（黄）、Ｃｙ（シアン）、Ｍｇ（マゼンダ）、Ｇ（緑）の感度がほぼ揃ってくる。

同様に、図５の分光感度特性を示す原色系撮像素子も、波長が８２０ｎｍ付近から長波長側で、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｇ（緑）の感度がほぼ揃ってくる。波長が８５０ｎｍの近傍でわずかにＢ（青）の感度が相対的に大きくなる。このように撮像デバイスで色感度が長波長側で概ね揃うのは色フィルタの分光感度特性と半導体の物性に起因し、色が揃う領域の下限の波長は、撮像デバイスの種類によって異なる。

本実施形態では、図４、図５に示す撮像デバイスの分光感度特性から、各色成分の分光感度特性である一定波長以上の分光曲線がほぼ等価な分布形状となることを利用し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の成分に関してそれぞれ少なくとも２種類のデータを求める演算を行う際に、近赤外光成分の量（大きさ）を適切に調整することを主眼とする。

このとき、近赤外領域の各カラーフィルタの感度が等価でない波長領域（例えば６５０〜８２０ｎｍ）の光のうち、図３に示す光学帯域分離フィルタ１０３で遮断して、その短波長側帯域（例えば４００〜６５０ｎｍ）と長波長側帯域（例えば８２０〜８８０ｎｍ）を通過させ、４色配置の色フィルタを実装したイメージセンサの各画素に照射する。

図６は、光学帯域分離フィルタを透過した可視光及び近赤外光が図２に示す色フィルタを実装したイメージセンサの各画素に照射された際の各色フィルタ画素の出力成分の特徴を示す図である。なお、図中縦軸は分光感度、横軸は光の波長であり、縦軸の分光感度の大きさは各色で同一として簡略化して示している。

図６（Ａ）において、符号６０１の（Ｒ＋ＩＲ）特性は、赤（Ｒ）の色フィルタの透過光成分に対する画素の出力成分の特徴を示し、可視光成分中の赤（Ｒ）成分と近赤外光成分ＩＲとを含む。

図６（Ｂ）において、符号６０２の（Ｇ＋ＩＲ）特性は、緑（Ｇ）の色フィルタの透過光成分に対する画素の出力成分の特徴を示し、可視光成分中の緑（Ｇ）成分と近赤外光成分ＩＲとを含む。

図６（Ｃ）において、符号６０３の（Ｂ＋ＩＲ）特性は、青（Ｂ）の色フィルタの透過光成分に対する画素の出力成分の特徴を示し、可視光成分中の青（Ｂ）成分と近赤外光成分ＩＲを含む。

図６（Ｄ）において、符号６０４の（Ｃｙ＋ＩＲ）特性は、シアン（Ｃｙ）の色フィルタの透過光成分対する画素の出力成分の特徴を示し、可視光成分中の青（Ｂ）成分と緑（Ｇ）成分と近赤外光成分ＩＲとを含む。

図６（Ｅ）において、符号６０５の（Ｙｅ＋ＩＲ）特性は、黄（Ｙｅ）の色フィルタの透過光成分対する画素の出力成分の特徴を示し、可視光成分中の緑（Ｇ）成分と赤（Ｒ）成分と近赤外光成分ＩＲとを含む。

図６（Ｆ）において、符号６０６の（Ｍｇ＋ＩＲ）特性は、マゼンダ（Ｍｇ）の色フィルタの透過光成分対する画素の出力成分の特徴を示し、可視光成分中の青（Ｂ）成分と赤（Ｒ）成分と近赤外光成分ＩＲとを含む。

図６（Ｄ）〜図６（Ｆ）における符号６０４〜６０６に示した可視領域の透過光が３原色の各々の補色である補色系の色フィルタの分光感度特性は、図６（Ａ）〜図６（Ｃ）における符号６０１〜６０３の原色系の各色フィルタの可視光成分を２種類含むため、感度が高く、４種類の色フィルタのうち、補色系の色フィルタを使用することで撮像部１２の感度を高めることができる。また、図６における符号６０１〜６０６の各色フィルタ画素の出力成分は、近赤外領域の長波長側帯域（８２０〜８８０ｎｍ）でほぼ等価なＩＲ成分をもつことになる。

図７は、図１のカラー画像処理部の具体例を示すブロック図である。図７において、画像データ７０１は、原色と補色を含む４種類の色フィルタを実装した撮像素子を有する撮像部１２から出力されるものであり、２×２画素周期でＡＢＣＤ（符号２０１）の位置に４色の各色が配置されている。ここで、符号２０１の色の配置は、例えば符号２０２〜２０５のいずれかである。

色分離処理部７０２は、画像データ７０１に含まれる４種類の色フィルタの画素データから高域周波数成分を制限するとともに補完処理を行って４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）に分離する。

データ演算処理部７０３は、色分離処理部７０２で分離された色毎の４つのプレーンな色データを入力として、マトリクス演算によって複数種類の赤（Ｒ）、緑（Ｇ）、青（Ｂ）データを生成し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）データ毎に個々のデータの大きさを調整して再合成することによって、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスがとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を抽出する。また、データ演算処理部７０３は、色毎の４つのプレーンな色データを入力としてマトリクス演算によって近赤外光成分ＩＲを演算抽出する。

ＹＬ＿ＭＴＸ処理部７０４は、前記色バランスがとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を持つデータから低域周波数成分の輝度データを演算して出力する。

Ｃｒ／Ｃｂ＿ＭＴＸ処理部７０５は、前記色バランスがとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を持つデータから色差データＣｒ，Ｃｂを演算して出力する。

ＹＨ処理部７０６は、画像データ７０１に含まれる４種類の色フィルタの画素データからナイキスト周波数近傍の色キャリア成分のみ除去したデータに高域強調とγ補正処理を行い、高帯域で解像度の高い輝度データを演算出力する。

Ｙ＿ＡＣ処理部７０７は、画像データ７０１に含まれる４種類の色フィルタの画素データから直流を含む低域周波数成分とナイキスト周波数近傍の色キャリア周波数成分のみ除去して、中帯域から高帯域の高解像成分を有する輝度データを演算出力する。

輝度データ合成部７０８は、前記低域周波数成分の輝度データと中帯域から高帯域の高解像成分を有する輝度データを加算合成して出力する。

本実施形態では、ＹＨ処理部７０６から出力される輝度データをＹ＿輝度信号７０９とし、輝度データ合成部７０８から出力される輝度データをＹ＿輝度信号７１０とする。

Ｙ＿輝度信号７０９は、４種類の色フィルタに含まれる近赤外成分がそのままオフセットとして含まれ、感度の高い輝度データとなる特徴がある。

Ｙ＿輝度信号７１０は、４種類の色フィルタに含まれる近赤外成分が調整され、色バランスがとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分より生成された輝度データとなる特徴があり、可視光成分を主成分とする輝度データ出力も可能である。

図８は、図７のデータ演算処理部の具体例を示すブロック図である。

第１のＲＧＢ生成部８０１は、前記４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）のマトリクス演算で近赤外光成分ＩＲを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を演算出力する。

第２のＲＧＢ生成部８０２は、前記４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）のマトリクス演算で近赤外光成分ＩＲをほとんど含まない第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を同時に演算出力する。

ゲイン処理部Ｋｒ１は、第１の赤（Ｒ１）の大きさを調整する。ゲイン処理部Ｋｇ１は、第１の緑（Ｇ１）の大きさを調整する。ゲイン処理部Ｋｂ１は、第１の青（Ｂ１）の大きさを調整する。

ゲイン処理部Ｋｒ２は、は第２の赤（Ｒ２）の大きさを調整する。ゲイン処理部Ｋｇ２は、第２の緑（Ｇ２）の大きさを調整する。ゲイン処理部Ｋｂ２は、第２の青（Ｂ２）の大きさを調整する。

６つのゲイン処理部Ｋｒ１，Ｋｒ２，Ｋｇ１，Ｋｇ２，Ｋｂ１，Ｋｂ２において、各々のゲイン値は独立に可変設定することができる。

赤（Ｒ）合成部８０９は、ゲイン処理部Ｋｒ１，Ｋｒ２の出力、すなわちゲイン調整された第１の赤（Ｒ１）とゲイン調整された第２の赤（Ｒ２）とを合成する。

緑（Ｇ）合成部８１０は、ゲイン処理部Ｋｇ１，Ｋｇ２の出力、すなわちゲイン調整された第１の緑（Ｇ１）とゲイン調整された第２の緑（Ｇ２）とを合成する。

青（Ｂ）合成部８１１は、ゲイン処理部Ｋｂ１，Ｋｂ２の出力、すなわちゲイン調整された第１の青（Ｂ１）とゲイン調整された第２の青（Ｂ２）とを合成する。

ＲＧＢガンマ補正処理部８１２は、上記各合成部８０９〜８１１の出力である、合成された青（Ｂ）、緑（Ｇ）、赤（Ｒ）データにガンマ特性を付加する。なお、ＲＧＢｔｏＲ’Ｇ’Ｂ’マトリクス処理を実施してもよい。

ＩＲ生成部８１３は、前記４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）のマトリクス演算で近赤外光成分ＩＲを演算出力する。

ＩＲガンマ補正部８１４は、前記ＩＲデータにガンマ特性を付加する。

次に前記構成を有する、カラー画像処理部１０８における画像処理方法を説明する。

色分離処理部７０２で、４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）に分離されたデータから、データ演算処理部７０３のマトリクス演算によって少なくとも２種類の赤（Ｒ）、緑（Ｇ）、青（Ｂ）データを生成する演算方法を説明する。あわせて色毎の４つのプレーンな色データを入力としてマトリクス演算によって近赤外光成分ＩＲの成分を演算抽出する方法を説明する。

まず、図２に示した波長透過特性を調整された原色と補色を含む４種類の色フィルタ１０４として、２×２画素周期で一般化した符号２０１のＡＢＣＤの位置に符号２０２〜２０５の各色を配置する４つの場合に分けて、４つのプレーンな色データ出力から、以下の（１），（２）をマトリクス演算で抽出する方法を詳細説明する。
（１）可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）
（２）近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）
なお、マトリクス演算にあたっては、図６に整理して示したように、
・環境光色温度が変化しても、原色および補色の色フィルタの画素データから得られる４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）には、ほぼ等しい近赤外光成分ＩＲが含まれていること
・環境光に加えて、近赤外のＬＥＤ（Light EmittingDiode）光を照射した際も、４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）にほぼ等しい近赤外ＬＥＤ光成分（ＬＥＤ＿ＩＲ）が含まれていること
の２つを前提条件とし、これら特徴に着目して演算展開していくこととする。

−演算１：補色系フィルタ対応−
波長透過特性を調整された４種類の色フィルタが、図２中の符号２０２のＡＢＣＤ配置、すなわちシアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）である場合、第１のＲＧＢ生成部８０１で、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を抽出するために、
（Ｂ１）＝（Ｂ＋ＩＲ）＝（Ｍｇ＋ＩＲ）＋（Ｇ＋ＩＲ）−（Ｙｅ＋ＩＲ）・・・式（１−１）
（Ｇ１）＝（２Ｇ＋ＩＲ）＝（Ｃｙ＋ＩＲ）＋（Ｙｅ＋ＩＲ）−（Ｍｇ＋ＩＲ）・・・式（１−２）
（Ｇ１’）＝（Ｇ＋ＩＲ）：色分離データ・・・式（１−３）
＊（Ｇ１）＝α（Ｇ１）＋（１−α）・（Ｇ１’）・・・式（１−４）
（Ｒ１）＝（Ｒ＋ＩＲ）＝（Ｍｇ＋ＩＲ）＋（Ｇ＋ＩＲ）−（Ｃｙ＋ＩＲ）・・・式（１−５）
の各式が用いられる。

次に、第２のＲＧＢ生成部８０２で、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする、第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を抽出するために、
（Ｂ２）＝（Ｃｙ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（１−６）
（Ｇ２）＝（Ｃｙ＋ＩＲ）＋（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）−（Ｍｇ＋ＩＲ）・・・式（１−７）
（Ｒ２）＝（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（１−８）
また、近赤外光成分ＩＲを抽出するために、
ＩＲ＝２＊（Ｇ＋ＩＲ）＋（Ｍｇ＋ＩＲ）−（Ｃｙ＋ＩＲ）−（Ｙｅ＋ＩＲ）・・・式（１−９）
の各式が用いられる。

可視光成分と近赤外光成分ＩＲとを含む式（１−１）の第１の青（Ｂ１）：（Ｂ＋ＩＲ）に含まれるＢ成分はマゼンダ（Ｍｇ）の色フィルタに含まれるＢ成分を主成分とし、可視光成分と近赤外光成分ＩＲとを含む式（１−５）の第１の赤（Ｒ１）：（Ｒ＋ＩＲ）に含まれるＲ成分はマゼンダ（Ｍｇ）の色フィルタに含まれるＲ成分を主成分とし、可視光成分と近赤外光成分ＩＲとを含む式（１−２）の第１の緑（Ｇ１）：（２Ｇ＋ＩＲ）に含まれるＧ成分はシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれるＧ成分を主成分とする。

また、式（１−３）の近赤外光成分ＩＲを含む第１の緑（Ｇ１’）：（Ｇ＋ＩＲ）に含まれるＧ成分は緑（Ｇ）の色フィルタに含まれるＧ成分が主成分である。この場合、式（１−４）に示すように、前記２種類の（Ｇ＋ＩＲ）の混合で＊（Ｇ１）：（Ｇ＋ＩＲ）としてＧ成分を生成する。

近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（１−６）の第２の青（Ｂ２）に含まれるＢ成分はシアン（Ｃｙ）の色フィルタに含まれるＢ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（１−８）の第２の赤（Ｒ２）に含まれるＲ成分は黄（Ｙｅ）の色フィルタに含まれるＲ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（１−７）式の第２の緑（Ｇ２）に含まれるＧ成分はシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる成分から緑（Ｇ）とマゼンダ（Ｍｇ）の色フィルタに含まれる成分を減算した成分を主成分としていることがわかる。

−演算２：補色系フィルタ対応−
波長透過特性を調整された４種類の色フィルタが、上記演算１と同様に、図２中の符号２０２のＡＢＣＤ配置、すなわちシアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）であり、かつ第１のＲＧＢ生成部８０１が従来の一般的なインターレース読み出し対応のカラー処理出力に近赤外光成分ＩＲを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を抽出する場合について説明する。

以下に、第１のＲＧＢ生成部８０１が、垂直２画素混合インターレース出力に対応したＲＧＢ生成を行う場合の一般的な演算処理を示す。
ＹＬ＿ｏｄｄ＝｛（Ｃｙ＋ＩＲ）＋（Ｍｇ＋ＩＲ）｝＋｛（Ｙｅ＋ＩＲ）＋（Ｇ＋ＩＲ）｝＝２Ｒ+２Ｂ＋３Ｇ＋４ＩＲ・・・式（２−１）
ＹＬ＿ｅｖｅｎ＝｛（Ｃｙ＋ＩＲ）＋（Ｇ＋ＩＲ）｝＋｛（Ｙｅ＋ＩＲ）＋（Ｍｇ＋ＩＲ）｝＝２Ｒ+２Ｂ＋３Ｇ＋４ＩＲ・・・式（２−２）
（２Ｂ−Ｇ）＝｛（Ｃｙ＋ＩＲ）＋（Ｍｇ＋ＩＲ）｝−｛（Ｙｅ＋ＩＲ）＋（Ｇ＋ＩＲ）｝・・・式（２−３）
（２Ｒ−Ｇ）＝｛（Ｙｅ＋ＩＲ）＋（Ｍｇ＋ＩＲ）｝−｛（Ｃｙ＋ＩＲ）＋（Ｇ＋ＩＲ）｝・・・式（２−４）
上記式（２−１）〜（２−４）のＹＬ、（２Ｂ−Ｇ）、（２Ｒ−Ｇ）の３つの成分のマトリクス演算で、青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を、
青（Ｂ）成分＝Ｋｂｙ・ＹＬ＋Ｋｂｂ・（２Ｂ−Ｇ）＋Ｋｂｒ・（２Ｒ−Ｇ）・・・式（２−５）
緑（Ｇ）成分＝Ｋｇｙ・ＹＬ＋Ｋｇｂ・（２Ｂ−Ｇ）＋Ｋｇｒ・（２Ｒ−Ｇ）・・・式（２−６）
赤（Ｒ）成分＝Ｋｒｙ・ＹＬ＋Ｋｒｂ・（２Ｂ−Ｇ）＋Ｋｒｒ・（２Ｒ−Ｇ）・・・式（２−７）
の各式を用いて、マトリクス演算抽出することができる。

上記式（２−１）〜（２−７）を整理して、可視光成分と近赤外光成分ＩＲとを含む、第１の緑（Ｇ１）を求めることができる。例えば、Ｋｇｙ＝１、Ｋｇｂ＝−１、Ｋｇｒ＝−１として、式（２−６）に代入すると、
（Ｇ１）＝（２Ｒ＋２Ｂ＋３Ｇ＋４ＩＲ）−（２Ｂ−Ｇ）−（２Ｒ−Ｇ）＝（５Ｇ＋４ＩＲ）・・・式（２−８）
が得られる。

更に、これを、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）の色フィルタの成分に分解すると、
（Ｇ１）＝（Ｃｙ＋ＩＲ）＋（Ｙｅ＋ＩＲ）＋３＊（Ｇ＋ＩＲ）−（Ｍｇ＋ＩＲ）・・・式（２−９）
が得られる。

また、可視光成分と近赤外光成分ＩＲとを含む、第１の青（Ｂ１）を求める場合には、例えば、Ｋｂｙ＝１、Ｋｂｂ＝４、Ｋｂｒ＝−１として式（２−５）に代入すると、
（Ｂ１）＝（２Ｒ＋２Ｂ＋３Ｇ＋４ＩＲ）＋４＊（２Ｂ−Ｇ）−（２Ｒ−Ｇ）＝（１０Ｂ＋４ＩＲ）・・・式（２−１０）
が得られる。

更に、これを、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）の色フィルタの成分に分解すると、
（Ｂ１）＝６＊（Ｃｙ＋ＩＲ）−４＊（Ｙｅ＋ＩＲ）−２＊（Ｇ＋ＩＲ）＋４＊（Ｍｇ＋ＩＲ）・・・式（２−１１）
が得られる。

また、可視光成分と近赤外光成分ＩＲとを含む、第１の赤（Ｒ１）を求める場合には、例えば、Ｋｒｙ＝１、Ｋｒｂ＝−１、Ｋｒｒ＝４として式（２−７）に代入すると、
（Ｒ１）＝（２Ｒ＋２Ｂ＋３Ｇ＋４ＩＲ）−（２Ｂ−Ｇ）＋４×（２Ｒ−Ｇ）＝（１０Ｒ＋４ＩＲ）・・・式（２−１２）
が得られる。

更に、これを、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、緑（Ｇ）、黄（Ｙｅ）の色フィルタの成分に分解すると、
（Ｒ１）＝６＊（Ｙｅ＋ＩＲ）−４＊（Ｃｙ＋ＩＲ）−２＊（Ｇ＋ＩＲ）＋４＊（Ｍｇ＋ＩＲ）・・・式（２−１３）
が得られる。

次に、第２のＲＧＢ生成部８０２で、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする、第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を抽出するために、
（Ｂ２）＝（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（２−１４）
（Ｇ２）＝（Ｃｙ＋ＩＲ）＋（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）−（Ｍｇ＋ＩＲ）・・・式（２−１５）
（Ｒ２）＝（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（２−１６）
また、近赤外光成分ＩＲを抽出するために、
ＩＲ＝２＊（Ｇ＋ＩＲ）＋（Ｍｇ＋ＩＲ）−（Ｃｙ＋ＩＲ）−（Ｙｅ＋ＩＲ）・・・式（２−１７）
の各式が用いられる。

可視光成分と近赤外光成分ＩＲとを含む式（２−１０）の第１の青（Ｂ１）：（１０Ｂ＋４ＩＲ）に含まれるＢ成分は式（２−１１）よりマゼンダ（Ｍｇ）の色フィルタに含まれるＢ成分とシアン（Ｃｙ）に含まれるＢ成分を２：３の比率で合成したものであり、可視光成分と近赤外光成分ＩＲとを含む式（２−１２）の第１の赤（Ｒ１）：（１０Ｒ＋４ＩＲ）に含まれるＲ成分は式(２−１３）よりマゼンダ（Ｍｇ）の色フィルタに含まれるＲ成分と黄（Ｙｅ）に含まれるＲ成分を２：３の比率で合成したものであり、可視光成分と近赤外光成分ＩＲとを含む式（２−８）の第１の緑(Ｇ１)：（５Ｇ＋４ＩＲ）に含まれるＧ成分は式（２−９）よりシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれるＧ成分と緑（Ｇ）の色フィルタに含まれるＧ成分を１：１：３の比率で合成したものであることがわかる。

近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（２−１４）の第２の青（Ｂ２）に含まれるＢ成分はシアン（Ｃｙ）の色フィルタに含まれる成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（２−１６）の第２の赤（Ｒ２）に含まれるＲ成分は黄（Ｙｅ）の色フィルタに含まれる成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（２−１５）の第２の緑（Ｇ２）に含まれるＧ成分はシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる成分から緑（Ｇ）とマゼンダ（Ｍｇ）の色フィルタに含まれる成分を減算した成分を主成分していることがわかる。

−演算３：原色系フィルタ対応−
波長透過特性を調整された４種類の色フィルタが、図２中の符号２０３のＡＢＣＤ配置、すなわち赤（Ｒ）、緑（Ｇ）、マゼンダ（Ｍｇ）、青（Ｂ）である場合について説明する。

第１のＲＧＢ生成部８０１で、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を抽出するために、
（Ｂ１）＝（Ｂ＋ＩＲ）：色分離データ・・・式（３−１）
（Ｇ１）＝（Ｇ＋ＩＲ）：色分離データ・・・式（３−２）
（Ｒ１）＝（Ｒ＋ＩＲ）：色分離データ・・・式（３−３）
の各式が用いられる。

また、第２のＲＧＢ生成部８０２で、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする、第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を抽出するために、
（Ｂ２）＝（Ｍｇ＋ＩＲ）−（Ｒ＋ＩＲ）・・・式（３−４）
（Ｇ２）＝（Ｇ＋ＩＲ）＋（Ｍｇ＋ＩＲ）−（Ｒ＋ＩＲ）−（Ｂ＋ＩＲ）・・・式（３−５）
（Ｒ２）＝（Ｍｇ＋ＩＲ）−（Ｂ＋ＩＲ）・・・式（３−６）
また、近赤外光成分ＩＲを抽出するために、
ＩＲ＝（Ｒ＋ＩＲ）＋（Ｂ＋ＩＲ）−（Ｍｇ＋ＩＲ）・・・式（３−７）
の各式が用いられる。

可視光成分と近赤外光成分ＩＲとを含む式（３−１）の第１の青（Ｂ１）に含まれるＢ成分は青（Ｂ）の色フィルタに含まれるＢ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（３−３）の第１の赤（Ｒ１）に含まれるＲ成分は赤（Ｒ）の色フィルタに含まれるＲ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（３−２）の第１の緑（Ｇ１）に含まれるＧ成分は緑（Ｇ）の色フィルタに含まれるＧ成分が主成分である。

近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（３−４）の第２の青（Ｂ２）に含まれるＢ成分はマゼンダ（Ｍｇ）の色フィルタに含まれるＢ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（３−６）の第２の赤（Ｒ２）に含まれるＲ成分はマゼンダ（Ｍｇ）の色フィルタに含まれるＲ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（３−５）の第２の緑（Ｇ２）に含まれるＧ成分はマゼンダ（Ｍｇ）と緑（Ｇ）の色フィルタに含まれる成分から赤（Ｒ）と青（Ｂ）の色フィルタに含まれる成分を減算した成分を主成分としていることがわかる。

−演算４：原色系フィルタ対応−
波長透過特性を調整された４種類の色フィルタが、図２中の符号２０５のＡＢＣＤ配置、すなわち赤（Ｒ）、緑（Ｇ）、黄（Ｙｅ）、青（Ｂ）である場合について説明する。

第１のＲＧＢ生成部８０１で、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を抽出するために、
（Ｂ１）＝（Ｂ＋ＩＲ）：色分離データ・・・式（４−１）
（Ｇ１）＝（Ｇ＋ＩＲ）：色分離データ・・・式（４−２）
（Ｒ１）＝（Ｒ＋ＩＲ）：色分離データ・・・式（４−３）
の各式が用いられる。

また、第２のＲＧＢ生成部８０２で、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする、第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を抽出するために、
（Ｂ２）＝（Ｂ＋ＩＲ）＋（Ｙｅ＋ＩＲ）−（Ｒ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（４−４）
（Ｇ２）＝（Ｙｅ＋ＩＲ）−（Ｒ＋ＩＲ）・・・式（４−５）
（Ｒ２）＝（Ｙｅ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（４−６）
また、近赤外光成分ＩＲを抽出するために、
ＩＲ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）−（Ｙｅ＋ＩＲ）・・・式（４−７）
の各式が用いられる。

可視光成分と近赤外光成分ＩＲとを含む式（４−１）の第１の青（Ｂ１）に含まれるＢ成分は青（Ｂ）の色フィルタに含まれるＢ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（４−３）の第１の赤（Ｒ１）に含まれるＲ成分は赤（Ｒ）の色フィルタに含まれるＲ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（４−２）の第１の緑（Ｇ１）に含まれるＧ成分は緑（Ｇ）の色フィルタに含まれるＧ成分が主成分となる。

近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（４−４）の第２の青（Ｂ２）に含まれるＢ成分は黄（Ｙｅ）と青（Ｂ）の色フィルタに含まれる成分から赤（Ｒ）と緑（Ｇ）の色フィルタに含まれる成分を減算した成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（４−６）の第２の赤（Ｒ２）に含まれるＲ成分は黄（Ｙｅ）の色フィルタに含まれるＲ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（４−５）の第２の緑（Ｇ２）に含まれるＧ成分は黄（Ｙｅ）の色フィルタに含まれるＧ成分を主成分としていることがわかる。

−演算５：原色系フィルタ対応−
波長透過特性を調整された４種類の色フィルタが、図２中の符号２０５のＡＢＣＤ配置、すなわち赤（Ｒ）、緑（Ｇ）、シアン（Ｃｙ）、青（Ｂ）である場合について説明する。

第１のＲＧＢ生成部８０１で、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）を抽出するために、
（Ｂ１）＝（Ｂ＋ＩＲ）：色分離データ・・・式（５−１）
（Ｇ１）＝（Ｇ＋ＩＲ）：色分離データ・・・式（５−２）
（Ｒ１）＝（Ｒ＋ＩＲ）：色分離データ・・・式（５−３）
の各式が用いられる。

また、第２のＲＧＢ生成部８０２で、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする、第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）を抽出するために、
（Ｂ２）＝（Ｃｙ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（５−４）
（Ｇ２）＝（Ｃｙ＋ＩＲ）−（Ｂ＋ＩＲ）・・・式（５−５）
（Ｒ２）＝（Ｒ＋ＩＲ）＋（Ｃｙ＋ＩＲ）−（Ｂ＋ＩＲ）−（Ｇ＋ＩＲ）・・・式（５−６）
また、近赤外光成分ＩＲを抽出するために、
ＩＲ＝（Ｂ＋ＩＲ）＋（Ｇ＋ＩＲ）−（Ｃｙ＋ＩＲ）・・・式（５−７）
の各式が用いられる。

可視光成分と近赤外光成分ＩＲとを含む式（５−１）の第１の青（Ｂ１）に含まれるＢ成分は青（Ｂ）の色フィルタに含まれるＢ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（５−３）の第１の赤（Ｒ１）に含まれるＲ成分は赤（Ｒ）の色フィルタに含まれるＲ成分であり、可視光成分と近赤外光成分ＩＲとを含む式（５−２）の第１の緑（Ｇ１）に含まれるＧ成分は緑（Ｇ）の色フィルタに含まれるＧ成分が主成分である。

近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（５−４）の第２の青（Ｂ２）に含まれるＢ成分は、シアン（Ｃｙ）の色フィルタに含まれるＢ成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（５−６）の第２の赤（Ｒ２）に含まれるＲ成分はシアン（Ｃｙ）と赤（Ｒ）の色フィルタに含まれる成分から青（Ｂ）と緑（Ｇ）の色フィルタに含まれる成分を減算した成分を主成分とし、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする式（５−５）の第２の緑（Ｇ２）に含まれるＧ成分はシアン（Ｃｙ）の色フィルタに含まれるＧ成分を主成分としていることがわかる。

以上のように、４種類の色フィルタが原色と補色とで構成される４種類の色フィルタの配置に関して、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）と、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）との２種類の青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を抽出することができる。

次に、図８に示すデータ演算処理部７０３で実施される色バランス処理を説明する。

環境光色温度が変化すると、原色と補色の色フィルタを実装した画像データ７０１から色分離処理部７０２を介して得られる４つのプレーンな色データ出力（Ａ，Ｂ，Ｃ，Ｄ）の大きさが変化する。この変化にともない（Ａ，Ｂ，Ｃ，Ｄ）のマトリクス演算で求められる前記２種類の第１及び第２の、青（Ｂ）、緑（Ｇ）、赤（Ｒ）のデータの大きさも変化する。

おおよそ低色温度の環境光においては、緑（Ｇ）を基準に青（Ｂ）成分が小さくなり、赤（Ｒ）成分が大きくなる。高色温度の環境においては緑（Ｇ）を基準に青（Ｂ）成分が大きくなり、赤（Ｒ）成分が小さくなる。

一般的に色バランスとして白バランスを実施する場合は無彩色被写体部分の青（Ｂ）、緑（Ｇ）、赤（Ｒ）の大きさが同じになるようにゲイン調整が行われる。

本実施形態では、第１及び第２の、赤（Ｒ）、緑（Ｇ）、青（Ｂ）データ毎に個々のデータの大きさを調整して再合成することにより、ほぼ等しい近赤外光成分ＩＲを有してかつ可視光成分の色バランスのとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を抽出することができる。

ここで、白バランスを行うためのゲイン調整の仕方には２種類ある。

まず、１つ目について説明する。可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）に含まれる近赤外光成分ＩＲの大きさをほぼ同じにするゲイン調整で近赤外光成分ＩＲによる色着色を抑える。

各データのゲイン調整は、ゲイン処理部Ｋｒ１で第１の赤（Ｒ１）の大きさを調整し、ゲイン処理部Ｋｇ１で第１の緑（Ｇ１）の大きさを調整し、ゲイン処理部Ｋｂ１第１の青（Ｂ１）の大きさを調整する。このとき、各色に含まれるＩＲ成分の大きさがほぼ等しくなるようにそれぞれゲイン調整を行う。

各色のＩＲ成分の大きさの比率は、図４及び図５に示した分光感度特性から事前に知ることができる。また、実際の撮像装置を近赤外光成分ＩＲのみの環境で動作させ、第１の青（Ｂ１）、第１の緑（Ｇ１）、第１の赤（Ｒ１）の大きさを、図示しない検出部で取得して比率演算することにより求めてもよい。

次に２つ目について説明する。近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）、第２の緑（Ｇ２）、第２の赤（Ｒ２）のゲイン調整で白バランスをとる。

各データのゲイン調整は、ゲイン処理部Ｋｒ２で第２の赤（Ｒ２）の大きさを調整し、ゲイン処理部Ｋｇ２で第２の緑（Ｇ２）の大きさを調整し、ゲイン処理部Ｋｂ２で第２の青（Ｂ２）の大きさを調整する。各データのゲインの調整に際しては、ＩＲ成分の大きさがほぼ等しくなるようにゲイン調整された前記第１の主たる（青、緑、赤）成分に、ゲイン調整された近赤外光成分ＩＲをほとんど含まない第２の（青、緑、赤）成分を、赤（Ｒ）合成部８０９、緑（Ｇ）合成部８１０、青（Ｂ）合成部８１１で加算合成して出力するため、その合成（青、緑、赤）成分においてほぼ等しい近赤外光成分を有してかつ可視光成分による無彩色被写体部分の青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分の大きさが同じになるようにゲイン調整を行う。

なお、６つのゲイン処理部Ｋｒ１，Ｋｒ２，Ｋｇ１，Ｋｇ２，Ｋｂ１，Ｋｂ２において、各々のゲイン値は独立に可変設定することができる。

上述したゲイン調整のもと、合成された青（Ｂ）、緑（Ｇ）、赤（Ｒ）データに、ＲＧＢガンマ補正処理部８１２でガンマ特性を加える。ＲＧＢｔｏＲ’Ｇ’Ｂ’マトリクス処理を実施する場合も同様にほぼ等しい近赤外光成分ＩＲを有してかつ可視光成分による無彩色被写体部分の青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分の大きさが同じになるような係数で実施する。

以上のように合成された青（Ｂ）、緑（Ｇ）、赤（Ｒ）データを用いて色差データを生成する場合について説明する。

色差データに関しては、ＩＴＵ−Ｔ ＢＴ．６０１の規格において、以下の変換式が定義されている。
Ｙ＝０．２９９・Ｒ＋０．５８７・Ｇ＋０．１１４・Ｂ
Ｃｂ＝−０．１６９・Ｒ−０．３３１・Ｇ＋０．５００・Ｂ
Ｃｒ＝０．５００・Ｒ−０．４１９・Ｇ−０．０８１・Ｂ
上記Ｃｂ，Ｃｒの式に着目すると、ＩＲ成分は主たる（青、緑、赤）成分の共通オフセット成分となるため、同じ大きさにゲイン調整された各色のＩＲオフセット成分は減算処理により除去され、ゼロになることがわかる。

本実施形態では、Ｃｒ／Ｃｂ＿ＭＴＸ処理部７０５でＩＲオフセット成分の除去処理を実施する。

このようにゲイン調整後に合成された青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分は、ＲＧＢガンマ調整後にＣｒ／Ｃｂ＿ＭＴＸ処理部７０５で色差データに変換される際、ＩＲ成分の大きさがほぼ等しいのでＩＲ成分が演算により除去されてゼロとなるため、近赤外光成分ＩＲによる着色現象が発生しない。

輝度信号に関しては、Ｙ＿輝度信号７０９、Ｙ＿輝度信号７１０の２種類から選択可能である。これらは演算処理により同時に生成されるため、輝度信号の違いにより、Ｃｒ，Ｃｂの色差データと合わせて２種類のカラー画像を出力することが可能である。この際、輝度信号成分に近赤外光成分ＩＲを含む画像を「擬似カラー画像」と称する。

「可視光カラー画像」を生成する際は、Ｙ＿輝度信号７０９、Ｙ＿輝度信号７１０の２種類の信号から、データ演算処理部７０３で演算出力されたＩＲ成分を減算して、Ｃｒ，Ｃｂの色差データと合わせて出力する。なお、輝度信号のみを出力する場合はモノクロ画像として出力することができる。

以上、本実施形態に係るカラー撮像装置では、２次元の繰り返しパターンで配置された原色と補色を含む４種類の色フィルタの色画素データを用いたマトリクス演算で第１の（青、緑、赤）成分と第２の（青、緑、赤）成分を生成したのち、それぞれにゲイン処理が行われる。そして、白バランス処理では、演算処理により得られた青、緑、赤の各色の成分が４色フィルタの２色の色画素に含まれる成分で合成されているので、高域ノイズ成分に対する２次元のフィルタ効果があり、色バランスと色Ｓ／Ｎが良好で近赤外光成分ＩＲによる着色のない高品質なカラー画像を得るよう調整することができる。

さらに、本実施形態の演算処理は、第１の（青、緑、赤）成分と第２の（青、緑、赤）成分を生成する際に、４種類の画素データに含まれる同一の固定値成分に対しても前記同様の効果を奏し、強い環境光のもとイメージセンサ出力の飽和が発生した画素エリアに対して飽和出力はほぼ同一の固定値成分となるので、着色のない高品質なカラー画像を得ることができる。あわせて、強い環境光のもとブルーミング現象やＣＣＤイメージセンサの出力特有のスミアが発生した画素エリアに対してもブルーミング成分とスミア成分とはほぼ同一の固定値成分となるので、着色のない高品質なカラー画像を得ることができる。加えて、イメージセンサ特有の温度特性課題であるオフセット段差や面内シェーディングが発生した場合も同一の固定値成分として演算処理されるため、同様に着色のない高品質なカラー画像を得ることができる。

また、色バランスと色Ｓ／Ｎが良好で近赤外光成分ＩＲによる着色のない可視光カラー画像、可視光モノクロ画像、色バランスと色Ｓ／Ｎが良好で近赤外光成分ＩＲによる着色のない可視光と近赤外光の両方の成分をふくむ「擬似カラー画像」、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を同時に得ることができる。

さらに、前記構成を用いれば、昼間の逆光条件や夜間の撮像において近赤外のＬＥＤ光源を対象被写体に照射することで、色バランスと色Ｓ／Ｎが良好で、近赤外ＬＥＤ光成分による着色がなく、暗部の明るさ調整された高品質なカラー画像を得ることができる。

さらに、前記構成を用いれば、霧の中の撮像において近赤外のＬＥＤ光源を対象被写体に照射することで、近赤外ＬＥＤ光成分は霧中での光散乱が少ないため、より鮮明で色バランスと色Ｓ／Ｎが良好なカラー画像を得ることができる。

なお、本実施形態において、図２に示した符号２０１の色フィルタの配列構造は、２×２画素の配置に限定されず、ｍ×ｎ（ｍ，ｎは自然数）画素周期で繰り返される配列構造であってもよい。

また、４種類の色フィルタをオンチップで規則的に形成配置するにあたり、図２の符号２０１のＡＢＣＤ配置が、シアン（Ｃｙ）／黄（Ｙｅ）／マゼンダ（Ｍｇ）／緑（Ｇ）の場合と、赤（Ｒ）／緑（Ｇ）／青（Ｂ）／黄（Ｙｅ）の場合と、赤（Ｒ）／緑（Ｇ）／青（Ｂ）／シアン（Ｃｙ）の場合とにおいて、緑（Ｇ）の色フィルタの実装方法としてシアン（Ｃｙ）と黄（Ｙｅ）の２つの色フィルタの積層構造で形成することが望ましい。

緑（Ｇ）の分光特性の境界が、低周波側は黄（Ｙｅ）の特性とほぼ等しく、高周波側はシアン（Ｃｙ）の特性とほぼ等しくなるため、データ演算により得られる赤（Ｒ）／緑（Ｇ）／青（Ｂ）成分が非常に扱いやすくなる。

また、全画素を読み出すことを前提に説明したが、４種類の色データ出力を行うにあたり、イメージセンサ内で同色画素の画素混合を実施し場合には、図１の前処理部１０７で４種類の色画素データの並べ替えを実施して上述したカラー画像処理を実施してもよい。

本開示に係るカラー撮像装置は、昼夜を問わず、近赤外光を含む光源環境において、単板カラーイメージセンサを用いて、高感度でかつ色バランスと色Ｓ／Ｎが良好で近赤外光成分による着色のない高品質なカラー画像と、近赤外画像を同時に撮影取得することができる監視カメラや産業用カメラを提供することができる。

１２ 撮像部
１０３ 光学帯域分離フィルタ
１０５ 撮像素子（イメージセンサ）
７０２ 色分離処理部
７０３ データ演算処理部

Claims (17)

1. 可視光及び近赤外光に感度を有し、各画素に、波長透過特性が調整された原色と補色とを含む４種類の色フィルタを配置したイメージセンサと、
   前記イメージセンサの入射光経路に配置され、オンチップの色フィルタが形成された光センサ部の受光特性で可視光波長帯域の上限から全てのフィルタ色の感度がほぼ揃う近赤外の波長までの所定波長帯域を遮断し、当該遮断された所定波長帯域の短波長側となる可視光帯域と前記感度がほぼ揃う近赤外の波長から更に大きいほうに任意の波長幅を有する長波長側近赤外光帯域との少なくとも２つの帯域を通過させる光学帯域分離フィルタと、
   前記４種類の色フィルタの画素出力から色毎の４種類のデータを分離して出力する色分離処理部と、
   前記４種類の色データからマトリクス演算によって複数種類の赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）データを生成し、当該赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）データ毎に個々のデータの大きさを調整して再合成することにより、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスがとれた、赤（Ｒ）成分、緑（Ｇ）成分、及び青（Ｂ）成分を抽出するデータ演算処理部とを備えている
   ことを特徴とするカラー撮像装置。
2. 請求項１のカラー撮像装置において、
   前記波長透過特性が調整された４種類の色フィルタは、シアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、及び緑（Ｇ）の色フィルタである
   ことを特徴とするカラー撮像装置。
3. 請求項１のカラー撮像装置において、
   前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及びマゼンダ（Ｍｇ）の色フィルタである
   ことを特徴とするカラー撮像装置。
4. 請求項１のカラー撮像装置において、
   前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び黄（Ｙｅ）の色フィルタである
   ことを特徴とするカラー撮像装置。
5. 請求項１のカラー撮像装置において、
   前記波長透過特性が調整された４種類の色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及びシアン（Ｃｙ）の色フィルタである
   ことを特徴とするカラー撮像装置。
6. 請求項１乃至５のいずれか１つのカラー撮像装置において、
   前記データ演算処理部は、複数種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを演算出力するにあたり、近赤外光成分ＩＲを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、及び第１の赤（Ｒ１）と、近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）、第２の緑（Ｇ２）、及び第２の赤（Ｒ２）との、少なくとも２種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを同時に演算出力できる構成を有する
   ことを特徴とするカラー撮像装置。
7. 請求項６のカラー撮像装置において、
   前記データ演算処理部は、環境光色温度の変化に対して前記２種類の青（Ｂ）、緑（Ｇ）、及び赤（Ｒ）のデータを用いて白バランスをとる際、可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）、第１の緑（Ｇ１）、及び第１の赤（Ｒ１）を第１の主たる成分とし、第１の主たる成分に含まれる近赤外光成分ＩＲの大きさがほぼ等しくなるように、それぞれゲイン調整するとともに、近赤外光成分ＩＲをほとんど含まず可視光成分を主たる成分とする第２の青（Ｂ２）成分、第２の緑（Ｇ２）成分、及び第２の赤（Ｒ２）成分のゲイン調整をして、前記ゲイン調整後の第１の主たる成分に、前記ゲイン調整後の第２の青（Ｂ２）成分、第２の緑（Ｇ２）成分、及び第２の赤（Ｒ２）成分を合成する構成をとることで、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスのとれた青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分を演算出力する
   ことを特徴とするカラー撮像装置。
8. 請求項２のカラー撮像装置において、
   可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる青（Ｂ）成分とシアン（Ｃｙ）に含まれる青（Ｂ）成分を任意の比率で合成したものであり、
   可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる赤（Ｒ）成分と黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を任意の比率で合成したものであり、
   可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる緑（Ｇ）成分と緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分を任意の比率で合成したものであり、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はシアン（Ｃｙ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はシアン（Ｃｙ）と黄（Ｙｅ）の色フィルタに含まれる成分からマゼンダ（Ｍｇ）と緑（Ｇ）の色フィルタに含まれる成分を減算した緑（Ｇ）成分を主成分とする
   ことを特徴とするカラー撮像装置。
9. 請求項３のカラー撮像装置において、
   可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、
   可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、
   可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分はマゼンダ（Ｍｇ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、
   近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はマゼンダ（Ｍｇ）と緑（Ｇ）の色フィルタに含まれる成分から赤（Ｒ）と青（Ｂ）の色フィルタに含まれる成分を減算した緑（Ｇ）成分を主成分とする
   ことを特徴とするカラー撮像装置。
10. 請求項４のカラー撮像装置において、
    可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、
    可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、
    可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は黄（Ｙｅ）の色フィルタに含まれる赤（Ｒ）成分を主成分とし、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分は黄（Ｙｅ）の色フィルタに含まれる緑（Ｇ）成分を主成分とし、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分は青（Ｂ）と黄（Ｙｅ）の色フィルタに含まれる成分から赤（Ｒ）と緑（Ｇ）の色フィルタに含まれる成分を減算した青（Ｂ）成分を主成分とする
    ことを特徴とするカラー撮像装置。
11. 請求項５のカラー撮像装置において、
    可視光成分と近赤外光成分ＩＲとを含む第１の青（Ｂ１）に含まれる青（Ｂ）成分は青（Ｂ）の色フィルタに含まれる青（Ｂ）成分であり、
    可視光成分と近赤外光成分ＩＲとを含む第１の赤（Ｒ１）に含まれる赤（Ｒ）成分は赤（Ｒ）の色フィルタに含まれる赤（Ｒ）成分であり、
    可視光成分と近赤外光成分ＩＲとを含む第１の緑（Ｇ１）に含まれる緑（Ｇ）成分は緑（Ｇ）の色フィルタに含まれる緑（Ｇ）成分であり、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の青（Ｂ２）に含まれる青（Ｂ）成分はシアン（Ｃｙ）の色フィルタに含まれる青（Ｂ）成分を主成分とし、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の緑（Ｇ２）に含まれる緑（Ｇ）成分はシアン（Ｃｙ）の色フィルタに含まれる緑（Ｇ）成分を主成分とし、
    近赤外光成分ＩＲをほとんど含まず可視光成分を主成分とする第２の赤（Ｒ２）に含まれる赤（Ｒ）成分は赤（Ｒ）とシアン（Ｃｙ）の色フィルタに含まれる成分から緑（Ｇ）と青（Ｂ）の色フィルタに含まれる成分を減算した赤（Ｒ）成分を主成分とする
    ことを特徴とするカラー撮像装置。
12. 請求項１乃至１１のいずれか１つのカラー撮像装置において、
    前記データ演算処理部は、さらに近赤外光成分ＩＲのデータを抽出する演算機能を合わせて有し、色分離された近赤外光成分ＩＲを含む４種類の色フィルタのデータのうち、可視光帯域成分がほぼ等しくなるｎ＋１（ｎは自然数）画素分の組み合わせ加算データとｎ画素分の組み合わせ加算データとの減算処理を行うことで、近赤外光成分ＩＲの主成分を出力する
    ことを特徴とするカラー撮像装置。
13. 請求項１乃至１２のいずれか１つのカラー撮像装置において、
    前記イメージセンサは、画素毎の全画素読み出しが可能に構成されている
    ことを特徴とするカラー撮像装置。
14. 請求項１乃至１２のいずれか１つのカラー撮像装置において、
    前記イメージセンサは、４色の色画素毎に近傍の２画素以上の同色画素成分を加算して読み出しが可能に構成されている
    ことを特徴とするカラー撮像装置。
15. 請求項２、４及び５のいずれか１つのカラー撮像装置において、
    前記４種類の色フィルタをオンチップで規則的に形成配置するにあたり、緑（Ｇ）の色フィルタは、シアン（Ｃｙ）と黄（Ｙｅ）との２つの色フィルタの積層構造で形成する
    ことを特徴とするカラー撮像装置。
16. 請求項２および８のいずれか１つのカラー撮像装置において、
    前記波長透過特性を調整された４種類のシアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、緑（Ｇ）の色フィルタを前記イメージセンサの各画素に２×２画素周期で繰り返し配置するにあたり、マゼンダ（Ｍｇ）と緑（Ｇ）とが対角に位置し、かつシアン（Ｃｙ）と黄（Ｙｅ）とが対角に位置するとともに、マゼンダ（Ｍｇ）と緑（Ｇ）とをあわせた配置、ならびにシアン（Ｃｙ）と黄（Ｙｅ）とをあわせた配置がそれぞれ市松状の配置になる
    ことを特徴とするカラー撮像装置。
17. 可視光及び近赤外光に感度を有し、各画素に、波長透過特性が調整された原色と補色とを含む４種類の色フィルタを配置したイメージセンサで受光するステップと、
    前記イメージセンサの入射光経路に配置され、オンチップの色フィルタが形成された光センサ部の受光特性で可視光波長帯域の上限から全てのフィルタ色の感度がほぼ揃う近赤外の波長までの所定波長帯域を遮断し、当該遮断された所定波長帯域の短波長側となる可視光帯域と前記感度がほぼ揃う近赤外の波長から更に大きいほうに任意の波長幅を有する長波長側近赤外光帯域との少なくとも２つの帯域を通過させるステップと、
    前記４種類の色フィルタの画素出力から色毎の４種類のデータを分離して出力するステップと、
    前記４種類の色データからマトリクス演算によって複数種類の赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）データを生成し、当該赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）データ毎に個々のデータの大きさを調整して再合成することにより、ほぼ等しい近赤外光成分を有してかつ可視光成分の色バランスがとれた、赤（Ｒ）成分、緑（Ｇ）成分、及び青（Ｂ）成分を抽出するステップとを備えている
    ことを特徴とするカラー撮像方法。

Images