JP2008289000A

JP2008289000A - 画像入力処理装置、および、その方法

Info

Publication number: JP2008289000A
Application number: JP2007133245A
Authority: JP
Inventors: Hajime Numata; 肇沼田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-05-18
Filing date: 2007-05-18
Publication date: 2008-11-27

Abstract

【課題】簡単な演算で正確かつ直接に画素データからＩＲ成分の分離を行う。
【解決手段】光学帯域分離フィルタ１Ａと、２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性を有する４色配置の色フィルタ２Ａを備え、撮像信号を発生する撮像デバイス２と、撮像信号の画素データを、４色の色ごとに分離するデータ分離部５４１と、分離後の４色の画素データ間で、４色配置に基づく可視光領域の等価性を利用した減算によって、ＩＲ分離を行う赤外（ＩＲ）分離部５４８と、を有する。
【選択図】図１

Description

本発明は、近赤外光成分を含む被写体からの光（像）を撮像し、得られた撮像信号の画像データから近赤外光成分を分離する画像入力処理装置、および、その方法に関する。

人間の色や明るさに対する感度特性は、可視光領域に感度を持つ。可視光領域は定義が様々であるが、一般には、７００乃至７５０［nm］付近（例えば７８０［nm］）を上限とし、４００［nm］弱（例えば３８０［nm］）を下限とする電磁波の波長領域である。可視光領域に隣接した赤外領域を近赤外領域といい、この領域は、７００乃至８００［nm］の下限から、１.５乃至３[μm]（例えば２.５[μm]）の上限までの電磁波の波長領域である。
ただし、人間の目は約７００［nm］より長波長側では殆ど感度を有さない。また、近赤外光は、色再現性を低下させるなどの弊害があるため、通常、撮像デバイスに被写体からの光（像）を制御する光学部品内に赤外線遮断フィルタ（赤外カットフィルタ）が設けられる。

撮像デバイス自体は赤外光にも感度を有するため、夜間撮影や監視用の高感度カメラ装置では可視光から赤外光まで広い帯域の光（像）を撮像する。
蛍光灯や電球等の照明（光源）の違いにより、また、太陽光でも時刻によって含まれる赤外光が含まれる割合が異なるため、そのような撮影環境の変化に適応して赤外線を遮断すべきかどうかが決まる。

以上の要請に応え、撮影環境を選ばないカメラ装置を実現するために、入力光学系に回転式の波長分解光学系を使い、可視光と赤外光を同一の撮像素子で受光する技術が知られている（例えば、特許文献１参照）。
この技術では、たとえば、入射光路に対する赤外カットフィルタの挿入と抜出を回転機構等により切り替えて行ない、赤外カットフィルタを挿入している場合は近赤外光および赤外光の影響のない可視光カラー画像を、赤外カットフィルタを抜き出している場合は可視光および近赤外光の光強度を加算した画像を、それぞれ出力する。

近赤外光が加算された画像は、色再現性は低いが物体認識に適した画像であり、この画像を取得可能な機構と、人の目に見えない赤外光の照射機構とを組み合わせると、夜間でもくっきりとした画像が得られる監視カメラ装置が実現できる。監視カメラ装置では、昼間は赤外カットフィルタを入射光路から外して用いる。

一方、赤外カットフィルタを用いることなく、近赤外光が入射されたときに、撮像画像で色再現性を向上させる色補正回路が知られている（例えば特許文献２参照）。
特許文献２に記載された技術では、処理回路内に設けられている分光感度補正手段が、撮像信号の分光感度特性を変化させてＩＲ成分分離を行い、その前後の信号からＩＲ成分を抽出する。分光感度補正手段は、単にＩＲ成分を除去するだけでは色再現性が低下するので、色再現性を改善するためマトリクス演算で、ＩＲ分離後の赤(Ｒ),緑(Ｇ),青(Ｂ)の各色データを、ターゲット（例えば、正常色覚者の等色関数）の色バランスに合わせる処理を行っている。現在の色とターゲットとの近似性を知るには、最小二乗法などが用いられる。

色フィルタの色配置に関し、色配置の繰り返し単位を４色の画素で構成した４色配置の撮像デバイスが知られている（例えば特許文献３参照）。
特許文献３には、赤(Ｒ),緑(Ｇ),青(Ｂ)の３原色の透過フィルタと、赤外領域に感度を持ち、赤外光を透過する赤外通過フィルタとから、繰り返し最小単位（画素ユニット）が構成されているカラーフィルタが開示されている。そして、特許文献３には、赤外通過フィルタは白(Ｗ)のフィルタであってよいことが記載されている。

この場合、白の画素からは白の可視光成分（以下、Ｗと表記）と赤外光成分（以下、ＩＲと表記）を加算した（Ｗ＋ＩＲ）の画素データが出力される。
このような（Ｗ＋ＩＲ）の画素データは、情報量が多いためエッジ検出に有用である（例えば特許文献４参照）。
特開平０９−１６６４９３号公報特開２００５−３５４４５７号公報特開２００５−００６０６６号公報特開２００６−１８０２６９号公報

光の分光特性において、可視光成分の波長領域と、近赤外光成分の波長領域は周波数として連続しており、そのため、可視光成分を変化させることなく、近赤外光成分のみ除去することを、ローパスフィルタ等の回路的な手段で行うことは困難である。

前記特許文献２は、このＩＲ成分の除去を「分光感度補正手段」により行い、その前後でＩＲ成分が含まれる割合を検出して、赤外透視撮影が行われているかを検出するものである。
この方法で検出されたＩＲ成分比は、上記周波数が連続性しているという理由から正確ではないが、赤外透視撮影の検出の目的では十分であると考えられる。また、分光感度補正手段から出力されるＩＲ除去後の色信号は、ＩＲ分離による影響で可視光の色成分が、元の撮像信号に含まれる可視光の色成分と異なってしまう。

そこで、特許文献２に記載の技術では、複雑なマトリクス演算を駆使して、色の合わせこみを行っているが、回路規模や演算の負担が大きい割には、色の合わせこみである以上、精度を欠くという不利益がある。

本発明は、簡単な演算で正確かつ直接に画素データからＩＲ成分の分離が行える画像入力処理装置を実現するためのものである。

本発明に係る画像入力処理装置は、光学帯域分離フィルタと、撮像デバイスと、データ分離部と、赤外分離部とを有する。
光学帯域分離フィルタは、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる。
撮像デバイスは、色フィルタを備え、前記光学帯域分離フィルタおよび前記色フィルタを透過してきた被写体からの光（像）を撮像し、撮像信号を発生する。この色フィルタ（の繰り返し基本単位）は、２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性を有する４色配置となっている。
データ分離部は、前記撮像信号の前記４色配置に対応する画素データを、４色の色ごとに分離する。
前記赤外分離部は、前記分離後の４色の画素データ間で、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する。

本発明では、第１色と第２色との差分が特定の原色を表し、前記第１色と前記第２色の組み合わせを変えた差分の取り方によって３原色全てを表現可能な４色配置の色フィルタを備えてよい。また、４色配置の１色が白であると望ましい。
１色が白の場合に４色配置の構成として、「１補色＋２原色＋白(Ｗ)」、「２補色＋１原色＋Ｗ」、「３補色＋Ｗ」、あるいは、「３原色＋Ｗ」などが採用できる。

本発明では好適に、前記赤外分離部は、白または補色の１色と、補色または原色の２色または３色とで、前記等価な可視光成分が減算により相殺されるような色の組み合わせが構成され、前記１色の組と、前記２色または３色の組の一方から、他方の組内の１色を減算することによって、前記近赤外光成分が除去された３つの原色データを算出し出力する。
近赤外光成分を得たい場合、さらに好適に、前記赤外分離部は、前記算出された３つの原色データの何れかを、前記データ分離部からの画素データから減算することを含む演算により、前記近赤外光成分を抽出し出力する。

あるいは、本発明では好適に、前記赤外分離部は、１色と、２色または３色とで、前記可視光成分が相殺されるように減算を行うことによって、前記画素データから前記近赤外光成分を抽出して出力する。
３原色のデータを得たい場合、さらに好適に、前記データ分離部からの画像データから、前記抽出された近赤外光成分を減算することを含む演算により、前記近赤外光成分が除去された３つの原色データを算出する。

本発明では、画素が飽和することによる色変化防止のための構成をさらに追加することが望ましい。

以上の構成において、本発明の画像入力処理装置は光学帯域分離フィルタを備え、光学帯域分離フィルタは、入射光に対して、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる。

当該光学帯域分離フィルタ、撮像デバイス自身、または、撮像デバイスが赤外カットフィルタを備える場合（但し、この要件は本発明では必須でない）の当該赤外カットフィルタは、通常、近赤外光がある波長から長波長側で色が異なっても等価な感度特性（透過分光特性）となる。これはデバイスの半導体材料、フィルタ材料の物性的限界（例えば飽和性）に起因すると考えられる。
一方、人間の目は、近赤外光領域でも約７００［nm］以上では殆ど感度を有さない。上記した色が異なっても等価な感度特性となる周波数下限は、７００［nm］より大きく、両者間の周波数領域は色ごとに感度が異なる。

本発明で上記光学帯域分離フィルタは、例えば、このように人の目では殆ど感度を有さないが色ごとに感度が異なる特定波長帯域を遮断させ、当該所定波長帯域の短波長側および長波長側の帯域を通過させることにより、入射光を２つの帯域に分離する。その帯域分離機能を上手に利用すると、光学帯域分離フィルタ通過後の長波長側の帯域で、色間で近赤外光成分が等価となる。

光学帯域分離フィルタ通過後の光は撮像デバイスの色フィルタに入射される。色フィルタは、上述したような４色配置を有している。色フィルタを透過した光が撮像デバイスの受光部で光電変換され、撮像信号が出力される。撮像信号はデータ分離部で色ごとの４色画素データに分離された後、赤外分離に入力される。
赤外分離部は、当該４色の画素データ間で演算を行う。このとき赤外分離部は、上記色フィルタの４色配置の特徴、即ち「２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性」と、分離後の２帯域の長波長側で近赤外光成分が等価にできる構成とを利用する減算を行うことによって、画素データから長波長側帯域の近赤外光成分を分離する。

赤外分離部は、近赤外光成分を分離して出力することもできるし、近赤外光成分を除去した３原色データを出力することもできる。
近赤外光成分の分離は、上記等価性を示す２つの色の組（１色と２色、１色と３色の組み合わせ）間で行う減算により等価な可視光成分が相殺されることで達成できる。また、近赤外光成分を除去した３原色データは、１色と、２色または３色とで、可視光成分が相殺されるように減算を行うことによって達成できる。

本発明に係る他の画像入力処理装置は、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる光学帯域分離フィルタと、補色系４色（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）の色フィルタを備え、前記光学帯域分離フィルタおよび前記色フィルタを透過してきた被写体からの光（像）を撮像し、撮像信号を発生する撮像デバイスと、前記撮像信号の前記補色系４色に対応する画素データを、色ごとに分離するデータ分離部と、前記分離後の４色の画素データ間で減算を行うことによって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する赤外分離部と、を有する。

本発明に係る画像入力処理方法は、入射光に対して、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させるステップと、色フィルタにより色分離と撮像を行うステップと、前記撮像により得られた撮像信号を、色ごとの画素データを分離するステップと、前記色ごとの画素データから、前記長波長側帯域の近赤外光成分を分離するステップと、を含み、前記色フィルタとして、２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性を有する４色配置の色フィルタを用い、前記近赤外光成分の分離ステップで、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する。

本発明によれば、簡単な演算で正確かつ直接に画素データから近赤外光成分の分離を行うことができるという利益が得られる。

以下、本発明の実施形態を、図面を参照して説明する。
《第１実施形態》
図１は、本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。
当該カメラ装置が、本発明の「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体としたデジタルスチルカメラ、ビデオカメラまたはデジタルスチルカメラの機能を備える他の電子機器の何れでもよい。

図解するカメラ装置は、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの画素信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの画素信号をデジタル信号にＡ／Ｄ変換し、デジタルの映像信号として各種信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、信号処理部４、混合回路（ＹＣ＿ＭＩＸ）９、および、各種信号処理がされた映像信号をアナログ信号にＤ／Ａ変換し、ビデオ信号１４として出力するＤＡコンバータ（ＤＡＣ）１２を有する。

光学部品１は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１内に含まれる。

撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２は、光センサの画素をマトリックス状に多数配置させた画素アレイと、当該画素アレイの撮像面の光入射側に、隣接した数個の光センサの集合（画素ユニット）で一定の配列となるように形成された色フィルタ２Ａまたはオンチップ・多層フィルタ２Ｂとを有している。

図１に示すカメラ装置は、光学帯域分離フィルタを含む。
光学帯域分離フィルタ１Ａは、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる帯域分光特性を有する。
図１（Ａ）に示すように、光学帯域分離フィルタ１Ａを撮像デバイス２とは別に、例えば光学部品１内に設けることができる。この場合、撮像デバイス２の受光部の光入射側に色フィルタ２Ａが形成されている。
あるいは、図１（Ｂ）に示すように、撮像デバイス２の受光部の光入射側に形成されているオンチップ・多層フィルタ２Ｂに、色フィルタとともに光学帯域分離フィルタを一体形成してよい。

図２（Ａ）に、白(Ｗ)画素を含む原色系ＣＣＤデバイスの分光特性を示す。また、図２（Ｂ）に、白(Ｗ)画素を含む補色系ＣＣＤデバイスの分光特性を示す。これらのグラフは、横軸が入射光の波長を示し、縦軸が、白(Ｗ)画素出力のピークを「１」とした場合の相対的な透過率を示す。
撮像デバイスは、近赤外光領域の下限（７００〜８００［nm］）より周波数が高い領域でも、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のそれぞれで感度を有することが図２から分かる。近赤外光領域は定義に幅があるが、一般には７５０〜７８０［nm］付近以上が近赤外光領域とされる。

図２（Ａ）に分光特性を示す原色系ＣＣＤデバイスは、波長が８００［nm］を少し超える付近から長波長側、例えば８２０［nm］以上で、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)の感度がほぼ揃ってくる。
これに対し、図２（Ｂ）に分光特性を示す補色系ＣＣＤデバイスは、波長が８５０［nm］付近から長波長側で、Ｙｅ(黄),Ｃｙ(シアン),Ｍｇ(マゼンダ),Ｇ(緑)およびＷ(白)の感度がほぼ揃ってくる。
このように撮像デバイスで色感度が長波長側で揃うのは半導体の物性に起因するが、色が揃う領域の下限の波長は、図示のように原色系か補色系の装置、また、撮像デバイスの種類によって異なる。

一般には、撮像デバイスの光入射側の光学部品として赤外カットフィルタが配置される。人の目が殆ど感度を有しない７００［nm］付近以上の可視光領域と近赤外光領域を、ほぼ透過率０に近くまで減衰させるために、赤外カットフィルタの遮断波長は、６５０［nm］付近に設定される。
本実施形態では、そのような赤外カットフィルタを用いずに、図１に示すように光学帯域分離フィルタを用いる。

図３（Ａ）に、光学部品の１つとして撮像デバイス２とは別に設けられている光学帯域分離フィルタ１Ａ（図１（Ａ））の分光特性を示す。また、図３（Ｂ）に、撮像デバイス２のオンチップ・多層フィルタ２Ｂに含まれる光学帯域フィルタ（図１（Ｂ））の分光特性を示す。
これらのグラフは、横軸を波長［nm］、縦軸を透過率（１を１００[％]透過とする）にとったものである。

光学部品の光学帯域分離フィルタ１Ａの場合、図３（Ａ）に示すように、透過率が１から２〜３割低下した箇所で遮断波長を定義すると、遮断帯域が、約６５０〜８２０［nm］の波長範囲となる。この遮断帯域よりも短波長側が可視光の通過帯域、長波長側が近赤外光の通過帯域となっている。この分光特性の光学帯域分離フィルタ１Ａを通過した光を、実際に撮像デバイス２で受光すると、遮断帯域幅の、例えば７００［nm］付近から８２０［nm］付近の光が遮断される。
この遮断帯域の波長範囲は、図２（Ａ）に示す原色系ＣＣＤデバイスの色間で感度が揃う長波長領域の下限（８２０［nm］）に対応したものである。

一方、オンチップ・多層フィルタの場合、図３（Ｂ）に示すように、多層膜の影響で周期的な変動が大きく、かつ、急峻な遮断帯域が形成できにくい。通常、オンチップ・多層フィルタでは長波長側の制御が困難であり、図示のように、長波長側の遮断帯域が９００［nm］付近となっている。但し、この分光特性の光学帯域分離フィルタ１Ａを通過した光を、実際に撮像デバイス２で受光すると、遮断帯域幅より内側の、例えば７００［nm］付近から８５０［nm］付近の光が遮断される。つまり、この遮断帯域の波長範囲は、図２（Ｂ）に示す補色系ＣＣＤデバイスの色間で感度が揃う長波長領域の下限（８５０［nm］）に対応したものである。

これら図３（Ａ）および図３（Ｂ）の分光特性は、使用する撮像デバイスに対応して設計されている。つまり、図２（Ａ）と図２（Ｂ）に示す撮像デバイスの分光特性で、８２０［nm］付近以上または８５０［nm］付近以上の長波長側で色間の感度がほぼ揃うことに着目し、実デバイスで８２０［nm］付近以上または８５０［nm］付近以上の近赤外光成分が通過可能に、フィルタ分光特性が設計されている。
図２および図３は一例であり、デバイスの分光特性が変われば、それに適合した光学帯域通過フィルタの特性となるように変更を加えてよい。また、色フィルタの色配置の詳細は後述するが、原色系画素と補色系画素が混在する場合には、色が揃う波長下限がより大きな補色系画素に対応する８５０［nm］付近以上で近赤外光成分が通過可能に、フィルタ分光特性が設計される。

撮像デバイス２がＣＣＤセンサの場合、図１に示すように、撮像デバイス２にタイミングジェネレータ（ＴＧ）１３が接続されている。撮像デバイス２は、ＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。
ＴＧ１３は、これらのタイミング制御のための信号を、マイクロコンピュータ１０の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２がＣＭＯＳセンサの場合、ＴＧ１３の機能は撮像デバイス２内に持たせることができる。

色フィルタ２Ａは、少なくとも４色の色が光センサ（画素）ごとに割り当てられている。本発明の実施形態では、画素アレイの繰り返し基本単位となる、隣接した数個の画素の集合を画素ユニットと称する。本実施形態では、４色以上の色が１画素ユニットに配置されている。後述する赤外分離の演算のためには、少なくとも４色が必要であるため、４色以上を要件とするが、不必要に色が多くすると画素ユニットの占有面積が大きく解像度が低下するため、４色配置が望ましい。以下、４色配置を前提とする。なお、色の組み合わせと、色データの用い方（演算方法）については後で詳しく述べる。

撮像デバイス２からの画素信号（アナログ信号）が入力されるＡＦＥ回路３は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（ＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。

ＡＤＣ５は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。このデジタル信号は、画素ごとに上記所定ビットの階調値を有する画素信号列が含まれる。例えば、ＡＤＣ５から出力されるデジタル信号には、Ａ画素信号と他の色の画素信号とが交互に配置された画素信号列が含まれる。

信号処理部４は、ＡＤＣ５からのデジタルの撮像信号を処理する本実施形態の特徴的処理を行う部分として、データ分離部５４１と赤外分離部５４８を含む。
データ分離部５４１は、デジタルの撮像信号の４色配置に対応する画素データを、４色の色ごとに分離する回路である。
赤外分離部５４８は、分離後の４色の画素データ間で、４色配置に基づく減算によって、光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する回路である。
データ分離部５４１と赤外分離部５４８の、さらに詳細な機能および動作については後述する。

信号処理部４は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。信号処理部４は、ＡＤＣ５とＤＡＣ１２間に接続され、前述したデータ分離や赤外分離の他に、各種信号処理を行う。各種信号処理としては、信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等が例示できる。信号処理部４とＤＡＣ１２との間に、処理後の輝度信号と色信号の混合回路９が接続されている。信号処理部４と混合回路９を含めて信号処理部４としてよく、また、ＩＣ化またはモジュール化をしてよい。

つぎに、４色配置の色の組み合わせと、その組み合わせごとに、赤外分離部５４８が行う演算の内容について説明する。
以下に述べるように、赤外分離部５４８は減算を含む簡単な演算を実行するのみであり、マイクロコンピュータ１０とプログラムの機能から実現してよいし、専用回路でもよい。ただし、マイクロコンピュータ１０の処理負担が増えると望ましくなく、マイクロコンピュータ１０で行う場合は割り込み処理なので、処理同期の取りにくいため、減算器等を含むロジック回路で赤外分離部５４８を実現する方が望ましい。赤外分離部５４８の回路は簡単な加減算を行うのみであるため、以下の説明では、回路図を図示することなく、演算式で構成図の代用にする。

図４に、４色配置における色の組み合わせを分類した図表を示す。図５は、本実施形態に関わる画像入力処理方法の手順を示すフローチャートである。
図５に示すステップＳＴ１で、図１（Ａ）の光学帯域分離フィルタ１Ａ、または、図１（Ｂ）のオンチップ・多層フィルタ２Ｂ内の光学帯域分離フィルタによって、被写体からの光（像）を、低波長側の可視光帯域と、長波長側の近赤外光帯域とに分離する（図３参照）。

続いて、図５に示すステップＳＴ２で、４色配置の色フィルタ２Ａ（図１（Ａ））またはオンチップ・多層フィルタ２Ｂ内の４色配置の色フィルタによって、色分離のための色フィルタリングを行って撮像デバイス２の受光部で撮像する。
撮像により、上記４色配置に対応する順序で画素データを含む撮像信号が、撮像デバイス２から出力される。

その後、撮像信号に対し、図１（Ａ）に示すＡＦＥ回路３で所定のアナログ信号処理が施され、ＡＤＣ５でデジタルの撮像信号（所定ビットの階調値の直列符号）に変換され、信号処理部４に入力される。
信号処理部４では、必要な処理が行われた後に、図５に示すステップＳＴ３で、データ分離部５４１（図１）によって、デジタルの撮像信号が色ごとの画素データに分離される。つまり、４色配置では、４つの色ごとの画素データが当該データ分離部５４１から出力される。

図５に示すステップＳＴ４で、４つの色ごとの画素データ間で所定の演算を実行して赤外分離を行う。ここで「赤外分離」とは、画素データから近赤外光成分（ＩＲ成分）を抽出して、「ＩＲ成分のみ出力する」、「ＩＲ成分が除去された色データのみ出力する」、「その両方を出力する」、の３通りの意味を含む。その何れの意味であるかは、赤外分離後のデータを用いる処理内容に依存する。例えば、ＩＲ成分の大きさを知りたいために当該赤外分離を行う場合は、ＩＲ成分のみを出力する。一方、例えば、ＩＲ成分を除去して色補正を行う場合は、ＩＲ成分が除去された色データのみを出力する。また、例えば、色補正の他に、ＩＲ成分を別の目的で用いる場合には、ＩＲ成分と、ＩＲ成分が除去された色データを別々に出力する。

上記処理方法において、ステップＳＴ２で行う色フィルタリングでは、図４に示すような種々の色の組み合わせが考えられる。
ここで画素信号に含まれるＩＲ成分は、厳密には色ごとに異なるが、前述したように光学帯域分離の近赤外光帯域ではほぼ等しい（等価）とみなすことができ、画素信号に含まれるこの等価なＩＲ成分を「(ir)」で表記する。また、補色とはＹｅ,Ｃｙ,Ｍｇの何れかを指す。

図４の色の組み合わせでは、補色系「Ｙｅ,Ｃｙ,Ｍｇ,Ｇ」を除く全てが、「２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる」という定義の等価性を満たす。以下、図４の色の組み合わせと等価性、ならびに、その色の組み合わせにおける赤外分離時の演算について、順次説明する。

＜１補色＋２原色＋白＞
１つの補色と、２つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｒ,Ｇ,Ｗ」「Ｃｙ,Ｂ,Ｇ,Ｗ」「Ｍｇ,Ｂ,Ｒ,Ｗ」の３通りがある。
例えば「Ｙｅ,Ｒ,Ｇ,Ｗ」では、画素データ分離後の（Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。同様に、他の２通りも、この要件を満たし等価性を満足する。

図６（Ａ）に、撮像デバイス２の「１補色＋２原色＋白」の４色配列例（「Ｙｅ,Ｒ,Ｇ,Ｗ」）を示す。
ここで重要なのは色の組み合わせであり、どの色成分を最も多く配置するかは問わない。但し、白(Ｗ)データは、３原色データの和（＝Ｒ＋Ｇ＋Ｂ）と等価であるため情報量が最も多く高感度画素信号として、例えばエッジ検出や輝度信号の発生に有用である。よって、最も高感度画素となる色を、より多く配置することが望ましい。なお、より高感度とするには、白(Ｗ)のみ等価ＩＲ成分(ir)を除去しないで、次段の処理に供給することが望ましい。

図６（Ｂ）に、当該「Ｙｅ,Ｒ,Ｇ,Ｗ」の色フィルタをオンチップ・多層フィルタ２Ｂ内に有する撮像デバイス２（図１（Ｂ））からの撮像信号の色分光特性を示す。
図解した色分光特性の撮像信号は、光学帯域分離フィルタと色フィルタとを透過して撮像（光電変換）することにより得られたものである。ただし、オンチップ・多層フィルタ２Ｂの分光特性は、撮像デバイス２に積層することが可能な膜材料、膜厚、積層方法等の制限から、図３（Ｂ）に示すように遮断帯域（波長；６５０〜８５０［nm］）で完全な遮断特性が得られない。よって、図６（Ｂ）に示すように、撮像信号における色分光特性において、波長７００〜８００［nm］付近ではＧ(緑)と他の色との感度が多少異なっている。しかし、８００［nm］付近以上の波長では、図３（Ｂ）に示すように透過率を上昇させて、図２に示す色間の感度が揃う撮像デバイスの特性をよく反映させることによって、色間の感度のばらつきをほぼ無くした特性が実現できている。
本実施形態では、この点に着目して画素データ間で、以下のようにしてＩＲ光成分のキャンセルを行う。

図１（Ａ）に示すデータ分離部５４１が、撮像デバイス２からの撮像信号を、色ごとの画素データに分離した後、赤外分離部５４８が、次式(1-1)〜(1-3)に示す減算を実行する。

［数１］
(Ｙｅ＋(ir))−(Ｇ＋(ir))＝Ｒ…(1-1)
(Ｙｅ＋(ir))−(Ｒ＋(ir))＝Ｇ…(1-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ…(1-3)

この式から分かるように、単に２色間の減算によって等価ＩＲ成分(ir)がキャンセルされる。
一方、等価ＩＲ成分(ir)を抽出したい場合は、画素データ(Ｒ＋(ir))から上記(1-1)で求めたＲデータを減算する、あるいは、画素データ(Ｇ＋(ir))から上記(1-2)で求めたＧデータを減算する。

図７に、赤外分離演算後の３原色データの色分光特性を示す。
図７から、特に８００［nm］以上ではＩＲ光成分がほぼ完全にキャンセルされ、７００〜８００［nm］の境界領域でも色間のばらつきは十分押さえられている。この境界領域で人間の色感度はほとんどなく、直接色のばらつきは認識できない。また、ＩＲ光成分がほぼキャンセルされていることから色にオフセットがかかって全体が白っぽくなることが有効に防止された色補正がなされている。

ところで、図２（Ｂ）に特性を示すオンチップ・多層フィルタ２Ｂ（図１（Ｂ））は、一般に、生産ロット、半導体基板上の撮像デバイス２の位置、撮像デバイス２内の画素の位置などに依存してばらつくことが知られている。また、オンチップ・多層フィルタ２Ｂが形成された撮像デバイス２の特性、画素の特性によっても、得られる撮像信号の特性が多少なりともばらつく。しかし、１枚のウエハに形成された１つの撮像デバイス２内で、隣り合う画素のバラツキは無視できるほど小さい。したがって、画素ユニット内における４色配置の画素間のデータ間では、前述した式(1-1)〜(1-3)に示す演算が常に有効となる。

図８（Ａ）に、低色温度（３０００[Ｋ]）の光源下での撮像で得た撮像信号の色分光特性を示し、図８（Ｂ）に、図８（Ａ）に示す特性の撮像信号をデータ分離し、前記式(1-1)〜(1-3)に従う減算を行った後の画素データの色分光特性を示す。
また、図９（Ａ）に、ＬＥＤ照明による撮像で得た撮像信号の色分光特性を示し、図９（Ｂ）に、図９（Ａ）に示す特性の撮像信号をデータ分離し、前記式(1-1)〜(1-3)に従う減算を行った後の画素データの色分光特性を示す。

図８および図９から、光源の種類に応じて可視光の感度が大きく異なり、近赤外光でも感度レベルが異なるが、上記図で破線の楕円により示すように、光源を問わず約８００［nm］以上のＩＲ成分がキャンセルできることが分かる。
図８の光源下での撮像時に、図９に示す補助照明を用いて被写体を照らし、可視光での感度を増大させ信号の高感度化を図る応用が可能である。この場合でも、図８と図９から、ＩＲ成分のキャンセルが有効に働くことが容易に類推できる。

以上は、図４の図表における最初の「１補色＋２原色＋白」の例として「Ｙｅ,Ｒ,Ｇ,Ｗ」についての処理と、その効果についての記述であるが、演算式が異なるが処理の基本と、ＩＲ成分キャンセルの理由は他の色組み合わせでも共通する。また、光源を選ばずにＩＲ成分のキャンセルが可能なこと、ＬＥＤ補助照明を行ってもＩＲ成分キャンセルが有効に働くことは、色の組み合わせを問わず同様である。よって、以下、図４のその他の色組み合わせについて、主に、色組み合わせが等価性を満足することと、演算式とを列挙し、幾つかの色組み合わせについては、演算前後の特性グラフを示す。

＜２補色＋１原色＋白＞
２つの補色と、１つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｃｙ,Ｒ,Ｗ」「Ｙｅ,Ｃｙ,Ｂ,Ｗ」「Ｙｅ,Ｍｇ,Ｇ,Ｗ」「Ｙｅ,Ｍｇ,Ｂ,Ｗ」「Ｃｙ,Ｍｇ,Ｒ,Ｗ」「Ｃｙ,Ｍｇ,Ｇ,Ｗ」の６通りがある。
例えば「Ｙｅ,Ｃｙ,Ｒ,Ｗ」では、画素データ分離後の（Ｃｙ(＝Ｂ＋Ｇ)＋(ir)）データと（Ｒ＋(ir)）データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。同様に、他の５通りも、この要件を満たし等価性を満足する。

演算式は次式(2-1)〜(2-3)で３原色データを求める際に等価ＩＲ成分(ir)をキャンセルする。求めた原色データを使って等価ＩＲ成分(ir)を求めるには次式(2-4)を、原色データを求めることなく最初から等価ＩＲ成分(ir)を求める場合は等価性を利用した次式(2-5)を、それぞれ用いる。

［数２］
(Ｗ＋(ir))−(Ｃｙ＋(ir))＝Ｒ …(2-1)
(Ｃｙ＋(ir))−(Ｒ＋(ir))＝Ｇ …(2-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ …(2-3)
(Ｒ＋(ir))−Ｒ＝(ir) …(2-4)
{(Ｃｙ＋(ir))＋(Ｒ＋(ir))}−(Ｗ＋(ir))＝(ir)…(2-5)

＜３補色＋白＞
３つの補色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｃｙ,Ｍｇ,Ｗ」の１通りがある。
「Ｙｅ,Ｃｙ,Ｍｇ,Ｗ」では、画素データ分離後の(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データと（Ｃｙ(＝Ｂ＋Ｇ)＋(ir)）データと(Ｍｇ(＝Ｂ＋Ｒ)＋(ir))データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「３色の和が他の１色の２倍と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。

演算式は次式(3-1)〜(3-3)を用い、３原色データを求める際に等価ＩＲ成分(ir)をキャンセルする。原色データを求めることなく最初から等価ＩＲ成分(ir)を求める場合は等価性を利用した次式(3-4)を用いる。

［数３］
(Ｗ＋(ir))−(Ｃｙ＋(ir))＝Ｒ …(3-1)
(Ｗ＋(ir))−(Ｍｇ＋(ir))＝Ｇ …(3-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ …(3-3)
［{(Ｙｅ＋(ir))＋(Ｃｙ＋(ir))＋(Ｍｇ＋(ir))}−(Ｗ＋(ir))］／２＝(ir)…(3-4)

＜３原色＋白＞
３つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｒ,Ｇ,Ｂ,Ｗ」の１通りがある。
「Ｒ,Ｇ,Ｂ,Ｗ」では、画素データ分離後の(Ｒ＋(ir))データと（Ｇ＋(ir)）データと(Ｂ＋(ir))データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「３色の和が他の１色の１倍と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。

この色組み合わせでは、最初に等価ＩＲ成分(ir)を求めてから、その後に、等価ＩＲ成分(ir)をキャンセルする第１の方法と、３原色データを（３補色＋Ｇ）の補色系データに変換してから、通常の補色系から原色信号を求める方法によって、等価ＩＲ成分(ir)がキャンセルされた３原色データを求める第２の方法が採用可能である。第１の方法は、後述する第２実施形態で述べるため、ここでは第２の方法を、特性グラフを適宜用いながら説明する。

第２の方法では、最初に補色系データを求めるが、このとき３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)については次式(4-1)〜(4-3)を用いる。これらの式から、求められた３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)から等価ＩＲ成分(ir)がキャンセルされる。

［数４］
(Ｗ＋(ir))−(Ｂ＋(ir))＝Ｙｅ …(4-1)
(Ｗ＋(ir))−(Ｒ＋(ir))＝Ｃｙ …(4-2)
(Ｗ＋(ir))−(Ｇ＋(ir))＝Ｍｇ …(4-3)

つぎに、等価ＩＲ成分(ir)を含まない３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)を用いて、補色系データの残りの緑(Ｇ)データを次式(5)により求める。

［数５］
(Ｙｅ＋Ｃｙ−Ｍｇ)／２＝Ｇ…(5)

図１０（Ａ）と図１０（Ｂ）に、上記式(4-1)〜(4-3)ならびに式(5)による演算の前後での画素データの色分光特性を示す。但し、この特性が得られたときの入射光は、光学部品として配置されている光学帯域分離フィルタ１Ａからの光である。つまり、帯域分離特性は図３（Ａ）に示すものが使用されている。
これらの図から、良好な帯域分離特性を反映して、約７００［nm］付近以上はほぼゼロに等しくなり等価ＩＲ成分(ir)がキャンセルされていることが分かる。

つぎに、求めた補色系４データから、３原色を次式(6-1)〜(6-3)による演算で求める。

［数６］
(Ｙｅ＋(ir))−(Ｇ＋(ir))＝Ｒ…(6-1)
(Ｃｙ＋(ir))−(Ｇ＋(ir))＝Ｂ…(6-2)
(Ｙｅ＋(ir))−Ｒ＝Ｇ …(6-3)

この式から分かるように２色間の減算によって等価ＩＲ成分(ir)がキャンセルされる。
一方、等価ＩＲ成分(ir)を抽出したい場合は、画素データ(Ｇ＋(ir))から上記(6-3)で求めたＧデータを減算する。
式(6-3)で求めたＧデータを減算する。

図１１（Ａ）と図１１（Ｂ）に、上記式(6-1)〜(6-3)による演算の前後での画素データの色分光特性を示す。このとき帯域分離特性は図３（Ａ）に示すものが使用されている。
これらの図から、良好な帯域分離特性を反映して、約７００［nm］付近以上はほぼゼロに等しくなり等価ＩＲ成分(ir)がキャンセルされていることが分かる。

得られた３原色データを用いて、等価ＩＲ成分(ir)を抽出するには、図１２（Ａ１）に示す、データ分離後の｛Ｒ＋(ir),Ｇ＋(ir),Ｂ＋(ir)｝データから、図１２（Ａ２）に示す、上記式(6-1)〜(6-3)により求めた（Ｒ,Ｇ,Ｂ）データを少なくとも１色減算する。これにより、図１２（Ｂ）に示すように等価ＩＲ成分(ir)のみの抽出が可能である。

以上が白(Ｗ)を４色配置に含む好ましい場合の説明である。
つぎに、図４に示す白(Ｗ)を含まない他の色の組み合わせについて簡単に説明する。

＜１補色＋３原色＞
この色の組み合わせは図４に示す３通りがあり、例えば「Ｙｅ,Ｒ,Ｇ,Ｂ」では、(Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。
演算は、例えば、前述した式(1-1)と(1-2)からＲとＧを求め、｛（Ｒ＋(ir)＋（Ｇ＋(ir)）データと（Ｙｅ＋(ir)）データの差分から(ir)を求めて、これを（Ｂ＋(ir)）データから引くことでＢデータを求める。

＜２補色＋２原色＞
この色の組み合わせは図４に示すように、例えば「Ｙｅ,Ｃｙ,Ｇ,Ｒ」があり、この例では、(Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。
演算は、例えば、｛（Ｇ＋(ir)）＋（Ｂ＋(ir)）｝−（Ｃｙ＋(ir)）の式から(ir)を求める方法と、＜１補色＋３原色＞と同様にＧデータとＲデータを先に求めてから(ir)を抽出する方法がある。

＜補色系＞
これは式(6-1)〜(6-3)で求めることができるし、等価ＩＲ成分(ir)の抽出も同様に可能である。
ただし、最初から色フィルタが補色系である場合は、先に記述した等価性は満足しない。

本実施形態では、図２に示す撮像デバイスの分光特性から、各色成分の分光についてある一定波長以上の分光がほぼ等価な分布形状となることを利用し、Ｒ,Ｇ,Ｂの原色データを求める演算を行う際に、近赤外の漏れ光成分をキャンセルすることができる。このとき「近赤外領域の各カラーフィルタの感度が等価でない波長領域（例えば６５０〜８５０［nm］）を遮断し、その短波長側帯域と長波長側帯域を通過させる光学帯域分離フィルタと、前述した等価性を保持した４色配置の色フィルタとを組み合わせて用いることで、極めて簡単な演算でも効率よく正確にＩＲ成分を除去した３原色データの出力が可能である。
また、本実施形態では、ＩＲ成分を含んだ撮像信号から、上記赤外分離処理で取り出した可視光分を減算することで、ＩＲ成分のみからなる画像も取得可能となり「可視光」「ＩＲ画像」を１枚の撮像デバイスで分離し取得することが可能なカメラ装置を提供することができる。

《第２実施形態》
本実施形態は、最終画像の階調値が“０”となってしまう信号処理の手順を改め、飽和エリアを“白”のように残すことにより最終画像の不自然さを除去することを目的とする。
本実施形態に関わるカメラ装置の基本構成は、図１と共通する。上記最終画面の不自然さを除去するために、赤外分離部５４８の動作を規制する「制御部」としては、例えばマイクロコンピュータ１０がこれを担う。

この赤外分離部５４８の規制が可能な演算手法としては、白(Ｗ)を４画素配置に含み、等価ＩＲ成分(ir)を、４画素全てを用いた減算により算出すること要件とする。したがって、この要件に該当するのは、第１実施形態における前述した式(3-4)で等価ＩＲ成分(ir)を抽出する＜３補色＋白＞の場合と、前述した＜３原色＋白＞の場合で、先に等価ＩＲ成分(ir)を求める方法である。
ここでは＜３原色＋白＞の場合を例として、第１実施形態では説明を省略した、先に等価ＩＲ成分(ir)を求める方法について、まず説明する。

この方法の演算は、等価性を利用した次式(7-1)で、まず、等価ＩＲ成分(ir)を求め、次に、次式(7-2)〜(7-4)で３原色データを求める。

［数７］
［{(Ｒ＋(ir))＋(Ｇ＋(ir))＋(Ｂ＋(ir))}−(Ｗ＋(ir))］／２＝(ir)…(7-1)
(Ｒ＋(ir))−(ir)＝Ｒ …(7-2)
(Ｇ＋(ir))−(ir)＝Ｇ …(7-3)
(Ｂ＋(ir))−(ir)＝Ｂ …(7-4)

ＣＣＤやＣＭＯＳセンサの撮像デバイス２では、入射光量に応じた電荷の画素内蓄積量に限界があるため、強い光が入射すると飽和を起こし、色間の蓄積電荷量に差がなくなる現象が生じる。
画素における飽和が生じない条件下では（Ｒ＋Ｇ＋Ｂ）と（Ｗ）の可視光成分がほぼ均しいため、上記式(7-1)により正しく等価ＩＲ成分(ir)が抽出できる。

ところが、蓄積電荷量は（Ｒ＋Ｇ＋Ｂ）が３画素分、（Ｗ）が１画素分とすると、当然、先に白(Ｗ)で飽和が発生する。白(Ｗ)で飽和が生じた状況では、蓄積電荷量は（Ｒ＋Ｇ＋Ｂ）＞（Ｗ）となるため、上記式(7-1)の右辺が(ir)よりαだけ大きくなる。その結果、色が本来の色でなくなる現象が生じる。ただし、この式(7-2)〜(7-4)では、Ｒ画素、Ｇ画素、Ｂ画素も飽和すれば式(7-1)から正しく等価ＩＲ成分(ir)が求められるので、色は正常に戻る。

一方、３補色データを求めて白(Ｗ)から補色データを引いて３原色データを求める方法や、前述した３補色データを式(4-1)〜(4-3)および式(5)により求めて、それから、式(6-1)〜(6-3)に基づいて３原色データを求める場合は、もっと深刻な事態となる可能性がある。
つまり、白(Ｗ)が飽和すると、式(4-1)〜(4-3)の左辺が小さくなるので、３補色データが本来より非常に小さくなることがある。特に、強い光が入射し続けて、白(Ｗ)の他に、Ｒ画素、Ｇ画素、Ｂ画素の全てが飽和した状態では、式(4-1)〜(4-3)の左辺が階調値で０、よって３補色データの階調値が０となってしまう。その状態で、式(6-1)〜(6-3)に基づいて演算を行うと、Ｒ,Ｇ,Ｂデータの各々の階調値が０に張り付く事態が発生する。
よって、本来白表示すべき最終画像部分が黒または非常に暗い色になって、絵そのものが破綻することになる。

図１３（Ａ）に示す入射光量が適正な被写体の撮像時に対し、図１３（Ｂ）に入射光量が非常に強く全ての画素で飽和が生じている場合の最終出力画像を示す。
猫の白が殆ど黒に近く、その他の部分でも色がつかない暗い画像となっている。色補正回路としては、このような絵の破綻は防止しなければ実用に耐えない。

そこで、本実施形態では、制御部としてのマイクロコンピュータ１０が、白(Ｗ)画素の飽和を、白画素の出力値で監視し、図１に示す赤外分離部５４８を、以下のように制御する。
なお、画素出力値の監視は、データ分離部５４１から出力されるデジタルの色ごとの画素データのうち、白の画素データの値を監視する。このデジタルの白画素データ値は、例えば１２ビット階調表現の場合、０〜４０９５の値をとる。その最大値で制御開始とするか、それより低い基準値で制御開始とするかによって以下の２通りの方法がある。

第１の方法では、制御部（マイクロコンピュータ１０）が、白画素データ値を監視し、当該白画素データの値が最大値（例えば４０９６）に達したことを条件に、赤外分離部５４８による、近赤外光成分の画素データからの分離動作を停止させ、白画素データ値が最大値より低くなると、赤外光分離部５４８による赤外分離動作を再開させる。

第２の方法では、制御部（マイクロコンピュータ１０）が、白画素データ値を監視し、当該白画素データの値が最大値（例えば４０９６）より所定値または所定割合だけ低い基準値Ｓ（例えば３０００後半から４０００付近の所定値）を超えた場合、当該データ値と基準値Ｓとの差に応じて、画素データから抽出された近赤外光成分を減算するときの近赤外光成分項の係数を、１００[％]補正の１から、前記最大値に対応する０まで変化させる。

この第２の方法は、図１４に示すＩＲ補正成分適用率を決めるもので、適用率１００[％]のとき係数１、適用率０[％]のとき係数０とすることによって、制御される。
この係数は、例えば、最初に等価ＩＲ成分(ir)を求めて、これを色ごとの画素データから減算するときの等価ＩＲ成分(ir)の項に含まれ、この係数が１では、そのまま１００[％]の(ir)除去動作が行われるが、係数が１より小さくなると、その１から低下した割合だけ(ir)除去動作が行われ、そして、係数が０では全く(ir)除去動作が行われない。
係数の低下は、基準値Ｓからの階調値の差分に応じて徐々に低下する図１４のように制御できる。
この制御により、急に(ir)除去動作が行われて画面の色が急に変化する事態、さらには、色補正がかかる、かからないが短い時間に交互に繰り返すハンチングを有効に防止して、より見やすい画面とすることが可能となる。

図１５に、この対策をとった場合に、入射光量が強いとき（（Ａ））と、適正なとき（（Ｂ））とで最終画面を比較して示す。
図１５（Ｂ）の入射光量が適切な場合は、適正な色補正（色データからのＩＲ成分除去）機能が正常に働いて、画面の破線で囲った部分の色が適正に補正されている。
これに対し、入射光量が強い場合は、図１５（Ａ）に示すように、破線で囲った部分で色の補正はされない、あるいは、補正が弱くかかるため、画面が部分的に若干、色について違和感が残る。ただし、図１３（Ｂ）のように全く絵そのものが破綻してしまうことは防止できるという利点がある。

本発明の第１および第２実施形態によれば、人の目に感度を有しない近赤外光領域と可視光の境界付近の帯域で入射光を遮断する光学帯域分離フィルタと、色の組み合わせが可視光で等価性を有する４色配置の色フィルタと、色分離後に画素データから近赤外光成分を分離する赤外分離部との組み合わせによって、赤外光成分を簡単な演算（数回の減算）によって直接、かつ、効果的に色データから分離できる。また、補色４データ（「Ｙｅ,Ｃｙ,Ｍｇ,Ｇ」については等価性を有しないが、この色の組み合わせに限り、赤外光成分を簡単な演算（数回の減算）によって直接、かつ、効果的に色データから分離できる。
これにより、色補正、ＩＲ成分を用いたその他の処理が有効、かつ、効率的に行える。
とくに第２実施形態では、減算により０となり画面が黒または暗くなることを白画素データ値で監視し、そのような画面の破綻を未然に防止することができる。

本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。（Ａ）は白(Ｗ)画素を含む原色系ＣＣＤデバイスの分光特性、（Ｂ）に、白(Ｗ)画素を含む補色系ＣＣＤデバイスの分光特性を示すグラフである。（Ａ）と（Ｂ）は、それぞれ光学部品として、および、オンチップとして設けられる光学帯域分離フィルタ特性例を示すグラフである。４色配置における色の組み合わせを分類した図表である。実施形態に関わる画像入力処理方法の手順を示すフローチャートである。（Ａ）は４色配列例（「Ｙｅ,Ｒ,Ｇ,Ｗ」）を示す模式図、（Ｂ）は「Ｙｅ,Ｒ,Ｇ,Ｗ」の４色配置色フィルタを通して得られた撮像信号の色分光特性を示すグラフである。赤外分離演算後の３原色データの色分光特性を示すグラフである。（Ａ）は、低色温度（３０００[Ｋ]）の光源下での撮像で得た撮像信号の色分光特性を示すグラフである。（Ｂ）は、（Ａ）に示す特性の撮像信号をデータ分離し、減算した後の色分光特性を示すグラフである。（Ａ）と（Ｂ）は、それぞれ図８（Ａ）と（Ｂ）に対応する、ＬＥＤ照明による撮像で得た撮像信号の色分光特性を示すグラフである。（Ａ）と（Ｂ）は、他の色組み合わせにおける演算前と後の色分光特性のグラフである。（Ａ）と（Ｂ）は、補色系データから原色系データを求める演算前と後の色分光特性のグラフである。（Ｂ）は、（Ａ１）から（Ａ２）を引いて抽出した等価ＩＲ成分(ir)の分光特性を示すグラフである。（Ａ）と（Ｂ）は、第２実施形態で克服すべき絵の破綻を説明するための画像例を示す図である。ＩＲ補正成分適用率（係数）の制御例を示すグラフである。（Ａ）と（Ｂ）は、第２実施形態で対策後の画面例を示す図である。

符号の説明

１…光学部品、１Ａ…光学帯域分離フィルタ、２…撮像デバイス、２Ａ…色フィルタ、３…ＡＦＥ回路、４…信号処理部、５…ＡＤＣ、９…混合回路、１０…マイクロコンピュータ、１１…不揮発性メモリ、１２…ＤＡＣ、１３…ＴＧ、１４…ビデオ信号、５４１…データ分離部、５４８…赤外分離部

Claims

近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる光学帯域分離フィルタと、
２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性を有する４色配置の色フィルタを備え、前記光学帯域分離フィルタおよび前記色フィルタを透過してきた被写体からの光（像）を撮像し、撮像信号を発生する撮像デバイスと、
前記撮像信号の前記４色配置に対応する画素データを、４色の色ごとに分離するデータ分離部と、
前記分離後の４色の画素データ間で、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する赤外分離部と、
を有する画像入力処理装置。
前記撮像デバイスは、第１色と第２色との差分が特定の原色を表し、前記第１色と前記第２色の組み合わせを変えた差分の取り方によって３原色全てを表現可能な４色配置の色フィルタを備える
請求項１に記載の画像入力処理装置。
前記４色配置の１色が白である
請求項１または２に記載の画像入力処理装置。
前記４色配置の２色が原色であり、１色が白であり、残る１色が前記２色の原色の和で表される補色である
請求項２に記載の画像入力処理装置。
前記４色配置の２色が、組み合わせが異なる２つの原色の和で各々が表される２つの補色であり、１色が白であり、残る１色が、当該４色配置の前記２色の何れかに含まれるが、前記２色に共通しない１つの原色である
請求項２に記載の画像入力処理装置。
前記４色配置の３色が、組み合わせが互いに異なる２つの原色の和で各々が表される３つの補色であり、残る１色が白である
請求項２に記載の画像入力処理装置。
前記４色配置の３色が３原色であり、残る１色が白である
請求項２に記載の画像入力処理装置。
前記赤外分離部は、白または補色の１色と、補色または原色の２色または３色とで、前記等価な可視光成分が減算により相殺されるような色の組み合わせが構成され、前記１色の組と、前記２色または３色の組の一方から、他方の組内の１色を減算することによって、前記近赤外光成分が除去された３つの原色データを算出し出力する
請求項１に記載の画像入力処理装置。
前記赤外分離部は、前記算出された３つの原色データの何れかを、前記データ分離部からの画素データから減算することを含む演算により、前記近赤外光成分を抽出し出力する
請求項８に記載の画像入力処理装置。
前記赤外分離部は、１色と、２色または３色とで、前記可視光成分が相殺されるように減算を行うことによって、前記画素データから前記近赤外光成分を抽出して出力する
請求項１に記載の画像入力処理装置。
前記データ分離部からの画像データから、前記抽出された近赤外光成分を減算することを含む演算により、前記近赤外光成分が除去された３つの原色データを算出する
請求項１０に記載の画像入力処理装置。
前記４色配置に白を含んで前記色フィルタが構成され、
前記データ分離部から出力される白の画素データ値を監視し、当該白の画素データの値が最大値に達したことを条件に、前記赤外分離部による、前記近赤外光成分の画素データからの分離動作を停止させ、前記白の画素データ値が前記最大値より低くなると、前記赤外光分離部による前記分離動作を再開させる制御部を有する
請求項８〜１１の何れかに記載の画像入力処理装置。
３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる前記４色配置の当該他の１色が白となるように前記色フィルタが構成され、
前記データ分離部から出力される白の画素データ値を監視し、当該白の画素データの値が最大値より所定値だけ低い基準値を超えた場合、当該データ値と前記基準値との差に応じて、画素データから前記抽出された近赤外光成分を減算するときの近赤外光成分項の係数を、１００[％]補正の１から、前記最大値に対応する０まで変化させる制御部を有する
請求項１１に記載の画像入力処理装置。
前記光学帯域分離フィルタが、前記長波長側の通過帯域で、前記４色配置の全色で近赤外光成分を均等化する分光特性を有する
請求項１に記載の画像入力処理装置。
前記撮像デバイスが、前記色フィルタの機能と赤外光カットフィルタの機能を併せ持つオンチップ・多層フィルタを備え、
当該オンチップ・多層フィルタの赤外光カットフィルタ、または、前記光学帯域分離フィルタが、前記長波長側の通過帯域で、前記４色配置の全色で近赤外光成分を均等化する分光特性を有する
請求項１に記載の画像入力処理装置。
近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる光学帯域分離フィルタと、
補色系４色（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）の色フィルタを備え、前記光学帯域分離フィルタおよび前記色フィルタを透過してきた被写体からの光（像）を撮像し、撮像信号を発生する撮像デバイスと、
前記撮像信号の前記補色系４色に対応する画素データを、色ごとに分離するデータ分離部と、
前記分離後の４色の画素データ間で減算を行うことによって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する赤外分離部と、
を有する画像入力処理装置。
入射光に対して、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させるステップと、
色フィルタにより色分離と撮像を行うステップと、
前記撮像により得られた撮像信号を、色ごとの画素データを分離するステップと、
前記色ごとの画素データから、前記長波長側帯域の近赤外光成分を分離するステップと、
を含み、
前記色フィルタとして、２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性を有する４色配置の色フィルタを用い、
前記近赤外光成分の分離ステップで、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する
画像入力処理方法。