JP2007228455A - 撮像装置 - Google Patents

Abstract

【課題】機械的に光学フィルタの切替を行うことなく、明るい環境及び暗い環境との双方で良好な画像を得ること。
【解決手段】可視光と非可視光とを受光する第１画素と、非可視光を受光する第２画素とを設ける。夜間等には第１画素の出力に基づいて、可視光と非可視光との双方の受光レベルに応じた画素データを持つ画像データを生成する第１画像処理モードを実行する。昼間等には、第１画素の出力レベルから第２画素の出力レベルを減算したレベルに応じた、つまり、可視光の受光レベルに応じた画素データを持つ画像データを生成する第２画像処理モードを実行する。
【選択図】図１

Description

本発明は、車両周辺の周辺景色等を撮像するための撮像装置に関する。

通常、昼間で良好な画像を得るためには、撮像素子の前方に赤外カットフィルタ等を設ける構成が採用されている。つまり、昼間では、太陽光に含まれる赤外光が撮像素子の各色成分の画素で受光されてしまうため、これが昼間の画質、特に、色再現性に悪影響を与えてしまう。そこで、赤外カットフィルタにより赤外光を遮光してしまうのである。

一方、夜間で良好な画像を得るためには、上記のような赤外カットフィルタは無い方がよい。つまり、夜間では、可視光が不十分であるため、車両の灯火装置や街灯に含まれる赤外光等も受光できるようにして画像を生成することで、良好な夜間視認性を得ようとするのである。

ところで、例えば、車両周辺撮像装置等の撮像装置では、昼間においても夜間においても良好な画像を得たいという要請が強い。

昼間と夜間との双方で良好な画像を得る構成として、例えば、次の２つの構成が考えられる。

第１は、赤外カット光学フィルタが撮像素子の前方にある状態と無い状態とを機械的に切替える構成である。

第２は、撮像素子の複数画素のうちの一部を赤外光受光用、残部を可視光受光用として用い、昼間では可視光受光用の画素からの出力信号に基づいて画像を生成し、夜間では赤外光受光用の画素からの出力信号に基づいて画像を生成する構成である。

後者に関連する技術は、例えば特許文献１に開示されている。

特開２００５−００６０６６号公報

しかしながら、上記第１の構成では、赤外カット光学フィルタの有無を機械的に切替える必要があり、機械的構造の複雑化を招いていた。

また、上記第２の構成では、比較的暗いときには主に赤外光受光用画素に基づいて画像を生成している。このため、特に、暗いときに、受光量が不十分となり易く、画像不良となり易い。

そこで、本発明は、機械的に光学フィルタの切替を行うことなく、明るい環境及び暗い環境との双方で良好な画像を得ることを目的とする。

上記課題を解決するため、この発明は、可視光と非可視光とを受光する第１画素と、非可視光を受光する第２画素とを有する撮像素子と、前記第１画素の出力に基づいて可視光と非可視光との受光レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力と前記第２画素の出力とに基づいて可視光の受光レベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段と、を備えたものである。

また、この発明は、可視光と赤外光とを受光する第１画素と、赤外光を受光する第２画素とを有する撮像素子と、前記第１画素の出力レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力レベルから前記第２画素の出力レベルを減算したレベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段と、を備えたものである。

これらの場合に、前記画像処理手段は、前記第１画像処理モードで、前記第１画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間するとよい。

また、前記撮像素子からの出力に基づいて撮像対象エリアの明るさを判断し、判断された明るさの度合に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えていてもよい。

また、外部から入力される信号に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えていてもよい。

また、前記撮像素子の複数の画素は複数のブロックに分割されており、前記各ブロック毎に少なくとも一つの前記第１画素と少なくとも一つの前記第２画素とが設けられており、前記画像処理手段は、前記各ブロック単位で前記第２画像処理モードにおける処理を実行するものであってもよい。

また、前記第１画素は、複数種の色成分画素を含み、前記各色成分画素に対応づけて前記第２画素が複数設けられており、前記画像処理手段は、前記色成分別に前記第２画像処理モードにおける処理を実行するものであってもよい。

さらに、前記画像処理手段は、前記第２画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間するものであってもよい。

以上のように構成された撮像装置によると、前記第１画素の出力に基づいて可視光と非可視光との受光レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力と前記第２画素の出力とに基づいて可視光の受光レベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段とを備えている。このため、可視光が比較的少ない夜間等の暗い環境では、第１画像処理モードを採用することによって、第１画素で受光された可視光と非可視光との受光レベルに応じた画素データを持つ良好な画像を得ることができる。一方、可視光が十分な昼間等の明るい環境では、第２画像処理モードを採用することで、非可視光の影響を除去した可視光の受光レベルに応じた画素データを持つ画像データを得て、良好な画像を得ることができる。従って、機械的に光学フィルタの切替を行うことなく、明るい環境と暗い環境との双方で良好な画像を得ることができる。

また、他の撮像装置によると、前記第１画素の出力レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力レベルから前記第２画素の出力レベルを減算したレベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段とを備えている。このため、可視光が比較的少ない夜間等の暗い環境では、第１画像処理モードを採用することによって、前記第１画素の出力レベルに応じた画素データを持つ良好な画像を得ることができる。一方、可視光が十分な昼間等の明るい環境では、第２画像処理モードを採用することで、前記第１画素の出力レベルから前記第２画素の出力レベルを減算して、非可視光の影響を除去した可視光の受光レベルに応じた画素データを持つ画像データを得ることができる。従って、機械的に光学フィルタの切替を行うことなく、明るい環境と暗い環境との双方で良好な画像を得ることができる。

また、前記画像処理手段は、前記第１画像処理モードで、前記第１画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間するものであると、第１画像処理モードでの画像をより良好にすることができる。

また、これらの場合に、前記撮像素子からの出力に基づいて撮像対象エリアの明るさを判断し、判断された明るさの度合に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えていると、撮像素子からの出力に応じて両モードを自動的に切替えることができ、便利である。

また、外部から入力される信号に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えていると、外部の状態等に応じて両モードを切替えることができ便利である。

また、前記撮像素子の複数の画素は複数のブロックに分割されており、前記各ブロック毎に少なくとも一つの前記第１画素と少なくとも一つの前記第２画素とが設けられており、前記画像処理手段は、前記各ブロック単位で前記第２画像処理モードの処理を行うようにすると、ブロック単位の精度で非可視光の影響を除去した画像を得ることができる。

また、前記第１画素は、複数種の色成分画素を含み、前記各色成分画素に対応づけて前記第２画素が複数設けられており、前記画像処理手段は、前記色成分別に前記第２画像処理モードにおける処理を実行すると、各色成分毎の特性に応じて適切に処理された画像データを得ることができる。

また、前記画像処理手段が、前記第２画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間すると、第２画像処理モードでの画像をより良好にすることができる。

＜発明の原理的説明＞
はじめにこの発明の内容を概略的に説明しておく。すなわち、撮像装置にて明るい環境で撮像する場合を考えると、可視光以外の非可視光領域（特に、赤外光領域）は画質劣化を招く要因となる。つまり、明るい環境での撮像を考慮すると、非可視光成分をなるべく排除することが好ましい。

一方、撮像装置にて暗い環境で撮像する場合を考えると、可視光に加えて非可視光をも受光する等、なるべく多くの非可視光を受光することが好ましく、このためには、なるべく多くの画素を利用して撮像することが好ましいことになる。

そこで、本発明では、撮像素子に、可視光と非可視光とを受光する第１画素と、非可視光を受光する第２画素とを設ける。

そして、暗い環境では、第１画素の出力に基づいて、可視光及び非可視光の双方の受光レベルに応じた画素データを持つ画像データを生成する。これにより、暗い環境でも、比較的感度良好な画像を得ることができる。

一方、明るい環境では、第１画素の出力と第２画素の出力とに基づいて、非可視光による影響分を排除して可視光の受光レベルに応じた画像データを生成するようにする。これにより、可視光成分による良好な画像、特に、色再現性良好な画像を得ることができる。

上記処理を暗い環境と明るい環境とで切替えることで、両方の環境で、良好な画像を得ることができるようになるのである。

＜実施形態＞
以下、この発明の実施形態に係る撮像装置について説明する。図１は撮像装置の構成を示すブロック図である。この撮像装置は、例えば、車両に設置され、車両の前方左右両側部や後方、側方等の死角を撮像するといった用途で用いられる。本撮像装置で撮像された画像は、車室内のモニタ等に映し出される。

この撮像装置は、撮像素子１０と、アナログ回路部１２と、ＡＤＣ（Analog-Digital Converter)回路１４と、デジタル信号処理部２０と、コントローラ１６とを備えている。

撮像素子１０は、ＣＣＤやＣＭＯＳ等により構成されている。この撮像素子１０の各画素には、可視光及び非可視光（例えば、赤外光）を透過するオンチップカラーフィルタや非可視光（例えば、赤外光）を透過するオンチップカラーフィルタが設けられている。これにより、撮像素子１０は、この各オンチップカラーフィルタの波長選択性に従って、可視光及び非可視光を受光してそれらの強さに応じた信号を出力する第１画素と、非可視光を受光してその強さに応じた信号を出力する第２画素とを有する構成とされている。第１画素及び第２画素の具体的な配列例は後に詳述する。

ここで、第１画素は、可視光全域及び非可視光全域を受光する構成だけでなく、可視光の一部（例えば、原色系の赤、緑、青の各色成分のうちの一つの波長領域等）と非可視光の一部（例えば、赤外光波長領域）とを受光する構成を含む。また、第２画素は、非可視光全域を受光する構成だけでなく、実質的に可視光領域を除いて、非可視光の一部（例えば、可視光領域よりも長波長領域光、又は、赤外波長領域光）だけを受光するような構成をも含む。

撮像素子１０から出力されたアナログ画像信号は、アナログ回路部１２に入力されてここでノイズキャンセル処理やオートゲインコントロール処理を施された後、ＡＤＣ回路１４に入力される。ＡＤＣ回路１４は、入力されたアナログ画像信号をデジタル画像データに変換して出力し、デジタル信号処理部２０及びコントローラ１６に与える。

コントローラ１６は、ＡＤＣ回路１４からのデジタル画像データに基づいて、周囲の明るさ度合が所定の明るさ度合よりも明るいか暗いかを判別する。ここでの判別は、例えば、各画素の輝度平均が予め設定された所定の輝度平均よりも大きいか小さいかを判別することによって行われる。そして、周囲の明るさ度合が所定の明るさ度合よりも明るいと判別されたときに、第２画像処理モードで動作させる指示をデジタル信号処理部２０に与える。一方、周囲の明るさ度合が所定の明るさ度合よりも暗いと判別されたときに、第１画像処理モードで動作せる指示をデジタル信号処理部２０に与える。なお、周囲の明るさ度合が所定の明るさ度合と同等である場合には、第１及び第２の画像処理モードのどちらの指示を与えるようにしてもよい。

このコントローラ１６は、撮像素子１０からの出力に基づいて画像前処理部２２を第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段として機能する。

デジタル信号処理部２０は、ＡＤＣ回路１４より与えられるデジタル画像データに対して画像処理を施して該処理が施された画像データを生成して出力するものであり、ＤＳＰ（Digital Signal Processor）等により構成されており、ここでは、画像前処理部２２としての機能と、信号処理部２８としての機能を有している。

ＡＤＣ回路１４からのデジタル画像データは、まず、画像前処理部２２に与えられる。画像前処理部２２は、第１画像処理モードの処理を実行する第１前処理部２３と、第２画像処理モードの処理を実行する第２前処理部２５とを備えている。画像前処理部２２は、第１画像処理モードと第２画像処理モードとを選択的に切替えて実行する。

第１画像処理モードでは、上記第１画素からの出力（ここではＡＤＣ回路１４よりデジタル化された出力データ）に基づいて、可視光及び非可視光の受光レベルに応じた画素データ（ピクセルデータ）を持つ画像データを加工生成する。これにより、第１画素に対応する画素データに関して、可視光成分と非可視光成分とが足し合わされた明るさを持つ画像データが生成されるため、より高感度な画像を得ることができる。また、この後に第２画素に対応する画素データに関して、その周りの第１画素に対応する画素データに基づいて補間する画素補間処理を施す。このような補間処理については、周知の補間技術を含む種々の補間技術を適用することができる。もっとも、第１画像処理モードにおける上記補間処理は必ずしも必要ではない。

第２画像処理モードでは、第１画素の出力と前記第２画素の出力（ここではＡＤＣ回路１４よりデジタル化された出力データ）とに基づいて、可視光の受光レベルに応じた画素データを持つ画像データを加工生成する。可視光の受光レベルに応じた画素データは、例えば、第１画素の出力レベルと第２画素の出力レベルとを変数とする所定の演算式から導出される。より具体的な例でいうと、この各画素データは、第１画素の出力レベルからその周辺の第２画素の出力レベル（ここでは各出力信号値を量子化した画素値）を減算した画素値を含むデータとして得られる。つまり、第２画像処理モードでは、非可視光の影響を排除し、専ら可視光に応じた明るさを持つ画像データが生成される。

また、この後に行われる画素補間処理では、上記第２画素に対応する画素データを、周囲の第１画素で補間して生成する。このような補間処理については、周知の補間技術を含む種々の補間技術を適用することができる。具体例については上記第１画像処理モードにおける補間処理と共に後に詳述する。

もっとも、第２画像処理モードにおける上記補間処理は必ずしも必要ではない。

なお、画像データ中のある座標の画素データが、どの位置にある第１画素及び第２画素の各出力に基づいて生成されるかについては、第１の画素と第２の画素との配列等に応じて種々の態様を考えることができる。その具体例については、第１の画素と第２の画素との具体的な配列例と共に後に詳述する。

画像前処理部２２で生成された画像データは、信号処理部２８に与えられる。信号処理部２８では、一般的な撮像装置における信号処理と同様の画像処理を行って出力する。これらの処理を経てデジタル信号処理部２０から出力されたデジタル画像信号は、例えば、ＤＡＣ(Digital-Analog Converter)回路でアナログ映像信号に変換されて、車室内のモニタ等へ与えられる。これにより、車室内の該モニタに撮像画像が表示される。

以下に各画素の具体的な配列例及びオンチップカラーフィルタの具体的な特性例について説明する。

図２は撮像装置の複数画素の配列例を示す図である。すなわち、撮像素子１０には、複数の画素がｎ×ｍの平面的な配列で設けられている。各画素には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれかの可視光色成分を透過するカラーフィルターが形成されている。これらの各カラーフィルタは、いわゆるベイヤー配列に従って配設されている。

図３は各画素に形成された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターの透過率特性例を示す図である。図３に示すように、各画素に形成されるオンチップカラーフィルターの特性は、可視光領域内にある各色波長域に対応して高い透過率を持つと共に、非可視光である赤外光の波長域の一部（図３ではおよそ700nm〜900nm）に対しても比較的高い透過率を有している。

つまり、各画素のうち赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターだけが設けられたものは、可視光のうち当該赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちの一つの波長域と、非可視光のうち赤外光の波長域の一部を受光するものであり、上記第１画素に相当する要素である。以下では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれかのカラーフィルターだけが設けられた画素を、Ｒ画素、Ｇ画素、Ｂ画素という。

また、上記各画素は複数のブロック３０に分割されている（図２参照）。ここでは、各画素は、４（行）×４（列）のブロック３０毎に分割されている。そして、各ブロック３０において、赤（Ｒ）のカラーフィルターが設けられた複数画素のうちの一つに、可視光カットフィルタが設けられている（図２において網点を付した部分参照）。また、同様に、各ブロック３０において、緑（Ｇ）、青（Ｂ）のカラーフィルターが設けられた複数画素のうちの各一つにも、可視光カットフィルターが設けられている。この可視光カットフィルターは、例えば、所定の画素上にオンチップフィルターとして形成される。

図４は可視光カットフィルターの透過率特性例を示す図である。すなわち、この可視光カットフィルターは、可視光波長よりも長い波長域（およそ700nm以上）を透過する性質を有している。このため、各赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターに追加して可視光カットフィルタを設けた画素は、非可視光（ここでは、可視光よりも長波長の光、実質的には、赤外光）を受光するものであり、上記第２画素に相当する要素である。以下では、各赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターに可視光カットフィルタを追加して設けた画素を、それぞれＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素という。

このような配列態様で画素が配列されている場合、上記第２の画像処理モードにおける処理は、例えば、各ブロック３０単位で行われる。すなわち、各ブロック３０において、該ブロック３０内の各Ｒ画素、各Ｇ画素、各Ｂ画素の各出力レベルから、同ブロック３０に属するＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素の出力レベルをそれぞれ色別に減算等する。これにより、各Ｒ画素、各Ｇ画素、各Ｂ画素に対応する座標において、非可視光（ここでは、実質的には赤外光）の影響を排除して、可視光の受光レベルに応じた画素データを持つ画像データを生成することができる。

つまり、第１画素が複数の色成分画素であるＲ画素、Ｇ画素、Ｂ画素を有する場合には、各色成分別に第２画素としてＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素を設け、色成分別に上記第２画像処理モードにおける処理を実行するようにしている。

図５は、上記第２画素としてのＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素を周囲の画素で補間する一例を示す図である。この例では、所定のＲ・ＩＲ画素をブロック３０とは無関係に周囲にあるＲ画素で補間している。より具体的には、例えば、第２画素であるＲ・ＩＲ画素の画素データは、周囲の画素（図５では左右上下に一つ画素分離れた位置にある４つの画素、矢印の始点にある４つのＲ画素）の画素値（第１画像処理モードにおける補間処理では、第１画素から出力される可視光と非可視光との受光レベルに応じた値、第２画像処理モードにおける補間処理では、第１画素からの出力レベルから第２画素の出力レベルを減算したレベル、つまり、非可視光分を排除した可視光分に応じた値）の平均値として生成される。また、他のＧ・ＩＲ画素、Ｂ・ＩＲ画素を、同様にして周囲のＧ画素、Ｂ画素で補間している。

以上のように構成された撮像装置によると、撮像素子１０に、可視光と非可視光（ここでは主に赤外光）とを受光する第１画素と非可視光（ここでは主に赤外光）を受光する第２画素とを設けている。そして、夜間等の比較的暗い環境下では、第１画素の出力に基づいて、可視光及び非可視光の受光レベルに応じた画素データを持つ画像データを生成することで、なるべく感度良好な画像を得るようにしている。一方、昼間等の比較的明るい環境下では、第１画素の出力と第２画素の出力とに基づいて、可視光の受光レベルに応じた画素データを持つ画像データを生成することで、非可視光の影響を排除して可視光成分に応じた良好（特に、色再現性）な画像を得るようにしている。このため、機械的に光学フィルタの切替を行うことなく、明るい環境と暗い環境との双方で良好な画像を得ることができる。

特に、夜間等には、車両のバックライトやテールライト、さらに法規上可視光による照明が禁じられている場合に用いられる赤外補助灯に、赤外光が比較的豊富に含まれている。夜間等にはそのような赤外光を積極的に利用してなるべく感度良好な画像を得ることができる。

また、コントローラ１６は、撮像素子１０からの出力に応じて画像前処理部２２を第１画像処理モードと第２画像処理モードとの間で切替制御するようにしているため、撮像素子１０からの出力に応じて両モードを自動的に切替えることができ、便利である。

なお、コントローラ１６は、必ずしも撮像素子１０からの出力に応じて上記両モードの切替を行う必要はなく、別途明るさセンサ等を設けこのセンサからの出力に応じて両モードの切替を行うようにしてもよい。また、外部に設けた専用のオンオフスイッチ、又は、車両のヘッドライトのオンオフスイッチの信号出力をコントローラ１６に入力し、コントローラ１６がそのオンオフに従って上記両モードを切替えるようにしてもよい。この場合、外部の状態等に応じて操作者が操作することで両モードを任意に切替えることができ便利である。さらに、上記した周囲の明るさ度合の応じたモード切替とオンオフスイッチからの入力に応じたモード切替とが、適宜の優先順位で併用されていてもよい。

また、撮像素子１０の複数の画素は複数のブロック３０に分割されており、各ブロック３０毎に少なくとも一つの第１画素（Ｒ画素、Ｇ画素、Ｂ画素）と少なくとも一つの第２画素（Ｒ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素）とが設けられている。そして、画像前処理部２２は、各ブロック３０単位で第２画像処理モードの処理を行うようにしている。このため、所望の精度に応じてブロック内で第１画素と第２画素との比率を適宜調整した上で、ブロック３０単位の精度で非可視光の影響を除去した画像を得ることができる。

また、各第１画素は、複数種の色成分画素（Ｒ画素、Ｇ画素、Ｂ画素）を含み、各色成分画素別に、第２画素（Ｒ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素）が設けられている。そして、画像前処理部２２は、色（Ｒ、Ｇ、Ｂ）成分別に第２画像処理モードにおける処理を実行している。このため、各色（Ｒ、Ｇ、Ｂ）成分毎の特性に応じて適切に処理された画像データを得ることができる。

より具体的に説明すると、図３に示すように、第１画素であるＲ画素、Ｇ画素、Ｂ画素は、赤外光（特に700nm〜900nmの波長域）を透過するものの、その透過特性は多少異なっている。そこで、各色（Ｒ、Ｇ、Ｂ）成分別に、カラーフィルターに可視光カットフィルタを設けたＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素を設けて、各色（Ｒ、Ｇ、Ｂ）成分別に第２画像処理モードにおける処理を実行する。これにより、各色成分の透過特性等に応じて適切に非可視光の影響を排除することができるという点で優れた画像を得ることができる。

もっとも、必ずしも各色（Ｒ、Ｇ、Ｂ）成分別にＲ・ＩＲ画素、Ｇ・ＩＲ画素、Ｂ・ＩＲ画素を設ける必要はなく、図６に示すように、各ブロック毎に各色（Ｒ、Ｇ、Ｂ）成分に共通の第２画素を一つ（図６の網点を付した画素参照）設けてもよい。この場合、第１画素であるＲ画素、Ｇ画素、Ｂ画素の出力レベルから共通の赤外光成分の出力レベルを減算等することになる。この場合、第１画素の割合を大きくして可視光の受光量を全体として増やすことができるという点で比較的良好にすることができるというメリットがある。

また、画像前処理部２２は、第１画像処理モードや第２画像処理モードで生成された画像データに対して、第２画素に対応する画素データを第１画素に対応する画素データに基づいて補間するため、第２画像処理モードでの画像をより良好にすることができる。

｛変形例｝
なお、上記実施形態では、画素に形成するカラーフィルターとして原色系のフィルタを設けた例で説明したが、カラーフィルターとして補色系のフィルタを設けた例であっても同様に適用できる。また、勿論、カラーを撮像する場合だけでなく、モノクロ撮像装置の場合であっても同様に適用できる。

また、上記実施形態では、各ブロックに区切って各ブロック毎に第２画素を所定数設けるという考えで第２画素を設けているが、必ずしもそうする必要はない。例えば、図７に示すように、一定の縦間隔及び一定の横間隔毎に、一定パターン（ここでは略Ｌ字状のパターン）の第２画素（網点を付した画素参照）を設けるようにしてもよい。この場合、第２画像処理モードにおいて、どの第２画素とどの第１画素とに基づいてどの座標の画素データを生成して画像データを生成するかについては、それぞれの位置関係や配列例等に応じて任意に定め得る。

撮像装置の構成を示すブロック図である。 撮像装置の複数画素の配列例を示す図である。 各カラーフィルターの透過率特性例を示す図である。 可視光カットフィルターの透過率特性例を示す図である。 第２画素を周囲の画素で補間する一例を示す図である。 画素の他の配列例を示す図である。 画素のさらに他の配列例を示す図である。

符号の説明

１０ 撮像素子
１６ コントローラ
２０ デジタル信号処理部
２２ 画像前処理部
２３ 第１前処理部
２５ 第２前処理部
３０ ブロック

Claims (8)

1. 可視光と非可視光とを受光する第１画素と、非可視光を受光する第２画素とを有する撮像素子と、
   前記第１画素の出力に基づいて可視光と非可視光との受光レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力と前記第２画素の出力とに基づいて可視光の受光レベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段と、
   を備えた撮像装置。
2. 可視光と赤外光とを受光する第１画素と、赤外光を受光する第２画素とを有する撮像素子と、
   前記第１画素の出力レベルに応じた画素データを持つ画像データを生成する第１画像処理モードと、前記第１画素の出力レベルから前記第２画素の出力レベルを減算したレベルに応じた画素データを持つ画像データを生成する第２画像処理モードとを切替可能な画像処理手段と、
   を備えた撮像装置。
3. 請求項１又は請求項２記載の撮像装置であって、
   前記画像処理手段は、前記第１画像処理モードで、前記第１画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間する、撮像装置。
4. 請求項１〜請求項３のいずれかに記載の撮像装置であって、
   前記撮像素子からの出力に基づいて撮像対象エリアの明るさを判断し、判断された明るさの度合に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えた撮像装置。
5. 請求項１〜請求項４のいずれかに記載の撮像装置であって、
   外部から入力される信号に応じて前記画像処理手段を前記第１画像処理モードと前記第２画像処理モードとの間で切替制御するモード切替制御手段をさらに備えた撮像装置。
6. 請求項１〜請求項５のいずれかに記載の撮像装置であって、
   前記撮像素子の複数の画素は複数のブロックに分割されており、前記各ブロック毎に少なくとも一つの前記第１画素と少なくとも一つの前記第２画素とが設けられており、
   前記画像処理手段は、前記各ブロック単位で前記第２画像処理モードにおける処理を実行する、撮像装置。
7. 請求項１〜請求項６のいずれかに記載の撮像装置であって、
   前記第１画素は、複数種の色成分画素を含み、
   前記各色成分画素に対応づけて前記第２画素が複数設けられており、
   前記画像処理手段は、前記色成分別に前記第２画像処理モードにおける処理を実行する、撮像装置。
8. 請求項１〜請求項７のいずれかに記載の撮像装置であって、
   前記画像処理手段は、
   前記第２画像処理モードで生成された画像データに対して、前記第２画素に対応する画素データを前記第１画素に対応する画素データに基づいて補間する、撮像装置。

Images