JP2008092510A

JP2008092510A - 撮像装置

Info

Publication number: JP2008092510A
Application number: JP2006273926A
Authority: JP
Inventors: Kazuki Miyama; 和樹深山; Masato Nishizawa; 眞人西澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-10-05
Filing date: 2006-10-05
Publication date: 2008-04-17

Abstract

【課題】認識度の高い画像を出力することができる撮像装置を提供すること。
【解決手段】光学フィルタ１１１は、撮像素子１１２の光電変換部毎に、フィルタ特性の異なる二種類のフィルタが市松模様状に配置されている。撮像素子パッケージ１１から読み出された各光電変換部（画素）の信号は、分離補完部１５１において二種類のフィルタに対応して分離され、分離された画素の欠損部分は相関性の高い画素で補完される。分離された二つの画像データからヘッドライト検知回路が輝度値の大きい部分を検知し、輝度値の大きい部分が検知されれば、露光制御部１５８は露光を開放に制御し、合成・選択部１５３は可視光の影響を抑えるフィルタ特性のフィルタに対応する画像データを選択する。輝度値の大きい部分が検知されなければ、合成・選択部１５３が、二つの画像データの輝度平均値などから一つの画像データを選択し、または二つの画像データを合成して出力する。
【選択図】図１

Description

本発明は、近赤外光により暗い場所に存在するものを撮像する撮像装置に関するものである。

従来、図８に示すようなフィルタ特性のフィルタを使い、近赤外光を投射し、反射された近赤外光を撮像することにより、暗い場所に存在するものを撮像し、表示装置に表示するものがあり、車両などに搭載され、夜間の視界確保の補助装置などとして利用されている。

このような撮像装置において、高輝度領域でのハレーションにより低輝度像が隠されてしまうのを防止するため、ガンマ補正の輝度比特性を調整するようにしたものがある（例えば、特許文献１参照）。

また、カラー撮像装置においては、近赤外光の影響を受けて本来の色とは異なる色が再現されてしまうため、きれいな色再現性を実現するために、図９（ａ）に示すように、撮像素子パッケージ４１の前にＩＲ（近赤外）カットフィルタ４３を付けている装置が一般的である。図９（ｂ）は、このような撮像装置のオンチップフィルタ（ＲＧＢ）４１１とＩＲカットフィルタ４３の特性例を示す図である。
特開２００３−２５９３６３号公報

しかしながら、このような撮像装置においては、夜間の投射した近赤外光が届かない範囲は、可視光で少し明るくなっていても、表示される画像では暗くて見えにくいという問題があった。

また、画面全体で露光制御を行っているので、近赤外光が当たる近くの明るく小さな被写体は、白く画像が飛んでしまい、認識しにくいという問題があった。

また、白黒撮像装置は暗所感度は良いが色の再現ができなく、カラー撮像装置で近赤外光を入光すると本来の色が再現しにくいので、昼間の撮像では認識しにくく、夜の撮像では更に物体の色の認識がしにくいという問題があった。

本発明は、従来の問題を解決するためになされたもので、認識度の高い画像を出力することができる撮像装置を提供することを目的とする。

本発明の撮像装置は、複数の光電変換部を持つ撮像素子と、前記光電変換部単位に第１のフィルタ特性を持つ第１のフィルタ部と第２のフィルタ特性を持つ第２のフィルタ部とを有する光学フィルタと、前記第１のフィルタ部に対応する前記光電変換部の信号と前記第２のフィルタ部に対応する前記光電変換部の信号とを分離し、分離したそれぞれの信号の分離によって生じた欠損部分の信号を補完する分離補完手段と、前記分離補完手段で分離・補完された二つの画像情報から一つを選択、または前記二つの画像情報を合成する合成・選択手段とを備える構成を有している。

この構成により、異なった光学特性を持った画像信号を同時に得ることができ、二つの画像から一つを選択、または二つの画像を合成することで、認識度の高い画像を出力することができる。

ここで、前記分離補完手段で分離・補完された二つの画像情報から輝度値の大きくなっている部分の有無を検知するヘッドライト検知手段を備え、前記ヘッドライト検知手段で輝度値の大きくなっている部分を検知したとき、露光制御を絞るように制御する構成とした。

この構成により、輝度値の大きくなっている部分が検知されると、露光が絞るように制御される。したがって、フレアの影響が抑えられ、輝度値の大きくなっている部分の周辺の認識度を高めることができる。

また、前記第２のフィルタ部のフィルタ特性は、可視光を抑える特性とし、前記第１のフィルタ部のフィルタ特性は、前記第２のフィルタ部のフィルタ特性より可視光を多く通過させる特性とし、前記分離補完手段で分離・補完された二つの画像情報から輝度値の大きくなっている部分の有無を検知するヘッドライト検知手段を備え、前記ヘッドライト検知手段で輝度値の大きくなっている部分を検知したとき、前記第２のフィルタ部の画像情報を選択するとともに露光制御を開放に制御する構成とした。

この構成により、輝度値の大きくなっている部分が検知されると、光を抑える特性のフィルタが選択され、露光が開放に制御される。したがって、フレアの影響が抑えられ、輝度値の大きくなっている部分の周辺の認識度を高めることができる。

また、前記合成・選択手段は、前記二つの画像情報の位置的に対応する画素同士の輝度値の差分を設定された閾値と比較し、この比較結果に基づいて一方の画素情報を選択し、選択された画素情報を合成して画像情報を作成する構成とした。

この構成により、輝度値の差分が閾値を超えない場合は、同程度の輝度値で見やすいフィルタ部の画素情報が選択されるようにすれば、全画面で認識度を高めることができる。

また、本発明の撮像装置は、複数の光電変換部を持つ撮像素子と、前記光電変換部単位に赤の光のみ通過させるＲフィルタ部と、緑の光のみ通過させるＧフィルタ部と、青の光のみ通過させるＢフィルタ部と、可視光をカットする可視光カットフィルタ部とを有し、ＲＧＢベイヤー配列に従い、Ｇ領域の一部分を前記可視光カットフィルタ部として配列した光学フィルタと、前記Ｒフィルタ部に対応する前記光電変換部の信号と、前記Ｇフィルタ部に対応する前記光電変換部の信号と、前記Ｂフィルタ部に対応する前記光電変換部の信号と、前記可視光カットフィルタ部に対応する前記光電変換部の信号とを分離する分離手段と、前記分離手段で分離された前記Ｒフィルタ部とＧフィルタ部とＢフィルタ部に対応する信号による画像情報と、前記可視光カットフィルタ部に対応する信号による画像情報とから一つを選択、または前記二つの画像情報を合成する合成・選択手段とを備える構成を有している。

この構成により、カラー画像と近赤外光の画像を同時に得ることができ、二つの画像から一つを選択、または二つの画像を合成することで、昼間でも夜間でも認識度の高い画像を出力することができる。

ここで、前記合成・選択手段は、前記二つの画像情報の位置的に対応する画素同士の輝度値を比較して輝度値の大きい画素情報を選択し、選択された画素情報を合成して画像情報を作成する構成とした。

この構成により、画素毎に輝度値の大きい画素の画素情報が選択され、選択された画素情報が合成され、全画面で認識度を高めることができる。

または、同時に得られたカラー画像と近赤外光の画像のカラー画像データ（Ｒ、Ｇ、Ｂ）から近赤外光画像データを除く（減ずる）処理を行った画像から、カラー画像を生成することで、ＩＲカットフィルタ無しで近赤外光の影響を受けないきれいな色再現性を実現することができる。

本発明によれば、光電変換部毎に、フィルタ特性の異なる二種類のフィルタを設け、被写体状況に応じて一方のフィルタ特性の画像を選択したり、二つの画像を合成したりしているので、認識度の高い画像を出力することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態の撮像装置を示す図である。

図１において、撮像素子パッケージ１１は、本件出願人が特願２００５−０８３１０４にて出願した技術を用いたもので、光学フィルタ１１１と撮像素子１１２が一体となっており、また、光学フィルタ１１１の特性を撮像素子１１２の画素に対応する光電変換部毎に設定可能となっている。

光学フィルタ１１１は、図２に示すように、光電変換部毎に、例えば図３に示すような、第１のフィルタ特性を持つ第１のフィルタ部１１１ａと、第２のフィルタ特性を持つ第２のフィルタ部１１１ｂの、フィルタ特性の異なる二種類のフィルタが市松模様状に配置されている。

撮像素子パッケージ１１は、同期信号発生器１５７に同期したタイミング発生器１３３からの駆動タイミングパルスのタイミングで駆動回路１３２により駆動される。

撮像素子パッケージ１１の出力信号は、ＡＦＥ（Analog Front End）部１３１に送られ、相関二重サンプリング（ＣＤＳ回路）、自動利得補正（ＡＧＣ回路）のアナログ信号処理を施された後、アナログデジタル変換（ＡＤＣ回路）でデジタル化されて信号処理部１５に送られる。

信号処理部１５は、白黒及びカラー映像信号を生成することができる回路群であり、分離補完部１５１で第１のフィルタ部１１１ａの画素と第２のフィルタ部１１１ｂの画素を判別し、第１のフィルタ部１１１ａの画素と第２のフィルタ部１１１ｂの画素で信号を振り分け、振り分けて分離したことにより欠損した部分の画素情報を補完する。

また、露光制御部１５８で第１のフィルタ部１１１ａの画素、第２のフィルタ部１１１ｂの画素それぞれの輝度平均値を元に露光時間を制御する。

ヘッドライト検知回路１５２は、分離補完部１５１で分離・補完された画像データを元に、ヘッドライトの光などにより輝度値が大きくなっている部分が有るかを検知し、分離・補完された画像データとともに検知結果を合成・選択部１５３に出力する。

また、検知結果は露光制御部１５８にも出力され、露光制御部１５８は、輝度値の大きくなっている部分が検知されていると、露光制御を開放に制御する。

合成・選択部１５３は、分離・補完された画像データとヘッドライト検知回路１５２の検知結果に基づいて、第１のフィルタ部１１１ａの画素による画像データと第２のフィルタ部１１１ｂの画素による画像データから一つを選択して、または二つの画像データを合成して出力する。

Ｙ／Ｃ処理部１５４は、白黒画像の映像信号処理、色分離・ホワイトバランス・色差信号（R-Y/B-Y）の生成、γ補正、ニー処理、アパーチャ処理、出力クリップ処理、同時化を行い、エンコーダ部１５５で任意の出力方式（NTSC/PAL等）を選択して出力信号を生成し、ＤＡＣ（Digital Analog Converter）１５６でアナログ信号に変換して出力する。

また、Ｙ／Ｃ処理部１５４の出力は、デジタル出力部１４に入力され、ＬＶＤＳ（Low Voltage Differential Signaling）などによりデジタル信号として出力される。

本実施の形態においては、Ｙ／Ｃ処理部１５４にて白黒映像信号処理を行い、白黒映像信号を生成する。

また、パラメータ設定部１５９は、通信制御部１６０からの制御信号により、分離補完部１５１、ヘッドライト検知回路１５２、Ｙ／Ｃ処理部１５４、エンコーダ部１５５、露光制御部１５８に制御パラメータを設定し、出力映像特性を変えることができるようになっている。

通信制御部１６０は、外部との通信を制御し、通信によって送られてきた制御信号をパラメータ設定部１５９に送るようになっている。

以上のように構成された撮像装置１について、その動作を説明する。

撮像素子パッケージ１１から読み出された各光電変換部（画素）の信号は、分離補完部１５１において第１のフィルタ部１１１ａの画素と第２のフィルタ部１１１ｂの画素とに分離され、分離された画素の欠損部分は、隣接する同じ種類（第１のフィルタ部の画素、または第２のフィルタ部の画素）の画素との相関確認により、相関性の高い画素で欠損部分が補完される。

このようにして、水平・垂直解像度を劣化させることなく、二種類の異なるフィルタ特性のフィルタによる画像を撮像可能となる。

分離補完部１５１で分離・補完された画像データは、ヘッドライト検知回路１５２で、ヘッドライトの光などにより輝度値が大きくなっている部分が有るかが検知される。

これは、所定の画素数の所定の形のエリアが設定されていて、画像データ内の各部にこのエリアが当てはめられ、エリア内の画素の輝度値の平均値が設定された閾値を超える部分が輝度値が大きくなっている部分として検知される。

このエリアの画素数や形、及び閾値は、パラメータ設定部１５９により切り替えられるようになっている。

このようにして行われた検知結果と二つの画像データが合成・選択部１５３に送られる。

合成・選択部１５３は、ヘッドライト検知回路１５２の検知結果を判定し、検知結果が輝度値の大きくなっている部分が有る、であれば、入光量が小さくなる第２のフィルタ部１１１ｂの画素による画像データを選択する。

検知結果は露光制御部１５８にも送られ、露光制御部１５８は、検知結果が輝度値の大きくなっている部分が有る、であれば、露光制御を開放に制御する。

このように、画像データ内にヘッドライトの光などにより輝度値が大きくなっている部分があると、第２のフィルタ特性の第２のフィルタ部１１１ｂの画素の画像データを選択して光の影響を抑え、露光制御を開放にしているので、輝度値が大きくなっている部分の周辺の近赤外光の反射率の高い物体（人の服や植物など）が明るく見え、認識度を高めることができる。

合成・選択部１５３は、ヘッドライト検知回路１５２の検知結果が、輝度値の大きくなっている部分が無い、であれば、二つの画像データを分析し、例えば、各画素の輝度値の平均値を求め、予め設定された閾値に近い画像データを選択する。

または、画像内の位置が同じ画素の輝度値の差分の平均値を求め、差分の平均値が予め設定された閾値より大きいときは第２のフィルタの画素による画像データを選択し、小さいときは第１のフィルタの画素による画像データを選択する。

または、二つの画像データの位置的に対応する画素の輝度値を画素毎に比較し、輝度値の高い画素データを選択し、選択された画素データを合成する。

または、二つの画像データの位置的に対応する画素の輝度値の差分を閾値と比較し、差分が閾値より大きいときには輝度値の大きい画素データを選択し、差分が閾値より小さいときには第１のフィルタ部１１１ａの画素の画素データを選択し、選択された画素データを合成する。さらに、画像データのエリアによって閾値の値や画素情報の選択の仕方を設定できるようにしてもよい。

または、二つの画像データを均等なエリアに分割し、それぞれのエリアの輝度値の平均値を算出し、二つの画像データの位置的に対応するエリアの輝度値の平均値を比較し、輝度値の平均値の大きい方の画像データをそれぞれのエリアで選択し、選択された画像データを合成する。

または、分離補完部１５１で分離・補完される前の、撮像素子１１２で撮像された第１のフィルタ部１１１ａの画素の情報と第２のフィルタ部１１１ｂの画素の情報を同時に出力するように合成するなどして、一つの画像データを出力する。

このようにして、異なる特性のフィルタによる二つの画像データから一方が選択され、または、それぞれの一部が合成されて、より輝度値の高い、よく見える画像が出力される。

また、通信制御部１６０が受信した制御信号に基づき、パラメータ設定部１５９が制御パラメータの設定を行うことにより、分離補完部１５１、ヘッドライト検知回路１５２、Ｙ／Ｃ処理部１５４、エンコーダ部１５５、露光制御部１５８、を制御し、出力映像特性を変えることができる。

また、露光制御部１５８は、第１のフィルタ部１１１ａの画素と第２のフィルタ部１１１ｂの画素との輝度平均値を別々に算出し、算出した輝度平均値に基づいて露光制御を行う。

また、本実施の形態の撮像装置の出力は、画像処理装置（例えば、ＥＣＵ：Electronic Control Unit）２にて処理され、表示装置に表示されたり、物体検知・人検知などが行われたりする。

このように本実施の形態においては、光学フィルタ１１１に、光電変換部（画素）毎に、第１のフィルタ特性を持つ第１のフィルタ部１１１ａと、第２のフィルタ特性を持つ第２のフィルタ部１１１ｂの、フィルタ特性の異なる二種類のフィルタを設け、被写体状況に応じて一方のフィルタ特性の画像を選択したり、二つの画像を合成したりしているので、認識度の高い画像を出力することができる。

なお、本実施の形態においては、第１のフィルタ部１１１ａと第２のフィルタ部１１１ｂを市松模様状に配置したが、図４に示すように、縞模様状に配置してもよい。

また、本実施の形態においては、ヘッドライト検知回路１５２の検知結果が輝度値の大きくなっている部分が有るとき、第２のフィルタ部１１１ｂの画素による画像データを選択し、露光制御を開放に制御したが、第１のフィルタ部１１１ａの画素による画像データを選択し、露光制御を絞るように制御するようにしてもよい。

（第２の実施の形態）
次に、図５は本発明の第２の実施の形態の撮像装置を示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。

本実施の形態の撮像装置３は、光学フィルタ３１１として、図６に示すような、光電変換部（画素）毎に、例えば図７に示すような特性の、可視光カットフィルタ部３１１ａと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）それぞれの色の光のみ通過させるカラーフィルタ部３１１ｂとが、ＲＧＢベイヤー配列のＧ領域の一方を可視光カットフィルタ部３１１ａとするように配置されたものが設けられている。

そして、分離部３２１は、撮像素子パッケージ３１から読み出された各画素の信号を、可視光カットフィルタ部３１１ａの画素と、カラーフィルタ部３１１ｂのＲ、Ｇ、Ｂそれぞれに対応する画素に分離し出力する。

合成・選択部３２２は、分離部３２１において分離されたそれぞれの画像データを元に、近赤外光の画像データとＲ、Ｇ、Ｂによるカラーの画像データのいずれか一方を選択して出力したり、近赤外光の画像データとＲ、Ｇ、Ｂによるカラーの画像データを合成して出力したりする。

以上のように構成された撮像装置３について、その動作を説明する。

撮像素子パッケージ３１から読み出された各光電変換部（画素）の信号は、分離部３２１において、可視光カットフィルタ部３１１ａの画素と、カラーフィルタ部３１１ｂのＲに対応する画素、Ｇに対応する画素、Ｂに対応する画素、それぞれに分離され、可視光カットフィルタ部３１１ａの画素から近赤外光の画像データを、カラーフィルタ部３１１ｂのＲに対応する画素からＲの画像データを、カラーフィルタ部３１１ｂのＧに対応する画素からＧの画像データを、カラーフィルタ部３１１ｂのＢに対応する画素からＢの画像データを、出力する。

合成・選択部３２２では、例えば、分離部３２１において分離された近赤外光の画像データと、Ｒ、Ｇ、Ｂからなるカラーの画像データの、それぞれの画像データの画素の輝度値の平均値を求め、輝度平均値の高い画像データを選択して出力する。

または、近赤外光の画像データと、Ｒ、Ｇ、Ｂからなるカラー画像データの二つの画像データの位置的に対応する画素の輝度値を画素毎に比較し、輝度値の高い画素データを選択し、選択された近赤外光の画素のデータはＲ、Ｇ、Ｂのデータに変換するなどして合成してＲ、Ｇ、Ｂのカラー画像データとして出力する。

または、Ｒ、Ｇ、Ｂそれぞれの画素の輝度値から位置的に対応する近赤外光の画素の輝度値を減じた輝度値を、Ｒ、Ｇ、Ｂそれぞれの画素の輝度値としたカラー画像データを出力する。

または、近赤外光の画像データと、Ｒ、Ｇ、Ｂからなるカラー画像データそれぞれを、均等なエリアに分割し、それぞれのエリアの輝度値の平均値を算出し、二つの画像データの位置的に対応するエリアの輝度値の平均値を比較し、輝度値の平均値の大きい方の画像データをそれぞれのエリアで選択し、選択された近赤外光の画素のデータはＲ、Ｇ、Ｂのデータに変換するなどして選択された画像データを合成して、Ｒ、Ｇ、Ｂのカラー画像データとして出力する。

または、近赤外光の画像データを輝度情報としてＹ／Ｃ処理部１５４のＹ処理部に出力するとともに、Ｒ、Ｇ、Ｂのカラー画像データを色情報としてＹ／Ｃ処理部１５４のＣ処理部に出力する。さらに、設定された閾値以上の輝度値を持つ近赤外光の画素に位置的に対応するＲ、Ｇ、Ｂの画素のデータのみを色情報としてＹ／Ｃ処理部１５４のＣ処理部に出力するようにしてもよい。

出力された画像データは、Ｙ／Ｃ処理部１５４にてカラー映像信号処理され、エンコーダ部１５５で所定の出力方式に変換され、ＤＡＣ１５６でアナログ信号に変換され出力される。

また、Ｙ／Ｃ処理部１５４の出力は、デジタル出力部１４に入力され、ＬＶＤＳなどによりデジタル信号として出力される。

また、通信制御部１６０が受信した制御信号に基づき、パラメータ設定部３２３が制御パラメータの設定を行うことにより、分離部３２１、Ｙ／Ｃ処理部１５４、エンコーダ部１５５、露光制御部３２４、を制御し、出力映像特性を変えることができるようになっている。
また、露光制御部３２４は、可視光カットフィルタ部３１１ａの画素とカラーフィルタ部３１１ｂの画素との輝度平均値を別々に算出し、算出した輝度平均値に基づいて露光制御を行う。

このように本実施の形態においては、光学フィルタ３１１に、光電変換部（画素）毎に、可視光カットフィルタ部３１１ａと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）それぞれの色の光のみ通過させるカラーフィルタ部３１１ｂを設け、近赤外光による画像とカラー画像を同時に得て、被写体状況に応じて一方の画像を選択したり、二つの画像を合成したりしているので、昼間でも夜間でも認識度の高い画像を出力することができる。

また、近赤外光の画像データを輝度情報として、Ｒ、Ｇ、Ｂのカラー画像データを色情報としてＹ／Ｃ処理部１５４に出力すれば、近赤外光を投光して暗いところを撮像した映像をカラー表示にすることができる。

また、設定された閾値以上の輝度値を持つ近赤外光の画素に位置的に対応するＲ、Ｇ、Ｂの画素のデータのみを色情報としてＹ／Ｃ処理部１５４に出力するようにすれば、明るい被写体のみカラー表示にすることができ、認識度を向上させることができる。

また、Ｒ、Ｇ、Ｂそれぞれの画素の輝度値から位置的に対応する近赤外光の画素の輝度値を減じた輝度値を、Ｒ、Ｇ、Ｂそれぞれの画素の輝度値としたカラー画像データによりカラー画像を生成すれば、ＩＲカットフィルタ無しでも、きれいな色再現性を保ったカラー画像を生成することができる。

以上のように、本発明にかかる撮像装置は、認識度の高い画像を出力することができるという効果を有し、近赤外光により暗い場所に存在するものを撮像する撮像装置等として有用である。

本発明の第１の実施の形態における撮像装置のブロック図本発明の第１の実施の形態における撮像装置の光学フィルタの構成を示す図本発明の第１の実施の形態における撮像装置の光学フィルタの特性例を示す図本発明の第１の実施の形態における撮像装置の光学フィルタの他の構成を示す図本発明の第２の実施の形態における撮像装置のブロック図本発明の第２の実施の形態における撮像装置の光学フィルタの構成を示す図本発明の第２の実施の形態における撮像装置の光学フィルタの特性例を示す図従来の撮像装置の光学フィルタの特性例を示す図（ａ）従来のカラー撮像装置の撮像素子と光学フィルタの構成例を示す図（ｂ）従来のカラー撮像装置の光学フィルタの特性例を示す図

符号の説明

１撮像装置
１１撮像素子パッケージ
１１１光学フィルタ
１１１ａ第１のフィルタ部
１１１ｂ第２のフィルタ部
１１２撮像素子
１２撮像レンズ
１３ＡＦＥ・センサ駆動部
１３１ＡＦＥ（Analog Front End）部
１３２駆動回路
１３３タイミング発生器
１４デジタル出力部
１５信号処理部
１５１分離補完部
１５２ヘッドライト検知回路
１５３合成・選択部
１５４Ｙ／Ｃ処理部
１５５エンコーダ部
１５６ＤＡＣ（Digital Analog Converter）
１５７同期信号発生器
１５８露光制御部
１５９パラメータ設定部
１６０通信制御部
２画像処理装置
３撮像装置
３１撮像素子パッケージ
３１１光学フィルタ
３１１ａ可視光カットフィルタ部
３１１ｂカラーフィルタ部
３２信号処理部
３２１分離部
３２２合成・選択部
３２３パラメータ設定部
３２４露光制御部
４１撮像素子パッケージ
４１１オンチップフィルタ
４１２撮像素子
４２撮像レンズ
４３ＩＲカットフィルタ

Claims

複数の光電変換部を持つ撮像素子と、前記光電変換部単位に第１のフィルタ特性を持つ第１のフィルタ部と第２のフィルタ特性を持つ第２のフィルタ部とを有する光学フィルタと、前記第１のフィルタ部に対応する前記光電変換部の信号と前記第２のフィルタ部に対応する前記光電変換部の信号とを分離し、分離したそれぞれの信号の分離によって生じた欠損部分の信号を補完する分離補完手段と、前記分離補完手段で分離・補完された二つの画像情報から一つを選択、または前記二つの画像情報を合成する合成・選択手段とを備えることを特徴とする撮像装置。
前記分離補完手段で分離・補完された二つの画像情報から輝度値の大きくなっている部分の有無を検知するヘッドライト検知手段を備え、前記ヘッドライト検知手段で輝度値の大きくなっている部分を検知したとき、露光制御を絞るように制御することを特徴とする請求項１に記載の撮像装置。
前記第２のフィルタ部のフィルタ特性は、可視光を抑える特性とし、前記第１のフィルタ部のフィルタ特性は、前記第２のフィルタ部のフィルタ特性より可視光を多く通過させる特性とし、前記分離補完手段で分離・補完された二つの画像情報から輝度値の大きくなっている部分の有無を検知するヘッドライト検知手段を備え、前記ヘッドライト検知手段で輝度値の大きくなっている部分を検知したとき、前記第２のフィルタ部の画像情報を選択するとともに露光制御を開放に制御することを特徴とする請求項１に記載の撮像装置。
前記合成・選択手段は、前記二つの画像情報の位置的に対応する画素同士の輝度値の差分を設定された閾値と比較し、この比較結果にに基づいて一方の画素情報を選択し、選択された画素情報を合成して画像情報を作成することを特徴とする請求項１に記載の撮像装置。
複数の光電変換部を持つ撮像素子と、前記光電変換部単位に赤の光のみ通過させるＲフィルタ部と、緑の光のみ通過させるＧフィルタ部と、青の光のみ通過させるＢフィルタ部と、可視光をカットする可視光カットフィルタ部とを有し、ＲＧＢベイヤー配列に従い、Ｇ領域の一部分を前記可視光カットフィルタ部として配列した光学フィルタと、前記Ｒフィルタ部に対応する前記光電変換部の信号と、前記Ｇフィルタ部に対応する前記光電変換部の信号と、前記Ｂフィルタ部に対応する前記光電変換部の信号と、前記可視光カットフィルタ部に対応する前記光電変換部の信号とを分離する分離手段と、前記分離手段で分離された前記Ｒフィルタ部とＧフィルタ部とＢフィルタ部に対応する信号による画像情報と、前記可視光カットフィルタ部に対応する信号による画像情報とから一つを選択、または前記二つの画像情報を合成する合成・選択手段とを備えることを特徴とする撮像装置。
前記合成・選択手段は、前記二つの画像情報の位置的に対応する画素同士の輝度値を比較して輝度値の大きい画素情報を選択し、選択された画素情報を合成して画像情報を作成することを特徴とする請求項１または請求項５に記載の撮像装置。