JP2010068020A - 画像入力装置 - Google Patents

Abstract

【課題】可視波長領域の感度が異なり、赤外波長領域の感度が同一であるフィルタを備えた画素で撮像素子を構成した場合において生じる課題を解決する。
【解決手段】評価部４１は、輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを示す評価値ｅを算出する。抽出部４３１は、色補間部４２２により補間された輝度画像成分ＤＷの高周波成分Ｙｈを抽出する。調節部４３３は、評価部４１により算出された評価値ｅが小さくなるにつれて高周波成分Ｙｈの強度を増大させるためのゲインＧＧを設定し、設定したゲインＧＧを高周波成分Ｙｈに乗ずることで高周波成分Ｙｈの強度を調節する。合成部４３４は、調節部４３３により強度が調節された高周波成分Ｙｈと色空間変換部４２６により生成された輝度信号Ｙとを合成することで、エッジ成分が強調された輝度信号Ｙ´を生成する。
【選択図】図４

Description

本発明は、撮像素子により撮像された画像を画像処理する画像入力装置に関するものである。

近年、夜間のシーンをカラーで撮像する撮像装置が知られている。特許文献１には、Ｒ，Ｇ，Ｂのフィルタを備える画素により撮像された画像からＲ，Ｇ，Ｂの色成分からなる可視画像データを抽出する可視画像抽出手段１２０と、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する赤外画像抽出手段１３０と、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する輝度情報抽出手段１４０と、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似カラー画像を生成する疑似カラー画像生成手段１７０とを備え、晴天の日ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０とするカラー画像再生装置が開示されている。
特開２００７−１８４８０５号公報

ところで、特許文献１では、赤外成分を含む赤色、緑色、及び青色の受光素子における受光量をＨＳＶ色空間に変換することで、輝度成分Ｖが求められているが（段落［００３５］）、Ｒ，Ｇ，Ｂのフィルタは赤外波長領域における感度がそれぞれ異なり、赤外波長領域の感度がそれぞればらついており、赤外波長領域の一部の帯域の感度が低くなっている。そのため、可視波長領域の感度は異なるが、赤外波長領域の全域において一定の感度を有する複数種類のフィルタを備えた撮像素子を採用した場合についての課題が全く考慮されていない。

本発明の目的は、可視波長領域の感度は異なるが、赤外波長領域の全域において一定の感度を有する複数種類のフィルタを備えた画素から構成された撮像素子を採用した場合に生じる課題を解決することができる画像入力装置を提供することである。

（１）本発明の一局面による画像入力装置は、赤外フィルタを備える画素により赤外画像成分を撮像し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する撮像素子と、前記輝度画像成分における前記赤外画像成分の大きさを評価する評価部と、前記輝度画像成分と前記赤外画像成分とを基に、輝度信号を生成する信号生成部と、前記評価部による評価結果を基に、前記輝度画像成分における前記赤外画像成分の大きさが小さくなるにつれて、前記輝度信号のエッジ成分の強度が強くなるように、前記エッジ成分を強調させるエッジ処理部とを備えることを特徴とする。

撮像素子は、赤外フィルタを備える画素と、フィルタを備えない画素とを備えている。ここで、赤外フィルタを備える画素と、フィルタを備えない画素とは、赤外波長領域の全域に渡って一定の感度を有している。よって、この撮像素子は、赤外光に対する解像度は高いが、可視光に対する解像度は低い。そのため、この撮像素子は、可視光に対する赤外光の強度が弱くなるにつれて解像度が低くなり、それに伴って、輝度信号のエッジ成分の強度も、可視光に対する赤外光の強度が弱くなるにつれて低下する。そこで、エッジ処理部は、輝度画像成分に対する赤外画像成分の大きさが小さくなるにつれて、輝度信号のエッジ成分を強めるエッジ処理を行う。これにより、可視光に対する赤外光の強度の低下によって撮像素子の解像度が低下することによる輝度信号のエッジ成分の強度の低下を補うことができる。

（２）前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とするカラーフィルタを備える画素を更に含み、前記信号生成部は、前記カラーフィルタを備える画素により撮像されたカラー画像成分と前記輝度画像成分と前記赤外画像成分とを基に色信号を生成し、生成した色信号を基に、前記輝度信号を生成することが好ましい。

この場合、カラーフィルタを備える画素によりカラー画像成分が撮像されている。そのため、カラー画像成分と輝度画像成分と赤外画像成分とを用いて色信号を生成することができる。また、カラーフィルタは、赤外波長領域を有感度波長帯域としているため、（１）の処理を適用することで、可視光に対する赤外光の強度の低下による輝度信号のエッジ信号の強度の低下を補うことができる。

（３）前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、フィルタを備えないことが好ましい。

この場合、第１の画素は、第１のカラーフィルタを備えているため、青色領域を除く有感度波長帯域の画像を可視カラー画像成分として撮像することができ、第２の画素は、第２のカラーフィルタを備えているため、青色領域及び緑色領域を除く有感度波長帯域の画像をカラー画像成分として撮像することができ、第３の画素は、可視波長領域を除く有感度波長帯域の画像を赤外画像成分として撮像することができ、第４の画像は、フィルタを備えていないため、有感度波長帯域の画像を輝度画像成分として撮像することができる。

そして、撮像素子は、第１〜第４の画素を備える単位画素部がマトリックス状に配列されているため、可視カラー画像成分と赤外画像成分と輝度画像成分とを偏りなく撮像することができる。

（４）前記エッジ処理部は、前記撮像素子により撮像された輝度画像成分から高周波成分を抽出する抽出部と、前記評価部による評価結果に基づいて、前記輝度画像成分における前記赤外画像成分の大きさが小さくなるにつれて前記抽出部により抽出された高周波成分の強度が増大するように前記高周波成分の強度を調節する調節部と、前記調節部により強度が調節された高周波成分と、前記信号生成部により生成された輝度信号とを合成することで、前記輝度信号のエッジ成分を強調させる合成部とを備えることが好ましい。

この場合、輝度画像成分から高周波成分を抽出し、この高周波成分の強度を調節した後、輝度信号に合成することで、輝度信号のエッジ成分の強度が調節されているため、輝度信号のエッジ成分の強度を精度良く調節することができる。

（５）前記評価部は、前記輝度画像成分から前記赤外画像成分を減じた値である評価値を算出することで、前記輝度画像成分における前記赤外画像成分の大きさを評価することが好ましい。

この場合、簡便な処理により輝度画像成分における赤外画像成分の大きさを評価することができる。

本発明によれば、可視波長領域の感度は異なるが、赤外波長領域の全域において一定の感度を有する複数種類のフィルタを備える画素から構成された撮像素子を採用した場合において、可視光に対する赤外光の強度の低下による輝度信号のエッジ成分の強度の低下を補うことができる。

以下、本発明の実施の形態による画像入力装置１について説明する。図１は、本発明の実施の形態による画像入力装置１のブロック図を示している。図１に示すように画像入力装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。

レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

そして、本実施の形態において、撮像素子３は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分ＤＢｌｋを撮像し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分ＤＢｌｋとを含む輝度画像成分ＤＷを撮像する。

画像処理部４は、画像信号に演算を行う演算回路及び画像信号を格納するメモリ等を含み、撮像素子３から出力された画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像素子３及び画像処理部４を制御する制御信号を出力する。また、制御部５は画像処理部４から出力される後述する評価値を受け、評価値を基に後述する各種処理を行う。

図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素（第１の画素の一例）、Ｒ画素（第２の画素の一例）、Ｂｌｋ画素（第３の画素の一例）、及びＷ画素（第４の画素の一例）とを含む単位画素部３１がマトリックス状に配列されている。

図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第２１列にＢｌｋ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にｙｅ画素が配列されるというように、Ｒ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素は千鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素を千鳥状に配列してもよい。

ｙｅ画素はｙｅフィルタ（第１のカラーフィルタの一例）を備えているため、ｙｅの可視カラー画像成分（以下、「ｙｅ画像成分」と呼ぶ。）を撮像し、Ｒ画素はＲフィルタ（第２のカラーフィルタの一例）を備えているため、Ｒの可視カラー画像成分（以下、「Ｒ画像成分」と呼ぶ）を撮像し、Ｂｌｋ画素はＢｌｋフィルタ（赤外フィルタの一例）を備えているため、赤外画像成分ＤＢｌｋを撮像し、Ｗ画素はフィルタを備えていないため、可視輝度画像成分と赤外画像成分ＤＢｌｋとを含む輝度画像成分ＤＷを撮像する。

図３は、ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜６４０ｎｍが可視波長領域とされ、６４０ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。

図３に示すように、ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

Ｂｌｋフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

図４は、画像処理部４と制御部５とのブロック図を示している。画像処理部４は、評価部４１、信号生成部４２、エッジ処理部４３、及び評価値算出部４４を備えている。制御部５は、係数決定部５１、露出補正値算出部５２、及びＷＢ（ホワイトバランス）補正値算出部５３を備える。信号生成部４２は、露出補正部４２１、色補間部４２２、色信号生成部４２３、ＷＢ補正部４２４、色信号合成部４２５、及び色空間変換部４２６を備えている。

評価部４１は、輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを評価する。具体的には、評価部４１は、撮像素子３で撮像された１フレームの画像内の所定行×所定列の画素からなる局所領域において、Ｗ画素の画素値、すなわち輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、かつＢｌｋ画素の画素値、すなわち赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅＤＷから評価値ｅＤＢｌｋを減じた値を評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）として算出する。そして、評価部４１は算出した評価値ｅによって輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを評価する。なお、評価値ｅが大きくなるにつれて可視光に対する赤外光の強度が小さくなる。

また、評価部４１は、評価値ｅとしてｅＤＷ−ｅＤＢｌｋを採用したが、輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを示す値であれば、どのような値を採用してもよく、例えば、ｅＤＢｌｋ／ｅＤＷを評価値ｅとして採用してもよい。

係数決定部５１は、評価値ｅが大きくなるにつれて増大する予め定められた特性を有する重み係数ｋと、評価値ｅが大きくなるにつれて減少する予め定められた特性を有する重み係数ｋｗとを、評価部４１により算出された評価値ｅを用いて決定する。

図５は、重み係数ｋ，ｋｗの特性を示すグラフであり、縦軸が重み係数ｋ，ｋｗを示し横軸が評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を示している。図５に示すように重み係数ｋは評価値ｅが増大するにつれて例えば線形に増大する特性を有し、重み係数ｋｗは評価値ｅが増大するにつれて例えば線形に減少する特性を有していることが分かる。

なお、図５において、重み係数ｋ，ｋｗの特性を示す直線の傾きは実験的に得られた値が採用されている。具体的には、重み係数ｋ，ｋｗはｋ＋ｋｗ＝１の関係を有しており、重み係数ｋ，ｋｗの特性を示す直線の傾きは、評価値ｅが予め定められた評価値ｅの最大値を示すときにｋ＝１、ｋｗ＝０となり、評価値ｅが予め定められた評価値ｅの最小値を示すときにｋ＝０、ｋｗ＝１となるような値を有している。

露出補正値算出部５２は、係数決定部５１により決定された重み係数ｋ，ｋｗを次式に代入することで輝度評価値ｅｄＹを算出し、輝度評価値ｅｄＹを所定の値で除すことで露出補正値Ｈ１を算出し、露出補正部４２１に出力する。ここで、所定の値としては、上述の局所領域におけるＤＢｌｋ画素とＤＷ画素との総画素数を採用することができる。

ｅｄＹ＝ｋｗ×ｅＤＷ＋ｋ×（ｅＤＷ−ｅＤＢｌｋ）
露出補正部４２１は、露出補正値Ｈ１を、撮像素子３により撮像されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。

色補間部４２２は、千鳥状に配列されたＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素の欠落画素を補間するために、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、輝度画像成分ＤＷ、及びｙｅ画像成分Ｄｙｅのそれぞれに補間処理を施し、撮像素子３の画素数と同一画素数からなるＲ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、輝度画像成分ＤＷ、及びｙｅ画像成分Ｄｙｅを生成する。ここで、補間処理としては、例えば線形補間処理を採用することができる。

色信号生成部４２３は、色補間部４２２により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを式（１）により合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＲ，ｄＧ，ｄＢを生成する。

ｄＲ＝ＤＲ−ＤＢｌｋ
ｄＧ＝Ｄｙｅ−ＤＲ （１）
ｄＢ＝ＤＷ−Ｄｙｅ
評価値算出部４４は、上述した局所領域において、各画素の色信号ｄＲ，ｄＧ，ｄＢの値を加算し、色信号ｄＲの加算値Ｒａｖｅと、色信号ｄＧの加算値Ｇａｖｅと、色信号ｄＢの加算値Ｂａｖｅとを算出し、制御部５に出力する。

ＷＢ補正値算出部５３は、加算値Ｒａｖｅと、加算値Ｇａｖｅと、加算値Ｂａｖｅとから式（２）によりＲの利得ＲｇａｉｎとＧの利得ＧｇａｉｎとＢの利得Ｂｇａｉｎとを算出する。

Ｒｇａｉｎ＝Ｇａｖｅ÷Ｒａｖｅ
Ｇｇａｉｎ＝Ｇａｖｅ÷Ｇａｖｅ （２）
Ｂｇａｉｎ＝Ｇａｖｅ÷Ｂａｖｅ
ＷＢ補正部４２４は、式（３）に示すようにＷＢ補正値算出部５３により算出された利得Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを、色信号生成部４２３により生成された各画素の色信号ｄＲ，ｄＧ，ｄＢに乗じ、色信号ｄＲ´，ｄＧ´，ｄＢ´を算出する。これにより、色信号ｄＲ，ｄＧ，ｄＢは色信号ｄＧを基準としてＷＢ補正が施される。

ｄＲ´＝Ｒｇａｉｎ×ｄＲ
ｄＧ´＝Ｇｇａｉｎ×ｄＧ （３）
ｄＢ´＝Ｂｇａｉｎ×ｄＢ
なお、ＷＢ補正部４２４は、色信号ｄＧに代えて、色信号ｄＲ又は色信号ｄＢを基準としてＷＢ補正を行ってもよい。この場合、ＷＢ補正値算出部５３は、ＷＢ補正部４２４が基準とする色信号ｄＲ又はｄＢに応じた利得を算出すればよい。

色信号合成部４２５は、式（４）に示すように、係数決定部５１により決定された重み係数ｋにより色信号ｄＲ´，ｄＧ´，ｄＢ´を重み付け、色補間部４２２により補間された赤外画像成分ＤＢｌｋを、係数決定部５１により決定された重み係数ｋｗを用いて重み付け、重み付けした色信号ｄＲ´，ｄＧ´，ｄＢ´のそれぞれと、重み付けした赤外画像成分ＤＢｌｋとを合成して、各画素の合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを生成する。

Ｒｗａｖ＝ｋ・ｄＲ´＋ｋｗ・ＤＢｌｋ
Ｇｗａｖ＝ｋ・ｄＧ´＋ｋｗ・ＤＢｌｋ （４）
Ｂｗａｖ＝ｋ・ｄＢ´＋ｋｗ・ＤＢｌｋ
ここで、重み係数ｋは評価値ｅが大きいほど大きな値とされ、重み係数ｋｗは評価値ｅが大きいほど小さな値とされる。

そのため、晴天等の被写体が明るい場合、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖにおいて、可視輝度画像成分を表す色信号ｄＲ´，ｄＧ´，ｄＢ´の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。

一方、暗がり等の被写体が暗い場合、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖにおいて、赤外画像成分ＤＢｌｋの占める割合が大きくなり、赤外波長領域の輝度信号を多く用いてＳ／Ｎ比のよい色信号を得ることができる。

色空間変換部４２６は、式（５）に示すように、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを用いて、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを生成する。

ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。

Ｙ＝０．３Ｒｗａｖ＋０．５９Ｇｗａｖ＋０．１１Ｂｗａｖ
Ｃｂ＝Ｂｗａｖ−Ｙ （５）
Ｃｒ＝Ｒｗａｖ−Ｙ
エッジ処理部４３は、抽出部４３１、コアリング部４３２、調節部４３３、及び合成部４３４を備えている。抽出部４３１は、色補間部４２２により補間された輝度画像成分ＤＷの高周波成分Ｙｈを抽出する。ここで、抽出部４３１は、以下のようにして、高周波成分Ｙｈを抽出する。抽出対象となる高周波成分Ｙｈの帯域を通過する広帯域ローパスフィルタを用いて輝度画像成分ＤＷをフィルタ処理し、広帯域ローパス成分ＹＷＷを抽出する。一方、色補間部４２２で補間処理された輝度画像成分ＤＷ、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、及び赤外画像成分ＤＢｌｋの４枚の画像成分を平均して、平均画像成分ＹＷＬを生成する。そして、広帯域ローパス成分ＹＷＷ−平均画像成分ＹＷＬにより高周波成分Ｙｈを抽出する。

なお、抽出部４３１は、例えば、所定行×所定列のハイパスフィルタを用いて輝度画像成分ＤＷをフィルタ処理することで、高周波成分Ｙｈを抽出してもよい。

コアリング部４３２は、高周波成分Ｙｈにコアリングを行い、高周波成分Ｙｈに含まれる微弱なノイズを除去する。

調節部４３３は、評価部４１により算出された評価値ｅが小さくなるにつれて高周波成分Ｙｈの強度を増大させるためのゲインＧＧを設定し、設定したゲインＧＧを高周波成分Ｙｈに乗ずることで高周波成分Ｙｈの強度を調節する。

図６は、ゲインＧＧの特性を示すグラフであり、縦軸がゲインＧＧを示し、横軸が評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を示している。また、ｅ−ｍａｘは予め定められた評価値ｅの最大値である。図６に示すように、ゲインＧＧは、ｅが０から１／３ｅ−ｍａｘの範囲ではＬＬであり、ｅが１／３ｅ−ｍａｘからｅが２／３ｅ−ｍａｘの範囲ではほぼ線形にＬＬからＨＬまで緩やかに増大し、ｅが２／３ｅ−ｍａｘからｅ−ｍａｘの範囲ではＨＬとなる。このように、ゲインＧＧを緩やかに増大させているのは、可視光に対する赤外光の強度の低下に対して、輝度信号Ｙのエッジ成分の強度が緩慢に低下するからである。

具体的には、調節部４３３は、図６に示す評価値ｅとゲインＧＧとの関係を示すルックアップテーブル又は関数を予め記憶しており、このルックアップテーブル又は関数を用いて評価値ｅに対応するゲインＧＧを設定する。そして、設定したゲインＧＧを高周波成分Ｙｈに乗じることで、高周波成分Ｙｈの強度を調節する。

なお、図６において、ＬＬとしては例えば０．２、ＨＬとしては例えば０．８を採用することができるが、これは一例であり、ＬＬとして０や０．１、ＨＬとして０．８や１と等の他の値を採用してもよい。また、図６において、ゲインＧＧは１／３ｅ−ｍａｘ及び２／３ｅ−ｍａｘで変化しているが、これに限定されず、１／４ｅ−ｍａｘ及び３／４ｅ−ｍａｘというように他の値で変化させてもよい。

合成部４３４は、調節部４３３により強度が調節された高周波成分Ｙｈと色空間変換部４２６により生成された輝度信号Ｙとを合成することで、エッジ成分が強調された輝度信号Ｙ´を生成する。ここで、合成部４３４は、高周波成分Ｙｈと輝度信号Ｙとの対応する画素の画素値を加算する、或いは高周波成分Ｙｈと輝度信号Ｙとを一定の割合で重み付け、対応する画素の画素値を加算することで、高周波成分Ｙｈと輝度信号Ｙとを合成すればよい。

以上により、画像処理部４は、輝度信号Ｙと、色差信号Ｃｂ，Ｃｒとからなる画像信号を生成する。

次に、画像入力装置１の動作について説明する。まず、制御部５は、撮像素子３に１フレームの画像を撮像させる。ここで、撮像素子３は、ｙｅ画素によりｙｅ画像成分Ｄｙｅを撮像し、Ｒ画素によりＲ画像成分ＤＲを撮像し、Ｂｌｋ画素により赤外画像成分ＤＢｌｋを撮像し、Ｗ画素により輝度画像成分ＤＷを撮像する。なお、画像入力装置１が動画像を撮像する場合、制御部５は、１／３０ｓ、１／６０ｓ等のフレームレートで撮像素子３に画像を撮像させればよい。また、画像入力装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリースボタンが押されたときに、撮像素子３に画像を撮像させればよい。

次に、評価部４１は、局所領域における輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、局所領域における赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を算出する。

次に、係数決定部５１は、評価値ｅから重み係数ｋ，ｋｗを決定する。次に、露出補正値算出部５２は、重み係数ｋ，ｋｗから露出補正値Ｈ１を算出する。

次に、露出補正部４２１は、露出補正値Ｈ１を、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。

次に、色補間部４２２は、露出補正されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを補間処理する。

次に、色信号生成部４２３は、式（１）により色信号ｄＲ，ｄＧ，ｄＢを生成する。

次に、評価値算出部４４は、加算値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。次に、ＷＢ補正値算出部５３は、加算値Ｒａｖｅ，Ｇａｖｅ、Ｂａｖｅを用いて利得Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを算出する。次に、ＷＢ補正部４６は、利得Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを用いて各画素の色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正する。

次に、色信号合成部４２５は、式（４）を用いて、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを生成する。次に、色空間変換部４２６は、式（５）を用いて、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを生成する。

次に、抽出部４３１は、輝度画像成分ＤＷの高周波成分Ｙｈを抽出する。次に、コアリング部４３２は、高周波成分Ｙｈから微弱なノイズを除去する。次に、調節部４３３は、評価値ｅからゲインＧＧを設定し、設定したゲインＧＧを高周波成分Ｙｈに乗じて、高周波成分Ｙｈの強度を調節する。

次に、合成部４３４は、色空間変換部４２６により生成された輝度信号Ｙに、強度が調節された高周波成分Ｙｈを合成し、輝度信号Ｙのエッジ成分の強度が調節された輝度信号Ｙ´を生成する。

このように、画像入力装置１によれば、エッジ処理部４３が、評価値ｅの値が増大するにつれて、すなわち可視光に対する赤外光の強度が弱くなるにつれて、輝度信号Ｙのエッジ成分を強めるエッジ処理を行っている。これにより、可視光に対する赤外光の強度の低下によって撮像素子の解像度が低下することによる輝度信号のエッジ成分の強度の低下を補うことができる。

本発明の実施の形態による画像入力装置のブロック図を示している。 撮像素子の画素の配列を示す図である。 ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図である。 画像処理部と制御部とのブロック図を示している。 重み係数ｋ，ｋｗの特性を示すグラフである。 調節部４３３が設定するゲインの特性を示すグラフである。

符号の説明

３ 撮像素子
４ 画像処理部
５ 制御部
４１ 評価部
４２ 信号生成部
４３ エッジ処理部
４２３ 色信号生成部
４２５ 色信号合成部
４２６ 色空間変換部
４３１ 抽出部
４３２ コアリング部
４３３ 調節部
４３４ 合成部

Claims (5)

1. 赤外フィルタを備える画素により赤外画像成分を撮像し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する撮像素子と、
   前記輝度画像成分における前記赤外画像成分の大きさを評価する評価部と、
   前記輝度画像成分と前記赤外画像成分とを基に、輝度信号を生成する信号生成部と、
   前記評価部による評価結果を基に、前記輝度画像成分における前記赤外画像成分の大きさが小さくなるにつれて、前記輝度信号のエッジ成分の強度が強くなるように、前記エッジ成分を強調させるエッジ処理部とを備えることを特徴とする画像入力装置。
2. 前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とするカラーフィルタを備える画素を更に含み、
   前記信号生成部は、前記カラーフィルタを備える画素により撮像されたカラー画像成分と前記輝度画像成分と前記赤外画像成分とを基に色信号を生成し、生成した色信号を基に、前記輝度信号を生成することを特徴とする請求項１記載の画像入力装置。
3. 前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、
   前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、
   前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、
   前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、
   前記第４の画素は、フィルタを備えないことを特徴とする請求項２記載の画像入力装置。
4. 前記エッジ処理部は、
   前記撮像素子により撮像された輝度画像成分から高周波成分を抽出する抽出部と、
   前記評価部による評価結果に基づいて、前記輝度画像成分における前記赤外画像成分の大きさが小さくなるにつれて前記抽出部により抽出された高周波成分の強度が増大するように前記高周波成分の強度を調節する調節部と、
   前記調節部により強度が調節された高周波成分と、前記信号生成部により生成された輝度信号とを合成することで、前記輝度信号のエッジ成分を強調させる合成部とを備えることを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
5. 前記評価部は、前記輝度画像成分から前記赤外画像成分を減じた値である評価値を算出することで、前記輝度画像成分における前記赤外画像成分の大きさを評価することを特徴とする請求項１〜４のいずれかに記載の画像入力装置。

Images