JP2012010141A - 画像処理装置 - Google Patents

Abstract

【課題】特定の被写体については輝度信号を変更できるように画像処理を行って、違和感の少ない画像を得ることができる画像処理装置を提供する。
【解決手段】撮像素子３が入力した光のうち、赤外成分が多い被写体には輝度を抑えるようにできるから、例えば交通信号灯の白熱電球とＬＥＤの表示画像を近づけることができ、これを視認する者の違和感を抑えることができる。
【選択図】図１

Description

本発明は、撮像素子により撮像された原画像データを画像処理する画像処理装置に関するものである。

近年、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば、特許文献１には、以下に述べるようなカラー画像再生装置が開示されている。かかるカラー画像再生装置は、まず、Ｒ，Ｇ、Ｂのフィルタを備える画素により撮像された画像からＲ、Ｇ、Ｂの色成分からなる可視画像データを抽出する。次に、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する。次に、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する。次に、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似力ラー画像を生成するものである。又、特許文献２には、撮像素子の可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、算出パラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去して高品質な可視光（ＲＧＢ）画像を生成する技術が開示されている。

特開２００７−１８４８０５号公報 特開２００８−２８８６２９号公報

ところで、夜間はフォトンの量が少ないため、撮影画像のＳ／Ｎ比が小さくなるという問題があるが、特許文献１の手法では、このようなことが考慮されていない。これに対し出願人は、分光感度の異なる少なくとも３種類の画素が記列され、少なくとも３種類の原画像成分を含む原画像データを撮像する撮像素子と、前記原画像データを輝度信号と色差信号とを含む色空間に変換する色空間変換部とを備え、前記色空間変換部が、前記原画像成分を加算することで得られる第１の強度信号を前記色空間の輝度信号として算出する画像入力装置を開発した。

かかる画像入力装置の動作を具体的に説明する。まず、ＲＧＢ色信号を輝度信号Ｙと色差信号Ｃｂ、Ｃｒを含む色空間に変換する。次に、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄ（第１の強度信号の一例）を、変換対象となる色空間の輝度信号として算出する。ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため、減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。次に、色差信号Ｃｂ、Ｃｒをスムージング処理し、色差信号Ｃｂｓ、Ｃｒｓを算出する。ここで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。次に、輝度信号Ｙａｄｄの割合ＲＴ１（ＲＴ１＝Ｙａｄｄ／Ｙ)に応じて色差信号Ｃｒｓ、Ｃｂｓを補正し、以下の式に基づき色差信号Ｃｒｍ、Ｃｂｍを求める。
Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙ
最後に、輝度信号Ｙａｄｄと、色差信号Ｃｒｍ、ＣｂｍとからＲＧＢ色信号を算出する。かかる画像入力装置によれば、フォトンの量が少ない夜間においても、ノイズを低減してＳ／Ｎ比の高い輝度信号を生戌することができる。

しかるに、かかる画像入力装置において、可視光と赤外成分を加算することで得られる輝度信号Ｙａｄｄは、可視光の輝度信号Ｙより値が大きくなり、Ｙａｄｄに合わせて計算された色差信号Ｃｒｍ、Ｃｂｍも可視光の色差信号Ｃｒ，Ｃｂより高くなるため、処理後の画像では色が鮮やかになり、視認しやすくなる。しかし、赤外成分が可視光より著しく大きい場合は、色差信号Ｃｒｍ、Ｃｂｍが高くなりすぎて、人間が視認する被写体の色との間で違和感が生じてしまうことがある。

これに対し、撮像素子により少なくとも３種頬の原画像成分を含む原画像データを取得し、かかる原画像データを構成する原画像成分を加算することで第１の強度信号を生成し、この第１の強度画像信号を色空間の輝度信号として算出することにより、フォトンの量が少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる画像処理技術が開発されている。又、ＲＧＢ色信号を色空間変換することで第２の強度信号を生成し、この第２の強度信号に対する第１の強度信号の割合を第１の割合として算出し、この第１の割合に応じて色差信号を補正することにより、色空間でバランスの取れた色差信号と輝度信号とを生成する画像処理技術が開発されている。かかる画像処理技術によれば、本来の可視光に近い違和感の少ないより自然な色再現をすることができる。

しかるに、かかる画像処理技術を例えば車載カメラ等に適用した場合に、夜間撮像時において、輝度が高くなりすぎる自発光の被写体（図１の交通信号灯ＳＬ、街灯ＴＬ、車両ＶＨのランプＴＰ等）や、反射率の高い標識等の白飛びなどを抑制することができるが、視認性を高めたい歩行者ＨＭや自転車、路面ＲＤなどが、見た目と同様に暗く再現されてしまうという問題がある。つまり、カメラで撮像する被写体の中には、元の被写体の自然な輝度を再現したいものと、元の被写体の輝度に関わらず、強調して表現したいものとがあるが、従来技術ではこれらを適切に区別できないという問題がある。

また、同じ自発光の被写体でも、交通信号灯ＳＬ（車両用信号機、矢印用信号機、歩行者用信号機）に使用される光源は、信号機設置当初から採用されてきた白熱電球と、２００２年から設置され始めたＬＥＤ（赤色、黄色、緑色）の２つがあるが、白熱電球から出射された光は、赤外成分を多く含むのに対し、ＬＥＤから出射された光は赤外成分を殆ど持たないという特徴がある。図２（ａ）に一般的な赤色白熱電球の周波数成分を示し、図２（ｂ）に一般的な赤色ＬＥＤの周波数成分を示す。又、図３（ａ）に一般的な青色白熱電球の周波数成分を示し、図３（ｂ）に一般的な青色ＬＥＤの周波数成分を示す。

従って、かかる交通信号灯ＳＬを撮像した場合に、白熱電球は輝度を抑制し、ＬＥＤは抑制せずに表示したいが、従来技術ではこれらを適切に区別できないという問題がある。

白熱電球の赤色もＬＥＤの赤色も、赤外領域に感度を持たない人間の目には、同じ赤色に見えるが、赤外領域に感度をもつセンサでは、同じ赤色光でもセンサの出力値に明確な差が生じることとなる。つまり、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗの感度を持っているセンサの場合、赤外成分を含む白熱電球の信号値が高くなり、これにともなってＹａｄｄが大きくなるから、これは明度の違いとなってあらわれる。更に、色差信号ｃｒｍ、ｃｂｍも白熱電球の場合は大きくなる。輝度信号Ｙａｄｄ、色差信号ｃｒｍ、ｃｂｍは、処理の後段でＲＧＢ信号に変換されるが、その際、輝度信号Ｙが高い場合、色差信号ｃｒ、ｃｂは色域の制限により押さえ込まれるので、白熱電球のＹが高くなり、クロマがあまり高くない色になる。つまり、赤信号の場合、白熱電球はわずかにピンクっぽい白、ＬＥＤは赤として再現されることとなり、両者に差異が生じるため、表示画像を視認する者が違和感を覚える恐れがある。

具体例を挙げて説明すると、図４において、縦軸に色空間におけるＬ^*をとり、横軸にクロマをとったとき、白丸が白熱電球の光をセンサにより受光して表示した座標であり、白角がＬＥＤの光をセンサにより受光して表示した座標であり、黒丸が白熱電球の光を人間の目で見た座標であり、黒角がＬＥＤの光をセンサにより受光して表示した座標である。図４から明らかであるが、ＬＥＤの見え具合は、センサからの出力による表示でも肉眼でも殆ど変わらないのに対し、白熱電球の場合には、肉眼に対し、センサからの出力による表示では輝度が大きくすることがわかる。

これは赤色灯に限らず青色灯の場合も同様であり、白熱電球の光は白っぽい水色、ＬＥＤの光は青として再現されてしまう。更には、最近では車両のテールライトにＬＥＤが採用されつつあるが、従来の白熱電球も使用した車両も併存しているという状況下、赤外成分を持つランプと持たないランプとが混在し、同様な課題を生じさせている。

本発明の目的は、特定の被写体については輝度信号を変更できるように画像処理を行って、違和感の少ない画像を得ることができる画像処理装置を提供することである。

請求項１に記載の画像処理装置は、
分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、入射した被写体光を、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像データを第１の輝度信号と色差信号とを含む色空間に変換する色空間変換部と、
前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、
補正部と、を有し、
前記補正部は、前記原画像成分を加算することで得られる強度信号を前記色空間の第２の輝度信号として算出し、前記撮像素子が検出した赤外成分に基づいて、前記第１の輝度信号と前記第２の輝度信号とを重み付け演算して第３の輝度信号を求め、
前記第３の輝度信号を用いて画像信号を形成することを特徴とする。

本発明によれば、前記補正部が、前記原画像成分を加算することで得られる強度信号を前記色空間の第２の輝度信号として算出し、前記撮像素子が検出した赤外成分に基づいて、前記第１の輝度信号と前記第２の輝度信号とを重み付け演算して第３の輝度信号を求めるので、前記第３の輝度信号を用いて画像信号を形成すれば、赤外成分が多い場合には適切に輝度を抑えるようにできるから、例えば交通信号灯の白熱電球とＬＥＤの表示画像を近づけることができ、これを視認する者の違和感を抑えることができる。本発明は特に夜間の撮像時に効果を発揮する。

本発明の別な態様によれば、前記補正部は、前記撮像素子が検出した全体の被写体光量に対する前記赤外成分が多くなるにつれて、前記第２の輝度信号の重み付けを小さくすると好ましい。これにより、例えば交通信号灯の白熱電球とＬＥＤの表示色を近づけることができる。

本発明の別な態様によれば、前記補正部は、色相が所定範囲である場合、前記所定範囲外である場合と比較して、前記第２の輝度信号の重み付けを小さくすると好ましい。これにより、例えば交通信号灯に用いる赤、黄、緑というように所定範囲の色相である場合に限り、上述の処理を行うことで、例えば交通信号灯の白熱電球における赤外成分の影響を抑えて、表示画像を均一化させることができる。

本発明の別な態様によれば、前記補正部は、前記撮像素子で撮像した被写体を識別し、識別された被写体が所定の被写体である場合、前記重み付けを変更すると好ましい。例えば被写体認識機能を用いて被写体が交通信号機であると認識すれば、上述の処理を行うことで、その交通信号灯の表示色を均一化させることができる。所定の被写体としては、これ以外にも車両のテールランプなどがあるが、それに限られない。

本発明の別な態様によれば、前記補正部は、前記第３の輝度信号を用いて色相及びクロマのうち少なくとも一方を変更すると好ましい。

本発明の別な態様によれば、前記補正部は、輝度、色相及びクロマのうち少なくとも一つを所定範囲内に調整すると好ましい。

本発明によれば、特定の被写体については輝度信号を変更できるように画像処理を行って、違和感の少ない画像を提供できる画像処理装置を提供することができる。

車載カメラで撮像した被写体の例を示す図である。 一般的な赤色白熱電球の周波数成分（ａ）と、一般的な赤色ＬＥＤの周波数成分（ｂ）を示した図である。 一般的な青色白熱電球の周波数成分（ａ）と、一般的な青色ＬＥＤの周波数成分（ｂ）を示した図である。 白熱電球とＬＥＤの見え具合の差を示す図である。 実施の形態１にかかる画像処理装置１のブロック図を示す図である。 撮像素子３の画素の配列を示す図である。 Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。 画像処理部４の詳細な構成を示すブロック図である。 実施の形態１にかかる画像処理装置１の動作を示すフローチャートである。 関数ｆｕｎｃ（α）の例を示すグラフである。 関数ｆｕｎｃ（α、Ｈｕｅ）の例を示すグラフである。 縦軸に輝度、横軸にクロマをとって示す図である。 縦軸に輝度、横軸にクロマをとって示す図である。 縦軸に輝度、横軸にクロマをとって示す図であり、調整の一例を示す。

（実施の形態１）
以下、本発明の実施の形態にかかる画像処理装置１について説明する。図５は、実施の形態１にかかる画像処理装置１のブロック図である。図５に示すように画像処理装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。ここで、画像処理装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられる。

レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

本実施の形態において、撮像素子３は、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっている。

画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像処理装置１の全体制御を司る。

図６は、撮像素子３の画素の配列を示す図である。図６に示すように撮像素子３には、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。

図６の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素は干鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。

Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を出力する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を出力する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗ（原画像成分）を出力する。

図７は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図７では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。

図７に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。

図８は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、補正部４４，及びＲＧＢ色信号生成部４５を備えている。図９は、画像処理部４の処理を示すフローチャートである。

色補間部４１は、図９のステップＳ１０１で撮像素子３から出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに、欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。

色信号生成部４２は、ステップＳ１０２で、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（１）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ （１）
ｄＢ＝Ｗ−Ｙｅ

色空間変換部４３は、ステップＳ１０３で、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ＿ｒｇｂ（第１の輝度信号の一例）と色差信号Ｃｂ＿ｒｇｂ、Ｃｒ＿ｒｇｂ（色差信号の一例）とを含む色空間に変換する、ここで、色差信号Ｃｂ＿ｒｇｂは青の色差信号を示し、色差信号Ｃｒ＿ｒｇｂは赤の色差信号を示す。
Ｙ＿ｒｇｂ＝０．３・ｄＲ＋０．６・ｄＧ＋０．１・ｄＢ
Ｃｂ＿ｒｇｂ＝ｄＲ−Ｙ＿ｒｇｂ （２）
Ｃｒ＿ｒｇｂ＝ｄＢ−Ｙ＿ｒｇｂ

また、色空間変換部４３は、ステップＳ１０４で、式（３）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄ（第２の輝度信号の一例）を、変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ＝（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ）／４ （３）

ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙ＿ｒｇｂを算出した場合に比べてノイズ成分を低くすることができる。

補正部４４は、ステップＳ１０５で、全体の入射光量に対する赤外成分の割合αを計算する。割合α＝ＩＲ／Ｗで計算できるが、ＷとＩＲの差を利用しても良い。

次いで補正部４４は、第１の輝度信号Ｙ＿ｒｇｂと、第２の輝度信号Ｙａｄｄとを重み付け平均化して、第３の輝度信号Ｙ＿ａｄｄ＿ｒｇｂを計算する。第３の輝度信号Ｙ＿ａｄｄ＿ｒｇｂの計算手法としては、以下の例がある。

（ａ）Ｙ＿ａｄｄ＿ｒｇｂ＝（１−α）×Ｙａｄｄ＋α×Ｙ＿ｒｇｂ
最も単純な線形の重み付け計算例であり、赤外成分の割合が多い場合には、Ｙａｄｄの重み付けを小さく、Ｙ＿ｒｇｂの重み付けを大きくすれば、例えば赤信号等が赤外成分により明るくなりすぎるのを防ぐことができる。

（ｂ）Ｙ＿ａｄｄ＿ｒｇｂ＝（１−ｆｕｎｃ（α））×Ｙａｄｄ＋ｆｕｎｃ（α）×Ｙ＿ｒｇｂ
この計算例は、αを変数とする関数ｆｕｎｃ（α）を用いて、重み付けを非線形に決定するものである。図１０に、関数ｆｕｎｃ（α）の例を示す。変数αが一定値を超えたところから重み付けを発生させ、その後しだいに増やすことで、一定値以上で滑らかな調整ができる。

（ｃ）Ｙ＿ａｄｄ＿ｒｇｂ＝（１−ｆｕｎｃ（α、Ｈｕｅ））×Ｙａｄｄ＋ｆｕｎｃ（α、Ｈｕｅ）×Ｙ＿ｒｇｂ
この計算例は、（ａ）に示す赤外成分割合αに基づく重み付けを基本とし、更に色相Ｈｕｅ情報も考慮して重み付けを行うものである。例えば、交通信号灯の白飛びを抑制したい場合には、交通信号灯の赤色、黄色、緑色である所定範囲の色相の光を入射した画素からの信号では、Ｙ＿ｒｇｂの重みをより強くすると、白飛びしにくくなる。また、複雑な信号検出処理がいらないので、迅速な処理を低コストで行える。図１１に、関数ｆｕｎｃ（α、Ｈｕｅ）の例を示す。

（ｄ）Ｙ＿ａｄｄ＿ｒｇｂ＝（１−ｆｕｎｃ（α、被写体情報））×Ｙａｄｄ＋ｆｕｎｃ（α、被写体情報）×Ｙ＿ｒｇｂ
この例は、（ａ）に示す赤外成分割合αに基づく重み付けを基本とし、更に画像中の特定の被写体を検出した被写体情報も考慮して重み付けを行う例である。例えば、交通信号機を被写体として検出した場合はＹ＿ｒｇｂをより強く、逆に、歩行者や路面の場合はＹａｄｄをより強くするように重み付けを行うとよい。計算コストは増えるが、より精度よく調整することができる。尚、交通信号機を画像認識する例としては、特開2007-257303号公報等に開示されている。又、歩行者を画像認識する例としては、特開2009-064274号公報等に開示されている。

補正部４４は、ステップＳ１０７において、更にＹ＿ａｄｄ＿ｒｇｂの変更に応じて、（５）式に示すように、色差信号Ｃｒ＿ｒｇｂ、Ｃｂ＿ｒｇｂを調整する。
Ｃｒ＿ａｄｄ＿ｒｇｂ＝（Ｙ＿ａｄｄ＿ｒｇｂ／Ｙ＿ｒｇｂ）×Ｃｒ＿ｒｇｂ （５）
Ｃｂ＿ａｄｄ＿ｒｇｂ＝（Ｙ＿ａｄｄ＿ｒｇｂ／Ｙ＿ｒｇｂ）×Ｃｂ＿ｒｇｂ

但し、Ｃｒ＿ｒｇｂ、Ｃｂ＿ｒｇｂに対して、赤外成分割合αに基づく重み付けを同様に行ってもよい。

その後、ＲＧＢ色信号生成部４５は、ステップＳ１０８で式（２）を逆変換することで、輝度信号Ｙ＿ａｄｄ＿ｒｇｂと、色差信号Ｃｒ＿ａｄｄ＿ｒｇｂ、Ｃｂ＿ａｄｄ＿ｒｇｂとから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。以上で画像処理が完了する。

なお、色信号ｄＲ’、ｄＧ’、ｄＢ’は、上述の処理を経て算出されたものであるため、画像成分Ｙｅ，Ｒ、ＩＲ、Ｗを減算処理することで算出された色信号ｄＲ、ｄＧ，ｄＢに比べて遙かに精度の高い色信号となっている。

（実施の形態２）
次に、実施の形態２にかかる画像処理装置を説明する。ここでは補正部４４が、撮像素子３から得られた画像信号に基づき、特開2007-257303号公報等に開示されているようにして、撮像された被写体の中から交通信号機を探索し、画面上における座標Ｓｉｎｇｏ（ｘ、ｙ）を求める。尚、被写体としては交通信号機に限られないが、ここでは交通信号機を例に取り説明する。

次に、上述の（１）、（２）式から求めた輝度信号Ｙ＿ｒｇｂと色差信号Ｃｂ＿ｒｇｂ、Ｃｒ＿ｒｇｂとから、ＣＩＥ１９７６Ｌ^*ａ^*ｂ^*均等色空間におけるクロマとＨｕｅを計算し、これらの値により特定される交通信号機の座標を求めても良い。尚、クロマは、ｓｑｒｔ｛（ａ^*）²＋（ｂ^*）²｝で与えられ、彩度を表し、Ｌ^*は、明度に対応する。そして、色相平面上における色相角Ｈｕｅは、ａｒｃｔａｎ（ｂ^*／ａ^*）で与えられる。

以上の手法に限らず、一定の明度以上のもので、且つ赤色、黄色、緑色のいずれかの色相を持つものを交通信号灯として検出でき、これを強調することができる。一方、街灯の光（水色、オレンジ）など、逆に強調したくない色を検出してもよい。交通信号灯は光源によらず色を強調したいが、街灯は色を強調しないことが好ましい。色を強調したい被写体と、強調したくない被写体とを区別して、選択的な色調整を行えば、特に夜間撮像における視認性が向上する。

次に、検出した交通信号機の座標Ｓｉｎｇｏ（ｘ、ｙ）範囲で、撮像素子３からの画像成分ＩＲを平均化して、係数ＳｉｎｇｏＩＲに対応づける。係数ＳｉｎｇｏＩＲの範囲は、０．０〜１．０であり、赤外成分が少なければ０に近づき、多ければ１に近づくものとする。

更に、輝度信号と色差信号の調整量を設定する。ここで、基準となるＬＥＤ赤信号の輝度信号及び色差信号をＹ＿ｒｅｄ＿ｌｅｄ、Ｃｒ＿ｒｅｄ＿ｌｅｄ、Ｃｂ＿ｒｅｄ＿ｌｅｄとする。一方、基準となる白熱球赤信号の輝度信号及び色差信号をＹ＿ｈａｋｕ、Ｃｒ＿ｈａｋｕ、Ｃｂ＿ｈａｋｕとして、最大調整量を下式で求める
ｋＹ＿ｍａｘ＝（Ｙ＿ｒｅｄ＿ｈａｋｕ−Ｙ＿ｒｅｄ＿ｌｅｄ）
ｋＣｒ＿ｍａｘ＝（Ｃｒ＿ｒｅｄ＿ｈａｋｕ−Ｃｂ＿ｒｅｄ＿ｌｅｄ） （６）
ｋＣｂ＿ｍａｘ＝（Ｃｂ＿ｒｅｄ＿ｈａｋｕ−Ｃｂ＿ｒｅｄ＿ｌｅｄ）

又、実際の調整量は、下式により求める。
ｋＹ＝ｓｉｎｇｏＩＲ×ｋＹ＿ｍａｘ
ｋＣｒ＝ＳｉｎｇｏＩＲ×ｋＣｒ＿ｍａｘ （７）
ｋＣｂ＝ＳｉｎｇｏＩＲ×ｋＣｂ＿ｍａｘ

更に、補正部４４は、以下の式により第３の輝度信号及び色差信号を求めて、ＲＧＢ色信号生成部４５に入力する。その後は、上述した実施の形態と同様である。これにより、交通信号機以外の被写体画像の輝度及びクロマはそのままとし、また交通信号機におけるＬＥＤの光も輝度及びクロマをそのままとする一方、白熱電球の光は輝度及びクロマを低減して、肉眼で見た画像に近づくように再現できる。
Ｙ＿ａｄｄ＿ｒｇｂ＝Ｙ＿ｒｇｂ−ｋＹ
Ｃｒ＿ａｄｄ＿ｒｇｂ＝Ｃｒ＿ｒｇｂ−ｋＣｒ （５’）
Ｃｂ＿ａｄｄ＿ｒｇｂ＝Ｃｂ＿ｒｇｂ−ｋＣｂ

更に、本実施の形態の変形例によれば、最大調整量は、色領域ごとに設定しても良い。以下、赤、黄、緑、青の４つの色相を中心に調整量をかえる例を説明する。まず、パラメータを以下のようにあらかじめ決めておく。交通信号灯に用いる４つの各色の色相Ｈｕｅを、赤は３１０度、黄は２８０度、緑は２２０度、青は１００度とする。

図１２は、縦軸に輝度、横軸にクロマをとって示す図であり、（ａ）は赤（３１０度）、（ｂ）は黄（２８０度）、（ｃ）は緑（２２０度）、（ｄ）は青（１００度）である。ここで、以上の４つの色相を中心に調整量を変更する手法について説明する。各色相毎に、図１２に示す調整パラメータを決めておく。

ここで、調整パラメータとしては、（Ｙ、Ｃ、ΔＹ、ΔＣ）で表されるＰ１〜Ｐ６を用いる。Ｃはクロマ座標、Ｙは輝度座標、ΔＣはクロマ座標の調整量、ΔＹは輝度座標の調整量である。図１３を参照して、実線の矢印がクロマ座標、輝度座標を示し、点線の矢印が、クロマ座標の調整量、輝度座標の調整量を示す。上述の（１）、（２）式から求めた輝度信号Ｙ＿ｒｇｂと色差信号Ｃｂ＿ｒｇｂ、Ｃｒ＿ｒｇｂとから、ＣＩＥ１９７６Ｌ^*ａ^*ｂ^*均等色空間における輝度Ｙ＿ｉｎと、クロマＣｈｒｏｍａ＿ｉｎと、色相Ｈｕｅ＿ｉｎとを決定する。更に、これらと、上述の調整パラメータとから、白熱電球の光とＬＥＤの光との差に対応する調整量ｋＹ＿ｍａｘ、ｋＣｒ＿ｍａｘ、ｋＣｂ＿ｍａｘを求める。
ａ）色相補間
色相Ｈｕｅ＿ｉｎが４色相のどの間にあるか判別し、両側の２色相分の調整パラメータＰ１〜Ｐ６を線形補間する（６点×４（Ｙ、Ｃ、ΔＹ、ΔＣ）＝２４回）。
ｂ）クロマ補間
図１４を参照し、Ｃｈｒｏｍａ＿ｉｎの値に応じて、調整パラメータＰ１、Ｐ２からＱ１を、調整パラメータＰ３、Ｐ４からＱ２を、調整パラメータＰ５、Ｐ６からＱ３を、それぞれ線形補間して求める。各座標Ｑ１〜Ｑ３には、同様に（Ｙ、Ｃ、ΔＹ、ΔＣ）の値が含まれている。
ｃ）輝度Ｙ補間
図１４を参照し、入力したＹ＿ｉｎとＣｈｒｏｍａ＿ｉｎの値に応じて、Ｓ１の値を線形補間で計算する。Ｙ＿ｉｎがＱ２の輝度座標Ｙより大きければ、Ｑ１、Ｑ２をパラメータとして用い、小さければＱ２、Ｑ３をパラメータとして用いる。
Ｓ１のΔＹがｋＹ＿ｍａｘであり、ΔＣを、Ｃｒ方向とＣｂ方向に分解したものがｋＣｒ＿ｍａｘ、ｋＣｂ＿ｍａｘとなる。

更に、以下の式に従い、ｋＹ＿ｍａｘ、ｋＣｒ＿ｍａｘ、ｋＣｂ＿ｍａｘを、Ｙ＿ｉｎ（例えばＹ＿ｒｇｂ）、Ｃｒ＿ｉｎ（例えばＣｒ＿ｒｇｂ）、Ｃｂ＿ｉｎ（例えばＣｂ＿ｒｇｂ）にそれぞれ加えることで、調整後の輝度信号Ｙ＿ｎｅｗ及び色差信号Ｃｒ＿ｎｅｗ、Ｃｂ＿ｎｅｗを求める。これ以降は、上述した実施の形態と同様である。
Ｙ＿ｎｅｗ＝ｋＹ＿ｍａｘ＋Ｙ＿ｉｎ
Ｃｒ＿ｎｅｗ＝ｋＣｒ＿ｍａｘ＋Ｃｒ＿ｉｎ
Ｃｂ＿ｎｅｗ＝ｋＣｂ＿ｍａｘ＋Ｃｂ＿ｉｎ

本変形例によれば、交通信号機以外の被写体画像の輝度及びクロマはそのままとし、また交通信号機におけるＬＥＤの光も輝度及びクロマをそのままとする一方、白熱電球の光は輝度及びクロマを低減するが、クロマや輝度が低い場合には、補正量を減少させることで、補正による違和感を低減するようにしている。又、輝度やクロマと同様にして、色相を所定範囲内で調整しても良い。

本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。

１画像処理装置
２レンズ
３撮像素子
４画像処理部
５制御部
４１色補間部
４２色信号生成部
４３色空間変換部
４４補正部
４５ＲＧＢ信号生成部

Claims (6)

1. 分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、入射した被写体光を、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
   前記原画像データを第１の輝度信号と色差信号とを含む色空間に変換する色空間変換部と、
   前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、
   補正部と、を有し、
   前記補正部は、前記原画像成分を加算することで得られる強度信号を前記色空間の第２の輝度信号として算出し、前記撮像素子が検出した赤外成分に基づいて、前記第１の輝度信号と前記第２の輝度信号とを重み付け演算して第３の輝度信号を求め、
   前記第３の輝度信号を用いて画像信号を形成することを特徴とする画像処理装置。
2. 前記補正部は、前記撮像素子が検出した全体の被写体光量に対する前記赤外成分が多くなるにつれて、前記第２の輝度信号の重み付けを小さくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、色相が所定範囲である場合、前記所定範囲外である場合と比較して、前記第２の輝度信号の重み付けを小さくすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正部は、前記撮像素子で撮像した被写体を識別し、識別された被写体が所定の被写体である場合、前記重み付けを変更することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記補正部は、前記第３の輝度信号を用いて色相及びクロマのうち少なくとも一方を変更することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記補正部は、輝度、色相及びクロマのうち少なくとも一つを所定範囲内で調整することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。

Images