JP2013187572A

JP2013187572A - 画像処理装置

Info

Publication number: JP2013187572A
Application number: JP2012048636A
Authority: JP
Inventors: Mitsuhiko Adachi; 允彦安達; Tadahiko Kano; 忠彦加納
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-03-05
Filing date: 2012-03-05
Publication date: 2013-09-19

Abstract

【課題】撮影対象の実際の輝度分布状態を適切に反映させて、解像度や感度の良好は画像を生成することができる画像処理装置を提供する。
【解決手段】複数種の色のカラー受光画素と、それよりも高い受光感度又は低い受光感度を有する所定色又は透明の副受光画素とから構成される複数の受光画素を配列してなる撮像素子を有するカメラ２により撮像された原画像４１において、処理対象領域における特定色のカラー受光画素に対応する画素の階調値の分布状態と、副受光画素に対応する画素の階調値の分布状態との適否を判断し、適切な分布状態を有する階調値を用いて輝度分布画像を生成する輝度分布画像生成手段３２を備える。さらに、輝度分布画像の輝度分布を反映させてカラー画像を生成するカラー画像生成手段３３を備える。
【選択図】図１

Description

本発明は、カラー受光画素を含む複数の受光画素を配置して構成される撮像素子を有するカメラの撮像データを処理する画像処理装置に関する。

ＲＧＢ等の複数色のカラー受光画素（カラーフィルタを介して受光する画素）を含む複数の受光画素を２次元状に配置して構成される撮像素子を有するカメラが従来より一般に知られている。また、撮像素子を構成する受光画素に、カラー受光画素だけでなく透明な受光画素（カラーフィルタを介さずに受光する画素）を含めるようにして、カラー画像の感度を改善する手法が提案されている（例えば、特許文献１を参照）。

特表２００８−５０７９０８号公報

特許文献１に見られる如きカメラでは、各受光画素の位置にカラーの色階調値（Ｒ，Ｇ，Ｂ等の各色の階調値）を割り当てることで、カラー画像が生成される。この場合、各受光画素の位置に対する各色の色階調値の割り当ては、所謂デモザイキング処理（補間処理）によって行なわれる。

一方、特許文献１に見られるカメラの如く、撮像素子を構成する受光画素が、カラー受光画素と透明な受光画素とを含むカメラにあっては、カラー受光画素は、Ｒ，Ｇ，Ｂ等の特定色のカラーフィルタを介して受光する画素として構成される一方、透明な受光画素は、カラーフィルタを介さずに受光する画素として構成される。このため、透明な受光画素は、通常、カラー受光画素よりも受光感度が高く、比較的低い強度の入射光に対して、カラー受光画素よりも感応し易い一方、比較的高い強度の入射光に対して、カラー受光画素よりも出力レベルの飽和が生じやすいという特性を有する。

このように受光感度の高い受光画素と、受光感度の低い受光画素とを有するカメラでは、カメラの撮像対象や撮像環境が明るい場合には、受光感度の高い受光画素の出力信号の強度（受光画素がその受光レベルに応じて出力する出力信号の強度（大きさ））が、飽和状態もしくはそれに近い状態になり易い（所謂、白とびが生じやすい）。また、逆に、カメラの撮像対象や撮像環境が暗い場合には、受光感度の高い受光画素が入射光に感応しても、受光感度の低い受光画素が入射光にほとんど感応せずにその出力信号の強度が、最小値もしくはそれに近い微小な大きさに保持されやすい（所謂、黒つぶれが生じやすい）
そして、このように、ある受光画素の白とびや黒つぶれが生じる状況では、その白とびや黒つぶれが生じた受光画素の出力信号の信頼性が乏しいために、該白とびや黒つぶれが生じていない状況と同じようにデモザイキング処理を行うと、解像度や感度の高いカラー画像等の画像を撮影対象の実際の輝度状態を適切に反映させて生成することができない場合が生じやすいという不都合がある。

本発明はかかる背景に鑑みてなされたものであり、撮影対象の実際の輝度分布状態を適切に反映させて、解像度や感度の良好な画像を生成することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、かかる目的を達成するために、所定の複数種の色のカラー受光画素と、前記カラー受光画素よりも高い受光感度又は低い受光感度を有する所定色又は透明の受光画素である副受光画素とから構成される複数の受光画素を配列してなる撮像素子を有するカメラにおける画像処理装置であって、
前記カメラにより撮像された原画像であって、前記撮像素子の各受光画素がその受光レベルに応じて出力する出力信号の強度を示す階調値がそれぞれ割り当てられた複数の画素により構成される原画像を取得する原画像取得手段と、
前記原画像を構成する画素のうち、前記カラー受光画素のうちの特定色のカラー受光画素にそれぞれ対応する画素の階調値である第１階調値と、前記副受光画素にそれぞれ対応する画素の階調値である第２階調値とに基づいて、前記原画像の少なくとも一部の領域である処理対象領域における前記第１階調値の分布状態と、該処理対象領域における第２階調値の分布状態とのうちのいずれの分布状態が、前記処理対象領域に写る撮影対象の輝度分布に対する適合度合いがより高いかを判断する階調値分布判断手段と、
前記第１階調値と第２階調値とのうち、前記階調値分布判断手段により前記適合度合いがより高いと判断された方の階調値を選択し、その選択した階調値を用いて、前記処理対象領域における各画素の輝度値を決定することより、該処理対象領域における輝度分布画像を生成する輝度分布画像生成手段とを備えることを特徴とする（第１発明）。

かかる第１発明によれば、前記原画像を構成する画素のうち、前記特定色のカラー受光画素にそれぞれ対応する画素の第１階調値と、前記副受光画素にそれぞれ対応する画素の第２階調値とに基づいて、前記原画像の処理対象領域における前記第１階調値の分布状態と、該処理対象領域における第２階調値の分布状態とのうちのいずれの分布状態が、前記処理対象領域に写る撮影対象の輝度分布に対する適合度合いがより高いかが判断される。

そして、前記輝度分布画像生成手段は、前記第１階調値と第２階調値とのうち、前記階調値分布判断手段により前記適合度合いがより高いと判断された方の階調値を選択し、その選択した階調値を用いて、前記処理対象領域における各画素の輝度値を決定することより、該処理対象領域における輝度分布画像を生成する。

このため、前記処理対象領域に写る撮影対象の実際の輝度分布が極力反映されるように輝度分布画像を生成することができる。

よって、第１発明によれば、撮影対象の実際の輝度状態を適切に反映させて、解像度や感度の良好な画像を生成することができる。

かかる第１発明では、前記特定色は、前記処理対象領域における前記カラー受光画素のうち、最も個数の多いカラー受光画素に対応する色であることが好ましい（第２発明）。

この第２発明によれば、前記第１階調値を用いて前記輝度分布画像を生成した場合に、撮影対象の実際の輝度分布を適切に反映させた画像としての該輝度分布画像の信頼性を高めることができる。

上記第１発明又は第２発明では、前記輝度分布画像は、例えば次のように生成することが好ましい。すなわち、前記輝度分布画像生成手段は、前記第１階調値を用いて前記輝度分布画像を生成する場合には、前記輝度分布画像のうち、前記特定色のカラー受光画素に対応する画素の輝度値を、前記原画像のうち、当該特定色のカラー受光画素に対応する画素の第１階調値に応じて決定する処理と、前記特定色のカラー受光画素以外の受光画素に対応する画素の輝度値を、前記原画像のうち、少なくとも当該受光画素に対応する画素の周囲に存在すると共に前記特定色のカラー受光画素に対応する画素の第１階調値に応じて補完することにより決定する処理とを実行することによって前記輝度分布画像を生成し、
前記第２階調値を用いて前記輝度分布画像を生成する場合には、前記輝度分布画像のうち、前記副受光画素に対応する画素の輝度値を、前記原画像のうち、当該副受光画素に対応する画素の第２階調値に応じて決定する処理と、前記副受光画素以外の受光画素に対応する画素の輝度値を、前記原画像のうち、少なくとも当該受光画素に対応する画素の周囲に存在すると共に前記副受光画素に対応する画素の第２階調値に応じて補完することにより決定する処理とを実行することによって前記輝度分布画像を生成する（第３発明）。

この第３発明によれば、前記処理対象領域に写る撮影対象の実際の輝度分布に整合した、信頼性の高い輝度分布画像を生成することができる。

また、上記第１〜第３発明では、前記処理対象領域における各画素の３原色の色階調値を、前記原画像のうちの、前記カラー受光画素に対応する画素の階調値と、前記輝度分布画像の輝度値とに応じて決定することにより、前記処理対象領域におけるカラー画像を生成するカラー画像生成手段をさらに備えることが好ましい（第４発明）。

この第４発明によれば、カラー画像の各画素の色階調値を、輝度分布画像の輝度分布を反映させて決定できる。このため、解像度や感度の良好なカラー画像をさらに生成できる。

この第４発明では、カラー画像は、より具体的には、例えば次のように生成することができる。

すなわち、前記カラー画像生成手段は、前記輝度分布画像生成手段により前記第１階調値を用いて前記輝度分布画像が生成された場合には、前記カラー画像の各画素の前記特定色の色階調値を、前記輝度分布画像の各画素の輝度値に一致させるように決定する処理と、前記カラー画像の各画素の前記特定色以外の色の色階調値を、前記原画像のうちの当該特定色以外の色のカラー受光画素に対応する画素の階調値と、前記輝度分布画像の画素の輝度値とに基づいて決定する処理とを実行することによって前記カラー画像を生成する手段であり、
前記カラー画像の各画素の前記特定色以外の色の色階調値を決定する処理では、該カラー画像のうちの当該色階調値を決定しようとする任意の１つ画素をＰ画素、該色をＱ色としたとき、該Ｐ画素がＱ色のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定され、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合には、前記原画像のうち、該Ｐ画素に対応する画素の周囲に存在すると共に、Ｑ色のカラー受光画素に対応する画素の階調値に応じて決定した該Ｑ色の基本色階調値を、前記輝度分布画像のうち、該Ｐ画素に対応する画素とその周囲に存在する画素とのそれぞれの輝度値に応じて決定した補正値により補正することによって、該Ｐ画素のＱ色の色階調値が決定される（第５発明）。

前記輝度分布画像生成手段により前記第１階調値を用いて前記輝度分布画像が生成された場合には、該輝度分布画像の各画素の輝度値は、その画素における前記特定色の色階調値に相当するものとなる。従って、前記カラー画像の各画素の前記特定色の色階調値を、前記輝度分布画像の各画素の輝度値に一致させるように決定することで、カラー画像の各画素の前記特定色の色階調値を決定できる。

また、前記カラー画像の各画素の前記特定色以外の色の色階調値を決定する処理に関しては、Ｑ色の色階調値を決定しようとする前記Ｐ画素がＱ色の色階調値のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定される。

一方、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合には、前記原画像のうち、該Ｐ画素に対応する画素の周囲に存在すると共に、Ｑ色のカラー受光画素に対応する画素の階調値に応じて決定した該Ｑ色の基本色階調値を、前記輝度分布画像のうち、該Ｐ画素に対応する画素とその周囲に存在する画素とのそれぞれの輝度値に応じて決定した補正値により補正することによって、該Ｐ画素のＱ色の色階調値が決定される。

従って、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合に、該Ｐ画素におけるＱ色の色階調値に、輝度分布画像の輝度分布を反映させることができる。

よって、第５発明によれば、第１階調値を用いて生成した輝度分布画像の輝度分布を適切に反映させて、解像度や感度の良好なカラー画像を生成することができる。

また、上記第４発明又は第５発明では、前記輝度分布画像生成手段により前記第２階調値を用いて前記輝度分布画像が生成された場合には、例えば次のようにカラー画像を生成することができる。

すなわち、前記カラー画像生成手段は、前記輝度分布画像生成手段により前記第２階調値を用いて前記輝度分布画像が生成された場合には、前記カラー画像の各画素の各色の色階調値を、前記原画像のうちの当該色のカラー受光画素に対応する画素の階調値と、前記輝度分布画像の画素の輝度値とに基づいて決定する処理を実行することによって前記カラー画像を生成する手段であり、
前記カラー画像の各画素の各色の色階調値を決定する処理では、該カラー画像のうちの当該色階調値を決定しようとする任意の１つ画素をＰ画素、該色をＱ色としたとき、該Ｐ画素がＱ色のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定され、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合には、前記原画像のうち、該Ｐ画素に対応する画素の周囲に存在すると共に、Ｑ色のカラー受光画素に対応する画素の階調値に応じて決定した該Ｑ色の基本色階調値を、前記輝度分布画像のうち、該Ｐ画素に対応する画素とその周囲に存在する画素とのそれぞれの輝度値に応じて決定した補正値により補正することによって、該Ｐ画素のＱ色の色階調値が決定される（第６発明）。

この第６発明によれば、カラー画像の各画像の各色の色階調値を決定する処理では、Ｐ画素のＱ色（特定色又それ以外の色）の色階調値を決定する場合、該Ｐ画素がＱ色のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定される。

よって、第６発明によれば、第２階調値を用いて生成した輝度分布画像の輝度分布を適切に反映させて、解像度や感度の良好なカラー画像を生成することができる。

上記第１〜第６発明では、前記カメラは、車両の周辺を撮像するように該車両に搭載されたカメラであり、前記輝度分布画像生成手段は、前記原画像の互いに異なる箇所に複数の前記処理対象領域を設定し、各処理対象領域毎に前記輝度分布画像を生成することが好ましい（第７発明）。

すなわち、車両の周辺の撮像画像には、路面や空、高輝度の発光物等、種々様々な大きさの輝度もしくは輝度分布を有する物体が同時に写る場合が多い。この場合、第７発明によれば、複数の処理対象領域を前記原画像に設定することで、各処理対象領域に、輝度値やその分布状態が、大幅に異なる撮影対象が写るのを防止することができる。このため、各処理対象領域毎に、適切な輝度分布画像を生成することができる。

また、上記第１〜第７発明では、前記階調値分布判断手段は、例えば次のような手法によって、前記適合度合いを判断することができる。

すなわち、前記階調値分布判断手段は、例えば、少なくとも、前記原画像の前記処理対象領域内の画素のうち、前記特定色のカラー受光画素に対応する画素の第１階調値が第１所定範囲内となる画素の個数と、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値が第２所定範囲内となる画素の個数とに基づいて、前記適合度合いを判断する（第８発明）。

あるいは、前記階調値分布判断手段は、例えば、少なくとも、前記原画像の前記処理対象領域内の画素のうち、前記特定色のカラー受光画素に対応する画素の第１階調値の該処理対象領域での平均値が第１所定範囲内にある否かの判断結果と、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値の該処理対象領域での平均値が第２所定範囲内にあるか否かの判断結果とに基づいて、前記適合度合いを判断する（第９発明）。

ここで、前記特定色のカラー受光画素に対応する画素の第１階調値（該特定色のカラー受光画素の出力信号の強度を示す階調値）が、その可変範囲の最大値や最小値に近づき過ぎない値である場合には、その値は、一般に、撮影対象の実際の輝度に対する依存性が高いものとなっている。

従って、前記原画像の前記処理対象領域内の画素のうち、前記特定色のカラー受光画素に対応する画素の第１階調値が、その可変範囲内の中間的な第１所定範囲内となる画素の個数が多い場合、あるいは、前記特定色のカラー受光画素に対応する画素の第１階調値の該処理対象領域での平均値が、上記第１所定範囲内にある場合には、処理対象領域における前記第１階調値の分布状態は、撮影対象の実際の輝度分布に対する適合度合いが比較的高いものとなっていると考えられる。

上記と同様に、前記副受光画素に対応する画素の第２階調値（該副受光画素の出力信号の強度を示す階調値）が、その可変範囲の最大値や最小値に近づき過ぎない値である場合には、その値は、一般に、撮影対象の実際の輝度に対する依存性が高いものとなっている。

従って、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値が、その可変範囲内の中間的な第２所定範囲内となる画素の個数が多い場合、あるいは、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値の該処理対象領域での平均値が、上記第２所定範囲内にある場合には、処理対象領域における前記第２階調値の分布状態は、撮影対象の実際の輝度分布に対する適合度合いが比較的高いものとなっていると考えられる。

従って、上記第８発明又は第９発明によれば、前記適合度合いの判断を適切に行うことができる。

本発明の第１実施形態における画像処理装置の構成を示す図。図２（ａ）は実施形態におけるカメラのカラーフィルタの配置例を示す図、図２（ｂ）は実施形態のカメラの撮像素子から得られる撮像画像（原画像）を説明するための図。実施形態のカメラの受光画素の出力特性を示すグラフ。図１に示す原画像取得部及び外界画像生成部の処理を示すフローチャート。図４のＳＴＥＰ２の処理を説明するための図。図４のＳＴＥＰ３の処理の詳細を示すフローチャート。図６のＳＴＥＰ３−２の処理の詳細を示すフローチャート。図８（ａ），（ｂ）は、それぞれ図６のＳＴＥＰ３−３，３−４で生成される輝度分布画像を説明するための図。図４のＳＴＥＰ４で生成されるカラー画像を説明するための図。図１０（ａ），（ｂ）は、本発明の第２実施形態における図６のＳＴＥＰ３−２の処理を説明するための図。図１１（ａ），（ｂ）は、本発明の第３実施形態における図６のＳＴＥＰ３−２の処理を説明するための図。図１２（ａ），（ｂ）はそれぞれ、カメラのカラーフィルタの他の配置例を示す図。図１３（ａ），（ｂ）はそれぞれ、カメラのカラーフィルタの他の配置例を示す図。図１３（ａ），（ｂ）に関連する各受光画素の受光特性を示すグラフ。図１５（ａ），（ｂ），（ｃ）はそれぞれ、カメラのカラーフィルタの他の配置例を示す図。図１５（ａ），（ｂ），（ｃ）に関連する各受光画素の受光特性を示すグラフ。

［第１実施形態］
本発明の画像処理装置の第１実施形態を、図１〜図９を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。

カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを画像コントローラ３の制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光画素をｍ行ｎ列の配列パターンで２次元状に配列して構成されている。

図２（ａ）を参照して、カメラ２のフィルタ２１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のカラーフィルタ、すなわち、Ｒ、Ｇ、Ｂの波長域の光（可視光）をそれぞれ透過可能な３種類のカラーフィルタにより構成される。これらの３原色のカラーフィルターのうちのいずれかの色のカラーフィルタが、撮像素子２２のｍ×ｎ個の受光画素のうちの、所定割合の個数の受光画素の受光経路側に装着されている。これにより、カラーフィルタが装着された各受光画素は、それぞれに対応する色のカラーフィルタを介して受光する。

また、ｍ×ｎ個の受光画素のうちの、残りの受光画素には、カラーフィルタが省略された（装着されていない）ものとなっている。このため、この受光画素のそれぞれは、カラーフィルタを介さずに受光する。なお、カラーフィルタを介さずに受光する受光画素に、透明なフィルタが装着されていてもよい。

図２（ａ）に示す配列パターンの撮像素子２２では、カラーフィルタのうちの１つの色、例えばＧ（緑）のカラーフィルタ（以降、Ｇフィルタという）が装着された受光画素であるＧ受光画素が、市松状の配列パターンで配置されている。そして、カラーフィルタが省略された受光画素であるＷ受光画素が、縦方向及び横方向に１つおきに並ぶように配置されている。また、Ｒ（赤）のカラーフィルタ（以降、Ｒフィルタという）が装着された受光画素であるＲ受光画素と、Ｂ（青）のカラーフィルタ（以降、Ｂフィルタという）が装着された受光画素であるＢ受光画素とが、縦方向及び横方向に１つおきに交互に並ぶように配置されている。従って、図２（ａ）に示す配列パターンの撮像素子２２では、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素の個数比率は１：４：１：２である。

カメラ２は、Ｒ受光画素（図中Ｒ11，Ｒ15，…で示している）、Ｇ受光画素（図中Ｇ12，Ｇ14，…で示している）、Ｂ受光画素（図中Ｂ13，Ｂ31，…で示している）、及びＷ受光画素（図中Ｗ22，Ｗ24，…で示している）の出力信号を撮像データとして画像コントローラ３に出力する。各受光画素の出力信号は、該受光画素での所定時間あたりの受光レベルに応じた強度（大きさ）を有する信号である。

なお、各受光画素の受光レベルは、カメラ２の撮像素子２２に入射した光のうち、その受光画素で受光した光の強度に相当する。

ここで、各受光画素の出力特性について図３を参照して説明しておく。各受光画素の出力信号の強度（大きさ）は、撮影対象の輝度（又はカメラ２の撮像素子２２に対する入射光の強度）に対して図３のグラフａw，ａr，ａg，ａbで示すような特性を有する。すなわち、各受光画素の出力信号の強度は、所定の最小値Ｓminと最大値Ｓmaxとの間で、撮影対象の輝度の増加に伴い増加する。

例えばＷ受光画素については、撮影対象の輝度が所定値Ｉaw以下の微小輝度（暗い輝度）である場合には、Ｗ受光画素の出力信号の強度は、最小値Ｓmin（もしくはそれに近い値）に維持される。そして、撮影対象の輝度が所定値Ｉawを超えると、Ｗ受光画素が感応して、撮影対象の輝度の増加に伴い、Ｗ受光画素の出力信号の強度が増加していく。また、撮影対象の輝度がさらに増加して所定値Ｉbwを超えると、Ｗ受光画素の出力信号の強度が飽和して、該出力信号の強度が、最大値Ｓmax（もしくはそれに近い値）に維持される。

このような傾向は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素についても同様である。ただし、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光画素では、カメラ２の入射光は、該受光画素に装着されたカラーフィルタを透過した後（すなわち、該カラーフィルタでの減衰を生じた後）に受光される。

このため、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素は、Ｗ受光画素に較べて、受光感度が低いものとなる。従って、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれが感応する（出力信号の強度の変化が生じる）撮像対象の輝度範囲は、Ｗ受光画素よりも高輝度側の範囲となる。

このため、図３のグラフａr，ａg，ａbで示すように、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素の出力信号の強度の立ち上がり（増加の開始）が生じる撮影対象の輝度と、該出力信号の強度の飽和が発生し始める撮影対象の輝度とは、それぞれ、Ｗ受光画素よりも高い輝度値となる。

なお、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれが感応する（出力信号の強度の変化が生じる）撮像対象の輝度範囲は、概ね同程度の範囲である。

以降、各受光画素の出力信号の強度が、最小値Ｓminもしくはそれに近い値になる状態（詳しくは、該出力信号の強度が、最小値Ｓminよりも若干大きい閾値SL以下となる状態）を該受光画素の黒つぶれ状態、各受光画素の出力信号の強度が、最大値Ｓmaxもしくはそれに近い値になる状態（詳しくは、該出力信号の強度が、最大値Ｓmaxよりも若干小さい閾値ＳH以上となる状態）を該受光画素の白とび状態という。

補足すると、上記Ｒ受光画素、Ｇ受光画素、Ｂ受光画素は、本発明のカラー受光画素に相当し、Ｗ受光画素は、本発明の副受光画素（透明な受光画素）に相当する。

なお、カラーフィルタとして、Ｒ、Ｇ、Ｂ以外の他の種類のカラーフィルタ（Ｃy（シアン）、Ｍg（マゼンタ）、Ｙe（イエロー）の補色系３原色のフィルタ等）を用いてもよい。その場合においても、カラーフィルタを装着した受光画素（カラー受光画素）の受光感度は、カラーフィルタが装着されていない受光画素（副受光画素）の受光感度よりも低いものとなる。

画像コントローラ３は、図示しないＣＰＵ、メモリ、入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。

制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、外界画像生成部３５、対象物検知部３６として機能する。なお、原画像取得部３１、外界画像生成部３５、対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。

原画像取得部３１は、カメラ２に制御信号を出力して車両１の周囲を撮像させ、カメラ２から出力される撮像データ（各受光画素の出力信号）により、原画像４１を取得して画像メモリ４０に保持する。

原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２の各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の出力信号の強度を示す階調値を、該受光画素に対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値を、Ｓ（大文字）と、小文字ｒ，ｇ，ｂ，ｗのいずれかと、添え字i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）との組により構成される変数により示している。

ここで、Ｓｒijは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という）の階調値を示し、Ｓｇijは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という）の階調値を示し、Ｓｂijは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という）の階調値を示し、Ｓｗijは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という）の階調値であることを示している。以降、Ｒ画素、Ｇ画素、Ｂ画素を総称的にカラー画素ということがある。

なお、原画像取得部３１は、本発明における原画像取得手段に相当する。

外界画像生成部３５は、本実施形態では、輝度分布画像生成部３２、カラー画像生成部３３としての機能を含む。

外界画像生成部３５の輝度分布画像生成部３２は、原画像４１のうちの特定色のカラー画素の階調値（本発明における第１階調値に相当）と、カラー受光画素よりも高い受光感度を有するＷ受光画素に対応するＷ画素の階調値（本発明における第２階調値に相当）とのいずれか一方の階調値を用いて、撮影対象の輝度分布を示す輝度分布画像４２を生成して、その輝度分布画像４２を画像メモリ４０に保持する。輝度分布画像４２は、その各画素の階調値が、輝度値（特定色又は無彩色の輝度値）を示すモノトーン画像である。

上記特定色のカラー画素は、Ｒ画素、Ｇ画素、Ｂ画素のうち、最も画素数が多いＧ画素が比較的適している。このため、本実施形態では、Ｇを特定色とする。

なお、本実施形態では、輝度分布画像生成部３２は、原画像４１の全体領域を分割してなる複数の処理対象領域のそれぞれ毎に、輝度分布画像４２を生成する。また、輝度分布画像生成部３２は、本発明における輝度分布画像生成手段に相当すると共に、本発明における階調値分布判断手段としての機能を含んでいる。

カラー画像生成部３３は、撮影対象のカラー画像４３を生成して、そのカラー画像４３を画像メモリ４０に保持する。カラー画像４３は、その各画素に、Ｒ、Ｇ、Ｂの３色の色階調値が割り当てられた画像である。なお、カラー画像生成部３３は、本発明におけるカラー画像生成手段に相当するものである。

対象物検知部３６は、輝度分布画像４２や、カラー画像４３を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。

車両コントローラ６は、図示しないＣＰＵ、メモリ、入出力回路等により構成された電子回路ユニットである。そして、車両コントローラ６は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。

なお、画像コントローラ３と車両コントローラ６とは、ＣＡＮドライバ５０，６４を介して相互に通信を行う。

次に、外界画像生成部３５の処理を詳細に説明する。図４は、原画像取得部３１及び外界画像生成部３５の処理に関するフローチャートを示しており、このフローチャートに示す処理が原画像取得部３１及び外界画像生成部３５により実行される。

図４のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、図２（ｂ）を参照して先に説明した如く、カメラ２から出力される撮像データ（撮像素子２２の各受光画素の出力信号）により、原画像４１（各受光画素の出力信号の強度を示す階調値を、該受光画素に対応する配置位置の画素に割り当てた画像）を取得して画像メモリ４０に保持する。

次に、ＳＴＥＰ２，３の処理が外界画像生成部３５の輝度分布画像生成部３２により実行される。ＳＴＥＰ２では、輝度分布画像生成部３２は、原画像４１の全体を、例えば図５に示すごとく如く、複数の処理対象領域（図示例では５×６個の処理対象領域）に分割する。

この場合、各処理対象領域は、そこに写る撮影対象の輝度の最大値と最小値との差があまり大きくなり過ぎないようにすることが望ましい。

本実施形態では、カメラ２は車両に搭載されているので、カメラ２の撮像画像のうちの上側の領域が主に空の映像となり、下側の領域が主に路面（大地）の映像となる。このため、上側の領域は比較的明るく、下側の領域は比較的暗いものとなりやすい。そこで、図５に示す例では、上から第２段目の処理対象領域と第３段目の処理対象領域との間の境界が、地平線近辺の位置になるように各処理対象領域のサイズが設定されている。

なお、複数の処理対象領域のそれぞれのサイズは、互いに同じでなくてもよい。また、原画像４１の全体の分割の仕方は、撮影時の環境や処理対象領域の画像から検知しようとする対象物の種別等に応じて異ならせるようにしてもよい。また、原画像４１の全体を単一の処理対象領域としてもよい。

ＳＴＥＰ２に続くＳＴＥＰ３では、輝度分布画像生成部３２は、各処理対象領域毎に、輝度分布画像４２を生成する。

この処理は、具体的には、図６のフローチャートに示す如く実行される。輝度分布画像生成部３２は、まず、ＳＴＥＰ３−１において、複数の処理対象領域のうちの１つを選択する。

次いで、輝度分布画像生成部３２は、ＳＴＥＰ３−２において、輝度分布画像４２を生成するために、原画像４１のＧ画素の階調値であるＧ値と、Ｗ画素の階調値であるＷ値とのうちのどちらの階調値を用いることが適切であるかを判断する。

この判断処理は、換言すれば、選択中の処理対象領域におけるＧ画素のＧ値の分布状態と、該処理対象領域におけるＷ画素のＷ値の分布状態とのうちのどちらの分布状態が、該処理対象領域に写っている撮影対象の輝度分布に対してより高い適合度合い（近似度合い）を有するかを判断する処理である。

すなわち、選択中の処理対象領域において、Ｇ画素のＧ値の分布状態が、Ｗ画素のＷ値の分布状態よりも当該適合度合いが高いとみなせる場合には、輝度分布画像４２を生成するためにＧ値を用いることが適切であると判断される。また、逆の場合には、輝度分布画像４２を生成するためにＷ値を用いることが適切であると判断される。

ここで、選択中の処理対象領域において、該処理対象領域に含まれる全ての画素（又は全てのＧ画素）の総数のうち、前記黒つぶれ状態の階調値を有するＧ画素（以降、黒つぶれＧ画素という）の個数の割合（総数に対する割合）が十分に小さい場合（当該割合がゼロである場合を含む）には、処理対象領域に含まれるＧ画素のＧ値の分布状態は、撮影対象の輝度分布に対する適合度合い（Ｇ値の分布と撮影対象の輝度分布との近似度合い）が高いと考えられる。

また、選択中の処理対象領域において、該処理対象領域に含まれる全ての画素（又は全てのＷ画素）の総数のうち、前記白とび状態の階調値を有するＷ画素（以降、白とびＷ画素という）の個数の割合（総数に対する割合）が十分に小さい場合（当該割合がゼロである場合を含む）には、処理対象領域に含まれるＷ画素のＷ値の分布状態は、撮影対象の輝度分布に対する適合度合い（Ｗ値の分布と撮影対象の輝度分布との近似度合い）が高いと考えられる。

そこで、ＳＴＥＰ３−２では、輝度分布画像生成部３２は、図７のフローチャートに示す処理を実行する。まず、ＳＴＥＰ３−２−１において、輝度分布画像生成部３２は、選択中の処理対象領域に含まれる全ての画素（又は全てのＧ画素）の総数に対する、黒つぶれＧ画素の個数の割合が大きいか否か（当該割合が所定の閾値以上であるか否か）を判断する。

この判断結果が否定的である場合には、輝度分布画像生成部３２は、ＳＴＥＰ３−２−４において、Ｇ画素のＧ値の分布状態が、撮影対象の輝度分布に対する適合度合いが高く、輝度分布画像４２を生成する上でＧ値を用いることが適切であると判断する。

また、ＳＴＥＰ３−２−１の判断結果が肯定的である場合には、輝度分布画像生成部３２は、次にＳＴＥＰ３−２−２において、選択中の処理対象領域に含まれる全ての画素（又は全てのＷ画素）の総数に対する、白とびＷ画素の個数の割合が大きいか否か（当該割合が所定割合以上であるか否か）を判断する。

そして、この判断結果が否定的である場合には、輝度分布画像生成部３２は、ＳＴＥＰ３−２−５において、Ｗ画素のＷ値の分布状態が、撮影対象の輝度分布に対する適合度合いが高く、輝度分布画像４２を生成する上でＷ値を用いることが適切であると判断する。

また、ＳＴＥＰ３−２−２の判断結果が肯定的である場合には、輝度分布画像生成部３２は、さらに、選択中の処理対象領域において、白とびＷ画素の個数よりも黒つぶれＧ画素の個数の方が多いか否かををＳＴＥＰ３−２−３で判断する。

そして、この判断結果が肯定的である場合には、輝度分布画像生成部３２は、前記ＳＴＥＰ３−２−５において、輝度分布画像４２を生成する上でＷ値を用いることが適切であると判断する。また、ＳＴＥＰ３−２−３の判断結果が否定的である場合には、輝度分布画像生成部３２は、前記ＳＴＥＰ３−２−４において、輝度分布画像４２を生成する上でＧ値を用いることが適切であると判断する。

以上が、ＳＴＥＰ３−２の判断処理の詳細である。この判断処理により、選択中の処理対象領域において、Ｇ画素のＧ値の分布状態が、Ｗ画素のＷ値の分布状態よりも当該適合度合いが高いとみなせる場合には、輝度分布画像４２を生成するためにＧ値を用いることが適切であると判断され、逆の場合には、輝度分布画像４２を生成するためにＷ値を用いることが適切であると判断される。

なお、ＳＴＥＰ３−２−１の判断結果が否定的である場合にも、ＳＴＥＰ３−２−３の判断処理を実行し、その判断結果が肯定的であるか否かに応じて、それぞれＳＴＥＰ３−２−５、ＳＴＥＰ３−２−４の処理を行なうようにしてもよい。

また、ＳＴＥＰ３−２の判断処理は、本発明における階調値分布判断手段としての機能を実現するものである。

図６の説明に戻って、ＳＴＥＰ３−２で、輝度分布画像４２を生成するためにＧ値を用いることが適切であると判断した場合には、輝度分布画像生成部３２は、次に、ＳＴＥＰ３−３において、選択中の処理対象領域の各画素のＧ値を補間することにより該処理対象領域の輝度分布画像４２を生成する（詳細は後述する）。

また、ＳＴＥＰ３−２で、輝度分布画像４２を生成するためにＷ値を用いることが適切であると判断した場合には、輝度分布画像生成部３２は、次に、ＳＴＥＰ３−４において、選択中の処理対象領域の各画素のＷ値を補間することにより該処理対象領域の輝度分布画像４２を生成する（詳細は後述する）。

次いで、輝度分布画像生成部３２は、ＳＴＥＰ３−５において、全ての処理対象領域を選択したか否かを判断する。そして、この判断結果が否定的である場合には、ＳＴＥＰ３−１で新たな処理対象領域を選択し、その選択した処理対象領域について、ＳＴＥＰ３−２〜３−４の処理が同様に実行される。また、ＳＴＥＰ３−５の判断結果が肯定的になれば、ＳＴＥＰ３の処理が完了する。これにより全ての処理対象領域について、輝度分布画像４２が生成される。

ＳＴＥＰ３−３又はＳＴＥＰ３−４において、輝度分布画像を生成する処理の詳細を以下に説明する。

まず、ＳＴＥＰ３−３において、原画像４１の処理対象領域のＧ値を用いて輝度分布画像４２を生成する処理を説明する。

Ｇ値を用いて生成される輝度分布画像４２（以降、これに参照符号４２ｇを付する）は、図８（ａ）に示すように、各画素の階調値として、Ｇ値（Ｇ（緑）の輝度値）を割り当てた画像である。図８（ａ）では、各画素の階調値（Ｇ値）をＧ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。

各画素のＧ値Ｇ'i,jは、次のよう決定される。輝度分布画像４２ｇの画素のうち、原画像４１のＧ画素（階調値がＳgi,jである画素）に対応する配置位置の画素（配置位置が同じ画素）については、次式（１）で示す如く、対応する原画像４１のＧ画素の階調値Ｓgi,jが、そのまま輝度分布画像の当該画素のＧ値（Ｇ'i,j）として決定される。例えば、図２（ｂ）に示す原画像４１の（ｉ，ｊ）＝（２，３）の配置位置の画素の階調値（Ｓg2,3）が、輝度分布画像の（ｉ，ｊ）＝（２，３）の配置位置の画素のＧ値（Ｇ'2,3）として決定される。

Ｇ'i,j＝Ｓgi,j ……（１）

また、輝度分布画像４２ｇの画素のうち、原画像４１のＧ画素以外の画素（Ｒ画素又はＢ画素又はＷ画素）に対応する配置位置の画素については、その画素の周囲の配置位置のＧ画素の階調値を少なくとも用いて補完的に決定される。

具体的には、輝度分布画像４２ｇの画素のうち、原画像４１のＲ画素又はＢ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1を基に、次式（２），（３）のＩg、Ｊgの大小関係に応じて、式（４）又は（５）又は（６）によりＧ値（Ｇ'i,j）が決定される。

Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜ ……（２）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜ ……（３）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２ ……（４）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２ ……（５）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４ ……（６）

また、輝度分布画像４２ｇの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1と、対応するＷ画素の階調値Ｓwi,jと、その上下及び左右に１画素の間隔をおいて存在する４つのＷ画素の階調値Ｓwi+2,j、Ｓwi-2,j、Ｓwi,j+2、Ｓwi,j-2とを基に、次式（７），（８）のＩg、Ｊgの大小関係に応じて、式（９）又は（１０）又は（１１）によりＧ値（Ｇ'i,j）が決定される。

Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜＋｜２Ｓwi,j−Ｓwi+2,j−Ｓwi-2,j｜ ……（７）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜＋｜２Ｓwi,j−Ｓwi,j+2−Ｓwi,j-2｜ ……（８）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２
＋（２Ｓwi,j−Ｓwi+2,j−Ｓwi-2,j）／４ ……（９）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２
＋（２Ｓwi,j−Ｓwi,j+2−Ｓwi,j-2）／４ ……（１０）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４
＋（４Ｓwi,j−Ｓwi+2,j−Ｓwi-2,j−Ｓwi,j+2−Ｓwi,j-2）／８
……（１１）

以上の処理により、原画像４１のＧ画素の階調値（Ｇ値）を用いて、処理対象領域の輝度分布画像４２ｇの各画素に、グリーンの階調値（輝度値）を示すＧ値が割り当てられる。これにより、Ｇ値を用いた輝度分布画像４２ｇ（グリーン階調の輝度分布画像４２ｇ）が生成される。

次に、ＳＴＥＰ３−４において、原画像４１の処理対象領域のＷ値を用いて輝度分布画像を生成する処理を説明する。

Ｗ値を用いて生成される輝度分布画像（以下、これに参照符号４２ｗを付する）は、図８（ｂ）に示すように、各画素の階調値として、Ｗ値（可視光全体の輝度値）を割り当てた画像である。図８（ｂ）では、各画素の階調値（Ｗ値）をＷ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。

各画素のＷ値（Ｗ'i,j）は、次のよう決定される。輝度分布画像４２ｗの画素のうち、原画像４１のＷ画素（階調値がＳwi,jである画素）に対応する配置位置の画素（配置位置が同じ画素）については、次式（１２）で示す如く、対応する原画像４１のＷ画素の階調値Ｓwi,jが、そのまま輝度分布画像４２ｗの当該画素のＷ値（Ｗ'i,j）として決定される。

Ｗ'i,j＝Ｓwi,j ……（１２）

また、輝度分布画像４２ｗの画素のうち、原画像４１のＷ画素以外の画素（Ｒ画素又はＧ画素又はＢ画素）に対応する配置位置の画素については、その画素の周囲のＷ画素の階調値を少なくとも用いて補完的に決定される。

具体的には、輝度分布画像４２ｗの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つのＷ画素の階調値Ｓwi-1,j+1、Ｓwi+1,j+1、Ｓwi-1,j-1、Ｓwi+1,j-1と、対応するＲ画素の階調値Ｓri,jと、その右斜め上、右斜め下、左斜め上、左斜め下に１画素の間隔をおいて存在する４つのＲ画素の階調値Ｓri-2,j+2、Ｓri+2,j+2、Ｓri-2,j-2、Ｓri+2,j-2とを基に、次式（１３），（１４）のＩw、Ｊwの大小関係に応じて、式（１５）又は（１６）又は（１７）によりＷ値（Ｗ'i,j）が決定される。

Ｉw＝｜Ｓwi+1,j+1−Ｓwi-1,j-1｜
＋｜２Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2｜ ……（１３）
Ｊw＝｜Ｓwi+1,j-1−Ｓwi-1,j+1｜
＋｜２Ｓri,j−Ｓri+2,j-2−Ｓri-2,j+2｜ ……（１４）
Ｉw＜Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j+1＋Ｓwi-1,j-1）／２
＋（２Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2）／４ ……（１５）
Ｉw＞Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1）／２
＋（２Ｓri,j−Ｓri+2,j-2−Ｓri-2,j+2）／４
……（１６）
Ｉw＝Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1＋Ｓwi+1,j+1＋Ｓwi-1,j-1）／４
＋（４Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2−Ｓri+2,j-2−Ｓri-2,j+2）／８
……（１７）

また、輝度分布画像４２ｗの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、Ｒ画素に対応する配置位置の画素と同様に、その画素に斜め方向で隣接する４つのＷ画素の階調値Ｓwi-1,j+1、Ｓwi+1,j+1、Ｓwi-1,j-1、Ｓwi+1,j-1と、対応するＢ画素の階調値Ｓbi,jと、その斜め方向に１画素の間隔をおいて存在する４つのＢ画素の階調値Ｓbi-2,j+2、Ｓbi+2,j+2、Ｓbi-2,j-2、Ｓbi+2,j-2とを基に、次式（１８），（１９）のＩw、Ｊwの大小関係に応じて、式（２０）又は（２１）又は（２２）によりＷ値（Ｗ'i,j）が決定される。

Ｉw＝｜Ｓwi+1,j+1−Ｓwi-1,j-1｜
＋｜２Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2｜ ……（１８）
Ｊw＝｜Ｓwi+1,j-1−Ｓwi-1,j+1｜
＋｜２Ｓbi,j−Ｓbi+2,j-2−Ｓbi-2,j+2｜ ……（１９）
Ｉw＜Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j+1＋Ｓwi-1,j-1）／２
＋（２Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2）／４
……（２０）
Ｉw＞Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1）／２
＋（２Ｓbi,j−Ｓbi+2,j-2−Ｓbi-2,j+2）／４
……（２１）
Ｉw＝Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1＋Ｓwi+1,j+1＋Ｓwi-1,j-1）／４
＋（４Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2−Ｓbi+2,j-2−Ｓbi-2,j+2）／４
……（２２）

また、輝度分布画像４２ｗの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する２つのＷ画素の階調値（Ｓwi-1,j、Ｓwi+1,j）又は（Ｓwi,j-1、Ｓwi,j+1）と、対応するＧ画素の階調値Ｓgi,jと、その上下又は左右に１画素の間隔をおいて存在する２つのＧ画素の階調値（Ｓgi-2,j、Ｓgi+2,j）又は（Ｓgi,j-2、Ｓgi,j+2）とを基に、次式（２３）又は（２４）によりＷ値（Ｗ'i,j）が決定される。

上下にＷ画素が隣接する場合
Ｗ'i,j＝（Ｓwi+1,j＋Ｓwi-1,j）／２
＋（２Ｓgi,j−Ｓgi+2,j−Ｓgi-2,j）／４ ……（２３）
左右にＷ画素が隣接する場合
Ｗ'i,j＝（Ｓwi,j+1＋Ｓwi,j-1）／２
＋（２Ｓgi,j−Ｓgi,j+2−Ｓgi,j-2）／４ ……（２４）

以上の処理により、原画像４１のＷ画素の階調値（Ｗ値）を用いて、処理対象領域の輝度分布画像４２ｗの各画素に、無彩色の階調値（輝度値）を示すＷ値が割り当てられる。これにより、Ｗ値を用いた輝度分布画像４２ｗ（無彩色階調の輝度分布画像４２ｗ）が生成される。

以上が、図４のＳＴＥＰ３の処理（各処理対象領域毎の輝度分布画像４２ｇ又は４２ｗを生成する処理）の詳細である。

次に、ＳＴＥＰ４，５の処理が外界画像生成部３５のカラー画像生成部３３により実行される。ＳＴＥＰ４では、カラー画像生成部３３は、各処理対象領域毎に、その処理対象領域に対応して生成されたグリーン階調又は無彩色階調の輝度分布画像４２ｇ又は４２ｗの輝度分布と、該処理対象領域における原画像４１の色階調値（Ｒ画素、Ｇ画素、Ｂ画素の階調値）とを用いて、カラー画像４３を生成する。

その生成処理の詳細は後述するが、カラー画像４３は、図９に示すように、その各画素に色階調値Ｃi,jが割り当てられた画像である。色階調値Ｃi,jは、Ｒ（赤）の階調値であるＲ値（Ｃi,j_r）、Ｇ（緑）の階調値であるＧ値（Ｃi,j_g）、及びＢ（青）の階調値であるＢ値（Ｃi,j_b）という三つの要素階調値の組である（Ｃi,j＝｛Ｃi,j_r、Ｃi,j_g、Ｃi,j_b｝）。従って、カラー画像４３は、その各画素のＲ値（Ｃi,j_r）、Ｇ値（Ｃi,j_g）、Ｂ値（Ｃi,j_b）を決定することで生成される。

この場合、グリーン階調の輝度分布画像４２ｇが生成された処理対象領域に関するカラー画像４３（以降、これに参照符号４３ｇを付する）は、該輝度分布画像４２ｇの輝度分布を反映させて生成される。また、無彩色階調の輝度分布画像４２ｗが生成された処理対象領域に関するカラー画像（以降、これに参照符号４３ｗを付する）は、該輝度分布画像４２ｗの輝度分布を反映させて生成される。

ＳＴＥＰ４の次のＳＴＥＰ５においては、カラー画像生成部３３は、各処理対象領域毎のカラー画像４３ｇ又は４３ｗを合成した画像（詳しくは、各処理対象領域毎のカラー画像４３ｇ又は４３ｗを、図５に示す処理対象領域の配列で配置してなる画像の全体）を全体カラー画像（以下、これに参照符号４３allを付する）として出力する。これによりカメラ２の撮影対象の全体のカラー画像（全体カラー画像４３all）が得られる。

次に、上記ＳＴＥＰ４において、カラー画像４３ｇ又は４３ｗを生成する処理の詳細を説明する。

まず、グリーン階調の輝度分布画像４２ｇが生成された処理対象領域に関するカラー画像４３ｇの生成処理を以下に説明する。

この場合、各画素の階調値（輝度値）としてＧ値（Ｇ'i,j）が割り当てられた輝度分布画像４２ｇが輝度分布画像生成部３２により既に生成されている。

このため、カラー画像４３ｇの各画素のＧ値（Ｃi,j_g）は、次式（２５）で示す如く、輝度分布画像４２ｇの対応する配置位置（ｉ，ｊ）の画素のＧ値（Ｇ'i,j）がそのまま割り当てられる。

Ｃi,j_g＝Ｇ'i,j ……（２５）

これにより、カラー画像４３ｇの各画素のＧ値（Ｃi,j_g）が、輝度分布画像４２ｇの対応する配置位置の画素のＧ値（Ｇ'i,j）と一致する値に決定される。

また、カラー画像４３ｇの各画素のＲ値（Ｃi,j_r）は、次のように決定される。すなわち、カラー画像４３ｇの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（２６）で示す如く、対応する原画像４１のＲ画素の階調値Ｓri,jが、カラー画像４３ｇの当該画素のＲ値（Ｃi,j_r）として決定される。

Ｃi,j_r＝Ｓri,j ……（２６）

また、カラー画像４３ｇの各画素のうち、原画像４１のＲ画素以外の画素（Ｇ画素又はＢ画素又はＷ画素）に対応する配置位置の画素のＲ値（Ｃi,j_r）は、当該画素の周囲のＲ画素の階調値（原画像４１での階調値（Ｒ値））と、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇでの階調値（Ｇ値））とを用いて決定される。

具体的には、カラー画像４３ｇの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＲ画素の階調値Ｓri+2,j、Ｓri-2,j、Ｓri,j+2、Ｓri,j-2と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（２７），（２８）のＩr、Ｊrの大小関係に応じて、式（２９）又は（３０）又は（３１）によりＲ値（Ｃi,j_r）が決定される。

Ｉr＝｜Ｓri+2,j−Ｓri-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜ ……（２７）
Ｊr＝｜Ｓri,j+2−Ｓri,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜ ……（２８）
Ｉr＜Ｊrである場合
Ｃi,j_r＝（Ｓri+2,j＋Ｓri-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２ ……（２９）
Ｉr＞Ｊrである場合
Ｃi,j_r＝（Ｓri,j+2＋Ｓri,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２ ……（３０）
Ｉr＝Ｊrである場合
Ｃi,j_r＝（Ｓri,j+2＋Ｓri,j-2＋Ｓri+2,j＋Ｓri-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（３１）

また、カラー画像４３ｇの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＲ画素の階調値Ｓri+1,j又はＳri-1,j又はＳri,j+1又はＳri,j-1と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（３２）又は（３３）又は（３４）又は（３５）によりＲ値（Ｃi,j_r）が決定される。

下側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri+1,j＋（Ｇ'i,j−Ｇ'i+1,j） ……（３２）
上側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri-1,j＋（Ｇ'i,j−Ｇ'i-1,j） ……（３３）
右側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri,j+1＋（Ｇ'i,j−Ｇ'i,j+1） ……（３４）
左側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri,j-1＋（Ｇ'i,j−Ｇ'i,j-1） ……（３５）

また、カラー画像４３ｇの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＲ画素の階調値（Ｓri-1,j+1，Ｓri+1,j-1）又は（Ｓri-1,j−1，Ｓri+1,j+1）と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（３６）又は（３７）によりＲ値（Ｃi,j_r）が決定される。

右斜め上及び左斜め下にＲ画素が隣接する場合
Ｃi,j_r＝（Ｓri+1,j-1＋Ｓri-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２ ……（３６）
左斜め上及び右斜め下にＲ画素が隣接する場合
Ｃi,j_r＝（Ｓri+1,j+1＋Ｓri-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２ ……（３７）

以上のようにして、カラー画像４３ｇの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値Ｃi,j_rは、当該画素の周囲のＲ画素のＲ値（原画像４１におけるＲ値）に応じて決定される基本値（式（２９）〜（３７）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇにおけるＧ値）に応じて決定される補正値（式（２９）〜（３７）のそれぞれの右辺の第２項）により補正することによって、決定される。

次に、カラー画像４３ｇの各画素のＢ値（Ｃi,j_b）は、各画素のＲ値（Ｃi,j_r）と同様に決定される。すなわち、カラー画像４３ｇの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（３８）で示す如く、対応する原画像４１のＢ画素の階調値Ｓbi,jが、カラー画像４３ｇの当該画素のＢ値（Ｃi,j_b）として決定される。

Ｃi,j_b＝Ｓbi,j ……（３８）

また、カラー画像４３ｇの各画素のうち、原画像４１のＢ画素以外の画素（Ｒ画素又はＧ画素又はＷ画素）に対応する配置位置の画素のＢ値（Ｃi,j_b）は、当該画素の周囲のＢ画素の階調値（原画像４１での階調値（Ｂ値））と、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇでの階調値（Ｇ値））とを用いて決定される。

具体的には、カラー画像４３ｇの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＢ画素の階調値Ｓbi+2,j、Ｓbi-2,j、Ｓbi,j+2、Ｓbi,j-2と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（３９），（４０）のＩb、Ｊbの大小関係に応じて、式（４１）又は（４２）又は（４３）によりＢ値（Ｃi,j_b）が決定される。

Ｉb＝｜Ｓbi+2,j−Ｓbi-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜ ……（３９）
Ｊb＝｜Ｓbi,j+2−Ｓbi,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜ ……（４０）
Ｉb＜Ｊbである場合
Ｃi,j_b＝（Ｓbi+2,j＋Ｓbi-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２ ……（４１）
Ｉb＞Ｊbである場合
Ｃi,j_b＝（Ｓbi,j+2＋Ｓbi,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２ ……（４２）
Ｉb＝Ｊbである場合
Ｃi,j_b＝（Ｓbi,j+2＋Ｓbi,j-2＋Ｓbi+2,j＋Ｓbi-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（４３）

また、カラー画像４３ｇの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＢ画素の階調値Ｓbi+1,j又はＳbi-1,j又はＳbi,j+1又はＳbi,j-1と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（４４）又は（４５）又は（４６）又は（４７）によりＢ値（Ｃi,j_b）が決定される。

下側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi+1,j＋（Ｇ'i,j−Ｇ'i+1,j） ……（４４）
上側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi-1,j＋（Ｇ'i,j−Ｇ'i-1,j） ……（４５）
右側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi,j+1＋（Ｇ'i,j−Ｇ'i,j+1） ……（４６）
左側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi,j-1＋（Ｇ'i,j−Ｇ'i,j-1） ……（４７）

また、カラー画像４３ｇの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＢ画素の階調値（Ｓbi-1,j+1，Ｓbi+1,j-1）又は（Ｓbi-1,j−1，Ｓbi+1,j+1）と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（４８）又は（４９）によりＢ値（Ｃi,j_b）が決定される。

右斜め上及び左斜め下にＢ画素が隣接する場合
Ｃi,j_b＝（Ｓbi+1,j-1＋Ｓbi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２ ……（４８）
左斜め上及び右斜め下にＢ画素が隣接する場合
Ｃi,j_b＝（Ｓbi+1,j+1＋Ｓbi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２ ……（４９）

以上のようにして、カラー画像４３ｇの各画素うち、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値Ｃi,j_bは、当該画素の周囲のＢ画素のＢ値（原画像４１におけるＢ値）に応じて決定される基本値（式（４１）〜（４９）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇにおけるＧ値）に応じて決定される補正値（式（４１）〜（４９）のそれぞれの右辺の第２項）により補正することによって、決定される。

以上により、カラー画像４３ｇの各画素のＲ値、Ｇ値、Ｂ値が決定される。これにより、グリーン階調の輝度分布画像が生成された各処理対象領域に関するカラー画像４３ｇが生成されることとなる。

次に、無彩色階調の輝度分布画像が生成された処理対象領域に関するカラー画像４３ｗの生成処理を以下に説明する。

カラー画像４３ｗの各画素のＲ値（Ｃi,j_r）は、次のように決定される。すなわち、カラー画像４３ｗの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（５０）で示す如く、対応する原画像４１のＲ画素の階調値Ｓri,jが、カラー画像４３ｗの当該画素のＲ値（Ｃi,j_r）として決定される。

Ｃi,j_r＝Ｓri,j ……（５０）

また、カラー画像４３ｗの各画素のうち、原画像４１のＲ画素以外の画素（Ｇ画素又はＢ画素又はＷ画素）に対応する配置位置の画素のＲ値（Ｃi,j_r）は、当該画素の周囲のＲ画素の階調値（原画像４１での階調値（Ｒ値））と、当該画素及びその周囲の画素のＷ値（無彩色階調の輝度分布画像での階調値（Ｗ値））とを用いて決定される。

具体的には、カラー画像４３ｗの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＲ画素の階調値Ｓri+2,j、Ｓri-2,j、Ｓri,j+2、Ｓri,j-2と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素のＷ値（輝度値）Ｗ'i+2,j、Ｗ'i-2,j、Ｗ'i,j+2、Ｗ'i,j-2とを基に、次式（５１），（５２）のＩr、Ｊrの大小関係に応じて、式（５３）又は（５４）又は（５５）によりＲ値（Ｃi,j_r）が決定される。

Ｉr＝｜Ｓri+2,j−Ｓri-2,j｜＋｜２Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j｜ ……（５１）
Ｊr＝｜Ｓri,j+2−Ｓri,j-2｜＋｜２Ｗ'i,j−Ｗ'i,j+2−Ｗ'i,j-2｜ ……（５２）
Ｉr＜Ｊrである場合
Ｃi,j_r＝（Ｓri+2,j＋Ｓri-2,j）／２
＋（２Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j）／２ ……（５３）
Ｉr＞Ｊrである場合
Ｃi,j_r＝（Ｓri,j+2＋Ｓri,j-2）／２
＋（２Ｗ'i,j−Ｗ'i,j+2−Ｗ'i,j-2）／２ ……（５４）
Ｉr＝Ｊrである場合
Ｃi,j_r＝（Ｓri,j+2＋Ｓri,j-2＋Ｓri+2,j＋Ｓri-2,j）／４
＋（４Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j−Ｗ'i,j+2−Ｗ'i,j-2）／４
……（５５）

また、カラー画像４３ｗの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＲ画素の階調値Ｓri+1,j又はＳri-1,j又はＳri,j+1又はＳri,j-1と、対応する画素のＷ値（輝度値）Ｗ'i,jと、その上下左右のいずれかに隣接する１つの画素のＷ値（輝度値）Ｗ'i+1,j、Ｗ'i-1,j、Ｗ'i,j+1、Ｗ'i,j-1とを基に、次式（５６）又は（５７）又は（５８）又は（５９）によりＲ値（Ｃi,j_r）が決定される。

下側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri+1,j＋（Ｗ'i,j−Ｗ'i+1,j） ……（５６）
上側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri-1,j＋（Ｗ'i,j−Ｗ'i-1,j） ……（５７）
右側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri,j+1＋（Ｗ'i,j−Ｗ'i,j+1） ……（５８）
左側にＲ画素が隣接する場合
Ｃi,j_r＝Ｓri,j-1＋（Ｗ'i,j−Ｗ'i,j-1） ……（５９）

また、カラー画像４３ｗの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＲ画素の階調値（Ｓri-1,j+1，Ｓri+1,j-1）又は（Ｓri-1,j−1，Ｓri+1,j+1）と、対応する画素のＷ値（輝度値）Ｗ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素のＷ値（輝度値）（Ｗ'i-1,j+1，Ｗ'i+1,j-1）又は（Ｗ'i-1,j−1，Ｗ'i+1,j+1）とを基に、次式（６０）又は（６１）によりＲ値（Ｃi,j_r）が決定される。

右斜め上及び左斜め下にＲ画素が隣接する場合
Ｃi,j_r＝（Ｓri+1,j-1＋Ｓri-1,j+1）／２
＋（２Ｗ'i,j−Ｗ'i+1,j-1−Ｗ'i-1,j+1）／２ ……（６０）
左斜め上及び右斜め下にＲ画素が隣接する場合
Ｃi,j_r＝（Ｓri+1,j+1＋Ｓri-1,j-1）／２
＋（２Ｗ'i,j−Ｗ'i+1,j+1−Ｗ'i-1,j-1）／２ ……（６１）

以上のようにして、カラー画像４３ｗの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値Ｃi,j_rは、当該画素の周囲のＲ画素のＲ値（原画像４１におけるＲ値）に応じて決定される基本値（式（５３）〜（６１）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＷ値（輝度分布画像４２ｗにおけるＷ値）に応じて決定される補正値（式（５３）〜（６１）のそれぞれの右辺の第２項）により補正することによって、決定される。

次に、カラー画像４３ｗの各画素のＢ値（Ｃi,j_b）は、各画素のＲ値（Ｃi,j_r）と同様に決定される。すなわち、カラー画像４３ｗの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（６２）で示す如く、対応する原画像４１のＢ画素の階調値Ｓbi,jが、カラー画像４３ｗの当該画素のＢ値（Ｃi,j_b）として決定される。

Ｃi,j_b＝Ｓbi,j ……（６２）

また、カラー画像４３ｗの各画素のうち、原画像４１のＢ画素以外の画素（Ｒ画素又はＧ画素又はＷ画素）に対応する配置位置の画素のＢ値（Ｃi,j_b）は、当該画素の周囲のＢ画素の階調値（原画像４１での階調値（Ｂ値））と、当該画素及びその周囲の画素のＷ値（輝度分布画像４２ｗでの階調値（Ｗ値））とを用いて決定される。

具体的には、カラー画像４３ｇの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＢ画素の階調値Ｓbi+2,j、Ｓbi-2,j、Ｓbi,j+2、Ｓbi,j-2と、対応する画素のＷ値（輝度値）Ｗ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素のＷ値（輝度値）Ｗ'i+2,j、Ｗ'i-2,j、Ｗ'i,j+2、Ｗ'i,j-2とを基に、次式（６３），（６４）のＩb、Ｊbの大小関係に応じて、式（６５）又は（６６）又は（６７）によりＢ値（Ｃi,j_b）が決定される。

Ｉb＝｜Ｓbi+2,j−Ｓbi-2,j｜＋｜２Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j｜ ……（６３）
Ｊb＝｜Ｓbi,j+2−Ｓbi,j-2｜＋｜２Ｗ'i,j−Ｗ'i,j+2−Ｗ'i,j-2｜ ……（６４）
Ｉb＜Ｊbである場合
Ｃi,j_b＝（Ｓbi+2,j＋Ｓbi-2,j）／２
＋（２Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j）／２ ……（６５）
Ｉb＞Ｊbである場合
Ｃi,j_b＝（Ｓbi,j+2＋Ｓbi,j-2）／２
＋（２Ｗ'i,j−Ｗ'i,j+2−Ｗ'i,j-2）／２ ……（６６）
Ｉb＝Ｊbである場合
Ｃi,j_b＝（Ｓbi,j+2＋Ｓbi,j-2＋Ｓbi+2,j＋Ｓbi-2,j）／４
＋（４Ｗ'i,j−Ｗ'i+2,j−Ｗ'i-2,j−Ｗ'i,j+2−Ｗ'i,j-2）／４
……（６７）

また、カラー画像４３ｗの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＢ画素の階調値Ｓbi+1,j又はＳbi-1,j又はＳbi,j+1又はＳbi,j-1と、対応する画素のＷ値（輝度値）Ｗ'i,jと、その上下左右のいずれかに隣接する１つの画素のＷ値（輝度値）Ｗ'i+1,j、Ｗ'i-1,j、Ｗ'i,j+1、Ｗ'i,j-1とを基に、次式（６８）又は（６９）又は（７０）又は（７１）によりＢ値（Ｃi,j_b）が決定される。

下側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi+1,j＋（Ｗ'i,j−Ｗ'i+1,j） ……（６８）
上側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi-1,j＋（Ｗ'i,j−Ｗ'i-1,j） ……（６９）
右側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi,j+1＋（Ｗ'i,j−Ｗ'i,j+1） ……（７０）
左側にＢ画素が隣接する場合
Ｃi,j_b＝Ｓbi,j-1＋（Ｗ'i,j−Ｗ'i,j-1） ……（７１）

また、カラー画像４３ｗの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＢ画素の階調値（Ｓbi-1,j+1，Ｓbi+1,j-1）又は（Ｓbi-1,j−1，Ｓbi+1,j+1）と、対応する画素のＷ値（輝度値）Ｗ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素のＷ値（輝度値）（Ｗ'i-1,j+1，Ｗ'i+1,j-1）又は（Ｗ'i-1,j−1，Ｗ'i+1,j+1）とを基に、次式（７２）又は（７３）によりＢ値（Ｃi,j_b）が決定される。

右斜め上及び左斜め下にＢ画素が隣接する場合
Ｃi,j_b＝（Ｓbi+1,j-1＋Ｓbi-1,j+1）／２
＋（２Ｗ'i,j−Ｗ'i+1,j-1−Ｗ'i-1,j+1）／２ ……（７２）
左斜め上及び右斜め下にＢ画素が隣接する場合
Ｃi,j_b＝（Ｓbi+1,j+1＋Ｓbi-1,j-1）／２
＋（２Ｗ'i,j−Ｗ'i+1,j+1−Ｗ'i-1,j-1）／２ ……（７３）

以上のようにして、カラー画像４３ｗの各画素うち、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値Ｃi,j_bは、当該画素の周囲のＢ画素のＢ値（原画像４１におけるＢ値）に応じて決定される基本値（式（６５）〜（７３）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＷ値（輝度分布画像４２ｗにおけるＷ値）に応じて決定される補正値（式（６５）〜（７３）のそれぞれの右辺の第２項）により補正することによって、決定される。

次に、カラー画像４３ｗの各画素のＧ値（Ｃi,j_g）は、次のように決定される。すなわち、カラー画像４３ｗの各画素のうち、原画像４１のＧ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（７４）で示す如く、対応する原画像４１のＧ画素の階調値Ｓgi,jが、カラー画像４３ｗの当該画素のＧ値（Ｃi,j_g）として決定される。

Ｃi,j_g＝Ｓgi,j ……（７４）

また、カラー画像４３ｗの各画素のうち、原画像４１のＧ画素以外の画素（Ｒ画素又はＢ画素又はＷ画素）に対応する配置位置の画素のＧ値（Ｃi,j_g）は、当該画素の周囲のＧ画素の階調値（原画像４１での階調値（Ｇ値））と、当該画素及びその周囲の画素のＷ値（輝度分布画像４２ｗでの階調値（Ｗ値））とを用いて決定される。

具体的には、カラー画像４３ｗの画素のうち、原画像４１のＧ画素以外の各画素に対応する配置位置の画素については、当該画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1と、当該画素に対応するＷ値（輝度値）Ｗ'i,jと、その上下及び左右に隣接する４つの画素のＷ値（輝度値）Ｗ'i+1,j、Ｗ'i-1,j、Ｗ'i,j+1、Ｗ'i,j-1とを基に、次式（７５），（７６）のＩg、Ｊgの大小関係に応じて、式（７７）又は（７８）又は（７９）によりＧ値（Ｃi,j_g）が決定される。

Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜＋｜２Ｗ'i,j−Ｗ'i+1,j−Ｗ'i-1,j｜ ……（７５）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜＋｜２Ｗ'i,j−Ｗ'i,j+1−Ｗ'i,j-1｜ ……（７６）
Ｉg＜Ｊgである場合
Ｃi,j_g＝（Ｓgi+1,j＋Ｓgi-1,j）／２
＋（２Ｗ'i,j−Ｗ'i+1,j−Ｗ'i-1,j）／２ ……（７７）
Ｉg＞Ｊgである場合
Ｃi,j_g＝（Ｓgi,j+1＋Ｓgi,j-1）／２
＋（２Ｗ'i,j−Ｗ'i,j+1−Ｗ'i,j-1）／２ ……（７８）
Ｉg＝Ｊgである場合
Ｃi,j_g＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４
＋（４Ｗ'i,j−Ｗ'i+1,j−Ｗ'i-1,j−Ｗ'i,j+1−Ｗ'i,j-1）／４
……（７９）

以上のようにして、カラー画像４３ｗの各画素うち、原画像４１のＧ画素に対応する配置位置の画素以外の各画素のＧ値Ｃi,j_gは、当該画素の周囲のＧ画素のＧ値（原画像４１におけるＧ値）に応じて決定される基本値（式（７７）〜（７９）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＷ値（輝度分布画像４２ｗにおけるＷ値）に応じて決定される補正値（式（７７）〜（７９）のそれぞれの右辺の第２項）により補正することによって、決定される。

以上が、ＳＴＥＰ４においてカラー画像４３ｇ又は４３ｗを生成する処理の詳細である。

次に、前記対象物検知部３６の処理を説明する。対象物検知部３６は、検出しようとする対象物の種別や、夜間であるか否か（もしくは周囲環境が暗いか否か）等に応じて、全体カラー画像４３all、あるいは、処理対象領域毎のカラー画像４３ｇ又は４３ｗ、あるいは、処理対象領域毎の輝度分布画像４２ｇ又は４２ｗ（又は処理対象領域毎の輝度分布画像４２ｇ又は４２ｗを合成した全体輝度分布画像（カメラ２の撮影対象の全体の輝度分布画像））を選択し、その選択した画像を用いて該画像中の対象物を検出する。

この場合、対象物の検出に適した画像（対象物に特徴的な色や輝度分布が顕著に反映されやすい画像）を使用することで、種々様々な環境下で、種々様々の対象物を高い信頼性で検出することができる。

なお、対象物検知部３６は、歩行者や他車を検出した場合に、該歩行者や他車と車両１（自車両）との接触の可能性を判断し、接触の可能性が有ると判断した場合には、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。このとき、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。

また、対象物検知部３６は、レーンマークの検知位置から車両１（自車両）を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信する。このとき、操舵制御部６１が操舵装置７１の作動を制御することで、レーンキープ制御を行なう。

以上説明した実施形態によれば、原画像４１の各処理対象領域に対応する輝度分布画像４２ｇ又４２ｗは、該処理対象領域に写っている撮影対象が比較的明るい場合及び暗い場合のいずれの場合であっても、該撮影対象の実際の輝度分布に極力適合した輝度分布の画像となるように生成される。

すなわち、処理対象領域に写っている撮影対象が比較的暗く、該処理対象領域における原画像４１中の多くのＧ画素が黒つぶれ状態となっているような場合には、原画像４１中で白とび状態となっているＷ画素が過剰でない限り、Ｇ画素よりも黒つぶれ状態となり難いＷ画素の階調値（Ｗ値）を用いて輝度分布画像４２ｗが生成される。

また、処理対象領域に写っている撮影対象が比較的明るく、該処理対象領域における原画像４１中で黒つぶれ状態となっているＧ画素が十分に少ない場合には、Ｗ画素よりも白とび状態となり難いＧ画素の階調値（Ｇ値）を用いて輝度分布画像４２ｇが生成される。

これにより、処理対象領域に写っている撮影対象の実際の輝度分布に極力適合した輝度分布を有する輝度分布画像４２ｇ又は４２ｗを生成することができる。ひいては、黒つぶれ状態や白とび状態となる画素の少ない高解像度あるいは高感度な輝度分布画像４２ｇ又は４２ｗを生成することができる。

従って、この輝度分布画像４２ｇ又は４２ｇを、所望の対象物を検出するために有効に活用することができる。

さらに、処理対象領域毎のカラー画像４３ｇ又は４３ｗは、撮影対象の実際の輝度分布に極力適合するように生成された輝度分布画像４２ｇ又は４２ｗの輝度分布を反映させて生成される。すなわち、カラー画像４３ｇ又は４３ｗの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値Ｃi,j_rは、当該画素の周囲のＲ画素のＲ値（原画像４１におけるＲ値）に応じて決定される基本値を、当該画素及びその周囲の画素の輝度値（輝度分布画像４２ｇにおけるＧ値又は輝度分布画像４２ｗにおけるＷ値）に応じて決定される補正値（式（７７）〜（７９）のそれぞれの右辺の第２項）により補正することによって、決定される。

原画像４１のＧ画素に対応する配置位置の画素以外の各画素のＧ値Ｃi,j_g、並びに、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値Ｃi,j_bについても同様である。

これにより、実際の撮影対象の色が適切に反映された高解像度あるいは高感度なカラー画像４３ｇ又は４３ｗを生成することができる。

従って、このカラー画像４３ｇ又は４３ｇを、所望の対象物を検出するために有効に活用することができる。

［第２実施形態］
次に、本発明の第２実施形態を図１０（ａ），（ｂ）を参照して説明する。本実施形態は、図６のＳＴＥＰ３−２の判断処理だけが、前記第１実施形態と相違するものである。従って、本実施形態では、その相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。

本実施形態では、輝度分布画像生成部３２により図６のＳＴＥＰ３−２の判断処理を行なうために、図１０（ａ）に示す如く、撮像素子２２のカラー受光画素のうちのＧ受光画素の出力信号の強度を示す原画像４１のＧ画素の階調値（Ｇ値）の適正な範囲として、所定の上限値ＳＨg1と下限値ＳＬg1の間の範囲Δg1があらかじめ設定されている。なお、図１０（ａ）中の実線ｇ1は、Ｇ受光画素の出力信号の強度が変化し得る範囲での該強度と撮影対象の輝度との間の関係（Ｇ受光画素の感度特性）を示すグラフである。

上記上限値ＳＨg1及び下限値ＳＬg1は、それぞれ、Ｇ受光画素の出力信号の強度の最大値に相当するＧ画素の階調値（Ｇ値）の最大値よりも小さい値、Ｇ受光画素の出力信号の強度の最小値に相当するＧ画素の階調値（Ｇ値）の最小値よりも大きい値に設定されている。そして、これらの上限値ＳＨg1及び下限値ＳＬg1により規定される範囲Δg1は、その範囲内の階調値を示すＧ受光画素の出力信号の強度がガンマ特性による圧縮やノイズの影響を受け難いものとなるように設定されている。従って、適正な範囲Δg1は、Ｇ受光画素の出力信号の強度と撮影対象の輝度との間の相関性が極力高いものとなる範囲に設定されている。

また、図１０（ｂ）に示す如く、撮像素子２２のＷ受光画素（透明な受光画素）の出力信号の強度を示す原画像４１のＷ画素の階調値（Ｗ値）についても、その適正な範囲として、所定の上限値ＳＨw1と下限値ＳＬw1の間の範囲Δw1があらかじめ設定されている。なお、図１０（ｂ）中の実線ｗ1は、Ｗ受光画素の出力信号の強度が変化し得る範囲での該強度と撮影対象の輝度との間の関係（Ｗ受光画素の感度特性）を示すグラフである。

上記上限値ＳＨw1及び下限値ＳＬw1は、それぞれ、Ｗ受光画素の出力信号の強度の最大値に相当するＷ画素の階調値（Ｗ値）の最大値よりも小さい値、Ｗ受光画素の出力信号の強度の最小値に相当するＷ画素の階調値（Ｗ値）の最小値よりも大きい値に設定されている。そして、これらの上限値ＳＨw1及び下限値ＳＬw1により規定される範囲Δw1は、Ｇ受光画素の出力信号の強度に関する前記範囲Δg1と同様に、その範囲内の階調値を示すＷ受光画素の出力信号の強度がガンマ特性による圧縮やノイズの影響を受け難いものとなるように設定されている。従って、適正な範囲Δw1は、Ｗ受光画素の出力信号の強度と撮影対象の輝度との間の相関性が極力高いものとなる範囲に設定されている。

なお、Ｇ画素の階調値（Ｇ受光画素の出力信号の強度）に関する適正な範囲Δg1と、Ｗ画素の階調値（Ｗ受光画素の出力信号の強度）に関する適正な範囲Δw1とは互いに同一の範囲である必要なない。

そして、本実施形態における図６のＳＴＥＰ３−２の判断処理では、上記の如く設定された範囲Δg1，Δw1を用いて、輝度分布画像を生成するために原画像４１のＧ値及びＷ値のどちらを用いることが適切であるかが判断される。

具体的には、輝度分布画像生成部３２は、図６のＳＴＥＰ３−１で選択した処理対象領域における原画像４１中のＧ画素の階調値（Ｇ値）の平均値Ｇave（換言すれば、該処理対象領域におけるＧ受光画素の出力信号の強度の平均値）と、該処理対象領域における原画像４１中のＷ画素の階調値（Ｗ値）の平均値Ｗave（換言すれば、該処理対象領域におけるＷ受光画素の出力信号の強度の平均値）とを算出する。

この場合、平均値Ｇaveが、既定の適正な範囲Δg1内に入る場合には、処理対象領域におけるＧ画素のＧ値の分布状態は、該処理対象領域に写っている撮影対象の実際の輝度分布に対する適合度合いが高いと考えられる。同様に、平均値Ｗaveが、既定の適正な範囲Δw1内に入る場合には、処理対象領域におけるＷ画素のＷ値の分布状態は、該処理対象領域に写っている撮影対象の実際の輝度分布に対する適合度合いが高いと考えられる。

そこで、輝度分布画像生成部３２は、処理対象領域におけるＧ画素の階調値の平均値Ｇaveが適正な範囲Δg1内にあり、且つ、処理対象領域におけるＷ画素の階調値の平均値Ｗaveが適正な範囲Δw1から逸脱している場合（図１０（ａ），（ｂ）に例示する場合）には、処理対象領域における輝度分布画像を生成するために、原画像４１のＧ値を用いることが適切であると判断する。

また、輝度分布画像生成部３２は、処理対象領域におけるＷ画素の階調値の平均値Ｗaveが適正な範囲Δw1内にあり、且つ、処理対象領域におけるＧ画素の階調値の平均値Ｇaveが適正な範囲Δg1から逸脱している場合には、処理対象領域における輝度分布画像を生成するために、原画像４１のＷ値を用いることが適切であると判断する。

また、輝度分布画像生成部３２は、処理対象領域におけるＷ画素の階調値の平均値Ｗaveと、Ｇ画素の階調値の平均値Ｇaveとの両方が、それぞれ適正な範囲Δw1、Δg1に入っている場合、あるいは、その両方が、それぞれ適正な範囲Δw1、Δg1から逸脱している場合には、輝度分布画像を生成するために、処理対象領域におけるＷ画素とＧ画素とのうち、個数の多い方の画素の階調値（Ｗ値又はＧ値）を用いることが適切であると判断する。

なお、輝度分布画像生成部３２は、処理対象領域におけるＷ画素の階調値の平均値Ｗaveと、Ｇ画素の階調値の平均値Ｇaveとの両方が、それぞれ適正な範囲Δw1、Δg1に入っている場合、あるいは、その両方が、それぞれ適正な範囲Δw1、Δg1から逸脱している場合には、輝度分布画像を生成するためにＷ値及びＧ値のうちのいずれが適切であるかを次のように判断するようにしてもよい。

すなわち、原画像４１における処理対象領域の位置、あるいは、カメラ２の撮影時の状況等に応じて輝度分布画像を生成するためにＷ値及びＧ値のうちのいずれが適切であるかを判断するようにしてもよい。例えば、処理対象領域の輝度分布画像から、ある対象物を検出するために、低輝度側の解像度が要求される場合には、輝度分布画像を生成するために、受光感度が相対的に高いＷ受光画素の出力信号の強度を示すＷ値を用いることが適切であると判断する。また、例えば、処理対象領域の輝度分布画像から、ある対象物を検出するために、高輝度側の解像度が要求される場合には、輝度分布画像を生成するために、受光感度が相対的に低いＧ受光画素の出力信号の強度を示すＧ値を用いることが適切であると判断する。

あるいは、他の手法として、輝度分布画像生成部３２は、処理対象領域におけるＧ画素の階調値の平均値Ｇaveと、Ｗ画素の階調値の平均値Ｗaveとの両方が、それぞれ適正な範囲Δg1、Δw1に入っている場合、あるいは、その両方が、それぞれ適正な範囲Δg1、Δw1から逸脱している場合に、輝度分布画像を生成するためにＧ値及びＷ値のうちのいずれが適切であるかを次のように判断するようにしてもよい。

すなわち、処理対象領域におけるＧ画素の階調値の基準目標値Ｘgと、Ｗ画素の階調値の基準目標値Ｘwとをそれぞれ、適正な範囲Δg1，Δw1内に設定しておく。例えば、図１０（ａ），（ｂ）に示す如く、適正な範囲Δg1、Δw1のそれぞれの中央値を基準目標値Ｘg、Ｘwとして設定しておく。

そして、Ｇ画素の階調値の平均値Ｇaveと基準目標値Ｘgとの偏差の絶対値｜Ｘg−Ｇave｜と、Ｗ画素の階調値の平均値Ｗaveと基準目標値Ｘｗとの偏差の絶対値｜Ｘｗ−Ｗave｜とを比較し、Ｇ値及びＷ値のうち、当該絶対値がより小さい方の階調値が、輝度分布画像を生成するために適切であると判断する。

なお、この場合、処理対象領域におけるＷ画素の個数と、Ｇ画素の個数との差、あるいは、Ｗ受光画素とＧ受光画素と特性の違いを反映させて、上記両方の絶対値のそれぞれに、各別のゲイン値を乗じた値を比較したり、あるいは、各別のオフセット値を加えた値を比較するようにしてもよい。

本実施形態は、以上説明した事項以外は第１実施形態と同じである。

かかる本実施形態においても、処理対象領域に写っている撮影対象の実際の輝度分布に極力適合した輝度分布を有する輝度分布画像４２ｇ又は４２ｗを生成することができる。これにより、高解像度あるいは高感度な輝度分布画像４２ｇ又は４２ｗを生成することができる。

［第３実施形態］
次に、本発明の第３実施形態を図１１（ａ），（ｂ）を参照して説明する。本実施形態は、図６のＳＴＥＰ３−２の判断処理だけが、前記第１実施形態と相違するものである。従って、本実施形態では、その相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。

本実施形態では、輝度分布画像生成部３２により図６のＳＴＥＰ３−２の判断処理を行なうために、前記第２実施形態と同様に、撮像素子２２のＧ受光画素の出力信号の強度を示す原画像４１のＧ画素の階調値（Ｇ値）の適正な範囲Δg1（図１１（ａ）を参照）と、Ｗ受光画素の出力信号の強度を示す原画像４１のＷ画素の階調値（Ｗ値）の適正な範囲Δw1（図１１（ｂ）を参照）とがあらかじめ設定されている。これらの範囲Δg1，Δw1は、第２実施形態と同じでよい。

そして、本実施形態における図６のＳＴＥＰ３−２の判断処理では、上記の如く設定された範囲Δg1，Δw1を用いて、輝度分布画像を生成するために原画像４１のＧ値及びＷ値のどちらを用いることが適切であるかの判断が、前記第２実施形態と異なる手法によって行なわれる。

具体的には、本実施形態では、輝度分布画像生成部３２は、図６のＳＴＥＰ３−１で選択した処理対象領域における原画像４１中のＧ画素の階調値（Ｇ値）のヒストグラム（換言すればＧ受光画素の出力信号の強度のヒストグラム）と、該処理対象領域における原画像４１中のＷ画素の階調値（Ｗ値）のヒストグラム（換言すればＷ受光画素の出力信号の強度のヒストグラム）とを作成する。

例えば、図１１（ａ）の実線ｇ2のグラフで例示するヒストグラム（Ｇ画素の階調値（Ｇ受光画素の出力信号の強度）に関するヒストグラム）と、図１１（ｂ）の実線ｗ2のグラフで例示するヒストグラム（Ｗ画素の階調値（Ｗ受光画素の出力信号の強度）に関するヒストグラム）とが作成される。

ここで、処理対象領域におけるＧ画素のＧ値の分布状態が、該処理対象領域に写っている撮影対象の実際の輝度分布に対する適合度合いが高い場合には、処理対象領域における全部もしくは大部分のＧ画素のＧ値が、前記既定の適正な範囲Δg1に含まれると考えられる。同様に、処理対象領域におけるＷ画素のＷ値の分布状態が、該処理対象領域に写っている撮影対象の実際の輝度分布に対する適合度合いが高い場合には、処理対象領域における全部もしくは大部分のＷ画素のＷ値が、前記既定の適正な範囲Δw1に含まれると考えられる。

そこで、輝度分布画像生成部３２は、処理対象領域における原画像４１のＧ画素について作成したヒストグラムを基に、適正な範囲Δg1内に収まっている階調値（Ｇ値）を有するＧ画素の画素数Ｇarea（以降、有効画素数Ｇareaという）を算出すると共に、処理対象領域における原画像４１のＷ画素について作成したヒストグラムを基に、適正な範囲Δg1内の収まっている階調値（Ｗ値）を有するＷ画素の画素数Ｗarea（以降、有効画素数Ｗarerという）を算出する。

なお、有効画素数Ｇareaは、Ｇ画素に関するヒストグラムのグラフの、Δg1の範囲内での面積に相当する。同様に、有効画素数Ｗareaは、Ｗ画素に関するヒストグラムのグラフの、Δw1の範囲内での面積に相当する。

そして、輝度分布画像生成部３２は、有効画素数Ｇarea、Ｗareaを比較し、原画像４１のＧ値及びＷ値のうち、有効画素数Ｇarea、Ｗareaがより大きい方の階調値を、輝度分布画像を生成するために用いる階調値として適切であると判断する。

例えば、図１１（ａ），（ｂ）に示す例では、Ｇarea＞Ｗareaである。その場合には、輝度分布画像を生成するために、原画像４１のＧ値を用いることが適切であると判断する。

なお、有効画素数Ｇarea、Ｗareaに基づいて、原画像４１のＧ値及びＷ値のうちのどちらが適切であかを判断する場合、処理対象領域におけるＧ画素の画素数とＷ画素の画素数との比率（換言すればＧ受光画素の個数とＷ受光画素の個数との比率）や、それぞれの受光画素のセンシング特性、カメラ２の撮影時の撮影環境、処理対象領域に写る撮影対象の種別等を反映させて、上記の判断を行なうようにしてもよい。

例えばＧareaと、α×Ｗarea＋β（ただし、α、βはあらかじめ定めた定数）との大小関係を比較することで、輝度分布画像を生成するために、原画像４１のＧ値及びＷ値のうちのどちらが適切であるかを判断するようにしてもよい。

すなわち、Ｇarea＞α×Ｗarea＋βである場合には、輝度分布画像を生成するために、原画像４１のＧ値を用いることが適切であると判断し、Ｇarea＜α×Ｗarea＋βである場合には、輝度分布画像を生成するために、原画像４１のＷ値を用いることが適切であると判断する。

この場合、上記定数αは、処理対象領域におけるＧ画素の画素数とＷ画素の画素数との比率に応じて設定することが好ましい。例えば、Ｇ画素の画素数：Ｗ画素の画素数＝α：１となるように（換言すれば、Ｇ画素の画素数＝α×Ｗ画素の画素数となるように）設定される。

また、上記定数βは、Ｇareaと、α×Ｗareaとが、同一もしくはほぼ同一となる場合に、輝度分布画像を生成するために、Ｇ値及びＷ値のうちの一方が、優先的に選択されやすくなるようにするためのパラメータである。この定数βは、Ｇ受光画素及びＷ受光画素のセンシング特性（感度特性やカラーフィルタの透過特性等）、カメラ２の撮影時の撮影環境、処理対象領域に写る撮影対象の種別（撮影対象の明るさに関連する種別）に応じて、より解像度や感度の高い輝度分布画像を生成する上で、適切な階調値（Ｇ値又はＷ値）が選択されるように設定することが望ましい。

なお、Ｇarea＝α×Ｗarea＋βである場合には、Ｇ受光画素及びＷ受光画素のセンシング特性（感度特性やカラーフィルタの透過特性等）、カメラ２の撮影時の撮影環境、処理対象領域に写る撮影対象の種別等を考慮して、輝度分布画像を生成するために用いる階調値（Ｇ値又はＷ値）を選択するようにすればよい。

［変形態様について］
次に、本発明の実施形態に関するいくつかの変形態様を説明する。

前記各実施形態において、各処理対象領域毎の輝度分布画像を原画像４１のＧ値を用いて生成するようにした場合（輝度分布画像４２ｇを生成した場合）に、該処理対象領域における各画素のＷ値を、輝度分布画像４２ｇの輝度分布を反映させつつ補完的に決定することで、各画素の階調値がＷ値により構成される無彩色階調の画像をさらに生成するようにしてもよい。なお、この無彩色階調の画像は、原画像４１のＷ値を用いて生成される無彩色階調の前記輝度分布画像４２ｗとは異なる画像である。そこで、以降、当該無彩色階調の画像を、輝度分布画像４２ｗと区別するために、グレー階調画像という。

上記グレー階調画像は、前記１実施形態においてカラー画像４３ｇの各画素のＲ値もしくはＢ値を決定する手法と同様の手法によって、次のように生成することができる。なお、以降、生成しようとするグレー階調画像の任意の配置位置（ｉ，ｊ）の画素の階調値Ｗ値をＷai,ｊと表記する。また、撮像素子２２の受光画素の配列及び原画像４１の画素の階調値は、図２（ａ），（ｂ）に示したものと同じであるとする。

グレー階調画像の各画素のうち、原画像４１のＷ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（１００）で示す如く、対応する原画像４１のＷ画素の階調値Ｓwi,jが、グレー階調画像の当該画素のＷ値として決定される。

Ｗai,j＝Ｓwi,j ……（１００）

また、グレー階調画像の各画素のうち、原画像４１のＷ画素以外の画素（Ｒ画素又はＧ画素又はＢ画素）に対応する配置位置の画素のＷ値（Ｗai,j）は、当該画素の周囲のＷ画素の階調値（原画像４１での階調値（Ｗ値））と、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇでの階調値（Ｇ値））とを用いて決定される。

具体的には、グレー階調画像の画素のうち、原画像４１のＲ画素又はＢ画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つのＷ画素の階調値Ｓwi-1,j+1、Ｓwi+1,j+1、Ｓwi-1,j-1、Ｓwi+1,j-1と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つの画素のＧ値（輝度値）Ｇ'i-1,j+1、G'i+1,j+1、Ｇ'i-1,j-1、Ｇ'i+1,j-1とを基に、次式（１０１），（１０２）のＩw、Ｊwの大小関係に応じて、式（１０３）又は（１０４）又は（１０５）によりＷ値（Ｗai,j）が決定される。

Ｉw＝｜Ｓwi+1,j+1−Ｓwi-1,j-1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1｜ ……（１０１）
Ｊw＝｜Ｓwi+1,j-1−Ｓwi-1,j+1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1｜ ……（１０２）
Ｉw＜Ｊwである場合
Ｗai,j＝（Ｓwi+1,j+1＋Ｓwi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２ ……（１０３）
Ｉw＞Ｊwである場合
Ｗai,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２ ……（１０４）
Ｉw＝Ｊwである場合
Ｗai,j＝（Ｓwi+1,j+1＋Ｓwi+1,j-1＋Ｓwi-1,j+1＋Ｓwi-1,j-1）／４
＋（４Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i+1,j-1−G'i-1,j+1−Ｇ'i-1,j-1）／４
……（１０５）

また、グレー階調画像の画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する２つのＷ画素の階調値（Ｓwi-1,j、Ｓwi+1,j）又は（Ｓwi,j-1、Ｓwi,j+1）と、対応する画素のＧ値（輝度値）Ｇ'i,jと、その上下又は左右に隣接する２つの画素のＧ値（輝度値）（Ｇ'i-1,j、Ｇ'i+1,j）又は（Ｇ'i,j-1、Ｇ'i,j+1）とを基に、次式（１０６）又は（１０７）によりＷ値（Ｗai,j）が決定される。

上下にＷ画素が隣接する場合
Ｗai,j＝（Ｓwi+1,j＋Ｓwi-1,j）／２
＋（２Ｇ'i,j−Ｇ'i+1,j−Ｇ'i-1,j）／２ ……（１０６）
左右にＷ画素が隣接する場合
Ｗai,j＝（Ｓwi,j+1＋Ｓwi,j-1）／２
＋（２Ｇ'i,j−Ｇ'i,j+1−Ｇ'i,j-1）／２ ……（１０７）

以上のようにして、グレー階調画像の各画素うち、原画像４１のＷ画素に対応する配置位置の画素以外の各画素のＷ値（Ｗai,j）は、当該画素の周囲のＷ画素のＷ値（原画像４１におけるＷ値）に応じて決定される基本値（式（１０３）〜（１０７）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（輝度分布画像４２ｇにおけるＧ値）に応じて決定される補正値（式（１０３）〜（１０７）のそれぞれの右辺の第２項）により補正することによって、決定される。

これにより、処理対象領域における撮影対象の輝度分布を反映させて、各画素の階調値がＷ値（Ｗai,j）により構成されるグレー階調画像を生成することができる。

このようにしてグレー階調画像を生成することで、原画像４１の処理対象領域において、白とび状態となっているＷ画素が比較的多いような場合でも、該原画像４１よりも白とび状態を軽減したグレー階調画像を生成できる。

そして、対象物検知部３６で検出しようとする対象物の種別や、撮影環境等に応じて、カラー画像４３ｇ又は４３ｗ、あるいは、輝度分布画像４２ｇ又は４２ｗの他、上記グレー階調画像を適宜選択的に使用することで、対象物を検出するために、該グレー階調画像を活用することができる。

また、前記各実施形態では、原画像４１のＷ値とＧ値とのうちの一方を用いて輝度分布画像４２ｇ又は４２ｗを生成するようにしたが、原画像４１のＷ値と、Ｒ値もしくはＢ値とのうちの一方を用いて輝度分布画像が生成するようにしてもよい。

また、前記各実施形態では、図２（ａ）に示した配列パターンで受光画素を配置した撮像素子２２を例にとって説明したが、その配列パターンは、図１２（ａ）又は図１２（ｂ）に示すような配列パターンであってもよい。

図１２（ａ）の配列パターンは、Ｒ受光画素の個数とＧ受光画素の個数とＢ受光画素の個数とＷ受光画素の個数との比率が１：１：１：１となるパターンである。また、図１２（ｂ）の配列パターンは、Ｒ受光画素の個数とＧ受光画素の個数とＢ受光画素の個数とＷ受光画素の個数との比率が１：２：１：４となるパターンである。

なお、図１２（ａ）の配列パターンでは、Ｒ受光画素、Ｂ受光画素、Ｇ受光画素の個数が互いに同じであるので、輝度分布画像を生成する場合、Ｗ値とＧ値とのいずれかを用いて生成する態様の他、Ｗ値と、Ｒ値もしくはＢ値とのいずれかを用いて生成するようにしてもよい。

一方、図１２（ｂ）の配列パターンでは、Ｒ受光画素及びＢ受光画素のそれぞれの個数よりもＧ受光画素の個数の方が多いので、輝度分布画像を生成する場合、前記各実施形態と同様に、Ｗ値とＧ値とのいずれかを用いて生成することが望ましい。

また、前記各実施形態における撮像素子２２は、カラーフィルタを介さずに受光するＷ受光画素を副受光画素として有する撮像素子であるが、Ｗ受光画素の代わりに、Ｒ受光画素、Ｇ受光画素、及びＢ受光画素のカラーフィルタよりも光の透過率が低い所定色のカラーフィルタを装着した受光画素を副受光画素として備えるようにしてもよい。

例えば、図１３（ａ）又は図１３（ｂ）又は図１３（ｃ）で示すような配列パターンで、Ｒ受光画素、Ｇ受光画素、及びＢ受光画素と、Ｒ受光画素のＲフィルタよりも透過率の低い赤色のカラーフィルタ（これをＲ'フィルタと称する）を有するＲ'受光画素（副受光画素）とを配列した撮像素子を採用してもよい。

この場合、図１４のグラフで示すように、Ｒ’受光画素の受光感度が、Ｒ受光画素やＧ受光画素、Ｂ受光画素の受光感度よりも低くなるようにすることができる。従って、原画像のＲ’値（Ｒ’受光画素の出力信号の強度を示す階調値）と、Ｒ値もしくはＧ値もしくはＢ値とのいずれか一方を用いて、撮影対象の輝度分布に対する適合度合いの高い適切な輝度分布画像を生成することができる。

このような撮像素子を用いた場合には、特に、Ｒ’値を用いて生成した輝度分布画像、あるいは、その輝度分布を反映させたカラー画像に、前走車のテールランプや赤色表示灯等、道路環境上で重要な赤色の高輝度対象物を鮮明に捉えるようにすることができる。

あるいは、例えば、図１５（ａ）又は図１５（ｂ）又は図１５（ｃ）で示すような配列パターンで、Ｒ受光画素、Ｇ受光画素、及びＢ受光画素と、これらの受光画素のカラーフィルタ（Ｒフィルタ、Ｇフィルタ及びＢフィルタ）よりも透過率の低いグレー色のフィルタ（これをＧｒフィルタと称する）を有するＧｒ受光画素（副受光画素）とを配列した撮像素子を採用してもよい。

この場合、図１６のグラフで示すように、Ｇｒ受光画素の受光感度が、Ｒ受光画素やＧ受光画素、Ｂ受光画素の受光感度よりも低くなるようにすることができる。従って、原画像のＧｒ値（Ｇｒ受光画素の出力信号の強度を示す階調値）と、Ｒ値もしくはＧ値もしくはＢ値とのいずれか一方を用いて、撮影対象の輝度分布に対する適合度合いの高い適切な輝度分布画像を生成することができる。

このような撮像素子を用いた場合には、種々様々な撮影環境や撮影対象に対して、高い汎用性で、適切な輝度分布画像を生成することができる。

また、前記各実施形態では、原画像４１から輝度分布画像４２ｇ又４２ｗと、カラー画像４３ｇ又は４３ｗとを生成する場合について説明したが、さらに、カラー画像４３ｇ又は４３ｗと、原画像４１のＷ画素の階調値（Ｗ値）とを用いて、高感度なモノトーン画像や、広ダイナミックレンジのモノトーン画像を生成するようにすることも可能である。

２…カメラ、２２…撮像素子、３１…原画像取得部（原画像取得手段）、３２…輝度分布画像生成部（輝度分布画像生成手段、階調値分布判断手段）、３３…カラー画像生成部（カラー画像生成手段）、ＳＴＥＰ３−２…階調値分布判断手段。

Claims

所定の複数種の色のカラー受光画素と、前記カラー受光画素よりも高い受光感度又は低い受光感度を有する所定色又は透明の受光画素である副受光画素とから構成される複数の受光画素を配列してなる撮像素子を有するカメラにおける画像処理装置であって、
前記カメラにより撮像された原画像であって、前記撮像素子の各受光画素がその受光レベルに応じて出力する出力信号の強度を示す階調値がそれぞれ割り当てられた複数の画素により構成される原画像を取得する原画像取得手段と、
前記原画像を構成する画素のうち、前記カラー受光画素のうちの特定色のカラー受光画素にそれぞれ対応する画素の階調値である第１階調値と、前記副受光画素にそれぞれ対応する画素の階調値である第２階調値とに基づいて、前記原画像の少なくとも一部の領域である処理対象領域における前記第１階調値の分布状態と、該処理対象領域における第２階調値の分布状態とのうちのいずれの分布状態が、前記処理対象領域に写る撮影対象の輝度分布に対する適合度合いがより高いかを判断する階調値分布判断手段と、
前記第１階調値と第２階調値とのうち、前記階調値分布判断手段により前記適合度合いがより高いと判断された方の階調値を選択し、その選択した階調値を用いて、前記処理対象領域における各画素の輝度値を決定することより、該処理対象領域における輝度分布画像を生成する輝度分布画像生成手段とを備えることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
前記特定色は、前記処理対象領域における前記カラー受光画素のうち、最も個数の多いカラー受光画素に対応する色であることを特徴とする画像処理装置。
請求項１又は２記載の画像処理装置において、
前記輝度分布画像生成手段は、
前記第１階調値を用いて前記輝度分布画像を生成する場合には、前記輝度分布画像のうち、前記特定色のカラー受光画素に対応する画素の輝度値を、前記原画像のうち、当該特定色のカラー受光画素に対応する画素の第１階調値に応じて決定する処理と、前記特定色のカラー受光画素以外の受光画素に対応する画素の輝度値を、前記原画像のうち、少なくとも当該受光画素に対応する画素の周囲に存在すると共に前記特定色のカラー受光画素に対応する画素の第１階調値に応じて補完することにより決定する処理とを実行することによって前記輝度分布画像を生成し、
前記第２階調値を用いて前記輝度分布画像を生成する場合には、前記輝度分布画像のうち、前記副受光画素に対応する画素の輝度値を、前記原画像のうち、当該副受光画素に対応する画素の第２階調値に応じて決定する処理と、前記副受光画素以外の受光画素に対応する画素の輝度値を、前記原画像のうち、少なくとも当該受光画素に対応する画素の周囲に存在すると共に前記副受光画素に対応する画素の第２階調値に応じて補完することにより決定する処理とを実行することによって前記輝度分布画像を生成することを特徴とする画像処理装置。
請求項１〜３のいずれか１項に記載の画像処理装置において、
前記処理対象領域における各画素の３原色の色階調値を、前記原画像のうちの、前記カラー受光画素に対応する画素の階調値と、前記輝度分布画像の輝度値とに応じて決定することにより、前記処理対象領域におけるカラー画像を生成するカラー画像生成手段をさらに備えることを特徴とする画像処理装置。
請求項４記載の画像処理装置において、
前記カラー画像生成手段は、前記輝度分布画像生成手段により前記第１階調値を用いて前記輝度分布画像が生成された場合には、前記カラー画像の各画素の前記特定色の色階調値を、前記輝度分布画像の各画素の輝度値に一致させるように決定する処理と、前記カラー画像の各画素の前記特定色以外の色の色階調値を、前記原画像のうちの当該特定色以外の色のカラー受光画素に対応する画素の階調値と、前記輝度分布画像の画素の輝度値とに基づいて決定する処理とを実行することによって前記カラー画像を生成する手段であり、
前記カラー画像の各画素の前記特定色以外の色の色階調値を決定する処理では、該カラー画像のうちの当該色階調値を決定しようとする任意の１つ画素をＰ画素、該色をＱ色としたとき、該Ｐ画素がＱ色のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定され、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合には、前記原画像のうち、該Ｐ画素に対応する画素の周囲に存在すると共に、Ｑ色のカラー受光画素に対応する画素の階調値に応じて決定した該Ｑ色の基本色階調値を、前記輝度分布画像のうち、該Ｐ画素に対応する画素とその周囲に存在する画素とのそれぞれの輝度値に応じて決定した補正値により補正することによって、該Ｐ画素のＱ色の色階調値が決定されることを特徴とする画像処理装置。
請求項４又は５記載の画像処理装置において、
前記カラー画像生成手段は、前記輝度分布画像生成手段により前記第２階調値を用いて前記輝度分布画像が生成された場合には、前記カラー画像の各画素の各色の色階調値を、前記原画像のうちの当該色のカラー受光画素に対応する画素の階調値と、前記輝度分布画像の画素の輝度値とに基づいて決定する処理を実行することによって前記カラー画像を生成する手段であり、
前記カラー画像の各画素の各色の色階調値を決定する処理では、該カラー画像のうちの当該色階調値を決定しようとする任意の１つ画素をＰ画素、該色をＱ色としたとき、該Ｐ画素がＱ色のカラー受光画素に対応する画素である場合には、該カラー受光画素に対応する前記原画像の画素の階調値が、該Ｐ画素のＱ色の色階調値として決定され、該Ｐ画素が、Ｑ色のカラー受光画素に対応する画素以外の画素である場合には、前記原画像のうち、該Ｐ画素に対応する画素の周囲に存在すると共に、Ｑ色のカラー受光画素に対応する画素の階調値に応じて決定した該Ｑ色の基本色階調値を、前記輝度分布画像のうち、該Ｐ画素に対応する画素とその周囲に存在する画素とのそれぞれの輝度値に応じて決定した補正値により補正することによって、該Ｐ画素のＱ色の色階調値が決定されることを特徴とする画像処理装置。
請求項１〜６のいずれか１項に記載の画像処理装置において、
前記カメラは、車両の周辺を撮像するように該車両に搭載されたカメラであり、
前記輝度分布画像生成手段は、前記原画像の互いに異なる箇所に複数の前記処理対象領域を設定し、各処理対象領域毎に前記輝度分布画像を生成することを特徴とする画像処理装置。
請求項１〜７のいずれか１項に記載の画像処理装置において、
前記階調値分布判断手段は、少なくとも、前記原画像の前記処理対象領域内の画素のうち、前記特定色のカラー受光画素に対応する画素の第１階調値が第１所定範囲内となる画素の個数と、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値が第２所定範囲内となる画素の個数とに基づいて、前記適合度合いを判断することを特徴とする画像処理装置。
請求項１〜７のいずれか１項に記載の画像処理装置において、
前記階調値分布判断手段は、少なくとも、前記原画像の前記処理対象領域内の画素のうち、前記特定色のカラー受光画素に対応する画素の第１階調値の該処理対象領域での平均値が第１所定範囲内にある否かの判断結果と、前記原画像の前記処理対象領域内の画素のうち、前記副受光画素に対応する画素の第２階調値の該処理対象領域での平均値が第２所定範囲内にあるか否かの判断結果とに基づいて、前記適合度合いを判断することを特徴とする画像処理装置。