JP2008028957A - 車両用画像処理装置 - Google Patents

Abstract

【課題】車載カメラで撮像した画像を用いて、車両の外部環境を推定することができる車両用画像処理装置を提供する。
【解決手段】車載カメラ１２の撮像した画像上の撮像対象物の画素値は、撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いて、カメラ制御値と撮像対象物の画素値とから撮像対象物の輝度等の車両の外部環境を推定する。
【選択図】図１

Description

本発明は、車両用画像処理装置に関するものである。

従来、カメラ等の撮像装置によって撮像した画像から、車両の走行環境を判断する技術が提案されている（例えば、特許文献１乃至４参照。）。このうち、特許文献１に記載の技術によれば、道路の支柱に設置され、道路の路面部と路肩部を撮像するカメラにより撮像された画像の路面部と路肩部との濃度を比較して積雪状態を判断する。

また、特許文献２に記載の技術では、車外の景色を撮像するカメラにより得られた撮像画像中の路面が映し出される特定領域を監視領域として設定し、この監視領域内の輝度エッジと、そのエッジ内外の輝度の変化量とに基づいて、路肩雪を検出する。

また、特許文献３に記載の技術によれば、撮像画像中に設定した監視領域の輝度分布を予め設定された複数の輝度分布パターンの何れかに分類し、各輝度分布パターンに応じて個別に設定された判定方法を用いて自車走行路が雪路であるか否かの判定を行う。

また、特許文献４に記載の技術では、自車前方を撮像する撮像手段により撮像された画像の中で、前方車両、道路白線、標識等を含む注目領域とそれ以外の非注目領域とを設定し、撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する。
特開平７−８４０６７号公報 特開２００１−８８６３６号公報 特開２００５−８４９５９号公報 特開２００５−１３５３０８号公報

一般に、車両周辺の画像を撮像する車載カメラは、撮像時の外部環境（例えば、撮像対象物の明度、輝度、色彩等）に応じて、絞り、シャッタースピード、出力信号のゲイン等からなるカメラ制御パラメータを逐次調整する露出制御を行う。この露出制御では、画像に映し出される撮像対象物の画素値（画素毎の明るさの程度を表す値）が後段の画像処理において取り扱うことのできる程度の画素値となるように、カメラ制御パラメータの制御値（カメラ制御値）を調整する。

ここで、この露出制御に着目すれば、撮像時の外部環境が決定することで、目標の画素値となるように調整すべきカメラ制御値が決定されることから、撮像時の外部環境とカメラ制御値との間には因果関係（”原因”が撮影時の外部環境、”結果”がカメラ制御値）があることがわかる。そして、この因果関係を逆に辿る（”結果”→”原因”）ことで、カメラ制御値から撮像時の外部環境を推定することが可能であり、この推定が可能であれば、他の車載アプリケーションに対して、外部環境に関する情報を提供することができるようになる。

しかしながら、上記特許文献１乃至３に記載の技術は雪路等の特定の走行環境を判断するものであり、また、上記特許文献４に記載の技術は画像処理による状況分析が困難な走行環境にあるか否かを判定するものであるため、撮像時の撮像対象物の明度、輝度、色彩等の外部環境を推定することはできない。

本発明は、上記の問題を鑑みてなされたもので、車載カメラで撮像した画像を用いて、車両の外部環境を推定することができる車両用画像処理装置を提供することを目的とする。

上記目的を達成するためになされた請求項１記載の車両用画像処理装置は、
車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
撮像時の車両の外部環境に応じて、車載カメラの絞り、シャッタースピード、及び出力信号のゲインの少なくとも１つのカメラ制御パラメータのカメラ制御値を設定するカメラ制御値設定手段と、
車載カメラの撮像した画像上の撮像対象物の画素値を取得する撮像対象物画素値取得手段と、
車載カメラの撮像した画像上の撮像対象物の画素値は撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いて、カメラ制御値設定手段の設定したカメラ制御値と撮像対象物画素値取得手段の取得した撮像対象物の画素値とから撮像対象物の輝度を推定する撮像対象物輝度推定手段と、を備えることを特徴とする。

車載カメラによって、車両前方の車線区分線（白線）がペイントされた路面や車両前方の空を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３に示す因果関係が成り立つ。図３は、推定目標の変数と観測可能な変数の各変数間における因果関係を示した因果関係モデルである。同図において、各々の変数ｖ１〜ｖ１２の間の矢印は因果関係があることを示しており、矢印の始点が因果関係の”原因”に対応し、矢印の終点が因果関係の”結果”に対応する。なお、変数ｖ５、ｖ８〜ｖ１２は、観測可能な変数である。

この因果関係モデルを用いれば、様々な推定が可能であることが分かる。すなわち、「”原因”が観測されたから”結果”が推定される（矢印順方向）」、又は、「”結果”が観測されたから”原因”が推定される（矢印逆方向）」といった推定が各変数間の矢印を辿って伝播することで、例えば、観測可能な変数が直接矢印で結合していない変数ｖ２、ｖ３も推定が可能となる。

このように、車載カメラの撮像した画像上の撮像対象物の画素値は、撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いれば、カメラ制御値と撮像対象物の画素値とから撮像対象物の輝度等の車両の外部環境を推定することが可能である。これにより、他の車載アプリケーションに対して、撮像対象物の輝度の情報を提供することができるようになる。

ここで、請求項２に記載のように、車載カメラが車両周辺の路面を撮像対象物とする画像を撮像する場合、図３の因果関係モデルにおいて、観測可能な変数である、画像上の路面の画素値の変数（以下、路面画素値変数）ｖ１１は、観測可能な変数であるカメラ制御値変数ｖ８と、推定目標の変数である、路面の真の輝度の変数（以下、路面輝度変数）ｖ６と直接矢印で結合されているため、カメラ制御値変数ｖ８と路面画素値変数ｖ１１とから路面輝度変数ｖ６を推定することが可能である。図３の因果関係モデルから、カメラ制御値変数ｖ８、路面画素値変数ｖ１１、路面輝度変数ｖ６の因果関係を抜き出したモデルを図４（ｂ）に示す。

また、請求項３に記載のように、車載カメラの撮像した路面を含む画像に映し出される車線区分線（白線）を認識する車線区分線認識手段を備える場合、図３の因果関係モデルにおいて、観測可能な変数である、画像上の白線の画素値の変数（白線画素値変数）ｖ１２は、観測可能な変数であるカメラ制御値変数ｖ８と、推定目標の変数である、白線の真の輝度の変数（以下、白線輝度変数）ｖ７と直接矢印で結合されているため、カメラ制御値変数ｖ８と白線画素値変数ｖ１２とから白線輝度変数ｖ７を推定することが可能である。図３の因果関係モデルから、カメラ制御値変数ｖ８、白線画素値変数ｖ１２、白線輝度変数ｖ７の因果関係を抜き出したモデルを図４（ｃ）に示す。

また、請求項４に記載のように、車載カメラが車両周辺の空を撮像対象物とする画像を撮像する場合、図３の因果関係モデルにおいて、観測可能な変数である、画像上の空領域の画素値の変数（以下、空領域画素値変数）ｖ１０は、観測可能な変数である、カメラ制御値変数ｖ８と、推定目標の変数である、車両前方の空の真の輝度の変数（以下、空輝度変数）ｖ１と直接矢印で結合されているため、カメラ制御値変数ｖ８と空領域画素値変数ｖ１０とから空輝度変数ｖ１を推定することが可能である。図３の因果関係モデルから、カメラ制御値変数ｖ８、空領域画素値変数ｖ１０、空輝度変数ｖ１の因果関係を抜き出したモデルを図４（ａ）に示す。

請求項５に記載の車両用画像処理装置は、
車両周辺の路面を含む画像を撮像する車載カメラと、
車載カメラの撮像した画像上の路面の画素値が所定値となるように、車載カメラの絞り、シャッタースピード、及び出力信号のゲインの少なくとも１つのカメラ制御パラメータのカメラ制御値を設定するカメラ制御値設定手段と、
カメラ制御値設定手段が路面の画素値を所定値となるようにカメラ制御値を設定する場合、路面の輝度はカメラ制御値に基づいて決定される、という因果関係を用いて、カメラ制御値から路面の輝度を推定する路面輝度推定手段と、を備えることを特徴とする。

車載カメラの露出制御が路面の画素値を所定値にするような制御を行う場合、図４（ｂ）に示した因果関係モデルは、図６（ａ）に示す路面輝度変数ｖ６とカメラ制御値変数ｖ８の因果関係モデルに簡略することができる。そして、路面輝度変数ｖ６とカメラ制御値変数ｖ８とは、図６（ｂ）に示すような因果関係マップで表すことができることから、カメラ制御値変数ｖ８から路面輝度変数ｖ６を推定することができる。

請求項６に記載の車両用画像処理装置は、
車両周辺の照度を取得する車両周辺照度取得手段と、
車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
少なくとも車載カメラの撮像した画像上の撮像対象物の画素値に基づいて推定される、撮像対象物の輝度を取得する撮像対象物輝度取得手段と、
撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いて、車両周辺照度取得手段の取得した照度と撮像対象物の輝度とから撮像対象物の明度を推定する撮像対象物明度推定手段と、を備えることを特徴とする。

上述したように、車載カメラによって、車両前方の車線区分線（白線）がペイントされた路面を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３の因果関係モデルが成り立つ。この因果関係モデルから分かるように、路面や白線等の撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いれば、車両周辺の照度と撮像対象物の輝度とから撮像対象物の明度を推定することが可能である。これにより、他の車載アプリケーションに対して、撮像対象物の明度の情報を提供することができるようになる。

請求項７に記載のように、車載カメラが車両周辺の路面を撮像対象物とする画像を撮像する場合、図３の因果関係モデルにおいて、路面輝度変数ｖ６は、車両周辺の照度の変数である照度変数ｖ４と、路面の明度（色彩）の変数である路面明度変数ｖ２と直接矢印で結合されている。従って、路面輝度変数ｖ６と照度変数ｖ４とから路面明度変数ｖ２を推定することが可能である。

また、請求項８に記載のように、車載カメラの撮像した路面を含む画像に映し出される車線区分線（白線）を認識する車線区分線認識手段を備える場合、図３の因果関係モデルにおいて、白線輝度変数ｖ７は、車両周辺の照度の変数である照度変数ｖ４と、白線の明度（色彩）の変数である白線明度変数ｖ３と直接矢印で結合されている。従って、白線輝度変数ｖ７と照度変数ｖ４とから白線明度変数ｖ３を推定することが可能である。

なお、請求項９に記載のように、車両周辺に光を照射する車載照明装置（例えば、前照灯（ヘッドライト）等）を備え、この前照灯が点灯中（照射中）である場合には、撮像対象物の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。

そこで、前照灯が点灯中である場合には、図３の因果関係モデルが成り立つため、路面や車線区分線（白線）等の撮像対象物の輝度は前照灯からの照射光の照度、車両周辺の照度、及び撮像対象物の明度に基づいて決定される、という因果関係を用いれば、前照灯からの照射光の照度、車両周辺の照度、及び撮像対象物の輝度から撮像対象物の明度を推定することが可能である。

なお、図３の因果関係モデルから、路面明度変数ｖ２、照度変数ｖ４、前照灯の状態の変数である前照灯状態変数ｖ５、及び路面輝度変数ｖ６の因果関係を抜き出したモデルが図７（ａ）である。また、図３の因果関係モデルから、白線明度変数ｖ３、照度変数ｖ４、前照灯状態変数ｖ５、及び白線輝度変数ｖ７の因果関係を抜き出したモデルが図７（ｂ）である。そして、図７（ａ）、（ｂ）の各々の因果関係モデルは、図７（ｃ）に示すような、前照灯が消灯中であるときの因果関係マップと、図７（ｄ）に示すような、前照灯が点灯中であるときの因果関係マップで表すことで、これらの因果関係マップを用いて路面明度変数ｖ２や白線明度変数ｖ３を推定することができる。

請求項１０に記載の車両用画像処理装置は、
車両周辺の空を含む画像を撮像する車載カメラと、
少なくとも車載カメラの撮像した画像上の空の画素値に基づいて、車両周辺の空の輝度を取得する空輝度取得手段と、
車両周辺の照度は車両周辺の空の輝度に基づいて決定される、という因果関係を用いて、空輝度取得手段の取得した空の輝度から車両周辺の照度を推定する車両周辺照度推定手段と、を備えることを特徴とする。

図３の因果関係モデルから明らかなように、照度変数ｖ４は、空輝度変数ｖ１と直接結合されていることから、図１０（ｃ）に示すように、照度変数ｖ４と空輝度変数ｖ１の因果関係モデルが成り立つ。従って、車両周辺の照度は車両周辺の空の輝度に基づいて決定される、という因果関係を用いれば、車両周辺の空の輝度から車両周辺の照度を推定することが可能である。

これにより、コンライトセンサや日照センサを備えることなく、他の車載アプリケーションに対して、車両周辺の照度の情報を提供することができるようになる。なお、空輝度変数ｖ１から照度変数ｖ４を推定したときの精度はさほど高くないことが考えられるため、図１０（ｄ）に示すように、照度はスカラー値ではなく、確率分布を用いて推定することが好ましい。

請求項１１に記載の車両用画像処理装置は、
車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
少なくとも車載カメラの撮像した画像上の撮像対象物の画素値に基づいて、撮像対象物の輝度を取得する撮像対象物輝度取得手段と、
車両周辺の撮像対象物の明度を取得する撮像対象物明度取得手段と、
撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いて、撮像対象物輝度取得手段の取得した撮像対象物の輝度と撮像対象物明度取得手段の取得した撮像対象物の明度とから車両周辺の照度を推定する車両周辺照度推定手段と、を備えることを特徴とする。

上述したように、車両前方の車線区分線（白線）がペイントされた路面を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３の因果関係モデルが成り立つ。この因果関係モデルから明らかなように、路面や車線区分線（白線）等の撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いれば、撮像対象物の輝度と撮像対象物の明度とから車両周辺の照度を推定することが可能である。これにより、他の車載アプリケーションに対して、車両周辺の照度の情報を提供することができるようになる。

請求項１２に記載の車両用画像処理装置によれば、
車載カメラは、車両周辺の路面を撮像対象物とする画像を撮像するものであり、
撮像対象物輝度取得手段は、画像上の路面の画素値に基づいて、路面の輝度を取得し、
撮像対象物明度取得手段は、路面の明度を取得し、
車両周辺照度推定手段は、路面の輝度は車両周辺の照度と路面の明度とに基づいて決定される、という因果関係を用いて、撮像対象物輝度取得手段の取得した路面の輝度と撮像対象物明度取得手段の取得した路面の明度とから車両周辺の照度を推定することを特徴とする。

図３の因果関係モデルにおいて、照度変数ｖ４は、路面輝度変数ｖ６と直接矢印で結合されており、この路面輝度変数ｖ６は、路面明度変数ｖ２と結合している。従って、路面明度変数ｖ２と路面輝度変数ｖ６とから照度変数ｖ４を推定することが可能である。図３の因果関係モデルから照度変数ｖ４、路面明度変数ｖ２、路面輝度変数ｖ６の因果関係を抜き出したモデルが図１２（ａ）である。なお、前照灯が点灯中（照射中）である場合、路面の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。そこで、前照灯が点灯中である場合には、図１２（ａ）に示す前照灯状態変数ｖ５を含む因果関係モデルが成り立つため、この因果関係モデルから前照灯が点灯中である場合の照度変数ｖ４を推定することが可能である。

図１２（ａ）の因果関係モデルは、図１２（ｃ）に示すような、前照灯が消灯中であるときの因果関係マップと、図１２（ｄ）に示すような、前照灯が点灯中であるときの因果関係マップで表すことで、これらの因果関係マップを用いて照度変数ｖ４を推定することができる。

請求項１３に記載の車両用画像装置によれば、
車載カメラの撮像した路面を含む画像に映し出される車線区分線を認識する車線区分線認識手段を備え、
撮像対象物輝度取得手段は、画像上の車線区分線の画素値に基づいて、車線区分線の輝度を取得し、
撮像対象物明度取得手段は、車線区分線の明度を取得し、
車両周辺照度推定手段は、車線区分線の輝度は車両周辺の照度と車線区分線の明度とに基づいて決定される、という因果関係を用いて、撮像対象物輝度取得手段の取得した車線区分線の輝度と撮像対象物明度取得手段の取得した車線区分線の明度とから車両周辺の照度を推定することを特徴とする。

図３の因果関係モデルにおいて、照度変数ｖ４は、白線輝度変数ｖ７と直接矢印で結合されており、この白線輝度変数ｖ７は、白線明度変数ｖ３と結合している。従って、白線明度変数ｖ３と白線輝度変数ｖ７とから照度変数ｖ４を推定することが可能である。図３の因果関係モデルから照度変数ｖ４、白線明度変数ｖ３、白線輝度変数ｖ７の因果関係を抜き出したモデルが図１２（ｂ）である。なお、前照灯が点灯中（照射中）である場合、白線の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。そこで、前照灯が点灯中である場合には、図１２（ｂ）に示す因果関係モデルが成り立つため、この因果関係モデルから前照灯が点灯中である場合の照度変数ｖ４を推定することが可能である。

図１２（ｂ）の因果関係モデルは、図１２（ｃ）に示すような、前照灯が消灯中であるときの因果関係マップと、図１２（ｄ）に示すような、前照灯が点灯中であるときの因果関係マップで表すことができることから、これらの因果関係マップを用いて照度変数ｖ４を推定することができる。

以下、本発明の車両用画像処理装置の実施の形態を、図面に基づいて説明する。

（第１の実施形態）
図１は、本発明が適用された車両用画像処理装置１０の構成を示すブロック図である。車両用画像処理装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、コンライトセンサ２０、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６、ライト制御ＥＣＵ２８、及びエアコン制御ＥＣＵ３０も接続されている。

車載カメラ１２は、ＣＣＤ等の撮像素子で構成されるＣＣＤカメラ等が採用され、例えば、車両の室内に設置されたルームミラーの近傍に搭載される。この車載カメラ１２は、図２に示すように、車両前方の車線区分線（白線）がペイントされた路面や車両前方の空を撮像範囲に含む画像を一定の周期で連続的に撮像する。

この車載カメラ１２は、画像処理ＥＣＵ１４からの指示に応じて、絞り、シャッタースピード、画像処理ＥＣＵ１４へ出力する出力信号（画像信号）のゲイン等からなるカメラ制御パラメータを調整することが可能な構成となっている。また、車載カメラ１２は、撮像した画像の画素毎の明るさの程度を示す画素値情報を表す画像信号を、画像の水平・垂直同期信号とともに画像処理ＥＣＵ１４へ出力する。

画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ、ＶＲＡＭ等を備えたコンピュータであり、ＶＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像信号のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＶＲＡＭに記憶された画像信号のデータに対して所定の画像処理を実行する。

この画像処理ＥＣＵ１４は、車載カメラ１２から出力される、画像信号のデータに基づいて、画像に映し出される路面や白線等の撮像対象物の画素値が後段の画像処理において取り扱うことのできる程度の画素値となるように、カメラ制御パラメータの制御値（カメラ制御値）を調整する露出制御処理を実行する。

また、画像処理ＥＣＵ１４は、画像の画素毎の画素値情報を用いて、画像に映し出される路面上の車線区分線（白線）を認識するためのエッジ閾値を設定し、この設定したエッジ閾値に基づいて画像に映し出される白線を認識し、この認識した白線に基づく車線位置情報を車内ＬＡＮ２４を介して運転支援制御ＥＣＵ２６等に出力する画像認識処理を実行する。

さらに、画像処理ＥＣＵ１４は、露出制御処理を実行するとともに、後述する輝度推定処理を実行し、この輝度推定処理によって推定した路面、その路面上にペイントされた白線、車両前方の空等の輝度情報を車内ＬＡＮ２４を介して各種の車載アプリケーションに出力する。

ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。コンライトセンサ２０は、車両の前照灯（ヘッドライト等）を車両周辺の照度により自動点灯させるライト制御ＥＣＵ２８において用いられるもので、車両周辺の照度に応じた検出信号を車内ＬＡＮ２４を介してライト制御ＥＣＵ２８に出力する。車速センサ２２は、車両の車速を検出するものである。

運転支援制御ＥＣＵ２６は、車両が白線を逸脱しそうな場合に警報を発生させる車線逸脱警報や、白線内に維持するようにステアリングに所定の操舵トルクを発生させる車線維持支援等の各種制御を行う制御ＥＣＵである。

ライト制御ＥＣＵ２８は、コンライトセンサ２０からの検出信号に基づいて、車幅灯や前照灯の自動点灯や自動消灯を行う制御ＥＣＵである。また、ライト制御ＥＣＵ２８は、車速、ヨーレート、操舵角等に応じて、前照灯の配光を制御（アダプティブ・フロント・ライティング・システム，Adaptive Front Lighting System）する。

次に、画像処理ＥＣＵ１４における輝度推定処理について説明する。この輝度推定処理では、車載カメラ１２の撮像した画像に映し出される路面、その路面上にペイントされた白線、及び車両前方の空の（真の）輝度（まぶしさ）を、車載カメラ１２から出力される画像信号を用いて推定するものである。以下、輝度推定処理について説明する。

車載カメラ１４によって、車両前方の白線がペイントされた路面や車両前方の空を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３に示す因果関係が成り立つ。図３は、推定目標の変数と観測可能な変数との各変数間における因果関係を示した因果関係モデルである。図３において、各々の変数ｖ１〜ｖ１２の間の矢印は因果関係があることを示しており、矢印の始点が因果関係の”原因”に対応し、矢印の終点が因果関係の”結果”に対応する。なお、変数ｖ５、ｖ８〜ｖ１２は、観測可能な変数であり、それ以外の変数と区別するために二重丸で示している。

この因果関係モデルを用いれば、様々な推定が可能であることが分かる。例えば、「”原因”が観測されたから”結果”が推定される（矢印順方向）」、又は、「”結果”が観測されたから”原因”が推定される（矢印逆方向）」といった推定が各変数間の矢印を辿って伝播することで、例えば、観測可能な変数が直接矢印で結合していない変数ｖ２、ｖ３も推定が可能となる。

すなわち、車載カメラ１２は、撮像時の外部環境（例えば、路面、白線、車両前方の空等の撮像対象物の明度、輝度、色彩等）に応じて、絞り、シャッタースピード、出力信号のゲイン等からなるカメラ制御パラメータを逐次調整する露出制御を行う。この露出制御では、画像に映し出される撮像対象物の画素値（画素毎の明るさの程度を表す値）が後段の画像処理において取り扱うことのできる程度の画素値となるように、カメラ制御パラメータの制御値（カメラ制御値）を調整する。

ここで、この露出制御に着目すれば、撮像時の外部環境が決定することで、目標の画素値となるように調整すべきカメラ制御値が決定されることから、撮像時の外部環境とカメラ制御値との間には因果関係（”原因”が撮影時の外部環境、”結果”がカメラ制御値）があることがわかる。そして、この因果関係を逆に辿る（”結果”→”原因”）ことで、カメラ制御値から撮像時の外部環境を推定することが可能であることが分かる。

このように、車載カメラ１２の撮像した画像上の撮像対象物の画素値は、撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いれば、カメラ制御値と撮像対象物の画素値とから撮像対象物の輝度等の車両の外部環境を推定することが可能である。これにより、他の車載アプリケーションに対して、撮像対象物の輝度の情報を提供することができるようになるのである。

図４（ａ）は、図３の因果関係モデルから、観測可能な変数であるカメラ制御値変数ｖ８、観測可能な変数である、画像上の空領域の画素値の変数（空領域画素値変数）ｖ１０、及び推定目標の変数である、車両前方の空の真の輝度の変数（空輝度変数）ｖ１の因果関係を抜き出したモデルである。図４（ａ）に示すように、空領域画素値変数ｖ１０は、カメラ制御値変数ｖ８と、空輝度変数ｖ１と直接矢印で結合されているため、空輝度変数ｖ１は、カメラ制御値変数ｖ８と空領域画素値変数ｖ１０から推定することが可能である。

図４（ｂ）は、図３の因果関係モデルから、カメラ制御値変数ｖ８、観測可能な変数である、画像上の路面の画素値の変数（路面画素値変数）ｖ１１、推定目標の変数である、路面の真の輝度の変数（路面輝度変数）ｖ６の因果関係を抜き出したモデルである。図４（ｂ）に示すように、路面画素値変数ｖ１１は、カメラ制御値変数ｖ８と、路面輝度変数ｖ６と直接矢印で結合されているため、路面輝度変数ｖ６は、カメラ制御値変数ｖ８と路面画素値変数ｖ１１から推定することが可能である。

図４（ｃ）は、図３の因果関係モデルから、カメラ制御値変数ｖ８、観測可能な変数である、画像上の白線の画素値の変数（白線画素値変数）ｖ１２、推定目標の変数である、白線の真の輝度の変数（白線輝度変数）ｖ７の因果関係を抜き出したモデルである。図４（ｃ）に示すように、白線画素値変数ｖ１２は、カメラ制御値変数ｖ８と、白線輝度変数ｖ７と直接矢印で結合されているため、白線輝度変数ｖ７は、カメラ制御値変数ｖ８と白線画素値変数ｖ１２から推定することが可能である。

なお、図４（ａ）〜（ｃ）の各々の因果関係モデルについては、図４（ｄ）に示すように、カメラ制御値、輝度、画素値からなる因果関係マップを各々の因果関係モデル毎に用意してＲＡＭ等に記憶しておく。そして、各々の因果関係マップに観測可能な変数を当てはめることで、推定目標の変数を推定すればよい。

図５は、輝度推定処理の流れを示すフローチャートである。図５のステップＳ１０では、ＲＡＭから因果関係マップを読み込む。ステップＳ２０では、露出制御処理が開始したかどうか（実行中であるかどうか）を判定する。このステップＳ２０で肯定判断した場合にはステップＳ３０へ処理を進め、否定判断した場合には露出制御処理が開始されるまで待機状態となる。

ステップＳ３０では観測可能な変数（カメラ制御値変数ｖ８、空領域画素値変数ｖ１０、路面画素値変数ｖ１１、白線画素値変数ｖ１２）の現在の変数値を取得する。なお、白線画素値変数ｖ１２を取得する場合には、画像認識処理による車線位置情報から画像上における白線位置を参照し、その参照した白線位置の画素値を取得するとよい。

ステップＳ４０では、ステップＳ３０で取得した変数値を因果関係マップに当てはめて、推定目標の輝度変数（空輝度変数ｖ１、路面輝度変数ｖ６、白線輝度変数ｖ７等）を得る（推定する）。ステップＳ５０では、ステップＳ４０で推定した輝度変数を車内ＬＡＮ２４に出力する。

このように、本実施形態の車両用画像処理装置１０は、車載カメラ１２の撮像した画像上の撮像対象物の画素値は、撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いて、カメラ制御値と撮像対象物の画素値とから撮像対象物の輝度等の車両の外部環境を推定する。これにより、他の車載アプリケーションに対して、撮像対 象物の輝度の情報を提供することができるようになる。

（変形例１）
本実施形態の車載カメラ１２において、露出制御が路面の画素値を所定値にするような制御を行う場合、図４（ｂ）に示した因果関係モデルは、図６（ａ）に示す路面輝度変数ｖ６とカメラ制御値変数ｖ８の因果関係モデルに簡略することができる。そして、路面輝度変数ｖ６とカメラ制御値変数ｖ８とは、図６（ｂ）に示すような因果関係マップで表すことができる。従って、この図６（ｂ）に示す因果関係マップを用いて、カメラ制御値変数ｖ８から路面輝度変数ｖ６を推定するようにしてもよい。

（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の画像処理ＥＣＵ１４は、車載カメラ１２の撮像した画像に映し出される路面、白線、及び車両前方の空の輝度（まぶしさ）を、車載カメラ１２から出力される画像信号を用いて推定する輝度推定処理を実行するものである。

本実施形態の画像処理ＥＣＵ１４では、車載カメラ１２の撮像した画像に映し出される路面や白線の明度（色彩（白黒画像である場合には白黒度合い））を、車載カメラ１２から出力される画像信号を用いて推定する明度推定処理を実行する点が異なる。以下、明度推定処理について説明する。

第１の実施形態で説明したように、車載カメラ１４によって、車両前方の車線区分線（白線）がペイントされた路面を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３の因果関係モデルが成り立つ。この因果関係モデルに示すように、路面や白線等の撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いれば、車両周辺の照度と撮像対象物の輝度とから撮像対象物の明度を推定することが可能である。

なお、撮像対象物の明度が車両周辺の照度の影響を受けるのは、図８に示すように、太陽光からの光が路面に照射するためである。また、路面の輝度が車両周辺の照度と路面の明度で決定されるのは、路面が完全散乱面であると仮定した場合に成り立つものである。

図７（ａ）は、図３の因果関係モデルから、路面の明度（色彩）の変数である路面明度変数ｖ２、車両周辺の照度の変数である照度変数ｖ４、前照灯の状態の変数である前照灯状態変数ｖ５、及び路面輝度変数ｖ６の因果関係を抜き出したモデルである。図７（ａ）に示すように、路面輝度変数ｖ６は、照度変数ｖ４と路面明度変数ｖ２と直接矢印で結合されている。従って、路面明度変数ｖ２は、路面輝度変数ｖ６と照度変数ｖ４とから推定することが可能である。

なお、車両前方に光を照射する車載照明装置（例えば、前照灯（ヘッドライト）等）が点灯中（照射中）である場合には、路面の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。そこで、前照灯が点灯中である場合には、図７（ａ）のように、前照灯状態ｖ５を含む因果関係モデルが成り立つため、路面明度変数ｖ２は、前照灯状態変数ｖ５、路面輝度変数ｖ６と照度変数ｖ４とから推定することが可能である。

図７（ｂ）は、図３の因果関係モデルから、白線の明度（色彩）の変数である白線明度変数ｖ３、照度変数ｖ４、前照灯状態変数ｖ５、及び白線輝度変数ｖ７の因果関係を抜き出したモデルである。図７（ｂ）に示すように、白線輝度変数ｖ７は、照度変数ｖ４、白線明度変数ｖ３、及び前照灯状態変数ｖ５と直接矢印で結合されている。従って、白線明度変数ｖ３は、白線輝度変数ｖ７、照度変数ｖ４、及び前照灯状態変数ｖ５とからを推定することが可能である。

図７（ａ）、（ｂ）の各々の因果関係モデルについては、図７（ｃ）、（ｄ）に示すように、照度、輝度、明度画からなる因果関係マップを各々の因果関係モデル毎に用意してＲＡＭ等に記憶しておくとよい。図７（ｃ）は、前照灯が消灯中であるときの因果関係マップであり、図７（ｄ）は、前照灯が点灯中であるときの因果関係マップである。推定目標の変数である路面明度変数ｖ２、白線明度変数ｖ３を推定する場合には、各々の因果関係マップに観測可能な変数を当てはめればよい。

図９は、明度推定処理の流れを示すフローチャートである。図９のステップＳ１１０では、ＲＡＭから因果関係マップを読み込む。ステップＳ１２０では、露出制御処理が開始したかどうか（実行中であるかどうか）を判定する。このステップＳ１２０で肯定判断した場合にはステップＳ１３０へ処理を進め、否定判断した場合には露出制御処理が開始されるまで待機状態となる。

ステップＳ１３０では観測可能な変数（前照灯状態変数ｖ５、カメラ制御値変数ｖ８、空領域画素値変数ｖ１０、路面画素値変数ｖ１１、白線画素値変数ｖ１２）の現在の変数値を取得する。ステップＳ１４０では、ステップＳ１３０で取得した変数値から照度ｖ４、路面輝度変数ｖ６及び白線輝度変数ｖ７を推定し、その推定結果を因果関係マップに当てはめて、推定目標の明度変数（路面明度変数ｖ２、白線明度変数ｖ３）を得る（推定する）。ステップＳ１５０では、ステップＳ１４０で推定した明度変数を車内ＬＡＮ２４に出力する。

このように、本実施形態の車両用画像処理装置１０は、路面や白線等の撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いて、車両周辺の照度と撮像対象物の輝度とから撮像対象物の明度を推定する。これにより、他の車載アプリケーションに対して、撮像対象物の明度の情報を提供することができるようになる。

（第３の実施形態）
第３の実施形態は、第１及び第２の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。本実施形態の画像処理ＥＣＵ１４では、車両周辺の照度を、車載カメラ１２から出力される画像信号を用いて推定する照度推定処理を実行する点が異なる。以下、照度推定処理について説明する。

第１の実施形態で説明したように、車載カメラ１４によって、車両前方の車線区分線（白線）がペイントされた路面を撮像範囲に含む画像（図２参照）を撮像するときに露出制御を行う場合、車両周辺の外部環境と撮像された画像には、図３の因果関係モデルが成り立つ。この因果関係モデルに示すように、照度変数ｖ４はコンライト／日射センサ等の出力値の変数（以下、センサ出力値変数）ｖ９から決定される。図３の因果関係モデルから、照度変数ｖ４とセンサ出力値変数ｖ９の因果関係を抜き出したモデルが図１０（ａ）であり、この図１０（ａ）の因果関係モデルは、図１０（ｂ）に示すような因果関係マップで表される。

一方、図３の因果関係モデルから明らかなように、照度変数ｖ４は、空輝度変数ｖ１と直接結合されていることから、図１０（ｃ）に示すように、照度変数ｖ４と空輝度変数ｖ１の因果関係モデルが成り立つ。従って、車両周辺の照度は車両周辺の空の輝度に基づいて決定される、という因果関係を用いれば、車両周辺の空の輝度から車両周辺の照度を推定することが可能である。これにより、コンライトセンサや日照センサを備えることなく、他の車載アプリケーションに対して、車両周辺の照度の情報を提供することができるようになる。

なお、空輝度変数ｖ１から照度変数ｖ４を推定したときの精度はさほど高くないことが考えられるため、図１０（ｄ）に示すように、照度はスカラー値ではなく、確率分布を用いて推定することが好ましい。この確率分布は、例えば実験等によって、推定する変数と観測する変数との間の因果関係の強さを求めておき、それを統計的データベースとして持つようにする。この統計的データベースを用いて、空輝度変数ｖ１から照度変数ｖ４の推定を条件付き確率の式（ベイズ決定方式等）により行うことで、観測による推定値の尤度（確率）を得ることができる。

図１１は、照度推定処理の流れを示すフローチャートである。図１１のステップＳ２１０では、ＲＡＭから因果関係マップを読み込む。ステップＳ２２０では、露出制御処理が開始したかどうか（実行中であるかどうか）を判定する。このステップＳ２２０で肯定判断した場合にはステップＳ２３０へ処理を進め、否定判断した場合には露出制御処理が開始されるまで待機状態となる。

ステップＳ２３０では観測可能な変数（前照灯状態変数ｖ５、カメラ制御値変数ｖ８、空領域画素値変数ｖ１０、路面画素値変数ｖ１１、白線画素値変数ｖ１２）の現在の変数値を取得する。ステップＳ２４０では、ステップＳ２３０で取得した変数値から空輝度変数ｖ１を推定し、その推定結果を因果関係マップに当てはめて、推定目標の照度変数ｖ４を得る（推定する）。ステップＳ２５０では、ステップＳ２４０で推定した照度変数ｖ４を車内ＬＡＮ２４に出力する。

このように、本実施形態の車両用画像処理装置１０は、車両周辺の照度は車両周辺の空の輝度に基づいて決定される、という因果関係を用いて、車両周辺の空の輝度から車両周辺の照度を推定する。これにより、コンライトセンサや日照センサを備えることなく、他の車載アプリケーションに対して、車両周辺の照度の情報を提供することができるようになる。

（変形例２）
図３の因果関係モデルから明らかなように、路面や白線等の撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係が成り立つ。従って、この因果関係を用いれば、撮像対象物の輝度と撮像対象物の明度とから車両周辺の照度を推定することも可能である。

例えば、図３の因果関係モデルにおいて、照度変数ｖ４は、路面輝度変数ｖ６と直接矢印で結合されており、この路面輝度変数ｖ６は、路面明度変数ｖ２と結合している。従って、路面明度変数ｖ２と路面輝度変数ｖ６とから照度変数ｖ４を推定することが可能である。図３の因果関係モデルから照度変数ｖ４、路面明度変数ｖ２、路面輝度変数ｖ６の因果関係を抜き出したモデルが図１２（ａ）である。なお、前照灯が点灯中（照射中）である場合、路面の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。そこで、前照灯が点灯中である場合には、図１２（ａ）に示すように、前照灯状態変数ｖ５を含む因果関係モデルが成り立つため、この因果関係モデルから前照灯が点灯中である場合の照度変数ｖ４を推定することが可能である。

図１２（ａ）の因果関係モデルは、図１２（ｃ）に示すような、前照灯が消灯中であるときの因果関係マップと、図１２（ｄ）に示すような、前照灯が点灯中であるときの因果関係マップで表すことができることから、これらの因果関係マップを用いて照度変数ｖ４を推定することができる。

また、図３の因果関係モデルにおいて、照度変数ｖ４は、白線輝度変数ｖ７と直接矢印で結合されており、この白線輝度変数ｖ７は、白線明度変数ｖ３と結合している。従って、白線明度変数ｖ３と白線輝度変数ｖ７とから照度変数ｖ４を推定することが可能である。図３の因果関係モデルから照度変数ｖ４、白線明度変数ｖ３、白線輝度変数ｖ７の因果関係を抜き出したモデルが図１２（ｂ）である。なお、前照灯が点灯中（照射中）である場合、白線の輝度は、前照灯の照射光の影響を受けるため、その影響を考慮する必要がある。そこで、前照灯が点灯中である場合には、図１２（ｂ）に示す因果関係モデルが成り立つため、この因果関係モデルから前照灯が点灯中である場合の照度変数ｖ４を推定することが可能である。

図１２（ｂ）の因果関係モデルは、図１２（ｃ）に示すような、前照灯が消灯中であるときの因果関係マップと、図１２（ｄ）に示すような、前照灯が点灯中であるときの因果関係マップで表すことができることから、これらの因果関係マップを用いて照度変数ｖ４を推定することができる。

なお、本変形例における照度推定処理は、図１１に示したフローチャートにおけるステップＳ２４０のみ異なり、それ以外の処理は同様であるので、同様なステップの説明は省略する。本変形例のステップＳ２４０では、ステップＳ２３０で取得した変数値から路面明度変数ｖ２、白線明度変数ｖ３、路面輝度変数ｖ６、及び白線輝度変数を推定し、その推定結果を因果関係マップに当てはめて、推定目標の照度変数ｖ４を得ればよい。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

例えば、第１〜第３の実施形態では、輝度、明度、及び照度の各変数のうちの１つの変数を推定するものであるが、全ての変数を同時に推定するようにしてもよい。また、推定すべき変数を指定する推定変数指定手段を備えて、ユーザの操作によって、推定すべき変数を指定するようにしてもよい。

車両用画像処理装置１０の構成を示すブロック図である。 車載カメラで撮像した車両の前方画像の例を示す図である。 因果関係モデルを示す図である。 （ａ）はカメラ制御値変数ｖ８、路面画素値変数ｖ１１、路面輝度変数ｖ６の因果関係モデルを示す図であり、（ｂ）はカメラ制御値変数ｖ８、白線画素値変数ｖ１２、白線輝度変数ｖ７の因果関係モデルを示す図であり、（ｃ）はカメラ制御値変数ｖ８、空領域画素値変数ｖ１０、空輝度変数ｖ１の因果関係モデルを示す図であり、（ｄ）はカメラ制御値、輝度、画素値の因果関係マップを示す図である。 第１の実施形態における輝度推定処理のフローチャートである。 （ａ）は路面輝度変数ｖ６とカメラ制御値変数ｖ８の因果関係モデルを示す図であり、（ｂ）は路面輝度変数ｖ６とカメラ制御値変数ｖ８の因果関係マップを示す図である。 （ａ）は路面明度変数ｖ２、照度変数ｖ４、前照灯状態変数ｖ５、及び路面輝度変数ｖ６の因果関係モデルを示す図であり、（ｂ）は白線明度変数ｖ３、照度変数ｖ４、前照灯状態変数ｖ５、及び白線輝度変数ｖ７の因果関係モデルを示す図であり、（ｃ）は前照灯が消灯中であるときの輝度、照度、明度（色彩）の因果関係マップを示す図であり、（ｄ）は前照灯が点灯中であるときの輝度、照度、明度（色彩）の因果関係マップを示す図である。 太陽光からの光が路面に照射されることを説明するための図である。 第２の実施形態における明度推定処理のフローチャートである。 （ａ）は照度変数ｖ４とセンサ出力値変数ｖ９の因果関係モデルを示す図であり、（ｂ）は照度とセンサ出力値の因果関係マップを示す図であり、（ｃ）は照度変数ｖ４と空輝度変数ｖ１の因果関係モデルを示す図であり、（ｄ）はに示すように、確率分布で照度を推定するときの因果関係マップを示す図である。 第３の実施形態における照度推定処理のフローチャートである。 （ａ）は路面明度変数ｖ２、照度変数ｖ４、前照灯状態変数ｖ５、及び路面輝度変数ｖ６の因果関係モデルを示す図であり、（ｂ）は白線明度変数ｖ３、照度変数ｖ４、前照灯状態変数ｖ５、及び白線輝度変数ｖ７の因果関係モデルを示す図であり、（ｃ）は前照灯が消灯中であるときの輝度、照度、明度（色彩）の因果関係マップを示す図であり、（ｄ）は前照灯が点灯中であるときの輝度、照度、明度（色彩）の因果関係マップを示す図である。

符号の説明

１０ 車両用画像処理装置
１２ 車載カメラ
１４ 画像処理ＥＣＵ
１６ ヨーレートセンサ
１８ ステアリングセンサ
２０ コンライトセンサ
２２ 車速センサ
２４ 車内ＬＡＮ
２６ 運転支援制御ＥＣＵ
２８ ライト制御ＥＣＵ
３０ エアコン制御ＥＣＵ
ｖ１ 空輝度変数
ｖ２ 路面明度変数
ｖ３ 白線明度変数
ｖ４ 照度変数
ｖ５ 前照灯状態変数
ｖ６ 路面輝度変数
ｖ７ 白線輝度変数
ｖ８ カメラ制御値変数
ｖ９ センサ出力値変数
ｖ１０ 空領域画素値変数
ｖ１１ 路面画素値変数
ｖ１２ 白線画素値変数

Claims (13)

1. 車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
   撮像時の前記車両の外部環境に応じて、前記車載カメラの絞り、シャッタースピード、及び出力信号のゲインの少なくとも１つのカメラ制御パラメータのカメラ制御値を設定するカメラ制御値設定手段と、
   前記車載カメラの撮像した画像上の撮像対象物の画素値を取得する撮像対象物画素値取得手段と、
   車載カメラの撮像した画像上の撮像対象物の画素値は撮像対象物の輝度とカメラ制御値とに基づいて決定される、という因果関係を用いて、前記カメラ制御値設定手段の設定したカメラ制御値と前記撮像対象物画素値取得手段の取得した撮像対象物の画素値とから撮像対象物の輝度を推定する撮像対象物輝度推定手段と、を備えることを特徴とする車両用画像処理装置。
2. 前記車載カメラは、前記車両周辺の路面を撮像対象物とする画像を撮像するものであり、
   前記撮像対象物輝度推定手段は、前記路面の輝度を推定することを特徴とする請求項１記載の車両用画像処理装置。
3. 前記車載カメラの撮像した路面を含む画像に映し出される車線区分線を認識する車線区分線認識手段を備え、
   前記撮像対象物輝度推定手段は、前記車線区分線の輝度を推定することを特徴とする請求項２記載の車両用画像処理装置。
4. 前記車載カメラは、前記車両周辺の空を撮像対象物とする画像を撮像するものであり、
   前記撮像対象物輝度推定手段は、前記空の輝度を推定することを特徴とする請求項１記載の車両用画像処理装置。
5. 車両周辺の路面を含む画像を撮像する車載カメラと、
   前記車載カメラの撮像した画像上の路面の画素値が所定値となるように、前記車載カメラの絞り、シャッタースピード、及び出力信号のゲインの少なくとも１つのカメラ制御パラメータのカメラ制御値を設定するカメラ制御値設定手段と、
   前記カメラ制御値設定手段が路面の画素値を所定値となるようにカメラ制御値を設定する場合、路面の輝度は前記カメラ制御値に基づいて決定される、という因果関係を用いて、前記カメラ制御値から路面の輝度を推定する路面輝度推定手段と、を備えることを特徴とする車両用画像処理装置。
6. 車両周辺の照度を取得する車両周辺照度取得手段と、
   前記車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
   少なくとも前記車載カメラの撮像した画像上の撮像対象物の画素値に基づいて推定される、撮像対象物の輝度を取得する撮像対象物輝度取得手段と、
   撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いて、前記車両周辺照度取得手段の取得した照度と前記撮像対象物の輝度とから撮像対象物の明度を推定する撮像対象物明度推定手段と、を備えることを特徴とする車両用画像処理装置。
7. 前記車載カメラは、前記車両周辺の路面を撮像対象物とする画像を撮像するものであり、
   前記撮像対象物明度推定手段は、前記路面の明度を推定することを特徴とする請求項６記載の車両用画像処理装置。
8. 前記車載カメラの撮像した路面を含む画像に映し出される車線区分線を認識する車線区分線認識手段を備え、
   前記撮像対象物明度推定手段は、前記車線区分線の明度を推定することを特徴とする請求項７記載の車両用画像処理装置。
9. 前記車両に搭載され、前記車両周辺に光を照射する車載照明装置を備え、
   前記撮像対象物明度推定手段は、前記車載照明装置が点灯中である場合、撮像対象物の輝度は車載照明装置からの照射光の照度、車両周辺の照度、及び撮像対象物の明度に基づいて決定される、という因果関係を用いて、前記車載照明装置からの照射光の照度、前記車両周辺照度取得手段の取得した照度、及び前記撮像対象物の輝度から撮像対象物の明度を推定することを特徴とする請求項６〜８の何れか１項に記載の車両用画像処理装置。
10. 車両周辺の空を含む画像を撮像する車載カメラと、
    少なくとも前記車載カメラの撮像した画像上の空の画素値に基づいて、前記車両周辺の空の輝度を取得する空輝度取得手段と、
    車両周辺の照度は車両周辺の空の輝度に基づいて決定される、という因果関係を用いて、前記空輝度取得手段の取得した空の輝度から前記車両周辺の照度を推定する車両周辺照度推定手段と、を備えることを特徴とする車両用画像処理装置。
11. 車両周辺の撮像対象物を含む画像を撮像する車載カメラと、
    少なくとも前記車載カメラの撮像した画像上の撮像対象物の画素値に基づいて、撮像対象物の輝度を取得する撮像対象物輝度取得手段と、
    前記車両周辺の撮像対象物の明度を取得する撮像対象物明度取得手段と、
    撮像対象物の輝度は車両周辺の照度と撮像対象物の明度とに基づいて決定される、という因果関係を用いて、前記撮像対象物輝度取得手段の取得した撮像対象物の輝度と前記撮像対象物明度取得手段の取得した撮像対象物の明度とから車両周辺の照度を推定する車両周辺照度推定手段と、を備えることを特徴とする車両用画像処理装置。
12. 前記車載カメラは、前記車両周辺の路面を撮像対象物とする画像を撮像するものであり、
    前記撮像対象物輝度取得手段は、前記画像上の路面の画素値に基づいて、路面の輝度を取得し、
    前記撮像対象物明度取得手段は、路面の明度を取得し、
    前記車両周辺照度推定手段は、路面の輝度は車両周辺の照度と路面の明度とに基づいて決定される、という因果関係を用いて、前記撮像対象物輝度取得手段の取得した路面の輝度と前記撮像対象物明度取得手段の取得した路面の明度とから車両周辺の照度を推定することを特徴とする請求項１１記載の車両用画像処理装置。
13. 前記車載カメラの撮像した路面を含む画像に映し出される車線区分線を認識する車線区分線認識手段を備え、
    前記撮像対象物輝度取得手段は、前記画像上の車線区分線の画素値に基づいて、車線区分線の輝度を取得し、
    前記撮像対象物明度取得手段は、車線区分線の明度を取得し、
    前記車両周辺照度推定手段は、車線区分線の輝度は車両周辺の照度と車線区分線の明度とに基づいて決定される、という因果関係を用いて、前記撮像対象物輝度取得手段の取得した車線区分線の輝度と前記撮像対象物明度取得手段の取得した車線区分線の明度とから車両周辺の照度を推定することを特徴とする請求項１２記載の車両用画像処理装置。

Images