JP2015216463A - カメラ装置および立体物検出装置 - Google Patents

Abstract

【課題】レンズに対する透光性付着物の付着状態を適切に判断可能なカメラ装置を提供する。【解決手段】レンズ１１０からの光束を受光して撮像画像を出力する撮像手段１０と、レンズ１１０に入射する光束の一部を遮光する遮光部材１３０と、撮像画像内に撮像された遮光部材１３０を遮光領域Ｘとして設定する設定手段３４と、遮光領域Ｘの輝度を検出する輝度検出手段３５と、遮光領域Ｘの輝度に基づいて、レンズ１１０に対する透光性付着物の付着状態を判断する判断手段３６と、を備えることを特徴とするカメラ装置。【選択図】図３

Description

本発明は、カメラ装置および立体物検出装置に関するものである。

車両ボディに設けられたカメラの前面のガラスに高圧空気と高圧水を吹き付けることにより、泥はねなどによって付着した汚れを除去する技術が知られている（特許文献１参照）。

特開２００１−１７１４９１号公報

しかしながら、洗浄液を用いてカメラのレンズを洗浄すると、泡が発生して、レンズに付着する。洗浄液の泡がレンズ上に残留すると、泡の影響により正確な撮像画像を得ることができないという問題がある。

本発明が解決しようとする課題は、レンズ上における泡などの透光性付着物の付着状態を適切に判断することができるカメラ装置を提供することである。

本発明は、撮像画像内に撮像された遮光部材を遮光領域として設定し、遮光領域の輝度に基づいて、レンズに対する透光性付着物の付着状態を判断することで、上記課題を解決する。

本発明によれば、遮光領域の輝度に基づいてレンズに対する透光性付着物の付着状態を判断することで、透光性付着物の付着状態を判断する際の演算量を軽減することができ、透光性付着物の付着状態を迅速かつ適切に判断することができる。

立体物検出装置を搭載した車両の概略構成図である。 図１の車両の走行状態を示す平面図である。 本実施形態に係るカメラ装置の構成を示すブロック図である。 カメラにより撮像される撮像画像の一例を示す図である。 カメラ洗浄装置の構成を示す斜視図である。 カメラ洗浄装置のノズルユニットの一部破断斜視図である。 カメラ洗浄装置のノズル先端部の断面図である。 カメラ洗浄装置のノズル先端部とカメラとの配置関係を示す説明図である。 カメラ洗浄装置のノズルユニットの断面図である。 レンズ洗浄工程を説明するためのタイムチャートである。 計算機の詳細を示すブロック図である。 位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 立体物検出部による差分波形の生成の様子を示す概略図である。 差分波形および立体物を検出するための閾値αの一例を示す図である。 立体物検出部によって分割される小領域を示す図である。 立体物検出部により得られるヒストグラムの一例を示す図である。 立体物検出部による重み付けを示す図である。 立体物検出部により得られるヒストグラムの他の例を示す図である。 （Ａ）は、レンズ上に泡が付着していない場合の撮像画像の一例を示す図であり、（Ｂ）は、レンズ上に泡が付着している場合の撮像画像の一例を示す図である。 第１実施形態に係るレンズ状態判断処理を示すフローチャートである。 第１実施形態に係る立体物検出処理を示すフローチャートである。 レンズ状態判断処理の動作時間を説明するための図である。 第２実施形態において設定される遮光領域の一例を示す図である。 直射日光が照射している場面の撮像画像の一例を示す図である。 第３実施形態に係るレンズ状態判断処理を説明するための図である。 第３実施形態に係るレンズ状態判断処理を示すフローチャートである。 第５実施形態に係る計算機の詳細を示すブロック図である。 車両の走行状態を示す図であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 第５実施形態に係る輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 第５実施形態に係る輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ検出動作を説明するための画像例を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（他車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 第５実施形態に係る立体物検出処理を示すフローチャートである。 第６実施形態に係るレンズ状態判断処理を説明するための図である。 第７実施形態に係るカメラ装置１００ａの構成を示すブロック図である。

≪第１実施形態≫
図１は、本実施形態に係る立体物検出装置１を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置１は、自車両Ｖ１が車線変更する際に接触の可能性がある隣接車線に存在する立体物（他車両Ｖ２などの立体物）を検出することを目的とする。本実施形態に係る立体物検出装置１は、図１に示すように、カメラ１０と、車速センサ２０と、計算機３０とを備える。

カメラ１０は、図１に示すように、自車両Ｖ１の後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように自車両Ｖ１に取り付けられている。カメラ１０は、この位置から自車両Ｖ１の周囲環境のうちの所定領域を撮像する。車速センサ２０は、自車両Ｖ１の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、自車両後方に存在する他車両の検出を行う。

図２は、図１の自車両Ｖ１の走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方側を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖ１が走行する車線に加えて、その左右の車線（隣接車線）についても撮像可能な画角に設定されている。

また、図３に示すように、カメラ１０の近傍には、レンズ１１０に付着した泥や埃などの異物を除去するためのレンズ洗浄装置１２０や、直射日光などの路面以外から入射する光束を制限するための遮光板１３０が設けられている。本実施形態においては、カメラ１０、レンズ洗浄装置１２０、および遮光板１３０からなる装置を、カメラ装置１００として説明する。なお、図３は、カメラ装置１００の構成を示すブロック図である。

まず、カメラ装置１００が備える遮光板１３０について説明する。遮光板１３０は、図３に示すように、レンズ１１０の上側前方に設置されており、レンズ１１０の上側から入射する光束を制限する。これにより、図４に示すように、カメラ１０で撮像した撮像画像の上側に、遮光板１３０により形成された遮光領域Ｘが形成されることとなる。なお、図４は、カメラ１０により撮像される撮像画像の一例を示す図である。

次に、カメラ装置１００が備えるレンズ洗浄装置１２０の一例を説明する。本実施形態に係るレンズ洗浄装置１２０は、図３に示すように、洗浄液を蓄積する洗浄液タンク１２７と、洗浄液タンク１２７に蓄積された洗浄液を送り出す洗浄液ポンプ１２６と、圧縮空気を送り出す空気ポンプ１２３と、カメラ１０のレンズ面に向けて洗浄液、圧縮空気、或いは洗浄液と圧縮空気との混合を吐出するノズル１２１と、を備えている。レンズ洗浄装置１２０は、洗浄液タンク１２７に蓄えられた洗浄液を用いて、レンズ１１０を洗浄する。

さらに、レンズ洗浄装置１２０は、洗浄液ポンプ１２６にて送出される洗浄液を、該洗浄液を蓄積する二次タンク１２４に導く洗浄液配管１２５と、空気ポンプ１２３にて送出される圧縮空気を、ノズル１２１に導く空気配管１２２と、洗浄液ポンプ１２６及び空気ポンプ１２３の動作を制御する制御装置１２８と、を備えている。

図５（ａ）は、車両の後部に搭載されるカメラ１０に、本実施形態に係るレンズ洗浄装置１２０を設置した状態を示す斜視図、図５（ｂ）は、図５（ａ）に示すレンズ洗浄装置１２０を「Ａ」方向から見た図である。図５（ａ）に示すように、車両後部に固定されたカメラ１０の側部近傍には、やはり車両後部に固定されてレンズ１１０の表面を洗浄するノズルユニット１２９が設けられている。ノズルユニット１２９には、レンズ１１０の表面に向けて洗浄液及び圧縮空気を噴出するノズル１２１およびキャップ１２１ｃが設けられている。ノズル１２１には、図５（ｂ）に示すように、その先端部に洗浄液及び圧縮空気を噴出する２つの吐出口１２１ａ，１２１ｂが設けられている。即ち、ノズル１２１の吐出口１２１ａ，１２１ｂよりレンズ１１０の表面に向けて洗浄液及び圧縮空気を噴出することにより、レンズ１１０の表面に付着した異物を除去する構成とされている。

図６は、図５（ａ）に示すノズルユニット１２９の一部破断斜視図である。図６に示すように、ノズルユニット１２９の先端側に設けられるノズル１２１には、その中央部に圧縮空気を導入する空気通路１２が設けられ、該空気通路１２の左右両側には、洗浄液を導入する洗浄液通路１１ａ，１１ｂが設けられている。また、空気通路１２、及び洗浄液通路１１ａ，１１ｂの先端はカメラ１０のレンズ１１０の表面を向くように、略直角に屈曲している。

さらに、洗浄液通路１１ａ，１１ｂの上流側には、洗浄液を一時的に蓄積する二次タンク１２４が設けられている。該二次タンク１２４の側部には、洗浄液配管１２５を接続するためのプラグ１２４ａ、及び空気配管１２２を接続するためのプラグ１２４ｂが設けられており、このうちプラグ１２４ｂは、二次タンク１２４の下方に設けられた流路を介して空気通路１２に接続されている。即ち、プラグ１２４ｂを経由してノズルユニット１２９内に導入される圧縮空気は直接空気通路１２に導入される。

また、プラグ１２４ａは、二次タンク１２４に接続されており、該プラグ１２４ａを経由して供給される洗浄液は、二次タンク１２４の上方から内部に流入する。この際、プラグ１２４ａから二次タンク１２４に接続される配管は、図９（ｂ）の符号２３に示すように、鉛直方向を向いている。この配管２３の詳細については後述する。

また、図６に示すように、二次タンク１２４の底部は、２系統の洗浄液通路１１ａ，１１ｂに接続されている。従って、図３に示した空気ポンプ１２３より送出される圧縮空気は、空気配管１２２を経由してノズル１２１の空気通路１２に導入され、一方、洗浄液ポンプ１２６より送出される洗浄液は、二次タンク１２４に蓄積された後に、２系統の洗浄液通路１１ａ，１１ｂに導入されることになる。

図７（ｂ）は、ノズル先端部の詳細な構成を示す説明図であり、図７（ａ）に示す符号Ｐ１の部分の断面図を示している。図７（ｂ）に示すように、ノズル１２１の先端部は中央に空気通路１２が設けられ、該空気通路１２を挟むように、２つの洗浄液通路１１ａ，１１ｂが設けられている。

各洗浄液通路１１ａ，１１ｂは、先端部１５ａ，１５ｂに接続されており、先端部１５ａ，１５ｂの流路面積は洗浄液通路１１ａ，１１ｂの流路面積よりも小さくされている。そのため、洗浄液通路１１ａ，１１ｂを流れる洗浄液は、先端部１５ａ，１５ｂ内で流速が速くなる。

一方、空気通路１２の先端は、２つの先端部１４ａ，１４ｂに分岐している。先端部１４ａ，１４ｂの流路面積は、空気通路１２の流路面積よりも小さくされている。そのため、空気通路１２を流れる圧縮空気は、先端部１４ａ，１４ｂを通過する際に流速が速くなる。

そして、一方の洗浄液通路１１ａの先端部１５ａと、空気通路１２の一方の先端部１４ａが合流して合流路１６ａとされ、この先端が吐出口１２１ａ（図５（ｂ）参照）とされている。また、他方の洗浄液通路１１ｂの先端部１５ｂと空気通路１２の他方の先端部１４ｂが合流して合流路１６ｂとされ、この先端が吐出口１２１ｂ（図５（ｂ）参照）とされている。この際、合流路１４ａと合流路１４ｂは、先端側に向けて互いに広がる方向を向いている。

従って、図３に示す洗浄液ポンプ１２６より送出された洗浄液が二次タンク１２４内に蓄積され、且つ、空気ポンプ１２３より圧縮空気が送出されると、圧縮空気が流速を高めて噴射され、更に、圧縮空気が噴射されることにより洗浄液通路１１ａ，１１ｂが負圧となって二次タンク１２４に蓄積された洗浄液を吸引する。このため、圧縮空気及び洗浄液が２つの合流路１６ａ，１６ｂを経由して吐出口１２１ａ，１２１ｂから噴射され、レンズ１１０の表面に吹き付けられる。この際、洗浄液と圧縮空気が混合した液体は図８に示すように、広がる方向に噴射されることになり、レンズ１１０の表面全体を洗浄することができる。

なお、洗浄液をレンズ１１０に噴射した場合に、レンズ１１０に泡が残留してしまい、その結果、カメラ１０が路面や路面に存在する立体物を適切に撮影することができない場合がある。そこで、本実施形態に係るカメラ装置１００は、レンズ１１０上に泡が残留しないように、下記のような構成を備えている。

すなわち、図７（ｂ）に示すように、ノズル１２１の先端部の噴射面１７ａは、その周囲の側面１７ｂよりも前方に突起した構成とされている。従って、吐出口１２１ａ，１２１ｂより噴射される洗浄液がノズル１２１の側面１７ｂに付着することを防止できる。具体的には、図８の符号Ｐ２，Ｐ３に示す領域に洗浄液が付着することを防止できる。

図９（ｂ）は、図９（ａ）に示すノズルユニット１２９を「Ｄ」方向から見た断面図である。図９（ｂ）に示すように、ノズル１２１の底面１８と、カメラ１０の表面との間には、若干の隙間が設けられている。さらに、隙間の幅は、奥側に向かうに連れて狭くなるように構成されている。このような構成により、ノズル１２１の底面１８とカメラ１０の上面１０ａとの間に洗浄液が侵入した場合でも、この洗浄液は表面張力によってノズル１２１とカメラ１０の隙間部分の奥側に徐々に押し出され、カメラ１０の正面視の左右側から外部に放出されることになる。つまり、ノズル１２１の底面１８とカメラ１０の上面１０ａとの間に若干の隙間が存在することにより、洗浄液が滞留して固形化する等の問題を回避できる。

また、図９（ｂ）に示すように、ノズル１２１の上流側に設けられる二次タンク１２４の上部には、該二次タンク１２４内に洗浄液を供給するための供給口１２４ｃが設けられ、該供給口１２４ｃには、鉛直方向を向く配管２３が設けられている。そして、該配管２３が図６に示したプラグ１２４ａに接続される。配管２３が鉛直方向を向くことにより、洗浄液ポンプ１２６（図２参照）より洗浄液の供給が停止している場合には、管路中に蓄積された洗浄液が不規則に二次タンク１２４内に流入することを回避できる。即ち、二次タンク１２４内が空になった状態で、振動などに起因して二次タンク１２４内に洗浄液が流入することを防止することができる。

また、二次タンク１２４の上面には逆止弁２４が設けられている。逆止弁２４は、例えばアンブレラ弁であり、二次タンク１２４内の圧力が負圧になった場合には弁が解放されて通気孔２５から外気が導入され、二次タンク１２４内の圧力が正圧になった場合には、弁が閉鎖されて外気への放出を防止する構成とされている。

更に、図９（ｂ）に示すように、二次タンク１２４の底面１２４ｄは前側（図中左側）に向けて下降するように傾斜しており、更に、二次タンク１２４の出口配管、及びノズル１２１に設けられる洗浄液通路１１ａ，１１ｂ、空気通路１２（図６参照）も同様に、前側に向けて下降するように傾斜する構成とされている。このような構成とすることにより、二次タンク１２４内に蓄積された洗浄液は一定の場所に滞留することがなく、各部位の傾斜により確実に下流側へと流れることになる。

次に、レンズ洗浄装置１２０の洗浄動作を制御する制御装置１２８について説明する。
制御装置１２８は、洗浄液と圧縮空気を噴射してレンズ１１０を洗浄する洗浄モードと、圧縮空気のみを送出してレンズ１１０に付着した水滴を除去する乾燥モードと、洗浄液を断続的にレンズ１１０の表面吐出してレンズ１１０の表面を湿潤させる湿潤モードの３つのモードを実行することができる。

洗浄モードでは、洗浄液ポンプ１２６及び空気ポンプ１２３を共に駆動させることで、洗浄液タンク１２７に貯留されている洗浄液が洗浄液配管１２５を経由して二次タンク１２４に供給され、該二次タンク１２４内に洗浄液が蓄積される。また、空気ポンプ１２３より送出される圧縮空気は、空気配管１２２を経由して図６に示すノズル１２１内の空気通路１２に導入され、その後、この圧縮空気は図７（ｂ）に示す先端部１４ａ，１４ｂから合流路１６ａ，１６ｂに向けて送出される。先端部１４ａ，１４ｂは、空気通路１２よりも流路面積が小さく設定されているので、先端部１４ａ，１４ｂでは空気の流速が速くなる。従って、合流路１６ａ，１６ｂの下流側となる先端部１５ａ，１５ｂが負圧となり、二次タンク１２４内に蓄積された洗浄液が吸引され、吸引された洗浄液は洗浄液通路１１ａ，１１ｂを経由して合流路１６ａ，１６ｂに流入する。

その結果、合流路１６ａ，１６ｂより洗浄液がミスト状となって圧縮空気と共に噴射される。従って、合流路１６ａ，１６ｂの先端となる吐出口１２１ａ，１２１ｂから、ミスト状の洗浄液を噴射してレンズ１１０の表面に吹き付けることができる。このため、レンズ１１０の表面に付着した異物を、ミスト状の洗浄液と空気圧力との相乗作用により除去できる。つまり、洗浄モードでは、空気ポンプ１２３を作動させて、吐出口１２１ａ，１２１ｂより圧縮空気を噴射し、且つ、圧縮空気の噴射により生じる負圧にて洗浄液通路１１ａ，１１ｂに供給される洗浄液を吸引して吐出口１２１ａ，１２１ｂより洗浄液を噴射し、噴射した圧縮空気及び洗浄液によりレンズ面１１０を洗浄する。

また、二次タンク１２４内の洗浄液がすべて噴射されると、その後は圧縮空気のみが噴射され、この圧縮空気によりレンズ１１０に付着した水滴を除去できる。

次に、乾燥モードについて説明する。乾燥モードでは、二次タンク１２４内に洗浄液が蓄積されていない状態で、空気ポンプ１２３のみを駆動させる。具体的には、洗浄液ポンプ１２６を停止させ、空気ポンプ１２３を所定時間（例えば、２秒間）駆動させる。すると、圧縮空気は空気通路１２の先端部１４ａ，１４ｂ、及び合流路１６ａ，１６ｂを経由して吐出口１２１ａ，１２１ｂより噴射され、レンズ１１０の表面に吹き付けられる。その結果、カメラ１０のレンズ１１０の表面に付着した水滴を空気圧により除去することができる。

この際、二次タンク１２４に連結される配管２３は、図９（ｂ）に示すように、ほぼ鉛直方向を向いており、また、二次タンク１２４の底面１２４ｄ、及び洗浄液の配管が下方に向いて傾斜しているので、二次タンク１２４内、及びその配管に洗浄液が残留しない。このため、圧縮空気が噴射されて二次タンク１２４内が負圧となった場合でも、洗浄液が合流路１６ａ，１６ｂ側に導入されることを防止でき、圧縮空気に洗浄液が混入することを防止できる。このため、圧縮空気を噴射してレンズ１１０に付着した水滴を除去する際に、圧縮空気に混入した洗浄液が再びレンズ１１０に付着するという問題の発生を回避することができる。即ち、乾燥モードでは、洗浄液の供給が遮断された状態で空気ポンプ１２３より空気配管１２２に圧縮空気を供給し、吐出口１２１ａ，１２１ｂから圧縮空気を噴射することにより、レンズ１１０の表面を洗浄する。

次に、レンズ湿潤モードについて説明する。レンズ湿潤モードは、洗浄液ポンプ１２６から二次タンク１２４内に洗浄液を供給し、更に、空気ポンプ１２３を断続的に駆動させることにより、レンズ１１０の表面に洗浄液を吐出する。具体的には、洗浄液ポンプ１２６を駆動させて二次タンク１２４に洗浄液を蓄積し、その後、空気ポンプ１２６を断続的に複数回駆動させ、洗浄液を少量ずつレンズ１１０の表面に滴下する。例えば、レンズ１１０の表面に少量（例えば、０．２５ｍｌ）ずつ洗浄液を滴下する。

本実施形態におけるレンズ洗浄工程の内容は特に限定されないが、本実施形態のレンズ洗浄工程は、準備工程である洗浄液補充工程と、レンズ湿潤工程と、洗浄工程と、乾燥工程とを含む。

図１０は、本実施形態のレンズ洗浄工程を示すタイムチャートである。本実施形態のレンズ洗浄工程では、洗浄工程の実施に必要な洗浄液を予め洗浄液タンク１２７へ補充する「洗浄液補充工程Ａ」と、レンズ１１０の表面を湿潤させるために洗浄液Ｗをレンズ１１０に吐出する「レンズ湿潤工程Ｂ」、洗浄液Ｗをレンズ１１０に吐出してレンズ１１０表面の汚れを洗い流す「洗浄工程Ｃ」、洗浄液Ｗを蒸発させてレンズ１１０の表面を乾燥させる「乾燥工程Ｄ」が、Ａ→Ｂ→Ｃ→Ｄの順で繰り返し実行される。本実施形態の「レンズ湿潤工程Ｂ」は、洗浄液をレンズ１１０の表面の全体にいきわたらせるために、洗浄液の吐出及びエアの吹き付けが所定間隔で複数回にわたって行われる。これにより洗浄液はレンズ１１０の表面に間欠的に吹き付けられる。なお、各工程の具体的な動作は、先述した各モードの動作に準ずる。

図１０に示すように、制御装置１２８は、タイミングＴＧ０で洗浄に必要な洗浄液を洗浄液タンク１２７に送り込む。本実施形態の洗浄液タンク１２７は、レンズ洗浄工程に用いられる洗浄液を一時的に蓄える。本実施形態では、１．０ｍｌの洗浄液を洗浄液タンク１２７に蓄える。洗浄処理が開始されると、まず「レンズ湿潤工程Ｂ」を実行する。この「レンズ湿潤工程Ｂ」では、２０ｓ間隔で洗浄液を間欠的にレンズ１１０の表面に吐出する。本実施形態では、０．２５ｍlの洗浄液を２０ｓ間隔で３回吐出する。また、本実施形態では、洗浄液の吐出に同期させてエアを吐出する。エアの吹き付けのタイミングは洗浄液の吐出のタイミングと同じでもよいし、若干遅延させたタイミングでもよい。

洗浄液タンク１２７に蓄える洗浄液の量は洗浄工程に応じて適宜に決定する。本実施形態の制御装置１２８は、レンズ洗浄工程中においてレンズ上に洗浄液を吐出する回数に、１回に吐出さられる洗浄液の量を乗じた吐出総量より大きい量となるように、洗浄液タンク１２７に蓄える洗浄液の液量を決定する。図１０に示す洗浄工程の例では、制御装置１２８は、レンズ上に洗浄液を吐出する回数（３回）に、１回に吐出される洗浄液の量（０．２５ｍｌ）を乗じた吐出総量（０．７５ｍｌ）よりも大きい量である１．０ｍｌの洗浄液を、洗浄液タンク１２７に蓄える。３回の洗浄液の吐出が終了したタイミングで、０．２５ｍｌの洗浄液が洗浄タンク１２７に残る。この残った洗浄液はエアの吹き付けを伴わず、レンズ１１０の表面に漏洩する。エアの吹き付けを伴わなければ、洗浄液を吐出したときに生じる泡の量は少ない。また、この最後にレンズ１１０上に漏れ出る洗浄液は、先のエア吹き付けを伴って吐出された洗浄液によってレンズ１１０の表面に形成された泡を流し去る。

本実施形態では、このように、レンズ上に洗浄液を吐出する回数に、１回に吐出される洗浄液の量を乗じた吐出総量より大きい量を洗浄液タンク１２７に蓄えるので、レンズ湿潤工程Ｂの最後に洗浄液タンク１２７からレンズ１１０の表面に洗浄液を漏れ出させることができる。そして、洗浄液タンク１２７から漏れ出した洗浄液により、レンズ１１０の表面に残る泡を流し去ることができる。

制御装置１２８は、「レンズ湿潤工程Ｂ」をタイミングＴＧ２で終了させ、その後に「洗浄工程Ｃ」を開始し、２秒〜１０秒程度の間、洗浄液Ｗをレンズ１１０の表面に吐出する。本実施形態では、３秒間の洗浄処理Ｐ１０を行う。その完了タイミングＴＧ３の後に、「乾燥工程Ｄ」を開始し、３０秒程度の間、気体をレンズ１１０の表面に吹き付ける乾燥用エア吹き付け処理Ｐ２０を行う。

次に、図１１に示す計算機３０について説明する。図１１は、図１の計算機３０の詳細を示すブロック図である。なお、図１１においては、接続関係を明確とするためにカメラ１０、車速センサ２０についても図示する。

図１１に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、立体物検出部３３と、遮光領域設定部３４と、輝度検出部３５と、レンズ状態判断部３６とを備える。以下に、それぞれの構成について説明する。

視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図１２は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は自車両Ｖ１の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。

図１２（ａ）に示すように、現時刻の自車両Ｖ１がＰ_１に位置し、一時刻前の自車両Ｖ１がＰ_１’に位置していたとする。また、自車両Ｖ１の後側方向に他車両Ｖ２が位置して自車両Ｖ１と並走状態にあり、現時刻の他車両Ｖ２がＰ_２に位置し、一時刻前の他車両Ｖ２がＰ_２’に位置していたとする。さらに、自車両Ｖ１は、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻における鳥瞰視画像ＰＢ_ｔは図１２（ｂ）に示すようになる。この鳥瞰視画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、他車両Ｖ２（位置Ｐ_２）については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、他車両Ｖ２（位置Ｐ_２’）については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部３２は、上記のような鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰視画像ＰＢ_ｔと位置を一致させる。図１２（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図１２（ａ）に示した自車両Ｖ１の実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

また、位置合わせ後において位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり、差分画像ＰＤ_ｔのデータを生成する。ここで、本実施形態において、位置合わせ部３２は、照度環境の変化に対応するために、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化し、当該絶対値が所定の差分閾値ｔｈ以上であるときに、差分画像ＰＤ_ｔの画素値を「１」とし、絶対値が所定の差分閾値ｔｈ未満であるときに、差分画像ＰＤ_ｔの画素値を「０」とすることで、図１２（ｂ）の右側に示すような差分画像ＰＤ_ｔのデータを生成することができる。

また、本実施形態において、位置合わせ部３２は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。たとえば、同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。

そして、立体物検出部３３は、図１２（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて、差分波形を生成する。この際、立体物検出部３３は、実空間上における立体物の移動距離についても算出する。立体物の検出および移動距離の算出にあたり、立体物検出部３３は、まず差分波形を生成する。

差分波形の生成にあたって立体物検出部３３は、差分画像ＰＤ_ｔにおいて検出領域（検出枠）を設定する。本例の立体物検出装置１は、自車両Ｖ１が車線変更する際に接近する可能性がある他車両Ｖ２を検出することを目的とするものである。このため、本例では、図２および図４に示すように自車両Ｖ１の後側方に矩形状の検出領域（検出枠）Ａ１，Ａ２を設定する。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖ１に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置１は、例えば既存の白線認識技術等を利用するとよい。

また、立体物検出部３３は、図２に示すように、設定した検出領域Ａ１，Ａ２の自車両Ｖ１側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両Ｖ２の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図１３は、立体物検出部３３による差分波形の生成の様子を示す概略図である。図１３に示すように、立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤ_ｔ（図１２（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図１３に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷ_ｔを生成する。

具体的に説明すると、まず立体物検出部３３は、差分画像ＰＤ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。本実施形態では、所定の差分を示す差分画素ＤＰは、差分画像ＰＤ_ｔの画素値が「０」「１」で表現されており、「１」を示す画素が、差分画素ＤＰとしてカウントされる。

立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図１３右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図１３右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。

以下同様に、立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部３３は、上記を順次繰り返して度数分布化することで、図１３右図に示すように差分波形ＤＷ_ｔを生成する。

ここで、差分画像ＰＤ_ｔのデータ上における差分画素ＰＤは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷ_ｔを生成することとなる。

なお、図１３左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図１３左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図１３においてカウント数から縦軸位置を決定するにあたり、立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後、立体物検出部３３は、生成した差分波形ＤＷ_ｔに基づいて、隣接車線に存在している他車両の検出を行う。ここで、図１４は、立体物検出部３３による立体物の検出方法を説明するための図であり、差分波形ＤＷ_ｔおよび立体物を検出するための閾値αの一例を示している。立体物検出部３３は、図１４に示すように、生成した差分波形ＤＷ_ｔのピークが、当該差分波形ＤＷ_ｔのピーク位置に対応する所定の閾値α以上であるか否かを判断することで、検出領域Ａ１，Ａ２に立体物が存在するか否かを判断する。そして、立体物検出部３３は、差分波形ＤＷ_ｔのピークが所定の閾値α未満である場合には、検出領域Ａ１，Ａ２に立体物が存在しないと判断し、一方、差分波形ＤＷ_ｔのピークが所定の閾値α以上である場合には、検出領域Ａ１，Ａ２に立体物が存在すると判断する。

また、立体物検出部３３は、現時刻における差分波形ＤＷ_ｔと一時刻前の差分波形ＤＷ_ｔ−１との対比により、立体物の移動速度を算出する。すなわち、立体物検出部３３は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から、立体物の移動速度を算出する。

詳細に説明すると、立体物検出部３３は、図１５に示すように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図１５は、立体物検出部３３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図１５に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図１５の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図１６は、立体物検出部３３により得られるヒストグラムの一例を示す図である。図１６に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部３３は、ヒストグラムの極大値から立体物（他車両Ｖ２）の移動距離を算出する。すなわち、図１６に示す例において、立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ^＊と算出する。このように、本実施形態では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τ^＊は、自車両に対する立体物（他車両Ｖ２）の相対移動距離である。このため、立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。そして、立体物検出部３３は、算出した立体物の相対移動距離および絶対移動距離に基づいて、立体物の相対移動速度および絶対移動速度を算出する。

このように、本実施形態では、異なる時刻に生成された差分波形ＤＷ_ｔの誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から立体物（他車両Ｖ２）の移動距離を算出することで、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む差分波形ＤＷ_ｔの時間変化から立体物の移動距離を算出することで、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

なお、ヒストグラム化にあたり立体物検出部３３は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図１７は、立体物検出部３３による重み付けを示す図である。

図１７に示すように、小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくてもよい。この場合に、立体物検出部３３は、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されない。

なお、本実施形態において立体物検出部３３は、自車両Ｖ１（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１８は、立体物検出部３３により得られるヒストグラムの他の例を示す図である。カメラ１０の画角内に立体物の他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に立体物が複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の立体物が存在することは極めて稀である。このため、立体物検出部３３は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

また、上述したように、カメラ１０のレンズ１１０を洗浄する場合に、洗浄液の種類によっては、洗浄液の泡がレンズ１１０の表面に残留してしまう場合があり、このような泡の影響により、立体物（他車両Ｖ２）の検出精度が低下してしまう場合がある。そこで、本実施形態に係る立体物検出装置１は、レンズ１１０上に泡が付着している状態か否かを判断し、レンズ１１０上に泡が付着している場合には、立体物検出部３３による立体物の検出が抑制されるように、立体物の検出条件を変更する。

ここで、図１９（Ａ）は、レンズ１１０上に泡が付着していない場合の撮像画像の一例を示す図であり、図１９（Ｂ）は、レンズ１１０上に泡が付着している場合の撮像画像の一例を示す図である。図１９に示すように、（Ｂ）に示すレンズ１１０上に泡が付着している場合では、泡によって光が乱反射されるため、（Ａ）に示すレンズ１１０上に泡が付着していない場合と比べて、遮光領域Ｘの輝度が高くなる傾向にある。そこで、本実施形態では、このような泡の特性を利用することで、レンズ１１０上に泡が付着しているか否かを判断する。

具体的に、計算機３０は、レンズ１１０上に泡が付着しているか否かを判断するために、図３に示すように、遮光領域設定部３４と、輝度検出部３５と、レンズ状態判断部３６と、を備えている。以下に、これらの構成について説明する。

遮光領域設定部３４は、図４に示すように、撮像画像内に撮像された遮光板１３０（図３参照）を遮光領域Ｘとして設定する。遮光領域Ｘは、遮光板１３０の形状や設置位置、レンズ１１０の向き、カメラ１０の画角、焦点距離、撮像素子の大きさなどに基づいて一義的に決定することができる。本実施形態では、遮光板１３０の形状や設置位置、レンズ１１０の向き、カメラ１０の画角、焦点距離、撮像素子の大きさなどに基づいて、遮光領域Ｘが予め特定されており、特定された遮光領域Ｘの情報が計算機３０のメモリに予め記憶されている。そのため、遮光領域設定部３４は、計算機３０のメモリに記憶された遮光領域の情報を取得することで、撮像画像内の遮光領域Ｘを設定することができる。なお、遮光領域設定部３４により設定された遮光領域Ｘの情報は、輝度検出部３５に送信される。

輝度検出部３５は、撮像画像全体の輝度を検出する。具体的には、輝度検出部３５は、カメラ１０で撮像された撮像画像の全ての画素の輝度の平均値を、撮像画像全体の輝度として算出する。また、輝度検出部３５は、撮像画像のうち、遮光領域設定部３４により設定された遮光領域Ｘの各画素の輝度をそれぞれ検出する。なお、輝度検出部３５により検出された撮像画像全体の輝度および遮光領域Ｘの各画素の輝度は、レンズ状態判断部３６に送信される。

レンズ状態判断部３６は、輝度検出部３５により検出された撮像画像全体の輝度と、遮光領域Ｘの各画素の輝度とに基づいて、レンズ１１０に泡が付着しているか否かを判断する。以下に、レンズ状態判断部３６による判断方法について説明する。

まず、レンズ状態判断部３６は、下記式（１）に示すように、輝度検出部３５により検出された撮像画像全体の輝度と、遮光領域Ｘの各画素の輝度との比が所定の第１判定値以上であるか否かを判断する。また、レンズ状態判断部３６は、遮光領域Ｘに対応する全ての画素について、遮光領域Ｘに対応する画素ごとに、下記式（１）の判断を行う。なお、第１判定値は、特に限定されず、実験などにより適宜設定することができる。
［式１］
（遮光領域Ｘの画素の輝度／撮像画像全体の輝度）＞ 第１判定値 ・・・（１）
そして、レンズ状態判断部３６は、遮光領域Ｘの画素のうち上記式（１）を満たす画素を、泡に対応する画素として判断する。たとえば、撮像画像全体の輝度が１００であり、第１判定値が０．５である場合に、遮光領域Ｘのある画素の輝度が４０である場合には、当該画素は泡に対応する画素ではないと判断され、一方、遮光領域Ｘのある画素の輝度が６０である場合には、当該画素は泡に対応する画素であると判断される。

続いて、レンズ状態判断部３６は、下記式（２）に示すように、遮光領域Ｘの画素のうち泡に対応すると判断された画素の割合が所定の第２判定値以上であるか否かを判断する。なお、第２判定値も、特に限定されず、実験などにより適宜設定することができる。
［式２］
（泡に対応すると判断された画素の数／遮光領域に対応する画素の数）≧ 第２判定値 ・・・（２）
そして、レンズ状態判断部３６は、上記式（２）を満たす場合に、レンズ１１０に泡が付着していると暫定的に判断する。

さらに、レンズ状態判断部３６は、カメラ１０により新たな撮像画像が撮像される度に、新たに撮像された撮像画像をカメラ１０から取得し、上記式（２）の条件を満たすか否かを繰り返し判断する。そして、レンズ状態判断部３６は、下記式（３）に示すように、直近数回（Ｎ回）の判断のうち、レンズ１１０に泡が付着していると判断された回数Ｍが、所定の第３判定値回数以上であるか否かを判断する。
［式３］
（直近Ｎ回の判断のうちレンズ１１０に泡が付着していると判断された回数Ｍ）≧ 第３判定値 ・・・（３）
そして、レンズ状態判断部３６は、上記式（３）を満たす場合に、レンズ１１０に泡が付着していると最終的に判断する。

たとえば、レンズ状態判断部３６は、直近に撮影された１０枚の撮像画像についてレンズ状態の判断を行う場合において、第３判定値が８回に設定されており、レンズ１１０に泡が付着していると判断された回数Ｍが９回である場合には、直近１０回の判断のうちレンズ１１０に泡が付着していると判断された回数が第３判定値以上であると判断し、レンズ１１０に泡が付着していると最終的に判断することができる。なお、第３判定値は、特に限定されず、実験などにより適宜設定することができる。
また、レンズ状態判断部３６は、輝度検出部３５により検出された遮光領域Ｘの全ての画素の輝度が所定値以上である場合、または、遮光領域Ｘの画素のうち一定割合以上の画素の輝度が所定値以上である場合に、レンズに泡が付着していると最終的に判断する構成としてもよい。

次に、本実施形態に係るレンズ状態判断処理および立体物検出処理について説明する。図２０は第１実施形態に係るレンズ状態判断処理を示すフローチャートであり、図２１は第１実施形態に係る立体物検出処理を示すフローチャートである。なお、本実施形態において、レンズ状態判断処理および立体物検出処理は並行して行われ、図２０に示すレンズ状態判断処理の判断結果に基づいて、図２１に示す立体物検出処理において、立体物の検出が制御される。なお、レンズ状態判断処理および立体物検出処理は、カメラ１０で撮像された最新の撮像画像に基づいて、計算機３０により、繰り返し実行される。

まず、図２０に示すレンズ状態判断処理について説明する。まず、ステップＳ１０１では、レンズ状態判断部３６により、レンズ状態を判断するための判断時間内であるか否かの判断が行われる。ここで、図２０に示すレンズ状態判断処理は、レンズ１１０上に泡が残留しているか否かを判断するものであり、洗浄液がレンズ１１０に吐出されてから所定時間が経過したタイミングでレンズ１１０上の泡を検出することで、レンズ１１０上に残留する泡を検出する。

すなわち、レンズ洗浄に適した洗浄液を使用している場合でも、洗浄液を吐出している間や吐出直後においてはレンズ１１０上に泡が発生する場合があり、この場合、吐出から所定時間が経過することでレンズ１１０上の泡が消失する。これに対して、洗浄液によっては、洗浄液の吐出後も泡が長時間消失せずに、レンズ１１０に泡が付着した状態が継続する場合がある。そして、このような場合に、後述する立体物検出処理により立体物検出を行ってしまうと、泡により立体物を適切に検出できない場合がある。そのため、本実施形態では、レンズ１１０上に泡が残留しているか否かを判断するために、まず、洗浄液が吐出されてから所定時間Ｔ_ｓｔｏｐが経過した動作時間Ｔ_ａｃｔ内であるか否かの判断が行われる。

ここで、図２２は、レンズ状態判断処理の動作時間Ｔ_ａｃｔを説明するための図であり、図１０に示すレンズ湿潤工程を表したものである。図２２に示すように、本実施形態では、レンズ湿潤工程において洗浄液が吐出されてから所定時間Ｔ_ｓｔｏｐが経過した後であり、次に洗浄液が吐出されるまでの時間が、レンズ状態判断処理を行う動作時間Ｔ_ａｃｔとして設定されている。そのため、レンズ状態判断部３６は、まず、現在が動作時間Ｔ_ａｃｔ内であるか否かを判断する。そして、現在が動作時間Ｔ_ａｃｔ内であると判断された場合には、レンズ状態の判断を行うためにステップＳ１０２に進み、一方、現在が動作時間Ｔ_ａｃｔ内ではないと判断された場合には、動作時間Ｔ_ａｃｔとなるまでステップＳ１０１で待機する。

ステップＳ１０２では、輝度検出部３５により、カメラ１０により撮像された最新の撮像画像が取得される。そして、ステップＳ１０３では、輝度検出部３５により、ステップＳ１０２で取得した撮影画像全体の輝度の平均値が、撮像画像全体の輝度として算出される。また、ステップＳ１０４では、輝度検出部３５により、ステップＳ１０２で取得した撮像画像のうち、遮光領域Ｘに対応する各画素の輝度が算出される。

なお、本実施形態では、遮光板１３０の形状や設置位置、レンズ１１０の向き、カメラ１０の画角、焦点距離、撮像素子の大きさなどに基づいて特定される遮光領域Ｘの情報が計算機３０のメモリに予め記憶されている。そして、ステップＳ１０４においては、記憶装置３０のメモリに記憶された遮光領域の情報が遮光領域設定部３４により取得されることで、撮像画像内の遮光領域Ｘが設定され、これにより、輝度検出部３５が、遮光領域設定部３４により設定された遮光領域Ｘの各画素の輝度を対象輝度として検出することができる。

次に、ステップＳ１０５〜Ｓ１０８の処理は、遮光領域に対応する画素ごとに実行される。なお、以下においては、処理対処となる遮光領域の画素を対象画素として説明する。

まず、ステップＳ１０５では、レンズ状態判断部３６により、上記式（１）に示すように、ステップＳ１０３で算出された撮像画像全体の輝度とステップＳ１０４で算出された対象画素の輝度との比が、第１判定値以上であるか否かの判断が行われる。そして、上記の輝度の比が第１判定値以上であると判断された場合には、ステップＳ１０６に進み、レンズ状態判断部３６により、対象画素は泡に対応する画素であると判断される。一方、上記の輝度の比が第１判定値未満である場合には、ステップＳ１０７に進み、レンズ状態判断部３６により、対象画素は泡に対応する画素ではないと判断される。

ステップＳ１０８では、レンズ状態判断部３６により、遮光領域Ｘに対応する全ての画素について、ステップＳ１０５〜Ｓ１０７の処理が行われたか否かの判断が行われる。遮光領域に対応する全ての画素についてステップＳ１０５〜Ｓ１０７の処理が行われた場合には、ステップＳ１０９に進む。一方、遮光領域Ｘに対応する全ての画素についてステップＳ１０５〜Ｓ１０７の処理が行われていない場合には、ステップＳ１０５に戻り、処理が行われていない遮光領域の画素が対象画素として選択され、ステップＳ１０５〜Ｓ１０７の処理が行われる。

ステップＳ１０９では、レンズ状態判断部３６により、上記式（２）に示すように、遮光領域に対応する全ての画素のうちステップＳ１０６において泡に対応すると判断された画素の割合が、所定の第２判定値以上であるか否かの判断が行われる。そして、上記画素の割合が第２判定値以上であると判断された場合には、ステップＳ１１０に進み、レンズ状態判断部３６により、レンズ１１０に泡が付着しているとの暫定的な判断が行われる。一方、上記画素の割合が第２判定値未満であると判断された場合には、ステップＳ１１０に進み、レンズ状態判断部３６により、レンズ１１０に泡が付着していないとの暫定的な判断が行われる。

ステップＳ１１２では、レンズ状態判断部３６により、上記式（３）に示すように、直近Ｎ回分のレンズ状態判断処理の判断結果に基づいて、レンズ１１０に泡が付着しているか否かの最終的な判断が行われる。すなわち、本実施形態においては、図１０に示す動作時間Ｔ_ａｃｔ内において、図２０に示すレンズ状態判断処理が繰り返し実行される。そして、このステップＳ１１２において、レンズ状態判断部３６は、今回のレンズ状態判断処理の判断結果と、過去のレンズ状態判断処理のうち直近数回（Ｎ−１）の判断結果とに基づいて、レンズ１１０に泡が付着していると判断された回数Ｍが、第３判定値以上であるか否かを判断する。そして、レンズ１１０に泡が付着していると判断された回数Ｍが第３判定値以上である場合には、ステップＳ１１３に進み、レンズ状態判断部３６により、レンズ１１０上に泡が付着しているとの最終的な判断が行われる。一方、レンズ１１０に泡が付着していると判断された回数Ｍが第３判定値未満である場合には、ステップＳ１１４に進み、レンズ状態判断部３６により、レンズ１１０上に泡が付着していないとの最終的な判断が行われる。

なお、本実施形態において、第３判定値は、固定値としてもよいし、あるいは、動作時間Ｔ_ａｃｔ内において時間の経過とともに変動する変動値としてもよい。また、第３判定値を変動値とする場合には、動作時間Ｔ_ａｃｔ内において時間が経過するほど、第３判定値の値を小さい値に変更する構成としてもよい。たとえば、図２２に示す例においては、動作時間Ｔ_ａｃｔが十数秒間あり、その間に、図２０に示すレンズ状態判断処理が繰り返し行われている。そこで、レンズ状態判断部３６は、直近１０回のレンズ状態判断処理の判断結果を用いてレンズ１１０上に泡が付着しているか否かを最終的に判断する場合において、たとえば時刻ｔ１においては第３判定値を８回に設定し、また、時刻ｔ１よりも後の時刻ｔ２においては第３判定値を６回に設定する構成とすることができる。また、レンズ状態判断部３６は、第３判定値を固定値とした場合には、レンズ状態の判断結果から、泡が消えているか否かを判断することもできる。なお、第３判定値の値は、特に限定されず、実験などにより適宜設定することができる。

以上のように、図２０に示すレンズ状態判断処理においては、レンズ１１０上に泡が残留していない場合には遮光板１３０により形成された遮光領域Ｘの輝度は低くなり、一方、レンズ１１０上に泡が残留している場合には、泡によって光が乱反射され、遮光板１３０により形成された遮光領域Ｘの輝度が高くなることを利用して、レンズ１１０上に泡が付着しているか否かを判断する。そして、このレンズ状態判断処理における判断結果は、次に説明する図２１の立体物検出処理に用いられる。

すなわち、図２１に示す立体物検出処理においては、まず、計算機３０により、カメラ１０から撮像画像のデータの取得が行われ（ステップＳ２０１）、視点変換部３１により、取得した撮像画像のデータに基づいて、鳥瞰視画像ＰＢ_ｔのデータが生成される（ステップＳ２０２）。

次いで、位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔのデータと、一時刻前の鳥瞰視画像ＰＢ_ｔ−１のデータとを位置合わせをし、差分画像ＰＤ_ｔのデータを生成する（ステップＳ２０３）。具体的には、位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化し、当該絶対値が所定の差分閾値ｔｈ以上であるときに、差分画像ＰＤ_ｔの画素値を「１」とし、絶対値が所定の差分閾値ｔｈ未満であるときに、差分画像ＰＤ_ｔの画素値を「０」とする。

なお、ステップＳ２０３においては、図２０に示すレンズ状態判断処理の判断結果に基づいて、差分閾値ｔｈを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、差分閾値ｔｈを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

次に、立体物検出部３３は、差分画像ＰＤ_ｔのデータから、画素値が「１」の差分画素ＤＰの数をカウントして、差分波形ＤＷ_ｔを生成する（ステップＳ２０４）。そして、立体物検出部３３は、差分波形ＤＷ_ｔのピークが所定の閾値α以上であるか否かを判断する（ステップＳ２０５）。差分波形ＤＷ_ｔのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像内には立体物が存在しないと考えられる。このため、差分波形ＤＷ_ｔのピークが閾値α以上でないと判断した場合には（ステップＳ２０５＝Ｎｏ）、立体物検出部３３は、立体物が存在しないと判断する（ステップＳ２１４）。そして、ステップＳ２０１に戻り、図２１に示す処理を繰り返す。

なお、ステップＳ２０５においても、図２０に示すレンズ状態判断処理の判断結果に基づいて、閾値αを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、閾値αを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

一方、差分波形ＤＷ_ｔのピークが閾値α以上であると判断した場合には（ステップＳ２０５＝Ｙｅｓ）、立体物検出部３３により、隣接車線に立体物が存在すると判断され、ステップＳ２０６に進み、立体物検出部３３により、差分波形ＤＷ_ｔが、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割される。次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けを行い（ステップＳ２０７）、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量を算出し（ステップＳ２０８）、重みを加味してヒストグラムを生成する（ステップＳ２０９）。

そして、立体物検出部３３は、ヒストグラムに基づいて自車両Ｖ１に対する立体物の移動距離である相対移動距離を算出する（ステップＳ２１０）。次に、立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（ステップＳ２１１）。このとき、立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出するとともに、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

ステップＳ２１２では、立体物検出部３３により、立体物の絶対移動速度が１０Ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する立体物の相対移動速度が＋６０Ｋｍ／ｈ以下であるか否かの判断が行われる。双方を満たす場合には（ステップＳ２１２＝Ｙｅｓ）、立体物検出部３３は、検出した立体物は隣接車線に存在する他車両Ｖ２であり、隣接車線に他車両Ｖ２が存在すると判断する（ステップＳ２１３）。一方、いずれか一方でも満たさない場合には（ステップＳ２１２＝Ｎｏ）、立体物検出部３３は、隣接車線に他車両Ｖ２が存在しないと判断する（ステップＳ２１４）。

なお、本実施形態では自車両Ｖ１の左右後方を検出領域Ａ１，Ａ２とし、自車両Ｖ１が車線変更した場合に接近する可能性があるか否かに重点を置いている。このため、ステップＳ２１２の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、他車両Ｖ２の速度が１０ｋｍ／ｈ未満である場合、たとえ他車両Ｖ２が存在したとしても、車線変更する際には自車両Ｖ１の遠く後方に位置するため問題となることが少ない。同様に、他車両Ｖ２の自車両Ｖ１に対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、他車両Ｖ２が自車両Ｖ１の速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖ１の前方に移動しているため問題となることが少ない。このため、ステップＳ２１２では車線変更の際に問題となる他車両Ｖ２を判断しているともいえる。

また、ステップＳ２１２において他車両Ｖ２の絶対移動速度が１０ｋｍ／ｈ以上、且つ、他車両Ｖ２の自車両Ｖ１に対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を他車両Ｖ２であると判断してしまう可能性を低減することができる。また、ノイズによっては他車両Ｖ２の自車両Ｖ１に対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。

さらに、ステップＳ２１２の処理に代えて、他車両Ｖ２の絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両Ｖ１が車線変更した場合に接近する可能性がある否かに重点を置いているため、ステップＳ２１３において自車両に接近する他車両Ｖ２が検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。

なお、他車両Ｖ２の絶対移動速度が１０ｋｍ／ｈ以上であるか、他車両Ｖ２の自車両Ｖ１に対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断する際の各速度は一例であり、この速度に限定されるものではない。たとえば、他車両Ｖ２の絶対移動速度が２０ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する他車両Ｖ２の相対移動速度が＋５０ｋｍ／ｈ以下である場合に、立体物は検出対象である他車両Ｖ２であると判断することができる。

さらに、本実施形態では、図２０に示すレンズ状態判断処理の判断結果に基づいて、立体物が他車両Ｖ２であるか否かを判断する際の条件を変更する構成としてもよい。たとえば、レンズ状態判断処理において、レンズ１１０上に泡が付着していないと判断された場合には、他車両Ｖ２の絶対移動速度が１０ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する他車両Ｖ２の相対移動速度が＋６０ｋｍ／ｈ以下である場合に、立体物は検出対象である他車両Ｖ２であると判断し、一方、レンズ１１０上に泡が付着していないと判断された場合には、たとえば、他車両Ｖ２の絶対移動速度が２０ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する他車両Ｖ２の相対移動速度が＋５０ｋｍ／ｈ以下である場合に、立体物は検出対象である他車両Ｖ２であると判断する構成としてもよい。このように、レンズ１１０に泡が付着していると判断された場合に、他車両Ｖ２の検出が検出され難いように速度条件を変更することで、泡による他車両Ｖ２の誤検出を有効に防止することができる。

以上のように、第１実施形態では、撮像画像全体の輝度と遮光領域に対応する各画素の輝度との比に基づいて、レンズ１１０に泡が付着しているか否かを判断する。ここで、レンズ１１０に泡が付着しているか否かを判断する方法として他に、撮像画像から泡に対応する円形状のエッジを検出する方法も考えられる。しかしながら、円形状のエッジを検出する場合には、演算量が多くなり、レンズ１１０の泡を迅速に検出できない場合があった。これに対して、本実施形態では、単に、撮像画像全体の輝度と遮光領域に対応する各画素の輝度との比を求めることで、レンズ１１０上に泡が付着しているか否かを判断することができるため、演算量を小さくすることができ、レンズ１１０上の泡を迅速に検出することができる。

また、第１実施形態では、上記式（１）に示すように、撮像画像全体の輝度と遮光領域Ｘの各画素の輝度との比が第１判定値以上であるか否かを判断することで、遮光領域Ｘの各画素が泡に対応する画素であるか否かを判断する。そして、上記式（２）に示すように、遮光領域Ｘに対応する画素のうち泡に対応する画素の割合が第２判定値以上であるか否かを判断することで、レンズ１１０に泡が付着しているか否かを暫定的に判断する。さらに、上記式（３）に示すように、直近数回分の判断結果のうちレンズ１１０に泡が付着していると判断された判断結果が、第３判定値以上であるか否かを判断することで、レンズ１１０に泡が付着していると最終的に判断する。このように、本実施形態では、レンズ１１０上に付着している泡に対応する画素を判断し、泡に対応する画素の割合に基づいて、レンズ１１０上に泡が付着しているか否か判断することで、レンズ１１０上に泡が付着しているか否かを適切に判断することができる。また、直近数回分の判断結果を用いて、レンズ１１０上に泡が付着しているか否かを判断することで、レンズ１１０上に泡が付着しているか否かをより高い精度で判断することができる。

さらに、本実施形態では、洗浄液の吐出が行われた後、所定時間Ｔ_ｓｔｏｐが経過した後に、レンズ１１０上に泡が付着しているか否かを判断することで、レンズ１１０上に残留し、立体物検出に影響のある泡の存在を適切に判断することができる。

また、本実施形態では、レンズ１１０に泡が付着していると判断された場合に、立体物が検出され難いように、差分閾値ｔｈ、閾値α、あるいは立体物が他車両Ｖ２であるか否かを判断するための基準速度を変更することで、立体物の検出を抑制する。これにより、レンズ１１０に泡が付着している場合に、泡の影響によって立体物を誤検出してしまうことを有効に防止することができる。

《第２実施形態》
続いて、第２実施形態に係る立体物検出装置１について説明する。第２実施形態に係る立体物検出装置１は、第１実施形態に係る立体物検出装置１と同様の構成を備え、以下に説明する点以外は、第１実施形態と同様に動作する。ここで、図２３は、第２実施形態において設定される遮光領域Ｘの一例を示す図である。以下においては、図２３を参照して、第２実施形態に係る立体物検出装置１について説明する。

たとえば、走行環境、カメラ１０の設置位置、レンズ洗浄装置１２０のノズル１２１の吐出口１２１ａ，１２１ｂの位置などによっては、レンズ１１０に付着した泡が遮光領域Ｘの一部に偏る場合がある。このような場合に、遮光領域Ｘ全体の画素に対する泡に対応する画素の割合は低くなり、レンズ１１０上に泡が付着していないと判断されてしまう場合がある。そこで、第２実施形態では、図２３に示すように、遮光領域Ｘを２つの遮光領域Ｘ１，Ｘ２に分け、それぞれの遮光領域Ｘ１, Ｘ２ごとに、レンズ１１０に泡が付着しているか否かを判断する。

以下に、上述した図２０を参照して、第２実施形態に係るレンズ状態判断処理の詳細を説明する。なお、第１実施形態のレンズ状態判断処理と処理内容が重複する部分については説明を省略する。

すなわち、第２実施形態では、ステップＳ１０４において、遮光領域Ｘ１の各画素の輝度および遮光領域Ｘ２の各画素の輝度の検出が行われる。そして、ステップＳ１０５では、遮光領域Ｘ１，Ｘ２の画素ごとに、上記式（１）を満たすか否かの判断が行われ、当該判断結果に基づいて、遮光領域Ｘ１，Ｘ２の各画素が泡に対応する画素であるか否か判断される（ステップＳ１０６，Ｓ１０７）。

さらに、第２実施形態では、ステップＳ１０９において、遮光領域Ｘ１に対応する画素のうち泡に対応すると判断された画素の割合が第２判定値以上であるか否かの判断が行われる。また同様に、もう一方の遮光領域Ｘ２に対応する画素のうち泡に対応すると判断された画素の割合が第２判定値以上であるか否かの判断も行われる。このように、第２実施形態では、分割した２つの遮光領域Ｘ１，Ｘ２のそれぞれについて泡が付着しているか否かの判断が行われる。

そして、レンズ状態判断部３６は、遮光領域Ｘ１および遮光領域Ｘ２のうち少なくとも１つの遮光領域において泡が付着していると判断された場合には、ステップＳ１１０に進み、レンズ１１０に泡が付着していると暫定的に判断する。一方、レンズ状態判断部３６は、遮光領域Ｘ１および遮光領域Ｘ２の両方において泡が付着していないと判断された場合には、ステップＳ１１１に進み、レンズ１１０に泡が付着していないと暫定的に判断する。

これにより、たとえば、遮光領域Ｘの全体のうち、遮光領域Ｘ１に泡が偏って付着している場合には、遮光領域Ｘ全体における泡に対応する画素の割合が第２判定値未満となる場合でも、遮光領域Ｘ１における泡に対応する画素の割合が第２判定値以上となり、レンズ１１０に泡が付着していると暫定的に判断される。

なお、ステップＳ１１２以降の処理および図２１に示す立体物検出処理については、第１実施形態と同様に行うことができる。すなわち、レンズ１１０に泡が付着していると最終的に判断された場合には、立体物が検出され難いように検出条件を変更することで、立体物の検出を抑制する構成とすることができる。

以上のように、第２実施形態では、遮光領域Ｘを遮光領域Ｘ１と遮光領域Ｘ２とに分け、２つの遮光領域Ｘ１，Ｘ２のそれぞれについて、泡が付着しているか否かを判断する。そして、いずれか一方の遮光領域Ｘ１，Ｘ２において泡が付着していると判断された場合には、レンズ１１０に泡が付着していると暫定的に判断する。これにより、第２実施形態では、泡が遮光領域Ｘの左右一方に偏ってしまうことで遮光領域Ｘにおいて泡に対応する画素の割合が低くなり、レンズ１１０に泡が付着していないと判断されてしまうことを有効に防止することができる。

なお、上述した第２実施形態では、遮光領域Ｘ１および遮光領域Ｘ２のうち少なくとも一方において泡が付着していると判断された場合に、レンズ１１０に泡が付着していると判断して、立体物の検出を抑制する構成を例示したが、この構成に限定されず、たとえば、以下のような構成とすることもできる。すなわち、撮像画像左側の遮光領域Ｘ１において泡が付着していると判断された場合には、撮像画像左側の検出領域Ａ１での立体物の検出を抑制し、一方、撮像画像右側の遮光領域Ｘ２において泡が付着していると判断された場合には、撮像画像右側の検出領域Ａ２での立体物の検出を抑制する構成としてもよい。この場合、泡の影響が少ない検出領域においては、立体物を適切に検出することができる。

また、上述した第２実施形態では、遮光領域Ｘを左右に均等な２つの遮光領域Ｘ１，Ｘ２に分割する構成を例示したが、この構成に限定されず、分割した遮光領域の数、位置、形状などは特に限定されない。たとえば、遮光領域Ｘを左右に４つの遮光領域に分割する構成としてもよいし、あるいは、遮光領域Ｘを上下に分割する構成としてもよい。

《第３実施形態》
続いて、第３実施形態に係る立体物検出装置１について説明する。第３実施形態に係る立体物検出装置１は、第１実施形態に係る立体物検出装置１と同様の構成を備え、以下に説明する点以外は、第１実施形態と同様に動作する。ここで、図２４は、直射日光がカメラ１０に入射している場面の撮像画像の一例を示す図であり、図２５は、第３実施形態に係るレンズ状態判断処理を説明するための図である。以下においては、図２４および図２５を参照して、第３実施形態に係る立体物検出装置１について説明する。

たとえば、図３に示すように、レンズ１１０の上側前方に遮光板１３０を設けている場合でも、カメラ１０の設置位置、画角、焦点距離、撮像素子の大きさなどによっては、図２４に示すように、遮光領域Ｘ内に直射日光が差し込み、遮光領域Ｘの画素の輝度が高くなる場合がある。この場合、レンズ１１０に泡が付着していない場合でも、レンズ１１０に泡が付着していると誤判断される場合がある。

そこで、第３実施形態では、図２５に示すように、遮光板１３０により形成される遮光領域Ｘよりも下側であり、かつ、地平線よりも上側の領域を空領域Ｙとして特定し、空領域Ｙの各画素の輝度に基づいて、遮光領域Ｘ内に直射日光が差し込んでいるか否かを判断する。そして、遮光領域Ｘ内に直射日光が差し込んでいると判断した場合には、たとえ上記式（１）〜（３）の条件を満たす場面であっても、レンズ１１０に泡が付着していないと判断する。

以下に、図２６を参照して、第３実施形態に係るレンズ状態判断処理の詳細について説明する。図２６は、第３実施形態に係るレンズ状態判断処理を示すフローチャートである。

第３実施形態では、第１実施形態と同様に、まず、動作時間Ｔ_ａｃｔ内であるか否かの判断が行われ（ステップＳ３０１）、動作時間Ｔ_ａｃｔ内であると判断された場合に（ステップＳ３０１＝Ｙｅｓ）、撮像画像の取得が行われる（ステップＳ３０２）。

そして、ステップＳ３０３では、レンズ状態判断部３６により、図２５に示す空領域Ｙの特定が行われる。具体的には、レンズ状態判断部３６は、図２５に示すように、遮光板１３０により形成される遮光領域Ｘよりも下側の領域であり、かつ、地平線よりも上側の領域を、空領域Ｙとして特定する。なお、レンズ状態判断部３６は、遮光領域設定部３４から遮光領域Ｘの情報を取得することができる。また、レンズ状態判断部３６は、たとえば、撮像画像から消失点を検出し、当該消失点近傍を通る水平線を地平線として特定することができる。

ステップＳ３０４では、輝度検出部３５により、ステップＳ３０３で特定された空領域Ｙの各画素の輝度の検出が行われる。そして、ステップＳ３０５において、レンズ状態判断部３６は、空領域Ｙに対応する画素のうちステップＳ３０４で検出された所定値以上の輝度の画素を直射日光に対応する画素として検出し、空領域Ｙに対応する全ての画素のうち直射日光に対応する画素の割合が所定割合以上であるか否かを判断する。

直射日光に対応する画素の割合が所定割合以上であると判断された場合には、直射日光が遮光領域Ｘ内に差し込んでいると判断して、ステップＳ３１７に進み、ステップＳ３１７において、レンズ１１０上に泡が付着していないとの最終的な判断が行われる。一方、直射日光に対応する画素の割合が所定割合未満であると判断された場合には、直射日光が遮光領域Ｘ内に差し込んでいないと判断し、ステップＳ３０６に進み、第１実施形態と同様に、遮光領域Ｘの輝度を用いてレンズ１１０上に泡が付着しているか否かの判断が行われる。

なお、ステップＳ３０６〜Ｓ３１７は、第１実施形態に係るステップＳ１０３〜Ｓ１１４と同様の処理のため説明は省略する。また、図２１に示す立体物検出処理も、第１実施形態と同様に行われる。すなわち、レンズ１１０に泡が付着していると最終的に判断された場合には、立体物の検出を抑制するように立体物の検出条件が変更される。

以上のように、第３実施形態に係る立体物検出装置１は、遮光板１３０により形成される遮光領域Ｘよりも下側であり、かつ、地平線よりも上側の領域を、空領域Ｙとして特定し、空領域Ｙの各画素の輝度に基づいて、直射日光が遮光領域Ｘ内に差し込んでいるか否かを判断する。そして、直射日光が遮光領域Ｘ内に差し込んでいると判断された場合には、レンズ１１０に泡が付着していないと判断する。これにより、第３実施形態では、第１実施形態の効果に加えて、遮光領域Ｘ内に直射日光が差し込み、遮光領域Ｘの画素の輝度が高くなることで、レンズ１１０に泡が付着していないのに、レンズ１１０に泡が付着していると誤判断されることを有効に抑制することができる。

なお、上述した第３実施形態では、直射日光が遮光領域Ｘ内に差し込んでいると判断された場合に、レンズ１１０に泡が付着していないとの判断を行う構成を例示したが、この構成に限定されず、たとえば、直射日光が遮光領域Ｘ内に差し込んでいると判断された場合に、レンズ１１０に泡が付着していると判断し難くなるように、上述した第１判定値から第３判定値までの検出条件を変更する構成としてもよい。

また、空領域Ｙの各画素の輝度に基づいて、直射日光が遮光領域Ｘ内に差し込んでいると判断された場合に、図２６に示すレンズ状態判断処理を行わない構成とすることもできる。また、上述した実施形態では、空領域の輝度のうち所定値以上の輝度の画素の割合が所定割合以上である場合に、直射日光が遮光領域Ｘ内に差し込んでいると判断する構成を例示したが、この構成に限定されず、たとえば、空領域Ｙにおいて、所定輝度以上かつ所定範囲以上の画素のまとまりを検出した場合に、直射日光が遮光領域Ｘに差し込んでいると判断する構成としてもよい。さらに、遮光領域Ｘのうち直射日光が差し込んでいる部分の画素を除外して、レンズ状態を判断する構成としてもよい。さらに、上述した実施形態は、直射日光に限定されず、街灯などの高輝度な光にも適用することができる。

《第４実施形態》
続いて、第４実施形態に係る立体物検出装置１について説明する。第４実施形態に係る立体物検出装置１は、第１実施形態に係る立体物検出装置１と同様の構成を備え、以下に説明する点以外は、第１実施形態と同様に動作する。

第４実施形態に係るカメラ１０は、自動露光補正機能を備えており、撮像画像の輝度を自動で補正することができる。たとえば、カメラ１０は、夜間など自車両周辺が暗い場合には、適正な輝度の撮像画像が得られるように、撮像素子のゲインを増幅することで、撮像画素の輝度を補正することができる。

一方、自動露光補正により撮影画像の各画素の輝度を高くした場合には、遮光領域Ｘに対応する画素の輝度も高くなり、その結果、レンズ１１０に泡が付着していない場合でも、レンズ１１０上に泡が付着していると誤判断されてしまう場合がある。

そこで、第４実施形態において、レンズ状態判断部３６は、自動露光補正が行われた場合には、自動露光補正が行われる前の撮像画像を用いて、レンズ１１０に泡が付着しているか否かを判断する。

具体的には、レンズ状態判断部３６は、撮像画像とともに、自動露光補正に用いられたパラメータ（露光補正量）をカメラ１０から取得する。そして、レンズ状態判断部３６は、自動露光補正が行われた撮像画像を、自動露光補正に用いられたパラメータ（露光補正量）を用いて自動露光補正が行われる前の画像に変換する。そして、レンズ状態判断部３６は、変換した自動露光補正前の撮像画像に基づいて、レンズ１１０に泡が付着しているか否かを判断する。

たとえば、上述した図２０に示すレンズ状態判断処理において、レンズ状態判断部３６は、ステップＳ１０２において、撮像画像とともに自動露光補正に用いられたパラメータ（露光補正量）をカメラ１０から取得する。そして、レンズ状態判断部３６は、撮像画像を、自動露光補正に用いられたパラメータ（露光補正量）を用いて、露光補正前の撮像画像に変換する。そして、レンズ状態判断部３６は、変換した露光補正前の撮像画像を用いて、ステップＳ１０３〜Ｓ１１４の処理を行うことができる。

以上のように、第４実施形態では、自動露光補正が行われた場合には、自動露光補正が行われた撮像画像を、自動露光補正に用いられたパラメータ（露光補正量）を用いて、自動露光補正前の撮像画像に変換する。そして、変換した自動露光補正前の撮像画像に基づいて、レンズ１１０に泡が付着しているか否かを判断する。これにより、第４実施形態では、第１実施形態の効果に加えて、カメラ１０により自動露光補正が行われた場合でも、レンズ１１０に泡が付着しているか否かを適切に判断することができる。

なお、上述した第４実施形態では、自動露光補正が行われた場合に、露光補正後の撮像画像を露光補正前の撮像画像に変換し、変換した露光補正前の撮像画像を用いて、レンズ１１０に泡が付着しているか否かを判断する構成を例示したが、この構成に限定されず、たとえば、自動露光補正により画像の輝度を高くする補正が行われた場合に、レンズ１１０に泡が付着しているか否かを判断するための条件（たとえば第１判定値から第３判定値）を高くする構成としてもよいし、反対に、自動露光補正により画像の輝度を低くする補正が行われた場合に、レンズ１１０に泡が付着しているか否かを判断するための条件（たとえば第１判定値から第３判定値）を低くする構成としてもよい。この場合も、自動露光補正によりレンズ１１０に泡が付着していると誤判断されてしまうことを有効に抑制することができる。

また、自動露光補正後の撮像画像と、自動露光補正前の撮像画像とを出力するカメラ１０を備える構成としてもよい。このようなカメラ１０としては、たとえば、蛍光看板（または蛍光看板に表示された文字）を検出するために露光補正を行っていない撮像画像を出力するとともに、ユーザに車両周辺の状態を表示するために露光補正を行った撮像画像を出力するカメラなどが挙げられる。そして、このようなカメラ１０を備える場合には、自動露光補正が行われた場合に、自動露光補正前の撮像画像を用いて、レンズ状態を判断する構成とすることができる。

なお、カメラ１０は、たとえば照度計を備えており、この照度計による計測値に基づいて、自車両Ｖ１の周辺が暗いか否かを判断することで、自動露光補正を行うか否かを決定することができる。また、カメラ１０は、撮像画像の輝度に基づいて、自車両Ｖ１の周辺が暗いか否かを判断することで、自動露光補正を行うか否かを決定することもできる。

《第５実施形態》
続いて、第５実施形態に係る立体物検出装置１ａについて説明する。第５実施形態に係る立体物検出装置１ａは、図２７に示すように、第１実施形態の計算機３０に代えて、計算機３０ａを備えており、以下に説明するように動作すること以外は、第１実施形態と同様である。ここで、図２７は、第５実施形態に係る計算機３０ａの詳細を示すブロック図である。

第５実施形態にかかる立体物検出装置１ａは、図２７に示すように、カメラ１０と計算機３０ａとを備えており、計算機３０ａは、視点変換部３１、輝度差算出部３７、エッジ線検出部３８、立体物検出部３３ａ、遮光領域設定部３４、輝度検出部３５、およびレンズ状態判断部３６を備えている。以下に、第５実施形態に係る立体物検出装置１ａの各構成について説明する。なお、視点変換部３１、遮光領域設定部３４、輝度検出部３５、およびレンズ状態判断部３６については、第１実施形態と同様の構成であるため、その説明は省略する。

図２８は、図２７のカメラ１０の撮像範囲等を示す図であり、図２８（ａ）は平面図、図２８（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示す。図２８（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。

本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ_１〜ｄ_４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。

ここで、距離ｄ１は、自車両Ｖ１から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する他車両Ｖ２等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ１１及び白線Ｗから他車両Ｖ２が走行すると予測される位置までの距離ｄ１２から、他車両Ｖ２の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０ａは、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、他車両Ｖ２が走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。

距離ｄ２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両Ｖ２等であるため、距離ｄ３は、他車両Ｖ２を含む長さに設定される。

距離ｄ４は、図２８（ｂ）に示すように、実空間において他車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図２８（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの隣隣接車線）を含まない長さとすることもできる。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に他車両Ｖ２が存在するのか、２車線隣りの隣隣接車線に隣他車両が存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図２８（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。

輝度差算出部３７は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３７は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３７は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

ここでは、鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３７は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３７は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３７の動作について詳細に説明する。

輝度差算出部３７は、図２９（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また輝度差算出部３７は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３７は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３７は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図２９（ｂ）に示す関係となる。図２９（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３７は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。特に、第５実施形態では、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。このため、図２７に示すエッジ線検出部３８は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図３０は、輝度差算出部３７の詳細動作を示す図であり、図３０（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図３０（ｂ）は、図３０（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図３０についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に他車両Ｖ２が映っていた場合に、図３０（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に他車両Ｖ２が現れる。図３０（ｂ）に図３０（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、他車両Ｖ２のタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３７は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１ａにおいて、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば他車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた他車両Ｖ２のタイヤのホイール上に設定される。

次に、輝度差算出部３７は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図３０（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３７は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３７は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３７は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３７は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３７は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３７は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３７は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３７は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３７は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

このように、第５実施形態では、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。

図２７に戻り、エッジ線検出部３８は、輝度差算出部３７により算出された連続的な輝度差から、エッジ線を検出する。例えば、図３０（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３８は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部３８は、エッジ線を検出するにあたり、先ず下記式４に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
［式４］
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記式４において、ｔはエッジ閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記式４によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉからエッジ閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３８は、下記式５に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
［式５］
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３８は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３８は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。そして、エッジ線検出部３８は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。

すなわち、エッジ線検出部３８は、下記式６に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３８は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
［式６］
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

このように、第５実施形態では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図３１は、エッジ線検出部３８の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３８は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３８は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

図２７に戻り、立体物検出部３３ａは、エッジ線検出部３８により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１ａは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、立体物検出部３３ａは、エッジ線検出部３８により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、立体物検出部３３ａは、エッジ線検出部３８により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部３８により検出されたエッジ線は、立体物のエッジ線であるものと判断する。

さらに、立体物検出部３３ａは、立体物を検出するに先立って、エッジ線検出部３８により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部３３ａは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値ｔｂ以上である否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値ｔｂは、実験等により予め設定された値である。

図３２は、エッジ線の輝度分布を示す図であり、図３２（ａ）は検出領域Ａ１に立体物としての他車両Ｖ２が存在した場合のエッジ線及び輝度分布を示し、図３２（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図３２（ａ）に示すように、鳥瞰視画像において他車両Ｖ２のタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図３２（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて、立体物検出部３３ａは、エッジ線が誤判定により検出されたものか否かを判定する。たとえば、カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。上述したように、他車両Ｖ２のタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。そのため、立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。

具体的には、立体物検出部３３ａは、下記式７，８の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記式７は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記式８は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
［式７］
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝^２］
［式８］
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお、上記式８に限らず、下記式９のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
［式９］
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部３３ａは、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。

次に、図３３を参照して、第５実施形態に係る立体物検出処理について説明する。図３３は、第５実施形態に係る立体物検出処理を示すフローチャートである。なお、図３３においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

また、以下に説明する立体物検出処理は、第１実施形態と同様に、図２０に示すレンズ状態判断処理と並行して行われる。そして、図２０に示すレンズ状態判断処理の判断結果に基づいて、図３３に示す立体物検出処理での立体物の検出の制御が行われる。なお、第２実施形態においても、レンズ状態判断処理および立体物検出処理は、カメラ１０で撮像された最新の撮像画像に基づいて、計算機３０ａにより、繰り返し実行される。

まず、ステップＳ４０１では、カメラ１０により、画角ａ及び取付位置によって特定された所定領域の撮像が行われ、計算機３０ａにより、カメラ１０により撮像された撮像画像Ｐの画像データが取得される。次に視点変換部３１は、ステップＳ４０２において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。

次に輝度差算出部３７は、ステップＳ４０３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３７は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３７は、ステップＳ４０４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３７は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

次に輝度差算出部３７は、ステップＳ４０５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３７は、エッジ線検出部３８によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３７は、ステップＳ４０６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部３７は、ステップＳ４０７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。そして、エッジ線検出部３８は、輝度差算出部３７により算出された輝度差に基づいて、上記式４に従って、各注目点Ｐａの属性ｓを算出する。

なお、本実施形態では、立体物のエッジを検出するためのエッジ閾値ｔを用いて、各注目点Ｐａの属性ｓが算出される。また、本実施形態では、図２０に示すレンズ状態判断処理の判断結果に基づいて、エッジ閾値ｔを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、エッジ閾値ｔを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

次にエッジ線検出部３８は、ステップＳ４０８において、上記式５に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。そして、エッジ線検出部３８は、ステップＳ４０９において、上記式６に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合（ステップＳ４０９＝Ｙｅｓ）、エッジ線検出部３８は、ステップＳ４１０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ４１１に移行する。正規化した値が閾値θより大きくないと判断した場合（ステップＳ４０９＝Ｎｏ）、エッジ線検出部３８は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ４１１に移行する。

なお、本実施形態では、図２０に示すレンズ状態判断処理の判断結果に基づいて、閾値θを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、閾値θを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

ステップＳ４１１において、計算機３０ａは、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ４０３〜ステップＳ４１０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（ステップＳ４１１＝Ｎｏ）、ステップＳ４０３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ４１１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（ステップＳ４１１＝Ｙｅｓ）、処理はステップＳ４１２に移行する。

ステップＳ４１２において、立体物検出部３３ａは、ステップＳ４１０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部３３ａは、上記式７，８，９の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部３３ａは、ステップＳ４１３において、エッジ線のうち、輝度変化が所定の閾値ｔｂ以上のエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値ｔｂとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、立体物検出部３３ａは、エッジ線のうち、輝度変化が所定の閾値ｔｂ未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車線に存在する立体物を検出する。

なお、本実施形態では、図２０に示すレンズ状態判断処理の判断結果に基づいて、閾値ｔｂを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、閾値ｔｂを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

次いで、ステップＳ４１４では、立体物検出部３３ａにより、エッジ線の量が、所定の閾値β以上であるか否かの判断が行われる。ここで、閾値βは、予め実験等によって求めておいて設定された値であり、たとえば、検出対象の立体物として四輪車を設定した場合に、当該閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が閾値β以上であると判定された場合（ステップＳ４１４＝Ｙｅｓ）には、ステップＳ４１５に進み、立体物検出部３３ａにより、検出領域Ａ１内に他車両Ｖ２が存在するものと判断される。一方、エッジ線の量が閾値β以上ではないと判定された場合（ステップＳ４１４＝Ｎｏ）には、ステップＳ４１６に進み、立体物検出部３３ａにより、検出領域Ａ１内に立体物が存在しないものと判断される。

なお、本実施形態では、図２０に示すレンズ状態判断処理の判断結果に基づいて、閾値βを変更する構成としてもよい。この場合、レンズ１１０に泡が付着していると判断された場合には、レンズ１１０に泡が付着していないと判断された場合よりも、閾値βを高い値に設定することができる。これにより、レンズ１１０に泡が付着していると判断された場合に、立体物の検出を抑制することができ、泡による立体物の誤検出を有効に防止することができる。

以上のように、第５実施形態では、第１実施形態の効果に加えて、検出領域Ａ１，Ａ２において被写体のエッジを検出し、該エッジに基づいて他車両Ｖ２を検出する場合でも、レンズ１１０に泡が付着しているか否かの判断結果に基づいて、自車両Ｖ１に接近する他車両Ｖ２の検出を適切に制御することができる。特に、第５実施形態では、レンズ１１０に泡が付着していると判断された場合に、エッジ閾値ｔ、閾値θ、閾値β、閾値ｔｂを高い値に変更することで、レンズ１１０に付着した泡による立体物の誤検出を有効に抑制することができる。

《第６実施形態》
続いて、第６実施形態に係る立体物検出装置１について説明する。第６実施形態に係る立体物検出装置１は、第１実施形態に係る立体物検出装置１と同様の構成を備え、以下に説明する点以外は、第１実施形態と同様に動作する。すなわち、第６実施形態においては、レンズ状態判断部３６による判断結果が、レンズ洗浄に適した洗浄液を使用しているか否かの判断、または、洗浄液の吐出が正常に動作しているかを判断するために用いられる。

ここで、図３４は、第６実施形態に係るレンズ状態判断処理を説明するための図であり、図１０に示す洗浄工程を表している。図３４に示すように、第６実施形態では、洗浄工程における洗浄動作に合わせてレンズ状態判断処理の動作時間Ｔ_ａｃｔが設定されている。そして、レンズ状態判断部３６は、洗浄工程における洗浄動作に合わせて、図２０に示すレンズ状態判断処理を繰り返し行い、レンズ状態判断処理の判断結果を、レンズ洗浄に適切な洗浄液が用いられているか否かの判断に用いる。

たとえば、レンズ状態判断部３６は、洗浄工程において適切な洗浄液を用いた場合に泡が発生し難いレンズ洗浄装置１２０を備えている場合には、洗浄工程において泡が検知された場合には、レンズ洗浄に適していない洗浄液が使用されていると判断することができる。一方、レンズ状態判断部３６は、洗浄工程において適切な洗浄液を用いた場合に泡が発生し易いレンズ洗浄装置１２０を使用している場合に、洗浄工程において泡が検知されない場合に、レンズ洗浄に適していない洗浄液が使用されていると判断することもできる。

また、レンズ状態判断部３６は、図１０に示すレンズ湿潤工程において、図２０に示すレンズ状態判断処理を繰り返し行い、レンズ湿潤工程において泡が検知できるか否かを判断することで、洗浄液の吐出が正常に行われているか否かを判断することができる。この場合、図２２に示すように、洗浄液の吐出後、一定時間Ｔ_ｓｔｏｐが経過してから泡を検知するのではなく、レンズ湿潤工程の間中、泡を検知することが好ましい。洗浄液の吐出時や吐出直後は、レンズ洗浄に適した洗浄液を使用している場合でも泡が検出されるが、洗浄液の吐出が正常に行われていない場合には、洗浄液の吐出時や吐出直後であっても泡が検出されない場合があるためである。

以上のように、第６実施形態では、洗浄工程においてレンズ１１０に泡が付着しているか否かを判断し、この判断結果を、レンズ洗浄に適した洗浄液が使用されているか否かの判断に用いることで、第１実施形態の効果に加えて、レンズ洗浄に適した洗浄液が使用されているか否かを適切に判断することができる。また、第６実施形態では、洗浄工程においてレンズ１１０に泡が付着しているか否かを判断し、この判断結果を、洗浄液の吐出が正常に行われているか否かの判断に用いることで、第１実施形態の効果に加えて、洗浄液の吐出が正常に行われているか否かを適切に判断することもできる。

《第７実施形態》
続いて、第７実施形態に係る立体物検出装置１について説明する。第７実施形態に係る立体物検出装置１ｂにおいては、第１実施形態に係るカメラ装置１００に代えて、図３５に示すカメラ装置１００ａを備え、以下に説明するように動作すること以外は、第１実施形態に係る立体物検出装置１と同様である。なお、図３５は、第７実施形態に係るカメラ装置１００ａの構成を示すブロック図である。

第７実施形態に係るカメラ装置１００ａは、図３５に示すように、カメラ１０と、遮光板１３０とを備えており、レンズ洗浄装置１２０は備えていない。そして、第７実施形態では、たとえば、電源がオンになっている間、常時、図２０のレンズ状態判断処理を繰り返し実行される。なお、第７実施形態では、レンズ洗浄が行われないため、図２０のステップＳ１０１の処理は行われず、ステップＳ１０２から処理が開始される。

たとえば、路面に水たまりなどが形成されており、自車両Ｖ１の走行により、レンズ１１０に泡や水滴などの透光性の付着物が付着する場合がある。このような場合に、図２１に示す立体物検出処理をそのまま行ってしまうと、泡や水滴などの透光性の付着物により立体物を適切に検出できない場合がある。

そこで、第７実施形態では、レンズ洗浄装置１２０を備えない構成においても、図２０に示すレンズ状態判断処理を行い、レンズ１１０に泡などの透光性付着物が付着しているか否かを判断する。そして、レンズ１１０に泡などの透光性付着物が付着していると判断された場合に、立体物検出処理による立体物の検出を抑制する。

以上のように、第７実施形態では、図２０に示すレンズ状態判断処理の判断結果を、自車両Ｖ１の走行によりレンズ１１０に泡などの透光性付着物が付着したか否かの判断に用いる。そして、レンズ１１０に泡などの透光性付着物が付着していると判断された場合には、立体物検出処理による立体物の検出を抑制する。これにより、第７実施形態においては、自車両Ｖ１の走行によりレンズ１１０に泡などの付着物が付着した場合でも、立体物を適切に検出することができる。

なお、上述した第７実施形態では、カメラ装置１００ａがレンズ洗浄装置１２０を備えない構成を例示したが、この構成に限定されず、たとえば、レンズ洗浄装置１２０を備えるカメラ装置１００において、レンズ洗浄装置１２０によるレンズ１１０の洗浄を行っていない場合に、本実施形態にように、レンズ状態判断処理を行い、当該判断結果を、自車両Ｖ１の走行によりレンズ１１０に透光性付着物が付着したか否かの判断に用いることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。たとえば、本発明の実施形態は、上述した実施形態に限られるものではなく、また上述した第１〜第７実施形態を組み合わせてもよい。

また、上述した実施形態では、上記式（１）〜（３）に示す条件を満たす場合に、レンズ１１０に泡が付着していると判断する構成を例示したが、この構成に限定されず、たとえば、以下のような構成とすることができる。たとえば、上記式（１），（２）に代えて、遮光領域Ｘに対応する画素の輝度の平均値を遮光領域全体の輝度として算出し、撮像画像全体の輝度と遮光領域全体の輝度との比が所定の判定値以上である場合に、レンズ１１０に泡が付着していると判断する構成とすることができる。また、上記式（１）に代えて、遮光領域Ｘに対応する画素の輝度が所定値以上である場合に、当該画素は泡に対応する画素であると判断する構成としてもよい。また、上記式（３）を行わずに、レンズ１１０に泡が付着しているか否かを判断する構成としてもよい。

さらに、上述した実施形態では、レンズ状態判断処理の判断結果に基づいて、差分閾値ｔｈ、エッジ閾値ｔ、閾値α、閾値β、あるいは他車両Ｖ２を判定するための判定速度などの検出条件を変更する構成を例示したが、この構成に限定されず、たとえば、レンズ状態判断処理の判断結果に基づいて、各画素から出力される画素値または輝度値を変更する構成としてもよい。たとえば、レンズ１１０に泡が付着していると判断された場合には、立体物検出に用いるための各画素から出力される画素値または輝度値を低くすることで、立体物の検出を抑制する構成とすることができる。

また、上述した実施形態では、レンズ１１０に付着している泡を検出する構成を例示したが、本発明はこれに限定されず、たとえば、レンズ１１０に付着している水滴を検出するために適用することができる。レンズ１１０に水滴が付着している場合も、光の乱反射などにより遮光領域Ｘの輝度が高くなるため、この特性に基づいて、レンズ１１０に付着している水滴をも検出することもできる。

さらに、上述した実施形態では、遮光領域設定部３４は、計算機３０のメモリに記憶された遮光領域Ｘの情報を取得することで、遮光領域Ｘを設定する構成を例示したが、この構成に限定されず、遮光領域設定部３４は、所定の画像解析処理により、撮像画像から遮光板１３０を検出し、遮光板１３０に対応する領域を遮光領域Ｘとして設定する構成としてもよい。

なお、上述した実施形態のカメラ１０は本発明の撮像手段に、視点変換部３１は本発明の画像変換手段に、位置合わせ部３２、立体物検出部３３，３３ａ、輝度差算出部３７、およびエッジ線検出部３８は本発明の立体物検出手段および検出条件変更手段に、遮光領域設定部３４は本発明の設定手段に、輝度検出部３５は本発明の輝度検出手段に、レンズ状態判断部３６は本発明の判断手段に、遮光板１３０は遮光部材にそれぞれ相当する。

１，１ａ…立体物検出装置
１００…カメラ装置
１０…カメラ
１１０…レンズ
１２０…レンズ洗浄装置
１３０…遮光板
２０…車速センサ
３０，３０ａ…計算機
３１…視点変換部
３２…位置合わせ部
３３，３３ａ…立体物検出部
３４…遮光領域設定部
３５…輝度検出部
３６…レンズ状態判断部
３７…輝度差算出部
３８…エッジ線検出部
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰視画像
ＰＤ_ｔ…差分画像
Ｖ１…自車両
Ｖ２…他車両

Claims (20)

1. レンズからの光束を受光して撮像画像を出力する撮像手段と、
   前記レンズに入射する光束の一部を遮光する遮光部材と、
   前記撮像画像内に撮像された前記遮光部材を遮光領域として設定する設定手段と、
   前記遮光領域の輝度を検出する輝度検出手段と、
   前記遮光領域の輝度に基づいて、前記レンズに対する透光性付着物の付着状態を判断する判断手段と、を備えることを特徴とするカメラ装置。
2. 請求項１に記載のカメラ装置であって、
   前記透光性付着物は、泡または水滴であることを特徴とするカメラ装置。
3. 請求項１または２に記載のカメラ装置であって、
   前記判断手段は、前記遮光領域の輝度が所定の値以上の場合に、前記レンズに前記透光性付着物が付着していると判断することを特徴とするカメラ装置。
4. 請求項１または２に記載のカメラ装置であって、
   前記輝度検出手段は前記撮像画像全体の輝度をさらに検出し、
   前記判断手段は、前記撮像画像全体の輝度と前記遮光領域の輝度との比に基づいて、前記レンズに対する前記透光性付着物の付着状態を判断することを特徴とするカメラ装置。
5. 請求項４に記載のカメラ装置であって、
   前記輝度検出手段は、前記遮光領域の輝度として、前記遮光領域の各画素の輝度をそれぞれ検出し、
   前記判断手段は、前記遮光領域の画素ごとに、前記撮像画像全体の輝度と前記遮光領域の画素の輝度との比が第１判定値以上であるか否かを判断し、前記遮光領域の全ての画素のうち前記輝度の比が前記第１判定値上である画素の割合が第２判定値以上である場合に、前記レンズに前記透光性付着物が付着していると判断することを特徴とするカメラ装置。
6. 請求項１〜５のいずれかに記載のカメラ装置であって、
   前記判断手段は、前記レンズに対する前記透光性付着物の付着状態を繰り返し判断し、前記レンズに前記透光性付着物が付着していると判断された回数が所定の第３判定値以上である場合に、前記レンズに前記透光性付着物が付着していると最終的に判断することを特徴とするカメラ装置。
7. 請求項１〜６のいずれかに記載のカメラ装置であって、
   前記レンズを洗浄するレンズ洗浄手段をさらに備え、
   前記判断手段は、前記レンズ洗浄手段による前記洗浄液の吐出後、一定時間が経過した後に、前記レンズに対する前記透光性付着物の付着状態を判断することを特徴とするカメラ装置。
8. 請求項１〜７のいずれかに記載のカメラ装置であって、
   前記遮光領域は、前記遮光部材の形状、前記撮像手段の画角、焦点距離、および前記撮像手段の撮像素子の大きさのうち、１つ以上に基づいて設定されることを特徴とするカメラ装置。
9. 請求項１〜８のいずれかに記載のカメラ装置であって、
   前記判断手段は、前記遮光領域を２以上の細分領域に分割し、前記撮像画像全体の輝度と前記細分領域の輝度との比に基づいて、前記レンズに対する前記透光性付着物の付着状態を判断することを特徴とするカメラ装置。
10. 請求項９に記載のカメラ装置であって、
    前記判断手段は、前記細分領域ごとに、前記レンズに対する前記透光性付着物の付着状態を判断し、いずれか１つ以上の前記細分領域において前記レンズに前記透光性付着物が付着していると判断された場合には、前記レンズに前記透光性付着物が付着していると判断し、全ての前記細分領域において前記レンズに前記透光性付着物が付着していないと判断された場合には、前記レンズに前記透光性付着物が付着していないと判断することを特徴とするカメラ装置。
11. 請求項１〜１０のいずれかに記載のカメラ装置であって、
    前記判断手段は、前記撮像画像のうち、前記遮光領域と地平線に対応する描写線との間の領域を空領域として特定し、前記空領域の輝度に基づいて、前記レンズに前記透光性付着物が付着していると判断することを抑制することを特徴とするカメラ装置。
12. 請求項１１に記載のカメラ装置であって、
    前記輝度検出手段は、前記空領域の輝度として、前記空領域の各画素の輝度を検出し、
    前記判断手段は、前記空領域の各画素の輝度が所定輝度値以上であるか否かを判断し、
    前記空領域の画素のうち前記所定輝度以上の画素が連続する部分の面積が所定値以上である場合に、
    前記レンズに前記透光性付着物が付着していると判断することを抑制することを特徴とするカメラ装置。
13. 請求項１１に記載のカメラ装置であって、
    前記輝度検出手段は、前記空領域の輝度として、前記空領域の各画素の輝度を検出し、
    前記判断手段は、前記空領域の各画素の輝度が所定輝度値以上であるか否かを判断し、前記空領域の画素のうち前記所定輝度以上の画素の割合が所定割合以上である場合に、前記レンズに透光性付着物が付着していると判断することを抑制することを特徴とするカメラ装置。
14. 請求項１〜１３のいずれかに記載のカメラ装置であって、
    前記撮像手段は、露光補正機能を備えており、
    前記判断手段は、前記撮像手段の露光補正情報に基づいて、前記撮像画像を前記露光補正前の画像に変換し、変換した前記露光補正前の画像に基づいて、前記レンズに対する前記透光性付着物の付着状態を判断することを特徴とするカメラ装置。
15. 請求項５または６に記載のカメラ装置であって、
    前記撮像手段は、露光補正機能を備えており、
    前記判断手段は、前記撮像手段の露光補正情報に基づいて、前記第１判定値、前記第２判定値、および第３判定値のうち少なくとも１つを含む判定基準値を変更し、変更した前記判定基準値を用いて、前記レンズに対する前記透光性付着物の付着状態を判断することを特徴とするカメラ装置。
16. 請求項１〜１５のいずれかに記載のカメラ装置であって、
    前記レンズを洗浄するレンズ洗浄手段をさらに備え、
    前記判断手段は、前記レンズ洗浄手段に洗浄液を吐出させた場合に、前記レンズに前記透光性付着物が付着しているか否かを判断し、当該判断結果を用いて、前記レンズの洗浄液が洗浄に適しているか否かを判断することを特徴とするカメラ装置。
17. 請求項１〜１６のいずれかに記載のカメラ装置であって、
    前記レンズを洗浄するレンズ洗浄手段をさらに備え、
    前記判断手段は、前記レンズ洗浄手段に洗浄液を吐出させた場合に、前記レンズに前記透光性付着物が付着しているか否かを判断し、当該判断結果を用いて、前記レンズ洗浄手段が正常に動作しているか否かを判断することを特徴とするカメラ装置。
18. 請求項１〜１７のいずれかに記載のカメラ装置を備えた立体物検出装置であって、
    前記撮像手段により得られた撮像画像と、所定の検出条件とに基づいて、立体物を検出する立体物検出手段と、
    前記判断手段による判断結果に基づいて、前記検出条件を変更する検出条件変更手段と、をさらに備え、
    前記検出条件変更手段は、前記レンズ上に前記透光性付着物が存在すると判断された場合に、前記立体物が検出され難いように前記検出条件を変更することを特徴とする立体物検出装置。
19. 請求項１８に記載の立体物検出装置であって、
    前記立体物検出手段は、
    前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
    前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、前記立体物を検出することを特徴とする立体物検出装置。
20. 請求項１８に記載の立体物検出装置であって、
    前記立体物検出手段は、
    前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
    前記画像変換手段により得られた鳥瞰視画像に基づいてエッジ情報を検出し、該エッジ情報に基づいて、前記立体物を検出することを特徴とする立体物検出装置。