JP2015095886A - 周囲環境認識装置 - Google Patents

Abstract

【課題】物体の検知処理のギブアップと復帰を安定させる。
【解決手段】周囲環境認識装置１は、撮影画像に基づいて移動体の周囲環境に存在する物体像を認識する画像認識部と、その撮影画像に基づいてカメラレンズに付着した付着物を検知する付着物検知部２００と、付着物検知部の検知結果に基づいて画像認識部の動作を中止させるか否かを判定する中止判定部と、画像取得部が基準フレームに取得した撮影画像の所定領域から追尾対象の画像の特徴量を検出して、画像取得部が基準フレームよりも後のフレームに取得した撮影画像から特徴量が検出されるべき推定領域を算出して、推定領域の中の追尾対象の画像の特徴量の有無を判断する追尾部３００と、少なくとも追尾部３００による追尾対象の画像の特徴量の有無の判断結果に基づいて、画像認識部の動作を中止状態から復帰させるか否かを判定する復帰判定部と、を備える。
【選択図】図２

Description

本発明は、移動体に設置されたカメラの撮影画像を用いて周囲環境を認識する周囲環境認識装置に関する。

カメラが撮影した撮影画像を用いて障害物を検出する車載装置において、撮影画像の中から時間経過と共に変化しない画像領域を抽出し、撮影画像に対してその画像領域が占める割合に基づいて、障害物の検出をギブアップする車載装置が知られている（特許文献１）。特許文献１では、時間経過と共に変化しない画像領域が撮影画像に対して占める割合が下がると障害物の検出を復帰する。

特開２０１２−３８０４８号公報

カメラレンズの付着物を検知する処理は、周囲の光源環境や背景変化の影響を受けてしまい、検知結果が安定しない場合がある。したがって、付着物検知の結果という不安定な情報に基づいて障害物等の物体の検知処理のギブアップと復帰の両方を実施すると、検知処理のギブアップと復帰の処理も不安定になるおそれがある。

本発明による周囲環境認識装置は、カメラレンズを介して移動体の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、画像取得部が取得した撮影画像に基づいて周囲環境に存在する物体像を認識する画像認識部と、画像取得部が取得した撮影画像に基づいてカメラレンズに付着した付着物を検知する付着物検知部と、付着物検知部の検知結果に基づいて画像認識部の動作を中止させるか否かを判定する中止判定部と、画像取得部が基準フレームに取得した撮影画像の所定領域から追尾対象の画像の特徴量を検出して、画像取得部が基準フレームよりも後のフレームに取得した撮影画像から特徴量が検出されるべき推定領域を算出して、推定領域の中の追尾対象の画像の特徴量の有無を判断する追尾部と、少なくとも追尾部による追尾対象の画像の特徴量の有無の判断結果に基づいて、画像認識部の動作を中止状態から復帰させるか否かを判定する復帰判定部と、を備えることを特徴とする。

本発明による周囲環境認識装置は、物体の検知処理のギブアップの処理と、物体の検知処理のギブアップ後に再開する復帰の処理を安定して行うことができる。

本発明の一実施形態による周囲環境認識装置を備えるカメラシステムのブロック構成図である。 本発明の一実施の形態による周囲環境認識装置の機能ブロック図である。 付着物検知部に関する機能ブロック図である。 水滴検知部の説明に用いる図である。 白濁検知部の説明に用いる図である。 追尾部に関する機能ブロック図である。 レーントラッキング部の説明に用いる図である。 路面トラッキング部の説明に用いる図である。 立体物トラッキング部の説明に用いる図である。 立体物トラッキング部の説明に用いる図である。 路面ペイントトラッキング部の説明に用いる図である。 距離分解能チェック部の説明に用いる図である。 システムギブアップ判定部の説明に用いる図である。 レンズ状態解析部の説明に用いる図である。 抑制制御部の説明に用いる図である。 アプリケーション実行部の機能ブロック図である。 レーン認識部の処理に関するフローチャートである。 レーン認識部の説明に用いる図である。 車両検知部の処理に関するフローチャートである。 システムギブアップ判定部の処理に関するフローチャートである。 付着物マップによるレンズマップの更新に関する図である。 復帰マップによるレンズマップの更新に関する図である。

図１は、本発明の一実施形態による周囲環境認識装置１を備えるカメラシステムのブロック構成図である。図１に図示されているカメラシステムは、車両９に設けられており、周囲環境認識装置１と、カメラ２ａおよび２ｂと、インターフェース部６００とを備える。

周囲環境認識装置１は、車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であって、不図示のＣＰＵとメモリ１０とを備える。メモリ１０には、ＲＯＭとワーキングメモリ、バッファメモリとして利用されるＲＡＭとが含まれ、ＲＯＭには周囲環境認識装置１のＣＰＵにより実行されるプログラムが記憶されている。

周囲環境認識装置１は、カメラ２ａおよび２ｂと、インターフェース部６００とに接続されている。また、周囲環境認識装置１は、不図示のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されており、カーナビゲーション装置や周囲環境認識装置１よりも上位のＥＣＵなどから情報を取得することができる。たとえば、周囲環境認識装置１は、ＣＡＮを介して車両９の走行速度、ヨーレート、ワイパの動作状態など、車両９に関する情報を取得することができる。

カメラ２ａおよび２ｂは、たとえばボディ、バンパーなどの車両９の各部にそれぞれ設置されている。カメラ２ａは、カメラレンズを車両９の前方に向けており、車両前方の路面と車両前方に設置されている道路標識とを同時に撮影することができる程度の画角を有する。カメラ２ｂは、カメラレンズを車両９の後方に向けており、車両後方の路面と車両後方の風景とを同時に撮影することができる程度の画角を有する。

周囲環境認識装置１は、カメラ２ａおよび２ｂの撮影画像に対して画像認識処理を実行して、撮影画像に含まれるレーンマーク、他車両、歩行者、道路標識、駐車枠などの画像を認識する。ここで、レーンマークとは、ペイントや道路鋲（ボッツドッツ）などにより形成された車線境界線、車道中央線、車道外側線などを表す。周囲環境認識装置１は、画像認識処理の結果に基づいて、たとえば車両９が走行車線を逸脱しようとしていることや車両９が他車両と衝突しようとしていることなどを検出する。

カメラ２ａおよび２ｂの各カメラレンズには、水滴、泥、融雪剤などが付着することがある。特に車両９が走行している場合には、路上の水、泥、融雪剤などが車両に跳ね上げられて、カメラレンズに付着しやすい。カメラレンズに付着する水滴は、雨滴などであり不純物を多く含有することが多く、乾燥するとカメラレンズに水滴痕が残ることがある。また、水滴痕や泥水などがカメラレンズに付着することによりカメラレンズが白濁した状態になることがある。以降、カメラレンズに付着した水滴、水滴痕、泥などの異物や、白濁などのカメラレンズの汚れなどを総称して付着物と記載する。

インターフェース部６００は、車両９の各部、たとえばいずれも不図示の警報ランプ、警報ブザー、アクセル、ブレーキ、ナビゲーション装置、インストルパネル、エアーポンプ、ウォッシャーポンプ、ワイパ駆動部などに接続されている。インターフェース部６００は、周囲環境認識装置１からの指令に従って車両９の各部の制御を行う。

図２は、周囲環境認識装置１の機能ブロック図である。周囲環境認識装置１は、メモリ１０に記憶されたプログラムを実行することにより、撮影画像取得部１００と、付着物検知部２００と、追尾部３００と、システムギブアップ判定部４００と、アプリケーション実行部５００として機能する。

撮影画像取得部１００は、所定のフレームレートでカメラ２ａおよび２ｂから撮影画像をそれぞれ取得する。撮影画像取得部１００は、フレームごとに取得した各撮影画像を付着物検知部２００と追尾部３００とアプリケーション実行部５００へ出力する。

付着物検知部２００は、撮影画像取得部１００が出力した撮影画像の中からカメラ２ａおよび２ｂの各カメラレンズに付着した付着物の種類を検知する。付着物検知部２００は、後述するように付着物の検知結果を付着物の種類ごとに生成して、各検知結果をシステムギブアップ判定部４００へ出力する。

追尾部３００は、撮影画像取得部１００が出力した撮影画像中において路面上に現れるレーンマーク、路面状態、立体物、路面ペイントなどの構造物を追尾対象として追尾する。追尾とは、異なるフレームでそれぞれ取得した複数の撮影画像の互いに対応する画像領域から同一構造物の特徴量を検出することである。すなわち、追尾部３００は、同一構造物検出部とも称することができる。追尾部３００は、基準フレームに取得した撮影画像（基準画像）の所定領域から検出された構造物の特徴量が基準画像とは異なるフレームに取得した撮影画像の推定領域から検出された場合、追尾が成功したと判断する。さらに、追尾部３００は、詳細を後述する各種追尾処理の成否に基づいて、カメラ２ａおよび２ｂの各カメラレンズの視認性を評価する。追尾部３００は、その視認性の評価結果をシステムギブアップ判定部４００へ出力する。

アプリケーション実行部５００は、撮影画像取得部１００が出力した撮影画像に対して画像認識を行う画像認識部である。アプリケーション実行部５００は、撮影画像に対する画像認識により、レーンマーク、他車両、歩行者、道路標識、駐車枠などの物体像を検知する。アプリケーション実行部５００の検知結果は、車線逸脱防止、他車両や歩行者との衝突防止、駐車支援などに用いられる。なお、アプリケーション実行部５００が検出する物体像には、レーンマークのように、追尾部３００が追尾対象とする道路上の構造物と共通するものも含まれるが、共通しないものも含まれることがある。

カメラレンズに付着物が付着している状態では、アプリケーション実行部５００において誤検知や不検知が発生するおそれがある。システムギブアップ判定部４００は、付着物検知部２００の出力に基づいて、アプリケーション実行部５００による検知をギブアップ（中止）させる。また、システムギブアップ判定部４００は、付着物検知部２００の出力と追尾部３００の出力とに基づいて、アプリケーション実行部５００による検知をギブアップ状態から復帰させる。システムギブアップ判定部４００の詳細については後述する。

インターフェース部６００は、警報部６１０と、走行系制御部６２０と、表示部６３０と、汚れ除去部６４０とを有する。警報部６１０は、車両の運転者に対して警報ランプ、警報ブザー、警報表示画面等による警報を出力する。走行系制御部６２０は、車両９のアクセル、ブレーキ、操舵角度を周囲環境認識装置１の出力結果に基づいて制御する。表示部６３０は、車両９に搭載されたナビゲーション装置の表示画面や車両９のインストルメントパネルなどであり、警報部６１０により警報を出力する代わりに警告画面などの種々の画面を表示する。汚れ除去部６４０は、エアーポンプ、ウォッシャーポンプ、ワイパ駆動部など、カメラ２ａおよび２ｂの各カメラレンズから付着物を除去するための除去装置である。

（付着物検知部２００）
図３は、付着物検知部２００の機能構成例を示す。図３に例示する付着物検知部２００は、水滴検知部２１０と、白濁検知部２２０と、水滴痕検知部２３０と、泥検知部２４０とを有する。

（水滴検知部２１０）
水滴検知部２１０は、カメラ２ａおよび２ｂに付着した水滴を検知する。図４（ａ）および（ｂ）を用いて水滴検知部２１０の動作について説明する。図４（ａ）に示されるように、水滴検知部２１０は、撮影画像３０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。たとえば、画像領域の左隅を原点とし、１００×１００の画像に分割した場合、画像領域には、ブロックＢ（０，０）〜ブロックＢ（１００，１００）の１万個の分割画像ブロックが含まれる。各分割画像ブロックを以下ではブロックＢ（ｘ，ｙ）と記述し、各分割画像ブロックには、それぞれ撮影画像の複数の画素が含まれている。たとえば、カメラの撮像素子が１０万画素を有する場合、一つの分割画像ブロックには１０画素分の画像が含まれる。

水滴検知部２１０は、各ブロックＢ（ｘ，ｙ）ごとにスコアＳ_１（ｘ，ｙ）を算出する。スコアＳ_１（ｘ，ｙ）は、初期値がゼロであって、以下に説明する判定によりそのブロックＢ（ｘ，ｙ）内に水滴が付着していると判定されるたびに所定値増加する。

水滴検知部２１０による各画素ごとのスコア計算は以下のとおりである。図４（ｂ）は、任意の画素３１を着目点とした図である。水滴検知部２１０は、その着目点３１から上方向、右上方向、右下方向、左上方向、左下方向にそれぞれ所定距離（たとえば、３ｐｉｘ）離れた画素を内部参照点３２に設定して、それらの５方向にさらに所定距離（たとえば、３ｐｉｘ）離れた画素を外部参照点３３に設定する。次に、水滴検知部２１０は、各内部参照点３２と各外部参照点３３のそれぞれについて、輝度を算出する。なお、着目点３１、内部参照点３２、外部参照点３３の各画素数は、たとえば１画素であって、分割画像ブロックに含まれる画素数よりも少ない。

水滴の中心部は、縁部よりもレンズ効果で明るい可能性が高い。そこで、水滴検知部２１０は、５方向の各々について、内部参照点３２の輝度が外部参照点３３の輝度よりも高いか否かを判定する。換言すると、水滴検知部２１０は、着目点３１が水滴の中心部であるか否かを判定する。水滴検知部２１０は、各方向の内部参照点３２の輝度が同方向の外部参照点３３の輝度よりも高い場合、水滴が付着していると判断して、その着目点３１が属するＢ（ｘ，ｙ）のスコアＳ_１（ｘ，ｙ）を１だけ増加させる。

次に、水滴検知部２１０は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ_１（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ_１を算出する。水滴検知部２３０は、検出されたＮ_１個のブロックに含まれる画素について、内部参照点３２と外部参照点３３の輝度差を算出して、それらの画素の輝度差の平均Ａ_Ｄ１を算出する。

水滴検知部２１０は、撮影画像取得部１００が撮影画像を出力するごとに、ブロックＢ（ｘ，ｙ）の各々についてスコアＳ_１（ｘ，ｙ）を更新する。また、水滴検知部２１０は、ｔ１フレームが経過するごとにスコアＳ_１（ｘ，ｙ）をフレーム数ｔ１で除して、正規化スコアＮＳ_１（ｘ，ｙ）を算出する。

水滴検知部２１０は、全ブロックＢ（ｘ，ｙ）の正規化スコアＮＳ_１（ｘ，ｙ）の平均Ａ_Ｓ１を算出する。水滴検知部２１０は、この正規化スコアＮＳ_１（ｘ，ｙ）の平均Ａ_Ｓ１が所定値を超えていた時間ｔ２を計時し、この時間ｔ２を用いてスコアＳ_１（ｘ，ｙ）の信頼度Ｒ_１を算出する。たとえば、この時間ｔ２を所定値で除することにより信頼度Ｒ_１を算出する。

水滴検知部２１０は、毎フレームごとに、信頼度Ｒ_１と、最新の正規化スコアＮＳ_１（ｘ，ｙ）、スコアＳ_１（ｘ，ｙ）が所定値以上のブロックの個数Ｎ_１と、輝度差の平均Ａ_Ｄ１とをシステムギブアップ判定部４００へ出力する。水滴検知部２１０は、システムギブアップ判定部４００へ正規化スコアＮＳ_１（ｘ，ｙ）等を送信した後、スコアＳ_１（ｘ，ｙ）と時間ｔ２をゼロにリセットする。

（白濁検知部２２０）
図５（ａ）を用いて白濁検知部２２０の動作について説明する。図５（ａ）に示されるように、白濁検知部２２０は、撮影画像４０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。各ブロックＢ（ｘ，ｙ）には、それぞれ撮影画像４０の複数の画素が含まれている。白濁検知部２２０は、各ブロックＢ（ｘ，ｙ）ごとにスコアＳ_２（ｘ，ｙ）を算出する。

図５（ａ）に示されるように、白濁検知部２２０は、撮影画像中に地平線が写り込む予定の位置に左上検知領域４１と上検知領域４２と右上検知領域４３とを設定する。上検知領域４２は、路面に互いに平行に設けられた２本のレーンマークの消失点が含まれるような位置に設定される。図５（ａ）では、２本のレーンマーク４６の消失点４７が上検知領域４２の内側に含まれている。左上検知領域４１は上検知領域４２よりも左側に設定され、右上検知領域４３は上検知領域４２よりも右側に設定される。また、白濁検知部２２０は、撮影画像中にレーンマークが写る予定の位置に左下検知領域４４と右下検知領域４５とを設定する。

白濁検知部２２０は、左上検知領域４１と上検知領域４２と右上検知領域４３と左下検知領域４４と右下検知領域４５のそれぞれの領域内の画素に対して、水平方向のエッジ検出処理を行う。左上検知領域４１と上検知領域４２と右上検知領域４３に対するエッジ検出では、地平線などのエッジが検出される。また、左下検知領域４４と右下検知領域４５とに対するエッジ検出では、レーンマーク４６などのエッジが検出される。白濁検知部２２０は、各検知領域４１〜４５に含まれる各画素についてそれぞれエッジ強度を算出する。そして、白濁検知部２２０は、各検知領域４１〜４５ごとにエッジ強度の平均値Ａ_Ｅ２を算出して、その平均値Ａ_Ｅ２が所定の閾値ε未満か否かを判定する。白濁検知部２２０は、エッジ強度の平均値Ａ_Ｅ２が閾値ε未満の検知領域は白濁していると判断する。

白濁検知部２２０は、図５（ｂ）に示すように画像領域を五つのグループに分ける。左上のグループ４８ａに属するブロックＢ（ｘ，ｙ）は、左上検知領域４１が白濁していると判断された場合、スコアＳ_２（ｘ，ｙ）を１だけ増加させる。中央上のグループ４８ｂに属するブロックＢ（ｘ，ｙ）は、上検知領域４２が白濁していると判断された場合、スコアＳ_２（ｘ，ｙ）を１だけ増加させる。同様に、右上のグループ４８ｃに属するブロックＢ（ｘ，ｙ）は右上検知領域４３に対応し、左下のグループ４８ｄに属するブロックＢ（ｘ，ｙ）は左下検知領域４４に対応し、右下のグループ４８ｅに属するブロックＢ（ｘ，ｙ）は右下検知領域４５に対応する。各グループ４８ａ〜４８ｅに属するブロックＢ（ｘ，ｙ）は、対応する検知領域が白濁していると判断された場合、スコアＳ_２（ｘ，ｙ）を１だけ増加させる。

なお、左下検知領域４４と右下検知領域４５との間に位置するブロックＢ（ｘ，ｙ）については、グループ４８ｄおよび４８ｅとは別のグループに属するものとしてもよい。グループ４８ｄとグループ４８ｅとの間に設けられたグループのスコアＳ_２（ｘ，ｙ）は、グループ４８ｄのスコアＳ_２（ｘ，ｙ）とグループ４８ｅのスコアＳ_２（ｘ，ｙ）とを用いて線形補間することが好ましい。

白濁検知部２２０は、各検知領域４１〜４５の中でエッジ強度の平均値Ａ_Ｅ２が閾値ε未満の検知領域の個数、すなわち白濁している検知された検知領域の個数Ｎ_２を算出する。その後、白濁検知部２２０は、各検知領域４１〜４５が白濁していると継続的に判断された時間ｔ３を算出する。そして、白濁検知部２２０は、各検知領域４１〜４５の時間ｔ３の総和を検知領域の個数、すなわち、５個で除して平均継続時間ｔ４を算出する。白濁検知部２２０は、この平均継続時間ｔ４を、白濁検知部２２０の検知結果の信頼度Ｒ_２に変換する。たとえば、白濁検知部２２０は、平均継続時間ｔ４を所定値で除することにより信頼度Ｒ_２を算出する。また、白濁検知部２２０は、白濁していると検知された検知領域に関するエッジ強度の平均値Ａ_Ｅ２の総和を検知領域の個数、すなわち、５個で除して、平均エッジ強度Ａ_Ａ２を算出する。

白濁検知部２２０は、撮影画像取得部１００が撮影画像を出力するごとに、全ブロックＢ（ｘ，ｙ）の各々についてスコアＳ_２（ｘ，ｙ）を更新する。また、白濁検知部２２０は、ｔ１フレームが経過するごとにスコアＳ_２（ｘ，ｙ）をフレーム数ｔ１で除して、正規化スコアＮＳ_２（ｘ，ｙ）を算出する。また、白濁検知部２２０は、毎フレームごとに信頼度Ｒ_２と、白濁していると検知された検知領域の個数Ｎ_２と、平均エッジ強度Ａ_Ａ２と、最新の正規化スコアＮＳ_２（ｘ，ｙ）とをシステムギブアップ判定部４００へ出力する。白濁検知部２２０は、正規化スコアＮＳ_２（ｘ，ｙ）等をシステムギブアップ判定部４００へ出力した後、スコアＳ_２（ｘ，ｙ）をゼロにリセットする。

（水滴痕検知部２３０）
水滴痕検知部２３０の動作について説明する。水滴痕検知部２３０も、水滴検知部２１０と同様に、撮影画像３０の画像領域を図４（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。

水滴痕検知部２３０は、撮影画像３０全体に対して水平方向に走査する縦エッジ検出処理を行い、画素ごとのエッジ強度を生成する。そして、水滴痕検知部２３０は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる同じ画素位置に所定フレーム連続して同じ方向のエッジが検出されたかどうかに基づいてブロックＢ（ｘ，ｙ）のスコアＳ_３（ｘ，ｙ）を所定値増加させる。たとえば、同じ画素位置に所定フレーム連続して検出された同じ方向のエッジの個数が所定の閾値を超えているブロックＢ（ｘ，ｙ）について、スコアＳ_３（ｘ，ｙ）に１を加算する。

水滴痕検知部２３０は、各ブロックＢ（ｘ，ｙ）のスコアＳ_３（ｘ，ｙ）が最適閾値を超えてからの経過時間ｔ５（ｘ，ｙ）を計時する。そして、水滴痕検知部２３０は、全ブロックＢ（ｘ，ｙ）の経過時間ｔ５（ｘ，ｙ）の平均を算出し、その算出結果に基づいて信頼度Ｒ_３を算出する。たとえば、水滴痕検知部２３０は、全ブロックＢ（ｘ，ｙ）の経過時間ｔ５（ｘ，ｙ）の平均を所定値で除することにより、信頼度Ｒ_３を算出する。

水滴痕検知部２３０は、撮影画像取得部１００が撮影画像を出力するごとに、ブロックＢ（ｘ，ｙ）の各々についてスコアＳ_３（ｘ，ｙ）を更新する。また、水滴痕検知部２３０は、ｔ１フレームが経過するごとにスコアＳ_３（ｘ，ｙ）をフレーム数ｔ１で除して、正規化スコアＮＳ_３（ｘ，ｙ）を算出する。

水滴痕検知部２３０は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ_３（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ_３を算出する。水滴痕検知部２３０は、毎フレームごとに信頼度Ｒ_３と、最新の正規化スコアＮＳ_３（ｘ，ｙ）と、スコアＳ_３（ｘ，ｙ）が所定値以上のブロックの個数Ｎ_３とをシステムギブアップ判定部４００へ出力する。水滴痕検知部２３０は、正規化スコアＮＳ_３（ｘ，ｙ）等をシステムギブアップ判定部４００へ出力した後、スコアＳ_３（ｘ，ｙ）をゼロにリセットする。

（泥検知部２４０）
泥検知部２４０の動作について説明する。泥検知部２４０も、水滴検知部２１０と同様に、撮影画像３０の画像領域を図４（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。

泥検知部２４０は、撮影画像３０の各画素の輝度を検出する。そして、泥検知部２４０は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉ_Ｔ（ｘ，ｙ）を算出する。泥検知部２４０は、現フレームＴの撮影画像について算出したＩ_Ｔ（ｘ，ｙ）と前フレームＴ−１の撮影画像について同様に算出したＩ_Ｔ−１（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＢ（ｘ，ｙ）ごとに算出する。

泥検知部２４０は、このΔＩ（ｘ，ｙ）が小さく、更にＩ_Ｔ（ｘ，ｙ）が周囲のブロックと比較して小さいブロックＢ（ｘ，ｙ）を検出して、そのブロックＢ（ｘ，ｙ）に対応するスコアＳ_４（ｘ，ｙ）を１増加させる。また、泥検知部２４０は、スコアＳ_４（ｘ，ｙ）がリセットされるまでの間、ブロックＢ（ｘ，ｙ）ごとにΔＩ（ｘ，ｙ）を積算する。

泥検知部２４０は、撮影画像取得部１００が撮影画像を出力するごとに、ブロックＢ（ｘ，ｙ）の各々についてスコアＳ_４（ｘ，ｙ）を更新する。また、泥検知部２４０は、ｔ１フレームが経過するごとにスコアＳ_４（ｘ，ｙ）をフレーム数ｔ１で除して、正規化スコアＮＳ_４（ｘ，ｙ）を算出する。

また、泥検知部２４０は、各ブロックＢ（ｘ，ｙ）のスコアＳ_４（ｘ，ｙ）が最適閾値を超えてからの経過時間ｔ６（ｘ，ｙ）を計時する。そして、泥検知部２４０は、全ブロックＢ（ｘ，ｙ）の経過時間ｔ６（ｘ，ｙ）の平均を算出し、その算出結果に基づいて信頼度Ｒ_４を算出する。たとえば、泥検知部２４０は、全ブロックＢ（ｘ，ｙ）の経過時間ｔ６（ｘ，ｙ）の平均を所定値で除することにより、信頼度Ｒ_４を算出する。

また、泥検知部２４０は、毎フレームごとに信頼度Ｒ_４と、最新の正規化スコアＮＳ_４（ｘ，ｙ）と、スコアＳ_４（ｘ，ｙ）が所定値以上のブロックの個数Ｎ_４とをシステムギブアップ判定部４００へ出力する。泥検知部２４０は、正規化スコアＮＳ_４（ｘ，ｙ）等をシステムギブアップ判定部４００へ出力した後、スコアＳ_４（ｘ，ｙ）をゼロにリセットする。

（追尾部３００）
図６は、追尾部３００の機能構成例を示す。図６に例示する追尾部３００は、レーントラッキング部３１０と路面トラッキング部３２０と立体物トラッキング部３３０と路面ペイント検知部３４０と距離分解能チェック部３５０とを有する。

（レーントラッキング部３１０）
レーントラッキング部３１０は、アプリケーション実行部５００によるレーンマークの認識結果（後述）に基づいて、レーンマークを追尾する。そして、レーントラッキング部３１０は、その追尾が成功したか否かを判定する。すなわち、レーントラッキング部３１０は、所定フレームＴの撮影画像から認識されたレーンが次フレームＴ＋１の撮影画像中に含まれると推測される位置で認識されるか否かを判定する。レーンマークの追尾が成功した場合、レーントラッキング部３１０は、追尾対象のレーンマークの像を含む画像領域については視認性がよいと判断する。

図７（ａ）〜（ｄ）に示す例を用いて、レーントラッキング部３１０の動作について説明する。図７（ｄ）に示すように、車両９が破線のレーンマークで挟まれた車線を走行しているものとする。車両９の後方を撮影するカメラ２ｂは、フレームＴでは図７（ａ）に示すような像を撮影する。図７（ａ）に示す撮影画像は、複数の分割画像ブロックＢ（ｘ，ｙ）で分割されている。図７（ａ）の撮影画像の下辺領域のブロックＢ（ｘ，ｙ）には、車両９のバンパーの像が写り、そのバンパーの像の両端近傍にはレーンマーク１１１および１１２の端部の像が写っている。

アプリケーション実行部５００は、水平方向に走査する縦エッジ検出処理により、撮影画像中からレーンマーク１１１および１１２に関する特徴点を検出する。レーントラッキング部３１０は、アプリケーション実行部５００からそれらの特徴点の位置と特徴量（輝度差）に関する情報を取得する。図７（ａ）では、太線で囲われたブロックＢ（ｘ，ｙ）の画像領域１１３および１１４からレーンマーク１１１および１１２に関する特徴点が検出される。

レーントラッキング部３１０は、車両９の走行速度、フレームレート等に基づいて、次フレームＴ＋１の撮影時点での車両９の位置を推定する。レーントラッキング部３１０は、その車両９の推定位置に基づいて、次フレームＴ＋１においてそれらの特徴点がどの画像領域に移動するかを推測する。たとえば、レーントラッキング部３１０は、図７（ｂ）に示す画像領域１１５および１１６に特徴点が含まれると推測する。

アプリケーション実行部５００は、フレームＴ＋１でも水平方向に走査する縦エッジ検出処理により、撮影画像中からレーンマーク１１１および１１２に関する特徴点を検出する。レーントラッキング部３１０は、フレームＴ＋１においてアプリケーション実行部５００が検出した特徴点の位置と特徴量に関する情報を取得する。

レーントラッキング部３１０は、フレームＴに取得したレーンマーク１１１および１１２に関する特徴点と同じ特徴量を有する特徴点が画像領域１１５および１１６から検出されたか否かを判定する。レーントラッキング部３１０は、フレームＴで取得したレーンマーク１１１および１１２に関する特徴点と同じ特徴量を有する特徴点が画像領域１１５および１１６から検出された場合、画像領域１１３〜１１６に含まれる複数の画像分割ブロックＢ（ｘ，ｙ）については、視認性がよいと判断する。図７（ｃ）には、視認性がよいとレーントラッキング部３１０が判断した複数の画像分割ブロックＢ（ｘ，ｙ）が太線で囲われている。

レーントラッキング部３１０は、各ブロックＢ（ｘ，ｙ）の視認性の良さを視認可能領域Ｖ１（ｘ，ｙ）で表す。レーントラッキング部３１０は、図７（ｃ）に示したような視認性がよいと判断した複数の画像分割ブロックＢ（ｘ，ｙ）に対応する視認可能領域Ｖ１（ｘ，ｙ）の値を所定値増加させる。レーントラッキング部３１０は、フレームごとにこの視認可能領域Ｖ１（ｘ，ｙ）を更新する。そして、レーントラッキング部３１０は、フレームごとに更新した視認可能領域Ｖ１（ｘ，ｙ）をシステムギブアップ判定部４００に出力する。

（路面トラッキング部３２０）
路面トラッキング部３２０は、撮影画像取得部１００が撮影画像を出力するたびに、その撮影画像に対して水平方向と垂直方向の２方向に走査して縦エッジ検出と横エッジ検出を行う。水平方向の縦エッジ検出では、路面トラッキング部３２０は、垂直方向に隣接する二つの画素の輝度差を算出して、二つの画素のうち暗い画素から明るい画素に向かうベクトルを検出する。垂直方向の横エッジ検出では、路面トラッキング部３２０は、水平方向に隣接する二つの画素の輝度差を算出して、二つの画素のうち暗い画素から明るい画素に向かうベクトルを検出する。路面トラッキング部３２０は、２方向のエッジ検出の結果でそれぞれ検出された暗い画素から明るい画素に向かうベクトルを画素ごとに合成して、その合成ベクトルが向く方向に基づいてエッジ角度を算出する。たとえば、画素から左隣の画素に向かうベクトルと上隣の画素に向かうベクトルとが検出されている場合は、左上方向のベクトルに合成され、エッジ角度は４５°となる。

路面トラッキング部３２０は、画素ごとに算出したエッジ角度についてヒストグラムを生成する。このヒストグラムのことをエッジ角度ヒストグラムと呼ぶ。エッジ角度ヒストグラムは、たとえば４５°刻みで８個の階級に分けられる。

路面トラッキング部３２０は、フレームＴの撮影画像のエッジ画像から、路面テクスチャ領域のエッジを検出する。図８（ａ）の例では、路面トラッキング部３２０は、フレームＴの撮影画像から路面テクスチャ領域１２１のエッジを検出する。路面テクスチャ領域１２１は、たとえば路面上の汚れによる模様や工事によりできた補修である。路面トラッキング部３２０は、その路面テクスチャ領域１２１を有するブロックＢ（ｘ，ｙ）の画像領域１２２について、エッジ角度ヒストグラムＨ_Ｔを生成する。

路面トラッキング部３２０は、車両９の走行速度、フレームレートに基づいて、次フレームＴ＋１の撮影時点での車両９の位置を推定する。路面トラッキング部３２０は、その車両９の推定位置に基づいて、次フレームＴ＋１において路面テクスチャ領域１２１がどの画像分割ブロックＢ（ｘ，ｙ）に含まれるかを推測する。図８（ｂ）には、次フレームＴ＋１の撮影画像において路面テクスチャ領域１２１が含まれると推測された複数の画像分割ブロックＢ（ｘ，ｙ）を含む画像領域１２３が例示されている。

路面トラッキング部３２０は、次フレームＴ＋１の撮影画像において路面テクスチャ領域１２１が含まれると推測されたブロックＢ（ｘ，ｙ）を含む画像領域１２３について、エッジ角度ヒストグラムＨ_Ｔ＋１を生成する。路面トラッキング部３２０は、エッジ角度ヒストグラムＨ_Ｔ＋１がエッジ角度ヒストグラムＨ_Ｔと一致する場合、フレームＴおよびＴ＋１において路面上の路面テクスチャ領域１２１の追尾が成功したものとして判断する。そして、路面トラッキング部３２０は、画像領域１２２および１２３に含まれるブロックＢ（ｘ，ｙ）については、視認性がよいと判断する。図８（ｃ）には、路面トラッキング部３２０が視認性がよいと判断したブロックＢ（ｘ，ｙ）が太線で囲われている。

路面トラッキング部３２０は、視認性の良い画像分割ブロックＢ（ｘ，ｙ）を視認可能領域Ｖ２（ｘ，ｙ）で表す。路面トラッキング部３２０は、図８（ｃ）に示した視認性がよいと判断した画像分割ブロックＢ（ｘ，ｙ）に対応する視認可能領域Ｖ２（ｘ，ｙ）の値を所定値増加させる。路面トラッキング部３２０は、フレームごとにこの視認可能領域Ｖ２（ｘ，ｙ）を更新する。そして、路面トラッキング部３２０は、フレームごとに更新した視認可能領域Ｖ２（ｘ，ｙ）をシステムギブアップ判定部４００に出力する。

（立体物トラッキング検知３３０）
立体物トラッキング部３３０は、カメラ２ａおよび２ｂが撮影した画像に基づいて鳥瞰画像を生成して、車両９の周辺に存在する立体形状の物体を追尾する。そして、立体物トラッキング部３３０は、立体形状の物体の追尾が成功したか否かを判定する。

路上を走行する車両９の周辺には、塀、壁、電柱などの立体形状を有する物体が存在する。以降、立体形状を有する物体のことを立体物と記載する。立体物は、鉛直方向上向きに延びる辺を有することが多い。鉛直方向上向きに延びる辺は、鳥瞰画像においてカメラ２ａまたは２ｂを中心にした放射状に延在する。立体物トラッキング部３３０は、鳥瞰画像に対してカメラ２ａまたは２ｂを中心とした放射方向のエッジ検出を行い、立体物の特徴点を検出し、立体物を認識する。立体物トラッキング部３３０は、所定フレームＴで認識された立体物が次フレームＴ＋１で再び認識されるか否かを判定する。立体物トラッキング部３３０は、立体物の追尾が成功した場合、追尾対象の物体の像を含む画像領域については視認性がよいと判断する。

図９に示す概略鳥瞰図のように、車両９の右後方（図面左上方向）に塀１３１が存在している状況を考える。車両９の後方を撮影するカメラ２ｂは、フレームＴでは図１０（ａ）に示すような像を撮影する。図１０（ａ）に示す撮影画像は、複数の画像分割ブロックＢ（ｘ，ｙ）で分割されている。図１０（ａ）の撮影画像には、塀１３１の像が写っている。

立体物トラッキング部３３０は、撮影画像の鳥瞰画像を生成して、その鳥瞰画像に対してカメラ２ｂを中心とした放射方向、たとえば、図９に示す一点鎖線１３２のような放射線に沿った方向にエッジ検出を行う。このエッジ検出により検出された塀１３１に関する放射線エッジ量は、たとえば、図９の鳥瞰図に重ねて示すヒストグラム１３３のようになる。立体物トラッキング部３３０は、所定閾値以上のエッジ量が検出された位置に立体物が存在することを認識する。所定閾値は、ガードレールや高速道路の防音壁などのように周期的に撮影画面中に現れる立体物を認識することができ、道路標識や樹木のように周期的に撮影画面中に現れない立体物を認識することができないような値に設定する。

図１０（ａ）では、フレームＴの撮影画像のうち所定閾値以上の放射線エッジ量が検出された鳥瞰画像の画像領域に対応する部分領域１３４を太線で示している。立体物トラッキング部３３０は、車両９の走行速度と、フレームレートに基づいて、次フレームＴ＋１の撮影時点での車両９の位置を推定する。立体物トラッキング部３３０は、その車両９の推定位置に基づいて、次フレームＴ＋１において部分領域１３４に含まれた像がどの画像分割ブロックＢ（ｘ，ｙ）に含まれるかを推測する。図１０（ｂ）に示す一例は、画像領域１３５で示した複数の画像分割ブロックＢ（ｘ，ｙ）内に像が含まれると立体物トラッキング部３３０が判断している一例を示している。

立体物トラッキング部３３０は、図１０（ｂ）に示すような次フレームＴ＋１の撮影画像が撮影画像取得部１００から入力されると、その撮影画像の鳥瞰画像を生成する。そして、立体物トラッキング部３３０は、その鳥瞰画像に対して、カメラ２ｂを中心とした放射方向のエッジ検出を行う。立体物トラッキング部３３０は、推測された画像領域１３５に対応する鳥瞰画像の画像領域から所定値以上の放射線エッジ量が検出された場合、立体物の追尾が成功したと判定する。立体物トラッキング部３３０は、部分領域１３４および画像領域１３５のいずれか少なくとも一方に含まれる画像分割ブロックＢ（ｘ，ｙ）について視認性がよいと判断する。

立体物トラッキング部３３０は、各ブロックＢ（ｘ，ｙ）の視認性の良さを視認可能領域Ｖ３（ｘ，ｙ）で表す。立体物トラッキング部３３０は、視認性がよいと判断したブロックＢ（ｘ，ｙ）に対応する視認可能領域Ｖ３（ｘ，ｙ）の値を所定値増加させる。立体物トラッキング部３３０は、フレームごとにこの視認可能領域Ｖ３（ｘ，ｙ）を更新する。そして、立体物トラッキング部３３０は、フレームごとに更新した視認可能領域Ｖ３（ｘ，ｙ）をシステムギブアップ判定部４００に出力する。

（ペイント検知部３４０）
ペイント検知部３４０は、道路標示のように路面上に描かれた所定形状の図形をカメラ２ａおよび２ｂが撮影した画像から認識する。ペイント検知部３４０は、道路標示等の認識にパターン認識を用いる。たとえば、ペイント検知部３４０は、図１１（ａ）に示す撮影画像から道路標示１４１を認識する。図１１（ａ）には、フレームＴにおいて認識された道路標示１４１の画像を含むブロックＢ（ｘ，ｙ）の画像領域１４２が太線で囲われている。

ペイント検知部３４０は、車両９の走行速度、フレームレート等に基づいて、次フレームＴ＋１の撮影時点での車両９の位置を推定する。ペイント検知部３４０は、その車両９の推定位置に基づいて、次フレームＴ＋１において道路標示１４１が検出される画像領域１４３を推測する。ペイント検知部３４０は、図１１（ｂ）のように推測された画像領域１４３からフレームＴと同一の道路標示１４１が検出されたか否かをパターン認識の手法を用いて判定する。ペイント検知部３４０は、推測された画像領域１４３からフレームＴと同一の道路標示１４１が検出された場合、画像領域１４２および１４３に含まれるブロックＢ（ｘ，ｙ）の視認性がよいと判断する。図１１（ｃ）には、視認性がよいとペイント検知部３４０が判断したブロックＢ（ｘ，ｙ）が太線で囲われている。

ペイント検知部３４０は、各ブロックＢ（ｘ，ｙ）の視認性の良さを視認可能領域Ｖ４（ｘ，ｙ）で表す。ペイント検知部３４０は、視認性がよいと判断したブロックＢ（ｘ，ｙ）に対応する視認可能領域Ｖ４（ｘ，ｙ）の値を所定値増加させる。ペイント検知部３４０は、フレームごとにこの視認可能領域Ｖ４（ｘ，ｙ）を更新する。そして、ペイント検知部３４０は、フレームごとに更新した視認可能領域Ｖ４（ｘ，ｙ）をシステムギブアップ判定部４００に出力する。

（距離分解能チェック部３５０）
カメラ２ａおよび２ｂは、被写体との距離が離れるほど距離分解能が低下する。距離分解能チェック部３５０は、カメラ２ａおよび２ｂの距離分解能が被写体との距離に応じて低下することを確認する。換言すると、距離分解能チェック部３５０は、車両９の移動により被写体との距離が変化したときに、被写体に関する距離分解能が適切に変化することを確認する。たとえば、距離分解能チェック部３５０は、車両９の移動により被写体との距離が離れるときに、被写体に関する距離分解能が低下することを確認する。

距離分解能チェック部３５０は、フレームＴの撮影画像中の路面に図１２（ａ）に示すような画像領域１５１を設定する。画像領域１５１は、縦横に２×６個の部分領域１５１ａを有する。距離分解能チェック部３５０は、車両９の走行速度、フレームレート等に基づいて、次フレームＴ＋１の撮影時点での車両９の位置を推定する。距離分解能チェック部３５０は、その車両９の推定位置に基づいて、次フレームＴ＋１の撮影画像において画像領域１５１が設定された路面の像が含まれる画像領域を推測する。図１２（ｂ）には、Ｔ＋１フレームの撮影画像の一例と共にその推測された画像領域１５２の一例が図示されている。画像領域１５２は、画像領域１５１の部分領域にそれぞれ対応する２×６個の部分領域を有している。

撮影画像取得部１００からフレームＴの撮影画像が出力されると、距離分解能チェック部３５０は、画像領域１５１の部分領域１５１ａごとにエッジ強度ヒストグラムＨ３を生成する。また、撮影画像取得部１００からフレームＴ＋１の撮影画像が出力されると、距離分解能チェック部３５０は、画像領域１５２の各部分領域ごとにエッジ強度ヒストグラムＨ４を生成する。エッジ強度ヒストグラムＨ３およびＨ４は、各部分領域から検出されたエッジの強度を複数の階級に分類したものである。

路面がカメラ２ｂから離れるほど、距離分解能の低下により、当該路面の模様等は撮影画像中でつぶれてしまう。したがって、路面がカメラから離れるほど、当該路面に関するエッジ強度は低くなる。距離分解能チェック部３５０は、画像領域１５２の各部分領域のエッジ強度ヒストグラムＨ４を対応する画像領域１５１の部分領域のエッジ強度ヒストグラムＨ３と比較する。たとえば、距離分解能チェック部３５０は、画像領域１５１の各部分領域１５１ａのエッジ強度ヒストグラムＨ３の平均よりも、当該部分領域１５１ａに対応する画像領域１５２の部分領域のエッジ強度ヒストグラムＨ４の平均が小さいか否かを判定する。距離分解能チェック部３５０は、画像領域１５２の部分領域のエッジ強度ヒストグラムＨ４の平均の方が画像領域１５１の部分領域のエッジ強度ヒストグラムＨ３よりも小さかったとき、画像領域１５１を含むブロックＢ（ｘ，ｙ）と、画像領域１５２を含むブロックＢ（ｘ，ｙ）の視認性がよいと判断する。

距離分解能チェック部３５０は、各ブロックＢ（ｘ，ｙ）の視認性の良さを視認可能領域Ｖ５（ｘ，ｙ）で表す。距離分解能チェック部３５０は、視認性がよいと判断したブロックＢ（ｘ，ｙ）に対応する視認可能領域Ｖ５（ｘ，ｙ）の値を所定値増加させる。距離分解能チェック部３５０は、フレームごとにこの視認可能領域Ｖ５（ｘ，ｙ）を更新する。そして、距離分解能チェック部３５０は、フレームごとに更新した視認可能領域Ｖ５（ｘ，ｙ）をシステムギブアップ判定部４００に出力する。

（システムギブアップ判定部４００）
図１３は、システムギブアップ判定部４００の機能構成例を示す。図１３に例示するシステムギブアップ判定部４００は、ギブアップ部４１０と、復帰部４２０と、制御部４５０とを有する。

（ギブアップ部４１０）
ギブアップ部４１０は、付着物検知部２００の各部の検知結果に基づいて、アプリケーション実行部５００の動作のギブアップを行うか否かを判定する。ギブアップ部４１０は、付着物マップ管理部４１１と、レンズ状態解析部４１２と、ギブアップ判定部４１３とを有する。

（付着物マップ管理部４１１）
付着物マップ管理部４１１は、付着部検知物２００の各部から入力された正規化スコアＮＳ_１（ｘ，ｙ）〜ＮＳ_４（ｘ，ｙ）と、信頼度Ｒ_１〜Ｒ_４とに基づいて、付着物が付着しているブロックＢ（ｘ，ｙ）を表す付着物マップＭ_Ｐ（ｘ，ｙ）を演算する。

付着物マップ管理部４１１は、たとえば次の演算を行う。付着物マップ管理部４１１は、付着物マップＭ_Ｐ（ｘ，ｙ）を初期値、たとえば０に初期化する。そして、付着物マップ管理部４１１は、水滴検知部２１０から入力された信頼度Ｒ_１が所定値以上の場合、正規化スコアＮＳ_１（ｘ，ｙ）の所定定数倍（たとえば、１／４）を付着物マップＭ_Ｐ（ｘ，ｙ）に加算する。同様に、付着物マップ管理部４１１は、白濁検知部２２０から入力された信頼度Ｒ_２が所定値以上の場合、正規化スコアＮＳ_２（ｘ，ｙ）の所定定数倍を付着物マップＭ_Ｐ（ｘ，ｙ）に加算する。また、同様に、付着物マップ管理部４１１は、水滴痕検知部２３０から入力された信頼度Ｒ_３が所定値以上の場合、正規化スコアＮＳ_３（ｘ，ｙ）の所定定数倍を付着物マップＭ_Ｐ（ｘ，ｙ）に加算する。また、同様に、付着物マップ管理部４１１は、泥検知部２４０から入力された信頼度Ｒ_４が所定値以上の場合、正規化スコアＮＳ_４（ｘ，ｙ）の所定定数倍を付着物マップＭ_Ｐ（ｘ，ｙ）に加算する。

付着物マップ管理部４１１が算出した付着物マップＭ_Ｐ（ｘ，ｙ）は、ブロックＢ（ｘ，ｙ）に対する付着物の付着度合を表す。付着物マップ管理部４１１は、算出した付着物マップＭ_Ｐ（ｘ，ｙ）を復帰部４２０と制御部４５０へ送信する。

（レンズ状態解析部４１２）
レンズ状態解析部４１２は、付着物検知部２００の各部の検知結果を、図１４に示す座標空間に投影する。図１４に示す座標空間は、メモリ１０に制御マップ５０として記憶されている。制御マップ５０は、レンズ汚れの透過率に関する座標軸と、カメラレンズに付着物が付着している付着面積に関する座標軸とを有している。制御マップ５０において、レンズ汚れの透過率は、原点から遠ざかるほど不透過になる。また、付着面積は、原点から遠ざかるほど大きくなる。

レンズ状態解析部４１２は、付着物検知部２００の各部から入力された正規化スコアＮＳ_１（ｘ，ｙ）〜ＮＳ_４（ｘ，ｙ）を用いて（式１）を演算し、制御マップ５０上の座標（Ｍ（ｘ），Ｍ（ｙ））を算出する。Ｍ（ｘ）は、カメラ２ａおよび２ｂのレンズ透過率を表す指標であり、値が大きいほどカメラレンズが不透過である状態を表す。Ｍ（ｙ）は、付着物の付着面積を表す指標であり、レンズに付着物が付着していないとき０．０となり、レンズの全面に付着物が付着しているとき１．０となる。なお、係数ａ１、ａ２、ａ３、ａ４、ｓｘ、ｂ１、ｂ２、ｂ３、ｂ４、およびｓｙは予め定められた値であって、Ｍ（ｘ）およびＭ（ｙ）の値がそれぞれ０．０以上１．０以下となるように設定されている。

…（式１）

また、制御マップ５０には、破線で示す長方形状の水滴範囲５１および泥範囲５４と、実線で示す長方形状の白濁範囲５２および水滴痕範囲５３とが予め設定されている。カメラレンズの汚れが水滴のみである場合、座標（Ｍ（ｘ），Ｍ（ｙ））は、水滴範囲５１の内側の座標になる。同様に、カメラレンズの汚れが白濁のみである場合、座標（Ｍ（ｘ），Ｍ（ｙ））は、白濁範囲５２の内側の座標になる。また、同様に、カメラレンズの汚れが水滴痕のみである場合、座標（Ｍ（ｘ），Ｍ（ｙ））は、水滴痕範囲５３の内側の座標になる。また、同様に、カメラレンズの汚れが泥のみである場合、座標（Ｍ（ｘ），Ｍ（ｙ））は、泥範囲５４の内側の座標になる。レンズ状態解析部４１２は、（式１）を用いて算出した座標（Ｍ（ｘ），Ｍ（ｙ））をギブアップ判定部４１３と復帰部４２０へ送信する。

（ギブアップ判定部４１３）
ギブアップ判定部４１３は、アプリケーション実行部５００によるレーンマーク、他車両、歩行者、道路標識、駐車枠などの検知をギブアップさせるか否かを判定する。ギブアップ判定部４１３は、たとえば、以下の条件（Ｃ１）が成立したとき、アプリケーション実行部５００による検知をギブアップさせることを肯定する。
（Ｃ１）レンズ状態解析部４１２で得られた座標（Ｍ（ｘ），Ｍ（ｙ））に基づいて後述する制御部４５０が誤検知対策用第３抑制モードまたは不検知対策用第３抑制モードによる処理の実行指令を出力した後、汚れ除去部６４０を用いた付着物の除去を所定回数以上繰り返しても座標（Ｍ（ｘ），Ｍ（ｙ））が制御マップ５０の原点に近づかない場合。

（復帰部４２０）
復帰部４２０は、アプリケーション実行部５００をギブアップ状態から復帰させる。復帰部４２０は、復帰マップ管理部４２１と、復帰判定部４２５とを有する。

（復帰マップ管理部４２１）
復帰マップ管理部４２１は、追尾部３００の各部から入力される視認可能領域Ｖ１（ｘ，ｙ）、Ｖ２（ｘ，ｙ）、Ｖ３（ｘ，ｙ）、Ｖ４（ｘ，ｙ）、Ｖ５（ｘ，ｙ）を用いて、（式２）を演算して復帰マップＭ_Ｒ（ｘ，ｙ）を生成する。
Ｍ_Ｒ（ｘ，ｙ）＝Ｖ１（ｘ，ｙ）＋Ｖ２（ｘ，ｙ）＋Ｖ３（ｘ，ｙ）＋Ｖ４（ｘ，ｙ）＋Ｖ５（ｘ，ｙ） …（式２）

この復帰マップＭ_Ｒ（ｘ，ｙ）の値が大きいほど、ブロックＢ（ｘ，ｙ）の画像に対応するレンズ表面は付着物が少なくきれいであることを表す。

（復帰判定部４２５）
復帰判定部４２５は、付着物マップ管理部４１１が出力した付着物マップＭ_Ｐ（ｘ，ｙ）と、レンズ状態解析部４１２が出力した座標（Ｍ（ｘ），Ｍ（ｙ））と、復帰マップ管理部４２１が生成した復帰マップＭ_Ｒ（ｘ，ｙ）とに基づいて、アプリケーション実行部５００をギブアップ状態から復帰させるか否かを判定する。

復帰判定部４２５は、以下の条件（Ｃ３）、（Ｃ４）、（Ｃ５）のすべてが満たされたとき、アプリケーション実行部５００をギブアップ状態から復帰させることを肯定する。
（Ｃ３）すべてのブロックＢ（ｘ，ｙ）に対する付着物マップＭ_Ｐ（ｘ，ｙ）の平均値が減少傾向にある。
（Ｃ４）所定時間以上連続して座標（Ｍ（ｘ），Ｍ（ｙ））が制御マップ５０の原点に近づいている。
（Ｃ５）追尾部３００にてレーンマーク、路面反射などの追尾部３００の追尾対象が正しく認識できるほどにカメラレンズの汚れが改善している。

条件（Ｃ４）の判定では、復帰判定部４２５は、座標（Ｍ（ｘ），Ｍ（ｙ））と制御マップ５０の原点との間の距離が所定時間の間に小さくなっているか否かを判定する。すなわち、復帰判定部４２５は、Ｍ（ｘ）とＭ（ｙ）の少なくとも一方が所定時間の間に小さくなり、他方がその所定時間の間に少なくとも大きくなっていないか否かを判定する。

条件（Ｃ５）の判定では、復帰判定部４２５は、たとえば、復帰マップＭ_Ｒ（ｘ，ｙ）の平均Σ_ｘΣ_ｙＭ_Ｒ（ｘ，ｙ）／Ｎ_Ｂが第１所定閾値以上であるか否かを判定することにしてもよいし、復帰マップＭ_Ｒ（ｘ，ｙ）の総和Σ_ｘΣ_ｙＭ_Ｒ（ｘ，ｙ）が第２所定閾値以上であるか否かを判定することにしてもよい。なお、Ｎ_Ｂは、ブロックＢ（ｘ，ｙ）の総数である。

（制御部４５０）
制御部４５０は、ギブアップ部４１０の各部と復帰部４２０の各部の出力に基づいて、アプリケーション実行部５００が画像認識に用いる画像領域を決定する。制御部４５０は、アプリケーション実行部５００が画像認識に用いない画像領域をレンズマップＭ_Ｌ（ｘ，ｙ）で表す。

制御部４５０は、レンズマップ管理部４５１と抑制制御部４５２と統合判定部４５３とを有する。
レンズマップ管理部４５１は、付着物マップ管理部４１１が生成した付着物マップＭ_Ｐ（ｘ，ｙ）と、復帰マップ管理部４２１が生成した復帰マップＭ_Ｒ（ｘ，ｙ）とに基づいて、後にフローチャートと共に説明する方法によりレンズマップＭ_Ｌ（ｘ，ｙ）を更新する。

レンズマップＭ_Ｌ（ｘ，ｙ）は、アプリケーション実行部５００の各部がレーンマーク、他車両、歩行者、道路標識、駐車枠などの検知を行う際の検知領域を表す。たとえば、レンズマップＭ_Ｌ（ｘ，ｙ）が所定値以上のブロックＢ（ｘ，ｙ）については、検知領域から除外する。

抑制制御部４５２は、レンズ状態解析部４１２が出力した座標（Ｍ（ｘ），Ｍ（ｙ））に基づいて、アプリケーション実行部５００の各部の抑制モードの変更に関する判断を実施する。

図１５に示すように、制御マップ５０には、六つの動作決定領域７１、７２、７３、７４、７５、７６が設定されている。図１５には、レンズ状態解析部４１２により投影変換される座標のうち最も原点から離れている座標７７が図示されており、その座標７７を中心とする１／４円７８，７９，８０が三つ図示されている。以降、座標７７のことを最悪汚濁点７７と称する。各１／４円７８，７９，８０の半径は、１／４円７８，７９，８０の順に小さくなる。また、図１５には、１／４円７８，７９，８０の各々を二等分する線分８１と、透過率に関する座標軸に平行な線分８２と、付着面積に関する座標軸に平行な線分８３とが最悪汚濁点７７から延ばされている。

（誤検知対策）
動作決定領域７１は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８３とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７１の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して誤検知対策用第１抑制モードによる処理の実行指令を出力する。

動作決定領域７３は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８３とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７３の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して誤検知対策用第２抑制モードにより処理の実行指令を出力する。

動作決定領域７５は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８３とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７５の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して誤検知対策用第３抑制モードによる処理の実行指令を出力する。

（不検知対策）
動作決定領域７２は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８２とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７２の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して不検知対策である第１抑制モードによる処理の実行指令を出力する。

動作決定領域７４は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８２とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７４の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して不検知対策用第２抑制モードによる処理の実行指令を出力する。

動作決定領域７６は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８２とで囲われた領域である。座標（Ｍ（ｘ），Ｍ（ｙ））が動作決定領域７６の範囲内の座標であるとき、抑制制御部４５２は、アプリケーション実行部５００に対して不検知対策用第３抑制モードによる処理の実行指令を出力する。

換言すると、抑制制御部４５２は、座標（Ｍ（ｘ），Ｍ（ｙ））が透過率に関する座標軸と付着面積に関する座標軸とのどちらに近いかという点に基づいて、誤検知対策および不検知対策のどちらを実行するのかを決定する。また、その決定と同時に、抑制制御部４５２は、最悪汚濁点７７から座標（Ｍ（ｘ），Ｍ（ｙ））までの距離に基づいて、それらの対策をどの段階の抑制モードで実行するのかを決定する。

（統合判定部４５３）
統合判定部４５３は、抑制制御部４５２の決定と、ギブアップ判定部４１３の判定結果と、復帰判定部４２５の判定結果とに基づいて、アプリケーション実行部５００の各部へのギブアップ、復帰、抑制モード等に関する指令を決定して、その指令をアプリケーション実行部５００へ送信する。また、統合判定部４５３は、抑制制御部４５２の決定、ギブアップ判定部４１３の判定結果、復帰判定部４２５の判定結果、およびアプリケーション実行部５００へ送信した指令に関する履歴をメモリ１０などに記録する。

さらに、統合判定部４５３は、アプリケーション実行部５００の各部のギブアップおよび復帰に関する状況に関する情報をインターフェース部６００へ出力する。たとえば、アプリケーション実行部５００の各部をギブアップさせた場合には、ギブアップさせたことに関する情報を警報部６１０に送信して、警報を出力させる。また、たとえば、アプリケーション実行部５００の各部をギブアップ状態から復帰させた場合には、統合判定部４５３は、警報部６１０による警報を停止させる。

（アプリケーション実行部５００）
図１６は、アプリケーション実行部５００の機能構成例を示す。図１６に例示するアプリケーション実行部５００は、レーン認識部５１０と車両検知部５２０と歩行者検知部５３０と標識検知部５４０と駐車枠検知部５６０とを有する。

（レーン認識部５１０）
図１７および図１８を用いて、誤検知対策も不検知対策も実行していない場合のレーン認識部５１０の動作について説明する。

図１７は、レーン認識部５１０の処理に関するフローチャートである。ステップＳ１０では、レーン認識部５１０は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ２０では、レーン認識部５１０は、ステップＳ１０で取得した撮影画像から、路面上で自車両９の走行車線の左右に描かれたレーンマークに対応する特徴点を抽出する。レーン認識部５１０は、たとえば撮影画像内の所定部分に抽出領域を設定して、その抽出領域内で輝度変化が所定の閾値以上であるエッジ点を特徴点として抽出する。

図１８には、撮影画像から抽出された特徴点の一例が図示されている。図１８に示す撮影画像９０は、路面が撮影されている路面画像領域９２と、背景が撮影されている背景画像領域９３とに分けられている。図１７のステップＳ２０において、レーン認識部５１０は、図１８に示すように、この撮影画像９０に対して、自車両９の右側の車線区画線の内側に対応する抽出領域９４と、自車両９の左側の車線区画線の内側に対応する抽出領域９５とを設定する。そして、これらの抽出領域９４および９５の中で隣接する各画素の輝度をそれぞれ比較することでエッジ点を検出し、特徴点９６として抽出する。これにより、左右のレーンマークの内側の輪郭線に沿って、特徴点９６がそれぞれ複数ずつ抽出される。

図１７のステップＳ３０では、レーン認識部５１０は、ステップＳ２０で抽出した特徴点の中から同一直線上に所定個数Ｎ_ｔｈ個以上並んでいる特徴点群を、レーンマークとして認識する。図１８の例では、抽出領域９４および９５の中でそれぞれ１１個の特徴点９６が同一直線状に並んでいる。たとえば、所定個数Ｎ_ｔｈが５個であれば、図１８に例示された抽出領域９４および９５の中の特徴点群はそれぞれレーンマークとして認識する。レーン認識部５１０は、ステップＳ３０で認識されたレーンマークに関する情報をインターフェース部６００などへ出力する。

ステップＳ４０では、レーン認識部５１０は、ステップＳ３０でレーンマークとして認識された特徴点群に含まれる特徴点の個数の時間平均を算出する。たとえば、レーン認識部５１０は、以前のフレームにおいてレーンマークとして認識された各特徴点群に含まれる特徴点の個数についてそれぞれ履歴をメモリ１０に記憶しておき、その履歴を用いて特徴点の個数の時間平均を算出する。

ステップＳ５０では、レーン認識部５１０は、ステップＳ４０で算出された特徴点の個数の時間平均に基づいて、レーンマークの視認性を表す指標ｕを算出する。ステップＳ６０では、レーン認識部５１０は、レーンマークの視認性を表す指標ｕが所定の閾値Ｕ_ｔｈ未満か否かを判定する。ステップＳ６０が肯定判定された場合、すなわち指標ｕが所定の閾値Ｕ_ｔｈ未満の場合、レーン認識部５１０は、ステップＳ７０の処理に進む。一方、ステップＳ６０が否定判定された場合、すなわち指標ｕが所定の閾値Ｕ_ｔｈ以上の場合、レーン認識部５１０は、ステップＳ１０の処理に進み、カメラ２ａおよび２ｂから次フレームの撮影画像を取得する。

ステップＳ７０では、レーン認識部５１０は、警報部６１０（図２）から車両逸脱等の警報を出力しないように制御部４５０に対して指令を出力して、その後ステップＳ１０の処理に進む。レーン認識部５１０は、ステップＳ１０にてカメラ２ａおよび２ｂから次フレームの撮影画像を取得する。

第１抑制モードの誤検知対策では、動作制御部１５は、所定個数Ｎ_ｔｈの設定値を大きくする。これにより、ステップＳ３０において、レーン認識部５１０が同一直線上に並んだ特徴点群をレーンマークとして認識しにくくなる。また、閾値Ｕ_ｔｈの設定値を大きくして、誤った警報が出力されにくくする。所定個数Ｎ_ｔｈの設定値や、閾値Ｕ_ｔｈの設定値は、座標（Ｍ（ｘ），Ｍ（ｙ））の位置に基づいて変化させてよい。

第１抑制モードの不検知対策では、動作制御部１５は、所定個数Ｎ_ｔｈの設定値を小さくする。これにより、ステップＳ３０において、レーン認識部５１０が同一直線上に並んだ特徴点群をレーンマークとして認識しやすくなる。また、閾値Ｕ_ｔｈの設定値を小さくして、警報部６１０が警報を出力しやすくする。所定個数Ｎ_ｔｈの設定値や、閾値Ｕ_ｔｈの設定値は、座標（Ｍ（ｘ），Ｍ（ｙ））の位置に基づいて変化させてもよい。

第２抑制モードの誤検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｎ_ｔｈの設定値をさらに大きくする。これにより、レーン認識部５１０が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しにくくなる。また、周囲環境認識装置１は、ステップＳ２０における特徴点抽出処理の対象とする画像領域の中から付着物が検知された領域を除外、またはステップＳ２０において抽出された特徴点の中から付着物が検知された領域から抽出された特徴点を除外する。

第２抑制モードの不検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｎ_ｔｈの設定値をさらに小さくする。これにより、レーン認識部５１０が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しやすくなる。

第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、動作制御部１５は、汚れ除去部６４０に対してカメラレンズから付着物を除去する指令を出力する。汚れ除去部６４０による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、ギブアップ判定部４３１は、レーン認識部５１０によるレーン認識をギブアップさせる。

なお、駐車枠検知部５６０が駐車枠を認識するための処理は、図１８を用いて説明したレーン認識部５１０がレーンマークを認識するための処理と同様である。そして、駐車枠検知部５６０が各抑制モードの誤検知対策および不検知対策において実施する対策は、レーン認識部５１０が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。

（車両検知部５２０）
図１９を用いて、誤検知対策も不検知対策も実行していない場合の車両検知部５２０の動作について説明する。図１９は、車両検知部５２０の処理に関するフローチャートである。

ステップＳ１１０では、車両検知部５２０は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ１２０では、車両検知部５２０は、ステップＳ１１０で取得した撮影画像に対してエッジ検出処理を実行し、所定の輝度差の閾値Ｉ_ｔｈを基準にして二値化したエッジ画像を生成する。ステップＳ１３０では、車両検知部５２０は、ステップＳ１２０で生成したエッジ画像に対してパターン認識処理を実行し、他車両と推定される画像を検出する。

ステップＳ１４０では、車両検知部５２０は、ステップＳ１３０において所定フレーム数Ｆ_ｔｈ以上連続して他車両と推定される画像が検出されたか否かを判定する。ステップＳ１４０が否定判定された場合、すなわち所定フレーム数Ｆ_ｔｈ以上連続して他車両と推定される画像が検出されていない場合、車両検知部５２０はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。ステップＳ１４０が肯定判定された場合、すなわち所定フレーム数Ｆ_ｔｈ以上連続して他車両と推定される画像が検出された場合、車両検知部５２０はステップＳ１５０の処理に進む。ステップＳ１５０では、車両検知部５２０は、所定フレーム数Ｆ_ｔｈ以上連続して他車両と推定された画像を、他車両として認識する。その後、車両検知部５２０はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。

第１抑制モードの誤検知対策では、制御部４５０は、所定フレーム数Ｆ_ｔｈの設定値を大きくする。所定フレーム数Ｆ_ｔｈの設定値を大きくすることで、車両検知部５２０はステップＳ１２０において他車両と推定された画像を他車両と認識しにくくなるため、他車両を誤検知することが低減される。

第１抑制モードの不検知対策では、制御部４５０は、所定の輝度差の閾値Ｉ_ｔｈの設定値を小さくする。所定の輝度差の閾値Ｉ_ｔｈの設定値を小さくすることで、他車両のエッジが検出されやすくなるため、車両検知部５２０が他車両を不検知することが低減される。所定の輝度差の閾値Ｉ_ｔｈの設定値は、座標（Ｍ（ｘ），Ｍ（ｙ））の位置に基づいて変化させてもよい。

第２抑制モードの誤検知対策では、制御部４５０は、ステップＳ１２０やステップＳ１３０の処理対象とする画像領域の中から付着物が検知された領域を除外する。また、制御部４５０は、車両検知部５２０が検知対象とする他車両を自車両９にとって危険性の高い車両に絞り、その他の車両を検知対象から除外する。たとえばカメラ２ａの撮影画像からは自車両９の走行車線を走行する前方の他車両のみを検知対象とする。また、たとえばカメラ２ｂの撮影画像からは自車両９の走行車線を走行し、自車両９に接近してくる他車両のみを検知対象にする。

第２抑制モードの不検知対策では、制御部４５０は、第１抑制モードよりも所定の輝度差の閾値Ｉ_ｔｈの設定値をさらに小さくする。または、車両検知部５２０は、撮影画像のコントラストが低い場合でも他車両の特徴量を検出可能な他の車両認識方法を用いる。

第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、制御部４５０は、汚れ除去部６４０に対してカメラレンズから付着物を除去する指令を出力する。汚れ除去部６４０による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、制御部４５０は、車両検知部５２０による他車両の認識を断念する。

なお、歩行者検知部５３０および標識検知部５４０がそれぞれ歩行者や道路標識を認識するための処理は、図１９を用いて説明した車両検知部５２０が他車両を認識するための処理と同様である。そして、歩行者検知部５３０および標識検知部５４０が各抑制モードの誤検知対策および不検知対策において実施する対策は、車両検知部５２０が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。

図２０は、システムギブアップ判定部４００の動作に関するフローチャートである。システムギブアップ判定部４００には、付着物検知部２００の各部または追尾部３００の各部から検知結果や視認可能領域等が入力される。

ステップＳ８１では、システムギブアップ判定部４００は、入力された情報が付着物検知部２００の各部の検知結果であるか、追尾部３００の各部から出力された視認可能領域であるかを判定する。システムギブアップ判定部４００は、付着物検知部２００の各部の検知結果が入力された場合は、ステップＳ８２の処理に進み、追尾部３００の各部から出力された視認可能領域である場合は、ステップＳ９０の処理に進む。

ステップＳ８２では、ギブアップ部４１０の付着物マップ管理部４１１が付着物検知部２００の各部の出力結果に基づいて、付着物マップＭ_Ｐ（ｘ，ｙ）の管理を行う。付着物マップ管理部４１１は、付着物マップＭ_Ｐ（ｘ，ｙ）を復帰部４２０へ出力する。

ステップＳ８３では、ギブアップ判定部４１０のレンズ状態解析部４１２が座標（Ｍ（ｘ），Ｍ（ｙ））を算出する。レンズ状態解析部４１２は、算出した座標（Ｍ（ｘ），Ｍ（ｙ））をギブアップ判定部４１３と復帰部４２０と制御部４５０に出力する。

ステップＳ８４では、抑制制御部４５２がステップＳ８３でレンズ状態解析部４１２が算出した座標（Ｍ（ｘ），Ｍ（ｙ））に基づいて、抑制モードを決定する。

ステップＳ８５では、ギブアップ判定部４１３がアプリケーション実行部５００によるレーンマーク、他車両、歩行者、道路標識、駐車枠などの検知をギブアップさせるか否かを判定する。すなわち、ギブアップ判定部４１３は、上記条件（Ｃ１）が成立したか否かを判定する。ギブアップ判定部４１３は、上記条件（Ｃ１）が成立しなかった場合は、ステップＳ８５を否定判定して、ステップＳ８６の処理に進む。ギブアップ判定部４１３は、上記条件（Ｃ１）が成立した場合は、ステップＳ８５を肯定判定して、ステップＳ８７の処理に進む。

ステップＳ８６では、抑制制御部４５２がステップＳ８５で決定した抑制モードが直前の抑制モードから変化したか否かを判定する。ここで、抑制モードの変化とは、第１抑制モードから第２抑制モードに遷移した等、抑制モードのレベルが上下したこと、誤検知対策用の抑制モードと不検知対策用の抑制モードとが切り替わったことなどの変化を含む。抑制制御部４５２は、抑制モードが変化しなかった場合、ステップＳ８６を否定判定して、ステップＳ８９へ処理を進める。抑制制御部４５２は、抑制モードが変化した場合、ステップＳ８６を肯定判定して、ステップＳ８７へ処理を進める。

ステップＳ８７では、付着物マップ管理部４１１が出力した付着物マップＭ_Ｐ（ｘ，ｙ）をレンズマップＭ_Ｌ（ｘ，ｙ）に代入する。たとえば、図２１（ａ）に示すような付着物マップＭ_Ｐ（ｘ，ｙ）の値をレンズマップＭ_Ｌ（ｘ，ｙ）に代入することにより、レンズマップＭ_Ｌ（ｘ，ｙ）の値は、図２１（ｂ）に示すような値となる。

ステップＳ８８では、抑制制御部４５２がアプリケーション実行部５００への抑制制御を決定し、統合判定部４５３が抑制制御に関する指令をアプリケーション実行部５００へ送信する。
ステップＳ８９では、統合判定部４５３がアプリケーション部５００の各部のギブアップおよび復帰に関する状況に関する情報をインターフェース部６００へ出力して、ステップＳ８１の処理に戻る。

ステップＳ９０では、復帰マップ管理部４２１が追尾部３００の各部から入力される視認可能領域Ｖ１（ｘ，ｙ）、Ｖ２（ｘ，ｙ）、Ｖ３（ｘ，ｙ）、Ｖ４（ｘ，ｙ）、Ｖ５（ｘ，ｙ）を用いて、復帰マップＭ_Ｒ（ｘ，ｙ）を生成する。

ステップＳ９１では、復帰判定部４２５が復帰判定を行う。復帰判定部４２５は、上記の条件（Ｃ３）、（Ｃ４）、（Ｃ５）のすべてが満たされたか否かを判定する。復帰判定部４２５は、上記の条件（Ｃ３）、（Ｃ４）、（Ｃ５）のいずれかが満たされなかった場合、ステップＳ９１の処理を否定判定して、ステップＳ９０の処理に進む。復帰判定部４２５は、上記の条件（Ｃ３）、（Ｃ４）、（Ｃ５）のすべてが満たされた場合、ステップＳ９１の処理を肯定判定して、ステップＳ９２の処理に進む。

ステップＳ９２では、レンズマップ管理部４５１がステップＳ９０で生成された復帰マップＭ_Ｒ（ｘ，ｙ）に基づいて、レンズマップＭ_Ｌ（ｘ，ｙ）を更新する。たとえば、レンズマップ管理部４５１は、Ｍ_Ｌ（ｘ，ｙ）−Ｍ_Ｒ（ｘ，ｙ）を算出して、その結果をＭ_Ｌ（ｘ，ｙ）とする。たとえば、図２２（ａ）に示すようなレンズマップＭ_Ｌ（ｘ，ｙ）の値から図２２（ｂ）に示す復帰マップＭ_Ｒ（ｘ，ｙ）の値を減ずることにより、レンズマップＭ_Ｌ（ｘ，ｙ）の値が図２２（ｃ）に示すような値に更新される。
ステップＳ９２でレンズマップＭ_Ｌ（ｘ，ｙ）を更新した後、システムギブアップ判定部４００は、ステップＳ８８の処理に進む。

以上説明した実施の形態によれば、以下の作用効果が得られる。
（１）周囲環境認識装置１は、カメラレンズに付着した付着物を検知する付着物検知部２００と、カメラから異なるフレームでそれぞれ取得した複数の撮影画像の互いに対応する画像領域から同一構造物の特徴量を検出する、換言すると基準フレームに取得された撮影画像の所定領域から追尾対象の画像の特徴量を検出して、基準フレームよりも後のフレームに取得した撮影画像から同一の追尾対象の画像の特徴量が検出されるべき推定領域を算出して、推定領域の中の同一の追尾対象の画像の特徴量の有無を判断する追尾部３００、たとえばレーントラッキング部３１０と、撮影画像に基づいて車両９の周囲環境に存在する所定の物体像を認識するアプリケーション実行部５００、たとえばレーン認識部５１０と、付着物検知部２００の検知結果に基づいてアプリケーション実行部５００の動作を中止させるか否かを判定するギブアップ判定部４１３と、追尾部３００による追尾の成否、すなわち同一の追尾対象の画像の特徴量の検出の成否に基づいてアプリケーション実行部５００の動作をギブアップ状態から復帰させるか否かを判定する復帰判定部４２５と、を備える。したがって、周囲環境認識装置１は、復帰判定部４２５がギブアップ判定部４１３の判定で用いる情報とは性質の異なる情報に基づいてアプリケーション実行部５００の各部のギブアップと復帰の判定を行うため、物体の検知処理のギブアップと復帰を安定させることができる。

また、追尾部３００、たとえばレーントラッキング部３１０は、フレームＴに取得した撮影画像の所定の画像領域、たとえば画像領域１１３から追尾対象に関する特徴量、たとえばレーンマーク１１１に関する特徴点を検出する。追尾部３００、たとえばレーントラッキング部３１０は、フレームＴ＋１に取得した撮影画像からその特徴量が検出されるべき推定領域、たとえば画像領域１１５を算出する。追尾部３００、たとえばレーントラッキング部３１０は、その推定領域からフレームＴで検出された特徴量と同一の特徴量が検出された場合、追尾対象、たとえばレーンマークの追尾が成功したと判断する。周囲環境認識装置１は、特定の特徴量が検出されるべき画像領域からその特徴量が検出されることを追尾部３００が判定することにより、物体の検知処理の復帰を精度よく判定することができる。

（２）追尾部３００、たとえばレーントラッキング部３１０は、追尾対象の追尾が成功した場合、当該追尾に用いた所定領域、たとえば画像領域１１３と、推定領域、たとえば画像領域１１５についてカメラレンズの視認性に関する指標、たとえば視認可能領域Ｖ１（ｘ，ｙ）を所定量増加させ、追尾対象の追尾が失敗した場合、視認性に関する指標を増加させず、復帰判定部４２５は、撮影画像に含まれる複数の画像領域の各々、たとえば分割画像ブロックＢ（ｘ，ｙ）に関する複数の視認性に関する指標の総和が所定閾値以上である場合、たとえば条件（Ｃ５）を満足する場合、アプリケーション実行部５００の動作を中止状態から復帰させるよう判定する。したがって、物体の検知処理の復帰を精度よく判定することができる。

（３）復帰判定部４２５は、追尾部３００による追尾対象の追尾の成否による復帰条件、たとえば条件（Ｃ５）と付着物検知部２００の検知結果による復帰条件、たとえば条件（Ｃ３）および（Ｃ４）が成立した場合、アプリケーション実行部５００の動作を中止状態から復帰させるよう判定する。したがって、物体の検知処理の復帰を追尾対象の追尾の成否による復帰条件だけで判定している場合よりもさらに精度よく判定することができる。

（４）レンズ状態解析部４１２は、付着物検知部２００の各部の検知結果に基づいて、カメラ２ａおよび２ｂのカメラレンズのレンズ透過率に関する指標であるＭ（ｘ）と、付着物の付着面積に関する指標であるＭ（ｙ）とを算出する。そして、復帰判定部４２５は、カメラレンズのレンズ透過率と付着物の付着面積とのいずれか少なくとも一方が改善しているか否かを判定する（条件（Ｃ４））。したがって、アプリケーション実行部５００の動作の復帰を精度よく判断することができる。

（５）付着物検知部２００は、レンズに付着する複数種類の付着物、たとえば水滴、白濁、水滴痕、泥などを検出する。付着物マップ管理部４１１は、付着物検知部２００が検知した複数種類の付着物の各検知結果に基づいて複数の検知結果を統合して座標（Ｍ（ｘ），Ｍ（ｙ））を算出する。したがって、複数の検知結果によってアプリケーション実行部５００が矛盾した動作を行うことが防止される。

以上説明した実施形態は、以下のように変形して実施できる。
上記の実施の形態では、カメラ２ａおよび２ｂを用いて車両の前方または後方の路面を撮影したが、さらに車両の左側方または右側方の路面を撮影するカメラを設けることにしてもよい。また、車両の周囲の路面を撮影できる限り、カメラの設置位置および撮影範囲をどのように設定しても構わない。

上記の実施の形態では、追尾部３００は、車両９の移動量を車両９の走行速度に基づいて算出したが、他の方法で算出することにしてもよい。たとえば、追尾部３００は、ＣＡＮに接続されているカーナビゲーション装置から車両９の移動量を取得することにしてもよい。

上記の実施の形態では、付着物検知部２００は、水滴検知部２１０と白濁検知部２２０と水滴痕検知部２３０と泥検知部２４０とを有することにした。しかし、付着物検知部２００は、これらの一部を有しないことにしてもよいし、他の検知部をさらに有することにしてもよい。なお、水滴検知部２１０と白濁検知部２２０と水滴痕検知部２３０と泥検知部２４０のいずれかが存在しない場合、存在しない検知部に関する正規化スコアと、その正規化スコアに乗ぜられる係数とを式（１）から削除することにしてもよいし、存在しない検知部に関する正規化スコアをゼロとして式（１）を算出することにしてもよい。また、制御マップ５０は、あくまで一例であって、水滴検知部２１０と白濁検知部２２０と水滴痕検知部２３０と泥検知部２４０のいずれかが存在しない場合、水滴範囲５１および泥範囲５４と、実線で示す長方形状の白濁範囲５２および水滴痕範囲５３とのうち存在しない検知部に対応する領域を設けない。また、制御マップ５０の座標軸は、レンズ汚れの透過率に関する座標軸やカメラレンズに付着物が付着している付着面積に関する座標軸以外の座標軸でもよい。

上記の実施の形態では、復帰判定部４２５は、上記条件（Ｃ３）、（Ｃ４）、（Ｃ５）のすべてが満たされたとき、アプリケーション実行部５００をギブアップ状態から復帰させることを肯定することにした。しかし、復帰判定部４２５は、少なくとも条件（Ｃ５）が成立していれば、アプリケーション実行部５００をギブアップ状態から復帰させることを肯定することにしてもよい。たとえば、条件（Ｃ５）だけが満たされた場合、条件（Ｃ５）および（Ｃ３）が満たされた場合、条件（Ｃ５）および（Ｃ４）が満たされた場合などであってもアプリケーション実行部５００をギブアップ状態から復帰させることを肯定することにしてもよい。また、条件（Ｃ５）については、追尾部３００の追尾対象が正しく認識したら直ちにアプリケーション実行部５００をギブアップ状態から復帰させるか否かを判定することにしてもよい。

上記の実施の形態では、距離分解能チェック部３５０は、画像領域１５１の各部分領域１５１ａのエッジ強度ヒストグラムＨ３の平均よりも、当該部分領域１５１ａに対応する画像領域１５２の部分領域のエッジ強度ヒストグラムＨ４の平均が小さいか否かの判定に基づいて、画像領域１５１を含むブロックＢ（ｘ，ｙ）と画像領域１５２を含むブロックＢ（ｘ，ｙ）の視認性を判断した。しかし、距離分解能チェック部３５０は、他の判定方法で画像領域１５１を含むブロックＢ（ｘ，ｙ）と画像領域１５２を含むブロックＢ（ｘ，ｙ）の視認性を判断することにしてもよい。たとえば、距離分解能チェック部３５０は、次の手順で判定を行うことにしてもよい。距離分解能チェック部３５０は、画像領域１５１の上側（遠方側）の６個の部分領域１５１ａの各エッジ強度と画像領域１５２の上側（遠方側）の６個の部分領域の各エッジ強度との差をそれぞれ算出する。また、距離分解能チェック部３５０は、画像領域１５１の下側（至近側）の６個の部分領域１５１ａと画像領域１５２の下側（至近側）の６個の部分領域との間のエッジ強度の差をそれぞれ算出する。距離分解能チェック部３５０は、上側（遠方側）の部分領域間のエッジ強度の低下量が下側（至近側）の部分領域間のエッジ強度の低下量よりも小さいか否かをさらに判定する。距離分解能チェック部３５０は、上側（遠方側）の部分領域間のエッジ強度の低下量が下側（至近側）の部分領域間のエッジ強度の低下量よりも小さい場合、画像領域１５１を含むブロックＢ（ｘ，ｙ）と画像領域１５２を含むブロックＢ（ｘ，ｙ）の視認性がよいと判断する。

上記の実施の形態では、ギブアップ判定部４１３は、条件（Ｃ１）が成立したとき、アプリケーション実行部５００によるレーンマーク、他車両、歩行者、道路標識、駐車枠などの検知をギブアップさせることにした。しかし、ギブアップ判定部４１３は、アプリケーション実行部５００による検知をギブアップさせることの代わりに、アプリケーション実行部５００による検知結果に基づいた出力を中止させることにしてもよい。たとえば、車両検知部５２０による他車両の検知結果に基づいて他車両との衝突のおそれがある場合に警告音声を出力する場合には、その警告音声の出力を中止させることにしてもよい。このようにすることで、カメラレンズの汚れを他車両と認識して、警告音声を誤って出力することを防ぐことができる。また、ギブアップ判定部４１３は、レーン認識部５１０に対しては、レーン認識部５１０によるレーンマークの検知をギブアップさせる代わりに、所定の閾値Ｕ_ｔｈを小さくして、ステップＳ５０が肯定判定され易くすることにしてもよい。

上記の実施の形態では、周囲環境認識装置１は、車両９に搭載されるものとして説明したが、軽車両、列車などの他の移動体に搭載されることにしてもよい。

以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。

１ 周囲環境認識装置
２ａ，２ｂ カメラ
１００ 撮影画像取得部
２００ 付着物検知部
３００ 追尾部
４００ システムギブアップ判定部
４１３ ギブアップ判定部
４２５ 復帰判定部

Claims (11)

1. カメラレンズを介して移動体の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、
   前記画像取得部が取得した撮影画像に基づいて前記周囲環境に存在する物体像を認識する画像認識部と、
   前記画像取得部が取得した撮影画像に基づいて前記カメラレンズに付着した付着物を検知する付着物検知部と、
   前記付着物検知部の検知結果に基づいて前記画像認識部の動作を中止させるか否かを判定する中止判定部と、
   前記画像取得部が基準フレームに取得した撮影画像の所定領域から追尾対象の画像の特徴量を検出して、前記画像取得部が前記基準フレームよりも後のフレームに取得した撮影画像から前記特徴量が検出されるべき推定領域を算出して、前記推定領域の中の前記追尾対象の画像の前記特徴量の有無を判断する追尾部と、
   少なくとも前記追尾部による前記追尾対象の画像の前記特徴量の有無の判断結果に基づいて、前記画像認識部の動作を中止状態から復帰させるか否かを判定する復帰判定部と、
   を備えることを特徴とする周囲環境認識装置。
2. 請求項１に記載の周囲環境認識装置において、
   前記復帰判定部は、前記追尾部が前記追尾対象の画像の前記特徴量が有ると判断した場合、前記画像認識部の動作を中止状態から復帰させることを特徴とする周囲環境認識装置。
3. 請求項１に記載の周囲環境認識装置において、
   前記中止判定部は、撮影に対して悪影響を与えるほどにカメラレンズが汚れていることを表す前記付着物検知部の検知結果に基づいて、前記画像認識部の動作を中止させると判定し、
   前記復帰判定部は、前記追尾部が前記追尾対象の画像の前記特徴量が有ると判断した場合、前記撮影に対して悪影響を与えるほどにカメラレンズが汚れていると判定した前記付着物検知部の検知結果に対して、前記追尾部が前記追尾対象の画像の前記特徴量が有ると判断するほどにカメラレンズの汚れが改善していることに応じて、中止している前記画像認識部の動作を復帰させるか否かを判定することを特徴とする周囲環境認識装置。
4. 請求項１に記載の周囲環境認識装置において、
   前記追尾部は、
   前記追尾対象の画像の前記特徴量が有ると判断した場合、前記所定領域と前記推定領域について前記カメラレンズの視認性に関する指標を所定量増加させ、
   前記追尾対象の画像の前記特徴量が無いと判断した場合、前記視認性に関する指標を増加させず、
   前記復帰判定部は、前記撮影画像に含まれる複数の画像領域の各々に関する複数の前記視認性に関する指標の総和が所定閾値以上である場合、前記画像認識部の動作を中止状態から復帰させるよう判定することを特徴とする周囲環境認識装置。
5. 請求項４に記載の周囲環境認識装置において、
   前記復帰判定部は、前記追尾部による前記追尾対象の画像の前記特徴量の有無の判断結果による復帰条件と前記付着物検知部の検知結果による復帰条件のすべてが成立した場合、前記画像認識部の動作を中止状態から復帰させるよう判定することを特徴とする周囲環境認識装置。
6. 請求項５に記載の周囲環境認識装置において、
   前記付着物検知部は、前記画像取得部が取得した撮影画像から前記付着物が検知された場合、前記付着物が検知された画像領域について付着状態を表す指標を所定値増加させ、
   前記復帰判定部は、前記付着状態を表す指標に基づいて、前記カメラレンズのレンズ透過率に関する情報と、前記付着物の付着面積に関する情報とを算出して、
   前記付着物検知部の検知結果による復帰条件として、前記カメラレンズのレンズ透過率および付着面積の少なくとも一方が改善しているか否かを判定することを特徴とする周囲環境認識装置。
7. 請求項６に記載の周囲環境認識装置において、
   前記付着物検知部は、複数種類の前記付着物をそれぞれ検知し、
   前記周囲環境認識装置は、
   前記複数種類の前記付着物の各検知結果に基づいて複数の検知結果を統合した統合検知結果を算出する検知結果統合部をさらに備え、
   前記復帰判定部は、前記追尾部による前記追尾対象の画像の前記特徴量の有無の判断結果による復帰条件と前記カメラレンズのレンズ透過率および付着面積に関する情報による復帰条件と前記統合検知結果の時間変化による復帰条件のすべてが成立した場合、前記画像認識部の動作を中止状態から復帰させるよう判定することを特徴とする周囲環境認識装置。
8. 請求項７に記載の周囲環境認識装置において、
   前記統合検知結果は、前記付着物によるレンズ透過率に関する第１の座標軸と、前記カメラレンズに付着した付着物の付着面積に関する第２の座標軸とを有する座標系上の座標であり、
   前記第１の座標軸は、前記座標系の原点に近づくほど前記レンズ透過率が高くなり、
   前記第２の座標軸は、前記原点に近づくほど前記付着面積が小さくなり、
   前記復帰判定部は、前記統合検知結果の時間変化による復帰条件として、前記統合検知結果が前記原点に所定時間連続して近づいているか否かを判定することを特徴とする周囲環境認識装置。
9. 請求項５に記載の周囲環境認識装置において、
   前記付着物検知部は、複数種類の前記付着物をそれぞれ検知し、
   前記周囲環境認識装置は、
   前記複数種類の前記付着物の各検知結果に基づいて複数の検知結果を統合した統合検知結果を算出する検知結果統合部をさらに備え、
   前記復帰判定部は、前記追尾部による前記追尾対象の画像の前記特徴量の有無の判断結果による復帰条件と、前記検知結果統合部が前記付着物検知部の検知結果に基づいて算出した前記統合検知結果の時間変化による復帰条件のすべてが成立した場合、前記画像認識部の動作を中止状態から復帰させるよう判定することを特徴とする周囲環境認識装置。
10. 請求項９に記載の周囲環境認識装置において、
    前記統合検知結果は、前記付着物によるレンズ透過率に関する第１の
    座標軸と、前記カメラレンズに付着した付着物の付着面積に関する第２の座標軸とを有する座標系上の座標であり、
    前記第１の座標軸は、前記座標系の原点に近づくほど前記レンズ透過率が高くなり、
    前記第２の座標軸は、前記原点に近づくほど前記付着面積が小さくなり、
    前記復帰判定部は、前記統合検知結果の時間変化による復帰条件として、前記統合検知結果が前記原点に所定時間連続して近づいているか否かを判定することを特徴とする周囲環境認識装置。
11. 請求項１に記載の周囲環境認識装置において、
    前記中止判定部は、前記画像認識部の認識結果を入力として用いる制御を中止させるか否かを判定し、
    前記復帰判定部は、前記画像認識部の認識結果を入力として用いる制御を復帰させるか否かを判定することを特徴とする周囲環境認識装置。

Images