JP2014013454A

JP2014013454A - 車載用環境認識装置

Info

Publication number: JP2014013454A
Application number: JP2012149870A
Authority: JP
Inventors: Masayuki Takemura; 雅幸竹村; Shoji Muramatsu; 彰二村松; Masahiro Kiyohara; 將裕清原
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-07-03
Filing date: 2012-07-03
Publication date: 2014-01-23
Anticipated expiration: 2032-07-03
Also published as: JP5879219B2

Abstract

【課題】認識対象物が見え難くなった要因を特定し、その要因を取り除ける場合は、取り除いてから認識対象物を認識する車載用環境認識装置を提供する。
【解決手段】車両後方に設けたカメラにより撮像された画像を取得する撮像部と、画像から露光情報を取得する光源環境推定部と、画像から特徴量を抽出する特徴量抽出部と、特徴量と露光情報との関連性に基づいてカメラのレンズ汚れの状態を判定する状態判定部と、レンズ汚れの状態に基づいて、認識アプリケーションの実行の可否を判定する処理と、レンズ汚れの状態に基づいて、レンズ汚れの除去を制御する処理と、を有するアプリ制御部と、を有する。
【選択図】図１

Description

本発明は、カメラで撮像した画像に基づいて対象物を認識する車載用環境認識装置に関する．

従来は、車載カメラは画像認識専用のカメラを利用するシステムが主流であったが、近年はユーザに映像を提示するためのカメラと画像認識用のカメラを兼用するシステムが増えつつある。画像認識専用のカメラではないため車室外に取り付けられたカメラを画像認識に利用することがあり、汚れや雨滴などを検知し、現在のレンズ状態が画像認識に利用できる状態であるかどうかを正確に判定する技術が重要となる。

特許文献１には、雪や霧、雨、夜間照明の反射等があっても、カメラを用いて道路の白線を検出する車線逸脱警報装置に関するもので、レンズやフロントガラスの汚れの大きさから仕切線認識用のしきい値を適宜変更するようにしたことが開示されている。

特開２００３−４４８６３号公報

従来手法は、車載カメラにおいて路面のレーンマーク状態などを監視する際に、画像上のレーンマークの見え方に応じて、認識パラメータの調整を実施することで耐環境性能を向上している。

しかしながら、従来手法では画像上のレーンマークなどの認識対象物の見え方が画像認識にとってふさわしくない状態であることは判別可能であったが、路面が荒れていることが原因なのか、周囲光源環境が暗いことが原因なのか、レンズが汚れていることが原因なのか、主原因を特定することは困難であった。

本発明の目的は、認識対象物が見え難くなった要因を特定し、その要因を取り除ける場合は、取り除いてから認識対象物を認識する車載用環境認識装置を提供することである。

上記課題を解決するために、本発明の車載用環境認識装置は、車両後方に設けたカメラにより撮像された画像を取得する撮像部と、画像から露光情報を取得する光源環境推定部と、画像から特徴量を抽出する特徴量抽出部と、特徴量と露光情報との関連性に基づいてカメラのレンズ汚れの状態を判定する状態判定部と、レンズ汚れの状態に基づいて、認識アプリケーションの実行の可否を判定する処理と、レンズ汚れの状態に基づいて、レンズ汚れの除去を制御する処理と、を有するアプリ制御部と、を有する構成とする。

本発明は、認識対象物が見え難くなった要因を特定し、その要因を取り除ける場合は、取り除いてから認識対象物を認識する車載用環境認識装置を提供できる。

レンズ状態判定機能を備える車載用環境認識装置の構成を示す図である。光源環境推定部の構成を示す図である。特徴量抽出部の構成を示す図である。状態判定部の構成を示す図である。アプリ制御部アプリ実行部路面エッジ強度解析、背景エッジ強度解析の説明図である。輝度変化なし領域を示す図である。汚れ形状解析方法を示す図である。背景エッジ強度と露光情報の相関性、白濁時のエッジ強度低下を示す図である。レンズ白濁の時系列データを示す図である。レンズ状態判定部の白濁判定のフローを示す図である。露光情報を示す図である。レンズ状態判定部の輝度固着判定のフローを示す図である。レンズ状態判定部の汚れ形状解析のフローを示す図である。

＜図１説明＞
図１は、レンズ状態判定機能を備える車載用環境認識装置10の構成を示す図である。車載用環境認識装置10は、車両後方に設けた車載カメラにより撮像された画像を撮像部100にて取得する。光源環境推定部200では、カメラの露光情報、たとえば、シャッタースピード、絞り、露光領域の平均輝度、ゲインなどや、画像上の高輝度領域の情報などを基に、現状のカメラ周囲の光源環境を推定する。特徴量抽出部300では、エッジ強度解析、輝度解析、形状解析などを実施することで、カメラのレンズ状態や路面状態の判定に利用する特徴量の瞬間値を画像から抽出する。

状態判定部400では、特徴量抽出部300により抽出された特徴量と、光源環境推定部200により取得された露光情報との関連性（関係性）を利用して、カメラのレンズ状態（レンズ汚れの状態）、背景視認性、路面状態などを判定する。これらの結果から、レンズ状態によってはアプリの誤検知や不検知を抑制するパラメータの調整を行う。更にレンズ状態が悪化したような場合には、レンズ汚れ除去処理を実行し、更にレンズ状態が悪化した場合には、システムとして画像認識をギブアップすることを意味するフェール判定を実施する。また、光源環境や背景視認性、路面状態が悪いと判定した場合には、一時的に画像認識しづらい状態であることを理解し、状況に応じた対応をアプリ制御部500にて実施する。アプリ実行部600では、アプリ制御部500にて実施された調整結果を基に画像認識アプリケーションを実施する。

＜図２光源環境推定部説明＞
図２は、光源環境推定部200の構成を示す図である。光源環境推定部200では、車両周囲の光源環境の情報を推定する。車両情報として、自車両のヘッドライトのON,OFFや、ウィンカー、ブレーキランプなどを含めて、光源環境推定部200で、情報を管理しても良い。

まず、自車両のカメラの露光情報を露光情報部210にて管理する。車載カメラは、周囲の光源環境にあわせて、シャッタースピードやゲインを自動でコントールしている場合には、これらの情報自体が周囲の明るさを示す一つの指標として利用できる。例えば、周囲の明るい場合には、カメラは白飛びしないようにシャッタースピードを上げ、反対に暗い場合には、シャッタースピードをゆっくりにしていくが、ある程度暗くなったところで、シャッタースピードには限界がくる。取得できる画像のフレームレート以上に露光時間を長くすることはできないので、そこでゲイン補正にて画像を明るくするような調整をする。つまり暗いほど、シャッタースピードが遅く、なおかつ画像輝度補正するゲインも高くなる傾向にある。また、露光に利用している枠の輝度情報自体も、露光枠周囲の輝度変化を知るためには有用な情報として利用する。カメラから得られるこのようなシャッタースピードや、ゲイン情報を利用して、昼夜の判定や、周囲光源環境の明るさを数値化してレンズ状況の解析にも利用する。

画像高輝度情報部220では、画像内に高輝度領域が存在するかをチェックする。特に解析に利用するシーンは、西日などの場合には、西日の路面反射などが生じるような場合に、まだ夜ではないにもかかわらず路面領域に高輝度領域が存在することをもって西日路面反射との判定を実施する。また、夜の場合には、背景を流れていく周囲の光源は、街灯や店の明かりなども、画像高輝度情報部220で把握する。更に他車両のヘッドライト情報は、アプリケーション、レーン認識等にとっては誤検知要因でもあるため、他車両の位置把握のためにも、後続車両や、隣接車線を走行する車両の位置情報を把握するために、画像高輝度領域を抽出し、状態判定部400においてその情報を利用する。

＜図３特徴量抽出部説明＞
図３は、特徴量抽出部300の構成を示す図である。特徴量抽出部300では、路面エッジ強度解析、背景エッジ強度解析、輝度解析、形状解析などを実施するために、それぞれの特徴量を抽出する。

図７に路面エッジ強度解析部310と背景エッジ強度解析部320とについて、エッジ強度解析の説明図を示す。

路面エッジ強度解析部310では、図７に示すように、路面の白線を含むと想定される位置に処理領域左RDLと処理領域右RDRを設定し、その処理領域内におけるエッジ強度をヒストグラム化することで、路面領域の輝度差の大きさを示す路面エッジ強度特徴量を抽出する。これにより、路面の白線を含むエッジ強度を解析する。図７のグラフに示すように、エッジ強度の強さでヒストグラム化し、そのエッジ強度の平均値をとれば、処理領域内における平均エッジ強度を求めることができる。処理領域を左右に分割することで、認識対象となる左右の白線別に、左右白線の見えやすさの指標として利用することができる。

上記、路面エッジ強度を解析する処理領域位置は、レーン認識の結果をベースにして白線と路面を含むように領域を動的に変更することで、レンズ汚れを含んだ状態のままでの白線のエッジ強度を解析するようにしても良い。時間方向にフィルタリングすることで、レンズ汚れを含んだ状態で現状のカメラでの白線の見やすさの指標として白線視認性を解析する。ただし、この視認性は、路面の白線が擦れて見えにくいのか、レンズが汚れていて見にくいのか、周囲が暗くて白線が見えにくいのかわからない。そのため白線視認性は、現状の画像上での白線の見えやすさを示す、1つの指標として利用し、白線認識アプリケーションの閾値調整にはそのまま利用する。また、白線が破線やボッツドッツのような道路であることを認識し、その周期性を解析することで、白線が存在しない間隔で白線強度が低下することを、周期性を利用して間隔時は保持し、破線やボッツドッツがある瞬間のエッジ強度を、現状の白線の視認性として利用するような補正を実施しても良い。

次に、背景エッジ強度解析部320は、背景領域内におけるエッジ強度をヒストグラム化することで、背景領域の輝度差の大きさを示す背景エッジ強度特徴量を抽出し、これを車両や歩行者の視認性を図る１つの指標として利用する。白線のように常に道路上に存在するであろうことが、高確率で確かな場合と比較すると車両や歩行者は、どこに存在するか、もしくは存在しないかが不明であるために、この領域を解析して、車両のエッジ強度がどのくらいと解析することは困難である。このため、車載カメラにおいて常に撮影されていると考えられ、また、それ自身の見え方が大きく変化しないであろうと考えられる地平線もしくは道路端のエッジを利用することで、車両や歩行者の見えやすさの指標として利用する。ここで、車体のエッジなどは反射などが要因となり大きく輝度変化するために、自車両の車体と路面のエッジ強度は、他車両や、歩行者の視認性とは大きく異なり利用しづらい。また白線は、破線か実線かが存在することがほぼ確実ではあるものの、北米などでは擦れた白線がかなり存在するために、車両や歩行者の視認性の指標としては利用しづらい。そこで遠方にある地平線、もしくは道路端を利用することで、車両や歩行者といった障害物のみやすさの指標とすることに成功した。あるいは、地平線の代わりに道路端のエッジを利用してもよい。すなわち、背景エッジ強度特徴量は、画像の背景領域のうち地平線もしくは道路端を含む処理領域から求められる。

昼に関しては、画面上の地平線付近を、左右、中央の３つに区分してエッジ強度解析を実施した。これは少なからず背景構造物の影響を軽減するためである。例えば、遠方には構造物が少なくないような場合には、画像中央の地平線付近のエッジ強度は、どうしても低くなるが、近傍領域を含めた左右領域を含めて解析すると、構造物の有無の影響を軽減することができる。アプリケーションによって、エッジ強度を解析する領域を適切に選定して、検知時のエッジ閾値として利用する。

また、夜間に関しては、真後ろの地平線部分は遠方すぎて見えないことや、後続車両のヘッドライトが常時見える可能性があるため、真後ろの処理領域は利用せずに、道路端を見ている処理領域ＢＧＬとＢＧＲを利用することで、安定性を確保する。夜間に関しては、照明環境によって認識対象物の見えやすさの変化が大きいため、認識対象物の見えやすさを評価する指標としては、認識対象物の処理領域に近い道路端を含む領域を処理領域として背景エッジを解析することで、認識対象物体のエッジ強度の見えやすさに比例したエッジ強度を解析しやすいと考えられる。

輝度解析部350は、時間方向に輝度変化が少ない領域の解析を実施する。車載カメラは走行中であれば、自車両車体以外の部分は常に風景が自車速で後方に流れていくために輝度変化がおきて当然である。このため輝度変化の少ない領域、もしくは、画面内周囲と比較して常に輝度が低い、もしくは高いという特徴がある一定時間以上続くことを特徴として、レンズ上に付着物が存在する可能性を解析する。図８に、輝度変化が少ない時間の長さを等高線で表す。ただし、周囲環境が暗い場合は、付着物も周囲環境も暗くなり、上記のような輝度差の特徴量として見えなくなる可能性がある。また、車両が動いていない場合には、画面全体の輝度が変化しなくとも風景に動物体がなければ当然である。このためレンズ状態の最終判断には、光源環境、車両挙動情報と合わせての判定が重要となるため、光源環境推定結果と共に、状態判定部400において最終的なレンズ状況の判断を実施する。輝度解析部350では、上記の時間方向における輝度変化の画面上のマップ情報を最終出力とする。

形状解析部360は、画面上のエッジ情報や輝度変化の位置情報を利用する。上記、輝度解析部350と同様に、車両が動いていて風景は常に変わるはずなのに、常に同じ方向の輝度変化が同じ画面上の位置に存在し続けることは、背景に要因が存在するのではなく、レンズ上に汚れなどの付着の可能性が高いと判断する。また、形状解析部360では、もう１種類、レンズに付着した泥や水滴などの円形についた粒を検知するロジックとして、図９に示すように着目画素の周囲の輝度で内側参照点と外側参照点の輝度差を比較し、内側の方が明るい場合、夜の水滴や泥、昼の水滴を検知する。また、昼の泥に関しては逆に内側の方が暗い特徴を利用して泥を検知する。上記輝度解析部350と同様に、光源環境と車両挙動情報を利用してのレンズ状態の最終判断は、状態判定部400にて実施する。

＜図４状態判定部説明＞
図４は、状態判定部400の構成を示す図である。状態判定部400は、レンズの汚れ状況を判定するレンズ状態判定部410、背景に映る車両や歩行者、標識などの見えやすさを示す背景視認性解析部420、路面の白線の擦れ度合いや、路面の反射の度合い、ウェット路面、白線の存在しない泥道や積雪状況を判定する路面状態判定部430、自車両の車両挙動、車速や舵角、ヨーレート、などの車両挙動に関する情報や、前照灯のON,OFF情報、自車両のヘッドライトのON,OFFや、ウィンカー、ブレーキランプ、エンジンのON,OFFなどの車両情報を管理する車両情報部440からなる。

状態判定部400における、レンズ状態判定部410では、レンズ白濁状態の判定と、レンズの輝度が固着するほどの不透過な汚れが付着していることを解析するレンズ輝度固着判定と、レンズの点状に付着した物体、もしくは特定形状で後方が透けその汚れの輪郭だけが浮き上がるような半透明の汚れ状態の判定とを行う。

レンズ状態判定部410で実施する判定フローを図１１−１、１２、１３に示す。図１１−１にレンズ白濁判定のフローを、図１２に輝度固着判定のフローを、図１３に汚れ形状解析のフローをそれぞれ示す。

背景視認性解析部420では、明るさに関わらず背景領域のエッジ強度を解析した結果を帰す。これは、エッジ強度を解析し、レンズが汚れているのか、暗くて見えにくい状況なのかは問わず、現在車両や歩行者が来た場合の見えやすさを示す指標として利用する。

路面状態判定部430でも、同様に、明るさに関わらず路面領域のエッジ強度を解析した結果を帰す。これは、エッジ強度を解析し、レンズが汚れているのか、路面の白線が擦れているのか、暗くて見えにくい状況なのかは問わず、現在路面の白線の特徴量の見えやすさの指標を示す。

車両情報部440では、車速や、エンジンのON,OFF,ヘッドライトのON,OFFウィンカー、ブレーキランプの点灯、タイマーによる時間測定などの情報を扱う。

＜図１１−１説明＞
図１１−１では、レンズ状態判定部410における、レンズ白濁状態の判定方法について記す。

S1
露光情報を入力情報とする。この露光情報としては、シャッタースピード、ゲイン、カメラ高輝度領域抽出結果の情報もしくは露光枠の平均輝度値でも良い。車両情報部440からのタイマーと車速も利用する。また、白濁判定には、背景エッジ強度解析の、瞬間値のエッジ強度についても入力として受け取る。

S2
次に、現状の車速及び露光情報をチェックし、レンズ白濁状態を判定するのにふさわしい車速、もしくは露光情報かなどをチェックする。まず、車速のチェックは、停車時に背景エッジ強度の解析を実施すると、固定背景のエッジ強度を常に観測することになり、背景シーンの影響を強く受けすぎるために好ましくないため、車速はある一定車速SPEEDW_THR以上に限定して、白濁状態の解析を実施することとする。

また、露光情報に関しても、カメラが白飛びや黒飛びするようなシーンを除いて解析を実施する。図１１−２に示すように、シャッター制御とゲインを合わせて数値化する。カメラが明るい間はシャッタースピードが速く、暗くなるにつれてシャッタースピードが遅くなり、シャッタースピードの遅さがある規定値に達するとゲインが上がり始める。このカメラの露光情報を利用して、現在のカメラ周囲の光源環境が明るいか暗いかを判定する。

暗夜のように真っ暗なシーンでは、そもそも背景がまったく見えない。このような場合は、レンズがクリアであろうとも、白濁していようとも、背景が暗くなり見えないことには変わりないため、レンズ状態を解析すること自体が困難となる。

また、反対に明るすぎて画面が白飛びしているような場合にも同じことがいえる。背景エッジ強度を解析する処理領域全体が、白飛びしているような場合、領域の背景を解析しても、レンズ状態を判定することができない。このため露光情報とカメラ高輝度領域が背景エッジ強度解析の処理領域近辺にいないかをチェックして使える情報かそうでないかを判定する。図７に示すように、背景エッジ強度解析の処理領域をBGL,BGT,BGRに３分割しているのも、空が白飛びしているような場合等を考慮した設計である。

S3
これら判定条件、（１）（２）（３）より背景エッジ強度解析してよいと思われる条件の場合にＮＯを選択し、背景エッジ強度解析の未判定タイマー時間をリセットする。

S6
ＹＥＳの場合には、背景エッジ強度解析の未判定タイマー時間を加算する。

S7
この未判定タイマー加算時間は、背景エッジ強度解析の時系列データから、レンズ状態を解析するために、利用してよい良いかどうかを判定する。あまりにも古い昼夜のデータを混同して判定する、もしくは、数週間前のデータと混同して判定しないように、ある一定時間Ｗを超えると時系列データを破棄して、レンズ状態を新たに診断するように設計することで、現状のレンズ状態を正確に反映できるようにする。

S8
ただし、一度、システムギブアップに至ったような、白濁が進行したレンズ状態の場合には、時系列データの破棄は行っても、システムギブアップに至ったレンズ状態であるレンズ白濁状態の結果事態は、この時系列データリセットではリセットしない。アプリ制御部500自体で管理する。

S4
図１０−１に示すように、背景エッジ強度と露光情報の相関性から、白濁時のエッジ強度低下の割合を求める。クリアレンズ時のエッジ強度を１００として、その低下の割合をパーセンテージ％で数値として算出する。この算出された瞬間値を図１０−２に示すようにレンズ白濁の時系列データとして蓄積する。これにより、背景エッジ強度特徴量と露光情報の相関性に基づいてレンズ白濁状態を判定する。なお、背景エッジ強度特徴量の代わりに路面エッジ強度特徴量を用いてもよい。

S5
ある一定時間分のデータが集まった時点から、時系列にフィルタリングした値を最終的なレンズ白濁の指標としてレンズ白濁状態を更新する。

＜図１２輝度固着判定説明＞
図１２では、レンズ状態判定部410における、レンズ輝度固着の判定方法について記す。レンズ輝度固着の判定は、自車両走行中に背景が動くにも関わらず動かない領域が存在する場合には、その領域には汚れが付着している可能性が高いと判断する。

SB1
露光情報を入力情報とする。この露光情報としては、シャッタースピード、ゲイン、カメラ高輝度領域抽出結果の情報もしくは露光枠の平均輝度値でも良い。車両情報部440からのタイマーと車速、ブレーキランプやウィンカー情報も利用する。

SB2
次に、現状の車速及び露光情報をチェックし、レンズ輝度固着状態を判定するのにふさわしい車速、もしくは露光情報かなどをチェックする。まず、車速のチェックは、停車時に輝度固着の解析を実施すると、固定背景を常に観測することになり、光源環境が変化しなければ全画面が輝度固着と判定されレンズ状態が汚れていると誤判定する可能性がある。このため、車速はある一定車速SPEEDB_THR以上に限定して、輝度固着の解析を実施することとする。

また、露光情報に関しても、カメラが白飛びや黒飛びするようなシーンを除いて解析を実施する。カメラの露光情報を利用して、現在のカメラ周囲の光源環境が明るいか暗いかを判定する。暗夜のように真っ暗なシーンでは、そもそも背景がまったく見えない。このような場合は、レンズがクリアであろうとも、輝度固着していようとも、背景が暗く変化しないため、レンズ状態を解析すること自体が困難となる。

また、反対に明るすぎて画面が白飛びしているような場合にも同じことがいえる。白飛びしている領域が画面上でほぼ一定位置に存在し続けるような場合、例えば西日を背にして走行するような場合には、白飛びした空を輝度固着と誤判定する可能性がある。このため露光情報とカメラ高輝度領域が処理領域内にいないかをチェックして使える情報かそうでないかを判定する。

また、夜間の場合には、自車両のブレーキランプやウィンカー時のランプの点滅などによって画面の輝度に変化が生じたと誤判断し、汚れている画面を判定できなくなる。このため、ウィンカー点灯時や、ブレーキランプ点灯時にもＹＥＳの判定側へ判断することとする。また、他車両のライト情報を軽減するために、後続車両や、隣接車両のライトが存在する場合にも判定をＹＥＳとして解析対象外の画像として扱っても良い。

SB3
これら判定条件、（１）（２）（３）（４）より輝度固着を解析してよいと思われる条件の場合にＮＯを選択し、輝度固着の未判定タイマー時間をリセットする。

SB6
ＹＥＳの場合には、輝度固着解析の未判定タイマー時間を加算する。

SB7
この未判定タイマー加算時間は、輝度固着解析の時系列データから、レンズ状態を解析するために、利用してよい良いかどうかを判定する。昼夜のデータを混同して判定する、もしくは、数週間前のデータと混同して判定しないように、ある一定時間Ｂを超えると時系列データを破棄して、レンズ状態を新たに診断するように設計することで、現状のレンズ状態を正確に反映できるようにする。

SB8
ただし、一度、システムギブアップに至ったような、輝度固着の汚れが進行したレンズ状態の場合には、時系列データの破棄は行っても、システムギブアップに至ったレンズ状態であるレンズ輝度固着状態の結果事態は、この時系列データリセットではリセットしない。アプリ制御部500自体で管理する。

SB4
図８の輝度固着時の輝度変化のない領域のマップを求める。ここでは、図８に示すように、輝度変化の小さな領域を少しずつ加算していくことでマップ更新する。

SB5
ある一定時間分のデータが集まった時点から、各アプリケーションの認識処理領域別に、輝度固着の状態を判別する。

＜図１３汚れ形状解析説明＞
図１３では、レンズ状態判定部410における、レンズ汚れ形状解析の判定方法について記す。レンズ汚れ形状解析の判定は、レンズ上同じ位置に存在し続ける同一エッジ方向の物体、もしくは円形形状の付着物を検知する手法である。

SS1
露光情報を入力情報とする。この露光情報としては、シャッタースピード、ゲイン、カメラ高輝度領域抽出結果の情報もしくは露光枠の平均輝度値でも良い。車両情報部440からのタイマーと車速、ブレーキランプやウィンカー情報も利用する。

SS2
次に、現状の車速及び露光情報をチェックし、レンズ汚れ形状解析を実施するのにふさわしい車速、もしくは露光情報かなどをチェックする。自車両走行中に背景が動くことを前提としているため、停車時に実行すると背景から立体物の輪郭や円形上の物体を抽出してしまう。

まず、車速のチェックは、停車時にレンズ汚れ形状解析を実施すると、固定背景を常に観測することになり、背景の立体物形状を汚れ形状と解析しレンズ状態が汚れていると誤判定する可能性がある。このため、車速はある一定車速SPEEDS_THR以上に限定して、レンズ汚れ形状解析を実施することとする。

また、露光情報に関しても、カメラが白飛びや黒飛びするようなシーンを除いて解析を実施する。カメラの露光情報を利用して、現在のカメラ周囲の光源環境が明るいか暗いかを判定する。暗夜のように真っ暗なシーンでは、そもそも背景がまったく見えない。このような場合は、レンズがクリアであろうとも、汚れが付着していようとも、背景が暗く汚れの輪郭すら見えないため、レンズ状態を解析すること自体が困難となる。

また、反対に明るすぎて画面が白飛びしているような場合にも同じことがいえる。白飛びしている領域が画面上でほぼ一定位置に存在し続けるような場合、白飛びした空の輪郭を汚れ形状と誤判定する可能性がある。このため露光情報とカメラ高輝度領域が処理領域内にいないかをチェックして使える情報かそうでないかを判定する。また、夜間の場合には、自車両のブレーキランプやウィンカー時のランプの点滅なども誤判断要因となるため、汚れている画面を適切に判定できなくなる。このため、ウィンカー点灯時や、ブレーキランプ点灯時にもＹＥＳの判定側へ判断することとする。また、他車両のライト情報を軽減するために、後続車両や、隣接車両のライトが存在する場合にも判定をＹＥＳとして解析対象外の画像として扱っても良い。

SS3
これら判定条件、（１）（２）（３）（４）より汚れ形状解析してよいと思われる条件の場合にＮＯを選択し、汚れ形状解析の未判定タイマー時間をリセットする。

SS6
ＹＥＳの場合には、汚れ形状解析の未判定タイマー時間を加算する。

SS7
この未判定タイマー加算時間は、汚れ形状解析の時系列データから、レンズ状態を解析するために、利用してよい良いかどうかを判定する。昼夜のデータを混同して判定する、もしくは、数週間前のデータと混同して判定しないように、ある一定時間Ｓを超えると時系列データを破棄して、レンズ状態を新たに診断するように設計することで、現状のレンズ状態を正確に反映できるようにする。

SS8
ただし、一度、システムギブアップに至ったような、汚れが進行したレンズ状態の場合には、時系列データの破棄は行っても、システムギブアップに至ったレンズ状態であるレンズ汚れ形状解析の結果事態は、この時系列データリセットではリセットしない。アプリ制御部500自体で管理する。

SS4
図９のレンズ汚れ形状解析の瞬間値を加算し汚れと思われる領域のマップを求める。ここでは、図９に示すように、円形形状の輝度変化のある個所、もしくは汚れ形状が存在し、画像エッジ方向が変化しない領域のマップを更新する。

SS5
ある一定時間分のデータが集まった時点から、各アプリケーションの認識処理領域別に、汚れ形状解析の状態を判別する。

＜図５アプリ制御部＞
アプリ制御部500は、レンズ汚れ状態や、周囲の光源環境における視認性の低下などを考慮し、各アプリケーションの認識性能を保つためのパラメータ調整や誤検知対策モジュールの追加を実施する。また、レンズ汚れ状態が画像認識アプリケーションを実施するには、汚れすぎている場合には、汚れ除去ハードの制御、アプリギブアップやシステムギブアップを実施する。

レーン認識制御部510では、路面状態判定部430の結果に従って、レーン認識の白線特徴量抽出の閾値を変更することで、白線の視認性が低い場合には、特徴量抽出を低い閾値で実施し、視認性が高い場合には、高い閾値にて実施する。また、レンズに輝度固着や、汚れ形状にて判定された汚れが存在する場合には、その汚れ領域はレーン認識用の処理領域から除外することで、誤検知を抑制する。

歩行者検知制御部512では、背景視認性解析部420で解析された結果に従って、歩行者検知の候補を探すエッジ閾値を調整する。歩行者が見えにくい夜間などは閾値を低下させ、真昼などの見えやすい状態では閾値を上げることで誤検知を抑制する。背景エッジ強度を利用しているため、夜間でも路面の反射が多いような状況では閾値が上昇し、レンズが曇っているような状況であれば昼であっても閾値は低下する。これにより誤検知と不検知のバランスをとる。

巻き込み防止検知制御部514では、背景視認性解析部420で解析された結果に従って、巻き込み対象となる移動体特徴量の閾値を調整する。移動体の特徴量がとれにくい夜間は閾値を低下させ不検知を抑制し、昼まであれば閾値を上昇させて誤検知を抑制する。背景エッジ強度を利用しているため、夜間でも路面の反射が多いような状況では閾値が上昇し、レンズが曇っているような状況であれば昼であっても閾値は低下する。これにより誤検知と不検知のバランスをとる。

駐車枠検知制御部516では、路面状態判定部430、及び背景視認性解析部420及び、レンズ状態判定部410の結果を利用して、駐車枠の特徴量抽出の閾値を調整する。路面状態判定部430は、基本的に白線が撮影されていることを前提に、路面状態を安定に解析することができるため、低速時にアプリケーションが動く駐車枠認識では安定した結果が得られるか不明確である。このため、路面状態判定部430の結果もある程度は利用するものの、停車しなければある程度安定に求められる背景視認性解析部420の結果と併用することで、安定した閾値調整を実施する。また、レンズ状態判定部410の結果は、アプリケーション実施時には動作していなくとも、低速になる前の結果を利用することで閾値調整時の補正に利用する。レンズが白濁していることがあきらかであれば、駐車枠特徴量の閾値を低下させて検知率を保つなど実施する。

走行路認識制御部518は、路面状態判定部430の結果及び、レンズ状態判定部410の結果を利用して、走行路特徴量抽出に利用する閾値を調整する。路面の模様が見えにくいような場合には、閾値を下げてマッチングなどとりやすいようにすることで、走行路の認識を安定的に実施できるようにする。反対に、路面が濡れていて反射が多いような状況では、閾値を上げることで誤認識を抑制する。

車両検知制御部520では、背景視認性解析部420で解析された結果に従って、車両検知の特徴量抽出のパラメータを調整する。車両が見えにくい夜間などでは、閾値を低くし、周囲で反射光が差し込むような明るい時は閾値を上げる。周囲が暗くても反射光が差し込む場合なども閾値を上げ、誤検知しないように抑制する。背景のエッジ強度を解析しているため、背景での反射状況によって背景視認性が高く判定され、結果として反射光の誤検知を抑制することができる。また、レンズの輝度固着や汚れ形状にいて判定された汚れが存在する場合には、その汚れ領域は車両検知用の処理領域から除外することで、誤検知を抑制する。

汚れ除去ハード制御部530は、レンズ状態判定部410で判定された白濁、輝度固着、汚れ形状などの結果を基に、レンズ汚れを除去するかどうかの判定を実施する。レンズ汚れを除去すると判定した場合、不図示の除去部材を制御してレンズ汚れの除去を実施する。これにより、レンズ汚れの状態に基づいて、レンズ汚れの除去を制御する処理を行う。

アプリ別ギブアップ判定部540では、レンズ状態判定部410の白濁、輝度固着、汚れ形状の結果に基づいて、レーン認識と車両検知のアプリの認識ギブアップの判定を実施する。レーン認識と、車両検知は認識性能が異なるため、同時にはギブアップしない。例えばレンズ上部にだけ汚れが付着したような場合には当然、車両検知だけがギブアップになる可能性が高い。これら汚れの状態に応じて、各アプリ別にギブアップの閾値を定めて、アプリ動作可能状況かを判断する。これにより、レンズ汚れの状態に基づいて、認識アプリケーションの実行の可否を判定する処理を行う。

システムギブアップ判定部550では、上記、汚れ除去ハード制御部530における汚れ除去実施にも関わらず、汚れが取れずレンズ状況が改善せず、レーン認識、車両検知それぞれにおいて、認識性能が許容範囲を保つことが困難であると判定された場合にシステムギブアップの判定を実施する。

＜図６アプリ実行部＞
アプリ実行部600では、アプリ制御部500で実施された制御内容を基に、各アプリに調整を施してアプリケーションを実施する。

レーン認識部610では、レーン認識制御部510で調整された閾値をベースに白線特徴量を抽出、もしくは処理領域を調整し、レーンを認識することで誤認識や不認識を抑制する。

歩行者検知部612では、歩行者検知制御部512で実施された制御内容を基に歩行者候補検出のための特徴量抽出の閾値を調整し、歩行者検知の誤検知、不検知を抑制する。

巻き込み防止検知部614では、巻き込み防止検知制御部514で実施された制御内容を基にオプティカルフロー検出のための閾値を調整することで、巻き込み防止物体の誤検知、不検知を抑制する。

駐車枠検知部616では、駐車枠検知制御部516で実施された制御内容を基に、駐車枠の特徴量を抽出するための閾値を調整し、駐車枠検知の誤検知、不検知を抑制する。

走行路認識部618では、走行路認識制御部518で実施された制御内容を基に、走行路の特徴量を抽出するための閾値を調整し、走行路認識の誤認識、不認識を抑制する。

車両検知部620では、車両検知制御部520で調整された閾値をベースに車両検知を実施することで誤検知、不検知を抑制する。

以上のように、本発明では、複数特徴量を組み合わせて解析することで、認識対象物の視認性低下要因を解析する。視認性低下の主要因を特定することにより、より適切な対処方法を選択することが可能となる。

また、レンズに泥などの付着物が存在するような場合には、汚れが軽微な間は画像認識のソフト処理で誤検知、不検知抑制処理を実施するが、汚れがひどくなった場合には、汚れを除去する、もしくは、システムとして画像認識処理をギブアップすることを判定することが望ましい。反対に、光源環境の影響により認識対象物が見えづらいような場合には、見えづらい程度の問題であれば画像認識アプリケーションの認識のための閾値を低下させることで不検知を抑制する。更に見えづらいような状況では、認識対象物を照らす照明があればこれを点灯する、もしくは、一時的に見えにくい状況であることを判断しシステム的に一時的ギブアップを判定することが望ましい。

更に、レーン認識アプリケーションなどでは、認識対象物が見えづらい要因が路面にあるような場合には、上記、汚れ除去や、照明では対応することができないのは明らかであり、対応方法は画像認識ソフトで誤検知を抑制する、もしくは、一時的にレーン認識が動作しない方がユーザに望ましいと判断し、一時的にギブアップ、機能停止状況とすることが望ましい。

このように、認識対象物が見えづらい主要因を特定することで、主要因が取り除けるような要因であればこれを解決するための手段を適切に判断することが可能となった。

10…車載用環境認識装置
100…撮像部
200…光源環境推定部
210…露光情報部
220…画像高輝度情報部
300…特徴量抽出部
310…路面エッジ強度解析部
320…背景エッジ強度解析部
350…輝度解析部
360…形状解析部
400…状態判定部
410…レンズ状態判定部
420…背景視認性解析部
430…路面状態判定部
440…車両情報部
500…アプリ制御部
510…レーン認識制御部
512…歩行者検知制御部
514…巻き込み防止検知制御部
516…駐車枠検知制御部
518…走行路認識制御部
520…車両検知制御部
530…汚れ除去ハード制御部
540…アプリ別ギブアップ判定部
550…システムギブアップ判定部
600…アプリ実行部
610…レーン認識部
612…歩行者検知部
614…巻き込み防止検知部
616…駐車枠検知部
618…走行路認識部
620…車両検知部

Claims

車両後方に設けたカメラにより撮像された画像を取得する撮像部と、
前記画像から露光情報を取得する光源環境推定部と、
前記画像から特徴量を抽出する特徴量抽出部と、
前記特徴量と前記露光情報との関連性に基づいて前記カメラのレンズ汚れの状態を判定する状態判定部と、
前記レンズ汚れの状態に基づいて、認識アプリケーションの実行の可否を判定する処理と、前記レンズ汚れの状態に基づいて、レンズ汚れの除去を制御する処理と、を有するアプリ制御部と、を有することを特徴とする車載用環境認識装置。
請求項１記載の車載用環境認識装置において、
前記特徴量は、前記画像を背景領域と路面領域とに分けた場合、背景領域の輝度差の大きさを示す背景エッジ強度特徴量、路面領域の輝度差の大きさを示す路面エッジ強度特徴量、画像上の予め定めた値より輝度が高い高輝度領域の存在を示す高輝度特徴量、の少なくとも１つ以上の特徴量を含むことを特徴とする車載用環境認識装置。
請求項２記載の車載用環境認識装置において、
前記状態判定部は、前記背景エッジ強度特徴量又は前記路面エッジ強度特徴量と、前記露光情報の相関性に基づいてレンズ白濁状態を判定することを特徴とする車載用環境認識装置。
請求項２記載の車載用環境認識装置において、
前記背景エッジ強度特徴量は、前記画像上に存在するエッジとして地平線もしくは道路端を含む処理領域から求められることを特徴とする車載用環境認識装置。