JP2021052235A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、判定部とを備える。抽出部は、撮像装置で撮像された撮像画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。判定部は、抽出部によって抽出された候補領域において連続する複数の画素列に関し、所定画素数を単位とする単位領域に分割し、当該単位領域毎に算出した輝度平均の分布における起伏に基づいて候補領域が付着物領域であるか否かを判定する。【選択図】図２

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、撮像画像の領域を分割した小領域毎に輝度の平均値および輝度の標準偏差を算出し、算出した輝度の平均値および輝度の標準偏差が所定の閾値条件を満たすか否かで付着物の領域を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１９−１０６６４４号公報

しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、判定部とを備える。前記抽出部は、撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。前記判定部は、前記抽出部によって抽出された前記候補領域において連続する複数の画素列に関し、所定画素数を単位とする単位領域に分割し、当該単位領域毎に算出した輝度平均の分布における起伏に基づいて前記候補領域が前記付着物領域であるか否かを判定する。

本発明によれば、付着物を高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３Ａは、算出部の処理内容を示す図である。 図３Ｂは、算出部の処理内容を示す図である。 図４Ａは、算出部の処理内容を示す図である。 図４Ｂは、算出部の処理内容を示す図である。 図５は、判定部による除外処理を示す図である。 図６は、判定部の判定処理を示す図である。 図７は、判定部による確定処理を示す図である。 図８は、判定部による確定処理を示す図である。 図９は、判定部による継続性の判定処理を示す図である。 図１０は、フラグ出力部による面積計算処理を示す図である。 図１１は、実施形態に係る付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラ（撮像装置の一例）のレンズに雨滴等の水滴が付着した状態で撮像された撮像画像Ｉを示している。

カメラのレンズに、泥や、埃、雨滴、雪片等の付着物が付着すると、撮像画像Ｉから車両の周囲の情報、例えば、駐車枠や、他車両や、人の情報を取得できず、駐車枠や、他車両や、人などを正確に検出することができなくなるおそれがある。なお、付着物は、泥、埃、雨滴および雪片に限定されるものではなく、付着物の領域がぼやけた領域となる付着物であればよい。

実施形態に係る付着物検出装置１（図２参照）は、付着物検出方法を実行することで、カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物を検出する。

具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Ｉの各画素から検出されるエッジに基づき、カメラのレンズに付着した付着物に対応する付着物領域の候補となる候補領域１００を抽出する（ステップＳ１）。

実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、雨滴等の円形状の輪郭を含む矩形状の領域を候補領域１００として抽出する。

つづいて、実施形態に係る付着物検出方法では、抽出した候補領域１００において連続する複数の画素列に関し、所定画素数を単位とする単位領域Ｒ１〜Ｒ８に分割し、単位領域Ｒ１〜Ｒ８毎に輝度の平均値（輝度平均）を算出する（ステップＳ２）。

図１では、候補領域１００において、撮像画像Ｉの垂直方向に連続する複数の画素列を帯領域１１０として設定し、当該帯領域１１０を水平方向に８つに分割した単位領域Ｒ１〜Ｒ８を示している。なお、帯領域１１０や単位領域Ｒ１〜Ｒ８の詳細な設定方法については後述する。また、以下では、単位領域Ｒ１〜Ｒ８を単位領域Ｒと総称する場合がある。

つづいて、実施形態に係る付着物検出方法では、単位領域Ｒ毎に算出した輝度平均の分布における起伏に基づいて候補領域１００が付着物領域であるか否かを判定する（ステップＳ３）。例えば、実施形態に係る付着物検出方法では、輝度平均の分布の起伏変化が所定の変化パターンと合致する場合に、候補領域１００が付着物領域であると判定する。より具体的には、実施形態に係る付着物検出方法では、輝度平均の分布における起伏形状が凸状や凹状となる場合に付着物領域と判定する。なお、付着物領域の判定処理の詳細については後述する。

このように、連続する複数の画素列を分割した単位領域Ｒの輝度平均の分布における起伏に基づいて付着物領域を判定することで、各画素における輝度のノイズによる誤判定を抑制することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。

なお、実施形態に係る付着物検出方法では、単位領域Ｒ毎に輝度の標準偏差をさらに算出する。そして、算出した輝度の標準偏差が所定の閾値以上の場合には、当該単位領域の輝度平均に代えて異常値を設定することで、候補領域１００が付着物領域ではないと判定するようにするが、かかる点については後述する。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

車速センサ１１は、車両の速度（車速）を検出するセンサである。車速センサ１１は、検出した車速の情報を付着物検出装置１へ出力する。なお、車速センサ１１を省略して、例えば、付着物検出装置１は、カメラ１０の時系列の画像に基づいて車速の情報を算出してもよい。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、算出部２３と、判定部２４と、フラグ出力部２５とを備える。記憶部３は、起伏条件情報３１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、算出部２３、判定部２４およびフラグ出力部２５として機能する。

また、制御部２の画像取得部２１、抽出部２２、算出部２３、判定部２４およびフラグ出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

記憶部３に記憶された起伏条件情報３１は、後述の判定部２４による処理の基準となる条件を含む情報であり、例えば、輝度分布（輝度平均の分布）の起伏のパターン条件を含む。なお、パターン条件とは、輝度平均の分布の起伏変化の変化パターンや、輝度分布における各画素（単位領域Ｒ）がとり得る輝度の閾値範囲である。なお、起伏条件情報３１を用いた処理については後述する。

制御部２は、カメラ１０から取得した撮像画像Ｉの各画素から検出されるエッジに基づき、付着物領域の候補領域１００を抽出し、抽出した候補領域１００における単位領域Ｒ毎の輝度平均の分布に基づいて候補領域１００が付着物領域であるか否かを判定する。

画像取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、画像取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。

また、画像取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、画像取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部２１は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Ｉと記載する場合がある。

抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、撮像画像Ｉの中から付着物領域の候補領域１００を抽出する。具体的には、まず、抽出部２２は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０〜２５５のパラメータで表現される。

また、抽出部２２は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

そして、抽出部２２は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

そして、抽出部２２は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部２２は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。

抽出部２２は、抽出した候補領域１００の情報を算出部２３へ出力する。

算出部２３は、抽出部２２によって抽出された候補領域１００において連続する複数の画素列に関し、所定画素数を単位とする単位領域Ｒに分割し、単位領域Ｒ毎に輝度の平均値および輝度の標準偏差を算出する。

ここで、図３Ａ〜図４Ｂを用いて、算出部２３の処理内容について説明する。図３Ａ〜図４Ｂは、算出部２３の処理内容を示す図である。

図３Ａおよび図３Ｂに示すように、まず、算出部２３は、候補領域１００において連続する複数の画素列を帯領域１１０として設定する。かかる帯領域１１０は、後段の単位領域Ｒの分割処理および輝度情報（平均値および標準偏差）の算出処理の対象となる領域である。

具体的には、図３Ａに示すように、まず、算出部２３は、候補領域１００における水平方向の３列の画素列Ｈ１〜Ｈ３と、垂直方向の３列の画素列Ｖ１〜Ｖ３とを選択する。そして、算出部２３は、選択した各画素列について、当該画素列を含む複数の画素列を帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１を含む帯領域１１０を示している。なお、垂直方向の画素列を含む帯領域１１０の設定方法については、以下に説明する水平方向の画素列Ｈ１を含む帯領域１１０の設定方法とほぼ同様（画素列が水平方向か垂直方向かの違いのみ）であるため、記載を省略する。

図３Ｂに示すように、算出部２３は、選択した画素列Ｈ１を中心にして、垂直方向に連続する複数の画素列を帯領域１１０として設定する。換言すれば、選択した画素列Ｈ１と当該画素列Ｈ１に平行な画素列であって、互いに隣接する複数の画素列とを帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する３本の画素列（計６本の画素列）と、１本の画素列Ｈ１とを含む計７本の画素列を帯領域１１０として設定する。

なお、帯領域１１０における画素列Ｈ１の位置は、帯領域１１０の中心でなくてもよく、垂直方向の上側および下側のいずれかに寄った位置であってもよい。また、画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する画素列は、２本以下でも、４本以上でもよい。

また、選択する画素列Ｈ１〜Ｈ３、Ｖ１〜Ｖ３は、水平方向の画素列Ｈ１〜Ｈ３、または、垂直方向の画素列Ｖ１〜Ｖ３のいずれか一方の方向の画素列であってもよい。また、各方向において選択する画素列Ｈ１〜Ｈ３、Ｖ１〜Ｖ３の本数は、３本に限らず、２本以下や、４本以上であってもよい。

つづいて、図４Ａに示すように、算出部２３は、設定した帯領域１１０において所定画素数を単位とする単位領域Ｒ１〜Ｒ８に分割し、単位領域Ｒ１〜Ｒ８毎に輝度の平均値および輝度の標準偏差を算出する。

なお、図４Ａでは、算出部２３は、帯領域１１０を等間隔（同じ画素数）で分割した８つの単位領域Ｒ１〜Ｒ８を設定する場合を示しているが、単位領域Ｒの数は６つ以下でも、９つ以上でもよい。また、各単位領域Ｒに含まれる画素数は同じであっても、異なってもよい。

そして、算出部２３は、算出した輝度の標準偏差が所定値未満である場合、帯領域１１０における単位領域Ｒの代表値として輝度の平均値を設定する。

一方、図４Ｂに示すように、算出部２３は、算出した輝度の標準偏差が所定値以上である場合、帯領域１１０における輝度平均の分布として、単位領域Ｒの輝度平均に代えて、所定の異常値を単位領域Ｒの代表値に設定する。

図４Ｂに示す例では、算出部２３は、単位領域Ｒ８について、輝度の標準偏差が所定値以上である場合、単位領域Ｒ８の輝度の平均値に代えて、所定の異常値（例えば、最低値やゼロ等）を単位領域Ｒ８の代表値に設定する。

この異常値は、後段の判定部２４によって付着物領域ではないと判定される値である。例えば、算出部２３は、後述する判定部２４が輝度平均の分布が所定のパターンに合致するか否かで付着物領域を判定する場合、かかる所定のパターンに合致しないような異常値を設定する。すなわち、後段の判定部２４は、単位領域Ｒの標準偏差が所定値以上である場合、候補領域１００が付着物領域ではないと判定する。これにより、ノイズ成分を含んだ候補領域１００を付着物領域として誤判定することを抑制できる。

さらに、後段の判定部２４によって付着物領域ではないと判定されるような異常値を設定することで、新たな処理を追加することなく付着物領域でない候補領域１００を除くことができるため、処理が複雑化することを抑制できる。

なお、算出部２３は、単位領域Ｒの代表値として、輝度の平均値を用いたが、例えば、単位領域Ｒ１〜Ｒ８毎に輝度のヒストグラムを作成し、ヒストグラムにおける最頻値や中央値、平均値等を代表値として設定してもよい。

判定部２４は、算出部２３によって単位領域Ｒ毎に算出した輝度平均の分布における起伏に基づいて候補領域１００が付着物領域であるか否かを判定する。

まず、判定部２４は、候補領域１００に含まれる画素の輝度分布（輝度平均の分布）の起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域の判定処理の対象から除外する。

ここで、判定部２４による候補領域１００の除外処理について図５を用いて説明する。図５は、判定部２４による除外処理を示す図である。図５では、所定の候補領域１００から算出された各帯領域１１０の輝度平均の分布を示している。図５では、候補領域１００に設定された各画素列Ｈ１〜Ｈ３、Ｖ１〜Ｖ３に対応する帯領域１１０毎の輝度平均の分布を示している。例えば、図５において「Ｈ１」のグラフは、画素列Ｈ１を含む帯領域１１０における単位領域Ｒの輝度平均の分布を示す。

判定部２４は、各画素列Ｈ１〜Ｈ３、Ｖ１〜Ｖ３に対応する帯領域１１０毎の輝度平均の分布における起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域の判定処理の対象から除外する。

例えば、判定部２４は、帯領域１１０に含まれる単位領域Ｒの代表値に異常値が含まれる場合、候補領域１００を付着物領域の判定処理の対象から除外する。換言すれば、判定部２４は、帯領域１１０において隣接する２つの単位領域Ｒの代表値の差分が所定値以上となる場合、候補領域１００を付着物領域の判定処理の対象から除外する。

さらに言い換えれば、判定部２４は、帯領域１１０における単位領域Ｒの中に、代表値の標準偏差が所定値以上の単位領域Ｒ（つまり、異常値が設定された単位領域Ｒ）が含まれる場合、候補領域１００を付着物領域の判定処理の対象から除外する。

すなわち、判定部２４は、輝度平均の分布における起伏の一部が、異常値により急激に凹凸した形状である場合、除外条件を満たすとして、当該候補領域１００を付着物領域の判定処理の対象から除外する。このように、判定部２４は、異常値に基づいて除外処理（付着物領域ではないと判定する処理ともいえる）を行うこと、付着物でない領域を高精度に除去できる。

また、図５の画素列Ｖ１〜Ｖ３のグラフに示すように、判定部２４は、単位領域Ｒの輝度平均の分布における起伏が３つのグラフとも平坦、つまり、垂直方向の画素列Ｖ１〜Ｖ３に対応する３つの帯領域１１０すべてについて、輝度平均の起伏変化が所定の範囲内である場合、候補領域１００を付着物領域の判定処理の対象から除外する。具体的には、候補領域１００がバックランプの光が壁に反射した場合、単位領域Ｒの輝度平均の分布が平坦になる傾向にあることが実験により判明した。そこで、輝度平均の起伏変化が所定の範囲内である場合は候補領域１００がバックランプの反射で生じたものであると判定し、付着物領域４００の判定処理の対象から除外する。

なお、図５では、垂直方向の画素列Ｖ１〜Ｖ３における３つの輝度分布が平坦である場合を示したが、水平方向の画素列Ｈ１〜Ｈ３における３つの輝度分布が平坦である場合や、垂直方向および水平方向の画素列Ｈ１〜Ｈ３、Ｖ１〜Ｖ３における６つの輝度分布が平坦である場合に、候補領域１００を付着物領域の判定処理の対象から除外してもよい。つまり、判定部２４は、候補領域１００における垂直方向および水平方向の画素列のうち、少なくとも一方の画素列の輝度分布の起伏変化が所定の範囲内である場合、除外条件を満たすとし、候補領域１００を付着物領域の判定処理の対象から除外する。

このように、判定部２４は、候補領域１００における輝度分布の起伏が所定の除外条件を満たす場合に、かかる候補領域１００を付着物領域の判定処理の対象から除外することで、付着物領域の誤判定を減らすことができる。すなわち、付着物を高精度に検出することができる。

つづいて、判定部２４は、除外条件により除外した候補領域１００以外の候補領域１００について、付着物領域であるか否かの判定処理を行う。ここで、図６を用いて、判定部２４による判定処理について説明する。

図６は、判定部２４の判定処理を示す図である。まず、図６に示すように、判定部２４は、まず、各帯領域１１０について、隣接する単位領域Ｒ１〜Ｒ８の輝度平均の変化量Ｄ１〜Ｄ７を算出する。

そして、判定部２４は、候補領域１００における複数の帯領域１１０のうち、単位領域Ｒの輝度平均の分布における起伏変化のパターンが所定の変化パターンを満たす帯領域１１０が存在する場合に、候補領域１００が付着物領域であると判定する。例えば、判定部２４は、変化量Ｄ１〜Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１に含まれる変化パターンの各値とを比較して判定処理を行う。なお、起伏条件情報３１に含まれる変化パターンとは、変化量Ｄ１〜Ｄ７のとり得る最大値および最小値の閾値範囲である。

つまり、判定部２４は、算出した変化量Ｄ１〜Ｄ７の各値が、起伏条件情報３１に含まれる変化量Ｄ１〜Ｄ７それぞれの閾値範囲内である場合、候補領域１００が付着物領域であると判定する。

換言すれば、判定部２４は、隣接する単位領域Ｒ１〜Ｒ８の輝度平均の変化量Ｄ１〜Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす場合に、付着物領域であると判定する。

また、起伏条件情報３１において変化量Ｄ１〜Ｄ７の最大値および最小値を設定して幅をもたせることで、輝度分布の起伏が多少ばらついても、付着物領域として検出することができる。

なお、図６では、起伏条件情報３１について、すべての変化量Ｄ１〜Ｄ７の閾値範囲を設定した場合を示したが、例えば、小さいサイズの付着物領域を検出する場合には、変化量Ｄ１〜Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。

なお、判定部２４は、付着物領域であると判定した候補領域１００について、所定領域における輝度変化量を算出し、かかる輝度変化量に基づいて付着物領域の判定結果を確定する確定処理を行ってもよい。かかる点について、図７および図８を用いて説明する。

図７および図８は、判定部２４による付着物領域の確定処理を示す図である。確定処理において、判定部２４は、まず、付着物領域であると判定した候補領域１００における所定の内部領域２００において所定方向に連続する複数画素の輝度変化量を算出する。

具体的には、図７に示すように、判定部２４は、まず、候補領域１００に対して内部領域２００を設定する。例えば、判定部２４は、候補領域１００を垂直方向および水平方向それぞれで所定数に分割する。図７では、候補領域１００を垂直方向および水平方向それぞれで４分割する場合を示すが、３分割以下でも、５分割以上でもよい。

そして、判定部２４は、所定数に分割した分割領域のうち、中央領域を内部領域２００として設定する。図７では、垂直方向および水平方向それぞれで４分割して生成された１６の分割領域のうち、中央領域である４つの分割領域を内部領域２００として設定する。

そして、判定部２４は、内部領域２００において複数画素の輝度変化量を算出する。図７では、判定部２４は、垂直方向に連続する３画素の輝度変化量を算出する。これは、路面反射の領域が垂直方向に延びる場合が多いためである。これにより、後段の判定処理により路面反射の領域を高精度に判定することができる。なお、算出部２３は、水平方向に連続する複数画素の輝度変化量を算出してもよい。

まず、判定部２４は、垂直方向に隣接する２つの画素の輝度差分値を第１差分として算出する。図７の中段には、１つの第１差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の中段において、１つのマスは垂直方向に隣接する２画素の輝度差分値、すなわち第１差分であり、垂直方向に隣接する２つのマスは、３画素から算出された２つの第１差分である。

つづいて、判定部２４は、垂直方向に連続する２つの第１差分の差分値である第２差分を算出する。図７の下段には、絶対値に変換した１つの第２差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の下段において、１つのマスは、３画素から算出された１つの第２差分（輝度変化量）である。換言すれば、第２差分は第１差分の変化量である。

このように、輝度が急激に上下する場合は路面の小さな傷等に起因して発生するケースが考えられ、路面反射の領域である可能性が高い。そこで、判定部２４は、第２差分を複数画素の輝度変化量として算出することで、後段処理において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。具体的には、例えば、路面の小さな傷等に起因して、連続する３画素の輝度が急激に上下する領域（図７に示す「１８０」→「１６０」→「１８０」）では、第２差分が高くなる。すなわち、第２差分を算出することで、このような輝度が急激に上下する領域を容易に識別できるようになるため、後段処理において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。

なお、判定部２４は、第２差分を複数画素の輝度変化量としたが、第１差分を複数画素の輝度変化量としてもよい。第１差分を複数画素の輝度変化量とする場合、複数画素における画素数が２画素以上であればよい。具体的には、２画素の輝度変化量を算出する場合には、算出した１つの第１差分を輝度変化量としてもよく、３画素以上の輝度変化量を算出する場合には、算出した複数の第１差分の平均値を輝度変化量としてもよい。

つづいて、判定部２４は、算出結果である第２差分を複数画素の輝度変化量として確定処理を行う。具体的には、図８に示すように、判定部２４は、算出した複数画素の輝度変化量をヒストグラム化することで、候補領域１００が付着物領域であると確定する。

図８では、一の内部領域２００に含まれる複数の複数画素毎の輝度変化量のヒストグラムを示している。図８に示すヒストグラムでは、横軸を輝度変化量とし、縦軸を領域度数として示している。また、図８では、候補領域１００が付着物領域である場合のヒストグラムと、候補領域１００が路面反射の領域（付着物以外の領域）である場合のヒストグラムとを示している。

なお、領域度数とは、複数画素の数に対応した数であり、１つの度数が１つの複数画素に対応している。言い換えれば、１つの度数は、１つの複数画素における輝度変化量（すなわち、１つの輝度変化量）に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。つまり、図８に示すヒストグラムの領域度数の総和は、大きさの異なる各内部領域２００間で同じとなる。

図８に示すように、付着物領域のヒストグラムと、路面反射の領域のヒストグラムとを比較した場合、第１の範囲における領域度数は双方が類似しているものの、第２の範囲において、路面反射の領域の方が、付着物領域に比べて、領域度数の合計がわずかに多い。これは、路面反射の領域では、路面にできた傷や、汚れ等が第２の範囲の領域度数に影響しているためである。

かかる点に着目して、判定部２４は、輝度変化量が第１の範囲にある輝度変化量の数と、第１の範囲よりも輝度変化量が大きい第２の範囲にある輝度変化量の数とに基づいて候補領域１００が付着物領域であると確定する。

具体的には、判定部２４は、輝度変化量「０」を最小値とする第１の範囲にある領域度数の和と、第１の範囲の最大値よりも最小値が大きい第２の範囲にある領域度数の和とに基づいて候補領域１００が付着物領域であると確定する。

例えば、判定部２４は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値未満である場合、候補領域１００が付着物領域であると確定する。

一方、判定部２４は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値以上である場合、候補領域１００が付着物領域ではない（路面反射領域である）と確定する。

これにより、判定部２４は、候補領域１００の中から、路面反射の領域に対応する領域を除くことができるため、路面反射の領域を付着物領域として誤検出することを抑制することができる。

また、判定部２４は、第１の範囲にある領域度数の和が所定値未満である場合には、第２の範囲にある領域度数の和に関わらず、候補領域１００が付着物領域ではないと確定する。

そして、判定部２４は、候補領域１００について付着物領域として継続して判定（確定）されたか否かの継続性の判定処理を行う。ここで、判定部２４による継続性の判定処理について説明する。

図９は、判定部２４による継続性の判定処理を示す図である。図９では、各候補領域１００の状態を管理するためのステートマシンの図を示しており、候補領域１００の付着物に関する状態の遷移を示している。

図９に示すように、候補領域１００は、「ＩＤＬＥ」、「潜伏」、「付着」および「移動付着」の４つの状態に遷移し得る。

「ＩＤＬＥ」は、付着物領域として判定されていない状態を示す。すなわち、「ＩＤＬＥ」は、付着物領域として継続していない候補領域１００であることを示す。

「潜伏」は、付着物が付着している可能性があることを示す状態である。すなわち、「潜伏」は、付着物領域であると判定されたものの、付着物領域として継続判定されている期間が所定期間未満の候補領域１００であることを示す。

「付着」は、付着物が付着していることを示す状態である。すなわち、「付着」は、付着物領域として継続判定されている期間が所定期間以上の候補領域１００であることを示す。

「移動付着」は、車両が移動中（車速が所定値以上）も継続して付着物が付着していることを示す状態である。すなわち、「移動付着」は、車両が移動中も、引き続き付着物領域として所定期間以上継続判定されている候補領域１００であることを示す。なお、以下では、「移動付着」の状態の候補領域１００（付着物領域）を移動付着物領域と記載する場合がある。

以下、各状態間の遷移について説明する。なお、状態の遷移は、判定処理の継続性を示すスコアに基づいて行うことができる。

＜「ＩＤＬＥ」→「潜伏」＞
例えば、判定部２４は、初めて付着物領域であると判定した候補領域１００について、「ＩＤＬＥ」から「潜伏」へ遷移させる。

＜「潜伏」→「ＩＤＬＥ」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間未満である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「潜伏」から「ＩＤＬＥ」へ遷移させる。

＜「潜伏」→「付着」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間以上となった場合に、「潜伏」から「付着」へ遷移させる。判定部２４は、「潜伏」から「付着」へ遷移した場合、「付着」の状態であることを紐付けた付着物領域の情報をフラグ出力部２５へ出力する。

＜「付着」→「ＩＤＬＥ」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間以上である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「付着」から「ＩＤＬＥ」へ遷移させる。

＜「付着」→「移動付着」＞
例えば、判定部２４は、「付着」状態に遷移した後に、車両が移動中も付着物領域として継続判定されている期間が所定期間以上となった場合に、「付着」から「移動付着」へ遷移させる。判定部２４は、「付着」から「移動付着」へ遷移した場合、「移動付着」の状態であることを紐付けた付着物領域（移動付着物領域）の情報をフラグ出力部２５へ出力する。

＜「移動付着」→「ＩＤＬＥ」＞
例えば、判定部２４は、「移動付着」の状態で、車両の移動中に取得した現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「移動付着」から「ＩＤＬＥ」へ遷移させる。

フラグ出力部２５は、判定部２４の判定結果に基づいて付着物が付着しているか否かを示す付着物フラグを各種機器５０へ出力する。まず、フラグ出力部２５は、判定部２４によって付着物領域と判定された領域に基づいて、所定の面積計算処理を行う。

ここで、図１０を用いて、フラグ出力部２５による付着物領域の面積計算処理について説明する。

図１０は、フラグ出力部２５による面積計算処理を示す図である。図１０に示すように、まず、フラグ出力部２５は、撮像画像Ｉの全体領域を所定の小領域５００で分割するとともに、小領域５００単位で、３つの領域５１０、５２０ａ、５２０ｂに区分けする。

具体的には、第１の領域５１０は、路面に対応する領域である。第２の領域５２０ａは、車体に対応する領域（車体領域）である。第３の領域５２０ｂは、上空（スカイ）に対応する領域である。

例えば、フラグ出力部２５は、撮像画像Ｉにおける水平線を検出し、当該水平線よりも上側の領域を第３の領域５２０ｂとして設定する。また、第２の領域５２０ａは、カメラ１０の取付位置に応じて予め設定される領域である。また、フラグ出力部２５は、撮像画像Ｉの全体領域のうち、第２の領域５２０ａおよび第３の領域５２０ｂを除いた領域を第１の領域５１０として設定する。

そして、フラグ出力部２５は、判定部２４によって付着物領域であると判定された領域を小領域５００の単位に変換し、３つの領域５１０、５２０ａ、５２０ｂそれぞれにおける付着物領域（小領域５００）の面積比を算出する。例えば、フラグ出力部２５は、付着物領域全体を１（１００％）として、各領域５１０、５２０ａ、５２０ｂに位置する付着物領域の面積比を算出する。

例えば、フラグ出力部２５は、各領域５１０、５２０ａ、５２０ｂにおける面積比が概ね同じ（領域５１０、５２０ａ、５２０ｂ間での面積比の差分が所定値未満）である場合、３つの領域５１０、５２０ａ、５２０ｂそれぞれの付着物領域の合計面積を面積計算処理の計算結果とする。

一方、フラグ出力部２５は、各領域５１０、５２０ａ、５２０ｂのうち、第１の領域５１０の面積比が他の領域５２０ａ、５２０ｂよりも所定値以上大きい場合、他の領域５２０ａ、５２０ｂの付着物領域の合計面積を面積計算処理の計算結果とする。

これは、雨滴等の付着物の場合、撮像画像Ｉ全体に万遍なく付着する場合が多く、一方で、路面反射の領域は、撮像画像Ｉの路面領域に集中する場合が多いことに着目している。

つまり、フラグ出力部２５は、路面領域である第１の領域５１０に付着物領域が集中している場合、当該付着物領域が路面反射の領域であるとし、付着物領域全体から路面反射の領域を減算した面積を面積計算処理の計算結果とする。

なお、フラグ出力部２５は、路面領域である第１の領域５１０に付着物領域が集中している場合であっても、かかる付着物領域が移動付着物領域である場合には、付着物領域全体から第１の領域５１０の付着物領域を減算しない。

これは、判定結果として確度が高い移動付着物領域が少量付着したことを検出するためである。つまり、路面領域である第１の領域５１０に移動付着物領域が集中していた場合には、路面反射の領域ではなく付着物領域の可能性が高いためである。

そして、フラグ出力部２５は、面積計算処理の計算結果として算出された面積が所定値以上である場合には、付着物フラグＯＮを各種機器５０へ出力し、かかる面積が所定値未満である場合には、付着物フラグＯＦＦを各種機器５０へ出力する。

具体的には、フラグ出力部２５は、移動付着物領域の面積が第１閾値以上である場合、付着物フラグＯＮを出力し、移動付着物領域の面積が第１閾値未満である場合、付着物フラグＯＦＦを出力する。

また、フラグ出力部２５は、付着物領域（「付着」および「移動付着」）の面積が第１閾値よりも大きい第２閾値以上である場合、付着物フラグＯＮを出力し、第２閾値未満である場合、付着物フラグＯＦＦを出力する。

このように、フラグ出力部２５は、移動付着物領域の場合、第２閾値よりも小さい第１閾値を設定することで、判定結果の確度が高い移動付着物領域が少量付着した場合でも、高精度に検出することができる。

次に、図１１を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図１１は、実施形態に係る付着物検出装置１が実行する付着物の検出処理の処理手順を示すフローチャートである。

図９に示すように、まず、画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得し、取得した撮像画像Ｉに対してグレースケール化処理および間引き処理した後、縮小した撮像画像Ｉの画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（ステップＳ１０１）。

つづいて、抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（ステップＳ１０２）。

つづいて、算出部２３は、候補領域１００において連続する複数の画素列を含む帯領域１１０に関し、所定画素数を単位とする単位領域Ｒに分割する（ステップＳ１０３）。

つづいて、算出部２３は、単位領域Ｒの輝度情報を算出する（ステップＳ１０４）。輝度情報は、例えば、輝度の平均値および輝度の標準偏差である。

つづいて、算出部２３は、算出した輝度の標準偏差が所定値未満であるか否かを判定する（ステップＳ１０５）。

算出部２３は、輝度の標準偏差が所定値未満である場合（ステップＳ１０５：Ｙｅｓ）、単位領域Ｒの代表値として輝度の平均値（輝度平均）を設定する（ステップＳ１０６）。

一方、算出部２３は、輝度の標準偏差が所定値以上である場合（ステップＳ１０５：Ｎｏ）、単位領域Ｒの代表値として異常値を設定する（ステップＳ１０７）。

つづいて、判定部２４は、候補領域１００における単位領域Ｒの輝度平均の分布が所定の除外条件を満たす場合に当該候補領域１００を付着物領域の判定処理の対象から除外する除外処理を行う（ステップＳ１０８）。

つづいて、判定部２４は、候補領域１００における単位領域Ｒの輝度平均の分布における起伏変化が所定の変化パターンに合致する場合に、当該候補領域１００を付着物領域と判定する判定処理を行う（ステップＳ１０９）。

つづいて、フラグ出力部２５は、判定部２４によって継続した付着物領域と判定された領域の面積に基づいて、所定の面積計算処理を行い、計算結果として算出された面積が所定値以上であるか否かを判定する（ステップＳ１１０）。

フラグ出力部２５は、計算結果である面積が所定値以上の場合に、（ステップＳ１１０：Ｙｅｓ）、付着物フラグＯＮを各種機器５０へ出力し（ステップＳ１１１）、処理を終了する。

一方、フラグ出力部２５は、計算結果である面積が所定値未満の場合に、（ステップＳ１１０：Ｎｏ）、付着物フラグＯＦＦを各種機器５０へ出力し（ステップＳ１１２）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、抽出２２部と、判定２４部とを備える。抽出部２２は、撮像装置（カメラ１０）で撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域１００を抽出する。判定部２４は、抽出部２２によって抽出された候補領域１００において連続する複数の画素列に関し、所定画素数を単位とする単位領域Ｒに分割し、当該単位領域Ｒ毎に算出した輝度平均の分布における起伏に基づいて候補領域１００が付着物領域であるか否かを判定する。これにより、付着物を高精度に検出することができる。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 車速センサ
２１ 画像取得部
２２ 抽出部
２３ 算出部
２４ 判定部
２５ フラグ出力部
３１ 起伏条件情報
５０ 各種機器
１００ 候補領域
２００ 内部領域
Ｉ 撮像画像

Claims (4)

1. 撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、
   前記抽出部によって抽出された前記候補領域において連続する複数の画素列に関し、所定画素数を単位とする単位領域に分割し、当該単位領域毎に算出した輝度平均の分布における起伏に基づいて前記候補領域が前記付着物領域であるか否かを判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記単位領域毎に輝度の標準偏差を算出する算出部をさらに備え、
   前記判定部は、
   前記単位領域の前記標準偏差が所定値以上である場合、前記候補領域が前記付着物領域ではないと判定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記判定部は、
   前記単位領域の前記標準偏差が所定値以上である場合、前記輝度平均に代えて、所定の異常値を当該単位領域に設定し、当該異常値に基づいて前記候補領域が前記付着物領域であるか否かを判定すること
   を特徴とする請求項２に記載の付着物検出装置。
4. 撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、
   前記抽出工程によって抽出された前記候補領域において連続する複数の画素列に関し、所定画素数を単位とする単位領域に分割し、当該単位領域毎に算出した輝度平均の分布における起伏に基づいて前記候補領域が前記付着物領域であるか否かを判定する判定工程と
   を含むことを特徴とする付着物検出方法。

Images