JP2020109595A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物を早期に検出すること。【解決手段】実施形態に係る付着物検出装置は、算出部と、判定部とを備える。算出部は、撮像装置によって撮像された撮像画像の各画素領域におけるエッジ強度に基づいて所定の対象領域を分割した分割領域のスコアを算出する。判定部は、算出部によって算出されたスコアに基づいて対象領域が撮像装置のレンズに付着物が付着した付着物領域か否かを判定する。【選択図】図２

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、例えば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（例えば、特許文献１参照）。

特開２０１２−０３８０４８号公報

しかしながら、従来技術では、付着物を早期に検出する点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、付着物を早期に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、算出部と、判定部とを備える。前記算出部は、撮像装置によって撮像された撮像画像の各画素領域におけるエッジ強度に基づいて所定の対象領域を分割した分割領域のスコアを算出する。前記判定部は、前記算出部によって算出された前記スコアに基づいて前記対象領域が前記撮像装置のレンズに付着物が付着した付着物領域か否かを判定する。

本発明によれば、付着物を早期に検出することができる。

図１は、付着物検出方法の概要を示す図である。 図２は、付着物検出装置の構成を示すブロック図である。 図３は、算出部の処理内容を示す図である。 図４は、算出部の処理内容を示す図である。 図５は、算出部の処理内容を示す図である。 図６は、アルゴリズム実行部の処理内容を示す図である。 図７は、アルゴリズム実行部の処理内容を示す図である。 図８は、アルゴリズム実行部の処理内容を示す図である。 図９は、アルゴリズム実行部の処理内容を示す図である。 図１０は、判定部による処理内容を示す図である。 図１１は、付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラのレンズ全面に雪が付着した状態で撮像された撮像画像Ｉを示している。実施形態に係る付着物検出方法は、付着物検出装置１（図２参照）によって実行され、車載カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物を検出する。

なお、付着物は、雪に限定されるものではなく、例えば、色が薄い泥等でもよい。換言すれば、付着物は、撮像画像Ｉにおいて、被写体が映らない程度に遮蔽するが、ある程度の光は透過して、光の透過の多少によりわずかな輝度変化を生じさせるものであればよい。なお、図１に示す撮像画像Ｉは、カメラのレンズが雪で覆われた状態で撮像された画像である。

ここで、従来の付着物検出装置では、時系列の撮像画像の差分に基づいて付着物を検出する技術があった。しかしながら、従来の技術では、例えば、レンズ全体が雪に埋もれた場合等、画像間の差分が生じにくくなるため、付着物を検出できないおそれがあった。

そこで、実施形態に係る付着物検出方法では、１枚の撮像画像Ｉから検出されるエッジ強度を利用して付着物を検出する。具体的には、図１に示すように、実施形態に係る付着物検出装置１は、まず、撮像画像Ｉの対象領域１００に含まれる各画素領域のエッジ強度に基づいて対象領域１００のスコアを算出する（ステップＳ１）。

図１に示す例では、対象領域１００が、撮像画像Ｉにおける周縁部を除いた領域であり、付着物領域の検出する対象となる領域である。なお、図１に示す対象領域１００は、一例であり、任意に変更することができる。また、１つの撮像画像Ｉに複数の対象領域１００を設定することも可能である。

また、図１に示すように、実施形態に係る付着物検出方法では、対象領域１００が、複数の分割領域Ｓａに分割され、分割領域Ｓａ毎にスコアを算出する。なお、分割領域Ｓａは、例えば、４０×４０の１６００画素であるが、対象領域１００を分割するものであれば、１画素やその他の画素数であってもよい。

ところで、撮像画像Ｉにおいて、カメラのレンズが雪で覆われている領域（以下、雪埋もれ領域と記載する）は、背景画像がぼやけて表示されるため、エッジが緩やかに変化するという特徴を有する。

このため、雪埋もれ領域に含まれる画素は、エッジ強度が比較的低い低エッジ画素となる。一方、雪埋もれ領域以外の領域（以下、背景領域と記載する）に含まれる画素のエッジ強度は、背景画像によってエッジ強度にバラつきが生じる。

すなわち、分割領域Ｓａにおける各画素のエッジ強度が低いほど、雪埋もれ領域である可能性が高く、分割領域Ｓａにおけるエッジ強度が高いほど、背景領域である可能性が高くなる。

実施形態に係る付着物検出方法では、この点に着目し、各分割領域Ｓａのスコアを算出する。例えば、各分割領域Ｓａをさらに小さな画素領域に分割し、各画素領域のエッジ強度に応じた得点を算出し、分割領域Ｓａ毎の得点の総和に基づいて各分割領域Ｓａのスコアを算出する。画素領域は例えば４×４の１６画素である。したがって、この例では、分割領域Ｓａは１０×１０の１００画素領域を有する。なお、画素領域は１画素やその他の画素数で構成されてもよい。

例えば、実施形態に係る付着物検出方法では、エッジ強度が閾値を超える画素領域を得点「１点」とし、エッジ強度が閾値以下である画素領域を得点「０点」として算出する。この場合、分割領域Ｓａにおいて「０点」の画素が多いほど、雪埋もれ領域である可能性が高くなる。なお、かかる得点の詳細については、図４を用いて後述する。

続いて、実施形態に係る付着物検出方法では、各分割領域Ｓａにおける得点の総和が閾値を超える場合に、スコアを「０ｐｔ」として算出し、各分割領域Ｓａの得点の総和が閾値を下回る場合に、スコアを「１ｐｔ」として算出する。

すなわち、上記の例において、雪が付着している可能性が高い分割領域Ｓａのスコアが「１ｐｔ」であり、雪が付着している可能性が低い分割領域Ｓａのスコアが「０ｐｔ」となる。

そして、実施形態に係る付着物検出方法では、ステップＳ１にて算出したスコアに基づいて対象領域１００が付着物領域か否かを判定する（ステップＳ２）。例えば、実施形態に係る付着物検出方法では、対象領域１００におけるスコアの総和が閾値を超える場合に、対象領域１００を付着物領域として雪埋もれ領域として判定する。

このように、実施形態に係る付着物検出方法では、エッジ強度に応じたスコアを算出し、算出したスコアに基づいて付着物領域することで、画像間に差分が生じない場合であっても付着物を高精度に検出できる。したがって、実施形態に係る付着物検出方法によれば、付着物を早期に検出することができる。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、算出部２２と、アルゴリズム実行部２３と、判定部２４とを備える。記憶部３は、スコア情報３１および閾値情報３２を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、算出部２２、アルゴリズム実行部２３および判定部２４として機能する。

また、制御部２の画像取得部２１、算出部２２、アルゴリズム実行部２３および判定部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、スコア情報３１、閾値情報３２や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

スコア情報３１は、分割領域Ｓａ毎のスコアに関する情報である。例えば、後述するスコア画像２００、２００−１がスコア情報３１として記憶部３に記憶される。また、閾値情報３２は、付着物領域の判定に用いる各種閾値に関する情報である。

制御部２は、撮像画像Ｉの対象領域１００を分割した各分割領域Ｓａにおけるスコアを各画素領域におけるエッジ強度に基づいて算出するとともに、スコアに基づいて付着物領域を検出する。例えば、付着物領域の判定に用いる各種閾値が閾値情報３２として記憶部３に記憶される。

画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得する。画像取得部２１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、アルゴリズム実行部２３へ出力する。なお、平滑化処理には、例えば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

算出部２２は、撮像画像Ｉの各画素領域におけるエッジ強度に基づいて所定の対象領域１００を分割した分割領域Ｓａのスコアを算出する。本実施形態において、算出部２２は、エッジ強度に応じた得点を画素領域毎に算出し、分割領域Ｓａ毎における得点の総和に基づいてスコアを算出する。画素領域とは、分割領域Ｓａと同じかさらに小さい領域である。つまり、分割領域Ｓａは、少なくとも一つの画素領域を有する領域である。また、画素領域は少なくとも一つの画素を有する領域である。具体的には、本実施例では画素領域は４×４画素の計１６画素の矩形領域として設定する。また分割領域Ｓａは１０×１０画素領域の計１００画素領域（＝１６００画素）の矩形領域として設定する。

図３〜図５は、算出部２２の処理内容を示す図である。図３に示すように、算出部２２は、まず、エッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

続いて、算出部２２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度に基づき、三角関数を用いることで、画素ＰＸのエッジの角度およびエッジ強度の情報を含むベクトルＶを算出する。具体的には、ベクトルＶにおけるエッジの角度は、ベクトルＶと正方向側のＸ軸との成す角度θで表され、エッジの強度は、ベクトルＶの長さＬに基づき表される。画素領域におけるエッジ強度は、画素領域が有する画素ＰＸのエッジの強さに基づき算出される。例えば平均値などである。

続いて、算出部２２は、図４に示すエッジ閾値Ｔｈｅ１、エッジ閾値Ｔｈｅ２に基づき、エッジ強度に応じた得点を画素領域毎に算出する。図４に示す例では、エッジ強度がエッジ閾値Ｔｈｅ１よりも大きい画素領域の得点が「２点」、エッジ強度がエッジ閾値Ｔｈｅ１〜エッジ閾値Ｔｈｅ２の範囲に収まる画素領域の得点が「１点」、エッジ強度がエッジ閾値Ｔｈｅ２未満の画素領域の得点が「０点」である場合を示す。

また、エッジ強度がエッジ閾値Ｔｈｅ１を超える画素領域は、エッジ強度が強く雪埋もれ領域である可能性が低い画素領域であり、背景領域である可能性が高い画素領域である。また、エッジ強度がエッジ閾値Ｔｈｅ２未満の画素領域は、エッジ強度が低く、雪埋もれ領域である可能性が高い領域であり、背景領域である可能性が低い画素領域である。

エッジ強度がエッジ閾値Ｔｈｅ１〜エッジ閾値Ｔｈｅ２の範囲に収まる画素領域は、エッジ強度が中程度の中エッジ画素であり、雪埋もれ領域および背景領域である可能性が、強エッジ画素領域と低エッジ画素領域の中間となる画素領域である。

算出部２２は、図４に示すエッジ閾値Ｔｈｅ１、エッジ閾値Ｔｈｅ２に基づき、各画素領域についてエッジ強度に応じた得点を算出する。なお、画素ＰＸのエッジの強度を図３に示す「ｅｘ^２＋ｅｙ^２」として求めた場合、例えば、エッジ閾値Ｔｈｅ１は、「８１９２」であり、エッジ閾値Ｔｈｅ２は、「１６３８４」である。

また、図４では、算出部２２が、２つのエッジ閾値Ｔｈｅ１、エッジ閾値Ｔｈｅ２に基づいて得点を算出する場合について示したが、エッジ閾値は、１つであっても、３つ以上であってもよい。

続いて、図５に示すように、算出部２２は、分割領域Ｓａにおける各画素領域Ｐａの得点の総和を求め、得点の総和に応じて、分割領域Ｓａのスコアを算出する。上述のように、得点が高いほど、雪埋もれ領域である可能性が低いため、得点の総和が高いほど、雪埋もれ領域である可能性が低くなる。

また、例えば、分割領域Ｓａが１０×１０の１００画素領域Ｐａで構成される場合、算出部２２は、得点の総和が１０点未満である分割領域Ｓａのスコアを「２ｐｔ」、得点の総和が１０点〜３０点未満の範囲の分割領域Ｓａのスコアを「１ｐｔ」、得点の総和が３０点以上の分割領域Ｓａのスコアを「０ｐｔ」として算出する。

そして、算出部２２は、全ての分割領域Ｓａにスコアを紐付けたスコア画像２００を生成し、後述する判定部２４へ渡す。なお、スコアの算出方法は、上記の例に限られず、任意に変更することができる。例えば、算出部２２は、分割領域Ｓａにおける各画素領域Ｐａのエッジ強度の平均値に基づいてスコアを算出することにしてもよい。

このように、算出部２２は、各画素領域Ｐａのエッジ強度を得点に変換し、各分割領域Ｓａにおける得点の総和に基づいて各分割領域Ｓａのスコアを算出する。これにより、各分割領域Ｓａにおいて、局所的に雪埋もれ領域である分割領域Ｓａのスコアを低く算出することができる。

つまり、分割領域Ｓａにおいて、所定数以上の画素領域のエッジ強度が雪埋もれ領域の特徴を示す場合に、スコアを「１」として算出することで、雪埋もれ領域に対するスコアを適切に算出することができる。

図２の説明に戻り、アルゴリズム実行部２３について説明する。アルゴリズム実行部２３は、算出部２２とは異なるアルゴリズムを用いて、各分割領域Ｓａのスコアを算出する。例えば、算出部２２が各画素領域のエッジ強度に基づくアルゴリズムにてスコアを算出したのに対して、アルゴリズム実行部２３は、各画素領域のエッジ角度に基づいてスコアを算出することができる。

図６〜図９は、アルゴリズム実行部２３の処理内容を示す図である。図６に示すように、アルゴリズム実行部２３は、算出部２２によって算出された各画素ＰＸのベクトルＶ（図３参照）に基づき、画素領域におけるエッジ代表向きを決定する。具体的には、図６に示すように、アルゴリズム実行部２３は、画素領域における各画素ＰＸのベクトルＶに基づいて、第１角度範囲を単位とする第１エッジ代表向き、および、第１角度範囲とは異なる第２角度範囲を単位とする第２エッジ代表向きを画素領域毎に決定する。

具体的には、アルゴリズム実行部２３は、各画素ＰＸのベクトルＶに基づいて、各画素ＰＸを−１８０°〜１８０°を９０°毎の第１角度範囲で分割した「（０）」〜「（３）」のいずれかの符号、および、第１角度範囲とは分割する角度の境界が異なる第２角度範囲で分割した「（４）」〜「（７）」のいずれかの符号それぞれに分類する。

より具体的には、ベクトルＶにおけるエッジの角度が、−４５°以上４５°未満の角度範囲である場合には符号「（０）」に分類し、４５°以上１３５°未満の角度範囲である場合には符号「（１）」に分類し、１３５°以上１８０°未満、または−１８０°以上−１３５°未満の角度範囲である場合には符号「（２）」に分類し、−１３５°以上−４５°未満の角度範囲である場合には符号「（３）」に分類する。

さらに、ベクトルＶにおけるエッジの角度が、０°以上９０°未満の角度範囲である場合には符号「（４）」に分類し、９０°以上１８０°未満の角度範囲である場合には符号「（５）」に分類し、−１８０°以上−９０°未満の角度範囲である場合には符号「（６）」に分類し、−９０°以上０°未満の角度範囲である場合には符号「（７）」に分類する。

そして、図６の下段に示すように、アルゴリズム実行部２３は、各画素領域について、符号「（０）」〜「（３）」を各階級とするヒストグラムと、符号「（４）」〜「（７）」を各階級とするヒストグラムとを生成する。そして、アルゴリズム実行部２３は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する符号「（０）」を第１エッジ代表向きとし、符号「（４）」を第２エッジ代表向きとして決定する。すなわち、アルゴリズム実行部２３によるエッジ代表向きの決定処理は、各分割領域Ｓａを符号化する処理ともいえる。

前述のヒストグラムの度数は、画素領域内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジの強度を足し合わせて算出する。具体的に、符号「（０）」の階級におけるヒストグラムの度数について考える。例えば、符号「（０）」に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジ強度を１０，２０，３０とする。この場合、符号「（０）」の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

このようにして算出されたヒストグラムに基づき、アルゴリズム実行部２３は画素領域のエッジ強度を決定する。具体的にはエッジ代表強度は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をエッジ強度とする。すなわち、アルゴリズム実行部２３におけるエッジ強度の決定処理は、エッジ代表向きに対応した、画素領域において、同一の方向を向いた画素ＰＸの数を加味したエッジの強さに関する特徴を抽出する処理とも言える。

一方、アルゴリズム実行部２３は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合、かかる画素領域のエッジ代表向きについては、「無効」、換言すれば、「エッジ代表向き無し」として扱う。これにより、各画素ＰＸのエッジの角度のばらつきが大きい場合に、特定のエッジ代表向きを誤って決定してしまうことを防止できる。

このように、アルゴリズム実行部２３は、第１角度範囲および第２角度範囲それぞれで異なるエッジ代表向きを素領域に対応付ける。これにより、付着物領域の検出に用いるデータ数を増やすことができるので、付着物領域の検出精度を向上させることができる。

なお、図６で示したエッジ代表向きの決定処理は、一例であって、エッジ代表向きを決定可能な処理であれば、処理内容は任意であってよい。例えば、画素領域における各画素ＰＸのエッジの角度の平均値を算出し、かかる平均値に対応する角度範囲のエッジ代表向きを決定してもよい。

また、算出部２２においても、アルゴリズム実行部２３の手法で求めた画素領域のエッジ強度を用いてもよい。アルゴリズム実行部２３で求める画素領域のエッジ強度は、画素領域において同一の分類方向を向いている画素ＰＸの数が考慮された形でエッジ強度が算出される。そのため、単に画素ＰＸのエッジの強度の代表をとるよりも、大域的なエッジの挙動を反映した特性を有している。雪のような付着物においてはこのような大域的なエッジの挙動、換言すればエッジの変化のかたまり度合を考慮することが効果的であるため、アルゴリズム実行部２３の手法で求めた画素領域のエッジ強度を用いることで、より信頼性高く雪埋もれ状態を推定できる。

また、図６では、４×４の計１６個の画素ＰＸを１つの画素領域とする場合を示したが、画素領域における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

続いて、アルゴリズム実行部２３は、所定の走査方向に沿って、同一のエッジ代表向きが連続する配列パターン１５０を抽出する。具体的には、アルゴリズム実行部２３は、撮像画像Ｉの左右方向および上下方向に２次元配列された複数の画素領域について、左右方向および上下方向に走査し、配列パターン１５０を抽出する。なお、左右方向および上下方向は、第１の走査方向および第２の走査方向の一例である。また、走査方向は、左右方向および上下方向に限られず、斜め方向であってもよい。

ここで、アルゴリズム実行部２３は、走査方向に沿って隣接するエッジ代表向きが、配列パターン１５０のエッジ代表向きと隣り合う向きである場合に、配列パターン１５０として抽出する。

具体的には、図７に示すように、アルゴリズム実行部２３は、エッジ代表向きが「（１）」である４つの画素領域が連続する場合、かかる４つの画素領域の両隣に位置する分割領域Ｓａのエッジ代表向きを参照し、配列パターン１５０−１を抽出する。

具体的には、図７の上段に示すように、４つの「（１）」で構成された配列パターンの両隣のエッジ代表向きが、配列パターンのエッジ代表向き「（１）」と隣り合う向きである場合に、アルゴリズム実行部２３は、かかる配列パターンを配列パターン１５０−１として抽出する。

一方、図７の下段に示すように、４つの「（１）」で構成された配列パターンの両隣のエッジ代表向きが、配列パターンのエッジ代表向き「（１）」と逆向きのエッジ代表向き「（３）」である場合、アルゴリズム実行部２３は、かかる配列パターンを配列パターン１５０−１として抽出しない。

これは、上述のように、雪埋もれ領域では、エッジ角が緩やかに変化しやすく、エッジ角が連続的に変化するため、隣り合う分割領域Ｓａが互いに逆向きのエッジ代表向きを取りにくいためである。

つまり、アルゴリズム実行部２３は、走査方向に沿って連続的に変化するエッジ代表向きを有する配列パターン１５０のみを抽出し、走査方向に沿って不規則に変換する配列パターンを抽出対象から除外する。これにより、雪埋もれ領域に対応する配列パターン１５０の抽出精度を向上させることが可能となる。

また、上述のように、雪埋もれ領域においては、エッジ代表向きが連続的に変化するため、１つの配列パターンの長さが所定範囲に収まるという特徴を有する。このため、アルゴリズム実行部２３は、長さが所定範囲に収まる配列パターン１５０のみを抽出することも可能である。

ここでいう所定範囲とは、例えば、２４画素ＰＸ（３画素領域）〜１００画素ＰＸ（２５画素領域）であるが、これに限定されるものではなく、任意に変更することができる。

これにより、雪埋もれ領域に対応する配列パターン１５０のみを抽出することができる。言い換えれば、雪埋もれ領域の特徴に合致しない配列パターンを抽出しないので、付着物領域として雪埋もれ領域の検出精度を向上させることができる。

なお、図７では、左右方向の走査方向であり、第１角度範囲に対応する配列パターン１５０−１の抽出処理を例に挙げて説明したが、走査方向が上下方向および第２角度範囲に対応するエッジ代表向きの配列パターン１５０の抽出処理について同様である。

続いて、アルゴリズム実行部２３は、アルゴリズム実行部２３によって抽出された配列パターン１５０に基づいて各画素領域のスコアを算出する。具体的には、図８に示すように、アルゴリズム実行部２３は、上下方向に沿って、「１」が８個連続する配列パターン１５０−１と、左右方向に沿って、「１」が７個連続する配列パターン１５０−１との交点ＣＰを算出する。

続いて、アルゴリズム実行部２３は、交点ＣＰを形成する双方の配列パターン１５０−１の画素領域数の積を算出する。図８に示す例では、積が「８×７＝５６」である場合を示す。すなわち、各交点ＣＰの積によって、交点ＣＰに対応する同一のエッジ代表向きの集合体の大きさを概算することが可能となる。

各交点ＣＰの積が大きいほど、同一のエッジ代表向きが広範囲に連続して分布していることを意味する。つまり、交点ＣＰの積を求めることで、代表エッジ向きの一塊を容易に算出することができる。

そして、アルゴリズム実行部２３は、交点ＣＰにエッジ代表向きおよび、上記の積を示す交点情報を対応付ける。

なお、アルゴリズム実行部２３は、交点ＣＰの積に代えて、エッジ代表向きの１つの塊を形成する画素領域の個数をカウントすることにしてもよい。この場合、例えば、左右方向に沿って抽出された配列パターン１５０−１と、かかる配列パターン１５０−１と上下方向に隣接する配列パターン１５０−１との個数の和をエッジ代表向きの１つの塊の大きさとして算出することができる。

続いて、アルゴリズム実行部２３は、図９に示すように、注目領域ＳａＴを設定し、注目領域ＳａＴを拡張した拡張領域Ｅａにおける交点ＣＰに基づいて注目領域ＳａＴが付着物領域か否かを判定する。

ここで、注目領域ＳａＴは、１つの分割領域Ｓａであり、拡張領域Ｅａは、注目領域ＳａＴの中心とする３×３の分割領域Ｓａである。なお、拡張領域Ｅａは、注目領域ＳａＴを中心とし、注目領域ＳａＴよりも広い領域であれば、その他の領域であってもよい。

アルゴリズム実行部２３は、拡張領域Ｅａに含まれる交点情報に基づき、注目領域ＳａＴが付着物領域か否かを判定する。具体的には、図９に示すように、第１角度範囲および第２角度範囲のそれぞれに基づく積の和をエッジ代表向き毎に算出する。

図９に示す例では、第１角度範囲に基づくエッジ代表向き「（０）」〜「（３）」の積の和がそれぞれ「８０」、「６７」、「７５」および「５８」であり、これらを足し合わせた合計値が「２８０」である場合を示す。

また、図９に示す例では、第２角度範囲に基づくエッジ代表向き「（４）」〜「（７）」の積の和がそれぞれ「７３」、「４２」、「１８」および「３２」であり、これらを足し合わせた合計値が「１６５」である場合を示す。

アルゴリズム実行部２３は、拡張領域Ｅａにおいて所定の条件を満たす場合に、注目領域ＳａＴのスコアを「１」として算出する。一方、アルゴリズム実行部２３は、拡張領域Ｅａにおいて所定の条件を満たさない場合、注目領域ＳａＴのスコアを「０」として算出する。

ここで、所定の条件とは、拡張領域Ｅａにおいて、全種類のエッジ代表向きの交点ＣＰがあり、かつ、第１角度範囲における積の合計値および第２角度範囲における積の合計値がいずれも所定の閾値を超えることを示す。

すなわち、アルゴリズム実行部２３は、第１角度範囲および第２角度範囲のそれぞれの代表エッジ向きの積が「１」以上であり、第１角度範囲および第２角度範囲のそれぞれの合計値が所定の閾値を超える場合に、スコアを「１」として算出する。

つまり、拡張領域Ｅａにおいて、全てのエッジ代表向きに基づく交点ＣＰを有し、かつ、それぞれのエッジ代表向きがある程度の大きさを有する分割領域Ｓａの集合体である場合に、注目領域ＳａＴについてスコアを「１」として算出する。

そして、アルゴリズム実行部２３は、各注目領域ＳａＴ、すなわち、分割領域Ｓａ毎のスコアを示すスコア画像２００−１を生成し、判定部２４へ渡す。なお、スコアが「１」である分割領域Ｓａは、雪埋もれ領域である可能性が高い領域であり、スコアが「０」である分割領域Ｓａは、雪埋もれ領域である可能性が低い領域である。

図２の説明に戻り、判定部２４について説明する。判定部２４は、算出部２２によって算出されたスコアに基づいて対象領域１００が撮像装置のレンズに付着物が付着した付着物領域か否かを判定する。

本実施形態において、判定部２４は、算出部２２によって生成されたスコア画像２００と、アルゴリズム実行部２３によって生成されたスコア画像２００−１に基づいて各分割領域Ｓａの最終的なスコアを決定する。その後、判定部２４は、決定した最終的なスコアに基づいて対象領域１００が付着物領域か否かを判定する。

図１０は、判定部２４の処理内容を示す図である。図１０に示すように、判定部２４は、スコア画像２００、２００−１でそれぞれ対応する各分割領域Ｓａのスコアを乗算することで、各分割領域Ｓａの最終的なスコアを決定し、決定した最終的なスコアを示すスコア画像２００ｆを生成する。

上述のように、スコア画像２００、２００−１において、それぞれスコアが高い分割領域Ｓａは、雪埋もれ領域である可能性が高く領域であり、スコアが「０」である分割領域Ｓａは、雪埋もれ領域である可能性が低い領域である。

すなわち、各分割領域Ｓａにおいて、双方のスコア画像２００、２００−１のスコアを乗算することで、双方のスコア画像２００、２００−１において、雪埋もれ領域である可能性が高いと判定された分割領域Ｓａのみの最終的なスコアが「１」以上となる。言い換えれば、スコア画像２００、２００−１の少なくとも一方で、雪埋もれ領域である可能性が低いと判定された分割領域Ｓａの最終的なスコアは「０」となる。

このように、判定部２４は、複数のアルゴリズムでそれぞれ算出したスコアに基づいて各分割領域Ｓａの最終的なスコアを算出することで、スコアの確度を高めることが可能である。

続いて、判定部２４は、スコア画像２００ｆにおけるスコアの総和を算出し、算出した総和が総和閾値を超えていた場合、対象領域１００を付着物領域として判定する。ここで、総和閾値は、例えば、「対象領域１００におけるスコアの総和の最大値」×４０％である。

すなわち、判定部２４は、対象領域１００において雪埋もれ領域である可能性が高い分割領域Ｓａが占める割合ではなく、スコアの総和に対して閾値を設ける。これにより、部分的にスコアが高い分割領域Ｓａを有する対象領域１００や、全体的にスコアが低いもののスコアの総和が高い対象領域１００を一度の判定処理で付着物領域として判定することができる。

次に、図１１を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図１１は、付着物検出装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、撮像画像Ｉの取得毎に制御部２によって繰り返し実行される。

図１１に示すように、まず、付着物検出装置１は、撮像画像Ｉを取得すると（ステップＳ１０１）、エッジ強度に応じた各画素領域の得点を算出する（ステップＳ１０２）。続いて、付着物検出装置１は、算出した得点に基づき、分割領域Ｓａ毎にスコアを算出する（ステップＳ１０３）。

続いて、付着物検出装置１は、エッジ角度に基づくアルゴリズムでスコアを算出し（ステップＳ１０４）、ステップＳ１０３およびステップＳ１０４で算出した双方のスコアに基づき、各分割領域Ｓａの最終的なスコアを決定する（ステップＳ１０５）。

続いて、付着物検出装置１は、対象領域１００におけるスコアの総和が総和閾値を超えるか否かを判定し（ステップＳ１０６）、スコアの総和が総和閾値を超える場合に（ステップＳ１０６，Ｙｅｓ）、対象領域１００を付着物領域として判定し（ステップＳ１０７）、処理を終了する。

また、付着物検出装置１は、ステップＳ１０６の判定処理において、スコアの総和が総和閾値以下である場合（ステップＳ１０６，Ｎｏ）、処理を終了する。

上述したように、実施形態に係る付着物検出装置１は、算出部２２と、判定部２４とを備える。算出部２２は、撮像装置によって撮像された撮像画像Ｉの各画素領域におけるエッジ強度に基づいて所定の対象領域１００を分割した分割領域Ｓａのスコアを算出する。

判定部２４は、算出部２２によって算出されたスコアに基づいて対象領域１００が撮像装置のレンズに付着物が付着した付着物領域か否かを判定する。したがって、実施形態に係る付着物検出装置１によれば、付着物を早期に検出することができる。

ところで、上述した実施形態では対象領域１００が複数の分割領域Ｓａから構成される場合について説明したが、これに限定されるものではない。すなわち、対象領域１００は、１つの分割領域Ｓａであってもよい。これはつまり、全面が雪で埋もれている場合を検出したい時などに相当する。

この場合は特に、算出部２２は、エッジ強度が所定範囲に収まる画素領域についてスコアを「１」として算出し、エッジ強度が所定範囲から逸脱する画素領域についてスコアを「０」として算出する。

ここでの所定範囲とは、エッジ強度が「１」〜所定の閾値までの範囲である。すなわち、エッジ強度が「０」もしくは強エッジとなる場合に、スコアを「０」とし、エッジ強度が「０」以外の弱エッジ（または中エッジを含む）である場合に、スコアを「１」として算出する。なお、このように０と１のスコアを設定することは、換言すれば、エッジ強度が「０」以外の弱エッジである画素領域の数を数えることとも言える。

そして、判定部２４は、対象領域１００におけるスコアの総和が閾値（例えば、４０％）を超える場合に、かかる対象領域１００について付着物領域として判定する。かかる場合であっても、１枚の撮像画像Ｉから付着物領域を判定することができるので、付着物を早期に検出することが可能である。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
２１ 画像取得部
２２ 算出部
２３ アルゴリズム実行部
２４ 判定部
５０ 各種機器
１００ 対象領域
Ｉ 撮像画像
Ｓａ 分割領域
Ｐａ 画素領域
ＰＸ 画素

Claims (5)

1. 撮像装置によって撮像された撮像画像の各画素領域におけるエッジ強度に基づいて所定の対象領域を分割した分割領域のスコアを算出する算出部と、
   前記算出部によって算出された前記スコアに基づいて前記対象領域が前記撮像装置のレンズに付着物が付着した付着物領域か否かを判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記算出部は、
   前記エッジ強度に応じた得点を画素領域毎に算出し、前記分割領域毎における前記得点の総和に基づいてスコアを算出し、
   前記判定部は、
   前記対象領域に含まれる前記分割領域の前記スコアの総和が閾値条件を満たす場合に、当該対象領域について前記付着物領域として判定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記算出部は、
   前記エッジ強度が所定範囲内か否かに基づいて前記スコアを算出し、
   前記判定部は、
   前記対象領域に含まれる前記スコアの総和が閾値条件を満たす場合に、前記付着物領域と判定すること
   を特徴とする請求項１に記載の付着物検出装置。
4. 前記判定部は、
   前記スコアと、前記算出部とは異なるアルゴリズムで算出されたスコアとに基づいて前記付着物領域か否かを判定すること
   を特徴とする請求項１、２または３に記載の付着物検出装置。
5. 撮像装置によって撮像された撮像画像の各画素領域におけるエッジ強度に基づいて所定の対象領域を分割した分割領域のスコアを算出する算出工程と、
   前記算出工程によって算出された前記スコアに基づいて前記対象領域が前記撮像装置のレンズに付着物が付着した付着物領域か否かを判定する判定工程と
   を含むことを特徴とする付着物検出方法。