JP2021050932A - 付着物検出装置、および付着物検出方法 - Google Patents

Abstract

【課題】付着物の検出精度を向上させた付着物検出装置、および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。検出部は、候補領域の面積が所定面積以上であり、かつ候補領域における画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する。【選択図】図１

Description

本発明は、付着物検出装置、および付着物検出方法に関する。

従来、撮像画像における画素の輝度分布に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１９−１２８７９８号公報

しかしながら、従来技術では、レンズに付着した付着物が大きい場合に付着物の検出精度が低下するおそれがある。

本発明は、上記に鑑みてなされたものであって、付着物の検出精度を向上させる付着物検出装置、および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。検出部は、候補領域の面積が所定面積以上であり、かつ候補領域における画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する。

実施形態の一態様によれば、付着物の検出精度を向上させることができる。

図１は、付着物検出方法の概要を示す図である。 図２は、付着物検出装置の構成を示すブロック図である。 図３は、輝度分布の抽出対象となる画素列を説明する図である。 図４は、算出部の処理内容を示す図である。 図５は、算出部の処理内容を示す図である。 図６は、大きい付着物に対応するヒストグラムの一例である。 図７は、実施形態に係る付着物検出処理を説明するフローチャートである。

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１によって実行される。なお、図１には、例えば、撮像装置であるカメラ１０（図２参照）のレンズに水滴などの付着物が付着した状態で撮像された撮像画像Ｉを示している。付着物は、泥や、埃や、雪片等が含まれてもよく、付着物の領域がぼやけた領域となる付着物であればよい。

付着物検出装置１は、撮像画像Ｉから付着物が付着している可能性がある候補領域１００を抽出し、候補領域１００における輝度分布の起伏変化パターンが所定の変化パターンを満たす場合に、候補領域１００を付着物領域として検出する。所定の変化パターンは、付着物に対応する輝度の変化パターンであり、予め設定され、起伏条件情報ＤＢ３０（図２参照）に記憶されている。輝度分布の起伏変化パターンについては、後述する。

レンズに付着する付着物は、比較的小さい付着物が想定されており、このような付着物は、図１においてグラデーションの濃淡で示すように、輝度の変化量が大きい。そのため、所定の変化パターンは、実験などによって得られた輝度の変化量に基づいて設定され、記憶される。

そして、付着物検出装置１は、撮像画像Ｉから抽出された候補領域１００における輝度分布の起伏変化パターンと、所定の変化パターンとを比較することによって、付着物領域を検出している。

しかし、レンズに付着した付着物が大きい場合には、付着物が小さい場合と比較すると、輝度の変化量が小さくなる。そのため、上記した所定の変化パターンを用いて付着物領域を検出すると、付着物が大きい候補領域１００が付着物領域として検出されないおそれがある。

そこで、実施形態に係る付着物検出装置１は、以下で説明する付着物検出方法によって大きい付着物が付着した候補領域１００を付着物検出領域として検出することとした。

付着物検出装置１は、撮像画像Ｉを取得し（Ｓ１）、取得した撮像画像Ｉから候補領域１００を抽出する（Ｓ２）。例えば、付着物検出装置１は、パターンマッチングによるマッチング処理により、付着物の円形状の輪郭を含む矩形状の領域を候補領域１００として抽出する。

付着物検出装置１は、候補領域１００の面積が所定面積以上である候補領域１００を第１候補領域１００ａとして抽出する（Ｓ３）。

所定面積は、大きい付着物が付着している場合の面積であり、候補領域１００の幅が所定幅（例えば、９６画素）以上であり、候補領域１００の高さが所定高さ（例えば、９６画素）以上となる場合の面積である。なお、以下においては、候補領域１００の面積が所定面積よりも小さい領域を第２候補領域１００ｂと称する。また、第１候補領域１００ａ、および第２候補領域１００ｂを区別しない場合には、候補領域１００として説明する。

付着物検出装置１は、第１候補領域１００ａのうち、画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する（Ｓ４）。

画素間の輝度変化量は、候補領域１００における所定方向に沿った輝度の変化量であり、画素の輝度分布の起伏における輝度の最大値と最小値との差である。所定変化量は、予め設定された値（例えば、３２）であり、輝度の起伏が小さく、大きい付着物が付着していると判定可能な値である。

付着物検出装置１は、大きい付着物が付着している場合に、第１候補領域１００ａを正確に付着物領域として検出することができ、付着物の検出精度を向上させることができる。

次に、実施形態に係る付着物検出装置１について、図２を参照して説明する。図２は、付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、抽出部２１と、算出部２２と、変換部２３と、判定部２４と、更新部２５と、検出部２６とを備える。記憶部３は、起伏条件情報ＤＢ３０と、付着情報ＤＢ３１とを備える。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０、抽出部２１、算出部２２、変換部２３、判定部２４、更新部２５、および検出部２６として機能する。

また、制御部２の取得部２０、抽出部２１、算出部２２、変換部２３、判定部２４、更新部２５、および検出部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０、抽出部２１、算出部２２、変換部２３、判定部２４、更新部２５、および検出部２６は、統合されてもよく、複数に分けられてもよい。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

起伏条件情報ＤＢ３０は、所定の変化パターンを起伏条件情報として記憶する。所定の変化パターンは、複数設定され、記憶される。

付着情報ＤＢ３１は、付着物が検出された過去の撮像画像Ｉにおける第１候補領域１００ａの付着情報を記憶する。付着情報は、第１候補領域１００ａにおける矩形情報である。

矩形情報は、撮像画像Ｉにおける第１候補領域１００ａの位置、および大きさを示す情報である。矩形情報は、第１候補領域１００ａの左上のＸ座標、Ｙ座標、および第１候補領域１００ａの幅、高さである。Ｘ座標、およびＹ座標は、撮像画像Ｉ中の所定の座標を原点として設定される。なお、所定の座標は、各撮像画像Ｉにおいて同じ位置に設定される。また、矩形情報は、詳しくは後述する継続カウンタが紐付けられて記憶される。

取得部２０は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。

抽出部２１は、取得部２０が取得した撮像画像Ｉの中から候補領域１００を抽出する。具体的には、まず、抽出部２１は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０〜２５５のパラメータで表現される。

また、抽出部２１は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

そして、抽出部２１は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

そして、抽出部２１は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。

抽出部２１は、複数回、具体的には、２回のマッチング処理を行う。抽出部２１は、テンプレート情報と、検出した全てのエッジ情報との第１のマッチング処理を行い、その後、テンプレート情報と、検出したエッジ情報から間引いたエッジ情報との第２のマッチング処理を行う。

第２のマッチング処理では、Ｘ軸方向のエッジ情報が所定のスキップ幅（画素間隔）で抽出され、Ｙ軸方向のエッジ情報が所定のスキップ幅で抽出される。所定のスキップは、予め設定された間隔であり、例えば４画素である。例えば、Ｘ軸方向に１〜１５まで連続する画素では、１番目の画素、５番目の画素、９番目の画素、１３番目の画素のエッジ情報が抽出される。

なお、マッチング処理の回数は、２回に限られず、３回以上であってもよい。この場合、抽出部２１は、所定のスキップ幅を変更し、複数回のマッチング処理を行う。

そして、抽出部２１は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。抽出部２１は、第１のマッチング処理、および第２のマッチング処理によって候補領域１００を抽出する。

抽出部２１は、第２のマッチング処理によって、所定のスキップ幅によってスキップさせた画素の特徴量に基づいて候補領域１００を抽出する。抽出部２１は、新たに縮小した撮像画像Ｉを生成することなく第２のマッチング処理によって候補領域１００を抽出する。

なお、第２のマッチング処理によって抽出される候補領域１００は、間引かれたエッジ情報を有する画素を含む領域であり、撮像画像Ｉ上における大きさを有する領域である。

抽出部２１は、候補領域１００の面積が所定面積以上である候補領域１００を第１候補領域１００ａとして抽出し、候補領域１００の面積が所定面積よりも小さい候補領域１００を第２候補領域１００ｂとして抽出する。

また、抽出部２１は、候補領域１００における所定の画素列の輝度分布を抽出する。図３は、輝度分布の抽出対象となる画素列を説明する図である。図３に示すように、抽出部２１は、撮像画像Ｉにおける水平方向（Ｘ軸方向）の３列の画素列Ｈ１〜Ｈ３と、垂直方向（Ｙ軸方向）の３列の画素列Ｖ１〜Ｖ３とについて、輝度分布を抽出する。これにより、輝度分布を２次元の情報として扱うことができるため、後段の処理負荷を軽減できる。

また、抽出部２１は、付着情報ＤＢ３１に記憶された矩形情報に対応する領域について、候補領域１００と同様に所定の画素列の輝度分布を抽出する。すなわち、抽出部２１は、撮像画像Ｉにおいて、付着情報ＤＢ３１に記憶された矩形情報に一致する領域を撮像画像Ｉから抽出し、抽出した領域に対して画素列の輝度分布を抽出する。以下において、付着情報ＤＢ３１に記憶された矩形情報に対応する領域を「予備領域」と称する。

なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。なお、抽出部２１は、第１候補領域１００ａ、および予備領域においては、水平方向、および垂直方向の画素列の輝度分布を抽出する。

図２に戻って算出部２２について説明する。算出部２２は、候補領域１００を所定画素数を単位とする単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、算出部２２による代表値の算出方法については、図４および図５を用いて後述する。

図４および図５は、算出部２２の処理内容を示す図である。まず、図４を用いて、算出部２２による単位領域の設定方法について説明する。図４では、水平方向における一の画素列Ｈの輝度分布を示す。

図４に示すように、算出部２２は、水平方向における画素列を、例えば８個の単位領域Ｒ１〜Ｒ８（まとめて単位領域Ｒと記載する場合がある。）に分割する。なお、単位領域Ｒ１〜Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、各幅がそれぞれ異なってもよい。

また、単位領域Ｒの分割数は、８個に限らず、任意の数を設定可能である。なお、単位領域Ｒの分割数は、撮像画像Ｉから抽出される候補領域１００、および予備領域のサイズに関わらず、すべて同じ数（図４では８個）であることが好ましい。これにより、抽出される候補領域１００、および予備領域のサイズが様々であっても、単位領域Ｒの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。

また、算出部２２は、図５に示すように、単位領域Ｒ１〜Ｒ８毎に輝度の代表値のヒストグラムを作成する。具体的には、算出部２２は、単位領域Ｒ１〜Ｒ８毎に輝度値の平均値を算出し、平均値を輝度の代表値とする。

生成されたヒストグラムは、付着物の状態によって形状が異なる。小さい付着物のヒストグラムは、図５に示すように、例えば、中心付近の単位領域Ｒ４、Ｒ５の輝度が大きくなり、端付近の単位領域Ｒ１、Ｒ８の輝度が小さくなる。そのため、単位領域Ｒにおける輝度の変化量が大きくなる。ヒストグラムにおける輝度の変化パターンは、輝度分布の起伏変化パターンである。

一方、大きい付着物のヒストグラムは、図６に示すように、単位領域Ｒにおける輝度の変化量が小さくなる。図６は、大きい付着物に対応するヒストグラムの一例である。

算出部２２は、生成したヒストグラムを用いて、第１候補領域１００ａにおける画素間の輝度変化量を算出する。また、算出部２２は、予備領域についても、同様にヒストグラムを生成し、画素間の輝度変化量を算出する。なお、算出部２２は、各画素列についてそれぞれヒストグラムを生成し、画素間の輝度変化量を算出する。

図２に戻り、判定部２４は、第１候補領域１００ａに対し、算出された画素間の輝度変化量が所定変化量以下であるか否かを判定する。判定部２４は、抽出された各画素列について、算出された画素間の輝度変化量が所定変化量以下であるか否かを判定する。

判定部２４は、画素間の輝度変化量が所定変化量以下である第１候補領域１００ａを付着物領域であると判定する。具体的には、判定部２４は、抽出された画素列の全てにおいて、画素間の輝度変化量が所定変化量以下である第１候補領域１００ａを付着物領域であると判定する。

また、判定部２４は、画素間の輝度変化量が所定変化量よりも大きい第１候補領域１００ａを付着物領域ではないと判定する。具体的には、判定部２４は、抽出された画素列のいずれか一つにおいて、画素間の輝度変化量が所定変化量よりも大きい場合には、第１候補領域１００ａを付着物領域ではないと判定する。

また、判定部２４は、予備領域に対し、第１候補領域１００ａと同様に、画素間の輝度変化量が所定変化量以下であるか否かを判定する。判定部２４は、画素間の輝度変化量が所定変化量以下である予備領域を付着物領域であると判定する。

第１候補領域１００ａは、各撮像画像Ｉから上記した第２のマッチング処理によって抽出された候補領域１００から抽出されることがある。第２のマッチング処理では、所定のスキップ幅でスキップされたエッジ情報を用いてテンプレート情報とのマッチング処理が行われる。そのため、第１候補領域１００ａが撮像画像Ｉから抽出されないことがある。

実施形態に係る付着物検出装置１は、予備領域についても、画素間の輝度変化量が所定変化量以下であるか否かを判定し、画素間の輝度変化量が所定変化量以下である予備領域を付着物領域であると判定する。これにより、付着物検出装置１は、大きい付着物が付着した領域を精度良く付着物領域として検出することができる。

また、判定部２４は、第２候補領域１００ｂに対し、輝度分布の起伏変化パターンが所定の変化パターンを満たすか否かを判定する。なお、所定の変化パターンは、各単位領域Ｒに対し閾値範囲を含む。判定部２４は、第２候補領域１００ｂの各単位領域Ｒの代表値が、所定の変化パターンにおける各単位領域Ｒの閾値範囲に含まれるか否かを判定する。

判定部２４は、輝度分布の起伏変化パターンが所定の変化パターンを満たす第２候補領域１００ｂを付着物領域であると判定する。また、判定部２４は、輝度分布の起伏変化パターンが所定の変化パターンを満たさない第２候補領域１００ｂを付着物領域ではないと判定する。

また、判定部２４は、時系列の撮像画像Ｉに基づき、候補領域１００を連続して付着物領域である判定した場合に、候補領域１００が付着物領域の確定領域であると判定する。

また、判定部２４は、確定領域の占有率を算出することによって、最終的な付着物の判定処理を行う。具体的には、判定部２４は、占有率が予め設定された閾値（例えば、４０％）以上の場合に、カメラ１０のレンズに付着物が付着していると判定する。判定部２４は、占有率が閾値よりも小さい場合に、カメラ１０のレンズに付着物が付着していないと判定する。

更新部２５は、カメラ１０のレンズに付着物が付着していると判定された場合に、付着物検出フラグを「ＯＮ」にする。また、更新部２５は、カメラ１０のレンズに付着物が付着していないと判定された場合に、付着物検出フラグを「ＯＦＦ」にする。

また、更新部２５は、付着情報ＤＢ３１を更新する。更新部２５は、付着物領域として判定された第１候補領域１００ａの矩形情報が付着情報ＤＢ３１に記憶されていない場合には、第１候補領域１００ａの矩形情報を新たに記憶する。

また、更新部２５は、付着情報ＤＢ３１に記憶された矩形情報に対応する予備領域において、所定回数（例えば、３回）連続して、付着物領域として判定されない場合には、付着領域として判定されない領域の矩形情報を付着情報ＤＢ３１から消去する。具体的には更新部２５は、予備領域が付着物領域として判定されない場合に、予備領域に対応する矩形情報の継続カウンタをインクリメントする。継続カウンタは、付着情報ＤＢ３１に記憶された矩形情報に一致する領域における付着物不検知の継続性を示す値である。

継続カウンタは、初期値としてゼロに設定される。予備領域が付着物領域として判定された場合には、更新部２５は、付着物領域として判定された予備領域に対応する矩形情報の継続カウンタをリセットする。更新部２５は、継続カウンタが所定値（例えば、「３」）になると、継続カウンタが所定値となった矩形情報を付着情報ＤＢ３１から消去する。

検出部２６は、判定部２４による判定結果に基づいて、候補領域１００から付着物領域を検出する。また、検出部２６は、判定部２４による判定結果に基づいて、付着物領域の確定領域を検出する。

次に、実施形態に係る付着物検出処理について図７を参照し説明する。図７は、実施形態に係る付着物検出処理を説明するフローチャートである。

制御部２は、カメラ１０で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１００）。

制御部２は、撮像画像Ｉの各画素から検出されるエッジ情報に基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０１）。具体的には、制御部２は、第１候補領域１００ａ、および第２候補領域１００ｂを抽出する。制御部２は、予備領域を抽出する（Ｓ１０２）。

制御部２は、付着物領域を検出する（Ｓ１０３）。具体的には、制御部２は、画素間の輝度変化量が所定変化量以下である第１候補領域１００ａ、および予備領域を付着物領域として検出する。また、制御部２は、輝度分布の起伏変化パターンが所定の変化パターンを満たす第２候補領域１００ｂを付着物領域として検出する。

制御部２は、付着物領域の確定領域を検出する（Ｓ１０４）。制御部２は、占有率を算出し（Ｓ１０５）、占有率が閾値以上であるか否かを判定する（Ｓ１０６）。制御部２は、占有率が閾値以上である場合には（Ｓ１０６：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ１０７）。制御部２は、占有率が閾値よりも小さい場合には（Ｓ１０６：Ｎｏ）、付着物検出フラグを「ＯＦＦ」にする（Ｓ１０８）。

付着物検出装置１は、候補領域１００のうち面積が所定面積以上である領域を第１候補領域１００ａとして抽出し、画素間の輝度変化量が所定変化量以下である第１候補領域１００ａを付着物領域として検出する。

これにより、付着物検出装置１は、大きい付着物が付着した領域を付着物領域として検出することができ、付着物の検出精度を向上させることができる。

付着物検出装置１は、第１候補領域１００ａにおける水平方向、および垂直方向の画素列における画素間の輝度変化量が所定変化量以下である第１候補領域１００ａを付着物領域として検出する。

これにより、付着物検出装置１は、付着物が付着した第１候補領域１００ａを精度良く付着物領域として検出することができ、付着物の検出精度を向上させることができる。

付着物検出装置１は、所定のスキップ幅によってスキップさせた画素の特徴量に基づいて第１候補領域１００ａを抽出する。

これにより、付着物検出装置１は、第１候補領域１００ａを抽出するための新たな縮小画像を生成せずに、第１候補領域１００ａを抽出することができる。また、付着物検出装置１は、第２候補領域１００ｂを抽出するテンプレート情報を用いて第１候補領域１００ａを抽出することができる。そのため、付着物検出装置１は、付着物検出における処理負荷を抑制することができる。

付着物検出装置１は、付着情報ＤＢ３１に記憶された矩形情報に対応する予備領域のうち、輝度変化量が所定変化量以下となる領域を付着物領域として検出する。

これにより、付着物検出装置１は、第２のマッチング処理によって第１候補領域１００ａを抽出できない場合であっても、大きい付着物が付着している可能性がある予備領域について付着物の付着判定を行うことができる。そのため、付着物検出装置１は、付着物の検出精度を向上させることができる。

また、付着物検出装置１は、継続カウンタが所定値となった矩形情報を付着情報ＤＢ３１から消去する。

これにより、付着物検出装置１は、付着物が付着していない領域に対応する矩形情報に基づいた付着物の付着判定が行われることを抑制し、付着物検出における処理負荷を抑制することができる。また、付着物検出装置１は、付着物の検出精度を向上させることができる。

変形例に係る付着物検出装置１は、第２候補領域１００ｂについては、以下の処理を行い、付着領域であるか否かを判定してもよい。

変形例に係る付着物検出装置１は、第２候補領域１００ｂにおける各画素の輝度値（例えば、０〜２５５）を単位輝度（例えば、０〜７）へ変換する。具体的には、変形例に係る付着物検出装置１は、０〜２５５を８個の単位輝度に均等に分割する。そして、変形例に係る付着物検出装置１は、単位領域Ｒ毎に代表値（例えば、最頻値の単位輝度や、単位輝度の平均値）を算出し、隣接する単位領域Ｒの単位輝度の変化量を算出する。

そして、変形例に係る付着物検出装置１は、単位輝度の変化量のパターンを、輝度分布の起伏変化のパターンとして算出し、輝度分布の起伏変化のパターンが、所定の変化パターンを満たす場合に、第２候補領域１００ｂを付着物領域として検出する。

これにより、変形例に係る付着物検出装置１は、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に判定条件を設定する必要がなくなることで、変形例に係る付着物検出装置１は、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。

また、変形例に係る付着物検出装置１は、第１候補領域１００ａ、および予備領域においても単位輝度を用いて付着物判定を行ってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ（撮像装置）
２０ 取得部
２１ 抽出部
２４ 判定部
２５ 更新部
２６ 検出部
３０ 起伏条件情報ＤＢ
３１ 付着情報ＤＢ

Claims (6)

1. 撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する抽出部と、
   前記候補領域の面積が所定面積以上であり、かつ前記候補領域における画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する検出部と
   を備えることを特徴とする付着物検出装置。
2. 前記検出部は、
   前記候補領域の面積が前記所定面積以上であり、かつ前記候補領域における水平方向、および垂直方向の画素列における画素間の前記輝度変化量がそれぞれ前記所定変化量以下である領域を前記付着物領域として検出する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記抽出部は、
   前記撮像画像において所定のスキップ幅によってスキップさせた画素の特徴量に基づいて前記候補領域を抽出する
   ことを特徴とする請求項１または２に記載の付着物検出装置。
4. 過去の撮像画像において検出された前記付着物領域の矩形情報を記憶する記憶部
   を備え、
   前記検出部は、
   前記記憶部に記憶された前記矩形情報に対応する領域のうち、前記輝度変化量が前記所定変化量以下である領域を前記付着物領域として検出する
   ことを特徴とする請求項１〜３のいずれか一つに記載の付着物検出装置。
5. 前記記憶部に記憶された前記矩形情報に対応する領域における付着物不検知の継続性を示す値が所定値になる前記矩形情報を前記記憶部から消去する更新部
   を備えることを特徴とする請求項４に記載の付着物検出装置。
6. 撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する抽出工程と、
   前記候補領域の面積が所定面積以上であり、かつ前記候補領域における画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する検出工程と
   を含むことを特徴とする付着物検出方法。

Images