JP2020109594A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物を早期に、かつ、高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、決定部と、抽出部と、判定部とを備える。決定部は、撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域毎に決定する。抽出部は、画素領域のうち、隣接する画素領域のエッジ代表向きが互いに逆向きである場合に、隣接する画素領域をペア領域として抽出する。判定部は、抽出部によって抽出されたペア領域の数、および、ペア領域に含まれる画素領域のエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する。【選択図】図２

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、例えば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（例えば、特許文献１参照）。

特開２０１２−０３８０４８号公報

しかしながら、従来技術では、付着物を早期に、かつ、高精度に検出する点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、付着物を早期に、かつ、高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、決定部と、抽出部と、判定部とを備える。前記決定部は、撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを前記画素領域毎に決定する。前記抽出部は、前記画素領域のうち、隣接する前記画素領域の前記エッジ代表向きが互いに逆向きである場合に、前記隣接する画素領域をペア領域として抽出する。前記判定部は、前記抽出部によって抽出された前記ペア領域の数、および、前記ペア領域に含まれる前記画素領域のエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する。

本発明によれば、付着物を早期に、かつ、高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３は、決定部の処理内容を示す図である。 図４は、決定部の処理内容を示す図である。 図５は、判定部の処理内容を示す図である。 図６は、判定部の処理内容を示す図である。 図７は、判定部の処理内容を示す図である。 図８は、実施形態に係る付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。 図９は、変形例に係る決定部の処理内容を示す図である。 図１０は、変形例に係る抽出部の処理内容を示す図である。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラのレンズ全面に雪が付着した状態で撮像された撮像画像Ｉを示している。実施形態に係る付着物検出方法は、付着物検出装置１（図２参照）によって実行され、車載カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物を検出する。

なお、付着物は、雪に限定されるものではなく、例えば、色が薄い泥等でもよい。換言すれば、付着物は、撮像画像Ｉにおいて、被写体が映らない程度に遮蔽するが、ある程度の光は透過して、光の透過の多少によりわずかな輝度変化を生じさせるものであればよい。

ここで、従来の付着物検出装置では、時系列の撮像画像の差分に基づいて付着物を検出する技術があった。しかしながら、従来の技術では、例えば、レンズ全体が雪に埋もれた場合等、画像間の差分が生じにくくなるため、付着物を検出できないおそれがあった。また、従来は、雪に埋もれた撮像画像等では、例えば、トンネル内を走行して、トンネル内のライトの光に起因して一時的に撮像画像Ｉにおける輝度が部分的に高くなる場合があり、かかる場合には、光に起因する高輝度の領域においてエッジの強度が強くなるため、付着物が付着していないと誤検出するおそれもあった。さらに、従来は、時系列の撮像画像が必要となるため、付着物の検出に時間を要してしまう。

そこで、実施形態に係る付着物検出方法では、１枚の撮像画像Ｉから検出されるエッジの角度を利用して付着物を検出する。具体的には、図１に示すように、実施形態に係る付着物検出装置１は、まず、撮像画像Ｉの画素領域１００に含まれる各画素ＰＸのエッジの角度（図１の画素ＰＸ内にあるベクトルの向き）に基づき、所定の角度範囲を単位とするエッジ代表向きと、エッジ強度を画素領域１００毎に決定する（Ｓ１）。

例えば、画素領域１００は、画素ＰＸが４×４（計１６個の画素ＰＸ）で配列された領域である。なお、図１では、便宜上、１つの画素領域１００のみを示しているが、実際には、撮像画像Ｉ全体（あるいは、付着物の検出対象となる一部の領域）において、複数の画素領域１００が、左右方向および上下方向の２次元配列で設定される。また、画素領域１００の設定範囲は、撮像画像Ｉ全体を対象としてもよく、撮像画像Ｉの車体領域を除いた中心領域を対象としてもよい。

また、エッジ代表向きは、４×４の画素ＰＸそれぞれのエッジの角度を代表して表したエッジの向きであり、図１では、９０°の角度範囲毎に区切られた４つの代表向きのいずれかが決定される。エッジ強度は、４×４の画素ＰＸそれぞれのエッジの強さを代表して表したエッジの強さである。なお、エッジ代表向きおよびエッジ強度の決定処理については、図３および図４で後述する。

つづいて、実施形態に係る付着物検出方法では、画素領域１００のうち、隣接する画素領域１００のエッジ代表向きが互いに逆向きである場合、かかる隣接する画素領域１００をペア領域２００として抽出する（Ｓ２）。

図１に示す例では、２つの画素領域１００が上下方向に隣接するペア領域２００ａと、左右方向に隣接するペア領域２００ｂとを示しているが、ペア領域２００ａ，２００ｂの抽出処理については後述する。なお、ペア領域２００ａおよびペア領域２００ｂを特に区別しない場合、符号の末尾を除いてペア領域２００と記載する。

つづいて、実施形態に係る付着物検出方法では、抽出したペア領域２００の数、および、ペア領域２００に含まれる画素領域１００のエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する（Ｓ３）。

ここでいうペア領域２００の数とは、画素領域１００が上下方向に隣接するペア領域２００ａの数と、左右方向に隣接するペア領域２００ｂの数の合計値である。また、ペア領域２００における画素領域１００のエッジ強度の総和とは、ペア領域２００に含まれる画素領域１００すべてのエッジ強度を合計した値である。なお、ペア領域２００の数や、エッジ強度の総和の算出方法については、図５および図６で後述する。

例えば、付着物が存在しない場合には、道路上の白線や建物の輪郭等により、ペア領域２００が比較的多く抽出され、また、画素領域１００のエッジ強度も高いため、ペア領域２００におけるエッジの強度の総和も比較的高くなる。一方、付着物がレンズ全体を覆う場合には、撮像画像Ｉの輝度が全体的に一様で、かつ、画素領域１００のエッジ強度も低くなるため、抽出されるペア領域２００の数が比較的少なく、また、ペア領域２００におけるエッジ強度の総和も比較的低くなる。

そこで、かかる点に着目して、図１に示すように、実施形態に係る付着物検出方法では、ペア領域２００の数が所定の閾値ＴＨ１０以上で、かつ、エッジ強度の総和が所定の閾値ＴＨ２０以上である場合、レンズに付着物が付着していない状態（未付着状態）であると判定する。一方、実施形態に係る付着物検出方法では、ペア領域２００の数が所定の閾値ＴＨ１０未満で、かつ、エッジ強度の総和が所定の閾値ＴＨ２０未満である場合、レンズに付着物が付着している状態であると判定する。

なお、実施形態に係る付着物検出方法では、付着物がレンズに対して部分的に付着した状態か、レンズ全体に付着した状態かをさらに判別可能であるが、かかる点の詳細については、図５で後述する。

このように、実施形態に係る付着物検出方法では、ペア領域２００の数、または、エッジ強度の総和により、付着物を検出することで、画像間に差分が生じない場合であっても付着物を高精度に検出できる。また、例えば、トンネル内のライト等により撮像画像Ｉの一部の領域が一時的に高輝度に変化したとしても、抽出されるペア領域２００の数や、エッジ強度の総和における変化は全体的に見れば微小であるため、付着物が付着しているにも関わらず付着していないと誤検出することを低減できる。また、実施形態に係る付着物検出方法では、１枚の撮像画像Ｉを用いて付着物を検出することができる。従って、実施形態に係る付着物検出方法によれば、付着物を早期に、かつ、高精度に検出することができる。

なお、図１では、画素領域１００毎に１種類のエッジ代表向きを決定する場合を示したが、例えば、角度範囲が異なるエッジ代表向きをさらに決定することで、画素領域１００毎に２種類、あるいは、２種類以上のエッジ代表向きを決定してもよい。なお、２種類のエッジ代表向きを決定する場合については、図９で後述する。

また、図１では、ペア領域２００の数、または、エッジ強度の総和の閾値ＴＨ１０、ＴＨ２０により付着状態を判定する場合を示したが、例えば、ペア領域２００の数、および、エッジ強度の総和によって表現される２次元マップ上に、「付着物有り」と、「付着物無し」とを判定するための領域を設定したマップ情報を予め作成しておき、かかるマップ情報に基づいて付着状態の判定を行ってもよい。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、決定部２２と、抽出部２３と、判定部２４とを備える。記憶部３は、閾値情報３１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、決定部２２、抽出部２３および判定部２４として機能する。

また、制御部２の画像取得部２１、決定部２２、抽出部２３および判定部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、閾値情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、撮像画像Ｉの画素領域１００毎にエッジ代表向きを決定するとともに、隣接する画素領域１００のエッジ代表向きが互いに逆向きとなるペア領域２００の数、および、ペア領域２００に含まれる画素領域１００のエッジ強度の総和に基づいて付着物の付着状態を判定する。

画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得する。画像取得部２１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、決定部２２へ出力する。なお、平滑化処理には、例えば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

決定部２２は、画像取得部２１から取得した撮像画像Ｉの画素領域１００毎にエッジ代表向きを決定する。ここで、図３および図４を用いて、決定部２２による代表向きの決定処理について具体的に説明する。

図３および図４は、決定部２２の処理内容を示す図である。図３に示すように、決定部２２は、まず、エッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

つづいて、決定部２２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度に基づき、三角関数を用いることで、画素ＰＸのエッジの角度およびエッジの強さの情報を含むベクトルＶを算出する。具体的には、ベクトルＶにおけるエッジの角度は、ベクトルＶと正方向側のＸ軸との成す角度θで表され、エッジの強さは、ベクトルＶの長さＬで表される。

つづいて、決定部２２は、算出した各画素ＰＸのベクトルＶに基づき、画素領域１００におけるエッジ代表向きを決定する。具体的には、図４に示すように、決定部２２は、画素領域１００のおける各画素ＰＸのベクトルＶに基づいて、各画素ＰＸを−１８０°〜１８０°を９０°毎に分割した「（０）」〜「（３）」の符号に分類する。

具体的には、ベクトルＶにおけるエッジの角度が、−４５°以上４５°未満の角度範囲である場合には符号「（０）」に分類し、４５°以上１３５°未満の角度範囲である場合には符号「（１）」に分類し、１３５°以上１８０°未満、または−１８０°以上−１３５°未満の角度範囲である場合には符号「（２）」に分類し、−１３５°以上−４５°未満の角度範囲である場合には符号「（３）」に分類する。

そして、図４の下段に示すように、決定部２２は、各画素領域１００について、符号「（０）」〜「（３）」を各階級とするヒストグラムを生成する。そして、決定部２２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する符号（図４では、符号「（１）」）を画素領域１００におけるエッジ代表向きとして決定する。すなわち、決定部２２によるエッジ代表向きの決定処理は、各画素領域１００を符号化する処理ともいえる。

前述のヒストグラムの度数は、画素領域１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジの強さを足し合わせて算出する。具体的に、符号「（０）」の階級におけるヒストグラムの度数について考える。例えば、符号「（０）」に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジの強さを１０，２０，３０とする。この場合、符号「（０）」の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

このようにして算出されたヒストグラムに基づき、決定部２２はエッジ強度を決定する。具体的にはエッジ強度は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をエッジ強度とする。すなわち、決定部２２におけるエッジ代表強度の決定処理は、エッジ代表向きに対応した、画素領域１００内におけるエッジの強さに関する特徴を抽出する処理とも言える。

一方、決定部２２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合、かかる画素領域１００の代表向きについては、「無効」、換言すれば、「代表向き無し」として扱う。これにより、各画素ＰＸのエッジの角度のばらつきが大きい場合に、特定のエッジ代表向きを誤って決定してしまうことを防止できる。

なお、図３および図４で示した決定部２２の決定処理は、一例であって、エッジ代表向きを決定可能な処理であれば、処理内容は任意であってよい。例えば、画素領域１００における各画素ＰＸのエッジの角度の平均値を算出し、かかる平均値に対応する角度範囲のエッジ代表向きを決定してもよい。

また、図４では、４×４の計１６個の画素ＰＸを１つの画素領域１００とする場合を示したが、画素領域１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

図２に戻って、抽出部２３について説明する。抽出部２３は、撮像画像Ｉにおける画素領域１００のうち、隣接する画素領域１００のエッジ代表向きが互いに逆向きである場合に、隣接する画素領域１００をペア領域２００として抽出する。

具体的には、抽出部２３は、撮像画像Ｉの左右方向および上下方向に２次元配列された複数の画素領域１００について、左右方向および上下方向に走査してペア領域２００を探索する。つまり、抽出部２３は、探索方向である左右方向または上下方向に隣接する２つの画素領域１００を抽出する。そして、抽出部２３は、抽出したペア領域２００の情報を判定部２４へ出力する。

判定部２４は、抽出部２３によって抽出されたペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する。例えば、判定部２４は、記憶部３に記憶された閾値情報３１に基づいて付着状態を判定する。

ここで、図５〜図７を用いて、判定部２４の判定処理について具体的に説明する。図５〜図７は、判定部２４の処理内容を示す図である。図５および図６では、ペア領域２００の数の算出方法およびエッジ強度の総和の算出方法について示し、図７では、算出したペア領域２００の数およびエッジ強度の総和を用いた判定処理を示す。

また、図５では、２つのペア領域２００が画素領域１００を共有していない場合を示し、図６では、２つのペア領域２００が１つの画素領域１００を共有している場合を示す。図５に示すように、判定部２４は、抽出された２つのペア領域２００が１つの画素領域１００を共有していない場合、ペア領域２００の数は、２つであり、また、エッジ強度の総和は、４つの画素領域１００のエッジ強度を合計した値となる。

一方、図６に示すように、判定部２４は、２つのペア領域２００が１つの画素領域１００を共有している場合、ペア領域２００の数は、２つであり、また、エッジ強度の総和は、３つの画素領域１００に含まれる画素ＰＸのエッジ強度を合計した値となる。つまり、判定部２４は、共有している画素領域１００については、２つのペア領域２００それぞれで独立して扱わず、１つの画素領域１００としてエッジ強度の総和を算出する。

なお、判定部２４は、共有している画素領域１００について、２つのペア領域２００それぞれで独立して扱ってもよい、すなわち、共有している１つの画素領域１００を２つの画素領域１００としてエッジ強度の総和を算出してもよい。つまり、２つのペア領域２００が１つの画素領域１００を共有している場合、エッジ強度の総和の対象は、４つの画素領域１００となる。

そして、図７に示すように、判定部２４は、算出したペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の閾値条件を満たすか否かで付着物の付着状態の判定を行う。図７では、閾値情報３１に含まれる所定の閾値ＴＨ１０，ＴＨ１１，ＴＨ１２，ＴＨ２０，ＴＨ２１を示している。なお、閾値情報３１は、例えば、実験等によって予め作成される。

具体的には、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０以上の場合、レンズに付着物が付着していない未付着状態（図７に示す「付着物無し」）であると判定する。一方、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０未満の場合、レンズに付着物が付着していると判定する。

つまり、判定部２４は、撮像画像Ｉの領域全体において、白線や建物等といった被写体の輪郭に起因するエッジの特徴が多くみられるか否かで付着物の判定を行う。これにより、例えば、トンネル内のライトの光に起因して撮像画像Ｉのエッジの強度が部分的に高くなったとしても、撮像画像Ｉ全体から得られるペア領域２００の数や、エッジ強度の総和における変化は全体的に見れば微小であるため、付着物が付着しているにも関わらず付着していないと誤判定することを抑制できる。

また、図７に示すように、判定部２４は、未付着閾値ＴＨ１０，ＴＨ２０とは別の閾値ＴＨ１１，ＴＨ１２，ＴＴＨ２１を設定することで、付着物がレンズに対して部分的に付着しているか、レンズ全面に付着しているかを判定することもできる。

具体的には、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０未満、かつ、所定の部分閾値ＴＨ１１，ＴＨ２１の場合、付着物がレンズに対して部分的に付着している部分付着状態であると判定する。

一方、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の部分閾値ＴＨ１１，ＴＨ２１未満、かつ、所定の全面閾値ＴＨ１２以上の場合、付着物がレンズ全体に付着している全面付着状態であると判定する。

例えば、レンズ全体に付着物が付着した撮像画像Ｉでは、被写体の輪郭が存在せず、輝度も全体的に一様になるため、ペア領域２００の数、および、ペア領域２００に含まれる画素ＰＸにおけるエッジ強度の総和も極めて小さくなる。一方、レンズに対して部分的に付着物が付着した撮像画像Ｉでは、被写体の輪郭がわずかに存在し、輝度も全体的に一様でなくなるため、レンズ全体に付着物が付着した撮像画像Ｉに比べて、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和も高くなる。

つまり、判定部２４は、レンズに対する付着物の付着状態に応じて現れる画像特性を利用して付着状態の判定を行う。このため、判定部２４は、付着物がレンズに対して部分的に付着しているか、レンズ全体に付着しているかを高精度に判定することができる。

また、判定部２４は、ペア領域２００の数が所定の全面閾値ＴＨ１２未満である場合、撮像画像Ｉが全体的に黒い黒画面状態であると判定する。つまり、判定部２４は、ペア領域２００の数が所定の全面閾値ＴＨ１２未満である場合、付着物の付着状態の判定を行わない。

これは、ユーザがレンズの付着物を拭くことで、撮像画像Ｉ全体が一時的に黒くなるためであり、黒画面状態では、付着物の有無を判別できないためである。このように、判定部２４は、ペア領域２００の数が所定の全面閾値ＴＨ１２未満である場合、付着物の判定処理を行わないことで、付着物の誤判定を防止できる。

なお、図７では、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和の双方を用いた付着物判定を示したが、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和のいずれか一方のみを用いて付着物判定を行ってもよい。

次に、図８を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図８は、実施形態に係る付着物検出装置１が実行する付着物の検出処理の処理手順を示すフローチャートである。

図８に示すように、まず、画像取得部２１は、撮像画像Ｉを取得するとともに、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す（Ｓ１０１）。

つづいて、決定部２２は、撮像画像Ｉの画素領域１００に含まれる各画素ＰＸのエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域１００毎に決定する（Ｓ１０２）。

つづいて、抽出部２３は、画素領域１００のうち、隣接する画素領域１００のエッジ代表向きが互いに逆向きである場合に、隣接する画素領域１００をペア領域２００として抽出する（Ｓ１０３）。

つづいて、判定部２４は、抽出部２３によって抽出されたペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和を算出する（Ｓ１０４）。なお、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和の一方のみをステップＳ１０５〜ステップＳ１１１の処理に用いてもよい。

つづいて、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０以上であるか否かを判定する（Ｓ１０５）。

判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０以上であった場合（Ｓ１０５：Ｙｅｓ）、レンズに付着物が付着していない未付着状態であると判定し（Ｓ１０６）、処理を終了する。

一方、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の未付着閾値ＴＨ１０，ＴＨ２０未満であった場合（Ｓ１０５：Ｎｏ）、所定の部分閾値ＴＨ１１，ＴＨ２１以上である否かを判定する（Ｓ１０７）。

判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の部分閾値ＴＨ１１，ＴＨ２１以上であった場合（Ｓ１０７：Ｙｅｓ）、付着物がレンズに対して部分的に付着している部分付着状態であると判定し（Ｓ１０８）、処理を終了する。

一方、判定部２４は、ペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和が所定の部分閾値ＴＨ１１，ＴＨ２１未満であった場合（Ｓ１０７：Ｎｏ）、ペア領域２００の数が所定の全面閾値ＴＨ１２以上であるか否かを判定する（Ｓ１０９）。

判定部２４は、ペア領域２００の数が所定の全面閾値ＴＨ１２以上であった場合（Ｓ１０９：Ｙｅｓ）、付着物がレンズ全体に付着している全面付着状態であると判定し（Ｓ１１０）、処理を終了する。

一方、判定部２４は、ペア領域２００の数が所定の全面閾値ＴＨ１２未満であった場合（Ｓ１０９：Ｎｏ）、撮像画像Ｉが黒画面状態であると判定し（Ｓ１１１）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、決定部２２と、抽出部２３と、判定部２４とを備える。決定部２２は、撮像画像Ｉの画素領域１００に含まれる各画素ＰＸのエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域１００毎に決定する。抽出部２３は、画素領域１００のうち、隣接する画素領域１００のエッジ代表向きが互いに逆向きである場合に、隣接する画素領域１００をペア領域２００として抽出する。判定部２４は、抽出部２３によって抽出されたペア領域２００の数、および、ペア領域２００に含まれる画素領域１００におけるエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する。これにより、付着物を早期に、かつ、高精度に検出することができる。

なお、上述した実施形態では、１つの画素領域１００について、１種類のエッジ代表向きを決定する場合を示したが、１つの画素領域１００について、２種類以上のエッジ代表向きを決定してもよい。かかる点について、図９および図１０を用いて説明する。

図９は、変形例に係る決定部２２の処理内容を示す図である。図１０は、変形例に係る抽出部２３の処理内容を示す図である。なお、図９および図１０では、角度範囲が異なる２種類のエッジ代表向きを決定する場合の処理内容について説明する。

図９に示すように、決定部２２は、第１角度範囲を単位とする第１エッジ代表向き、および、第１角度範囲とは異なる第２角度範囲を単位とする第２エッジ代表向きを画素領域１００毎に決定する。

具体的には、決定部２２は、各画素ＰＸのベクトルＶに基づいて、各画素ＰＸを−１８０°〜１８０°を９０°毎の第１角度範囲で分割した「（０）」〜「（３）」のいずれかの符号、および、第１角度範囲とは分割する角度の境界が異なる第２角度範囲で分割した「（４）」〜「（７）」のいずれかの符号それぞれに分類する。

より具体的には、ベクトルＶにおけるエッジの角度が、−４５°以上４５°未満の角度範囲である場合には符号「（０）」に分類し、４５°以上１３５°未満の角度範囲である場合には符号「（１）」に分類し、１３５°以上１８０°未満、または−１８０°以上−１３５°未満の角度範囲である場合には符号「（２）」に分類し、−１３５°以上−４５°未満の角度範囲である場合には符号「（３）」に分類する。

さらに、ベクトルＶにおけるエッジの角度が、０°以上９０°未満の角度範囲である場合には符号「（４）」に分類し、９０°以上１８０°未満の角度範囲である場合には符号「（５）」に分類し、１８０°以上−９０°未満の角度範囲である場合には符号「（６）」に分類し、−９０°以上０°未満の角度範囲である場合には符号「（７）」に分類する。

そして、図９の下段に示すように、決定部２２は、各画素領域１００について、符号「（０）」〜「（３）」を各階級とするヒストグラムと、符号「（４）」〜「（７）」を各階級とするヒストグラムとを生成する。そして、決定部２２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する符号「（０）」を第１エッジ代表向きとし、符号「（４）」を第２エッジ代表向きとして決定する。

そして、図１０に示すように、抽出部２３は、隣接する画素領域１００について、第１エッジ代表向き、および、第２エッジ代表向きの少なくとも一方がのエッジ代表向きが互いに逆向きである場合、かかる隣接する画素領域１００をペア領域２００として抽出する。

つまり、各画素領域１００について、第１エッジ代表向きおよび第２エッジ代表向きを決定することで、１つのエッジ代表向きのみでは抽出されていなかったペア領域２００を抽出することができる。

すなわち、例えば、エッジの角度が１４０°の画素ＰＸと、エッジの角度が−４０°の画素ＰＸとについて、第１エッジ代表向きでは、逆向きとはならないが、第２エッジ代表向きでは逆向きとして捉えられるため、画素領域１００におけるエッジの角度の変化をより高精度に検出することができる。

なお、上述した実施形態および変形例では、−１８０°〜１８０°を９０°毎の角度範囲で分割した４つのエッジ代表向きを示したが、角度範囲は、９０°に限定されず、例えば、６０°毎の角度範囲に分割した６つのエッジ代表向きであってもよい。

また、第１エッジ代表向きおよび第２エッジ代表向きそれぞれの角度範囲の幅が異なってもよい。例えば、第１エッジ代表向きについては、９０°毎の角度範囲で分割し、第２エッジ代表向きについては、６０°毎の角度範囲で分割してもよい。

また、第１エッジ代表向きおよび第２エッジ代表向きについて、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。また、第１エッジ代表向きおよび第２エッジ代表向きの角度範囲の角度の境界も任意に設定可能である。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

また、上述した実施形態では、判定部２４は、所定の未付着閾値ＴＨ１０，ＴＨ２０に基づいて、付着物の有無を判定したが、例えば、他のアルゴリズムでの付着物検出結果と、判定部２４による判定結果とを総合的に判断して付着物の検出を行ってもよい。具体的には、他のアルゴリズムでは、付着物が付着したことを判定し、実施形態に係る判定部２４では、付着した付着物が、例えば除去されて、付着物無しとなった否かを判定してもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
２１ 画像取得部
２２ 決定部
２３ 抽出部
２４ 判定部
３１ 閾値情報
５０ 各種機器
１００ 画素領域
２００ ペア領域
Ｉ 撮像画像
ＰＸ 画素

Claims (6)

1. 撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを前記画素領域毎に決定する決定部と、
   前記画素領域のうち、隣接する前記画素領域の前記エッジ代表向きが互いに逆向きである場合に、前記隣接する画素領域をペア領域として抽出する抽出部と、
   前記抽出部によって抽出された前記ペア領域の数、および、前記ペア領域に含まれる前記画素領域のエッジ強度の総和の少なくとも一方に基づき、レンズに付着した付着物の付着状態を判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記判定部は、
   前記ペア領域の数、および、前記エッジ強度の総和の少なくとも一方が所定の未付着閾値以上の場合、前記付着物が付着していない未付着状態であると判定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記判定部は、
   前記ペア領域の数、および、前記エッジ強度の総和の少なくとも一方が前記所定の未付着閾値未満、かつ、所定の部分閾値以上の場合、前記付着物がレンズに対して部分的に付着している部分付着状態であると判定すること
   を特徴とする請求項２に記載の付着物検出装置。
4. 前記判定部は、
   前記ペア領域の数、および、前記エッジ強度の総和の少なくとも一方が前記所定の部分閾値未満、かつ、所定の全面閾値以上の場合、前記付着物がレンズ全体に付着している全面付着状態であると判定すること
   を特徴とする請求項３に記載の付着物検出装置。
5. 前記決定部は、
   第１角度範囲を単位とする第１エッジ代表向き、および、前記第１角度範囲とは異なる第２角度範囲を単位とする第２エッジ代表向きを前記画素領域毎に決定し、
   前記抽出部は、
   前記第１エッジ代表向き、および、前記第２エッジ代表向きの少なくとも一方のエッジ代表向きが互いに逆向きである前記隣接する画素領域を前記ペア領域として抽出すること
   を特徴とする請求項１〜４のいずれか１つに記載の付着物検出装置。
6. 撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを前記画素領域毎に決定する決定工程と、
   前記画素領域のうち、隣接する前記画素領域の前記エッジ代表向きが互いに逆向きである場合に、前記隣接する画素領域をペア領域として抽出する抽出工程と、
   前記抽出工程によって抽出された前記ペア領域の数、および、前記ペア領域に含まれる前記画素領域のエッジ強度の総和の少なくとも一方に基づいて付着物の付着状態を判定する判定工程と
   を含むことを特徴とする付着物検出方法。