JP2020109579A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物の検出精度を向上させること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、算出部と、推定部とを備える。抽出部は、撮像画像に含まれる所定数の画素からなるセル毎に、かかるセルに含まれる各画素のエッジベクトルに基づくエッジ特徴量を抽出する。算出部は、抽出部によって抽出されたエッジ特徴量に基づいて、所定数のセルからなる所定の領域である単位領域毎の領域特徴量を算出する。推定部は、算出部によって算出された領域特徴量を、領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた領域特徴量の位置に基づいて単位領域における付着物の付着状態を推定する。【選択図】図２

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、たとえば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（たとえば、特許文献１参照）。

特開２０１２−０３８０４８号公報

しかしながら、上述した従来技術には、付着物の検出精度を向上させるうえで、さらなる改善の余地がある。

実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、抽出部と、算出部と、推定部とを備える。前記抽出部は、撮像画像に含まれる所定数の画素からなるセル毎に、該セルに含まれる各画素のエッジベクトルに基づくエッジ特徴量を抽出する。前記算出部は、前記抽出部によって抽出された前記エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する。前記推定部は、前記算出部によって算出された前記領域特徴量を、該領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた前記領域特徴量の位置に基づいて前記単位領域における付着物の付着状態を推定する。

実施形態の一態様によれば、付着物の検出精度を向上させることができる。

図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。 図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。 図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。 図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その４）である。 図２は、実施形態に係る付着物検出装置のブロック図である。 図３は、抽出部の処理内容を示す図（その１）である。 図４は、抽出部の処理内容を示す図（その２）である。 図５は、算出部の処理内容を示す図（その１）である。 図６は、算出部の処理内容を示す図（その２）である。 図７Ａは、マッチング部の処理内容を示す図（その１）である。 図７Ｂは、マッチング部の処理内容を示す図（その２）である。 図７Ｃは、マッチング部の処理内容を示す図（その３）である。 図７Ｄは、マッチング部の処理内容を示す図（その４）である。 図７Ｅは、マッチング部の処理内容を示す図（その５）である。 図８Ａは、判定部の処理内容を示す図（その１）である。 図８Ｂは、判定部の処理内容を示す図（その２）である。 図９は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図１０は、変形例に係る抽出部の処理内容を示す図（その１）である。 図１１は、変形例に係る抽出部の処理内容を示す図（その２）である。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａ〜図１Ｄを用いて、実施形態に係る付着物検出方法の概要について説明する。図１Ａ〜図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その１）〜（その４）である。

図１Ａに示すように、たとえば、車載カメラのレンズ表面の大半に雪が付着した状態で撮像された撮像画像Ｉがあるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置１（図２参照）が、かかる撮像画像Ｉの各画素ＰＸの輝度勾配に関する特徴量（以下、「エッジ特徴量」と言う場合がある）に基づいて、撮像画像Ｉにおいて所定数の画素ＰＸで分割された単位領域ＵＡ毎に、雪の付着状態を検出する場合について説明する。

なお、付着物は、雪に限定されるものではなく、たとえば、色の薄い泥などであってもよい。換言すれば、付着物は、撮像画像Ｉにおいて、被写体を映らない程度に遮蔽するが、ある程度の光は透過して、光の透過の多少によりわずかな輝度変化を生じさせるものであればよい。

ところで、比較例に係る付着物検出装置として、時系列の撮像画像の差分に基づいて付着物を検出するものがある。しかしながら、かかる技術によれば、たとえばレンズ全体が雪に埋もれた場合等には、時系列上の差分が生じにくくなるため、付着物を検出できないおそれがある。

また、同技術によれば、雪に埋もれた撮像画像等では、たとえば、トンネル内を走行中に、トンネル内のライトの光に起因して撮像画像Ｉにおける部分的な輝度が一時的に高くなる場合があり、かかる場合には、高輝度の領域において各画素のエッジの強度が大きくなるため、付着物が付着していないと誤検出するおそれもあった。

そこで、実施形態に係る付着物検出方法では、撮像画像Ｉから抽出される各画素ＰＸッジ特徴量に基づいて付着物を検出することとした。エッジ特徴量は、角度特徴量および強度特徴量を含む。角度特徴量は、各画素のエッジベクトル（輝度勾配）の向き（以下、「エッジ向き」と言う場合がある）である。強度特徴量は、各画素のエッジベクトルの大きさ（以下、「エッジ強度」と言う場合がある）である。

なお、実施形態に係る付着物検出方法では、かかるエッジ特徴量を、所定数の画素ＰＸからなるセル１００単位で取り扱う。これにより、画像処理における処理負荷の軽減に資することができる。

また、上述の単位領域ＵＡは、かかるセル１００の集まりである。そして、実施形態に係る付着物検出方法では、かかるセル１００毎に抽出したエッジ特徴量に基づいて、単位領域ＵＡ毎の特徴量である領域特徴量を算出することとした。領域特徴量は、換言すれば、単位領域ＵＡ毎におけるエッジ特徴量の統計的特徴量である。そのうえで、実施形態に係る付着物検出方法では、算出した領域特徴量の、領域特徴量空間における位置に基づいて、単位領域ＵＡ毎における雪の付着状態を推定することとした。

具体的には、図１Ａに示すように、実施形態に係る付着物検出方法では、撮像画像Ｉにおいて、所定数のセル１００が上下方向および左右方向に配列された所定の領域である単位領域ＵＡ毎に、まずセル１００単位でエッジ特徴量を抽出する（ステップＳ１）。エッジ特徴量は、上述したようにエッジ向きおよびエッジ強度である。

セル１００のエッジ向きは、図１Ａに示すように、所定の角度範囲で分類される各画素ＰＸのベクトル向きの代表値であり、同図の例では、９０°の角度範囲毎に区切られた上下左右のいずれかで決定される。また、セル１００のエッジ強度は、各画素ＰＸのベクトル強度の代表値である。なお、かかるセル１００単位のエッジ特徴量の抽出処理については、図３および図４を用いて後述する。

つづいて、実施形態に係る付着物検出方法では、ステップＳ１で抽出したセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する（ステップＳ２）。具体的には、ステップＳ２では、まず単位領域ＵＡ毎における、セル１００のエッジ強度の平均および分散を算出する（ステップＳ２−１）。

また、ステップＳ２では、単位領域ＵＡ毎における、ペア領域の個数およびペア領域のエッジ強度の総和を算出する（ステップＳ２−２）。ここで、ペア領域は、隣接し、エッジ向きが互いに逆向きであるセル１００の組み合わせである。

図１Ａの例では、２つのセル１００が上下方向に隣接するペア領域２００ａと、左右方向に隣接するペア領域２００ｂとを示している。なお、ペア領域２００ａおよびペア領域２００ｂを特に区別しない場合、以下では、ペア領域２００と総称する。

そして、実施形態に係る付着物検出方法では、算出した単位領域ＵＡ毎の領域特徴量を、領域特徴量の各要素を各次元とする領域特徴量空間にマッピングし、領域特徴量空間における領域特徴量の位置に基づいて付着物である雪の付着状態を推定する（ステップＳ３）。

たとえば、実施形態に係る付着物検出方法では、図１Ｂに示すように、エッジ強度の平均、および、エッジ強度の分散を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」、「非付着」、または、「判定難」のいずれかとして推定する。

また、たとえば、実施形態に係る付着物検出方法では、図１Ｃに示すように、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」または「非付着」のいずれかとして推定する。

ここで、図１Ｄに示すように、「付着」は、単位領域ＵＡ（７，８）に見られる「雪に埋もれている」状態である。また、「非付着」は、単位領域ＵＡ（４，１１）に見られる「背景が見えている」状態である。また、「判定難」は、単位領域ＵＡ（３，７）に見られる「白飛び等で見えない」状態である。

なお、図１Ｂおよび図１Ｃに示した各領域特徴量空間の例は、撮像画像Ｉの多量のサンプルデータに基づいて、予めかかるサンプルデータの各単位領域ＵＡの領域特徴量を算出し、実際の付着状態に応じて標本点を色分けしつつ、各空間にマッピングしたものである。したがって、各付着状態を区切る各閾値（図中の点線参照）は、たとえば標本点の色の分かれ目等に応じて規定されている。なお、図１Ｂおよび図１Ｃでは、閾値を直線で区切って規定しているが、説明の便宜上のものであり、標本点の色の分かれ目に沿う形状の曲線によって規定されてもよい。

また、図１Ｃに示したペア領域２００の個数とは、セル１００が上下方向に隣接するペア領域２００ａの数と、左右方向に隣接するペア領域２００ｂの数の合計値である。また、ペア領域２００のエッジ強度の総和とは、ペア領域２００に含まれるセル１００すべてのエッジ強度を合計した値である。かかるペア領域２００の個数や、エッジ強度の総和の算出方法については、図５および図６を用いて後述する。

たとえば、「非付着」の状態では、道路上の白線やガードレール、建物の輪郭等により、ペア領域２００が比較的多く抽出され、また、セル１００のエッジ強度も大きくなる。このため、ペア領域２００のエッジ強度の総和も比較的大きくなる。一方で、「付着」の状態では、単位領域ＵＡの輝度が一様で、かつ、セル１００のエッジ強度も小さくなるため、抽出されるペア領域２００の個数は比較的少なくなり、また、ペア領域２００のエッジ強度の総和も比較的小さくなる。

そこで、かかる点に着目して、図１Ｃに示したように、撮像画像Ｉのサンプルデータに基づいて、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする領域特徴量空間を生成し、かかる空間にステップＳ２で算出する領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」または「非付着」のいずれかとして推定することができる。

また、図１Ｂに示したエッジ強度の平均、および、エッジ強度の分散は、統計的見地に基づくものである。換言すれば、多量のサンプルデータに基づき、単位領域ＵＡ毎の実際の付着状態に対応するエッジ強度の平均および分散を学習し、かかる学習の結果に基づいて状態を判別するものと言える。

そこで、かかる点に着目して、図１Ｂに示したように、撮像画像Ｉのサンプルデータに基づいて、エッジ強度の平均、および、エッジ強度の分散を各次元とする領域特徴量空間を生成し、かかる空間にステップＳ２で算出する領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」、「非付着」、または、「判定難」のいずれかとして推定することができる。

したがって、実施形態に係る付着物検出方法によれば、付着物の検出精度を向上させることができる。

なお、上述した付着物検出方法において推定した推定結果に対し、たとえば上述のエッジ特徴量に基づいて実行するマッチング処理のマッチング結果を加味した判定を行い、さらなる検出精度の向上を図ることとしてもよい。また、撮像画像Ｉの過去のフレーム分の判定結果を加味することとしてもよい。これらの点の詳細については、図７Ａ〜図８Ｂを用いた説明で後述する。

また、図１Ａでは、セル１００毎に１種類のエッジ向きの代表値を抽出する場合を示したが、たとえば、角度範囲が異なるエッジ向きの代表値をさらに抽出することで、セル１００毎に２種類、あるいは、２種類以上のエッジ向きを割り当ててもよい。なお、２種類のエッジ向きの代表値を抽出する場合については、図１０および図１１を用いた説明で後述する。

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１の構成例について、さらに具体的に説明する。

図２は、実施形態に係る付着物検出装置１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、実施形態に係る付着物検出装置１は、記憶部２と、制御部３とを備える。また、付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。

なお、図２では、付着物検出装置１が、カメラ１０および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体に構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ１０のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

記憶部２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、閾値情報２１と、テンプレート情報２２と、判定履歴情報２３とを記憶する。

閾値情報２１は、後述する推定部３４が実行する推定処理において用いられる閾値に関する情報である。ここに言う閾値は、図１Ｂおよび図１Ｃに破線で示した、各領域特徴量空間における閾値に対応する。

テンプレート情報２２は、後述するマッチング部３５が実行するマッチング処理において用いられるテンプレートに関する情報である。判定履歴情報２３は、所定の過去のｎフレーム分の撮像画像Ｉにおける付着物検出の判定履歴に関する情報である。

制御部３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部３は、取得部３１と、抽出部３２と、算出部３３と、推定部３４と、マッチング部３５と、判定部３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部３１は、カメラ１０で撮像された撮像画像Ｉを取得する。取得部３１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、抽出部３２へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

抽出部３２は、取得部３１から取得した撮像画像Ｉのセル１００毎に、エッジ特徴量を抽出する。ここで、図３および図４を用いて、抽出部３２による抽出処理について具体的に説明する。

図３および図４は、抽出部３２の処理内容を示す図（その１）および（その２）である。図３に示すように、抽出部３２は、まず、各画素ＰＸにつきエッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、たとえば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

つづいて、抽出部３２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度とに基づき、三角関数を用いることでエッジベクトルＶを算出し、かかるエッジベクトルＶとＸ軸とがなす角度θであるエッジ向きと、エッジベクトルＶの長さＬであるエッジ強度を抽出する。

つづいて、抽出部３２は、算出した各画素ＰＸのエッジベクトルＶに基づき、セル１００におけるエッジ向きの代表値を抽出する。具体的には、図４の上段に示すように、抽出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き−１８０°〜１８０°を、９０°毎の上下左右４方向である角度分類（０）〜（３）に分類する。

より具体的には、抽出部３２は、画素ＰＸのエッジ向きが、−４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または−１８０°以上−１３５°未満の角度範囲である場合には角度分類（２）に分類し、−１３５°以上−４５°未満の角度範囲である場合には角度分類（３）に分類する。

そして、図４の下段に示すように、抽出部３２は、各セル１００について、角度分類（０）〜（３）を各階級とするヒストグラムを生成する。そして、抽出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類（図４の例では、角度分類（１））を、セル１００におけるエッジ向きの代表値として抽出する。

前述のヒストグラムの度数は、セル１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジ強度を足し合わせて算出する。具体的に、角度分類（０）の階級におけるヒストグラムの度数について考える。たとえば、角度分類（０）に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジ強度を１０，２０，３０とする。この場合、角度分類（０）の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

このようにして算出されたヒストグラムに基づき、抽出部３２はセル１００におけるエッジ強度の代表値を抽出する。具体的に、かかるエッジ強度の代表値は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をセル１００のエッジ強度とする。すなわち、抽出部３２におけるエッジ強度の代表値の抽出処理は、エッジ向きの代表値に対応した、セル１００内におけるエッジの強さに関する特徴を抽出する処理とも言える。

一方、抽出部３２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合は、かかるセル１００のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。これにより、各画素ＰＸのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として抽出してしまうことを防止できる。

なお、図３および図４で示した抽出部３２の処理内容は、あくまで一例であって、エッジ向きの代表値を抽出可能であれば、処理内容は任意であってよい。たとえば、セル１００における各画素ＰＸのエッジ向きの平均値を算出し、かかる平均値に対応する角度分類（０）〜（３）をエッジ向きの代表値としてもよい。

また、図４では、４×４の計１６個の画素ＰＸを１つのセル１００とする場合を示したが、セル１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

図２に戻り、つづいて算出部３３について説明する。算出部３３は、抽出部３２によって抽出されたセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する。

具体的には、算出部３３は、単位領域ＵＡ毎のエッジ強度の平均値および分散値を算出する。また、算出部３３は、単位領域ＵＡ毎のペア領域２００の個数およびエッジ強度の総和を算出する。

ここで、算出部３３によるペア領域２００の個数およびエッジ強度の総和の算出処理について、図５および図６を用いて説明する。図５および図６は、算出部３３の処理内容を示す図（その１）および（その２）である。

なお、図５では、２つのペア領域２００が、セル１００を共有していない場合を示し、図６では、２つのペア領域２００が、セル１００を共有している場合を示している。

図５に示すように、算出部３３は、単位領域ＵＡの左右方向および上下方向に配列された複数のセル１００について、左右方向および上下方向に走査し、ペア領域２００を探索する。すなわち、算出部３３は、単位領域ＵＡにおけるセル１００のうち、隣接し、エッジ向きが互いに逆向きであるセル１００同士をペア領域２００として抽出する。

そして、算出部３３は、抽出されたペア領域２００の個数、および、ペア領域２００におけるエッジ強度の総和を算出する。なお、図５に示すように、算出部３３は、抽出されたたとえば２つのペア領域２００がセル１００を共有していない場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる４つのセル１００のエッジ強度を合計した値として算出する。

また、図６に示すように、算出部３３は、抽出されたたとえば２つのペア領域２００がセル１００を共有している場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる３つのセル１００のエッジ強度を合計した値として算出する。

図２の説明に戻る。そして、算出部３３は、算出した単位領域ＵＡ毎の領域特徴量を推定部３４へ出力する。推定部３４は、算出部３３によって算出された単位領域ＵＡ毎の領域特徴量を上述した領域特徴量空間へマッピングし、マッピングされた領域特徴量の位置および閾値情報２１に基づいて単位領域ＵＡ毎の付着物の付着状態を推定する。付着状態については、図１Ｂ〜図１Ｄを用いて上述したため、ここでの説明は省略する。また、推定部３４は、推定した推定結果を判定部３６へ出力する。

マッチング部３５は、抽出部３２によって抽出されたセル１００のエッジ特徴量と、テンプレート情報２２に含まれる所定のテンプレートとをマッチングするマッチング処理を実行する。

ここで、マッチング部３５によるマッチング処理の処理内容について、図７Ａ〜図７Ｅを用いて説明する。図７Ａ〜図７Ｅは、マッチング部３５の処理内容を示す図（その１）〜（その５）である。なお、図７Ａ、図７Ｃ〜図７Ｅに示す不定形のハッチング部分は、撮像画像Ｉにおいて所定のエッジ特徴量を有するパターン部分であるものとする。

マッチング部３５は、抽出部３２によって抽出されたセル１００のエッジ特徴量のうちのエッジ向きを用いて、所定のテンプレートと一致する所定の探索パターンを探索する。図７Ａに示すように、探索方向は左右方向および上下方向である。

たとえば、マッチング部３５は、「注目する角度分類の両サイドに逆向きの角度分類が現れないこと」を条件として探索パターンを探索する。具体的には、注目する角度分類を角度分類（１）として左右方向に探索した場合に、図７Ｂに示すように、たとえば開始位置は「角度分類が逆向きでない」角度分類（２）のセル１００−１に隣接する角度分類（１）のセル１００−２が開始位置となる。

そして、角度分類（１）の配列がつづき、「角度分類が逆向きでない」角度分類（０）のセル１００−４が現れた場合、かかるセル１００−４に隣接する角度分類（１）のセル１００−３が終了位置となる。かかる場合、図７Ｂの例ではマッチ長は「８」となる。なお、マッチング部３５は、このように探索パターンとの一致があった場合、その位置とマッチ長とを保持しておく。

また、図７Ｂに示した探索パターンでの一致があった場合、開始位置と終了位置には、角度分類４種のうち、隣り合う分類間での輝度変化が見られることになる。

そして、マッチング部３５は、図７Ｃに示すように、左右方向と上下方向で探索パターンの一致が交わる際には、その交点に対応する単位領域ＵＡに対応する記憶情報として、角度分類別に水平マッチ長および上下マッチ長の積を累積加算する。

具体的に図７Ｂおよび図７Ｃの例に沿った場合、マッチング部３５は、図７Ｄに示すように、当該単位領域の角度分類（１）に紐づけて、５×８を累積加算する。また、図示していないが、マッチング部３５は、同じく当該単位領域の角度分類（１）に紐づけて、交点の数も累積加算する。

こうしたマッチング処理を繰り返し、マッチング部３５は、図７Ｅに示すように、当該単位領域ＵＡの角度分類（０）〜（３）に紐づく累積加算結果のうち、３種以上が所定の閾値以上であった場合、当該単位領域ＵＡの付着状態は「付着」と判定する。また、かかる判定条件を満たさなければ「非付着」と判定する。なお、図７Ａ〜図７Ｅに示したマッチング処理の処理内容はあくまで一例であって、処理内容を限定するものではない。

図２の説明に戻る。マッチング部３５は、マッチング結果を判定部３６へ出力する。判定部３６は、推定部３４による推定結果、および、マッチング部３５によるマッチング結果に基づいて総合的に単位領域ＵＡ毎の付着状態を判定し、判定結果を各種機器５０へ出力する。

ここで、判定部３６による判定処理の処理内容について、図８Ａおよび図８Ｂを用いて説明する。図８Ａおよび図８Ｂは、判定部３６の処理内容を示す図（その１）および（その２）である。

図８Ａに示すように、判定部３６は、推定部３４による推定結果に対し、マッチング部３５によるマッチング結果を加味するとともに、さらに処理中の撮像画像Ｉに対し、直近ｎフレーム分の過去の撮像画像Ｉ’における判定結果をさらに加味した判定処理を行う。

具体的には、図８Ｂに示すように、判定部３６は、推定部３４による推定結果が「非付着」である場合、マッチング部３５によるマッチング結果に関わらず、「非付着」と判定する。これにより、マッチング結果で「付着」と判定されている場合の誤検出を抑制することができる。

また、判定部３６は、推定部３４による推定結果が「付着」であり、マッチング部３５によるマッチング結果が「付着」である場合、「付着」と判定する。

また、判定部３６は、推定部３４による推定結果が「付着」であるが、マッチング部３５によるマッチング結果が「非付着」である場合、過去ｎフレームで「付着」の判定があり、その判定後、１度も「非付着」の判定がない場合は、「付着」と判定する。

また、判定部３６は、推定部３４による推定結果が「判定難」である場合、マッチング部３５によるマッチング結果に関わらず、過去ｎフレームで「付着」の判定があり、その判定後、１度も「非付着」の判定がない場合は、「付着」と判定する。

このように過去の撮像画像Ｉ’における判定結果を加味することで、処理中の撮像画像Ｉで判定が難しい場合であっても、一旦「付着」と判定された領域に対し、それを否定する「非付着」の判定がなければ、たとえば周囲の他の単位領域ＵＡと同等に「付着」であるとの判定が可能となる。これにより、未検出を抑制し、検出精度を向上させることができる。

次に、図９を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図９は、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。なお、図９では、１フレーム分のカメラ画像についての処理手順を示している。

図９に示すように、まず、取得部３１が、撮像画像Ｉを取得する（ステップＳ１０１）。あわせて取得部３１は、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す。

つづいて、抽出部３２が、撮像画像Ｉのセル１００毎のエッジ特徴量を抽出する（ステップＳ１０２）。そして、算出部３３が、抽出部３２によって抽出されたエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する（ステップＳ１０３）。

そして、推定部３４が、算出部３３によって算出された領域特徴量を領域特徴量空間にマッピングし、領域特徴量の位置を判定する（ステップＳ１０４）。ここで、かかる位置が「非付着」を示す場合（ステップＳ１０４，「非付着」）、判定部３６がこれに基づいて「非付着」と判定し（ステップＳ１０５）、処理を終了する。

また、領域特徴量の位置が「付着」を示す場合（ステップＳ１０４，「付着」）、判定部３６が、マッチング部３５によるマッチング結果において「付着」であるか否かを判定する（ステップＳ１０６）。

ここで、マッチング結果において「付着」である場合（ステップＳ１０６，「付着」）、判定部３６は「付着」と判定し（ステップＳ１０７）、処理を終了する。一方、マッチング結果において「非付着」である場合（ステップＳ１０６，「非付着」）、ステップＳ１０８へ制御を移す。また、領域特徴量の位置が「判定難」を示す場合も（ステップＳ１０４，「判定難」）、ステップＳ１０８へ制御を移す。

ステップＳ１０８では、判定部３６が、過去フレームを含めた条件に該当するか否かを判定する（図８Ｂ参照）。ここで、該当する場合（ステップＳ１０８，Ｙｅｓ）、判定部３６は「付着」と判定し（ステップＳ１０９）、処理を終了する。一方、該当しない場合（ステップＳ１０８，Ｎｏ）、判定部３６は「非付着」と判定し（ステップＳ１１０）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、抽出部３２と、算出部３３と、推定部３４とを備える。抽出部３２は、撮像画像Ｉに含まれる所定数の画素ＰＸからなるセル１００毎に、かかるセル１００に含まれる各画素ＰＸのエッジベクトルＶに基づくエッジ特徴量を抽出する。算出部３３は、抽出部３２によって抽出されたエッジ特徴量に基づいて、所定数のセル１００からなる所定の領域である単位領域ＵＡ毎の領域特徴量を算出する。推定部３４は、算出部３３によって算出された領域特徴量を、領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた領域特徴量の位置に基づいて単位領域ＵＡにおける付着物の付着状態を推定する。

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。

また、抽出部３２は、上記エッジ特徴量に含まれる角度特徴量を所定の角度範囲毎で分類したエッジ向きをセル１００毎に抽出する。算出部３３は、隣接し、かつ、上記エッジ向きが逆向きであるセル１００のペア領域２００（「組み合わせ」の一例に相当）の個数、および、ペア領域２００に含まれる各セル１００のエッジ強度の総和を領域特徴量として算出する。推定部３４は、上記個数および上記総和を各次元とする特徴量空間における領域特徴量の位置に基づいて、付着物の付着状態を推定する。

したがって、実施形態に係る付着物検出装置１によれば、たとえばカメラ１０のレンズへ付着する雪などの検出精度を向上させることができる。

また、算出部３３は、単位領域ＵＡに含まれる各セル１００のエッジ強度の平均、および、分散を領域特徴量として算出する。また、推定部３４は、上記平均および上記分散を各次元とする特徴量空間における領域特徴量の位置に基づいて、付着物の付着状態を推定する。

したがって、実施形態に係る付着物検出装置１によれば、統計的見地に基づき、たとえばカメラ１０のレンズへ付着する雪などの検出精度を向上させることができる。

また、推定部３４は、領域特徴量の位置に基づいて、付着物の付着状態を、付着、非付着、または、判定難に分類する。

したがって、実施形態に係る付着物検出装置１によれば、カメラ１０のレンズへ雪などが付着した場合の付着状態を適切に分類することができる。

また、実施形態に係る付着物検出装置１は、判定部３６をさらに備える。判定部３６は、推定部３４による推定結果、および、マッチング部３５によるマッチング結果（「推定部とは異なるアルゴリズムによる判定結果」の一例に相当）に基づいて、付着物の付着状態を判定する。また、判定部３６は、上記推定結果において非付着である場合に、上記マッチング結果に関わらず、非付着と判定する。

したがって、実施形態に係る付着物検出装置１によれば、推定部３４による推定結果、および、マッチング部３５によるマッチング結果を組み合わせた総合的な判定により、付着物の誤検出を抑制することができる。

また、判定部３６は、上記推定結果において付着であり、かつ、上記マッチング結果において非付着である場合に、過去の所定期間中に付着の判定があるとともに、かかる判定の後に非付着の判定がない場合は、付着と判定する。

したがって、実施形態に係る付着物検出装置１によれば、処理中の撮像画像Ｉに基づく上記マッチング結果のみによっては未検出となるケースを抑制することができる。

また、判定部３６は、上記推定結果において判定難である場合に、過去の所定期間中に付着の判定があるとともに、かかる判定の後に非付着の判定がない場合は、付着と判定する。

したがって、実施形態に係る付着物検出装置１によれば、上記推定結果のみによっては判定が難しく、未検出となるケースを抑制することができる。

（変形例に係る抽出部３２）
なお、上述した実施形態では、１つのセル１００について、１種類のエッジ向きの代表値を抽出する場合を示したが、１つのセル１００について、２種類以上のエッジ向きの代表値を割り当ててもよい。かかる点について、図１０および図１１を用いて説明する。

図１０および図１１は、変形例に係る抽出部３２の処理内容を示す図（その１）および（その２）である。なお、図１０および図１１では、角度範囲が異なる２種類のエッジ向きの代表値を抽出する場合の処理内容について説明する。

図１０に示すように、抽出部３２は、第１角度範囲によって分類されるエッジ向きの第１代表値、および、第１角度範囲とは異なる第２角度範囲によって分類されるエッジ向きの第２代表値をセル１００毎に決定する。

具体的には、抽出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き−１８０°〜１８０°を、９０°毎の第１角度範囲で分割した上下左右４方向である角度分類（０）〜（３）に分類するとともに、第１角度範囲とは異なる第２角度範囲で分割した斜め４方向である角度分類（４）〜（７）に分類する。

より具体的には、抽出部３２は、画素ＰＸのエッジ向きが、−４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または−１８０°以上−１３５°未満の角度範囲である場合には角度分類（２）に分類し、−１３５°以上−４５°未満の角度範囲である場合には角度分類（３）に分類する。

さらに、抽出部３２は、画素ＰＸのエッジ向きが、０°以上９０°未満の角度範囲である場合には角度分類（４）に分類し、９０°以上１８０°未満の角度範囲である場合には角度分類（５）に分類し、１８０°以上−９０°未満の角度範囲である場合には角度分類（６）に分類し、−９０°以上０°未満の角度範囲である場合には角度分類（７）に分類する。

そして、図１０の下段に示すように、抽出部３２は、各セル１００について、角度分類（０）〜（３）を各階級とするヒストグラムと、角度分類（４）〜（７）を各階級とするヒストグラムとを生成する。そして、抽出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応するたとえば角度分類（０）をエッジ向きの第１代表値とし、たとえば角度分類（４）をエッジ向きの第２代表値として抽出する。

そして、図１１に示すように、抽出部３２は、隣接するセル１００において、エッジ向きの第１代表値、および、第２代表値の少なくとも一方が互いに逆向きである場合、かかる隣接するセル１００をペア領域２００として抽出する。

つまり、抽出部３２は、各セル１００において、エッジ向きの第１代表値および第２代表値を抽出することで、１種類のエッジ向きのみでは抽出できなかったペア領域２００を抽出することが可能となる。

すなわち、たとえば、エッジ向きが１４０°の画素ＰＸと、エッジ向きが−４０°の画素ＰＸとについて、第１角度範囲では逆向きとはならないが、第２角度範囲では逆向きとなることで、セル１００におけるエッジ向きの変化をより高精度に検出することが可能となる。

なお、上述した実施形態および変形例では、−１８０°〜１８０°を９０°毎の角度範囲で分割した４方向に角度分類する場合を示したが、角度範囲は９０°に限定されず、たとえば６０°毎の角度範囲で分割した６方向に角度分類してもよい。

また、第１角度範囲および第２角度範囲でそれぞれの角度範囲の幅が異なってもよい。たとえば、第１角度範囲では９０°毎で角度分類し、第２角度範囲では、６０°毎で角度分類してもよい。また、第１角度範囲および第２角度範囲では、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。

また、上述した実施形態では、車載カメラで撮像された撮像画像Ｉを例に挙げたが、撮像画像Ｉは、たとえば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 記憶部
３ 制御部
１０ カメラ
２１ 閾値情報
２２ テンプレート情報
２３ 判定履歴情報
３１ 取得部
３２ 抽出部
３３ 算出部
３４ 推定部
３５ マッチング部
３６ 判定部
５０ 各種機器
１００ セル
２００ ペア領域
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域

Claims (8)

1. 撮像画像に含まれる所定数の画素からなるセル毎に、該セルに含まれる各画素のエッジベクトルに基づくエッジ特徴量を抽出する抽出部と、
   前記抽出部によって抽出された前記エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する算出部と、
   前記算出部によって算出された前記領域特徴量を、該領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた前記領域特徴量の位置に基づいて前記単位領域における付着物の付着状態を推定する推定部と
   を備えることを特徴とする付着物検出装置。
2. 前記抽出部は、
   前記エッジ特徴量に含まれる角度特徴量を所定の角度範囲毎で分類したエッジ向きを前記セル毎に抽出し、
   前記算出部は、
   隣接し、かつ、前記エッジ向きが逆向きである前記セルの組み合わせの個数、および、該組み合わせに含まれる各セルのエッジ強度の総和を前記領域特徴量として算出し、
   前記推定部は、
   前記個数および前記総和を各次元とする前記特徴量空間における前記領域特徴量の位置に基づいて、前記付着物の付着状態を推定する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記算出部は、
   前記単位領域に含まれる各セルのエッジ強度の平均、および、分散を前記領域特徴量として算出し、
   前記推定部は、
   前記平均および前記分散を各次元とする前記特徴量空間における前記領域特徴量の位置に基づいて、前記付着物の付着状態を推定する
   ことを特徴とする請求項２に記載の付着物検出装置。
4. 前記推定部は、
   前記領域特徴量の位置に基づいて、前記付着物の付着状態を、付着、非付着、または、判定難に分類する
   ことを特徴とする請求項１、２または３に記載の付着物検出装置。
5. 前記推定部による推定結果、および、前記推定部とは異なるアルゴリズムによる判定結果に基づいて、前記付着物の付着状態を判定する判定部
   をさらに備え、
   前記判定部は、
   前記推定結果において非付着である場合に、前記判定結果に関わらず、非付着と判定する
   ことを特徴とする請求項１〜４のいずれか一つに記載の付着物検出装置。
6. 前記判定部は、
   前記推定結果において付着であり、かつ、前記判定結果において非付着である場合に、過去の所定期間中に付着の判定があるとともに、該判定の後に非付着の判定がない場合は、付着と判定する
   ことを特徴とする請求項５に記載の付着物検出装置。
7. 前記判定部は、
   前記推定結果において判定難である場合に、過去の所定期間中に付着の判定があるとともに、該判定の後に非付着の判定がない場合は、付着と判定する
   ことを特徴とする請求項５または６に記載の付着物検出装置。
8. 撮像画像に含まれる所定数の画素からなるセル毎に、該セルに含まれる各画素のエッジベクトルに基づくエッジ特徴量を抽出する抽出工程と、
   前記抽出工程において抽出された前記エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する算出工程と、
   前記算出工程において算出された前記領域特徴量を、該領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた前記領域特徴量の位置に基づいて前記単位領域における付着物の付着状態を推定する推定工程と
   を含むことを特徴とする付着物検出方法。