JP2020109542A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】路面反射を水滴として誤検出してしまうのを抑制し、検出精度を高めること。【解決手段】実施形態に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像に含まれる各画素のエッジ情報を抽出する。検出部は、抽出部によって抽出されたエッジ情報に基づいて所定のデータ形式に変換された各画素と、水滴を示す当該データ形式のテンプレートとのマッチング結果に基づき、撮像画像中において水滴が存在すると推定される候補エリアを検出する。また、検出部は、候補エリアの輪郭に沿った所定の領域につき、テンプレートと一致した回数をマッチング結果に基づいて算出し、候補エリアのうちから、上記回数に基づく所定の除外条件に該当する候補エリアを除外する。【選択図】図２

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、車両に搭載され、かかる車両周辺を撮像する車載カメラが知られている。車載カメラが撮像した映像は、たとえば運転者の視界補助のためにモニタ表示されたり、道路上の白線や車両への接近物などを検出するセンシングのために用いられたりする。

なお、車載カメラのレンズには、たとえば雨滴や雪片、埃、泥などの付着物が付着し、前述の視界補助やセンシングの妨げとなることがある。そこで、たとえば車載カメラの撮像画像からいわゆるエッジを抽出し、これに基づいてレンズへの付着物を検出して、レンズへ向けて洗浄水や圧縮空気を噴射することで付着物を除去する技術が提案されている。（たとえば、特許文献１参照）。

特開２００１−１４１８３８号公報

しかしながら、上述した従来技術には、天井照明などによる路面反射を水滴として誤検出してしまうのを抑制し、検出精度を高めるという点で、さらなる改善の余地がある。

実施形態の一態様は、上記に鑑みてなされたものであって、路面反射を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、抽出部と、検出部とを備える。前記抽出部は、撮像装置によって撮像された撮像画像に含まれる各画素のエッジ情報を抽出する。前記検出部は、前記抽出部によって抽出された前記エッジ情報に基づいて所定のデータ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング結果に基づき、前記撮像画像中において水滴が存在すると推定される候補エリアを検出する。また、前記検出部は、前記候補エリアの輪郭に沿った所定の領域につき、前記テンプレートと一致した回数を前記マッチング結果に基づいて算出し、前記候補エリアのうちから、前記回数に基づく所定の除外条件に該当する前記候補エリアを除外する。

実施形態の一態様によれば、路面反射を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる。

図１は、実施形態に係る付着物検出方法の概要説明図である。 図２は、実施形態に係る付着物検出装置のブロック図である。 図３は、ベクトルの算出方法を示す図である。 図４Ａは、代表値の算出方法の説明図（その１）である。 図４Ｂは、代表値の算出方法の説明図（その２）である。 図５Ａは、テンプレートの一例を示す図である。 図５Ｂは、マッチング処理の一例を示す図である。 図６は、検出処理の一例を示す図である。 図７Ａは、検出情報の説明図（その１）である。 図７Ｂは、検出情報の説明図（その２）である。 図７Ｃは、検出情報の説明図（その３）である。 図７Ｄは、検出情報の説明図（その４）である。 図８Ａは、検出部が実行する候補エリアの除外処理の説明図（その１）である。 図８Ｂは、検出部が実行する候補エリアの除外処理の説明図（その２）である。 図８Ｃは、検出部が実行する候補エリアの除外処理の説明図（その３）である。 図８Ｄは、検出部が実行する候補エリアの除外処理の説明図（その４）である。 図８Ｅは、検出部が実行する候補エリアの除外処理の説明図（その５）である。 図８Ｆは、検出部が実行する候補エリアの除外処理の説明図（その６）である。 図９は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、自車の周囲を撮像するために車両に搭載された車載カメラに付着した水滴を、付着物として検出する場合を例に挙げて説明する。

また、以下では、実施形態に係る付着物検出方法の概要について図１を用いて説明した後に、実施形態に係る付着物検出方法を適用した付着物検出装置１０について、図２〜図９を用いて説明する。

まず、実施形態に係る付着物検出方法の概要について図１を用いて説明する。図１は、実施形態に係る付着物検出方法の概要説明図である。

車両には、自車の周辺を撮像するために、たとえばフロントカメラ、バックカメラ、右サイドカメラ、左サイドカメラなどの車載カメラが搭載される。なお、以下では、かかる車載カメラを「カメラ２」と記載する。

カメラ２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって車両周辺を撮像する。なお、カメラ２のレンズには魚眼レンズなどの広角レンズが採用され、カメラ２はそれぞれ１８０度以上の画角を有し、これらを利用することで車両の全周囲を撮像することが可能である。

そして、カメラ２によって撮像された画像は、車両に搭載された図示略の付着物検出装置へ出力される。

付着物検出装置は、カメラ２から取得した画像を１フレームごとに画像解析し、たとえば各画素のエッジ情報（輝度の勾配など）によるテンプレートマッチングなどの手法を用いることによって、画像中における付着物の存在エリアを検出する。

たとえば、付着物検出装置は、撮像画像Ｉ中において水滴が存在すると推定されるエリアである候補エリアＤａを検出する。

しかしながら、かかる水滴の検出に際し、従来技術に係る付着物検出装置は、たとえば図１に示すように、天井照明などによる路面反射部分を、水滴が存在する候補エリアＤａとして誤検出してしまう場合があった。これは、路面反射部分もレンズに付着した水滴と同様に、撮像画像Ｉ中においてはぼやけた領域となるためである。

そこで、実施形態に係る付着物検出方法では、かかる路面反射により誤検出される場合の候補エリアＤａについて、その特徴を複数のサンプルデータなどから予め抽出し、これを条件化することとした（ステップＳ１）。当該条件は、たとえば上記テンプレートマッチングにおける各辺のパターンのマッチング回数などに関する。

そのうえで、実施形態に係る付着物検出方法では、当該条件を除外条件とし、かかる除外条件に該当する候補エリアＤａを、水滴が存在すると推定されるエリアからは除外することとした（ステップＳ２）。なお、ここで除外とは、除外条件を満たす候補エリアＤａは候補から外すということを指す。除外条件を満たす候補エリアＤａに対応する撮影画像Ｉ中の一部分の領域を、付着物検出の対象領域から除外するということではない。これにより、路面反射を水滴として誤検出してしまうのを抑制することができる。したがって、実施形態に係る付着物検出方法によれば、検出精度を高めることができる。

なお、路面反射を水滴として誤検出する場合の特徴、および、これに基づく除外条件の詳細については、図８Ａ〜図８Ｆを用いた説明で後述する。

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１０の実施形態について、さらに具体的に説明する。

図２は、実施形態に係る付着物検出装置１０のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、実施形態に係る付着物検出装置１０は、記憶部１１と、制御部１２とを備える。また、付着物検出装置１０は、カメラ２と、各種機器５０とに接続される。

なお、図２では、付着物検出装置１０が、カメラ２および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ２および各種機器５０の少なくとも一方と一体に構成されてもよい。

カメラ２については既に述べたため、ここでの説明を省略する。各種機器５０は、付着物検出装置１０の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ２のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、テンプレート情報１１ａと、検出情報１１ｂと、除外情報１１ｃとを記憶する。

テンプレート情報１１ａは、後述するマッチング部１２ｄが実行するマッチング処理において用いられるテンプレートに関する情報である。検出情報１１ｂは、候補エリアＤａの検出条件や、検出された候補エリアＤａに関するデータを含む情報である。除外情報１１ｃは、上述した除外条件を含む情報である。

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１０内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１２は、取得部１２ａと、抽出部１２ｂと、変換部１２ｃと、マッチング部１２ｄと、検出部１１ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部１２ａは、カメラ２から１フレーム分ずつカメラ画像を取得するとともに、画像解析に必要となる前処理を実行する。

取得部１２ａは、前処理として、たとえばカメラ画像をグレースケール化する。なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。かかるグレースケール化は、省略されてもよい。

また、取得部１２ａは、他の前処理として、たとえばカメラ画像を所定のサイズへ変更する。また、取得部１２ａは、前処理されたカメラ画像を抽出部１２ｂへ出力する。

抽出部１２ｂは、取得部１２ａから入力されるカメラ画像にたとえばソベルフィルタを用いることで、カメラ画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素のＸ軸方向およびＹ軸方向におけるエッジ強度を指す。

また、抽出部１２ｂは、抽出したエッジ情報をグレースケール画像に対応付けて変換部１２ｃへ出力する。なお、抽出部１２ｂは、ソベルフィルタに代えて、たとえばラプラシアンフィルタなどの他のエッジ抽出法を用いることにしてもよい。

変換部１２ｃは、抽出部１２ｂから入力される各画素のＸ軸方向およびＹ軸方向のエッジ強度に基づいて各画素のエッジのベクトルを算出し、エッジ向きをそれぞれ符号化する。なお、実施形態に係る付着物検出装置１０では、たとえば、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化することにしている。この点の詳細については、図４Ａおよび図４Ｂを用いて後述する。

また、変換部１２ｃは、エッジ向きを符号化したグレースケール画像をマッチング部１２ｄへ出力する。マッチング部１２ｄは、変換部１２ｃから入力される符号化されたグレースケール画像と水滴の特徴を示す符号パターンとの正規表現を用いたマッチング処理を行う。ここに言う正規表現とは、符号列の集合を一つの符号で表したものである。

なお、水滴の特徴を示す符号パターンは、テンプレート情報１１ａに記憶される。かかる符号パターンの具体例については、図５Ａを用いて後述する。また、マッチング部１２ｄによるマッチング処理の詳細については、図５Ｂを用いて後述する。

検出部１２ｅは、抽出部１２ｂによって抽出されたエッジ情報に基づく所定の検出アルゴリズムを用いて、撮像画像Ｉ中において水滴が存在すると推定される候補エリアＤａを検出する。

具体的には、検出部１２ｅは、マッチング部１２ｄが抽出した符号パターンに基づいて、水滴の存在が推定される候補エリアＤａを検出する。また、検出部１２ｅは、検出した候補エリアＤａのそれぞれにつき、路面反射を水滴として誤検出した場合に該当していないか否かを判定する。

また、検出部１２ｅは、その判定結果により水滴であると判定される候補エリアＤａについては、かかる候補エリアＤａを各種機器５０へ通知する。一方、検出部１２ｅは、その判定結果により誤検出に該当すると判定される候補エリアＤａについては、各種機器５０への通知を行わず、後段の処理対象から除外する。

すなわち、検出部１２ｅは、信頼度の低い候補エリアＤａを除外する。このように、無用の画像領域を除外することにより、付着物の検出の精度を高められるとともに、後段の処理負荷を軽減することができる。なお、検出部１２ｅによる検出処理の詳細については、図６〜図８Ｆを用いて後述する。

ここで、変換部１２ｃ、マッチング部１２ｄおよび検出部１２ｅが実行する各アルゴリズムの一例について、図３〜図８Ｆを用いて具体的に説明する。図３は、ベクトルの算出方法を示す図である。また、図４Ａおよび図４Ｂは、代表値の算出方法の説明図（その１）および（その２）である。

また、図５Ａは、テンプレートの一例を示す図である。また、図５Ｂは、マッチング処理の一例を示す図である。また、図６は、検出処理の一例を示す図である。

また、図７Ａ〜図７Ｄは、検出情報１１ｂの説明図（その１）〜（その４）である。また、図８Ａ〜図８Ｆは、検出部１２ｅが実行する候補エリアＤａの除外処理の説明図（その１）〜（その６）である。

まず、変換部１２ｃは、具体的には、図３に示すように、Ｘ軸方向およびＹ軸方向のエッジ強度に基づき、三角関数を用いることで、各画素のベクトルを算出する。なお、以下では、図３に示す算出したベクトルと、正方向側のＸ軸とのなす角度θを「エッジ向き」と言い、ベクトルの長さＬを各画素の「エッジ強度」と言う。

なお、変換部１２ｃは、全ての画素についてエッジ向きを算出する必要はなく、優先度の低い領域については、所定間隔の画素ごとにエッジ向きを算出するなど、処理を簡略化することとしてもよい。

また、変換部１２ｃは、算出したエッジ向きをそれぞれ符号化する。たとえば、変換部１２ｃは、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化する。具体的には、図４Ａに示すように、変換部１２ｃは、たとえば８×８ピクセルの画素単位を１つの「セル」として取り扱い、３×３セルの画素単位を１つの「ブロック」として取り扱う。また、１つのブロックの中央のセルを「注目セル」として取り扱う。

変換部１２ｃは、かかるブロックごとに各画素のエッジ向きおよびエッジ強度を示すヒストグラムを作成する。かかるヒストグラムについては、図４Ｂを用いて説明する。ここで、変換部１２ｃは、注目セルにおける中央の座標のエッジ向きをブロックにおけるヒストグラムから導出する。

そして、変換部１２ｃは、１つのブロックにおいて注目セルの代表値を導出すると、ブロックを１つのセル分ずらしてヒストグラムを作成し、かかるブロックにおける注目セルの代表値を算出していく。

つまり、変換部１２ｃは、複数の画素ごとに代表値を算出することで、データ量を削減することができる。なお、図４Ａに示す例では、セルが８×８ピクセルであるため、データ量は１／６４に削減されることとなる。

なお、図４Ａに示したブロックおよびセルのピクセル数は一例であって、セルおよびブロックのピクセル数は、任意に設定することができる。この際、検出したい水滴の大きさに応じて各セルのピクセル数を変更することもできる。

たとえば、小さい水滴を検出したい場合、セルのピクセル数を少なく設定し、大きい水滴を検出したい場合は、セルのピクセル数を多く設定する。これにより、検出したい大きさの水滴を効率よく検出することができる。

また、変換部１２ｃは、単にセルごとにヒストグラムを作成し、かかるヒストグラムに基づいて各セルの代表値を算出することにしてもよい。なお、変換部１２ｃは、代表値を算出せず、全ての画素を符号化することにしてもよい。

次に、図４Ｂを用いてヒストグラムについて説明する。なお、図４Ｂでは、縦軸にエッジ強度を示し、横軸にエッジ向きの階級を示す。図４Ｂに示すように、変換部１２ｃは、たとえば、エッジ向きを２０°ごとに１８段階の各階級に割り当ててヒストグラムを作成する。

具体的には、変換部１２ｃは、ブロック内の各画素のエッジ強度をエッジ向きに対応する階級に加算していくことで、ブロックにおけるヒストグラムを作成する。つづいて、変換部１２ｃは、作成したヒストグラムからエッジ強度の和が最大となる階級を求める。

図４Ｂに示す例では、８０〜１００°の階級が最大の値をとる場合を示している。このとき、変換部１２ｃは、かかる階級においてエッジ強度の和が閾値以上である場合に、かかる階級を代表値とする。

図４Ｂに示す例では、８０〜１００°の階級においてエッジ強度の和が閾値を超えているため、上記の条件を満たす。このため、かかるブロックにおける注目セルの階級は、８０〜１００°となる。

つづいて、変換部１２ｃは、注目セルを階級に応じて割り当てられた符号に変換する。ここで、各階級には、たとえば０〜９およびＡ〜Ｈの１８種類の符号がそれぞれ割り当てられる。なお、０〜９およびＡ〜Ｈは、０°から３６０°まで２０度刻みの各階級に割り当てられる符号である。また、代表値が閾値を超えなかった場合、すなわち、エッジ強度が低いセルには、たとえばＺの符号が割り当てられる。

このようにして、変換部１２ｃは、全てのセルについて符号化を行う。これにより、符号化されたカメラ画像において、各符号が格子状に配列されることとなる。なお、変換部１２ｃは、上記した代表値を算出する以外に、他の統計学的な算出方法を用いて代表値を算出することにしてもよい。

また、図４Ｂでは、エッジ向きを１８段階に分類する場合について説明したが、これに限られず、１８段階より少なくする、あるいは、多くすることにしてもよい。また、図４Ｂでは、符号がＡ〜ＨおよびＺである場合を示したが、符号として、平仮名や数字など、他の文字、または図形等を用いることにしてもよい。

つづいて、マッチング部１２ｄは、上述したように、符号化されたカメラ画像と、テンプレート情報１１ａとして記憶されたテンプレートとのマッチング処理を行う。かかるテンプレートの一例を図５Ａに示す。なお、図５Ａでは、視覚的に分かりやすくするために、テンプレートを上記した符号ではなく、ピン状の記号を用いて実際のエッジ向きを模式的に図示している。

図５Ａに示すように、テンプレート情報１１ａは、テンプレートとして水滴の特徴を示す符号列である符号パターンを有する。具体的には、たとえば、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

ここで、図５Ａに示す各辺のパターンは、水滴を内側に含むまたは水滴の内側に含まれる矩形の各辺に対応する。ここで、「水滴を内側に含む」とは、矩形に水滴が内接する場合を含む。また、「水滴の内側に含まれる」とは、矩形が水滴に内接する場合を含む。なお、本実施形態では、「矩形」は正方形を含む。また、図５Ａでは、各辺のパターンのエッジ向きが、それぞれ中央に向かう場合について示している。この場合、水滴の輝度が端部から中央に向けて大きくなる、すなわち、中央が明るく端部が暗い水滴の特徴を示す。

なお、テンプレート情報１１ａは、これとは逆に、水滴の輝度が中央から端部に向けて大きくなる、すなわち、中央が暗く端部が明るい水滴の特徴を示す各辺のパターンを備えていてもよい。このようにすることで、多様な水滴を検出することが可能となる。

なお、同図では、上下左右の４方のパターンを例示したが、斜め方向を含むパターンを用いることもできる。このようにすることで、水滴の検出精度を向上させることができる。

つづいて、かかる各辺のパターンを用いたマッチング処理の一例を図５Ｂに示す。なお、ここでは、説明の便宜上、図５Ａに示した上辺パターンをそれぞれＡ〜Ｆの符号を用いて示している。また、同図のａおよびｂには、符号化されたカメラ画像の一部を模式的に示している。

図５Ｂのａに示すように、マッチング部１２ｄは、符号パターンがＡ〜Ｆの順に順序良く並んでいれば、かかる符号パターンを上辺パターンと一致すると判定する。

具体的には、マッチング部１２ｄは、図５Ｂのａに示すように、たとえば、Ａが３回、Ｂ、Ｃ、ＤおよびＥがそれぞれ２回、そして、Ｆが３回、のように繰り返される配列を上辺パターンの各符号の配列順序を満たせば、上辺パターンとして抽出することにしている。

これは、水滴の大きさに応じて符号の繰り返し回数が異なるためである。すなわち、水滴が大きいほど、各符号列の長さが長くなるためである。このように、かかる符号の繰り返しを許容することで、１回のマッチング処理で、大きさが異なる複数の水滴を示す符号列を抽出することができる。

したがって、処理負荷を軽減しつつ、水滴を検出することができる。なお、マッチング部１２ｄは、水滴の大きさに応じて符号列の長さが異なる複数の各辺のパターンを用意し、全てのかかるパターンを用いて符号列を抽出することにしてもよい。

また、水滴は一般的に球状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、マッチング部１２ｄは、抽出した符号列の中で、バランスが悪い符号列を一致しないとして除外することにしている。

具体的には、図５Ｂのｂに示すように、マッチング部１２ｄは、たとえば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。

このとき、マッチング部１２ｄは、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列パターンを一致しないとして除外することにしている。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑制することができる。

また、マッチング部１２ｄでは、たとえば、抽出した符号列が閾値より長い場合、かかる符号列をマッチングから除外することもできる。これは、符号列が長い場合、水滴である可能性が低いためである。これにより、水滴の誤検出を抑制することができる。なお、かかる閾値は、統計等によって最適な値を予め導出しておくものとする。

次に、マッチング処理を経ての、検出部１２ｅによる候補エリアＤａの検出処理の一例を図６に示す。なお、図６では、図５Ａと同様に、符号に代えて実際のエッジ向きを模式的に図示している。

また、ここでは、マッチング処理によって最初に上辺パターンが抽出された場合について説明する。検出部１２ｅは、まず抽出された上辺パターンの幅に基づき、略正方形状の候補エリアＤａ１を設定する。

つづいて、候補エリアＤａ１から逸脱した位置に右辺パターンが抽出されたものとする。このとき、検出部１２ｅは、右辺パターンの候補エリアＤａ２の中心座標が候補エリアＤａ１内にあれば、双方の候補エリアＤａ１，Ｄａ２を統合する処理を行う。

その後、検出部１２ｅは、たとえば、統合した候補エリアＤａ３において、下辺パターンまたは左辺パターンが抽出された場合、水滴が存在すると推定されるエリアとして、候補エリアＤａ３を抽出する。換言すると、検出部１２ｅは、異なる３方向以上の各辺を示すパターンが抽出されることを検出条件（以下、「方向条件」と言う）として、水滴が存在すると推定される候補エリアＤａを検出する。

なお、検出部１２ｅは、かかる方向条件以外に、たとえば、統合した候補エリアＤａ３において、各辺を示すパターンが所定回数（たとえば、上下左右を含めて４回）以上抽出されることを検出条件（以下、「回数条件」と言う）としてもよい。

このように、検出条件として、３方向以上の方向条件や回数条件とすることで、上下左右の全ての辺のパターンが抽出されなくとも、水滴が存在すると推定される候補エリアＤａを抽出することができる。すなわち、カメラ画像から見切れる、たとえば半円状の水滴を検出することが可能となる。なお、これら検出条件は、たとえば検出情報１１ｂに含まれて記憶される。

なお、図６では、上辺パターンの候補エリアＤａ１内に候補エリアＤａ２の中心座標が収まる場合に、候補エリアＤａを統合する場合について示したが、これに限定されるものではない。すなわち、候補エリアＤａ１および候補エリアＤａ２の少なくとも一部が重なっていれば双方を統合することにしてもよい。

また、統合した候補エリアＤａ３を、候補エリアＤａ１および候補エリアＤａ２の論理積とすることにしてもよいし、論理和とすることにしてもよい。また、図６では、候補エリアＤａ１および候補エリアＤａ２が矩形状である場合を示したが、これに限られず、円形状など他の形状とすることにしてもよい。

そして、検出部１２ｅは、検出した候補エリアＤａに関するデータを検出情報１１ｂへ格納する。具体的には、検出部１２ｅは、図７Ａに示すように、たとえば矩形の候補エリアＤａを、左上座標（ｘ，ｙ）と、幅ｗと、高さｈとで規定する。

検出情報１１ｂには、図７Ｂに示すように、たとえば「エリアＩＤ」項目と、「エリア情報」項目と、「マッチング情報」項目とが含まれる。「マッチング情報」項目には、「辺」項目と、「回数」項目とが含まれる。

「エリアＩＤ」項目には、候補エリアＤａの識別情報が格納され、検出情報１１ｂは、かかるエリアＩＤごとに管理される。

検出部１２ｅは、検出した候補エリアＤａに関し、たとえば「エリア情報」項目へ、図７Ａに示した左上座標（ｘ，ｙ）や、幅ｗ、高さｈなどを格納する。また、検出部１２ｅは、たとえば「マッチング情報」項目へ、上述のマッチング処理において候補エリアＤａの各辺において各辺パターンと一致した回数を格納する。

具体的には、検出部１２ｅは、図７Ｃに示すように、検出した候補エリアＤａの輪郭に沿った領域である輪郭エリアＲａにおいて各辺パターンと一致した回数を算出し、これを「マッチング情報」項目へ格納する。

たとえば図７Ｄの例では、候補エリアＤａは、かかる候補エリアＤａの上辺に沿った輪郭エリアＲａにおいて、上辺パターンと３回一致している。かかる場合、検出部１２ｅは、検出情報１１ｂにおける該当候補エリアＤａの「マッチング情報」項目の辺「上」へ、回数「３」を格納することとなる。

なお、かかる回数が多いということは、候補エリアＤａが、輝度変化がなだらかで広範囲にぼやけた輪郭を有することを推定させるものである。

そのうえで、検出部１２ｅは、かかる検出情報１１ｂと、除外情報１１ｃとに基づいて、候補エリアＤａのそれぞれにつき、路面反射を水滴として誤検出した場合に該当していないか否かを判定する。

具体的には、除外情報１１ｃには、予め除外条件が設定されている。より具体的には、除外情報１１ｃには、水滴を水滴として検出した「正検出時の候補エリアＤａの特徴」と、路面反射を水滴として検出した「誤検出時の候補エリアＤａの特徴」とに基づいて、「路面反射の該当条件」が予め設定されている。

これら「正検出時の候補エリアＤａの特徴」および「誤検出時の候補エリアＤａの特徴」は、たとえば付着物検出装置１０の開発中の実験時などにおいて収集された複数のサンプルデータに基づいて抽出される。

ここで、「誤検出時の候補エリアＤａの特徴」について、図８Ａ〜図８Ｄに屋内駐車場における実例を挙げながら説明する。まず、図８Ａに示すように、撮像画像Ｉにおいて、光源が縦向きおよび中央にあるような場合、誤検出された候補エリアＤａは、上辺または下辺がぼやけて広がる傾向を示すことがある。かかる場合、マッチング情報（検出情報１１ｂの「マッチング情報」項目に対応）は、少なくともいずれか１辺の回数が１０を超える（図中の破線の閉曲線で囲まれた部分を参照）。

また、図８Ｂに示すように、撮像画像Ｉにおいて、光源が横向きおよび画面奥にあるような場合、誤検出された候補エリアＤａは、上辺がぼやけて広がる傾向を示すことがある。かかる場合、マッチング情報は、図８Ａの場合と同様に、少なくともいずれか１辺の回数が１０を超える（図中の破線の閉曲線で囲まれた部分を参照）。

また、図８Ｃに示すように、撮像画像Ｉにおいて、路面に白線等の模様があり、誤検出された候補エリアＤａにもかかる模様が含まれるような場合、マッチング情報は、特定の辺のみカウントされるという傾向がある（図中の破線の閉曲線で囲まれた部分を参照）。

また、図８Ｄに示すように、撮像画像Ｉにおいて、光源が複数あるような場合、誤検出された候補エリアＤａは、丸みのある路面反射であることがある。かかる場合、マッチング情報は、正検出時の水滴である場合と比較して、４辺の合計回数が多いという傾向がある（図中の破線の閉曲線で囲まれた部分を参照）。

こうした実例を踏まえ、本実施形態では、図８Ｅに示すように、「路面反射の該当条件」である除外条件を、条件＃１〜＃３のＯＲとしている。条件＃１は、「４辺のうちのいずれかの回数＞１０」である。これは、図８Ａおよび図８Ｂの例に対応する。

条件＃２は、「（２辺の回数＝０）ＡＮＤ（残り２辺の回数合計＞１０）」である。これは、図８Ｃの例に対応する。条件＃３は、「４辺の合計回数≧２５」である。これは、図８Ｄの例に対応する。

検出部１２ｅは、検出情報１１ｂに格納された候補エリアＤａのそれぞれにつき、かかる除外条件に該当するか否かを判定し、該当する場合には誤検出と、該当しない場合には正検出と、それぞれ判定することとなる。

なお、かかる除外条件は、適用範囲を限定することとしてもよい。たとえば、図８Ｆに示すように、幅Ｗ１、高さＨ１の領域Ｒ１を画面サイズ全体とした場合に、領域Ｒ１の中央部のやや下方に幅Ｗｔ（＝Ｗ１／２）、高さＨｔ（＝Ｈ１／２）で規定される領域Ｒ３のみを条件適用範囲としてもよい。なお、領域Ｒ２は、たとえば付着物検出の有効範囲である。

すなわち、路面反射については、路面反射が現れやすく誤検出時に影響が大きいと考えられる自車付近についてのみ、除外条件を適用することができる。これにより、処理負荷を軽減させるのに資することができる。

次に、実施形態に係る付着物検出装置１０が実行する処理手順について、図９を用いて説明する。図９は、実施形態に係る付着物検出装置１０が実行する処理手順を示すフローチャートである。なお、図９では、１フレーム分のカメラ画像についての処理手順を示している。

まず、取得部１２ａが、カメラ画像を取得する（ステップＳ１０１）。そして、抽出部１２ｂが、各画素のエッジ情報を抽出する（ステップＳ１０２）。

つづいて、変換部１２ｃ、マッチング部１２ｄおよび検出部１２ｅが、抽出部１２ｂによって抽出されたエッジ情報に基づく所定の検出アルゴリズムを実行する（ステップＳ１０３）。そして、検出部１２ｅが、かかるアルゴリズムの実行結果に基づいて、水滴の存在が推定される候補エリアＤａを抽出する（ステップＳ１０４）。

すなわち、変換部１２ｃおよびマッチング部１２ｄは、一例として図３〜図５Ｂを用いて説明した各処理を実行し、検出部１２ｅは、図６を用いて説明した検出処理によって候補エリアＤａを検出する。

なお、かかる候補エリアＤａを検出させる検出アルゴリズムは説明した例に限らず、たとえば変換部１２ｃが、抽出部１２ｂによって抽出されたエッジ情報に基づいて各画素のエッジ強度を算出し、カメラ２の周囲環境に応じて異なる値をとる２値化閾値と当該エッジ強度とを比較することで各画素を２値化してもよい。

また、変換部１２ｃが、抽出部１２ｂによって抽出されたエッジ情報に基づいて各画素のエッジの向きを算出し、反対向きのエッジの向き同士が変換後に１の補数の関係となるパラメータを用いて各画素を変換するようにしてもよい。

かかる場合、マッチング部１２ｄは、変換部１２ｃによって変換されたこれらデータ形式に応じて、水滴を示す当該データ形式のテンプレートとのマッチング処理を行えばよい。

ステップＳ１０４につづいては、検出部１２ｅが、検出情報１１ｂおよび除外情報１１ｃに基づいて、検出された候補エリアＤａのうち、路面反射に該当するエリアがあるか否かを判定する（ステップＳ１０５）。

ここで、路面反射に該当するエリアがある場合（ステップＳ１０５，Ｙｅｓ）、検出部１２ｅは、該当するエリアを除外する（ステップＳ１０６）。路面反射に該当するエリアがない場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０７へ制御を移す。

そして、ステップＳ１０７では、検出部１２ｅが、各種機器５０へ候補エリアＤａを通知し、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１０は、抽出部１２ｂと、検出部１２ｅとを備える。抽出部１２ｂは、カメラ２（「撮像装置」の一例に相当）によって撮像された撮像画像Ｉに含まれる各画素のエッジ情報を抽出する。検出部１２ｅは、抽出部１２ｂによって抽出されたエッジ情報に基づいて所定のデータ形式に変換された各画素と、水滴を示す当該データ形式のテンプレートとのマッチング結果に基づき、撮像画像Ｉ中において水滴が存在すると推定される候補エリアＤａを検出する。また、検出部１２ｅは、候補エリアＤａの輪郭に沿った輪郭エリアＲａ（「輪郭に沿った所定の領域」の一例に相当）につき、テンプレートと一致した回数をマッチング結果に基づいて算出し、候補エリアＤａのうちから、上記回数に基づく所定の除外条件に該当する候補エリアＤａを除外する。

したがって、実施形態に係る付着物検出装置１０によれば、たとえば路面反射を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる。

また、検出部１２ｅは、候補エリアＤａの各辺のうちのいずれかについての上記回数が所定の閾値より大きい場合に、当該候補エリアＤａを除外する。

したがって、実施形態に係る付着物検出装置１０によれば、上辺や下辺がぼやけて広がるような路面反射を水滴として誤検出してしまうのを抑制することができる。

また、検出部１２ｅは、候補エリアＤａの各辺のうち、特定の辺についての上記回数が所定の閾値以下であり、かつ、上記特定の辺以外の他の辺についての上記回数の合計が所定の閾値より大きい場合に、当該候補エリアＤａを除外する。

したがって、実施形態に係る付着物検出装置１０によれば、白線等の路面の模様が含まれる路面反射を水滴として誤検出してしまうのを抑制することができる。

また、検出部１２ｅは、候補エリアＤａの各辺についての上記回数の合計が所定の閾値より大きい場合に、当該候補エリアＤａを除外する。

したがって、実施形態に係る付着物検出装置１０によれば、丸みのある路面反射を水滴として誤検出してしまうのを抑制することができる。

また、検出部１２ｅは、撮像画像Ｉ中の所定の領域Ｒ３についてのみ上記除外条件を適用する。

したがって、実施形態に係る付着物検出装置１０によれば、たとえば路面反射が現れやすい自車付近についてのみ除外条件を適用して、処理負荷の軽減を図ることができる。

なお、上述した実施形態では、除外条件の適用範囲を自車付近に相当する領域Ｒ３にのみ適用することとしたが、これに限られず、任意の範囲に適用するようにしてもよい。たとえば、フロントカメラ、バックカメラ、右サイドカメラ、左サイドカメラなど、カメラ２のそれぞれの設置位置に応じて、路面反射による誤検出の影響を受けやすい任意の範囲に、上記除外条件を適用するようにしてもよい。

また、上述した実施形態では、輪郭エリアＲａが、候補エリアＤａの輪郭の内側に設定されている場合を例に挙げたが（図７Ｃ参照）、候補エリアＤａの輪郭に沿っていれば、輪郭の外側に設定されていてもよい。

また、上述した実施形態では、除外条件を、除外したい候補エリアＤａのために用いる例を挙げたが、検出したい候補エリアＤａのために用いてもよい。すなわち、路面反射に該当する候補エリアＤａを検出したい場合に用いてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

２ カメラ
１０ 付着物検出装置
１１ 記憶部
１１ａ テンプレート情報
１１ｂ 検出情報
１１ｃ 除外情報
１２ 制御部
１２ａ 取得部
１２ｂ 抽出部
１２ｃ 変換部
１２ｄ マッチング部
１２ｅ 検出部
５０ 各種機器
Ｄａ 候補エリア
Ｉ 撮像画像

Claims (6)

1. 撮像装置によって撮像された撮像画像に含まれる各画素のエッジ情報を抽出する抽出部と、
   前記抽出部によって抽出された前記エッジ情報に基づいて所定のデータ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング結果に基づき、前記撮像画像中において水滴が存在すると推定される候補エリアを検出する検出部と
   を備え、
   前記検出部は、
   前記候補エリアの輪郭に沿った所定の領域につき、前記テンプレートと一致した回数を前記マッチング結果に基づいて算出し、前記候補エリアのうちから、前記回数に基づく所定の除外条件に該当する前記候補エリアを除外する
   ことを特徴とする付着物検出装置。
2. 前記検出部は、
   前記候補エリアの各辺のうちのいずれかについての前記回数が所定の閾値より大きい場合に、当該候補エリアを除外する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記検出部は、
   前記候補エリアの各辺のうち、特定の辺についての前記回数が所定の閾値以下であり、かつ、前記特定の辺以外の他の辺についての前記回数の合計が所定の閾値より大きい場合に、当該候補エリアを除外する
   ことを特徴とする請求項１または２に記載の付着物検出装置。
4. 前記検出部は、
   前記候補エリアの各辺についての前記回数の合計が所定の閾値より大きい場合に、当該候補エリアを除外する
   ことを特徴とする請求項１、２または３に記載の付着物検出装置。
5. 前記検出部は、
   前記撮像画像中の所定の領域についてのみ前記除外条件を適用する
   ことを特徴とする請求項１〜４のいずれか一つに記載の付着物検出装置。
6. 撮像装置によって撮像された撮像画像に含まれる各画素のエッジ情報を抽出する抽出工程と、
   前記抽出工程において抽出された前記エッジ情報に基づいて所定のデータ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング結果に基づき、前記撮像画像中において水滴が存在すると推定される候補エリアを検出する検出工程と
   を含み、
   前記検出工程は、
   前記候補エリアの輪郭に沿った所定の領域につき、前記テンプレートと一致した回数を前記マッチング結果に基づいて算出し、前記候補エリアのうちから、前記回数に基づく所定の除外条件に該当する前記候補エリアを除外する
   ことを特徴とする付着物検出方法。