JP2018071994A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物の検出精度をより高めること。【解決手段】実施形態に係る付着物検出装置は、取得部と、生成部と、判定部とを備える。取得部は、撮像画像中における付着物の判定対象エリアを取得する。生成部は、取得部によって取得された判定対象エリアにつき、少なくともエッジ強度、輝度および彩度のヒストグラムを生成する。判定部は、生成部によって生成されたヒストグラムそれぞれの各階級の度数の割合に基づき、判定対象エリアにおける付着物の存否を判定する。【選択図】図３

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、車両に搭載され、かかる車両周辺を撮像する車載カメラが知られている。車載カメラが撮像した映像は、たとえば運転者の視界補助のためにモニタ表示されたり、道路上の白線や車両への接近物などを検出するセンシングのために用いられたりする。

なお、車載カメラのレンズには、たとえば雨滴や雪片、埃、泥などの付着物が付着し、前述の視界補助やセンシングの妨げとなることがある。そこで、車載カメラのレンズへ向けて洗浄水や圧縮空気を噴射することで付着物を除去する技術が提案されている。かかる技術には、たとえば車載カメラの撮像画像を画像解析することによってレンズへの付着物を検出する検出アルゴリズムを用いることができる（たとえば、特許文献１参照）。

特開２００１−１４１８３８号公報

しかしながら、上述した従来技術には、付着物の検出精度をより高めるという点で、さらなる改善の余地がある。

たとえば、上述の検出アルゴリズムには、撮像画像からエッジ検出を行い、かかるエッジに基づいて付着物の輪郭を切り出すものなどがあるが、たとえば雨滴などはにじんで輪郭がぼやける場合もあるため、精度よく検出されない場合がある。

また、仮に雨滴の輪郭ははっきりしていても、たとえば雨滴と形状のよく似た構造物が雨滴として誤検出されてしまう場合もある。

実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出精度をより高めることができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、取得部と、生成部と、判定部とを備える。前記取得部は、撮像画像中における付着物の判定対象エリアを取得する。前記生成部は、前記取得部によって取得された前記判定対象エリアにつき、少なくともエッジ強度、輝度および彩度のヒストグラムを生成する。前記判定部は、前記生成部によって生成された前記ヒストグラムそれぞれの各階級の度数の割合に基づき、前記判定対象エリアにおける前記付着物の存否を判定する。

実施形態の一態様によれば、付着物の検出精度をより高めることができる。

図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。 図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。 図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。 図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その４）である。 図２Ａは、第１の実施形態の説明の概略図である。 図２Ｂは、第２の実施形態の説明の概略図である。 図３は、第１の実施形態に係る付着物除去システムのブロック図である。 図４Ａは、除外条件の具体例を示す図（その１）である。 図４Ｂは、除外条件の具体例を示す図（その２）である。 図４Ｃは、除外条件の具体例を示す図（その３）である。 図５Ａは、除外条件の変形例の説明図（その１）である。 図５Ｂは、除外条件の変形例の説明図（その２）である。 図５Ｃは、除外条件の変形例の説明図（その３）である。 図６は、除外条件の調整の具体例を示す図である。 図７は、第１の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図８Ａは、分割エリアの設定例を示す図（その１）である。 図８Ｂは、分割エリアの設定例を示す図（その２）である。 図８Ｃは、分割エリアの設定例を示す図（その３）である。 図８Ｄは、分割エリアの設定例を示す図（その４）である。 図９は、第２の実施形態に係る保持情報の具体例を示す図である。 図１０は、検出条件の具体例を示す図である。 図１１は、パラメータ設定画面の一例を示す図である。 図１２Ａは、過去２世代前変化量まで含めた場合の判定方法の具体例を示す図（その１）である。 図１２Ｂは、過去２世代前変化量まで含めた場合の判定方法の具体例を示す図（その２）である。 図１３は、検出条件の調整の具体例を示す図である。 図１４は、第２の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図１５は、第３の実施形態に係る付着物除去システムのブロック図である。 図１６Ａは、付着物検出部からの通知内容の一例を示す図である。 図１６Ｂは、検出情報ＤＢに含まれる検出エリアに関するデータ内容の一例を示す図である。 図１６Ｃは、検出エリアの状態の説明図である。 図１７Ａは、アルゴリズム間重なり判定部の処理説明図（その１）である。 図１７Ｂは、アルゴリズム間重なり判定部の処理説明図（その２）である。 図１７Ｃは、アルゴリズム間重なり判定部の処理説明図（その３）である。 図１７Ｄは、アルゴリズム間重なり判定部の処理説明図（その４）である。 図１８Ａは、フレーム間重なり判定部の処理説明図（その１）である。 図１８Ｂは、フレーム間重なり判定部の処理説明図（その２）である。 図１８Ｃは、フレーム間重なり判定部の処理説明図（その３）である。 図１８Ｄは、フレーム間重なり判定部および付着判定部の処理説明図である。 図１８Ｅは、除去要否判定部の処理説明図である。 図１９は、第３の実施形態に係る付着物除去システムが実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、本実施形態に係る付着物検出方法の概要について図１Ａ〜図１Ｄを用いて説明した後に、実施形態に係る付着物検出方法を適用した付着物検出装置１０について、図２Ａ以降を用いて説明する。

まず、本実施形態に係る付着物検出方法の概要について図１Ａ〜図１Ｄを用いて説明する。図１Ａ〜図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その１）〜（その４）である。

図１Ａに示すように、車両Ｃには、かかる車両Ｃの周辺を撮像するために、たとえばフロントカメラ２１、バックカメラ２２、右サイドカメラ２３、左サイドカメラ２４などの車載カメラが搭載される。なお、以下では、これら車載カメラを総称する場合、「カメラ２」と記載するものとする。

カメラ２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって車両Ｃ周辺を撮像する。そして、カメラ２は、撮像した映像を、たとえば本実施形態に係る付着物検出装置１０を含む付着物除去システム１へ出力する。

なお、カメラ２のレンズ２ａ（図１Ｂ参照）には魚眼レンズなどの広角レンズが採用され、カメラ２はそれぞれ１８０度以上の画角を有し、これらを利用することで車両Ｃの全周囲を撮像することが可能である。

また、図１Ｂに示すように、本実施形態に係る付着物除去システム１は、カメラ２のレンズ２ａに付着した雨滴や雪片、埃、泥などの付着物を除去する付着物除去装置３を備える。

付着物除去装置３は、ノズル３ａを備える。ノズル３ａは吐出口をレンズ２ａへ向けて設けられ、たとえば圧縮空気供給源３ｂおよびバルブ３ｃを介して供給される圧縮空気と、洗浄液供給源３ｄおよびバルブ３ｅを介して供給される洗浄液とをレンズ２ａへ向けて噴射することによって付着物を除去する。

なお、かかる付着物除去装置３の動作制御は、付着物除去システム１が備える除去判定装置５によって行われる。除去判定装置５は、付着物検出装置１０による検出結果に基づき、レンズ２ａに付着物が付着し、かつ、その付着物を除去する必要があるか否かを自動的に判定し、除去が必要である場合に、付着物除去装置３に除去動作を行わせる。

そして、本実施形態に係る付着物検出装置１０は、かかる自動判定に資する付着物の検出精度をより高めるため、付着物の存否の判定対象エリアにつき、各画素の少なくともエッジ強度、輝度および彩度のヒストグラムを生成し、かかるヒストグラムの各階級の度数に基づいて付着物を判定することとした。

具体的には、図１Ｃに示すように、付着物検出装置１０は、カメラ２のカメラ画像から、たとえば複数の検出アルゴリズムを用いて検出された、付着物の存在が推定されるエリアである検出エリアを取得する（ステップＳ１）。

そして、付着物検出装置１０は、取得した検出エリアのエッジ強度、輝度および彩度それぞれにつき、たとえば「弱」、「中」、「強」である３階級に分類されたヒストグラムを生成する（ステップＳ２）。なお、エッジ強度、輝度および彩度の求め方の具体例については、ヒストグラム生成部１１ｂ（後述）の説明に際して述べる。

そして、付着物検出装置１０は、生成した各ヒストグラムの階級それぞれの度数の「割合」に基づき、検出エリアに存在すると推定される付着物が本当に付着物であるか否かを判定する（ステップＳ３）。具体的には、かかる度数の「割合」が、付着物としては除外される所定の除外条件を満たすならば、検出エリアで推定された付着物は付着物でないと判定する。

たとえば、図１Ｃでは、他車両のタイヤ部分が検出エリアと検出されている場合を示しているが、付着物検出装置１０は、かかる検出エリアについての上記ヒストグラムを生成し、その各ヒストグラムの各度数の「割合」を所定の除外条件に照らす。

そして、その結果、タイヤ部分である検出エリアは、所定の除外条件を満たすこととなるので、付着物検出装置１０は、かかる検出エリアで推定された付着物は付着物ではないと判定する。なお、除外条件の具体例については、図４Ａ〜図４Ｃなどを用いて後述する。

そして、付着物検出装置１０は、付着物ではないと判定した検出エリアは誤検出分であるとして、後段の除去判定装置５の処理対象からは除外する。すなわち、付着物検出装置１０は、かかる検出エリアを、除去判定装置５に対して通知しない。

これにより、除去判定装置５における除去判定処理の処理負荷を軽減することができる。また、このように、複数の検出アルゴリズムを用いて検出された検出エリアに対し、付着物検出装置１０による誤検出判定処理を行うことで、各検出アルゴリズムによる誤検出を補うことができ、付着物の検出精度をより高めるのに資することができる。

なお、ここでは、検出エリアの要素のうち、エッジ強度、輝度および彩度に着目する例を挙げているが、色相や標準偏差などでもよく、ヒストグラムの生成対象となる要素を限定するものではない。また、階級も「弱」、「中」、「強」の３つに限られるものではない。

ところで、図１Ｃでは、付着物検出装置１０を各検出アルゴリズムの補佐的な位置付けとした場合を例に挙げたが、付着物検出装置１０は、各検出アルゴリズムの一つを実行するものとしても構成することができる。

かかる場合、具体的には、図１Ｄに示すように、付着物検出装置１０は、カメラ２のカメラ画像の１フレーム分について複数の分割エリアを設定し、かかる分割エリアのそれぞれを取得する（ステップＳ１’）。

そして、付着物検出装置１０は、取得した各分割エリアのエッジ強度、輝度および彩度それぞれのヒストグラムを生成する（ステップＳ２’）。かかるヒストグラムを含む情報は、現フレーム分だけでなく、１世代分以上の過去フレーム分についても保持される。

そして、付着物検出装置１０は、現フレーム分および過去フレーム分のフレーム間における「変化量」に基づき、分割エリアごとの付着物の存否を判定する（ステップＳ３’）。なお、図１Ｄでは、エッジ強度についての例を図示している。付着物検出装置１０は、たとえばかかるエッジ強度の現変化量、過去１世代前変化量、過去２世代前変化量の推移が示す傾向に基づいて付着物の存否を判定する。

かかるフレーム間の「変化量」による判定を行うことによって、たとえば輪郭がにじんでしまい、エッジとしては検出しにくい雨滴の場合であっても、「変化量」にあらわれる雨滴の特徴に基づき、付着物として検出しやすくすることができる。すなわち、付着物の検出精度をより高めるのに資することができる。また、分割エリアごとの判定を行うことによって、フレーム全体を対象とするよりも言わば分解能を高めた付着物の検出を行うことができる。したがって、やはり、付着物の検出精度をより高めるのに資することができる。

また、かかる「変化量」による検出条件は、分割エリアごとに設定することができる。これにより、たとえば変化のあらわれやすさといった、分割エリアごとの特性に応じた適正な判定を行うことが可能となる。

かかる「変化量」を用いた場合の検出条件など、処理の詳細については、図９〜図１３などを用いて後述する。

以下、上述した付着物検出方法を適用した付着物検出装置１０の実施形態について、さらに具体的に説明する。

なお、以下では、図１Ｃに示した例を第１の実施形態として、また、図１Ｄに示した例を第２の実施形態として説明を進めるが、説明を分かりやすくする観点から、図２Ａおよび図２Ｂに以下の説明の概略を示す。

図２Ａに示すように、第１の実施形態の説明では、付着物検出装置１０が、付着物検出アルゴリズム−１，−２，…―ｎを実行する外部付着物検出装置４（図３参照）を前段とし、除去判定処理を実行する除去判定装置５を後段として、誤検出判定処理（誤検出分の除外）を行う構成を例に挙げる（図１Ｃ参照）。

また、図２Ｂに示すように、第２の実施形態の説明では、付着物検出装置１０が、付着物検出アルゴリズム−１，−２，…―ｎの一つを実行する構成を例に挙げる（図１Ｄ参照）。なお、破線で示した誤検出判定処理は、第１の実施形態の構成で行われてもよいし、省略されてもよい。

（第１の実施形態）
図３は、本実施形態に係る付着物除去システム１のブロック図である。なお、図３では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図３に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図３に示すように、付着物除去システム１は、カメラ２と、付着物除去装置３と、１つ以上の外部付着物検出装置４（たとえば、外部付着物検出装置４−１，−２，−３…）と、除去判定装置５と、付着物検出装置１０とを含む。

なお、図３に示すように、外部付着物検出装置４、付着物検出装置１０および除去判定装置５は、付着物の検出から付着物を除去するまでの全体処理を制御する除去制御装置５０の構成要素とすることができる。かかる除去制御装置５０の具体的な構成については、本実施形態、第２の実施形態に付いて述べた後、第３の実施形態において後述する。

カメラ２および付着物除去装置３については既に述べたため、ここでの説明を省略する。外部付着物検出装置４は、カメラ２からカメラ画像を１フレーム分ずつ取得し、それぞれに対応付けられた検出アルゴリズムを用いてカメラ画像の中から付着物が存在すると推定される検出エリアを抽出し、抽出した検出エリアを付着物検出装置１０へ通知する。

除去判定装置５は、既に述べた通り、付着物検出装置１０による検出結果に基づき、付着物の除去が必要である場合に、付着物除去装置３に除去動作を行わせる。

付着物検出装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、対象エリア取得部１１ａと、ヒストグラム生成部１１ｂと、付着物判定部１１ｃと、条件調整部１１ｄとを備える。

記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、条件情報１２ａを記憶する。

制御部１１は、付着物検出装置１０全体を制御する。対象エリア取得部１１ａは、外部付着物検出装置４から通知される検出エリアを判定対象エリアとして取得する。なお、後述する第２の実施形態では、対象エリア取得部１１ａは、カメラ２のカメラ画像から分割エリアを判定対象エリアとして取得することとなる。

ヒストグラム生成部１１ｂは、対象エリア取得部１１ａによって取得された検出エリアのそれぞれにつき、各画素の少なくともエッジ強度、輝度および彩度のヒストグラムを予め分類された所定の階級数で生成する。所定の階級数は、既に述べたように、たとえば「弱」、「中」、「強」の３つである。

具体的には、エッジ強度につき、ヒストグラム生成部１１ｂは、検出エリアに対応する画像をグレースケール化することによりグレースケール画像へ変換する。なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。

また、ヒストグラム生成部１１ｂは、グレースケール画像にソベルフィルタを用いることで、グレースケール画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素のＸ軸方向およびＹ軸方向におけるエッジ強度を指す。なお、ソベルフィルタに代えてたとえばラプラシアンフィルタ等の他のエッジ抽出法を用いることにしてもよい。

また、ヒストグラム生成部１１ｂは、抽出した各画素のエッジ情報に基づき、グレースケール画像の各画素の代表値としてのエッジ強度を算出する。具体的には、エッジ情報であるＸ軸方向およびＹ軸方向のエッジ強度をそれぞれ２乗した後に加算した値を各画素のエッジ強度の代表値として算出する。

そして、ヒストグラム生成部１１ｂは、算出した各画素のエッジ強度の代表値に基づいてエッジ強度のヒストグラムを生成する。具体的には、ヒストグラム生成部１１ｂは、算出したエッジ強度の各代表値をたとえば０〜１の間の値をとるように正規化し、所定の階級数が上述のように「弱」、「中」、「強」の３つであれば、たとえば「弱」は０以上０．３未満、「中」は０．３以上０．７未満、「強」は０．７以上１以下であるようなヒストグラムを生成する。

また、輝度につき、ヒストグラム生成部１１ｂは、前述のグレースケール化に際し、各画素のＲＧＢ値（Ｒ：０〜２５５，Ｇ：０〜２５５，Ｂ：０〜２５５）に基づいて算出した各画素の輝度を用いる。たとえば、ヒストグラム生成部１１ｂは、各画素のＲ、Ｇ、Ｂのうちの１つの要素値のみを代表値として抽出し、これを各画素の輝度とすることができる。

また、たとえば、ヒストグラム生成部１１ｂは、Ｒ、Ｇ、Ｂの各要素値の単純な平均値を輝度として算出することができる。また、たとえば、ヒストグラム生成部１１ｂは、式「輝度＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ」によるいわゆるＮＴＳＣ（National Television System Committee）系加重平均法などを用いて重み付けされた平均値を輝度として算出することができる。

そして、ヒストグラム生成部１１ｂは、算出した各画素の輝度に基づいて輝度のヒストグラムを生成する。輝度の正規化や所定の階級数の分け方は、エッジ強度の場合と同様である。

また、彩度につき、ヒストグラム生成部１１ｂはたとえば、ＨＳＶ色空間に基づく場合は、Ｒ、Ｇ、Ｂの最大値をＩｍａｘ、最小値をＩｍｉｎとしたときに、明度（Ｖ）＝Ｉｍａｘ、彩度（Ｓ）＝（Ｉｍａｘ−Ｉｍｉｎ）／Ｉｍａｘにより彩度を算出することができる。

また、たとえば、ヒストグラム生成部１１ｂは、ＨＳＬ色空間に基づく場合は、明度（Ｌ）＝（Ｉｍａｘ＋Ｉｍｉｎ）／２とし、Ｌ≦０．５のとき、彩度（Ｓ）＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）、Ｌ＞０．５のとき、彩度（Ｓ）＝（Ｉｍａｘ−Ｉｍｉｎ）／（２−Ｉｍａｘ−Ｉｍｉｎ）により彩度を算出することができる。なお、明度（Ｖ）または明度（Ｌ）は、前述の輝度として用いられてもよい。

そして、ヒストグラム生成部１１ｂは、算出した各画素の彩度に基づいて彩度のヒストグラムを生成する。彩度の正規化や所定の階級数の分け方は、エッジ強度および輝度の場合と同様である。

なお、ヒストグラム生成部１１ｂは、ヒストグラムの生成に際し、検出エリアのサイズを基準となるサイズに拡縮することが好ましい。これにより、それぞれサイズが異なることが考えられる検出エリアにおける各要素の度数の割合を所定の除外条件に照らすうえで、サイズの違いによる検出精度のばらつきを抑えることができる。すなわち、付着物の検出精度をより高めるのに資することができる。

付着物判定部１１ｃは、ヒストグラム生成部１１ｂによって生成された各ヒストグラムの階級それぞれの度数の割合に基づき、検出エリアに存在すると推定される付着物が本当に付着物であるか否かを所定の除外条件に照らし、判定する。所定の除外条件は、付着物の特徴に適合しないように、エッジ強度、輝度および彩度それぞれの３階級（「弱」、「中」、「強」）ごとの割合が組み合わされた条件であり、条件情報１２ａに予め含まれる。

ここで、図４Ａ〜図４Ｃに所定の除外条件の具体例を示す。図４Ａ〜図４Ｃは、除外条件の具体例を示す図（その１）〜（その３）である。

図４Ａに示すように、たとえば「除外条件−１」としては、「エッジ強度」の「強」が５０％以上、「輝度」の「弱」が３０％以上、かつ、「彩度」の「強」が５０％以上である場合を挙げることができる。

また、図４Ｂに示すように、たとえば「除外条件−２」としては、「エッジ強度」の「強」が５０％以上、「輝度」の「中」が５０％以上、かつ、「彩度」の「弱」が５０％以上である場合を挙げることができる。

また、図４Ｃに示すように、たとえば「除外条件−３」としては、「輝度」の「中」が８０％以上、かつ、「彩度」の「強」が８０％以上である場合を挙げることができる。

これら図４Ａ〜図４Ｃの除外条件は、検証試験等によって得られた、いずれも雨滴の特徴に適合しない条件であり、これら図４Ａ〜図４Ｃの除外条件を用いることにより、付着物のうち、特に雨滴の検出精度をより高めるのに資することができる。

図３の説明に戻る。また、付着物判定部１１ｃは、かかる所定の除外条件を満たし、付着物でないと判定された検出エリアを、後段の処理対象から除外する。また、付着物判定部１１ｃは、所定の除外条件を満たさずに、付着物であると判定された検出エリアを、後段の処理対象とするために、除去判定装置５へ通知する。

ところで、これまでは、除外条件を構成する要素が、「エッジ強度」、「輝度」および「彩度」である場合を例に挙げたが、既に述べたように、これら以外の他の要素を付加することとしてもよい。

かかる除外条件の変形例について、図５Ａ〜図５Ｃを用いて説明する。図５Ａ〜図５Ｃは、除外条件の変形例の説明図（その１）〜（その３）である。

たとえば、除外条件には、検出エリアと所定のテンプレートとのマッチングによって得られる類似度などを含むことができる。

かかる変形例では、検出エリアの各画素のベクトル向きに着目した場合を例に挙げる。具体的には、図５Ａに示すように、かかる変形例では、たとえばヒストグラム生成部１１ｂが、検出エリアＤａをベクトル向き画像化してベクトル向き画像Ｖｄを生成する。

より具体的には、ヒストグラム生成部１１ｂが、検出エリアＤａから各画素のベクトル向きを算出し、かかるベクトル向きをたとえば色相環に基づいて色付けしたベクトル向き画像Ｖｄを生成し、生成したベクトル向き画像Ｖｄを付着物判定部１１ｃへ通知する。

そして、付着物判定部１１ｃは、通知されたベクトル向き画像Ｖｄと、同じく色相環に基づいて予め設けられたテンプレートＴｉとを用いたテンプレートマッチングによって、たとえば全対象画素分の相互相関係数を算出し、かかる相互相関係数が示す類似度を含めた条件判定を行う。

なお、図５Ａに示すテンプレートＴｉは、たとえば内向きに明るい雨滴の特徴を示すものである。テンプレートＴｉには、図５Ｂに示すように、検出エリアＤａのサイズや形、雨滴の光り方の特徴などに応じて、図５Ｂ（ａ）のテンプレートＴｉ−１や、同（ｂ）のテンプレートＴｉ−２のように種々のバリエーションを設けておけば、多様な付着物の形態に対応することができる。

そして、上述の相互相関係数を用いた場合、類似度は−１〜１の範囲で示されるので、たとえばかかる変形例の除外条件には、図５Ｃに示すように、＋αの要件として「類似度＜閾値」や「類似度＜０」といった条件が含まれることとなる。

このように、ヒストグラムの度数の割合だけでなく、テンプレートマッチング結果の類似度を除外条件に含むことによって、付着物の検出精度をより高めるのに資することができる。

図３の説明に戻る。条件調整部１１ｄは、除外条件を調整するのに適した所定のトリガが生じている場合に、除外条件を調整し、条件情報１２ａを適宜更新する処理を行う。

かかる具体例について図６を用いて説明する。図６は、除外条件の調整の具体例を示す図である。図６に示すように、除外条件の調整のためのトリガとしては、たとえば「シーン切り替わり時」を挙げることができる。

シーン切り替わり時は、たとえばカメラ２からのカメラ画像を解析することによって判断可能となる昼夜や風景の変化を検出した場合などに対応する。

かかる場合、調整内容例としては、たとえば夜の市街地へのシーン切り替わりが検出された場合に、付着物としての雨滴は、たとえば街に多数存在する光源により強く反射し、輪郭も鮮明になる（エッジ強度「強」の割合が増す）ことが考えられる。したがって、このような場合の雨滴を除外する除外条件としては、たとえばエッジ強度「強」の割合を下げる（図中の「↓」参照）調整が一例として挙げられる。

また、別の除外条件調整トリガとしては、たとえば「検出エリア位置」を挙げることができる。これは、たとえば検出エリアが空に該当する位置であれば、ドライバの運転中の視認には影響が少ないと考えられることから、この場合には、たとえば条件調整部１１ｄは、調整内容例としてかかる位置の検出エリアは無条件に除外するという調整を行う。

また、さらに別の除外条件調整トリガとしては、たとえば「複数フレーム間での連続性」を挙げることができる。これは、たとえば検出エリアが１フレーム単独で検出されたものであれば、付着物の可能性は低いと考えられることから、この場合には、たとえば条件調整部１１ｄは、調整内容例として１フレーム単独の検出エリアは無条件に除外するという調整を行う。

このように、除外条件を調整するのに適した所定のトリガが生じている場合に、除外条件を調整することによって、車両Ｃの走行時の状況に応じた適切な付着物の検出を行うことが可能となる。すなわち、付着物の検出精度をより高めるのに資することができる。

次に、本実施形態に係る付着物検出装置１０が実行する処理手順について、図７を用いて説明する。図７は、第１の実施形態に係る付着物検出装置１０が実行する処理手順を示すフローチャートである。

まず、対象エリア取得部１１ａが、外部付着物検出装置４の各検出アルゴリズムの検出エリアＤａを取得する（ステップＳ１０１）。そして、ヒストグラム生成部１１ｂが、対象エリア取得部１１ａによって取得された検出エリアＤａのエッジ強度、輝度および彩度それぞれにつき、ヒストグラムを生成する（ステップＳ１０２）。

そして、付着物判定部１１ｃが、ヒストグラム生成部１１ｂによって生成された各ヒストグラムの階級それぞれの度数の割合に基づき、付着物であるか否かを判定する（ステップＳ１０３）。

ここで、付着物でないと判定された場合（ステップＳ１０４，Ｙｅｓ）、付着物判定部１１ｃは、当該検出エリアＤａを除外する（ステップＳ１０５）。また、付着物であると判定された場合（ステップＳ１０４，Ｎｏ）、付着物判定部１１ｃは、除去判定装置５へ当該検出エリアを通知する（ステップＳ１０６）。

そして、制御部１１が、処理終了イベントがあるか否かを判定する（ステップＳ１０７）。処理終了イベントは、たとえばＩＧオフやＡＣＣオフなどに対応する。ここで、処理終了イベントがないと判定された場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０１からの処理を繰り返す。また、処理終了イベントがあると判定された場合（ステップＳ１０７，Ｙｅｓ）、付着物検出装置１０は、処理を終了する。

上述してきたように、第１の実施形態に係る付着物検出装置１０は、対象エリア取得部１１ａ（「取得部」の一例に相当）と、ヒストグラム生成部１１ｂ（「生成部」の一例に相当）と、付着物判定部１１ｃ（「判定部」の一例に相当）とを備える。

対象エリア取得部１１ａは、カメラ画像（「撮像画像」の一例に相当）中における付着物の検出エリアＤａ（「判定対象エリア」の一例に相当）を取得する。ヒストグラム生成部１１ｂは、対象エリア取得部１１ａによって取得された検出エリアＤａにつき、少なくともエッジ強度、輝度および彩度のヒストグラムを生成する。付着物判定部１１ｃは、ヒストグラム生成部１１ｂによって生成されたヒストグラムそれぞれの各階級の度数の割合に基づき、検出エリアＤａにおける付着物の存否を判定する。

したがって、本実施形態に係る付着物検出装置１０によれば、付着物の検出精度をより高めることができる。また、無用な検出エリアＤａを後段の処理対象から除外することができるので、システム全体の処理負荷を抑えるという効果も奏することができる。

（第２の実施形態）
次に、図３および図８Ａ〜図１４を用いて第２の実施形態について説明する。上述の通り、第２の実施形態は、付着物検出装置１０が、付着物検出アルゴリズム−１，−２，…―ｎの一つを実行する構成であり（図２Ｂ参照）、分割エリアごとの各分割エリアのエッジ強度、輝度および彩度それぞれのヒストグラムの、フレーム間における「変化量」に基づいて付着物の存否を判定する場合である（図１Ｄ参照）。

なお、第２の実施形態に係る付着物検出装置１０のブロック構成については、第１の実施形態のブロック図を用いて説明することができるので、説明の便宜上、既に示した図３のブロック図を用い、第１の実施形態と異なる部分を主に説明することとする。

図３に示すように、第２の実施形態に係る付着物検出装置１０では、対象エリア取得部１１ａは、カメラ２のカメラ画像の１フレーム分について複数の分割エリアを設定し、かかる分割エリアのそれぞれを判定対象エリアとして取得する。

ここで、分割エリアの設定例について図８Ａ〜図８Ｄを用いて説明しておく。図８Ａ〜図８Ｄは、分割エリアの設定例を示す図（その１）〜（その４）である。図８Ａに示すように、分割エリアは、１フレーム分のカメラ画像全体を、たとえば３×３の９つの分割エリアに区切って設定することができる。

なお、以下では、かかる図８Ａの場合を主たる例に挙げるものとし、画面の「上」、「中」、「下」と言った場合は、図中の「上」、「中」、「下」にそれぞれ対応する上段、中段、下段の領域をそれぞれ指すものとする。

また、ここでは、３×３の９領域としているが、分割数を限定するものではなく、４×４の１６領域などであってもよい。分割エリアをより細かくすることで、小さな雨滴などの検出精度を向上させるのに資することができる。

また、図８Ｂに示すように、分割エリアのサイズは、すべて同一でなくともよい。たとえば図８Ｂに示すように、中央付近など、付着物が付着した場合に運転者の視認に影響が大きいと考えられる領域については、分割エリアをより細かくしてもよい。これにより、安全面などから高い視認性が求められる領域について、変化量を検出するための感度を高めることが可能となる。

また、図８Ｃに示すように、分割エリアは矩形に限らず、付着物の形状に応じて、たとえば雨滴の形状に合わせた円形などに設定することができる。これにより、その形状に応じた変化量をとらえやすくすることができる。

また、図８Ｄに示すように、分割エリアは、たとえば運転者の視認性に影響が少ないと判断される領域については、予め対象外となるように設定されてもよい。また、かかる対象外の領域は、走行状況の変化などに応じて、可変に設定されてもよい。

また、同じく走行状況の変化などに応じて、分割数などが変更されてもよい。たとえば、昼と夜では、エッジ強度や輝度などの変化量が夜の方が少ないと考えられるので、夜になったことを画像解析などにより検出した場合に、動的に分割数を増やして変化量を検出するための感度を高めてもよい。

図３の説明に戻る。第２の実施形態に係る付着物検出装置１０では、ヒストグラム生成部１１ｂは、取得した各分割エリアのエッジ強度、輝度および彩度それぞれのヒストグラムを生成する。かかるヒストグラムを含む情報は、現フレーム分だけでなく、１世代分以上の過去フレーム分についても保持される。

その保持される保持情報の詳細について、図９を用いて説明する。図９は、第２の実施形態に係る保持情報の具体例を示す図である。図９に示すように、第２の実施形態では、生成されたヒストグラムは、たとえば現フレーム分、過去１世代前分および過去２世代前分が保持される。また、かかるヒストグラムから算出される変化量なども、あわせて保持される。

より具体的には、図９に保持情報として示すように、現フレーム分のデータ数（各度数）と、過去２世代各々分のデータ数と、単純移動平均（ＳＭＡ）と、現フレーム分と単純移動平均との変化量と、過去２世代各々分と単純移動平均との変化量とが少なくとも保持される。

なお、図中の「※」印では、本実施形態に係るＳＭＡの考え方を、同じく「※※」印では、本実施形態に係る変化量の考え方を、それぞれ示した。

図３の説明に戻る。そして、第２の実施形態に係る付着物検出装置１０では、付着物判定部１１ｃが、上述の保持情報に基づき、少なくともヒストグラムの各階級の現変化量および過去１世代前変化量の推移を所定の検出条件に照らし、かかる検出条件を満たす場合に、付着物が存在すると判定する。所定の検出条件は、条件情報１２ａに予め含まれる。

ここで、図１０に所定の検出条件の具体例を示す。図１０は、検出条件の具体例を示す図である。

図１０に示すように、たとえば第２の実施形態に係る「検出条件」としては、「エッジ強度」の「強」が所定量減少および「弱」が所定量増加し、「輝度」の「中」が所定量増加し、「彩度」の「弱」が所定量増加する場合を挙げることができる。

そして、かかる検出条件を構成する増加／減少の閾値などは、分割エリアごとのパラメータとして設定可能である。たとえば、図１１は、パラメータ設定画面の一例を示す図である。なお、かかるパラメータ設定画面は、分割エリアごとのパラメータ設定が可能であることを説明するために便宜上示すものであり、システム上必須となるものではない。

図１１に示すように、パラメータ設定画面では、ヒストグラムの各要素（「エッジ強度」、「輝度」、「彩度」）と、かかる要素それぞれの階級ごとに、チェックボックスやスライダー等のウィジェットを用いて「所定量」に対応する閾値を設定可能となっている。

たとえば「エッジ強度」では、「強」と「弱」のチェックボックスにチェックを入れてスライダーを左右に動かし、「強」の場合には閾値をマイナス値とすることで「減少」の条件を設定できることをあらわしている。また、「弱」の場合には閾値をプラス値とすることで「増加」の条件を設定できることをあらわしている。

また、かかるパラメータ設定画面では、画面の「上」、「中」、「下」（図８Ａ参照）に対応する領域で、それぞれ個別に閾値を設定可能となっている。たとえば、図１１では、破線の閉曲線で囲まれた画面の「下」に対応する領域について、他の「上」や「中」とは異なる設定がなされている例を示している。

これは、車両Ｃに搭載されるカメラ２からのカメラ画像については、画面の「下」の方が変化量が激しい傾向があることから、かかる特性に応じたパラメータ設定を個別に行っているものである。このように、分割エリアの各特性に応じた変化量のパラメータ設定を可能とすることによって、付着物の検出精度をより高めるのに資することができる。

なお、第２の実施形態に係る付着物判定部１１ｃは、ヒストグラムの各階級の現変化量および過去１世代前変化量の推移に加えて、さらに過去２世代前変化量を含めた推移の判定を行うことで、さらに付着物の検出精度を高めることができる。

かかる場合の具体例について、図１２Ａおよび図１２Ｂを用いて説明する。図１２Ａおよび図１２Ｂは、過去２世代前変化量まで含めた場合の判定方法の具体例を示す図（その１）および（その２）である。なお、図１２Ａには付着物の場合のエッジ強度の変化量の推移を、図１２Ｂには白線の場合のエッジ強度の変化量の推移を、それぞれ示している。

図１２Ａの場合、図１２Ｂの場合のいずれでも、現変化量および過去１世代前変化量の推移には、それほど大きな差は見られない。こうした場合、さらに過去の過去２世代前変化量まで含めた推移を判定することによって、付着物の検出精度を高めることができる。

具体的には、図１２Ａを見ると、付着物の場合、破線の閉曲線Ｍ１で囲んだ部分に示した過去２世代前変化量および過去１世代前変化量の推移はほぼ変化がないと言える。そして、図１２Ａでは、かかる推移を経て過去１世代前変化量および現変化量の推移で不意に変化量が減少していることが分かる。

これは、不意に付着してカメラ画像をぼやかせ、「強」のエッジ強度を減少させてしまう雨滴の特徴を示すものである。したがって、図１２Ａのような変化量の推移を辿る場合には、付着物であると判定することができる。

一方、図１２Ｂを見ると、白線の場合、破線の閉曲線Ｍ２で囲んだ部分に示した過去２世代前変化量および過去１世代前変化量の推移は、「＋」側から徐々に減少していることが分かる。かかる推移は、図１２Ａに示した雨滴の場合の特徴とは異なるものである。したがって、図１２Ｂのような変化量の推移を辿る場合には、付着物でないと判定することができる。

このように、より過去の世代前変化量まで含めた変化量の推移を判定することによって、付着物の検出精度をより高めることができる。また、エッジ強度を含めたヒストグラムの変化量の時間的推移に基づいて付着物の付着を判定するので、たとえばレンズ２ａの撥水コートなどが低下して、輪郭のはっきりしないにじんだ雨滴などが付着した場合でも、精度よく検出することが可能となる。

図３の説明に戻る。第２の実施形態に係る付着物検出装置１０では、条件調整部１１ｄは、検出条件を調整するのに適した所定のトリガが生じている場合に、検出条件を調整し、条件情報１２ａを適宜更新する処理を行う。

かかる具体例について図１３を用いて説明する。図１３は、検出条件の調整の具体例を示す図である。図１３に示すように、検出条件の調整のためのトリガとしては、たとえば「分割エリア位置」を挙げることができる。

かかる場合、調整内容例としては、既に述べたように、画面の「下」の方が変化量が激しい傾向にあることから、たとえば条件調整部１１ｄは、「分割エリア位置」が画面の「下」の方であれば、これに応じて検出のための感度が高すぎるものとならないよう条件を強化する調整を行う。

また、別の検出条件調整トリガとしては、たとえば「走行状態」を挙げることができる。かかる場合、たとえば車両Ｃが停止中なら雨滴などの付着物は走行中に比べて付着しやすいと考えられることから、この場合には、たとえば条件調整部１１ｄは、調整内容例として、検出のための感度が高まるよう条件を緩和する調整を行う。

また、別の検出条件調整トリガとしては、たとえば「ワイパー動作」や、「レインセンサ」、「降雨情報受信」などを挙げることができる。これらは、いずれも降雨などにより付着物が付着しやすい状況を示すものであることから、これらの場合には、たとえば条件調整部１１ｄは、調整内容例として、検出のための感度が高まるよう条件を緩和する調整を行う。

また、別の検出条件調整トリガとして、たとえば「空の色」を挙げることができる。カメラ画像の画像解析により、空の色から曇天あるいは雨天が検出されたならば、上述の「ワイパー動作」などと同様に、たとえば条件調整部１１ｄは、調整内容例として、条件を緩和する調整を行う。

また、さらに別の除外条件調整トリガとしては、たとえば「ジャイロセンサ」を挙げることができる。これは、たとえばジャイロセンサから、車両Ｃが下り坂走行中であることが検出されたならば、やはり上述の「ワイパー動作」などと同様に、条件調整部１１ｄは、検出のための感度が高まるよう条件を緩和する調整を行う。

なお、これは、下り坂走行中であれば、たとえばバックカメラ２２のレンズ２ａは通常時より上方を向くことから、降雨などがあれば雨滴が付着しやすい状況であると言えるためである。

次に、本実施形態に係る付着物検出装置１０が実行する処理手順について、図１４を用いて説明する。図１４は、第２の実施形態に係る付着物検出装置１０が実行する処理手順を示すフローチャートである。

まず、対象エリア取得部１１ａが、カメラ２のカメラ画像の１フレーム分から各分割エリアを取得する（ステップＳ２０１）。そして、ヒストグラム生成部１１ｂが、対象エリア取得部１１ａによって取得された各分割エリアのエッジ強度、輝度および彩度それぞれのヒストグラムを生成する（ステップＳ２０２）。

そして、付着物判定部１１ｃが、ヒストグラム生成部１１ｂによって生成された各ヒストグラムのフレーム間の変化量に基づき、分割エリアごとの付着物の存否を判定する（ステップＳ２０３）。

ここで、付着物ありと判定された場合（ステップＳ２０４，Ｙｅｓ）、付着物判定部１１ｃは、たとえば除去判定装置５へ当該分割エリアを通知する（ステップＳ２０５）。また、付着物なしと判定された場合（ステップＳ２０４，Ｎｏ）、付着物判定部１１ｃは、ステップＳ２０６へ制御を移す。

そして、制御部１１が、処理終了イベントがあるか否かを判定する（ステップＳ２０６）。処理終了イベントは、たとえばＩＧオフやＡＣＣオフなどに対応する。ここで、処理終了イベントがないと判定された場合（ステップＳ２０６，Ｎｏ）、ステップＳ２０１からの処理を繰り返す。また、処理終了イベントがあると判定された場合（ステップＳ２０６，Ｙｅｓ）、付着物検出装置１０は、処理を終了する。

上述してきたように、第２の実施形態に係る付着物検出装置１０は、付着物判定部１１ｃが、ヒストグラム生成部１１ｂによって生成されたヒストグラムの現フレーム分と過去フレーム分との間の変化量に基づいて付着物の存否を判定する。

したがって、第２の実施形態に係る付着物検出装置１０によれば、付着物が、たとえば輪郭がにじんでしまい、エッジとしては検出しにくい雨滴などの場合であっても、フレーム間の変化量にあらわれる雨滴の特徴に基づき、付着物として検出しやすくすることができる。すなわち、付着物の検出精度をより高めることができる。

（第３の実施形態）
次に、第３の実施形態として、これまで説明してきた付着物検出装置１０の機能を含んで構成され、付着物の検出から付着物を除去するまでの全体処理を制御する除去制御装置５０の構成について、図１５〜図１９を用いて説明する。

図１５は、本実施形態に係る付着物除去システム１のブロック図である。なお、図１５では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図１５に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図１６Ａは、付着物検出部５１ａからの通知内容の一例を示す図である。また、図１６Ｂは、検出情報ＤＢ（データベース）５２ａに含まれる検出エリアＤａに関するデータ内容の一例を示す図である。また、図１６Ｃは、検出エリアＤａの状態の説明図である。

図１５に示すように、付着物除去システム１は、カメラ２と、付着物除去装置３と、除去制御装置５０とを含む。カメラ２および付着物除去装置３については既に述べたため、ここでの説明を省略する。

除去制御装置５０は、制御部５１と、記憶部５２とを備える。制御部５１は、複数の付着物検出部５１ａ（たとえば付着物検出部５１ａ−１，−２，−３…）と、除外部５１ｂと、アルゴリズム間重なり判定部５１ｃと、フレーム間重なり判定部５１ｄと、付着判定部５１ｅと、除去要否判定部５１ｆと、指示部５１ｇとを備える。

記憶部５２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、検出情報ＤＢ５２ａを記憶する。

制御部５１は、除去制御装置５０全体を制御する。複数の付着物検出部５１ａは、それぞれカメラ２からカメラ画像を１フレーム分ずつ取得し、それぞれに対応付けられた検出アルゴリズムを用いてカメラ画像の中から付着物が存在すると推定される検出エリアＤａを抽出する。また、付着物検出部５１ａは、抽出した検出エリアＤａを除外部５１ｂへ通知する。

なお、上述した第２の実施形態に係る付着物検出装置１０は、かかる本実施形態の複数の付着物検出部５１ａのいずれかに対応する。

ここで、付着物検出部５１ａからの通知内容には、図１６Ａに示すように、たとえば矩形で抽出された検出エリアＤａの左上座標（ｘ，ｙ）と、幅ｗと、高さｈとが含まれる。

除外部５１ｂは、付着物検出部５１ａから通知される検出エリアＤａのそれぞれについて画像解析を行い、かかる検出エリアＤａに存在すると推定される付着物が本当に付着物であるか否かを判定する。

また、除外部５１ｂは、その判定結果により付着物であると判定される検出エリアＤａについては、かかる検出エリアＤａをアルゴリズム間重なり判定部５１ｃへ通知する。一方、除外部５１ｂは、その判定結果により付着物でないと判定される検出エリアＤａについては、アルゴリズム間重なり判定部５１ｃへの通知を行わず、後段の処理対象から除外する。このように、無用の画像領域を除外することにより、付着物の検出の精度を高められるとともに、後段の処理の処理負荷を軽減することができる。

なお、上述した第１の実施形態に係る付着物検出装置１０は、かかる本実施形態の除外部５１ｂに対応する。

アルゴリズム間重なり判定部５１ｃは、現フレームでの複数アルゴリズム間での検出エリアＤａの重なり、すなわち、付着物検出部５１ａのそれぞれで抽出された検出エリアＤａ間の重複部分の存否を判定する。また、アルゴリズム間重なり判定部５１ｃは、その判定結果を各検出エリアＤａの「得点」として反映する。反映結果は、検出情報ＤＢ５２ａ上で管理される。アルゴリズム間重なり判定部５１ｃが実行する判定処理の詳細については、図１７Ａ〜図１７Ｄを用いて後述する。

フレーム間重なり判定部５１ｄは、現フレームに関するアルゴリズム間重なり判定部５１ｃの処理結果すべてに対し、過去フレームで抽出済みである検出エリアＤａとの重なりの存否を判定する。また、フレーム間重なり判定部５１ｄは、その判定結果を各検出エリアＤａの「得点」および「状態」に反映する。反映結果は、検出情報ＤＢ５２ａ上で管理される。

ここで、検出情報ＤＢ５２ａは、図１６Ｂに示すように、たとえば「検出エリアＩＤ」項目と、「エリア情報」項目と、「得点」項目と、「状態」項目とを含む。「検出エリアＩＤ」項目には、検出エリアＤａの識別子が格納され、検出情報ＤＢ５２ａは、かかる検出エリアＩＤごとに管理される。

「エリア情報」項目には、図１６Ａで示した検出エリアＤａの左上座標（ｘ，ｙ）や、幅ｗ、高さｈなどが格納される。「得点」項目には、検出エリアＤａそれぞれの現状の得点が格納される。「状態」項目には、検出エリアＤａそれぞれの現状の状態（ステート）が格納される。

図１６Ｃにステートマシン図として示すように、各検出エリアＤａは、「ＩＤＬＥ」、「潜伏」、「観察」、「ペナルティ」という４つの状態に遷移し得る。「ＩＤＬＥ」は、「未検出状態」、すなわち付着物が付着していない状態を指す。「潜伏」は、「付着物付着の可能性あり」の状態を指す。

「観察」は、付着物除去装置３による付着物の除去動作が行われた「除去処理後の観察状態」を指す。「ペナルティ」は、「除去処理後も当該エリアで付着物が検出され続けている状態」、すなわち、除去不良か誤検出の状態を指す。

フレーム間重なり判定部５１ｄは、判定した判定結果に応じ、検出情報ＤＢ５２ａ上で各検出エリアＤａの「得点」を更新し、「状態」を遷移させる。

図１５の説明に戻る。付着判定部５１ｅは、検出情報ＤＢ５２ａの検出エリアＤａの「状態」と「得点」に応じ、付着物の「付着確定」を判定する。

除去要否判定部５１ｆは、付着判定部５１ｅによって「付着確定」と判定された場合に、実際に付着物除去装置３に付着物の除去動作を行わせるか否かを判定する。フレーム間重なり判定部５１ｄ、付着判定部５１ｅおよび除去要否判定部５１ｆが実行する処理の詳細については、図１８Ａ〜図１８Ｅを用いて後述する。

指示部５１ｇは、除去要否判定部５１ｆによって、付着物の除去が必要と判定された場合に、付着物除去装置３に除去動作を行わせる指示信号を生成して、かかる指示信号を付着物除去装置３へ送出する。

なお、上述した第１および第２の実施形態に係る除去判定装置５は、本実施形態のアルゴリズム間重なり判定部５１ｃ、フレーム間重なり判定部５１ｄ、付着判定部５１ｅ、除去要否判定部５１ｆおよび指示部５１ｇに対応する。

次に、アルゴリズム間重なり判定部５１ｃが実行する判定処理の詳細について、図１７Ａ〜図１７Ｄを用いて説明する。図１７Ａ〜図１７Ｄは、アルゴリズム間重なり判定部５１ｃの処理説明図（その１）〜（その４）である。

上でも既に述べたが、図１７Ａに示すように、アルゴリズム間重なり判定部５１ｃは、現フレームでの複数アルゴリズム間での検出エリアＤａの重なりの存否を判定する。具体的には、図１７Ａに示すように、たとえば付着物検出アルゴリズム−１の検出エリアＤａ−１のすべてと、付着物検出アルゴリズム−２の検出エリアＤａ−２のすべてとの重なりを判定する。これは、付着物検出アルゴリズム−１と付着物検出アルゴリズム−ｎとの間、または、付着物検出アルゴリズム−２と付着物検出アルゴリズム−ｎとの間についても同様である。

なお、図１７Ｂに示すように、たとえば検出エリアＤａ−１と検出エリアＤａ−２との重なりは、それぞれの重心からの距離ｄによって判定される。

そして、図１７Ｃに示すように、アルゴリズム間重なり判定部５１ｃは、たとえば検出エリアＤａ−１と検出エリアＤａ−２との間に重なりがあると判定した場合に、検出エリアＤａ−１および検出エリアＤａ−２それぞれの得点に加点する。

これにより、重なりが存在しない検出エリアＤａに対し、重なりが存在する検出エリアＤａ−１および検出エリアＤａ−２の方が、付着物の存在する可能性が高いことを示すことができる。

また、図１７Ｄに示すように、たとえば検出エリアＤａ−１および検出エリアＤａ−２に重なりが存在する場合に、アルゴリズム間重なり判定部５１ｃは、これら検出エリアＤａ−１および検出エリアＤａ−２のエリア情報を更新する。

たとえば図１７Ｄの（ａ）に示すように、検出エリアＤａ−１を優先して、検出エリアＤａ−１にエリア情報を統合する。また、図１７Ｄの（ｂ）に示すように、逆に検出エリアＤａ−２を優先して、検出エリアＤａ−２にエリア情報を統合する。

また、図１７Ｄの（ｃ）に示すように、論理積をとって、重なり部分のみの検出エリアＤａ−Ａにエリア情報を統合する。また、図１７Ｄの（ｄ）に示すように、検出エリアＤａ−１および検出エリアＤａ−２の論理和に対応する検出エリアＤａ−Ｓにエリア情報を統合してもよい。

また、図１７Ｄの（ｅ）に示すように、検出エリアＤａ−１および検出エリアＤａ−２のいずれをも含むように拡張した検出エリアＤａ−Ｅにエリア情報を統合してもよい。

次に、フレーム間重なり判定部５１ｄ、付着判定部５１ｅおよび除去要否判定部５１ｆが実行する処理の詳細について、図１８Ａ〜図１８Ｅを用いて説明する。図１８Ａ〜図１８Ｃは、フレーム間重なり判定部５１ｄの処理説明図（その１）〜（その３）である。

また、図１８Ｄは、フレーム間重なり判定部５１ｄおよび付着判定部５１ｅの処理説明図である。また、図１８Ｅは、除去要否判定部５１ｆの処理説明図である。

上でも既に述べたが、図１８Ａに示すように、フレーム間重なり判定部５１ｄは、現フレームに関するアルゴリズム間重なり判定部５１ｃの処理結果すべてに対し、過去フレームで抽出済みである各検出エリアＤａとの重なりの存否を判定する。

具体的には、図１８Ｂに示すように、現フレームの検出エリアＤａ−Ｃのすべてと、過去フレームの検出エリアＤａ−Ｐのすべてとの重なりを判定する。なお、重なりについての考え方は、アルゴリズム間重なり判定部５１ｃの場合と同様であってよい。

そして、図１８Ｂに示すように、フレーム間重なり判定部５１ｄは、現フレームの検出エリアＤａ−Ｃと過去フレームの検出エリアＤａ−Ｐとの間に重なりがあると判定した場合に、検出エリアＤａ−Ｃおよび検出エリアＤａ−Ｐそれぞれの得点に加点する。

これにより、フレーム間重なり判定部５１ｄは、たとえば、フレームを隔ててなおレンズ２ａのほぼ同一の領域に存在する付着物を示すことができる。

一方、図１８Ｃに示すように、フレーム間重なり判定部５１ｄは、過去フレームの検出エリアＤａ−Ｐにつき、現フレームの検出エリアＤａ−Ｃのいずれとも重なりが存在しないものについては、得点を減点する。

また、フレーム間重なり判定部５１ｄは、現フレームの検出エリアＤａ−Ｃにつき、過去フレームの検出エリアＤａ−Ｐのいずれとも重なりが存在しないものについては、新規の検出エリアＤａであるとして、検出情報ＤＢ５２ａへ新規登録する。

新規登録される検出エリアＤａは、図１８Ｄに示すように、「潜伏」状態となり、所定の得点を付与される。そして、かかる「潜伏」状態から、前述の「加点」や「減点」を経ることで変化する検出エリアＤａの得点に応じ、フレーム間重なり判定部５１ｄおよび付着判定部５１ｅは、検出エリアＤａの状態を遷移させる。

たとえば、図１８Ｄに示すように、フレーム間重なり判定部５１ｄは、「潜伏」状態にある検出エリアＤａの得点が所定点以下となった場合、かかる検出エリアＤａの状態を「潜伏」から「ＩＤＬＥ」へ遷移させる（ステップＳ１１）。これにより、たとえば流れ落ちるなどして移動し、除去するまでもない雨滴等の付着物に対し、除去処理を行ってしまう誤反応を防止することができる。

また、「潜伏」状態にある検出エリアＤａの得点が所定点以上となった場合、付着判定部５１ｅは、当該エリアに対する付着物の付着を確定（付着確定）させる（ステップＳ１２）。

また、付着判定部５１ｅは、付着確定後、「潜伏」状態にあるすべての検出エリアＤａを「観察」状態へ遷移させる（ステップＳ１３）。これは、仮に１つの検出エリアＤａの付着確定に応じて除去処理が行われた場合、付着確定されていなかった「潜伏」状態の他の検出エリアＤａについても、通常であれば付着物は除去されたと推定されるためである。

なお、フレーム間重なり判定部５１ｄは、除去処理が行われて「観察」状態にある検出エリアＤａの得点が所定点以上となった場合、検出エリアＤａを「ペナルティ」状態へ遷移させる（ステップＳ１４）。これにより、除去処理後も付着物が検出され続けている除去不良または誤検出を把握することができる。

また、フレーム間重なり判定部５１ｄは、「観察」状態または「ペナルティ」状態にある検出エリアＤａの得点が所定点以下となった場合、検出エリアＤａを「ＩＤＬＥ」状態へ遷移させる（ステップＳ１５）。

なお、図１８Ｄにおいて「加点」および「減点」を示している矢印の傾きを調整することによって、付着確定までの反応速度を制御してもよい。たとえば加点量および減点量を大きくして上記矢印の傾きを急にすることによって、付着物の検出から除去処理までの反応速度を上げることができる。

また、付着確定がなされた検出エリアＤａであっても、あえて除去動作を行わないようにしてもよい。たとえば、除去要否判定部５１ｆは、図１８Ｅに示すように、付着確定がなされた検出エリアＤａが、画面の外周にほぼ沿ったスキップ領域に存在するならば、除去処理の実行を不要と判定することができる。

このように、搭乗者の視認や運転動作に影響の少ない画像領域に付着した付着物についてはその除去処理自体をスキップすることで、システム全体の処理負荷を軽減することができる。

次に、本実施形態に係る付着物除去システム１が実行する処理手順について、図１９を用いて説明する。図１９は、付着物除去システム１が実行する処理手順を示すフローチャートである。

まず、複数の付着物検出部５１ａが、それぞれ１フレーム分のカメラ画像を取得する（ステップＳ３０１）。そして、たとえば付着物検出部５１ａ−１は、付着物検出アルゴリズム−１を用いて検出エリアＤａ−１を抽出する（ステップＳ３０２）。

また、たとえば付着物検出部５１ａ−２は、付着物検出アルゴリズム−２を用いて検出エリアＤａ−２を抽出する（ステップＳ３０３）。また、たとえば付着物検出部５１ａ−ｎは、付着物検出アルゴリズム−ｎを用いて検出エリアＤａ−ｎを抽出する（ステップＳ３０４）。

そして、除外部５１ｂが、付着物検出部５１ａによって抽出され、通知される検出エリアＤａのそれぞれにつき、除外処理を行う（ステップＳ３０５）。すなわち、除外部５１ｂは、検出エリアＤａに存在すると推定される付着物が本当に付着物であるか否かを判定し、付着物でなければ、これに対応する検出エリアＤａを後段の処理対象から除外する。

なお、かかる除外処理自体は、たとえば省略されてもよい。これにより、システム全体に対する処理負荷を軽減することができる。

つづいて、アルゴリズム間重なり判定部５１ｃが、アルゴリズム間重なり判定処理を行う（ステップＳ３０６）。すなわち、アルゴリズム間重なり判定部５１ｃは、現フレームでの複数アルゴリズム間での検出エリアＤａの重なりの存否を判定し、その判定結果に応じて検出エリアＤａの得点を更新する。

そして、フレーム間重なり判定部５１ｄが、フレーム間重なり判定処理を行う（ステップＳ３０７）。すなわち、フレーム間重なり判定部５１ｄは、アルゴリズム間重なり判定部５１ｃの処理結果すべてに対し、過去フレームで抽出済みである各検出エリアＤａとの重なりの存否を判定し、その判定結果に応じて検出エリアＤａの得点および状態を更新する。

そして、付着判定部５１ｅが、付着判定処理を行う（ステップＳ３０８）。すなわち、付着判定部５１ｅは、フレーム間重なり判定部５１ｄによって更新された検出情報ＤＢ５２ａの検出エリアＤａの得点および状態に応じ、付着物の付着確定を判定する。

そして、除去要否判定部５１ｆが、付着判定部５１ｅによって「付着確定」と判定された場合に、実際に付着物除去装置３による付着物の除去が必要か否かを判定する（ステップＳ３０９）。

ここで、「除去要」であると判定された場合（ステップＳ３０９，Ｙｅｓ）、指示部５１ｇが、付着物除去装置３へ指示信号を送出して、付着物除去装置３に除去動作を行わせる除去処理を実行する（ステップＳ３１０）。一方、「除去要」でないと判定された場合（ステップＳ３０９，Ｎｏ）、指示部５１ｇは、除去処理を実行しない。

そして、制御部５１が、処理終了イベントがあるか否かを判定する（ステップＳ３１１）。処理終了イベントは、たとえばＩＧオフやＡＣＣオフなどに対応する。ここで、処理終了イベントがないと判定された場合（ステップＳ３１１，Ｎｏ）、ステップＳ３０１からの処理を繰り返す。また、処理終了イベントがあると判定された場合（ステップＳ３１１，Ｙｅｓ）、付着物除去システム１は、処理を終了する。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物除去システム
２ カメラ
３ 付着物除去装置
５ 除去判定装置
１０ 付着物検出装置
１１ａ 対象エリア取得部
１１ｂ ヒストグラム生成部
１１ｃ 付着物判定部
１１ｄ 条件調整部
１２ａ 条件情報
５０ 除去制御装置
５１ａ 付着物検出部
５１ｂ 除外部
５１ｃ アルゴリズム間重なり判定部
５１ｄ フレーム間重なり判定部
５１ｅ 付着判定部
５１ｆ 除去要否判定部
５１ｇ 指示部
５２ａ 検出情報ＤＢ

Claims (9)

1. 撮像画像中における付着物の判定対象エリアを取得する取得部と、
   前記取得部によって取得された前記判定対象エリアにつき、少なくともエッジ強度、輝度および彩度のヒストグラムを生成する生成部と、
   前記生成部によって生成された前記ヒストグラムそれぞれの各階級の度数の割合に基づき、前記判定対象エリアにおける前記付着物の存否を判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記取得部は、
   前記撮像画像に基づき、予め所定の検出アルゴリズムが実行されることによって前記付着物が存在すると推定された検出エリアを前記判定対象エリアとして取得し、
   前記判定部は、
   前記生成部によって生成された前記ヒストグラムの各階級の度数の割合が所定の除外条件を満たす場合に、前記検出エリアに前記付着物は存在しないと判定して該検出エリアを後段の処理対象から除外すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記生成部は、
   前記判定対象エリアの前記エッジ強度、輝度および彩度のそれぞれにつき、少なくとも弱、中および強の３階級で分類された前記ヒストグラムを生成し、
   前記除外条件は、
   前記付着物の特徴に適合しないように、前記エッジ強度、輝度および彩度それぞれの前記３階級ごとの割合が組み合わされた条件であること
   を特徴とする請求項２に記載の付着物検出装置。
4. 前記判定部は、
   前記生成部によって生成された前記ヒストグラムの現フレーム分と過去フレーム分との間の変化量に基づいて前記付着物の存否を判定すること
   を特徴とする請求項１、２または３に記載の付着物検出装置。
5. 前記取得部は、
   前記撮像画像について設定された複数の分割エリアをそれぞれ前記判定対象エリアとして取得し、
   前記判定部は、
   前記生成部によって生成された前記ヒストグラムに基づく前記変化量が所定の検出条件を満たす前記分割エリアにつき、前記付着物が存在すると判定すること
   を特徴とする請求項４に記載の付着物検出装置。
6. 前記検出条件は、前記分割エリアごとに設定可能であること
   を特徴とする請求項５に記載の付着物検出装置。
7. 前記検出条件の調整に適する所定のトリガが生じた場合に、該検出条件を調整する条件調整部
   を備え、
   前記条件調整部は、
   前記判定対象エリアの位置が前記撮像画像の下段の領域内である場合に、前記検出条件が強化されるように調整すること
   を特徴とする請求項５または６に記載の付着物検出装置。
8. 前記生成部は、
   前記ヒストグラムの生成に際し、前記判定対象エリアのサイズを基準となるサイズに拡縮すること
   を特徴とする請求項１〜７のいずれか一つに記載の付着物検出装置。
9. 撮像画像中における付着物の判定対象エリアを取得する取得工程と、
   前記取得工程によって取得された前記判定対象エリアにつき、少なくともエッジ強度、輝度および彩度のヒストグラムを生成する生成工程と、
   前記生成工程によって生成された前記ヒストグラムそれぞれの各階級の度数の割合に基づき、前記判定対象エリアにおける前記付着物の存否を判定する判定工程と
   を含むことを特徴とする付着物検出方法。