JP2017138736A - 画像処理装置及び水滴除去システム - Google Patents

Abstract

【課題】撮像画像に基づいてカメラへの水滴の付着を判定することができる画像処理装置及び水滴除去システムを提供する。【解決手段】実施形態に係る画像処理装置は、検出部と、推定部と、判定部とを備える。検出部は、撮像部で取得された撮像画像において輝度の変化が所定の閾値よりも大きい点であるエッジ点の集合から円弧状領域を検出する。推定部は、円弧状領域に基づいて当該円弧状領域に対応する円を推定する。判定部は、円内における輝度の変化に基づいて撮像部に水滴が付着しているか否かを判定する。【選択図】図１

Description

本発明は、画像処理装置及び水滴除去システムに関する。

従来、車両に搭載され、車両の周辺の映像を撮像する撮像部としてのカメラが知られており、かかるカメラによって撮像された映像は、例えば運転者へ提供される。

上記したカメラのレンズには、例えば降雨や降雪等の影響によって雨滴や雪などの水滴が付着することがある。そこで、水滴を除去するため、運転者が手動で操作して、カメラのレンズに対して圧縮空気などを噴出するようにした水滴除去装置が提案されている（例えば、特許文献１参照）。

特開２０１４−０３７２３９号公報

しかしながら、水滴除去装置を手動で操作する場合、カメラから常時水滴を除去することは非常に困難である。このため、撮像画像に基づいてカメラへの水滴の付着を自動的に判定できる技術が求められている。特にカメラで路上の白線やマークを検出して自車位置を高精度に認識するシステムなどのように、撮像画像の認識が常時必要なシステムでは、カメラへ水滴が付着していた場合は、自車位置の認識精度が低下する恐れがある。

実施形態の一態様は、上記に鑑みてなされたものであって、撮像画像に基づいて撮像部への水滴の付着を判定することができる、画像処理装置及び水滴除去システムを提供することを目的とする。

実施形態の一態様は、画像処理装置において、検出部と、推定部と、判定部とを備える。検出部は、撮像部で取得された撮像画像の各画素のエッジの強度に基づいて、撮像部に付着した水滴の影響を受けた水滴領域の候補となる候補領域を検出する。推定部は、候補領域に基づいて候補領域に対応する円を推定する。判定部は、円内におけるエッジの強度に基づいて候補領域が水滴領域であるか否かを判定する。

実施形態の一態様によれば、撮像画像に基づいて、撮像部への水滴の付着を判定することができる。

図１は、実施形態に係る画像処理装置の判定メカニズムを示す図である。 図２は、第１の実施形態に係る画像処理装置及び水滴除去システムの構成を示すブロック図である。 図３は、第１の実施形態に係る画像処理の概要を示す図である。 図４は、第１の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。 図５は、第１の実施形態の変形例に係る画像処理の概要を示す図である。 図６は、第１の実施形態の変形例に係る画像処理装置が実行する処理手順を示すフローチャートである。 図７は、第１の実施形態の別の変形例に係る画像処理の概要を示す図である。 図８は、第１の実施形態のさらに別の変形例に係る画像処理の概要を示す図である。 図９は、第２の実施形態に係る画像処理装置及び水滴除去システムの構成を示すブロック図である。 図１０は、第２の実施形態に係る画像処理の概要を示す図である。 図１１は、第２の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。 図１２は、第２の実施形態の変形例に係る画像処理の概要を示す図である。 図１３は、第２の実施形態の変形例に係る画像処理装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する画像処理装置及び水滴除去システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下では、カメラが車両の後部に配置され、車両の後方を撮像するカメラに付着した水滴を判定する場合を例にとって説明を行う。

また、以下では、実施形態に係る画像処理装置の判定メカニズムについて図１を用いて説明した後に、実施形態に係る画像処理装置及び水滴除去システムの具体的な構成について、図２以降を用いて説明することとする。

（実施形態の判定メカニズム）
図１は、実施形態に係る画像処理装置の判定メカニズムを示す図である。カメラに水滴が付着した状態で、車両の周囲を撮像した撮像画像１００の一例を図１に示す。撮像画像１００には、カメラのレンズに付着した水滴の影響を受けてぼやけた水滴領域（水滴の像）が含まれている。水滴領域は、灰色にぼやけた略円形状の領域と、灰色にぼやけた領域を囲む黒くぼやけた略円弧形状の領域とを含んでいる。

上述の灰色でぼやけた略円形状の領域は、水滴の薄い中央部分に起因しており、黒くぼやけた略円弧形状の領域は、水滴の厚いフチ部分に起因している。

ところで、従来の水滴除去装置では、装置を手動で操作する必要がある。そのため、カメラで路上の白線やマークを検出し、自車位置を高精度に認識するシステムなどでは、このように水滴領域を含むことにより撮像画像が不明瞭になった場合、手動で水滴除去装置を操作するまでは、路上の白線やマークを検出することができない。その結果、自車位置の認識精度が低下する恐れがある。

そこで、実施形態に係る画像処理装置にあっては、カメラで得られた撮像画像中に水滴領域が含まれるか否かを判定して、カメラに水滴が付着しているか否かを判定することとした。また、実施形態に係る水滴除去システムでは、画像処理装置の判定結果に基づいて自動的に水滴を除去できるような構成とした。以下、本実施形態の判定メカニズムについて詳しく説明する。

まず、上述の撮像画像１００に対して周知のエッジ検出処理を行い、各画素のエッジの強度（輝度の変化の大きさ）を検出する。すると、そして、エッジの強度が特定範囲となる画素の集合を抽出することにより、水滴領域の候補となる候補領域１が検出される。この候補領域１は、図１下に示すように、上述の円弧形状の黒くぼやけた領域に対応する。これは、黒くぼやけた領域に含まれる画素は、エッジの強度が、所定の第１閾値以上、かつ、所定の第２閾値以下の特定範囲内となることが実験などにより判明したためである。そして、検出された候補領域１に含まれる複数の注目点に基づき、候補領域１に対応する円１ａを推定することができる。

そして、推定した円１ａの中心２から所定の範囲内である中心領域２ａのエッジの強度が所定の閾値よりも低くなれば、候補領域１が水滴領域（正確には水滴領域の一部）であると判定される。これは、上述の灰色でぼやけた領域内の輝度の変化が比較的小さく、比較的低周波の領域となるためである。

また、水滴領域のうち黒くぼやけた領域は、水滴の厚いフチ部分の形状に起因して、所定の長さ以上の幅を有する。そして、黒くぼやけた領域内の各画素のエッジの向きは、水滴領域の中心に向かって互いに収束する向きを向いている。このため、候補領域１に含まれる画素のエッジの向きに基づいて、候補領域が水滴領域であるか否かを判定することも可能である。

エッジの向きは、撮影画像における水平方向及び垂直方向に沿った互いに直交する二軸のそれぞれのエッジの強度に基づくベクトルが示すものである。例えば、エッジの向きは、輝度が小さい方から輝度が大きい方に向いているのが、正のベクトルとなる。

以下に示す第１の実施形態では、上述の候補領域１から推定される円１ａの内部におけるエッジの強度に基づいて、カメラに水滴が付着しているか否かを判定する場合について説明する。また、以下に示す第２の実施形態では、候補領域１内の画素のエッジの向きに基づいて、カメラに水滴が付着しているか否かを判定する場合について説明する。いずれの実施形態をとった場合においても、撮像画像に基づいてカメラに水滴が付着しているか否かを良好に判定することができる。

（第１の実施形態）
以下、実施形態の具体的な構成について説明していく。図２は、第１の実施形態に係る画像処理装置及び水滴除去システムの構成を示すブロック図である。

図２に示す水滴除去システム１１は、画像処理装置２０と、水滴除去装置３０とを備える。

画像処理装置２０は、撮像部であるカメラ１０で取得された撮像画像１００に基づいて、カメラ１０に水滴が付着しているか否かを判定し、判定結果を水滴除去装置３０に送る。画像処理装置２０の詳細な構成については後述する。

水滴除去装置３０は、画像処理装置２０から送られた判定結果に基づき、撮像部であるカメラ１０に付着した水滴を自動的に除去する。水滴除去装置３０は、例えば、空気圧縮部、ホース及びノズルを備え、空気圧縮部で生成された圧縮空気を、ホースを経由してノズルからカメラ１０へ向けて噴出させて、水滴を除去する。なお、水滴除去装置３０はこれに限られず、例えばウォッシャ液をカメラ１０へ向けて噴出させたり、カメラワイパでカメラ１０を拭ったりしてもよい。

第１の実施形態に係る水滴除去システム１１は、撮像画像１００に基づいて、カメラ１０に水滴が付着しているかを判定し、その判定結果に基づいて、カメラ１０に付着した水滴を自動的に除去することができる。そのため、カメラ１０から常時水滴を除去することができる。

水滴除去システム１１によって水滴が除去されるカメラ１０は、例えばレンズを介して映像を取得したり、車両周辺の物標の情報などを取得したりする光学センサであればよい。具体的には、例えば車両前方を撮像するフロントカメラや車両側方を撮像するサイドカメラ、車両後方を撮像するバックカメラなど、種々の光学センサを対象とすることができる。

画像処理装置２０は、制御部２１と、記憶部２５とを備える。制御部２１は、撮像画像１００のエッジ検出処理や検出結果に基づく推定処理、水滴が付着しているか否かの判定処理などを行う。記憶部２５は、制御部２１での検出処理や推定処理、判定処理などを行う際に用いる各種処理条件や各種パラメータをあらかじめ記憶し、記憶した各種処理条件や各種パラメータを適宜制御部２１に送る。さらに、記憶部２５には、制御部２１内で行われた検出結果や推定結果などが制御部２１から送られて、検出結果や推定結果などが記憶される。

そして、制御部２１は、検出部２２と、推定部２３と、判定部２４とを備える。

検出部２２は、撮像部であるカメラ１０で取得された撮像画像１００を受け取る。そして、検出部２２は、撮像画像１００をエッジ検出処理して、各画素のエッジの強度を導出する。そして、検出部２２は、導出されたエッジの強度が特定範囲にある画素の集合を、水滴の影響を受けてぼやけた水滴領域の候補となる候補領域１として検出する。候補領域１が水滴領域である場合は、この候補領域１は略円弧形状となるため、略円弧形状の円弧状領域のみを候補領域１として検出することが望ましい。そして、検出部２２は、エッジの強度の導出結果や候補領域１の検出結果を記憶部２５に記憶する。記憶部２５に記憶された候補領域１は、判定部２４による判定対象となる。

推定部２３は、候補領域１の検出結果を受け取る。そして、推定部２３は、候補領域１の検出結果に基づいて、候補領域１を内接させるように対応する円１ａを推定する。そして、推定部２３は、円１ａの推定結果を記憶部２５に記憶する。

判定部２４は、記憶部２５に記憶された、エッジの強度の導出結果や候補領域１の検出結果、円１ａの推定結果などを受け取る。そして、判定部２４は、上述の抽出結果や検出結果、推定結果などに基づいて、記憶部２５に判定対象として記憶された候補領域１が水滴領域か否かを判定して、カメラ１０の水滴の付着を判定する。そして、判定結果を水滴除去装置３０に送る。

以下、制御部２１における画像処理について、図３及び図４を用いてより具体的に説明する。

図３は、第１の実施形態に係る画像処理の概要を示す図である。図４は、第１の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。

検出部２２は、撮像部であるカメラ１０で取得された撮像画像１００を受け取る。次に、検出部２２は、受け取った撮像画像１００に対して各画素の輝度について微分を行うなどの周知のエッジ検出法を用いてエッジを検出する。そして、検出部２２は、撮像画像１００の各画素のエッジの強度を導出する。なお、この例では、各画素の輝度を用いてエッジを検出することとしているが、各画素の色成分値（Ｒ値、Ｇ値、Ｂ値など）ごとにエッジを検出するようにしてもよい。この場合、色成分値ごとのエッジの強度の加算値あるいは最大値を当該画素のエッジの強度とすればよい。

次に、検出部２２は、導出されたエッジの強度が、所定の第１閾値以上、かつ、所定の第２閾値以下の特定範囲にある画素の集合を水滴領域の候補となる候補領域１として検出する（ステップＳ１０１）。この際、略円弧形状である円弧状領域のみを候補領域１として検出することが望ましい。

次に、推定部２３は、検出された候補領域１に基づいて、候補領域１が内接するように対応した円１ａを推定する（ステップＳ１０２）。ステップＳ１０２において、円１ａを推定する方法として、例えば以下の方法を用いることができる。

図３に示すように、推定部２３は、検出された候補領域１が内接された矩形１ｂと候補領域１との交点である、複数の注目点３ａ〜３ｄ（以下、総称として注目点３と記載）を抽出する。ここで、矩形１ｂは、例えば水平方向及び垂直方向に辺が伸びる矩形を選択することができる。その場合、注目点３としては、候補領域１の中で水平方向に最小の点（注目点３ａ）と、垂直方向に最大の点（注目点３ｂ）と、水平方向に最大の点（注目点３ｃ）と、垂直方向に最小の点（注目点３ｄ）がそれぞれ抽出される。なお、矩形１ｂは、必ずしも水平方向及び垂直方向に辺が伸びる矩形でなくてもよく、水平方向及び垂直方向から傾いて辺が伸びる矩形を選択してもよい。

そして、抽出された複数の注目点３から略等距離にある中心２を推定すれば、中心２を中心として複数の注目点３を通る円として、円１ａが推定される。なお、ここで推定した中心２は、複数の注目点３から完全に等距離である必要はない。例えば完全に等距離な点が画素と画素の間に位置する場合は、その周囲に含まれる複数の画素を中心２として推定してもよい。さらに、推定した円１ａは、全ての注目点３を通る必要は無く、例えば一部の注目点３については、その近傍を通ってもよい。

次に、判定部２４は、推定された円１ａ内のエッジの強度に基づいて、候補領域が水滴領域であるか否かを判定する。例えば、図３に示すように、判定部２４は、中心２から所定の範囲内である中心領域２ａのエッジの強度を判定する（ステップＳ１０３）。

ここで、中心領域２ａにおける平均的なエッジの強度が所定の閾値より低い場合には（ステップＳ１０３，Ｙｅｓ）、候補領域１は水滴領域（正確には、水滴領域の一部）であると判定する（ステップＳ１０４）。すなわち、判定部２４は、カメラ１０に水滴が付着していると判定する。

また、中心領域２ａにおける平均的なエッジの強度が所定の閾値より高い場合には（ステップＳ１０３，Ｎｏ）、候補領域１は水滴領域ではないと判定する（ステップＳ１０５）。

そして、判定部２４が判定結果を水滴除去装置３０に出力して（ステップＳ１０６）、処理を終了する。

第１の実施形態に係る画像処理装置２０は、円１ａ内の輝度の変化のうち、中心領域２ａはエッジの強度が低いことを利用して、水滴の付着の判定を行っている。

第１の実施形態における中心領域２ａは、例えば、中心２を中心として、円１ａの半径４よりも小さい半径の円を用いることができる。中心領域２ａは、中心２を中心として、半径４の１／２よりも小さい円を用いることが好ましく、半径４の１／４よりも小さい円を用いることがより好ましい。

第１の実施形態においては、中心領域２ａにおける平均的なエッジの強度を判定しているが、中心領域２ａではなく、中心２に相当する一つの画素のエッジの強度のみを判定してもよい。この場合、判定部２４は、中心２のエッジの強度が所定の閾値より低い場合には、候補領域１は水滴領域であると判定し、中心２のエッジの強度が所定の閾値より高い場合には、候補領域１は水滴領域ではないと判定すればよい。

第１の実施形態のステップ１０３において、判定部２４は、検出部２２が導出したエッジの強度を用いて、判定を行っている。しかしながら、判定部２４は、検出部２２が導出したエッジの強度と異なるパラメータ（例えば、空間周波数など実質的にエッジの強度を示すパラメータ）を用いて判定を行ってもよい。

ここで、カメラ１０に水滴以外の付着物が付着した場合を想定する。この場合は、エッジの強度が特定範囲となる画素の集合としての候補領域１は円弧形状にはならず、例えば矩形状や円形状になる。また、候補領域１の中心領域２ａに対応する位置においてエッジの強度が低くならない。そのため、候補領域１が矩形状や円形状の場合、あるいは、候補領域１の中心領域のエッジの強度が高い場合は、カメラ１０に付着しているのは水滴ではないと判定できる。

したがって、第１の実施形態に係る画像処理装置によれば、カメラに付着した付着物が水滴であるか否かを高い精度で判定することができる。

（変形例１）
第１の実施形態の変形例１に係る画像処理装置２０について、図３を用いて説明する。

なお、以下に示す実施形態では、すでに示した実施形態と異なる構成要素について主に説明することとし、すでに示した実施形態と共通の構成については、同一の符号を付して説明を省略する場合がある。

第１の実施形態におけるステップＳ１０２で、円１ａが推定される。変形例１において、判定部２４は、推定された円１ａの半径４が所定の基準半径以下であるか否かを判定する。その理由は以下の通りである。

カメラ１０に付着した水滴の大きさが所定の大きさ以上になった場合、重力や車両の振動などにより水滴は落下する傾向がある。そのため、所定の大きさ以上である候補領域については、水滴領域ではなく例えば別の付着物に関する領域とみなすことができる。

そして、判定部２４は、円１ａの半径４が基準半径以下である場合には、処理はステップＳ１０３へ進み、上述した処理がなされる。したがって、この場合においても、中心領域２ａにおけるエッジの強度が所定の閾値より低い場合には、判定部２４は、候補領域１は水滴領域であると判定する。

一方、円１ａの半径４が基準半径を超える場合には、当該候補領域１は水滴領域ではないと判定する。

上述の基準半径の値については、付着物の物理的な大きさに基づいて、カメラ１０のレンズの大きさや、撮像素子の大きさ・解像度などから算出される。

このような変形例１に係る画像処理装置によれば、カメラ１０に付着した水滴をより高精度に判定することができる。

（変形例２）
第１の実施形態の変形例２に係る画像処理装置２０について、図５及び図６を用いて説明する。

図５は、第１の実施形態の変形例２に係る画像処理の概要を示す図である。図６は、第１の実施形態の変形例２に係る画像処理装置が実行する処理手順を示すフローチャートである。

変形例２では、水滴領域のうち黒くぼやけた領域（図１参照。）が所定の長さ以上の幅を有することを利用して、候補領域１の妥当性の判断を簡便に行う。

変形例２において、検出部２２は、候補領域１が内接された矩形１ｂと、候補領域１との交点である注目点３を選択する（ステップＳ２０１）。例えば、図５では注目点３ａ及び３ｂが選択されている。

次に、検出部２２は、選択された注目点３を、中心２に向けて所定の基準距離５１移動させる（ステップＳ２０２）。図５では、注目点３ａ、３ｂを中心２に向けて基準距離５１移動させた点は、それぞれ点６１ａ及び点６１ｂとなっている。

次に、検出部２２は、移動させた点が候補領域１に含まれるか否かを判定する（ステップＳ２０３）。

ここで、移動させた点が候補領域１に含まれる場合には（ステップＳ２０３，Ｙｅｓ）、検出部２２は、検出された候補領域１は水滴領域の蓋然性が高いため、この候補領域１を判定部２４の判定対象（水滴領域か否かを判定する対象）として記憶部２５内に保持する（ステップＳ２０４）。例えば、図５では、移動させた点６１ａ及び点６１ｂはいずれも候補領域１に含まれることから、候補領域１は判定部２４の判定対象として保持される。

また、移動させた点が候補領域１に含まれない場合には（ステップＳ２０３，Ｎｏ）、検出部２２は、検出されていた候補領域１は水滴領域の蓋然性が低いため、この候補領域１を記憶部２５から削除して、判定部２４の判定対象から除外する（ステップＳ２０５）。そして、処理を終了する。

変形例２において、基準距離５１の値は、標準的な水滴領域のうち黒くぼやけた領域（図１参照。）が有する幅を、実験等により求めて設定すればよい。

変形例２においては、水滴領域の候補となる候補領域１として妥当な領域を簡便に取捨選択することができる。そのため、制御部２１全体の処理量を低減することが可能となる。

したがって、変形例２に係る画像処理装置２０によれば、カメラ１０に付着した水滴をより高速に判定することができる。

（変形例３）
変形例２に係る画像処理装置２０において、注目点３から移動する点を追加することにより、候補領域１の検出精度を高めることができる。この変形例３について、同じく図５を用いて説明する。

変形例３では、水滴領域のうち黒くぼやけた領域（図１参照。）の内側および外側の画素はエッジの強度が特定範囲にないことを利用して、候補領域１の検出を行う。

変形例３において、検出部２２は、選択された注目点３を、中心２に向けて所定の基準距離５２移動させる（点６２ａ、点６２ｂ）。さらに、検出部２２は、選択された注目点３を、中心２から離れるように所定の基準距離５３移動させる（点６３ａ、点６３ｂ）。

次に、検出部２２は、移動させた点が候補領域１に含まれるか否かを判定する。ここで、移動させた点が候補領域１に含まれない場合には、検出部２２は、検出された候補領域１を判定部２４の判定対象として記憶部２５内に保持する。例えば、図５では、移動させた点６２ａ、６２ｂ、６３ａ、６３ｂはいずれも候補領域１に含まれないことから、候補領域１は判定部２４の判定対象として保持される。

変形例３において、検出部２２は、移動させた複数の点が全て候補領域１に含まれない場合に、検出された候補領域１を判定部２４の判定対象として記憶部２５内に保持している。これに対して、移動させた複数の点の全てが候補領域１に含まれなかったとしても、例えば、移動させた複数の点のうち過半数の点が候補領域１に含まれなかった場合に、検出部２２は、検出された候補領域１を判定部２４の判定対象として記憶部２５内に保持してもよい。

変形例３において、基準距離５２の値は、標準的な水滴領域のうち黒くぼやけた領域（図１参照。）が有する幅やその中心領域の大きさを、実験等により求めて設定すればよい。また変形例３において、基準距離５３の値は、移動後の点が黒くぼやけた領域から十分離れた箇所となるように設定すればよい。

変形例３は、変形例２と比較して、注目点３から移動させる点を増やすことにより、候補領域１の検出精度を向上させることができる。そのため、ノイズに起因する領域が候補領域１として検出された場合においても、水滴に起因する候補領域１のみを判定部２４の判定対象として正確に取捨選択することが可能となる。

したがって、変形例３に係る画像処理装置２０によれば、カメラ１０に付着した水滴をより高精度に判定することができる。

（変形例４）
第１の実施形態の変形例４に係る画像処理装置２０について、図７を用いて説明する。図７は、第１の実施形態の変形例４に係る画像処理の概要を示す図である。

重力で水滴が下に引き寄せられて厚いフチが形成される場合が多いため、水滴のフチに起因する水滴領域のうち黒くぼやけた領域に対応する候補領域１の形状は、おおよそ左右対称になる場合が多い。そこで、変形例４では、候補領域１の形状が、左右対称に近い形状であるかどうかを評価する。

変形例４において、推定部２３は、候補領域１が内接された矩形１ｂと、候補領域１との交点である３つの注目点３を選択する。例えば、図７に示すような下に凸である候補領域１の場合は、水平方向が最小である点（３ａ）と、垂直方向が最大である点（３ｂ）と、水平方向が最大である点（３ｃ）を注目点３として選択できる。

また、候補領域１は、上に凸である形状になる場合もある。これは、例えば、撮像画像１００の下部に水滴が付着し、黒くぼやけた領域が上側のみ撮像されるような場合である。このように上に凸である候補領域１の場合は、水平方向が最小である点と、水平方向が最大である点と、垂直方向が最小である点を注目点として選択できる。

上記いずれの場合においても、左右対称に近い形状であるかどうかを評価するために、候補領域１が突出する方向の外縁部に並んだ、候補領域１に沿って隣り合う３点を注目点３として選択すればよい。

次に、検出部２２は、選択された３つの注目点３ａ、３ｂ、３ｃの内、候補領域１に沿って隣り合う注目点３ａと注目点３ｂとの距離である第１距離５４と、同じく候補領域１に沿って隣り合う注目点３ｂと注目点３ｃとの距離である第２距離５５との比が、所定の範囲外であるか否かを判定する。

ここで、第１距離５４と第２距離５５との比が所定の範囲内の場合には、候補領域１は左右対称に近い形状であると判断できる。その場合、検出部２２は、検出された候補領域１を判定部２４の判定対象として記憶部２５内に保持する。

一方、第１距離５４と第２距離５５との比が所定の範囲外である場合には、検出部２２は、候補領域１として検出されていた領域を記憶部２５から削除し、判定部２４の判定対象から除外する。

変形例４においては、変形例２と同様、水滴領域の候補となる候補領域１として妥当な領域を簡便に取捨選択することができる。そのため、制御部２１全体の処理量を低減することが可能となる。

したがって、変形例４に係る画像処理装置によれば、カメラ１０に付着した水滴をより高速に判定することができる。

（変形例５）
第１の実施形態の変形例５に係る画像処理装置２０について、図８を用いて説明する。図８は、第１の実施形態の変形例５に係る画像処理の概要を示す図である。

図８にも示すように、検出された候補領域１に基づいて、それが内接するように対応した円１ａを推定することができる。候補領域１が円弧形状である場合、候補領域１の外縁部は円１ａの近傍に位置している。そこで、変形例５では、候補領域１の外縁部が円１ａの近傍に位置しているかどうかを評価する。

変形例５において、検出部２２は上述の注目点３を選択する。図８では、注目点３ａ、３ｂ、３ｃを選択している。なお、変形例５では、図８のように注目点３は３点選択してもよいし、１点や２点選択してもよい。注目点３を３点選択すれば、候補領域１のより広範囲の外縁部を評価できるため、好ましい。

次に、検出部２２は、選択された注目点３を、候補領域１の外縁に沿って所定の距離単位で移動させる。例えば、図８では、選択された３点の注目点３をそれぞれ時計回りに移動させている。そして、注目点３ａを移動させた点が点６４ａ、６４ｂとなり、注目点３ｂを移動させた点が点６４ｃ、６４ｄとなり、注目点３ｃを移動させた点が点６４ｅ、６４ｆとなる。

次に、検出部２２は、移動させた点６４と中心２との距離５６と、円１ａの半径４との比が所定の範囲外であるか否かを判定する。例えば、図８では、移動させた点６４ａ〜６４ｆに対応する距離５６ａ〜５６ｆと、半径４との比がそれぞれ所定の範囲外であるか否かを判定する。

ここで、移動させた点６４と中心２との距離５６と半径４との比が所定の範囲内の場合に、検出部２２は、検出された候補領域１を判定部２４の判定対象として記憶部２５内に保持する。また、距離５６と半径４との比が所定の範囲外である場合には、検出部２２は、候補領域１として検出されていた領域を、記憶部２５から削除して、判定部２４の判定対象から除外する。

変形例５においては、水滴以外の付着物に起因する崩れた形状の領域が候補領域１として検出された場合に、水滴に起因する候補領域１のみを判定部２４の判定対象として正確に取捨選択することが可能となる。

したがって、変形例５に係る画像処理装置によれば、カメラ１０に付着した水滴をより高精度に判定することができる。

また、変形例５における、注目点３から候補領域１の外縁に沿って移動させた点を用いて、候補領域１に対応した円１ａの推定精度を高めることができる。以下、この画像処理の具体的な方法について説明する。

推定部２３において、選択された複数の注目点３ａ、３ｂ、３ｃから略等距離にある、中心点候補を抽出する。また、注目点３ａ、３ｂ、３ｃから所定距離移動させた複数の点６４ａ、６４ｃ、６４ｅから略等距離にある、別の中心点候補を抽出する。さらに、注目点３ａ、３ｂ、３ｃから別の所定距離移動させた複数の点６４ｂ、６４ｄ、６４ｆから略等距離にある、さらに別の中心点候補を抽出する。このように、注目点３から候補領域１の外縁に沿ってそれぞれ移動させた点に基づいて、複数の中心点候補をそれぞれ抽出する。

次に、推定部２３において、抽出された複数の中心点候補に基づいて、中心２を推定する。例えば、複数の中心点候補の重心位置にある点を中心２として検出してもよいし、複数の中心点候補のうち、最も推定回数の多い点を中心２として推定してもよい。

このように、複数の中心点候補に基づいて中心２を推定することにより、ノイズなどにより注目点３の位置にずれが生じた場合においても、中心２の位置をより正確に検出することが可能となる。

（第２の実施形態）
続いて、第２の実施形態に係る画像処理装置２０ａの構成について説明する。第２の実施形態は、図１に示した判定メカニズムのうち、候補領域１内の各画素のエッジの向きに基づいて、カメラ１０への水滴の付着の判定を行う。

図９は、第２の実施形態に係る画像処理装置２０ａ及び水滴除去システム１１ａの構成を示すブロック図である。第１の実施形態と異なり、第２の実施形態は制御部２１ａが推定部２３ではなく算出部２６を備えている。

第２の実施形態に係る制御部２１ａは、検出部２２と、算出部２６と、判定部２４とを備える。検出部２２は、第１の実施形態と同様である。

算出部２６は、候補領域１の検出結果を受け取る。そして、算出部２６は、候補領域１内の各画素のエッジの向きを算出する。そして、算出部２６は、候補領域１内の各画素のエッジの向きの算出結果を記憶部２５に記憶する。

判定部２４は、エッジの強度の導出結果や候補領域１の検出結果、エッジの向きの算出結果などを受け取る。そして、判定部２４は、上述の抽出結果や検出結果、算出結果などに基づいて、カメラ１０の水滴の付着を判定し、判定結果を水滴除去装置３０に送る。

以下、制御部２１ａにおける画像処理について、図１０及び図１１を用いてより具体的に説明する。

図１０は、第２の実施形態に係る画像処理の概要を示す図である。図１１は、第２の実施形態に係る画像処理装置２０ａが実行する処理手順を示すフローチャートである。

検出部２２は、第１の実施形態と同様、カメラ１０で取得された撮像画像１００における各画素のエッジの強度を導出し、導出されたエッジの強度に基づいて候補領域１を検出する（ステップＳ１０１参照）。

次に、算出部２６は、撮像画像１００のエッジの強度に基づいて、候補領域１内における各画素のエッジの向きを算出する。例えば、算出部２６は、候補領域１が内接された矩形１ｂと候補領域１との交点である注目点３、及び注目点３から所定の範囲内にある周辺領域の、各画素のエッジの向きを算出する（ステップＳ３０１）。例えば、図１０に示すように、候補領域１内で水平方向に最小の点である注目点３ａを基点として、候補領域１内で注目点３ａからプラスマイナス５ピクセル以内の周辺領域を選択し、注目点３ａ及びその周辺領域の画素のエッジの向きを算出する。

また、算出部２６は、注目点３及びその周辺領域の各画素のエッジの向きのばらつきを評価する（ステップＳ３０２）。

次に、判定部２４は、候補領域１内の各画素のエッジの向きに基づいて、カメラ１０に水滴が付着しているか否かを判定する。例えば、第２の実施形態において、判定部２４は、注目点３及びその周辺領域の各画素のエッジの向きのばらつきが所定の範囲内か否かを判定する（ステップＳ３０３）。

検出された候補領域１が付着した水滴領域のうち黒くぼやけた略円弧状の領域（水滴のフチ）に対応している場合、所定の範囲内にある各画素のエッジの向きは、ある一定の方向（およそ円の中心の方向）に向かう傾向がある。例えば、図１０に示すように、水平方向に最小の点である注目点３ａを基点とした場合、その周辺領域のエッジの向きは、水平方向にプラスの方向に向かう傾向がある。

そこで、判定部２４は、注目点３及びその周辺領域の各画素のエッジの向きのばらつきが所定の範囲内である場合には（ステップＳ３０３，Ｙｅｓ）、候補領域１は水滴領域（正確には、水滴領域の一部）であると判定する（ステップＳ３０４）。すなわち、判定部２４は、カメラ１０に水滴が付着していると判定する。

また、各画素のエッジの向きのばらつきが所定の範囲外である場合には（ステップＳ３０３，Ｎｏ）、候補領域１は水滴領域ではないと判定する（ステップＳ３０５）。そして、判定部２４が判定結果を水滴除去装置３０に出力して（ステップＳ３０６）、処理を終了する。

第２の実施形態においては、候補領域１のうち注目点３ａからプラスマイナス５ピクセルの範囲内にある領域を、周辺領域として選択している。しかしながら、第２の実施形態に係る周辺領域はプラスマイナス５ピクセルの範囲に限られることはない。エッジの向きのバラツキが所定の範囲内になるような周辺領域を選択すればよい。また、周辺領域の基点として注目点３ａを選択しているが、別の注目点を選択してもよいし、注目点以外の候補領域１内の画素を選択してもよい。

また、第２の実施形態において、注目点３及びその周辺領域内のエッジの向きのバラツキは、各画素のエッジの向きの分散を計算して算出すればよい。

第２の実施形態は、第１の実施形態のように円１ａや中心２を推定しなくても水滴の付着の判定が可能である。そのため、制御部２１ａ全体の処理量を低減することができる。

したがって、第２の実施形態に係る画像処理装置２０ａによれば、カメラ１０に付着した水滴を高速に判定することができる。

（変形例６）
第２の実施形態の変形例６に係る画像処理装置２０ａについて、図１２及び図１３を用いて説明する。

図１２は、第２の実施形態の変形例６に係る画像処理の概要を示す図である。図１３は、第２の実施形態の変形例６に係る画像処理装置２０ａが実行する処理手順を示すフローチャートである。

変形例６では、水滴領域のうち黒くぼやけた領域に含まれる各画素のエッジの向きが互いに収束するように向いていることを利用して、候補領域１が水滴領域か否かの判定を行う。

変形例６において、算出部２６は、候補領域１内の一点を始点として選択する（ステップＳ４０１）。例えば、図１２に示すように、始点である画素７０ａを選択する。そして、算出部２６は、始点である画素７０ａのエッジの向き７１ａを算出する（ステップＳ４０２）。

次に、算出部２６は、始点に対して所定の位置に位置する終点を検出する、終点検出処理を行う（ステップＳ４０３）。例えば、図１２に示すように、始点である画素７０ａから所定の間隔７２で離れて位置し、かつ画素７０ａ（始点）のエッジの向き７１ａから垂直方向にある画素７０ｂを終点として検出する。そして、終点である画素７０ｂのエッジの向き７１ｂを算出する。

なお、図１２に示すように変形例６では、終点である画素７０ｂを、始点である画素７０ａの３時位置から選択しているが、９時位置から選択してもよい。後述するくり返しの終点検出処理において、新たな始点に対して前回と同じ時計位置の終点を選択すればよい。

次に、判定部２４は、始点のエッジの向きと終点のエッジの向きが、互いに収束するように向いているか否かを判定する終点判定処理を行う（ステップＳ４０４）。具体的には、図１２に示すように、画素７０ａのエッジの向き７１ａに対して、３時位置に位置する画素７０ｂのエッジの向き７１ｂが、反時計回りに正の向きで、所定の角度差内になった場合に、互いのエッジの向きが収束していると判定することができる。

なお、終点検出処理において、始点に対して終点を９時位置から選択した場合には、始点のエッジの向きに対して、終点のエッジの向きが時計回りに正の向きで、所定の角度差内になった場合に、互いのエッジの向きが収束していると判定することができる。

そして、判定部２４は、始点のエッジの向きに対する終点のエッジの向きが所定の角度差内になった場合（ステップＳ４０５，Ｙｅｓ）、処理回数を１増加して記憶部２５に記憶させる（ステップＳ４０６）。

次に、判定部２４は、記憶部２５に記憶されている処理回数が所定の回数以上か否かを判定する（ステップＳ４０７）。そして、処理回数が所定の回数以上であった場合（ステップＳ４０７，Ｙｅｓ）、候補領域１は水滴領域であると判定する（ステップＳ４０８）。

また、ステップＳ４０７において、処理回数が所定の回数に満たない場合には（ステップＳ４０７，Ｎｏ）、判定部２４は算出部２６に対し、これまでの処理で終点として処理していた点（ここでは点７０ｂ）を始点として、改めて終点検出処理を行うように指示を行う。

変形例６では、図１２で示すように、例えば、画素７０ａを始点とした場合、終点検出処理により画素７０ｂが検出される。そして、画素７０ａに対する画素７０ｂの終点判定処理がＯＫの場合、処理回数を１増加させる。そして、処理回数が所定の回数に達していない場合、画素７０ｂを始点として、新たに終点検出処理を行う。それにより、画素７０ｃが新たな終点として検出される。そして、画素７０ｃのエッジの向き７１ｃを用いて、画素７０ｂに対する画素７０ｃの終点判定処理を改めて行っている。

上述のように、終点検出処理と終点判定処理をくり返し実施することにより、候補領域１内で候補領域１に沿って所定の間隔７２で並んだ複数の画素が抽出される。また同時に、抽出された複数の画素のエッジの向き同士が互いに収束するように向いているか否かを判定することができる。さらに、処理回数を所定の回数に設定することにより、候補領域１内で抽出する画素の数を設定することができる。

なお、始点に対する終点の終点判定処理がＮＧである場合には（ステップＳ４０５，Ｎｏ）、候補領域１は水滴領域ではないと判定する（ステップＳ４０９）。そして、判定部２４が判定結果を水滴除去装置３０に出力して（ステップＳ４１０）、処理を終了する。

変形例６において、候補領域１内で選択する画素の数は、所望の検出精度や検出速度に基づいて、適宜設定することができる。

また、候補領域１内で選択する画素同士の間隔７２は、選択する画素の数に基づいて、適宜設定することができる。例えば、選択する画素の数が少ない場合には間隔を広げ、選択する画素の数が多い場合には間隔を狭めることにより、候補領域１の全体から画素をそれぞれ選択することができる。

さらに、始点のエッジの向きに対する終点のエッジの向きの角度差は、画素同士の間隔７２などに基づいて、適宜設定することができる。

変形例６では、候補領域１内の広い範囲に分布する画素を抽出し、それらのエッジの向きに基づいて水滴の付着を判定している。そのため、候補領域１が所定の形状（円弧形状）であることを正確に判定することができる。

さらに、変形例６では、終点検出処理と終点判定処理をくり返し実施することにより、効率よく上述の判定が可能である。そのため、処理効率に優れた判定が可能である。

したがって、変形例６に係る画像処理装置２０ａによれば、カメラ１０に付着した水滴を効率よくかつ高精度に判定することができる。

（変形例７）
変形例６に係る画像処理装置２０ａにおいて、異なる終点検出処理及び終点判定処理を行い、水滴の付着を判定することができる。この変形例７について、同じく図１２を用いて説明する。

変形例７において、算出部２６は、始点に対して所定の位置に位置する２つの終点を検出する終点検出処理を行う。例えば、図１２に示すように、始点である画素７０ａから所定の間隔７２で離れて位置し、かつ画素７０ａ（始点）のエッジの向き７１ａから垂直方向にある画素７０ｂを第１終点として検出する。そして、第１終点である画素７０ｂのエッジの向き７１ｂを算出する。

さらに、算出部２６は、追加の終点検出処理として、第１終点である画素７０ｂから所定の間隔７３で離れて位置し、かつ第１終点である画素７０ｂのエッジの向き７１ｂの方向にある画素７４ｂを第２終点として検出する。

次に、判定部２４において、第１終点及び第２終点のそれぞれに関して候補領域１に含まれるか否かを判定する終点判定処理を行う。具体的には、図１２に示すように、第１終点である画素７０ｂは候補領域１に含まれ、第２終点である画素７４ｂは候補領域１に含まれない場合に、終点判定処理がＯＫであると判定することができる。

すなわち、上述の判定は、第１終点が候補領域１内に位置し、かつ第２終点が候補領域１外に位置しているか否かを評価するものである。

そして、変形例６と同様、終点判定処理がＯＫの場合は、判定部２４において処理回数を参照する。そして、処理回数が所定の回数以下である場合には、判定部２４は算出部２６に対し、これまでの処理で第１終点として処理していた点である画素７０ｂを始点として、改めて終点検出処理を行うように指示を行う。

変形例７では、図１２で示すように、例えば、画素７０ａを始点とした場合、終点検出処理により画素７０ｂ及び画素７４ｂが検出される。そして、画素７０ｂ及び画素７４ｂの終点判定処理がＯＫで、処理回数が未達の場合、画素７０ｂを始点として、新たに終点検出処理を行う。それにより、画素７０ｃ及び画素７４ｃが新たな終点として検出される。そして、画素７０ｃ及び画素７４ｃの終点判定処理を改めて行っている。

変形例６と比較した場合、変形例７の実施形態においては、一回の終点検出処理で終点を２点検出し、それらに基づいて終点判定処理を実施している。そのため、変形例６と比較して、終点検出処理及び終点判定処理の処理回数が少ない場合においても、候補領域１が所定の形状（円弧形状）であることを正確に判定することができる。

したがって、変形例７に係る画像処理装置２０ａによれば、カメラ１０に付着した水滴を高速に判定することができる。

上述の実施形態及び変形例において、撮影画像が全体として暗い、あるいは、明るいような場合、撮影画像中の最小輝度と最大輝度との差が大きくならない場合がある。そして、このように輝度の差が大きくならない場合は、一般に、撮像画像１００内の画素のエッジの強度が低くなる。その結果、そのままの撮像画像１００の各画素のエッジの強度に基づいて候補領域１を正しく検出することは困難である。

上述の場合には、撮像画像１００を検出部２２でエッジ検出処理する前に、ダイナミックレンジ拡大処理と呼ばれる画像処理を行うことが有効である。ダイナミックレンジ拡大処理により、撮像画像１００内の最小輝度と最大輝度との差を拡大することができる。その結果、検出部２２において、候補領域１を正しく検出することが可能となる。

また、上述の実施形態及び変形例において、検出部２２でエッジ検出処理した後に、各種ノイズなどに起因して候補領域１に含まれるべき画素（以下、「エッジ点」という。）の未検出や誤検出が生じる場合がある。その結果、エッジ点の集合体である候補領域１の形状が乱れ、候補領域１が正確に検出されない場合がある。

上述の場合には、撮像画像１００を検出部２２でエッジ検出処理した後に、モルフォロジ処理と呼ばれる画像処理を行うことが有効である。モルフォロジ処理のうち、膨張処理と呼ばれる画像処理により、未検出で抜けたエッジ点を補完することができる。また、モルフォロジ処理のうち、収縮処理と呼ばれる画像処理により、誤検出されたエッジ点を除去することができる。そして、膨張処理と収縮処理とを組み合わせて実施することにより、候補領域１の形状が整えられ、候補領域１を正確に検出することが可能となる。

なお、上述の実施形態では、検出条件や判定条件の値を具体的に示したが、これはあくまでも例示であって限定されるものではない。

また、上述の実施形態や変形例に示した画像処理を適宜組み合わせて行ってもよい。例えば、第１の実施の形態の判定手法と、第２の実施の形態の判定手法とを組み合わせてもよい。すなわち、第１の実施の形態の判定手法で候補領域１が水滴領域と判定でき、かつ、第２の実施の形態の判定手法で候補領域１が水滴領域と判定できた場合のみ、候補領域１が水滴領域と最終的に判定してもよい。これにより、カメラ１０への水滴の付着の判定精度をさらに向上させることが可能となり、また水滴の付着をさらに高速に判定することも可能となる。

また、上記では、水滴除去システム１１を車両用のカメラ１０に適用する例を示したが、これに限られず、例えば、建物の内外や路地等に設置される監視／防犯カメラなどのその他の種類のカメラ（光学センサ）に適用してもよい。

また、上述した実施形態において、画像処理装置２０、２０ａは車両の内部に搭載されていてもよいし、車両の外部に配置され、カメラ（撮像部）や水滴除去装置と無線等により各種情報の送受信を行ってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 候補領域
２ 中心
２ａ 中心領域
３ 注目点
１０ カメラ（撮像部）
１１ 水滴除去システム
２０ 画像処理装置
２１ 制御部
２２ 検出部
２３ 推定部
２４ 判定部
２５ 記憶部
２６ 算出部
３０ 水滴除去装置
１００ 撮像画像

Claims (9)

1. 撮像部で取得された撮像画像の各画素のエッジの強度に基づいて、前記撮像部に付着した水滴の影響を受けた水滴領域の候補となる候補領域を検出する検出部と、
   前記候補領域に基づいて当該候補領域に対応する円を推定する推定部と、
   前記円内における前記エッジの強度に基づいて前記候補領域が前記水滴領域であるか否かを判定する判定部と
   を備えることを特徴とする画像処理装置。
2. 前記判定部は、
   前記円の中心領域の前記エッジの強度が所定の閾値よりも低い場合に、前記候補領域が前記水滴領域であると判定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記判定部は、
   前記円の半径が所定の基準半径以下であり、かつ、前記円の中心領域の前記エッジの強度が所定の閾値よりも低い場合に、前記候補領域が前記水滴領域であると判定すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記検出部は、
   前記候補領域を内接させる矩形と当該候補領域との交点である注目点を前記円の中心へ向けて所定の基準距離移動させた点が前記候補領域に含まれない場合に、当該候補領域を前記判定部の判定対象から除外すること
   を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記検出部は、
   前記候補領域を内接させる矩形と当該候補領域との交点である注目点を３つ選択し、前記候補領域に沿って隣り合う前記注目点間の距離である第１距離および第２距離の比が所定の範囲外である場合に、当該候補領域を前記判定部の判定対象から除外すること
   を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 撮像部で取得された撮像画像の各画素のエッジの強度に基づいて、前記撮像部に付着した水滴の影響を受けた水滴領域の候補となる候補領域を検出する検出部と、
   前記候補領域内における各画素の前記エッジの向きを算出する算出部と、
   前記エッジの向きに基づいて前記候補領域が前記水滴領域であるか否かを判定する判定部と
   を備えることを特徴とする画像処理装置。
7. 前記判定部は、
   前記候補領域を内接させる矩形と当該候補領域との交点である注目点から所定の範囲内にある前記候補領域内における各画素の前記エッジの向きのばらつきが所定の範囲内にある場合に、前記候補領域が前記水滴領域であると判定すること
   を特徴とする請求項６に記載の画像処理装置。
8. 前記判定部は、
   前記候補領域内において当該候補領域に沿って所定の間隔で並んだ所定の数の画素の前記エッジの向き同士が互いに収束するように向いている場合に、前記候補領域が前記水滴領域であると判定すること
   を特徴とする請求項６または７に記載の画像処理装置。
9. 請求項１〜８のいずれか一つに記載の画像処理装置と、
   前記画像処理装置の前記判定部における判定結果に基づいて前記撮像部に付着した水滴を除去する水滴除去装置と
   を備えることを特徴とする水滴除去システム。