JP2019128197A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】遮光性の付着物を検出すること。【解決手段】実施形態に係る付着物検出装置は、選択部と、判定部とを備える。選択部は、撮像装置によって撮像された撮像画像に含まれる各画素から輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とをペア画素として選択する。判定部は、選択部によって選択されたペア画像間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、当該低エッジ画素と当該ペア画素とを撮像装置に付着物が付着した付着物領域として判定する。【選択図】図１Ｂ

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、例えば、車両に取り付けられたカメラのレンズに付着した付着物をかかるカメラによって撮像された撮像画像から検出する付着物検出装置がある（例えば、特許文献１参照）。

特開２０１０−１４４９４号公報

しかしながら、従来技術では、水滴等の透光性の有る付着物を検出することを目的としており、遮光性の付着物については検出することができなかった。

本発明は、上記に鑑みてなされたものであって、遮光性の付着物を検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る付着物検出装置は、選択部と、判定部とを備える。前記選択部は、撮像装置によって撮像された撮像画像に含まれる各画素から輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とをペア画像として選択する。前記判定部は、前記選択部によって選択された前記ペア画像間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、当該低エッジ画素と当該ペア画素とを前記撮像装置に付着物が付着した付着物領域として判定する。

本発明によれば、遮光性の付着物を検出することができる。

図１Ａは、付着物検出装置の搭載例を示す図である。 図１Ｂは、付着物検出方法の概要を示す図である。 図２は、付着物検出装置のブロック図である。 図３Ａは、変換部による処理を示す図（その１）である。 図３Ｂは、変換部による処理を示す図（その２）である。 図３Ｃは、変換部による処理を示す図（その３）である。 図３Ｄは、変換部による処理を示す図（その４）である。 図４Ａは、選択部による処理を説明する図（その１）である。 図４Ｂは、選択部による処理を説明する図（その２）である。 図４Ｃは、選択部による処理を説明する図（その３）である。 図５Ａは、判定部による処理の具体例を示す図（その１）である。 図５Ｂは、判定部による処理の具体例を示す図（その２）である。 図５Ｃは、判定部による処理の具体例を示す図（その３）である。 図６は、確定部による処理の具体例を示す図である。 図７は、付着物検出装置が実行する処理手順を示すフローチャートである。 図８は、付着物のエッジ強度の分布を示す図である。

以下、添付図面を参照して実施形態に係る付着物検出装置および付着物検出方法について詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る付着物検出装置および付着物検出方法の概要について説明する。図１Ａは、付着物検出装置の搭載例を示す図である。図１Ｂは、付着物検出方法の概要を示す図である。

図１Ａに示すように、実施形態に係る付着物検出装置１は、車両Ｃに搭載される。車両Ｃは、それぞれ異なる撮像領域を有するカメラ１０を備える。カメラ１０によって撮像された撮像画像Ｌ（または映像）は、例えば、車両Ｃが自動運転や自動駐車を行う場合に、障害物検知や白線検知等の各種センシングに用いられる。

ここで、カメラ１０は、車両Ｃの外部に設置されるので、カメラ１０のレンズには、水滴をはじめとして付着物が付着する場合がある。かかる場合に、撮像画像Ｌに付着物が写り込み、上記の各種センシングを阻害するおそれがある。

このため、撮像画像Ｌから付着物を検出する技術が普及しつつある。しかしながら、従来技術では、カメラ１０によって撮像された撮像画像からレンズに付着した付着物の検出精度を高めるという点において改善の余地があった。

具体的には、従来技術では、例えば、水滴などの透光性を有する付着物を検出対象としていた。しかしながら、カメラ１０のレンズには、水滴に限られず、泥やごみなどの遮光性の付着物Ｆが付着する場合がある。

そこで、実施形態に係る付着物検出方法では、遮光性の付着物を検出することとした。つまり、実施形態に係る付着物検出方法では、撮像画像Ｌから遮光性の付着物Ｆに特有のパターンを検出する。

具体的には、図１Ｂに示すように、まず、付着物検出方法では、ペア画素を選択する（ステップＳ１）。かかるペア画素は、輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とのペアである。なお、同図では、各画素の中心点を黒丸で示し、中心点から延びる線の向きが輝度勾配を示す。

同図に示す例では、輝度勾配が上向きの上向き画素Ｐｕと、輝度勾配が下向きの下向き画素Ｐｄとがペア画素となり、輝度勾配が左向きの左向き画素Ｐｌと、輝度勾配が右向きの右向き画素Ｐｒとがペア画素となる。

続いて、実施形態に係る付着物検出方法では、ペア画素間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、低エッジ画素とペア画素とを付着物領域Ｒｆと判定する（ステップＳ２）。

すなわち、付着物Ｆの中央部に対応する画素は互いに暗いので、付着物領域Ｒｆの中央部に対応する画素のエッジ強度は小さくなる。一方、付着物Ｆの端部から外周部にかけて徐々に明るくなるので、付着物Ｆの端部に対応する画素が外向きとなる。

つまり、低エッジ画素が付着物Ｆの中央部の特徴を示し、ペア画素が付着物Ｆの端部の特徴を示す。このように、実施形態に係る付着物検出方法では、付着物Ｆの中央部と、端部との特徴を併せ持つ領域について付着物領域Ｒｆと判定する。

したがって、実施形態に係る付着物検出方法によれば、遮光性の付着物Ｆを検出することが可能となる。

次に、図２を用いて実施形態に係る付着物検出装置１の構成例について説明する。図２は、付着物検出装置１のブロック図である。なお、図２には、カメラ１０および車両制御装置１５を併せて示す。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば車両の周囲を撮像する位置にそれぞれ取り付けられる。

カメラ１０によって撮像された撮像画像Ｌは、付着物検出装置１を介して車両制御装置１５に出力される。なお、かかる撮像画像Ｌは、車両制御装置１５に直接出力されることにしてもよい。

車両制御装置１５は、車両Ｃの自動運転、自動駐車制御や運転アシスト（例えば、ＰＣＳ（Pre-crash Safety System）やＡＥＢ(Advanced Emergency Braking System)など）の車両制御を行う。なお、車両制御部１５は、自動駐車制御を行う自動駐車制御部と別体であってもよい。

例えば、車両制御装置１５は、付着物検出装置１を介して入力される撮像画像Ｌから障害物や白線を検出し、検出結果に基づいて上記の車両制御を行うことができる。

付着物検出装置１は、制御部２および記憶部３を備える。制御部２は、変換部２１と、選択部２２と、判定部２３と、確定部２４とを備える。制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。また、付着物検出装置１は、撮像装置によって撮像された撮像画像の端から所定の走査向きに沿って撮像画像の画素を走査する走査部を備えてもよい。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の変換部２１、選択部２２、判定部２３および確定部２４として機能する。

また、制御部２の変換部２１、選択部２２、判定部２３および確定部２４の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、得点情報３１や各種プログラムの情報を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２の変換部２１は、撮像画像Ｌに含まれる各画素を各画素の輝度勾配に対応するパラメータに変換する。まず、変換部２１は、カメラ１０から入力される撮像画像Ｌをグレースケール化することによりグレースケール画像へ変換する。グレースケール化とは、撮像画像Ｌにおける各画素の輝度に応じて白から黒までの各階調で表現する処理である。

続いて、変換部２１は、グレースケール画像に対してソベルフィルタを用いることで、各画素のＸ軸方向およびＹ軸方向に対するエッジ強度を抽出する。次に、変換部２１は、それぞれのエッジ強度から輝度勾配を算出し、各画素を対応するパラメータに変換する。

図３Ａ〜図３Ｄは、変換部２１による処理の具体例を示す図である。なお、図３Ａでは、Ｘ軸方向およびＹ軸方向におけるエッジ強度を示す。変換部２１は、各画素についてＸ軸方向のエッジ強度およびＹ軸方向のエッジ強度から実際のエッジ強度Ｓおよびエッジの向きθを算出する。

図３Ａに示すように、Ｘ軸方向のエッジ強度およびＹ軸方向のエッジ強度をそれぞれ１つの辺とする矩形の対角線がエッジ強度Ｓとなり、かかる対角線とＸ軸との成す角度がエッジの向きθとなる。かかるエッジの向きθが輝度勾配となる。

また、本実施形態において変換部２１は、複数の画素を統合して輝度勾配を算出する。言い換えれば、変換部２１は、撮像画像Ｌを複数の領域に分割し、領域毎に輝度勾配に対応するパラメータへ変換する。

図３Ｂは、統合する画素の具体例を示す図である。変換部２１は、図３Ｂに示すブロックごとに、ブロックの中央に位置する注目セルの輝度勾配を算出する。ここで、ブロックとは、例えば、３×３セルの画素の集合であり、セルは、４×４ピクセル（画素）の集合である。

つまり、同図に示す例では、１ブロックは、１２×１２ピクセルの集合となる。ここで、変換部２１は、ブロック毎に、注目セルの輝度勾配の代表値を算出する。具体的には、変換部２１は、図３Ｃに示すように、ブロック毎にヒストグラムを作成し、かかるヒストグラムに基づき、注目セルの代表値を算出する。

具体的には、図３Ｃに示すように、変換部２１は、輝度勾配を所定間隔で複数の階級に分類し、ブロックに含まれる各画素の輝度勾配と合致する階級に各画素のエッジ強度を加算していく。なお、同図に示す例では、階級が３０°ごとに分類される場合について示している。

そして、変換部２１は、エッジ強度の総和が最も高い階級を注目セルの輝度勾配として算出する。このとき、変換部２１は、かかる総和が閾値以上である場合に、かかる階級を代表値とする。言い換えれば、総和が閾値以下となる注目セルについては、代表値が割り当てられないこととなる。

つまり、ブロックに含まれる各画素のエッジ強度が低い場合や、かかる各画素の輝度勾配にバラつきがある場合、注目セルについては、代表値が割り当てられないこととなる。

なお、上記のエッジ強度に対する閾値を検出対象とする付着物に応じて変更することも可能である。具体的には、検出対象となる付着物の遮光性が高いほど、かかる閾値を高く設定し、検出対象となる付着物の透光性が高いほど、かかる閾値を低く設定する。

これは、遮光性が高い付着物ほど、周囲の画素との輝度の変化量が大きくなるのに対して、透光性が高い付着物は、周囲の画素との輝度の変化量が小さくなるためである。

このように、検出対象となる付着物に応じて上記の閾値を変更することで、多様な付着物を検出することが可能となる。なお、変換部２１は、検出対象となる付着物が１つである場合、かかる付着物の透過度に応じて閾値を設定し、検出対象となる付着物が複数ある場合、複数の付着物に応じた複数の閾値を設定することも可能である。

変換部２１は、１つの注目セルについて代表値を算出すると、引き続きブロックを１セルずつずらして注目セルを設定し、かかる注目セルに対して代表値を算出する。これにより、変換部２１は、各セルについて代表値を算出する。

そして、変換部２１は、各セルを代表値の階級に対応するパラメータに変換する。具体的には、図３Ｄに示すように、変換部２１は、各セルを代表値に基づく色ベクトルを用いたパラメータに変換する。

色ベクトルとは、ＲＧＢの色要素に応じて規定されるベクトルであり、ＲＧＢから成る３成分の各パラメータを有する。なお、１２色相環において各パラメータは、レッド、グリーン、ブルーがそれぞれ１０進数で表記すれば、「０」、「１２８」あるいは「１２７」、および「２５５」の３つの値で表される。

ここで、１２色相環において、補色の関係にあるＲＧＢの各値は、１６進数等の２進数表記で、１の補数の関係になる。つまり、変換部２１は、対向する角度範囲同士のＲＧＢのそれぞれの値が１の補数の関係を満たすパラメータを用いて各画素を変換する。なお、かかるパラメータは、厳密に１の補数の関係を満たす必要はなく、所定の誤差を許容するものとする。

具体的には、変換部２１は、算出した輝度勾配に対応する角度範囲のＲＧＢのパラメータを画素に割り当てる。例えば、輝度勾配が７５°から１０５°の角度範囲となる場合、かかる輝度勾配のパラメータは、青色に対応するＲＧＢ（０、２５５、２５５）のパラメータが割り当てられる。

また、エッジ向きが、かかる角度範囲と対向する−７５°から−１０５°の角度範囲に存在する場合、青色の補色である赤色に対応するＲＧＢ（２５５、０、０）が割り当てられることとなる。

このように、変換部２１は、対向するエッジ向き同士が１の補数の関係となるパラメータを用いて各画素を変換する。これにより、対向するエッジ向きの違いを鮮明にすることができる。

また、付着物検出方法では、エッジ強度によらず、輝度勾配が近ければ、同一のパラメータが割り当てられる。このため、縁がぼやけた水滴すなわち、エッジ強度が弱い水滴であっても、エッジ強度が強い水滴と同等の精度で検出することが可能となる。なお、上記のパラメータは、一例であり、変換部２１は、各セルを輝度勾配に対応する一次元や２次元の符号に変換することにしてもよい。

図２の説明に戻り、選択部２２について説明する。選択部２２は、撮像画像Ｌに含まれる各画素から、輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とをペア画素として選択する。

ここで、図４Ａ〜図４Ｃを用いて選択部２２による処理について説明する。図４Ａ〜図４Ｃは、選択部２２による処理の具体例を示す図である。まず、図４Ａおよび図４Ｂを用いて輝度勾配が逆向きを示すテンプレートについて説明する。

図４Ａに示すように、本実施形態において、例えば、輝度勾配が左向きを示す左向きテンプレートＴｌと、輝度勾配が右向きを示す右向きテンプレートＴｒとに大別してペア画像を選択する。

例えば、左向きテンプレートＴｌは、輝度勾配が−１０５°から１０５°までの時計回りの範囲であり、右向きテンプレートＴｒは、輝度勾配が−７５°から７５°までの反時計回りの範囲である。

すなわち、本実施形態において、輝度勾配が反対向きとは、厳密に反対である必要はなく、所定範囲での誤差を許容する。これは、付着物の外周形状によって周縁部の輝度勾配が変化するためである。つまり、本実施形態では、所定範囲の誤差を許容することで、多様な外周形状を有する付着物を検出することが可能となる。

また、選択部２２は、図４Ｂに示すように、輝度勾配が上向きである上向きテンプレートＴｕと、輝度勾配が下向きである下向きテンプレートＴｄとを用いてペア画素を選択することにしてもよい。

例えば、上向きテンプレートＴｕは、１５°から１６５°までの反時計回りの範囲であり、下向きテンプレートＴｄは、−１５°から−１６５°までの時計回りの範囲である。

また、上向きテンプレートＴｕまたは下向きテンプレートＴｄと、左向きテンプレートＴｌまたは右向きテンプレートＴｒとが重複する角度範囲の画素については、重複する２つのテンプレートが対応付けられる。

そして、選択部２２は、撮像画像Ｌ上を上下方向および左右方向に走査し、輝度勾配が逆向きとなるペア画素を選択する。具体的には、選択部２２は、左から右へ走査した場合に、左向きテンプレートＴｌに対応する左向き画素Ｐｌから始まり、右向きテンプレートＴｒに対応する画素で右向き画素Ｐｒで終わるときに、かかる左向き画素Ｐｌと、右向き画素Ｐｒとをペア画素として選択する。なお、選択部２２が撮像画像Ｌ上を走査する向きは、上下、左右方向に限られず、一方の方向（第１方向）と、他方の方向（第２方向）とが交差する向きであればその他の向きであってもよい。

ところで、カメラ１０は、所定の距離に存在する被写体にピントを合わせて撮像画像Ｌを撮像する。このため、カメラのレンズに付着した付着物は、ピントがずれるので、ぼやけて撮像画像Ｌに写る。

本実施形態では、かかる点に着目してペア画像を選択することも可能である。つまり、付着物の周縁部がぼやけるので、かかる周縁部に対応する画素が連続して存在することに着目した。

具体的には、図４Ｃに示すように、選択部２２は、左向き画素Ｐｌおよび右向き画素Ｐｒの幅が所定値Ｗよりも大きい場合に、最も内側の左向き画素Ｐｌおよび右向き画素Ｐｒをペア画素として選択する。つまり、選択部２２は、輝度勾配が同じ向きで中心領域から遠ざかる向きに連続して存在する画素についてペア画素の選択対象とする。

このように、実施形態に係る付着物検出装置１は、撮像画像Ｌにおいて付着物のピントがずれる特徴に基づいてペア画素を選択することで、付着物に基づくペア画素のみを選択する選択精度を向上させることができる。言い換えれば、付着物以外に基づくペア画素の選択を抑制することができる。

図２の説明に戻り、判定部２３について説明する。判定部２３は、選択部２２によって選択されたペア画素間にエッジ強度が閾値以下である低エッジ画素が存在する場合、当該エッジ画素と当該ペア画素とをカメラ１０に付着物が付着した付着物領域Ｒｆとして判定する。

図５Ａ〜図５Ｃは、判定部２３による処理の具体例を示す図である。なお、図５Ａでは、選択部２２が、上向き画素Ｐｕと、下向き画素Ｐｄとを第１方向に沿うペア画素として選択し、左向き画素Ｐｌと、右向き画素Ｐｒとを第２方向に沿うペア画素として選択した場合を示す。

同図に示すように、判定部２３は、第１方向に沿うペア画素を結ぶ線と、第２方向に沿うペア画素を結ぶ線との交点画素Ｐｉについて低エッジ画素の判定対象とする。

そして、判定部２３は、交点画素Ｐｉのエッジ強度が閾値以下である場合、かかる交点画素Ｐｉおよびそれぞれのペア画素を判定画素Ｐｂとして判定する。かかる判定画素Ｐｂは、付着物領域Ｒｆの条件を満たす画素である。

つまり、判定部２３は、４方をペア画素で囲まれた画素について低エッジ画素か否かを判定する。ここで、上述のように、ペア画素は、付着物の外周部に対応し、ペア画素に挟まれた低エッジ画素は、付着物の中央部に対応する。このため、撮像画像Ｌに付着物全体が写る場合、付着物の中央部に対応する画素は、４方をペア画素で挟まれることとなる。

このように、判定部２３は、４方からペア画素で挟まれた交点画素Ｐｉについて付着物領域Ｒｆの判定対象とすることで、付着物領域Ｒｆの検出精度を向上させることができる。

なお、判定部２３は、上下または左右の一方をペア画素で挟まれた画素について付着物領域Ｒｆの判定対象とすることにしてもよい。また、判定部２３は、ペア画素に挟まれた全ての画素が低輝度画素であることを判定画素Ｐｂの判定条件とすることにしてもよい。

ところで、撮像画像Ｌから付着物が見切れる場合がある。かかる場合に、上記の処理では、かかる付着物を検出することはできない。実施形態に係る付着物検出装置１は、撮像画像Ｌから見切れる付着物を検出することも可能である。

具体的には、判定部２３は、撮像画像Ｌ上を所定の走査向きに沿って走査し、撮像画像Ｌが低エッジ画素から始まり輝度勾配が走査向きである画素までの領域が全て低エッジ画素である場合、当該領域を付着物領域Ｒｆの判定対象とする。

具体的には、図５Ｂに示すように、判定部２３は、撮像画像Ｌを右向きに走査した場合に、撮像画像Ｌの端に位置する端画素Ｐｏが低エッジ画素であり、輝度勾配が右向きである右向き画素Ｐｒまで全て低エッジ画素である場合、端画素Ｐｏから右向き画素Ｐｒを付着物領域Ｒｆの判定対象とする。

かかる場合に、例えば、判定部２３は、撮像画像Ｌの外側であり、右向き画素Ｐｒに対応する位置に左向き画素Ｐｌを仮想的に配置する。つまり、仮想的に配置した左向き画素Ｐｌと右向き画素Ｐｒとが新たにペア画素となり、付着物領域Ｒｆの判定対象とすることができる。

このように、実施形態に係る付着物検出装置１は、仮想的なペア画素を作ることで、撮像画像Ｌから見切れる付着物についても検出することが可能となる。なお、ここでは、判定部２３が、撮像画像Ｌを右向きに走査する場合について説明したが、左右上下方向についてそれぞれ走査する。また、図５Ｂで説明した処理は、判定部２３に代えて選択部２２ですることにしてもよい。

続いて、判定部２３は、図５Ｃに示すように、撮像画像Ｌを複数の領域に分割し、判定画素Ｐｂの割合が所定値以上である領域について付着物領域Ｒｆと判定する。

これは、車両Ｃの走行に支障の小さい付着物について、付着物の検出対象から除外するためである。仮に、判定画素Ｐｂの全てについて付着物領域Ｒｆとして判定すると、極めて小さい付着物のみならず、ノイズを付着物領域Ｒｆとして検出するおそれがある。

つまり、判定部２３は、領域毎に付着物領域Ｒｆか否かを判定することで、車両Ｃに影響する付着物のみを検出することが可能である。なお、上記の所定値は、領域毎に設定することも可能である。例えば、車両Ｃの走行に影響が高い領域（例えば、撮像画像Ｌの中央側）の所定値を影響が低い領域（例えば、撮像画像Ｌの端部）の所定値よりも低く設定することにしてもよい。また、判定部２３は、撮像装置によって撮像された撮像画像の端から所定の走査向きに沿って撮像画像の画素が走査された際、撮像画像の画素を走査する輝度勾配が走査向きと逆向きである画素から始まりエッジ強度が閾値以下である低エッジ画素を経て輝度勾配が走査向きである画素までの領域を撮像装置に付着物が付着した付着物領域と判定してもよい。

図２の説明に戻り、確定部２４について説明する。確定部２４は、判定部２３によって判定された付着物領域Ｒｆの時系列的な重なりに基づいて付着物領域Ｒｆを確定する。

図６は、確定部２４による処理の具体例を示す図である。確定部２４は、付着物領域Ｒｆと判定された領域について加点し、付着物領域Ｒｆと判定されなかった領域について減点する。

そして、確定部２４は、累積値が閾値以上となった領域について付着物領域Ｒｆとして確定させる。つまり、連続的に付着物領域Ｒｆとして検出された領域が付着物領域Ｒｆとして確定されることとなる。

このように、確定部２４は、時系列的に連続する複数の撮像画像Ｌに基づいて付着物領域Ｒｆを確定させることで、付着物の検出精度を向上させることができる。つまり、確定部２４は、１つの撮像画像Ｌのみで付着物領域Ｒｆとして確定しないので、付着物の誤検出を抑制することができる。

また、確定部２４は、付着物領域Ｒｆとして確定させた場合に、かかる付着物領域Ｒｆをマスクしたマスク画像を生成する。そして、確定部２４は、撮像画像Ｌにマスク画像を重畳して車両制御装置１５（図２参照）に出力する。

これにより、車両制御装置１５は、付着物による誤った各種センシングを抑制することができる。つまり、付着物による誤った車両制御を抑制することが可能となる。例えば、車両制御装置１５は、撮像画像Ｌ中の付着物の領域が大きいために、自動駐車制御を安全に継続することが困難と判断した場合には、自動駐車制御を停止する。このように、車両制御装置１５は、車両の安全が担保された場合にのみ自動駐車制御を行うことで、車両の安全性を向上させることが可能となる。

次に、図７を用いて実施形態に係る付着物検出装置１が実行する処理手順について説明する。図７は、付着物検出装置１が実行する処理手順を示すフローチャートである。

図７に示すように、まず、変換部２１は、撮像画像Ｌを変換する（ステップＳ１０１）。続いて、選択部２２は、輝度勾配が互いに逆向きとなるペア画素を選択する（ステップＳ１０２）。

続いて、判定部２３は、エッジ強度に基づいて判定画素Ｐｂを抽出し（ステップＳ１０３）、領域毎に判定画素Ｐｂの割合が所定値以上か否かを判定する（ステップＳ１０４）。

ここで、判定画素Ｐｂの割合が所定値以上である場合（ステップＳ１０４，Ｙｅｓ）、判定部２３は、かかる領域について付着物領域Ｒｆと判定する（ステップＳ１０５）。

一方、判定画素Ｐｂの割合が所定値未満である場合（ステップＳ１０４，Ｎｏ）、判定部２３は、かかる領域について付着物領域Ｒｆと判定せず、ステップＳ１０５の処理を省略する。

続いて、確定部２４は、領域毎に得点を加点または減点し（ステップＳ１０６）、領域毎に累積値が閾値より大きいか否かを判定する（ステップＳ１０７）。

ここで、領域の累積値が閾値を超える場合（ステップＳ１０７，Ｙｅｓ）、確定部２４は、かかる領域について付着物領域Ｒｆとして確定し（ステップＳ１０８）、マスク画像を生成して（ステップＳ１０９）、処理を終了する。

一方、確定部２４は、領域の累積値が所定値以下である場合（ステップＳ１０７，Ｎｏ）、かかる領域について処理を終了する。

上述したように、実施形態に係る付着物検出装置１は、選択部２２と、判定部２３とを備える。選択部２２は、カメラ１０（撮像装置の一例）によって撮像された撮像画像Ｌに含まれる各画素から輝度勾配が所定の中心領域から外向きであり、互いに逆向きとなるペア画像を選択する。

判定部２３は、選択部２２によって選択されたペア画像間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、当該低エッジ画素と当該ペア画素とをカメラ１０に付着物が付着した付着物領域Ｒｆとして判定する。したがって、実施形態に係る付着物検出装置１は、遮光性の付着物を検出することができる。

ところで、上述した実施形態では、付着物の輪郭部を輝度勾配に基づいて抽出する場合について説明したが、これに限定されるものではない。すなわち、エッジ強度の分布に基づいて付着物の輪郭部を抽出することも可能である。

図８は、付着物のエッジ強度の分布を示す図である。なお、図８は、縦軸をエッジ強度とし、横軸を撮像画像Ｌ上の座標とする。図８に示すように、遮光性の付着物Ｆは、輪郭部分のエッジ強度が大きく、中央部分のエッジ強度が小さくなる。

つまり、付着物Ｆの輪郭部分に対応する画素は、付着物Ｆの輪郭の外に対応する画素との輝度の変化量が大きくなるので、エッジ強度が大きくなる特徴を有する。また、付着物Ｆの中央部分に対応する画素は、互いに暗く、輝度の変化量が少ないので、エッジ強度が小さくなる特徴を有する。

このため、付着物に関するエッジ強度は、図８に示すような分布を取る。そこで、実施形態に係る付着物検出装置１は、かかる点に着目し、エッジ強度の分布が輪郭部分と中央部分との特徴を有する領域について付着物領域Ｒｆとして検出することも可能である。つまり、付着物検出装置１は、エッジ強度のみから付着物Ｆを検出することも可能である。

また、上述した実施形態では、選択部２２が撮像画像Ｌ上を走査し、ペア画素を選択する場合について説明したが、これに限定されるものではない。すなわち、撮像画像Ｌ上を撮像画像Ｌの端から所定の走査向きに沿って走査する走査部を設けることとしてもよい。かかる場合に、判定部２３は、輝度勾配が上記の走査向きと逆向きである画素から始まり低エッジ画素を経て輝度勾配が走査向きとなる画素までの領域を付着物領域Ｆｒとして判定する。

また、上記した実施形態では、付着物検出装置１をいずれも車載用のカメラ１０に適用する場合について示したが、例えば、建物の内外や路地等に設定される監視／防犯カメラなどのその他の種類のカメラに適用してもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２１ 変換部
２２ 選択部
２３ 判定部
２４ 確定部
Ｒｆ 付着物領域

Claims (9)

1. 撮像装置によって撮像された撮像画像に含まれる各画素から、輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とをペア画素として選択する選択部と、
   前記選択部によって選択された前記ペア画素間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、当該低エッジ画素と当該ペア画素とを前記撮像装置に付着物が付着した付着物領域として判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記判定部は、
   前記撮像画像を複数の領域に分割し、前記付着物領域の条件を満たす画素の割合が所定値以上である前記領域について前記付着物領域として判定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記選択部は、
   前記輝度勾配が同じ向きで前記中心領域から遠ざかる向きに連続して存在する画素について前記ペア画素の選択対象とすること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 前記選択部は、
   第１方向と、前記第１方向と交差する第２方向とに沿って前記撮像画像から前記ペア画素を選択し、
   前記判定部は、
   前記第１方向に沿う前記ペア画素を結ぶ線と、前記第２方向に沿う前記ペア画素を結ぶ線との交点となる交点画素について前記低エッジ画素の判定対象とすること
   を特徴とする請求項１、２または３に記載の付着物検出装置。
5. 前記判定部は、
   前記撮像画像におけるエッジ強度の分布に基づいて前記付着物領域を判定すること
   を特徴とする請求項１〜４のいずれか一つに記載の付着物検出装置。
6. 前記判定部は、
   前記撮像画像の端から所定の走査向きに沿って走査し、前記撮像画像が前記低エッジ画素から始まり輝度勾配が前記走査向きである画素までの領域が全て前記低エッジ画素である場合、当該領域を前記付着物領域の判定対象とすること
   を特徴とする請求項１〜５のいずれか一つに記載の付着物検出装置。
7. 前記撮像装置は車両に搭載され、
   前記車両は前記撮像画像に基づき該車両の駐車制御を行う駐車制御部を備え、
   前記付着物領域に付着物が付着したと確定する確定部と
   をさらに備え、
   前記駐車制御部は、前記付着物領域が確定された場合に、前記車両の駐車制御を停止すること
   を特徴とする請求項１〜６のいずれか一つに記載の付着物検出装置。
8. 撮像装置によって撮像された撮像画像の端から所定の走査向きに沿って該撮像画像の画素を走査する走査部と、
   輝度勾配が前記走査向きと逆向きである画素から始まりエッジ強度が閾値以下である低エッジ画素を経て輝度勾配が前記走査向きである画素までの領域を前記撮像装置に付着物が付着した付着物領域と判定する判定部と
   を備えることを特徴とする付着物検出装置。
9. 撮像装置によって撮像された撮像画像に含まれる各画素から、輝度勾配が所定の中心領域から外向きとなる第１画素と該第１画素と輝度勾配が逆向きとなる第２画素とをペア画素として選択する選択工程と、
   前記選択工程によって選択された前記ペア画素間にエッジ強度が閾値以下である低エッジ画素が存在する場合に、当該低エッジ画素と当該ペア画素とを前記撮像装置に付着物が付着した付着物領域として判定する判定工程と
   を含むことを特徴とする付着物検出方法。

Images