JP2021052236A - 付着物検出装置および付着物検出方法 - Google Patents

Abstract

【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、検出部と、記憶処理部とを備える。検出部は、撮像装置で撮像された画像の輝度情報に基づいて、撮像装置に付着した付着物に対応する付着物領域を検出する。記憶処理部は、付着物領域が検出された状態で車両のイグニッション電源がオフされた場合に、付着物領域に関する付着物情報を不揮発性の記憶部に記憶する。また、検出部は、イグニッション電源がオンされた後の最初の検出処理に関し、記憶部に記憶された付着物情報に基づいて付着物領域を検出する。【選択図】図２

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、自車両が移動中において、過去の撮像画像および現在の撮像画像における輝度情報の差分に基づいて撮像装置のレンズに付着した付着物に対応する領域（以下、付着物領域）を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１８−１７６８９７号公報

ところで、従来は、付着物領域を検出した状態で、車両のイグニッション電源（以下、ＩＧ）がオフされてしまうと、検出結果等の情報が消去されてしまっていた。このため、例えば、ユーザによって付着物が除去されずにＩＧがオンされた場合、自車両が移動を開始するまでは付着物領域が検出されないおそれがあった。つまり、従来は、ＩＧのオン直後の自車両が停車中の期間において、実際には付着しているはずの付着物を検出できないおそれがあった。

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、検出部と、記憶処理部とを備える。前記検出部は、撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する。前記記憶処理部は、前記付着物領域が検出された状態で車両のイグニッション電源がオフされた場合に、当該付着物領域に関する付着物情報を不揮発性の記憶部に記憶する。また、前記検出部は、前記イグニッション電源がオンされた後の最初の検出処理に関し、前記記憶部に記憶された前記付着物情報に基づいて前記付着物領域を検出する。

本発明によれば、付着物を高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３は、検出部の処理内容を示す図である。 図４は、検出結果情報の一例を示す図である。 図５は、ＩＧがオフされる直前の制御部の処理内容を示す図である。 図６は、ＩＧがオンされた直後の制御部の処理内容を示す図である。 図７は、実施形態に係る付着物検出装置が実行する検出処理の処理手順を示すフローチャートである。 図８は、実施形態に係る付着物検出装置が実行する記憶処理の処理手順を示すフローチャートである。 図９は、実施形態に係る付着物検出装置が実行する最初の検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１の上段には、例えば、車両に搭載されたカメラ（撮像装置の一例）のレンズに泥等の遮光性の付着物が付着した状態で撮像された画像Ｉ（以下、撮像画像Ｉ）を示している。このような遮光性の付着物が付着した場合、撮像画像Ｉにおける付着物領域は、黒つぶれの状態となる。なお、遮光性の付着物は、泥以外に、虫、埃等がある。

ここで、従来の付着物検出方法について説明する。従来は、自車両が移動中において、過去の撮像画像および現在の撮像画像における輝度情報の差分に基づいて撮像装置のレンズに付着した付着物に対応する付着物領域を検出していた。

しかしながら、従来の付着物検出方法では、付着物領域を検出した状態で、車両のイグニッション電源（以下、ＩＧ）がオフされてしまうと、検出結果等の情報が消去されてしまっていた。このため、ユーザによって付着物が除去されずにＩＧがオンされた場合、自車両が移動を開始するまでは付着物領域が検出されないおそれがあった。つまり、従来は、ＩＧのオン直後の自車両が停車中の期間において、実際には付着しているはずの付着物を検出できないおそれがあった。

そこで、実施形態に係る付着物検出方法では、ＩＧがオフされる場合に、付着物に関する情報を不揮発性の記憶部に退避させ、退避させた情報をＩＧがオンされた直後の最初の検出処理に用いることとした。

具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Ｉの輝度情報に基づいて、撮像装置であるカメラのレンズに付着した付着物に対応する付着物領域５００を検出する（ステップＳ１）。なお、付着物領域５００は、所定領域を分割した小領域単位で検出されるが、かかる点については図３で後述する。

つづいて、実施形態に係る付着物検出方法では、付着物領域５００を検出した状態で車両のイグニッション電源（以下、ＩＧ）がオフされた場合に、検出した付着物領域５００に関する付着物情報を不揮発性の記憶部（不揮発性記憶部）に記憶する記憶処理を行う（ステップＳ２）。付着物情報には、付着物領域５００における輝度情報等が含まれる。なお、付着物情報の詳細については後述する。

つづいて、実施形態に係る付着物検出方法では、ＩＧがオンされた後の最初の検出処理に関し、不揮発性記憶部に記憶された付着物情報に基づいて付着物領域を検出する（ステップＳ３）。

例えば、実施形態に係る付着物検出方法では、最初の検出処理における撮像画像Ｉの輝度情報が、付着物情報として記憶した付着物領域５００の輝度情報の範囲内であれば、付着物領域５００として検出する。つまり、ＩＧがオフされてからオンされるまでの期間に、付着物が除去されずに残っていることを検出する。なお、最初の検出処理は、撮像画像Ｉのうち、付着物領域５００に対応する領域の輝度情報を使うため、車両が停車中であっても付着物の有無を検出することが可能である。

このように、実施形態に係る付着物検出方法では、付着物情報を不揮発性記憶部に退避させておくことで、ＩＧがオフされた場合に検出結果の情報である付着物情報が消去されてしまうことを防ぐことができる。

従って、実施形態に係る付着物検出方法によれば、ＩＧがオンされた場合に、退避させた付着物情報を読み出して最初の検出処理を行うことで、車両が停車中であっても付着物領域５００を検出することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、イグニッションスイッチ１２と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前方、後方、左側方および右側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

車速センサ１１は、車両の速度を検出するセンサである。車速センサ１１は、検出した車速情報を付着物検出装置１へ出力する。

イグニッションスイッチ１２は、車両のイグニッション電源のオンおよびオフを切り替えるスイッチである。イグニッションスイッチ１２は、例えば、ユーザ操作に従ってイグニッション電源がオフされること、または、オンされたことを付着物検出装置１へ通知する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、揮発性記憶部３と、不揮発性記憶部４とを備える。制御部２は、前処理部２１と、検出部２２と、記憶処理部２３と、フラグ出力部２４とを備える。揮発性記憶部３は、検出結果情報３１を記憶する。不揮発性記憶部４は、付着物情報４１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の前処理部２１、検出部２２、記憶処理部２３およびフラグ出力部２４として機能する。

また、制御部２の前処理部２１、検出部２２、記憶処理部２３およびフラグ出力部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、揮発性記憶部３は、たとえば、ＲＡＭに対応する。ＲＡＭは、検出結果情報３１や、各種プログラムの情報等を記憶することができる。また、不揮発性記憶部４は、ＲＯＭやフラッシュメモリに対応する。ＲＯＭやフラッシュメモリは、付着物情報４１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

揮発性記憶部３に記憶された検出結果情報３１は、後述する検出部２２によって検出された付着物領域５００に関する情報である。なお、検出結果情報３１の詳細については、図４で後述する。

不揮発性記憶部４に記憶された付着物情報４１は、後述する記憶処理部２３によって記憶される情報であり、検出部２２によって検出された付着物領域５００に関する情報である。なお、付着物情報４１の詳細については後述する。

前処理部２１は、カメラ１０で撮像された撮像画像Ｉに対して所定の前処理を施す。

具体的には、前処理部２１は、取得した撮像画像Ｉに画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、前処理部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、前処理部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、前処理部２１は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Ｉの積分画像を生成してもよい。

前処理部２１は、積分画像である撮像画像Ｉを検出部２２へ出力する。

検出部２２は、撮像画像Ｉの輝度情報に基づいて、付着物領域５００を検出する。ここで、図３を用いて、検出部２２の処理内容について説明する。図３は、検出部２２の処理内容を示す図である。

図３の上段に示すように、まず、検出部２２は、撮像画像Ｉに対して所定領域ＲＯＩおよび小領域１００を設定する。所定領域ＲＯＩは、カメラ１０の特性に応じて予め設定される矩形状の領域であり、例えば、車体領域やカメラ１０の筐体領域を除いた領域である。小領域１００は、所定領域Ｒ０Ｉを水平方向、および垂直方向に分割することで形成される矩形状の領域である。例えば、各小領域１００は、４０×４０の画素を含む領域であるが、小領域１００に含まれる画素の数は、任意に設定可能である。

つづいて、検出部２２は、小領域１００毎に輝度の特徴量を示す輝度情報を算出する。具体的には、検出部２２は、小領域１００毎に輝度の平均値および輝度の標準偏差を特徴量として算出する。また、検出部２２は、所定領域ＲＯＩ全体における輝度の特徴量（輝度の平均値および輝度の標準偏差）を算出する。

つづいて、検出部２２は、過去から現在までの撮像画像Ｉにおける輝度の特徴量の変動を算出する。具体的には、検出部２２は、過去および現在の撮像画像Ｉの同じ位置にある小領域１００における輝度の平均値の差分である第１差分を変動として算出する。すなわち、検出部２２は、対応する小領域１００における過去の輝度の平均値と、現在の輝度の平均値との第１差分を変動として算出する。

また、検出部２２は、過去および現在の撮像画像Ｉの同じ位置にある小領域１００における輝度の標準偏差の差分である第２差分を算出する。すなわち、検出部２２は、対応する小領域１００における過去の輝度の標準偏差と、現在の輝度の標準偏差との第２差分を変動として算出する。

つづいて、検出部２２は、小領域１００それぞれについて輝度情報が所定の条件を満たすか否かを判定する。具体的には、検出部２２は、過去および現在の撮像画像Ｉにおける小領域１００の輝度の特徴量の変動が所定の閾値範囲内である場合に所定の条件を満たすと判定する。

つづいて、検出部２２は、輝度情報が所定の条件を満たす回数を示すカウント数が所定数以上となった小領域１００の数が所定数以上の場合に、当該所定数の小領域１００を付着物領域５００として検出する。つまり、検出部２２は、現在から過去数フレームの撮像画像Ｉにおいて、輝度情報が所定の条件を満たす状態が所定回数以上継続した所定数の小領域１００のまとまりを付着物領域５００として検出する。

検出部２２は、付着物領域５００が検出されていることを示す情報を記憶処理部２３およびフラグ出力部２４へ出力する。また、検出部２２は、検出した付着物領域５００の情報を検出結果情報３１として揮発性記憶部３へ記憶する。

ここで、図４を用いて、検出結果情報３１について説明する。図４は、検出結果情報３１の一例を示す図である。

図４に示すように、検出結果情報３１には、「付着物領域の有無」、「小領域毎の判定結果」、「付着物領域の輝度平均最大値」、「付着物領域の輝度平均最小値」、「付着物領域の輝度標準偏差最大値」および「付着物領域の輝度標準偏差最小値」といった項目を含む。

「付着物領域の有無」は、検出部２２によって付着物領域５００が検出されたか否かを示す情報である。「小領域毎の判定結果」は、付着物領域５００に含まれる小領域１００の判定結果の情報であり、例えば、泥等の黒つぶれ領域と判定されたかや、雨滴等のぼやけ領域と判定されたか等の判定結果の情報を含む。

「付着物領域の輝度平均最大値」および「付着物領域の輝度平均最小値」は、付着物領域５００に含まれる小領域１００毎の輝度の平均値のうち、最大値および最小値の情報である。

「付着物領域の輝度標準偏差最大値」および「付着物領域の輝度標準偏差最小値」は、付着物領域５００に含まれる小領域１００毎の輝度の標準偏差のうち、最大値および最小値の情報である。

なお、検出結果情報３１は、上記した情報以外にも、例えば、所定領域ＲＯＩ全体の輝度の平均値や輝度の標準偏差等の情報が含まれてもよい。

また、検出部２２は、ＩＧがオンされた直後の最初の検出処理に関し、不揮発性記憶部４に記憶された付着物情報４１を初期値として付着物領域５００の検出処理を行うが、かかる点については、図６を用いて説明する。

図２に戻って、記憶処理部２３について説明する。記憶処理部２３は、付着物領域５００が検出された状態で車両のＩＧ（イグニッション電源）がオフされる場合に、付着物領域５００に関する付着物情報４１を不揮発性記憶部４に記憶する。

具体的には、記憶処理部２３は、検出部２２から付着物領域５００を検出していることを示す情報を取得し、かつ、イグニッションスイッチ１２からイグニッション電源がオフされる情報を取得した場合、付着物情報４１を不揮発性記憶部４に記憶する。

付着物情報４１は、例えば、検出結果情報３１の一部または全部を含んだ情報である。つまり、付着物情報４１は、検出結果情報３１における「付着物領域の輝度平均最大値」、「付着物領域の輝度平均最小値」、「付着物領域の輝度標準偏差最大値」および「付着物領域の輝度標準偏差最小値」の情報を含む。

つまり、記憶処理部２３は、ＩＧがオフされる場合、揮発性記憶部３に記憶された検出結果情報３１を読み出すとともに、読み出した検出結果情報３１を付着物情報４１として不揮発性記憶部４へ書き込む。

なお、記憶処理部２３は、揮発性記憶部３の検出結果情報３１を読み出して不揮発性記憶部４に付着物情報４１として書き込む、いわゆるＰＩＯ（Programmed I/O）方式である場合に限らず、ＤＭＡ（Direct Memory Access）方式より、揮発性記憶部３から不揮発性記憶部４に直接記憶するようにしてもよい。

図２に戻って、フラグ出力部２４について説明する。フラグ出力部２４は、検出部２２によって付着物領域５００が検出されている場合、付着物フラグＯＮを各種機器５０に対して出力する。一方、フラグ出力部２４は、検出部２２によって付着物領域が検出されていない場合、付着物フラグＯＦＦを各種機器５０に対して出力する。

次に、図５および図６を用いて、ＩＧがオフおよびオンされる前後の制御部２の処理内容について具体的に説明する。図５は、ＩＧがオフされる直前の制御部２の処理内容を示す図である。図６は、ＩＧがオンされた直後の制御部２の処理内容を示す図である。

まず、図５を用いて、ＩＧがオフされる直前の制御部２の処理内容について説明する。図５では、時刻ｔ１において、検出部２２によって付着物領域５００が検出され、時刻ｔ２において、ＩＧがオフされる指示を取得することとする。

検出部２２は、時刻ｔ１において、付着物領域５００を検出した場合、揮発性記憶部３への検出結果情報３１の記憶を開始する。なお、検出結果情報３１の更新は、付着物領域５００が検出されている期間は継続して行われる。

なお、時刻ｔ１から時刻ｔ２の期間において、記憶処理部２３は、付着物情報４１を記憶する記憶処理は行わない。つまり、時刻ｔ１から時刻ｔ２の期間においては、不揮発性記憶部４に付着物情報４１は記憶されない。これにより、不揮発性記憶部４への書込み回数を減らすことができるため、不揮発性記憶部４の寿命を延ばすことができる。

そして、記憶処理部２３は、時刻ｔ２において、ＩＧがオフされる指示を取得した場合、時刻ｔ２の直前の撮像画像Ｉから検出された付着物領域５００の検出結果情報３１の一部または全部を付着物領域５００の付着物情報４１として不揮発性記憶部４に退避させる。

これにより、時刻ｔ２以降において、ＩＧがオフされることにより揮発性記憶部３の検出結果情報３１が消去（図５に示すＯＦＦ）されたとしても、付着物情報４１として不揮発性記憶部４に残すことができるため、ＩＧがオンされた直後の検出処理に用いることができる。

次に、図６を用いて、ＩＧがオンされた直後の制御部２の処理内容について説明する。図６では、ＩＧがオフされる直前の時刻ｔ１１における撮像画像Ｉから検出された付着物領域５００の輝度情報等が付着物情報４１として不揮発性記憶部４に記憶されていることとする。

図６に示すように、記憶処理部２３は、ＩＧがオンされた後の最初に撮像された撮像画像Ｉの輝度情報と、不揮発性記憶部４に記憶された付着物情報４１との比較結果に基づいて、付着物領域５００を検出する。

具体的には、まず、記憶処理部２３は、ＩＧがオンされた後の時刻ｔ２１において、不揮発性記憶部４に記憶された付着物情報４１を読み出し、検出部２２へ出力する。検出部２２は、時刻ｔ２１において撮像された撮像画像Ｉの小領域１００毎に輝度情報を算出する。

そして、検出部２２は、記憶処理部２３から取得した付着物情報４１と、時刻ｔ２１における撮像画像Ｉの小領域１００の輝度情報とを比較する。具体的には、検出部２２は、記憶処理部２３から取得した付着物情報４１に基づく付着物領域５００（時刻ｔ１１）と同じ位置にある小領域１００（時刻ｔ２１）との輝度情報を比較する。つまり、検出部２２は、ＩＧがオンされた直後の最初の検出処理における初期値として、付着物情報４１を用いる。

そして、検出部２２は、時刻ｔ２１における撮像画像Ｉから算出した輝度情報が、付着物情報４１における輝度情報の範囲内である場合、時刻ｔ２１の撮像画像Ｉにおいて、時刻ｔ１１で検出された付着物領域５００が除去されずに残っていると判定する。

例えば、検出部２２は、時刻ｔ２１における小領域１００の輝度の特徴量が、付着物情報４１における輝度の特徴量の最大値および最小値の範囲内にある場合には、付着物領域５００を検出する。

一方、検出部２２は、時刻ｔ２１における撮像画像Ｉから算出した輝度情報が、付着物情報４１における輝度情報の範囲内に無い場合、時刻ｔ２１の撮像画像Ｉにおいて、時刻ｔ１１で検出された付着物領域５００が除去されたと判定する。なお、検出部２２は、継続的に付着物領域５００が除去されたことを判定した場合に、最終的に付着物領域５００が除去されたと確定してもよい。

このように、ＩＧがオンされた後の最初に撮像された撮像画像Ｉの輝度情報と、不揮発性記憶部４に記憶された付着物情報４１との比較結果に基づいて、付着物領域５００を検出することで、ＩＧがオンされた直後から早期に付着物を検出することができる。

また、付着物情報４１として、付着物領域５００における輝度の特徴量の最大値および最小値を記憶しておくことで、ＩＧがオンされた後の最初の検出処理を高精度に行うことができる。

つづいて、検出部２２は、時刻ｔ２２においては、直前の時刻ｔ２１で算出された輝度情報に基づいて付着物領域５００を検出する。具体的には、検出部２２は、時刻ｔ２２において撮像された撮像画像Ｉから算出された輝度情報と、直前の時刻ｔ２１で算出された輝度情報とを比較し、輝度情報の変動（差分）が所定範囲内であれば、時刻ｔ２２も継続して付着物領域５００を検出する。

このように、検出部２２は、最初の検出処理（時刻ｔ２１）以降の検出処理に関し、前回撮像された撮像画像Ｉ（時刻ｔ２１）の輝度情報と、今回撮像された撮像画像Ｉ（時刻ｔ２２）の輝度情報とに基づいて、付着物領域５００を検出することで、ＩＧがオンされた後も継続的に付着物を高精度に検出することができる。

次に、図７〜図９を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図７は、実施形態に係る付着物検出装置１が実行する検出処理の処理手順を示すフローチャートである。図８は、実施形態に係る付着物検出装置１が実行する記憶処理の処理手順を示すフローチャートである。図９は、実施形態に係る付着物検出装置１が実行する最初の検出処理の処理手順を示すフローチャートである。

まず、図７を用いて、実施形態に係る付着物検出装置１が実行する検出処理について説明する。

図７に示すように、前処理部２１は、撮像画像Ｉに対して前処理を施す（ステップＳ１０１）。ここでいう、前処理とは、例えば、グレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて積分画像を生成する処理である。

つづいて、検出部２２は、撮像画像Ｉにおける所定領域ＲＯＩを小領域１００毎に分割する（ステップＳ１０２）。

つづいて、検出部２２は、小領域毎に輝度の特徴量を示す輝度情報を算出する（ステップＳ１０３）。輝度の特徴量は、例えば、輝度の平均値および輝度の標準偏差である。

つづいて、検出部２２は、算出した輝度情報に基づいて、付着物領域５００の検出処理（最初の検出処理を除く）を行う（ステップＳ１０４）。

つづいて、検出部２２は、付着物領域５００を検出したか否かを判定する（ステップＳ１０５）。

検出部２２は、付着物領域５００を検出した場合（ステップＳ１０５：Ｙｅｓ）、付着物領域５００に関する検出結果情報３１を揮発性記憶部３に記憶し（ステップＳ１０６）、処理を終了する。

一方、ステップＳ１０５において、検出部２２は、付着物領域５００を検出していない場合（ステップＳ１０５：Ｎｏ）、処理を終了する。つまり、検出部２２は、付着物領域５００を検出していない場合、検出結果情報３１を揮発性記憶部３に記憶する処理を行わない。

次に、図８を用いて、実施形態に係る付着物検出装置１が実行する記憶処理について説明する。

まず、記憶処理部２３は、ＩＧがオフされる指示があったか否かを判定する（ステップＳ２０１）。

記憶処理部２３は、ＩＧがオフされる指示があった場合（ステップＳ２０１：Ｙｅｓ）、検出部２２によって付着物領域５００が検出されているか否かを判定する（ステップＳ２０２）。

記憶処理部２３は、検出部２２によって付着物領域５００が検出されている場合（ステップＳ２０２：Ｙｅｓ）、検出結果情報３１を付着物情報４１として記憶する記憶処理を行い（ステップＳ２０３）、処理を終了する。

一方、記憶処理部２３は、ＩＧがオフされる指示が無い場合（ステップＳ２０１：ＮＯ）や、検出部２２によって付着物領域５００が検出されていない場合（ステップＳ２０２：Ｎｏ）には、処理を終了する。

次に、図９を用いて、実施形態に係る付着物検出装置１が実行する最初の検出処理について説明する。

まず、記憶処理部２３は、ＩＧがオンされたことを取得する（ステップＳ３０１）。

つづいて、記憶処理部２３は、不揮発性記憶部４に付着物情報４１が記憶されているか否かを判定する（ステップＳ３０２）。

記憶処理部２３は、不揮発性記憶部４に付着物情報４１が記憶されている場合（ステップＳ３０２：Ｙｅｓ）、付着物情報４１を読み出して検出部２２へ出力する（ステップＳ３０３）。

つづいて、検出部２２は、記憶処理部２３から取得した付着物情報４１に基づいて最初の検出処理を行い（ステップＳ３０４）、処理を終了する。

一方、ステップＳ３０２において、検出部２２は、不揮発性記憶部４に付着物情報４１が記憶されていない場合（ステップＳ３０２：Ｎｏ）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、検出部２２と、記憶処理部２３とを備える。検出部２２は、撮像装置（カメラ１０）で撮像された撮像画像Ｉの輝度情報に基づいて、撮像装置に付着した付着物に対応する付着物領域５００を検出する。記憶処理部２３は、付着物領域５００が検出された状態で車両のイグニッション電源がオフされた場合に、当該付着物領域５００に関する付着物情報４１を不揮発性記憶部４に記憶する。また、検出部２２は、イグニッション電源がオンされた後の最初の検出処理に関し、不揮発性記憶部４に記憶された付着物情報４１に基づいて付着物領域５００を検出する。これにより、付着物を高精度に検出することができる。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 揮発性記憶部
４ 不揮発性記憶部
１０ カメラ
１１ 車速センサ
１２ イグニッションスイッチ
２１ 前処理部
２２ 検出部
２３ 記憶処理部
２４ フラグ出力部
３１ 検出結果情報
４１ 付着物情報
５０ 各種機器
１００ 小領域
５００ 付着物領域
ＲＯＩ 所定領域
Ｉ 撮像画像

Claims (5)

1. 撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する検出部と、
   前記付着物領域が検出された状態で車両のイグニッション電源がオフされる場合に、当該付着物領域に関する付着物情報を不揮発性の記憶部に記憶する記憶処理部と、
   を備え、
   前記検出部は、
   前記イグニッション電源がオンされた後の最初の検出処理に関し、前記記憶部に記憶された前記付着物情報に基づいて前記付着物領域を検出すること
   を特徴とする付着物検出装置。
2. 前記検出部は、
   前記イグニッション電源がオンされた後の最初に撮像された画像の前記輝度情報と、前記記憶部に記憶された前記付着物情報との比較結果に基づいて、前記付着物領域を検出すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記検出部は、
   前記画像の所定領域を分割した小領域毎の前記輝度情報を算出し、前記輝度情報が所定の付着物条件を満たす前記小領域が所定数以上となった場合に、前記付着物領域として検出し、
   前記記憶処理部は、
   前記付着物領域に含まれる前記小領域の輝度の特徴量の最大値および最小値の情報を含む前記付着物情報を前記記憶部に記憶すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 前記検出部は、
   前記最初の検出処理以降の検出処理に関し、前回撮像された画像の前記輝度情報と、今回撮像された画像の前記輝度情報とに基づいて、前記付着物領域を検出すること
   を特徴とする請求項１〜３のいずれか１つに記載の付着物検出装置。
5. 撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する検出工程と、
   前記付着物領域が検出された状態で車両のイグニッション電源がオフされる場合に、当該付着物領域に関する付着物情報を不揮発性の記憶部に記憶する記憶処理工程と、
   を含み、
   前記検出工程は、
   前記イグニッション電源がオンされた後の最初の検出処理に関し、前記記憶部に記憶された前記付着物情報に基づいて前記付着物領域を検出すること
   を特徴とする付着物検出方法。

Images