JP2006261761A - 画像信号処理装置 - Google Patents

Abstract

【課題】屋外で昼間等に環境光を利用して監視空間を撮像し、水滴を確度良く検出する。
【解決手段】背景差分演算部３２で、環境光を利用して撮像された背景画像と入力画像との差分をとり、輝度差が一定以上の差分画像、差分画像中に対応する入力画像の画素が所定の輝度値以上の条件を満たす入力高輝度差分画像、及び所定の輝度値未満の条件を満たす入力非高輝度差分画像とを生成する。水滴候補画像生成部３４で、入力画像中でエッジ強度が所定値以下の条件を満たす入力弱エッジ画像、背景画像中よりもエッジ強度が減少したエッジ減画像を生成し、差分画像、入力高輝度差分画像及び入力非高輝度差分画像の少なくとも一つと、入力弱エッジ画像及びエッジ減画像の論理和により得られる画像との論理積により、水滴が存在する可能性の高い水滴候補画像を生成する。水滴判定部３７で、水滴候補画像に基づいて水滴の有無を判定し、水滴の検出を行う。
【選択図】図２

Description

本発明は、撮像装置におけるレンズ部分に水滴が付着したことを検出するのに好適な画像信号処理装置に関する。

近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されており、例えば画像センサを用いたセキュリティシステムが普及している。画像センサを用いたシステムは、監視対象となる監視空間を撮像するカメラ部と、カメラ部で撮像された画像を受ける画像取得部と、処理に利用される画像データを格納及び保持する記憶部と、画像データを処理して監視空間内に存在する移動物体を検出する処理部と、を備える。処理部は、入力画像とそれより過去に撮像された背景画像との差分からなる差分画像に基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像の領域の属性値が検出対象物に特有の特徴を有する場合に、検出対象物が監視空間内に存在するものとして警報を発する等の処理を行う。例えば、検出対象が「侵入者」である場合には、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして警報を発する等の処理を行う。

また、画像センサを用いて侵入者等の監視を行うシステムは、夜間の監視のために、監視空間に光を照射する照明部をさらに備える。そして、照明部により監視空間を照射した状態で監視空間を撮像した画像を取得し、取得した画像データを処理して移動物体の検出及び該移動物体が検出対象物か否かの判断を行うことで、夜間における監視空間内の検出対象物（例えば侵入者）の存否を判断する。

ところで、屋外の監視空間に侵入した侵入者等を検出するため、カメラ部を屋外に設置して上記のシステムを利用することがある。この場合、屋外の監視空間を監視するシステムではカメラ部を屋外に設置するため、雨天時等にカメラ部のレンズ部分等に水滴が付着する事態が生じることがある。ここで、水滴がレンズ部分等に付着すると、水滴を撮像した画像領域はぼやけた状態で画像データ中に映り込むため、ぼやけた水滴画像領域における検出対象物の検出処理が困難となる。例えば、画像中の水滴画像領域内に侵入者が存在する場合、侵入者の画像が水滴画像領域に隠れる等してはっきりと撮像されない場合があり、セキュリティシステムでは特に問題となる。

そこで、カメラ部のレンズ部分等に水滴が付着した場合には、上記のような問題の発生を防ぐため、水滴が付着したことを検出してレンズ部分等から除去する等の対処を早急に行う必要がある。

従来、水滴の付着を検出するにあたり、例えば車両のフロントガラス等に付着した雨滴を検出する技術として、設定された雨滴検出領域内を撮像して得られた画像データからこの領域内の照度を算出し、得られた照度に基づいて、雨滴の輪郭を識別するための照度変化量の閾値を算出し、この閾値を用いて雨滴の輪郭を検出する技術がある。

特開平０５−２８４５０１号公報 特開平１０−１４８６８１号公報

侵入者等を検出するための画像センサを用いたシステムでは、水滴がカメラ部のレンズ部分等に付着すると、水滴を撮像した画像領域はぼやけた状態で画像データ中に映り込むため、ぼやけた水滴画像領域における検出対象物の検出処理が困難となることがあった。

また、上記の画像センサを用いたシステムにおいて、カメラ部のレンズ部分等に付着した水滴は、誤報の原因ともなっていた。

画像センサを用いたシステムでは、入力画像と背景画像との差分画像から抽出された変動領域の「検出対象物らしさ」を表す属性値が所定の条件を満たすか否かが検出のポイントとなる。すなわち、変動領域が検出対象物に起因しない場合においても「検出対象物らしさ」の条件が満たされるときには検出誤り（誤報）を発することとなる。このような誤報は、侵入者を検出するセキュリティシステムでは特に問題となる。

ここで、このようなシステムにおいて、昼間等の明るい場合に自然光を利用して監視空間を撮像し、監視空間の画像を取得する場合、こうして撮像した撮像画像中の水滴画像領域は、太陽光などが映り込んで生じた明るい領域と地面等が映り込んで生じた暗い領域とに分かれるという特徴がある。この水滴画像領域内の明るい領域と暗い領域は、入力画像と背景画像との差分画像からそれぞれ変動領域として抽出され、いずれかの変動領域の面積や形状が「人らしさ」の条件を満たすと、これにより侵入者が存在するものとして誤報を発することがあった。

本発明の目的は、昼間等に環境光を利用して撮像した場合においても、撮像部に付着した水滴の検出確度を高めることのできる画像信号処理装置を提供することにある。

本発明の画像信号処理装置は、撮像部により撮像された入力画像中に、水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部を有する画像信号処理装置であって、前記水滴検出部は、撮像された背景画像と、前記背景画像の撮像後に撮像された入力画像との差分から輝度変化が生じたという条件を満たす差分画像を生成し、さらに前記差分画像中で前記入力画像の対応する画素が所定の輝度値以上であるという条件を満たす入力高輝度差分画像と、前記差分画像中で前記入力画像の対応する画素が前記所定の輝度値未満であるという条件を満たす入力非高輝度差分画像とを生成する差分画像生成処理と、前記入力画像におけるエッジ強度が第一の閾値以下であるという条件を満たす入力弱エッジ画像を生成する入力弱エッジ画像生成処理と、前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が減少したという条件を満たすエッジ減画像を生成するエッジ減画像生成処理と、前記差分画像、入力高輝度差分画像及び入力非高輝度差分画像の少なくとも一つと、前記入力弱エッジ画像及び前記エッジ減画像の論理和により得られる画像との論理積により、水滴が存在する可能性の高い水滴候補画像を生成する水滴候補画像生成処理と、生成された水滴候補画像に基づいて水滴の有無を判定し、水滴の検出を行う水滴判定処理と、を行うことを特徴とする。

ここで、上記構成の画像信号処理装置において、前記水滴検出部は、前記背景画像中よりも前記入力画像中のエッジ強度が第二の閾値以上であるという条件を満たすエッジ大幅増画像を生成するエッジ大幅増画像生成処理をさらに行い、前記水滴候補画像生成処理では、前記論理積処理を行った後、さらに前記エッジ大幅増画像との否定論理積処理を行い、水滴候補画像を生成するのが好適である。

また上記構成の画像信号処理装置において、前記水滴検出部は、前記入力画像中ではエッジ強度が第三の閾値以上であり前記背景画像中ではエッジ強度が第四の閾値以下であるという条件を満たす差分強エッジ画像を生成する差分強エッジ画像生成処理をさらに行い、前記水滴候補画像生成処理では、前記論理積処理を行った後、さらに前記差分強エッジ画像との否定論理積処理を行い、水滴候補画像を生成するのが好適である。

ここで、前記水滴候補画像生成処理において入力高輝度差分画像を用いた論理積により高輝度水滴候補画像が生成された場合には、前記水滴検出部は、高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す高輝度水滴候補近傍画像を生成する高輝度水滴候補近傍画像生成処理と、前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、前記差分強エッジ画像生成処理により生成された前記差分強エッジ画像と前記高輝度水滴候補近傍画像との論理積により得られる高輝度近傍強エッジ画像を生成する高輝度近傍強エッジ画像生成処理と、前記高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる高輝度近傍エッジ増画像を生成する高輝度近傍エッジ増画像生成処理と、を行い、前記水滴判定処理では、前記高輝度水滴候補画像に、前記高輝度水滴候補近傍画像に対する前記高輝度近傍強エッジ画像の比率が第一の所定面積率以上であり、且つ前記高輝度水滴候補近傍画像に対する前記高輝度近傍エッジ増画像の比率が第二の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定するのが好適である。

また、前記水滴候補画像生成処理において入力非高輝度差分画像を用いて非高輝度水滴候補画像が生成された場合には、前記水滴検出部は、非高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す非高輝度水滴候補近傍画像を生成する非高輝度水滴候補近傍画像生成処理と、前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、前記非高輝度水滴候補近傍画像と前記差分強エッジ画像との論理積により得られる非高輝度近傍強エッジ画像を生成する非高輝度近傍強エッジ画像生成処理と、前記非高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる非高輝度近傍エッジ増画像を生成する非高輝度近傍エッジ増画像生成処理と、を行い、前記水滴判定処理では、前記非高輝度水滴候補画像に、前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍強エッジ画像の比率が第三の所定面積率未満であり、且つ前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍エッジ増画像の比率が第四の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定するのが好適である。

さらにまた、前記水滴候補画像生成処理で前記差分画像を用いて全水滴候補画像が、入力高輝度差分画像を用いて高輝度水滴候補画像が、入力非高輝度差分画像を用いて非高輝度水滴候補画像がそれぞれ生成された場合には、前記水滴検出部は、高輝度水滴候補画像及び非高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す高輝度水滴候補近傍画像及び非高輝度水滴候補近傍画像をそれぞれ生成する水滴候補近傍画像生成処理と、前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、前記高輝度水滴候補近傍画像及び前記非高輝度水滴候補近傍画像と前記差分強エッジ画像との論理積により得られる高輝度近傍強エッジ画像及び非高輝度近傍強エッジ画像を生成する近傍強エッジ画像生成処理と、前記高輝度水滴候補近傍画像及び非高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる高輝度近傍エッジ増画像及び非高輝度近傍エッジ増画像を生成する近傍エッジ増画像生成処理と、を行い、前記水滴判定処理では、前記全水滴候補画像が第五の所定面積率以上であり、前記高輝度水滴候補画像に、前記高輝度水滴候補近傍画像に対する前記高輝度近傍強エッジ画像の比率が第一の所定面積率以上であり、且つ前記高輝度水滴候補近傍画像に対する前記高輝度近傍エッジ増画像の比率が第二の所定面積率以上であるという条件を満たす部分が存在し、前記非高輝度水滴候補画像に、前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍強エッジ画像の比率が第三の所定面積率未満であり、且つ前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍エッジ増画像の比率が第四の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定するのが好適である。

また、上記構成の画像信号処理装置において、前記水滴検出部は、前記水滴候補画像生成処理において生成された水滴候補画像について、最新の入力画像における水滴候補画像と、最新の入力画像の撮像前に撮像された画像における水滴候補画像との排他的論理和により定まる画素あるいは画素群から構成される領域の面積をフレーム間差分面積として算出する処理を行い、前記水滴判定処理では、さらに前記フレーム間差分面積に基づいて、前記水滴候補画像が滞留水滴に起因した画像か否かを判定するのが好適である。さらに前記水滴検出部は、前記水滴候補画像生成処理において生成された水滴候補画像について、最新の入力画像における最新水滴候補画像と、入力画像の撮像前に撮像された過去水滴候補画像のそれぞれの重心の位置を算出する処理を行い、前記水滴判定処理では、さらに前記最新水滴候補画像と前記過去水滴候補画像の重心位置の違いに基づいて、前記水滴候補画像が流動水滴に起因した画像か否かを判定するのが好適である。

本発明によれば、屋外で昼間等に環境光を利用して監視空間を撮像する場合における水滴の検出処理の確度が向上する。従って、昼間等の明るい屋外の監視を行う場合でも、水滴付着を検出してレンズ部分等から除去する等の対処を早急に行うことができると共に、水滴画像領域を検出対象物であるとして誤報を発することを抑制できる。尚、本発明は、監視空間が街灯等で明るい場合には、その監視空間の夜間における監視にも適用可能である。

本発明の実施の形態における画像センシング装置１００は、図１に示すように、撮像部１０、侵入者検出部２０と水滴検出部３０と判定部４０とを含む画像処理部５０、及び出力部６０を含み、以下に説明する処理を実行するためのプログラムを実行可能なコンピュータで構成することができる。尚、本実施形態では、検出対象物を「侵入者」としているが、これに限定されるものではない。従って、符号２０の構成要素を侵入者検出部という名称としているが、検出対象物によって名称も変更し得るものであり、画像センシング装置１００による所望の検出対象物を検出する処理を行う構成であれば良い。

撮像部１０は、監視空間を２次元画像データとして取得可能なＣＣＤ素子又はＣ−ＭＯＳ素子等の光電変換素子を備えたカメラ、撮像された画像に対してアナログ／デジタル変換等の処理を行う処理部、及び、画像データを出力するインターフェース（図示せず）を含んで構成される。撮像部１０は、所定の時間周期Ｔｉ（例えば、０．１秒）で監視空間の画像を撮像して画像データとして出力する。

侵入者検出部２０は、従来と同様に、撮像部１０から所定の時間周期Ｔｉで入力画像データを取得し、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像データ中の領域の属性値が検出対象物（本実施形態では「侵入者」すなわち「人」）に特有の特徴を有する場合に、検出対象物が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして「侵入者」の存在を検出する。また、こうして得られた検出結果を示す信号を判定部４０に出力する。

水滴検出部３０は、侵入者検出部２０と同様に、所定の時間周期Ｔｉで入力画像データを取得する。水滴検出部３０は、図２に示すように、背景画像更新部３１、背景差分演算部３２、エッジ抽出部３３、水滴候補画像生成部３４、フレーム間差分演算部３５、水滴候補近傍画像処理部３６、水滴判定部３７及び記憶部３８を含んで構成される。記憶部３８は、半導体メモリ、ハードディスク装置、光ディスク装置等から構成することができる。記憶部３８は、背景差分画像を算出するために必要な背景画像データ、及び、後述の水滴候補画像の移動情報を算出するために必要な過去水滴候補画像データを格納及び保持する。尚、過去水滴候補画像データは、最も新しい入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）に撮像された画像データにおいて後述の如く抽出された水滴候補画像の画像データとされる。記憶部３８以外の構成部における処理については後述する。

水滴検出部３０は、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データを生成する。そして、入力画像データ、背景画像データ及び差分画像データに後述の各種処理を行い、各種処理により得られた画像データに基づいて、入力画像が水滴に起因して生じた画像か否かを判定する。水滴に起因する画像であると判定した場合には、水滴の付着を検出した旨の信号を判定部４０に出力する。

判定部４０は、侵入者検出部２０及び水滴検出部３０において検出された結果に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。ここで得られた判定結果は出力部６０に出力される。

以上、本実施形態では、侵入者検出部２０、水滴検出部３０及び判定部４０を含めて画像センシング装置１００における画像処理部５０とする。

出力部６０は、判定部４０において監視空間に検出対象物が存在する、あるいは撮像部１０のレンズ部分等に水滴が付着している、と判定された場合に装置外部へ警報信号等を出力するために用いられる。例えば、警報ランプや警報ブザーを含む警報装置としても良いし、遠方の監視室に警報信号を送信するためのネットワーク・インターフェースとすることも好適である。

次に、本実施形態における画像センシング装置１００で行われる画像データに対する処理について、図３を参照して説明する。尚、本実施形態では、昼間等の明るい時間帯に自然光を利用して監視空間を撮像する場合における処理について説明する。また本発明は、監視空間が街灯等による光（自然光を含めて環境光という）によって明るい場合には、その監視空間の夜間における監視にも適用可能である。

ステップＳ１では、最新の入力画像データが取得され、撮像部１０において撮像された監視空間の最新の画像データが侵入者検出部２０及び水滴検出部３０へ入力される。このとき、昼間等の明るい場合における監視のように自然光による明るさで十分監視可能である場合には、自然光を利用して撮像された画像が、最新の入力画像データとして取得される。

ステップＳ２では、侵入者検出部２０により、監視空間内における「侵入者」の存在を検出する。侵入者検出部２０では、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出する。そして、その変動領域に対応する入力画像データ中の領域の属性値が「侵入者」すなわち「人」に特有の特徴を有する場合、例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に、「侵入者」が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。そして侵入者検出部２０は、こうして得られた検出結果を示す信号を判定部４０に出力する（ステップＳ３）。

ステップＳ４では、水滴検出部３０により、撮像部１０の前面への水滴の付着を検出する。水滴検出部３０により行われる水滴付着検出処理について、図４を参照して説明する。尚、以下の画像信号処理は記憶部３８等に予め格納されている画像信号処理プログラムを実行することによって実現することができる。

ステップＳ４−１では、最新の入力画像データと背景画像データとに基づいて背景差分データが生成される。背景差分演算部３２は、記憶部３８から背景画像データを読み出し、撮像部１０で取得された最新の入力画像データと背景画像データとの差分を算出することによって背景差分データを生成する。具体的には、最新の入力画像データに含まれる各画素を順に着目画素として、その画素の輝度値からその画素に対応する背景画像データの画素の輝度値を引くことによって、着目画素に対する差分データを絶対値として算出する。この差分データが所定の閾値（例えば輝度情報を２５６階調で設定した場合、１０程度）以上の値であれば着目画素に対応する背景差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する背景差分データの画素の画素値を“０”として２値化された背景差分データを生成する。すなわち、入力画像データと背景画像データとにおいて閾値以上の変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。尚、背景差分データに含まれる画素値“１”を有する画素のうち連続する画素群で構成される領域は、一つの変動領域を形成することとなる。

ここで、ステップＳ４−１での処理において、さらに輝度値の閾値ＴＨ１（例えば輝度情報を２５６階調で設定した場合、２００程度）を設定しておき、この閾値ＴＨ１を用いて同様の２値化処理も行う。これにより、上記の２値化処理により得られた入力画像データにおける水滴に起因して生じた画像領域（水滴画像領域）について、この水滴画像領域内で特に閾値ＴＨ１以上である入力高輝度領域と、閾値ＴＨ１未満である他の領域（入力非高輝度領域）とを別個のものとして差分処理も行われ、入力高輝度領域についての入力高輝度差分データと入力非高輝度領域についての入力非高輝度差分データとが生成される。これは、昼間等の明るい場合に環境光を利用して撮像された画像中の水滴画像領域は、明るい領域（入力高輝度領域に相当）と暗い領域（入力非高輝度領域に相当）とに分かれる特徴があり、以後の処理において両者を個別に処理するのが望ましいためである。尚、閾値ＴＨ１が本発明の差分画像生成処理における所定の輝度値の一例に相当する。

また、水滴画像領域とみなせる最低限の輝度として閾値ＴＨ２（例えば輝度情報を２５６階調で設定した場合、８０程度）を設定しておき、入力画像データに対して閾値ＴＨ２以上の輝度値の画素を抽出し、抽出した画素に対してのみ上記の２値化処理の画素値を“１”としても良い。これによれば、あまりにも低い輝度の画像領域は水滴に起因した画像領域ではない可能性が高いため、このような画像領域を水滴付着検出処理の処理対象外とすることができる。こうして生成された各差分データは水滴候補画像生成部３４に渡される。

ステップＳ４−２では、最新の入力画像データ及び背景画像データのそれぞれについて、画像中のエッジ強度が算出され、エッジ処理が行われる。この処理は、水滴がレンズ部分等に付着すると、水滴を撮像した画像領域はレンズ効果によりぼやけた状態で画像データ中に映り込み、エッジの変化が顕著となるという特徴を利用したものである。エッジ抽出部３３は、撮像部１０で取得された最新の入力画像データと、記憶部３８内の背景画像データとについて、それぞれの画像中のエッジ強度を、既存の算出方法を用いて算出する。例えば、Ｘ方向（画像の上下方向）のエッジ強度とＹ方向（画像の左右方向）のエッジ強度をそれぞれ算出し、得られた各エッジ強度の絶対値を加算することでエッジ強度を算出する。

エッジ抽出部３３は、最新の入力画像データ及び背景画像データについて上記処理を行い、これにより得られた入力エッジ画像データ及び背景エッジ画像データを用いて、次の各画像データを生成する。まず、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ３（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以下であるという条件を満たす画像のデータ（入力弱エッジ画像データ）を生成する。これは、ぼやけて映る水滴画像領域の内部ではエッジ強度が弱いという特徴を水滴検出に利用するためのものである。尚、閾値ＴＨ３が本発明における第一の閾値の一例に相当する。

また、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ４（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（入力強エッジ画像データ）を生成する。これは、自然光を利用して撮像した画像における水滴画像領域内の入力高輝度領域はほぼ全域が明るくなるため、入力高輝度領域の内部ではエッジ強度が強くない一方で、入力高輝度領域の周辺近傍ではエッジ強度が強いという特徴を水滴検出に利用するためのものである。尚、閾値ＴＨ４が本発明における第三の閾値の一例に相当する。

さらに、入力エッジ画像中ではエッジ強度が上記所定の閾値ＴＨ４以上であり且つ背景エッジ画像中ではエッジ強度が所定の閾値ＴＨ５（例えば輝度情報を２５６階調で設定した場合、２０程度）以下であるという条件を満たす画像のデータ（差分強エッジ画像データ）を生成する。差分強エッジ画像の生成手順としては、まず背景エッジ画像中でエッジ強度が前記ＴＨ５より大きい所定の閾値ＴＨ６（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（背景強エッジ画像データ）を生成する。次に、上記の入力強エッジ画像データと背景強エッジ画像データとで差分をとることで差分強エッジ画像データを生成する。これは、水滴画像領域の内部では強いエッジが新たに出現しないという特徴や、自然光を利用して撮像した画像における水滴画像領域内の入力高輝度領域はほぼ全域が明るいため、入力高輝度領域の周辺部分では光の屈折の関係で強エッジ領域が形成されやすい、すなわち入力高輝度領域の周辺部分には、背景エッジ画像中には存在せず入力エッジ画像中に新たに出現する強エッジが多いという特徴を、水滴検出に利用するためのものである。尚、閾値ＴＨ５が本発明における第四の閾値の一例に相当する。

以上のようにしてエッジ抽出部３３で生成された各エッジ画像データは、水滴候補画像生成部３４に渡される。

ステップＳ４−３では、エッジ抽出部３３で生成された入力エッジ画像データと背景エッジ画像データの対応する画素のエッジ強度を比較し、両エッジ画像間でのエッジ強度の変化を示す画像が生成される。水滴候補画像生成部３４は、入力エッジ画像データと背景エッジ画像データとの差分エッジ画像データを生成し、これに基づいて、以下の各画像データを生成する。

まず、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ７（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上低いという条件を満たす画像のデータ（エッジ減画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が減少するという特徴を水滴検出に利用するためのものである。

また、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ８（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上高いという条件を満たす画像のデータ（エッジ増画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の周辺近傍では、背景画像において水滴画像領域の周辺近傍と対応する画像領域と比べ、エッジ強度が増加するという特徴を水滴検出に利用するためのものである。入力画像中の水滴画像領域におけるエッジ強度は背景画像における水滴画像領域と対応する画像領域よりも弱まると考えられることから、逆に強まった場合にはエッジ増領域を水滴候補画像の生成の際に除外することが効果的である。

ここで、例えば背景画像として白い壁を映していた場合に光の関係で水滴が黒く映る場合、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が増加する。しかし、上記のエッジ増画像の定義に従えば、このような水滴画像領域に起因したエッジ増画像は水滴候補画像の生成の際に除外されてしまうこととなり、望ましくない。そこで、このような場合に対応するため、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度がある程度以上は増加しないであろう閾値ＴＨ９（例えば輝度情報を２５６階調で設定した場合、２０程度）を新たに設定し、エッジ強度増加量が閾値ＴＨ９以上という条件を満たす画像のデータ（エッジ大幅増画像データ）を差分エッジ画像から生成することとした。エッジ大幅増画像は、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定の閾値ＴＨ９以上高い（ここでＴＨ９≧ＴＨ８）という条件を満たすものである。そして、このエッジ大幅増画像を水滴候補画像の生成の際に除外することとした。尚、閾値ＴＨ９が本発明における第二の閾値の一例に相当する。

ステップＳ４−４では、入力画像が撮像部１０への水滴の付着により生じた可能性のある画像か否かを判定するための水滴候補画像が生成される。水滴候補画像生成部３４は、背景差分演算部３２から取得した背景差分データ、入力高輝度差分データ及び入力非高輝度差分データ、エッジ抽出部３３から取得した各エッジ画像データ、及び水滴候補画像生成部３４で生成した各画像データを用いて、水滴候補画像を生成する。

ここで、昼間等の明るい監視空間に対して自然光を利用して撮像した場合、水滴画像領域には、ステップＳ４−１の処理で形成された入力高輝度領域と入力非高輝度領域とが含まれる。そこで、以後の処理を入力高輝度領域と入力非高輝度領域とで別個に処理する必要があるため、水滴画像領域についての水滴候補画像（全水滴候補画像）の他に、入力高輝度領域についての水滴候補画像（高輝度水滴候補画像）と入力非高輝度領域についての水滴候補画像（非高輝度水滴候補画像）とをそれぞれ生成する。

全水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力画像においてある程度以上の輝度を持つ画像（ステップＳ４−１で得られた背景差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。

高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力高輝度差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。

非高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力非高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力非高輝度差分データ）である。特徴２及び特徴３は、高輝度水滴候補画像と同一である。

以上のように、水滴候補画像生成部３４は、各差分データ、入力弱エッジ画像データ、エッジ減画像データ、差分強エッジ画像データ及びエッジ大幅増画像データを用いて、上記特徴を満たす画像を水滴候補画像として生成する。尚、以後の説明中、単に水滴候補画像と述べている場合には、全水滴候補画像と高輝度水滴候補画像と非高輝度水滴候補画像とを全て含むものとする。

ここで、水滴候補画像を生成する際に考慮する特徴として、水滴候補画像につきそれぞれ上記の特徴１〜３を挙げているが、少なくとも特徴１及び特徴２を満たしている画像については、水滴候補画像として生成可能である。特徴１及び特徴２のみならず特徴３をも満たす画像を生成することで、より精度の高い水滴候補画像の生成が可能となる。

以上のようにして水滴候補画像が生成されると、水滴判定部３７は、この水滴候補画像に基づいて水滴が存在するか否かを判定する。例えば、いずれかの水滴候補画像について、上記各特徴を満たした画素あるいは画素群から構成される領域が水滴候補画像内に存在している場合には、水滴が存在すると判定し、そのような画素あるいは領域が水滴候補画像内に存在しない場合には、水滴が存在しないと判定する。水滴判定部３７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部４０に出力する。しかし、以下に説明するステップＳ４−５以降の処理を行うことによって、より水滴検出の検出確度を高めることができる。

ステップＳ４−５では、水滴候補画像生成部３４により生成された水滴候補画像において、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の近傍（外周部分）の一定範囲が、当該画素あるいは領域の周辺領域として特定される。水滴候補近傍画像処理部３６は、その周辺領域を示す画像を水滴候補近傍画像として生成する。これは、水滴画像領域の内部ではレンズ効果により背景画像の対応する部分よりもエッジ強度が弱くなる傾向にあるのに対して、その周辺部分では逆に屈折の関係で背景画像よりもエッジ強度が増加する傾向にある、さらには明るく映る水滴の周辺には強いエッジが出やすい、という現象を捉えるためのものである。水滴候補近傍画像は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域について、これら画素あるいは領域を所定の画素数分（例えば４画素）膨張させた部分の内、当該画素あるいは領域に含まれない部分を当該画素あるいは領域の周辺領域として示すものである。

ステップＳ４−６では、水滴候補近傍画像処理部３６が、水滴候補近傍画像に含まれる強いエッジに関する画像を生成する。まず、ステップＳ４−２で取得した強いエッジ画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍強エッジ画像データ）を生成する。この論理積処理には、強いエッジ画像として差分強エッジ画像を用いる。これは、明るく映る場合には、その周辺部分では背景と比べて強いエッジが新たに現れやすいと想定できるためである。一方、明るく映らない場合には、逆に背景と比べて強いエッジが現れにくいと想定できるためである。尚、非高輝度水滴候補画像に対しては、上記の論理積処理に用いられる強いエッジ画像として入力強エッジ画像を用いても良いが、上述の如く差分強エッジ画像を用いるのが好ましい。次に、ステップＳ４−３で取得したエッジ増画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍エッジ増画像データ）を生成する。

以上の２種類の画像データは、特に水滴画像領域における入力高輝度領域及び入力非高輝度領域の以下の特徴を捉えるために利用するものである。まず、入力高輝度領域及び入力非高輝度領域の周辺領域では、いずれも背景に比べてエッジが増えるという特徴がある。また、入力高輝度領域の周辺領域では、エッジ強度が強いという特徴があり、入力非高輝度領域の周辺領域では、エッジ強度が強くないという特徴がある。従って、近傍強エッジ画像データ及び近傍エッジ増画像データを用いることで、上記の周辺領域におけるエッジの特徴を満たさない画像を、水滴候補画像から除外することができる。

以上のようにして水滴候補画像からの除外処理を行った上で、水滴判定部３７は、この除外処理後の水滴候補画像に基づいて水滴が存在するか否かを判定する。判定の仕方は上記ステップＳ４−６における判定処理と同様である。水滴判定部３７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部４０に出力する。これにより、高い検出確度で水滴検出を行うことができる。しかし、さらに以下に説明するステップＳ４−７以降の処理を行うことによって、さらなる水滴検出の検出確度を高めることができる。

ステップＳ４−７では、水滴候補画像生成部３４により生成された水滴候補画像に関して、記憶部３８内の過去水滴候補画像データとの差分処理を行う。フレーム間差分演算部３５は、水滴候補画像生成部３４にて生成された水滴候補画像について、記憶部３８に記憶されている、最新の入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）の過去水滴候補画像データとの差分を算出することによってフレーム間差分データを生成する。そして、生成されたフレーム間差分データを用いて、例えば後述のフレーム間差分面積を算出する。これにより、水滴候補画像の移動に関する情報を取得する。これは、水滴候補画像の動きの情報を取り入れ、水滴が付着したまま動かない場合と、流れ落ちる場合とで区別して水滴の判断条件を分けた方が、より高い検出確度が望めるためである。

フレーム間差分演算部３５は、現在の入力画像から得られた水滴候補画像と過去の水滴候補画像との排他的論理和により定まる画素あるいは画素群から構成される領域の面積（あるいは総画素数）をフレーム間差分面積として算出する。また、最新の水滴候補画像データと過去水滴候補画像データとのそれぞれの重心の位置を算出する。

ステップＳ４−８以降では、水滴候補画像生成部３４により生成された水滴候補画像に関して、流れ落ちずに滞留している水滴（滞留水滴）に起因した画像か否か、流れ落ちる水滴（流動水滴）に起因した画像か否かを判定する。水滴判定部３７は、水滴候補画像生成部３４にて生成された水滴候補画像と、フレーム間差分演算部３５にて算出された水滴候補画像の移動情報などから、背景差分演算部３２にて生成された背景差分データが、滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定する。

ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な判定情報を算出する。ここでは図５に示す各処理により以下の各判定情報が算出される。

ステップＳ４−８−１では、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の、水滴候補画像１フレーム中に占める割合である面積比率Ｆ１が、面積比率Ｆ１＝（各特徴を満たした画素あるいは領域の面積）／（水滴候補画像１フレームの面積）により算出される。面積比率Ｆ１は、水滴候補画像の各特徴を満たした画素あるいは領域は水滴候補画像中である程度以上の大きさを有するはずである、という特徴を反映させるためのものである。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−２では、ステップＳ４−７で求められたフレーム間差分面積を用いて、差分面積比率Ｆ２が、差分面積比率Ｆ２＝（フレーム間差分面積）／（最新及び過去の少なくとも一方に出現している水滴候補画像の面積）により算出される。尚、最新及び過去の少なくとも一方に出現している水滴候補画像の面積とは、最新の水滴候補画像と過去の水滴候補画像との論理和によって生成される画像の面積のことである。差分面積比率Ｆ２は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域が所定の時間間隔（例えば１フレーム分）でどれだけ出現したか、あるいは消滅したかを水滴候補画像中に占める比率で表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−３では、ステップＳ４−５で求められた水滴候補近傍画像を用いて、近傍画像面積比率Ｆ３が、近傍画像面積比率Ｆ３＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍画像面積比率Ｆ３は、水滴画像領域が画像フレームからはみ出して映る等により、水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域が大きく欠けて映っている場合には、このような画像についての水滴判定は適切に行えないため、判定対象外とするために用いられる情報である。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−４では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍強エッジ画像とを用いて、近傍強エッジ画像比率Ｆ４が、近傍強エッジ画像比率Ｆ４＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内で強いエッジが存在する領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍強エッジ画像比率Ｆ４は、水滴候補近傍画像に強いエッジがどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−５では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍エッジ増画像とを用いて、近傍エッジ増画像比率Ｆ５が、近傍エッジ増画像比率Ｆ５＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内でエッジ強度が増加した領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍エッジ増画像比率Ｆ５は、入力画像において背景画像よりもエッジ強度が増加した部分が、水滴候補近傍画像にどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。

ステップＳ４−８−６では、ステップＳ４−７で生成されたフレーム間差分データにおいて、最新の水滴候補画像データと過去水滴候補画像データとのそれぞれの重心の位置を算出し、画像中における座標値の差を重心位置変化量として算出する。画像中の座標軸は任意に設定できるが、例えば画像左上端を原点とし、左右方向の軸をＸ軸（右方向が正）、上下方向の軸をＹ軸（下方向が正）と設定する。そして、設定した座標軸により最新の水滴候補画像データと過去水滴候補画像データの重心の座標を算出し、Ｘ座標の差を（最新の水滴候補画像データのＸ座標）−（過去水滴候補画像データのＸ座標）より求め、Ｙ座標の差を（最新の水滴候補画像データのＹ座標）−（過去水滴候補画像データのＹ座標）より求める。これらは水滴画像領域がどれだけ移動したのかを示すものであり、Ｘ座標の差すなわちＸ方向の移動量ΔＸが正ならば水滴が画面中において右方向に移動したことを示し、Ｙ座標の差すなわちＹ方向の移動量ΔＹが正ならば水滴が画面中において下方向に移動したことを示す。こうして水滴の移動情報を取得する。

以上のようにして、ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な各判定情報を算出している。こうして各判定情報が算出されたら、図４におけるステップＳ４−９の処理へ移行する。

ステップＳ４−９では、水滴判定部３７は、水滴候補画像が滞留水滴に起因した画像か否かを判定する。具体的には、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、滞留水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は滞留水滴に起因した画像であると判定する。

高輝度水滴候補画像についての条件とは、＜滞留条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−１（例えば２％）以上であること（滞留水滴は一定以上の面積を有するため）、＜滞留条件２＞差分面積比率Ｆ２が所定の閾値ＴＨＦ２（例えば５〜１０％）以下であること（滞留状態の水滴は移動が少ないため）、＜滞留条件３＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴候補画像の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜滞留条件４＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜滞留条件５＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。

非高輝度水滴候補画像についての条件は、＜滞留条件４＞及び＜滞留条件５＞以外は高輝度水滴候補画像についての条件と同様で、＜滞留条件４＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜滞留条件５＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。

全水滴候補画像についての条件は、上記＜滞留条件１＞〜＜滞留条件３＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜滞留条件４＞及び＜滞留条件５＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は滞留水滴に起因した画像であると判定する。尚、閾値ＴＨＦ４−１が本発明における第一の所定面積率の一例に相当し、閾値ＴＨＦ５−１が本発明における第二の所定面積率の一例に相当し、閾値ＴＨＦ４−２が本発明における第三の所定面積率の一例に相当し、閾値ＴＨＦ５−２が本発明における第四の所定面積率の一例に相当し、閾値ＴＨＦ１−１が本発明における第五の所定面積率の一例に相当する。

ステップＳ４−１０では、水滴判定部３７は、水滴候補画像が流動水滴に起因した画像か否かを判定する。具体的には、ステップＳ４−９の処理と同様に、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、流動水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は流動水滴に起因した画像であると判定する。

高輝度水滴候補画像についての条件とは、＜流動条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−２（例えば１０％）以上であること（流動水滴は一定以上の面積を有するため）、＜流動条件２＞近傍領域面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜流動条件３＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜流動条件４＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、＜流動条件５＞移動量ΔＹが所定の閾値ＴＨΔＹ（例えば５％）以上であること（流動水滴では、一定以上の距離を下方向に流れ落ちているはずであるため）、＜流動条件６＞移動量ΔＹが、移動量ΔＸの絶対値以上の値であること（流動水滴では、左右方向の移動量よりも下方向の移動量の方が大きいはずであるため）といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は流動水滴に起因した画像であると判定する。

非高輝度水滴候補画像についての条件は、＜流動条件３＞及び＜流動条件４＞以外は高輝度水滴候補画像についての条件と同様で、＜流動条件３＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜流動条件４＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は流動水滴に起因した画像であると判定する。

全水滴候補画像についての条件は、上記＜流動条件１＞、＜流動条件２＞、＜流動条件５＞及び＜流動条件６＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜流動条件３＞及び＜流動条件４＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は流動水滴に起因した画像であると判定する。

以上のようにして水滴判定部３７は、ステップＳ４−９〜ステップＳ４−１１により、水滴候補画像が滞留水滴に起因した画像か、流動水滴に起因した画像かを判定し、得られた判定結果に基づき、水滴の状態をも考慮した水滴の検出を行うことができる。そして水滴判定部３７は、得られた検出結果を示す信号を図１における判定部４０に出力する（ステップＳ５）。検出結果としては、水滴の有無を示すのみでも良いし、あるいは滞留水滴か流動水滴かまでの情報を検出結果に含めて水滴付着ありとしても良い。こうして水滴検出部３０における水滴付着検出処理が終了し、続いて図３におけるステップＳ６の処理へ移行する。

ステップＳ６では、判定部４０が、侵入者検出部２０及び水滴検出部３０からの検出結果信号に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。そして、判定部４０において侵入者の存在を検出した、あるいは水滴の付着を検出したと判定された場合にはステップＳ７に処理を移行させ、侵入者の存在も水滴の付着も検出されなかった場合にはステップＳ８に処理を移行させる。

ステップＳ７では、出力部６０から警報信号を出力させる。出力部６０が警報ランプや警報ブザーを含む警報装置である場合にはランプを点灯させたり、ブザー音を発したりさせる。このとき、侵入者の存在のみを検出した場合、水滴の付着のみを検出した場合、侵入者及び水滴の双方を検出した場合に応じてそれぞれ別種の警報信号を出力し、それぞれ別種のランプを点灯させたり、別種のブザー音を発したりさせるようにすると良い。また、出力部６０がネットワーク・インターフェースである場合には、インターネットや専用回線を介して遠方の監視室に警報信号を送信させることもできる。この場合の警報信号も、上記の３通りの場合に応じて別種の警報信号を送信させるようにすると良い。またこのとき、警報信号と共に検出判定対象の入力画像データを送信させるようにすると良い。またステップＳ７において、出力部６０から水滴を検出した旨の信号が出力した場合には、その出力信号に基づいて、撮像部１０の前面に温風を吹き付けるブロアや、付着した水滴を除去するワイパー（図示せず）が作動するようにしても良い。

ステップＳ８では、背景画像データの更新処理が行われる。背景画像更新部３１は、所定の背景更新周期Ｔｒ（例えば、１０秒）で記憶部３８に保持されている背景画像データを最新の入力画像データで更新する。背景更新周期Ｔｒは、監視空間に対する日照の変動等を考慮して決定することが好適である。また、他の方法として、「人」が存在しないと判定された入力画像データで背景画像データを更新しても良く、さらに、過去に取得された複数の入力画像データの移動平均画像データにより背景画像データを更新しても良い。

尚、本実施形態では、撮像部１０により取得された最新の入力画像１フレーム全体について水滴の検出処理を行っているが、最新の入力画像データと背景画像データとの差分を算出することによって得られる背景差分データ内の変動領域ごとに、同様の水滴検出処理を行うようにしても良い。また、最新の入力画像１フレーム全体についての水滴検出処理と、背景差分データ内の変動領域ごとについての水滴検出処理とを併行して行っても良い。

以上のように、本実施の形態によれば、屋外で昼間等に自然光を利用して監視空間を撮像する場合においても、撮像画像中の水滴画像領域を精度良く検出できる。これにより、従来のような失報や誤報の発生を抑制することができる。

本発明の実施の形態におけるセンシング装置の構成を示す図である。 本発明の実施の形態における水滴検出部の構成を示す図である。 本発明の実施の形態におけるセンシング処理のフローチャートである。 本発明の実施の形態における水滴付着検出処理のフローチャートである。 本発明の実施の形態における水滴判定情報算出処理のフローチャートである。

符号の説明

１０ 撮像部、２０ 侵入者検出部、３０、水滴検出部、３１ 背景画像更新部、３２ 背景差分演算部、３３ エッジ抽出部、３４ 水滴候補画像生成部、３５ フレーム間差分演算部、３６ 水滴候補近傍画像処理部、３７ 水滴判定部、３８ 記憶部、４０ 判定部、５０ 画像処理部、６０ 出力部、１００ 画像センシング装置。

Claims (8)

1. 撮像部により撮像された入力画像中に、水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部を有する画像信号処理装置であって、
   前記水滴検出部は、
   撮像された背景画像と、前記背景画像の撮像後に撮像された入力画像との差分から輝度変化が生じたという条件を満たす差分画像を生成し、さらに前記差分画像中で前記入力画像の対応する画素が所定の輝度値以上であるという条件を満たす入力高輝度差分画像と、前記差分画像中で前記入力画像の対応する画素が前記所定の輝度値未満であるという条件を満たす入力非高輝度差分画像とを生成する差分画像生成処理と、
   前記入力画像におけるエッジ強度が第一の閾値以下であるという条件を満たす入力弱エッジ画像を生成する入力弱エッジ画像生成処理と、
   前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が減少したという条件を満たすエッジ減画像を生成するエッジ減画像生成処理と、
   前記差分画像、入力高輝度差分画像及び入力非高輝度差分画像の少なくとも一つと、前記入力弱エッジ画像及び前記エッジ減画像の論理和により得られる画像との論理積により、水滴が存在する可能性の高い水滴候補画像を生成する水滴候補画像生成処理と、
   生成された水滴候補画像に基づいて水滴の有無を判定し、水滴の検出を行う水滴判定処理と、
   を行うことを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記水滴検出部は、
   前記背景画像中よりも前記入力画像中のエッジ強度が第二の閾値以上であるという条件を満たすエッジ大幅増画像を生成するエッジ大幅増画像生成処理をさらに行い、
   前記水滴候補画像生成処理では、
   前記論理積処理を行った後、さらに前記エッジ大幅増画像との否定論理積処理を行い、水滴候補画像を生成する、
   ことを特徴とする画像信号処理装置。
3. 請求項１又は２に記載の画像信号処理装置において、
   前記水滴検出部は、
   前記入力画像中ではエッジ強度が第三の閾値以上であり前記背景画像中ではエッジ強度が第四の閾値以下であるという条件を満たす差分強エッジ画像を生成する差分強エッジ画像生成処理をさらに行い、
   前記水滴候補画像生成処理では、
   前記論理積処理を行った後、さらに前記差分強エッジ画像との否定論理積処理を行い、水滴候補画像を生成する、
   ことを特徴とする画像信号処理装置。
4. 請求項３に記載の画像信号処理装置において、
   前記水滴候補画像生成処理において入力高輝度差分画像を用いた論理積により高輝度水滴候補画像が生成された場合、前記水滴検出部は、
   高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す高輝度水滴候補近傍画像を生成する高輝度水滴候補近傍画像生成処理と、
   前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、
   前記差分強エッジ画像生成処理により生成された前記差分強エッジ画像と前記高輝度水滴候補近傍画像との論理積により得られる高輝度近傍強エッジ画像を生成する高輝度近傍強エッジ画像生成処理と、
   前記高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる高輝度近傍エッジ増画像を生成する高輝度近傍エッジ増画像生成処理と、
   を行い、
   前記水滴判定処理では、
   前記高輝度水滴候補画像に、前記高輝度水滴候補近傍画像に対する前記高輝度近傍強エッジ画像の比率が第一の所定面積率以上であり、且つ前記高輝度水滴候補近傍画像に対する前記高輝度近傍エッジ増画像の比率が第二の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定する、
   ことを特徴とする画像信号処理装置。
5. 請求項１から３の何れか一つに記載の画像信号処理装置において、
   前記水滴候補画像生成処理において入力非高輝度差分画像を用いて非高輝度水滴候補画像が生成された場合、前記水滴検出部は、
   非高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す非高輝度水滴候補近傍画像を生成する非高輝度水滴候補近傍画像生成処理と、
   前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、
   前記非高輝度水滴候補近傍画像と前記差分強エッジ画像との論理積により得られる非高輝度近傍強エッジ画像を生成する非高輝度近傍強エッジ画像生成処理と、
   前記非高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる非高輝度近傍エッジ増画像を生成する非高輝度近傍エッジ増画像生成処理と、
   を行い、
   前記水滴判定処理では、
   前記非高輝度水滴候補画像に、前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍強エッジ画像の比率が第三の所定面積率未満であり、且つ前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍エッジ増画像の比率が第四の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定する、
   ことを特徴とする画像信号処理装置。
6. 請求項３に記載の画像信号処理装置において、
   前記水滴候補画像生成処理で前記差分画像を用いて全水滴候補画像が、入力高輝度差分画像を用いて高輝度水滴候補画像が、入力非高輝度差分画像を用いて非高輝度水滴候補画像がそれぞれ生成された場合、前記水滴検出部は、
   高輝度水滴候補画像及び非高輝度水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の周辺領域を示す高輝度水滴候補近傍画像及び非高輝度水滴候補近傍画像をそれぞれ生成する水滴候補近傍画像生成処理と、
   前記入力画像中のエッジ強度と前記背景画像中のエッジ強度とを比較し、前記入力画像中において前記背景画像中よりもエッジ強度が増加したという条件を満たすエッジ増画像を生成するエッジ増画像生成処理と、
   前記高輝度水滴候補近傍画像及び前記非高輝度水滴候補近傍画像と前記差分強エッジ画像との論理積により得られる高輝度近傍強エッジ画像及び非高輝度近傍強エッジ画像を生成する近傍強エッジ画像生成処理と、
   前記高輝度水滴候補近傍画像及び非高輝度水滴候補近傍画像と前記エッジ増画像との論理積により得られる高輝度近傍エッジ増画像及び非高輝度近傍エッジ増画像を生成する近傍エッジ増画像生成処理と、
   を行い、
   前記水滴判定処理では、
   前記全水滴候補画像が第五の所定面積率以上であり、
   前記高輝度水滴候補画像に、前記高輝度水滴候補近傍画像に対する前記高輝度近傍強エッジ画像の比率が第一の所定面積率以上であり、且つ前記高輝度水滴候補近傍画像に対する前記高輝度近傍エッジ増画像の比率が第二の所定面積率以上であるという条件を満たす部分が存在し、
   前記非高輝度水滴候補画像に、前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍強エッジ画像の比率が第三の所定面積率未満であり、且つ前記非高輝度水滴候補近傍画像に対する前記非高輝度近傍エッジ増画像の比率が第四の所定面積率以上であるという条件を満たす部分が存在する場合、水滴有りと判定する、
   ことを特徴とする画像信号処理装置。
7. 請求項１から６の何れか一つに記載の画像信号処理装置において、
   前記水滴検出部は、
   前記水滴候補画像生成処理において生成された水滴候補画像について、最新の入力画像における水滴候補画像と、最新の入力画像の撮像前に撮像された画像における水滴候補画像との排他的論理和により定まる画素あるいは画素群から構成される領域の面積をフレーム間差分面積として算出する処理を行い、
   前記水滴判定処理では、
   さらに前記フレーム間差分面積に基づいて、前記水滴候補画像が滞留水滴に起因した画像か否かを判定する、
   ことを特徴とする画像信号処理装置。
8. 請求項１から７の何れか一つに記載の画像信号処理装置において、
   前記水滴検出部は、
   前記水滴候補画像生成処理において生成された水滴候補画像について、最新の入力画像における最新水滴候補画像と、入力画像の撮像前に撮像された過去水滴候補画像のそれぞれの重心の位置を算出する処理を行い、
   前記水滴判定処理では、
   さらに前記最新水滴候補画像と前記過去水滴候補画像の重心位置の違いに基づいて、前記水滴候補画像が流動水滴に起因した画像か否かを判定する、
   ことを特徴とする画像信号処理装置。
   
   
   

Images