JP2022158339A - 検出装置、検出方法及びプログラム - Google Patents

Abstract

【課題】撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出する装置を提供する。【解決手段】撮像装置と、検出装置と、監視端末とが、ネットワークを介して相互に通信可能に接続される検出システムにおいて、検出装置１２は、撮像装置によって生成された第１撮像画像を取得する取得部１３１と、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部１２１と、第１撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出する抽出部１３４と、第１撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定する判定部１３７と、付着物が付着していると判定された場合に、通知を出力する出力部１３８と、を有する。【選択図】図２

Description

本発明は、検出装置、検出方法及びプログラムに関する。

従来、防犯用の監視カメラ等の撮像装置から画像を取得し、取得した画像に基づいて敷地内の侵入者を検知することがなされている。侵入者を検知するための方法として、侵入者が含まれない状態で撮像された背景画像の輝度値と、撮像装置から取得された撮像画像の輝度値との差分値に基づく背景差分法が知られている。

屋外に撮像装置を設置する場合、鳥獣の糞や、潮風に含まれる塩分等の付着物が撮像装置のレンズに付着することがあった。また、風を受けて撮像装置の画角がずれることがあった。このような場合には、撮像画像と背景画像との差分値が大きくなるため、背景差分法を用いた場合に、侵入者があったものと誤検知してしまうおそれがあった。

特許文献１には、撮像画像においてカメラのレンズに付着した異物等に対応する、時間が経過しても変化しない領域を検出不可領域として決定し、この検出不可領域を障害物検出領域から除外する車両用障害物検出装置が記載されている。特許文献１の障害物検出装置は、レンズに付着した異物を検出し、異物の影響を受けないように撮像画像から障害物を検出することを可能とする。

特開２０１２－３８０４８号公報

このような検出装置では、付着物や画角ずれなどの、撮像装置に生じた撮像画像に影響を及ぼす異常をより適切に検出することが求められている。

本発明は、上述の課題を解決するためになされたものであり、撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする検出装置、検出方法及びプログラムを提供することを目的とする。

本発明に係る検出装置は、撮像装置によって生成された第１撮像画像を取得する取得部と、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部と、第１撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出する抽出部と、第１撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定する判定部と、付着物が付着していると判定された場合に、通知を出力する出力部と、を有することを特徴とする。

また、本発明に係る検出装置において、取得部は、所定時間ごとに第１撮像画像を取得し、抽出部は、連続する複数の第１撮像画像が取得されるごとに、第１撮像画像について参照画像を抽出し、各第１撮像画像と各第１撮像画像に対応する各参照画像とを比較することにより、各第１撮像画像において付着物が付着している可能性がある疑義領域を検出する検出部をさらに有し、判定部は、各第１撮像画像について検出された疑義領域に基づいて、撮像装置に付着物が付着しているか否かを判定する、ことが好ましい。

また、本発明に係る検出装置は、連続する複数の第１撮像画像に共通して疑義領域として検出された共通疑義領域の面積を算出する算出部をさらに有し、判定部は、面積が所定値以上である場合に、撮像装置に付着物が付着していると判定し、面積が所定値未満である場合に、撮像装置に付着物が付着していないと判定する、ことが好ましい。

また、本発明に係る検出装置において、判定部は、共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を共通疑義領域の面積として算出する、ことが好ましい。

また、本発明に係る検出装置において、検出部は、第１撮像画像と参照画像とを比較することにより第１撮像画像と参照画像との差分を示す差分画像を生成し、差分画像を構成する各画素の輝度値を、画素の輝度値及び周辺画素の輝度値のうち最も小さい輝度値に補正し、輝度値が補正された画像に基づいて疑義領域を検出する、ことが好ましい。

また、本発明に係る検出装置は、第１撮像画像が取得されるごとに、第１撮像画像より前に生成された第２撮像画像に基づいて候補参照画像を生成して記憶部に記憶する生成部と、記憶部に記憶されている候補参照画像が所定数以上である場合に、記憶されている候補参照画像のうちから抽出部によって抽出された回数が最も少ない候補参照画像を選択し、選択された候補参照画像が記憶されている候補参照画像のうち最も新しい候補参照画像である場合、記憶されている候補参照画像のうち最も古い候補参照画像を削除し、選択された候補参照画像が最も新しい候補参照画像でない場合、選択された候補参照画像を削除する削除部と、をさらに有する、ことが好ましい。

本発明に係る検出方法は、記憶部を有する検出装置によって実行される検出方法であって、撮像装置によって生成された第１撮像画像を取得し、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を記憶部に記憶し、第１撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、第１撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定し、付着物が付着していると判定された場合に、通知を出力する、ことを含むことを特徴とする。

本発明に係るプログラムは、記憶部を有するコンピュータのプログラムであって、撮像装置によって生成された第１撮像画像を取得し、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を記憶部に記憶し、第１撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、第１撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定し、付着物が付着していると判定された場合に、通知を出力する、ことをコンピュータに実行させることを特徴とする。

本発明に係る検出装置は、撮像装置によって生成された第１撮像画像を取得する取得部と、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成する生成部と、第１撮像画像と参照画像とを比較する比較部と、第１撮像画像に含まれる所定の対象物を検出する検出部と、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定する判定部と、画角ずれが発生していると判定された場合に、通知を出力する出力部と、を有することを特徴とする。

本発明に係る検出方法は、検出装置によって実行される検出方法であって、撮像装置によって生成された第１撮像画像を取得し、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成し、第１撮像画像と参照画像とを比較し、第１撮像画像に含まれる所定の対象物を検出し、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定し、画角ずれが発生していると判定された場合に、通知を出力する、ことを含むことを特徴とする。

本発明に係るプログラムは、撮像装置によって生成された第１撮像画像を取得し、第１撮像画像より前に撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成し、第１撮像画像と参照画像とを比較し、第１撮像画像に含まれる所定の対象物を検出し、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定し、画角ずれが発生していると判定された場合に、通知を出力する、ことをコンピュータに実行させることを特徴とする。

検出装置、検出方法及びプログラムは、撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。

検出システム１０の概略構成の例を示す図である。 検出装置１２の概略構成の例を示すブロック図である。 生成処理の動作の例を示すフロー図である。 付着物検出処理の動作の例を示すフロー図である。 疑義領域検出処理の動作の例を示すフロー図である。 疑義領域検出処理について説明するための図である。 検出装置２２の概略構成の例を示すブロック図である。 画角ずれ検出処理の動作の例を示すフロー図である。

以下、図面を参照しつつ本発明の様々な実施形態について説明する。本発明の技術的範囲はこれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。

図１は、実施形態に係る検出システム１０の概略構成の例を示す図である。検出システム１０は、例えば、監視対象である敷地において侵入者を検知するために用いられる。検出システム１０は、撮像装置１１、検出装置１２及び監視端末１４を有する。撮像装置１１、検出装置１２及び監視端末１４は、ネットワーク１５を介して相互に通信可能に接続される。

撮像装置１１は、サーマルカメラである。撮像装置１１は、監視対象である敷地の内部又はその周辺に配置され、敷地の内部及びその周辺を撮像して、所定時間（例えば、３０分の１秒）ごとに撮像画像を生成する。撮像画像は、それぞれに所定範囲（例えば、０以上２５５以下）の輝度値が関連付けられた複数の画素から構成される。撮像装置１１は、ネットワーク１５を介して、生成した撮像画像を検出装置１２及び監視端末１４に送信する。

検出装置１２は、サーバ、ＰＣ（Personal Computer）、携帯電話、多機能携帯電話（スマートフォン）、ゲーム機等の情報処理装置である。検出装置１２は、撮像装置１１から撮像画像を取得し、撮像画像に基づいて、撮像装置１１に付着物が付着しているか否かを判定する。検出装置１２は、付着物が付着していると判定された場合、ネットワーク１５を介して監視端末１４に通知を出力する。

監視端末１４は、ＰＣ、携帯電話、多機能携帯電話、ゲーム機等の情報処理装置である。監視端末１４は、監視端末１４を使用する監視者が侵入者の有無を確認するために、撮像装置１１から撮像画像を取得して表示する。また、監視端末１４は、検出装置１２から通知が出力された場合に、監視者に撮像装置１１に異常が生じたことを示す警報を出力する。これにより、監視者は、撮像装置１１に異常が生じたことを早期に把握することができる。

図２は、検出装置１２の概略構成の例を示すブロック図である。検出装置１２は、記憶部１２１、通信部１２２、処理部１３０を有する。

記憶部１２１は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部１２１は、処理部１３０による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能且つ非一時的な可搬型記憶媒体からセットアッププログラムによりインストールされる。

通信部１２２は、検出装置１２を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部１２２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＬＴＥ（Long Term Evolution）等の通信インタフェース回路である。通信部１２２は、他の装置から受信したデータを処理部１３０に供給するとともに、処理部１３０から供給されたデータを他の装置に送信する。

処理部１３０は、検出装置１２の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部１３０は、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はＡＳＩＣ（Application Specific Integrated Circuit）を備える。処理部１３０は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部１３０は、記憶部１２１に記憶されているプログラムに基づいて、検出装置１２の各種処理が適切に実行されるように検出装置１２の各構成の動作を制御するとともに、各種の処理を実行する。

処理部１３０は、取得部１３１、生成部１３２、削除部１３３、抽出部１３４、検出部１３５、算出部１３６、判定部１３７及び出力部１３８を有する。これらの各部は、処理部１３０によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェア又は処理部１３０から独立したプロセッサ又は回路として検出装置１２に実装されてもよい。

図３は、検出装置１２によって実行される生成処理の動作の例を示すフロー図である。生成処理は、撮像装置１１によって撮像された複数の撮像画像に基づいて、候補参照画像を生成するための処理である。候補参照画像は、所定時間に生成された複数の撮像画像の代表的な特徴を有し、いわゆる背景画像として用いられる。生成処理は、記憶部１２１に記憶されたプログラムに基づいて、処理部１３０が検出装置１２の各構成要素と協働することにより実現される。

最初に、取得部１３１は、直前に生成処理が実行されてから所定時間が経過しているか否かを判定する（ステップＳ１０１）。所定時間は、例えば１分である。所定時間が経過していない場合（ステップＳ１０１－Ｎｏ）、取得部１３１は、所定時間が経過するまで待機する。

所定時間が経過している場合（ステップＳ１０１－Ｙｅｓ）、取得部１３１は、通信部１２２を介して、撮像装置１１によって生成された撮像画像を取得する（ステップＳ１０２）。すなわち、取得部１３１は、所定時間ごとに撮像画像を取得する。例えば、取得部１３１は、撮像装置１１に最新の撮像画像の送信を要求するＨＴＴＰ（Hypertext Transfer Protocol）リクエストを送信することにより、撮像画像を取得する。取得部１３１は、取得した撮像画像を記憶部１２１に記憶する。なお、撮像画像は、第１撮像画像の一例である。

続いて、生成部１３２は、所定数の撮像画像が新たに記憶部１２１に記憶されているか否かを判定する（ステップＳ１０３）。所定数は、２以上の任意の個数であり、例えば６０個である。所定数の撮像画像がまだ新たに記憶部１２１に記憶されていない場合（ステップＳ１０３－Ｎｏ）、生成部１３２は処理をステップＳ１０１に戻す。すなわち、生成部１３２は、所定数の撮像画像が記憶部１２１に記憶されるまで待機する。

所定数の撮像画像が新たに記憶部１２１に記憶されている場合（ステップＳ１０３－Ｙｅｓ）、生成部１３２は、所定数の撮像画像に基づいて候補参照画像を生成する（ステップＳ１０４）。生成部１３２は、直近に撮像装置１１から取得されて記憶部１２１に記憶された所定数の撮像画像を記憶部１２１から取得する。生成部１３２は、取得した所定数の撮像画像の各画素の輝度値の中央値を、画素ごとに算出する。生成部１３２は、各画素の輝度値が、算出された中央値に等しい値である画像を候補参照画像として生成する。すなわち、生成部１３２は、ステップＳ１０２において取得された撮像画像、及び、その撮像画像より前に生成された撮像画像に基づいて、候補参照画像を生成する。生成部１３２は、生成した候補参照画像を記憶部１２１に記憶する。なお、ステップＳ１０２において取得された撮像画像より前に生成された撮像画像は、第２撮像画像の一例である。

このようにして生成された候補参照画像は、直近の所定時間（例えば、６０分）における撮像画像の時間軸方向における代表的な特徴を有する画像であり、背景画像として用いられる。候補参照画像は、輝度値の中央値に基づいて生成されるため、直近の所定時間のうちの一部の時間において撮像装置１１に付着物が付着したり侵入者が撮像画像に含まれたりして輝度値が大きく変化したとしても、その影響を受ける可能性が小さい。したがって、候補参照画像は、背景画像として適した画像となる。なお、中央値に代えて最頻値が用いられてもよい。

続いて、削除部１３３は、記憶部１２１に記憶されている候補参照画像の数が所定数を超えているか否かを判定する（ステップＳ１０５）。候補参照画像の数が所定数を超えていない場合（ステップＳ１０５－Ｎｏ）、削除部１３３は、候補参照画像を削除することなく生成処理を終了する。すなわち、生成処理が開始される時点において記憶部１２１に記憶されている候補参照画像の数が所定数未満である場合、生成処理によって、新たに一個の候補参照画像が生成され、記憶部１２１に記憶される。

候補参照画像の数が所定数を超えている場合（ステップＳ１０５－Ｙｅｓ）、削除部１３３は、後述する付着物検出処理において参照画像として抽出された回数が最も少ない候補参照画像を選択する（ステップＳ１０６）。参照画像として抽出された回数が最も少ない候補参照画像は、背景画像としての使用頻度が最も小さい画像である。

続いて、削除部１３３は、選択された候補参照画像が最新の候補参照画像であるか否かを判定する（ステップＳ１０７）。最新の候補参照画像は、生成された時刻又は記憶部１２１に記憶された時刻が最も新しい候補参照画像であり、直前に実行されたステップＳ１０４で生成された候補参照画像である。

選択された候補参照画像が最新の候補参照画像でない場合（ステップＳ１０７－Ｎｏ）、削除部１３３は、選択された候補参照画像を削除し（ステップＳ１０８）、生成処理を終了する。選択された候補参照画像が最新の候補参照画像である場合（ステップＳ１０７－Ｙｅｓ）、削除部１３３は、生成された時刻又は記憶部１２１に記憶された時刻が最も古い候補参照画像を削除し（ステップＳ１０９）、生成処理を終了する。すなわち、生成処理が開始される時点において候補参照画像の数が所定数である場合、生成処理によって一つの候補参照画像が生成されるとともに一つの候補参照画像が削除されるため、候補参照画像の数が所定数に保たれる。なお、ステップＳ１０６において、削除部１３３は、生成処理が開始されて時点において記憶部１２１に記憶されていた候補参照画像のうちから、参照画像として抽出された回数が最も少ない候補参照画像を選択してもよい。

図４は、検出装置１２によって付着物検出処理の流れの一例を示すフロー図である。付着物検出処理は、撮像装置１１に付着している付着物を検出するための処理である。付着物検出処理は、記憶部１２１が生成処理において生成された複数の候補参照画像を記憶している状態で定期的に実行される。付着物検出処理は、生成処理と並行して実行されてもよい。付着物検出処理は、記憶部１２１に記憶されたプログラムに基づいて、処理部１３０が検出装置１２の各構成要素と協働することにより実現される。

最初に、取得部１３１は、直前に付着物検出処理が実行されてから所定時間が経過しているか否かを判定する（ステップＳ２０１）。所定時間は、例えば１分である。所定時間が経過していない場合（ステップＳ２０１－Ｎｏ）、取得部１３１は、所定時間が経過するまで待機する。

所定時間が経過している場合（ステップＳ２０１－Ｙｅｓ）、取得部１３１は、通信部１２２を介して、撮像装置１１によって生成された撮像画像を検出対象画像として取得する（ステップＳ２０２）。すなわち、取得部１３１は、所定時間ごとに検出対象画像を取得する。取得部１３１は、取得した検出対象画像を記憶部１２１に記憶する。なお、検出対象画像は、第１撮像画像の一例である。

続いて、抽出部１３４は、検出対象画像との乖離度に基づいて、記憶部１２１に記憶された複数の候補参照画像のうちから参照画像を抽出する（ステップＳ２０３）。抽出部１３４は、各候補参照画像について、検出対象画像との間の各画素の輝度値の絶対差分値（差分値の絶対値をいう。）を算出する。抽出部１３４は、候補参照画像ごとに、各画素について算出された絶対差分値の中央値を、その候補参照画像の検出対象画像との乖離度として算出する。抽出部１３４は、複数の候補参照画像のうち、算出された乖離度が最も小さい候補参照画像を参照画像として抽出する。なお、乖離度は、検出対象画像と候補参照画像との各画素の輝度値の差分値の二乗平均平方根又は二乗和平方根でもよい。

続いて、検出部１３５は、検出対象画像と参照画像とを比較することにより、検出対象画像において付着物が付着している可能性がある疑義領域を検出する疑義領域検出処理を実行する（ステップＳ２０４）。疑義領域検出処理の詳細は後述する。

続いて、算出部１３６は、連続する複数の検出対象画像に共通して疑義領域として検出された共通疑義領域の面積を算出する（ステップＳ２０５）。算出部１３６は、直近に実行された所定回数（例えば、３０回）の付着物検出処理のステップＳ２０２において取得されて記憶部１２１に記憶された検出対象画像を過去画像として記憶部１２１から取得する。また、算出部１３６は、各付着物検出処理のステップＳ２０４において検出された疑義領域を過去疑義領域として記憶部１２１から取得する。これにより、算出部１３６は、連続する所定数（例えば、３０個）の過去画像と各過去画像に対応する過去疑義領域とを取得する。なお、過去画像は、第２撮像画像の一例である。

算出部１３６は、疑義領域と、各過去疑義領域とに共通する領域を共通疑義領域として特定する。算出部１３６は、特定された共通疑義領域の面積を算出する。算出部１３６は、例えば、共通疑義領域に含まれる画素を計数することにより、面積を算出する。

疑義領域は、検出対象画像のみに着目した場合における、付着物が付着している可能性がある領域である。そのため、疑義領域は、例えば撮像装置１１の前を飛翔する飛翔体のように、一時的に撮像画像に含まれた物体に対応する領域である可能性がある。他方で、共通疑義領域は、付着物が付着している可能性が、所定時間（例えば、３０分）にわたって継続的にある領域である。そのため、共通疑義領域は、一時的に撮像画像に含まれた物体に対応する領域である可能性は小さい。検出装置１２は、付着物の検出に共通疑義領域を用いることにより、飛翔体を付着物であると誤検出する可能性を低減して適切に付着物を検出することを可能とする。

続いて、算出部１３６は、共通疑義領域のうち、監視者によってあらかじめ指定された検出対象領域に含まれる領域の面積を算出する（ステップＳ２０６）。算出部１３６は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素を計数することにより、面積を算出する。

一般に、撮像画像において、空に対応する領域や、日当たりのよい建物、塀、道路等に対応する領域は、天候や日照条件等の変化によりその領域に含まれる画素の輝度値が大きく変化するため、疑義領域として検出されやすい。検出対象領域としてこれらの日当たりのよい領域を除外した領域が指定されることにより、天候や日照条件等の変化の影響を付着物として誤検出するおそれが低減され、適切に付着物が検出される。

続いて、判定部１３７は、算出された面積が所定値以上であるか否かを判定する（ステップＳ２０７）。判定部１３７は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素の数が所定数以上である場合に、共通疑義領域の面積が所定値以上であると判定する。所定数は、例えば検出対象画像の画素数の５％に設定される。所定数は、１画素に設定されてもよい。

検出対象領域に含まれる共通疑義領域の面積が所定値未満である場合（ステップＳ２０７－Ｎｏ）、判定部１３７は、付着物が撮像装置１１に付着していないと判定し（ステップＳ２０８）、付着物検出処理を終了する。

検出対象領域に含まれる共通疑義領域の面積が所定値以上である場合（ステップＳ２０７－Ｙｅｓ）、判定部１３７は、付着物が撮像装置１１に付着していると判定する（ステップＳ２０９）。すなわち、判定部１３７は、検出部１３５による検出対象画像と参照画像との比較の結果に基づいて、付着物が撮像装置１１に付着しているか否かを判定する。

続いて、出力部１３８は、通知を出力し（ステップＳ２１０）、付着物検出処理を終了する。出力部１３８は、通信部１２２を介して、付着物が撮像装置１１に付着している旨の通知の表示データを監視端末１４に送信する。

図５は、検出装置１２によって実行される疑義領域検出処理の動作の例を示すフロー図である。疑義領域検出処理は、付着物検出処理のステップＳ２０４において実行される。

最初に、検出部１３５は、検出対象画像と参照画像とを比較することにより、二値差分画像を生成する（ステップＳ３０１）。検出部１３５は、検出対象画像と参照画像との間の各画素の輝度値の絶対差分値を算出する。検出部１３５は、算出された絶対差分値が所定閾値（例えば、２０）以上である画素の輝度値が最大値（例えば、２５５）であり、所定閾値未満である画素の輝度値が最小値（例えば、０）である二値差分画像を生成する。

続いて、検出部１３５は、二値差分画像にフィルタを適用する（ステップＳ３０２）。適用されるフィルタは、各画素の輝度値を、その画素及び周辺画素の輝度値の平均値に補正する平均化フィルタである。周辺画素は、対象となる画素を含む矩形領域に含まれる画素であり、例えば、対象となる画素を中心とし且つ各辺が５画素に相当する正方形の領域に含まれる画素である。なお、検出部１３５は、平均化フィルタに代えてガウシアンフィルタ等を適用してもよい。

続いて、検出部１３５は、フィルタが適用された画像にプーリング処理を適用する（ステップＳ３０３）。プーリング処理は、各画素の輝度値を、その画素及び周辺画素の輝度値のうち最も小さい輝度値に補正する処理（いわゆるミニマムプーリング処理）である。周辺画素は、対象となる画素を含む矩形領域に含まれる画素であり、例えば、対象となる画素を含み且つ各辺が２０画素に相当する正方形の領域に含まれる画素である。

続いて、検出部１３５は、プーリング処理が適用された画像に基づいて疑義領域を検出し（ステップＳ３０４）、疑義領域検出処理を終了する。検出部１３５は、プーリング処理が適用された画像において、画素の輝度値が所定閾値以上である領域を疑義領域として検出する。

図６は、疑義領域検出処理について説明するための図である。図６（Ａ）は、検出対象画像の例を示す図であり、図６（Ｂ）は、二値差分画像の例を示す図である。図６（Ａ）及び（Ｂ）に示す例では、建物や塀の側面、道路などに相当する領域が、検出対象画像と参照画像との間の各画素の輝度値が所定閾値以上異なる領域として示されている。

図６（Ｃ）は、フィルタが適用された二値差分画像の例を示す図であり、図６（Ｄ）は、さらにプーリング処理が適用された二値差分画像の例を示す図であり、図６（Ｅ）は、疑義領域を示す図である。図６（Ｅ）において白色の領域が疑義領域を示す。図６（Ｃ）に示すように、フィルタが適用され、画像にぼかしがかけられる結果、局所的に輝度値が異なる領域が目立ちにくくなっている。また、図６（Ｄ）に示すように、プーリング処理が適用されることにより、白色の領域（すなわち、輝度値が大きい領域）のうち、面積が小さい領域が除去される。そして、図６（Ｅ）に示すように、面積が大きい白色の領域のみが疑義領域として検出される。

図６（Ｂ）～（Ｅ）における白色の領域は、検出対象画像と抽出画像との間で輝度値の絶対差分値が大きい領域であるから、付着物が付着している可能性がある領域に対応する。フィルタ及びプーリング処理が適用されることにより、これらの領域のうち面積が大きい領域、すなわち、付着物による撮像画像に及ぼす影響が大きい領域のみが疑義領域として検出される。

なお、図６（Ｅ）に示す疑義領域は、図６（Ａ）に示すように、付着物に対応する領域ではなく、建物の外壁に相当する領域である。建物の外壁に相当する領域は天候や日照条件等の影響を強く受けるため、一時的に疑義領域として検出される場合があるが、継続的に疑義領域として検出される（すなわち、共通疑義領域として検出される）可能性は小さい。したがって、検出装置１２がこのような疑義領域に基づいて付着物を誤検出する可能性は小さい。

以上説明したように、検出装置１２は、検出対象画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、検出対象画像と参照画像との比較の結果に基づいて、撮像装置１１に付着物が付着しているか否かを判定する。これにより、検出装置１２は、撮像装置１１に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。

すなわち、参照画像は、所定時間における撮像画像に基づいて生成されるため、各撮像画像が生成された時刻における天候や日照条件等の影響を受ける。他方で、付着物を適切に検出するためには、天候や日照条件等の付着物以外の条件が検出対象画像と近似する参照画像を検出対象画像と比較することが望ましい。検出装置１２は、検出対象画像との乖離度に基づいて、複数の候補参照画像のうちから検出対象画像と近似する参照画像を抽出し、抽出された参照画像と検出対象画像とを比較することにより、撮像装置１１に付着した付着物を適切に検出することを可能とする。

また、検出装置１２は、連続する複数の検出対象画像について疑義領域を検出し、各検出対象画像に共通して疑義領域として検出された共通疑義領域に基づいて、撮像装置に付着物が付着しているか否かを判定する。これにより、検出装置１２は、検出対象画像に疑義領域が継続的に検出される場合にのみ付着物が付着していると判定することとなるため、付着物をより高精度に検出することを可能とする。

また、検出装置１２は、共通疑義領域の面積を算出し、面積が所定値以上である場合に、撮像装置１１に付着物が付着していると判定し、面積が所定値未満である場合に、撮像装置１１に付着物が付着していないと判定する。これにより、検出装置１２は、撮像画像に影響を及ぼすような、撮像画像における面積が大きい付着物のみを検出することとなるため、撮像画像に影響を及ぼす撮像装置１１の異常をより適切に検出することを可能とする。

また、検出装置１２は、共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を疑義領域の面積として算出する。これにより、検出装置１２は、天候や日照条件等の変化により疑義領域として誤検出された領域の影響を受けることなく、付着物をより高精度に検出することを可能とする。

また、検出装置１２は、検出対象画像にプーリング処理を適用することにより、検出対象画像を構成する各画素の輝度値を、その画素及び周辺画素の輝度値のうち最も小さい輝度値に補正し、輝度値が補正された検出対象画像と参照画像とを比較する。これにより、検出装置１２は、輝度値の局所的な変化を除去し、撮像画像上の面積が大きい付着物のみを検出することとなるため、撮像画像に影響を及ぼす付着物をより適切に検出することを可能とする。

また、検出装置１２は、記憶部１２１に記憶された候補参照画像が所定数以上である場合に、過去に生成された候補参照画像のうちから抽出された回数が最も少ない候補参照画像、又は、最も古い候補参照画像を削除する。これにより、検出装置１２は、記憶部１２１の使用量を低減しつつ、検出対象画像と近似する候補参照画像を適切に保存することを可能とする。

上述した説明では、撮像装置１１がサーマルカメラであるものとしたが、撮像装置１１は、各画素にＲＧＢ等の複数のチャネルの階調値が関連付けられたカラー画像を撮像画像として生成するカメラでもよい。この場合、生成処理のステップＳ１０４において、生成部１３２は、撮像画像の各画素の各チャネルの階調値の中央値を、画素ごとに算出し、各画素の各チャネルの階調値が算出した中央値に等しい画像を候補参照画像として生成する。また、付着物検出処理のステップＳ２０３において、抽出部１３４は候補参照画像と検出対象画像との間の各画素の階調値の色空間における距離を算出する。抽出部１３４は、各画素について算出された色空間における距離の中央値を、その候補参照画像の検出対象画像との乖離度として算出する。色空間における距離は、各チャネルの階調値の差分値の二乗和平方根である。このようにすることで、撮像装置１１がカラー画像を生成するカメラである場合も、検出装置１２は、撮像装置１１に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。

上述した説明では、付着物検出処理は、生成処理と独立に実行されるものとしたが、このような例に限られない。例えば、付着物検出処理のステップＳ２０１及びＳ２０２が、生成処理のステップＳ１０１及びＳ１０２と兼ねられてもよい。これにより、検出装置１２と撮像装置１１との間の通信負荷及び検出装置１２の処理負荷が低減される。この場合、生成処理が実行された後に、生成処理のステップＳ１０２で取得された画像を検出対象画像として、付着物検出処理のステップＳ２０３以降が実行される。また、生成処理のステップＳ１０２の後に付着物検出処理のステップＳ２０３以降が実行され、付着物検出処理の終了後に生成処理のステップＳ１０３以降が実行されてもよい。

また、検出装置１２の出力部１３８は、生成処理のステップＳ１０２又は付着物検出処理のＳ２０２において撮像装置１１から撮像画像が取得されない場合には、通知を出力するようにしてもよい。これにより、検出装置１２は、撮像装置１１に異常が発生した旨を早期に監視者に知らせることができる。また、出力部１３８は、所定回数以上連続して撮像画像が取得されない場合に、通知を出力するようにしてもよい。

図７は、他の実施形態に係る検出装置２２の概略構成の例を示すブロック図である。検出装置２２は、検出装置１２と同様に、サーバ、ＰＣ、携帯電話、多機能携帯電話、ゲーム機等の情報処理装置である。検出装置２２は、撮像装置１１から撮像画像を取得し、撮像画像に基づいて、撮像装置１１に画角ずれが発生しているか否かを判定する。検出装置２２は、画角ずれが発生していると判定された場合、ネットワーク１５を介して監視端末１４に通知を出力する。検出装置２２は、記憶部１２１、通信部１２２及び処理部２３０を備える。なお、以降では、上述した説明と同様の構成については同一の符号を付し、適宜説明を省略する。

処理部２３０は、検出装置２２の動作を統括的に制御する構成であり、処理部１３０と同様に、一又は複数個のプロセッサ及びその周辺回路を備える。処理部２３０は、例えば、ＣＰＵ、ＬＳＩ、ＡＳＩＣ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ等を備える。処理部２３０は、記憶部１２１に記憶されているプログラムに基づいて、検出装置２２の各種処理が適切に実行されるように検出装置２２の各構成の動作を制御するとともに、各種の処理を実行する。

処理部２３０は、取得部２３１、生成部２３２、変化領域検出部２３３、算出部２３４、判定部２３５、対象物検出部２３６及び出力部２３７を有する。これらの各部は、処理部２３０によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェア又は独立した回路として検出装置２２に実装されてもよい。

図８は、検出装置２２によって実行される画角ずれ検出処理の動作の例を示すフロー図である。画角ずれ検出処理は、撮像装置１１に発生した画角ずれを検出するための処理である。画角ずれ検出処理は、撮像装置１１によって生成された複数の撮像画像が記憶部１２１に記憶されている状態で、所定時間（例えば、１分）ごとに定期的に実行される。画角ずれ検出処理は、記憶部１２１に記憶されたプログラムに基づいて、処理部２３０が検出装置２２の各構成要素と協働することにより実現される。

最初に、取得部２３１は、直前に画角ずれ検出処理が実行されてから所定時間が経過しているか否かを判定する（ステップＳ４０１）。所定時間は、例えば１分である。所定時間が経過していない場合（ステップＳ４０１－Ｎｏ）、取得部２３１は、所定時間が経過するまで待機する。

所定時間が経過している場合（ステップＳ４０１－Ｙｅｓ）、取得部２３１は、通信部１２２を介して、撮像装置１１によって生成された撮像画像を検出対象画像として取得する（ステップＳ４０２）。すなわち、取得部２３１は、所定時間ごとに検出対象画像を取得する。取得部２３１は、取得した検出対象画像を記憶部１２１に記憶する。なお、検出対象画像は、第１撮像画像の一例である。

続いて、生成部２３２は、検出対象画像より前に撮像装置１１によって生成された複数の撮像画像に基づいて参照画像を生成する（ステップＳ４０３）。生成部２３２は、直近に実行された画角ずれ検出処理のステップＳ４０１において取得されて記憶部１２１に記憶された所定数（例えば、３０個）の検出対象画像を過去画像として記憶部１２１から取得する。生成部１３２は、取得した所定数の過去画像の各画素の輝度値の中央値を、画素ごとに算出する。生成部１３２は、各画素の輝度値が算出された中央値に等しい値である画像を参照画像として生成する。

続いて、変化領域検出部２３３は、検出対象画像と参照画像とを比較することにより、検出対象画像において、画角ずれにより輝度値が変化している可能性がある変化領域を検出する（ステップＳ４０４）。変化領域検出部２３３は、検出対象画像と参照画像との間の各画素の輝度値の絶対差分値を算出する。変化領域検出部２３３は、算出された絶対差分値が所定閾値（例えば、２０～４０の任意の値）以上である画素を変化領域として検出する。変化領域検出部２３３は、検出された変化領域を検出対象画像と関連付けて記憶部１２１に記憶する。なお、変化領域検出部２３３は、比較部の一例である。

続いて、算出部２３４は、連続する複数の検出対象画像に共通して変化領域として検出された共通変化領域の面積を算出する（ステップＳ４０５）。また、算出部２３４は、ステップＳ４０３において取得された各過去画像について検出された変化領域を過去変化領域として記憶部１２１から取得する。算出部２３４は、変化領域と、各過去変化領域とに共通する領域を共通変化領域として特定する。算出部２３４は、特定された共通変化領域の面積を算出する。算出部２３４は、例えば、共通変化領域に含まれる画素を計数することにより、面積を算出する。

続いて、算出部２３４は、共通変化領域のうち、監視者によってあらかじめ指定された検出対象領域に含まれる領域の面積を算出する（ステップＳ４０６）。算出部２３４は、共通変化領域に含まれ、且つ、検出対象領域に含まれる画素を計数することにより、面積を算出する。

続いて、判定部２３５は、算出された面積が所定値以上であるか否かを判定する（ステップＳ４０７）。判定部２３５は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素の数が所定数以上である場合に、共通疑義領域の面積が所定値以上であると判定する。所定数は、例えば検出対象画像の画素数の５％に設定される。所定数は、１画素に設定されてもよい。

検出対象領域に含まれる共通変化領域の面積が所定値未満である場合（ステップＳ４０７－Ｎｏ）、判定部２３５は、撮像装置１１に画角ずれが発生していないと判定し（ステップＳ４０８）、画角ずれ検出処理を終了する。

検出対象領域に含まれる共通変化領域の面積が所定値以上である場合（ステップＳ４０７－Ｙｅｓ）、対象物検出部２３６は、過去画像に含まれる所定の対象物を検出する（ステップＳ４０９）。所定の対象物は、撮像画像に含まれることが想定される移動物体であり、例えば、自動車及び人を含む。所定の対象物は、鳥獣、自転車等を含んでもよい。

対象物検出部２３６は、画像が入力された場合にその画像に含まれる対象物に対応する領域及びその対象物の種類を出力するように学習された学習済みモデルに、連続する所定数の過去画像を入力することにより、対象物を検出する。学習済みモデルは、あらかじめ記憶部１２１に記憶される。学習済みモデルは、例えばＹＯＬＯ（You Only Look Once）又はＳＳＤ（Single Shot Detector）等の物体検出モデルである。学習は、学習用画像が入力された場合に出力される対象物に対応する領域の形状及び位置並びに対象物の種類と、学習用画像に関連付けられた正解データである対象物に対応する領域の形状及び位置並びに対象物の種類との誤差が小さくなるようになされる。なお、対象物検出部２３６は、検出部の一例である。

続いて、判定部２３５は、過去画像において対象物が検出されたか否かを判定する（ステップＳ４１０）。判定部２３５は、所定数の過去画像のうちの少なくとも一つの過去画像について、学習済みモデルから対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定する。判定部２３５は、所定数の過去画像のうちの所定割合（例えば、５０％）以上の過去画像について対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定してもよい。判定部２３５は、所定数の過去画像の全てについて対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定してもよい。

過去画像において対象物が検出された場合（ステップＳ４１０－Ｙｅｓ）、判定部２３５は、撮像装置１１に画角ずれが発生していないと判定し（ステップＳ４０８）、画角ずれ検出処理を終了する。

過去画像において対象物が検出された場合（ステップＳ４１０－Ｎｏ）、判定部２３５は、撮像装置１１に画角ずれが発生していると判定する（ステップＳ４１１）。すなわち、判定部２３５は、検出対象画像と参照画像との比較の結果と、過去画像における所定の対象物の検出の結果とに基づいて、撮像装置１１に画角ずれが発生しているか否かを判定する。変化領域は、撮像装置１１に画角ずれが発生した場合のほか、参照画像に所定の対象物が含まれ且つ検出対象画像には所定の対象物が含まれていない場合にも検出される。判定部２３５は、参照画像の生成に用いられた過去画像において対象物が検出された場合に画角ずれが発生していないと判定することにより、参照画像に対象物が含まれていることに起因して画角ずれを誤検出することを防止することを可能とする。

続いて、出力部２３７は、通知を出力し（ステップＳ４１２）、画角ずれ検出処理を終了する。出力部２３７は、通信部１２２を介して、撮像装置１１に画角ずれが発生している旨の通知の表示データを監視端末１４に送信する。

以上説明したように、検出装置２２は、検出対象画像と参照画像との比較の結果と、過去画像における所定の対象物の検出の結果とに基づいて、撮像装置１１に画角ずれが発生しているか否かを判定する。これにより、検出装置２２は、撮像装置１１に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。

上述した説明では、画角ずれ検出処理のステップＳ４１０において、過去画像に含まれる所定の対象物を検出するものとしたが、このような例に限られない。対象物検出部２３６は、学習済みモデルに参照画像を入力することにより、参照画像に含まれる所定の対象物を検出してもよい。

また、ステップＳ４１０において、判定部２３５は、参照画像又は過去画像において対象物が検出された場合において、検出された対象物に対応する領域と共通変化領域との位置関係に基づいて画角ずれが発生しているか否かをさらに判定してもよい。例えば、判定部２３５は、共通変化領域が対象物に対応する領域の内部又は近傍に位置する場合に、画角ずれが発生していないと判定してもよい。すなわち、共通変化領域が対象物に対応する領域の内部又は近傍に含まれる場合には、変化領域が対象物に起因して検出された可能性が高く、共通変化領域が対象物に対応する領域とは異なる領域に含まれる場合には、変化領域が対象物に起因して検出された可能性は小さい。したがって、検出装置２２は、対象物に対応する領域と共通変化領域との位置関係に基づいて画角ずれが発生しているか否かを判定することにより、参照画像に対象物が含まれていることに起因して画角ずれを誤検出することを良好に防止することを可能とする。なお、対象物に対応する領域の近傍とは、対象物に対応する領域の外部であって、対象物に対応する領域からの距離が所定画素数以下の領域である。

当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

１２ 検出装置
１２１ 記憶部
１２２ 通信部
１３１ 取得部
１３２ 生成部
１３３ 削除部
１３４ 抽出部
１３５ 検出部
１３６ 算出部
１３７ 判定部
１３８ 出力部

Claims (11)

1. 撮像装置によって生成された第１撮像画像を取得する取得部と、
   前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部と、
   前記第１撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出する抽出部と、
   前記第１撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定する判定部と、
   前記付着物が付着していると判定された場合に、通知を出力する出力部と、
   を有することを特徴とする検出装置。
2. 前記取得部は、所定時間ごとに前記第１撮像画像を取得し、
   前記抽出部は、連続する複数の第１撮像画像が取得されるごとに、当該第１撮像画像について参照画像を抽出し、
   各第１撮像画像と各第１撮像画像に対応する各参照画像とを比較することにより、各第１撮像画像において付着物が付着している可能性がある疑義領域を検出する検出部をさらに有し、
   前記判定部は、各第１撮像画像について検出された疑義領域に基づいて、前記撮像装置に付着物が付着しているか否かを判定する、
   請求項１に記載の検出装置。
3. 前記連続する複数の第１撮像画像に共通して前記疑義領域として検出された共通疑義領域の面積を算出する算出部をさらに有し、
   前記判定部は、前記面積が所定値以上である場合に、前記撮像装置に付着物が付着していると判定し、前記面積が所定値未満である場合に、前記撮像装置に付着物が付着していないと判定する、
   請求項２に記載の検出装置。
4. 前記判定部は、前記共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を前記共通疑義領域の面積として算出する、
   請求項３に記載の検出装置。
5. 前記検出部は、前記第１撮像画像と前記参照画像とを比較することにより前記第１撮像画像と前記参照画像との差分を示す差分画像を生成し、前記差分画像を構成する各画素の輝度値を、当該画素の輝度値及び周辺画素の輝度値のうち最も小さい輝度値に補正し、前記輝度値が補正された画像に基づいて前記疑義領域を検出する、
   請求項２－４の何れか一項に記載の検出装置。
6. 前記第１撮像画像が取得されるごとに、当該第１撮像画像より前に生成された前記第２撮像画像に基づいて候補参照画像を生成して前記記憶部に記憶する生成部と、
   前記記憶部に記憶されている候補参照画像が所定数以上である場合に、前記記憶されている候補参照画像のうちから前記抽出部によって抽出された回数が最も少ない候補参照画像を選択し、前記選択された候補参照画像が前記記憶されている候補参照画像のうち最も新しい候補参照画像である場合、前記記憶されている候補参照画像のうち最も古い候補参照画像を削除し、前記選択された候補参照画像が前記最も新しい候補参照画像でない場合、前記選択された候補参照画像を削除する削除部と、をさらに有する、
   請求項１－５の何れか一項に記載の検出装置。
7. 記憶部を有する検出装置によって実行される検出方法であって、
   撮像装置によって生成された第１撮像画像を取得し、
   前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を前記記憶部に記憶し、
   前記第１撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出し、
   前記第１撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定し、
   前記付着物が付着していると判定された場合に、通知を出力する、
   ことを含むことを特徴とする検出方法。
8. 記憶部を有するコンピュータのプログラムであって、
   撮像装置によって生成された第１撮像画像を取得し、
   前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて生成された複数の候補参照画像を前記記憶部に記憶し、
   前記第１撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出し、
   前記第１撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定し、
   前記付着物が付着していると判定された場合に、通知を出力する、
   ことを前記コンピュータに実行させることを特徴とするプログラム。
9. 撮像装置によって生成された第１撮像画像を取得する取得部と、
   前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成する生成部と、
   前記第１撮像画像と前記参照画像とを比較する比較部と、
   前記第１撮像画像に含まれる所定の対象物を検出する検出部と、
   前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定する判定部と、
   前記画角ずれが発生していると判定された場合に、通知を出力する出力部と、
   を有することを特徴とする検出装置。
10. 検出装置によって実行される検出方法であって、
    撮像装置によって生成された第１撮像画像を取得し、
    前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成し、
    前記第１撮像画像と前記参照画像とを比較し、
    前記第１撮像画像に含まれる所定の対象物を検出し、
    前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定し、
    前記画角ずれが発生していると判定された場合に、通知を出力する、
    ことを含むことを特徴とする検出方法。
11. 撮像装置によって生成された第１撮像画像を取得し、
    前記第１撮像画像より前に前記撮像装置によって生成された複数の第２撮像画像に基づいて参照画像を生成し、
    前記第１撮像画像と前記参照画像とを比較し、
    前記第１撮像画像に含まれる所定の対象物を検出し、
    前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定し、
    前記画角ずれが発生していると判定された場合に、通知を出力する、
    ことをコンピュータに実行させることを特徴とするプログラム。

Images