JP2017027091A - 撮影障害検出装置及び撮影障害検出プログラム - Google Patents

Abstract

【課題】撮影障害の自動検知技術において、誤検知と失報との少なくともいずれかを減らすことを目的とする。【解決手段】撮影障害検出装置１００は、カメラ２００の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する装置であり、基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出し、複数の小領域のうち、抽出されたマスク領域を除いた非マスク領域について、基準画像と、撮影装置によって撮影された撮影画像とを比較して、撮影障害を検出する。【選択図】図１

Description

この発明は、カメラ等の撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する技術に関する。

映像監視システムにおいて、カメラに障害が発生すると、監視対象を撮影および記録できない状態となるため、カメラ障害の発見の遅れはシステムにとって致命的である。カメラ障害には、故障や断線の他、不意の接触や故意によってカメラの撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害も含まれる。

故障や断線はシステムによる自動検知が容易だが、撮影障害はカメラの故障ではないため、自動検知が困難である。通常、監視員が定期的にカメラのライブ撮影映像を目視し、正常時の撮影画像（基準画像）と見比べることで撮影障害の有無を確認している。
目視による作業負荷を軽減すべく、カメラの撮影画像を解析することで撮影障害を自動で検知する技術が開発されている。しかし、撮影画像を解析することによる撮影障害検知技術では、撮影範囲内の物体変動や撮影シーンの照度変化によって撮影画像が変化することで誤検知が発生する。また、一般的に、撮影画像を解析する処理は負荷が高い。

画像中の特定領域を検知処理の対象外領域（マスク領域）とする手法が開発されている。特定領域を対象外領域とすることにより、誤検知を減らすとともに、解析する処理の負荷を低くすることが可能となる。
特許文献１には、監視対象領域の状況変化に応じて、適切なマスク処理を選択することで、画像解析による物体検出の性能を向上することが記載されている。特許文献１に記載された監視システムでは、監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有することを特徴としており、マスクテーブルを参照してマスク処理を行っている。
特許文献２には、画像解析による人の通行の検出等を目的とした監視システムにおいて、所定期間分の撮影画像における差分画像を累積し、輝度変化の小さい領域をマスクすることが記載されている。

特開２０１２−２３４４６号公報 特開２０１３−１５７８１０号公報

特許文献１に記載されたマスク処理方法では、状況に応じて適切なマスク領域を選択することで誤検知を減らすことができるが、予め状況を定義したうえ、適切なマスクテーブルを作成しなければならない。撮影シーンによっては、適切なマスク領域をユーザが設定することは困難である。
特許文献２に記載されたマスク処理方法では、撮影画像から自動でマスク領域を設定している。しかし、カメラ撮影障害の検知においては、誤検知の発生を減らすとともに、撮影障害が発生しているのに検知できない検知漏れ（失報）の発生も減らさなければならないが、特許文献２に記載されたマスク処理方法では、失報の発生に関しては考慮されていない。
この発明は、撮影障害の自動検知技術において、誤検知と失報との少なくともいずれかを減らすことを目的とする。

この発明に係る撮影障害検出装置は、
撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出部と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
前記複数の小領域のうち、前記マスク領域抽出部が抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
を備えることを特徴とする。

この発明に係る撮影障害検出装置では、基準画像を分割した複数の小領域から条件を満たす小領域をマスク領域として抽出することにより、適切なマスク領域を抽出する。これにより、誤検知を減らすとともに、失報を減らすことが可能である。

実施の形態１に係る撮影障害検出装置１００の構成図。 実施の形態１に係る撮影障害検出装置１００の処理を示すフローチャート。 実施の形態２に係る撮影障害検出装置１００の処理を示すフローチャート。 基準画像のエッジ画像の一例を示すイメージ図。 実施の形態３に係る撮影障害検出装置１００の構成図。 実施の形態３に係る撮影障害検出装置１００の処理を示すフローチャート。 実施の形態４に係る撮影障害検出装置１００の構成図。 実施の形態４に係る撮影障害検出装置１００の処理を示すフローチャート。 実施の形態１〜４に示した撮影障害検出装置１００のハードウェア構成の例を示す図。

実施の形態１．
実施の形態１では、基準画像中の類似領域解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。

図１は、実施の形態１に係る撮影障害検出装置１００の構成図である。
撮影障害検出装置１００は、基準画像記憶部１１０、基準画像管理部１１１、マスク領域抽出部１１２、撮影画像取得部１１３、マスク領域設定部１１４、障害検出部１１５を備える。

図２は、実施の形態１に係る撮影障害検出装置１００の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。

カメラ２００は、正常に設置されている時の撮影画像を基準画像として入力し、基準画像記憶部１１０に記憶する（ＳＴ１０１）。基準画像管理部１１１は、ＳＴ１０１で入力された基準画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ１０２）。

マスク領域抽出部１１２は、ＳＴ１０２で生成された基準画像のエッジ画像を、等間隔４行４列の小領域１６個に分割する（ＳＴ１０３）。マスク領域抽出部１１２は、ＳＴ１０３で分割した小領域のエッジ画像をテンプレート画像とし、分割前の基準画像のエッジ画像に対してテンプレートマッチング処理を行う（ＳＴ１０４）。マスク領域抽出部１１２は、ＳＴ１０４で行ったテンプレートマッチングによるマッチ率が４０％以上であるかを判定し（ＳＴ１０５）、４０％以上である場合にテンプレートとした小領域をマスク領域として抽出する（ＳＴ１０６）。
マスク領域抽出部１１２は、分割した１６個の小領域それぞれに対してＳＴ１０４〜ＳＴ１０６を行うことにより、マスク領域を抽出する。

撮影画像取得部１１３は、カメラ２００で撮影された撮影画像を取得し（ＳＴ１０７）、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ１０８）。
マスク領域設定部１１４は、ＳＴ１０６で抽出されたマスク領域の情報に基づき、マスク情報を設定する（ＳＴ１０９）。

障害検出部１１５は、ＳＴ１０９で設定されたマスク情報に基づき、小領域がマスク領域であるかを判定し（ＳＴ１１０）、マスク領域でない場合には小領域の画像をテンプレート画像とし、撮影画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う（ＳＴ１１１）。障害検出部１１５は、ＳＴ１１１で行ったテンプレートマッチングによるマッチ率が４０％以上であるかを判定する（ＳＴ１１２）。障害検出部１１５は、ＳＴ１１２で４０％以上であると判定した場合に、マッチ領域としてカウントする（ＳＴ１１３）。
障害検出部１１５は、分割した１６個の小領域それぞれに対してＳＴ１１０〜ＳＴ１１３を行い、マッチ領域をカウントする。

障害検出部１１５は、ＳＴ１１３でカウントされたマッチ領域数からマッチ領域率（＝マッチ領域数／マスク領域でない小領域数）を求め、マッチ領域率が１５％以下であるかを判定する（ＳＴ１１４）。障害検出部１１５は、ＳＴ１１４で１５％以下であると判定した場合に、異常フレームとしてカウントする（ＳＴ１１５）。
なお、障害検出部１１５は、ＳＴ１１４でマッチ領域率が１５％以下でないと判定した場合に、異常フレーム数を０にリセットする（ＳＴ１１６）。

障害検出部１１５は、ＳＴ１１５でカウントされた異常フレーム数が１０以上であるかを判定する（ＳＴ１１７）。障害検出部１１５は、ＳＴ１１７で１０以上であると判定した場合に、撮影障害有りと判定する（ＳＴ１１８）。

以降、撮影障害検出装置１００は、撮影画像を取得する度に、ＳＴ１０７〜ＳＴ１１７を実行して撮影障害発生を判定する。

マスク領域抽出部１１２は、ＳＴ１０４〜ＳＴ１０６で、小領域のエッジ画像と、基準画像のエッジ画像とのマッチング処理を行い、マッチ率が高い場合に小領域をマスク領域として抽出している。つまり、マスク領域抽出部１１２は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出している。
基準画像内に類似する画像の領域が存在する小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ＳＴ１１１でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。撮影障害の発生時にマッチ率が４０％以上になる領域が存在すると、ＳＴ１１４での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ＳＴ１０４〜ＳＴ１０６で、マスク領域抽出部１１２は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。

以上のように、実施の形態１に係る撮影障害検出装置１００は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出することにより、撮影障害の発生時の検知漏れリスクを抑止することができる。

なお、ＳＴ１０３では、基準画像を４×４の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ＳＴ１０５またはＳＴ１１２では、マッチ率の閾値を４０％としているが、閾値は０％を除く任意の値に変更してもよい。同様に、ＳＴ１１４では、マッチ領域率の閾値を１５％としているが、閾値は０％を除く任意の値に変更してもよい。同様に、ＳＴ１１７では、異常フレーム数の閾値を１０としているが、閾値は０を除く任意の値に変更してもよい。

また、撮影障害検出装置１００には、必ずしも基準画像記憶部１１０は必要ではなく、マスク領域抽出部１１２、又は、障害検出部１１５が予め記憶された基準画像の情報を取得できればよい。また、ユーザが入力装置によって基準画像の情報を入力し、その基準画像の情報をマスク領域抽出部１１２と障害検出部とが用いることもできる。

実施の形態２．
実施の形態２では、基準画像中の直線分布解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。

実施の形態２に係る撮影障害検出装置１００の構成は、図１に示す実施の形態１に係る撮影障害検出装置１００の構成と同じである。

図３は、実施の形態２に係る撮影障害検出装置１００の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。

カメラ２００は、正常に設置されている時の撮影画像を基準画像として入力し、基準画像記憶部１１０に記憶する（ＳＴ２０１）。基準画像管理部１１１は、ＳＴ２０１で入力された基準画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ２０２）。

マスク領域抽出部１１２は、ＳＴ２０１で入力された基準画像に対し、ハフ変換を行うことで直線情報を抽出する（ＳＴ２０３）。マスク領域抽出部１１２は、ＳＴ２０３で抽出された直線同士の交点を求め、最も多くの直線が交わる点を消失点とみなし、消失点の画像空間における座標を算出する（ＳＴ２０４）。

マスク領域抽出部１１２は、ＳＴ２０２で生成された基準画像のエッジ画像を、等間隔４行４列の小領域１６個に分割する（ＳＴ２０５）。マスク領域抽出部１１２は、ＳＴ２０３で抽出された直線情報と、ＳＴ２０４で抽出された消失点と、ＳＴ２０５で分割した小領域のエッジ画像とに基づき、小領域の全エッジ画素のうち、消失点に向かう直線（消失点の座標を通る直線、あるいは、延長した場合に消失点の座標を通る直線）を構成するエッジ画素の割合を算出する（ＳＴ２０６）。マスク領域抽出部１１２は、ＳＴ２０６で算出した割合が４０％以上であるかを判定し（ＳＴ２０７）、４０％以上である場合に対象の小領域をマスク領域とする（ＳＴ２０８）。
マスク領域抽出部１１２は、分割した１６個の小領域それぞれに対してＳＴ２０６〜ＳＴ２０８を行い、マスク領域を抽出する。

以降、ＳＴ２０９〜ＳＴ２２０の処理は、図２に示す実施の形態１のＳＴ１０７〜ＳＴ１１８の処理と同様である。

マスク領域抽出部１１２は、ＳＴ２０６〜ＳＴ２０８で，小領域の全エッジ画素のうち、消失点に向かう直線を構成するエッジ画素の割合が高い場合に小領域をマスク領域として抽出している。ここで、消失点に向かう直線は、撮影空間の奥行方向に対して垂直な直線である。
撮影空間の奥行方向に対して垂直な直線の割合が高い小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ＳＴ２１３でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。これは、撮影空間の奥行方向に対して垂直な直線は、他の直線と比べて、カメラの方向変化やねじれに対する不変性が高く、カメラの撮影方向が変化する撮影障害の発生時にも同様の直線が現れる可能性が高いためである。撮影障害の発生時にマッチ率が４０％以上になる領域が存在すると、ＳＴ２１６での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ＳＴ２０６〜ＳＴ２０８で、マスク領域抽出部１１２は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。

以上のように、実施の形態２に係る撮影障害検出装置１００は、撮影空間の奥行方向に対して垂直な直線が多く存在する小領域をマスク領域として抽出することにより、撮影障害の発生時の検知漏れリスクを抑止することができる。

図４は、基準画像のエッジ画像の一例を示すイメージ図である。
図４では実線がエッジ画素を示している。図４では、便宜上、消失点に向かう直線を強調して太い線で示している。破線は小領域の境界を示しており、本例の場合、※印が付いている小領域がマスク領域として抽出される。

なお、ＳＴ２０５では、基準画像を４×４の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ＳＴ２０７では、消失点に向かう直線を構成するエッジ画素率の閾値を４０％としているが、０％を除く任意の値に変更してもよい。

また、実施の形態１の手法を併用して、マスク領域を抽出してもよい。つまり、実施の形態１のＳＴ１０４〜ＳＴ１０６の処理と、実施の形態２のＳＴ２０６〜ＳＴ２０８の処理との少なくともいずれかで抽出される小領域をマスク領域としてもよい。あるいは、実施の形態１のＳＴ１０４〜ＳＴ１０６の処理と、実施の形態２のＳＴ２０６〜ＳＴ２０８の処理と両方で抽出される小領域をマスク領域としてもよい。

実施の形態３．
実施の形態３では、一定期間の撮影画像の解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。

図５は、実施の形態３に係る撮影障害検出装置１００の構成図である。
図５に示す撮影障害検出装置１００は、図１に示す実施の形態１に係る撮影障害検出装置１００が備える機能に加え、判定画像取得部１１６を備える。

図６は、実施の形態３に係る撮影障害検出装置１００の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。

ＳＴ３０１〜ＳＴ３０３の処理は、図２に示す実施の形態１のＳＴ１０１〜ＳＴ１０３の処理と同様である。

判定画像取得部１１６は、カメラ２００で撮影された画像を判定画像として取得し（ＳＴ３０４）、取得した判定画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ３０５）。
マスク領域抽出部１１２は、ＳＴ３０３で分割した１６個の小領域それぞれについて、小領域のエッジ画像をテンプレート画像とし、判定画像のエッジ画像の同領域に対してテンプレートマッチング処理を行い、マッチ率を算出する（ＳＴ３０６）。マスク領域抽出部１１２は、小領域ごとにマッチ率を累積加算する（ＳＴ３０７）。
マスク領域抽出部１１２は、ＳＴ３０４〜ＳＴ３０７を２４時間繰り返し行い、小領域ごとにマッチ率を累積加算する。なお、この間、カメラの撮影障害は発生していないものとする。

２４時間の撮影後、マスク領域抽出部１１２は、ＳＴ３０７で得られたマッチ率の加算値を２４時間の撮影で得られた総計フレーム数で割った平均マッチ率が４０％未満であるかを判定し（ＳＴ３０８）、４０％未満である場合に対象の小領域をマスク領域とする（ＳＴ３０９）。
マスク領域抽出部１１２は、分割した１６個の小領域それぞれに対してＳＴ３０８〜ＳＴ３０９を行うことにより、マスク領域を抽出する。

以降、ＳＴ３１０〜ＳＴ３２１の処理は、図２に示す実施の形態１のＳＴ１０７〜ＳＴ１１８と同様である。

マスク領域抽出部１１２は、２４時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出している。つまり、マスク領域抽出部１１２は、２４時間の撮影において、変化の大きい小領域をマスク領域として抽出している。
２４時間の撮影において基準画像とのマッチ率が低い小領域は、カメラに障害が発生していないにも関わらず、障害検出部１１５のテンプレートマッチング処理（ＳＴ３１４）でマッチ率が４０％以上にならない可能性の高い領域である。正常時にマッチ率が４０％以上にならない領域が存在すると、ＳＴ１１４の判定結果が逆転することで、障害発生の誤検知を引き起こす可能性がある。そのため、ＳＴ３０４〜ＳＴ３０９で、マスク領域抽出部１１２は、２４時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。

以上のように、実施の形態３に係る撮影障害検出装置１００は、２４時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出することにより、撮影障害の誤検知リスクを抑止することができる。

なお、ＳＴ３０８では、平均マッチ率の閾値を４０％としているが、０％を除く任意の値に変更してもよい。
また、ＳＴ３０４〜ＳＴ３０７は２４時間分繰り返しているが、任意の時間に変更してもよい。

また、実施の形態１，２の手法を併用して、マスク領域を抽出してもよい。つまり、実施の形態１のＳＴ１０４〜ＳＴ１０６の処理と、実施の形態２のＳＴ２０６〜ＳＴ２０８の処理と、実施の形態３のＳＴ３０４〜ＳＴ３０７の処理との少なくともいずれかで抽出される小領域をマスク領域としてもよい。あるいは、実施の形態１のＳＴ１０４〜ＳＴ１０６の処理と、実施の形態２のＳＴ２０６〜ＳＴ２０８の処理と、実施の形態３のＳＴ３０４〜ＳＴ３０７の処理との少なくとも２つ以上、あるいは全てで抽出される小領域をマスク領域としてもよい。

実施の形態４．
実施の形態では、一定期間の撮影画像の解析によって基準画像を自動設定して撮影障害を検知する方法について説明する。

図７は、実施の形態４に係る撮影障害検出装置１００の構成図である。
図７に示す撮影障害検出装置１００は、図５に示す実施の形態３に係る撮影障害検出装置１００が備える機能に加え、基準画像抽出部１１７を備える。また、図７に示す撮影障害検出装置１００は、図５に示す実施の形態３に係る撮影障害検出装置１００が備える機能のうち、マスク領域抽出部１１２、マスク領域設定部１１４を備えていない。

図８は、実施の形態４に係る撮影障害検出装置１００の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。

ＳＴ４０１〜ＳＴ４０２の処理は、図６に示す実施の形態３のＳＴ３０１〜ＳＴ３０２の処理と同様である。

基準画像抽出部１１７は、ＳＴ４０２で生成された基準画像のエッジ画像を、等間隔４行４列の小領域１６個に分割する（ＳＴ４０３）。
判定画像取得部１１６は、カメラ２００で撮影された画像を判定画像として取得し（ＳＴ４０４）、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ４０５）。

基準画像抽出部１１７は、ＳＴ４０３で分割した基準画像のエッジ画像の小領域をテンプレート画像とし、判定画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う（ＳＴ４０６）。基準画像抽出部１１７は、ＳＴ４０６で行ったテンプレートマッチングによるマッチ率が４０％以上であるかを判定し（ＳＴ４０７）、４０％以上である場合にマッチ領域としてカウントする（ＳＴ４０８）。
基準画像抽出部１１７は、分割した１６個の小領域それぞれに対してＳＴ４０６〜ＳＴ４０８を行い、マッチ領域をカウントする。

基準画像抽出部１１７は、ＳＴ４０８でカウントされたマッチ領域数からマッチ領域率（＝マッチ領域数÷処理対象領域数）を求め、マッチ領域率が１５％以下であるかを判定する（ＳＴ４０９）。基準画像抽出部１１７は、ＳＴ４０９で１５％以下である場合に、異常フレームとしてカウントする（ＳＴ４１０）。
なお、基準画像抽出部１１７は、ＳＴ４０９でマッチ領域数が１５％以下でなかった場合には異常フレーム数をリセットする（ＳＴ４１１）。

基準画像抽出部１１７は、ＳＴ４１０でカウントされた異常フレーム数が１０以上であるかを判定する（ＳＴ４１２）。基準画像抽出部１１７は、ＳＴ４１２で１０以上であると判定した場合に、対象の撮影画像を新たな基準画像として追加する（ＳＴ４１３）。

基準画像抽出部１１７は、ＳＴ４０４〜ＳＴ４１３を２４時間繰り返し行う。なお、この間、カメラの撮影障害は発生していないものとする。
この際、基準画像抽出部１１７は、ＳＴ４１３で新たな基準画像が追加された後は、追加された基準画像を含む全ての基準画像に対してＳＴ４０６〜ＳＴ４１１の処理を行う。そして、基準画像抽出部１１７は、ＳＴ４１２では全ての基準画像に対して異常フレーム数が１０以上であるかを判定し、基準画像を抽出する。

２４時間の撮影後、撮影画像取得部１１３は、カメラ２００で撮影された撮影画像を取得し（ＳＴ４１４）、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する（ＳＴ４１５）。

障害検出部１１５は、基準画像のエッジ画像の小領域をテンプレート画像とし、撮影画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う（ＳＴ４１６）。障害検出部１１５は、ＳＴ４１６で行ったテンプレートマッチングによるマッチ率が４０％以上であるかを判定する（ＳＴ４１７）。障害検出部１１５は、ＳＴ４１７で４０％以上である場合に、マッチ領域としてカウントする（ＳＴ４１８）。
障害検出部１１５は、分割した１６個の小領域それぞれに対してＳＴ４１６〜ＳＴ４１８を行い、マッチ領域をカウントする。

障害検出部１１５は、ＳＴ４１８でカウントされたマッチ領域数からマッチ領域率を求め、マッチ領域率が１５％以下であるかを判定する（ＳＴ４１９）。障害検出部１１５は、ＳＴ４１９で１５％以下である場合に、異常フレームとしてカウントする（ＳＴ４２０）。
なお、ＳＴ４１９でマッチ領域率が１５％以下でなかった場合には異常フレーム数をリセットする（ＳＴ４２１）。

障害検出部１１５は、ＳＴ４１３で追加された基準画像も含めた全ての基準画像に対してＳＴ４１６〜ＳＴ４２０の処理を行い、全ての基準画像に対してＳＴ４２０でカウントされた異常フレーム数が１０以上であるかを判定する（ＳＴ４２２）。障害検出部１１５は、ＳＴ４２２で全て１０以上である場合に、撮影障害有りと判定する（ＳＴ４２３）。

以降、撮影障害検出装置１００は、撮影画像を取得する度に、ＳＴ４１４〜ＳＴ４２３を実行して撮影障害発生を判定する。

基準画像抽出部１１７は、２４時間の撮影において基準画像とのマッチ率が低い判定画像を新たに基準画像として抽出している。つまり、基準画像抽出部１１７は、２４時間の撮影において基準画像との類似度が低い判定画像を新たに基準画像としている。撮影障害が発生していないにもかかわらず、基準画像とのマッチ率が低い画像は、障害検出部１１５で障害発生の誤検知を引き起こす撮影画像となる可能性が高い。そのため、ＳＴ４０４〜ＳＴ４１３で、基準画像抽出部１１７は、２４時間の撮影において基準画像とのマッチ率が低い判定画像を新たに基準画像として追加し、全ての基準画像を用いて障害判定する。

以上のように、実施の形態４に係る撮影障害検出装置１００は、２４時間の撮影において基準画像とのマッチ率が低い画像を新たに基準画像として抽出し、全ての基準画像を用いて障害判定することにより、撮影障害の誤検知リスクを抑止することができる。

なお、ＳＴ４０３では、基準画像を４×４の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ＳＴ４０７またはＳＴ４１７では、平均マッチ率の閾値を４０％としているが、０％を除く任意の値に変更してもよい。同様に、ＳＴ４０９またはＳＴ４１９では、マッチ領域率の閾値を１５％としているが、０％を除く任意の値に変更してもよい。同様に、ＳＴ４１２またはＳＴ４２２では、異常フレーム数の閾値を１０としているが、０を除く任意の値に変更してもよい。

また、実施の形態１〜３の手法を併用して、撮影障害を検出してもよい。つまり、実施の形態４で抽出された各基準画像について、実施の形態１〜３の手法を用いて撮影障害を判定してもよい。

図９は、実施の形態１〜４に示した撮影障害検出装置１００のハードウェア構成の例を示す図である。
撮影障害検出装置１００は汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末等のコンピュータであり、撮影障害検出装置１００の各要素をプログラムで実現することができる。
撮影障害検出装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。

演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置等である。主記憶装置９０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。通信装置９０４は、例えば通信ボード等である。入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。

プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、基準画像管理部１１１、マスク領域抽出部１１２、撮影画像取得部１１３、マスク領域設定部１１４、障害検出部１１５、判定画像取得部１１６、基準画像抽出部１１７として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、上記プログラムを実行する。
また、実施の形態１〜４の説明において、「〜の入力」、「〜の取得」、「〜の生成」、「〜の分割」、「〜の判定」、「〜の処理を行う」、「〜の抽出」、「〜の設定」、「〜のカウント」、「〜の算出」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。

また、基準画像記憶部１１０は、外部記憶装置９０２、主記憶装置９０３等により実現される。

なお、図９の構成は、あくまでも撮影障害検出装置１００のハードウェア構成の一例を示すものであり、撮影障害検出装置１００のハードウェア構成は図９に記載の構成に限らず、他の構成であってもよい。

１００ 撮影障害検出装置、１１１ 基準画像管理部、１１２ マスク領域抽出部、１１３ 撮影画像取得部、１１４ マスク領域設定部、１１５ 障害検出部、１１６ 判定画像取得部、１１７ 基準画像抽出部。

Claims (8)

1. 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
   基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出部と、
   前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
   前記複数の小領域のうち、前記マスク領域抽出部が抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
   を備えることを特徴とする撮影障害検出装置。
2. 前記マスク領域抽出部は、前記基準画像に画像が類似する領域が他に存在する小領域を、前記マスク領域として抽出する
   ことを特徴とする請求項１に記載の撮影障害検出装置。
3. 前記マスク領域抽出部は、前記基準画像における各小領域の画像と前記基準画像とを比較して、画像の類似度が閾値以上である小領域を、前記基準画像に類似する画像の小領域が他に存在する小領域とする
   ことを特徴とする請求項２に記載の撮影障害検出装置。
4. 前記マスク領域抽出部は、前記基準画像に、前記撮影装置によって撮影される空間の奥行き方向と垂直な方向の直線が閾値以上存在する小領域を、前記マスク領域として抽出する
   ことを特徴とする請求項１に記載の撮影障害検出装置。
5. 前記マスク領域抽出部は、前記基準画像をハフ変換して前記基準画像における直線を抽出し、抽出した直線が交わる交点を消失点として、前記基準画像からエッジ検出処理で検出されるエッジ画素のうち、前記消失点の座標を通る直線、あるいは、延長した場合に前記消失点の座標を通る直線を構成するエッジ画素が、閾値以上に存在する小領域を、前記撮影装置によって撮影される空間の奥行き方向と垂直な方向の直線が閾値以上存在する小領域とする
   ことを特徴とする請求項４に記載の撮影障害検出装置。
6. 前記撮影障害検出装置は、さらに、
   前記撮影障害が発生していない場合において、前記撮影装置によって撮影された撮影画像を判定画像として、複数の判定画像を取得する判定画像取得部
   を備え、
   前記マスク領域抽出部は、前記複数の判定画像において画像の変化の大きさが閾値以上である小領域を、前記マスク領域として抽出する
   ことを特徴とする請求項１に記載の撮影障害検出装置。
7. 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出プログラムであり、
   記憶装置に記憶した基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出処理と、
   前記撮影装置によって撮影された撮影画像を取得する撮影画像取得処理と、
   前記複数の小領域のうち、前記マスク領域抽出処理で抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得処理で取得した撮影画像とを比較して、前記撮影障害を検出する障害検出処理と
   をコンピュータに実行させることを特徴とする撮影障害検出プログラム。
8. 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
   基準画像を記憶する基準画像記憶部と、
   前記撮影障害が発生していない場合において、前記撮影装置によって撮影された撮影画像を判定画像として、複数の判定画像を取得する判定画像取得部と、
   前記基準画像記憶部が記憶した基準画像と、前記判定画像取得部が取得した各判定画像とを比較して、画像の類似度が閾値未満である判定画像を新たな基準画像として抽出し、前記基準画像記憶部に記憶させる基準画像抽出部と、
   前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
   前記基準画像記憶部が記憶した各基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
   を備えることを特徴とする撮影障害検出装置。

Images