JP2010278963A - 監視システム用の画像処理プログラム、画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】監視システム用の画像処理プログラムであって、監視対象物の出現を適確に捉え、監視労力の軽減とそれに伴う監視精度の向上を図ることのできる画像処理プログラム等を提供する。
【解決手段】画像を用いた監視システム用の画像処理をコンピューターに実行させる画像処理プログラムが、監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得する工程と、前記平均画像内のエッジを検出しエッジ画像を生成する工程と、時系列に連続する前記エッジ画像間の差分面積の変化率を求める工程と、前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する工程と、を前記コンピューターに実行させる、ことである。
【選択図】 図４

Description

本発明は、監視システム用の画像処理プログラム等に関し、特に、監視対象物の出現を適確に捉え、監視労力の軽減とそれに伴う監視精度の向上を図ることのできる画像処理プログラム等に関する。

公道の下に敷設されたガス管については、その近辺で当該ガス管に関係のない工事が行われる際に、当該ガス管が傷つけられてしまう虞があることから、定期的に監視を行う必要がある。このように、公道などの公共の場あるいはその近辺に設置された設備や建物について監視を行う必要がある場合が存在する。

かかる監視を行う手法として、監視用カメラを用いる方法が考えられるが、公共の場を撮影することとなり、そこを通行する人等を撮影してしまうこととなって肖像権を侵害してしまう虞があることから、下記特許文献１に記載の方法が提案されている。下記特許文献１では、所定の手法により動体の画像が減衰する処理を行なって１枚の監視用平均画像を生成し、当該画像によって監視を行なうことが提案されている。

また、下記特許文献２には、監視画像のデータ量が必要以上に増えることを未然に防ぐためのシステムが提案され、平均化画像を用いること、差分画像を用いること等が示されている。

特開２００７−２８３２５号公報 特開２００８−１４１６９９号公報

しかしながら、上記特許文献１の方法は、肖像権を侵害しないで長期滞在物を視るという観点では優れているものの、監視すべき平均画像の枚数が依然として多く、多大な監視労力が必要であり、それに伴って監視精度の面でも課題があった。特に、一人で複数箇所の監視を行う場合にはその課題が顕著である。

かかる課題を解決するためには、監視員が視るべき画像数を減らすべく、監視対象物、すなわち、例えば、前述した公道下に敷設されたガス管についての監視については、他の工事の実施を示す、公道上に設けられた工事帯や公道上に駐車された工事車両等、が監視領域内に出現したことを自動的に捉え、その際の画像のみを監視させるようにすることが望まれる。

そのためには、監視対象物の出現を検出する画像処理手法が必要となるが、経時的に連続する平均画像間で単に差分を取る手法ではいくつかの課題がある。その一つは、平均画像間では時間差があるため日照条件が異なり、影の有無及び位置、画像の明るさ等の点で差が生じやすく、監視対象物による画像の差異だけを検出することが難しいことである。このことは、回転式カメラを用いて複数箇所を撮影する場合など、１箇所についての撮影が間欠的であり、上記平均画像間での時間差が長い場合に顕著となる。

また、平均画像中に監視対象物でない短期滞在物（例えば、渋滞中の車両など）の画像が除去しきれずに残っている場合があり、この場合にも単なる平均画像間の差分では、監視対象物の出現を適確に検出することが難しい。

また、上記特許文献２に記載の方法や背景のモデル化を行う手法等も提案されているが、これらの手法を用いても上記課題は容易に解決されない。

そこで、本発明の目的は、監視システム用の画像処理プログラムであって、監視対象物の出現を適確に捉え、監視労力の軽減とそれに伴う監視精度の向上を図ることのできる画像処理プログラム、等を提供することである。

上記の目的を達成するために、本発明の一つの側面は、画像を用いた監視システム用の画像処理をコンピューターに実行させる画像処理プログラムが、監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得する工程と、前記平均画像内のエッジを検出しエッジ画像を生成する工程と、時系列に連続する前記エッジ画像間の差分面積の変化率を求める工程と、前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する工程と、を前記コンピューターに実行させる、ことである。

更に、上記の発明において、その好ましい態様は、前記変化率の値が予め定めた閾値以上である場合に、前記長期滞在物の変化があると判定する、ことを特徴とする。

更に、上記の発明において、好ましい態様は、更に、前記長期滞在物の変化があると判定した場合に、前記取得した平均画像のエッジ画像における、時系列に前回は存在していなかったエッジの領域の、前記平均画像における画像の彩度に基づいて、前記長期滞在物の変化が監視対象物の出現であるか否かを判定する工程を、前記コンピューターに実行させる、ことを特徴とする。

更にまた、上記の発明において、好ましい態様は、前記エッジ画像は、前記平均画像内の輝度が所定の値よりも大きい領域の画像を除いた後に行われる、ことを特徴とする。

また、上記の発明において、一つの態様は、前記監視範囲の撮影は、１台のカメラが複数の前記監視範囲を所定の時間間隔で順次撮影することによって行われる、ことを特徴とする。

上記の目的を達成するために、本発明の別の側面は、画像を用いた監視システム用の画像処理を行う画像処理装置が、監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得し、前記平均画像内のエッジを検出しエッジ画像を生成し、時系列に連続する前記エッジ画像間の差分面積の変化率を求め、前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する、ことである。

上記の目的を達成するために、本発明の更に別の側面は、画像を用いた監視システム用の画像処理方法が、監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得する工程と、前記平均画像内のエッジを検出しエッジ画像を生成する工程と、時系列に連続する前記エッジ画像間の差分面積の変化率を求める工程と、前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する工程とを有する、ことである。

本発明の更なる目的及び、特徴は、以下に説明する発明の実施の形態から明らかになる。

本発明を適用した画像処理プログラムを用いた監視システムの実施の形態例に係る構成図である。 撮影範囲内の画像を簡略化して例示した図である。 平均画像間の差分面積及びその変化率を例示したグラフである。 １段目の処理手順を例示したフローチャートである。 ２段目の処理手順を例示したフローチャートである。 ２段目の処理を説明するための図である。

以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。なお、図において、同一又は類似のものには同一の参照番号又は参照記号を付して説明する。

図１は、本発明を適用した画像処理プログラムを用いた監視システムの実施の形態例に係る構成図である。図１に示す監視システム１が本実施の形態例に係る監視システムであり、その中の画像判定部４４が本発明を適用した画像処理プログラムを備える本発明の画像処理装置に相当する。

本画像判定部４４は、監視用に撮影された画像の平均画像が生成される度に、そのエッジ画像の経時的な差分面積の変化率（微分値）を求め、その値の大きさによって監視対象物の出現または消失を判断し、監視対象物の出現を適確に捉え、監視労力の軽減とそれに伴う監視精度の向上を図ろうとするものである。

図１に示すように、本実施の形態例に係る監視システム１は、カメラ２、画像処理サーバ４、監視モニタ５、及びそれらを接続するネットワーク３によって構成される。そして、当該監視システム１は、公共の場又はその近傍に設けられ所定時間静止した物（長期滞在物）を監視対象としており、ここでは一例として、前述した公道の下に敷設されたガス管についての監視を行うものとして説明する。すなわち、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする。従って、具体的には、工事範囲を示すバリケードやコーン、又は工事用車両が監視対象物となる。また、一方、当該監視対象の付近を通過する一般の通行人や車両は監視対象物ではない。

カメラ２は、監視対象を含む一定の範囲を撮影するいわゆる監視カメラであり、図１に示すように、監視対象が複数箇所に分かれている場合には複数台設けられる。また、カメラ２は回転式カメラでもよく、この場合には、１台のカメラで複数箇所を順次撮影する。当該カメラ２は、監視時間中、撮影した動画の画像データを暗号化して所定タイミングで画像処理サーバ４へ送信する。また、監視モニタ５において異常が検知され、監視モニタ５からライブ画面の送信が要求される場合には、撮影した動画のデータをそのまま監視モニタ５に送信する。

次に、画像処理サーバ４は、前記カメラ２で撮影された画像に処理を加えて肖像権を侵害しない監視用の平均画像を生成し、その後、この平均画像から上記監視対象物の出現を判定し、監視対象物が出現したと判定した場合には、前記平均画像を監視モニタ５に送信する装置である。この画像処理サーバ４は、いわゆるコンピュータシステムで構成され、本監視システム１において、データセンターと呼ばれる所に設置される。

図１に示すように、画像処理サーバ４には、Ｉ／Ｆ部４１、画像生成部４２、画像判定部４４、及び画像データ格納部４３が備えられる。Ｉ／Ｆ部４１は、外部との通信のインターフェースを担う部分であり、前記カメラ２から送信される動画データの受信、上記処理後の監視用画像の送信等は、当該Ｉ／Ｆ部４１を介して行なわれる。

画像生成部４２は、上記平均画像を生成する処理を実行する部分である。具体的には、上述した通行人や一般車両など監視対象物でない動体の画像を減衰すべく、カメラ２より送信される動画データから所定の時間間隔で静止画像を生成し、所定枚の当該静止画像を平均して上記平均画像を生成する。平均化の処理は、画素毎に、各静止画像の画素が有する画素値（各色の濃度階調値）の平均を取ることによって行う。この平均画像は、監視対象箇所毎に所定の時間間隔で生成されて保存され、画像判定部４４での処理の元の画像となる。なお、画像生成部４２は、処理の手順を指示するプログラム、当該プログラムの指示に従って処理を実行する制御装置等によって構成される。

画像データ格納部４３は、カメラ２から送信される画像データ、上記平均画像を生成する過程で必要となる静止画像のデータ、上記平均画像のデータ等を格納する部分である。ここに記憶される画像データは、適宜、画像生成部４２及び画像判定部４４によって読み出されたり、書き込まれたりする。なお、本画像データ格納部４３は、ハードディスク等の一般的なデータ記憶装置によって構成され、画像生成部４２及び画像判定部４４とのデータ授受が可能であれば、他の部分と一体となっている必要はない。

次に、画像判定部４４は、上記画像生成部４２が生成した平均画像を基に、監視対象箇所に監視対象物が出現したか否かを判定する処理を実行する部分である。上述の通り、本画像判定部４４で行われる処理に本監視システム１の特徴があり、具体的な処理内容については後述する。なお、画像判定部４４は、処理の手順を指示するプログラム、当該プログラムの指示に従って処理を実行する制御装置、データを格納するメモリ等によって構成される。

また、監視モニタ５は、画像処理サーバ４から送信される監視用画像を監視者に対して表示する装置であり、本監視システム１において集中監視センターと呼ばれる箇所に設置される。通常時は、集中監視センターにいる監視者が当該監視モニタ５に表示される静止画像を目視して異常の有無を監視する。また、当該監視において異常が発見された場合には、当該監視モニタ５からライブ画像の送信依頼を行い、当該監視モニタ５にカメラ２から直接送信されたライブの動画画像が表示される。そして、そのライブ画像に基づいて、監視者が必要な処置を適宜判断し、実行する。なお、本監視モニタ５は、いわゆるコンピュータシステムで構築することができ、図示していないが、通信用インターフェース、ＣＰＵ、各種メモリ、ディスプレイ、操作部等で構成される。

以上説明したような構成を有する本実施の形態例に係る監視システム１では、以下のような手順で処理が実行される。

まず、カメラ２が監視対象箇所を撮影し、その動画データが適宜画像処理サーバ４に送信される。カメラ２が回転式カメラである場合には、１台のカメラで数箇所を撮影するため、１箇所については、所定の時間間隔（例えば、３０分間隔）で撮影された動画データが送信される。

送信された画像のデータは、画像データ格納部４３に格納された後、画像生成部４２によって処理され、前述した平均画像が順次生成されて、画像データ格納部４３に保存される。当該生成された平均画像は、所定期間の複数毎の静止画像が平均化されたものであるので、通行人などの動体、短期滞在物の画像は除去（減衰）された状態となっている。

次に、画像判定部４４が、上記平均画像が生成される度に、その時点で監視対象物がその画像内に出現したか否かを判定する。そして、当該判定の結果、出現したと判断した場合には、当該平均画像を監視用画像として監視モニタ５へ送信する。一方、出現したと判断しない場合には、最初から処理が繰り返される。

監視モニタ５では、当該平均画像が表示され、監視者が当該画像を目視でチェックし、異常の有無を確認する。もし、異常が有れば、監視者は、上述したライブ画像への切り換え、現地への出動等の措置を実行する。異常が無ければ、同様の処理による監視を繰り返し実行する。

以上の処理において、本監視システム１では、前述したとおり、画像判定部４４における判定処理に特徴があり、以下、その内容について説明する。

当該判定処理は、大きく２段階の処理によって実行される。その１段階目の処理は、主に、上記平均画像に含まれる長期滞在物に変化があったか否かを判定するものであり、２段階目の処理は、主に、長期滞在物の変化が監視対象物の出現であるか否かを判定するものである。なお、上記平均画像は、一例としてＲ（レッド）Ｇ（グリーン）Ｂ（ブルー）で表現されている。

まず、１段階目の処理について説明する。本判定処理の目的は、監視対象物らしきものが撮影範囲内に出現したことを検出し、その場合に監視者に監視をさせることであり、また、監視対象物は長期滞在物と考えられるので、まず、撮影範囲内における長期滞在物の画像の変化を捉える必要がある。この場合、当該処理の対象となる上記平均画像は、前述の通り、撮影範囲内の動体や短期滞在物の画像が概ね除去されているので、時系列的に上記平均画像の差分を取る、すなわち、経時的に一つ前の平均画像とその時点の平均画像との差分を取ることによって上記長期滞在物の変化を捉えることができると考えられる。

しかし、渋滞中の車両、建物の影などは、平均画像を生成する処理上、上記平均画像に残ってしまい、これらは位置が一定していないので、上記平均画像の差分として捉えられてしまうことになる。そして、これらは長期滞在物の変化ではないので、上記判定上好ましくないノイズとなってしまう。

図２は、撮影範囲内の画像を簡略化して例示した図である。図２の（Ａ）〜（Ｇ）は、各時点Ｔ（ｉ）（Ｔ（１）、Ｔ（２）、‥）における上記平均画像のエッジ画像（各画像のエッジを抽出した画像）を示している。各図中において、ａ（ｉ）は、上述した渋滞中の車両を示しており、ｂ（ｉ）は、建物の影を示している。また、ｃ（ｉ）は、今回の監視対象物に当る工事用のバリケードを示している。

また、図２の（Ｈ）〜（Ｌ）は、時系列に連続する２枚の上記エッジ画像間の差分画像（全ての差分を示した画像）を示している。図２の（Ｈ）では、図２の（Ａ）と（Ｂ）の画像間で監視対象物の変化はなく、また、長期滞在物の変化もないが、上述したノイズであるａ（ｉ）及びｂ（ｉ）の画像により差分が存在する。一方、図２の（Ｉ）では、図２の（Ｂ）と（Ｃ）の画像間で監視対象物が出現しているので、上記ノイズによる差分と監視対象物による差分が存在している。

同じ時間帯では、上記ノイズは常に存在し、上述の通り、位置を変えるので、上記差分画像に常に存在することになる。従って、上記差分画像における差分量（差分面積）が常にある程度存在し、長期滞在物が出現した場合には、その差分量が増えることになる。

図３は、当該差分面積及びその変化率を例示したグラフである。図３の（Ａ）は、時系列に連続する２枚の上記エッジ画像間の差分面積を時系列に示している。上記図２の（Ｈ）に示す差分画像は、Ｔ（２）の差分面積に対応し、図２の（Ｉ）に示す差分画像は、Ｔ（３）の差分面積に対応する。このように、差分面積のグラフは、ノイズによるものがベースとしてある量常に存在した上に長期滞在物が変化した場合にその分が上積みされる形となる。従って、この差分面積で長期滞在物の変化を検出するためには、図中のｈ１に示す間に閾値を設定する必要があり、値の誤差、変動を考慮すると、その正確な検出は難しいと言える。また、時間帯による交通量の変化等に起因してｈ１の下端の値は緩やかに上下しており、それに追随してｈ１の上端も上下する。そのため、ｈ１に示す間に閾値を設定しようとしたとき、時間帯によらず一定の値とすることができない。特に、上記ノイズによる値が大きい場合には、長期滞在物が変化した場合との相対的な差異は小さくなり、より検出が難しくなる。

図３の（Ｂ）は、図３の（Ａ）に示した差分面積の経時的な変化率（時間変化率）、すなわち、微分値を示している。上述の通り、ノイズによる差分面積は、同じ時間帯であればそれほど大きく変化しないので、その変化率は小さくなる。一方、図２の（Ｃ）のように、長期滞在物が出現したような場合には、急にその分の差分面積が増えるので、差分面積の変化率は高くなる（図中のＴ（３））。このように、差分面積の変化率を取ると、長期滞在物が変化した場合と、そうでない場合とで、値が大きく異なり、双方を明確に区別し易くなる。すなわち、長期滞在物が変化した場合を検出するための閾値を、図中のｈ２の間で設定すればよく、精度良く検出を行うことができる。

そこで、上記１段目の処理では、上記平均画像のエッジ画像における経時的な差分の面積の変化率（微分値）を求め、当該値が所定の閾値よりも大きい場合には、撮影範囲内の長期滞在物に変化があったと判定する。

なお、図２において、（Ｄ）、（Ｅ）、（Ｆ）に示すＴ（４）、Ｔ（ｎ−２）、Ｔ（ｎ−１）の時点では、Ｔ（３）の時点で出現した工事用のバリケードが存在し続けているので、その間の差分画像には当該工事用のバリケードが現れず、（Ｊ）、（Ｋ）に示すように、上記ノイズによる差分画像のみが現れる。従って、この期間については、図３の（Ａ）に示すように、差分面積はあまり変化しない。一方、差分面積の変化率については、図３の（Ｂ）に示すように、Ｔ（４）において、上記工事用のバリケードの分（図２の（Ｉ）のｄ）が減少するので低い値となる。

また、図２において、Ｔ（ｎ）の時点で、上記工事用のバリケードが消失するが、この場合の差分画像には、その消失分の画像（図２の（Ｌ）のｅ）が差分として現れるので、（Ｌ）に示すようになる。従って、図３の（Ａ）に示すように、その時点の差分面積はＴ（３）の場合と同様に増加する。そして、差分面積の変化率も図３の（Ｂ）に示すように増加する。

図４は、１段目の処理手順を例示したフローチャートである。以下、図４に基づいて、１段目の具体的な処理内容について説明する。画像判定部４４は、前述の通り、画像生成部４２が平均画像を生成するとそれを取得する（ステップＳ１）。

次に、取得した平均画像に対してエッジ検出処理を実行する（ステップＳ２）。当該処理は、平均画像に表現されている各画像（オブジェクト）のエッジ（輪郭）を抽出するものであり、従前の一般的な手法により色の変化する領域が抽出される。そして、エッジとして抽出された部分には画素値として「１」が与えられ、そうでない部分には画素値として「０」が与えられる。その結果、２値のエッジ画像が生成される。

次に、当該生成されたエッジ画像に対して膨張処理を実行する（ステップ３）。当該処理は、様々な誤差を考慮して画像に余裕を持たせるものであり、画素値が「１」である領域を所定量（例えば、数画素分）広げる処理を実行する。その結果、エッジ領域が膨張させられた、図２の（Ａ）〜（Ｇ）に示したような、エッジ画像が生成される。そして、生成された膨張後のエッジ画像は、画像判定部４４内のメモリ又は画像データ格納部４３に保存される。

その後、今回生成された膨張後のエッジ画像と前回生成されて保存された膨張後のエッジ画像との差分が取られる（ステップＳ４）。すなわち、この時点がＴ（ｉ）であれば、Ｔ（ｉ−１）時点のエッジ画像との差分処理が実行される。具体的には、当該エッジ画像間で、画素値の異なる画素の数の総和が算出される。すなわち、図２及び図３に基づいて説明した差分面積を算出する。図２に示した例では、（Ｈ）等に示した画像の画像が存在する部分の面積が求められる。そして、算出された差分面積は、画像判定部４４内のメモリ又は画像データ格納部４３に保存される。

次に、上記算出した差分面積の上述した変化率（微分値）を求める（ステップＳ５）。具体的には、上記算出された差分面積と前回算出されて保存された差分面積との差を取る。すなわち、この時点がＴ（ｉ）であれば、Ｔ（ｉ−１）時点の差分面積との差が計算される。これは、平均画像が生成される時間間隔が一定であれば、差分面積の上記変化率（微分値）を求めたことと同等である。すなわち、図３の（Ｂ）に示した値を求めたことになる。

そして、当該求めた差の値（微分値）を予め定めた閾値と比較する（ステップＳ６）。その結果、当該差の値が閾値以上である場合には（ステップＳ６のＹｅｓ）、撮影範囲内において前回の判断時から現時点までの間に長期滞在物の変化があった可能性が高いため、長期滞在物の変化ありと判定し、２段階目の処理を実行する（Ｓ１１へ）。図２及び図３における例においては、Ｔ（３）及びＴ（ｎ）の時点において、かかる判定がなされる。

一方、上記差の値が閾値以上でない場合には（ステップＳ６のＮｏ）、撮影範囲内において前回の判断時から現時点までの間に長期滞在物の変化がなかったと判定し、すなわち、監視対象物の出現や消失がなかったと判定して、当該判定処理を終了する。

次に、２段目の処理について説明する。２段階目の処理は、前述の通り、１段目の処理において長期滞在物の変化があると判定された場合において、それが監視対象物の出現であるか否かを判定するものである。

今回監視対象物としている工事に関連する物体は、外部に危険を知らせるために、一般に、赤、青、黄などの目立つ色になっているため、変化した部分が彩度の大きいものであれば、検出された長期滞在物の変化（出現）が監視対象物の出現である可能性が高い。そこで、当該２段目の処理では、変化した領域の彩度が大きい場合に、監視対象物の出現であると判断する、処理を行う。日照条件の変化により影や太陽光の差込の部分が上記１段目の処理で長期滞在物の変化であると判定された場合にも、これらは彩度が低いので、当該２段目の処理で監視対象物の出現とは判断されず、誤判定を防げる。

図５は、２段目の処理手順を例示したフローチャートである。以下、図５に基づいて、２段目の具体的な処理内容について説明する。画像判定部４４は、１段目の処理で、長期滞在物の変化があると判定すると、まず、前記取得した平均画像に対してマスク処理を実行する（ステップＳ１１）。具体的には、上記平均画像のうち輝度の大きい領域をマスクする。より具体的には、ＲＧＢで表現される平均画像を輝度の表現に変更し、輝度が所定の値よりも大きい領域については画像が無いものとする。これにより、太陽光の差込部分など白色に近い領域がカットされる。例えば、輝度値が取り得る範囲の上側３０％に入る領域がマスクされる。

次に、マスク処理後の画像に対して、１段目の処理におけるステップＳ２及びＳ３の処理と同様に、エッジ検出処理と膨張処理を実行する（ステップＳ１２及びＳ１３）。膨張後のエッジ画像は、画像判定部４４内のメモリ又は画像データ格納部４３に保存される。

その後、当該生成した膨張後のエッジ画像と前回Ｓ１３において生成されて保存された膨張後のエッジ画像との差分画像が生成される（ステップＳ１４）。すなわち、この時点がＴ（ｉ）であれば、Ｔ（ｉ−１）時点のエッジ画像との差分画像が生成される。当該差分画像は、Ｔ（ｉ）の画像において画像がある部分、すなわち、画素値が「１」である部分であって、Ｔ（ｉ−１）の画像では画像がない、すなわち、画素値が「０」である部分が、画像ありとして画素値が「１」となり、そうでない部分は画像なしとして画素値が「０」となる。

図６は、２段目の処理を説明するための図である。図６の（Ａ）は、図２に示した例におけるＴ（３）時点で生成される上記差分画像である。図２の（Ｂ）、（Ｃ）から分かるように、当該差分画像には、Ｔ（２）時点では存在しない工事用バリケード（ｚ１）、Ｔ（２）時点と位置が異なる影（ｘ）及び車両（ｙ）の画像が現れている。

次に、当該生成された差分画像と平均画像の重ね合せ処理を実行する（ステップＳ１５）。当該処理は、現時点（Ｔ（ｉ））の上記平均画像と前回（Ｔ（ｉ−１））の上記平均画像の両方に対して実行される。具体的には、それぞれの場合において、平均画像の各画素の画素値に同じ画素の差分画像における画素値（「１」又は「０」）を掛け合わせる。従って、差分画像で画像の有る領域が元の平均画像における色を有しており、他の部分には色がない画像がそれぞれ生成される。

図６に示す例では、（Ａ）の画像において、画像のある部分（ｘ、ｙ、ｚ１）が元の平均画像における色となる。Ｔ（３）時点の平均画像を元にした場合には、ｚ１の領域に工事用バリケードが存在するのでその領域の色は工事用バリケードの色となるが、前回のＴ（２）時点の平均画像を元にした場合には、工事用バリケードが存在しないので、ｚ１の領域は、道路面の色となる。また、ｘ、ｙの領域については、Ｔ（３）時点では、影、車両の色となり、Ｔ（２）時点では、地面、影、道路面などの色となる。

次に、生成された重ね合せ後の２枚の画像を、ＲＧＢ表現からＨＳＶ表現に変更し、更に、画素値をＳ（彩度）で表現する（ステップＳ１６）。そして、各画素のＳ値を所定の閾値と比較し、Ｓ値が閾値以上である画素の画素値を「１」にし、Ｓ値が閾値よりも小さい画素の画素値を「０」にする閾値処理を実行する（ステップＳ１７）。当該処理により、２枚の２値画像が生成される。

図６の例では、（Ｂ）がＴ（２）での平均画像を元にした場合の当該２値画像を示しており、（Ｃ）がＴ（３）での平均画像を元にした場合の当該２値画像を示している。Ｔ（２）での重ね合せ後の画像は、上述の通り、全て暗い色となるのでＳ値は小さく、上記閾値処理により、全ての画素値が「０」になる。一方、Ｔ（３）での重ね合せ後の画像は、上述の通り、工事用バリケードの部分について目立つ色となるので、上記閾値処理により、当該部分（ｚ２）については画素値が「１」になる。

次に、上記生成した２枚の２値画像の差分処理を行う（ステップＳ１８）。具体的には、現時点（Ｔ（ｉ））の平均画像を元にした場合の２値画像において画素値が「１」であって、前回（Ｔ（ｉ−１））の平均画像を元にした場合の２値画像において画素値が「０」である画素の数の総和を求める。

そして、求められた総和を予め定めた閾値と比較し（ステップＳ１９）、閾値以上であれば（ステップＳ１９のＹｅｓ）、前回から現時点までに監視対象物が出現した可能性が高いので、監視対象物が出現したと判断し、現時点の前記取得した平均画像を監視モニタ５に送信する（ステップＳ２０）。そして、前述の通り、監視モニタ５で当該平均画像が表示され、監視員によるチェックがなされることになる。一方、総和が閾値以上でなければ（ステップＳ１９のＮｏ）、監視対象物が出現した可能性が低いので、監視対象物が出現していないと判断し、当該判定処理を終了する。

図６の例では、上記差分処理で（Ｃ）のｚ２の画像の画素数が上記総和となり、監視対象物が出現したと判断される。

なお、図２の（Ｇ）に示すＴ（ｎ）時点のように、監視対象物が消失した場合には、１段目の処理で長期滞在物の変化ありという判定がなされるが、２段目の処理の差分画像の生成（Ｓ１４）において、上述した生成方法から監視対象物の部分が画像として残らないので、２段目の処理において監視対象物が出現したとは判定されない。

なお、上述した２段目の処理では、Ｓ１５−Ｓ１７の処理で、前回の平均画像を元にした場合も処理を実行し、現時点での平均画像を元にした場合との差分処理（Ｓ１８）によって判定を下したが、Ｓ１５−Ｓ１７の処理について現時点での平均画像を元にした場合のみを実行し、生成された２値画像の「１」の値を持つ画素の数を上記総和としてＳ１９の判断を行うようにしてもよい。

前者の方法では、差分画像の監視対象物でない画像の背景に目立つ色のものがある場合に、それに起因する誤判定を防止できるというメリットがあり、一方、後者では、差分画像の監視対象物の背景に目立つ色のものがある場合に、前者の方法では誤判定をしてしまう虞があるが、それを防止することができる。

以上説明したように、本実施の形態例に係る監視システム１では、動体や短期滞在物を減衰した平均画像に対して画像処理を加え、監視対象物が出現した可能性が高いか否かを判定し、その可能性が高い場合に監視員による目視の監視を行わせるようにする。従って、従来よりも、監視員による監視の労力を軽減することができ、それに伴い監視精度の向上も図ることができる。

また、上記監視対象物の出現について判定を行う本画像判定部４４では、上述の通り、時系列で変化する画像の差分の変化率に基づいて長期滞在物の変化を判定するので、定常的に存在するノイズによる差分の影響を排除した精度の高い判定が可能である。

さらに、長期滞在物の変化があると判定した場合に、Ｓ（彩度）等を用いて監視対象物の出現を判定するので、目立つ色を有する監視対象物について適確な判定を下すことができる。

また、これらの判定処理が比較的容易な処理内容で実現されるので、処理負荷及び処理時間を抑えることができる。

なお、本監視システム１では、上述のとおり、日照条件による影響を排除した適確な判定を行えるので、回転式カメラにより、１箇所についてある時間間隔で撮影が行われ、連続する平均画像間で日照条件の変化が大きい場合に適していると言えるが、カメラ２は、回転式カメラでなくてもよい。

また、本監視システム１の装置構成は一例であって、例えば、画像判定部４４が監視モニタ５のある集中監視センターに設置されてもよいし、画像処理サーバ４と監視モニタ５とが同じ場所に設置されてもよい。

なお、前述した実施の形態例においては、一例として、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする場合を想定していたが、本発明は、一定時間以上静止しているものを監視対象とし、その監視対象物が公共の場やその付近にあるような他の場合にも適用することができる。特に、画像判定部４４が行う１段目の処理については、例えば、路上などの放置車両の監視、空港や駅などにおける不審物の監視等にも用いることができる。

本発明の保護範囲は、上記の実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

１ 監視システム
２ カメラ
３ ネットワーク
４ 画像処理サーバ
５ 監視モニタ
４１ Ｉ／Ｆ部
４２ 画像生成部
４３ 画像データ格納部
４４ 画像判定部

Claims (7)

1. 画像を用いた監視システム用の画像処理をコンピューターに実行させる画像処理プログラムであって、
   監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得する工程と、
   前記平均画像内のエッジを検出しエッジ画像を生成する工程と、
   時系列に連続する前記エッジ画像間の差分面積の変化率を求める工程と、
   前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する工程と、を前記コンピューターに実行させる
   ことを特徴とする画像処理プログラム。
2. 請求項１において、
   前記変化率の値が予め定めた閾値以上である場合に、前記長期滞在物の変化があると判定する
   ことを特徴とする画像処理プログラム。
3. 請求項１あるいは請求項２において、更に、
   前記長期滞在物の変化があると判定した場合に、前記取得した平均画像のエッジ画像における、時系列に前回は存在していなかったエッジの領域の、前記平均画像における画像の彩度に基づいて、前記長期滞在物の変化が監視対象物の出現であるか否かを判定する工程を、前記コンピューターに実行させる
   ことを特徴とする画像処理プログラム。
4. 請求項３において、
   前記エッジ画像は、前記平均画像内の輝度が所定の値よりも大きい領域の画像を除いた後に行われる
   ことを特徴とする画像処理プログラム。
5. 請求項１乃至請求項４のいずれかにおいて、
   前記監視範囲の撮影は、１台のカメラが複数の前記監視範囲を所定の時間間隔で順次撮影することによって行われる
   ことを特徴とする画像処理プログラム。
6. 画像を用いた監視システム用の画像処理を行う画像処理装置であって、
   監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得し、
   前記平均画像内のエッジを検出しエッジ画像を生成し、
   時系列に連続する前記エッジ画像間の差分面積の変化率を求め、
   前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する
   ことを特徴とする画像処理装置。
7. 画像を用いた監視システム用の画像処理方法であって、
   監視範囲を時系列に撮影した複数枚の静止画像から生成される平均画像を取得する工程と、
   前記平均画像内のエッジを検出しエッジ画像を生成する工程と、
   時系列に連続する前記エッジ画像間の差分面積の変化率を求める工程と、
   前記求めた変化率の大きさに基づいて、前記監視範囲内に存在する長期滞在物の変化の有無を判定する工程と、を有する
   ことを特徴とする画像処理方法。

Images