JP2021157474A - 監視システム、監視方法及びプログラム - Google Patents

Abstract

【課題】厳しい環境条件下であっても現象の発生を正確に検出する。【解決手段】動体画素検出部２０は、火山Ｖの最新の画像データＩｎが得られる度に、最新の画像データＩｎと過去の画像データＩｔ１〜Ｉｔ２との比較により、最新の画像データＩｎを構成する画素のうち、動体画素数Ｐｘ（ｎ）を検出する。基準値算出部２１は、動体画素数Ｐｘ（ｎ）が得られる度に、過去の期間Ｔ１を１サンプリング周期Ｓだけ後にずらしつつ、期間Ｔ１に撮像された複数枚の画像データＩｔ１〜Ｉｔ２における動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の平均値ａｖｅＰｘ（ｎ−１）、標準偏差σ（ｎ−１）及びノイズ成分Ｎに基づく基準値Ｐｍａｘ（ｎ−１）を算出する。現象検出部２２は、基準値算出部２１で算出された基準値Ｐｍａｘ（ｎ−１）に対する動体画素検出部２０で検出された動体画素数Ｐｘ（ｎ）の比率が閾値αを超えた場合に、火山Ｖの噴火の発生を検出する。【選択図】図１

Description

本発明は、監視システム、監視方法及びプログラムに関する。

日本で最も活発な活動をしている火山の一つである桜島は、１０ｋｍ西に鹿児島市の中心部が位置する、都市圏に近い火山として知られている。このため、桜島の噴火は、中規模なものであっても観光、農業、漁業等の産業に経済的損失を与えて地域の発展を妨げたり、県民の生活・健康に影響を与えたりするおそれがある。そこで、噴火があったことをいち早く知るために、桜島は２４時間監視対象となっている。

現状では、桜島のような火山の噴火の判断は、目視に頼らざるを得ないのが実情であり、監視には大変な労力が必要となる。このため、監視画像を利用して噴火を自動的に検出する方法の開発が望まれている。

監視対象における現象の発生を自動的に検出する一般的な方法に、「差分画像」を利用する方法がある。この方法では、現象が発生する前の背景画像を予め準備しておき、その現象が発生した後の画像と背景画像との差分、すなわち相違点を求めることで、現象が発生したことを検出する。

屋内などの環境変化が小さい空間又は環境を制御可能な空間であれば、「差分画像」を利用する方法は有効である。一方、環境変化が大きい屋外では、検出対象である現象の発生とは無関係な環境変化により背景画像が変化するので、「差分画像」を利用する方法で現象の発生を検出することが難しくなっている。

このような点を改善するため、直前の画像を背景画像として更新していく方法や、差分後の画像から現象の発生に関連する動体の速度ベクトルを求めることで、背景と動体とを分離する方法等が開示されている（例えば、特許文献１参照）。

特開２００２−９０４７１号公報

しかしながら、現象の発生の自動的な検出を妨げるものは、背景画像の変化には限られない。防災を目的として野外に設置されたカメラで監視対象を監視する場合には、カメラが設置される環境条件が厳しくなる。例えば、風によりカメラが振動したり、カメラのレンズが汚れたりして画質が劣化する。このような環境条件の厳しさが、現象の発生の自動的な検出の妨げとなっている。

本発明は、上記実情の下になされたものであり、厳しい環境条件下であっても現象の発生を正確に検出することができる監視システム、監視方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る監視システムは、
一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出部と、
前記動体画素検出部で前記動体画素数が検出される度に、算出対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出部と、
前記基準値算出部で前記基準値が算出される度に、前記基準値算出部で算出された前記基準値に対する前記動体画素検出部で検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出部と、
を備える。

この場合、前記基準値算出部は、
前記動体画素数の平均値と、標準偏差の３倍と、前記ノイズ成分を加算した値を、前記基準値として算出する、
こととしてもよい。

また、前記期間の終期は、前記最新の画像が撮像された時点よりも少なくともＭ（Ｍは２以上の自然数）サンプリング前の時点となるように規定されている、
こととしてもよい。

前記基準値算出部は、
前記監視対象における現象の発生が検出される前の前記動体画素数の最大値を、前記ノイズ成分として設定する、
こととしてもよい。

前記動体画素検出部は、
前記最新の画像における輝度値に対する画素数の分布を示す混合ガウス分布モデルを推定し、
前記過去の画像から推定されている混合ガウス分布モデルに含まれる正規分布に属しない画素を、前記動体画素として前記最新の画像から抽出する、
こととしてもよい。

前記動体画素検出部は、
前記最新の画像をグレースケール画像に変換し、
前記グレースケール画像に対して輝度値に対する画素数を示すヒストグラムを作成し、 前記ヒストグラムを正規化し、
前記正規化されたヒストグラムに基づいて、前記混合ガウス分布モデルを推定する、
こととしてもよい。

前記動体画素検出部は、
前記抽出された前記動体画素のうち、孤立する前記動体画素をノイズとして除去し、
前記抽出された前記動体画素のうち、除去されなかった前記動体画素の数を、前記動体画素数としてカウントする、
こととしてもよい。

前記動体画素検出部は、
前記最新の画像における前記監視対象において現象が発生する領域の部分画像に対して処理を行って、前記動体画素数を算出する、
ようにしてもよい。

また、本発明の第２の観点に係る監視方法は、
コンピュータが、一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出ステップと、
コンピュータが、前記動体画素検出ステップで前記動体画素数が検出される度に、対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出ステップと、
コンピュータが、前記基準値算出ステップで前記基準値が算出される度に、前記基準値算出ステップで算出された前記基準値に対する前記動体画素検出ステップで検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出ステップと、
を含む。

また、本発明の第３の観点に係るプログラムは、
コンピュータを、
一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出部、
前記動体画素検出部で前記動体画素数が検出される度に、算出対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出部、
前記基準値算出部で前記基準値が算出される度に、前記基準値算出部で算出された前記基準値に対する前記動体画素検出部で検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出部、
として機能させる。

本発明によれば、過去のある期間に撮像された複数枚の画像における被写体の動きを示す動体画素の数である動体画素数の平均値、標準偏差及びノイズ成分に基づく基準値に対する最新の画像における動体画素数の比率が閾値を超えた場合に、現象が発生したことを検出する。現象が発生していなかった過去の期間に撮像された複数枚の画像における動体画素数の変動は、現象とは関係のない他の要因によるものであると考えられるため、この変動を考慮した基準値を用いることにより、他の要因による誤検出を防止することができる。この結果、厳しい環境条件下であっても現象の発生を正確に検出することができる。

本発明の実施の形態に係る監視システムの構成を示す模式図である。 図１の監視システムのハードウエア構成を示すブロック図である。 図１の監視システムの動作を示すフローチャートである。 動体画素検出ステップの流れを示すフローチャートである。 （Ａ）はグレースケール画像の一例を示す図である。（Ｂ）は、ヒストグラム補正が施された画像の一例を示す図である。（Ｃ）は、抽出された動体画素の一例を示す図である。（Ｄ）は、ノイズが除去された動体画素の一例を示す図である。（Ｅ）は、動体画素を撮像された画像と重ね合わせて示す図である。 （Ａ）は、現在の画像から生成されるヒストグラムの一例を示す図である。（Ｂ）は、正規化されたヒストグラムの一例を示す図である。（Ｃ）は、正規化されたヒストグラムから推定される混合ガウス分布モデルの一例を示す図である。 推定される混合ガウス分布モデルの時間変化を示すグラフである。 基準値が更新される様子を示すグラフである。 噴火が検出される様子を示すグラフである。 警告表示の一例を示す図である。 噴火前後の動体画素数の変動を示すグラフである。 縦ライン及び横ラインが表示された画像の一例を示す図である。 複数のカメラで監視対象を撮像する様子を示す模式図である。 （Ａ）及び（Ｂ）は、河川における土石流の発生を検出するための画像の一例を示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。

図１に示すように、本実施の形態に係る監視システム１には、カメラ１０が無線通信可能に接続されている。カメラ１０は、撮像視野ＩＡ内に山頂の火口を含む火山Ｖの大部分とその周辺が収められるように屋外に設置されている。このため、カメラ１０は、風などの自然環境の影響を受け易くなっている。

カメラ１０は、一定のサンプリング周期Ｓで火山Ｖを撮像する。この撮像により、各サンプリング時点ｔ_ｋ（ｋ＝０，１，２，・・・）での火山Ｖ及び周辺の画像データＩ_ｋが得られる。カメラ１０は、撮像を行う度に、その撮像により得られた画像データＩ_ｋを、無線通信により、監視システム１に送っている。なお、サンプリング周期Ｓに特に制限はなく、監視対象の動きに応じた時間（例えば１／３０秒）とすることができる。

監視システム１は、情報処理を行うコンピュータである。火山Ｖが噴火すれば、火山Ｖから噴煙柱Ｅｒが上がる。監視システム１は、カメラ１０から送られる各サンプリング時点ｔ_ｋ（ｋ＝０，１，２，・・・）で撮像された画像データＩ_ｋに基づいて、監視対象における現象が発生した、すなわち火山Ｖの噴火が発生したことを検出する。噴火は、噴煙柱Ｅｒにより検出される。この検出を行うため、監視システム１は、動体画素検出部２０と、基準値算出部２１と、現象検出部２２と、を備えている。

動体画素検出部２０は、カメラ１０から送られた各サンプリング時点ｔ_ｋ（ｋ＝０，１，２，・・・）での火山Ｖ及び周辺の画像データＩ_ｋを受信する。動体画素検出部２０は、画像データＩ_ｋを記憶する。

動体画素検出部２０は、一定のサンプリング周期Ｓで撮像される火山Ｖの最新の画像データＩ_ｎが得られる度に、最新の画像データＩ_ｎと過去の画像データＩ_ｔ１〜Ｉ_ｔ２とを比較する。この比較により、動体画素検出部２０は、最新の画像データＩ_ｎを構成する画素のうち、被写体の動きを示す動体画素ＭＰを検出する。動体画素ＭＰには、例えば、噴煙柱Ｅｒの他にも、雲、太陽による逆光、飛行機、鳥、車、鉄道、船舶等の移動する物体、影を示す画素が含まれる。さらに、動体画素検出部２０は、動体画素ＭＰの数を示す動体画素数Ｐｘ（ｎ）を検出する。

基準値算出部２１は、動体画素検出部２０で動体画素数Ｐｘ（ｎ）が検出される度に、動体画素検出部２０から動体画素数Ｐｘ（ｎ）を入力し、記憶する。

基準値算出部２１は、動体画素検出部２０で動体画素数Ｐｘ（ｎ）が検出される度に、算出対象となる過去の期間Ｔ１を１サンプリング周期Ｓ後にずらす。本実施の形態では、期間Ｔ１の始期を時点ｔ１とし、終期を時点ｔ２とする。時点ｔ２は、最新の画像データＩ_ｎが撮像された時点ｔ_ｎよりも少なくともＭ（Ｍは２以上の自然数）サンプリング前、すなわち期間Ｔ２前の時点となるように設定されている。

さらに、基準値算出部２１は、期間Ｔ１に撮像された複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２における動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の平均値ａｖｅＰｘ（ｎ−１）、標準偏差σ（ｎ−１）及び画像データＩ_ｋに含まれるノイズ成分Ｎに基づく基準値Ｐｍａｘ（ｎ−１）を算出する。Ｐｘ（ｔ１）は、時点ｔ１で撮像された画像データＩ_ｔ１から得られる動体画素数であり、Ｐｘ（ｔ２）は、時点ｔ２で撮像された画像データＩ_ｔ２から得られる動体画素数である。基準値Ｐｍａｘ（ｎ−１）は、噴火前に想定される動体画素数Ｐｘ（ｎ）の最大値である。ここで、ｎ−１は、ｎの１サンプリング前のデータという意味ではなく、最新の画像データＩ_ｎよりも過去の期間Ｔ１における画像データＩ_ｔ１〜Ｉ_ｔ２に基づいて定められる値という意味で用いられている。

現象検出部２２は、動体画素検出部２０から動体画素数Ｐｘ（ｎ）を入力するとともに、基準値算出部２１から基準値Ｐｍａｘ（ｎ−１）を入力する。現象検出部２２は、基準値Ｐｍａｘ（ｎ−１）に対する動体画素数Ｐｘ（ｎ）の比率が閾値αを超えた場合に、火山Ｖにおける現象の発生、すなわち噴火の発生を検出する。

このように、基準値算出部２１及び現象検出部２２は、以下の式（１）（基準値Ｐｍａｘ（ｎ−１）の算出式）及び式（２）（噴火の判定）を実行して、基準値Ｐｍａｘ（ｎ−１）の算出及び火山Ｖの噴火の判定を行う。
Ｐｍａｘ（ｎ−１）＝ａｖｅＰｘ（ｎ−１）＋３σ（ｎ−１）＋Ｎ ・・・（１）
Ｐｘ（ｎ）／Ｐｍａｘ（ｎ−１）＞α ・・・（２）

なお、現象検出部２２は、火山Ｖの噴火の発生が検出される前の動体画素数Ｐｘ（ｎ）の最大値を、ノイズ成分Ｎとして設定することができる。ノイズ成分Ｎは、カメラ１０で撮像された画像データＩ_ｋに現れる固有のものであり、予め計測しておき、その計測値を設定しておくことが可能である。また、閾値αの値は、任意であるが、例えば１．０又は１．０以上の値を用いることができる。図１では、α＝１．０の場合での比較の様子が示されている。

上述の監視システム１の機能は、図２に示すハードウエア構成で実現されている。図２に示すように、監視システム１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び無線通信回路３６をハードウエア構成として備えている。主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び無線通信回路３６はいずれも内部バス３０を介して制御部３１に接続されている。

制御部３１は、ＣＰＵ（Central Processing Unit）を備えている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９に従って処理を実行することにより、図１に示す監視システム１の各構成要素が実現される。

主記憶部３２は、ＲＡＭ（Random-Access Memory）を備えている。主記憶部３２のＲＡＭには、外部記憶部３３に記憶されているプログラム３９がロードされる。ＣＰＵは、ＲＡＭにロードされたプログラム３９を実行する。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリを備える。外部記憶部３３の不揮発性メモリには、制御部３１に実行させるためのプログラム３９があらかじめ記憶されており、このプログラム３９が、主記憶部３２に読み込まれる。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

本実施の形態では、監視システム１の動体画素検出部２０、基準値算出部２１及び現象検出部２２は、制御部３１、主記憶部３２及び外部記憶部３３に対応している。

操作部３４は、操作者によって操作されるマンマシンインターフェイスである。操作部３４は、キーボード及びマウスなどのポインティングデバイスと、キーボードとを備える。操作部３４への操作入力は、制御部３１に送られる。制御部３１は、操作入力の内容に従ってプログラム３９を実行する。

表示部３５は、画像を表示するマンマシンインターフェイスである。表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）を備える。表示部３５には、例えば、火山Ｖの画像データＩ_ｋ及び噴火が発生したことを知らせる警告が表示される（例えば図１０参照）。すなわち、本実施の形態では、現象検出部２２が、表示部３５に対応する。

無線通信回路３６は、カメラ１０から送信される無線信号を受信する通信回路である。無線信号には、Ｗｉｆｉ（登録商標）、ＦＭ波又はＢｌｕｅｔｏｏｔｈ（登録商標）等の短距離通信などが用いられる。監視システム１の動体画素検出部２０は、制御部３１及び無線通信回路３６を用いて、カメラ１０から画像データＩ_ｎを受信する。

なお、外部記憶部３３は、一時的でない記録媒体３７と接続することが可能である。記録媒体３７にはプログラム３９が記憶されている。プログラム３９は、記録媒体３７から外部記憶部３３へ転送され、書き込まれるようにしてもよい。

次に、本発明の実施の形態に係る監視システム１の動作について説明する。

図３に示すように、まず、監視システム１の動体画素検出部２０は、受信した画像データＩ_ｎのサンプリング番号を示すカウンタ値ｎを０に初期化する（ステップＳ１）。

続いて、動体画素検出部２０は、画像データＩ_ｎを受信するまで待つ（ステップＳ２；Ｎｏ）。画像データＩ_ｎを受信すると（ステップＳ２；Ｙｅｓ）、動体画素検出部２０は、カウンタ値ｎを１インクリメントする（ステップＳ３）。

続いて、動体画素検出部２０は、カウンタ値ｎが所定の数ｎｃ以上であるか否かを判定する（ステップＳ４）。ここで、ｎｃは、動体画素数Ｐｘ（ｎ）及び基準値Ｐｍａｘ（ｎ−１）などの算出が可能となる画像データＩ_ｋの数である。ｎｃには、最初の画像データＩ_１が取得されてから、少なくとも期間Ｔ１及び期間Ｔ２が経過するまでに得られる画像データＩ_ｋの数が設定される。

カウンタ値ｎが所定の数ｎｃより少ない場合（ステップＳ４；Ｎｏ）、動体画素検出部２０は、ステップＳ２に戻る。以降、画像データ受信待ち（ステップＳ２）、カウンタ値ｎのインクリメント（ステップＳ３）、カウンタ値ｎがｎｃ以上であるか否かの判定（ステップＳ４）が繰り返される。カウンタ値ｎが所定の数ｎｃ以上となれば（ステップＳ４；Ｙｅｓ）、動体画素検出部２０は、噴火が検出された後であるか否かを判定する（ステップＳ５）。

ここでは、噴火がまだ検出されていないので（ステップＳ５；Ｎｏ）、監視システム１の動体画素検出部２０は、動体画素検出ステップを実行する（ステップＳ６）。ここでは、動体画素検出部２０は、最新の画像データＩ_ｎと過去の画像データＩ_ｔ１〜Ｉ_ｔ２との比較により、最新の画像データＩ_ｎを構成する画素のうち、動体画素ＭＰの数である動体画素数Ｐｘ（ｎ）を検出する（図１参照）。

続いて、監視システム１の基準値算出部２１は、基準値算出ステップを実行する（ステップＳ７）。ここでは、基準値算出部２１は、対象となる過去の期間Ｔ１を１サンプリング周期Ｓ後にずらしつつ、期間Ｔ１に撮像された複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２における動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の平均値ａｖｅＰｘ（ｎ−１）、標準偏差σ（ｎ−１）及び画像データＩ_ｋに含まれるノイズ成分Ｎに基づく基準値Ｐｍａｘ（ｎ−１）を算出する。

続いて、監視システム１の現象検出部２２は、基準値算出部２１で算出された基準値Ｐｍａｘ（ｎ−１）に対する動体画素検出部２０で検出された動体画素数Ｐｘ（ｎ）の比率が閾値αを超えるか否かを判定する（ステップＳ８；現象検出ステップ）。基準値Ｐｍａｘ（ｎ−１）に対する動体画素数Ｐｘ（ｎ）の比率が、閾値αを超えていなければ（ステップＳ８；Ｎｏ）、監視システム１は、ステップＳ２に戻る。

以降、ステップＳ１〜ステップＳ８が繰り返され、画像データＩ_ｎを受信する度に、動体画素検出部２０による動体画素数Ｐｘ（ｎ）の検出、基準値算出部２１による基準値Ｐｍａｘ（ｎ−１）の算出、基準値Ｐｍａｘ（ｎ−１）に対する動体画素数Ｐｘ（ｎ）の比率が閾値αを超えているか否かの判定が行われる。ここで、監視システム１は、表示部３５に最新の画像データＩ_ｎを表示させるようにしてもよい。

基準値Ｐｍａｘ（ｎ−１）に対する動体画素数Ｐｘ（ｎ）の比率が、閾値αを超えると（ステップＳ８；Ｙｅｓ）、現象検出部２２は、”噴火”を表示出力する（ステップＳ９；図１０参照）。ここで、警報又は警告を発生させるようにしてもよい。また、ＳＮＳ（Social Networking Service）に情報を流すようにしてもよい。ステップＳ９の終了後、監視システム１は、ステップＳ２に戻る。

以降、画像データ受信待ち（ステップＳ２）、カウンタ値ｎのインクリメント（ステップＳ３）、カウンタ値ｎがｎｃ以上であるか否かの判定（ステップＳ４）、カウンタ値ｎの判定（ステップＳ５）が行われ、噴火検出後なので（ステップＳ５；Ｙｅｓ）、ステップＳ２〜Ｓ５が繰り返される。このように、噴火検出後も、画像データＩ_ｋの受信は継続される。

（動体画素検出ステップ）
動体画素検出ステップについてさらに詳細に説明する。図４に示すように、動体画素検出部２０は、最新の画像データＩ_ｎを、グレースケール画像に変換する（ステップＳ２０）。この変換により、例えば、カラー画像である画像データＩ_ｎから、図５（Ａ）に示すグレースケール画像が生成される。

図４に戻り、続いて、動体画素検出部２０は、グレースケール画像に対してヒストグラム補正を行う（ステップＳ２１）。具体的には、動体画素検出部２０は、例えば、図６（Ａ）に示すように、グレースケール画像の輝度値に対する画素数を示すヒストグラムを生成する。さらに、動体画素検出部２０は、輝度値の最低値から最高値までヒストグラムが広がるように、図６（Ｂ）に示すように、ヒストグラムを正規化する。これにより、図５（Ａ）に示す画像から、図５（Ｂ）に示す画像が生成される。

図４に戻り、続いて、動体画素検出部２０は、正規化されたヒストグラムに基づいて、クラスタリングを行って、輝度値に対する画素数の分布を示す混合ガウス分布モデルを推定する（ステップＳ２２）。図６（Ｃ）には、図６（Ｂ）に示すヒストグラムから推定された混合ガウス分布モデルの一例が示されている。混合ガウス分布モデルは、複数の正規分布が合成されて形成されるモデルである。ここでは、合成すると、混合ガウス分布モデルに最も近くなる複数の正規分布が推定され、各正規分布の平均値（図６（Ｃ）のμ１，μ２）、標準偏差（図６（Ｃ）のσ１，σ２）が求められる。なお、正規分布の数は、その数における情報量基準同士の比較で決定することができる。

図４に戻り、続いて、動体画素検出部２０は、現在の画像データＩ_ｎから推定された混合ガウス分布モデルに基づいて、過去の画像データＩ_ｋから推定された混合ガウス分布モデルに含まれる正規分布に属しない画素を、動体画素として最新の画像データＩ_ｎから抽出する画素判定を行う（ステップＳ２３）。例えば、図７に示すように、時点ｔＡでの画像データＩ_ｔＡから、正規分布Ｃ１、Ｃ２が混合した混合ガウス分布モデルが推定されているものとする。この場合、時点ｔＢでの画像データＩ_ｔＢにおける各画素の判定は、時点ｔＡでの過去の画像データＩ_ｔＡから推定された混合ガウス分布モデルを背景モデルとして用いて行われる。時点ｔＢの画像データＩ_ｔＢから推定される混合ガウス分布モデルに、新たに正規分布Ｃ３が混合している場合には、正規分布Ｃ３に対応する画素が、動体画素ＭＰとして抽出される。時点ｔＢでの混合ガウス分布モデルは、時点ｔＣでの背景モデルとなる。時点ｔＣでは、正規分布Ｃ３については背景となっているが、新たな正規分布Ｃ４が生成されており、正規分布Ｃ４に対応する画素が動体画素ＭＰとして抽出される。これにより、図５（Ｂ）に示す画像から、図５（Ｃ）に示す動体画素ＭＰの画像が生成される。

図４に戻り、続いて、動体画素検出部２０は、抽出された動体画素ＭＰのうち、孤立する動体画素ＭＰをノイズとして除去するノイズ処理を行う（ステップＳ２４）。具体的には、動体画素検出部２０は、周囲に動体画素ＭＰが存在しない動体画素ＭＰを除去する。これにより、例えば、図５（Ｃ）に示す画像から図５（Ｄ）に示す画像が生成される。

図４に戻り、続いて、動体画素検出部２０は、ノイズ処理で除去されなかった動体画素ＭＰの数を、動体画素数Ｐｘ（ｎ）としてカウントする（ステップＳ２５）。最後に、動体画素検出部２０は、動体画素数Ｐｘ（ｎ）を基準値算出部２１に出力する（ステップＳ２６）。なお、図５（Ｅ）に示す画像では、枠で囲まれた部分が動体画素ＭＰであり、この動体画素ＭＰの数が、動体画素数Ｐｘ（ｎ）となる。

このように、混合ガウス分布モデルの手法を用いるようにすれば、背景モデルの平均値及び標準偏差の情報のみ記憶するだけで良い。したがって、背景画像を記憶し、演算する必要がなくなるため、差分画像を求める場合に比べ、処理時間を短縮して、現象の発生を検出するためのリアルタイム処理が可能となる。

なお、本実施の形態では、混合ガウス分布モデルにより、動体画素ＭＰを抽出したが、本発明はこれには限られない。ｋ−ｍｅａｎｓクラスタリングなど、他のクラスタリング手法を用いて、動体画素ＭＰを抽出するようにしてもよい。

（基準値算出ステップ）
次に、基準値算出ステップについて説明する。図１に示すように、基準値算出部２１は、最新の画像データＩ_ｎを期間Ｔ１における複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２における動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の平均値ａｖｅＰｘ（ｎ−１）、標準偏差σ（ｎ−１）、ノイズ成分Ｎを加算して、基準値Ｐｍａｘ（ｎ−１）を算出する。したがって、図８に示すように、基準値Ｐｍａｘ（ｎ−１）は、サンプリング周期Ｓ毎に異なる値となる。

（現象検出ステップ）
次に、現象検出ステップについて説明する。図９に示すように、平均値ａｖｅＰｘ（ｎ−１）と標準偏差σ（ｎ−１）の３倍である３σ（ｎ−１）と、ノイズ成分Ｎの加算値を基準値Ｐｍａｘ（ｎ−１）とする。この基準値Ｐｍａｘ（ｎ−１）に対する最新の画像データＩ_ｎの動体画素数Ｐｘ（ｎ）の比率が、閾値αを上回れば、現象検出部２２は、火山に噴火が発生したことを検出する。なお、図９では、閾値αを１としているが、これには限定されない。また、ノイズ成分Ｎは、例えば１００画素程度とすることができるが、これに限定されない。

動体画素数Ｐｘ（ｎ）が基準値Ｐｍａｘ（ｎ−１）を上回り、噴火を検出すれば、例えば、図１０に示すように、現象検出部２２は、表示部３５に、火山Ｖの画像データＩ_ｋとともに、”Ｅｒｕｐｔｉｏｎ”の文字を表示出力させる。

図１１では、噴火前後の動体画素数Ｐｘ（ｎ）の変動の複数の観測結果が、噴火の時点を基準に重ね合わせて表示されている。図１１に示すように、噴火の時点から動体画素数Ｐｘ（ｎ）は、急激に増加している。噴火による動体画素数Ｐｘ（ｎ）の増加は、他の要因による変化に比べ急峻である。したがって、基準値Ｐｍａｘ（ｎ−１）を設定しても、噴火を正確に検出することが可能となる。

本実施の形態に係る監視システム１によれば、噴煙柱Ｅｒの高度、噴煙速度、横幅等を計測することも可能である。例えば、図１２に示すように、監視システム１は、画像データＩ_ｋに横ラインＨＬ及び縦ラインＶＬをメッシュ状に設定しておき、噴煙柱Ｅｒと横ラインＨＬの位置関係に基づいて、噴煙柱Ｅｒの高度Ｈ、噴煙速度ＢＶを検出するようにしてもよい。さらに、監視システム１は、噴煙柱Ｅｒと縦ラインＶＬとの位置関係に基づいて、噴煙柱Ｅｒの横幅Ｗを計測するようにしてもよい。噴煙速度ＢＶは、噴煙柱Ｅｒの上端が異なる横ラインＨＬにそれぞれ到達する時間差と、横ラインＨＬ間に相当する距離から求めることができる。この距離は、火山とカメラ１０の位置関係から、予め設定しておくことができる。

また、監視システム１は、複数の横ラインＨＬへの噴煙柱Ｅｒの到達時間を測定し、噴煙速度ＢＶに基づいて、噴火の規模を判定するようにしてもよい。この場合、監視システム１は、噴火が大規模であることを検出した場合には、防災情報を出し、噴火が中規模であることを検出した場合には、注意喚起情報を出すようにしてもよい。また、監視システム１は、災害の心配のない小規模な噴火を検出した場合には、噴火情報を観光のために用いるようにしてもよい。

また、図１３に示すように、カメラ１０を複数の地点に設置しておき、監視システム１が、火山Ｖの噴火を複数のカメラ１０で同時に撮像し、それらの視差を利用して噴煙柱Ｅｒの立体画像を生成し、その立体画像に基づいて、噴煙柱Ｅｒの体積を算出するようにしてもよい。カメラ１０は３台以上設置されていてもよい。

監視システム１は、火山Ｖの噴火の検出情報を、緊急メールとして送信するようにしてもよい。また、この検出情報を、噴火を検出したときに、通常はスリープしており噴火時に起動する必要のある装置の電源をオンをするトリガー信号として用いるようにしてもよい。また、火山Ｖの噴火の観測結果は、防災教育に用いることも可能である。

以上詳細に説明したように、本実施の形態によれば、過去のある期間Ｔ１に撮像された複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２における被写体の動きを示す動体画素ＭＰの数である動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の平均値ａｖｅＰｘ（ｎ−１）、標準偏差σ（ｎ−１）及びノイズ成分Ｎに基づく基準値Ｐｍａｘ（ｎ−１）に対する最新の画像データＩ_ｎにおける動体画素数Ｐｘ（ｎ）の比率が閾値αを超えた場合に、噴火が発生したことを検出する。噴火が発生していなかった過去の期間Ｔ１に撮像された複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２における動体画素数Ｐｘ（ｔ１）〜Ｐｘ（ｔ２）の変動は、現象とは関係のない他の要因によるものであると考えられるため、この変動を考慮した基準値Ｐｍａｘ（ｎ−１）を用いることにより、他の要因による誤検出を防止することができる。この結果、厳しい環境条件下であっても火山Ｖにおける噴火の発生を正確に検出することができる。

本実施の形態では、動体画素数Ｐｘ（ｎ）の抽出に、直近の期間Ｔ１における複数枚の画像データＩ_ｔ１〜Ｉ_ｔ２が用いられる。このため、画像データＩ_ｎに含まれるノイズ、逆光、カメラ１０の汚れやぶれによる動体画素数Ｐｘ（ｎ）の変動に左右されることなく、動体画素数Ｐｘ（ｎ）の変動により、火山Ｖの噴火を精度良く検出することが可能となる。

また、本実施の形態によれば、期間Ｔ１の終期は、最新の画像データＩ_ｎが撮像された時点Ｔ_ｎよりも少なくともＭ（Ｍは２以上の自然数）サンプリング前、すなわち期間Ｔ２前の時点ｔ２となっている。時点Ｔ_ｎの直前の画像データＩ_ｎ−１等を動体画素数Ｐｘ（ｎ）の算出及び基準値Ｐｍａｘ（ｎ−１）の算出から除外するようにすれば、噴火が検出される前の動体画素数Ｐｘ（ｎ）の増加により動体画素数Ｐｘ（ｎ）の平均のレベルが増大する。これにより、基準値Ｐｍａｘ（ｎ−１）が大きくなりすぎて噴火が検出できなくなるのを防止することができる（図９参照）。

また、本実施の形態によれば、火山Ｖの噴火が発生していないときの動体画素数Ｐｘ（ｎ）の最大値を、ノイズ成分Ｎとして設定する。動体画素数Ｐｘ（ｎ）は、図９に示すように、周期的に大きくなったり、ランダムに変動したりしている。このような変動は、画像データＩ_ｋに含まれるノイズ成分Ｎであると考えられる。そこで、それらの極大値の中の最大値をノイズ成分Ｎとすることができる。実際には、このノイズ成分Ｎが適切な値に設定されてから、噴火の検出が開始される。本実施の形態では、このような変動に基づく値を画像データＩ_ｋのノイズ成分Ｎとして基準値Ｐｍａｘ（ｎ−１）に加算することにより、火山Ｖの噴火の誤検出を防止することができる。

また、本実施の形態によれば、最新の画像データＩ_ｎの輝度値に対する画素数の分布を示す混合ガウス分布モデルを推定し、最新の画像データＩ_ｎの各画素が、過去の画像データＩ_ｋにより背景となった正規分布に属するか否かを判定し、背景モデルに属しないと判定される画素を、動体画素ＭＰとして抽出する。このようにすれば、統計的な手法を用いて、動体画素ＭＰを高精度に抽出することが可能となるうえ、差分画像を求める必要がなくなる。この結果、処理時間を縮小し、リアルタイムな処理が可能となる。

しかしながら、本発明では、他の方法で、動体画素ＭＰを抽出するようにしてもよい。例えば、最新の画像データＩ_ｎと、期間Ｔ１における画像データＩ_ｔ１〜Ｉ_ｔ２の平均画像との差分画像を求めて、その差分画像で輝度値が所定値以上となる画素を動体画素ＭＰとして抽出するようにしてもよい。

また、動体画素ＭＰを抽出する前に、画像データＩ_ｎはグレースケール化され、ヒストグラム補正により正規化される。これにより、画像データＩ_ｎ全体の色変化や、輝度値の変化の影響を極力低減した状態で、動体画素ＭＰを精度良く抽出することが可能となる。

また、本実施の形態では、抽出された動体画素ＭＰのうち、孤立する動体画素ＭＰはノイズとして除去される。このようにすれば、抽出される動体画素ＭＰを、火山Ｖの噴火、すなわち噴煙柱Ｅｒを示す動体画素ＭＰに絞り込むことが可能となる。

なお、画像データＩ_ｋのグレースケール化、ヒストグラム補正、ノイズ処理は、必ずしも必要ではない。

また、監視システム１による監視結果と、地震情報、空振計で計測される空気振動、傾斜計で計測される火山Ｖの傾斜の変化、ワイヤセンサ、振動センサ、音響センサ等による火山堆積物の土砂移動の検出結果とを組み合わせるようにしてもよい。このようにすれば、火山Ｖを自動的かつ多角的に観測して、その噴火の発生を正確に検出することができる。

なお、上記実施の形態では、火山Ｖの噴火を検出したが、本発明はこれには限られない。例えば、図１４（Ａ）に示すように、河川を監視対象とし、土石流または増水等の発生を検出するようにしてもよい。この他、地滑りの自動検出にも、上記実施の形態に係る監視システム１を適用することができる。

また、動体画素検出部２０は、最新の画像データＩ_ｎにおける監視対象において現象が発生する領域の部分画像ＤＡに対して処理を行って、動体画素数Ｐｘ（ｎ）を算出するようにしてもよい。部分画像ＤＡの大きさは、画像データＩ_ｋの１／３程度とすることができるが、これに限定されない。このようにしても、図１４（Ａ）及び図１４（Ｂ）に示す画像データＩ_ｋにおける被写体の動きから、図１４（Ｂ）に示すように、土石流等の動体画素ＭＰを検出することができる。霧又は降雨によるノイズ成分Ｎが画像データＩ_ｋに含まれていたとしても、動体画素ＭＰの検出領域を部分画像ＤＡに狭めることで、それらのノイズ成分Ｎの影響を低減し、現象の発生をより正確に検出することができるようになる。

上記実施の形態では、カメラ１０を通常の可視光線のカメラとしたが、赤外線画像などを撮像するカメラを用いてもよい。本発明は、カメラの種別には限定されない。

また、上記実施の形態では、カメラ１０と監視システム１とを、無線により接続したが、本発明はこれには限られない。カメラ１０と監視システム１とを、有線により接続するようにしてもよい。

その他、監視システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び無線通信回路３６、内部バス３０などから構成される監視システム１の処理を行う中心となる部分は、上述のように、専用のシステムとして構築されるようにしてもよいし、通常のコンピュータシステムを用いて実現されるようにしてもよい。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な一時的でない記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する監視システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで監視システム１を構成してもよい。

コンピュータの機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、屋外における監視対象の急峻な動きの検出に適用することができる。

１ 監視システム、１０ カメラ、２０ 動体画素検出部、２１ 基準値算出部、２２ 現象検出部、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３６ 無線通信回路、３７ 記録媒体、３９ プログラム、ＤＡ 部分画像、Ｅｒ 噴煙柱、ＭＰ 動体画素、ＨＬ 横ライン、ＩＡ 撮像視野、Ｖ 火山、ＶＬ 縦ライン

Claims (10)

1. 一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出部と、
   前記動体画素検出部で前記動体画素数が検出される度に、算出対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出部と、
   前記基準値算出部で前記基準値が算出される度に、前記基準値算出部で算出された前記基準値に対する前記動体画素検出部で検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出部と、
   を備える監視システム。
2. 前記基準値算出部は、
   前記動体画素数の平均値と、標準偏差の３倍と、前記ノイズ成分を加算した値を、前記基準値として算出する、
   請求項１に記載の監視システム。
3. 前記期間の終期は、前記最新の画像が撮像された時点よりも少なくともＭ（Ｍは２以上の自然数）サンプリング前の時点となるように規定されている、
   請求項１又は２に記載の監視システム。
4. 前記基準値算出部は、
   前記監視対象における現象の発生が検出される前の前記動体画素数の最大値を、前記ノイズ成分として設定する、
   請求項１から３のいずれか一項に記載の監視システム。
5. 前記動体画素検出部は、
   前記最新の画像における輝度値に対する画素数の分布を示す混合ガウス分布モデルを推定し、
   前記過去の画像から推定されている混合ガウス分布モデルに含まれる正規分布に属しない画素を、前記動体画素として前記最新の画像から抽出する、
   請求項１から４のいずれか一項に記載の監視システム。
6. 前記動体画素検出部は、
   前記最新の画像をグレースケール画像に変換し、
   前記グレースケール画像に対して輝度値に対する画素数を示すヒストグラムを作成し、 前記ヒストグラムを正規化し、
   前記正規化されたヒストグラムに基づいて、前記混合ガウス分布モデルを推定する、
   請求項５に記載の監視システム。
7. 前記動体画素検出部は、
   前記抽出された前記動体画素のうち、孤立する前記動体画素をノイズとして除去し、
   前記抽出された前記動体画素のうち、除去されなかった前記動体画素の数を、前記動体画素数としてカウントする、
   請求項５又は６に記載の監視システム。
8. 前記動体画素検出部は、
   前記最新の画像における前記監視対象において現象が発生する領域の部分画像に対して処理を行って、前記動体画素数を算出する、
   請求項１から７のいずれか一項に記載の監視システム。
9. コンピュータが、一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出ステップと、
   コンピュータが、前記動体画素検出ステップで前記動体画素数が検出される度に、対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出ステップと、
   コンピュータが、前記基準値算出ステップで前記基準値が算出される度に、前記基準値算出ステップで算出された前記基準値に対する前記動体画素検出ステップで検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出ステップと、
   を含む監視方法。
10. コンピュータを、
    一定のサンプリング周期で撮像される監視対象の最新の画像が得られる度に、前記最新の画像と過去の画像との比較により、前記最新の画像を構成する画素のうち、被写体の動きを示す動体画素の数である動体画素数を検出する動体画素検出部、
    前記動体画素検出部で前記動体画素数が検出される度に、算出対象となる過去の期間を１サンプリング周期後にずらしつつ、前記期間に撮像された複数枚の画像における前記動体画素数の平均値、標準偏差及び画像に含まれるノイズ成分に基づく基準値を算出する基準値算出部、
    前記基準値算出部で前記基準値が算出される度に、前記基準値算出部で算出された前記基準値に対する前記動体画素検出部で検出された前記最新の画像における前記動体画素数の比率が閾値を超えた場合に、前記監視対象における現象の発生を検出する現象検出部、
    として機能させるプログラム。

Images