JP2020057236A - 煙検出装置及び煙識別方法 - Google Patents

Abstract

【課題】監視カメラで撮像した画像の中の湯気と火災による煙を確実に識別して確実な煙判断を可能とする。【解決手段】監視カメラ１０からの入力画像を前処理部２６でグレースケール化し、候補領域抽出部２８で差分画像を生成して２値化して煙候補領域を抽出する。特徴量抽出部３０は、オプティカルフロー生成部３６により煙候補領域に設定した複数の候補点の時間的な動きを示すベクトルからなるオプティカルフローを生成し、続いてクラスタリング処理部３８がオプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、クラスタ毎に平均速度と速度ばらつき量を求める。煙判断部３２は、平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上（クラスタ座標面上）で、予め設定された煙推定領域とクラスタの平均速度と速度ばらつき量を比較してクラスタが煙領域か否か判断する。【選択図】図２

Description

本発明は、カメラで撮像した監視領域の画像から火災による煙を検出する煙検出装置及び煙識別方法に関する。

従来、火災の検出には感知器周辺の煙の濃度を利用して煙を検出する光電式スポット型感知器を用いるが、初期火災や炎を伴わないくん焼火災では火源の熱量が小さく、発生した煙が天井等の高所に設置された感知器に届く前に滞留してしまい、早期検出することが難しい。

そこで、画像からの煙検出として、様々な場所に設置されている監視カメラを利用できれば、火災を早期検出できると考えられ、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検出するようにした様々な装置やシステムが提案されている。

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。

特開２００８−０４６９１６号公報 特開平７−２４５７５７号公報 特開２０１０−２３８０２８号公報

しかしながら、このような従来の火災に伴う煙の画像から火災を検出する火災検出システムにあっては、監視カメラで撮像した画像全体を処理して煙による特徴的な変化を検出して火災を判断しており、画像全体から火災を判断するための処理負担が増加して処理に時間がかかるという問題がある。

また、監視カメラを利用した煙検出では、監視領域に煙に類似した現象としてポット等各種の調理機器や加湿器等から噴き出す湯気があり、初期火災における煙は半透明に近いことから、湯気を誤って火災による煙と判断する可能性が高いという問題が残されている。

本発明は、監視カメラで撮像した画像の中の湯気と火災による煙を識別して確実な煙判断を可能とする煙検出装置及び煙識別方法を提供することを目的とする。

（煙検出装置）
本発明は、煙検出装置に於いて、
監視領域を逐次撮像した画像を出力する撮像手段と、
撮像手段から出力された画像毎に、煙候補領域を抽出する候補領域抽出手段と、
煙候補領域に複数の候補点を設定し、候補点毎に時間的な動きを示すベクトルに基づくオプティカルフローを生成するオプティカルフロー生成手段と、
オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、クラスタ毎に平均速度と速度ばらつき量を求めるクラスタリング処理手段と、
平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域とクラスタの平均速度と速度ばらつき量を比較して比較結果を出力する煙判断手段と
が設けられたことを特徴とする。なお、比較結果の出力とは、クラスタが煙領域か非煙領域かを示す出力を意味する。

（候補領域抽出）
候補領域抽出手段は、
撮像手段から出力された画像から移動平均画像を差し引いて差分画像を生成する差分画像生成手段と、
差分画像生成手段で生成された差分画像の画素輝度が所定の閾値以上又は閾値を超えている場合は煙画素に、それ以外は背景画素に２値化する２値化画像生成手段と、
が設けられる。

（候補領域抽出）
差分画像生成手段は、移動平均画像を、現在の入力画像に所定の更新率を乗じた値に、１つ前の移動平均画像に更新率を１から差し引いた値を乗じて求めた値を加算して生成する。

（有効なオプティカルフローの判定）
オプティカルフロー生成手段は、候補点のオプティカルフローを生成した場合、所定の煙判定領域に存在する場合に有効なオプティカルフローと判定してクラスタリング処理手段に出力する。

（クラスタリング法）
クラスタリング処理手段は、オプティカルフローを所定の変分混合ガウス分布法（ＶＢＧＭＭ法）、混合ガウスモデルによるクラスタリング法、ｋ−平均法（ｋ−ｍｅａｎｓ法）、又は平均シフト法（ＭｅａｎＳｈｉｆｔ法）によりクラスタリングして1以上のクラスタを生成する。

（煙推定領域）
煙判断手段は、二次元座標面上で、煙推定領域を、原点に近い平均速度の所定の最小値を起点して所定の傾きで上昇した後に一定の傾きとなる煙推定領域下限ラインと、原点に近い速度ばらつき量の所定の最小値を起点として煙推定領域下限ラインより大きい所定の傾きで上昇する煙推定領域上限ラインの間に設定する。

（クラスタの重み設定）
煙判断手段は、
生成された所定数のクラスタに所定の重みを設定する重み設定手段と、
クラスタに含まれるオプティカルフローの数に重みを乗じた値をクラスタ毎に求めて総和を平均して判定値として算出する判定値算出手段と、
判定値が所定の判定閾値以上又は判定閾値を超えている場合にクラスタを煙領域と判定する煙領域判定手段と、
が設けられる。

（クラスタの重み設定１）
重み設定手段は、
二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置の煙推定領域の下限に対する距離に応じて重みを設定する。

（クラスタの重み設定２）
重み設定手段は、
二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置が煙推定領域にあれば重み１を設定し、煙推定領域になければ重み０を設定する。

（クラスタの重み設定３）
重み設定手段は、
二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置の煙推定領域の下限に対する距離を、ｔａｎｈ関数又はｓｉｇｍｏｉｄ関数を含む所定の評価関数に入力して得られる値を重みに設定する。

（クラスタの重み設定４）
重み設定手段は、平均速度と速度ばらつき量に対応して予め求められた煙の２次元確率密度関数に対し、クラスタの位置を中心とした所定の平均速度と速度ばらつき量の範囲の２次元確率密度関数の積分で算出される煙である確率を、クラスタの重みに設定する。

（クラスタの重み設定５）
重み設定手段は、平均速度と速度ばらつき量に対応して予め求められた煙の２次元確率密度関数が設定されたルックアップテーブルを備え、クラスタの位置によるルックアップテーブルの参照で得られた２次元確率密度関数の出力を、クラスタの重みに設定する。

（煙識別方法）
本発明は煙識別方法において、
撮像手段により、監視領域の画像を逐次撮像し、
候補領域抽出手段により、撮像手段から出力された画像毎に煙候補領域を抽出し、
オプティカルフロー生成手段により、煙候補領域に複数の候補点を設定し、候補点毎に時間的な動きを示すベクトルに基づいてオプティカルフローを生成し、
クラスタリング処理手段により、オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、クラスタ毎に平均速度と速度ばらつき量を求め、
煙判断手段により、平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域とクラスタの平均速度と速度ばらつき量を比較して比較結果を出力する。

（基本的な効果）
本発明は、煙検出装置に於いて、監視領域を逐次撮像した画像を出力する撮像手段と、撮像手段から出力された画像毎に、煙候補領域を抽出する候補領域抽出手段と、煙候補領域に複数の候補点を設定し、候補点毎に時間的な動きを示すベクトルに基づくオプティカルフローを生成するオプティカルフロー生成手段と、オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、クラスタ毎に平均速度と速度ばらつき量を求めるクラスタリング処理手段と、平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域とクラスタの平均速度と速度ばらつき量を比較して比較結果を出力する煙判断手段とが設けられたため、撮像された監視画像における煙や湯気の動きからオプティカルフローを生成し、更に、オプティカルフローを統計的手法によりクラスタリングして煙グループとなるクラスタを生成し、二次元座標面上で予め設定された煙推定領域との関係を評価することで、湯気によるオプティカルフローのクラスタと煙によるオプティカルフローのクラスタを識別することが可能となり、監視カメラで撮像した画像の中の湯気（蒸気）と火災による煙を確実に識別して確実な火災判断が可能となる。

（候補領域抽出の効果）
また、候補領域抽出手段は、前処理手段で入力された画像から移動平均画像を差し引いて差分画像を生成する差分画像生成手段と、差分画像生成手段で生成された差分画像の画素輝度が所定の閾値以上又は閾値を超えている場合は煙画素に、それ以外は背景画素に２値化する２値化画像生成手段とが設けられたため、撮像された監視画像の中の動きのない背景画像が除かれた差分画像が生成され、更に、差分画像につき所定輝度以上の画素を煙画素に２値化することで背景成分が確実に除かれた煙候補領域を抽出することができる。

（候補領域抽出の効果）
また、差分画像生成手段は、移動平均画像を、現在の入力画像に所定の更新率を乗じた値に、１つ前の移動平均画像に更新率を１から差し引いた値を乗じて求めた値を加算して生成するようにしたため、画素単位に最新の画素輝度から過去の移動平均輝度を差し引いた差分輝度を求めて差分画像を生成していることから、画像全体の時間的な変化に追従して高い精度で差分画像を生成することができる。

（有効なオプティカルフローの判定による効果）
また、オプティカルフロー生成手段は、候補点のオプティカルフローを生成した場合、所定の煙判定領域に存在する場合に有効なオプティカルフローと判定してクラスタリング処理手段に出力するようにしたため、オプティカルフローが生成される監視画面の二次元座標について、人や動かない物のオプティカルフローの存在する領域に対し煙のオプティカルフローの存在する煙判定領域が予め判明しており、このため生成されたオプティカルフローが煙判定領域に存在することを判定して次のクラスタリングを行うことで、明らかに煙ではないオプティカルフローに対するクラスタリングを不要にして処理負担を低減すると共に、クラスタリングによる煙領域の識別精度を高めることができる。

（クラスタリング法の効果）
また。クラスタリング処理手段は、オプティカルフローを所定の変分混合ガウス分布法（ＶＢＧＭＭ法）、混合ガウスモデルによるクラスタリング法、ｋ−平均法（ｋ−ｍｅａｎｓ法）、又は平均シフト法（ＭｅａｎＳｈｉｆｔ法）等の広く利用されている手法によりクラスタリングしてクラスタを生成するようにしたため、信頼性が高くライブラリが公開されているアルゴリズムを簡単に入手して利用することができる。

（煙推定領域の効果）
また、煙判断手段は、二次元座標面上で、煙推定領域を、原点に近い平均速度の所定の最小値を起点して所定の傾きで上昇した後に一定の傾きとなる煙推定領域下限ラインと、原点に近い度ばらつきの所定の最小値を起点として煙推定領域下限ラインより大きい所定の傾きで上昇する煙推定領域上限ラインの間に設定したため、クラスタの煙推定領域は、火災実験による煙画像、湯気画像、人が作業や生活している画像等を使用してオプティカルフローの生成とクラスタリングを行うことにより設定されることで、湯気のオプティカルフローによるクラスタを含まない煙クラスタが存在する煙推定領域が高精度に設定され、クラスタと比較することで、煙領域か否かの判断を高精度に行うことを可能とする。

（クラスタの重み設定による効果）
また、煙判断手段は、生成された所定数のクラスタに所定の重みを設定する重み設定手段と、クラスタに含まれるオプティカルフローの数に重みを乗じた値をクラスタ毎に求めて総和を平均して判定値として算出する判定値算出手段と、判定値が所定の判定閾値以上又は判定閾値を超えている場合にクラスタを煙領域と判定する煙領域判定手段とが設けられたため、クラスタリングされたクラスタと煙推定領域の関係を数値化して、煙領域か否かを確実に判断することを可能とする。

（クラスタの重み設定１による効果）
また、重み設定手段は、二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置の煙推定領域の下限に対する距離に応じて重みを設定するようにしたため、二次元座標面上にプロットしたクラスタの位置と煙推定領域の下限に対する距離が短い場合は小さい重みを設定し、距離が長い場合は大きい重みを設定することで、クラスタが煙推定領域の下限から離れるほど、煙領域の判断される度合を高めることができる。

（クラスタの重み設定２による効果）
また、重み設定手段は、二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置が煙推定領域にあれば重み１を設定し、煙推定領域になければ重み０を設定するようにしたため、重みの設定が簡単であり、煙候補領域の火災判断の処理負担が低減できる。

（クラスタの重み設定３による効果）
また、重み設定手段は、二次元座標面上で平均速度と速度ばらつき量によりプロットしたクラスタの位置の煙推定領域の下限に対する距離を、ｔａｎｈ関数又はｓｉｇｍｏｉｄ関数を含む所定の評価関数に入力して得られる値を重みに設定するようにしたため、煙推定領域にあるか否かの重み設定は簡単であるが、煙領域の判断精度を高めるために、クラスタの煙推定領域の下限に対する距離をｔａｎｈ関数又はｓｉｇｍｏｉｄ関数等の評価関数に入力して得られた値を重みとすることで、煙推定領域の火源から大きく離れているデータを過大に評価して、判断に悪影響を与えることを防ぐことができ、重み設定に戻づく煙領域か否かの判断精度を高めることができる。

（クラスタの重み設定４による効果）
また、重み設定手段は、平均速度と速度ばらつき量に対応して予め求められた煙の２次元確率密度関数に対し、クラスタの位置を中心とした所定の平均速度と速度ばらつき量の範囲の２次元確率密度関数の積分で算出される煙である確率を、クラスタの重みに設定するようにしたため、平均速度と速度ばらつき量による二次元座標面上に設定された煙推定領域について、予め２次元確率密度関数が求められている場合には、生成されたクラスタにより煙である確率が求まり、これを重みとすることで、より高精度の煙領域か否かの判断ができる。

（クラスタの重み設定５による効果）
また、重み設定手段は、平均速度と速度ばらつき量に対応して予め求められた煙の２次元確率密度関数が設定されたルックアップテーブルを備え、クラスタの位置によるルックアップテーブルの参照で得られた２次元確率密度関数の出力を、クラスタの重みに設定するようにしたため、平均速度と速度ばらつき量による二次元座標面上に設定された煙推定領域の２次元確率密度関数が予め求められている場合には、平均速度と速度ばらつき量に対応した２次元確率密度関数の値を設定したルックアップテーブルを準備しておくことで、クラスタが生成された場合には、その二次元座標面上の位置を中心とした所定範囲の平均速度と速度ばらつき量によるルックアップテーブルの参照で読み出した２次元確率密度関数の値の出力を求めることで、簡単に煙である確率を求めて重みを設定することができる。

（煙識別方法）
本発明の別の形態は煙識別方法であって、撮像手段により、監視領域の画像を逐次撮像し、候補領域抽出手段により、撮像手段から出力された画像毎に煙候補領域を抽出し、オプティカルフロー生成手段により、煙候補領域に複数の候補点を設定し、補点毎に時間的な動きを示すベクトルに基づいてオプティカルフローを生成し、クラスタリング処理手段により、オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、クラスタ毎に平均速度とばらつき量を求め、煙判断手段により、平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域とクラスタの平均速度と速度ばらつき量を比較して比較結果を出力するようにしたため、前述した煙検出装置に示したと同様に効果を得ることができる。

煙検出装置を設置した監視領域を透視して示した説明図 煙検出装置の機能構成の概略を示したブロック図 候補領域抽出部の機能構成を示したブロック図 候補領域から生成された複数のオプティカルフローとそのグループ分けを示した説明図 クラスタ座標における煙推定領域を示した説明図 煙、湯気、人等の判定領域を示した説明図 時系列に生成された複数のクラスタに煙推定領域の下限からの距離に応じた重みを設定する処理を示した説明図 煙検出装置の処理制御を示したフローチャート

［煙検出装置の概要］
図１は煙検出装置を設置した監視領域を透視して示した説明図である。図１に示すように、監視領域１６には撮像手段として機能する監視カメラ１０が設置され、監視カメラ１０により監視領域１６が撮像されている。

監視カメラ１０は、上下、左右及び前後に仕切られた監視領域（監視空間）１６の例えば上部コーナーなどに設置され、その撮像光軸を斜め下向きに配置して監視領域１６を全体的に撮像可能としている。

監視カメラ１０は監視領域１６を動画撮影しており、撮影サイズは例えば１２８０×７２０ピクセルであり、毎秒３０フレーム又は毎秒６０フレームのフレーム速度でカラーのフレーム画像の連続からなる動画を出力する。

監視領域１６に置かれた火源１８の可燃物が何らかの原因で火災が発生する状況となり、火源１８から煙２０が立ち上っている。また、監視領域１６に置かれたポット２２からは湯気２４が立ち上っている。

監視カメラ１０により撮像された動画は伝送路を介して管理人室などに設置した煙検出装置１２に伝送され、画像処理によりポット２２から上がっている湯気２４を検出しても煙とは判断せず、火源１８から立ち上がっている煙２０を検出し、煙検出信号を火災報知設備１４に出力して火災警報を出力させる。

［煙検出装置の概要］
図２は煙検出装置の機能構成の概略を示したブロック図である。図２に示すように、煙検出装置１２は、そのハードウェアとしてＣＰＵ、メモリ、各種の入出力ポート等を備えたコンピュータ回路等で構成され、ＣＰＵによるプログラムの実行により実現される機能として、前処理手段として機能する前処理部２６、候補領域抽出手段として機能する候補領域抽出部２８、特徴量抽出手段として機能する特徴量抽出部３０、煙判断手段として機能する煙判断部３２及び制御部３４が設けられている。

特徴量抽出部３０にはオプティカルフロー生成手段として機能するオプティカルフロー生成部３６と、クラスタリング処理手段として機能するクラスタリング処理部３８が設けられている。また、煙判断部３２には、重み設定手段として機能する重み設定部４０、判定値算出手段として機能する判定値算出部４２、及び、判定手段として機能する判定部４４が設けられている。以下、詳細に説明する。

［前処理部］
前処理部２６は監視カメラ１０からのカラー動画のフレーム画像をグレースケール化して候補領域抽出部２８に出力する。ここで、監視カメラ１０で撮像されたカラーのフレーム画像のサイズは、例えば１２８０×７２０ピクセルの解像度であり、この解像度でも処理できるが、処理時間を低減したい場合には、前処理部２６は、入力したフレーム画像に対し例えばガウシアンピラミッドで複数スケールの画像を作成し、煙の変化が抽出されるスケールに注目してグレースケール化し、例えば入力フレーム画像を１／４にスケール化して６４０×３６０ピクセルの解像度の１／４グレースケール画像を生成して候補領域抽出部２８に出力するようにしても良い。

このような前処理部２６による１／４グレースケール画像の生成により１フレーム当りの画素数を低減することで、コンピュータ回路を用いた煙検出装置１２の演算処理時間を短縮し、監視カメラ１０で撮像された動画入力に対し実時間処理で煙の稜線画像を生成して火災を判断可能とする。

［候補領域抽出部］
図３は候補領域抽出部の機能構成を示したブロック図である。候補領域抽出部２８は、前処理部２６から入力された画像毎に、煙候補領域を抽出するものであり、図３に示すように、差分画像生成手段として機能する差分画像生成部４５、移動平均画像生成手段として機能する移動平均画像生成部４６、及び２値化画像生成手段として機能する２値化画像生成部４８で構成される。

差分画像生成部４５は、前処理部２６から最新の画像が入力される毎に、そのとき移動平均画像生成部４６から出力される移動平均画像を最新の画像から差し引くことにより差分画像を生成して出力する。

移動平均画像生成部４６は、前処理部２６から最新の画像が入力される毎に、保持していた移動平均画像を差分画像生成部４５に出力したのち、移動平均画像を生成して保持する移動平均画像を更新する。移動平均画像生成部４６による移動平均画像の生成は、現在の入力画像に所定の更新率を乗じた値に、１つ前の移動平均画像に更新率を１から差し引いた値を乗じて求めた値を加算して生成する。即ち、移動平均画像は次式で生成される。
（移動平均画像）＝
（現在の入力画像）×（更新率）＋（前回の移動平均画像）×（１−更新率）
この移動平均画像の生成は画素毎に行われる。例えば画素の輝度値は０〜２５６の階調値をもつことから、例えば、更新率を０．３、現在の画素値を７０、前回の移動平均画素値を６０とすると、移動平均画素値として６３が求められる。

２値化画像生成部４８は、差分画像生成部４５から出力された差分画像の画素輝度が所定の閾値以上又は閾値を超えている場合は煙画素１（黒画素）とし、それ以外の場合は背景画素０（白画素）に２値化する。ここで、２値化の閾値は、差分画像の輝度分布の標準偏差の３倍の値をとする。例えば標準偏差が３．３３であったときには、標準偏差の３倍の値である１０を輝度の閾値とする。このような２値化により、動いている部分を示す差分画像の輝度値の大きい部分を煙候補領域として抽出することができる。

［オプティカルフロー生成部］
図２の特徴量抽出部３０に設けられたオプティカルフロー生成部３６は、候補領域抽出部２８から出力された煙候補領域を例えばメッシュ状に区切ることで複数の候補点を設定し、候補点毎に時間的な動きを示すベクトルに基づくオプティカルフローを生成して、クラスタリング処理部３８に出力する。

即ち、オプティカルフロー生成部３６は、設定された複数の候補点の周囲における最新のフレーム画像と１つ前のフレーム画像の輝度の分布の関係から候補点の数分のオプティカルフローを生成してクラスタリング処理部３８に出力する。

オプティカルフロー生成部３６により生成された複数のオプティカルフローは、１つのフロー当たり、x方向の移動量とy方向の移動量の２つの値を持つ。この２つの値を組にして、ｘ−ｙ座標面上にプロットすると、図４が得られる。

［クラスタリング］
図４は候補領域から生成された複数のオプティカルフローとそのグループ分けを示した説明図である。

クラスタリング処理部３８は、オプティカルフロー生成部３６で生成された煙候補領域のオプティカルフローを、近い位置に分布している塊ごとにグループ分けする。

図４（Ａ）の画面座標には、第１象限、第２象限及び原点付近の３か所に分かれてオプティカルフローがプロットされている。このように生成された複数のオプティカルフローに対し、本実施形態にあっては、図４（Ｂ）の点線の囲みで示すように、煙グループ５０−１、人グループ５０−２、動き無しグループ５０−３にクラス分けする処理を、クラスタリング処理部３８で行うことを意図するものである。

クラスタリングの結果、図４（Ｂ）の点線の囲みの楕円の中心座標と長軸長さの値を求めることで、クラスタの中心値（平均速度Ｖａｖｅ）と、速度ばらつきの大きさ、即ち速度ばらつき量を数値として得ることができる。なお、速度ばらつき量として、ここでは、長軸長さを使用するが、クラスタを２次元正規分布に当てはめた場合の、長軸方向のマハラノビス距離が1となる長さを用いても良い。なお、以下の説明では、速度ばらつき量を「速度ばらつき」として説明している。

図５はクラスタ座標における煙推定領域を示した説明図である。図５に示すように、クラスタ座標面は、ｘ軸を平均速度Ｖａｖｅ、ｙ軸を速度ばらつきＶσとした二次元座標としており、それぞれ［ｃｍ／ｓ］又は［ｍ／ｓ］の速度単位となる。

図５において、平均速度と速度ばらつきによるクラスタ座標面に対しては、煙推定領域６０を設定することができる。本実施形態の煙推定領域６０は、煙推定領域下限ライン６２と煙推定領域上限ライン６４の間の領域として設定される。

煙推定領域下限ライン６２は、原点に近い平均速度Ｖａｖｅの所定の最小値を起点Ｐ１として所定の傾きで上昇した後にＰ２点で一定の傾きとなる。煙推定領域下限ライン６２は、例えば平均速度５ｃｍ／ｓで速度ばらつき０ｃｍ／ｓを起点Ｐ１とし、平均速度１７．５ｃｍで速度ばらつき１２．５ｃｍの座標点Ｐ２を結ぶ傾斜ライン６２−１と、座標点Ｐ２を起点として平均速度のみが増加する水平ライン６２−２で構成される。

煙推定領域上限ライン６４は、原点に近い速度ばらつきの所定の最小値Ｑ１を起点として煙推定領域下限ライン６２の傾斜ライン６２−１より大きい所定の傾きで上昇する傾斜ラインとなる。例えば、煙推定領域上限ライン６４は、平均速度０ｃｍ／ｓで速度ばらつき５ｃｍ／ｓを起点Ｑ１として例えば１．５〜１．６程度の傾きで平均速度と速度ばらつきが増加する傾斜ラインで構成される。

また、煙推定領域下限ライン６２の下側は湯気推定領域６６となり、煙推定領域上限ライン６４の上側は人推定領域６８となる。なお、湯気推定領域６６には湯気以外の移動体も含まれ、また、人推定領域６８には人以外の移動体も含まれる。

図６は煙、湯気（水蒸気）、人等の判定領域を示した説明図である。図６に示すように、煙推定領域６０の中は、火災の状況等に応じて、燻焼火災による煙を示す燻焼煙領域７４−１、通常火災による煙領域７４−２、炎を上げて燃焼する煙領域７４−３、機械から噴き出す煙領域７４−４等に分けることができる。このためクラスタの存在する領域から、火災による煙の種類等を判断することが可能となる。

［煙判断部］
図２に示した煙判断部３２は、図５に示したクラスタ座標面に予め設定された煙推定領域６０とオプティカルフローのクラスタリングにより生成されたクラスタを比較してクラスタが煙領域か否か判断し、判断結果を出力する。煙判断部３２には、重み設定部４０、判定値算出部４２及び判定部４４が設けられている。

重み設定部４０は、時系列に生成されたｋ個のクラスタ毎に所定の重みＷｉを設定する。判定値算出部４２は、クラスタに含まれるオプティカルフローの数ｎに重みＷｉを乗じた値をクラスタ毎に求めて総和を平均して判定値Ｄを算出する。即ち、
Ｄ＝Σ（Ｗｉ・ｎ）／ｋ
として算出される。

判定部４４は、判定値Ｄが所定の判定閾値Ｄｔｈ以上又は判定閾値Ｄｔｈを超えている場合にクラスタを煙領域と判定し、判定結果を出力する。

（重み設定の第１実施形態）
本実施形態の重み設定部４０は、クラスタの位置の煙推定領域の下限ラインに対する距離に応じて重みを設定する。

図７は時系列に生成された複数のクラスタに煙推定領域の下限からの距離に応じた重みを設定する処理を示した説明図である。図７（Ａ）は煙のオプティカルフローのクラスタ７０−１〜７０−５を時系列に重ねて示しており、煙推定領域下限ライン６２に対するクラスタ７０−１〜７０−５の距離Ｌ１〜Ｌ５を求め、距離に比例して増加する重みＷ１〜Ｗ５を、クラスタ７０−１〜７０−５に設定して判定値Ｄを算出させる。ここで、重心位置Ｇ１〜Ｇ５は煙推定領域下限ライン６２の上側にあることから、全てプラスの値となる。

図７（Ｂ）は湯気のオプティカルフローのクラスタ７２−１〜７２−５を時系列に重ねて示しており、煙推定領域下限ライン６２に対するクラスタ７２−１〜７２−５の距離Ｌ１〜Ｌ５を求め、距離に比例して増加する重みを、クラスタ７２−１〜７２−５に設定して判定値Ｄを算出させる。

ここで、クラスタ７２−１〜７２−４は煙推定領域下限ライン６２の下側にあることから、マイナスの値となり、重みＷ１〜Ｗ４もマイナスの値となり、重み−Ｗ１〜−Ｗ４，Ｗ５に基づいて算出される判定値Ｄはマイナスの値となり、判定閾値Ｄｔｈを確実に下回ることから、煙領域と判定されることはない。

（重み設定の第２実施形態）
本実施形態の重み設定部４０は、クラスタの位置が煙推定領域にあれば重み１を設定し、煙推定領域になければ重み０を設定する。このため図７（Ａ）の場合は、クラスタ７０−１〜７０−５の全てに重み１を設定し、図７（Ｂ）の場合には、クラスタ７２−１〜７２−４に重み０を設定し、クラスタ７２−５に重み１を設定する。本実施形態は重みの設定が簡単であり、クラスタの火災判断の処理負担が低減できる。

（重み設定の第３実施形態）
本実施形態の重み設定部４０は、クラスタの位置が煙推定領域にあれば重み１をとし、煙推定領域になければ重み０をとし、更に、重み１及び重み０を、ｔａｎｈ関数又はｓｉｇｍｏｉｄ関数を含む所定の評価関数に入力して得られる値を重みに設定する。

前述した重み設定の第２実施形態は、クラスタが煙推定領域にあるか否かで重みを設定することから重み設定は簡単であるが、煙領域の判断精度を高めるために、本実施形態では、第１段階で設定した重み１，０を、ｔａｎｈ関数又はｓｉｇｍｏｉｄ関数等の評価関数に入力して得られた値を重みとする第２段階の重み設定を行うことで、重み設定に戻づく煙領域か否かの判断精度を高めることができる。

（重み設定の第４実施形態）
本実施形態の重み設定部４０は、平均速度と速度ばらつきに対応して予め求められた煙の２次元確率密度関数に対し、クラスタの位置を中心とした所定の平均速度と速度ばらつきの範囲の２次元確率密度関数の積分で算出される煙である確率を、クラスタの重みに設定する。

本実施形態は、平均速度と速度ばらつきによるクラスタ座標面に設定された煙推定領域を中心に、オプティカルフローが煙である頻度を示す２次元ヒストグラム分布の曲面で与えられる２次元確率密度関数が予め求められていることを前提とし、オプティカルフローから生成されたクラスタの位置を中心に平均速度と速度ばらつきの所定範囲の２次元確率密度関数の積分（体積）により煙である確率が求まり、これを重みとすることで、より高精度の煙領域か否かの判断ができる。

（重み設定の第５実施形態）
本実施形態の重み設定部４０は、第４実施形態の重み設定を、ルックアップテーブルを用いて行うことを特徴とする。

即ち、本実施形態の重み設定部４０は、クラスタ座標面上に煙の２次元確率密度関数が予め求められていることを前提に、平均速度と速度ばらつきに対応して煙の２次元確率密度関数が設定されたルックアップテーブルを備え、クラスタの位置を中心とした所定範囲の平均速度と速度ばらつきによるルックアップテーブルの参照で得られた２次元確率密度関数の総和を、煙の重みに設定する。

このようにクラスタの平均速度と速度ばらつきに基づくルックアップテーブルの参照で読み出した２次元確率密度関数の値の総和を求めることで、簡単に煙である確率を求めて重みとして設定することができる。

［煙検出装置の処理制御］
図８は煙検出装置の処理制御を示したフローチャートであり、図２に示した制御部３４による制御動作となる。

図８に示すように、制御部３４はステップＳ１で監視カメラ１０から出力されるカラーのフレーム画像を読み込み、続いて、ステップＳ２で前処理部２６に指示し、監視カメラ１０から出力されたフレーム画像をグレースケール化して画素数を低減し、更に、必要に応じて所定の強調処理を施して候補領域抽出部２８に出力させる。

続いて、制御部３４は、ステップＳ３で候補領域抽出部２８に指示し、入力された画像毎に煙候補領域を抽出する。具体的には、前処理部２６から最新の画像が入力される毎に、そのとき生成している移動平均画像を最新の画像から差し引いて差分画像を生成し、続いて、所定閾値以上の画素を煙画素、それ以外を背景画素とする２値化して動きのある画像部分を煙候補領域として抽出する。

続いて、制御部３４はステップＳ４で特徴量抽出部３０に指示し、煙候補領域から煙領域と判定するための特徴量を抽出する。本実施形態で制御部３４は、特徴量抽出部３０に設けられたオプティカルフロー生成部３６に指示し、煙候補領域を例えばメッシュ状に区切ることで候補点を設定し、各候補点の動きを示すベクトルからオプティカルフローを生成する。続いて、制御部３４はクラスタリング処理部３８に指示し、生成されたオプティカルフローを例えば差分混合ガウス分布法によりクラスタリングしてクラスタを生成する。

続いて、制御部３４はステップＳ５で煙判断部３２に指示し、特徴量として生成されたクラスタとクラスタ座標面に予め設定された煙推定領域との関係から煙領域か否か判定する。例えば、時系列に連続する複数のクラスタに対し、煙推定領域との距離関係に対応して重みを設定し、クラスタ毎に重みとオプティカルフロー数を乗算してクラスタ全体としての平均値を判定値として求める。

続いて、制御部３４はステップＳ６で判定値と所定の判定閾値を比較し、判定値が所定の判定閾値未満又は判定閾値以下であればステップＳ１に戻り、一方、判定値が、判定閾値以上又は判定閾値を超えている場合にクラスタを煙領域と判定してステップＳ７に進み、煙検出信号を火災報知設備１４に出力し、火災警報又は火災予備警報（プリアラーム）を出力させる。また、ステップＳ７の煙検出信号の出力は、煙領域の判定結果が所定回数連続した場合に、煙検出信号を出力するようにしても良い。また、クラスタが非煙領域と判定した場合には、必要に応じて非煙検出信号を出力しても良い。

〔本発明の変形例〕
（クラスタリング）
上記の実施形態は、変分混合ガウス分布法（ＶＢＧＭＭ法）によるオプティカルフローのクラスタリング法を例にとっているが、混合ガウスモデルによるクラスタリング法、ｋ−平均法（ｋ−ｍｅａｎｓ法）、又は平均シフト法（ＭｅａｎＳｈｉｆｔ法）等の広く利用されている手法によりクラスタリングしてクラスタを生成するようにしても良い。

また、前述の実施例に記載した方法では、単一フレームにおいて求めたオプティカルフローの集合を用いてクラスタリングをしていたが、複数（例えば１０フレーム）のフレームで求めたオプティカルフローすべての集合を用いてクラスタリングして、判別を実施してもよい。

(監視カメラ)
上記の実施形態は、カラー動画を出力する監視カメラを使用したため、前処理部２６でカラーのフレーム画像をグレースケール画像に変換しているが、モノクロ動画を出力する監視カメラを使用した場合には、画像入力部におけるグレースケール化は不要となる。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０：監視カメラ
１２：煙検出装置
１４：火災報知設備
１６：監視領域
１８：火源
２０：煙
２２：ポット
２４：湯気
２６：前処理部
２８：候補領域抽出部
３０：特徴量抽出部
３２：煙判断部
３４：制御部
３６：オプティカルフロー生成部
３８：クラスタリング処理部
４０：重み設定部
４２：判定値算出部
４４：判定部
４５：差分画像生成部
４６：移動平均画像生成部
４８：２値化画像生成部
５６−１，５６−２，７０−１〜７０−５，７２−１〜７２−５：クラスタ
６０：煙推定領域
６２：煙推定領域下限ライン
６２−１：傾斜ライン
６２−２：水平ライン
６４：煙推定領域上限ライン
６６：湯気推定領域
６８：人推定領域

Claims (13)

1. 監視領域を逐次撮像した画像を出力する撮像手段と、
   前記撮像手段から出力された前記画像毎に、煙候補領域を抽出する候補領域抽出手段と、
   前記煙候補領域に複数の候補点を設定し、前記候補点毎に時間的な動きを示すベクトルに基づくオプティカルフローを生成するオプティカルフロー生成手段と、
   前記オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、前記クラスタ毎に平均速度と速度ばらつき量を求めるクラスタリング処理手段と、
   平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域と前記クラスタの前記平均速度と前記速度ばらつき量を比較して比較結果を出力する煙判断手段と
   が設けられたことを特徴とする煙検出装置。
   
2. 請求項１記載の煙検出装置に於いて、前記候補領域抽出手段は、
   前記撮像手段から出力された画像から移動平均画像を差し引いて差分画像を生成する差分画像生成手段と、
   前記差分画像生成手段で生成された前記差分画像の画素輝度が所定の閾値以上又は前記閾値を超えている場合は煙画素に、それ以外は背景画素に２値化する２値化画像生成手段と、
   が設けられたことを特徴とする煙検出装置。
   
3. 請求項２記載の煙検出装置に於いて、前記差分画像生成手段は、前記移動平均画像を、現在の入力画像に所定の更新率を乗じた値に、１つ前の移動平均画像に前記更新率を１から差し引いた値を乗じて求めた値を加算して生成することを特徴とすることを特徴とする煙検出装置。
   
4. 請求項３記載の煙検出装置に於いて、前記オプティカルフロー生成手段は、前記候補点のオプティカルフローを生成した場合、所定の煙判定領域に存在する場合に有効なオプティカルフローと判定して前記クラスタリング処理手段に出力することを特徴とする煙検出装置。
   
5. 請求項３記載の煙検出装置に於いて、前記クラスタリング処理手段は、前記オプティカルフローを所定の変分混合ガウス分布法、混合ガウスモデルによるクラスタリング法、ｋ−平均法又は平均シフト法によりクラスタリングして前記１以上のクラスタを生成することを特徴とする煙検出装置。
   
6. 請求項１記載の煙検出装置に於いて、前記煙判断手段は、前記二次元座標面上で、前記煙推定領域を、原点に近い前記平均速度の所定の最小値を起点して所定の傾きで上昇した後に一定の傾きとなる煙推定領域下限ラインと、前記原点に近い前記速度ばらつき量の所定の最小値を起点として前記煙推定領域下限ラインより大きい所定の傾きで上昇する煙推定領域上限ラインの間に、設定したことを特徴とする煙検出装置。
   
7. 請求項１記載の煙検出装置に於いて、
   前記煙判断手段は、
   生成された所定数のクラスタに所定の重みを設定する重み設定手段と、
   前記クラスタに含まれる前記オプティカルフローの数に前記重みを乗じた値を前記クラスタ毎に求めて総和を平均して判定値として算出する判定値算出手段と、
   前記判定値が所定の判定閾値以上又は前記判定閾値を超えている場合に前記クラスタを煙領域と判定する煙領域判定手段と、
   が設けられたことを特徴とする煙検出装置。
   
8. 請求項７記載の煙検出装置に於いて、
   前記重み設定手段は、
   前記二次元座標面上で、前記平均速度と前記速度ばらつき量によりプロットした前記クラスタの位置の前記煙推定領域の下限に対する距離に応じて前記重みを設定することを特徴とする煙検出装置。
   
9. 請求項７記載の煙検出装置に於いて、
   前記重み設定手段は、
   前記二次元座標面上で前記平均速度と前記速度ばらつき量によりプロットした前記クラスタの位置が前記煙推定領域にあれば重み１を設定し、前記煙推定領域になければ重み０を設定することを特徴とする煙検出装置。
   
10. 請求項７記載の煙検出装置に於いて、
    前記重み設定手段は、
    前記二次元座標面上で前記平均速度と前記速度ばらつき量によりプロットした前記クラスタの位置の前記煙推定領域の下限に対する距離を、ｔａｎｈ関数又はｓｉｇｍｏｉｄ関数を含む所定の評価関数に入力して得られる値を重みに設定することを特徴とすることを特徴とする煙検出装置。
    
11. 請求項７記載の煙検出装置に於いて、
    前記重み設定手段は、前記平均速度と前記速度ばらつき量に対応して予め求められた煙の２次元確率密度関数に対し、前記クラスタの位置を中心とした所定の前記平均速度と前記速度ばらつきの範囲の前記２次元確率密度関数の積分で算出される煙である確率を、前記クラスタの重みに設定することを特徴とする煙検出装置。
    
12. 請求項７記載の煙検出装置に於いて、
    前記重み設定手段は、前記平均速度と前記速度ばらつき量に対応して予め求められた煙の２次元確率密度関数が設定されたルックアップテーブルを備え、前記クラスタの位置による前記ルックアップテーブルの参照で得られた前記２次元確率密度関数の出力を、前記クラスタの重みに設定することを特徴とする煙検出装置。
    
13. 撮像手段により、監視領域の画像を逐次撮像し、
    候補領域抽出手段により、前記撮像手段から出力された画像毎に煙候補領域を抽出し、
    オプティカルフロー生成手段により、前記煙候補領域に複数の候補点を設定し、前記候補点毎に時間的な動きを示すベクトルに基づくオプティカルフローを生成し、
    クラスタリング処理手段により、前記オプティカルフローを、移動量のx成分とy成分の二次元座標を持つ座標面上で１以上のクラスタにクラスタリングし、前記クラスタ毎に平均速度と速度ばらつき量を求め
    煙判断手段により、平均速度のｘ軸と速度ばらつき量のｙ軸の二次元座標面上で、予め設定された煙推定領域と前記クラスタの前記平均速度と前記速度ばらつき量を比較して比較結果を出力する、
    ことを特徴とする煙識別方法。

Images