JP2020021300A - 火災監視装置、火災監視システム、および火災監視装置のプログラム - Google Patents

Abstract

【課題】火災を精度良く検出することができる火災監視装置、火災監視システム及び火災監視装置のプログラムを提供する。【解決手段】火災監視装置は、処理部１０１において、画像データＦ＿１〜Ｆ＿ｍに基づいて、炎に対応する画素を抽出するＨＳＶフィルタ部１０１３と、時系列の画像データに基づいて、同一の画素の輝度の差が正の第１値以上か、差が負の第２値より大きく第１値未満か、差が第２値以下かにより３値化した３値化画像データＦｔｒをｍ−１個生成する３値化画像生成部１０１５と、フィルタ画像データＦｆと、ｍ−１個の３値化画像データＦｔｒから特定した周期コスト画像データＦｆｒとに基づいて、炎候補を検出する検出部１０３１とを備える。第１値の絶対値は、第２値の絶対値と等しい。【選択図】図４

Description

本発明は、火災監視装置、火災監視システム、および火災監視装置のプログラムに関する。

従来、火災の発生を監視するために、撮像部が撮像した画像に基づいて、火災の発生を検出することが知られている。例えば、特許文献１には、火災を監視する火災監視装置が開示されている。この火災監視装置において、撮像部は、撮像した画像を示し、赤成分、緑成分、および、青成分の要素で画像データを出力する。この火災監視装置は、炎のカラー画像に含まれる輝度が所定レベルを越える範囲を、火災の発生している領域として検出する。

特開平０５−０１８８２８号公報

しかしながら、上述した従来の火災監視装置は、回転灯などといった炎以外の発光物も火災の発生している領域であると判断するため、誤検出が発生することがある。

本発明は、火災を精度よく検出することを解決課題とする。

本発明の好適な態様に係る火災監視装置は、複数の画素からなり所定間隔で生成される画像を示す画像データに基づいて、炎に対応する画素を抽出するフィルタ処理を前記画像データに施してフィルタ画像データを出力するフィルタ部と、ｍ（ｍは４以上の整数）個のフレームの前記画像データのうち時間的に隣り合う画像データに基づいて、同一の画素の輝度の差が正の第１値以上か、前記差が負の第２値より大きく前記第１値未満か、前記差が前記第２値以下かにより３値化した３値化画像データをｍ−１個生成する３値化画像生成部と、前記フィルタ画像データと、前記ｍ−１個の３値化画像データから特定した各画素の輝度変化の周期を示す周期コスト画像データとに基づいて、炎候補を検出する検出部とを、備え、前記第１値の絶対値は、前記第２値の絶対値と等しい。

本発明によれば、火災を精度よく検出することが可能になる。

第１実施形態にかかる火災監視システム１の全体構成を示す図。 火災監視装置１０の構成図。 炎の一例を示す図。 処理部１０１の構成図。 符号付き差分から非線形交差差分に変換する例を示す図。 ＨＳＶフィルタ部１０１３による処理前後の画像データが示す画像を示す図。 ３値化画像生成部１０１５における非線形交差差分画像データＦｄの各画素の変換例を示す図。 周期コスト画像データＦｆｒの生成例を示す図。 時系列２値化合成画像生成部１０１４における非線形交差差分画像データＦｄの各画素の変換例を示す図。 角度別の頻度ヒストグラムの一例を示す図。 輪郭線画像データＦｃが示す画像の一例を示す図。 火災監視システム１の動作を示すフローチャートを示す図。 炎検出処理を示すフローチャートを示す図。 煙検出処理を示すフローチャートを示す図。

Ａ．実施形態
以下、第１実施形態にかかる火災監視システム１を説明する。
本実施形態に係る火災監視装置は、監視カメラが撮影した映像を画像処理にて火災の炎と煙を検出するものであって、時系列画像の処理から炎と煙の特徴を捉え、その事象が所定時間継続したとき警報を通知するものである。炎の認識処理はＨＳＶデータ形式の2次元配列の時系列画像より、炎と想定できる高輝度で、且つ所定範囲の色彩、色相である画素の集合領域を選別し、その集合領域の各画素ごとに、輝度の時間的変化と集合領域の面積変動を求め、その変動周期の妥当性を調べて炎候補として見いだす。次に炎候補は孤立的現象であるかの判定と集合領域の重心位置座標の推移判定と円形度の判定を実施して炎と認識するものである。煙の認識は、背景画像を基準画像として記録し、現画像との背景差分から差分領域の輪郭線を見いだし、剛体オプティカルフロー推定により、剛体の移動物体の輪郭領域を排除するとともに、短時間で輪郭領域が同一座標に存在する即ち、移動しない輪郭も排除する。残された輪郭領域は非剛体オプティカルフロー推定の分布を評価して、煙拡散で生じる特有な分布にて煙を認識する。本実施形態は火災の炎と煙を同時に、早期に検出し、警報を通知するものである。

Ａ．１．火災監視システム１の概要
図１に、第１実施形態にかかる火災監視システム１の全体構成を示す。図１に示す火災監視システム１は、４台の撮像部１１を有し、各々独立に火災発生を検出する。監視の範囲は、どのような範囲でもよく、例えば、都市市街地、または、原子力発電所等の屋外の範囲でもよいし、工場内や店舗内といった屋内でもよい。

火災監視システム１は、例えば、防火対象物の建物、建屋外周、または屋外にある一般構造物で発生する火災を監視する。

図１に示すように、火災監視システム１は、火災監視装置１０と、表示装置４０と、警報装置５０とを有する。火災監視装置１０は、表示装置４０と接続する。また、火災監視装置１０は、図２に示す警報端子１０７を介して警報装置５０と接続する。

火災監視装置１０は、４台の撮像部からの画像を同時処理する。図１では撮像部を４台備えた場合を示している。以降当該実施形態の説明は、１台の撮像部に限り行うが、他の３台の撮像部も同様とする。また、図４に示す画像データＦ＿１から画像データＦ＿ｍの画像データ列は以降に説明の１台の撮像部が出力するものであるが、他の３台の撮像部１１も独立に画像データ列を出力するものである。ｍは、４以上の整数であり、８以上の整数であることが好ましい。画像データＦ＿１から画像データＦ＿ｍへの後述する説明は、１回のサンプリング時間で処理するものであり、火災警報を出力するには、所定個としてＳ個のサンプリング時間の継続が必要である。例えばＳは１０とし、本値は消防法規で言う蓄積時間に該当する。

第１撮像部１１−１〜第４撮像部１１−４の各々は、可視光に感度領域がある監視カメラを含む。

警報装置５０は、火災監視装置１０が火災発生範囲を検出した場合、火災が発生したことを警報する。警報装置５０は、例えば、警報ブザー付きランプである。警報装置５０は、警報ブザー、ランプ、および、ＯＮに設定された場合に、警報ブザーから警報音を鳴らすとともにランプを点灯させる接点を有する。火災監視装置１０は、この接点のＯＮまたはＯＦＦの切り替えが可能である。警報装置５０は、撮像部１１の数と同一の数の接点を有する。警報装置５０は、例えば、警備室に設置される。

図２に、火災監視装置１０の構成図を示す。火災監視装置１０は、処理部１０１−１、処理部１０１−２、…、および、処理部１０１−ｎ、記憶部１０５、通信部１０６、第１撮像部１１−１、第２撮像部１１−２、第３撮像部１１−３、第４撮像部１１−４、第１ＡＤ変換部１２−１、第２ＡＤ変換部１２−２、第３ＡＤ変換部１２−３、第４ＡＤ変換部１２−４、ならびに、警報端子１０７を有する。

処理部１０１−１、処理部１０１−２、…、および、処理部１０１−ｎ、記憶部１０５、通信部１０６、第１ＡＤ変換部１２−１、第２ＡＤ変換部１２−２、第３ＡＤ変換部１２−３、第４ＡＤ変換部１２−４、ならびに、警報端子１０７は、バス１０９を介して電気的に接続される。

処理部１０１−１、処理部１０１−２、…、および、処理部１０１−ｎの各々は、火災監視装置１０を制御するプロセッサである。ｎは、４以上の整数である。以下、ｎをプロセッサ数と称する。このように、火災監視装置１０は、プロセッサ数ｎが４以上の場合、複数のプロセッサを有する。処理部１０１は、周辺装置とのインタフェース、演算装置およびレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。
図２に示すように、火災監視装置１０は、プロセッサ数ｎが４以上の場合、複数のプロセッサを有するマルチプロセッサを有する。または、火災監視装置１０は、複数のプロセッサコアを有するマルチコアプロセッサを有してもよい。１つのプロセッサコアが、１つの処理部１０１に相当する。処理部１０１は、各種の処理を並列的または逐次的に実行する。

記憶部１０５は、処理部１０１が読取可能な記録媒体である。例えば、記憶部１０５は、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。記憶部１０５は、ＯＳ（Operating System）といった制御プログラムＰＲａ、本実施形態における火災監視方法を実行可能な火災監視プログラムＰＲｂ、および、周期コストテーブルＩＮＦｆｒを記憶する。

周期コストテーブルＩＮＦｆｒは、画像データの各画素毎に、時系列の輝度値の変化の周期を判定するときに使用する。炎の揺れ成分の周波数は幅広く分布するが、火災監視装置１０は、その周波数帯の中で本実施形態が定める３ポイントの周期の存在で検定する。本実施形態では、炎を特定するため、炎の色相、色彩および輝度と、炎の揺れ周期、炎の面積における変化を検出に用いている。図３を用いて、炎の揺らぎについて説明する。

Ａ．２．炎の現象の説明
図３に、炎の一例を示す。火災で物質が燃焼するときに、多量のＣＯ_２が発生し、ＣＯ_２共鳴放射といわれる現象が発生する。このとき放出されるエネルギーが、可視光の強い発光と赤外線として放射される。

火災は周囲の空気から酸素の供給を受ける。従って、拡散燃焼状態にある炎は、周囲の空気を引き込む作用があり、これにより、炎が揺らぐ現象となる。また拡散燃焼は火元付近の大気の風力によって、層流拡散燃焼と乱流拡散燃焼の現象に分類でき、炎の揺れ状況も異なる。

本実施形態では、炎の揺らぎの成分を、第１揺らぎ成分と第２揺らぎ成分とに分類する。第１揺らぎ成分は、図３に示す領域Ｙ１の表層の揺らぎであり、炎領域内の熱の流動が反映した輝度および色相の変動である。第２揺らぎ成分は、図３に示す領域Ｙ２の揺らぎであり、炎面積の揺らぎである。

Ａ．３．処理部１０１の説明
図４に、処理部１０１の構成図を示す。処理部１０１は、記憶部１０５に記憶された火災監視プログラムＰＲｂを読み取り実行することにより、非線形交差差分画像生成部１０１１、設定部１０１２、ＨＳＶフィルタ部１０１３（「フィルタ部」の一例）、時系列２値化合成画像生成部１０１４、３値化画像生成部１０１５、周期コスト画像生成部１０１６、背景画像生成部１０１７、剛体オプティカルフロー実行部１０２１、非剛体オプティカルフロー実行部１０２２、輪郭線領域特定部１０２３、および、検出部１０３１として機能する。色空間については、ＨＳＶ（別名ＨＳＢ）フィルタを用いた、色相(Hue)、彩度(Saturation)、輝度(Brightness)または明度(Value)の３要素で説明するが、実施形態においては他のフィルタを用いた色空間もＨＳＶ色空間と変換可能であれば適用可能である。

非線形交差差分画像生成部１０１１、設定部１０１２、剛体オプティカルフロー実行部１０２１、非剛体オプティカルフロー実行部１０２２、および、輪郭線領域特定部１０２３は、互いに並列に実行可能である。

設定部１０１２、ＨＳＶフィルタ部１０１３、非線形交差差分画像生成部１０１１、剛体オプティカルフロー実行部１０２１、非剛体オプティカルフロー実行部１０２２、および、輪郭線領域特定部１０２３は、画像データＦ＿１から画像データＦ＿ｍを用いて処理を実施する。撮像部１１の撮像間隔は、所定間隔として、３３ｍ秒で、画像分解能は、７２０画素×４８０画素である。なお、本実施形態では、撮像部１１のフレームレートないし画像分解能は、これらに限定されるものではない。

第１撮像部１１−１から第４撮像部１１−４が出力した画像データＦ＿１から画像データＦ＿ｍごとに、処理部１０１−１〜処理部１０１−ｎの各々が割り当てられる。

Ａ．３．１．炎検出
炎検出部１０３２は、例えば、以下に示す６つの態様のいずれかにより、炎を検出する。

Ａ．３．１．１．炎検出の第１態様
炎検出の第１態様として、炎検出部１０３２は、ＨＳＶフィルタ画像データＦｆと、周期コスト画像生成部１０１６によって生成された周期コスト画像データＦｆｒとに基づいて、炎を検出する。以下、非線形交差差分画像データＦｄを生成する非線形交差差分画像生成部１０１１の動作と、ＨＳＶフィルタ部１０１３の動作と、周期コスト画像データＦｆｒの生成に用いられる３値化画像データＦｔｒを生成する３値化画像生成部１０１５の動作と、周期コスト画像生成部１０１６の動作とについて説明する。

非線形交差差分画像生成部１０１１の処理は、炎の揺れ周期を検出するために考案したものである。非線形交差差分画像生成部１０１１は、画像データＦ＿１から画像データＦ＿ｍまでのｍ個の画像データ列に対して画像データＦ＿１と画像データＦ＿２、画像データＦ＿２と画像データＦ＿３、画像データＦ＿３と画像データＦ＿４、…、画像データＦ＿ｍ−１と画像データＦ＿ｍの時間的に隣り合う画像データの組み合わせで差分を行う。例えば、非線形交差差分画像生成部１０１１は、画像データＦ＿１と画像データＦ＿２の差分結果で画像データＦ＿１の輝度が大きければ＋の差分とし、逆に画像データＦ＿２の輝度が大きければ−の差分とし、同じであれば０とする。この符号付き差分結果を１枚の画像データとして表現するには、非線形交差差分画像生成部１０１１は、差分がない、すなわち０を０ｘ８０とし、＋の差分を０ｘ８０から０ｘＦＦとし、−の差分を０ｘ０から０ｘ８０としてｍ−１枚の交差差分画像データを生成する。

ここで画像データＦ＿１と画像データＦ＿２の差分結果が取り得る値の範囲は±２５５であるが、交差差分画像データでは０ｘ８０〜０ｘＦＦまたは０ｘ０〜０ｘ８０となるため、差分の大きさを１／２とする。非線形交差差分画像生成部１０１１は、差分結果を交差差分に変換するとき非直線テーブルを引用して差分結果が小さいとき交差差分を大きな値とし、差分結果が大きいときは交差差分を小さくする処理を施す。また、非線形交差差分画像生成部１０１１は、差分結果が０に近い範囲（例えば±１６）を不感帯として交差差分を０ｘ８０とする。このように差分結果を非直線の関係に変換したものを非線形交差差分と称し、ｍ−１枚の非線形交差差分画像データＦｄが生成される。
具体的には、後述する図８のように、画像データＦ＿１と画像データＦ＿２とから、非線形交差差分画像データＦｄ＿１が生成される。同様に、画像データＦ＿２と画像データＦ＿３とから、非線形交差差分画像データＦｄ＿２が生成され、…、画像データＦ＿ｍ−１と画像データＦ＿ｍとから、非線形交差差分画像データＦｄ＿ｍ−１が生成される。

なお、本実施形態ではデジタル画像の画素値を、８ビットで量子化して表現できる０〜２５５の数値範囲で説明するが、本実施形態の実装にあたっては、デジタル化は８ビットに限られない。

以上の処理によって、炎の第１揺らぎ成分を抽出する過程に進むことができる。図５に、符号付き差分から非線形交差差分に変換する例を示す。非線形交差差分は、符号付き差分を、非線形の関係に変換して得られた差分である。具体的には、非線形交差差分画像生成部１０１１は、図５に示すグラフＧ１の実線Ｌ１のように、絶対値の小さい差分が大きくなるように変換し、絶対値の大きな差分を縮小させて出力することにより、非線形交差差分を得る。絶対値の小さい差分が大きくなるように変換することにより、炎の表層の揺れのような微小な差分を抽出することができる。具体的には炎の揺れ検出のとき、炎成分は高輝度な領域を形成し、その領域に揺れ成分が重畳しており、その成分は変化が小さい。微小な差分を強調することにより、炎の第１揺らぎ成分が強調されることになる。但し、ノイズを除去する観点から不感帯を設けている。

装置では、環境条件によっては炎の第１揺らぎ成分を正しく抽出できないこともある。例えば、撮像部の光電気変換部が炎の強い発光の影響を受け、量子化データが飽和点に達し、炎領域の符号付き差分が非線形交差差分の不感帯となり、正しく炎領域の変化が検出できないことがある。しかしながら、本実施形態では炎境界付近の交錯する炎と背景との変化によって、符号付き差分が、非線形不感値Ｈ１以上または非線形不感値Ｈ２以下となるため、炎を正しく検出することが可能である。

同様に、強い太陽光の直射状況下で起きる火災の炎を撮像した場合に、コントラストが失われる場合では、従来の火災監視装置では炎を見失うことがあるが、本実施形態では炎境界付近の交錯する炎と背景との変化によって、符号付き差分が、非線形不感値Ｈ１以上または非線形不感値Ｈ２以下となるため、炎を正しく検出することが可能である。

図４の説明に戻る。設定部１０１２は、ＨＳＶフィルタ部１０１３で使用される輝度の閾値を設定する。具体的には、設定部１０１２は、画像データＦ＿１から画像データＦ＿ｍにおける、画像データＦ内の輝度のうち最大の輝度値を求め、その値のＬ％の値を輝度の閾値として設定する。

画像データＦ＿１から画像データＦ＿ｍについて、ＨＳＶフィルタ部１０１３は、炎に対応する画素を抽出する。具体的には、ＨＳＶフィルタ部１０１３は、特定した輝度の値、彩度の値、および色相の値に適合したものを出力し、特定しない画素については、輝度、彩度、色相の値を所定値、例えば０とするＨＳＶフィルタ処理を施して、ＨＳＶフィルタ画像データＦｆをｍ枚生成する。

炎の取り得る彩度の範囲は、昼光の下で炎が取り得る彩度の値の範囲と、無彩色を示す彩度の値とで指定される。また、炎の取り得る色相の範囲は、昼光の下で炎が取り得る色相の値の範囲と、無彩色を示す色相の値とで指定される。

無彩色を示す色相の値、および、無彩色を示す色相の値は、夜間などの暗闇で発生した火災を検出可能とする値である。

図６は、ＨＳＶフィルタ部１０１３による処理前後の画像データが示す画像を示す。炎の画素と、消防車の一部の画素とがＨＳＶフィルタ部１０１３によって特定される。

３値化画像生成部１０１５は、非線形交差差分画像データＦｄに基づいて、３値化画像データＦｔｒを生成する。

図７に、３値化画像生成部１０１５における非線形交差差分画像データＦｄの各画素の変換例を示す。図７に示すように、３値化画像生成部１０１５は、非線形交差差分画像データＦｄの各画素が示す非線形交差差分が、（１２８＋３値化不感値）以上２５５以下の場合、画素の値を１とし、０以上（１２８−３値化不感値）以下の場合、画素の値を２とし、（１２８−３値化不感値）より大きく（１２８＋３値化不感値）未満の場合、画素の値を０とする３値化画像Ｆｔｒを生成する。ここで０は動きのない画素、１は輝度が増加する画素、２は輝度が減少する画素を表わし、０、１、２の時系列の並びは輝度の増減を示し、炎の揺れを数値化できるものである。

非線形交差差分画像生成部１０１１は、画像データＦ＿１から画像データＦ＿ｍに基づいて、ｍ−１個の非線形交差差分画像データＦｄを生成する。

図８に、周期コスト画像データＦｆｒの生成例を示す。周期コスト画像生成部１０１６は、３値化画像データＦｔｒ＿１、３値化画像データＦｔｒ＿２、…、および、３値化画像データＦｔｒ＿ｍ−１に基づいて、周期コスト画像データＦｆｒを生成する。周期コスト画像データＦｆｒは、各画素の輝度変化の周期を示す。

具体的には、周期コスト画像生成部１０１６は、３値化画像データＦｔｒ＿１、３値化画像データＦｔｒ＿２、…、および、３値化画像データＦｔｒ＿ｍ−１の各画素について、同一座標の輝度の変化の周期、例えば１、２、２、…、２の並びが、周期コストテーブルＩＮＦｆｒに登録されたパターンと一致するかを、炎候補領域すべての画素について調べる。

周期コストテーブルＩＮＦｆｒに登録されたパターンは、炎が取り得る輝度の変化の周期を示す。炎の周波数は、０．１Ｈｚから１５Ｈｚまでを取り得ると知られている。ただし、炎の周期は、様々で燃焼状況に応じて変化する。例えば、火災によっては、短時間で炎の周期が変動することもある。

炎の振動周期は様々な周波数が混じり合うが本実施形態では、ロックインアンプのごとく注目の３ポイントの周期だけその存在を調べる。周期コストテーブルＩＮＦｆｒには、１５Ｈｚと、７．５Ｈｚと、３．７５Ｈｚとの各々における３値化画像データＦｔｒの画素の値が登録されている。画像データＦは、３０フレーム／秒で入力されるため、３値化画像データＦｔｒの画素の値が、２、１、２、１、２、１、２、と並べば、周波数が１５Ｈｚに該当する。

炎の全領域において、領域を形成する画素の揺れ周波数は様々な値となり、時間経過で大きく変動する。画素ごとの周波数成分の内、必ず３ポイントの周波数が、いずれかまたはすべての周波数成分として炎の揺れに存在する。周期コスト画像生成部１０１６は、ＨＳＶフィルタを施したＨＳＶフィルタ画像データＦｆが示す画像のうち、時系列２値化合成画像成分でゲートした第１態様の領域に、即ち炎の候補領域と赤色系の移動物体の領域に３ポイントの周波数が存在するかを確認する。３ポイントの周波数は画素単位で存在するものであり、炎領域に点在する。また、３ポイントの周波数は、赤色系の移動物体の領域にも存在する可能性がある。しかしながら、赤色系の移動物体で生じる３ポイントの周波数成分は、炎領域で発生する３ポイントの周波数成分の存在分布パターンとは明確に異なる。具体的には存在画素の密集度、例えば、（領域内の３ポイントの周波数成分の画素数／領域内の画素数）または、分散で評価する。ここで、周期コスト画像生成部１０１６は、炎候補領域内の３ポイント周波数成分の画素数と炎領域全画素数と３ポイント周波数成分の画素数の比較を行い閾値以上であれば炎として次の処理を実行する。

Ａ．３．１．２．炎検出の第２態様
説明を図４に戻す。炎検出の第２態様において、ＨＳＶフィルタ通過のデータを、画像データＦ＿１から画像データＦ＿ｍにおいて、画像データＦ＿１と画像データＦ＿２、画像データＦ＿２と画像データＦ＿３、画像データＦ＿３と画像データＦ＿４、…、画像データＦ＿ｍ−１と画像データＦ＿ｍの差分結果の２値化した画像データをすべてＯＲ合成する。当該ＯＲ合成した画像データを時系列２値化合成画像データＦｔｗと称する。この時系列２値化合成画像データＦｔｗは、ｍ×３３ｍｓの時間に動いた物体の変化量を表す。時系列２値化合成画像データＦｔｗでマスク処理したＨＳＶフィルタの出力した画像データには、炎候補と、移動する赤色系物体とが検出される。逆に、移動しない、すなわち静止状態の赤色系の物体は排除される。

時系列２値化合成画像生成部１０１４は、非線形交差差分画像データＦｄに基づいて、時系列２値化合成画像を生成する。

時系列２値化合成画像生成部１０１４は、画像データＦ＿１〜画像データＦ＿ｍの非線形交差差分から各々下記２値化処理を行い、ｍ−１個の結果をＯＲ合成したものから時系列２値化合成画像データを生成する。

図９に、時系列２値化合成画像生成部１０１４における非線形交差差分画像データＦｄの各画素の変換例を示す。図９に示すように、時系列２値化合成画像生成部１０１４は、非線形交差差分画像データＦｄの各画素が示す非線形交差差分が、（１２８＋２値化不感値Ｉ１）以上２５５以下の場合、または、０以上（１２８−２値化不感値Ｉ１）以下の場合、画素の値を１とし、（１２８−２値化不感値Ｉ１）より大きく（１２８＋２値化不感値Ｉ１）より小さい場合、画素の値を０とする時系列２値化合成画像データＦｔｗを生成する。２値化不感値Ｆ１は、事前に定めた値である。時系列２値化合成画像データＦｔｗは、動きのある炎、および移動物体の画素の値が１以上となる。

炎検出部１０３２は、以上説明した時系列２値化合成画像データＦｔｗと、以上説明したＨＳＶフィルタ画像データＦｆとに基づいて、画像データＦ＿１から画像データＦ＿ｍの炎候補として、炎と赤色系の移動物体を検出する。

Ａ．３．１．３．炎検出の第３態様
図４の説明に戻る。炎検出の第３態様として、第２態様の結果と非剛体オプティカルフロー実行部１０２２の結果に基づいて、炎検出を処理する。次に非剛体オプティカルフロー処理について説明する。ここで剛体オプティカルフロー処理とは、輪郭が明瞭な検出対象の動きの推定ベクトルを画素ごとに算出し、非剛体オプティカルフローは検出対象の動きの推定ベクトルを画素ごとに算出する。検出対象とは、例えば、あらゆる物体、炎、および、煙である。また、説明を容易にするため、剛体オプティカルフローによる推定ベクトルを、剛体推定ベクトルＶｒ（「第１推定ベクトル」の例）と称し、非剛体オプティカルフローによる推定ベクトルを、非剛体推定ベクトルＶｓ（「第２推定ベクトル」の例）と称する。また、単に、「推定ベクトル」と記載した場合、剛体推定ベクトルＶｒと非剛体推定ベクトルＶｓとの総称とする。

非剛体オプティカルフローは、画像データＦ＿１と数フレーム離れた、例えば画像データＦ＿４の２枚の画像データを用いて、非剛体物体の動きに適する正則化パラメータの選定により、オプティカルフローを演算したものである。この演算で算出する非剛体推定ベクトルＶｓは、画像データＦが示す画像に映るあらゆる物体、炎、および煙の動きを捉えることができる。

以下、動きの情報は非剛体オプティカルフローと、人物の動きや車両の動き、物体の動きの推定ベクトルを演算する剛体オプティカルフローがある。剛体オプティカルフローは３３ｍｓ間隔の２画像データで、適切な正則化パラメータの選定でオプティカルフローを演算するものである。剛体オプティカルフローについて煙認識処理で用いる。

ここで、オプティカルフロー処理を説明する。正則化手法によるオプティカルフロー処理とは、ある１つのフレームの画像上の各画素の座標点（ｘ，ｙ）とその動きの推定ベクトル、つまりオプティカルフロー（ｕ，ｖ）との間には、そのフレーム画像内の空間的な明るさの勾配を（Ｉ_ｘ，Ｉ_ｙ）、そのフレームと次のフレーム間の明るさの勾配をＩ_ｔとしたときに、下記（１）式が成立することを用いた解析手法である。

Ｉ_ｘ＋Ｉ_ｙ＋Ｉ_ｔ＝０ （１）

しかし、（１）式だけからは未知数ｕ，ｖを推定することができず、他の拘束条件が必要となる。これについては、例えば、B. Horn and B. Schunck,「Determining Optical Flow」（Artificial Intelligence vol.17, 185〜203頁, 1981.）に記載された技術を利用する。この技術においては、「画像データが示す画像中の移動物体が剛体である」及び「画像データ中の近傍領域でのオプティカルフロー分布は滑らかである」という２つの仮定をそれぞれ評価関数で表し、弛緩法を用いてこれらの２つの評価関数の和を最小化させることによってオプティカルフローの推定を行う。

具体的には、αを正則化パラメータとして、繰り返し演算によって次の（２）式を最小にするｕ，ｖを求める。

ただし、Ｅ_ａは、下記（３）式を満たし、Ｅ_ｂは、下記（４）式を満たす。

Ｅａ＝Ｉ_ｘｕ＋Ｉ_ｙｖ＋Ｉ_ｔ （３）

すなわち、（２）式の右辺において、Ｅ_ａは移動物体の剛体性を反映した評価関数であり、画像中の移動物体が完全な剛体、つまり、変形せずそれ自体の輝度も変化しない物に近いほど（１）式が成立し易くなりＥ_ａは０に近づく。また、Ｅ_ｂはオプティカルフローの空間分布の滑さを反映した評価関数であり、オプティカルフローの空間分布が完全に滑らかな、つまり、オプティカルフローが空間的に変化しない、換言すると、画像データ内のどの画素も全て同じ方向へ同じ距離だけ移動する状態に近いほどＥｂはゼロに近づく。

要するに、（２）式の右辺は、画像の積分領域における移動物体の剛体性とオプティカルフローの空間分布の滑らかさとを統合的に評価した関数である。従って、（２）式の右辺の積分範囲の領域で上記２つの仮定「画像データが示す画像中の移動物体が剛体である」および「画像データ中の近傍領域でのオプティカルフロー分布は滑らかである」が良好に成立するほど、（２）式の右辺は小さい値となる。換言すれば、画像データのある点の近傍領域で上記２つの仮定が成立するなら、その近傍領域で（２）式の関数を最小にするようなｕ，ｖが、その点における妥当なオプティカルフローと推定される。

正則化パラメータαは、（２）式の右辺における「オプティカルフロー分布の滑らかさ」の相対的な重みを反映している。つまり、αを大きく設定するほど、オプティカルフロー分布の滑らかさを重視していることになる。よって、正則化パラメータαは解析する画像に応じ、その画像中に存在する各種物体の複雑さや動きの性質や動きの大きさなどに関連して適切に設定されるべきである。

本実施形態において、（２）式の評価関数をそのまま用いるのではなく、前述の（１）式の誤差を考慮するために、座標点（ｘ，ｙ）の近傍での（１）式の左辺の値の分散σ^２を（２）式に導入して、下記（５）式の評価関数を最小とするｕ，ｖを、弛緩法を用いた反復演算によって求める。

剛体オプティカルフロー処理を実施する場合には、正則化パラメータαを大きい値とし、弛緩の回数も大きくすればよい。非剛体オプティカルフロー処理を実施する場合には、正則化パラメータαを、剛体オプティカルフロー処理の場合と比較して小さくし、弛緩の回数も、剛体オプティカルフロー処理の場合と比較して小さくすればよい。さらに、非剛体オプティカルフロー処理では、比較対象となる、あるフレームの画像データＦ＿１と、あるフレームより４つ後のフレームの画像データＦ＿４とに、非剛体オプティカルフロー処理を施す。このように、後のフレームは、時間勾配の観点から、例えば、あるフレームから、３つから５つ後のフレームであることが好ましい。

炎検出の第３態様では、炎の現象は孤立的現象であることを評価して、炎の決定に利用する。炎が孤立的現象であることとは、炎は閉じられた発光現象であり、炎の周囲には動いている物体がないことを示す。実際の火災現場では、火元の炎が付近の壁に炎の像が写り込む場合、火災が同時多発した場合、または、火源から枝分かれした端部で複数が出火した場合などがある。しかしながら、出火直後の火災検出の目的として、１ヶ所の炎を感知したときに警報を発せれば目的を達するため、炎が孤立的な現象であるとみなすことが可能である。

炎検出の第３態様を具体的に説明する。非剛体オプティカルフロー実行部１０２２が、まず画面全域に対して、非剛体オプティカルフロー処理を行う。次に、炎検出部１０３２は、炎検出の第２態様で得た炎候補の輪郭からの距離が第１距離となる第１範囲で生じる各非剛体推定ベクトルＶｓの第１スカラ加算値（「第１合計値」の例）を求める。スカラ加算値は、各非剛体推定ベクトルＶｓの大きさの合計である。第１範囲は、例えば、炎候補に接し、幅が第１距離となる枠が囲む範囲である。
次に、炎検出部１０３２は、炎領域の第１範囲の外側に位置する第２範囲を設け、第２範囲で生じる各非剛体推定ベクトルＶｓの第２スカラ加算値（「第２合計値」の例）を求める。第２範囲は、例えば、第１範囲から、数１０画素外側に位置し、幅２０画素程度の枠が囲む範囲である。炎検出部１０３２は、第１スカラ加算値が第２スカラ加算値より大きいことを、炎候補を炎として検出する必要条件とする。
第２範囲には炎より舞い上がる黒煙が含まれる場合があるが、炎の孤立性評価では無視してもよい閾値とする。

Ａ．３．１．４．炎検出の第４態様
図４の説明に戻る。炎検出の第４態様として、第２態様で得た炎領域を基に画像データＦ＿１から画像データＦ＿ｍに基づいて、炎候補の面積Ｓｆ１からＳｆｍを求め、その面積の時系列変化からその妥当性を調べ、炎の決定に利用する。

炎の面積は増減を繰り返す。従って、炎候補の面積の時間変化が、単調増加または単調減少である場合、炎候補は炎でないと言える。炎検出部１０３２は、炎候補の面積の時間変化が所定の閾値以上であり、炎候補の面積の時間変化が、単調増加および単調減少でもない場合、炎候補を炎として検出する必要条件とする。

Ａ．３．１．５．炎検出の第５態様
第４態様の炎面積の変化の把握において、屋内の火災として多く発生する層流拡散燃焼と、また風が強い環境での火災として発生する乱流拡散燃焼とがあり、時系列の面積変動に違いがある。時系列炎面積の変動パターンには、層流拡散燃焼と乱流拡散燃焼との２種類がある。

層流拡散燃焼か乱流拡散燃焼の識別として、炎検出部１０３２は、炎領域の非剛体オプティカルフローすべての非剛体推定ベクトルＶｓの分布を評価する。具体的には、炎領域で抽出した非剛体推定ベクトルＶｓを、非剛体推定ベクトルＶｓの角度に基づいて、例えば１０度程度の角度幅で分類した角度別の頻度ヒストグラムを生成する。

図１０に、角度別の頻度ヒストグラムの一例を示す。図１０に示すグラフＧ２は、サンプリング時間における、角度幅ごとの非剛体推定ベクトルＶｓの頻度を示す。ただし、グラフＧ２は、図示し易くするため、３０度の角度幅で分類した角度別の頻度ヒストグラムを示す。グラフＧ２内に示す非剛体推定ベクトル頻度特性Ｖｎ１は、屋内または風が弱い場所での角度幅ごとの非剛体推定ベクトルＶｓの頻度を示す。屋内または風が弱い場所では、層流拡散燃焼であり、角度幅ごとの非剛体推定ベクトルＶｓの頻度は、図１０に示すように、略すべての角度に分布する可能性が高い。

グラフＧ２内に示す非剛体推定ベクトル頻度特性Ｖｎ２は、風が強い場所での角度幅ごとの非剛体推定ベクトルＶｓの頻度を示す。風が強い場所では、乱流拡散燃焼になりやすく、角度幅ごとの非剛体推定ベクトルの頻度は、図１０に示すように、偏りが発生する可能性が高い。

炎検出部１０３２は、生成した角度別ヒストグラムを参照して、角度幅ごとの非剛体推定ベクトルＶｓの頻度の偏りの大きさを示す指標に基づいて、火災の状況が層流拡散燃焼か乱流拡散燃焼かを判断する。角度幅ごとの非剛体推定ベクトルＶｓの頻度の偏りの大きさを示す指標は、例えば、角度幅ごとの非剛体推定ベクトルＶｓの頻度の標準偏差または分散である。炎検出部１０３２は、偏りが生じていない場合、層流拡散燃焼と判断し、偏在するときは乱流拡散燃焼と判断し、この判断結果を第５態様の判定に利用する。
判断結果の利用として、具体的には、判断結果が層流拡散燃焼であれば、炎検出部１０３２は、炎候補の面積の時間変化が層流拡散燃焼用の所定の閾値以上であり、炎候補の面積の時間変化が、単調増加および単調減少でもない場合、炎候補を炎として検出する。また、判断結果が乱流拡散燃焼であれば、炎検出部１０３２は、炎候補の面積の時間変化が乱流拡散燃焼用の所定の閾値以上である場合、炎候補を炎として検出する。

Ａ．３．１．６．炎検出の第６態様
前述の第１態様から第５態様までの処理は、任意のサンプリング時間で処理すべき内容を記したものであり、実際の炎検出には複数のサンプリング時間が必要である。炎検出部１０３２は、第２態様で得た炎候補が第３態様、第４態様、第５態様の必要条件を満たしたとき、該当サンプリング時間での炎候補であると見なす。炎候補の検出が複数サンプリング時間で継続中に、炎候補の重心位置座標の推移の妥当性を確認すること、炎面積の円形度を算出して閾値範囲内であることの確認することで、炎と断定して炎の警報に至る。この過程を第６態様と称する。複数サンプリング時間の、開始から警報までの時間を蓄積時間と称する。蓄積時間で処理する計測パラメータの判定回数は、画像ｍ×蓄積サンプリング時間の回数と数多く有り、すべてのパラメータ条件に合致するとは限らない。この理由から蓄積の開始からのサンプリング時間の回数を指標とする許容値判定を実施する。許容値の範囲内であれば蓄積を継続し、範囲を越えたときは蓄積時間を解除する。

Ａ．３．２．煙の検出
図４の説明に戻る。煙検出の動作を説明する前に、煙の現象について説明する。

Ａ．３．２．１．煙の現象の説明
煙には、背景が煙で隠蔽する、形状が不定である、特有な輝度分布を有する、火元から舞い上がる、風に煙が流される、および、拡散して消滅するという特徴がある。この輝度分布は、状況により、黒煙から白煙まである。火元の炎の揺れ成分が煙に伝播して、煙の振動も現れる。さらに、煙は拡散して消滅に至る。

Ａ．３．２．２．煙検出の第１態様
煙検出の第１態様として、基準の背景画像データＦｂと現時刻の画像データＦ＿１との背景差分画像データを生成して、背景差分画像データから輪郭線領域を求める。次に輪郭線領域から煙を検出する動作を、図１１を用いて説明する。

まず、背景画像生成部１０１７は、画像データＦにロバスト統計に基づく背景更新法を適用して、制御された更新時刻において、基準となる背景画像データＦｂを生成し保管する。ロバスト統計とは、外れ値に影響されにくい統計的手法である。本実施形態では、どのようなロバスト統計を用いてもよい。一例として、背景画像データＦｂのある画素の値を決定する場合、画像データＦ＿１から画像データＦ＿ｍの画素の値の平均値の代わりに、中央値を用いることにより、外れ値に影響されにくい画素の値を決定できる。輪郭線領域特定部１０２３は、画像データＦ＿１と背景画像データＦｂとの差分を示す背景差分画像データから、輪郭線領域を求める。具体的には、輪郭線領域特定部１０２３は、輪郭線領域を示す輪郭線画像データＦｃを生成する。制御された更新時刻について、背景更新のタイミングは平時であり、輪郭線領域特定部１０２３は、炎と煙の検出処理中には、背景画像データＦｂを更新しない。

背景差分画像データには、静止した人物、移動する人物、静止した車両、移動中の車両、樹木の揺れなど様々な、背景画像データＦｂを更新した後に生じたあらゆるものが現れる。もちろん煙が発生したならその輪郭線も現れる。煙の検出にあたり、背景画像データＦｂ更新の後に静止した人物や物体の排除について、前サンプリング時間の背景差分データと現サンプリング時間の背景差分データとの比較で、同一画面座標に一致する背景差分要素を取り除く処置で除外できる。
煙移動の人物、移動車両、樹木の揺れなどを、剛体オプティカルフローと非剛体オプティカルフローの推定ベクトルの有無で排除ができる。煙の動きは後述する理由からその実態を残すことができる。

図１１に、輪郭線画像データＦｃが示す画像の一例を示す。図１１に示す輪郭線画像データＦｃが示す画像は、樹木の輪郭線ｃ１、車両の輪郭線ｃ２、第１人物の輪郭線ｃ３、第２人物の輪郭線ｃ４、および煙の輪郭線ｃ５を示す。矩形Ｒｃｔは、大きさが所定値以上の推定ベクトルが生じた画素を中心とする外接矩形である。即ち、矩形Ｒｃｔは、移動で生じた推定ベクトルの画素を包含する。
具体的には、矩形Ｒｃｔ１１〜矩形Ｒｃｔ１５は、樹木の揺れによって推定ベクトルが生じた画素を中心とする外接矩形である。矩形Ｒｃｔ２１１〜矩形Ｒｃｔ２２５は、車両の移動によって推定ベクトルが生じた画素を中心とする外接矩形である。矩形Ｒｃｔ３１〜矩形Ｒｃｔ３３は、第１人物の移動によって推定ベクトルが生じた画素を中心とする外接矩形である。矩形Ｒｃｔ４１〜矩形Ｒｃｔ４３は、第２人物の移動によって推定ベクトルが生じた画素を中心とする外接矩形である。矩形Ｒｃｔ５１〜矩形Ｒｃｔ５３は、煙の移動によって推定ベクトルが生じた画素を中心とする外接矩形である。
この矩形Ｒｃｔと輪郭線ｃとの関係から、移動物体の輪郭線を排除する。矩形Ｒｃｔを生成する意味合いとして、推定ベクトルの生じる画素は、移動物体の表面組成が乱れることにより、期待する推定ベクトルの塊とならないことを配慮するためである。

煙における非剛体推定ベクトルＶｓは、煙輪郭の一部で生成する。煙には白煙から黒煙、透過性の煙から濃煙、緩慢な動きから舞い上がる煙など様々なものがあるが、煙の輪郭付近は必ず拡散し大気に溶け込む。移動物体の輪郭に比べ煙の輪郭付近、即ち拡散の場所は輝度勾配がなめらかであり、非剛体推定ベクトルＶｓが生成されにくい。よって煙の輪郭付近では非剛体推定ベクトルＶｓは生成しづらく、煙の内部も輝度均一性から生じにくい。この理由から、移動する人物や物体の輪郭内の画素数と非剛体推定ベクトルＶｓの矩形面積の比率に比べ、煙輪郭内の面積と非剛体推定ベクトルＶｓの矩形面積の比率とは、大きな差となり煙候補の選定となる。この比率を基に煙の候補を見出す。
より具体的には、煙検出部１０３３は、輪郭線画像データＦｃにより特定される輪郭線領域から、大きさが所定値以上の剛体推定ベクトルＶｒの存在する領域を排除する。次に、煙検出部１０３３は、剛体推定ベクトルＶｒの存在する領域を排除した排除後の輪郭線領域の内部において大きさが所定値以上の非剛体推定ベクトルＶｓが存在する画素数と、排除後の輪郭線領域の画素数とを比較することで、排除後の輪郭線領域を煙候補として検出する。例えば、煙検出部１０３３は、（非剛体推定ベクトルＶｓが存在する画素数／排除後の輪郭線領域の画素数）≦所定値という不等式を満たす場合、排除後の輪郭線領域を煙候補として検出する。

Ａ．３．２．３．煙検出の第２態様
煙検出の第１態様で選抜した煙候補の領域に、前述した時系列２値化合成画像データＦｔｗの関係を調べると、煙候補領域内の中央付近には、差分が発生した画素が存在しない。言い換えれば煙候補領域の内部は輝度均一性から輝度の差分は発生しにくい。煙検出部１０３３は、煙候補に存在する時系列２値化合成画像データＦｔｗの空隙率を算出し閾値と比較して確認すると同時に、煙候補の輪郭付近に時系列２値化合成画像データＦｔｗにおける値が１以上の画素の存在も確認する。空隙率は、煙候補の画素数に対する、時系列２値化合成画像データＦｔｗにおける値が０の画素数の割合である。
この煙候補の輪郭付近の存在は、透過性煙から濃煙、白煙から黒煙まで様々あるが、前述の輪郭における拡散の効果から、輪郭に必ず一様に生成するときと、分割の形態で生成するときもある。煙検出部１０３３は、この時系列２値化の様子を判断して、煙候補から煙と決定する。
例えば、煙検出部１０３３は、輪郭線画像データＦｃにより特定される輪郭線領域の輪郭からの距離が第２距離となる第３範囲に、時系列２値化合成画像データＦｔｗにおける差分があることを示す画素が存在し、輪郭の内部には時系列２値化合成画像データＦｔｗにおける差分がないことを示す画素が所定数以上存在することを、煙候補を煙として検出する必要条件とする。

Ａ．３．２．４．煙検出の第３態様
煙検出の第２態様で示した結果は、現サンプリング時間のものであり、警報装置５０は、以降Ｓ回サンプリング時間継続して同じ結果のときに、警報を発報する。この継続時間を蓄積時間と称する。

炎検出のときと煙検出のときの蓄積時間、言い換えれば検出事象の時間的連続性の処置であるが、その事象の起きる環境、主として風の強さによって検出の連続性が担保できないことがある。即ち途中のサンプリング時間で事象が見出せないことがある。この理由から、煙検出部１０３３は、蓄積時間の制御も実施する。

Ａ．３．３．火災検出後の動作
図４の説明に戻る。炎検出部１０３２または煙検出部１０３３が当該サンプリング時間で事象を検出したとき、この画像データＦを記憶部１０５に保管する。記憶部１０５に登録した事象検出のサンプリング時間のログを当該サンプリング時間に、過去の状態を判断して、その継続の連続数によって警報とする。

本実施形態では、図１のごとく監視カメラ４系統対応の装置であり、前述までの火災監視の説明は、その中の１系統の動作を記述しているので、警報端子１０７は、４つの端子を有する。この４つの端子のそれぞれは、警報装置５０の接点のそれぞれに接続する。

火災監視装置１０は、警報端子１０７によって接点をＯＮに設定することにより、警報装置５０の警報ブザーを鳴らすとともにランプを点灯させる。さらに、火災監視装置１０は、表示装置４０に「火災警報」と表示させる。また、警報停止釦が押下されることにより、警報状態は解除される。

Ａ．４．第１実施形態の動作
図１２、図１３、および図１４に示すフローチャートに示す横方向の二重線は、処理を並列に実施することが可能であることを示す。また、フローチャートは一サンプリング時間を表す。

図１２に、火災監視システム１の動作を示すフローチャートを示す。撮像部１１が、画像を撮像して、画像を示す画像データを保存する（ステップＳ１）。次に、処理部１０１は、炎検出処理を実施する（ステップＳ２）とともに、煙検出処理を実施する（ステップＳ３）。

図１３に、炎検出処理を示すフローチャートを示す。処理部１０１は、ステップＳ１１の処理およびステップＳ１２の処理と、ステップＳ１３の処理からステップＳ１６の処理とを互いに並列に実施することが可能である。設定部１０１２は、ＨＳＶフィルタ部１０１３で使用される輝度の閾値を設定する（ステップＳ１１）。次に、ＨＳＶフィルタ部１０１３は、ＨＳＶフィルタ処理を施して、ＨＳＶフィルタ画像データＦｆを出力する（ステップＳ１２）。

非線形交差差分画像生成部１０１１は、画像データＦ＿１から画像データＦ＿ｍに基づいて、非線形交差差分画像データＦｄを生成する（ステップＳ１３）。処理部１０１は、ステップＳ１４の処理と、ステップＳ１５の処理およびステップＳ１６の処理とを互いに並列に実施することが可能である。ステップＳ１３の処理終了後、時系列２値化合成画像生成部１０１４は、非線形交差差分画像データＦｄに基づいて、時系列２値化合成画像Ｆｔｗを生成する（ステップＳ１４）。ステップＳ１３の処理終了後、３値化画像生成部１０１５は、非線形交差差分画像データＦｄに基づいて、３値化画像データＦｔｒを生成する（ステップＳ１５）。次に、周期コスト画像生成部１０１６は、周期コストテーブルＩＮＦｆｒおよび３値化画像データＦｔｒに基づいて、周期コスト画像データＦｆｒを生成する（ステップＳ１６）。

ステップＳ１２の処理、ステップＳ１４の処理、およびステップＳ１６の処理終了後、処理部１０１は、ステップＳ１１の処理からステップＳ１６の処理を施した画像データＦの数がｍ（例えば、ｍ＝８）に達したか否かを判断する（ステップＳ２１）。炎検出により慎重を期す場合には、ｍは８より大きい値を設定してもよく、ｍを大きい値に設定する程、炎の検出精度が高まるが、検出にかかる時間が長くなる。以下の説明では、ｍ＝８の場合で行う。ステップＳ１１の処理からステップＳ１６の処理を施した画像データＦの数がｍ＝８に達していない場合（ステップＳ２１：Ｎｏ）、処理部１０１は、炎の検出を実施せず、炎検出処理を終了する。

一方、ステップＳ１１の処理からステップＳ１６の処理を施した画像データＦの数がｍ＝８に達した場合（ステップＳ２１：Ｙｅｓ）、炎検出部１０３２は、ＨＳＶフィルタ画像データＦｆ、時系列２値化合成画像データＦｔｗ、および、周期コスト画像データＦｆｒに基づいて、炎候補を特定する（ステップＳ２２）。

画像データＦ＿１から画像データＦ＿ｍより、ＨＳＶフィルタ画像データＦｆが８個、時系列２値化合成画像データＦｔｗが１個、周期コスト画像データＦｆｒが１個生成されている。炎検出部１０３２は、炎を特定する場合に、８個のＨＳＶフィルタ画像データＦｆを用い、１個の周期コスト画像データＦｆｒで炎を検出する。

ステップＳ２２の処理終了後、非剛体オプティカルフロー実行部１０２２は、画像データＦ＿１と画像データＦ＿４とに、非剛体オプティカルフロー処理を実行して、非剛体推定ベクトルＶｓを生成する（ステップＳ３１）とともに、炎検出部１０３２は、炎候補の面積の変化を計測する（ステップＳ３２）。炎候補の面積の変化について、ステップＳ２２の処理で説明した８個のＨＳＶフィルタ画像データＦｆのうちの８個のＨＳＶフィルタ画像データＦｆの各々と、この各々のＨＳＶフィルタ画像データＦｆの生成元となった画像データＦから生成された、時系列に沿った８個の炎候補が生成できる。炎検出部１０３２は、この時系列に沿った８個の炎候補の面積の変化を特定する。

処理部１０１は、ステップＳ４１の処理と、ステップＳ４２の処理およびステップＳ４３の処理とを同時並列に実施することが可能である。炎検出部１０３２は、ステップＳ２２で特定した炎候補と、ステップＳ３１で生成した非剛体推定ベクトルＶｓとに基づいて、炎候補が、孤立的な現象であるかを判定する（ステップＳ４１）。また、炎検出部１０３２は、ステップＳ２２で特定した炎候補と、ステップＳ３１で生成した非剛体推定ベクトルＶｓとに基づいて、角度別ヒストグラムを生成して、拡散燃焼の種類を判定する（ステップＳ４２）。次に、炎検出部１０３２は、判定した拡散燃焼の種類に応じて、面積の観点における妥当性を判定する（ステップＳ４３）。

ステップＳ４２の処理終了後、および、ステップＳ４３の処理終了後、炎検出部１０３２は、ステップＳ４１の処理結果およびステップＳ４３の処理結果を用いて、炎の検出処理を実施する（ステップＳ５１）。すなわち、炎検出部１０３２は、炎の検出処理として、炎候補が、孤立的な現象を有し、かつ、炎候補について、面積の観点における妥当性が妥当である場合、炎候補を、炎として検出する。

ステップＳ５１の処理終了後、処理部１０１は、図１３に示す一連の処理を終了し、処理をステップＳ２に戻す。

図１４に、煙検出処理を示すフローチャートを示す。

処理部１０１は、画像データＦ＿１から画像データＦ＿ｍを取得する（ステップＳ６１）。処理部１０１は、ステップＳ７１の処理と、ステップＳ７２の処理と、ステップＳ７３の処理とを同時並列に実施することが可能である。ステップＳ６１の処理終了後、輪郭線領域特定部１０２３は、基準画像データとなる背景画像データＦｂと、画像データＦ＿１から画像データＦ＿ｍの間で背景差分を実施して、その背景差分領域の輪郭線を処理することで、輪郭線画像データＦｃを生成する（ステップＳ７１）。ステップＳ６１の処理終了後、非剛体オプティカルフロー実行部１０２２は、画像データＦ＿１と画像データＦ＿４とに、非剛体オプティカルフロー処理を実行して、非剛体推定ベクトルＶｓを生成する（ステップＳ７２）。同様に、剛体オプティカルフロー実行部１０２１は、画像データＦ＿１と画像データＦ＿２とに、剛体オプティカルフロー処理を実行して、剛体推定ベクトルＶｒを生成する（ステップＳ７３）。

ステップＳ７１の処理、ステップＳ７２の処理、および、ステップＳ７３の処理終了後、煙検出部１０３３は、輪郭線領域から、大きさが所定値以上の剛体推定ベクトルＶｒの存在する領域を排除する（ステップＳ８１）。処理部１０１は、ステップＳ８２の処理と、ステップＳ８３の処理とを同時並列に実施することが可能である。ステップＳ８１の処理終了後、煙検出部１０３３は、排除後の輪郭線領域に対する、非剛体推定ベクトルＶｓによる判定をする（ステップＳ８２）。具体的には、煙検出部１０３３は、（非剛体推定ベクトルＶｓが存在する画素数／排除後の輪郭線領域の画素数）≦所定値という不等式を満たすか否かを判定する。
ステップＳ８１の処理終了後、煙検出部１０３３は、排除後の輪郭線領域に対する、時系列２値化合成画像データＦｔｗによる判定をする（ステップＳ８３）。具体的には、煙検出部１０３３は、輪郭線画像データＦｃにより特定される輪郭線領域の輪郭からの距離が第２距離となる第３範囲に、時系列２値化合成画像データＦｔｗにおける差分があることを示す画素が存在し、輪郭の内部には時系列２値化合成画像データＦｔｗにおける差分がないことを示す画素が所定数以上存在するか否かを判定する。

ステップＳ８２の処理終了後、および、ステップＳ８３の処理終了後、煙検出部１０３３は、ステップＳ８２の処理結果およびステップＳ８３の処理結果を用いて、煙の検出処理を実施する（ステップＳ８４）。すなわち、煙検出部１０３３は、煙の検出処理として、ステップＳ８２の処理における不等式を満たし、かつ、ステップＳ８３の処理における、差分がないことを示す画素が所定値以上存在する場合、煙候補を、煙として検出する。ステップ８４の処理終了後、処理部１０１は、図１４に示す一連の処理を終了し、処理をステップＳ３に戻す。

説明を図１２に戻す。ステップＳ２の処理およびステップＳ３の処理終了後、処理部１０１は、火災を所定回数検出したか、すなわち、炎または煙を、所定回数×サンプリング時間で検出したか否かを判断する（ステップＳ４）。炎および煙を所定回数検出していない場合（ステップＳ４：Ｎｏ）、処理部１０１は、処理をステップＳ１に戻す。なお、ステップＳ２１：Ｎｏとなった場合も、炎および煙を検出していないため、処理部１０１は、処理をステップＳ１に戻す。

炎または煙を、所定回数×サンプリング時間継続して検出した場合（ステップＳ４：Ｙｅｓ）、処理部１０１は、警報装置５０に火災警報させる（ステップＳ５）。また、ステップＳ４：Ｙｅｓの場合、処理部１０１は、表示装置４０に、撮像部１１が撮像した画像を表示させる（ステップＳ６）。ステップＳ５の処理およびステップ６の処理終了後、処理部１０１は、図１２に示す一連の処理を終了する。

Ａ．５．第１実施形態の効果
以上示したように、火災監視装置１０の一つの態様において、検出部１０３１は、ＨＳＶフィルタ画像Ｆｆと、周期コスト画像生成部１０１６が生成した周期コスト画像データＦｆｒとに基づいて、炎を検出する。例えば、検出部１０３１は、炎候補領域内の３ポイント周波数成分の画素数と炎領域全画素数と３ポイント周波数成分の画素数の比較を行い、閾値以上であると周期コスト画像生成部１０１６が判定した場合、炎を検出したとする。周期コスト画像データＦｆｒは、炎の第１揺らぎ成分が反映されたデータである。従って、上述した態様によれば、炎の拡散燃焼状態が反映された周期コスト画像データＦｆｒを用いることにより、炎を精度良く検出することができる。
また、上述した態様によれば、周期コストテーブルＩＮＦｆｒを用いることにより、炎が取り得ない輝度の変化となる外乱、例えば、回転灯、５０Ｈｚまたは６０Ｈｚで点灯する照明器具等を、炎と認識しなくなるため、炎を精度良く検出することが可能になる。
また、例えば、フーリエ変換により、各画素の輝度の変化の周波数を特定しようとしても、実際の屋外火災では１秒以下で火災の様相が激変することもあるため、フーリエ変換により各画素の輝度の変化の周波数を特定することは困難と思える。これに対し、上述した態様によれば、各画素の輝度の変化の周波数を容易に特定できる。

また、火災監視装置１０の一つの態様によれば、炎検出部１０３２は、時系列２値化合成画像データＦｔｗに基づいて、静止状態の物体を特定し、特定した物体を炎候補から除外する。時系列２値化合成画像データＦｔｗは、画素の値が０となった範囲に静止物体が存在していることを示す。炎は揺らいでおり、静止していない。従って、時系列２値化合成画像データＦｔｗを用いて、静止物体を炎候補から除外することにより、炎を精度良く特定することができる。

また、火災監視装置１０の一つの態様によれば、非剛体推定ベクトルＶｓに基づいて、炎候補を炎として検出する必要条件とする。上述した態様によれば、孤立的でない現象、例えば、車両および人物等を、炎と誤認識しなくなるため、炎を精度良く検出することが可能になる。

また、火災監視装置１０の一つの態様によれば、炎候補の面積の時間変化があることを、炎候補を炎として検出する必要条件とする。通常、火災における炎の面積は、刻々と変化するため、炎の面積の時間変化がある。さらに、炎が周囲の空気を内部に引き込むことにより、炎の面積は増加および減少を繰り返す。従って、上述した態様によれば、炎の面積の観点における妥当性を判断するため、火災における炎を精度良く検出することが可能である。

また、火災監視装置１０の一つの態様によれば、非剛体オプティカルフロー処理を実行して、時系列２値化合成画像データＦｔｗの示す炎候補の周囲の画素における非剛体推定ベクトルＶｓを抽出し、抽出した非剛体推定ベクトルＶｓと前記候補の面積の時間変化とに基づいて、炎候補の拡散燃焼の種類が、層流拡散燃焼か乱流拡散燃焼かを判断し、炎候補の面積に対して拡散燃焼の種類に応じた面積の妥当性を判定し、妥当であることを、炎候補を炎として検出する必要条件とする。
従って、上述した態様によれば、炎の拡散燃焼の種類に応じて、炎候補が炎であるかの面積の観点における妥当性の基準を変動できるため、炎を精度良く検出することが可能になる。例えば、乱流拡散燃焼である場合、風の影響を受けて、炎の面積が増加および減少を繰り返さない場合がある。従って、乱流拡散燃焼において、炎の面積が増加および減少を繰り返す判断をしないことにより、炎であるのに炎でないと誤認識することを抑制できるので、炎を精度良く検出することが可能になる。

また、火災監視装置１０の一つの態様によれば、画像データの各画素の輝度のうち最大の輝度以下の値を、ＨＳＶフィルタ画像データＦｆを生成する場合に用いる輝度の閾値として設定する。
動的に設定された輝度の閾値を用いることにより、上述した態様によれば、撮像範囲が明るい場合であっても暗い場合であっても、炎を検出することができる。さらに、炎が取り得る彩度の範囲内、および炎の取り得る色相の範囲に限定する。

また、火災監視装置１０の一つの態様によれば、背景画像データＦｂと画像データＦとの差分を示す背景差分画像データから輪郭線領域を求め、輪郭線領域から大きさが所定値以上の剛体推定ベクトルＶｒの存在する領域を排除し、排除した輪郭線領域の内部において大きさが所定値以上の非剛体推定ベクトルＶｓが存在する画素の画素数と、排除した輪郭線領域の画素数とを比較することで、排除した輪郭線領域を煙候補として検出する。
煙の輝度勾配は、背景に徐々に溶け込む勾配となるが、背景画像データＦｂと比較することにより、輪郭を抽出することが可能である。従って、上述した態様によれば、煙の輪郭を正確に特定できるため、煙を精度良く検出することが可能である。また、背景画像データＦｂについて、希薄な透過性を有する煙が覆うような状況では、背景更新をしない制御を行うことにより、従来の火災監視装置では検知が困難だった希薄な透過性を有する煙をも検出することができる。また、本実施形態では透過性のある煙、濃煙、白煙、黒煙、緩慢な煙、火元より上昇する筒状の煙範囲、いわゆるプルームから広がった煙、および、強風に流される煙等のあらゆる煙を、統一した処理で正確に検出することが可能になる。
また、煙の内部には、剛体推定ベクトルＶｒが発生しないという性質がある。従って、輪郭線領域のうち、剛体推定ベクトルＶｒが発生した範囲は煙ではないと言える。そこで、上述した態様によれば、輪郭線領域から剛体推定ベクトルＶｒが発生した範囲を煙候補から排除することにより、煙の性質を利用して、煙を精度良く検出することが可能である。
また、上述したように、煙の内部には、輝度の均一性から、非剛体推定ベクトルＶｓが発生する可能性が低い。そこで、排除した輪郭線領域の内部において非剛体推定ベクトルＶｓが存在する画素の画素数と、排除した輪郭線領域の画素数とを比較することにより、煙の性質を利用して、煙を精度良く検出することが可能である。

また、火災監視装置１０の一つの態様によれば、煙の拡散が反映する輝度勾配の特徴を用いて、煙候補の輪郭では、時系列２値化合成画像データＦｔｗの１以上の値の画素があることを確認し、煙候補の内部では、時系列２値化合成画像データＦｔｗにおける空隙、すなわち０の値の画素があることを確認する。このように、上述した態様によれば、煙の輝度勾配の特徴を用いることにより、煙を精度良く検出することができる。

また、火災監視システム１の一つの態様では、警報装置５０は、Ｓ回のサンプリング時間で、炎または煙を検出した場合、火災警報する。これにより、１つのサンプリング時間で炎または煙を検出した場合に火災警報する場合と比較して、より正確に炎または煙を検出することが可能になる。

また、火災監視システム１の一つの態様では、記憶部１０５は、サンプリング時間ごとに画像データＦ＿１から画像データＦ＿ｍを記憶する。火災警報した場合、記憶部１０５は、火災警報した時刻から過去の第１時刻までのサンプリング時間の画像データと、火災警報した時刻から未来の第２時刻までのサンプリング時間の画像データを記憶する。第１時刻および第２時刻は、どのような時刻でもよく、記憶部１０５の記憶容量に応じて設定される。上述の態様によれば、火災監視装置１０は、火災の出火原因究明の証拠となる画像データＦを記憶することが可能になる。

また、火災監視システム１の一つの態様では、警報装置５０は、火災監視装置１０によって警報装置５０の接点がＯＮに設定された場合、警報ブザーから警報音を鳴らすとともに、ランプを点灯させる。以上の態様によれば、警報装置５０による警報によって、警報装置５０の付近にいる者、例えば、警備室内にいる人員に、火災が発生していることを警報することが可能になる。

第１実施形態では、非線形交差差分画像生成部１０１１が非線形交差差分画像データＦｄを生成し、時系列２値化合成画像生成部１０１４および３値化画像生成部１０１５は、非線形交差差分画像データＦｄを参照したが、これに限らない。例えば、時系列２値化合成画像生成部１０１４は、符号付き差分の結果に基づいて、時系列２値化合成画像データＦｔｗを生成してもよい。同様に、３値化画像生成部１０１５は、符号付き差分の結果に基づいて、３値化画像データＦｔｒを生成してもよい。

図５では、符号付き差分、非線形交差差分、２値化、および、３値化の関係を示す。図１９では、２値化不感値Ｉ１および３値化不感値Ｊ１が８である場合の、符号付き差分、非線形交差差分、２値化、および、３値化の関係を示す。図１９に示すように、２値化画像生成部１０１４は、符号付き差分の結果を示す画像データの全画素に対し、各画素が示す符号付き交差差分が、ｘ１以上２５５以下の場合、または、−２５５以上ｘ２以下の場合、画素の値を１とし、ｘ２より大きくｘ１より小さい場合、画素の値を０として、時系列２値化合成画像データＦｔｗを生成する。言い換えれば、時系列２値化合成画像生成部１０１４は、画素の輝度の差の絶対値が所定値以上か否かに応じて２値化する。ｘ１は、０より大きい値である。ｘ２は、ｘ１と同一の絶対値であり、負の値である。

同様に、３値化画像生成部１０１５は、符号付き差分の結果を示す画像データの全画素に対し、各画素が示す符号付き交差差分が、ｘ１以上２５５以下の場合、画素の値を１とし、−２５５以上ｘ２以下の場合、画素の値を２とし、ｘ２より大きくｘ１未満である場合、画素の値を０とする。言い換えれば、３値化画像生成部１０１５は、同一の画素の輝度の差が第１値以上か、前述の差が第２値より大きく第１値未満か、差が前記第２値以下かにより３値化する。

また、炎検出の第１態様において、炎の取り得る彩度の範囲は、昼光の下で炎が取り得る彩度の値の範囲と、無彩色を示す彩度の値とで構成されると記載したが、これに限らない。例えば、炎の取り得る彩度の範囲を、時間帯に応じて変更させてもよい。例えば、撮像部１１が屋内を撮像する場合を想定する。この場合、炎の取り得る彩度の範囲は、屋内が点灯している時間ならば、昼光の下で炎が取り得る彩度の値の範囲で構成し、屋内が消灯している時間ならば、無彩色を示す彩度の値で構成してもよい。同様に、炎の取り得る色相の範囲は、屋内が点灯している時間ならば、昼光の下で炎が取り得る色相の値の範囲で構成し、屋内が消灯している時間ならば、無彩色を示す彩度の値で構成してもよい。

上述した態様において、火災監視装置１０は、４つの撮像部１１を有したが、１つの撮像部１１を有してもよく、２以上の撮像部１１を有してもよい。

上述した態様において、周期コストテーブルＩＮＦｆｒには、１５Ｈｚと、７．５Ｈｚと、３．７５Ｈｚという、３つの周波数が登録されているが、４つ以上の周波数が登録されてもよい。

また、上述した態様において、当該コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として捉えることもできる。記録媒体は例えば非一過性（non-transitory）の記録媒体であり、ＣＤ−ＲＯＭ等の光学式記録媒体の他、半導体記録媒体や磁気記録媒体等の公知の任意の記録媒体を含み得る。また、上述した各態様にかかる火災監視方法としても特定される。

１…火災監視システム、１０…火災監視装置、１１…撮像部、４０…表示装置、５０…警報装置、１０１…処理部、１０５…記憶部、１０１１…非線形交差差分画像生成部、１０１２…設定部、１０１３…ＨＳＶフィルタ部、１０１４…時系列２値化合成画像生成部、１０１５…３値化画像生成部、１０１６…周期コスト画像生成部、１０１７…背景画像生成部、１０２１…剛体オプティカルフロー実行部、１０２２…非剛体オプティカルフロー実行部、１０２３…輪郭線領域特定部、１０３１…検出部。

Claims (12)

1. 複数の画素からなり所定間隔で生成される画像を示す画像データに基づいて、炎に対応する画素を抽出するフィルタ処理を前記画像データに施してフィルタ画像データを出力するフィルタ部と、
   ｍ（ｍは４以上の整数）個のフレームの前記画像データのうち時間的に隣り合う画像データに基づいて、同一の画素の輝度の差が正の第１値以上か、前記差が負の第２値より大きく前記第１値未満か、前記差が前記第２値以下かにより３値化した３値化画像データをｍ−１個生成する３値化画像生成部と、
   前記フィルタ画像データと、前記ｍ−１個の３値化画像データから特定した各画素の輝度変化の周期を示す周期コスト画像データとに基づいて、炎候補を検出する検出部とを、備え、
   前記第１値の絶対値は、前記第２値の絶対値と等しい、
   ことを特徴とする火災監視装置。
2. 前記ｍ個のフレームの画像データのうち時間的に隣り合う画像データ同士の差分を各々算出して得たｍ−１個の差分データを加算して時系列２値化合成画像データを生成する時系列２値化合成画像生成部を、備え、
   前記検出部は、
   前記時系列２値化合成画像データに基づいて、静止状態の物体を特定し、特定した物体を前記炎候補から除外する、
   ことを特徴とする請求項１に記載の火災監視装置。
3. 前記画像データに基づいて、検出対象の動きの推定ベクトルを画素ごとに算出する非剛体オプティカルフロー処理を実行する非剛体オプティカルフロー実行部を備え、
   前記検出部は、
   前記炎候補の輪郭からの距離が第１距離となる第１範囲で生じる各推定ベクトルの大きさの合計である第１合計値と、前記第１範囲の外側に位置する第２範囲で生じる各推定ベクトルの大きさの合計である第２合計値とを比較し、
   前記第１合計値が前記第２合計値より大きいことを、前記炎候補を炎として検出する必要条件とする、
   ことを特徴とする請求項１に記載の火災監視装置。
4. 前記検出部は、
   前記炎候補の面積の時間変化があることを、前記炎候補を炎として検出する必要条件とする、
   ことを特徴とする請求項１に記載の火災監視装置。
5. 前記画像データに基づいて、検出対象の推定ベクトルを画素ごとに算出する非剛体オプティカルフロー処理を実行する非剛体オプティカルフロー実行部を備え、
   前記検出部は、
   前記推定ベクトルに基づいて角度別の頻度ヒストグラムを生成し、
   前記角度別の頻度ヒストグラムでの前記推定ベクトルの頻度の偏りの大きさを示す指標に基づいて、前記炎候補の拡散燃焼の種類が層流拡散燃焼か乱流拡散燃焼かを判断し、
   前記炎候補の面積に対して前記拡散燃焼の種類に応じた面積の妥当性を判定し、妥当であることを、前記炎候補を炎として検出する必要条件とする、
   ことを特徴とする請求項１に記載の火災監視装置。
6. 前記フィルタ処理は、
   輝度が閾値以上、前記炎に対応する画素として、前記炎の取り得る彩度の範囲内、かつ、前記炎の取り得る色相の範囲内となる画素を特定し、特定した画素については前記画像データの輝度の値、彩度の値、および色相の値を出力し、特定しない画素については、輝度の値、彩度の値、および色相の値を所定値とし、
   前記画像データの各画素の輝度のうち最大の輝度以下の値を、前記閾値として設定する設定部を、
   備えることを特徴とする請求項１から請求項５のいずれか１項に記載の火災監視装置。
7. 複数の画素からなり所定間隔で生成される画像を色相、彩度および輝度の要素で示す画像データにロバスト統計に基づく背景更新法を適用して、制御された更新時刻において背景画像データを生成し、前記背景画像データと前記画像データとの差分を示す背景差分画像データから輪郭線領域を求める輪郭線領域特定部と、
   前記画像データに基づいて、輪郭が明瞭な検出対象の動きの第１推定ベクトルを画素ごとに算出する剛体オプティカルフロー処理を実行する剛体オプティカルフロー実行部と、
   前記画像データに基づいて、検出対象の動きの第２推定ベクトルを画素ごとに算出する非剛体オプティカルフロー処理を実行する非剛体オプティカルフロー実行部と、
   前記輪郭線領域から大きさが所定値以上の前記第１推定ベクトルの存在する領域を排除し、排除した前記輪郭線領域の内部において大きさが所定値以上の前記第２推定ベクトルが存在する画素数と、排除した前記輪郭線領域の画素数とを比較することで、排除した前記輪郭線領域を煙候補として検出する検出部と、
   を備えることを特徴とする火災監視装置。
8. ｍ（ｍは４以上の整数）個のフレームの画像データのうち時間的に隣り合う画像データ同士の差分を各々算出して得たｍ−１個の差分データを加算して時系列２値化合成画像データを生成する時系列２値化合成画像生成部を、備え、
   前記検出部は、
   前記煙候補の輪郭からの距離が第２距離となる第３範囲に、前記時系列２値化合成画像データにおける差分があることを示す画素が存在し、前記輪郭の内部には前記時系列２値化合成画像データにおける差分がないことを示す画素が所定数以上存在することを、前記煙候補を煙として検出する必要条件とする、
   ことを特徴とする請求項７に記載の火災監視装置。
9. 請求項１から請求項８までのいずれか一つに記載の火災監視装置と、
   警報装置と、を含む火災監視システムであって、
   前記検出部による処理は、あるサンプリング時間における処理であり、
   前記警報装置は、
   前記検出部が所定個のサンプリング時間における処理で炎または煙を連続して検出した場合、火災警報する、
   ことを特徴とする火災監視システム。
10. 前記火災監視装置は、
    火災警報した時刻から過去の第１時刻までのサンプリング時間の画像データと、火災警報した前記時刻から未来の第２時刻までのサンプリング時間の画像データを記憶する、記憶部を、
    備えることを特徴とする請求項９に記載の火災監視システム。
11. 前記警報装置は、
    警報ブザーと、ランプと、接点とを有し、
    前記火災監視装置は、
    前記接点のＯＮまたはＯＦＦの切り替えが可能であり、
    前記警報装置は、
    前記火災監視装置によって前記接点がＯＮに設定された場合、前記警報ブザーから警報音を鳴らすとともに、前記ランプを点灯させる、
    ことを特徴とする請求項９または請求項１０に記載の火災監視システム。
12. プロセッサを備えた火災監視装置のプログラムであって、
    前記プロセッサを、
    複数の画素からなり所定間隔で生成される画像を示す画像データに基づいて、炎に対応する画素を抽出するフィルタ処理を前記画像データに施してフィルタ画像データを出力するフィルタ部、
    ｍ（ｍは４以上の整数）個のフレームの前記画像データのうち時間的に隣り合う画像データに基づいて、同一の画素の輝度の差が正の第１値以上か、前記差が負の第２値より大きく前記第１値未満か、前記差が前記第２値以下かにより３値化した３値化画像データをｍ−１個生成する３値化画像生成部、および、
    前記フィルタ画像データと、前記ｍ−１個の３値化画像データから特定した各画素の輝度変化の周期を示す周期コスト画像データとに基づいて、炎候補を検出する検出部、として機能させ、
    前記第１値の絶対値は、前記第２値の絶対値と等しい、
    ことを特徴とするプログラム。

Images