JP2015108924A - 炎検出装置および炎検出方法 - Google Patents

炎検出装置および炎検出方法 Download PDF

Info

Publication number
JP2015108924A
JP2015108924A JP2013250849A JP2013250849A JP2015108924A JP 2015108924 A JP2015108924 A JP 2015108924A JP 2013250849 A JP2013250849 A JP 2013250849A JP 2013250849 A JP2013250849 A JP 2013250849A JP 2015108924 A JP2015108924 A JP 2015108924A
Authority
JP
Japan
Prior art keywords
flame
image
time
series
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013250849A
Other languages
English (en)
Other versions
JP6166651B2 (ja
Inventor
那留 岩藤
Naru Iwado
那留 岩藤
義英 遠藤
Yoshihide Endo
義英 遠藤
寺田 賢治
Kenji Terada
賢治 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nohmi Bosai Ltd
University of Tokushima NUC
Original Assignee
Nohmi Bosai Ltd
University of Tokushima NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nohmi Bosai Ltd, University of Tokushima NUC filed Critical Nohmi Bosai Ltd
Priority to JP2013250849A priority Critical patent/JP6166651B2/ja
Publication of JP2015108924A publication Critical patent/JP2015108924A/ja
Application granted granted Critical
Publication of JP6166651B2 publication Critical patent/JP6166651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fire-Detection Mechanisms (AREA)
  • Fire Alarms (AREA)

Abstract

【課題】種々の誤検出要因を含む様々な設置環境において炎を高精度に検出する。【解決手段】時系列画像および基準画像を記憶する画像メモリ(10)と、1サイクル分の時系列画像に基づいて特徴量の抽出処理を行い、炎の発生を判断する炎検出部(30)とを備え、炎検出部は、背景差分画像と時系列差分画像に基づいてフレームごとに抽出した炎候補領域のそれぞれの平均輝度値を算出し、フレーム間の平均輝度値の差分の総和を特徴量として算出し、特徴量が所定値以下である場合には、炎候補領域には、停滞する移動体が存在し、炎が発生していないと判断する。【選択図】図1

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎を検出する炎検出装置に関し、特に、炎を高精度に検出するためのアルゴリズムを備えた炎検出装置および炎検出方法に関する。
火災による死亡者数が依然として途絶えておらず、火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災の早期発見が非常に重要となっている。火災は、短時間で大きくなり、被害が甚大になってしまうため、早期発見・消火を行うことで、被害を抑えることが特に重要となる。人の目視や嗅覚等による発見は、確実であるが、見えない場所で発生すると発見に遅れてしまい、監視による労働力も大きい。
そこで、火災検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、火災要因の早期発見を行うことが研究されている。2次元画像から火災を検出する方法は、これまで多種多様な方法が提案されており、実用化されているものもある。また、火災の検出対象は、炎と煙に大別されるが、炎の存在を直接検出する火災検出装置も実用化されている。
その一例として、イルミネーション等の外乱光の影響を受けることなく、確実に火災による炎を画像処理により認識する従来技術がある(例えば、特許文献1参照)。この特許文献1による炎検出装置は、警戒区域の画像データに基づいた色温度の高い領域を検出する空間色温度検出処理に加え、特定のカラー成分について位置的な変化が大きい部分の密度分布である空間周波数を解析する空間周波数検出処理を備えている。このような構成を備えることで、イルミネーション等の外乱光を区別して火災による炎を確実に認識することができ、画像処理による炎判断の信頼性を大幅に向上させることができる。
特開平10−126765号公報
しかしながら、従来技術には次のような課題がある。
炎の検出精度に悪影響を与える要因としては、イルミネーション等の外乱光以外にも、種々の要因が考えられる。また、特許文献1の技術は、大規模な空間における炎を早期発見することは困難である。そのため、種々の外乱要因の影響を抑えるとともに、広い空間における炎の早期発見を、画像処理技術を用いて高精度に検出する炎検出装置が望まれている。
本発明は、上述のような課題を解決するためになされたものであり、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を得ることを目的とする。
本発明に係る炎検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶する画像メモリと、画像メモリに記憶された複数Nフレーム(Nは、2以上の整数)からなる1サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、炎検出部は、複数Nフレームからなる1サイクル分の時系列画像に基づいて、時系列画像と基準画像との差分として得られる背景差分画像と、時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに炎候補領域を抽出し、フレームごとに抽出した炎候補領域のそれぞれの平均輝度値を算出し、1サイクル内におけるそれぞれの隣接フレーム間での平均輝度値の差分の総和を特徴量として算出する特徴量算出部と、特徴量算出部で算出された特徴量が所定値以下である場合に、炎候補領域には、停滞する移動体が存在し、炎ではないと判断する炎判定部とを有するものである。
また、本発明に係る炎検出方法は、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶する画像メモリと、画像メモリに記憶された複数Nフレーム(Nは、2以上の整数)からなる1サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備えた炎検出装置に用いられる炎検出方法であって、炎検出部において、複数Nフレームからなる1サイクル分の時系列画像に基づいて炎検出を行う際に、時系列画像と基準画像との差分として得られる背景差分画像と、時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに炎候補領域を抽出するステップと、フレームごとに抽出した炎候補領域のそれぞれの平均輝度値を算出し、1サイクル内におけるそれぞれの隣接フレーム間での平均輝度値の差分の総和を特徴量として算出するステップと、算出された特徴量が所定値以下である場合に、炎候補領域には、停滞する移動体が存在し、炎ではないと判断するステップとを有するものである。
本発明によれば、誤検出要因の1つである停滞する移動体に着目し、移動体の平均輝度値の変化量を特徴量として算出して炎判別を行い、停滞する移動体と炎を識別することにより、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を得ることができる。
本発明の実施の形態1における炎検出装置の構成図である。 本発明の実施の形態1における炎検出装置の前処理部による移動体画素の抽出処理に関する説明図である。 本発明の実施の形態1における炎検出処理で抽出される特徴量1に関する説明図である。 本発明の実施の形態1における特徴量1に関連した楕円一致度の説明図である。 本発明の実施の形態1における特徴量算出部による、焦点位置の補正手順に関する説明図である。 本発明の実施の形態1における炎検出処理で抽出される特徴量2に関する説明図である。 本発明の実施の形態1における特徴量算出部で抽出される弱エッジに関する説明図である。 本発明の実施の形態1における特徴量算出部で算出される弱エッジの密集度に関する説明図である。 本発明の実施の形態1における炎検出処理で抽出される特徴量3に関する説明図である。 本発明の実施の形態1における炎検出処理で抽出される特徴量4に関する説明図である。 本発明の実施の形態1における炎検出処理で抽出される特徴量5に関する説明図である。
以下、本発明の炎検出装置および炎検出方法の好適な実施の形態につき図面を用いて説明する。
本発明は、炎特有の揺らぎを捉えて炎検出を行う方式では、照明のちらつき等の、炎と同じような画素変化を示す誤報源との判別が困難であった問題を解消すべく、炎の抽出に特化した領域抽出方法と、炎が作り出す特有の形状に着目した特徴量の抽出方法とを組合せ、炎検出の精度向上を実現することを技術的特徴とするものである。
実施の形態1.
図1は、本発明の実施の形態1における炎検出装置の構成図である。本実施の形態1における炎検出装置は、画像メモリ10、前処理部20、および炎検出部30を備えている。画像メモリ10は、カメラ1により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。
前処理部20は、移動体抽出部21、および候補領域生成部22で構成される。そして、この前処理部20は、画像メモリ10に記憶された、カメラ1により撮像された過去一定期間(1サイクル)に含まれる各フレームの画像に基づいて、移動体と思われる部分の画素を抽出し、炎検出を行うための候補領域として特定する機能を有している。
また、炎検出部30は、特徴量算出部31、および炎判定部32で構成される。そして、この炎検出部30は、前処理部20でサイクルごとに特定された候補領域について、炎の発生の有無を検出するための特徴量を算出し、算出結果に基づいて炎が発生しているか否かを判断する機能を有している。
ここで、本願発明の検出原理について、概略を説明する。
まず始めに、カメラ1から取得された画像に対して、移動体に対応する画素の抽出を行う(ステップ1)。次に、抽出された画素を元に、炎候補領域を作成する(ステップ2)。次に、作成した炎候補領域内で抽出された移動体の特徴量を計算する(ステップ3)。そして、最後に、その特徴量から炎らしさを判別し、火災の判定を行うこととなる(ステップ4)。
ここで、本実施の形態1では、毎フレーム処理と毎サイクル処理に分けて行い、1サイクルを64フレームとして処理する場合を例に説明する。本実施の形態1では、具体的には、炎候補領域を作成するまでのステップ1、2の処理を、毎フレーム処理として1サイクル分繰り返し行い、1サイクル処理した結果として抽出された炎候補領域について、次のサイクルでステップ3の特徴量の計算、およびステップ4の火災判定を行うこととなる。
そして、ステップ1の移動体抽出処理が、前処理部20内の移動体抽出部21で毎フレーム実行され、ステップ2の炎候補領域作成処理が、前処理部20内の候補領域生成部22で毎フレーム実行され、各サイクルの終了時点で、後段の炎検出部30で使用する候補領域(最終候補領域)が特定される。また、ステップ3の特徴量計算処理が、炎検出部30内の特徴量算出部31で毎サイクル実行され、ステップ4の火災判定処理が、炎検出部30内の炎判定部32で毎サイクル実行される。そこで、前処理部20により毎フレーム実行される処理と、炎検出部30により毎サイクル実行される処理に分けて、以下に説明する。
(1)前処理部20により毎フレーム実行される処理について
前処理部20は、カメラ1により取得されたカメラ映像から、移動している物体の抽出を行なう。図2は、本発明の実施の形態1における炎検出装置の前処理部20による移動体画素の抽出処理に関する説明図である。なお、図2では、説明をわかりやすくするために、本来の検出対象である炎を移動体として抽出する場合をイラスト的に示している。さらに、この移動体が、背景よりも明るいと仮定して説明する。
図2(a)には、カメラ1により取り込まれる画像として、次の3つの画像が示されている。
(画像a1)移動体が存在しない状態の基準画像(炎が存在しない背景画像に相当)であり、例えば、プログラム起動時などにあらかじめ取得される画像に相当する。
(画像a2)時系列で取得される1サイクル分の画像のうち、ある時刻t−1に取得された画像であり、左側に移動体が撮像された画像を例示している。
(画像a3)時系列で取得される1サイクル分の画像のうち、ある時刻tに取得された画像であり、時刻t−1において左側に存在した移動体が、中央寄りに移動した状態の画像を例示している。
次に、図2(b)には、図2(a)の3つの画像に基づいて得られる、次の2種類の差分画像が示されている。
(画像b1)画像a2と画像a3の差分画像であり、時系列差分画像を示している。具体的には、時系列である時刻t−1の画像a2と時刻tの画像a3に基づいて、両画像の対応する画素ごとに、両画素の輝度値(濃淡値)の差分の絶対値を求めることで生成される画像を、時系列差分画像と称している。
(画像b2)画像a1と画像a3の差分画像であり、背景差分画像を示している。具体的には、基準画像a1と時刻tの画像a3に基づいて、両画像の対応する画素ごとに、両画素の輝度値の差分の絶対値を求めることで生成される画像を、背景差分画像と称している。
次に、図2(c)には、図2(b)の2種類の差分画像のそれぞれに対して、所定の閾値で2値化することで得られる、次の2つの2値画像が示されている。
(画像c1)画像b1に関して所定の閾値により2値化して得られる2値画像であり、時系列差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、炎のように揺れている場合には、時刻t−1と時刻tの画像で、一方の時刻のみ炎と検出された画素を抽出できることとなる。
(画像c2)画像b2に関して所定の閾値により2値化して得られる2値画像であり、背景差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、時刻tの画像で、炎と検出された画素を抽出できることとなる。
次に、図2(d)には、画像c1と画像c2の論理和をとって得られる、次の2値画像が示されている。
(画像d1)時系列差分に基づく2値画像c1と、背景差分に基づく2値画像c2に基づいて、少なくとも一方の画像で黒の画素を黒とし、両方の画像とも白の画素を白とすることで、炎検出領域を抽出することができる。
なお、炎として検出される画素は、所定の高輝度値以上を有することが前提となる。そこで、2つの画像に基づいて、時系列差分画像b1あるいは背景差分画像b2を算出する際には、少なくとも一方の画像において所定の高輝度値以上を有する画素のみを抽出して差分画像を生成することで、余分な領域を最終的に炎検出領域として抽出しないようにすることができる。
そして、前処理部20内の移動体抽出部21は、図2(a)〜図2(c)に示した一連処理をフレームごとに繰り返し実行する。また、前処理部20内の候補領域生成部22は、図2(d)としてフレームごとに抽出される炎検出領域について、1サイクル分(64フレーム分)の論理和をとることで、最終的に1サイクル処理後の炎候補領域を特定することとなる。すなわち、候補領域生成部22は、64フレームの中で1回でも炎候補領域として抽出された画素を集計し、炎候補領域を特定する。
さらに、候補領域生成部22は、画素ごとに、1サイクル内において、炎候補領域として抽出された回数(以下、この回数のことを抽出回数と称す)をカウントすることで、画素ごとの抽出回数を算出しておくことができる。すなわち、この抽出回数は、64フレーム中何フレームで炎候補領域として特定された画素に相当するかを示す指標となる。
そして、候補領域生成部22は、抽出回数が所定回数未満の画素を候補領域から除外することもできる。
また、候補領域生成部22は、64フレームの中で1回でも炎候補領域として抽出された画素のうち、隣接して1つの島を形成している画素の集合に対して、外接長方形を設定することで、矩形状の領域として炎候補領域を特定することもできる。
(2)炎検出部30により毎サイクル実行される処理について
前処理部20により1サイクル処理ごとに特定される炎候補領域に対して、本実施の形態1における炎検出部30内の特徴量算出部31は、以下の5つの特徴量に基づく炎判別処理を行うこととなる。
[炎判別処理1]楕円一致率を特徴量1として抽出し、炎判別を行う。
[炎判別処理2]弱エッジの割合を特徴量2として抽出し、炎判別を行う。
[炎判別処理3]重心位置の遷移の周期性を特徴量3として抽出し、炎判別を行う。
[炎判別処理4]重心位置の遷移の増加/減少状態を特徴量4として抽出し、炎判別を行う。
[炎判別処理5]平均輝度の変化量を特徴量5として抽出し、炎判別を行う。
そして、本実施の形態1における炎検出部30内の炎判定部32は、特徴量算出部31による炎判別処理1〜5の結果を統合処理して、最終的に炎判定を実行する。そこで、次に、炎判別処理1〜5のそれぞれについて、詳細を説明する。
[炎判別処理1]楕円一致率を特徴量1として抽出し、炎判別を行う方法について
検出対象である炎は、例えば人の移動など、他の移動体とは異なり、楕円形状に近い形として画像認識される傾向にある。そこで、炎判別処理1では、特定された候補領域内に存在する移動体の画素データに対応する楕円形を抽出し、抽出した楕円形の領域に対して、炎候補領域として特定された画素が含まれている割合を楕円一致率として算出し、この楕円一致率の大きさが所定一致率以上である場合に、移動体として検出したものが炎であると判別している。そこで、以下に、具体的な判別方法を説明する。
楕円とは、「2定点からの距離の和が一定となるような点の集合から作られる曲線」と定義される。そこで、炎検出部30内の特徴量算出部31は、候補領域生成部22によって特定された炎候補領域に基づいて、以下の手順で楕円形の計測領域を抽出する。
(手順1)特徴量算出部31は、前回のサイクルで特定された炎候補領域において、今回のサイクルにおける各フレームで移動体の抽出を行う。移動体の抽出は、前処理部20による候補領域の特定と同様に、時系列差分画像および背景差分画像に基づいて行う。さらに、炎候補領域内の各画素について、1サイクル内でいくつのフレームで移動体として抽出されたかを、抽出回数としてカウントする。そして、特徴量算出部31は、抽出回数に応じて階調分けする。例えば、最低が0回、最大が64回としてカウントされる抽出回数について、例えば、以下のような8階調に分けることが考えられる。
1階調目:抽出回数0〜8
2階調目:抽出回数9〜16

8階調目:抽出回数57〜64
図3は、本発明の実施の形態1における炎検出処理で抽出される特徴量1に関する説明図である。図3(a)では、階調分けした結果を色分け表示した具体例を示している。
なお、上述した階調分けは一例に過ぎず、任意の階調数に分割でき、各階調に含まれる抽出回数も任意の範囲を設定可能である。
(手順2)特徴量算出部31は、抽出回数が最大である領域(図3(a)で最も内側の色として特定された領域に相当)と、抽出回数が最小である領域(図3(a)で最も外側の色として特定された領域に相当)に対して、下式(1)を用いて重心を求める。具体的には、それぞれの領域ごとに、領域内の画素について、X座標、Y座標それぞれの平均を計算することで求まった重心位置を、焦点の座標としている。
Figure 2015108924
(手順3)特徴量算出部31は、抽出回数が最大である領域について算出された焦点を焦点Aとし、抽出回数が最小である領域について算出された焦点を焦点Bとする。図3(b)に、算出された焦点A、焦点Bの位置を例示している。そして、特徴量算出部31は、抽出回数が最小である領域に含まれる画素について、下式(2)を用いることで、焦点Aと焦点Bからの距離の和の平均を求め、楕円の半径とする。
Figure 2015108924
なお、上式(1)、(2)における変数は、それぞれ以下の内容である。
F_x:重心位置のX座標
F_y:重心位置のY座標
Px:領域に含まれる画素のX座標
Py:領域に含まれる画素のy座標
Pn:領域内に含まれる画素総数
FAx:焦点AのX座標
FAy:焦点AのY座標
FBx:焦点BのX座標
FBy:焦点BのY座標
i:X座標の変数
j:Y座標の変数
炎は、楕円のような形をしながら激しく燃えるが、人が移動した場合などでは、炎による楕円形状とは異なる複雑な形をしている傾向にある。そこで、特徴量算出部31は、炎候補領域内の抽出回数が1以上の画素について、上式(1)(2)で規定される楕円の中に存在するか、外に存在するかを判別する。そして、下式(3)を用いて、楕円の一致度を算出する。
Figure 2015108924
そして、特徴量算出部31は、上式(3)で求めた一致度が、所定の許容一致度以上である場合には、炎検出領域内で検出された移動体は、炎であると判断することができる。図4は、本発明の実施の形態1における特徴量1に関連した楕円一致度の説明図である。図4(a)における黒塗りの領域は、炎候補領域のうち、上式(1)(2)で規定される楕円の内側領域を示している。また、図4(b)における黒塗りの領域は、炎候補領域のうち、上式(1)(2)で規定される楕円の外側領域を示している。
また、図4(c)は、炎が発生している状態での、各サイクルで算出された一致度の遷移と、人が移動している状態での、各サイクルで算出された一致度の遷移との比較を示している。図4(c)からもわかるように、特徴量1として楕円の一致度に着目することで、炎と、例えば人の移動のような炎以外の移動体とを識別することが可能となる。
なお、上述した図4に基づく焦点算出では、変化画素の抽出回数が最小および最大の領域に対して重心を求め、それらの2点を焦点として楕円領域を作成することで,楕円領域と移動体としての抽出領域との一致度を特徴量1として求めていた。しかしながら、炎の形によっては、この手法では、適切に楕円領域を作成することができない場合もあった。
そこで、このような場合には、焦点の補正を行うことで、楕円領域の作成を改善することが考えられる。図5は、本発明の実施の形態1における特徴量算出部31による、焦点位置の補正手順に関する説明図である。この図5を用いて、焦点位置の補正手順を説明する。
(補正手順1)まず始めに、特徴量算出部31は、楕円の長軸を楕円の中点に関して時計回りと反時計回りに所定角度(例えば、10度)ずつ回転させる(図5(a)参照)。
(補正手順2)次に、特徴量算出部31は、回転させた2本の直線で囲まれる領域(2本の直線で挟まれた領域)に含まれる画素に限定して、上式(1)を用いて新しい重心を求める。その際には、楕円の中心から距離が大きくなるほど重みを大きく付加する(図5(b)参照)。
(補正手順3)最後に、特徴量算出部31は、新たに求まった2つの重心に関して、抽出回数が最小である領域に含まれる画素について、上式(2)を用いることで、新たに求まった焦点Aと焦点Bからの距離の和の平均を求め、楕円の半径とする(図5(c)参照)。
このような補正手順1〜3を実行することにより、焦点A、焦点Bがより外側に設定されることとなり、炎のより多くの部分を、新たに規定した楕円内に納めることができる。この結果、上式(3)による一致度を高めることができ、特徴量1に基づく判別精度を向上させることができる。
[炎判別処理2]弱エッジの割合を特徴量2として抽出し、炎判別を行う方法について
図6は、本発明の実施の形態1における炎検出処理で抽出される特徴量2に関する説明図である。上段の図6(a)(b)は、炎を撮像した際の元画像とエッジ検出結果を示している。また、下段の図6(c)(d)は、誤検出要因である人の移動を撮像した際の元画像とエッジ検出結果を示している。
図6(a)(b)に示すように、炎は、激しい光を発しながら燃えるので、高輝度の領域が密集し、その結果、炎の内部では、弱いエッジが密集する傾向にある。一方、図6(c)(d)に示すように、人の移動では、このような傾向は見られない。
そこで、炎判別処理2では、特定された候補領域内に存在する移動体のエッジの密集度を算出し、所定値以下の弱いエッジで構成されている場合に、移動体として検出したものが炎であると判別している。そこで、以下に、具体的な判別方法を説明する。
(手順1)特徴量算出部31は、弱エッジの密集度を求めるために、まず、弱いエッジの抽出を行う。本実施の形態1では、一例として、エッジ強度が15以下のエッジを弱エッジとする。図7は、本発明の実施の形態1における特徴量算出部31で抽出される弱エッジに関する説明図である。具体的には、図7(a)のエッジ検出結果に対して、炎候補領域内の弱エッジを抽出した結果が、図7(b)に示されている。
(手順2)続いて、特徴量算出部31は、弱エッジとして抽出された画素の密集度を求める。まず、特徴量算出部31は、画像全体に対してラスタ走査を行い、抽出された弱エッジの画素があれば、その画素を中心として5×5の小領域を設定し、小領域内部に存在する弱エッジとして抽出された画素数を求める。なお、小領域のサイズは、5×5に限定されず、弱エッジ画素を中心に(2m+1)×(2m+1)の小領域(mは、1以上の整数)を設定することが可能である。
図8は、本発明の実施の形態1における特徴量算出部31で算出される弱エッジの密集度に関する説明図である。図8(a)は、先の図7(b)と同様の、弱エッジ検出結果を示している。また、図8(b)は、図8(a)中の弱エッジとして検出された領域のうち、左上の5×5の小領域を含む拡大図を示している。図8(b)では、5×5の小領域に、弱エッジとして抽出された画素が12個含まれている場合を例示している。
(手順3)最後に、特徴量算出部31は、全ての弱エッジ画素に対して、小領域内部に存在する弱エッジとして抽出された画素数を求め、その平均値を、弱エッジの密集度とする。そして、特徴量算出部31は、この密集度が所定の閾値(例えば15画素)以上である場合には、炎検出領域内で検出された移動体は、炎であると判断することができる。
[炎判別処理3]重心位置の遷移の周期性を特徴量3として抽出し、炎判別を行う方法について
この炎判別処理3では、誤検出要因である回転灯を移動体として抽出した場合に、炎と区別する方法について説明する。抽出された移動体が回転灯の場合、フレームごとに算出される移動体の重心位置は、炎に比べて、強い周期性を持った推移が得られる。図9は、本発明の実施の形態1における炎検出処理で抽出される特徴量3に関する説明図である。
具体的には、図9(a)は、3個の回転灯が点滅するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、X座標とY座標に分けて示したものである。また、図9(b)は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、X座標とY座標に分けて示したものである。
また、図9(c)は、回転灯を移動体として抽出した際の図9(a)の重心位置の遷移に対して、離散フーリエ変換を施した結果を、X座標とY座標に分けて示したものである。さらに、図9(d)は、炎を移動体として抽出した際の図9(b)の重心位置の遷移に対して、離散フーリエ変換を施した結果を、X座標とY座標に分けて示したものである。
炎判別処理3では、重心推移の周期性を定量的に評価するために、離散フーリエ変換を用いている。離散フーリエ変換とは、ある波形を綺麗な正弦波の集まりに分解することである。入力された波形が綺麗な波形をしていれば、ある周波数帯でのみ強いスペクトルが得られることとなる。そこで、以下に、具体的な判別方法を説明する。
(手順1)特徴量算出部31は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、上式(1)を用いて、重心位置を算出する。その結果に基づく重心の遷移状態を示したものが、図9(a)(b)に相当する。
(手順2)次に、特徴量算出部31は、手順1で求めた重心位置の遷移データに対して、離散フーリエ変換を行う。周波数と振幅スペクトルの関係をグラフに示した結果が、図9(c)(d)に相当する。なお、図9(c)(d)では、一例として、64フレーム分(1サイクル分)のデータに対して、離散フーリエ変換を行っている。
(手順3)最後に、特徴量算出部31は、手順2の離散フーリエ変換の結果に基づいて、平均振幅スペクトルと最大振幅スペクトルを求める。さらに、特徴量算出部31は、下式(4)を用いることで、最大のスペクトルが他のスペクトルに対してどれくらい大きいかを、特徴量3として算出する。
Figure 2015108924
この特徴量3の値が大きくなると、周期性が強くなると考えられる。そこで、特徴量算出部31は、特徴量3が一定以上の値になると周期性が強いと判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の回転灯であると判断でき、誤報を抑制することができる。
[炎判別処理4]重心位置の遷移の増加/減少状態を特徴量4として抽出し、炎判別を行う方法について
この炎判別処理4では、誤検出要因である人や車を移動体として抽出した場合に、炎と区別する方法について説明する。抽出された移動体が人や車などといった場合には、これらの移動体は直進移動する場合が多く、重心位置の推移が単調増加または単調減少する傾向にある。一方、抽出された移動体が炎の場合には、炎の揺らぎに伴って、重心位置の推移が増加したり減少したりする傾向にある。図10は、本発明の実施の形態1における炎検出処理で抽出される特徴量4に関する説明図である。
具体的には、図10(a)は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、X座標とY座標に分けて示したものである。また、図10(b)は、人が移動するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、X座標とY座標に分けて示したものである。特徴量算出部31による具体的な判別方法を、以下に説明する。
(手順1)特徴量算出部31は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、上式(1)を用いて、重心位置を算出する。その結果に基づく重心の遷移状態を示したものが、図10(a)(b)に相当する。
(手順2)次に、特徴量算出部31は、手順1で求めた重心位置の遷移データに基づいて、下式(5)に従って、特徴量4を算出する。
Figure 2015108924
この特徴量4の値が大きくなると、単調増加、あるいは単調減少の傾向が強いと考えられる。そこで、特徴量算出部31は、特徴量4が一定以上の値になると、重心位置が単調増加あるいは単調減少していると判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の人または車などの直進移動体であると判断でき、誤報を抑制することができる。
[炎判別処理5]平均輝度の変化量を特徴量5として抽出し、炎判別を行う方法について
この炎判別処理5では、誤検出要因である人や車を移動体として抽出した場合に、炎と区別する方法について、先の炎判別処理4とは異なる方法を説明する。抽出された移動体が人や車などであり、かつその場で留まっている場合には、画素に変化があまりないため、輝度値の変化が緩やかになる。一方、抽出された移動体が炎の場合には、激しく燃える状態の画像により、輝度変化が大きくなる傾向にある。図11は、本発明の実施の形態1における炎検出処理で抽出される特徴量5に関する説明図である。
具体的には、図11(a)は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した輝度平均値の遷移を示したものである。また、図10(b)は、人が移動するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した輝度平均値の遷移を示したものである。特徴量算出部31による具体的な判別方法を、以下に説明する。
(手順1)特徴量算出部31は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、下式(6)を用いて、1サイクルにおける輝度値変化量の総和を、特徴量5として求める。
Figure 2015108924
(手順2)次に、特徴量算出部31は、手順1で求めた特徴量5が、所定量以下である場合には、1サイクル内で算出された各フレームの平均輝度値の変化が少ないと判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の人または車などが留まっている状態であると判断でき、誤報を抑制することができる。
以上のように、実施の形態1によれば、前処理部の働きにより、直近の時系列画像データに基づいて、1サイクルごとに炎検出のための適切な候補領域を特定できる。さらに、前のサイクルで特定された候補領域について、次のサイクルで特徴量1〜特徴量5に基づく判断処理を行うことで、誤検出を抑制し、かつ、炎自体の検出精度を向上させることができる。この結果、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を実現できる。
なお、本願発明の炎検出部30内の炎判定部32は、特徴量算出部31による炎判別処理1〜5の結果を統合処理して、最終的に炎判定を実行しているが、たとえば各特徴量に重み付けを行うことで感度を変更してもよく、さらに言えば、各特徴量の少なくとも一つで所定の閾値を超えたときに炎であると判定してもよい。
1 カメラ、10 画像メモリ、20 前処理部、21 移動体抽出部、22 候補領域生成部、30 炎検出部、31 特徴量算出部、32 炎判定部。

Claims (3)

  1. 監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、
    前記監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶する画像メモリと、
    前記画像メモリに記憶された複数Nフレーム(Nは、2以上の整数)からなる1サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
    を備え、
    前記炎検出部は、前記複数Nフレームからなる1サイクル分の時系列画像に基づいて、
    前記時系列画像と前記基準画像との差分として得られる背景差分画像と、前記時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに炎候補領域を抽出し、フレームごとに抽出した前記炎候補領域のそれぞれの平均輝度値を算出し、前記1サイクル内におけるそれぞれの隣接フレーム間での平均輝度値の差分の総和を特徴量として算出する特徴量算出部と、
    前記特徴量算出部で算出された前記特徴量が所定値以下である場合に、前記炎候補領域には、停滞する移動体が存在し、炎ではないと判断する炎判定部と
    を有する炎検出装置。
  2. 請求項1に記載の炎検出装置において、
    前記特徴量算出部は、
    (処理1)前記基準画像と前記1サイクル分の時系列画像のうちのn(nは、2以上N以下の整数)番目の画像について対応する画素の差分の絶対値を算出することで前記背景差分画像を生成し、
    (処理2)前記1サイクル分の時系列画像のうちのn番目の画像と(n−1)番目の画像について対応する画素の差分の絶対値を算出することで前記時系列差分画像を生成し、
    (処理3)あらかじめ決められた2値化閾値に基づいて、前記背景差分画像および前記時系列差分画像のそれぞれを2値化することで、前記2値化閾値以上の差分値を有する画素の集合として構成される背景差分2値画像および時系列差分2値画像を生成し、
    (処理4)前記背景差分2値画像および前記時系列差分2値画像の論理和をとることで、前記炎候補領域を抽出し、
    (処理5)nを2からNまで順次変化させて処理1〜処理4を実行することで、前記炎候補領域の抽出を(N−1)回実行し、(N−1)回分の前記炎検出領域のそれぞれの平均輝度値を算出し、
    (処理6)前記1サイクル内におけるそれぞれの隣接フレーム間での平均輝度値の差分の総和を特徴量として算出する
    炎検出装置。
  3. 監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶する画像メモリと、
    前記画像メモリに記憶された複数Nフレーム(Nは、2以上の整数)からなる1サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
    を備えた炎検出装置に用いられる炎検出方法であって、
    前記炎検出部において、前記複数Nフレームからなる1サイクル分の時系列画像に基づいて炎検出を行う際に、
    前記時系列画像と前記基準画像との差分として得られる背景差分画像と、前記時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに炎候補領域を抽出するステップと、
    フレームごとに抽出した前記炎候補領域のそれぞれの平均輝度値を算出し、前記1サイクル内におけるそれぞれの隣接フレーム間での平均輝度値の差分の総和を特徴量として算出するステップと、
    算出された前記特徴量が所定値以下である場合に、前記炎候補領域には、停滞する移動体が存在し、炎ではないと判断するステップと
    を有する炎検出方法。
JP2013250849A 2013-12-04 2013-12-04 炎検出装置および炎検出方法 Active JP6166651B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013250849A JP6166651B2 (ja) 2013-12-04 2013-12-04 炎検出装置および炎検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250849A JP6166651B2 (ja) 2013-12-04 2013-12-04 炎検出装置および炎検出方法

Publications (2)

Publication Number Publication Date
JP2015108924A true JP2015108924A (ja) 2015-06-11
JP6166651B2 JP6166651B2 (ja) 2017-07-19

Family

ID=53439238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250849A Active JP6166651B2 (ja) 2013-12-04 2013-12-04 炎検出装置および炎検出方法

Country Status (1)

Country Link
JP (1) JP6166651B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919120A (zh) * 2019-03-15 2019-06-21 江苏鼎集智能科技股份有限公司 一种基于近红外光谱成像的火焰检测方法
WO2019181957A1 (ja) * 2018-03-20 2019-09-26 パナソニックIpマネジメント株式会社 火炎検知システム、報知システム、火炎検知方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI684607B (zh) 2018-09-20 2020-02-11 國立清華大學 嵌段共聚物及其製備方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188169A (ja) * 1996-12-26 1998-07-21 Nohmi Bosai Ltd 火災検出装置
JP2000101987A (ja) * 1998-09-18 2000-04-07 Oki Electric Ind Co Ltd 火災検知装置
JP2004157979A (ja) * 2002-09-09 2004-06-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム
JP2006293646A (ja) * 2005-04-08 2006-10-26 Nohmi Bosai Ltd 画像処理装置
JP2007272532A (ja) * 2006-03-31 2007-10-18 Nohmi Bosai Ltd 火災検出装置
JP2010097265A (ja) * 2008-10-14 2010-04-30 Nohmi Bosai Ltd 煙検出装置
JP2010238028A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 火災検出システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188169A (ja) * 1996-12-26 1998-07-21 Nohmi Bosai Ltd 火災検出装置
JP2000101987A (ja) * 1998-09-18 2000-04-07 Oki Electric Ind Co Ltd 火災検知装置
JP2004157979A (ja) * 2002-09-09 2004-06-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム
JP2006293646A (ja) * 2005-04-08 2006-10-26 Nohmi Bosai Ltd 画像処理装置
JP2007272532A (ja) * 2006-03-31 2007-10-18 Nohmi Bosai Ltd 火災検出装置
JP2010097265A (ja) * 2008-10-14 2010-04-30 Nohmi Bosai Ltd 煙検出装置
JP2010238028A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 火災検出システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181957A1 (ja) * 2018-03-20 2019-09-26 パナソニックIpマネジメント株式会社 火炎検知システム、報知システム、火炎検知方法、及びプログラム
CN111868795A (zh) * 2018-03-20 2020-10-30 松下知识产权经营株式会社 火焰检测系统、报告系统、火焰检测方法和程序
JPWO2019181957A1 (ja) * 2018-03-20 2021-03-18 パナソニックIpマネジメント株式会社 火炎検知システム、報知システム、火炎検知方法、及びプログラム
JP7002043B2 (ja) 2018-03-20 2022-01-20 パナソニックIpマネジメント株式会社 火炎検知システム、報知システム、火炎検知方法、及びプログラム
CN109919120A (zh) * 2019-03-15 2019-06-21 江苏鼎集智能科技股份有限公司 一种基于近红外光谱成像的火焰检测方法

Also Published As

Publication number Publication date
JP6166651B2 (ja) 2017-07-19

Similar Documents

Publication Publication Date Title
US8498449B2 (en) Eye detecting device, eye detecting method, and program
US20190197313A1 (en) Monitoring device
JP6322128B2 (ja) 煙検出装置および煙検出方法
JP7143174B2 (ja) 煙検出装置及び煙識別方法
JP6372854B2 (ja) 煙検出装置および煙検出方法
JP6617015B2 (ja) 炎検出装置および炎検出方法
JP6166651B2 (ja) 炎検出装置および炎検出方法
CN109034038B (zh) 一种基于多特征融合的火灾识别装置
JP6138036B2 (ja) 炎検出装置
JP6166650B2 (ja) 炎検出装置および炎検出方法
JP6140599B2 (ja) 炎検出装置
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
Khan et al. Machine vision based indoor fire detection using static and dynamic features
JP6386352B2 (ja) 煙検出装置
JP7404747B2 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP6074304B2 (ja) 煙検出装置および煙検出方法
JP6664689B2 (ja) 炎検出装置
JP5261546B2 (ja) 煙検出装置
JP2015108922A (ja) 炎検出装置および炎検出方法
JP6593791B2 (ja) 炎検出装置および炎検出方法
JP2010218046A (ja) 煙検出装置
JP6042316B2 (ja) 炎検出装置および炎検出方法
CN111353350A (zh) 一种基于组合传感器图像融和技术的火焰检测与定位方法
JP6457728B2 (ja) 層流煙検出装置および層流煙検出方法
KR101715247B1 (ko) 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151126

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20151126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170623

R150 Certificate of patent or registration of utility model

Ref document number: 6166651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250