JP2017103626A - 炎検出装置および炎検出方法 - Google Patents

Abstract

【課題】種々の誤検出要因を含む様々な設置環境において炎を高精度に検出する。
【解決手段】時系列画像と基準画像を記憶する画像メモリと、１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、輝度増減特徴を算出すべき候補領域を特定するとともに移動体の境界線を含む周辺領域を特定する前処理部と、周辺領域に限定して輝度増減特徴の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、炎検出部は、時系列画像のそれぞれについて、周辺領域に含まれる画素の輝度増減の遷移状態を算出し、所定回数を超えて増減が繰り返されている場合には、抽出した移動体が炎である可能性が高いと判定する。
【選択図】図１

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎を検出する炎検出装置に関し、特に、車などの誤検出要因と識別して炎を高精度に検出するためのアルゴリズムを備えた炎検出装置および炎検出方法に関する。

火災による死亡者数が依然として途絶えておらず、火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災の早期発見が非常に重要となっている。火災は、短時間で大きくなり、被害が甚大になってしまうため、早期発見・消火を行うことで、被害を抑えることが特に重要となる。人の目視や嗅覚等による発見は、確実であるが、見えない場所で発生すると発見に遅れてしまい、監視による労働力も大きい。

そこで、火災検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、火災要因の早期発見を行うことが研究されている。２次元画像から火災を検出する方法は、これまで多種多様な方法が提案されており、実用化されているものもある。また、火災の検出対象は、炎と煙に大別されるが、炎の存在を直接検出する火災検出装置も実用化されている。

その一例として、イルミネーション等の外乱光の影響を受けることなく、確実に火災による炎を画像処理により認識する従来技術がある（例えば、特許文献１参照）。この特許文献１による炎検出装置は、警戒区域の画像データに基づいた色温度の高い領域を検出する空間色温度検出処理に加え、特定のカラー成分について位置的な変化が大きい部分の密度分布である空間周波数を解析する空間周波数検出処理を備えている。このような構成を備えることで、イルミネーション等の外乱光を区別して火災による炎を確実に認識することができ、画像処理による炎判断の信頼性を大幅に向上させることができる。

特開平１０−１２６７６５公報

しかしながら、従来技術には次のような課題がある。
炎の検出精度に悪影響を与える要因としては、イルミネーション等の外乱光以外にも、種々の要因が考えられる。また、特許文献１の技術は、大規模な空間における炎を早期発見することは困難である。そのため、種々の外乱要因の影響を抑えるとともに、広い空間における炎の早期発見を、画像処理技術を用いて高精度に検出する炎検出装置が望まれている。

また、炎を検出するために取得した画像データには、車などの移動体も混入してしまうおそれも考えられる。従って、このような誤検出要因の影響が無視できない条件下においても、炎の早期発見を、画像処理技術を用いて高精度に検出する炎検出装置が望まれている。

本発明は、上述のような課題を解決するためになされたものであり、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を得ることを目的とする。

本発明に係る火災検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる輝度増減特徴を算出すべき領域を、候補領域として特定する前処理部と、前処理部により候補領域に限定して輝度増減特徴の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、前処理部は、特定した候補領域内の各画素について、複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、時系列画像と基準画像との差分として得られる背景差分画像の積算値から、移動体の境界線を含む周辺領域を特定し、炎検出部は、次のサイクルにおいて、時系列画像のそれぞれについて、周辺領域に含まれる画素の輝度増減の遷移状態を算出し、所定回数を超えて増減が繰り返されている場合には、抽出した移動体が炎である可能性が高いと判定するものである。

また、本発明に係る炎検出方法は、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる輝度増減特徴を算出すべき領域を、候補領域として特定する前処理部と、前処理部により候補領域に限定して輝度増減特徴の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置において実行される炎検出方法であって、前処理部において、特定した候補領域内の各画素について、複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、時系列画像と基準画像との差分として得られる背景差分画像の積算値から、移動体の境界線を含む周辺領域を特定する第１ステップを有し、炎検出部において、時系列画像のそれぞれについて、周辺領域に含まれる画素の輝度増減の遷移状態を算出する第２ステップと、輝度増減の遷移状態が所定回数を超えて増減を繰り返している場合には、抽出した移動体が炎である可能性が高いと判定する第３ステップとを有するものである。

本発明によれば、候補領域の境界線を含む周辺領域における輝度増減特徴を判定指標として算出し、炎抽出閾値に対して周辺領域における輝度平均値が増減する回数が所定回数を超えると判定された移動体を炎として検出する構成を備えている。この結果、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を得ることができる。

本発明の実施の形態１における炎検出装置の構成図である。 本発明の実施の形態１における炎検出装置の前処理部による移動体画素の抽出処理に関する説明図である。 本発明の実施の形態１において、移動体が炎である場合と、移動体が車である場合に、前処理部で算出された候補領域の境界線を示す説明図である。 本発明の実施の形態１において、移動体の境界線を含む周辺領域について求めた平均輝度値の１サイクル内での変化を示した説明図である。

以下、本発明の炎検出装置および炎検出方法の好適な実施の形態につき図面を用いて説明する。
本発明は、炎特有の揺らぎを候補領域の境界線上における輝度増減特徴として定量的に抽出し、特に、移動する車などが混入している画像に対しても、炎検出の精度向上を実現することを技術的特徴とするものである。

実施の形態１．
図１は、本発明の実施の形態１における炎検出装置の構成図である。本実施の形態１における炎検出装置は、画像メモリ１０、前処理部２０、および炎検出部３０を備えている。画像メモリ１０は、カメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。

前処理部２０は、移動体抽出部２１、および候補領域生成部２２で構成される。そして、この前処理部２０は、画像メモリ１０に記憶された、カメラ１により撮像された過去一定期間（１サイクル）に含まれる各フレームの画像に基づいて、移動体と思われる部分の画素を抽出し、炎検出を行うための領域を候補領域として特定する機能を有している。さらに、前処理部２０は、輝度増減特徴を算出するための基準位置となる境界線を算出する機能も有している。

また、炎検出部３０は、輝度増減特徴算出部３１、および炎判定部３２で構成される。そして、この炎検出部３０は、前処理部２０でサイクルごとに特定された候補領域および境界線を用いて、炎の発生の有無を検出するための輝度増減読聴を算出し、算出結果に基づいて炎が発生しているか否かを判断する機能を有している。

ここで、本願発明の検出原理について、概略を説明する。
まず始めに、カメラ１から取得された画像に対して、移動体に対応する画素の抽出を行う（ステップ１）。次に、抽出された画素を元に、炎候補領域を作成するとともに、境界線を算出する（ステップ２）。次に、作成した炎候補領域内で、抽出された移動体の輝度増減特徴を、境界線を含む周辺領域について計算する（ステップ３）。そして、最後に、その輝度増減特徴の増減度合いから炎らしさを判別し、火災の判定を行うこととなる（ステップ４）。

ここで、本実施の形態１では、毎フレーム処理と毎サイクル処理に分けて行い、１サイクルを６４フレームとして処理する場合を例に説明する。本実施の形態１では、具体的には、炎候補領域を作成するまでのステップ１、２の処理を、毎フレーム処理として１サイクル分繰り返し行い、１サイクル処理した結果として抽出された炎候補領域について、次のサイクルでステップ３の輝度増減特徴の計算、およびステップ４の火災判定を行うこととなる。

そして、ステップ１の移動体抽出処理が、前処理部２０内の移動体抽出部２１で毎フレーム実行され、ステップ２の炎候補領域作成処理が、前処理部２０内の候補領域生成部２２で毎フレーム実行され、各サイクルの終了時点で、後段の炎検出部３０で使用する候補領域（最終候補領域）が特定される。また、ステップ３の指輝度増減特徴計算処理が、炎検出部３０内の輝度増減特徴算出部３１で毎サイクル実行され、ステップ４の火災判定処理が、炎検出部３０内の炎判定部３２で毎サイクル実行される。そこで、前処理部２０により毎フレーム実行される処理と、炎検出部３０により毎サイクル実行される処理に分けて、以下に説明する。

（１）前処理部２０により毎フレーム実行される処理について
前処理部２０は、カメラ１により取得されたカメラ映像から、移動している物体の抽出を行なう。図２は、本発明の実施の形態１における炎検出装置の前処理部２０による移動体画素の抽出処理に関する説明図である。なお、図２では、説明をわかりやすくするために、本来の検出対象である炎の代わりに、歩行中の人を移動体として抽出する場合を示している。さらに、この移動体が、背景よりも明るいと仮定して説明する。

図２（ａ）には、カメラ１により取り込まれる画像として、次の３つの画像が示されている。
（画像ａ１）移動体が存在しない状態の基準画像（炎が存在しない背景画像に相当）であり、例えば、プログラム起動時などにあらかじめ取得される画像に相当する。
（画像ａ２）時系列で取得される１サイクル分の画像のうち、ある時刻ｔ−１に取得された画像であり、左側に移動体が撮像された画像を例示している。
（画像ａ３）時系列で取得される１サイクル分の画像のうち、ある時刻ｔに取得された画像であり、時刻ｔ−１において左側に存在した移動体が、中央寄りに移動した状態の画像を例示している。

次に、図２（ｂ）には、図２（ａ）の３つの画像に基づいて得られる、次の２種類の差分画像が示されている。
（画像ｂ１）画像ａ２と画像ａ３の差分画像であり、時系列差分画像を示している。具体的には、時系列である時刻ｔ−１の画像ａ２と時刻ｔの画像ａ３に基づいて、両画像の対応する画素ごとに、両画素の輝度値（濃淡値）の差分の絶対値を求めることで生成される画像を、時系列差分画像と称している。
（画像ｂ２）画像ａ１と画像ａ３の差分画像であり、背景差分画像を示している。具体的には、基準画像ａ１と時刻ｔの画像ａ３に基づいて、両画像の対応する画素ごとに、両画素の輝度値の差分の絶対値を求めることで生成される画像を、背景差分画像と称している。

次に、図２（ｃ）には、図２（ｂ）の２種類の差分画像のそれぞれに対して、所定の閾値で２値化することで得られる、次の２つの２値画像が示されている。
（画像ｃ１）画像ｂ１に関して所定の閾値により２値化して得られる２値画像であり、時系列差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、炎のように揺れている場合には、時刻ｔ−１と時刻ｔの画像で、一方の時刻のみ炎と検出された画素を抽出できることとなる。
（画像ｃ２）画像ｂ２に関して所定の閾値により２値化して得られる２値画像であり、背景差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、時刻ｔの画像で、炎と検出された画素を抽出できることとなる。

次に、図２（ｄ）には、画像ｃ１と画像ｃ２の論理和をとって得られる、次の２値画像が示されている。
（画像ｄ１）時系列差分に基づく２値画像ｃ１と、背景差分に基づく２値画像ｃ２に基づいて、少なくとも一方の画像で黒の画素を黒とし、両方の画像とも白の画素を白とすることで、炎検出領域を抽出することができる。

なお、炎として検出される画素は、所定の高輝度値以上を有することが前提となる。そこで、図２（ａ）の２つの画像に基づいて、時系列差分画像ｂ１あるいは背景差分画像ｂ２を算出する際には、少なくとも一方の画像において所定の高輝度値以上を有する画素のみを抽出して差分画像を生成することで、余分な領域を最終的に炎検出領域として抽出しないようにすることができる。

そして、前処理部２０内の移動体抽出部２１は、図２（ａ）〜図２（ｃ）に示した一連処理をフレームごとに繰り返し実行する。また、前処理部２０内の候補領域生成部２２は、図２（ｄ）としてフレームごとに抽出される炎検出領域について、１サイクル分（６４サイクル分）の論理和をとることで、最終的に１サイクル処理後の炎候補領域を特定することとなる。すなわち、候補領域生成部２２は、６４サイクルの中で１回でも炎候補領域として抽出された画素を集計し、炎候補領域を特定する。

さらに、候補領域生成部２２は、画素ごとに、１サイクル内において、炎候補領域として抽出された回数（以下、この回数のことを抽出回数と称す）をカウントすることで、画素ごとの抽出回数を算出しておくことができる。すなわち、この抽出回数は、６４フレーム中何フレームで炎候補領域として特定された画素に相当するかを示す指標となる。

そして、候補領域生成部２２は、抽出回数が所定回数未満の画素を候補領域から除外することもできる。

また、候補領域生成部２２は、１サイクル中の６４フレームの中で１回でも炎候補領域として抽出された画素のうち、隣接して１つの島を形成している画素の集合に対して、外接長方形を設定することで、矩形状の領域として炎候補領域を特定することもできる。

また、本実施の形態１における候補領域生成部２２は、後段の炎検出部３０で使用するための移動体の境界線を、以下のようにして算出する。具体的には、候補領域生成部２２は、既知である判別分析法を用いて、特定された候補領域内で２値化処理を行う。このような２値化処理を実際に煙が存在している領域において行った場合には、煙が発生している領域を、中央部分と外側の部分に２分割することが可能となる。

さらに、２値化の境界線上の点を中心として、３×３の局所領域を作成し、それらの局所領域を合わせることで、境界線を含む周辺領域を作成する。なお、局所領域は、３×３画素には限定されず、ｎ×ｎ（ｎは、３以上の奇数）として規定することができる。

（２）炎検出部３０により毎サイクル実行される処理について
前処理部２０により１サイクル処理ごとに特定される炎候補領域および境界線を含む周辺領域に対して、本実施の形態１における炎検出部３０内の輝度増減特徴算出部３１は、以下のような輝度増減特徴に基づく炎判別処理を行うこととなる。
［炎判別処理］次の１サイクル内のそれぞれのフレームについて、境界線を含む周辺領域の輝度平均値を算出し、輝度平均値の１サイクル内での変化データを作成する。そして、例えば６４フレーム分の輝度平均値の変化データと、炎抽出閾値とを比較し、変化データが炎抽出閾値を超える回数を炎判別の指標値として算出する。

そして、本実施の形態１における炎検出部３０内の炎判定部３２は、輝度増減特徴算出部３１による炎判別処理で算出された指標値の大きさから、最終的に炎判定を実行する。そこで、次に、炎判別処理について、詳細を説明する。

検出対象である炎は、炎の揺らぎにより、境界線を含む周辺領域においては、発光したり消えたりすることを繰り返し、輝度がばらつく明滅現象が発生する傾向がある。一方、車などの移動体は、炎のような揺らぎはなく、輝度のばらつきが炎と比較して小さく、明滅現象が発生しにくいと考えられる。

そこで、このような炎固有の特性を利用して、炎判別処理では、境界線を含む周辺領域について、１サイクル内の平均輝度値の変化データの増減状態から炎であるか否かを判別している。以下に、平均輝度値の変化データを用いた具体的な判別方法を説明する。

図３は、本発明の実施の形態１において、移動体が炎である場合と、移動体が車である場合に、前処理部２０で算出された候補領域の境界線を示す説明図である。具体的には、図３（ａ）は、検出対象である炎に対応する境界線を示した図である。また、図３（ｂ）は、誤検出要因である車の移動に対応する境界線を示した図である。

また、図４は、本発明の実施の形態１において、移動体の境界線を含む周辺領域について求めた平均輝度値の１サイクル内での変化を示した説明図である。具体的には、図４（ａ）は、検出対象である炎による平均輝度値の変化データであり、図４（ｂ）は、誤検出要因である車の移動による平均輝度値の変化データである。

本来の検出対象である炎は、明滅現象により、１サイクル内での平均輝度値の変化が激しく、図４（ａ）においては、変化データが炎検出閾値を超える回数が４回発生している状態を例示している。

一方、誤検出要因である車の移動は、１サイクル内での平均輝度値の変化が炎と比較して緩やかであり、図４（ｂ）においては、変化データが炎検出閾値を超える回数が１回しか発生していない状態を例示している。

従って、炎判定部３２は、輝度増減特徴算出部３１により指標値として算出された、１サイクル内での輝度平均値が炎抽出閾値を超える回数が、所定の判定回数を超えた場合には、検出した移動体が炎である可能性が高いと判断する。

以上のように、実施の形態１によれば、前処理部の働きにより、直近の時系列画像データに基づいて、１サイクルごとに炎検出のための適切な候補領域、および境界線を含む周辺領域を特定できる。さらに、前のサイクルで特定された候補領域および周辺領域を用いて、次のサイクルで周辺領域における平均輝度値の輝度増減特徴に基づく判断処理を行うことで、誤検出を抑制し、かつ、炎自体の検出精度を向上させることができる。

この結果、特に、揺らぎの少ない移動体を炎と識別することができ、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置および炎検出方法を実現できる。

なお、炎判定部３２が使用する炎抽出閾値としては、あらかじめ設定しておくこともできるが、前処理部２０において境界線を求めたサイクルにおいて、１サイクル内での周辺領域における平均輝度値の平均値を採用する、あるいは、炎判定部３２により判定を行うサイクル内での周辺領域における平均輝度値の平均値を採用することもできる。

また、１サイクル内での周辺領域全体における平均輝度値の平均値ではなく、境界線を含むそれぞれの局所領域毎に炎抽出閾値を超える回数を数えてもよい。この場合には、周辺領域を構成する全ての局所領域のうち、炎抽出閾値を超えた局所領域数の割合があらかじめ設定した炎判定割合を超えた場合に、炎である可能性が高いと判断してもよい。この炎判定割合としては、例えば、５割といった値を設定することが考えられる。

１ カメラ、１０ 画像メモリ、２０ 前処理部、２１ 移動体抽出部、２２ 候補領域生成部、３０ 炎検出部、３１ 輝度増減特徴算出部、３２ 炎判定部。

Claims (6)

1. 監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、
   前記監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、
   前記画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる輝度増減特徴を算出すべき領域を、候補領域として特定する前処理部と、
   前記前処理部により前記候補領域に限定して前記輝度増減特徴の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
   を備え、
   前記前処理部は、特定した前記候補領域内の各画素について、前記複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、前記時系列画像と前記基準画像との差分として得られる背景差分画像の積算値から、前記移動体の境界線を含む周辺領域を特定し、
   前記炎検出部は、前記時系列画像のそれぞれについて、前記周辺領域に含まれる画素の輝度増減の遷移状態を算出し、所定回数を超えて増減が繰り返されている場合には、抽出した前記移動体が炎である可能性が高いと判定する
   炎検出装置。
2. 前記前処理部は、前記境界線上の画素を中心としてｎ×ｎ（ｎは、３以上の奇数）の局所領域を生成し、前記局所領域を合わせた領域を前記周辺領域として特定し、
   前記炎検出部は、前記候補領域を特定したサイクルの次のサイクルにおいて、前記時系列画像のそれぞれについて、前記周辺領域の全ての画素の輝度平均値を算出することで、前記次のサイクル内における輝度変化データを生成し、前記輝度変化データが炎抽出閾値と交差する回数が所定回数を超えた場合には、抽出した前記移動体が炎である可能性が高いと判定する
   請求項１に記載の炎検出装置。
3. 前記前処理部は、前記境界線上の画素を中心としてｎ×ｎ（ｎは、３以上の奇数）の局所領域を生成し、前記局所領域を合わせた領域を前記周辺領域として特定し、
   前記炎検出部は、前記候補領域を特定したサイクルの次のサイクルにおいて、前記時系列画像のそれぞれについて、前記局所領域のそれぞれにおける輝度平均値を算出することで、前記次のサイクル内における輝度変化データを、前記輝度増減の遷移状態として前記局所領域のそれぞれについて生成し、前記輝度変化データが炎抽出閾値と交差する回数が所定回数を超えた局所領域数をカウントし、前記局所領域数の割合があらかじめ設定した炎判定割合を超えた場合には、抽出した前記移動体が炎である可能性が高いと判定する
   請求項１に記載の炎検出装置。
4. 前記炎検出部は、前記前処理部により前記候補領域が特定されたサイクルにおいて、前記前処理部により周辺領域における平均輝度値の前記複数Ｎフレーム分の平均値として算出された値を前記炎抽出閾値として採用する
   請求項２または３に記載の炎検出装置。
5. 前記炎検出部は、前記次のサイクル内において生成した前記輝度変化データの前記複数Ｎフレーム分の平均値として算出した値を前記炎抽出閾値として採用する
   請求項２または３に記載の炎検出装置。
6. 監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、
   前記画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる輝度増減特徴を算出すべき領域を、候補領域として特定する前処理部と、
   前記前処理部により前記候補領域に限定して前記輝度増減特徴の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
   を備え、前記監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置において実行される炎検出方法であって、
   前記前処理部において、
   特定した前記候補領域内の各画素について、前記複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、前記時系列画像と前記基準画像との差分として得られる背景差分画像の積算値から、前記移動体の境界線を含む周辺領域を特定する第１ステップ
   を有し、
   前記炎検出部において、
   前記時系列画像のそれぞれについて、前記周辺領域に含まれる画素の輝度増減の遷移状態を算出する第２ステップと、
   前記輝度増減の遷移状態が所定回数を超えて増減を繰り返している場合には、抽出した前記移動体が炎である可能性が高いと判定する第３ステップと
   を有する炎検出方法。

Images