JP2015197788A - 層流煙検出装置および層流煙検出方法 - Google Patents

Abstract

【課題】誤報源の影響を抑制し、検出精度の向上を図る。
【解決手段】事前準備時に、複数の層流煙画像および複数の誤報源画像を対象画像として記憶するとともに基準画像を記憶し、監視時に撮像された監視対象画像を記憶する画像メモリ（１０）と、対象画像ごとに基準画像との類似度を示すＬＢＰ特徴量を算出する特徴量抽出部（２０ａ）と、複数の層流煙画像について算出されたＬＢＰ特徴量に関する層流煙特徴量ヒストグラムを作成するとともに、複数の誤報源画像について算出されたＬＢＰ特徴量に関する誤報源特徴量ヒストグラムを作成する特徴量ヒストグラム作成部（３１）と、監視対象画像に対して算出されたＬＢＰ特徴量と、層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラムとの相関関係から、監視対象画像において層流煙が発生しているか否かを判断する層流煙判定部（３２）とを備える。
【選択図】図１

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する技術に関し、特に、火災により層をなして流れていく煙（以下、層流煙と称す）の検出に適した層流煙検出装置および層流煙検出方法に関する。

火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。

その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像（基準画像）をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している（例えば、特許文献１参照）。

また、日照などの影響により基準画像が時間的に変化することに対応するために、基準画像を定期的に更新することが行われている。

このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の２点のメリットが得られる。
１）監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
２）すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。

特許第３９０９６６５号公報

しかしながら、従来技術には次のような課題がある。
監視カメラの画像は、常に照明条件や視野が安定している環境で撮像されることが好ましい。しかしながら、監視場所によっては、必ずしもこのような好条件下ばかりでなく、監視範囲内には、人などの移動物が往来する場所、あるいは日照条件等が時間とともに変化する場所などがあり、これらが誤報源となる。

従来技術においては、このような監視に適さないエリア（すなわち、誤報源が存在するエリア）に関して部分的に発生した輝度変化に対しても、煙が発生していないにもかかわらず、輝度差分結果から煙が発生したと誤検出してしまう可能性がある。また、監視に適さない、誤報源が存在するエリアは、煙検出を行わないようにマスキングしてしまうことも考えられるが、監視可能範囲が限定されてしまう結果となってしまう。

さらに、本発明の検出対象である層流煙の色は、透過性があり、カメラ側から見て、層流煙の向こう側にある風景（背景）が見えるという特徴がある。従って、撮像画像と基準画像との差分画像に基づく単純な検出方法では、過検出あるいは誤検出となってしまい、層流煙の検出に適した画像処理方法の確立が望まれている。

本発明は、上述のような課題を解決するためになされたものであり、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置および層流煙検出方法を得ることを目的とする。

本発明に係る層流煙検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置であって、事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および層流煙および誤報源がともに存在しない基準画像を記憶するとともに、監視時に、監視カメラにより撮像された監視対象画像を記憶する画像メモリと、画像メモリ内に記憶された画像ごとに、注目画素と前記注目画素の上下左右の４近傍の周囲画素、あるいは、前記注目画素と前記注目画素の左上、右上、左下、右下の４近傍の周囲画素でなる５画素の領域を順次スキャンし、それぞれの領域ごとに、注目画素の輝度に対する４近傍の周囲画素の輝度の大小関係を示す４ビットからなるローカルバイナリパターンデータを算出し、複数の層流煙画像、複数の誤報源画像、および監視対象画像の中のいずれか１つを対象画像として算出した第１のローカルバイナリパターンデータと、基準画像に対して算出した第２のローカルバイナリパターンデータとの排他的論理和をとり、一致したビット数を計数することで注目画素ごとに類似度を算出し、対象画像のそれぞれについて画像内の全ての注目画素に対応する類似度の平均値を算出することでＬＢＰ特徴量を算出する特徴量抽出部と、事前準備時に画像メモリに記憶された複数の層流煙画像のそれぞれを対象画像として特徴量抽出部により算出されたＬＢＰ特徴量について、複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成するとともに、事前準備時に画像メモリに記憶された複数の誤報源画像のそれぞれを対象画像として特徴量抽出部により算出されたＬＢＰ特徴量について、複数の誤報源画像に関する誤報源特徴量ヒストグラムを作成する特徴量ヒストグラム作成部と、監視時に画像メモリに記憶された監視対象画像を対象画像として特徴量抽出部により算出されたＬＢＰ特徴量と、特徴量ヒストグラム作成部により作成された層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラムとの相関関係から、監視時に撮像された監視対象画像において層流煙が発生しているか否かを判断する層流煙判定部とを備えるものである。

また、本発明に係る層流煙検出方法は、監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置であって、事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および層流煙および誤報源がともに存在しない基準画像を画像メモリに記憶するとともに、監視時に、監視カメラにより撮像された監視対象画像を画像メモリに記憶する記憶ステップと、画像メモリ内に記憶された画像ごとに、注目画素と前記注目画素の上下左右の４近傍の周囲画素、あるいは、前記注目画素と前記注目画素の左上、右上、左下、右下の４近傍の周囲画素でなる５画素の領域を順次スキャンし、それぞれの領域ごとに、注目画素の輝度に対する４近傍の周囲画素の輝度の大小関係を示す４ビットからなるローカルバイナリパターンデータを算出し、複数の層流煙画像、複数の誤報源画像、および監視対象画像の中のいずれか１つを対象画像として算出した第１のローカルバイナリパターンデータと、基準画像に対して算出した第２のローカルバイナリパターンデータとの排他的論理和をとり、一致したビット数を計数することで注目画素ごとに類似度を算出し、対象画像のそれぞれについて画像内の全ての注目画素に対応する類似度の平均値を算出することでＬＢＰ特徴量を算出する特徴量抽出ステップと、事前準備時に画像メモリに記憶された複数の層流煙画像のそれぞれを対象画像として特徴量抽出ステップにより算出されたＬＢＰ特徴量について、複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成するとともに、事前準備時に画像メモリに記憶された複数の誤報源画像のそれぞれを対象画像として特徴量抽出ステップにより算出されたＬＢＰ特徴量について、複数の誤報源画像に関する誤報源特徴量ヒストグラムを作成する特徴量ヒストグラム作成ステップと、監視時に画像メモリに記憶された監視対象画像を対象画像として特徴量抽出ステップにより算出されたＬＢＰ特徴量と、特徴量ヒストグラム作成ステップにより作成された層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラムとの相関関係から、監視時に撮像された監視対象画像において層流煙が発生しているか否かを判断する層流煙判定ステップとを備えるものである。

本発明によれば、注目画素と周囲画素との類似関係の指標となるＬＢＰ特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時の画像に対して算出したＬＢＰ特徴量との相関関係により、層流煙の発生の有無を判断することにより、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置および層流煙検出方法を得ることができる。

本発明の実施の形態１における層流煙検出装置の構成図である。 本発明の実施の形態１における層流煙検出装置の特徴量ヒストグラム作成部において、層流煙と誤報源のそれぞれについて複数の画像に対して算出した特徴量ヒストグラムを示す例示図である。 本発明の実施の形態２における層流煙検出装置の構成図である。 本発明の実施の形態２における特徴量であるローカルバイナリパターン（ＬＢＰ）に関する説明図である。 本発明の実施の形態２におけるＬＢＰデータに基づく特徴量の算出処理に関する説明図である。 本発明の実施の形態２における層流煙検出装置の特徴量ヒストグラム作成部において、層流煙と誤報源のそれぞれについての複数の画像に対して算出した特徴量ヒストグラムを示す例示図である。 本発明の実施の形態３における２つの特徴量に基づく標本の一例を示した図である。 本発明の実施の形態３におけるＡグループ、Ｂグループの分布状態、中心位置、および未知の点を、特徴量１をＸ軸、特徴量２をＹ軸として記載した図である。 本発明の実施の形態３におけるＡグループ、Ｂグループの分布状態、中心位置、および未知の点を、特徴量１をＸ軸、特徴量２をＹ軸として記載した、図８とは異なる図である。

以下、本発明の層流煙検出装置および層流煙検出方法の好適な実施の形態につき、図面を用いて説明する。

実施の形態１．
本実施の形態１においては、輝度ヒストグラム（濃淡ヒストグラム）を用いたテクスチャ解析に基づいて、層流煙の検出精度を向上させる方法について説明する。

テクスチャとは、規則的な濃淡変化が表す模様のことを意味している。そして、検出対象である層流煙には，細かな粒子による独特なテクスチャがある．そこで、本実施の形態１では、撮像された画像について、特徴量としてテクスチャを検出して解析することで、層流煙か否かの判断を行っている。

層流煙であるか否かの判断に当たって、テクスチャを特徴づける何らかの数量化が必要となり、これを、テクスチャ特徴と呼ぶ。テクスチャ特徴は、濃淡ヒストグラム、フーリエパワースペクトル、ランレングス行列、同時生起行列などを計測して得られる。そして、本実施の形態１では、濃淡ヒストグラムから計測されるテクスチャ特徴に着目している。

図１は、本発明の実施の形態１における層流煙検出装置の構成図である。本実施の形態１における層流煙検出装置は、画像メモリ１０、特徴量抽出部２０、および層流煙発生検出部３０を備えている。画像メモリ１０は、カメラ１により撮像された画像を記憶できるように、複数フレーム分の画像メモリとして構成されている。具体的には、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および監視時に撮像された監視対象画像が、画像メモリ１０内に記憶できる構成となっており、各画像の詳細については、後述する。

特徴量抽出部２０は、輝度ヒストグラム作成部２１、およびテクスチャ特徴量算出部２２で構成される。そして、特徴量抽出部２０は、画像メモリ１０に記憶された、カメラ１により撮像された画像に関して、複数のテクスチャ特徴量を算出する機能を有している。

そして、特徴量抽出部２０は、事前準備段階においては、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像（複数の層流煙画像および複数の誤報源画像）に対して、複数のテクスチャ特徴量を算出する。また、層流煙の監視時には、監視空間で撮像された実際の画像（監視対象画像）に対して、複数のテクスチャ特徴量を算出する。

また、層流煙発生検出部３０は、特徴量ヒストグラム作成部３１、および層流煙判定部３２で構成される。そして、層流煙発生検出部３０は、事前準備段階において、特徴量抽出部２０により、複数の画像について算出された層流煙および誤報源の各テクスチャ特徴量について、特徴量ヒストグラムを作成する。

さらに、層流煙発生検出部３０は、監視時において、特徴量抽出部２０により生成された複数のテクスチャ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。

そこで、このような図１の構成に基づく、事前準備段階および実際の監視時を含めた層流煙検出のための一連の処理手順について、以下に詳細に説明する。

手順１：濃淡ヒストグラムの算出
特徴量抽出部２０内の輝度ヒストグラム作成部２１は、画像メモリ１０に記憶された画像の、テクスチャ特徴を計測したい画像領域に対して、濃淡ヒストグラムＨ（ｌ）（ｌ＝０、１、２、・・・、Ｌ−１）を求める。ここで、ｌは、濃淡レベルに相当し、２５６階調の場合には、Ｌ＝２５６、ｌ＝０、１、・・・、２５５となる。

手順２：濃淡ヒストグラムの正規化
さらに、輝度ヒストグラム作成部２１は、画像領域の画素数で各濃淡レベルの頻度Ｈ（ｌ）を割り、総画素数が１．０になるように正規化し、Ｐ（ｌ）とする。ここで、正規化するのは、テクスチャ特徴が計測する領域の面積に依存しないようにするためである。

手順３：テクスチャ特徴量の算出
特徴量抽出部２０内のテクスチャ特徴量算出部２２は、輝度ヒストグラム作成部２１により正規化された頻度Ｐ（ｌ）に基づいて、以下の５つのテクスチャ特徴量を算出する。

［テクスチャ特徴量１］平均
下式（１）により、テクスチャ特徴量１として、濃淡レベルの平均を算出する。この平均値は、画像領域内の濃淡レベルの単純平均に相当する。

［テクスチャ特徴量２］コントラスト
下式（２）により、テクスチャ特徴量２として、濃淡レベルのコントラストを算出する。このコントラストの値は、分布が高いレベルに偏っていれば、大きな値をとることとなる。

［テクスチャ特徴量３］分散
下式（３）により、テクスチャ特徴量３として、濃淡レベルの分散を算出する。この分散の値は、平均値から離れた画素が多く存在すれば、大きな値をとることとなる。

［テクスチャ特徴量４］エネルギー
下式（４）により、テクスチャ特徴量４として、濃淡レベルのエネルギーを算出する。このエネルギーの値は、特定の濃淡レベルに集中して画素が存在していると大きな値をとり、１に近づくこととなる。

［テクスチャ特徴量５］エントロピー
下式（５）により、テクスチャ特徴量５として、濃淡レベルのエントロピーを算出する。このエントロピーの値は、多くの濃淡レベルの画素が多く存在すると大きな値をとる。

手順４：各特徴量に関する事前のデータ収集
特徴量抽出部２０は、事前準備段階においては、手順１〜手順３を繰り返すことで、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像に対して、複数のテクスチャ特徴量を算出する。

一方、層流煙発生検出部３０内の特徴量ヒストグラム作成部３１は、事前準備段階においては、特徴量抽出部２０により、複数の画像について算出された層流煙および誤報源の各テクスチャ特徴量について、特徴量ヒストグラムを作成する。すなわち、例えば、テクスチャ特徴量１を例にすると、特徴量ヒストグラム作成部３１は、実際に層流煙が発生した複数の画像（層流煙画像）に対してそれぞれ算出されたテクスチャ特徴量１の値（平均値）について、ヒストグラム（層流煙特徴量ヒストグラム）を作成する。

同様に、特徴量ヒストグラム作成部３１は、実際に誤報源が発生した複数の画像（誤報源画像）に対してそれぞれ算出されたテクスチャ特徴量１の値（平均値）についても、ヒストグラム（誤報源特徴量ヒストグラム）を作成する。そして、特徴量ヒストグラム作成部３１は、事前準備段階において、このようなヒストグラムを、テクスチャ特徴量１〜テクスチャ特徴量５のそれぞれについて個別に作成することとなる。

図２は、本発明の実施の形態１における層流煙検出装置の特徴量ヒストグラム作成部３１において、層流煙と誤報源のそれぞれについて複数の画像に対して算出した特徴量ヒストグラムを示す例示図である。より具体的には、テクスチャ特徴量１である平均、テクスチャ特徴量３である分散、およびテクスチャ特徴量５であるエントロピーのそれぞれの特徴量についての、層流煙および誤報源の頻度分布をまとめたものである。

図２における（ａ）〜（ｆ）は、それぞれ、以下の内容のヒストグラムを示している。
図２（ａ）：実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量１（平均）の算出結果に関する頻度分布データ
図２（ｂ）：実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量１（平均）の算出結果に関する頻度分布データ
図２（ｃ）：実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量３（分散）の算出結果に関する頻度分布データ
図２（ｄ）：実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量３（分散）の算出結果に関する頻度分布データ
図２（ｅ）：実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量５（エントロピー）の算出結果に関する頻度分布データ
図２（ｆ）：実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量５（エントロピー）の算出結果に関する頻度分布データ

これらのデータから、層流煙の頻度分布は、まとまりがあるのに対して、誤報源の頻度分布は、層流煙の頻度分布と比較すると、ばらついている傾向がわかる。特に、誤報源に関する図２（ｂ）に示した平均の頻度分布、および図２（ｆ）に示したエントロピーの頻度分布を見ると、頻度のピークが複数箇所に存在している。

手順５：監視時における層流煙の発生有無の判断
上述した手順１〜４の事前準備段階におけるデータ収集結果に基づいて、実際の監視時には、以下の手順５（１）および手順５（２）に従って、層流煙の発生有無を判断する。

手順５（１）：監視時の画像におけるテクスチャ特徴量の算出
特徴量抽出部２０は、実際の監視時に得られる撮像画像について、上述した手順１〜手順３に従って、テクスチャ特徴量１〜テクスチャ特徴量５を算出する。

手順５（２）：手順５（１）で求めたテクスチャ特徴量の相関関係の判断
層流煙発生検出部３０内の層流煙判定部３２は、手順５（１）において監視時の画像について、特徴量抽出部２０によって求められた複数のテクスチャ特徴量のそれぞれについて、手順４で収集済みのそれぞれのテクスチャ特徴量に関する層流煙特徴量ヒストグラム（頻度分布）、および誤報源特徴量ヒストグラム（頻度分布）との相関関係を求める。

そして、層流煙判定部３２は、監視時の画像に関する複数のテクスチャ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。

例えば、層流煙判定部３２は、手順５（１）で求めた複数のテクスチャ特徴量が、図２の（ａ）、（ｃ）、（ｅ）の３つの分布の丸印で示した範囲内に全て入っている場合には、層流煙が発生したと判断することができる。

すなわち、層流煙判定部３２は、特徴量ヒストグラム作成部３１により複数のテクスチャ特徴量ごとに作成された層流煙特徴量ヒストグラムから、それぞれのテクスチャ特徴量ごとに層流煙が発生した可能性が高い特徴量範囲を規定できる。

そして、層流煙判定部３２は、監視対象画像に対して算出された複数のテクスチャ特徴量であるＭ個（Ｍは、２以上の整数）のうちのＮ個（Ｎは、２以上Ｍ以下の整数）以上のテクスチャ特徴量において、層流煙が発生した可能性が高いとして規定したそれぞれの特徴量範囲に属している場合には、監視時に撮像された監視対象画像において層流煙が発生していると判断することができる。

また、層流煙判定部３２は、相関関係を考慮した別の定量的な判断手法として、マハラノビスの距離に基づく判断を行うことができ、この判断手法については、実施の形態３で詳述する。

以上のように、実施の形態１によれば、層流煙が実際に存在する複数の画像と、誤報源が実際に存在する複数の画像に基づいて、事前準備段階において、複数のテクスチャ特徴量に関してそれぞれの特徴量ヒストグラムを作成しておく。そして、監視時においては、監視画像から複数のテクスチャ特徴量を算出し、あらかじめ作成しておいた層流煙に関する特徴量ヒストグラムおよび誤報源に関する特徴量ヒストグラムとの相関関係から、層流煙の有無を判断している。

換言すると、実施の形態１における層流煙検出装置は、複数のテクスチャ特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時に算出した複数のテクスチャ特徴量との相関関係により、層流煙の発生の有無を判断している。この結果、統計データに基づく判断により、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出を実現できる。

実施の形態２．
先の実施の形態１では、層流煙を検出するための特徴量として、輝度ヒストグラムに基づくテクスチャ特徴量を採用する場合について説明した。これに対して、本実施の形態２では、注目画素および周囲画素の輝度に着目し、事前に取得した基準画像と、監視時における取得画像との間の類似性に関する指標を、層流煙を検出するための特徴量として採用する場合について説明する。

層流煙の色は、透過性があり、カメラ側から見て、層流煙の向こう側にある風景（背景）が見えるという特徴がある。すなわち、注目画素の輝度に対する周囲画素の輝度の大小関係が、層流煙がある場合とない場合とで、相関関係が強いことが考えられる。そこで、本実施の形態２では、このような相関関係の指標となるローカルバイナリパターン（ＬＢＰ）に基づく特徴量を使用しており、以下に、詳細に説明する。

図３は、本発明の実施の形態２における層流煙検出装置の構成図である。本実施の形態２における層流煙検出装置は、画像メモリ１０、特徴量抽出部２０ａ、および層流煙発生検出部３０を備えている。先の実施の形態１における図１の構成と比較すると、特徴量抽出部２０ａの機能が異なっている。画像メモリ１０は、カメラ１により撮像された画像を記憶できるように、複数フレーム分の画像メモリとして構成されている。具体的には、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、層流煙も誤報源も存在しない基準画像、および監視時に撮像された監視対象画像が、画像メモリ１０内に記憶できる構成となっている。

特徴量抽出部２０ａは、ＬＢＰデータ作成部２３、およびＬＢＰ特徴量算出部２４で構成される。そして、特徴量抽出部２０は、画像メモリ１０に記憶された、カメラ１により撮像された画像に関して、ローカルバナリパターンに基づく特徴量（ＬＢＰ特徴量）を算出する機能を有している。

そして、特徴量抽出部２０ａは、事前準備段階においては、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像および基準画像に基づいて、ＬＢＰ特徴量を算出する（詳細は、後述する）。また、層流煙の監視時には、監視空間で撮像された実際の画像および基準画像に基づいて、ＬＢＰ特徴量を算出する。

また、層流煙発生検出部３０は、特徴量ヒストグラム作成部３１、および層流煙判定部３２で構成される。そして、層流煙発生検出部３０は、事前準備段階において、特徴量抽出部２０ａにより、複数の画像について算出された層流煙および誤報源のＬＢＰ特徴量について、特徴量ヒストグラムを作成する。

さらに、層流煙発生検出部３０は、監視時において、特徴量抽出部２０ａにより生成されたＬＢＰ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。

そこで、このような図３の構成に基づく、事前準備段階および実際の監視時を含めた一連の処理手順の詳細について、以下に説明する。

手順１：ＬＢＰデータの作成
図４は、本発明の実施の形態２における特徴量であるローカルバイナリパターン（ＬＢＰ）に関する説明図である。図４（ａ）は、中心にある注目画素と、その周囲の８つ画素である周囲画素（１）〜（８）について、２５６階調中の輝度値（濃淡値）をそれぞれ示している。

特徴量抽出部２０ａ内のＬＢＰデータ作成部２３は、特徴量を計測したい画像領域において、注目画素と周囲画素（１）〜（８）でなる３×３の領域を順次スキャンしていく。そして、各注目画素について、以下のようにして、ＬＢＰデータを作成する。

図４に示した具体例で説明すると、まず始めに、ＬＢＰデータ作成部２３は、注目画素の輝度値「８０」と、左上に位置する周囲画素（１）の輝度値「９０」とを比較する。この場合、周囲画素（１）の輝度値の方が、注目画素の輝度値よりも大きいため、対応するｂｉｔに１が格納される。

次に、ＬＢＰデータ作成部２３は、注目画素の上に位置する周囲画素（２）の輝度値「４０」を、注目画素の輝度値「８０」と比較する。この場合、周囲画素（２）の輝度値の方が、注目画素の輝度値よりも小さいため、対応するｂｉｔに０が格納される。

このような比較処理に基づくビット設定を、残りの周囲画素（３）〜（８）に対しても行うことで、図４（ｂ）に示したような、８近傍の輝度データから作成した８ビットデータがＬＢＰデータとして得られる。

手順２：ＬＢＰデータに基づく特徴量の算出
図５は、本発明の実施の形態２におけるＬＢＰデータに基づく特徴量の算出処理に関する説明図である。ＬＢＰデータ作成部２３は、図４（ｂ）に示した８ビットのＬＢＰデータの作成を、監視時の監視対象画像で順次スキャンされた３×３の画素からなる取得データと、事前に取得済みの基準画像内で順次スキャンされた３×３の画素からなる基準データについて、順次行う。

そして、ＬＢＰ特徴量算出部２４は、３×３の画素からなる同じ領域の取得データと基準データの両者の対応するビットの排他的論理和ＸＯＲを求めることで、相関データを算出する。さらに、ＬＢＰ特徴量算出部２４は、相関データの中で「０」となっているビットの数を、ＮＵＭ［０］として求める。図５の例では、ＮＵＭ［０］＝６として求まっている。

さらに、ＬＢＰ特徴量算出部２４は、特徴量を計測したい画像領域内の全ての注目画素におけるＮＵＭ［０］の平均値を８で割った値を、ＬＢＰ相関係数として算出する。このＬＢＰ相関係数が、ローカルバイナリデータに基づく特徴量（ＬＢＰ特徴量）となる。

手順３：ＬＢＰ特徴量に関する事前のデータ収集
特徴量抽出部２０ａは、事前準備段階においては、手順１、手順２を繰り返すことで、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像に対して、ＬＢＰ特徴量を算出する。

一方、層流煙発生検出部３０内の特徴量ヒストグラム作成部３１は、事前準備段階においては、特徴量抽出部２０ａにより、複数の画像について算出された層流煙および誤報源のＬＢＰ特徴量について、特徴量ヒストグラムを作成する。

図６は、本発明の実施の形態２における層流煙検出装置の特徴量ヒストグラム作成部３１において、層流煙と誤報源のそれぞれについての複数の画像（複数の層流煙画像および複数の誤報源画像）に対して算出した特徴量ヒストグラム（層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラム）を示す例示図である。より具体的には、ＬＢＰ特徴量についての、層流煙および誤報源の頻度分布をまとめたものである。

図６における（ａ）、（ｂ）は、それぞれ、以下の内容のヒストグラムを示している。
図６（ａ）：実際に層流煙が発生した際の複数の撮像画像における、ＬＢＰ特徴量の算出結果に関する頻度分布データ
図６（ｂ）：実際に誤報源が発生した際の複数の撮像画像における、ＬＢＰ特徴量の算出結果に関する頻度分布データ

これらのデータから、層流煙のＬＢＰ相関係数は，５０％付近を中心に、４０〜５５％の範囲に分布していることが分かる。一方、誤報源のＬＢＰ相関係数は，３０〜５０％付近に広く分布していることが分かる。

手順４：監視時における層流煙の発生有無の判断
上述した手順１〜３の事前準備段階におけるデータ収集結果に基づいて、実際の監視時には、以下の手順４（１）および手順４（２）に従って、層流煙の発生有無を判断する。

手順４（１）：監視時の画像におけるＬＢＰ特徴量の算出
特徴量抽出部２０ａは、実際の監視時に得られる撮像画像について、上述した手順１、手順２に従って、ＬＢＰ特徴量を算出する。

手順４（２）：手順４（１）で求めたＬＢＰ特徴量の相関関係の判断
層流煙発生検出部３０内の層流煙判定部３２は、手順４（１）において監視時の画像について、特徴量抽出部２０ａによって求められたＬＢＰ特徴量について、手順３で収集済みのＬＢＰ特徴量に関する層流煙特徴量ヒストグラム（頻度分布）、および誤報源特徴量ヒストグラム（頻度分布）との相関関係を求める。

そして、層流煙判定部３２は、監視時の画像に関するＬＢＰ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。

例えば、図６の場合を例にとると、層流煙判定部３２は、手順４（１）で求めたＬＢＰ特徴量が、５０％を超える場合には、層流煙が発生した可能性が高いと判断することができる。また、５０％を超える状態が所定回数継続することで、層流煙が発生した可能性が高いと判断することもできる。さらに、手順４（１）で求めたＬＢＰ特徴量が、４０％未満の場合には、層流煙が発生していない可能性が高いと判断することができる。

すなわち、層流煙判定部３２は、特徴量ヒストグラム作成部３１によりＬＢＰ特徴量を用いて作成された層流煙特徴量ヒストグラムから、層流煙の頻度分布に基づく第１の特徴量範囲を規定できる。同様に、層流煙判定部３２は、特徴量ヒストグラム作成部３１によりＬＢＰ特徴量を用いて作成された誤報源特徴量ヒストグラムから、誤報源の頻度分布に基づく第２の特徴量範囲を規定できる。

そして、層流煙判定部３２は、監視対象画像に対して算出されたＬＢＰ特徴量が、第１の特徴量範囲に属しており、かつ、第２の特徴量範囲に属していない場合には、監視時に撮像された監視対象画像において層流煙が発生していると判断することができる。

また、先の実施の形態１で使用した複数のテクスチャ特徴量での判断結果と、本実施の形態２におけるＬＢＰ特徴量での判断結果を組み合わせて、層流煙の有無を判断することもできる。

また、層流煙判定部３２は、相関関係を考慮した別の定量的な判断手法として、マハラノビスの距離に基づく判断を行うことができ、この判断手法については、実施の形態３で詳述する。

以上のように、実施の形態２によれば、層流煙が実際に存在する複数の画像と、誤報源が実際に存在する複数の画像と基準画像とに基づいて、事前準備段階において、ＬＢＰ特徴量に関してそれぞれの特徴量ヒストグラムを作成しておく。そして、監視時においては、監視画像および基準画像からＬＢＰ特徴量を算出し、あらかじめ作成しておいた層流煙に関する特徴量ヒストグラムおよび誤報源に関する特徴量ヒストグラムとの相関関係から、層流煙の有無を判断している。

換言すると、実施の形態２における層流煙検出装置は、ＬＢＰ特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時に算出したＬＢＰ特徴量との相関関係により、層流煙の発生の有無を判断している。この結果、統計データに基づく判断により、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出を実現できる。

なお、図４に基づいて説明した周囲画素としては、中心にある注目画素の周囲の８つの画素である周囲画素（１）〜（８）を採用したが、本発明における周囲画素の数は、８つに限定されるものではない。注目画素の上下左右の４近傍の画素に着目して、周囲画素（２）、（４）、（６）、（８）からなる４つの周囲画素を採用するか、あるいは、注目画素の左上、右上、左下、右下の４近傍の画素に注目して、周囲画素（１）、（３）、（５）、（７）からなる４つの周囲画素を採用することも可能である。この場合には、ＬＢＰデータが、８ビットではなく、４ビットのデータとして構成されることとなるが、基本的な処理は、８ビットの場合と同じである。

実施の形態３．
本実施の形態３では、１つあるいは複数の特徴量のヒストグラムに対する、監視時に得られた特徴量の相関関係の度合を、「マハラノビス距離」を用いて定量的に評価する方法について説明する。すなわち、監視対象画像に基づいて算出された特徴量と、層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラムとの相関関係を、「マハラノビス距離」を用いて定量的に評価する方法について詳述する。

マハラノビス距離とは、統計学で用いられる一種の距離であり、る。多変数間の相関に基づくものであり、多変量解析に用いられる。そして、新たな標本（本願では、監視時に算出された特徴量に相当）につき、類似性によって既知の標本（本願では、事前準備段階で作成された層流煙特徴量ヒストグラム、および誤報源特徴量ヒストグラムに相当）との関係を明らかにするのに有用である。データの相関を考慮し、また尺度水準によらないという点で、ユークリッド空間で定義される普通のユークリッド距離とは異なる。

形式的には、平均が下式（６）

で、共分散行列（各変数間の共分散を配列した行列）がΣであるような下式（７）の多変数ベクトル

で表される一群の値に対するマハラノビス距離は、下式（８）のように定義される。

マハラノビス距離は、また、共分散行列がΣで同じ確率分布に従う２つのベクトルの間の非類似性の指標としても、下式（９）のように定義できる。

以上がマハラノビス距離に関する定義であるが、次に、２変数（すなわち、２つの特徴量）に関する具体的な計算例により、「マハラノビス距離」と「ユークリッド距離」の違いについて説明する。

図７は、本発明の実施の形態３における２つの特徴量に基づく標本の一例を示した図である。具体的には、層流煙が実際に発生した８枚の層流煙画像から、２つの特徴量１、特徴量２をそれぞれ算出した結果がＡグループとして示され、誤報源が実際に発生した８枚の誤報源画像から、２つの特徴量１、特徴量２をそれぞれ算出した結果がＢグループとして示されている。

図８は、本発明の実施の形態３におけるＡグループ、Ｂグループの分布状態、中心位置、および未知の点を、特徴量１をＸ軸、特徴量２をＹ軸として記載した図である。ここで、未知の点は、監視時に特徴量１、特徴量２がともに５．５として算出されたものであり、Ａグループ、Ｂグループのどちらに相関がより強いかが未知であるデータに相当する。

このとき、上式（９）に従って、Ａグループの中心から未知の点までのマハラノビス距離をＭＡとして算出し、Ｂグループの中心から未知の点までのマハラノビス距離をＭＢとして算出すると、以下のようになる。
ＭＡ＝３．６４５８
ＭＢ＝２２．３１２５

一方、Ａグループの中心から未知の点までのユークリッド距離をＵＡとして算出し、Ｂグループの中心から未知の点までのユークリッド距離をＵＢとして算出すると、以下のようになる。
ＵＡ＝３．５３５５
ＵＢ＝２．１２１３

この結果からわかるように、未知の点は、ユークリッド距離を判断指標とした場合には、Ｂグループに近い（Ｂグループとの相関がより高い）と判断されるが、マハラノビス距離を判断指標とした場合には、逆に、Ａグループに近い（Ａグループとの相関がより高い）と判断される。

すなわち、図８からも明らかなように、未知の点は、ユークリッド距離としては、Ｂグループの中心に近いが、マハラノビス距離を用いることで、Ａグループの分布との相関が高いと判断することができる。従って、層流煙の有無の判断に当たって、このようなマハラノビス距離を判断指標として採用することで、統計データに基づく分布との相関を考慮した判断ができ、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置を実現できることとなる。

図９は、本発明の実施の形態３におけるＡグループ、Ｂグループの分布状態、中心位置、および未知の点を、特徴量１をＸ軸、特徴量２をＹ軸として記載した、図８とは異なる図である。この図９の例では、監視時に得られた特徴量により規定される未知の点が、層流煙であるＡグループの分布の右端に属している状態を示している。このような場合にも、マハラノビス距離を判断指標とすることで、ユークリッド距離としてはグループＢに近い未知の点を、グループＡと相関が高いとして判断することができる。

先の実施の形態１の図１、あるいは先の実施の形態２の図３の構成では、層流煙判定部３２において、このマハラノビス距離に基づく判断を行うこととなる。また、層流煙の有無の判断に当たって、層流煙判定部３２は、層流煙の分布と、誤報源の分布のいずれに近いかだけを判断するのではなく、マハラノビス距離として求まった実際の数値から、あらかじめ決められた閾値距離よりも短い場合に、層流煙が発生したと判断することができる。また、複数の分布において、一部分の領域が重複している場合であっても、相関関係の類似度を定量的に評価することができる。

なお、図７〜図９を用いた説明では、説明を簡略化するために、２つの特徴量によりマハラノビス距離を求める場合について説明したが、これに限定されない。マハラノビス距離は、１つの特徴量、あるいは３つ以上の特徴量について求めることも可能である。また、２つの特徴量のペアを変えて、複数のペアを用いて、それぞれのペアでのマハラノビス距離の算出結果に基づいて、層流煙が発生したか否かを判断することも可能である。さらに、マハラノビス距離の算出に用いる特徴量としては、実施の形態１における複数のテクスチャ特徴量、実施の形態２におけるＬＢＰ特徴量には限定されず、煙の発生に関連する他の特徴量を必要に応じて考慮することも可能である。

以上のように、実施の形態３によれば、統計データを用いて相関関係の定量的な判断を行う際の指標として、マハラノビス距離を用いることで、層流煙の発生の有無を判断している。具体的には、監視対象画像に対して算出された特徴量の相関関係について、層流煙特徴量ヒストグラムの分布に対して算出したマハラノビス距離が、第１の所定範囲内の値を有し（すなわち、層流煙特徴量との相関が強く）、かつ、誤報源特徴量ヒストグラムの分布に対して算出したマハラノビス距離が、第２の所定範囲外の値を有する（すなわち、誤報源特徴量との相関が弱い）場合には、監視対象画像において層流煙が発生していると判断することができる。この結果、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置を実現できる。

１ カメラ、１０ 画像メモリ、２０、２０ａ 特徴量抽出部、２１ 輝度ヒストグラム作成部、２２ テクスチャ特徴量算出部、２３ データ作成部、２４ 特徴量算出部、３０ 層流煙発生検出部、３１ 特徴量ヒストグラム作成部、３２ 層流煙判定部。

Claims (4)

1. 監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置であって、
   事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および前記層流煙および前記誤報源がともに存在しない基準画像を記憶するとともに、監視時に、前記監視カメラにより撮像された監視対象画像を記憶する画像メモリと、
   前記画像メモリ内に記憶された画像ごとに、注目画素と前記注目画素の上下左右の４近傍の周囲画素、あるいは、前記注目画素と前記注目画素の左上、右上、左下、右下の４近傍の周囲画素でなる５画素の領域を順次スキャンし、それぞれの領域ごとに、前記注目画素の輝度に対する４近傍の前記周囲画素の輝度の大小関係を示す４ビットからなるローカルバイナリパターンデータを算出し、前記複数の層流煙画像、前記複数の誤報源画像、および前記監視対象画像の中のいずれか１つを対象画像として算出した第１のローカルバイナリパターンデータと、前記基準画像に対して算出した第２のローカルバイナリパターンデータとの排他的論理和をとり、一致したビット数を計数することで前記注目画素ごとに類似度を算出し、前記対象画像のそれぞれについて画像内の全ての注目画素に対応する前記類似度の平均値を算出することでＬＢＰ特徴量を算出する特徴量抽出部と、
   前記事前準備時に前記画像メモリに記憶された前記複数の層流煙画像のそれぞれを前記対象画像として前記特徴量抽出部により算出された前記ＬＢＰ特徴量について、前記複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成するとともに、前記事前準備時に前記画像メモリに記憶された前記複数の誤報源画像のそれぞれを前記対象画像として前記特徴量抽出部により算出された前記ＬＢＰ特徴量について、前記複数の誤報源画像に関する誤報源特徴量ヒストグラムを作成する特徴量ヒストグラム作成部と、
   前記監視時に前記画像メモリに記憶された前記監視対象画像を前記対象画像として前記特徴量抽出部により算出された前記ＬＢＰ特徴量と、前記特徴量ヒストグラム作成部により作成された前記層流煙特徴量ヒストグラムおよび前記誤報源特徴量ヒストグラムとの相関関係から、前記監視時に撮像された前記監視対象画像において層流煙が発生しているか否かを判断する層流煙判定部と
   を備える層流煙検出装置。
2. 請求項１に記載の層流煙検出装置において、
   前記特徴量抽出部は、前記ローカルバイナリパターンデータを算出する際に、前記４近傍の周囲画素に対応して前記４ビットからなるローカルバイナリパターンデータを算出する代わりに、前記注目画素の上下左右、左上、右上、左下、右下の８近傍の周囲画素に対応して、８ビットからなるローカルバイナリパターンデータを算出する
   層流煙検出装置。
3. 請求項１または２に記載の層流煙検出装置において、
   前記層流煙判定部は、前記特徴量ヒストグラム作成部により作成された前記層流煙特徴量ヒストグラムから、層流煙が発生した可能性が高い特徴量範囲を規定し、前記監視時に前記画像メモリに記憶された前記監視対象画像に対して前記特徴量抽出部により算出された前記ＬＢＰが、前記特徴量範囲に属している場合には、前記監視時に撮像された前記監視対象画像において層流煙が発生していると判断する
   層流煙検出装置。
4. 監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置であって、
   事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および前記層流煙および前記誤報源がともに存在しない基準画像を画像メモリに記憶するとともに、監視時に、前記監視カメラにより撮像された監視対象画像を前記画像メモリに記憶する記憶ステップと、
   前記画像メモリ内に記憶された画像ごとに、注目画素と前記注目画素の上下左右の４近傍の周囲画素、あるいは、前記注目画素と前記注目画素の左上、右上、左下、右下の４近傍の周囲画素でなる５画素の領域を順次スキャンし、それぞれの領域ごとに、前記注目画素の輝度に対する４近傍の前記周囲画素の輝度の大小関係を示す４ビットからなるローカルバイナリパターンデータを算出し、前記複数の層流煙画像、前記複数の誤報源画像、および前記監視対象画像の中のいずれか１つを対象画像として算出した第１のローカルバイナリパターンデータと、前記基準画像に対して算出した第２のローカルバイナリパターンデータとの排他的論理和をとり、一致したビット数を計数することで前記注目画素ごとに類似度を算出し、前記対象画像のそれぞれについて画像内の全ての注目画素に対応する前記類似度の平均値を算出することでＬＢＰ特徴量を算出する特徴量抽出ステップと、
   前記事前準備時に前記画像メモリに記憶された前記複数の層流煙画像のそれぞれを前記対象画像として前記特徴量抽出ステップにより算出された前記ＬＢＰ特徴量について、前記複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成するとともに、前記事前準備時に前記画像メモリに記憶された前記複数の誤報源画像のそれぞれを前記対象画像として前記特徴量抽出ステップにより算出された前記ＬＢＰ特徴量について、前記複数の誤報源画像に関する誤報源特徴量ヒストグラムを作成する特徴量ヒストグラム作成ステップと、
   前記監視時に前記画像メモリに記憶された前記監視対象画像を前記対象画像として前記特徴量抽出ステップにより算出された前記ＬＢＰ特徴量と、前記特徴量ヒストグラム作成ステップにより作成された前記層流煙特徴量ヒストグラムおよび前記誤報源特徴量ヒストグラムとの相関関係から、前記監視時に撮像された前記監視対象画像において層流煙が発生しているか否かを判断する層流煙判定ステップと
   を備える層流煙検出方法。

Images