JP6968681B2 - 火災監視システム - Google Patents

火災監視システム Download PDF

Info

Publication number
JP6968681B2
JP6968681B2 JP2017240097A JP2017240097A JP6968681B2 JP 6968681 B2 JP6968681 B2 JP 6968681B2 JP 2017240097 A JP2017240097 A JP 2017240097A JP 2017240097 A JP2017240097 A JP 2017240097A JP 6968681 B2 JP6968681 B2 JP 6968681B2
Authority
JP
Japan
Prior art keywords
image
learning
fire
block
flame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017240097A
Other languages
English (en)
Other versions
JP2018101416A (ja
Inventor
雅彦 根本
真希 楠見
浩生 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hochiki Corp
Original Assignee
Hochiki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochiki Corp filed Critical Hochiki Corp
Publication of JP2018101416A publication Critical patent/JP2018101416A/ja
Application granted granted Critical
Publication of JP6968681B2 publication Critical patent/JP6968681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Description

本発明は、監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災を判断して警報させる火災監視システムに関する。
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。
一方、従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
このような火災監視システムにあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。
このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
特開２００８−０４６９１６号公報 特開平７−２４５７５７号公報 特開２０１０−２３８０２８号公報 特開平６−３２５２７０号公報
しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を検出できない問題があった。
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力して火災を判断する判定装置に設け、学習時においては多数の火災時及び非火災時の画像を準備して多層式のニューラルネットワークに学習させ、監視時においては監視カメラで撮像した監視領域の画像を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。
この場合、火災監視システムの製造段階で予め準備された多数の火災時及び非火災時の画像を教師ありの学習画像として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している監視カメラで撮像した画像を判定装置に入力して火災を監視することになる。
しかしながら、監視カメラで撮像された監視領域の画像の中で火災による炎や煙といった火災による特徴的な部分は狭い範囲に限られ、画像全体で多層式のニューラルネットワークを学習し、学習後に監視領域の画像を入力しても火災による特徴部分が狭い範囲に限られるため、火災の判定精度が低下する問題がある。
本発明は、画像全体に占める火災による特徴部分が狭い範囲に限られても、多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システム及び火災監視方法を提供することを目的とする。
（火災監視システム）
本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を入力して火災を検出することを特徴とする。
（ブロック画像による学習）
火災監視システムは、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられる。
また、火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含む。
（ブロック画像の推定による学習）
多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させる。
（煙ブロックと炎ブロックの検出）
多層式ニューラルネットワークは、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークとで構成され、
更に、火災監視システムとして、
入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された炎学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、
が設けられる。
（赤外線画像による火災検出）
本発明の他の形態にあっては、火災監視システムに於いて、
監視領域から放射される所定の赤外線波長帯域の監視画像を撮像する撮像部により撮像された監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を火災検出器に入力して火災を検出することを特徴とする。
（赤外線ブロック画像による学習）
火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含む。
（紫外線画像による火災検出）
本発明の別の形態にあっては、火災監視システムに於いて、
監視領域から放射される所定の紫外線波長帯域の監視画像を撮像する撮像部により撮像された監視画像から所定の紫外線強度以上の紫外線監視画像を抽出して複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を火災検出器に入力して火災を検出することを特徴とする。
（紫外線ブロック画像による学習）
火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含む。
（基本的な効果）
本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を火災検出器に入力して火災を検出するようにしたため、監視領域の画像全体に占める火災による炎や煙等の特徴的な部分が狭い範囲に限られても、監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める火災による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で火災を推定して警報可能とする。
（ブロック画像による学習による効果）
火災監視システムは、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられたため、例えば入力画像である火災実験等により監視カメラで撮像された火災時の画像を学習画像として複数の学習ブロック画像に分割し、炎や煙が全くないブロック画像は正常ブロック画像とし、炎や煙が目視されて大半を占めるブロック画像は火災ブロック画像とし、目視が難しい煙や炎があるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める火災による特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に火災の検出精度を向上させることを可能とする。
（炎学習ブロック画像と煙学習ブロック画像による効果）
また、火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むようにしたため、火災学習画像から分割された学習ブロック画像につき、火災の特徴的部分となる炎や煙が確実に目視される学習ブロック画像を火災学習ブロック画像に分類することができ、火災の特徴的部分をもつ火災学習ブロック画像により多層式ニューラルネットワークの火災の推定精度を高める学習を可能とする。
（ブロック画像の推定による学習の効果）
また、多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させるようにしたため、例えば分割されたブロック画像ごとに手動でブロック画像の種類を設定するような場合に設定者は確認行為を行うだけで設定可能となる。
また、ブロック分布が入力画像と重ね合わされて出力され、設定者は非学習のブロックの設定や、ブロック画像の検出結果の修正を行うだけでブロック画像の種類を設定することが可能となり、作業性を向上させることができる。また、現時点における多層ニューラルネットワークの判定精度を確認することが可能となる。また、多層ニューラルネットワークの判定精度の向上に従い作業性は向上する。
（火災検出ブロックの時系列変化による火災判定による効果）
また、火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
（火災検出ブロックの時系列変化による火災判定）
火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
（火災検出ブロックの塊による火災判定）
火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災に特有な炎や煙の成長状態を捉えることで、火災の判定精度を更に向上可能とする。
また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが照明等による誤検出の場合は、時間が経過しても火災が検出されたブロック画像の塊が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
（火災が検出されたブロック画像の分布表示による効果）
また、火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、監視画像を分割したブロック画像につき、火災と正常のブロック画像の分布が例えば防災センターのモニタ画面に表示されることで、監視画像と連携した火災による炎や煙の状況を目視により確認可能とし、初期消火や避難誘導等の適切な対処を可能とする。
また、火災と正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示させることで、監視画像と連携した火災状況の目視による確認を更に行い易くできる。
特に、監視領域の火点が物陰に隠れているような場合、ブロック画像の分布表示を行わないと煙だけしか確認するものがなく、煙を見落とすことにより誤報と勘違いしてしまう可能性がある。ブロック画像の分布表示を行うことで、煙の状況を確実に確認することができ、さらにブロックを辿ることで煙が物陰から発生していることを想起でき、火災状況を認識しやすくなる。
（煙ブロックと炎ブロックの検出による効果）
また、多層式ニューラルネットワークは、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークとで構成され、更に、火災監視システムとして、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された炎学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部が設けられたため、炎の学習ブロック画像と煙の学習ブロック画像を生成して、それぞれ異なる第１と第２の多層式ニューラルネットワークに入力して学習させることで、監視画像を分割したブロック画像の入力に対し第１のニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災判定を可能とする。
（炎と煙が検出されたブロック画像の分布表示の効果）
また、火災検出器は、炎と煙が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、炎、煙及び正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示されることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くできる。
（赤外線画像による火災検出の効果）
本発明の別の形態にあっては、火災監視システムに於いて、監視領域から放射される所定の赤外線波長帯域の監視画像を撮像する撮像部により撮像された監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を火災検出器に入力して火災を検出するようにしたため、撮像部により撮像された、例えば７〜１４μｍの赤外線波長帯域の監視画像として、監視領域の温度に対応した輝度の赤外線監視画像が得られ、可視光画像では炎や煙が見えづらい燻燃火災やコンセントや配線の異常加熱等の火災の前兆現象等を捉えて早期に火災を検出することを可能とする。
また、監視領域の画像全体に占める火災や火災原因となる高温部分が狭い範囲に限られても、赤外線波長帯域の監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める火災や火災原因による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で火災を推定して警報可能とする。
（赤外線ブロック画像による学習の効果）
また、火災監視システムに於いて、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられ、火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含むようにしたため、例えば入力画像である火災実験等により監視カメラで撮像された赤外線画像（温度分布画像）を学習画像として複数のブロック画像に分割し、火災又は火災の原因となる高温領域の全くないブロック画像は正常ブロック画像とし、炎や熱気流による高温領域が大半を占めるブロック画像は火災ブロック画像とし、赤外線画像は僅かにあるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める火災による赤外線画像の特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に火災の検出精度を向上させることを可能とする。
（紫外線画像による火災検出の効果）
本発明の別の形態にあっては、火災監視システムに於いて、監視領域から放射される所定の紫外線波長帯域の監視画像を撮像する撮像部により撮像された所定の紫外光波長帯域の監視画像を複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器にブロック画像を火災検出器に入力して火災を検出するようにしたため、撮像部により撮像された、例えば水素ガスの燃焼による炎に特有なＯＨ基の共鳴放射帯である２８０ｎｍ〜３０９ｎｍを含む例えば２００〜４０００μｍとなる紫外線波長帯域の監視画像として、監視領域の紫外線強度に対応した紫外線監視画像が得られ、可視光画像では極めて見えづらい水素ガスの燃焼による火災を確実に検出することを可能とする。
また、監視領域の画像全体に占める水素ガスの炎部分が狭い範囲に限られても、紫外線波長帯域の監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める水素ガスの燃焼炎による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で水素ガスの燃焼による火災を推定して警報可能とする。
（紫外線ブロック画像による学習の効果）
また、火災監視システムは、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられ、火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含むようにしたため、例えば入力画像である火災実験等により監視カメラで撮像された所定紫外線強度を超える水素ガス燃焼時の紫外線画像を学習画像として複数のブロック画像に分割し、紫外線画像の全くないブロック画像は正常ブロック画像とし、炎及び炎周辺の紫外線画像が大半を占めるブロック画像は火災ブロック画像とし、紫外線画像が僅かにあるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める水素ガスの燃焼による火災画像の特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で水素ガスの燃焼による火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に水素ガスの燃焼による火災の検出精度を向上させることを可能とする。
監視カメラにより火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図 図２に示した多層式ニューラルネットワークの機能構成を示した説明図 監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図 図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図 図２の学習画像生成装置による学習画像生成制御を示したフローチャート 図２の判定装置による火災検出制御を示したフローチャート 監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図 炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図 サーモ監視カメラにより赤外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図 サーモ監視カメラで撮像した火災時の赤外線画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図 監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図 図１２に対し時間が経過した後の監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図 紫外線監視カメラにより紫外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図 紫外線監視カメラで撮像した火災時の紫外線画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図
［火災監視システムの概要］
図１は監視カメラにより火災を監視する火災監視システムの概略を示した説明図である。
図１に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ撮像手段として機能する監視カメラ１６−１、１６−２が設置され、監視領域１５−１を監視カメラ１６−１により動画撮影し、監視領域１５−２を監視カメラ１６−２により動画撮像している。
監視領域１５−１、１５−２は特に区別の必要がないときは監視領域１５として、監視カメラ１６−１、１６−２は特に区別の必要がないときは監視カメラ１６として記述する。
監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横３８４０×２１６０ピクセルの画素配置となる。
また、監視領域１５−１、１５−２にはそれぞれオンオフ型の火災感知器１８−１、１８−２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８−１、１８−２は特に区別の必要がないときは火災感知器１８として記述する。
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、監視カメラ１６−１，１６−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
判定装置１０−１には監視領域１５−１に設置された監視カメラ１６−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置された監視カメラ１６−２が信号ケーブル２０−２により接続され、それぞれ監視カメラ１６−１，１６−２で撮像された動画画像を入力している。
火災受信機１４からは監視領域１５−１,１５−２に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８−１，１８−２が接続され、火災感知器１８−１，１８−２からの火災発報信号を感知器回線２２単位に受信して火災警報を出力している。
判定装置１０は多層式ニューラルネットワークを備え、監視カメラ１６から送られてきた動画画像をフレーム単位に入力し、入力したフレーム画像となる監視画像を例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災ブロック画像か正常ブロック画像かを検出し、火災検出ブロック画像の時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
学習画像生成装置１２は、監視領域１５の火災時の画像を学習画像として入力して例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を、炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。ここで、炎学習ブロック画像と煙学習ブロック画像は、火災学習ブロック画像に含まれる。
学習画像生成装置１２に記憶された炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部により読み出され、判定装置１０の多層式ニューラルネットワークに入力してディープラーニングより学習させる。
［判定装置及び学習画像生成装置］
図２は監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
（判定装置の機能構成）
図２に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。ここで、火災検出器２４及び学習制御部２６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。
火災検出器２４は監視カメラ１６により撮像された監視領域の動画画像を、フレーム単位に監視画像として画像入力部２８に入力し、画像入力部２８で例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３を出力する。
判定部３２は多層式ニューラルネットワーク３０から出力されたブロック画像の推定値ｙ１〜ｙ３を所定の閾値と比較して炎ブロックか、煙ブロックか、正常ブロックかを判定し、入力された監視画像単位に炎ブロックと煙ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、監視カメラ１６で撮像された監視領域の画像を分割したブロック画像を入力すると、炎、煙、正常のクラス（種別）を示す推定値ｙ１，ｙ２，ｙ３が出力される。
ここで、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３は、理想的には次のようになる。
炎ブロックの場合は（ｙ１，ｙ２，ｙ３） ＝（１，０，０）
煙ブロックの場合は（ｙ１，ｙ２，ｙ３） ＝（０，１，０）
正常ブロックの場合は（ｙ１，ｙ２，ｙ３）＝（０，０，１）
実際のブロック画像を多層式ニューラルネットワーク３０に入力した場合は、推定値ｙ１〜ｙ３の総和は１で、それぞれは０〜１の間の値をとることから、推定値ｙ１〜ｙ３を判定部３２に入力して所定の閾値、例えば０．５と比較し、閾値以上となる炎ブロック、煙ブロック又は正常ブロックを判定結果し、前述したように、炎ブロックと煙ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
なお、判定装置１０にモニタ装置を設け、火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、併せて、火災検出ブロックの分布を監視領域の画像に重ね合わせて表示させ、火災受信機１４からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１４に発信機を操作した場合と同様に、火災通報信号を出力し、火災受信機１４から火災警報を出力させるようにしても良い。
［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。
図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３０は、特徴抽出部５８と認識部６０で構成される。特徴抽出部５８は畳み込みニューラルネットワークであり、認識部６０は全結合ニューラルネットワークである。
多層式ニューラルネットワーク３０は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３０では、特徴抽出部５８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部６０の全結合ニューラルネットワークに入力して火災か非火災かを推定する。
認識部６０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層６６、全結合６８、中間層７０と全結合６８の繰り返し、及び出力層７２で構成されている。
ここで、認識部６０の全結合ニューラルネットワークは、ブロック画像を炎、煙、及び正常の３クラスに分類する多クラス分類を行うことから、最後の出力層７２には、目的とする３クラスと同じ３ユニットを配置し、これらのユニットへの入力を、ソフトマックス関数を用いて、総和が１の出力ｙ１，ｙ２，ｙ３となるようにしており、各ユニットの出力ｙ１，ｙ２，ｙ３はそのクラスに属する確率を示すことになる。
（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部５８を構成する畳み込みニューラルネットワークの構造を模式的に示している。
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、ブロック画像として入力される入力画像６２に対し重みフィルタ６３により畳み込み処理を行う。例えば、重みフィルタ６３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６２の９画素を小区域となる特徴マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。
続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
続いて、重みフィルタ６５ａ，６５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部６０に入力し、通常の全結合ニューラルネットワークを用いた認識部６０により火災か非火災かを推定する。
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの推定に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
［多層式ニューラルネットワークの学習］
（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が選択され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
このようなニューラルネットワークの重み（ウェイト）やバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） 重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
この手順は、ニューラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。
図３（Ｂ）に示す多層式ニューラルネットワーク３０の教師ありの学習制御では、炎学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３） ＝（１，０，０）
煙学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３） ＝（０，１，０）
正常学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）＝（０，０，１）
を使用し、前述したバックプロパゲーションを行う。
なお、教師なしの学習でバックプロパゲーションを行う場合は、推定値ｙ＊と入力値ｘの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。この場合にも各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
［学習画像生成装置の機能構成］
図２に示すように、学習画像生成装置１２は、学習画像生成制御部３４、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２、操作部４４及びモニタ部４６で構成され、学習画像生成制御部３４の機能はコンピュータ回路のＣＰＵによるプログラムの実行により実現される。また、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２は機能毎に分けているが、ハードウェアとしては単一の記憶部を使用している。
録画部３６には、監視領域１５で行った火災実験を監視カメラ１６で撮像した火災動画が録画される。監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力し、これが火災動画として録画部３６に録画される。また、録画部３６に録画された火災動画の１フレームは例えば４Ｋ画像の場合、縦横２１６０×３８４０ピクセルの画素配置となる。
学習画像生成制御部３４は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に火災画像を学習画像として読出し、例えば４Ｋ画像の場合、縦横９×１５の１３５ブロックのブロック画像に分割し、ブロック画像記憶部４０に記憶させると共にモニタ部４６に画面表示させる。
図４は監視領域の火災実験等により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
図４（Ａ）に示すように、モニタ部４６には、録画部３６から読み込まれてブロック分割された火災画像４８−１が表示される。本実施形態では、図面の簡略化のため、火災画像４８−１は縦横６×７の４２ブロックのブロック画像に分割されている。
火災画像４８−１は、燃焼物５０に例えば角材を積み上げて燃焼物として着火し、着火後に炎５２が少し上がり、その上に煙５４が上がっている火災初期段階の画像である。
このようなブロック分割された火災画像４８−１に対し、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を、操作者の目視判断により行う。
この際、多層式ニューラルネットワークに分割されたブロック画像を入力し、その結果に応じて、火災検出ブロックを火災学習ブロック画像として、炎検出ブロックを炎学習ブロック画像として、煙検出ブロックを煙学習ブロックとして、火災を検出しないブロックを正常学習ブロックとして、モニタ部４６にそれぞれの分類に応じてブロックの枠色を変化させて画像に重ね合わせて表示されるようにし、この結果を手動で編集するようにしても良い。このようにすることで、ブロック画像の分類の手間を削減することが出来、同時に現在の火災検出器の精度を確認することができる。
ここで、正常学習ブロック画像Ｎは炎や煙が全くないブロックであり、煙学習ブロック画像Ｓは煙が目視でき大半を占めるブロックであり、炎学習ブロック画像Ｆは炎が大半を占めるブロックであり、また、非学習ブロック画像ＮＧは目視が難しい煙や炎があるがほとんど正常なブロックである。
図４（Ｂ）は、図４（Ａ）の火災画像４８−１におけるブロック分類画像５６−１であり、燃焼物５０のあるブロックが炎学習ブロック画像Ｆとなり、その直上及び斜め右上方向の７つのブロックが煙学習ブロック画像Ｓとなり、右上隅の３つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
なお、図４（Ｂ）に示すブロック分類画像５６−１は、例えば左上隅を初期位置とした行番号１〜６と列番号１〜７で特定されるブロックアドレス（二元アドレス）Ａ１１〜Ａ６７に対応して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧを示す識別情報を格納したデータ形式で記憶される。
図５は図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
図５（Ａ）に示すブロック分割された火災画像４８−２にあっては、図４（Ａ）に対し時間の経過に伴い火災が拡大し、燃焼物５０からの炎５２は大きく立ち上がっており、炎５２の上の煙５４はその量が減った状態となっている。
図５（Ｂ）は、図５（Ａ）の火災画像４８−２におけるブロック分類画像５６−２であり、燃焼物５０のある２つのブロックが炎学習ブロック画像Ｆとなり、その直上の２つのブロックが煙学習ブロック画像Ｓとなり、その上の１つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
なお、図４（Ａ）及び図５（Ａ）は火災画像の一例であり、実際には、燃焼物の着火から図４（Ａ）を経て図５（Ａ）のように炎が燃え上がるように拡大して行く火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横６×７の４２ブロックのブロック画像に分割して分類することで、正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓが最大で３７８，０００枚生成できる。
実際には、一部に非学習ブロック画像ＮＧが例えば１０パーセント以下の割合で存在することが想定され、それでも３４０，０００枚程度の正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓを含む学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０の学習に十分な数の学習ブロック画像が生成される。
また、火災により発生する煙は、燃焼する燃焼物の材質により異なる。例えば燃焼物の材質が木材、布、紙等の場合は白い煙となり、また、燃焼物の材質が合成樹脂や油の場合は黒い煙となることが多い。このため火災学習データの生成にあっては、燃焼物の材質を変えた火災実験を監視カメラ１６により撮像して録画し、この録画画像を読み出してブロック分割して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を行い、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆを、燃焼物の材質により異なる煙毎に生成して、火災検出器２４の多層式ニューラルネットワーク３０を学習させる。
なお、火災画像を分割したブロック画像の分類は、操作者の目視による手動操作による分類以外に、例えばブロック単位に画素の輝度の総和を求めて自動的に判定して分類するようにしても良い。
また、火災実験による火災画像の撮像は、監視領域１５では行えない場合もあることから、この場合には、システム製造側の火災実験施設を使用して行った火災実験を撮像して録画した動画を利用する。このように監視領域１５以外の場所で撮像した火災の動画は、背景が監視領域１５と相違することから、ブロック画像の中の炎学習ブロック画像と煙学習ブロック画像は、学習ブロック画像として使用するが、正常学習ブロック画像は学習対象から除外し、これに代えて、監視領域１５の通常監視状態で監視カメラ１６により撮像した画像のブロック分割で生成された正常学習ブロック画像を使用すれば良い。
［学習画像生成制御］
図６は図２の学習画像生成装置による学習画像生成制御を示したフローチャートであり、図２に示した学習画像生成制御部３４による制御となる。
図６に示すように、所定の操作により学習画像生成制御が開始されると、学習画像生成制御部３４は、ステップＳ１で監視カメラ１６により撮像されて録画部３６に記憶されている火災動画をフレーム単位に火災画像として読出し、ステップＳ２で所定サイズのブロック画像に分割し、ステップＳ３で例えば図４（Ａ）に示すようにモニタ部４６に画面表示させる。
続いて、ステップＳ４に進み、学習画像生成制御部３４は、モニタ部４６に画面表示されたブロック画像の操作者による目視による操作に基づき、ブロック画像を炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像又は非学習ブロック画像に分類し、この内の炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像をステップＳ５で学習画像記憶部４２に記憶させる。
続いて、学習画像生成制御部３４は、ステップＳ６で全ての火災画像を処理したか否か判別し、全ての火災画像を処理していない場合はステップＳ１からの処理を繰り返し、全ての火災画像を処理したことを判別すると一連の処理を終了し、判定装置１０の学習制御部２６に学習画像の生成完了を通知して多層式ニューラルネットワーク３０の学習を行わせる。
［火災検出制御］
図７は図２の判定装置による火災検出制御を示したフローチャートであり、図２に示した火災検出器２４による制御となる。
図７に示すように、火災検出器２４はステップＳ１１で監視カメラ１６からの監視画像を画像入力部２８に読み込み、ステップＳ１２で所定サイズのブロック画像に分割して、ステップＳ１３で先頭のブロック画像から順番に多層式ニューラルネットワーク３０に入力させ、多層式ニューラルネットワーク３０から出力された推定値ｙ１，ｙ２，ｙ３に対し判定部３２で所定の閾値との比較により、推定値ｙ１が閾値以上であれば炎ブロックと判定し、推定値ｙ２が閾値以上であれば煙ブロックと判定し、更に、推定値ｙ３が閾値以上であれば正常ブロックと判定し、炎ブロック又は煙ブロックを判定した場合に火災検出ブロックであることを判定し、ステップＳ１４で判定結果を記憶させる。
続いて、ステップＳ１５で、火災検出器２４は全てのブロック画像を入力したか否か判別し、未入力を判別した場合はステップＳ１３からの処理を繰り返し、全てのブロック画像の入力を判別した場合はステップＳ１６に進み、炎ブロック又は煙ブロックを含む火災検出ブロックが１つでもあればステップＳ１７に進み、火災検出ブロックの分布を記憶させ、モニタ部４６にその時の監視画像に重ねて火災検出ブロックの分布を表示させる。
図８は監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図であり、図８（Ａ）は図４（Ａ）に示した火災画像４８−１を例にとっており、図８（Ｂ）は図５（Ａ）に示した火災画像４８−２を例にとっている。
図８（Ａ）（Ｂ）のモニタ画面７４−１，７４−２にあっては、監視領域の監視画像に重ねて、火災検出ブロックとして、実線の枠で示す炎検出ブロックと、点線の枠で示す煙検出ブロックが表示されている。
なお、図８は炎検出ブロックと煙検出ブロックに分けて示しているが、両者を同じ火災検出ブロックとして表示しても良い。また、炎検出ブロックと煙検出ブロック又は火災検出ブロックは、枠の線種で区別しているが、これに限定されず、枠の色彩により区別しても良いし、ブロックを監視画像が見える透明な色彩で塗りつぶすようにして区別しても良い。更に、ブロック枠やブロック色をフリッカさせるようにしても良い。
再び図７を参照するに、続いて、火災検出器２４はステップＳ１８で所定時間の経過を判別するまでは、ステップＳ１１に戻り、次の監視画像を読み込んでステップＳ１２〜Ｓ１７の処理を繰り返し、時系列的に変化する火災検出ブロックの分布を記憶させる。
火災検出器２４は、ステップＳ１８で所定時間の経過を判別するとステップＳ１９に進み、ステップＳ１１〜Ｓ１７の処理により記憶された時系列的に変化する火災検出ブロックの分布を判定し、ステップＳ２０で火災検出ブロックが時間の経過に伴い上方に移動するか又は拡大する時系列的変化を判別した場合はステップＳ２１に進んで火災を判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
［炎と煙を個別に検出する判定装置］
図９は炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図である。
図２に示した判定装置１０にあっては、火災検出器２４に単一の多層式ニューラルネットワーク３０を設け、学習画像生成装置１２で生成された炎学習ブロック画像と煙学習ブロック画像の両方を火災学習ブロック画像として単一の多層式ニューラルネットワーク３０に入力して学習させており、このため炎が大半を占めるブロック画像の入力による火災の推定値と、煙が大半を占めるブロック画像の入力による火災の推定値が相違が出ることが想定され、学習数の少ない方の火災の推定精度が低下する可能性がある。
そこで図９の判定装置１０にあっては、火災検出器２４に、ブロック画像を入力して火災の炎を検出するため、画像入力部２８−１、第１の多層式ニューラルネットワーク３０−１及び判定部３２−１を設け、また、ブロック画像を入力して火災の煙を検出するため、画像入力部２８−２、第２の多層式ニューラルネットワーク３０−２及び判定部３２−２を設けている。
学習画像生成装置１２は図２の実施形態と同じであり、録画部３６から読み出した火災画像を所定サイズのブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させている。
判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された炎学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８−１を介して第１の多層式ニューラルネットワーク３０−１に入力して学習させる。このため第１の多層式ニューラルネットワーク３０−１は監視画像を分割したブロック画像の入力に対し炎の推定値を出力する。
また、判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された煙学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８−２を介して第２の多層式ニューラルネットワーク３０−２に入力して学習させる。このため第２の多層式ニューラルネットワーク３０−２は監視画像を分割したブロック画像の入力に対し煙の推定値を出力する。
このように監視画像を分割したブロック画像の入力に対し第１の多層式ニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災を判定することが可能となる。
また、判定部３２−１，３２−２は、炎の推定値と煙の推定値を所定の閾値と比較して火災の炎と火災の煙を判定しており、更に、炎検出ブロックの分布と煙検出ブロックの分布の火災に特有な時系列的変化を判定することで、高い精度で火災を判定して火災判定信号を火災受信機１４に出力する。
また、火災検出器２４は、第１及び第２の多層式ニューラルネットワーク３０−１，３０−２の検出結果として得られた炎検出ブロックと煙検出ブロックの分布をモニタ部の監視画像に重ねて表示させることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くし、初期消火や避難誘導の適切な対処を可能とする。
［赤外線画像による火災監視システムの概要］
図１０はサーモ監視カメラにより赤外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図ある。
図１０に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ赤外線撮像部として機能するサーモ監視カメラ１６０−１、１６０−２が設置され、監視領域１５−１をサーモ監視カメラ１６０−１により動画撮影し、監視領域１５−２をサーモ監視カメラ１６０−２により動画撮像している。
サーモ監視カメラ１６０−１、１６０−２は特に区別の必要がないときはサーモ監視カメラ１６０として記述する。
サーモ監視カメラ１６０は、例えば、水や二酸化炭素などの大気中の分子によって吸収されにくい波長域となる８〜１４μｍの「大気の窓」を含む７〜１４μｍとなる赤外線波長帯域の赤外光を受光し、例えば３０フレーム／秒で撮像して赤外線動画として出力する。この場合、サーモ監視カメラ１６０から出力される赤外線動画は、予め設定された温度カラーマップに基づいたカラー赤外線動画として出力される。温度カラーマップは、サーモ監視カメラ１６０の測定温度レンジを例えば１５０〜９００℃に設定すると、最低温度１５０℃で紺、最高温度９００℃で赤、その間は青、緑、黄、橙と連続的に変化するようにしている。
また、サーモ監視カメラ１６０から出力される赤外線動画の１フレームは、例えば、縦横４８０×６４０ピクセルの画素配置となる。
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、サーモ監視カメラ１６０−１，１６０−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
判定装置１０−１には監視領域１５−１に設置されたサーモ監視カメラ１６０−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置されたサーモ監視カメラ１６０−２が信号ケーブル２０−２により接続され、それぞれサーモ監視カメラ１６０−１，１６０−２で撮像された赤外線の動画画像を入力している。
判定装置１０は多層式ニューラルネットワークを備え、サーモ監視カメラ１６０から送られてきた赤外線動画をフレーム単位に赤外線監視画像として入力し、入力した赤外線監視画像を例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災ブロックか正常ブロックかを検出し、火災検出ブロックの時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
学習画像生成装置１２は、監視領域１５で火災実験を行った場合のサーモ監視カメラ１６０により撮像された動画画像をフレーム単位に入力し、判定装置１０と同様に、縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を炎学習ロック画像、熱気流学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。この分類は、ブロック分割されたカラー赤外線画像を温度カラーバーと共にモニタ画面に表示して人的作業により行う。
なお、炎学習ブロック画像と熱気流学習ブロック画像は、火災学習ブロック画像に含まれる。また、炎からの輻射熱を受けた部分のブロック画像は、熱気流学習ブロック画像と同様なカラー画像となることから、熱気流学習ブロック画像に含まれるものとして説明する。
学習画像生成装置１２に記憶された炎学習ブロック画像、熱気流学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部により読み出され、判定装置１０の多層式ニューラルネットワークに入力してディープラーニングより学習させる。
それ以外の構成は、図１の実施形態と同じになることから、同一符号を付して説明は省略する。
［判定装置及び学習画像生成装置］
図１１はサーモ監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
（判定装置の機能構成）
図１１に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。
火災検出器２４はサーモ監視カメラ１６０により撮像された監視領域の赤外線動画画像を、フレーム単位に赤外線監視画像として画像入力部２８に入力し、例えば縦横１２×１４の１６８ブロックの赤外線ブロック画像に分割し、各赤外線ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎、熱気流、又は正常かの種別（クラス）を示す推定値ｙ１，ｙ２，ｙ３を出力する。
判定部３２は多層式ニューラルネットワーク３０から出力された赤外線ブロック画像の炎推定値ｙ１，熱気流推定値ｙ２及び正常推定値ｙ３を所定の閾値、例えば０．５と比較し、推定値が閾値以上となる炎ブロック、熱気流ブロック又は正常ブロックの何れかを判定し、入力された監視画像単位に炎ブロックと熱気流ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、熱気流学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、サーモ監視カメラ１６０で撮像された温度により色分けされたカラー画像となる赤外線画像を分割したブロック画像を入力すると、炎ブロック推定値ｙ１、熱気流ブロック推定値、又は正常ブロック推定値ｙ３が出力される。
この推定値ｙ１，ｙ２，ｙ３は、理想的には、
炎ブロック画像の場合は（ｙ１，ｙ２，ｙ３） ＝（１，０，０）
熱気流ブロック画像の場合は（ｙ１，ｙ２，ｙ３）＝（０，１，０）
正常ブロック画像の場合は（ｙ１，ｙ２，ｙ３） ＝（０，０，１）
となるが、実際には推定値ｙ１〜ｙ３の総和が１となるように０〜１の間の値をとる。
判定部３２は多層式ニューラルネットワーク３０から出力された推定値ｙ１〜ｙ３を所定の閾値、例えば０．５と比較し、推定値ｙ１が閾値以上であれば炎ブロックと判定し、推定値ｙ２が閾値以上であれば熱気流ブロックと判定し、前述したように、炎ブロックと熱気流ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
［学習画像生成装置の機能構成］
図１１に示すように、学習画像生成装置１２は、赤外線学習画像生成制御部３４０、録画部３６、赤外線火災画像記憶部３８０、赤外線ブロック画像記憶部４００、赤外線学習画像記憶部４２０、操作部４４及びモニタ部４６で構成される。
録画部３６には、監視領域１５で行った火災実験をサーモ監視カメラ１６０で撮像した温度により色分けされたカラー画像となる赤外線火災動画が録画される。
赤外線学習画像生成制御部３４０は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に赤外線火災画像を学習画像として読出して縦横１２×１４の１６８ブロックのブロック画像に分割し、赤外線ブロック画像記憶部４００に記憶させると共に、温度と表示色の関係をバーグラフで示した温度カラーマップと共にモニタ部４６に画面表示させる。
図１２は監視領域の火災実験等により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図である。
図１２（Ａ）に示すように、モニタ部４６には、録画部３６から読み込まれてブロック分割された赤外線火災画像４８０−１が表示される。本実施形態では、図面の簡略化のため、赤外線火災画像４８０−１は縦横６×７の４２ブロックのブロック画像に分割されている。なお、温度カラーマップの表示は省略している。
赤外線火災画像４８０−１は、燃焼物５０に例えば角材を積み上げて燃焼物として着火し、着火後に炎５２が少し上がり、その上に熱気流５５が上がっている火災初期段階の画像である。
また、監視領域には使用中の石油ストーブ１００が配置されており、石油ストーブ１００について、炎１０２、熱気流１０４及び輻射熱１０６が赤外線画像として存在している。
なお、赤外線火災画像４８０−１は、所定の赤外線強度以上、例えば１５０℃以上の領域を抽出して強度に応じた色付けを行った画像であることから、実際の画像には、炎５２、熱気流５５、炎１０２、熱気流１０４及び輻射熱１０６の赤外線色付け画像しか現れていないが、説明を分かりやすくするため、実際には表れない燃焼物５０、石油ストーブ１００及び監視領域の背景を併せて示している。
このようなブロック分割された赤外線火災画像４８０−１に対し、炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ（輻射熱を含む）、正常学習ブロック画像Ｎ、又は非学習ブロック画像ＮＧとするブロック画像の分類を、操作者の目視判断により行う。
ここで、炎学習ブロックは、炎の温度は４００℃以上であることから、温度カラーバーにおける４００℃以上の例えば黄色から赤に至るカラー画像が大部分を占めるブロックとする。また、熱気流学習ブロックは、熱気流の温度が炎の温度より低いことから、温度カラーバーにおける４００℃未満の例えば青から緑を経て黄緑に至るカラー画像が大部分を占めるブロックとする。
また、正常学習ブロックは室温レベルであることから、温度カラーバーにおける最低温度となる紺のカラー画像が全てを占めるブロックとする。更に、非学習ブロックは、全体的には紺であるが炎や熱気流に対応した青から赤に至る画像が僅かに含まれるブロックとする。
図１２（Ｂ）は、図１２（Ａ）の赤外線火災画像４８０−１における赤外線ブロック分類画像５６０−１であり、炎５２のあるブロックが炎学習ブロック画像Ｆとなり、熱気流５５のあるブロックが熱気流学習ブロック画像Ｈとなり、上から２列目で右から３番目のブロックが非学習ブロック画像ＮＧとなる。また、ストーブ１００の炎１０２、熱気流１０４及び輻射熱１０６は火災によるものでないことから非学習ブロックＮＧとしている。それ以外のブロックが正常学習ブロック画像Ｎとなっている。
なお、図１２（Ｂ）に示す赤外線ブロック分類画像５６０−１は、例えば左上隅を初期位置とした行番号１〜６と列番号１〜７で特定されるブロックアドレス（二元アドレス）Ａ１１〜Ａ６７に対応して炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ、正常学習ブロック画像Ｎ、又は非学習ブロック画像ＮＧを示す識別情報を格納したデータ形式で記憶される。
図１３は図１２に対し時間が経過した後の監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図である。
図１３（Ａ）に示すブロック分割された赤外線火災画像４８０−２にあっては、図１２（Ａ）に対し時間の経過に伴い火災が拡大し、燃焼物５０からの炎５２は大きく立ち上がっており、炎５２の上の熱気流５５も大きく拡散して広がり、炎輻射熱６５のある状態となっている。
これに対し石油ストーブ１００は、炎１０２、熱気流１０４及び輻射熱１０６が図１２（Ａ）と同じであり、変化はない。
図１３（Ｂ）は、図１３（Ａ）の赤外線火災画像４８０−２における赤外線ブロック分類画像５６０−２であり、炎学習ブロック画像Ｆが上方に拡大した分布となり、その周辺の熱気流学習ブロックＨも大きく広がっている。
なお、図１２（Ａ）及び図１３（Ａ）は赤外線火災画像の一例であり、実際には、燃焼物５０の着火から図１２（Ａ）を経て図１３（Ａ）のように炎５２が燃え上がるように拡大して行く赤外線火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横１２×１４の１６８ブロックのブロック画像に分割して分類することで、炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ及び正常ブロック画像Ｎが最大で１，５１２，０００枚生成できる。
実際には、一部に非学習ブロック画像ＮＧが例えば１０パーセント以下の割合で存在することが想定され、それでも１，３６０，８００枚程度の炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ及び正常ブロック画像Ｎを含む赤外線学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０の学習に十分な数の赤外線学習ブロック画像が生成される。
なお、上記の実施形態では、炎ブロックと熱気流ブロックを火災検出ブロックに含めているが、炎ブロックのみを火災検出ブロックとしても良い。
［紫外線画像による火災監視システムの概要］
図１４は紫外線監視カメラにより紫外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図ある。
図１４に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ紫外線監視カメラ１６２−１、１６２−２が設置され、監視領域１５−１を紫外線監視カメラ１６２−１により動画撮影し、監視領域１５−２を紫外線監視カメラ１６２−２により動画撮像している。
紫外線監視カメラ１６２−１、１６２−２は特に区別の必要がないときは紫外線監視カメラ１６２として記述する。
紫外線監視カメラ１６２は、例えば２００〜４００ｎｍ（０．２〜０．４μｍ）となる紫外線波長帯域の紫外光を受光し、例えば３０フレーム／秒で撮像して動画として出力する。ここで、紫外線監視カメラ１６２による監視対象は水素ガスの燃焼による炎であり、水素ガスの燃焼による炎に特有なＯＨ基の共鳴放射帯は２８０ｎｍ〜３０９ｎｍであることから、波長帯域２８０ｎｍ〜３０９ｎｍの紫外線透過フィルタを紫外線監視カメラ１６２の光学系に設け、水素ガスの燃焼による赤外線監視画像を撮像する。
この場合、紫外線監視カメラ１６２から出力される紫外線動画は、予め設定された紫外線強度カラーマップに基づいたカラー紫外線動画として出力される。紫外線強度カラーマップは、所定の最小強度で紺、所定の最大強度で赤とし、その間は青、緑、黄、橙と連続的に変化するようにしている。このため紫外線監視画像の中の黄から赤の画像領域に水素ガスの燃焼による炎が存在していることが表示される。
また、紫外線監視カメラ１６２から出力される赤外線動画の１フレームは、例えば、縦横４８０×６４０ピクセルの画素配置となる。
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、紫外線監視カメラ１６２−１，１６２−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
判定装置１０−１には監視領域１５−１に設置された紫外線監視カメラ１６２−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置された紫外線監視カメラ１６２−２が信号ケーブル２０−２により接続され、それぞれ紫外線監視カメラ１６２−１，１６２−２で撮像された紫外線の動画画像を入力している。
判定装置１０は多層式ニューラルネットワークを備え、紫外線監視カメラ１６２から送られてきた紫外線動画画像をフレーム単位に入力して、入力したフレーム画像を紫外線監視画像として例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災検出ブロックか正常ブロックかを検出し、火災検出ブロックの時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
学習画像生成装置１２は、監視領域１５で水素ガスを燃焼させる火災実験を行った場合の紫外線監視カメラ１６２により撮像された動画画像をフレーム単位に紫外線監視画像として入力し、例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を、水素ガスの燃焼による炎の紫外線領域が占める割合に応じて炎学習ブロック画像、炎周辺学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。ここで、炎学習ブロック画像と炎周辺学習ブロック画像は、火災学習ブロック画像に含まれる。
学習画像生成装置１２に記憶された炎学習ブロック画像、炎周辺学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部２６により読み出され、判定装置１０の多層式ニューラルネットワーク３０に入力してディープラーニングより学習させる。
それ以外の構成は、図１の実施形態と同じになることから、同一符号を付して説明は省略する。
［判定装置及び学習画像生成装置］
図１５は紫外線監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
（判定装置の機能構成）
図１５に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。
火災検出器２４は紫外線監視カメラ１６２により撮像された監視領域の紫外線動画画像を、フレーム単位に紫外線監視画像として画像入力部２８に入力し、例えば縦横１２×１４の１６８ブロックの紫外線ブロック画像に分割し、各紫外線ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎ブロック画像、炎周辺ブロック画像、又は正常ブロック画像の種別（クラス）を示す推定値ｙ１，ｙ２，ｙ３を出力する。
判定部３２は多層式ニューラルネットワーク３０から出力された紫外線ブロック画像の炎推定値ｙ１，炎周辺推定値ｙ２及び正常推定値ｙ３を所定の閾値、例えば０．５と比較し、推定値が閾値以上となる炎ブロック、炎周辺ブロック又は正常ブロックの何れかを判定し、入力された監視画像単位に炎ブロックと炎周辺ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、炎周辺学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、紫外線監視カメラ１６２で撮像された紫外線監視画像を分割したブロック画像を入力すると、炎ブロック推定値ｙ１、炎周辺ブロック推定値ｙ２、又は正常ブロック推定値ｙ３が出力される。
この推定値ｙ１，ｙ２，ｙ３は、理想的には、
炎ブロック画像の場合は（ｙ１，ｙ２，ｙ３） ＝（１，０，０）
炎周辺ブロック画像の場合は（ｙ１，ｙ２，ｙ３）＝（０，１，０）
正常ブロック画像の場合は（ｙ１，ｙ２，ｙ３） ＝（０，０，１）
となるが、実際には推定値ｙ１〜ｙ３の総和が１となるように０〜１の間の値をとる。
判定部３２は多層式ニューラルネットワーク３０から出力された推定値ｙ１〜ｙ３を所定の閾値、例えば０．５と比較し、推定値ｙ１が閾値以上であれば炎ブロックと判定し、推定値ｙ２が閾値以上であれば炎周辺ブロックと判定し、前述したように、炎ブロックと炎周辺ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
［学習画像生成装置の機能構成］
図１５に示すように、学習画像生成装置１２は、紫外線学習画像生成制御部３４２、録画部３６、紫外線火災画像記憶部３８２、紫外線ブロック画像記憶部４０２、紫外線学習画像記憶部４２２、操作部４４及びモニタ部４６で構成される。
録画部３６には、監視領域１５で行った水素ガスの火災実験を紫外線監視カメラ１６２で撮像した紫外線火災動画が録画される。紫外線監視カメラ１６２は紫外線動画を例えば３０フレーム／秒で撮像して出力し、これが紫外線火災動画として録画部３６に録画される。
紫外線学習画像生成制御部３４２は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に火災画像を学習画像として読出し、縦横１２×１４の１６８ブロックのブロック画像に分割し、紫外線ブロック画像記憶部４０２に記憶させると共に紫外線強度カラーマップと共にモニタ部４６に画面表示させ、人為操作により炎学習ブロック画像、炎周辺学習ブロック画像、正常学習ブロック画像または非学習ブロック画像に分類して紫外線学習画像記憶部４２２に記憶させる。
ここで、炎学習ブロックは、水素ガスの燃焼による炎を示す紫外線強度カラーバーにおける橙から赤に至るカラー画像が大部分を占めるブロックとする。また、炎周辺ブロックは、水素ガスの燃焼による炎周辺を示す紫外線強度カラーバーにおける黄色から橙に至るカラー画像が大部分を占めるブロックとする。また、正常学習ブロックは、水素ガスの燃焼による炎のないことを示す紫外線強度カラーバーにおける黄、緑、青、紺の範囲に入るカラー画像が全てを占めるブロックとする。更に、非火災学習ブロックは、全体的には黄、緑、青、紺の範囲の画像であるが、炎や周辺に対応した赤から黄に至る画像が僅かに含まれるブロックとする。
また、録画部３６には水素ガスの着火から炎が燃え上がるように拡大して行く紫外線火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横１２×１４の１６８ブロックのブロック画像に分割して分類することで、炎学習ブロック画像、炎周辺学習ブロック画像及び正常ブロック画像が最大で１，５１２，０００枚というように十分な数の紫外線学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０は十分な数の紫外線学習ブロック画像で学習することで、水素ガスの燃焼による火災の推定精度を高めることができる。
なお、上記の実施形態では、炎ブロックと炎周辺ブロックを火災検出ブロックに含めているが、炎ブロックのみを火災検出ブロックとしても良い。
〔本発明の変形例〕
（境界の学習と検出）
上記の実施形態は、ブロック画像が火災かどうかを判定していたが、さらにブロック画像が火災の境界に当たるかどうかを判定するようにしても良い。学習時においてはブロック中に炎や煙等の火災の影響がある部分とない部分が混在するようなブロックであるとき、火災境界学習ブロック画像として学習画像記憶部に記憶させる。
なお、上記の実施形態である火災学習ブロック画像、正常学習ブロック画像、非学習ブロック画像の区別によらず独立の項目としても良い。例えば、火災学習ブロック画像かつ火災境界学習ブロック画像であることが可能である。
火災境界を検出する多層式ニューラルネットワークは火災を検出する多層式ニューラルネットワークと同じニューラルネットワークを用い、出力項を火災検出項と火災境界検出項の２つにするようにして学習するようにしても良い。この際、非学習画像については火災検出項に基づく学習を行わず、火災境界検出項のみ学習を行う。
このように同一の多層式ニューラルネットワークを用いることで、監視時においては出力層直前の計算を行うだけで良くなり、複数の多層式ニューラルネットワークを用いる場合に発生する多層式ニューラルネットワークの複数回の計算が不要となる。また、上記の点で同一の多層式ニューラルネットワークを用いることが好適であるが、異なる多層式ニューラルネットワークを用いるようにしても良い。
火災検出器は火災ブロックと火災が検出されないブロックが隣接するとき、隣接するブロックについて火災境界ブロックかどうか判定する。火災ブロックに隣接するブロックは火災の境界が存在するブロックと考えられ、学習時においては非火災学習ブロックとなるようなブロック画像となる可能性がある。このような火災ブロックかどうかの判定が困難なブロックについても、監視時においては火災検出ブロックか火災を検出しないブロックか判定されるが、火災境界ブロックかどうか検出することで、どちらかのブロックに火災境界が存在するかが判定でき、火災の規模の大きさや動きについてより正確な判定や表示を行うことが可能となる。
（火災報知設備と監視システムとの関係）
上記の実施形態は、火災報知設備と監視システムと連携する構成をとっているが、監視システムのみを用いるようにしても良い。吹き抜け構造等、火災報知設備の感知器が設置できないような場所においても本システムは運用可能である。
また、火災報知設備と監視システムと連携する場合、いずれの系により火災を検出したか火災受信機の表示部や監視設備のモニタ等の表示部に表示するようにしても良い。これにより、監視者は感知器発報か映像監視による火災警報かを区別することが可能となる。
（放火監視）
上記の実施形態は、屋内の警戒領域の火災監視を例にとっているが、これ以外に、屋外に監視カメラを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、監視カメラで撮像した画像を入力して放火を監視するようにしても良い。
また、放火の実行者の推定を行うシステムとしても良い。人感センサや監視カメラ等の人検出手段によって領域への人の侵入を検知したときにトリガを掛け、当該人物が退出したときにトリガを解除する。トリガがかかっている間に火災ブロックが検出された場合、領域へ侵入した人物を放火の実行者として推定し、当該人物の領域にいる間の映像の読み出し等を可能にする。
（非火災学習）
上記の実施形態は、火災時の画像を用いて学習を行っているが、非火災時の画像を用いて非火災の学習を行うようにしても良い。監視時、非火災を誤検出した場合、火災ブロックとして検出したブロックの画像を非火災学習ブロック画像として学習画像記憶部に記憶する。
火災ブロックや正常ブロックとは別の出力項として非火災判定の項を設けることが、好適である。これは、非火災ブロックが火災でないため正常ブロックとして設定すると、非火災ブロック画像は火災ブロックと近い特徴を持つため、非火災ブロックでない正常ブロックと火災ブロックの判定精度に悪影響を与える恐れがあるためである。
（尤度を用いたブロック画像の火災判定）
上記の実施形態は、火災ブロックか火災ブロックでないか２値化しているが、火災の尤度を用いるようにして、監視領域における火災の判定や分布の表示を行うようにしても良い。火災の尤度はブロックごとに多層式ニューラルネットワークにより出力される推定値を用いる。推定値と尤度を同じにしても良いし、推定値を特定の値ごとに区切って尤度を対応させても良い。また、例えば隣接するブロックの尤度の平均値により尤度を変化させるなど、尤度は隣接するブロックの影響を受けるようにしても良い。このようにすることで、照明等による火災ブロックの誤検出の可能性を低減させ、通常炎と煙が複数のブロックにまたがって検出されやすい真の火災については検出率を高めることが出来る。
（火災判断根拠の明示）
上記の実施形態は、判定装置は火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かったブロック（火災推定値の高かったブロック）について強調表示する。これにより、火災検出器が火災と判断したブロック領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。また、畳み込みニューラルネットワークは全結合のニューラルネットワークより学習が高速となるため好適であるが、全結合のニューラルネットワークを用いるようにしても良い。
（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して学習画像生成装置により学習ブロック画像を生成し、判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習の済んだ多層式ニューラルネットワークに監視領域の赤外線画像を分割したブロック画像を入力して火災を判定するようにしても良い。
このように監視領域の赤外線画像を分割したブロック画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
１０，１０−１，１０−２：判定装置
１２，１２−１，１２−２：学習画像生成装置
１４：火災受信機
１５，１５−１，１５−２：監視領域
１６，１６−１，１６−２：監視カメラ
１８，１８−１，１８−２：火災感知器
２０−１，２０−２：信号ケーブル
２２：感知器回線
２４：火災検出器
２６：学習制御部
２８，２８−１，２８−２：画像入力部
３０：多層式ニューラルネットワーク
３０−１：第１の多層式ニューラルネットワーク
３０−２：第２の多層式ニューラルネットワーク
３２，３２−１，３２−２：判定部
３４：学習画像生成制御部
３６：録画部
３８：火災画像記憶部
４０：ブロック画像記憶部
４２：学習画像記憶部
４４：操作部
４６：モニタ部
４８−１，４８−２：火災画像
５０：燃焼物
５２，１０２：炎
５４：煙
５５：熱気流
５６−１，５６−２：ブロック分類画像
５８：特徴抽出部
６０：認識部
６２：入力画像
６３，６５ａ，６５ｂ：重みフィルタ
６４ａ，６４ｂ，６４ｃ：特徴マップ
６６：入力層
６８：全結合
７０：中間層
７２：出力層
７４−１，７４−２：モニタ画面
１００：石油ストーブ
１０４：熱気流
１０６，１０８：輻射熱
１６０，１６０−１，１６０−２：サーモ監視カメラ
１６２，１６２−１，１６２−２：紫外線監視カメラ
３４０：赤外線学習画像生成制御部
３４２：紫外線学習画像生成制御部
３８０：赤外線火災画像記憶部
３８２：紫外線火災画像記憶部
４００：赤外線ブロック画像記憶部
４０２：紫外線ブロック画像記憶部
４２０：赤外線学習画像記憶部
４２２：紫外線学習画像記憶部
４８０−１，４８０−２：赤外線火災画像
５６０−１，５６０−２：赤外線ブロック分類画像

Claims (6)

  1. 撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器に前記ブロック画像を入力して火災を検出する火災監視システムに於いて、
    入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
    が設けられたことを特徴とする火災監視システム。
  2. 請求項１記載の火災監視システムに於いて、
    前記火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むことを特徴とする火災監視システム。
  3. 請求項１又は２記載の火災監視システムに於いて、
    前記多層式ニューラルネットワークに前記分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して前記学習画像記憶部に記憶させることを特徴とする火災監視システム。
  4. 撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器に前記ブロック画像を入力して火災を検出する火災監視システムに於いて、
    前記多層式ニューラルネットワークは、前記ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、前記ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークとで構成され、
    更に、前記火災監視システムとして、
    入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    前記学習画像記憶部に記憶された前記炎学習ブロック画像及び前記正常学習ブロック画像を前記第１の多層式ニューラルネットワークに入力して学習させ、前記学習画像記憶部に記憶された前記煙学習ブロック画像及び前記正常学習ブロック画像を前記第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、
    が設けられたことを特徴とする火災監視システム。
  5. 監視領域から放射される所定の赤外波長帯域の監視画像を撮像する撮像部により撮像された前記監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器に前記ブロック画像を入力して火災を検出する火災監視システムに於いて、
    入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
    が設けられ、
    前記火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、前記赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含むことを特徴とする火災監視システム。
  6. 監視領域から放射される所定の紫外波長帯域の監視画像を撮像する撮像部により撮像された前記監視画像から所定の紫外線強度以上の紫外線監視画像を抽出して複数のブロック画像に分割し、多層式ニューラルネットワークを備える火災検出器に前記ブロック画像を入力して火災を検出する火災監視システムに於いて、
    入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
    前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
    が設けられ、
    前記火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、前記紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含むことを特徴とする火災監視システム。
JP2017240097A 2016-12-21 2017-12-15 火災監視システム Active JP6968681B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016247407 2016-12-21
JP2016247407 2016-12-21

Publications (2)

Publication Number Publication Date
JP2018101416A JP2018101416A (ja) 2018-06-28
JP6968681B2 true JP6968681B2 (ja) 2021-11-17

Family

ID=62626900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240097A Active JP6968681B2 (ja) 2016-12-21 2017-12-15 火災監視システム

Country Status (4)

Country Link
US (1) US10854062B2 (ja)
EP (1) EP3561788B1 (ja)
JP (1) JP6968681B2 (ja)
WO (1) WO2018116966A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053886A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
US11169678B2 (en) * 2018-11-21 2021-11-09 One Conern, Inc. Fire management tool with versatile user interface
KR102155286B1 (ko) * 2018-11-21 2020-09-14 대한민국 무인 비행체를 이용한 야간 산불 대응 시스템
CN109903507A (zh) * 2019-03-04 2019-06-18 上海海事大学 一种基于深度学习的火灾智能监控系统及其方法
KR102231160B1 (ko) * 2019-03-19 2021-03-25 경북대학교 산학협력단 지능형 화재 감지 장치, 지능형 화재 감지 방법 및 기록 매체
CN110059723B (zh) * 2019-03-19 2021-01-05 北京工业大学 一种基于集成深度卷积神经网络的鲁棒烟雾检测方法
JP7294848B2 (ja) * 2019-03-26 2023-06-20 Ｅｎｅｏｓ株式会社 監視装置、監視システムおよび監視方法
JP6815431B2 (ja) * 2019-03-26 2021-01-20 株式会社ダイヘン 塗装面検査装置、及びプログラム
CN110070690B (zh) * 2019-05-13 2021-11-23 上海荷福人工智能科技（集团）有限公司 一种基于深度学习的智能消防分级预警方法及系统
CN110115819A (zh) * 2019-05-14 2019-08-13 上海荷福人工智能科技（集团）有限公司 基于人工智能的消防水炮定向预警及灭火方法、存储介质和消防水炮
KR102067994B1 (ko) * 2019-05-20 2020-01-20 한밭대학교 산학협력단 딥러닝을 이용한 임베디드 환경의 불꽃 감지 시스템
DE102019207711A1 (de) * 2019-05-27 2020-12-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Rauch
KR102097294B1 (ko) * 2019-07-19 2020-04-06 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치
US11080990B2 (en) 2019-08-05 2021-08-03 Factory Mutual Insurance Company Portable 360-degree video-based fire and smoke detector and wireless alerting system
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11361552B2 (en) * 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
WO2021044629A1 (ja) * 2019-09-06 2021-03-11 三菱電機株式会社 画像処理システムおよび画像処理方法
WO2021149208A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 注意喚起システム及び注意喚起方法
CN111341059A (zh) * 2020-02-06 2020-06-26 河南理工大学 基于深度分离和目标感知的早期野火烟雾检测方法和装置
US11462089B1 (en) * 2020-02-24 2022-10-04 General Cybernation Group, Inc. Smoke auto-detection and control for industrial flares
CN111402540B (zh) * 2020-02-25 2021-08-24 王勇强 吸气式感烟火灾探测装置、方法及设备
JP7118322B2 (ja) * 2020-07-09 2022-08-15 三菱電機ビルソリューションズ株式会社 監視システム
WO2022067668A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN112347878A (zh) * 2020-10-27 2021-02-09 中材邦业(杭州)智能技术有限公司 一种水泥烧成过程看火信号辨识处理方法及装置
KR102472366B1 (ko) * 2020-11-25 2022-11-30 주식회사 에이치에스정보기술 360도 감시카메라
US11908195B2 (en) 2020-12-01 2024-02-20 Devon Energy Corporation Systems, methods, and computer program products for object detection and analysis of an image
JP7226424B2 (ja) * 2020-12-14 2023-02-21 横河電機株式会社 異常温度検知装置、異常温度検知方法、及び異常温度検知プログラム
CN112906463A (zh) * 2021-01-15 2021-06-04 上海东普信息科技有限公司 基于图像的火情检测方法、装置、设备及存储介质
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
JP7480960B2 (ja) 2021-07-12 2024-05-10 神成株式会社 火災防止システム
KR102388292B1 (ko) * 2021-10-07 2022-04-26 대한민국(기상청 국립기상과학원장) 복사 물리 모수화 에뮬레이터의 불확실성을 보정하는 복사 물리 모수화 시스템 및 그의 동작 방법
US11972681B2 (en) * 2021-11-01 2024-04-30 Jpmorgan Chase Bank, N.A. Systems and methods for wayfinding in hazardous environments
KR102409057B1 (ko) * 2021-11-23 2022-06-16 주식회사 이린 인공지능(ai)을 이용한 소방시설 점검 시스템
KR102409061B1 (ko) * 2021-11-23 2022-06-16 주식회사 이린 인공지능(ai)을 이용한 화재 감시 시스템
WO2023184350A1 (zh) * 2022-03-31 2023-10-05 华南理工大学 火灾视频图像识别方法、系统、计算机设备及存储介质
CN115861898A (zh) * 2022-12-27 2023-03-28 浙江创悦诚科技有限公司 一种应用于燃气场站火焰烟雾识别方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
JP3032402B2 (ja) 1993-05-18 2000-04-17 ホーチキ株式会社 火災判定装置及びニューラルネットワークの学習方法
JPH07245757A (ja) 1994-03-07 1995-09-19 Mitsubishi Heavy Ind Ltd 可視カメラ・赤外線カメラ併用型異常検知装置
US5832187A (en) * 1995-11-03 1998-11-03 Lemelson Medical, Education & Research Foundation, L.P. Fire detection systems and methods
US5937077A (en) * 1996-04-25 1999-08-10 General Monitors, Incorporated Imaging flame detection system
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
JP2002032701A (ja) * 2000-07-14 2002-01-31 Kajima Corp 建築物の性能解析方法及び装置
US7365672B2 (en) * 2001-03-16 2008-04-29 Battelle Memorial Institute Detection of a concealed object
BR0209543A (pt) * 2001-05-11 2005-04-26 Detector Electronics Método e aparelho de detecção de fogo através de formação de imagem da chama
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US7245315B2 (en) * 2002-05-20 2007-07-17 Simmonds Precision Products, Inc. Distinguishing between fire and non-fire conditions using cameras
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP4634689B2 (ja) * 2002-07-31 2011-02-16 アドバンス・デザイン株式会社 フレーム監視システム
DE602004019244D1 (de) * 2003-11-07 2009-03-12 Axonx L L C Rauchmeldeverfahren und -vorrichtung
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US7769204B2 (en) * 2006-02-13 2010-08-03 George Privalov Smoke detection method and apparatus
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
US20070276776A1 (en) * 2006-05-24 2007-11-29 Vigilant Technology Ltd. User trainable detection apparatus and method
JP4926602B2 (ja) 2006-08-17 2012-05-09 能美防災株式会社 煙検出装置
US7868772B2 (en) * 2006-12-12 2011-01-11 Industrial Technology Research Institute Flame detecting method and device
WO2008088325A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video based fire detection
WO2008088324A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video detection of smoke and flame
US7876229B2 (en) * 2007-08-14 2011-01-25 Honeywell International Inc. Flare monitoring
US8462980B2 (en) * 2008-05-08 2013-06-11 Utc Fire & Security System and method for video detection of smoke and flame
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
WO2009157889A1 (en) * 2008-06-23 2009-12-30 Utc Fire & Security Video-based system and method for fire detection
US7969296B1 (en) * 2008-08-01 2011-06-28 Williams-Pyro, Inc. Method and system for fire detection
CN101726357B (zh) * 2008-10-14 2014-01-08 能美防灾株式会社 烟检测装置
JP4653207B2 (ja) * 2008-10-16 2011-03-16 能美防災株式会社 煙検出装置
JP5356094B2 (ja) 2009-03-31 2013-12-04 能美防災株式会社 火災検出システム
TWI420423B (zh) * 2011-01-27 2013-12-21 Chang Jung Christian University Machine vision flame identification system and method
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9002060B2 (en) * 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
JP5369340B1 (ja) 2013-01-16 2013-12-18 強化土株式会社 地盤改良工法
JP6139977B2 (ja) * 2013-05-22 2017-05-31 ホーチキ株式会社 火災検知装置及び火災検知方法
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
US9613432B2 (en) * 2014-01-29 2017-04-04 Stmicroelectronics S.R.L. Fire detection system and method employing digital images processing
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US9818277B1 (en) * 2015-07-27 2017-11-14 Amazon Technologies, Inc. Systems and methods for smoke detection
US9946951B2 (en) * 2015-08-12 2018-04-17 International Business Machines Corporation Self-optimized object detection using online detector selection
JP6930428B2 (ja) * 2016-01-21 2021-09-01 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2018101416A (ja) 2018-06-28
WO2018116966A1 (ja) 2018-06-28
EP3561788A1 (en) 2019-10-30
EP3561788B1 (en) 2023-08-09
EP3561788A4 (en) 2020-08-05
US20190279478A1 (en) 2019-09-12
US10854062B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
JP6968681B2 (ja) 火災監視システム
WO2018079400A1 (ja) 火災監視システム
JP6867153B2 (ja) 異常監視システム
JP6968530B2 (ja) 火災監視システム
JP6943401B2 (ja) 火災監視システム
JP6942029B2 (ja) 火災監視システム
JP7072700B2 (ja) 監視システム
JP6857007B2 (ja) 火災監視システム
Healey et al. A system for real-time fire detection
JP6849411B2 (ja) 監視システム
CN109637068A (zh) 智能烟火识别系统
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
Pincott et al. Indoor fire detection utilizing computer vision-based strategies
JP6945423B2 (ja) 放水型消火設備
Hossain et al. Wildfire flame and smoke detection using static image features and artificial neural network
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
JP5042177B2 (ja) 画像センサ
US20050012626A1 (en) Fire detection method
CN111539264A (zh) 一种船舶火焰探测定位系统与探测定位方法
US20220164591A1 (en) Identification of droplet formation during cable burn testing
Sudhakar et al. A Novel Lightweight CNN Model for Real-Time Video Fire Smoke Detection
EP2758948B1 (de) Brandmelder mit sensorfeld
CN117636565B (zh) 基于光谱特征数据融合的多光谱火焰探测系统
JP7479535B1 (ja) 人物検知システムおよび人物検知方法
Ramli et al. Aggressive movement feature detection using color-based approach on thermal images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6968681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150