CN116310927A - 基于深度学习的多源数据分析火灾监测与识别方法及系统 - Google Patents

基于深度学习的多源数据分析火灾监测与识别方法及系统 Download PDF

Info

Publication number
CN116310927A
CN116310927A CN202211099842.8A CN202211099842A CN116310927A CN 116310927 A CN116310927 A CN 116310927A CN 202211099842 A CN202211099842 A CN 202211099842A CN 116310927 A CN116310927 A CN 116310927A
Authority
CN
China
Prior art keywords
data
video
fire
visible light
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211099842.8A
Other languages
English (en)
Inventor
李晓贤
王奔
王刚
杜梦岩
谷陈丰
张歆萌
贾阳
马扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Zhonghe Nuclear Instrument Co ltd
Original Assignee
Xi'an Zhonghe Nuclear Instrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhonghe Nuclear Instrument Co ltd filed Critical Xi'an Zhonghe Nuclear Instrument Co ltd
Priority to CN202211099842.8A priority Critical patent/CN116310927A/zh
Publication of CN116310927A publication Critical patent/CN116310927A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明涉及一种基于深度学习的多源数据分析火灾监测与识别方法及系统，其方法包括：S1：采集不同工况下火灾样本数据，得到样本集；步骤S2：对样本集进行预处理；得到预处理后的样本集，包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及可见光视频特征图序列集合V和红外视频特征图序列集合I；步骤S3：将X经过特征提取网络a得到部分特征图Ca，将V和I分别经过视频处理网络和特征提取网络，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到特征图C，基于C进行火灾预测。本发明提供的方法对不同类型的数据进行更好的融合，更快地进行报警。

Description

基于深度学习的多源数据分析火灾监测与识别方法及系统
技术领域
本发明涉及火灾探测、图像型火灾探测器和新型火灾探测器领域，具体涉及一种基于深度学习的多源数据分析火灾监测与识别方法及系统。
背景技术
基于深度学习的多模态火灾探测器能够在火灾发生的早期发现火灾，并通过多种不同形式的数据来综合判断火灾的发生与否，尤其是能够发现一些不容易被其他单一数据反映的火灾，有利于火灾的及时发现，并为相关安全管理人员针对当前情况做出反应提供更充裕的时间，特别是在对火灾消防要求较高的室内大空间中应用场合具有显著优势。
目前常用的火灾探测器，如感烟火灾探测器、感温火灾探测器等单一通道的火灾探测器，都有各自的适用场景，例如感烟火灾探测器只能感测烟雾，对于无烟雾或烟浓度较低的火灾无法报警；感温型火灾探测器只有当探测器周围温度上升到一定程度才能够报警，因此对于阴燃火灾的检测不适用；图像型火灾探测器遇到有遮挡物遮蔽火源和烟雾之后，无法探测到着火；而多模态火灾探测技术，可以通过其他的数据来判断此时是否着火，更加可靠，提升报警的准确性。现如今在一些放有精密仪器、贵重装置的场所，如实验室、机房、博物馆、医院、核电站等对防火要求较高的场所，一旦起火，将带来巨大的经济损失和严重后果。而单一种类的火灾探测的方法可能因其局限性，而无法充分保障消防场所的安全。
专利申请公布的“物联网型的图像型火灾探测器(CN214279117U)”使用多路图像型火灾探测器进行火灾识别，其中包括普通型物联网图像型火灾探测器、防爆型物联网图像型火灾探测器、防爆型物联网红外热成像火灾探测器、物联网图像型线型光束烟感火灾探测器、球型摄像机、枪型摄像机，但该探测器使用的数据源主要是图像，对于火灾产生的其他物理量未做综合考虑。专利申请公布的“一种图像型火灾探测器的烟雾识别方法及识别系统(CN112257523A)”，提供一种图像型火灾探测器的烟雾识别方法及识别系统，解决现有的烟雾识别方法中算法复杂度较高及定位精度较低的技术问题，通过获取监控现场的视频图像，并将视频图像转换为图像序列；设定RGB颜色空间的基准点；对RGB颜色空间内的图像序列进行运动前景区域分割，以获取疑似目标区域；判断疑似目标区域内图像序列的烟雾运动规律，以确定烟雾目标区域，该发明也是单一的依靠视频图像进行火灾烟雾识别。专利申请公布的“一种基于紫外、红外、视觉的综合火焰检测方法(CN112069975A)”使用紫外、红外探测器分别对当前环境进行检测，其触发信号通过与门连接至计数器；另外通过相机获取当前图像，对图像进行分析，判断当前环境有无火情，若有火情通过火焰的面积，以及周围环境的亮度对当前火情等级做判断。该发明完全依靠阈值进行火灾判断，虽然设置较简单，但是在复杂场景中如何设置合适的阈值较为困难。
因此，如何实现多模态火灾探测成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的多源数据分析火灾监测与识别方法及系统。
本发明技术解决方案为：一种基于深度学习的多源数据分析火灾监测与识别方法，包括：
步骤S1：采集不同工况下火灾样本数据，并对对每个样本标注有火焰或无火焰的标签；得到样本集，所述样本集包括五种数据：烟雾数据、温度数据、火焰辐射数据、可见光视频数据以及红外视频数据；
步骤S2：对所述样本集进行预处理；得到预处理后的样本集；其中，所述预处理后的样本集包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及由可见光视频数据构建可见光视频特征图序列集合V和由红外视频数据构建的红外视频特征图序列集合I；
步骤S3：将所述预处理后的样本集输入火灾监测与识别网络进行特征提取：将所述二维数组X经过特征提取网络a得到部分特征图Ca，将所述可见光视频特征图序列集合V和所述红外视频特征图序列集合I分别经过视频处理网络1和2，以及特征提取网络b1和特征提取网络b2，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到完整的特征图C；对所述特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于深度学习的多源数据分析火灾监测与识别方法，发明基于多源数据进行火灾探测，能够更加全面的获取火灾发生时的物理信息，与现有的火灾探测器相比较，可以同时监测火焰和烟雾信号，可以避免使用单一的探测手段所存在的不足，提高火灾监测的可靠性；采用深度学习方法进行多源数据分析，相较常用的阈值法，能够提取更充分的火灾特征，更加有效的区分火灾目标与其他干扰。
本发明采集了包含温度，烟雾浓度，火焰辐射，可见光视频数据和红外视频数据五种信息的多模态火灾监控数据，构建了同步监测五种数据的火灾数据集；在火灾监测与识别网络结构中，采用数据堆放后转化为图像信号的设计，可以将N个一维数据转变为R行，每行N/R个元素的二维数据提取信息；采用不同的卷积核来处理当前视频帧和相邻视频帧的视频处理网络，可以把三维数据转化为二维数据提取视频中包含的时空信息；采用改进的残差网路结构，包括融合浅层的网络模型和改进瓶颈结构两块内容；采用注意力机制对不同通道信息进行权重分配，可以对不同类型的数据进行更好的融合可以更快的进行报警，为后期消防预警争取更多时间，降低火灾损失。
本发明公开了一种基于深度学习的多源数据分析火灾监测与识别系统，通过多接口、功能模块独立耦合的设计，提高了该系统的实用性，有利于后期设备改造。在数据处理部分，将使用深度学习方法进行信息分析，实现火灾检测识别，促进消防设备的智能化。
附图说明
图1为本发明实施例中一种基于深度学习的多源数据分析火灾监测与识别方法的流程图；
图2为本发明实施例中特征提取网络a的结构示意图；
图3A为本发明实施例中卷积块a的结构示意图；
图3B为本发明实施例中卷积块b的结构示意图；
图4为本发明实施例中视频处理网络结构示意图；
图5为本发明实施例中特征提取网络b1/b2结构示意图；
图6为本发明实施例中残差网络b1/b2的结构示意图；
图7为本发明实施例中改进的残差网络瓶颈结构示意图；
图8为本发明实施例中火灾监测与识别网络结构示意图；
图9为本发明实施例中一种基于深度学习的多源数据分析火灾监测与识别系统的结构框图。
具体实施方式
本发明提供了一种基于深度学习的多源数据分析火灾监测与识别方法，通过多种渠道获取火灾监测数据，对不同类型的数据进行更好的融合，更快地进行报警。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于深度学习的多源数据分析火灾监测与识别方法，包括下述步骤：
步骤S1：采集不同工况下火灾样本数据，并对对每个样本标注有火焰或无火焰的标签；得到样本集，样本集包括五种数据：烟雾数据、温度数据、火焰辐射数据、可见光视频数据以及红外视频数据；
步骤S2：对样本集进行预处理；得到预处理后的样本集；其中，预处理后的样本集包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及由可见光视频数据构建可见光视频特征图序列集合V和由红外视频数据构建的红外视频特征图序列集合I；
步骤S3：将预处理后的样本集输入火灾监测与识别网络进行特征提取：将二维数组X经过特征提取网络a得到部分特征图Ca，将可见光视频特征图序列集合V和红外视频特征图序列集合I分别经过视频处理网络1和2，以及特征提取网络b1和特征提取网络b2，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到完整的特征图C；对特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾。
在一个实施例中，上述步骤S1：采集不同工况下火灾样本数据，并对对每个样本标注有火焰或无火焰的标签；得到样本集，样本集包括五种数据：烟雾数据、温度数据、火焰辐射数据、可见光视频数据以及红外视频数据，具体包括：
采集不同工况下火灾样本数据{s,t,f,v,in}；其中，s为烟雾数据，t为温度数据，f为火焰辐射数据，v为可见光视频数据，in为红外视频数据。
采集在无干扰条件下的火灾火焰和烟雾数据，以及在不同通风、光照、燃烧物、行人干扰情况下的火焰和烟雾的数据，并对其进行标注。其中一个干扰项是可见光视频有无遮挡，当可见光视频数据为全黑即有遮挡物出现但此时有火焰烟雾存在时，该视频样本亦应标注为有火焰，无火焰的数据标注为0，有火焰的数据标注为1，构建样本数据{s,t,f,v,in}；其中，s为烟雾数据，t为温度数据，f为火焰辐射数据，v为可见光视频数据，in为红外视频数据。
在一个实施例中，上述步骤S2：对样本集进行预处理，得到预处理后的样本集；其中，预处理后的样本集包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及由可见光视频数据构建可见光视频特征图序列集合V和由红外视频数据构建的红外视频特征图序列集合I，具体包括：
步骤S21：对样本集中一维的烟雾数据s、温度数据t和火焰辐射数据f，按照其采样时间，构建二维数组Dataraw_data，如公式(1)所示：
Figure BDA0003839866580000051
其中，Srn为时刻n的原始烟雾数据，Trn为时刻n的原始温度数据，Frn为时刻n的原始火焰辐射数据；
设定S、T和F对应的最大值为Smax,Tmax,Fmax,根据公式(2)进行归一化处理，得到公式(3)所示的归一化后的二维数组，得到二维数组X：
Figure BDA0003839866580000052
Figure BDA0003839866580000053
其中，Ssn为时刻n的归一化烟雾数据，Tsn为时刻n的归一化温度数据，Fsn为时刻n的归一化火焰辐射数据；
在本步骤中对数据格式进行归一化处理，对于样本数据中一维数据：烟雾数据s、温度数据t和火焰辐射数据f，均使用十进制编码，其数值大小分别表示烟浓度、温度、电磁辐射的强度，并且根据先验知识(实验数据)确定合理的上限值记为Smax,Tmax,Fmax，将该一维数据利用如公式(1)变换为二维数组的模式，将二维数组利用公式(2)进行归一化处理后，得到如公式(3)的标准化的二维数组X。通过本步骤，可将N个一维数据转变为R行，每行N/R个元素的二维数据信息。
步骤S22：对于采集的可见光视频数据v和红外视频数据in对格式、帧率、视频帧尺寸进行标准化处理后，构建可见光视频特征图序列集合V和红外视频特征图序列集合I，其中，每个样本为长度为N的视频帧采样序列，选取与第i个视频帧前后相邻的各
Figure BDA0003839866580000054
个视频帧分别构建可见光视频特征图序列Vi＝{...ni-2,ni-1,ni,ni+1,ni+2...}和红外视频特征图序列Ii＝{...mi-2,mi-1,mi,mi+1,mi+2...}，其中，i为视频帧序号。
对于样本数据中可见光视频数据v和红外视频数据in，构建长度为N的视频帧采样序列，例如，设定N＝7，即每个样本取7帧，即对于样本1，针对视频帧n3得到其对应的视频特征图序列：V3＝{n0,n1,n2,n3,n4,n5,n6}，同理，对于样本2，针对视频帧n4得到其对应的视频特征图序列：V4＝{n1,n2,n3,n4,n5,n6,n7}，以此类推，构建可见光视频特征图序列集合V和红外视频特征图序列集合I。
在一个实施例中，上述步骤S3：将预处理后的样本集输入火灾监测与识别网络进行特征提取：将二维数组X经过特征提取网络a得到部分特征图Ca，将可见光视频特征图序列集合V和红外视频特征图序列集合I分别经过视频处理网络1和2，以及特征提取网络b1和特征提取网络b2，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到完整的特征图C；对特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾，具体包括：
步骤S31：将二维数组X通过基于残差网络的特征提取网络a提取深层特征，得到部分特征图Ca，如公式(4)～(5)所示：
fa(x)＝r(B(x)) (4)
Ca＝d(Da(fa(x)))·(conva1×1) (5)
其中，fa(x)为特征提取网络a的卷积单元，B(x)批量正则化BatchNormalization；r(x)为ReL U函数；Da(x)为经残差网络a提取的特征，d(x)反卷积函数,conva1×1为特征提取网络a中1×1的卷积核；
如图2所示，展示了特征提取网络a的结构示意图，其中的卷积单元包括：卷积运算，批量正则化BN以及修正单元ReLU函数；
步骤S32：将i时刻的可见光视频帧ni和红外视频帧,mi分别通过视频处理网络1和2中卷积块a提取特征，如公式(6)～(7)所示：
Vself＝n·convb1a (6)
Iself＝m·convb2a (7)
其中，n为可见光V视频序列中的当前视频帧，m为红外视频I视频序列中的当前视频帧，convb1a为视频处理网络1中卷积块a，convb2a为视频处理网络2中卷积块a；
对于i时刻的可见光视频帧ni和红外视频帧,mi是当前时刻的视频帧，即选定为目标；而其前后帧的作用是为当前帧提供所需要的特征信息，为参考帧。因此，在对目标帧的处理上，选用卷积核数量较少并且每个卷积核较小的卷积块a，其中包含一个3×3和1×1的卷积核，在每个卷积核之后都加入一个Instance Normalization(IN)归一化操作和ReLU激活函数，利用3×3的卷积核通过卷积操作来促进视频帧的融合，利用1×1的卷积核为卷机操作引入非线性关系，同时灵活生成特征图的通道数。
如同图3A所示，为卷积块a的结构示意图；视频处理网络1和2中卷积块a的结构相同；
步骤S33：将与i时刻前后相邻的可见光视频帧nk和红外视频帧mk分别通过视频处理网络1和2中的卷积块b提取特征，如公式(8)～(11)所示：
Figure BDA0003839866580000071
Figure BDA0003839866580000072
Figure BDA0003839866580000073
Figure BDA0003839866580000074
其中，nk可见光视频序列V中编号为k的视频帧，mk为红外视频序列I中编号为k视频帧；convb1b为视频处理网络1中卷积块b，convb2b为视频处理网络2中卷积块b；
与ni和,mi前后相邻的可见光视频帧nk和红外视频帧mk作为当前帧的参考帧，使用数量较多并且存在较大卷积核的卷积块b，其中包括9×9，7×7，3×3，1×1的四个卷积核，每个卷积核都增加IN和ReLU，首先使用9×9和7×7的两个大卷积核增加感受野，再使用3×3的卷积核提取细节，1×1的卷积核引入线性关系并进行降维处理，更好的提取出与参考帧相同的特征信息。最后将处理后新的视频帧进行融合得到待处理的视频数据。
如同图3B所示，为卷积块b的结构示意图；视频处理网络1和2中卷积块b的结构相同；
步骤S34：将步骤S32和S33结果进行融合，如公式(12)～(13)所示：
Vdata＝Vadjacent 1+Vself+Vadjacent 2 (12)
Idata＝Iadjacent 1+Iself+Iadjacent 2 (13)
如图4所示为视频处理网络1和2的结构示意图；其中，视频帧2为当前帧，视频1、3为参考帧；
步骤S35：将融合后的特征图Vdata和Idata经过基于残差网络的特征提取网络b1和基于残差网络的特征提取网络b2分别提取特征后，经过反卷积函数d(x)和1×1的卷积核,生成部分特征图Cv和CI,如公式(14)～(15)所示：
Cv＝d(Dv(x))·(convb11×1) (14)
CI＝d(DI(x))·(convb21×1) (15)
其中，x为输入的特征图Vdata和Idata；Dv(x)为经残差网络提取的特征，DI(x)为经残差网络提取的特征；convb11×1为特征提取网络b1中1×1的卷积核；convb21×1为特征提取网络b2中1×1的卷积核；
将融合后的特征图Vdata和Idata分别经过基于残差网络的特征提取网络b1和基于残差网络的特征提取网络b2，首先经过一个卷积单元，该卷积单元包含有9×9卷积核，IN，ReLU进行融合操作，然后进入残差网络b1/b2提取深度特征，然后将提取出的深度残差与最初的信息相加再利用反卷积操作和1×1的卷积核来得到特征图。
图5所示，为基于残差网络的特征提取网络b1和基于残差网络的特征提取网络b2的结构示意图；
图6是残差网络b1/b2的结构图示意图，本发明实施例在深度残差网络(ResNet-101)上修改原网络结构。在残差单元res2和残差单元res3的输出中添加跳跃单元，得到融合特征图1，同时在残差单元res4和残差单元res5的输出中添加跳跃单元得到融合特征图2，为了使得各个残差单元输出的维度统一，在每个残差单元末尾增加卷积层。在得到融合特征图2后面增加一个转置层后，再和得到融合特征图1进行融合，在之后，进行输出，删除原本网络的平均池化层和全连接层。
图7针对深度残差网络(ResNet-101)瓶颈结构进行改进的结构图，和原始结构相比，在瓶颈结构主干上引入大小3×3，步长为2的平均池化层，在特征图大小相同的前提下保证了完整传递信息，在之后连接大小1×1，步长为1的卷积层和BN层；在残差支路上将第一层1×1卷积降维替换为3×3卷积降维且stride为1，降维的同时提取大部分重要特征。
步骤S36：部分特征图Ca和部分特征图Cv和CI进行融合成完整的特征图C如公式(16)所示，并使用注意力理机制模块为不同私有特征分配不同权重，如公式(17)所示：
C＝Ca+Cv+CI (16)
Fex(c,W)＝g(r(c,W))＝g(W2r(W1c)) (17)
其中，C表示完整特征图，c表示特征图数据，W1和W2分别表示两个全链接层的参数，r(x)表示ReLU函数，g(x)表示Sigmoid函数；
本发明实施例中注意力机制模块包含一条动态生成权重的支路，首先将输入特征图全局池化，获得维度与输入特征图维度相同的一维向量，接着将向量信息利用全连接层1进行压缩节点数的操作，再经过一个全连接层2对向量信息进行膨胀，恢复原来节点数，最后将权重向量中的标量权值和输入的特征图进行加权，从而获得每个特征通道不同的强化处理结果。
如图8所示，展示了完整的火灾监测与识别网络结构示意图。
步骤S37：对特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾。
本发明采集了包含温度，烟雾浓度，火焰辐射，可见光视频数据和红外视频数据五种信息的多模态火灾监控数据，构建了同步监测五种数据的火灾数据集；在火灾监测与识别网络结构中，采用数据堆放后转化为图像信号的设计，可以将N个一维数据转变为R行，每行N/R个元素的二维数据提取信息；采用不同的卷积核来处理当前视频帧和相邻视频帧的视频处理网络，可以把三维数据转化为二维数据提取视频中包含的时空信息；采用改进的残差网路结构，包括融合浅层的网络模型和改进瓶颈结构两部分内容；采用注意力机制对不同通道信息进行权重分配，可以对不同类型的数据进行更好的融合可以更快的进行报警，为后期消防预警争取更多时间，降低火灾损失。
实施例二
如图9所示，本发明实施例提供了一种基于深度学习的多源数据分析火灾监测与识别系统，包括下述模块：
多模态数据采集单元1，用于采集包括：电烟雾传感器、感温火灾探测器、火焰辐射探测器、可见光视频相机及红外视频相机的多路数据；
多模态数据采集单元包含多种传感器，用于对火灾监控现场进行数据采集，采样频率可根据实际需求进行设置，通过接口将采集的数据发送到信号输入单元；
信号输入单元2，包括多个串行接口和多个视频信号接口，用于接收多模态数据采集单元所采集的多路数据；
数据处理单元3，基于权利要求1中方法，实时处理由信号输入接口单元输入的多路数据，进行实时数据预处理，使用训练好的火灾监测与识别网络进行特征提取，得到火焰检测结果；
该模块包含一个处理器，可以实时处理多路输入数据，包括一维传感器信号及二维视频图像信号，能够进行实时的信号预处理、基于深度学习算法的信号分析，有多路串口数据输出；
信号输出单元4，用于输出火焰检测结果；
输出结果为1或0，1则表示发生火灾，将信号传给报警单元进行报警；0则表示未发生火灾，则继续进行火灾监测；
报警单元5，包括LED灯和蜂鸣器，用于火灾报警提示；
如果接收到信号输出单元输出为1的信号，则表示发生火灾，驱动报警模型，发出声音和LED灯的闪烁报警。
电源模块6：用于为多模态数据采集单元、数据处理单元和报警单元提供电源。
本发明公开了一种基于深度学习的多源数据分析火灾监测与识别系统，通过多接口、功能模块独立耦合的设计，提高了该系统的实用性，有利于后期设备改造。在数据处理部分，将使用深度学习方法进行信息分析，实现火灾检测识别，促进消防设备的智能化。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于深度学习的多源数据分析火灾监测与识别方法，其特征在于，包括下述步骤：
步骤S1：采集不同工况下火灾样本数据，并对对每个样本标注有火焰或无火焰的标签；得到样本集，所述样本集包括五种数据：烟雾数据、温度数据、火焰辐射数据、可见光视频数据以及红外视频数据；
步骤S2：对所述样本集进行预处理；得到预处理后的样本集；其中，所述预处理后的样本集包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及由可见光视频数据构建可见光视频特征图序列集合V和由红外视频数据构建的红外视频特征图序列集合I；
步骤S3：将所述预处理后的样本集输入火灾监测与识别网络进行特征提取：将所述二维数组X经过特征提取网络a得到部分特征图Ca，将所述可见光视频特征图序列集合V和所述红外视频特征图序列集合I分别经过视频处理网络1和2，以及特征提取网络b1和特征提取网络b2，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到完整的特征图C；对所述特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾。
2.根据权利要求1所述的基于深度学习的多源数据分析火灾监测与识别方法，其特征在于，所述步骤S1：采集不同工况下火灾样本数据，并对对每个样本标注有火焰或无火焰的标签；得到样本集，所述样本集包括五种数据：烟雾数据、温度数据、火焰辐射数据、可见光视频数据以及红外视频数据，具体包括：
采集不同工况下火灾样本数据{s,t,f,v,in}；其中，s为烟雾数据，t为温度数据，f为火焰辐射数据，v为可见光视频数据，in为红外视频数据。
3.根据权利要求2所述的基于深度学习的多源数据分析火灾监测与识别方法，其特征在于，所述步骤S2：对所述样本集进行预处理，得到预处理后的样本集；其中，所述预处理后的样本集包括：由烟雾数据、温度数据、火焰辐射数据构建二维数组X，以及由可见光视频数据构建可见光视频特征图序列集合V和由红外视频数据构建的红外视频特征图序列集合I，具体包括：
步骤S21：对所述样本集中一维的烟雾数据s、温度数据t和火焰辐射数据f，按照其采样时间，构建二维数组Dataraw_data，如公式(1)所示：
Figure FDA0003839866570000021
其中，Srn为时刻n的原始烟雾数据，Trn为时刻n的原始温度数据，Frn为时刻n的原始火焰辐射数据；
设定S、T和F对应的最大值为Smax,Tmax,Fmax,根据公式(2)进行归一化处理，得到公式(3)所示的归一化后的二维数组X：
Figure FDA0003839866570000022
Figure FDA0003839866570000023
其中，Ssn为时刻n的归一化烟雾数据，Tsn为时刻n的归一化温度数据，Fsn为时刻n的归一化火焰辐射数据；
步骤S22：对于采集的所述可见光视频数据v和所述红外视频数据in对格式、帧率、视频帧尺寸进行标准化处理后，构建视频特征图序列，其中，每个样本为长度为N的视频帧采样序列，选取与第i个视频帧前后相邻的各
Figure FDA0003839866570000024
个视频帧分别构建可见光视频特征图序列Vi＝{...ni-2,ni-1,ni,ni+1,ni+2...}和红外视频特征图序列Ii＝{...mi-2,mi-1,mi,mi+1,mi+2...}，其中，i为视频帧序号。
4.根据权利要求3所述的基于深度学习的多源数据分析火灾监测与识别方法，其特征在于，所述步骤S3：将所述预处理后的样本集输入火灾监测与识别网络进行特征提取：将所述二维数组X经过特征提取网络a得到部分特征图Ca，将所述可见光视频特征图序列集合V和所述红外视频特征图序列集合I分别经过视频处理网络1和2，以及特征提取网络b1和特征提取网络b2，分别得到可见光视频部分特征图Cv和红外视频部分特征图CI；将Ca和Cv、CI通过注意力理机制模块为其分配不同权重并进行融合，得到完整的特征图C；对所述特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾，具体包括：
步骤S31：将二维数组X通过基于残差网络的特征提取网络a提取深层特征，得到部分特征图Ca，如公式(4)～(5)所示：
fa(x)＝r(B(x)) (4)
Ca＝d(Da(fa(x)))·(conva1×1) (5)
其中，fa(x)为所述特征提取网络a的卷积单元，B(x)批量正则化Batch Normalization；r(x)为ReL U函数；Da(x)为经残差网络a提取的特征，d(x)反卷积函数,conva1×1为特征提取网络a中1×1的卷积核；
步骤S32：将i时刻的可见光视频帧ni和红外视频帧,mi分别通过视频处理网络1和2中卷积块a提取特征，如公式(6)～(7)所示：
Vself＝n·convb1a (6)
Iself＝m·convb2a (7)
其中，n为可见光V视频序列中的当前视频帧，m为红外视频I视频序列中的当前视频帧，convb1a为视频处理网络1中卷积块a，convb2a为视频处理网络2中卷积块a；
步骤S33：将与i时刻前后相邻的可见光视频帧nk和红外视频帧mk分别通过视频处理网络1和2中的卷积块b提取特征，如公式(8)～(11)所示：
Figure FDA0003839866570000031
Figure FDA0003839866570000032
Figure FDA0003839866570000033
Figure FDA0003839866570000034
其中，nk可见光视频序列Vi中编号为k的视频帧，mk为红外视频序列Ii中编号为k视频帧；convb1b为视频处理网络1中卷积块b，convb2b为视频处理网络2中卷积块b；
步骤S34：将步骤S32和S33结果进行融合，如公式(12)～(13)所示：
Vdata＝Vadjacent 1+Vself+Vadjacent 2 (12)
Idata＝Iadjacent 1+Iself+Iadjacent 2 (13)
步骤S35：将融合后的特征图Vdata和Idata经过基于残差网络的特征提取网络b1和基于残差网络的特征提取网络b2分别提取特征后，经过反卷积函数d(x)和1×1的卷积核，生成部分特征图Cv和CI,如公式(14)～(15)所示：
Cv＝d(Dv(x))·(convb11×1) (14)
CI＝d(DI(x))·(convb21×1) (15)
其中，x为输入的特征图Vdata和Idata；Dv(x)为经残差网络提取的特征，DI(x)为经残差网络提取的特征；convb11×1为特征提取网络b1中1×1的卷积核；convb21×1为特征提取网络b2中1×1的卷积核；
步骤S36：部分特征图Ca和部分特征图Cv和CI进行融合成完整的特征图C如公式(16)所示，并使用注意力理机制模块为不同私有特征分配不同权重，如公式(17)所示：
C＝Ca+Cv+CI (16)
Fex(c,W)＝g(r(c,W))＝g(W2r(W1c)) (17)
其中，C表示完整特征图，c表示特征图数据，W1和W2分别表示两个全链接层的参数，r(x)表示ReLU函数，g(x)表示Sigmoid函数；
步骤S37：对所述特征图C进行预测，输出预测值1或0，1表示发生火灾，0表示未发生火灾。
5.一种基于深度学习的多源数据分析火灾监测与识别系统，其特征在于，包括下述模块：
多模态数据采集单元，用于采集包括：电烟雾传感器、感温火灾探测器、火焰辐射探测器、可见光视频相机及红外视频相机的多路数据；
信号输入单元，包括多个串行接口和多个视频信号接口，用于接收所述多模态数据采集单元所采集的多路数据；
数据处理单元，基于权利要求1中所述方法，实时处理由所述信号输入接口单元输入的多路数据，进行实时数据预处理，使用训练好的火灾监测与识别网络进行特征提取，得到火焰检测结果；
信号输出单元，用于输出火焰检测结果；
报警单元，包括LED灯和蜂鸣器，用于火灾报警提示；
电源模块：用于为所述多模态数据采集单元、所述数据处理单元和所述报警单元提供电源。
CN202211099842.8A 2022-09-09 2022-09-09 基于深度学习的多源数据分析火灾监测与识别方法及系统 Pending CN116310927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211099842.8A CN116310927A (zh) 2022-09-09 2022-09-09 基于深度学习的多源数据分析火灾监测与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211099842.8A CN116310927A (zh) 2022-09-09 2022-09-09 基于深度学习的多源数据分析火灾监测与识别方法及系统

Publications (1)

Publication Number Publication Date
CN116310927A true CN116310927A (zh) 2023-06-23

Family

ID=86778481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099842.8A Pending CN116310927A (zh) 2022-09-09 2022-09-09 基于深度学习的多源数据分析火灾监测与识别方法及系统

Country Status (1)

Country Link
CN (1) CN116310927A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法
CN117010532B (zh) * 2023-10-07 2024-02-02 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法

Similar Documents

Publication Publication Date Title
Toulouse et al. Computer vision for wildfire research: An evolving image dataset for processing and analysis
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
CN111739250B (zh) 结合图像处理技术与红外传感器的火灾探测方法及系统
Zhan et al. A high-precision forest fire smoke detection approach based on ARGNet
CN116310927A (zh) 基于深度学习的多源数据分析火灾监测与识别方法及系统
CN115294528A (zh) 一种行人安全监控方法及装置
Zheng et al. A forest fire smoke detection model combining convolutional neural network and vision transformer
Jaradat et al. A victims detection approach for burning building sites using convolutional neural networks
Zhao et al. FSDF: A high-performance fire detection framework
CN103020588B (zh) 基于视频图像分析的火焰检测方法
Agrafiotis et al. Real time earthquake's survivor detection using a miniaturized LWIR camera
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
Kinaneva et al. An artificial intelligence approach to real-time automatic smoke detection by unmanned aerial vehicles and forest observation systems
CN103020587B (zh) 基于视频图像分析火焰的视图分析方法
Dilli et al. Early Thermal Forest Fire Detection using UAV and Saliency map
CN116546287A (zh) 一种多联动野生动物在线监测方法及系统
Hanamaraddi A literature study on image processing for forest fire detection
CN114170548A (zh) 一种基于深度学习的油田现场微目标检测方法及系统
Ginkal et al. Forest Fire Detection using AI.
CN110991243A (zh) 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法
CN117409191B (zh) 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法
Baldota et al. Multimodal Wildland Fire Smoke Detection
Qiao et al. FireFormer: an efficient Transformer to identify forest fire from surveillance cameras
Vu et al. Investigation of Deep Learning Method for Fire Detection from Videos
Ko et al. Fire and Smoke Image Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination