CN114550104B - 一种火情监测方法及系统 - Google Patents
一种火情监测方法及系统 Download PDFInfo
- Publication number
- CN114550104B CN114550104B CN202210423874.2A CN202210423874A CN114550104B CN 114550104 B CN114550104 B CN 114550104B CN 202210423874 A CN202210423874 A CN 202210423874A CN 114550104 B CN114550104 B CN 114550104B
- Authority
- CN
- China
- Prior art keywords
- map
- characteristic map
- feature map
- fire
- fire monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 claims abstract description 36
- 239000000779 smoke Substances 0.000 claims abstract description 31
- 238000010892 electric spark Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 6
- 238000012938 design process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种火情监测方法及系统，属于消防领域，该方法包括：构建火情监测数据集，火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；构建形变自适应网络，形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块；采用火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练形变自适应网络，获得火情监测模型；火情的类别包括烟雾、火苗和电火花；采用火情监测模型对待监测区域实时获取的监测图像进行火情监测。
Description
技术领域
本发明涉及消防技术领域，特别是涉及一种火情监测方法及系统。
背景技术
在社会生活中，火灾已成为威胁公共安全，危害人民群众生命财产的一种多发性灾害。火苗、烟雾和火花是火灾初期最常见的三类表现形式，在初期阶段及时发觉火情，有助于开展高效的火灾救援，从而最大限度地降低经济和生命损失。基于图像的火情监测相比人工巡查、接触式传感器等火灾监测手段，监管成本低，且不受空间距离和场景限制，因此成为了一项主要研究课题。
目前，大部分基于图像的火情监测方法主要采用传统图像处理算法，需要进行人工特征设计，设计过程繁琐且复杂度较高。近年来，也涌现了一些基于深度学习的火情监测方法（任锴,陈俊,叶宇煌,陈琪.基于SSD-MobileNet的火情检测预警系统[J].电气开关,2020,58(01):34-38.），通过卷积神经网络自动提取特征，但火苗、烟雾和火花等目标在监测过程中形态变化较大，视觉特征不稳定，导致现有火情监测方法的识别准确率有待进一步提升。因此，亟需一种对目标形变具有高度鲁棒性的火情监测预警方法，能够准确可靠地识别出不同形态下的火苗、烟雾和火花等目标，从而实现对火灾的提前预警，提升突发火情应急处置的时效性。
发明内容
本发明的目的是提供一种火情监测方法，提高了火情监测的鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种火情监测方法，包括：
构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；
构建形变自适应网络；
采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；
采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；
所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROIPooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5；所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4；所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3；所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2；特征图DA4、特征图DA3和特征图DA2依次输入所述区域建议网络。
可选地，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
可选地，所述骨干网络采用ResNet101。
可选地，所述采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测，具体包括：
当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
本发明还公开了一种火情监测系统，包括：
火情监测数据集构建模块，用于构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；
形变自适应网络构建模块，用于构建形变自适应网络；
形变自适应网络训练模块，采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；
火情监测模块，用于采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；
所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROIPooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5；所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4；所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3；所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2；特征图DA4、特征图DA3和特征图DA2依次输入所述区域建议网络。
可选地，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
可选地，所述骨干网络采用ResNet101。
可选地，所述火情监测模块，具体包括：
火情监测单元，用于当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种火情监测方法，针对火苗、烟雾和火花等目标，通过第一形变自适应模块、第二形变自适应模块和第三形变自适应模块进行无损特征融合的同时基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获，显著提升网络对监测目标的形变鲁棒性，从而提升检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种火情监测方法流程示意图；
图2为本发明形变自适应网络结构示意图；
图3为本发明第一形变自适应模块结构示意图；
图4为本发明一种火情监测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种火情监测方法，提高了火情监测的鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种火情监测方法流程示意图，如图1所示，一种火情监测方法包括以下步骤：
步骤101：构建火情监测数据集，火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像。
其中，步骤101具体包括：从开源烟雾数据集和火苗数据集（https://cvpr.kmu.ac.kr/）中搜索大量包含烟雾的监测图像和包含火苗的监测图像，基于工业相机在不同背景下拍摄的电火花图像，将包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像这三种不同类型监测目标的火情监测图像进行组合，获得足够规模的火情监测图像。采用标注软件对火情监测图像进行标注，在每张图像中标注出烟雾、明火或电火花的位置和类别，获得相应标注文件；最后，将所得监测图像和对应标注文件按比例划分为训练集和测试集，获得综合型的火情监测数据集。
步骤102：构建形变自适应网络（Deformation adaptation Network，DA-Net）。
步骤103：采用火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练形变自适应网络，获得火情监测模型（训练好的DA-Net模型）；火情的类别包括烟雾、火苗和电火花。
步骤104：采用火情监测模型对待监测区域实时获取的监测图像进行火情监测。
其中，步骤104具体包括：
采用工业相机对待监测区域实时获取监测图像。
将实时获取的监测图像输入火情监测模型中，获得检测结果。
若检测结果的图像中不存在火苗、电火花或烟雾，则无输出；
若检测结果的图像中存在火苗、电火花或烟雾，输出目标位置矩形框的火情监测结果图像，并发出火情预警信号。
如图2所示，形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROI Pooling层和检测头。
骨干网络采用ResNet101。
骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5。
如图3所示，第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3，卷积核个数为1024的卷积操作以及卷积核为3*1，卷积核个数为2048的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3，卷积核个数为1024的卷积操作以及卷积核为5*5，卷积核个数为2048的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4。
第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3，卷积核个数为512的卷积操作以及卷积核为3*1，卷积核个数为1024的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3，卷积核个数为512的卷积操作以及卷积核为5*5，卷积核个数为1024的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3。
第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3，卷积核个数为256的卷积操作以及卷积核为3*1，卷积核个数为512的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3，卷积核个数为256的卷积操作以及卷积核为5*5，卷积核个数为512的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2。
特征图DA4、特征图DA3和特征图DA2依次输入区域建议网络。
下面以输入一张待检测的火情监测图像1024*1024*3为例，展示形变自适应网络DA-Net的设计过程：
（1）首先，采用ResNet101作为提取监测目标特征的骨干网络，ResNet101由五个卷积模块构成，将各卷积模块的输出特征图依次命名为特征图C1、特征图C2、特征图C3、特征图C4和特征图C5。当火情监测图像输入ResNet101网络后，各卷积模块的输出特征图尺寸依次为：512*512*64、256*256*256、128*128*512、64*64*1024、32*32*2048。
（2）由于火苗、烟雾和火花等目标在监测过程中可能因为空气流动等原因产生明显的形态变化，导致同一目标在不同监测图像中的视觉特征差异性较大，如果直接基于ResNet101网络的输出特征图进行目标区域预测，会使网络难以准确识别出目标的具体所在位置。针对该问题，本发明基于非对称卷积和可变形卷积设计了一种形变自适应模块，并嵌入到ResNet101网络的后端，以增强网络对目标形变的鲁棒性。
如图3所示，基于特征图C5（32*32*2048）和C4（64*64*1024），展示第一形变自适应模块的设计过程：
首先，需要对各层特征图进行信息融合，以进一步增强特征图的信息表达能力。因此，将特征图C5输入一个放大倍数为2倍的上采样层中，将其尺寸转换为64*64*2048；然后通过特征拼接操作，将其与相同尺寸的C4特征图进行通道维度拼接，得到尺寸为64*64*3072的特征图，命名为DA-Md-5。在常规的特征融合操作中，需要基于1*1卷积层将C4和C5的通道数压缩到256维，这会严重损失骨干网络所提取的有效特征信息，因此本发明方法采用的是特征拼接的方式进行特征融合，避免了通道维度的压缩以及信息损失。此时所得到的特征图DA-Md-5是高层特征图C5与低层特征图C4的融合特征图，即同时获得了来自C5的高级语义信息和来自C4的低层细节信息。
然后，将特征图DA-Md-5分别输入非对称卷积分支和可变形卷积分支中。在非对称卷积分支中，依次对DA-Md-5进行卷积核为1*3、卷积核个数为1024的卷积操作以及卷积核为3*1、卷积核个数为2048的卷积操作，然后输出尺寸为64*64*2048的特征图，这一步能够分别从水平和垂直方向提取特征图中的局部显著特征，从而提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；在可变形卷积分支中，对DA-Md-5依次进行卷积核为3*3、卷积核个数为1024和卷积核为5*5、卷积核个数为2048的可变形卷积操作，然后输出尺寸为64*64*2048的特征图，这一步能够有效增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。
最后，将非对称卷积分支和可变形卷积分支的输出特征图进行逐像素加和，得到尺寸为64*64*2048的特征图，命名为DA4。
以上即为形变自适应模块的设计过程。形变自适应模块在实现无损特征信息融合的同时，能够基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。
（3）将形变自适应模块嵌入到ResNet101网络的后端，以使整个网络获得具有形变鲁棒性的特征信息。
在上一步骤中，基于特征图C5、C4和第一形变自适应模块，得到了特征图DA4；接下来，将高层特征图DA4和低层特征图C3同时输入第二形变自适应模块中，得到特征图DA3；再通过第三形变自适应模块获得特征图DA2。特征图C1的尺寸过大，为了节约计算成本，该阶段不对其进行形变自适应处理。
（4）由于火情监测预警任务在火灾发生的初期进行，也就是说监测图像中的火苗、烟雾和火花等目标尚属于中小尺寸目标；特征图C5分辨率较低，适合进行大目标预测，因此，本发明方法仅基于中低层特征图DA2~DA4进行目标预测。如图2所示，将中低层特征图DA2、DA3和DA4依次输入Faster RCNN网络中的区域建议网络(Region Proposal Network，RPN)、ROI Pooling层和检测头中，并输出对火情监测图像的检测结果。
经过以上4个步骤，即可获得如图2所示的DA-Net网络。
本发明提出了基于卷积神经网络DA-Net的火情监测方法，该方法能够自动且准确地捕捉到火灾发生的早期信号，实现对火灾的提前预警，从而提升突发火情应急处置的时效性，节约大量的人力巡查成本。
本发明针对火苗、烟雾和火花等目标容易产生形变这一问题，设计了形变自适应模块。形变自适应模块在实现无损特征信息融合的同时，能够基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。形变自适应模块能够显著提升网络对监测目标的形变鲁棒性，从而提升算法的检测准确率。
图4为本发明一种火情监测系统结构示意图，如图4所示一种火情监测系统，包括：
火情监测数据集构建模块201，用于构建火情监测数据集，火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像。
形变自适应网络构建模块202，用于构建形变自适应网络。
形变自适应网络训练模块203，采用火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练形变自适应网络，获得火情监测模型；火情的类别包括烟雾、火苗和电火花。
火情监测模块204，用于采用火情监测模型对待监测区域实时获取的监测图像进行火情监测。
形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROIPooling层和检测头；骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5；第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3，卷积核个数为1024的卷积操作以及卷积核为3*1，卷积核个数为2048的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3，卷积核个数为1024的卷积操作以及卷积核为5*5，卷积核个数为2048的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4；第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3，卷积核个数为512的卷积操作以及卷积核为3*1，卷积核个数为1024的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3，卷积核个数为512的卷积操作以及卷积核为5*5，卷积核个数为1024的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3；第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3，卷积核个数为256的卷积操作以及卷积核为3*1，卷积核个数为512的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3，卷积核个数为256的卷积操作以及卷积核为5*5，卷积核个数为512的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2；特征图DA4、特征图DA3和特征图DA2依次输入区域建议网络。
包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
骨干网络采用ResNet101。
火情监测模块，具体包括：
火情监测单元，用于当火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种火情监测方法，其特征在于，包括：
构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；
构建形变自适应网络；
采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；
采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；
所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROIPooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5；所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4；所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3；所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2；特征图DA4、特征图DA3和特征图DA2依次输入所述区域建议网络；
将中低层特征图DA2、DA3和DA4依次输入Faster RCNN网络中的区域建议网络、ROIPooling层和检测头中，输出目标位置矩形框的火情监测结果图像，并发出火情预警信号。
2.根据权利要求1所述的火情监测方法，其特征在于，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
3.根据权利要求1所述的火情监测方法，其特征在于，所述骨干网络采用ResNet101。
4.根据权利要求1所述的火情监测方法，其特征在于，所述采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测，具体包括：
当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
5.一种火情监测系统，其特征在于，包括：
火情监测数据集构建模块，用于构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；
形变自适应网络构建模块，用于构建形变自适应网络；
形变自适应网络训练模块，采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；
火情监测模块，用于采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；
所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、ROIPooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图C1、特征图C2、特征图C3、特征图C4和特征图C5；所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与特征图C4进行通道维度拼接，获得特征图DA-Md-5，特征图C5进行2倍的上采样后与特征图C4尺寸相同，将特征图DA-Md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-51，将特征图DA-Md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-52，将特征图DA-Md-51和特征图DA-Md-52进行逐像素加和获得特征图DA4；所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特征图C3进行通道维度拼接，获得特征图DA-Md-4，特征图DA4进行2倍的上采样后与特征图C3尺寸相同，将特征图DA-Md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-41，将特征图DA-Md-4依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-42，将特征图DA-Md-41和特征图DA-Md-42进行逐像素加和获得特征图DA3；所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征图C2进行通道维度拼接，获得特征图DA-Md-3，特征图DA3进行2倍的上采样后与特征图C2尺寸相同，将特征图DA-Md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图DA-Md-31，将特征图DA-Md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图DA-Md-32，将特征图DA-Md-31和特征图DA-Md-32进行逐像素加和获得特征图DA2；特征图DA4、特征图DA3和特征图DA2依次输入所述区域建议网络；
将中低层特征图DA2、DA3和DA4依次输入Faster RCNN网络中的区域建议网络、ROIPooling层和检测头中，输出目标位置矩形框的火情监测结果图像，并发出火情预警信号。
6.根据权利要求5所述的火情监测系统，其特征在于，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
7.根据权利要求5所述的火情监测系统，其特征在于，所述骨干网络采用ResNet101。
8.根据权利要求5所述的火情监测系统，其特征在于，所述火情监测模块，具体包括：
火情监测单元，用于当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210423874.2A CN114550104B (zh) | 2022-04-22 | 2022-04-22 | 一种火情监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210423874.2A CN114550104B (zh) | 2022-04-22 | 2022-04-22 | 一种火情监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114550104A CN114550104A (zh) | 2022-05-27 |
| CN114550104B true CN114550104B (zh) | 2022-08-05 |
Family
ID=81667190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210423874.2A Active CN114550104B (zh) | 2022-04-22 | 2022-04-22 | 一种火情监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114550104B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112562255A (zh) * | 2020-12-03 | 2021-03-26 | 国家电网有限公司 | 微光环境下电缆沟道烟雾火情的智能图像检测方法 |
| CN112967335A (zh) * | 2021-03-10 | 2021-06-15 | 精英数智科技股份有限公司 | 气泡尺寸监测方法及装置 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN114005090A (zh) * | 2021-11-12 | 2022-02-01 | 中山大学 | 一种基于疑似烟雾提议区域及深度学习的烟雾检测方法 |
| CN114239756A (zh) * | 2022-02-25 | 2022-03-25 | 科大天工智能装备技术（天津）有限公司 | 一种虫害检测方法及系统 |
| CN114359733A (zh) * | 2022-01-06 | 2022-04-15 | 盛视科技股份有限公司 | 一种基于视觉的烟雾火情的检测方法及系统 |
-
2022
- 2022-04-22 CN CN202210423874.2A patent/CN114550104B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112562255A (zh) * | 2020-12-03 | 2021-03-26 | 国家电网有限公司 | 微光环境下电缆沟道烟雾火情的智能图像检测方法 |
| CN112967335A (zh) * | 2021-03-10 | 2021-06-15 | 精英数智科技股份有限公司 | 气泡尺寸监测方法及装置 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN114005090A (zh) * | 2021-11-12 | 2022-02-01 | 中山大学 | 一种基于疑似烟雾提议区域及深度学习的烟雾检测方法 |
| CN114359733A (zh) * | 2022-01-06 | 2022-04-15 | 盛视科技股份有限公司 | 一种基于视觉的烟雾火情的检测方法及系统 |
| CN114239756A (zh) * | 2022-02-25 | 2022-03-25 | 科大天工智能装备技术（天津）有限公司 | 一种虫害检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114550104A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111274930B (zh) | 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法 | |
| CN110796018B (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN109858467B (zh) | 一种基于关键点区域特征融合的人脸识别方法及装置 | |
| CN110346699B (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
| CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
| CN111401322A (zh) | 进出站识别方法、装置、终端及存储介质 | |
| CN115761627A (zh) | 一种火灾烟雾火焰图像识别方法 | |
| CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
| CN112735083A (zh) | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 | |
| CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
| CN104616034B (zh) | 一种烟雾检测方法 | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测系统 | |
| CN111914606A (zh) | 一种基于对透射率时空特征进行深度学习的烟雾检测方法 | |
| CN114998783A (zh) | 一种用于烟火及人员行为视频分析的前端设备 | |
| CN111062350A (zh) | 基于人工智能烟火识别算法 | |
| CN114550032A (zh) | 一种端到端三维卷积目标检测网络的视频烟雾检测方法 | |
| CN114550104B (zh) | 一种火情监测方法及系统 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN116612413A (zh) | 一种基于改进YOLOv5和数据增强的停车场烟火检测方法、装置及存储介质 | |
| CN115995051A (zh) | 基于最小残差平方和法的变电站设备故障期识别方法 | |
| CN114782937A (zh) | 基于图像识别的吸烟预警方法、装置、电子设备和存储介质 | |
| CN111898564B (zh) | 一种时序卷积网络模型、模型训练和目标识别方法、装置 | |
| Gao et al. | Design and implementation of fire detection system using new model mixing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |