CN117496423A - 一种基于深度学习的低复杂度实时火灾与烟雾检测方法 - Google Patents

一种基于深度学习的低复杂度实时火灾与烟雾检测方法 Download PDF

Info

Publication number
CN117496423A
CN117496423A CN202311243814.3A CN202311243814A CN117496423A CN 117496423 A CN117496423 A CN 117496423A CN 202311243814 A CN202311243814 A CN 202311243814A CN 117496423 A CN117496423 A CN 117496423A
Authority
CN
China
Prior art keywords
model
fire
evaluation
deep learning
smoke detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311243814.3A
Other languages
English (en)
Inventor
刘庆
吴瑀
刘康
李义
聂晶
郑晓虎
石昌权
李璘
李康
王友军
姜继彬
李鸿杰
王昌龙
饶雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202311243814.3A priority Critical patent/CN117496423A/zh
Publication of CN117496423A publication Critical patent/CN117496423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的低复杂度实时火灾与烟雾检测方法，涉及智能视频监控技术领域，包括通过摄像头采集视频图像信息以构建数据集，并对数据集进行标定；将得到的数据集划分为训练集和测试集，并进行数据集的预处理操作；使用基于Pytorch框架搭建Focus CNN网络模型，在训练阶段使用交叉熵损失函数，参数设置完毕后，进行离线阶段的模型训练；将训练完毕的Focus CNN网络进行测试评估筛选，使用识别准确率衡量模型的推理精度；通过指标评估后筛选出最优模型，并部署至终端用于在线阶段的山林火灾和烟雾检测。本发明整个模型的网络层数浅、参数量少、无需较高的算力和存储需求，即可实现山林火灾与烟雾检测的实时性和低复杂度。

Description

一种基于深度学习的低复杂度实时火灾与烟雾检测方法
技术领域
本发明涉及智能视频监控技术领域，特别是一种基于深度学习的低复杂度实时火灾与烟雾检测方法。
背景技术
山林火灾的产生除了人为因素外，主要是自燃和雷击造成。山林中堆积的落叶等，特别是含脂量较高的针叶，在小雨后的潮湿状态下，缓慢氧化发热，在堆积状态下热量得不到散发，致使温度升高。而温度的升高，又加剧了氧化发热。如此恶性循环，导致了从暗火到明火，从小火到大火的过程，最后引发火灾。山林火灾突发性强，破坏性大，对生态环境与人类生命财产安全造成极大威胁。而山火往往发生在地势崎岖的山区，交通、通讯不便，给扑救带来了很大的困难，森林火灾的防治与扑救也一直是世界性难题。
传统的通过人工视频监控的方式，存在人力成本高、运维人员能力参差不齐，监控故障无法及时发现，增加安全隐患，影响管理。与此同时，人工监控的方式还存在耗时久、盲区多、主观判断为主、隐性问题大，巡检手抄记录存在不准确、利用价值低等问题。基于红外监控的山林火灾检测，由于红外监控摄像头的价格极为昂贵，不利于大规模部署，同时红外摄像存在红外感知距离的限制，对较远视距场景的火源无法有效捕捉；近些年人工智能技术的快速发展，深度学习凭借其优越的数据处理能力在计算机视觉和自然语言处理中广泛应用。基于深度学习方法的山林火灾检测方法得到了有效的发展，但目前的山林火灾检测算法欠缺实际工程考量，仅仅用于检测明火和青烟。对于自然云雾的现象常常出现误报的情况，导致算法推广受限，实际落地性较差。
发明内容
鉴于上述的传统的通过人工视频监控方式中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种工程落地性强、部署简易、实时快速检测的山林火灾检测方法。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其包括，通过摄像头采集视频图像信息以构建数据集，并对数据集进行标定；将得到的数据集划分为训练集和测试集，训练集和测试集样本比为8:2，并进行数据集的预处理操作；使用基于Pytorch框架搭建Focus CNN网络模型，在训练阶段使用交叉熵损失函数，参数设置完毕后，进行离线阶段的模型训练；将训练完毕的Focus CNN网络进行测试评估筛选，使用识别准确率衡量模型的推理精度；通过指标评估后筛选出最优模型，部署至终端用于在线阶段的山林火灾和烟雾检测，并将模型作为决策支持系统的应用，进行灾害预警和规划的决策优化。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述数据集的预处理操作包括，对采集的高分辨率监控图像进行尺寸压缩处理，得到固定大小的RGB矩阵，作为网络模型的输入；随机打乱整体数据集，并按照80％训练集和20％测试集进行划分；分别对训练集和测试集的图像进行数据归一化处理，表达式为：
其中，Xi表示第i个样本矩阵，Xmax和Xmin分别表示集合样本的最大值和最小值；将得到预处理后的训练集和测试集，进行数据增强操作，包括图像旋转、裁剪和加噪。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述测试评估包括，在模型部署后端收集测试集样本，建立在线评估集；设计定期触发的评估流程，使用评估集测试模型；评估不同性能指标的变化，判断模型性能是否下降；当触发性能下降的阈值时，发送预警信息，并核查原因，决定是否提供新样本调优，或暂停使用。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述判断模型性能是否下降的判断过程为：对评估集样本，使用当前在线模型进行预测；记录预测结果，包括预测标签和置信度分数；使用评估集的真实标签和模型预测标签计算指标：
准确率p＝正确预测数/总预测数
召回率q＝正确预测数/真实标签总数
计算置信度分数相关指标，并判断指标变化：与最近N次评估结果计算指标波动范围，若F1值下降超过设置阈值，则发送预警邮件或消息，并标记为需关注模型；若连续H次评估下降，且下降总幅度超过阈值，则发送严重预警信息，并暂停当前模型，切换到旧模型；若存在错误标注样本，则重新标注，使用新样本进行模型调优。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述进行灾害预警包括以下步骤：采集灾害事件毁坏的定量指标，建立灾害评估体系：采集火灾相关数据，定量指标包括：火势范围R(m2)，烟气浓度C(mg/m3)，蔓延速度V(m/s)，火害等级E{1,2,3}；
根据模型对灾害事件的预测，计算预计造成的损失：评估函数计算公式如下：
S＝w1R+w2C+w3V+w4E
其中，w1,w2,w3,w4为权重系数，表示每个指标对综合评估分值的贡献权重；将模型预测作为输入，评估不同的应对方案；构建优化框架，平衡应对成本和损失最小化；输出最优的应对策略，产生干预建议。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述权重系数的计算过程包括：rR是R和损失程度的相关系数；rC是C和损失程度的相关系数；rV是V和损失程度的相关系数；根据相关性系数计算权重：
wR＝rR/(rR+rC+rV)
wC＝rC/(rR+rC+rV)
wV＝rV/(rR+rC+rV)
进行归一化处理：
w1＝wR/(wR+wC+wV+wE)
w2＝wC/(wR+wC+wV+wE)
w3＝wV/(wR+wC+wV+wE)
w4＝wE/(wR+wC+wV+wE)
其中，E为离散级别。
作为本发明所述基于深度学习的低复杂度实时火灾与烟雾检测方法的一种优选方案，其中：所述基于Pytorch框架搭建Focus CNN网络模型，中Focus CNN网络结构包括4个二倍下采样模块，一个Flatten层和3个全连接层；二倍下采样模块之间通过残差结构进行特征图前向跳跃传递，全连接层之间使用LeakyRelu激活函数和Dropout正则化层；所述二倍下采样模块包括一个Focus Block下采样块和两个CNN Block；输入特征图首先通过Focus Block进行一次切片下采样处理，再连接Concatenation层进行特征图拼接，随后输入至步进为1和步进为2的CNN Block进行特征融合和第二次的卷积下采样，经过二倍下采样模块的特征图尺寸是输入特征图的1/4。
第二方面，本发明为进一步解决传统的通过人工视频监控方式中存在的问题，实施例提供了一种基于深度学习的低复杂度实时火灾与烟雾检测系统，包括数据采集模块，用于通过摄像头采集图像和视频，构建训练集和测试集；数据预处理模块，用于将数据集划分为训练集和测试集，并对数据集进行归一化和标准化预处理；模型训练模块，用于使用PyTorch框架搭建CNN模型，设定交叉熵损失函数，使用Adam优化器进行模型训练，保存最优模型；模型评估模块，用于在测试集上评估模型性能，使用识别准确率等指标进行模型筛选；模型部署模块，用于将最优模型部署到嵌入式设备上，对摄像头数据进行实时预测和检测；决策支持模块，用于评估灾害损失，根据模型预测结果评估应对方案，优化资源分配，输出最佳决策。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于深度学习的低复杂度实时火灾与烟雾检测方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于深度学习的低复杂度实时火灾与烟雾检测方法的任一步骤。
本发明有益效果为，本发明创新性地采用二倍下采样模块对输入RGB矩阵进行特征提取，经过快速的下采样特征提取后将特征图压平输入至全连接层中进行分类识别，其中，二倍下采样模块之间通过残差结构进行连接，保证了模型的有效训练和防止梯度消失，二倍下采样模块包括一个Focus Block下采样块和一个CNN Block下采样块，Focus Block下采样块中的4个并行CNN Block加快了特征图处理速度以及减少模型参数；训练网络的数据集由监控摄像头采集，并进行尺寸压缩、归一化、数据增强等手段，进一步提升模型的检测精度；本发明提出的Focus CNN网络模型具备层数浅、参数量少、无需较高的算力和存储需求，即可实现轻型实时的山林火灾和烟雾检测；同时，识别检测精度满足实际工程需求，具备了能够有效鉴别云雾和青烟从而降低系统误报率，以及快速识别明火的特点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中基于深度学习的低复杂度实时山林火灾与烟雾检测方法的步骤流程图。
图2为实施例1中基于深度学习的低复杂度实时山林火灾与烟雾检测方法的FocusCNN网络模型框架图。
图3为实施例1中基于深度学习的低复杂度实时山林火灾与烟雾检测方法的二倍下采样模块结构图。
图4为实施例2中基于深度学习的低复杂度实时山林火灾与烟雾检测方法的训练精度曲线图。
图5为实施例2中基于深度学习的低复杂度实时山林火灾与烟雾检测方法的山林火灾和烟雾检测效果。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1～图3，为本发明第一个实施例，该实施例提供了一种基于深度学习的低复杂度实时火灾与烟雾检测方法，如图1所示，为该方法的流程图；通过摄像头采集视频图像信息，以构建训练网络所需的数据集，图像标签类别为山火、青烟和自然云雾；将采集数据样本进行处理得到训练集和测试集，使用训练集数据对Focus CNN网络模型进行离线阶段的训练；使用测试集对训练完毕的模型进行性能筛选，得到最优模型，最终部署至终端用于在线阶段的山林火灾和烟雾检测，具体包括以下步骤：
S1：通过摄像头采集视频图像信息以构建数据集，对数据集进行标定，标签类别包括山林火灾、青烟和自然云雾，数据集标定方式可采用命名标定，对文件名中指定位标定对应类别名称；特例的获取数据集总张数为5000张，其中包括三种上述标签类别，同一张图片中可能同时存在山火和青烟，也存在一张图片中三种标签均未出现的情况，以此构建更加贴合实际的数据集。
S2：将步骤S1中得到的数据集划分为训练集和测试集，训练集和测试集样本比为8:2，得到的训练集数据一共4000张，测试集数据一共1000张；接着进行数据集的预处理操作。
优选的，数据集的预处理实施具体步骤包括：
S2.1：对采集的高分辨率监控图像进行尺寸压缩处理，得到固定大小的RGB矩阵，作为网络模型的输入；其中，得到固定大小为(3，512，512)的RGB矩阵，作为网络模型的输入，其中，3为RGB通道，512为压缩图像的行和列像素个数。
S2.2：随机打乱整体数据集，并按照80％训练集和20％测试集进行划分。
S2.3：分别对训练集和测试集的图像进行数据归一化处理，表达式为：
其中，Xi表示第i个样本矩阵，Xmax和Xmin分别表示集合样本的最大值和最小值。
S2.4：得到预处理后的训练集和测试集，再进行数据增强操作，包括图像旋转、裁剪和加噪；其中，图像旋转概率为40％，裁剪概率为25％。
S3：使用基于Pytorch框架搭建Focus CNN网络模型，在训练阶段使用交叉熵损失函数，训练阶段的设置包括：批大小、迭代次数、优化器等超参数；设置完毕后，进行离线阶段的模型训练。
优选的，使用基于Pytorch框架搭建Focus CNN网络模型，在训练阶段使用交叉熵损失函数，表达式为：
其中，训练阶段的设置包括：批大小为16、迭代次数100、使用Adam优化器、学习率为0.001；设置完毕后，进行离线阶段的模型训练。
其中，如图2所示，基于Pytorch框架的Focus CNN网络模型搭建，其中Focus CNN网络结构包括4个二倍下采样模块，一个Flatten层和3个全连接层；二倍下采样模块之间通过残差结构进行特征图前向跳跃传递，全连接层之间使用LeakyRelu激活函数和Dropout正则化层；其中，全连接层一共三层，输入特征数分别为512、256、64，输出特征数分别为256、64、1，Dropout概率分别为0.3、0.2、0.1。
进一步地，如图3所示，二倍下采样模块包括一个Focus Block下采样块和两个CNNBlock；输入特征图首先通过Focus Block进行一次切片下采样处理，再连接Concatenation层进行特征图拼接，随后输入至步进为1和步进为2的CNN Block进行特征融合和第二次的卷积下采样，经过二倍下采样模块的特征图尺寸是输入特征图的1/4；二倍下采样模块之间的残差结构包括三层CNN Block，第一个CNN Block卷积步进为2，输入和输出通道相等；第二个CNN Block卷积步进为1，卷积核大小为1，输出通道大小与残差连接目标的通道数相同。第三个CNN Block卷积步进为2，输入和输出通道相等。
更进一步的，Focus Block下采样块由Focus切片操作和4个并行的CNN Block组成，Focus切片后的特征图尺寸变为原来的1/2，通道数提升4倍；再由4个并行步进均为1的CNN Block，分别处理切片后的4组通道特征，其中CNN Block由“Conv+BN+LeakyRelu”组成。
其中，步骤S3所述的二倍下采样模块之间的残差结构包括三层CNN Block，第一个CNN Block卷积步进为2，输入和输出通道相等。第二个CNN Block卷积步进为1，卷积核大小为1，输出通道大小与残差连接目标的通道数相同。第三个CNN Block卷积步进为2，输入和输出通道相等。
优选的，测试评估包括每日收集固定数量的新样本，存入评估样本池，评估样本池大小控制在一定范围，超过部分先入先出删除；新样本需要覆盖不同场景、分布均匀；每日固定时间触发评估流程，从评估样本池中抽取指定数量样本作为当日评估集，对评估集样本，用当前在线模型进行预测；记录预测结果，包括预测标签、置信度分数等；使用评估集的真实标签和模型预测标签计算指标：
准确率＝正确预测数/总预测数
召回率＝正确预测数/真实标签总数
计算置信度分数相关指标，即AUC值，并判断指标变化：与最近N次评估结果计算指标波动范围，若F1值下降超过设置阈值，则发送预警邮件或消息，并标记为需关注模型；若连续H次评估下降，且下降幅度超过阈值，则发送严重预警信息，并暂停当前模型，切换到旧模型；检查样本及结果，分析下降原因；若存在错误标注样本，则重新标注，使用新样本进行模型调优，评估优化后模型，决定是否上线；定期人工复核。
进一步的，阈值的设置过程为：采集模型在过去N次评估中的AUC、F1等指标结果，计算这些指标的平均值μ和标准差σ，并确定正常波动范围为[μ-σ,μ+σ]；定义F1下降不超过正常波动范围的概率为95％，根据3σ原则：F1下降超过μ-3σ的概率小于5％；令阈值TF1＝μ-3σ；计算下降幅度阈值：定义连续M次评估F1下降幅度不超过正常波动范围的概率为90％；假设每次下降独立，根据累积概率：0.95^M＝0.9得M≈3次；令下降幅度阈值Δ＝3σ，重新标注样本数阈值，假设错误标注样本比例为p，则重新标注样本数阈：N＝p*训练集总样本数。
S4：将训练完毕的Focus CNN网络进行测试评估筛选，使用识别准确率衡量模型的推理精度，其计算方式为预测正确个数与总样本数的百分比；通过指标评估后筛选出最优模型，并部署至终端用于在线阶段的山林火灾和烟雾检测。
部署至终端用于在线阶段的山林火灾和烟雾检测的最优模型，根据实际检测识别效果对模型进行微调，以及调整数据集预处理中的尺寸压缩率，使得模型达到实际最优效果。
进一步的，探索将模型作为决策支持系统的应用，进行灾害预警、规划等决策优化，具体包括：采集灾害事件毁坏的定量指标，建立灾害评估体系；根据模型对灾害事件的预测，计算可能造成的损失；将模型预测作为输入，评估不同的应对方案；构建优化框架，平衡应对成本和损失最小化；输出最优的应对策略，产生干预建议；辅助决策者进行灾害规划和资源调配。
优选的，采集火灾相关数据，定量指标包括：火势范围R(m2)；烟气浓度C(mg/m3)；蔓延速度V(m/s)；火害等级E{1,2,3}；确定火灾等级E：若R>3000m2,C>150mg/m3,V>0.3m/s，则E＝3，即特大火灾；若1000m2<R≤3000m2,75mg/m3<C≤150mg/m3,0.2m/s<V≤0.3m/s，则E＝2，即大火灾；其他情况时，E＝1，即一般火灾。
评估函数计算：
S＝w1R+w2C+w3V+w4E
其中，w1,w2,w3,w4为权重系数，表示每个指标对综合评估分值的贡献权重。
进一步的，计算权重系数的计算过程为：rR是R和损失程度的相关系数；rC是C和损失程度的相关系数；rV是V和损失程度的相关系数；根据相关性系数计算权重：
wR＝rR/(rR+rC+rV)
wC＝rC/(rR+rC+rV)
wV＝rV/(rR+rC+rV)
由于E为离散级别，直接设置wE权重为0.5；进行归一化处理：
w1＝wR/(wR+wC+wV+wE)
w2＝wC/(wR+wC+wV+wE)
w3＝wV/(wR+wC+wV+wE)
w4＝wE/(wR+wC+wV+wE)
本实施例还提供了一种基于深度学习的低复杂度实时火灾与烟雾检测系统，包括数据采集模块，用于通过摄像头采集图像和视频，构建训练集和测试集；数据预处理模块，用于将数据集划分为训练集和测试集，并对数据集进行归一化和标准化预处理；模型训练模块，用于使用PyTorch框架搭建CNN模型，设定交叉熵损失函数，使用Adam优化器进行模型训练，保存最优模型；模型评估模块，用于在测试集上评估模型性能，使用识别准确率等指标进行模型筛选；模型部署模块，用于将最优模型部署到嵌入式设备上，对摄像头数据进行实时预测和检测；决策支持模块，用于评估灾害损失，根据模型预测结果评估应对方案，优化资源分配，输出最佳决策。
本实施例还提供一种计算机设备，适用于资产漏洞状态实时监控告警的方法的情况，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的资产漏洞状态实时监控告警的方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现资产漏洞状态实时监控告警的方法；存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(StaticRandom Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read－Only Memory,简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red－Only Memory,简称PROM)，只读存储器(Read－Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
综上，本发明创新性地采用二倍下采样模块对输入RGB矩阵进行特征提取，经过快速的下采样特征提取后将特征图压平输入至全连接层中进行分类识别，其中，二倍下采样模块之间通过残差结构进行连接，保证了模型的有效训练和防止梯度消失，二倍下采样模块包括一个Focus Block下采样块和一个CNN Block下采样块，Focus Block下采样块中的4个并行CNN Block加快了特征图处理速度以及减少模型参数；训练网络的数据集由监控摄像头采集，并进行尺寸压缩、归一化、数据增强等手段，进一步提升模型的检测精度；本发明提出的Focus CNN网络模型具备层数浅、参数量少、无需较高的算力和存储需求，即可实现轻型实时的山林火灾和烟雾检测；同时，识别检测精度满足实际工程需求，具备了能够有效鉴别云雾和青烟从而降低系统误报率，以及快速识别明火的特点。
实施例2
参照图4和图5，为本发明第二个实施例，在第一个实施例的基础之上，为了验证其有益效果，提供了本发明与现有技术的的实验对比数据。
如图4所示，是本发明所提出的Focus CNN网络模型的训练精度曲线图，从图中可以看出，该网络随着迭代次数的增加测试集识别精度不断提高，最终达到收敛。
表1模型性能对比表
模型名称 参数量 精度
Focus CNN 193,373 97.4％
VGG16 134,264,641 95
ResNet34 21,285,185 96.9％
如表格1所示，是本发明所提出的Focus CNN网络模型与其余算法模型的性能对比表，相比于其余算法模型，Focus CNN网络在识别精度上有略微的提升，Focus CNN网络具有极少的模型参数量，计算复杂度大幅降低，在实际检测中相比其余算法可拥有更高的检测fps，以达到实时的效果。
如图5所示，是本发明所提出的Focus CNN网络模型的实际部署检测效果示意图，该模型可以有效的区分自然云雾和青烟，同时对明火进行有效的识别检测。一定程度上解决了传统算法模型区分识别可靠性低、模型过于臃肿不利于部署等缺点，为实现一种工程落地性强、部署简易、实时快速检测的山林火灾检测提供了可能。
综上，本发明所提出的一种基于深度学习的低复杂度实时山林火灾与烟雾检测方法，创新性地采用二倍下采样模块对输入矩阵进行特征提取，经过快速的下采样特征提取后将特征图压平输入至全连接层中进行分类识别。通过上述实验结果验证，该模型具备网络层数浅、参数量少、无需较高的算力和存储的特点，实验中展示出了优越的山林火灾和烟雾检测。同时，识别检测精度满足实际工程需求，具备了能够有效鉴别云雾和青烟从而降低系统误报率，以及快速识别明火的特点。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：包括：
通过摄像头采集视频图像信息以构建数据集，并对数据集进行标定；
将得到的数据集划分为训练集和测试集，训练集和测试集样本比为8:2，并进行数据集的预处理操作；
使用基于Pytorch框架搭建Focus CNN网络模型，在训练阶段使用交叉熵损失函数，参数设置完毕后，进行离线阶段的模型训练；
将训练完毕的Focus CNN网络进行测试评估筛选，使用识别准确率衡量模型的推理精度；
通过指标评估后筛选出最优模型，部署至终端用于在线阶段的山林火灾和烟雾检测，并将模型作为决策支持系统的应用，进行灾害预警和规划的决策优化。
2.如权利要求1所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述数据集的预处理操作包括，
对采集的高分辨率监控图像进行尺寸压缩处理，得到固定大小的RGB矩阵，作为网络模型的输入；
随机打乱整体数据集，并按照训练集和测试集进行划分；
分别对训练集和测试集的图像进行数据归一化处理，表达式为：
其中，Xi表示第i个样本矩阵，Xmax和Xmin分别表示集合样本的最大值和最小值；
将得到预处理后的训练集和测试集，进行数据增强操作，包括图像旋转、裁剪和加噪。
3.如权利要求2所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述测试评估包括，
在模型部署后端收集测试集样本，建立在线评估集；
设计定期触发的评估流程，使用评估集测试模型；
评估不同性能指标的变化，判断模型性能是否下降；
当触发性能下降的阈值时，发送预警信息，并核查原因。
4.如权利要求3所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述判断模型性能是否下降的判断过程为：
对评估集样本，使用当前在线模型进行预测；记录预测结果，包括预测标签和置信度分数；使用评估集的真实标签和模型预测标签计算指标：
准确率p＝正确预测数/总预测数
召回率q＝正确预测数/真实标签总数
计算置信度分数相关指标，并判断指标变化：总结最近N次评估结果计算指标波动范围，若F1下降超过设置阈值，则发送预警邮件或消息，并标记为需关注模型；若连续H次评估下降，且下降总幅度超过阈值，则发送严重预警信息，并暂停当前模型，切换到旧模型；若存在错误标注样本，则重新标注，使用新样本进行模型调优。
5.如权利要求1、2或4任一所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述进行灾害预警包括以下步骤：
采集灾害事件毁坏的定量指标，建立灾害评估体系：采集火灾相关数据，定量指标包括：火势范围R(m2)，烟气浓度C(mg/m3)，蔓延速度V(m/s)，火害等级E{1,2,3}；
根据模型对灾害事件的预测，计算预计造成的损失：评估函数计算公式如下：
S＝w1R+w2C+w3V+w4E
其中，w1,w2,w3,w4为权重系数，表示每个指标对综合评估分值的贡献权重；
将模型预测作为输入，评估不同的应对方案；构建优化框架，平衡应对成本和损失最小化；输出最优的应对策略，产生干预建议。
6.如权利要求5所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述权重系数的计算过程包括：
rR是R和损失程度的相关系数；rC是C和损失程度的相关系数；rV是V和损失程度的相关系数；根据相关性系数计算权重：
wR＝rR/(rR+rC+rV)
wC＝rC/(rR+rC+rV)
wV＝rV/(rR+rC+rV)
进行归一化处理：
w1＝wR/(wR+wC+wV+wE)
w2＝wC/(wR+wC+wV+wE)
w3＝wV/(wR+wC+wV+wE)
w4＝wE/(wR+wC+wV+wE)
其中，E为离散级别。
7.如权利要求6所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：所述基于Pytorch框架搭建Focus CNN网络模型，中Focus CNN网络结构包括4个二倍下采样模块，一个Flatten层和3个全连接层；二倍下采样模块之间通过残差结构进行特征图前向跳跃传递，全连接层之间使用LeakyRelu激活函数和Dropout正则化层；所述二倍下采样模块包括一个Focus Block下采样块和两个CNN Block；输入特征图首先通过FocusBlock进行一次切片下采样处理，再连接Concatenation层进行特征图拼接，随后输入至步进为1和步进为2的CNN Block进行特征融合和第二次的卷积下采样，经过二倍下采样模块的特征图尺寸是输入特征图的1/4。
8.一种基于深度学习的低复杂度实时火灾与烟雾检测系统，基于权利要求1～7任一所述的基于深度学习的低复杂度实时火灾与烟雾检测方法，其特征在于：包括，
数据采集模块，用于通过摄像头采集图像和视频，构建训练集和测试集；
数据预处理模块，用于将数据集划分为训练集和测试集，并对数据集进行归一化和标准化预处理；
模型训练模块，用于使用PyTorch框架搭建CNN模型，设定交叉熵损失函数，使用Adam优化器进行模型训练，保存最优模型；
模型评估模块，用于在测试集上评估模型性能，使用识别准确率指标进行模型筛选；
模型部署模块，用于将最优模型部署到嵌入式设备上，对摄像头数据进行实时预测和检测；
决策支持模块，用于评估灾害损失，根据模型预测结果评估应对方案，优化资源分配，输出最佳决策。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于深度学习的低复杂度实时火灾与烟雾检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于深度学习的低复杂度实时火灾与烟雾检测方法的步骤。
CN202311243814.3A 2023-09-25 2023-09-25 一种基于深度学习的低复杂度实时火灾与烟雾检测方法 Pending CN117496423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311243814.3A CN117496423A (zh) 2023-09-25 2023-09-25 一种基于深度学习的低复杂度实时火灾与烟雾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311243814.3A CN117496423A (zh) 2023-09-25 2023-09-25 一种基于深度学习的低复杂度实时火灾与烟雾检测方法

Publications (1)

Publication Number Publication Date
CN117496423A true CN117496423A (zh) 2024-02-02

Family

ID=89677151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311243814.3A Pending CN117496423A (zh) 2023-09-25 2023-09-25 一种基于深度学习的低复杂度实时火灾与烟雾检测方法

Country Status (1)

Country Link
CN (1) CN117496423A (zh)

Similar Documents

Publication Publication Date Title
JP7312919B2 (ja) 太陽光発電アレイの動作状態を決定する方法および装置、デバイス並びに記憶媒体
JP6942029B2 (ja) 火災監視システム
CN104933841B (zh) 一种基于自组织神经网络的火灾预测方法
CN110674790B (zh) 一种视频监控中异常场景处理方法及系统
CN110378265A (zh) 一种早期火灾检测方法、计算机可读介质及系统
CN111950660A (zh) 一种人工智能训练平台的告警预测方法及装置
CN115660262B (zh) 一种基于数据库应用的工程智慧质检方法、系统及介质
CN114255562A (zh) 基于物联网的智慧消防预警系统
CN113269111B (zh) 一种基于视频监控的电梯异常行为检测方法及系统
CN112633262B (zh) 通道监测方法、装置、电子设备及介质
CN115793990B (zh) 存储器健康状态确定方法、装置、电子设备及存储介质
CN117496423A (zh) 一种基于深度学习的低复杂度实时火灾与烟雾检测方法
CN115311601A (zh) 一种基于视频分析技术的火灾探测分析方法
US9323987B2 (en) Apparatus and method for detecting forgery/falsification of homepage
CN115964503B (zh) 基于社区设备设施的安全风险预测方法及系统
CN114120208A (zh) 一种火焰检测方法、装置、设备和存储介质
CN114612771A (zh) 一种基于神经网络的火源监控方法及系统
CN114282611A (zh) 基于深度学习模型的多传感器数据融合火源定位算法
CN113342978A (zh) 一种城市事件处理方法及装置
CN109741580A (zh) 一种多源预警信息集成共享方法及装置
CN114445729B (zh) 一种基于改进yolo算法的小目标火灾检测方法
CN114548270A (zh) 一种火灾探测方法、装置、电子设备及存储介质
KR20230075647A (ko) 앙상블 지도 학습 기반 화재 상황 감지 방법
Wang et al. Multi-sensor Data Fusion Algorithm for Indoor Fire Detection Based on Ensemble Learning
CN117346079A (zh) 一种燃气泄漏浓度监测预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination