CN113673377A - 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法 - Google Patents

火电厂煤堆多目标自燃点识别和定位模型构建和工作方法 Download PDF

Info

Publication number
CN113673377A
CN113673377A CN202110888756.4A CN202110888756A CN113673377A CN 113673377 A CN113673377 A CN 113673377A CN 202110888756 A CN202110888756 A CN 202110888756A CN 113673377 A CN113673377 A CN 113673377A
Authority
CN
China
Prior art keywords
coal pile
spontaneous combustion
point
coal
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110888756.4A
Other languages
English (en)
Inventor
王战
周郅皓
吴孚辉
俞荣栋
范海东
杨涛
张凯凯
闻邦
林清
张英驰
李杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zheneng Digital Technology Co ltd
Zhejiang Energy Group Research Institute Co Ltd
Original Assignee
Zhejiang Energy Group Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Energy Group Research Institute Co Ltd filed Critical Zhejiang Energy Group Research Institute Co Ltd
Priority to CN202110888756.4A priority Critical patent/CN113673377A/zh
Publication of CN113673377A publication Critical patent/CN113673377A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Abstract

本发明涉及一种火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，包括步骤：采用煤堆自燃检测设备进行煤场巡检；获取煤堆图像；建立煤堆自燃点快速识别模型；融合deepsort算法构建煤堆自燃点定位和跟踪模型；将自燃点信息汇总成报告并发送到后台，再由后台反馈给前端。本发明的有益效果是：基于深度学习技术、可见光图像、yolov5s算法构建煤堆自燃点快速识别模型，可快速识别煤堆中的烟源点、火源点等事件点，发现事件点在图片中的位置信息、大小信息、数量信息等，在煤堆产生一个或多个自燃点时会自动识别并得到具体的数目；解决目前煤场自燃识别反应缓慢，具有滞后性和误检等问题。

Description

火电厂煤堆多目标自燃点识别和定位模型构建和工作方法
技术领域
本发明属于预防煤燃烧引发事故技术领域，尤其涉及一种火电厂煤堆多目标自燃点识别和定位模型构建和工作方法。
背景技术
煤与空气的接触还会经常发生煤堆发热和自燃现象，封闭煤场自燃发生后威胁到煤场作业人员的人身安全和设备的运行，也给安全生产带来了相当大的火灾事故隐患,造成重大损失，煤堆自燃造成煤场火灾的问题长期以来困扰着很多相关企业，煤场封闭后如何及时早期监测、预警煤堆温度，以及早期发现烟雾，现场温度异常情况，及时翻堆、精准浇水降温、控制煤堆温度、预防煤的燃烧引发事故将成为封闭式煤场管理工作的关键问题。
目前在火电厂煤场主要采用传统的人工巡检模式，依赖运维人员通过目测和接触式测温等方式来检查煤堆的升温以及防止自燃等，发生自燃后只能通过煤场内部的火焰探测器进行报警，主要包含了以下几种：
一、电厂工作人员定期进行检测，采用煤堆测温杆插入煤堆，可以准确读取煤堆内部温度数据，但是该方式随机性较强，存在较大的隐患，且电厂煤堆数量和工作量巨大，费事费力。
二、在煤场铺设感温光缆，在煤场中铺设感温光缆可以大范围感知煤堆的温度，但是该方法需要在整个煤场铺设感温光缆，且感温光缆较为纤细，在煤场粗糙的作业中常常出现光纤断裂破损的情况，后期维护费用较大。
三、利用光谱和烟雾传感器等感知煤场环境，预防煤堆自燃，该方式可以结合多种传感器进行煤场检测，数据采集面性较广，但是对于煤堆自燃点的定位能力差，且需要煤堆中的自燃程度较高时才能准确检测出该情况，滞后性较严重。
四、采用红外检测仪进行检测，该方式可以准确发现煤堆自燃点的位置，但是由于煤场复杂的环境加上推煤机，斗轮机等散发的高温，导致误报现象频繁。
发明内容
本发明的目的是克服现有技术中的不足，提供一种火电厂煤堆多目标自燃点识别和定位模型构建和工作方法。
这种火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，包括以下步骤：
步骤1、采用煤堆自燃检测设备进行煤场巡检；
步骤2、获取煤堆图像；
步骤3、建立煤堆自燃点快速识别模型，将构建好的煤堆自燃点快速识别模型导入jetbot nano嵌入式开发模块，采用煤堆自燃点快速识别模型判断煤堆图像中是否有自燃点；若没有自燃点，返回执行步骤1，若有自燃点，执行步骤4；
步骤4、融合deepsort算法构建煤堆自燃点定位和跟踪模型，将构建好的煤堆自燃点定位和跟踪模型导入jetbot nano嵌入式开发模块，通过煤堆自燃点定位和跟踪模型进行自燃点跟踪和定位，得到自燃点的位置，实时跟踪并在煤堆图像中标出自燃点位置；
步骤5、根据步骤3和步骤4识别得到的每一帧煤堆图像内的自燃点信息，将自燃点信息汇总成报告并发送到后台，再由后台反馈给前端。
作为优选，步骤1中电厂的每台消防炮安装一套煤堆自燃检测设备，具体安装位置为消防安全炮的前端部分；煤堆自燃检测设备包括高清可见光摄像模块、jetbot nano嵌入式开发模块、其他传感器模块和数据传输模块；jetbot nano嵌入式开发模块通过通信模块分别与现场控制箱、后台数据库、消防应急设备和驱动电机无线连接。
作为优选，高清可见光摄像模块为高精度摄像头。
作为优选，步骤3中的自燃点快速识别模型、步骤4中的煤堆自燃点定位和跟踪模型烧录在jetbot nano嵌入式开发模块内。
作为优选，步骤1采用煤堆自燃检测设备进行煤场巡检，在电厂煤场的煤堆中未发现火源点和烟雾点时，煤堆自燃检测设备跟随现场消防炮进行左右180度的来回巡检，或高精度摄像头自行巡检；步骤2每秒捕获和处理2～3帧煤场煤堆图像；步骤3采用煤堆自燃点快速识别模型分析煤堆图像中是否有烟雾、火苗自燃点。
作为优选，步骤3具体包括如下步骤：
步骤3.1、基于yolov5s算法构建煤堆自燃点快速识别模型；
步骤3.2、采用Leaky relu激活函数训练煤堆自燃点识别模型：
Figure BDA0003193291390000021
上式中，x实值输入，α为正斜率；
步骤3.3、训练好的煤堆自燃点快速识别模型采用Batch normalization来批量处理煤堆图像数据：
Figure BDA0003193291390000031
Figure BDA0003193291390000032
Figure BDA0003193291390000033
上式中，μ为煤堆自燃的输入特征的均值，σ为煤堆自燃的输入特征的标准差，x_i为煤堆自燃的输入特征的归一化数值，m为每个批次的数据大小，ε为无穷小；
步骤3.4、在煤堆自燃点快速识别模型输出自燃点信息时对批量处理后的煤堆图像数据值进行重构变换：
Figure BDA0003193291390000034
上式中，γ和β均为重构参数，
Figure BDA0003193291390000035
为煤堆自燃的输入特征的归一化数值，yi为重构变换后的煤堆自燃的输入特征；
步骤3.5、针对图像比例进行缩放；假设训练时的煤堆图像像素设置为L*L的图像，则对于任意高和宽为H和W的煤堆图像，填充和缩放的步骤为：将L分别除以W和H，得到商最小的数作为最小系数，采用W和H分别乘以最小系数，对煤堆图像进行缩放；若缩放后的煤堆图像高或宽无法整除32，则对该煤堆图像高或宽进行取余，再将煤堆图像高或宽采用余数的1/2量进行填充；
步骤3.6、采用Focus切片法对煤堆图像进行处理；Focus切片法先将煤堆图像变成L/2×L/2×12的特征图，特征图再通过卷积和输出通道，最终变成L/2×L/2×12×32的计算量的特征图；
步骤3.7、在网络结构的特征强化层Neck使用CSPnet；在网络结构的特征强化层Neck和head层采用FPN+PAN结构；先采用FPN增强煤堆图像自燃点信息，再通过PAN将低层的强定位特征进行上传；在neck层使用CSP2_x的结构，将顶层特征通过上采样与底层特征融合。
作为优选，步骤4具体包括如下步骤：
步骤4.1、采用自燃点定位和跟踪模型对自燃点进行跟踪匹配，采用当前帧煤堆图像的检测结果去跟踪上一帧煤堆图像的检测结果，进行逐帧匹配，当连续三帧煤堆图像匹配到同一个自燃点目标，则确定该自燃点目标为自燃点，最后结合识别的结果将自燃点进行统计；
步骤4.2、使用NMS来筛选识别结果，得到预测损失最小的预测框；假设煤堆图像中实际煤堆自燃点的位置和面积为A，煤堆自燃点的位置和面积的预测值为B，则预测值和实际值重叠值为：
Figure BDA0003193291390000041
引入包含A与B的最小框C，得到C与C中A∪B之外部分的比值，最后用IoU减去该比值，得到GIoU，利用IoU计算实际煤堆自燃点的位置和面积A与煤堆自燃点的位置和面积的预测值B不交叠时的误差信息：
Figure BDA0003193291390000042
则GIoU的损失函数为：
GIoU_loss＝1-GIoU
将预测框和实际框之间的中心距离d与预测框和实际框的交叠面积的比值作为惩罚项，计算DIoU损失函数：
Figure BDA0003193291390000043
步骤4.3、利用jetbot nano嵌入式开发模块驱动高精度摄像头对于每张煤堆图像的自燃点进行识别和定位：先从左至右计算每张煤堆图像中煤堆自燃点的识别和定位信息，并将结果在煤堆图像中框出；每个预测识别框的参数计算方式为：
bx＝σ(tx)×2-0.5+cx
by＝σ(ty)×2-0.5+cy
bw＝pw(σ(tw)×2)2
bh＝ph(σ(th)×2)2
上式中bx、by、bw、bh分别为预测框的中心值坐标x点、y点与预测框的宽和高，cx和cy为每个特征单元的左上角的坐标点，tx，ty，tw，th为训练模型的预测输出，tx为预测框的中心值坐标x点偏移量，ty为预测框的中心值坐标y点偏移量，tw，th为坐标尺度缩放，pw和ph是预测框相对于特征图的长和宽。
作为优选，步骤5中自燃点信息包括：每个自燃点的类别、每个自燃点的位置、每个自燃点的判别概率，每类自燃点的汇总和检测时间；自燃点包括烟雾点和火源点，或烟雾点和高温点。
作为优选，步骤3至步骤5替换为现场高精度摄像头直接将数据传送到后台进行分析。
本发明的有益效果是：
基于深度学习技术、可见光图像、yolov5s算法构建煤堆自燃点快速识别模型，可快速识别煤堆中的烟源点、火源点等事件点，发现事件点在图片中的位置信息、大小信息、数量信息等，在煤堆产生一个或多个自燃点时会自动识别并得到具体的数目；解决目前煤场自燃识别反应缓慢，具有滞后性和误检等问题；
基于多目标检测算法(deepsort算法)构建煤堆自燃点定位和跟踪模型，在煤堆产生一个或多个自燃点时会自动标定煤堆中的自燃点的位置(包括烟雾、火苗等)，可在每一帧捕获到的图像中实时跟踪煤堆中的事件点，得到同一事件点在不同时刻的位置和运动轨迹，解决目前煤场自燃时自燃点难以准确定位的问题；结合设备巡检功能，保证全煤场的消防检测覆盖，解决因煤场空间大和地形复杂而导致的漏检问题；将yolov5算法与deepsort算法融合，进行多自燃点检测，提升多目标检测准确率；
在jetbot nano嵌入式开发模块中部署煤堆自燃点快速识别模型，使产品集成度提高；jetbot nano自带显卡，且体积较小，可以在集成度高的情况下支持高精度的图像处理，在现场处理完毕之后可以只将数据传送回后台，当后台需要时再传送图像，提升了数据传输灵活性、实时性和后台的反应速度，解决煤场图像数据传输实时性差，维护不方便等问题；
使用比例缩放减小数据输入时的大小，加快数据训练；基于focus切片的煤堆数据特征增强方法利用focus切片来提升煤堆图像的特征数量，可以每隔一个煤堆图片像素点提取一个特征，使在信息无损失的情况下使数据扩充4倍，使数据得到增强，提高后期预测的精度；
采用DIoU的损失函数代替GIoU作为非极大抑制值(DIoU_NMS)的评判准则，处理多余的自燃点预测框，DIoU的loss计算方法可以将去除一个自燃目标点的多个框选取评分最高的框作为自燃点的预测框，并且考虑了自燃点预测框和实际框的中心点以及两个框的最小包络面积最为惩罚项，加快收敛速度，解决同一煤堆自燃点有多个预测框的问题与预测框和实际框重叠导致收敛速度下降的问题；
采用了卷积层(Convolutional neural network)+归一化批处理(Batchnormalization)+Leaky relu激活函数(CBL)的组合作为一个基础神经网络层；以卷积神经网络(CNN)为基础构建网络构架，在Neck层和head层使用CSPnet和FPN+PAN的结构处理煤堆图像的自燃点特征表达，CSPnet可以提升CNN的学习能力，再采用FPN+PAN的结构使煤堆图像特征的表达能力更强，使后期预测精度提高。
附图说明
图1为煤堆自燃检测设备硬件构成图；
图2为煤堆自燃点识别和定位流程图；
图3为煤堆图像填充缩放流程图；
图4为基于yolov5s算法的煤堆自燃点识别模型的构建流程图；
图5为Neck层数据增强结构图；
图6为基于deepsort算法的多自燃点目标匹配流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例一
本申请实施例一提供了一种如图1所示自燃检测设备，电厂的每台消防炮安装一套煤堆自燃检测设备，具体安装位置为消防安全炮的前端部分；煤堆自燃检测设备包括高清可见光摄像模块、jetbot nano嵌入式开发模块、其他传感器模块和数据传输模块；jetbot nano嵌入式开发模块通过通信模块分别与现场控制箱、后台数据库、消防应急设备和驱动电机无线连接，将判断的事件点信息数据通过无线网络实时传送到后台、现场控制箱和现场消防设备，实现消防应急设备的实时联动，提高消防的反应能力和自动化水平。高清可见光摄像模块为高精度摄像头；核心部分是高清摄像头和jetbot nano嵌入式开发模块，其他传感器模块如光伏传感器、烟雾报警器等可由现场原有安装的传感器决定。
实施例二
在实施例一的基础上，本申请实施例二提供了根据实施例一中自燃检测设备，进行火电厂煤堆多目标自燃点识别和定位模型构建和工作方法：
步骤1、采用煤堆自燃检测设备进行煤场巡检；采用煤堆自燃检测设备进行煤场巡检，在电厂煤场的煤堆中未发现火源点和烟雾点时，煤堆自燃检测设备跟随现场消防炮进行左右180度的来回巡检，或高精度摄像头自行巡检；
步骤2、获取煤堆图像；每秒捕获和处理2～3帧煤场煤堆图像；
步骤3、如图2所示，建立煤堆自燃点快速识别模型，将构建好的煤堆自燃点快速识别模型导入jetbot nano嵌入式开发模块，采用煤堆自燃点快速识别模型判断煤堆图像中是否有烟雾、火苗等自燃点(或火灾隐患的事件点)；若没有自燃点，返回执行步骤1，若有自燃点，执行步骤4；自燃点快速识别模型烧录在jetbot nano嵌入式开发模块内；
步骤3.1、基于yolov5s算法构建煤堆自燃点快速识别模型；
步骤3.2、相较于传统的图像处理算法，采用Leaky relu激活函数训练煤堆自燃点识别模型：
Figure BDA0003193291390000071
上式中，x实值输入，α为正斜率，一般取0.01；由于Leaky relu在负区域具有小的正斜率，因此即使对于负输入值，它也可以进行反向传播，由此解决在煤堆自燃点的图像特征计算中可能出现的权重为0导致的神经元死亡问题；Leaky relu激活函数除了拥有relu的优点外，还可以解决在训练煤堆自燃点识别模型时，因学习率过大导致的神经元死亡的问题；
步骤3.3、在训练和处理煤堆中的自燃图像时还会出现图像数据庞大，网络结构复杂所形成的训练时间冗长的问题；由于对于每个隐层神经元，其激活输入值的分布经过深层网络的训练会发生偏移，因此，训练好的煤堆自燃点快速识别模型采用Batchnormalization来批量处理煤堆图像数据：
Figure BDA0003193291390000072
Figure BDA0003193291390000073
Figure BDA0003193291390000074
上式中，μ为煤堆自燃的输入特征的均值，σ为煤堆自燃的输入特征的标准差，
Figure BDA0003193291390000075
为煤堆自燃的输入特征的归一化数值，m为每个批次的数据大小，ε为无穷小；把向取值区间极限饱和区靠拢的输入值分布强制拉回到均值为0方差为1的比较标准的正态分布，使激活输入值落到神经网络非线性变换的敏感处理区域，这样优点是可以避免梯度消失问题，构建更深更复杂的网络，容忍更高的学习率，加快训练的速度；
步骤3.4、但是在归一化之后，煤堆自燃的输入特征中的信息会发生改变，导致部分信息的缺失，在煤堆自燃点快速识别模型输出自燃点信息时对批量处理后的煤堆图像数据值进行重构变换：
Figure BDA0003193291390000081
上式中，γ和β均为重构参数，
Figure BDA0003193291390000082
为煤堆自燃的输入特征的归一化数值，yi为重构变换后的煤堆自燃的输入特征；上式通过引入和训练γ和β两个重构参数来恢复出原始网络所要学习的特征分布；
步骤3.5、如图3所示，在实际训练和后期识别的图像输入识别时，不同摄像头输入的图片规格一般是不一致的，因此需要对图像进行填充缩放，但是传统方式常常是直接按照训练时的比例进行填充缩放，导致占用资源较大，对于后期在jetbot nano嵌入式开发模块中的部署会很不利，因此本发明针对图像比例进行缩放；假设训练时的煤堆图像像素设置为L*L的图像，则对于任意高和宽为H和W的煤堆图像，填充和缩放的步骤为：将L分别除以W和H，得到商最小的数作为最小系数，采用W和H分别乘以最小系数，对煤堆图像进行缩放；若缩放后的煤堆图像高或宽无法整除32，则对该煤堆图像高或宽进行取余，再将煤堆图像高或宽采用余数的1/2量进行填充；对32取余的操作是因为，在Yolo中需要进行5次下采样，因此对于任意图片的像素点至少为25×25，填充部分的内容一般为RGB(114,114,114)的灰带；
步骤3.6、在图像训练时相对于传统yolo算法则会采用Focus切片法对煤堆图像进行处理；传统yolo算法类似邻近下采样法，对于原始煤堆图像会每隔一个像素点进行一次采样，主要操作是将L×L×3的图像数据采用普通下采样操作再经过3×3的卷积操作，输出通道32之后，变为L/2×L/2×3×32的计算量的特征图；Focus切片法先将煤堆图像变成L/2×L/2×12的特征图，特征图再通过卷积和输出通道，最终变成L/2×L/2×12×32的计算量的特征图；Focus切片法理论的计算量将扩充为普通卷积的4倍自燃特征信息，并且下采样时没有信息的丢失；
步骤3.7、由于CSPnet(Cross Stage Partial Network)对于CNN的使用而言，可以增强CNN的学习能力，同时降低内存的开销，传统的yolov5s算法只在网络主干部分(Backbone)使用CSPnet，本发明所用的yolov5s算法网络中除了主干的网络部分外，在网络结构的特征强化层Neck使用CSPnet；在网络结构的特征强化层Neck和head层采用FPN+PAN结构，提升了图像特征的表达能力；先采用FPN增强煤堆图像自燃点信息，再通过PAN将低层的强定位特征进行上传；在neck层使用CSP2_x的结构，将顶层特征通过上采样与底层特征融合；，每一层都会做出独立的预测。基于yolo5s的煤堆自燃点识别训练全流程见图4所示：
图中训练的网络模型分为3个部分，其中主干部分为煤堆自燃点特征提取层，主要负责提取煤场图像中自燃点的特征信息，其核心组件由CSP1_x组成，x为残差组件的个数，将底层特征图和高层直接相加丰富信息，利用5次下采样逐步提取煤场图像的自燃点信息；煤堆自燃点特征强化层主要负责融合主干网络得到的特征自燃点特征图，增强这些特征图的表达能力，其主要的工作流程可见图5，最后将输出的特征图的大小保持一致传给煤堆自燃点预测层；煤堆自燃点预测层主要负责将识别和预测煤堆的中的自燃点，包含火苗和烟源，预测层在实际构建时与煤堆自燃点特征强化层一同构建；
步骤4、对于煤堆自燃点的识别之后，需要对自燃点进行实时的跟踪和定位，得到准确的自燃点信息，若只采用每帧视频图像的信息采集和识别会造成不同的摄像头把同一自燃点在每帧图像中被判定为不同的事件，使得后台的统计、误报以及人员的调配出现较大误差；因此，在自燃点识别的基础上融合deepsort算法构建煤堆自燃点定位和跟踪模型，将构建好的煤堆自燃点定位和跟踪模型导入jetbot nano嵌入式开发模块，通过煤堆自燃点定位和跟踪模型进行自燃点跟踪和定位，得到自燃点(或火灾隐患的事件点)的位置，实时跟踪并在煤堆图像中标出自燃点位置；煤堆自燃点定位和跟踪模型烧录在jetbot nano嵌入式开发模块内；主要工作流程如图6所示：
步骤4.1、除了第一帧图片之外，都需要采用自燃点定位和跟踪模型进行对自燃点进行跟踪匹配，采用当前帧煤堆图像的检测结果去跟踪上一帧煤堆图像的检测结果，进行逐帧匹配，当连续三帧煤堆图像匹配到同一个自燃点目标，则确定该自燃点目标为自燃点，最后结合识别的结果将自燃点进行统计；
步骤4.2、在实际使用中常出现一个自燃目标点出现多个预测框的情况，因此使用NMS来筛选识别结果，得到预测损失最小的预测框；yolov5s算法常用的预测框的损失计算为GIoU_loss，GIoU是在Iou的基础上改进而来，假设煤堆图像中实际煤堆自燃点的位置和面积为A，煤堆自燃点的位置和面积的预测值为B，则预测值和实际值重叠值为：
Figure BDA0003193291390000101
但是IoU无法计算两个预测框的距离情况，预测框和实际框并不重叠则无法计算两个框之间误差，因此引入包含A与B的最小框C，得到C与C中A∪B之外部分的比值，最后用IoU减去该比值，得到GIoU，利用IoU的优势计算实际煤堆自燃点的位置和面积A与煤堆自燃点的位置和面积的预测值B不交叠时的误差信息：
Figure BDA0003193291390000102
则GIoU的损失函数为：
GIoU_loss＝1-GIoU
但是在实际预测煤堆图片时常会出现预测框包含于实际框内的情况，使收敛速度减慢，因此将预测框和实际框之间的中心距离d与预测框和实际框的交叠面积的比值作为惩罚项，计算DIoU损失函数：
Figure BDA0003193291390000103
步骤4.3、利用jetbot nano嵌入式开发模块驱动高精度摄像头对于每张煤堆图像的自燃点进行识别和定位：先从左至右计算每张煤堆图像中煤堆自燃点的识别和定位信息，并将结果在煤堆图像中框出；每个预测识别框的参数计算方式为：
bx＝σ(tx)×2-0.5+cx
by＝σ(ty)×2-0.5+cy
bw＝pw(σ(tw)×2)2
bh＝ph(σ(th)×2)2
上式中bx、by、bw、bh分别为预测框的中心值坐标x点、y点与预测框的宽和高，cx和cy为每个特征单元的左上角的坐标点，tx，ty，tw，th为训练模型的预测输出，tx为预测框的中心值坐标x点偏移量，ty为预测框的中心值坐标y点偏移量，tw，th为坐标尺度缩放，pw和ph是预测框相对于特征图的长和宽；
步骤5、根据步骤3和步骤4识别得到的每一帧煤堆图像内的自燃点信息，将自燃点信息汇总成报告并发送到后台，在后台同时会进行人性化设计，后台工作人员可根据自身需求要求显示现场视频数据或只显示数据信息，若后台工作人员不需要显示视频图像，则只传输数据信息，再由后台反馈给前端；与将图像数据发送到后天台并实时处理而言，传输速度将大大提升，保证了数据的及时性。自燃点信息包括：每个自燃点的类别、每个自燃点的位置、每个自燃点的判别概率，每类自燃点的汇总和检测时间；自燃点包括烟雾点和火源点，或烟雾点和高温点。

Claims (9)

1.一种火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于，包括以下步骤：
步骤1、采用煤堆自燃检测设备进行煤场巡检；
步骤2、获取煤堆图像；
步骤3、建立煤堆自燃点快速识别模型，将构建好的煤堆自燃点快速识别模型导入jetbot nano嵌入式开发模块，采用煤堆自燃点快速识别模型判断煤堆图像中是否有自燃点；若没有自燃点，返回执行步骤1，若有自燃点，执行步骤4；
步骤4、融合deepsort算法构建煤堆自燃点定位和跟踪模型，将构建好的煤堆自燃点定位和跟踪模型导入jetbot nano嵌入式开发模块，通过煤堆自燃点定位和跟踪模型进行自燃点跟踪和定位，得到自燃点的位置，实时跟踪并在煤堆图像中标出自燃点位置；
步骤5、根据步骤3和步骤4识别得到的每一帧煤堆图像内的自燃点信息，将自燃点信息汇总成报告并发送到后台，再由后台反馈给前端。
2.根据权利要求1所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于：步骤1中电厂的每台消防炮安装一套煤堆自燃检测设备，具体安装位置为消防安全炮的前端部分；煤堆自燃检测设备包括高清可见光摄像模块、jetbot nano嵌入式开发模块、其他传感器模块和数据传输模块；jetbot nano嵌入式开发模块通过通信模块分别与现场控制箱、后台数据库、消防应急设备和驱动电机无线连接。
3.根据权利要求2所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于：高清可见光摄像模块为高精度摄像头。
4.根据权利要求1所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于：步骤3中的自燃点快速识别模型、步骤4中的煤堆自燃点定位和跟踪模型烧录在jetbot nano嵌入式开发模块内。
5.根据权利要求2或3所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于：步骤1采用煤堆自燃检测设备进行煤场巡检，在电厂煤场的煤堆中未发现火源点和烟雾点时，煤堆自燃检测设备跟随现场消防炮进行左右180度的来回巡检，或高精度摄像头自行巡检；步骤2每秒捕获和处理2～3帧煤场煤堆图像；步骤3采用煤堆自燃点快速识别模型分析煤堆图像中是否有烟雾、火苗自燃点。
6.根据权利要求1所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于，步骤3具体包括如下步骤：
步骤3.1、基于yolov5s算法构建煤堆自燃点快速识别模型；
步骤3.2、采用Leaky relu激活函数训练煤堆自燃点识别模型：
Figure FDA0003193291380000021
上式中，x实值输入，α为正斜率；
步骤3.3、训练好的煤堆自燃点快速识别模型采用Batch normalization来批量处理煤堆图像数据：
Figure FDA0003193291380000022
Figure FDA0003193291380000023
Figure FDA0003193291380000024
上式中，μ为煤堆自燃的输入特征的均值，σ为煤堆自燃的输入特征的标准差，
Figure FDA0003193291380000025
为煤堆自燃的输入特征的归一化数值，m为每个批次的数据大小，ε为无穷小；
步骤3.4、在煤堆自燃点快速识别模型输出自燃点信息时对批量处理后的煤堆图像数据值进行重构变换：
Figure FDA0003193291380000026
上式中，γ和β均为重构参数，
Figure FDA0003193291380000027
为煤堆自燃的输入特征的归一化数值，yi为重构变换后的煤堆自燃的输入特征；
步骤3.5、针对图像比例进行缩放；假设训练时的煤堆图像像素设置为L*L的图像，则对于任意高和宽为H和W的煤堆图像，填充和缩放的步骤为：将L分别除以W和H，得到商最小的数作为最小系数，采用W和H分别乘以最小系数，对煤堆图像进行缩放；若缩放后的煤堆图像高或宽无法整除32，则对该煤堆图像高或宽进行取余，再将煤堆图像高或宽采用余数的1/2量进行填充；
步骤3.6、采用Focus切片法对煤堆图像进行处理；Focus切片法先将煤堆图像变成L/2×L/2×12的特征图，特征图再通过卷积和输出通道，最终变成L/2×L/2×12×32的计算量的特征图；
步骤3.7、在网络结构的特征强化层Neck使用CSPnet；在网络结构的特征强化层Neck和head层采用FPN+PAN结构；先采用FPN增强煤堆图像自燃点信息，再通过PAN将低层的强定位特征进行上传；在neck层使用CSP2_x的结构，将顶层特征通过上采样与底层特征融合。
7.根据权利要求1或6所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于，步骤4具体包括如下步骤：
步骤4.1、采用自燃点定位和跟踪模型对自燃点进行跟踪匹配，采用当前帧煤堆图像的检测结果去跟踪上一帧煤堆图像的检测结果，进行逐帧匹配，当连续三帧煤堆图像匹配到同一个自燃点目标，则确定该自燃点目标为自燃点，最后结合识别的结果将自燃点进行统计；
步骤4.2、使用NMS来筛选识别结果，得到预测损失最小的预测框；假设煤堆图像中实际煤堆自燃点的位置和面积为A，煤堆自燃点的位置和面积的预测值为B，则预测值和实际值重叠值为：
Figure FDA0003193291380000031
引入包含A与B的最小框C，得到C与C中A∪B之外部分的比值，最后用IoU减去该比值，得到GIoU，利用IoU计算实际煤堆自燃点的位置和面积A与煤堆自燃点的位置和面积的预测值B不交叠时的误差信息：
Figure FDA0003193291380000032
则GIoU的损失函数为：
GIoU_loss＝1-GIoU
将预测框和实际框之间的中心距离d与预测框和实际框的交叠面积的比值作为惩罚项，计算DIoU损失函数：
Figure FDA0003193291380000033
步骤4.3、利用jetbot nano嵌入式开发模块驱动高精度摄像头对于每张煤堆图像的自燃点进行识别和定位：先从左至右计算每张煤堆图像中煤堆自燃点的识别和定位信息，并将结果在煤堆图像中框出；每个预测识别框的参数计算方式为：
bx＝σ(tx)×2-0.5+cx
by＝σ(ty)×2-0.5+cy
bw＝pw(σ(tw)×2)2
bh＝ph(σ(th)×2)2
上式中bx、by、bw、bh分别为预测框的中心值坐标x点、y点与预测框的宽和高，cx和cy为每个特征单元的左上角的坐标点，tx，ty，tw，th为训练模型的预测输出，tx为预测框的中心值坐标x点偏移量，ty为预测框的中心值坐标y点偏移量，tw，th为坐标尺度缩放，pw和ph是预测框相对于特征图的长和宽。
8.根据权利要求1所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于，步骤5中自燃点信息包括：每个自燃点的类别、每个自燃点的位置、每个自燃点的判别概率，每类自燃点的汇总和检测时间；自燃点包括烟雾点和火源点，或烟雾点和高温点。
9.根据权利要求1所述火电厂煤堆多目标自燃点识别和定位模型构建和工作方法，其特征在于，步骤3至步骤5替换为现场高精度摄像头直接将数据传送到后台进行分析。
CN202110888756.4A 2021-08-03 2021-08-03 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法 Pending CN113673377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110888756.4A CN113673377A (zh) 2021-08-03 2021-08-03 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110888756.4A CN113673377A (zh) 2021-08-03 2021-08-03 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法

Publications (1)

Publication Number Publication Date
CN113673377A true CN113673377A (zh) 2021-11-19

Family

ID=78541281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110888756.4A Pending CN113673377A (zh) 2021-08-03 2021-08-03 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法

Country Status (1)

Country Link
CN (1) CN113673377A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114545844A (zh) * 2022-01-10 2022-05-27 淮北矿业股份有限公司 一种防治煤自燃的四道防线技术系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114545844A (zh) * 2022-01-10 2022-05-27 淮北矿业股份有限公司 一种防治煤自燃的四道防线技术系统

Similar Documents

Publication Publication Date Title
CN111047818A (zh) 一种基于视频图像的森林火灾预警系统
CN111191576B (zh) 人员行为目标检测模型构建方法、智能分析方法及系统
CN110084166B (zh) 基于深度学习的变电站烟火智能识别监测方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
CN106593534A (zh) 一种智能隧道施工安全监控系统
CN110390265A (zh) 一种无人机巡检的识别检测方法及系统
CN115169855B (zh) 一种基于数字孪生车间混合数据集的不安全状态检测方法
CN117037406B (zh) 一种森林火灾智能化监控和预警系统
CN111488802B (zh) 一种利用热成像的温度曲线合成算法及火灾预警系统
CN116165981A (zh) 一种工业行业安全生产智能监控系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN113076683A (zh) 用于变电站行为监测的卷积神经网络模型的建模方法
CN114863489B (zh) 基于虚拟现实的可移动式智慧工地辅助巡检方法和系统
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN111476964A (zh) 一种远程森林防火监控系统与方法
CN113449675A (zh) 一种煤矿人员越界检测方法
CN109523041A (zh) 核电站管理系统
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN113673377A (zh) 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法
CN105095891A (zh) 一种人脸捕捉的方法，装置及系统
CN103020587B (zh) 基于视频图像分析火焰的视图分析方法
CN115841730A (zh) 视频监控系统、异常事件检测方法
CN113095160A (zh) 基于人工智能和5g的电力系统人员安全行为识别方法及系统
EP3748444B1 (en) Method and system for connected advanced flare analytics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220824

Address after: Room 307, No. 32, Gaoji Street, Xihu District, Hangzhou City, Zhejiang Province, 310002

Applicant after: Zhejiang Zheneng Digital Technology Co.,Ltd.

Applicant after: ZHEJIANG ENERGY R & D INSTITUTE Co.,Ltd.

Address before: 5 / F, building 1, No. 2159-1, yuhangtang Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG ENERGY R & D INSTITUTE Co.,Ltd.

TA01 Transfer of patent application right