CN116863252B - 动火作业现场易燃物检测方法、装置、设备、存储介质 - Google Patents
动火作业现场易燃物检测方法、装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116863252B CN116863252B CN202311126504.3A CN202311126504A CN116863252B CN 116863252 B CN116863252 B CN 116863252B CN 202311126504 A CN202311126504 A CN 202311126504A CN 116863252 B CN116863252 B CN 116863252B
- Authority
- CN
- China
- Prior art keywords
- layer
- module
- feature map
- multiplied
- conv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 239000000126 substance Substances 0.000 title description 15
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000005286 illumination Methods 0.000 claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 239000004033 plastic Substances 0.000 claims description 12
- 229920003023 plastic Polymers 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000002023 wood Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000006260 foam Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229920002457 flexible plastic Polymers 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种动火作业现场易燃物检测方法、装置、设备、存储介质，其方法包括：采集待测动火作业现场图像；构建易燃物检测模型并训练；将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测。本发明采用适应边界学习模块（ABLM）和自适应光照强度辅助分类模块（ALIACM）对YOLOv5网络进行改进，基于改进后的YOLOv5网络提升了动火作业现场易燃物的检测精度，提高了动火作业施工的安全性，从而减少人员伤亡和设备损耗。
Description
技术领域
本发明属于图像检测领域，具体涉及动火作业现场易燃物检测方法、装置、设备、存储介质。
背景技术
在油气、化工等相关企业的生产经营过程中，进行特殊作业是必不可少的。开展特殊作业如动火作业是造成事故多发的主要原因之一。特殊作业环节事故频繁发生的主要原因是因为企业特殊作业管理制度执行不到位、未能充分识别作业前存在的风险、未能有效管控作业过程中的风险，以及监护人员应急处置能力不足等。
检查易燃物并做好隔离是非常重要的一项工作。传统的动火作业在开展前都是由作业人员自己检查、判断附近是否存在易燃物，容易出现疏漏。而随着人工智能和计算机视觉领域技术的不断进步和发展，越来越多的人工智能算法被应用到智能安防等领域。因此可以考虑通过计算机视觉技术，对视频图像信息进行自动化的智能分析，实现对各种风险事件的识别预警。
目前，目标检测算法比较成熟，但是易燃物由于其定义模糊且形态多样，如何能够有效提升易燃物的检测精度依旧是一个难题。
发明内容
针对现有技术中的不足，本发明的目的在于提供一种动火作业现场易燃物检测方法，该方法能够提升动火作业现场易燃物的检测精度。
为实现上述目的，本发明提供以下技术方案：
一种动火作业现场易燃物检测方法，包括以下步骤：
S100：采集待测动火作业现场图像；
S200：构建易燃物检测模型并训练；
S300：将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测；
其中，
所述易燃物检测模型通过适应边界学习模块（ABLM）来优化同一易燃物由于边界不明确导致的检测框不准的情况，同时通过自适应光照强度辅助分类模块（ALIACM）来优化不同光照下的检测结果。
优选的，所述易燃物检测模型采用改进后的YOLOv5网络。
优选的，所述改进后的YOLOv5网络包括backbone模块、改进后的neck模块和head模块。
优选的，所述易燃物检测模型通过以下方法训练：
采集含有易燃物的动火作业现场图像数据集，对数据集中的图像进行预处理以获得预处理后的图像数据集，将预处理后的图像数据集划分为训练集和测试集；
设置训练参数，利用训练集对模型进行训练，当达到最大训练次数时，模型训练完成；
利用测试集对训练后的模型进行测试，测试过程中，当在测试集上的mAP@0.5值达到0.75及以上时，模型测试通过；否则需要扩大训练集样本或者调整训练参数重新对模型进行训练。
优选的，所述对数据集中的图像进行预处理包括以下步骤：
对数据集中的图像进行清洗；
对清洗后的图像进行标注。
本发明还提供一种动火作业现场易燃物检测装置，包括：
采集模块，用于采集待测动火作业现场图像；
训练模块，用于构建易燃物检测模型并训练；
检测模块，将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测。
优选的，所述训练模块包括：
预处理子模块，用于对所收集的用于模型训练的数据集中进行预处理。
优选的，所述预处理子模块包括：
清洗子模块，用于对数据集中的图像进行清洗；
标注子模块，用于对清洗后的图像进行标注。
本发明还提供一种电子设备，其特征在于，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
本发明还提供一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
与现有技术相比，本发明带来的有益效果为：
1、本发明对动火作业现场种类繁多的易燃物进行了有效的归纳总结和分类定义；
2、本发明通过适应边界学习模块（ABLM）来优化同一易燃物由于边界不明确导致的检测框不准的问题，同时通过自适应光照强度辅助分类模块（ALIACM）来优化不同光照下的检测结果；
3、本发明基于改进后的YOLOv5网络提升了动火作业现场易燃物检测的准确性，提高了动火作业施工的安全性，从而减少人员伤亡和设备损耗。
附图说明
图1是本发明一个实施例提供的一种动火作业现场易燃物检测方法的流程图；
图2是本发明另一个实施例提供的易燃物检测模型的结构示意图；
图3是ABLM模块的结构示意图；
图4是ABLM模块引入前和引入后的特征图对比；
图5是ALIACM模块的结构示意图；
图6是ALIACM模块引入前和引入后的特征图对比；
图7是原始输入图；
图8是模型最终输出的特征图；
图9是可视化后的效果图；
图10是按NMS算法和类别置信度进行最终过滤得到的最后输出示例。
具体实施方式
下面将参照附图1至图10详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以通过各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
一个实施例中，如图1所示，本发明提供一种动火作业现场易燃物检测方法，包括以下步骤：
S100：采集动火作业现场图像；
S200：构建易燃物检测模型并训练；
S300：将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测；
其中，
所述易燃物检测模型通过适应边界学习模块（ABLM）来优化同一易燃物由于边界不明确导致的检测框不准的情况，同时通过自适应光照强度辅助分类模块（ALIACM）来优化不同光照下的检测结果。
由此，本发明能够提升动火作业现场易燃物检测的准确性，能够提升动火作业现场易燃物检测的准确性，从而提高了动火作业施工的安全性，从而减少人员伤亡和设备损耗。
另一个实施例中，如图2所示，所述易燃物检测模型采用改进后的YOLOv5网络，其中，采用适应边界学习模块（ABLM）和自适应光照强度辅助分类模块（ALIACM）对YOLOv5网络进行改进。改进后的网络总共由34层构成，其中，第0至第10层构成backbone模块，第11至第32层构成改进后的neck模块，第33层则构成head模块。
本实施例中，利用易燃物检测模型对输入图像的检测具体包括以下过程：
1、将如图7所示的维度为3x640x640的原始图像输入第0层，该层包括一个Conv模块，由一个2维卷积层、一个BatchNorm层和一个SiLU激活函数层构成，其中，2维卷积层的卷积核大小为6x6，卷积和数量为32，步长为2x2，填充为2。输入图像进入该模块后首先进行卷积操作，每次提取一个特定大小的矩阵（卷积核），然后将其对输入图像依次遍历扫描同样尺寸大小的区域并进行内积运算。
其次，完成卷积操作的输入图像进入BatchNorm层进行如下计算：
①求出此次批量数据x的均值：
②求出此次batch的方差：
③对x做归一化：
④引入缩放和平移变量和/>，计算归一化后的值：
其中，B为一个batch批次的输入数据，m为一个批次的数据数量，x为一条数据，为一个批次的输入数据的平均数，/>为一个批次输入数据的方差，/>为一个小数（可取0.000001）防止分母为0，/>为归一化后的数据，平移变量/>和/>为要训练的参数，/>为该批次最终的输出数据。
最后，利用SiLU激活函数对完成BatchNorm层计算的输入图像进行如下计算：
其中，e为自然对数。
原始图像经过第0层后，获得维度为32x320x320的第一特征图。
2、将第一特征图输入第1层，该层包括一个Conv模块，与第0层结构相同，不同的是，该层中的2维卷积层的卷积核大小为3x3，卷积核数量为64，步长为2x2，填充为1，经过Conv模块后，获得维度为 64x160x160的第二特征图。
3、将第二特征图输入第2层，该层包括一个C3模块，由3个Conv模块和一个Bottleneck模块组成，其中，Bottleneck模块为由两个Conv模块组成的残差结构，即对于第二特征图x，先经过第一个Conv模块得到x1，再经过第二个Conv模块得到x2，x1和x2相加后作为最终输出。
需要说明的是，Bottleneck模块的第一个Conv模块的卷积核数量为32，卷积核大小为1x1，步长为1x1，激活函数为SiLU；第二个Conv模块卷积核数量为32，卷积核大小为3x3，步长为1x1，填充为1，激活函数为SiLU。
此外，C3模块中的第一和第二Conv模块结构一样，即卷积核数量为32，卷积核大小为1x1，步长为1x1，激活函数为SiLU；第三Conv模块卷积核数量为64，卷积核大小和步长均为1x1，激活函数为SiLU。
第二特征图经过第一Conv模块后维度变为32x160x160，再经过Bottleneck模块后进行输出；同时，第二特征图经过第二Conv模块后维度变为32x160x160，将Bottleneck模块的输出和第二Conv模块的输出在通道维度拼接后经第三Conv模块输出，获得维度为64x160x160的第三特征图。
4、将第三特征图输入第3层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小为3x3，卷积核数量为128，步长为2x2，填充为1。经过该模块后，可获得维度为128x80x80的第四特征图。
5、将第四特征图输入第4层，该层包括一个C3模块，包括3个Conv模块，其中，第一和第二个Conv模块结构一致，卷积核数量均为128，卷积核大小均为1x1，步长均为1x1，激活函数均为SiLU；第三个Conv模块卷积核数量为256，卷积核大小和步长均为1x1，激活函数为是SiLU。
该C3模块还包括两个Bottleneck模块，其中，两个Bottleneck模块结构相同，均为由两个Conv模块组成的残差结构，第一个Conv模块的卷积核数量为128，卷积核大小为1x1，步长为1x1，激活函数为SiLU；第二个Conv模块的卷积核数量为64，卷积核大小为3x3，步长为1x1，填充为1，激活函数为SiLU。
第四特征图经过第一个Conv模块后维度变为64x80x80，经过两个Bottleneck模块后维度变为64x80x80，第四特征图经过第二个Conv模块后维度变为64x80x80，将第二个Conv模块的输出和Bottleneck模块的输出在通道维度进行拼接后经过第三个Conv模块输出维度为128x80x80的第五特征图。
6、将第五特征图输入第5层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小维3x3，卷积核数量为256，步长为2x2，填充为1。经过该v模块后，可获得维度为256x40x40的第六特征图。
7、将第六特征图输入第6层，该层包括一个C3模块，该模块相比第4层中的C3模块，多增加了一个Bottleneck模块，经过第6层后，可获得维度为256x40x40的第七特征图。
8、将第七特征图输入第7层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小为3x3，卷积核数量为512，步长为2x2，填充为1。经过第7层后，可获得维度为512x20x20的第八特征图。
9、将第九特征图输入第8层，该层包括一个C3模块，包括三个Conv模块，其中，第一和第二个Conv模块结构一样，卷积核数量均为256，卷积核大小均为1x1，步长均为1x1，激活函数均为SiLU；第三个Conv模块的卷积核数量为512，卷积核大小和步长均为1x1，激活函数为SiLU。
该C3模块还包括一个Bottleneck模块，Bottleneck模块为由两个Conv模块组成的残差结构，第一个Conv模块卷积核数量为256，卷积核大小为1x1，步长为1x1，激活函数为SiLU；第二个Conv模块卷积核数量为256，卷积核大小为3x3，步长为1x1，填充为1，激活函数为SiLU。经第8层后，可获得维度为512x20x20的第九特征图。
10、将第九特征图输入第9层，该层包括一个SPPF模块，由两个Conv模块和一个最大池化层组成，第一个Conv模块的卷积核数量为256，卷积核大小为1x1，步长为1x1，激活函数为SiLU；第二个Conv模块的卷积核数量为512，卷积核大小为3x3，步长为1x1，填充为1，激活函数为SiLU。最大池化层的池化大小为5，步长为1，填充为2。
第九特征图经过第一个Conv模块后，维度变为256x20x20，记为 x1，x1经过最大池化后，维度变为256x20x20，记为y1，y1再经过一次最大池化后为，维度变为256x20x20，记为y2，y2再经过一次最大池化后，维度变为256x20x20，记为y3，将x1、y1、y2、y3在通道维度进行拼接后再经过第二个Conv模块获得维度为512x20x20的第十特征图。
11、将第十特征图输入第10层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层卷积核大小维1x1，卷积核数量为256，步长为1x1，经过第10层后获得维度为256x20x20的第十一特征图。
12、将第十一特征图输入第11层，该层包括一个上采样层，该层通过使用nearest插值的方式进行2倍上采样后可获得维度为256x40x40的第十二特征图。
13、将第十二特征图输入第12层，该层包括一个Concat拼接层，通过该层能够将第6层的输出的第七特征图和第11层输出的第十二特征图在通道维度拼接得到维度为512x40x40第十三特征图。
14、将第十三特征图输入第13层，该层包括一个C3模块，由3个Conv模块和1个Bottleneck模块构成，Conv模块和Bottleneck模块的结构如前所述。经第13层后，可获得维度为256x40x40的第十四特征图。
15、将第十四特征图输入第14层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层卷积核大小维1x1，卷积核数量为128，步长为1x1。经过第14层后，可获得维度为128x40x40的第十五特征图。
16、将第十五特征图输入第15层，该层包括一个上采样层，通过使用nearest插值的方式进行2倍上采样后可获得维度为128x80x80的第十六特征图。
17、将第十六特征图输入第16层，该层包括一个Concat拼接层，该层将第4层输出的第五特征图和第十六特征图在通道维度拼接后可获得维度为256x80x80的第十七特征图。
18、第十七特征图输入第17层，该层包括一个C3模块，由3个Conv模块和1个Bottleneck模块构成，Conv模块和Bottleneck模块的结构如前所述。经过第17层后，可获得维度为128x80x80的第十八特征图。
19、将第十八特征图输入第18层，该层包括一个Conv模块，由一个2维卷积层和一个BatchNorm层以及SiLU激活函数层构成，2维卷积层的卷积核大小为1x1，卷积核数量为128，步长为1x1。经过第18层，可获得维度为128x40x40的第十九特征图。
20、将第十九特征图输入第19层，该层包括一个Concat拼接层，该层将第14层输出的第十五特征图和第十九特征图在通道维度拼接后获得维度为256x40x40的第二十特征图。
21、将第二十特征图输入第20层，该层包括一个C3模块，由三个Conv模块和以个Bottleneck模块构成，Conv模块和以个Bottleneck模块的结构如前所述。经过第20层后，可获得维度为256x40x40的第二十一特征图。
22、将第二十一特征图输入第21层，该层包括一个Conv模块，由一个2维卷积层和一个BatchNorm层以及SiLU激活函数构成，2维卷积层的卷积核大小维1x1，卷积核数量为256，步长为1x1。经过第21层，可获得维度为256x20x20的第二十二特征图。
23、将第二十二特征图输入第22层，该层包括一个Concat拼接层，该层将第10层输出的第十一特征图和第二十二特征图在通道维度拼接后获得维度为512x20x20的第二十三特征图。
24、将第二十三特征图输入第23层，该层包括一个C3模块，由三个Conv模块和一个Bottleneck模块构成，Conv模块和一个Bottleneck模块的结构如前所述，经过第23层，可获得维度为512x20x20的第二十四特征图。
25、将第二十四特征图输入第24层，该层包括一个如图3所示的自适应边界学习模块（ABLM），该模块即为本发明提出的第一个改进模块，该模块由一个Conv层、一个MaxPool2d层、一个UpSample层、一个concat层以及一个Conv层构成，其中，第一个Conv层使用了尺寸为11的卷积核以提升感受野，填充为5，步长为1，共有32个卷积核，第二十四特征图经第一个Conv层后输出为32x20x20；然后经过最大池化层MaxPool2d，池化核大小为2，步长为2，其原理为间隔步长2的每2x2的一个区域内，取最大值作为输出，输出为32x10x10；然后经过UpSample层，输出为32x20x20；然后和最开始输入的第二十四特征图在通道维度进行Concat拼接，输出为544x20x20；最后再经过卷积核大小为1x1的第二个Conv层，输出维度为512x20x20的第二十五特征图。
通过引入ABLM模块，能够使得网络提升感受野的旁路分支和原始输入分支加权，自适应的学习是否需要扩充检测边界，能够更好的应对待检测可燃物目标边界不明确的问题。
具体的，此处取第24层的ABLM模块为例，因为其有512个通道，这里选择其中一个较为明显的通道特征图作为输出对比示例，由图4可以看出，对于同一张输入图像，与引入ABLM模块之前相比，引入ABLM模块后，所获得的检测特征图的高亮区域范围更大，而最终输出的检测框也更大更准确。
26、将第二十五特征图输入第25层，该层包括一个如图5所示的自适应光照强度辅助分类模块（ALIACM），该模块即为本发明提出的第二个改进模块，该模块由一个MaxPool2d层、一个Meanpool2d层、一个concat层、一个Conv层以及一个Sigmoid层组成。该模块的输入为由第0层输出的第一特征图，对于第一特征图，先分别求得池化核大小为4、步长为4的最大池化MaxPool2d和平均池化Meanpool2d，输出均为32x80x80，然后通过concat层在通道维度拼接得到64x80x80，然后经过卷积核大小为7、步长为4、卷积核数量为1的Conv层，输出为1x20x20，最后经过Sigmoid层输出1x20x20的第二十六特征图。
ALIACM模块通过在浅层经过最大池化和平均池化的相互融合自动提取光照强度信息，最后通过Sigmoid映射到0-1的取值空间对后面最后的特征图进行加权，以起到自动调整光照影响的作用。
具体的，此处取第26层的Element-wise乘法层为例，该层对于原始提取的特征进行了ALIACM模块输出的加权，因为其有512个通道，此处选择其中一个较为明显的通道特征图作为输出对比示例，由图6可以看出，对于同一张输入的低照度图像，相比引入ALIACM模块前，引入ALIACM模块后，输出的检测特征图的高亮区域范围更大，而最终输出的检测框也更准确。
27、将第二十五特征图和第二十六特征图输入第26层，该层为Element-wise乘法层，即把第二十五特征图和第二十六特征图中512通道的20x20特征图，每个元素对应位置逐一相乘，以输出维度512x20x20的第二十七特征图。
28、将第20层输出的第二十一特征图输入第27层，该层同样包含一个ABLM模块，结构和原理如前所述，该层最终输出维度为256x40x40的第二十八特征图。
29、将第二十六特征图输入第28层，该层包括一个UpSample模块，输出维度为1x40x40的第二十九特征图。
30、将第二十八特征图和第二十九特征图输入到第29层，该层为Element-wise乘法层，即把第二十八特征图和第二十九特征图中256通道的40x40特征图，每个元素对应位置逐一相乘，输出维度为256x40x40的第三十特征图。
31、将第17层输出的第十八特征图输入第30层，该层同样为一个ABLM模块，其结构及原理如前所述，该层最终输出维度为128x80x80的第三十一特征图。
32、将第二十九特征图输入第31层，该层包括一个UpSample模块，输出为1x80x80的第三十二特征图。
33、将第三十一特征图和第三十二特征图输入第32层，该层包括一个Element-wise乘法层，即把三十一特征图和第三十二特征图中128通道的80x80特征图，每个元素对应位置逐一相乘，输出维度为128x80x80的第三十三特征图。
34、将第二十七特征图、第三十特征图、第三十三特征图一起输入第33层，该层包括一个Detect模块，该模块针对这三个特征图会有一组预先通过Kmeans聚类方法设置好的锚框anchor box，每一组为3个，同时网络要预测的输出维度为1个纸箱类别+1个塑料袋类别+1个泡沫塑料类别+1个木材木料类别+1个书本纸张类别+1个目标二分类+四个坐标值一共10个维度。则对这三组输出特征图分别经过一个3x10=30个卷积核的2维卷积层，卷积核大小为1x1，步长为1，然后再交换下维度顺序，分别得到如图8所示的[3,80,80,10],[3,40,40,10], [3,20,20,10]（含义为[通道数，特征图高，特征图宽，输出预测值的维度]）三组预测结果。
其中，所述锚框聚类Kmeans算法流程为：
①遍历训练数据集读取所有的标注框的宽高，每组宽高作为一组坐标；
②随机选择k个标注框坐标作为每个聚类集合的中心点（k取9）；
③计算标注框到k个集合中心的距离，把每个框划分到欧式距离最近的中心所属的集合；
④若每个集合中的框不发生变化，则终止，输出簇中心点代表的宽高作为结果；否则更新簇中心，更新方式为取每一个集合中所有框宽高坐标的中心点为新的中心。
在训练的时候，对这四组卷积层输出的特征图直接和标签求损失即可，其中，框的类别损失使用BCELoss计算，坐标宽高使用CIOULoss计算。
所述BCELoss损失计算公式为：
其中，为模型预测值，target为标签值。
所述CIOULoss计算公式为：
其中，A和B为待计算的两个目标框，、/>为标注框的宽高，w、h分别为预测框的宽何高，/>为计算欧式距离，b为预测框的中心点，c为标注框的中心点。
而在预测的时候，对这三组输出拼接合并然后reshape成[25200,10]维度的数据（10维数字含义分别为框中心点坐标x、框中心点坐标y、框的宽度w、框的高度h、前景目标置信度、类别1的置信度、类别2的置信度、类别3的置信度、类别4的置信度、类别5的置信度。25200代表所有特征层的所有位置的锚框数量之和）。然后过滤置信度低于0.001的框，可视化效果如图9所示。最后通过非极大值抑制（NMS）算法进行过滤，得到最终输出框，如图10所示。
另一个实施例中，所述易燃物检测模型通过以下方法训练：
采集含有易燃物的动火作业现场图像数据集，对数据集进行包括数据清洗和标注在内的预处理，将预处理后的图像数据集划分为训练集和测试集；
设置训练参数，如epochs设置为300，batch-size设置为16，imgsz设置为640，优化器使用SGD，初始学习率为0.01，利用训练集对模型进行训练，当达到最大训练次数（例如500次）时，模型训练完成；
利用测试集对训练后的模型进行测试，测试过程中，当在测试集上的mAP@0.5值达到0.75及以上时，模型测试通过，否则需要扩大训练集样本或者调整训练参数重新对模型进行训练。
本实施例中，由于易燃物的种类很多，要全部列举出来并收集到对应的数据不大现实，而如果直接把易燃物归为一个目标类别，也很难通过深度学习模型去训练，因为目标可能包含毫不相干的不同颜色、纹理、形态特征，不容易收敛，因此本实施例综合考虑施工现场常见性、易燃性、特征是否明显等因素，对常见易燃物进行了分类，主要包括五大类别：塑料袋、纸箱、泡沫塑料、木材木料和书本纸张。
其中，塑料袋包括常见的塑料口袋、垃圾袋、尼龙袋等柔性塑料，纸箱包括瓦楞纸箱、各种包装纸箱，泡沫塑料包括各种形态的白色泡沫塑料，木材木料包括木板、木架、木条等各种木制品，书本纸张包括各种纸张、广告单、书本等。这几类在施工现场都比较常见，且遇到火星容易燃烧，因此具有实际的检测意义。
此外，由于每种易燃物具体种类繁多，形态不一，且实际现场环境很难采集，因此本实施例提出了4种数据来源：
1、相关开源数据：易燃物并没有直接相关的开源数据，但是可以通过定义好的类别去找，比如一些垃圾识别数据集，具体包括了塑料袋、纸箱、泡沫塑料、木材木料、书本纸张等数据；
2、网络数据：通过指定关键词直接在网络上爬取相关图片；
3、其它类别现场真实数据：比如人体检测、烟火检测等任务会收集大量现场数据，可以清洗这些数据找出其中含有五种易燃物类别的数据；
4、合成数据：首先收集一些常见的目标类别数据，然后抠出目标区域，然后通过代码随机粘贴到不同背景上，同时还能生成标注文件。
上述四种数据来源中，第4种可以直接生成标签以作为模型训练用数据，其余三种需要通过前述预处理方法进行预处理后方能作为模型训练用数据。
下面，本发明将改进后的YOLOv5网络与现有的YOLOv3网络以及改进前的YOLOv5网络进行对比，其中，所用数据为本发明收集的1000张含有易燃物的图像，评测指标为mAP@0.5，对比结果如表1所示：
表1
由表1可知，采用本发明提出的改进后的YOLOv5网络对于动火作业现场易燃物的检测精度最高。
另一个实施例中，本发明还提供一种动火作业现场易燃物检测装置，包括：
采集模块，用于采集待测动火作业现场图像；
训练模块，用于构建易燃物检测模型并训练；
检测模块，将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测。
另一个实施例中，所述训练模块包括：
预处理子模块，用于对所收集的用于模型训练的数据集中进行预处理。
另一个实施例中，所述预处理子模块包括：
清洗子模块，用于对数据集中的图像进行清洗；
标注子模块，用于对清洗后的图像进行标注。
另一个实施例中，本发明还提供一种电子设备，其特征在于，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
另一个实施例中，本发明还提供一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，其中验证对象不局限于特定传感器布置角度或分体式叶盘结构，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (4)
1.一种动火作业现场易燃物检测方法，包括以下步骤：
S100：采集待测动火作业现场图像；
S200：构建易燃物检测模型并训练；
S300：将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测；
其中，
所述易燃物检测模型通过适应边界学习模块ABLM来优化同一易燃物由于边界不明确导致的检测框不准的情况，同时通过自适应光照强度辅助分类模块ALIACM来优化不同光照下的检测结果；
其中，
所述易燃物检测模型采用改进后的YOLOv5网络，其中，采用适应边界学习模块ABLM和自适应光照强度辅助分类模块ALIACM对YOLOv5网络进行改进；改进后的网络总共由34层构成，其中，第0至第10层构成backbone模块，第11至第32层构成改进后的neck模块，第33层则构成head模块；
所述易燃物检测模型通过以下方法训练：
采集含有易燃物的动火作业现场图像数据集，对数据集进行包括数据清洗和标注在内的预处理，将预处理后的图像数据集划分为训练集和测试集；
设置训练参数，epochs设置为300，batch-size设置为16，imgsz设置为640，优化器使用SGD，初始学习率为0.01，利用训练集对模型进行训练，当达到最大训练次数时，模型训练完成；
利用测试集对训练后的模型进行测试，测试过程中，当在测试集上的mAP@0.5值达到0.75及以上时，模型测试通过，否则需要扩大训练集样本或者调整训练参数重新对模型进行训练；
其中，对常见易燃物进行了分类，包括五大类别：塑料袋、纸箱、泡沫塑料、木材木料和书本纸张；
其中，
利用易燃物检测模型对输入图像的检测具体包括以下过程：
（1）、将维度为3×640×640的原始图像输入第0层，该层包括一个Conv模块，由一个2维卷积层、一个BatchNorm层和一个SiLU激活函数层构成，其中，2维卷积层的卷积核大小为6×6，卷积和数量为32，步长为2×2，填充为2；输入图像进入该模块后首先进行卷积操作，每次提取一个特定大小的矩阵即卷积核，然后将其对输入图像依次遍历扫描同样尺寸大小的区域并进行内积运算；
其次，完成卷积操作的输入图像进入BatchNorm层进行如下计算：
①求出此次批量数据x的均值：
②求出此次batch的方差：
③对x做归一化：
④引入缩放和平移变量和/>，计算归一化后的值：
其中，B为一个batch批次的输入数据，m为一个批次的数据数量，x为一条数据，为一个批次的输入数据的平均数，/>为一个批次输入数据的方差，/>为一个小数，取0.000001，防止分母为0，/>为归一化后的数据，平移变量/>和/>为要训练的参数，/>为该批次最终的输出数据；
最后，利用SiLU激活函数对完成BatchNorm层计算的输入图像进行如下计算：
其中，e为自然对数；
原始图像经过第0层后，获得维度为32×320×320的第一特征图；
（2）、将第一特征图输入第1层，该层包括一个Conv模块，与第0层结构相同，不同的是，该层中的2维卷积层的卷积核大小为3×3，卷积核数量为64，步长为2×2，填充为1，经过Conv模块后，获得维度为 64×160×160的第二特征图；
（3）、将第二特征图输入第2层，该层包括一个C3模块，由3个Conv模块和一个Bottleneck模块组成，其中，Bottleneck模块为由两个Conv模块组成的残差结构，对于第二特征图x，先经过第一个Conv模块得到x1，再经过第二个Conv模块得到x2，x1和x2相加后作为最终输出；
其中，Bottleneck模块的第一个Conv模块的卷积核数量为32，卷积核大小为1×1，步长为1×1，激活函数为SiLU；第二个Conv模块卷积核数量为32，卷积核大小为3×3，步长为1×1，填充为1，激活函数为SiLU；
此外，C3模块中的第一和第二Conv模块结构一样：卷积核数量为32，卷积核大小为1×1，步长为1×1，激活函数为SiLU；第三Conv模块卷积核数量为64，卷积核大小和步长均为1×1，激活函数为SiLU；
第二特征图经过第一Conv模块后维度变为32×160×160，再经过Bottleneck模块后进行输出；同时，第二特征图经过第二Conv模块后维度变为32×160×160，将Bottleneck模块的输出和第二Conv模块的输出在通道维度拼接后经第三Conv模块输出，获得维度为64×160×160的第三特征图；
（4）、将第三特征图输入第3层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小为3×3，卷积核数量为128，步长为2×2，填充为1；经过该模块后，获得维度为128×80×80的第四特征图；
（5）、将第四特征图输入第4层，该层包括一个C3模块，包括3个Conv模块，其中，第一和第二个Conv模块结构一致，卷积核数量均为128，卷积核大小均为1×1，步长均为1×1，激活函数均为SiLU；第三个Conv模块卷积核数量为256，卷积核大小和步长均为1×1，激活函数为SiLU；
该C3模块还包括两个Bottleneck模块，其中，两个Bottleneck模块结构相同，均为由两个Conv模块组成的残差结构，第一个Conv模块的卷积核数量为128，卷积核大小为1×1，步长为1×1，激活函数为SiLU；第二个Conv模块的卷积核数量为64，卷积核大小为3×3，步长为1×1，填充为1，激活函数为SiLU；
第四特征图经过第一个Conv模块后维度变为64×80×80，经过两个Bottleneck模块后维度变为64×80×80，第四特征图经过第二个Conv模块后维度变为64×80×80，将第二个Conv模块的输出和Bottleneck模块的输出在通道维度进行拼接后经过第三个Conv模块输出维度为128×80×80的第五特征图；
（6）、将第五特征图输入第5层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小维3×3，卷积核数量为256，步长为2×2，填充为1；经过该模块后，获得维度为256×40×40的第六特征图；
（7）、将第六特征图输入第6层，该层包括一个C3模块，该模块相比第4层中的C3模块，多增加了一个Bottleneck模块，经过第6层后，获得维度为256×40×40的第七特征图；
（8）、将第七特征图输入第7层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层的卷积核大小为3×3，卷积核数量为512，步长为2×2，填充为1；经过第7层后，获得维度为512×20×20的第八特征图；
（9）、将第九特征图输入第8层，该层包括一个C3模块，包括三个Conv模块，其中，第一和第二个Conv模块结构一样，卷积核数量均为256，卷积核大小均为1×1，步长均为1×1，激活函数均为SiLU；第三个Conv模块的卷积核数量为512，卷积核大小和步长均为1×1，激活函数为SiLU；
该C3模块还包括一个Bottleneck模块，Bottleneck模块为由两个Conv模块组成的残差结构，第一个Conv模块卷积核数量为256，卷积核大小为1×1，步长为1×1，激活函数为SiLU；第二个Conv模块卷积核数量为256，卷积核大小为3×3，步长为1×1，填充为1，激活函数为SiLU；经第8层后，获得维度为512×20×20的第九特征图；
（10）、将第九特征图输入第9层，该层包括一个SPPF模块，由两个Conv模块和一个最大池化层组成，第一个Conv模块的卷积核数量为256，卷积核大小为1×1，步长为1×1，激活函数为SiLU；第二个Conv模块的卷积核数量为512，卷积核大小为3×3，步长为1×1，填充为1，激活函数为SiLU；最大池化层的池化大小为5，步长为1，填充为2；
第九特征图经过第一个Conv模块后，维度变为256×20×20，记为 x1，x1经过最大池化后，维度变为256×20×20，记为y1，y1再经过一次最大池化后为，维度变为256×20×20，记为y2，y2再经过一次最大池化后，维度变为256×20×20，记为y3，将x1、y1、y2、y3在通道维度进行拼接后再经过第二个Conv模块获得维度为512×20×20的第十特征图；
（11）、将第十特征图输入第10层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层卷积核大小维1×1，卷积核数量为256，步长为1×1，经过第10层后获得维度为256×20×20的第十一特征图；
（12）、将第十一特征图输入第11层，该层包括一个上采样层，该层通过使用nearest插值的方式进行2倍上采样后可获得维度为256×40×40的第十二特征图；
（13）、将第十二特征图输入第12层，该层包括一个Concat拼接层，通过该层能够将第6层的输出的第七特征图和第11层输出的第十二特征图在通道维度拼接得到维度为512×40×40第十三特征图；
（14）、将第十三特征图输入第13层，该层包括一个C3模块，由3个Conv模块和1个Bottleneck模块构成，Conv模块和Bottleneck模块的结构如前所述；经第13层后，获得维度为256×40×40的第十四特征图；
（15）、将第十四特征图输入第14层，该层包括一个Conv模块，由一个2维卷积层和一个SiLU激活函数层构成，2维卷积层卷积核大小维1×1，卷积核数量为128，步长为1×1；经过第14层后，获得维度为128×40×40的第十五特征图；
（16）、将第十五特征图输入第15层，该层包括一个上采样层，通过使用nearest插值的方式进行2倍上采样后获得维度为128×80×80的第十六特征图；
（17）、将第十六特征图输入第16层，该层包括一个Concat拼接层，该层将第4层输出的第五特征图和第十六特征图在通道维度拼接后获得维度为256×80×80的第十七特征图；
（18）、第十七特征图输入第17层，该层包括一个C3模块，由3个Conv模块和1个Bottleneck模块构成；经过第17层后，获得维度为128×80×80的第十八特征图；
（19）、将第十八特征图输入第18层，该层包括一个Conv模块，由一个2维卷积层和一个BatchNorm层以及SiLU激活函数层构成，2维卷积层的卷积核大小为1×1，卷积核数量为128，步长为1×1；经过第18层，获得维度为128×40×40的第十九特征图；
（20）、将第十九特征图输入第19层，该层包括一个Concat拼接层，该层将第14层输出的第十五特征图和第十九特征图在通道维度拼接后获得维度为256×40×40的第二十特征图；
（21）、将第二十特征图输入第20层，该层包括一个C3模块，由三个Conv模块和以个Bottleneck模块构成；经过第20层后，获得维度为256×40×40的第二十一特征图；
（22）、将第二十一特征图输入第21层，该层包括一个Conv模块，由一个2维卷积层和一个BatchNorm层以及SiLU激活函数构成，2维卷积层的卷积核大小维1×1，卷积核数量为256，步长为1×1；经过第21层，获得维度为256×20×20的第二十二特征图；
（23）、将第二十二特征图输入第22层，该层包括一个Concat拼接层，该层将第10层输出的第十一特征图和第二十二特征图在通道维度拼接后获得维度为512×20×20的第二十三特征图；
（24）、将第二十三特征图输入第23层，该层包括一个C3模块，由三个Conv模块和一个Bottleneck模块构成，经过第23层，获得维度为512×20×20的第二十四特征图；
（25）、将第二十四特征图输入第24层，该层包括一个自适应边界学习模块（ABLM），该模块由一个Conv层、一个MaxPool2d层、一个UpSample层、一个concat层以及一个Conv层构成，其中，第一个Conv层使用了尺寸为11的卷积核以提升感受野，填充为5，步长为1，共有32个卷积核，第二十四特征图经第一个Conv层后输出为32×20×20；然后经过最大池化层MaxPool2d，池化核大小为2，步长为2，其原理为间隔步长2的每2×2的一个区域内，取最大值作为输出，输出为32×10×10；然后经过UpSample层，输出为32×20×20；然后和最开始输入的第二十四特征图在通道维度进行Concat拼接，输出为544×20×20；最后再经过卷积核大小为1×1的第二个Conv层，输出维度为512×20×20的第二十五特征图；
通过引入ABLM模块，能够使得网络提升感受野的旁路分支和原始输入分支加权，自适应的学习是否需要扩充检测边界，能够更好的应对待检测可燃物目标边界不明确的问题；
（26）、将第二十五特征图输入第25层，该层包括一个自适应光照强度辅助分类模块ALIACM，该模块由一个MaxPool2d层、一个Meanpool2d层、一个concat层、一个Conv层以及一个Sigmoid层组成；该模块的输入为由第0层输出的第一特征图，对于第一特征图，先分别求得池化核大小为4、步长为4的最大池化MaxPool2d和平均池化Meanpool2d，输出均为32×80×80，然后通过concat层在通道维度拼接得到64×80×80，然后经过卷积核大小为7、步长为4、卷积核数量为1的Conv层，输出为1×20×20，最后经过Sigmoid层输出1×20×20的第二十六特征图;
ALIACM模块通过在浅层经过最大池化和平均池化的相互融合自动提取光照强度信息，最后通过Sigmoid映射到0-1的取值空间对后面最后的特征图进行加权，以起到自动调整光照影响的作用；
（27）、将第二十五特征图和第二十六特征图输入第26层，该层为Element-wise乘法层，把第二十五特征图和第二十六特征图中512通道的20×20特征图，每个元素对应位置逐一相乘，以输出维度512×20×20的第二十七特征图；
（28）、将第20层输出的第二十一特征图输入第27层，该层同样包含一个ABLM模块，该层最终输出维度为256×40×40的第二十八特征图；
（29）、将第二十六特征图输入第28层，该层包括一个UpSample模块，输出维度为1×40×40的第二十九特征图；
（30）、将第二十八特征图和第二十九特征图输入到第29层，该层为Element-wise乘法层，把第二十八特征图和第二十九特征图中256通道的40×40特征图，每个元素对应位置逐一相乘，输出维度为256×40×40的第三十特征图；
（31）、将第17层输出的第十八特征图输入第30层，该层同样为一个ABLM模块，该层最终输出维度为128×80×80的第三十一特征图；
（32）、将第二十九特征图输入第31层，该层包括一个UpSample模块，输出为1×80×80的第三十二特征图；
（33）、将第三十一特征图和第三十二特征图输入第32层，该层包括一个Element-wise乘法层，即把三十一特征图和第三十二特征图中128通道的80×80特征图，每个元素对应位置逐一相乘，输出维度为128×80×80的第三十三特征图；
（34）、将第二十七特征图、第三十特征图、第三十三特征图一起输入第33层，该层包括一个Detect模块，该模块针对这三个特征图会有一组预先通过Kmeans聚类方法设置好的锚框anchor box，每一组为3个，同时网络要预测的输出维度为1个纸箱类别+1个塑料袋类别+1个泡沫塑料类别+1个木材木料类别+1个书本纸张类别+1个目标二分类+四个坐标值一共10个维度；对这三组输出特征图分别经过一个3×10=30个卷积核的2维卷积层，卷积核大小为1×1，步长为1，然后再交换下维度顺序，分别得到 [3,80,80,10],[3,40,40,10], [3,20,20,10]，含义为[通道数，特征图高，特征图宽，输出预测值的维度]的三组预测结果。
2.一种实施权利要求1所述的动火作业现场易燃物检测方法的装置，包括：
采集模块，用于采集待测动火作业现场图像；
训练模块，用于构建易燃物检测模型并训练；
检测模块，将所采集的图像输入训练好的易燃物检测模型，以实现对图像中的易燃物进行检测；
其中，
所述易燃物检测模型通过适应边界学习模块ABLM来优化同一易燃物由于边界不明确导致的检测框不准的情况，同时通过自适应光照强度辅助分类模块ALIACM来优化不同光照下的检测结果；
其中，所述训练模块包括：
预处理子模块，用于对所收集的用于模型训练的数据集中进行预处理；
其中，所述预处理子模块包括：
清洗子模块，用于对数据集中的图像进行清洗；
标注子模块，用于对清洗后的图像进行标注。
3.一种电子设备，其特征在于，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现权利要求1所述的方法。
4.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311126504.3A CN116863252B (zh) | 2023-09-04 | 2023-09-04 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311126504.3A CN116863252B (zh) | 2023-09-04 | 2023-09-04 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863252A CN116863252A (zh) | 2023-10-10 |
| CN116863252B true CN116863252B (zh) | 2023-11-21 |
Family
ID=88219402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311126504.3A Active CN116863252B (zh) | 2023-09-04 | 2023-09-04 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863252B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115722B (zh) * | 2023-10-20 | 2024-07-09 | 四川泓宝润业工程技术有限公司 | 施工场景检测的方法、装置、存储介质及电子设备 |
| CN117115723B (zh) * | 2023-10-23 | 2024-01-23 | 四川泓宝润业工程技术有限公司 | 一种消防设施计数方法、装置、存储介质及电子设备 |
| CN117218329B (zh) * | 2023-11-09 | 2024-01-26 | 四川泓宝润业工程技术有限公司 | 一种井口阀门检测方法、装置、存储介质及电子设备 |
| CN117218606B (zh) * | 2023-11-09 | 2024-02-02 | 四川泓宝润业工程技术有限公司 | 一种逃生门检测方法、装置、存储介质及电子设备 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488986A (zh) * | 2019-09-12 | 2021-03-12 | 河海大学常州校区 | 基于Yolo卷积神经网络的布匹表面瑕疵识别方法、装置及系统 |
| CN112836713A (zh) * | 2021-03-12 | 2021-05-25 | 南京大学 | 基于图像无锚框检测的中尺度对流系统识别与追踪方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN113392702A (zh) * | 2021-05-10 | 2021-09-14 | 南京师范大学 | 一种基于自适应图像增强的弱光照环境下目标识别方法 |
| CN113688921A (zh) * | 2021-08-31 | 2021-11-23 | 重庆科技学院 | 一种基于图卷积网络与目标检测的动火作业识别方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114241420A (zh) * | 2021-12-20 | 2022-03-25 | 国能(泉州)热电有限公司 | 一种动火作业检测方法及装置 |
| CN114612814A (zh) * | 2021-12-04 | 2022-06-10 | 电子科技大学长三角研究院(湖州) | 一种基于改进的YOLOv4的电梯内电动车检测方法 |
| CN114626439A (zh) * | 2022-02-21 | 2022-06-14 | 华南理工大学 | 基于改进YOLOv4的输电线路周边烟火检测方法 |
| CN114662605A (zh) * | 2022-03-29 | 2022-06-24 | 北京信息科技大学 | 基于改进的YOLOv5模型的火焰检测方法 |
| CN114677629A (zh) * | 2022-03-30 | 2022-06-28 | 山东中科先进技术有限公司 | 一种基于yolov5网络的烟火检测预警方法及系统 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN115761409A (zh) * | 2022-11-24 | 2023-03-07 | 天翼数字生活科技有限公司 | 一种基于深度学习的火情检测方法、装置、设备和介质 |
| CN116563306A (zh) * | 2023-04-17 | 2023-08-08 | 天津津航技术物理研究所 | 自适应火灾痕迹光谱图像分割方法及系统 |
| CN116580355A (zh) * | 2023-05-12 | 2023-08-11 | 西安建筑科技大学 | 一种氧乙炔动火作业智能监测系统及方法 |
| CN116664359A (zh) * | 2023-03-31 | 2023-08-29 | 山东浪潮数字服务有限公司 | 一种基于多传感融合的智能火情预警决策系统及方法 |
| CN116843999A (zh) * | 2023-09-04 | 2023-10-03 | 四川泓宝润业工程技术有限公司 | 一种基于深度学习的动火作业中气瓶检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112703457A (zh) * | 2018-05-07 | 2021-04-23 | 强力物联网投资组合2016有限公司 | 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统 |
| DE102019134756A1 (de) * | 2019-12-17 | 2021-06-17 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Verfahren zur herstellung einer beleuchtungsvorrichtung |
| CN114202696B (zh) * | 2021-12-15 | 2023-01-24 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
-
2023
- 2023-09-04 CN CN202311126504.3A patent/CN116863252B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488986A (zh) * | 2019-09-12 | 2021-03-12 | 河海大学常州校区 | 基于Yolo卷积神经网络的布匹表面瑕疵识别方法、装置及系统 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN112836713A (zh) * | 2021-03-12 | 2021-05-25 | 南京大学 | 基于图像无锚框检测的中尺度对流系统识别与追踪方法 |
| CN113392702A (zh) * | 2021-05-10 | 2021-09-14 | 南京师范大学 | 一种基于自适应图像增强的弱光照环境下目标识别方法 |
| CN113688921A (zh) * | 2021-08-31 | 2021-11-23 | 重庆科技学院 | 一种基于图卷积网络与目标检测的动火作业识别方法 |
| CN114612814A (zh) * | 2021-12-04 | 2022-06-10 | 电子科技大学长三角研究院(湖州) | 一种基于改进的YOLOv4的电梯内电动车检测方法 |
| CN114241420A (zh) * | 2021-12-20 | 2022-03-25 | 国能(泉州)热电有限公司 | 一种动火作业检测方法及装置 |
| CN114626439A (zh) * | 2022-02-21 | 2022-06-14 | 华南理工大学 | 基于改进YOLOv4的输电线路周边烟火检测方法 |
| CN114662605A (zh) * | 2022-03-29 | 2022-06-24 | 北京信息科技大学 | 基于改进的YOLOv5模型的火焰检测方法 |
| CN114677629A (zh) * | 2022-03-30 | 2022-06-28 | 山东中科先进技术有限公司 | 一种基于yolov5网络的烟火检测预警方法及系统 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN115761409A (zh) * | 2022-11-24 | 2023-03-07 | 天翼数字生活科技有限公司 | 一种基于深度学习的火情检测方法、装置、设备和介质 |
| CN116664359A (zh) * | 2023-03-31 | 2023-08-29 | 山东浪潮数字服务有限公司 | 一种基于多传感融合的智能火情预警决策系统及方法 |
| CN116563306A (zh) * | 2023-04-17 | 2023-08-08 | 天津津航技术物理研究所 | 自适应火灾痕迹光谱图像分割方法及系统 |
| CN116580355A (zh) * | 2023-05-12 | 2023-08-11 | 西安建筑科技大学 | 一种氧乙炔动火作业智能监测系统及方法 |
| CN116843999A (zh) * | 2023-09-04 | 2023-10-03 | 四川泓宝润业工程技术有限公司 | 一种基于深度学习的动火作业中气瓶检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| A Smoke Detection Model Based on Improved YOLOv5;Zhong Wang等;Mathematics;第10卷(第7期);1-13 * |
| Adaptive Boundary Iterative Learning Control for an Euler–Bernoulli Beam System With Input Constraint;W. He 等;IEEE Transactions on Neural Networks and Learning Systems;第29卷(第5期);1539-1549 * |
| Learning to Adapt to Light;Kai-Fu Yang等;arXiv:2202.08098;1-10 * |
| UAV forest fire detection based on lightweight YOLOv5 model;Mengdong Zhou 等;Multimedia Tools and Applications;1-12 * |
| 基于改进Faster R-CNN的石化装置火灾增强识别方法;陈新果 等;安全、健康和环境;第23卷(第06期);42-50 * |
| 弱光照条件下交通标志检测与识别;赵坤 等;工程科学学报;第42卷(第08期);1074-1084 * |
| 结合局部信息活动轮廓模型的含噪图像分割方法;黄征 等;软件导刊;第21卷(第03期);188-193 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863252A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116863252B (zh) | 动火作业现场易燃物检测方法、装置、设备、存储介质 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| AU2020100711A4 (en) | The retrieval system of wearing safety helmet based on deep learning | |
| CN101667245B (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
| CN106874948A (zh) | 一种黑臭水自动识别与评估方法 | |
| CN108898620A (zh) | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN106372666A (zh) | 一种目标识别方法及装置 | |
| Sanders et al. | A robotic welding system using image processing techniques and a CAD model to provide information to a multi‐intelligent decision module | |
| CN108596102A (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
| CN109543744B (zh) | 一种基于龙芯派的多类别深度学习图像识别方法及其应用 | |
| CN113537496A (zh) | 一种深度学习模型可视化构建系统及其应用和设计方法 | |
| KR20200010672A (ko) | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 | |
| Al-Shaykh et al. | Invariant image analysis based on Radon transform and SVD | |
| Sapoukhina et al. | Data augmentation from RGB to chlorophyll fluorescence imaging application to leaf segmentation of Arabidopsis thaliana from top view images | |
| CN113688709A (zh) | 一种安全帽佩戴智能检测方法、系统、终端及介质 | |
| Mohan et al. | Artificial intelligence enabled safety for construction sites | |
| CN108363967A (zh) | 一种遥感图像场景的分类系统 | |
| CN106682604A (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN114241189B (zh) | 一种基于深度学习的船舶黑烟识别方法 | |
| Fahmi et al. | Identification and Sorting of waste using artificial intelligence based on convolutional neural network | |
| RU2256224C1 (ru) | База знаний по обработке, анализу и распознаванию изображений | |
| CN116912782B (zh) | 一种基于重叠标注训练的烟火检测方法 | |
| CN113887567B (zh) | 一种蔬菜质量检测方法、系统、介质及设备 | |
| Islam et al. | Road sign detection and translation in Bangla using image processing and machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |