CN116843999A - 一种基于深度学习的动火作业中气瓶检测方法 - Google Patents
一种基于深度学习的动火作业中气瓶检测方法 Download PDFInfo
- Publication number
- CN116843999A CN116843999A CN202311126075.XA CN202311126075A CN116843999A CN 116843999 A CN116843999 A CN 116843999A CN 202311126075 A CN202311126075 A CN 202311126075A CN 116843999 A CN116843999 A CN 116843999A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- training
- gas cylinder
- cylinder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- HSFWRNGVRCDJHI-UHFFFAOYSA-N alpha-acetylene Natural products C#C HSFWRNGVRCDJHI-UHFFFAOYSA-N 0.000 claims abstract description 47
- 125000002534 ethynyl group Chemical group [H]C#C* 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 45
- 239000007789 gas Substances 0.000 claims abstract description 44
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 39
- 239000001301 oxygen Substances 0.000 claims abstract description 39
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000010485 coping Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000010276 construction Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 3
- 230000008092 positive effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种基于深度学习的动火作业中气瓶检测方法，主要包括：构建气瓶检测模型并进行训练；将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶，以及检测乙炔瓶是否卧放，还进一步检测氧气瓶和乙炔瓶的间距、氧气瓶和乙炔瓶与动火点的间距。本发明通过一种基于Yolov5网络改进的气瓶检测模型，不仅可以在低计算资源的情况下对氧气瓶和乙炔瓶进行检测，从而有效降低动火作业期间安全隐患的发生，还可以降低工厂物料、人力等成本，对构建智能化、数字化工厂有着非常积极的作用。
Description
技术领域
本发明属于智能识别技术领域，具体涉及一种基于深度学习的动火作业中气瓶检测方法。
背景技术
动火作业是指能直接或间接产生明火的工艺设置以外的非常规作业，如使用电焊、气焊（割）、喷灯、电钻、砂轮等可能产生火焰、火花和炽热表面的非常规作业。
《危险化学品企业特殊作业安全规范》（GB 30871-2022）明确指出动火作业中乙炔瓶应直立放置，不应卧放使用；氧气瓶与乙炔瓶的间距不应小于5m；二者与动火点间距不应小于10m。
对于动火作业中氧气瓶和乙炔瓶的安全监测，通常只是动火作业前进行一次排查。然而动火作业现场人员繁杂，实施作业过程中对氧气瓶和乙炔瓶也不可能时刻留意，再加上人为主观影响，非常容易形成违规动火作业。
现有的动火作业中气瓶检测方法多为利用传感器进行检测，将检测是否水平的传感器放置在气瓶瓶体之上，再通过传感器传输的数据进行距离判断。该方法不仅物料成本较高，而且还会增加人力安装成本。
因此为减少动火作业事故发生，降低使用成本，响应工厂构建统一的数字化、智能化管理服务，本领域亟需研究一种在工厂的边缘计算方面，可降低计算资源需求并保障检测精度，鲁棒性的自动氧气瓶乙炔瓶安全检测方案。
发明内容
针对现有技术中的不足，本发明的目的在于提供一种基于深度学习的动火作业中气瓶检测方法，该方法能够提高对采集的动火作业区域图像中气瓶的检测精度。
为实现上述目的，本发明提供以下技术方案：
一种基于深度学习的动火作业中气瓶检测方法，包括如下步骤：
S100：获取待测动火作业区域图像；
S200：对所获取图像进行数据增强；
S300：构建气瓶检测模型并进行训练；
S400：将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶；
其中，所述气瓶检测模型为改进后的Yolov5网络，改进后的Yolov5网络包括改进后的主干网络，改进后的主干网络额外引入注意力模块，其中，注意力模块包括一个残差模块和一个全局平均池化层；
所述注意力模块，用于应对在卷积池化的过程中特征图的不同通道权重相同带来的损失的情况，并且，所述注意力模块能够通过不断调整权重，使得在不同情况下能够选取重要的信息；
S500：检测图像中乙炔瓶是否卧放；
S600：检测氧气瓶和乙炔瓶的间距；
S700：检测氧气瓶和乙炔瓶与动火点的间距。
优选的，步骤S200中，所述对所获取图像进行数据增强包括：对图像进行旋转、缩放、模糊、拼接、偏色和添加噪声。
优选的，步骤S300中，所述气瓶检测模型通过以下方法进行训练：
S301：收集多张含有氧气瓶和乙炔瓶的图像，对图像进行数据增强处理以及对数据增强处理后的图像中的气瓶进行标注，将标注好的图像划分为训练集和测试集；
S302：设置初始训练参数，利用训练集对模型进行训练，在训练过程中，计算模型的损失函数，当损失函数收敛，模型训练完成；
S303：利用测试集对训练后的模型进行测试，在测试过程中，利用评估指标AP对模型进行检测，当AP达到0.95，则模型测试通过；否则调整训练参数重新进行模型训练。
本发明还提供一种执行前文任一所述方法的气瓶检测装置，包括：
获取模块，用于获取待测动火作业区域图像；
数据增强模块，用于对所获取图像进行数据增强；
模型构建模块，用于构建气瓶检测模型并进行训练；
检测模块，用于将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶。
本发明还提供一种计算机存储介质，包括：
存储器，存储有多条计算机指令；
处理器，用于执行计算机指令以实现前文任一所述的方法。
与现有技术相比，本发明带来的有益效果为：
本发明通过一种基于Yolov5网络改进的气瓶检测模型，不仅可以在低计算资源的情况下检测图像中乙炔瓶是否卧放，还能够检测氧气瓶和乙炔瓶的间距、氧气瓶和乙炔瓶与动火点的间距，从而有效降低动火作业期间安全隐患的发生，还可以降低工厂物料、人力等成本，对构建智能化、数字化工厂有着非常积极的作用。
附图说明
图1为一种基于深度学习的动火作业中气瓶检测方法的流程图；
图2为Mixup数据增强效果示意图；其中，图2的上半部分表示2张原始图像，下半部分表示Mixup增强后的图像；
图3为Mosaic数据增强效果示意图；其中，图3的上半部分表示4张原始图像，下半部分表示Mosaic增强后的图像；
图4为气瓶检测模型的结构示意图；
图5为气瓶检测模型中改进后的主干网络的结构示意图；
图6为气瓶检测模型中特征提取网络和预测输出层（Neck+Prediction）的结构示意图；
图7为注意力模块（SE）的结构示意图；
图8为注意力模块（SE）的残差模块（Residual）的结构示意图；
图9为注意力模块（SE）引入前和引入后的特征图权重设置示意图；
图10为用于模型训练的原始输入图像及输出张量图；
图11为模型训练过程示意图；
图12为目标检测网络评估P-R曲线图，即准确率-召回率曲线；
图13为气瓶检测结果示意图；
图14为氧气瓶和乙炔瓶尺寸示意图；
图15为氧气瓶、乙炔瓶与动火点的距离、以及氧气瓶与乙炔瓶之间间距的检测示意图。
具体实施方式
下面将参照附图1至图15详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以通过各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
一个实施例中，如图1所示，本发明提供一种基于深度学习的动火作业中气瓶检测方法，包括如下步骤：
S100：获取待测动火作业区域图像；
S200：对所获取图像进行数据增强；
S300：构建气瓶检测模型并进行训练；
S400：将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶。
上述实施例构成了本发明的总发明构思。通过本实施例所述气瓶检测模型，能够提高所采集的动火作业区域图像中的气瓶检测精度，因此可以进一步有效降低动火作业期间安全隐患的发生。
另一个实施例中，所述对所获取图像进行数据增强包括：对图像进行旋转、缩放、模糊、拼接、偏色和添加噪声。
本实施例中，除了以上所述的数据增强方式外，还可通过Mixup、Mosaic等方法对图像进行数据增强处理，其中，Mixup增强是对图像和标签这两个数据组按比例相加后形成的新的数据组（如图2所示），具体操作如下：
其中，分别表示随机抽取的图像样本和标签样本，/>表示输出图像，表示与输出图像/>对应的输出标签值，/>表示概率值服从参数为/>的Beta分布。
Mosaic数据增强是通过对不同图片（如图3所示，选取4张不同含有氧气瓶和乙炔瓶的图像）随机缩放、随机裁剪和随机排布等方式进行拼接。此方法具有以下优点：
1、丰富了数据集：通过随机操作不同图像再进行随机拼接，丰富了数据集，同时通过随机缩放增加了小目标，提升了模型对小目标的识别；
2、减少了内存需求：Mosaic增强训练时，直接一次计算4张图片数据，从而降低了内存需求。
另一个实施例中，所述气瓶检测模型包括改进后的Yolov5网络。
传统的Yolov5网络包括输入层（Input）、主干网络（Backbone）、特征提取网络（Neck）和预测输出层（Prediction），本实施例对上述Yolov5网络进行了改进，改进后的Yolov5网络如图4所示，包括：
1.输入层：尺寸为640*640的3通道图像作为输入；
2.改进后的主干网络：用于提取图像中特征信息，供后面的网络使用；
3.提取/融合特征层：用于更好的融合/提取主干网络输入的特征feature；
4.预测输出层：用于神经网络的预测输出。
其中，改进后的主干网络如图5所示，即在传统的Yolov5网络的主干网络（Backbone）中引入了注意力模块（SE）；特征提取网络（Neck）和预测输出层（Prediction）如图6所示。如图7所示（图7中，左侧表示矩阵全乘操作，右上表示FC全连接层，右中表示全局平均池化层（Global pooling），右下表示Sigmoid激活函数），注意力模块（SE）包括如图8所示的残差模块（Residual）以及全局平均池化层（Global pooling）。
下面，本实施例对以上图中涉及到的参数进行如下解释：
对于LayerX:Model [c_out, kernel, stride, padding]，X为0至10，
LayerX：为网络的第X层；
Model：模块名称；
c_out：输出特征通道数；
Kernel：核算子大小；
Stride：核滑动步长；
Padding：图像周围填充数,为空则补齐；
conv：卷积操作；
BN：Batch Normalization批量标准化操作，用于卷积层之后，激活函数之前，可以加快模型的收敛速度，防止模型梯度爆炸等。公式如下：
x为输入数组；y为标准化处理之后的数组；mean[x]为输入数组的均值；Var[x]为
输入数组的方差；eps为稳定系数，默认为10-5，防止分母为0；尺度因子和平移因子用于
调整归一化之后数值的大小和偏移，可解决归一化后网络表达能力下降问题，这两参数是
在训练时网络自己学习到的；
SiLU：激活函数，具有无上界有下界平滑，非单调等特性，在较深的网络中优势明显。函数表达式如下：
；
Add：张量相加操作，尺寸不变，数值相加；
残差模块（Res）：借鉴ResNet网络中的残差结构，加深网络，ResNet残差网络结构如图8所示。对于输入x的期望输出H(x)，网络利用映射将x作为初始结果，将原来的映射关系变成F(x)+x，ResNet相当于将学习目标改变为残差F(x)；
Concat：张量拼接操作，通道数增加；
Maxpool：以5*5kernel的最大池化操作；
Up/UPSAMPLE：上采样，用于对图像尺寸进行扩充；
基础模块（CBS）: 由conv+BN+SiLU组成的基础模块；
组合模块1（CSP1_X）：两路，一路CBS+残差堆叠，一路只有一个CBS来调整通道；Concat做聚合，这里的不同在于残差会有X个，主要用于backbone阶段；
组合模块2（CSP2_X）: 相比于CSP1_X,去掉了残差，采用的是CBS，主要用于neck阶段；
快速多尺度融合（SPPF）：这里的Maxpooling的核大小都是5，stride为1，padding补齐；
up [None, 2, 'nearest']：表示[输出尺寸，采样倍数，采样算法]；
示例性的，可用于将维度为20*20*512的原始输入特征图进行空间特征压缩，得到维度为1*1*512的特征图。
再通过两个FC全连接层，通过全连接层之间非线性添加模型的复杂度，达到确定不同通道间的权重作用，此处的两个全连接层分别采用Relu和Sigmoid激活函数，以将权重映射到(0，1)之间，以得到不同通道间的权重值；最后将通道权重值与原始输入特征图作Scale乘法运算，以得到不同权重下的特征图。
在传统的卷积池化过程中，默认特征图的每个通道是同等重要的，但实际上不同通道的重要性是有差异的，需要根据不同情况来分开对待。本实施例通过在主干网络（Backbone）中引入注意力模块（SE），能够以高权重去聚焦重要信息，以低权重去忽略不相关的信息，以图9为例，图9中的上方表示注意力模块（SE）引入前、通道数为512的20*20特征图，中部表示注意力模块（SE）引入后所得20*20特征图，下方表示注意力模块（SE）引入后20*20的特征图通道权重平均值均为0.49047，可记为0.490，特征图的通道数为512，以其中某3个通道为例，引入注意力模块（SE）后，3个通道的权重分别设置为0.537、0501和0.490（引入注意力模块（SE）前，每个通道的权重均为0.5），则权重为0.537的特征图能够得到更多特征信息，权重为0.501的特征图和引入注意力模块（SE）前无变化，权重为0.490的特征图去除了一些干扰，可见，通过引入注意力模块（SE），能够解决在卷积池化的过程中特征图的不同通道权重相同带来的损失问题（以图9为例，特征图的通道数为512，有些通道是比较重要的，因此需要赋予一个较高的权重值；而对那些不重要的通道，则要减少它的影响，因此就需要赋予较低的权重值。而如果每个通道赋予的权重都相同的话，就相当于没有对这些通道的重要性进行区分，而注意力模块（SE）的作用就是找出这512个通道中每个通道的不同重要性）。并且，注意力模块（SE）还可以通过不断调整权重，使得在不同情况下也可以选取重要的信息，因此具有较好的可扩展性和鲁棒性。
引入注意力模块（SE）后，模型的最终mAP由94.2%提升到96.5%，在一些本不容易识别的场景下，识别效果也有所改善。
另一个实施例中，步骤S300中，所述气瓶检测模型通过以下方法进行训练：
S301：收集多张含有氧气瓶和乙炔瓶的图像，对图像进行数据增强处理以及对数据增强处理后的图像中的氧气瓶和乙炔瓶进行人工手动标注，将标注好的图像划分为训练集和测试集；
S302：设置初始训练参数，利用训练集对模型进行训练，在训练过程中，计算模型的损失函数，当损失函数收敛，模型训练完成；
S303：利用测试集对训练后的模型进行测试，在测试过程中，利用评估指标平均精度AP对模型进行检测，当AP达到0.95，则模型测试通过。
本实施例中，以单张图像为例对模型训练过程进行详细描述，具体如下：
1、将如图10所示的原始输入图像（图10中的虚线上方的图像表示训练用的图像，虚线中的图像表示训练过程，其中，以Layer0的320*320*32为例，320*320表示长和宽，32表示图像通道数；虚线中的图像均只示意了该层（例如Layer0层）中所有输出通道数中的一层作为示意）缩放到640*640*3后依次输入改进后的主干网络的第0层（CBS模块）、第1层（CBS模块）、第2层（CSP1_1模块）、第3层（CBS模块）、第4层（CSP1_2模块）、第5层（CBS模块）、第6层（CSP1_3模块）、第7层（CBS模块）、第8层（CSP2_1模块）、第9层（SE模块）和第10层（SPPF模块）后获得20*20*512的特征图。
2、将20*20*512的特征图依次输入特征提取网络的第11层（CBS模块）、第12层（UP模块）、第13层（Concat模块，和第4层的输出同时输入该层）、第14层（CSP2_1模块）、第15层（CBS模块）、第16层（UP模块）、第17层（Concat模块，和第4层的输出同时输入该层）、第18层（CSP2_1模块）、第19层（CBS模块）、第20层（Concat模块，和第15层的输出同时输入该层）、第21层（CSP2_1模块）、第22层（CBS模块）、第23层（Concat模块，和第11层的输出同时输入该层）、第24层（CSP2_1模块）后获得20*20*512的特征图。
3、将第18层、第21层和第24层的输出经卷积后，获得如图10所示的(80*80*21),(40*40*21),(20*20*21)的3个预测张量。
将以上3个预测张量与标注的实际值进行损失计算，这里共采用了3种损失函数。分别是：分类损失cls_loss(计算计算锚框与对应的标定分类是否正确)；定位损失box_loss(预测框与标定框之间的误差)；置信度损失obj_loss(计算网络的置信度)。总的损失函数=分类损失+定位损失+置信度损失，计算公式如下：
其中，Loss表示总的损失函数，表示二元交叉熵损失函数
BCEWithLogitsLoss分类损失和置信度损失使用，表示用于计算定位损失CIOU_
Loss。
BCEWithLogitsLoss计算公式如下：
其中，n表示样本总量，表示一个样本的预测输出，/>表示一个样本的标签值。
CIOU_Loss用来衡量矩形框的损失，它将预测框A和标签框B两个矩形框的重叠面积，中心点距离和宽高比同时加入了计算，计算公式如下：
其中，IOU表示A，B两个框的交并比（两个框相交区域面积与相并区域面积的比
值），表示框A与框B中心点的距离，c表示框A和框B最小包围矩形的对角线长度，分别表示标签框B的宽高和预测框A的宽高，表示框A和框B的宽高比相似度，表示的影响因子。
通过数据训练计算loss损失函数，loss越小，模型准确率越高。如图11所示，如果loss值一直偏大，不能收敛，则需要通过修改训练参数或者检测数据标签等方法对模型重新训练。其中，常用的训练参数除了修改网络结构外，还有网络训练的学习率、学习因子、训练的批样本数、优化器、迭代次数等等；其他还有图像尺寸、图像增强方式、图像增强强度等方法。
例如学习率一般是指初始学习率，通常根据不同的优化器改变；而迭代次数和批样本数也与训练数据量的多少有关。通过修改不同的训练参数，选择出用于检测最好的目标识别模型。
如果修改网络训练参数还未解决相关问题，这时需要考虑到标注的数据是否合理，例如检查标注数据的正确性，标注数据是否有漏标、错标情况；还有标注物体的框是否统一，各种类别是否均采用的相同的标注框，如采用的是最小外接矩形，还是正外接矩形，通常采用正外接矩形即可。
最终loss减少到一个较好的区间后，用测试集对模型检测能力进行评估，评估公式如下：
其中，TP表示预测值为正实际为正的样本数；FN表示预测值为负实际为正的样本数；FP表示预测值为负实际为负的样本数；再画出Precision-Recall曲线，如图12所示（图中右上部分图例指的是mAP@0.5情形下的准确率或者说精度值），P-R曲线上通过计算每一个recall值对应的Precision值的平均值可以获得一个数值形式的评估指标AP，利用该指标以衡量训练后的模型对于氧气瓶和乙炔瓶的检测能力，再结合人眼对结果的观察即可判断最终模型准确率是否合格，如果不合格则需要采用修改训练参数，添加针对性数据等方法再重新训练。
进一步的，获得如图10中所示的 (80*80*21),(40*40*21),(20*20*21)的3个预测张量后，还需要进一步对张量进行解析，首先将3个预测张量转换为(3*80*80*(5+2))，(3*40*40*(5+2))，(3*20*20*(5+2))，其中，第一个参数3表示3个先验框（每个先验框包含宽和高），先验框是默认的超参数，也可以自己修改。先验框用于和原图关联，便于更好的找到目标框的位置，如上述的一个输出尺寸为80*80，将原图划分为80*80的网格，特征图就以某种形式映射在原图上了。然后从每个网格中心建立先验框，每个网格中心点存在3个先验框。参数(5+2)中5表示识别到的框(中心点x坐标偏移，中心点y坐标偏移，高，宽，置信度)，2表示识别的类别个数，此处具体是指氧气瓶和乙炔瓶这两种类别。其次，对上述识别结果进行NMS非极大值抑制处理，以从多个目标框中筛选出最准确的目标框，气瓶框检测结果如图13所示（图13的上方表示场景1下根据左侧输入的图像得到的右侧输出图像及检测的准确率，下方表示场景2此种更为复杂场景下，未引入注意力模块（SE）对比引入注意力模块（SE）情形下的两种检测结果，其中左侧未能识别出右上圆圈圈划的氧气瓶，而右侧则识别出右上圆圈圈划的氧气瓶；），NMS非极大值抑制处理操作流程如下：
（1）将所有检测的目标框按照置信度得分进行排序，选出最高置信度和对应的目标框；
（2）遍历剩下的目标框，如果和步骤（1）中的框交并比大于设定的阈值则将其删除；
（3）从剩下的目标框中选择最高置信度的目标框，重复上述步骤。
至此，氧气瓶和乙炔瓶的检测过程已经完成，最后得到采集的图像上所有氧气瓶和乙炔瓶的位置信息和置信度得分（如果所采集的图像中不包含气瓶，则模型无输出），并将这些结果作为下一步的输入。
另一个实施例中，所述方法还包括：
步骤S500：若从图像中检测出气瓶，还需检测图像中的乙炔瓶是否卧放。
本实施例中，工业生产中乙炔瓶长宽分别为：950mm，250mm。
竖直放置时，竖直轴上的边：水平轴上的边 = 950 : 250 = 3.8；卧倒放置时，竖
直轴上的边：水平轴上的边 = 250 : 950 0.263。结合检测过程中的误差，这里将卧放
阈值设置为0.5。根据模型可以检测出乙炔瓶目标框的长宽，既可以计算得到：竖直轴上的
边/水平轴上的边的比值。通过与设置好的卧放阈值0.5相比较，如比值小于0.5，即可判断
出乙炔瓶是卧放。
另一个实施例中，所述方法还包括：
步骤S600：若根据模型检测出图像中有氧气瓶和乙炔瓶，则还需检测氧气瓶和乙炔瓶的间距。
本实施例中，如图14所示，工业生产中氧气瓶长宽分别为：1590mm，219mm；长宽比约为7.26。工业生产中乙炔瓶长宽分别为：950mm，250mm；长宽比为3.8。
根据模型检测结果，可以得到氧气瓶和乙炔瓶目标框的长宽和中心点。分别计算两种气瓶的长宽比，再与上述标准的长宽比对比。哪种气瓶检测出的长宽比更接近标准的长宽比，则采用哪种气瓶作为比例尺的参考物。
再根据下面的公式：比例尺=图上距离/实际距离，即可求出比例尺，求取时，图上距离可选择该气瓶的长，实际距离则是该气瓶标准的长度。
本实施例中，根据模型获得的两种气瓶中心点坐标，即可求出两种气瓶在图像上的距离。
再根据前述步骤得到的比例尺，即可得到两种气瓶实际距离：实际距离=图上距离/比例尺，最后根据实际距离是否大于5m判断气瓶间距是否安全。
另一个实施例中，所述方法还包括：
步骤S700：检测氧气瓶和乙炔瓶与动火点的间距。
类似的，如图15所示，根据氧气瓶和乙炔瓶中心点，结合前述比例尺的计算，可以分别计算氧气瓶、乙炔瓶与动火点的间距。
另一个实施例中，本发明还提供一种基于深度学习的动火作业中气瓶检测装置，包括：
获取模块，用于获取待测动火作业区域图像；
数据增强模块，用于对所获取图像进行数据增强；
模型构建模块，用于构建气瓶检测模型并进行训练；
检测模块，用于将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶。
另一个实施例中，本发明还提供一种计算机存储介质，包括：
存储器，存储有多条计算机指令；
处理器，用于执行计算机指令以实现如前任一所述的方法。
本发明申请人结合说明书附图对本发明的实施方案进行了详细的描述，但是本领域的技术人员应该理解，以上实施方案仅为本发明优选的实施示例，并不仅仅局限于上述的具体实施方案。详尽的说明知识为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或变动都应当包含在本发明的保护范围之中。
Claims (5)
1.一种基于深度学习的动火作业中气瓶检测方法，其特征在于，所述方法包括如下步骤：
S100：获取待测动火作业区域图像；
S200：对所获取图像进行数据增强；
S300：构建气瓶检测模型并进行训练；
S400：将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶；
其中，
所述气瓶检测模型为改进后的Yolov5网络，改进后的Yolov5网络包括改进后的主干网络，改进后的主干网络额外引入注意力模块，其中，注意力模块包括一个残差模块和一个全局平均池化层；
所述注意力模块，用于应对在卷积池化的过程中特征图的不同通道权重相同带来的损失的情况，并且，所述注意力模块能够通过不断调整权重，使得在不同情况下能够选取重要的信息；
S500：检测图像中乙炔瓶是否卧放；
S600：检测氧气瓶和乙炔瓶的间距；
S700：检测氧气瓶和乙炔瓶与动火点的间距。
2.根据权利要求1所述的方法，其特征在于，步骤S200中，所述对所获取图像进行数据增强包括：对图像进行旋转、缩放、模糊、拼接、偏色和添加噪声。
3.根据权利要求1所述的方法，其特征在于，步骤S300中，所述气瓶检测模型通过以下方法进行训练：
S301：收集多张含有氧气瓶和乙炔瓶的图像，对图像进行数据增强处理以及对数据增强处理后的图像中的气瓶进行标注，将标注好的图像划分为训练集和测试集；
S302：设置初始训练参数，利用训练集对模型进行训练，在训练过程中，计算模型的损失函数，当损失函数收敛，模型训练完成；
S303：利用测试集对训练后的模型进行测试，在测试过程中，利用评估指标AP对模型进行检测，当AP达到0.95，则模型测试通过；否则调整训练参数重新进行模型训练。
4.一种用于执行权利要求1至3任一所述方法的气瓶检测装置，其特征在于，所述装置包括：
获取模块，用于获取待测动火作业区域图像；
数据增强模块，用于对所获取图像进行数据增强；
模型构建模块，用于构建气瓶检测模型并进行训练；
检测模块，用于将数据增强后的图像输入训练好的气瓶检测模型中，以检测图像中是否包含氧气瓶和乙炔瓶。
5.一种计算机存储介质，其特征在于，所述计算机存储介质包括：
存储器，存储有多条计算机指令；
处理器，用于执行计算机指令以实现权利要求1-3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311126075.XA CN116843999B (zh) | 2023-09-04 | 2023-09-04 | 一种基于深度学习的动火作业中气瓶检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311126075.XA CN116843999B (zh) | 2023-09-04 | 2023-09-04 | 一种基于深度学习的动火作业中气瓶检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843999A true CN116843999A (zh) | 2023-10-03 |
| CN116843999B CN116843999B (zh) | 2023-12-08 |
Family
ID=88165645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311126075.XA Active CN116843999B (zh) | 2023-09-04 | 2023-09-04 | 一种基于深度学习的动火作业中气瓶检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843999B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN117115723A (zh) * | 2023-10-23 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 一种消防设施计数方法、装置、存储介质及电子设备 |
| CN117456461A (zh) * | 2023-11-07 | 2024-01-26 | 北京城市轨道交通咨询有限公司 | 一种动火作业违规检测方法及装置 |
| CN117690165A (zh) * | 2024-02-02 | 2024-03-12 | 四川泓宝润业工程技术有限公司 | 一种钻杆与液压钳间人员穿行检测方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581820A (zh) * | 2019-09-29 | 2021-03-30 | 中国石油化工股份有限公司 | 一种基于传感技术的气瓶智能安全培训系统及方法 |
| CN115272963A (zh) * | 2022-07-22 | 2022-11-01 | 福建工程学院 | 基于YOLOv5s网络的白对虾加工前质量检测方法 |
| CN115359464A (zh) * | 2022-08-24 | 2022-11-18 | 杭州电子科技大学 | 基于深度学习的机动车驾驶员危险驾驶行为检测方法 |
| CN115393278A (zh) * | 2022-07-25 | 2022-11-25 | 华南农业大学 | 压板状态巡检方法、系统、机器人及存储介质 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN116030403A (zh) * | 2021-10-24 | 2023-04-28 | 中国石油化工股份有限公司 | 一种基于深度学习的氧气瓶与乙炔瓶同车运输检测方法 |
| CN116229552A (zh) * | 2023-03-07 | 2023-06-06 | 淮阴工学院 | 一种基于yolov7模型的面向嵌入式硬件的人脸识别方法 |
| US20230188671A1 (en) * | 2021-12-09 | 2023-06-15 | Anhui University | Fire source detection method and device under condition of small sample size and storage medium |
| CN116563762A (zh) * | 2023-05-12 | 2023-08-08 | 四川轻化工大学 | 一种油气站火灾检测方法、系统、介质、设备及终端 |
| CN116612292A (zh) * | 2023-05-29 | 2023-08-18 | 吉林大学 | 一种基于深度学习的小目标检测方法 |
-
2023
- 2023-09-04 CN CN202311126075.XA patent/CN116843999B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581820A (zh) * | 2019-09-29 | 2021-03-30 | 中国石油化工股份有限公司 | 一种基于传感技术的气瓶智能安全培训系统及方法 |
| CN116030403A (zh) * | 2021-10-24 | 2023-04-28 | 中国石油化工股份有限公司 | 一种基于深度学习的氧气瓶与乙炔瓶同车运输检测方法 |
| US20230188671A1 (en) * | 2021-12-09 | 2023-06-15 | Anhui University | Fire source detection method and device under condition of small sample size and storage medium |
| CN115272963A (zh) * | 2022-07-22 | 2022-11-01 | 福建工程学院 | 基于YOLOv5s网络的白对虾加工前质量检测方法 |
| CN115393278A (zh) * | 2022-07-25 | 2022-11-25 | 华南农业大学 | 压板状态巡检方法、系统、机器人及存储介质 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN115359464A (zh) * | 2022-08-24 | 2022-11-18 | 杭州电子科技大学 | 基于深度学习的机动车驾驶员危险驾驶行为检测方法 |
| CN116229552A (zh) * | 2023-03-07 | 2023-06-06 | 淮阴工学院 | 一种基于yolov7模型的面向嵌入式硬件的人脸识别方法 |
| CN116563762A (zh) * | 2023-05-12 | 2023-08-08 | 四川轻化工大学 | 一种油气站火灾检测方法、系统、介质、设备及终端 |
| CN116612292A (zh) * | 2023-05-29 | 2023-08-18 | 吉林大学 | 一种基于深度学习的小目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHIN-FA HSIEH等: "The Implementation of Pedestrian Detection Based on YOLOv5s", 《2023 9TH INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INNOVATION (ICASI)》, pages 106 - 108 * |
| 郭宇: "面向电力安全作业实体关系抽取及图谱构建研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 03, pages 026 - 35 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN116863252B (zh) * | 2023-09-04 | 2023-11-21 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN117115723A (zh) * | 2023-10-23 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 一种消防设施计数方法、装置、存储介质及电子设备 |
| CN117115723B (zh) * | 2023-10-23 | 2024-01-23 | 四川泓宝润业工程技术有限公司 | 一种消防设施计数方法、装置、存储介质及电子设备 |
| CN117456461A (zh) * | 2023-11-07 | 2024-01-26 | 北京城市轨道交通咨询有限公司 | 一种动火作业违规检测方法及装置 |
| CN117690165A (zh) * | 2024-02-02 | 2024-03-12 | 四川泓宝润业工程技术有限公司 | 一种钻杆与液压钳间人员穿行检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843999B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116843999B (zh) | 一种基于深度学习的动火作业中气瓶检测方法 | |
| US20210020360A1 (en) | Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN109993040A (zh) | 文本识别方法及装置 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN108229524A (zh) | 一种基于遥感图像的烟囱和冷凝塔检测方法 | |
| CN115151952A (zh) | 一种变电设备高精度识别方法及系统 | |
| CN117495735B (zh) | 一种基于结构引导的建筑物立面纹理自动修复方法及系统 | |
| CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN116092179A (zh) | 一种改进的yolox跌倒检测系统 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN115171045A (zh) | 一种基于yolo的电网作业现场违章识别方法及终端 | |
| US11361589B2 (en) | Image recognition method, apparatus, and storage medium | |
| CN112561885B (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
| CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN117197146A (zh) | 一种铸件内部缺陷自动识别方法 | |
| CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
| CN117274212A (zh) | 一种桥梁水下结构裂缝检测方法 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN112084815A (zh) | 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器 | |
| CN114708590A (zh) | 基于深度学习的复合固化土微观结构识别分析方法及系统 | |
| CN115512174A (zh) | 应用二次IoU损失函数的无锚框目标检测方法 | |
| CN113673478A (zh) | 基于深度全景拼接的港口大型设备检测与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |