CN114782986A - 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 - Google Patents
基于深度学习的安全帽佩戴检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114782986A CN114782986A CN202210314263.4A CN202210314263A CN114782986A CN 114782986 A CN114782986 A CN 114782986A CN 202210314263 A CN202210314263 A CN 202210314263A CN 114782986 A CN114782986 A CN 114782986A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- safety helmet
- deep learning
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开基于深度学习的安全帽佩戴检测方法、装置、设备及介质，该方法包括如下步骤：获取待检测的人员图像；将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。本发明在变电站的复杂场景有很高的检出率和很低的误检率，且使用深度学习的方法可以减少之前人工监控的操作，降低人工成本，并确保安全帽检测的实时性。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及基于深度学习的安全帽佩戴检测方法、装置、设备及介质。
背景技术
随着电力系统的不断扩展，变电站的数量和规模在不断增加。虽然智能电网在不断发展，但是变电站的运行仍然需要定期检查和维护，为了确保变电站安全稳定运行，需要操作人员定期检查维护变电站。在实际检修过程中，一些操作人员缺乏安全意识，不佩戴安全帽，这种行为存在很大的安全隐患。所以，安全帽检测在变电站运行中有很大的使用价值。
安全帽检测是一个涉及多方面的问题，目前安全帽检测的算法主要分为两类，一种是基于图像处理的传统方法，另一种是基于深度学习的目标检测算法。传统方法的核心是通过图像处理技术获取肤色、头部、面部等信息，使用这些信息判断工人是否佩戴安全帽，传统方法只是简单的特征提取，误检率较高。深度学习方法会使用大量的有标签数据进行学习，通过监督学习得到目标特征，从而检测出安全帽的佩戴情况，由于深度学习是基于大量的有标签数据，所以深度学习方法的鲁棒性较好。
发明内容
为了解决上述技术问题，本发明提出基于深度学习的安全帽佩戴检测方法、装置、设备及介质，可以广泛应用于变电站在线智能巡视系统，具有较强的兼容性和扩展性。该方法通过深度学习的方法，鲁棒性强、且不需要预先设置参考框，在变电站的复杂场景有很高的检出率和很低的误检率。另一方面，使用深度学习的方法可以减少之前人工监控的操作，降低人工成本，并确保安全帽检测的实时性。
为了达到上述目的，本发明的技术方案如下：
基于深度学习的安全帽佩戴检测方法，包括如下步骤：
获取待检测的人员图像；
将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
优选地，所述多尺度感知网络模型的构建，包括如下步骤：
获取作业现场人员的图像数据，形成原始数据集；
将原始数据集随机按照7:2:1的比例因子分为训练样本集、验证样本集和测试样本集，对训练样本集和验证样本集中每个图像进行人工判别和分类，并依据分类的结果设置所述训练样本集和验证样本集中每个图像的类别标签，所述类别标签包括未佩戴安全帽和佩戴安全帽；
将训练样本集和验证样本集输入待训练的初步模型中，获得检测模型，所述检测模型输出具有重叠检测框的图像，并采用中心导向NMS除去图像中重叠检测框；
将测试样本集输入检测模型中进行测试，直至分类结果的误差满足预设阈值，则将当前模型作为多尺度感知网络模型输出。
优选地，还包括如下步骤：
使用数据增强方式对样本数据集中未佩戴安全帽的图像数据进行扩充，所述数据增强方式包括几何变换和像素变换，所述几何变换包括翻转、平移、裁剪、旋转和缩放，所述像素变换包括高斯模糊、高斯噪声、图像亮度和图像对比度。
优选地，所述通道注意力模块，具体处理步骤：
使用卷积核得到特征图Xg；
使用全局池化来消除Xg在图像宽高维度的影响，全局池化Fgp定义如公式(1)：
其中，Hg和Wg表示特征图Xg的宽和高，xc是Xg的一个通道特征图，zc是xc平均池化后的结果，每一个通道特征图的结果zc连接在得到一个向量Zc，使用平均池化的操作可以降低空间信息的影响，
针对Zc使用两个全连接来进一步提取特征和权重，具体如公式(2)：
其中，W1和W2是两个全连接层的权重，b1和b2是对应的偏置，δ1是激活函数ReLU，δ2是Sigmoid激活函数，
完成特征图的校准，具体如公式：
其中，
是通道注意力模块最终输出的特征图。
优选地，所述空间注意力模块，具体处理步骤：
使用卷积核获得特征图Xg；
使用全局卷积Zs(i,j)降低Xg的信道信息影响，全局卷积的公式如下：我
其中，Hg和Wg表示特征图Xg的宽和高，i∈Hg，j∈Wg，Fgc(Xg)是全局卷积函数，K是全局卷积的卷积核，K的尺寸是m×n×Cg，b是偏置，
使用空洞卷积Us来细化单通道空间特征图，公式如下：
Us＝δ2(K2*δ1(K1*Zs+b1)+b2) (5)
使用两组不同的空洞卷积来扩大空间感受野，空洞卷积核的权重分别是K1和K2，偏移分别是b1和b2，δ1是ReLU激活函数，δ2是Sigmoid激活函数，*是空洞卷积操作，
计算损失函数PCE(Us,Ugt)，公式如下：
式中，Ugt是使用GT获得激活图，
增强特征图的空间特性，公式如下(7)：
式中，
是空间注意力模块最终输出的特征图，exp是指数运算。
优选地，所述多尺度感知网络模型中使用softmax损失函数，公式如下：
式中，N是训练图片个数，αc、αl分别是分类层和定位层的权重，LSoftmax-cls是分类层的损失函数，
LSoftmax-loc是定位层的损失函数，
PK是预测为第K类的概率，tu是预测值，v是真实值。
优选地，所述采用中心导向NMS除去图像中重叠检测框，具体包括如下步骤：
将图像中的检测框按照置信度得分进行排序，选中最高分的检测框；
依次计算其余的检测框与当前最高分的检测框的重叠面积，将所述重叠面积大于预设面积阈值的检测框进行删除；
依次计算其余的检测框中心点与当前最高分的检测框的距离，将所述距离小于预设距离阈值的检测框进行删除，所述距离为欧氏距离。
基于深度学习的安全帽佩戴检测装置，包括：获取模块、识别模块和输出模块，其中，
所述获取模块，用于获取待检测的人员图像；
所述识别模块，用于将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
所述输出模块，用于输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一所述的基于深度学习的安全帽佩戴检测方法。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的基于深度学习的安全帽佩戴检测方法。
基于上述技术方案，本发明的有益效果是：
1)本发明针对佩戴安全帽图像和未佩戴安全帽图像数据不均衡的问题，使用几何变换和像素变换的数据增强方式对小样本数据进行扩充，达到数据均衡的目的；
2)本发明针对变电站现场图像目标检测尺度不统一的问题，提出使用MSA-Net进行训练，可以解决不同尺度目标的检测问题；
3)本发明针对实际检测出来的多个检测框重叠的问题，提出中心导向NMS，可以很好地去除重复的检测框。
附图说明
图1是一个实施例中基于深度学习的安全帽佩戴检测方法的流程图；
图2是一个实施例中多尺度感知网络模型的结构图；
图3是一个实施例中多尺度感知网络模型的构建方式示意图；
图4是一个实施例中基于深度学习的安全帽佩戴检测装置的结构示意图；
图5是一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
参考图1，示出了本实施提供的基于深度学习的安全帽佩戴检测方法的流程图，在本实施例中，该方法包括如下步骤：
步骤S101，获取待检测的人员图像；
步骤S102，将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
步骤S103，输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
本实施例中，由于安全帽佩戴的人员图像存在图像尺度不同、背景复杂的问题，增加了安全帽佩戴检测的难度。所以，为了提高安全帽佩戴检测的准确度，本发明采用多尺度感知网络(multi-scale attention networks,MSA-Net)用于安全帽佩戴检测。图像的特征包括全局特征和局部特征，全局特征表示物体的整体特征，可以使用通道注意力模块(channel attention module)提取全局特征，局部特征包含大量的语义信息，可以使用空间注意力模块(spatial attention module)提取局部特征。多尺度感知网络模型由三个不同的注意力子网组成，每个子网都是由通道注意力模块和空间注意力组成。最后，多尺度网络的特征图通过全连接输出。多尺度感知网络模型的结构框架，说明如下：
1、通道注意力模块
一般的卷积神经网络，可以通过使用不同的卷积核卷积得到不同的特征图，其中输出通道个数和卷积核的个数相关。为了获得全局特征图的激活向量，使用通道注意力模块来获得。通道注意力模块需要尽可能地避免空间信息的影响，并且更高效地提取激活向量。
通道注意力模块的具体步骤可以分为以下四步：
步骤110：使用卷积核得到特征图Xg。
步骤111：使用全局池化来消除Xg在图像宽高维度的影响，全局池化Fgp定义如公式(1)：
其中，Hg和Wg表示特征图Xg的宽和高，xc是Xg的一个通道特征图，zc是xc平均池化后的结果，每一个通道特征图的结果zc连接在得到一个向量Zc，使用平均池化的操作可以降低空间信息的影响。
步骤112：针对Zc使用两个全连接来进一步提取特征和权重，具体如公式(2)：
其中，W1和W2是两个全连接层的权重，b1和b2是对应的偏置，δ1是激活函数ReLU，δ2是Sigmoid激活函数。
步骤113：完成特征图的校准，具体如公式(3)：
其中，
是通道注意力模块最终输出的特征图。
2、空间注意力模块
和通道注意力模块相反，空间注意力模块需要降低通道信息对学习的影响。空间注意力模块通过使用安全帽是否佩戴的标签进行监督学习，在标准卷积神经网络，较小的卷积感受野会限制小目标的检测。因此，使用一种基于mask的监督学习方式来学习空间激活矩阵。具体过程如下：
步骤120：使用卷积核获得特征图Xg
步骤121：使用全局卷积Zs(i,j)降低Xg的信道信息影响，全局卷积的公式(4)：
其中，Hg和Wg表示特征图Xg的宽和高，i∈Hg，j∈Wg。Fgc(Xg)是全局卷积函数，K是全局卷积的卷积核，K的尺寸是m×n×Cg，b是偏置。
步骤122：使用空洞卷积Us来细化单通道空间特征图，具体使用公式(5)：
Us＝δ2(K2*δ1(K1*Zs+b1)+b2) (5)
使用两组不同的空洞卷积来扩大空间感受野，空洞卷积核的权重分别是K1和K2，偏移分别是b1和b2，δ1是ReLU激活函数，δ2是Sigmoid激活函数，*是空洞卷积操作。
步骤123：计算损失函数PCE(Us,Ugt)，具体使用公式(6)：
式中，Ugt是使用GT获得激活图。
步骤124：增强特征图的空间特性，具体使用公式(7)：
式中，
是空间注意力模块最终输出的特征图，exp是指数运算。
为了保证全局特征图的原始信息，本专利在每个通道使用指数计算来突出被检测物体的信息。
最终的特征图
是通道注意力模块和空间注意力模块的求和，使用注意力模块可以获得全局特征图和局部特征图，最终的公式如公式(8)：
3、MSA-Net
为了检测不同尺寸图像的工人是否佩戴安全帽，引入MSA-Net，在MSA-Net中使用不同尺寸的卷积核提取特征图。经过实验得知，较大的卷积核检测大尺寸目标更有效，较小的卷积核检测小尺寸目标更有效。如图2所示，使用的多尺度网络包含三个并行的CNN网络，这三个CNN网络的结构相似，只有卷积核的尺寸不同。本专利使用最大池化和ReLU激活函数来防止CNN网络过拟合，为了降低CNN的计算复杂度，本专利使用较少的滤波器，并且使用softmax损失函数，具体如公式(9)：
其中，N是训练图片个数，αc、αl分别是分类层和定位层的权重，LSoftmax-cls是分类层的损失函数，LSoftmax-loc是定位层的损失函数，LSoftmax-cls、LSoftmax-loc的计算如公式(10)、公式(11)：
式中，PK是预测为第K类的概率，tu是预测值，v是真实值。
参考图3，示出了本实施例提供的多尺度感知网络模型的构建过程，过程包括如下步骤：
步骤S201，获取作业现场人员的图像数据，形成原始数据集；
本实施例中，通过变电站巡视主机或机器人主机采集得到作业现场人员的图像数据，形成原始数据集。在这个数据集中，总共有8000张图片，包含两个类别：未佩戴安全帽和佩戴安全帽。
步骤S202，将原始数据集随机按照7:2:1的比例因子分为训练样本集、验证样本集和测试样本集，对训练样本集和验证样本集中每个图像进行人工判别和分类，并依据分类的结果设置所述训练样本集和验证样本集中每个图像的类别标签，所述类别标签包括未佩戴安全帽和佩戴安全帽；
本实施例中，使用开源的labelImage工具进行标注，标注的规范是未佩戴安全帽的标出人头区域，佩戴安全帽的标出安全帽和人头区域。考虑到实际采集到的佩戴安全帽和未佩戴安全帽的图像数据不均衡，实际佩戴安全帽的图像远大于未戴安全帽的图像，数据不均衡会导致过拟合和局部最优解的问题。使用数据增强方式对原始数据集中未佩戴安全帽的图像数据进行扩充，所述数据增强方式包括几何变换和像素变换，所述几何变换包括翻转、平移、裁剪、旋转和缩放，所述像素变换包括高斯模糊、高斯噪声、图像亮度和图像对比度。
步骤S203，将训练样本集和验证样本集输入待训练的初步模型中，获得检测模型，所述检测模型输出具有重叠检测框的图像，并采用中心导向NMS除去图像中重叠检测框；
本实施例中，考虑到模型测试中常见的错误现象，如相同类别的标签会出现很多重叠的检测框，而且他们都有很高的置信度。
为了解决重叠检测框的问题，采用一种中心导向NMS(Non MaximumSuppression)，中心导向NMS是基于传统NMS，是在传统NMS上增加了中心点到检测框距离的约束信息，此处的距离是中心点到检测框的距离是欧氏距离。中心导向NMS的步骤：先选择置信度最高的检测框bm，然后再计算其他检测框和bm的IoU，去除超过IoU阈值的检测框，另外，还需要移除距离bm过近的检测框。中心导向NMS的具体伪代码如下：
输入：B＝{b1,…,bn}，S＝{s1,…,sn}，
C＝{c1,…,cn}，A＝{a1,…,an}，ΩNMS，Ωcenter
B是所有检测到的检测框
S是所有分类的得分
C是所有检测框的中心坐标
A是所有检测框的面积
ΩNMS是NMS的阈值
Ωcenter是中心距离阈值
输出：D是最终输出的检测框以及它的分类得分。
步骤S204，将测试样本集输入检测模型中进行测试，直至分类结果的误差满足预设阈值，则将当前模型作为多尺度感知网络模型输出。
本申请实施例还提供了基于深度学习的安全帽佩戴检测装置300，其具体实现方式与上述基于深度学习的安全帽佩戴检测方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
如图4所示，示出了本实施例提供的基于深度学习的安全帽佩戴检测装置300的结构图，包括：获取模块310、识别模块320和输出模块330，其中，
所述获取模块310，用于获取待检测的人员图像；
所述识别模块320，用于将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
所述输出模块330，用于输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
上述实施例阐明的装置和模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
如图5所示，本申请实施例还提供一种计算机设备200，该设备包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230，其中，
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中基于深度学习的安全帽佩戴检测方法的步骤，其具体实现方式与上述基于深度学习的安全帽佩戴检测方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，计算机设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与计算机设备200的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时时实现以下步骤：
获取待检测的人员图像；
将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请实施例的优选实施例而已，并不用于限制本申请实施例，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.基于深度学习的安全帽佩戴检测方法，其特征在于，包括如下步骤：
获取待检测的人员图像；
将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
2.根据权利要求1所述的基于深度学习的安全帽佩戴检测方法，其特征在于，所述多尺度感知网络模型的构建，包括如下步骤：
获取作业现场人员的图像数据，形成原始数据集；
将原始数据集随机按照7:2:1的比例因子分为训练样本集、验证样本集和测试样本集，对训练样本集和验证样本集中每个图像进行人工判别和分类，并依据分类的结果设置所述训练样本集和验证样本集中每个图像的类别标签，所述类别标签包括未佩戴安全帽和佩戴安全帽；
将训练样本集和验证样本集输入待训练的初步模型中，获得检测模型，所述检测模型输出具有重叠检测框的图像，并采用中心导向NMS除去图像中重叠检测框；
将测试样本集输入检测模型中进行测试，直至分类结果的误差满足预设阈值，则将当前模型作为多尺度感知网络模型输出。
3.根据权利要求2所述的基于深度学习的安全帽佩戴检测方法，其特征在于，还包括如下步骤：
使用数据增强方式对样本数据集中未佩戴安全帽的图像数据进行扩充，所述数据增强方式包括几何变换和像素变换，所述几何变换包括翻转、平移、裁剪、旋转和缩放，所述像素变换包括高斯模糊、高斯噪声、图像亮度和图像对比度。
4.根据权利要求1所述的基于深度学习的安全帽佩戴检测方法，其特征在于，所述通道注意力模块，具体处理步骤：
使用卷积核得到特征图Xg；
使用全局池化来消除Xg在图像宽高维度的影响，全局池化Fgp定义如公式(1)：
其中，Hg和Wg表示特征图Xg的宽和高，xc是Xg的一个通道特征图，zc是xc平均池化后的结果，每一个通道特征图的结果zc连接在得到一个向量Zc，使用平均池化的操作可以降低空间信息的影响，
针对Zc使用两个全连接来进一步提取特征和权重，具体如公式(2)：
Uc＝δ2(W2 Tδ1(W1 TZc+b1)+b2) (2)
其中，W1和W2是两个全连接层的权重，b1和b2是对应的偏置，δ1是激活函数ReLU，δ2是Sigmoid激活函数，
完成特征图的校准，具体如公式：
其中，
是通道注意力模块最终输出的特征图。
5.根据权利要求1所述的基于深度学习的安全帽佩戴检测方法，其特征在于，所述空间注意力模块，具体处理步骤：
使用卷积核获得特征图Xg
使用全局卷积Zs(i,j)降低Xg的信道信息影响，全局卷积的公式如下：
其中，Hg和Wg表示特征图Xg的宽和高，i∈Hg，j∈Wg，Fgc(Xg)是全局卷积函数，K是全局卷积的卷积核，K的尺寸是m×n×Cg，b是偏置，
使用空洞卷积Us来细化单通道空间特征图，公式如下：
Us＝δ2(K2*δ1(K1*Zs+b1)+b2) (5)
使用两组不同的空洞卷积来扩大空间感受野，空洞卷积核的权重分别是K1和K2，偏移分别是b1和b2，δ1是ReLU激活函数，δ2是Sigmoid激活函数，*是空洞卷积操作，
计算损失函数PCE(Us,Ugt)，公式如下：
式中，Ugt是使用GT获得激活图，
增强特征图的空间特性，公式如下(7)：
式中，
是空间注意力模块最终输出的特征图，exp是指数运算。
6.根据权利要求1所述的基于深度学习的安全帽佩戴检测方法，其特征在于，所述多尺度感知网络模型中使用softmax损失函数，公式如下：
式中，N是训练图片个数，αc、αl分别是分类层和定位层的权重，LSoftmax-cls是分类层的损失函数，
LSoftmax-loc是定位层的损失函数，
PK是预测为第K类的概率，tu是预测值，v是真实值。
7.根据权利要求1所述的基于深度学习的安全帽佩戴检测方法，其特征在于，所述采用中心导向NMS除去图像中重叠检测框，具体包括如下步骤：
将图像中的检测框按照置信度得分进行排序，选中最高分的检测框；
依次计算其余的检测框与当前最高分的检测框的重叠面积，将所述重叠面积大于预设面积阈值的检测框进行删除；
依次计算其余的检测框中心点与当前最高分的检测框的距离，将所述距离小于预设距离阈值的检测框进行删除，所述距离为欧氏距离。
8.基于深度学习的安全帽佩戴检测装置，其特征在于，包括：获取模块、识别模块和输出模块，其中，
所述获取模块，用于获取待检测的人员图像；
所述识别模块，用于将所述待检测的人员图像输入已训练的多尺度感知网络模型中；所述多尺度感知网络模型包括三个并行的CNN子网络，三个所述CNN子网络的结构仅卷积核的尺寸不同，每个CNN子网均包括用于提取全局特征的通道注意力模块和用于提取局部特征的空间注意力模块；
所述输出模块，用于输出所述待检测的人员图像分类结果，所述分类结果包括未佩戴安全帽和佩戴安全帽。
9.计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的基于深度学习的安全帽佩戴检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的安全帽佩戴检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210314263.4A CN114782986B (zh) | 2022-03-28 | 2022-03-28 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210314263.4A CN114782986B (zh) | 2022-03-28 | 2022-03-28 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782986A true CN114782986A (zh) | 2022-07-22 |
| CN114782986B CN114782986B (zh) | 2024-04-26 |
Family
ID=82426010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210314263.4A Active CN114782986B (zh) | 2022-03-28 | 2022-03-28 | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782986B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471776A (zh) * | 2022-09-28 | 2022-12-13 | 国网江苏省电力有限公司南通供电分公司 | 基于多卷积核残差模块时间transformer模型的安全帽佩戴识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111443797A (zh) * | 2020-03-23 | 2020-07-24 | 云南电网有限责任公司电力科学研究院 | 一种基于vr的安全工器具培训方法、vr设备及服务器 |
| CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113837154A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种基于多任务辅助的开放集过滤系统及方法 |
-
2022
- 2022-03-28 CN CN202210314263.4A patent/CN114782986B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
| CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111443797A (zh) * | 2020-03-23 | 2020-07-24 | 云南电网有限责任公司电力科学研究院 | 一种基于vr的安全工器具培训方法、vr设备及服务器 |
| CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113837154A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种基于多任务辅助的开放集过滤系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘欣;张灿明;: "基于卷积神经网络的矿井安全帽佩戴检测", 电子技术应用, no. 09 * |
| 陈琳琳等: "基于卷积神经网络的多尺度注意力图像分类模型", 《南京理工大学学报》, pages 669 - 675 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471776A (zh) * | 2022-09-28 | 2022-12-13 | 国网江苏省电力有限公司南通供电分公司 | 基于多卷积核残差模块时间transformer模型的安全帽佩戴识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782986B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10991395B1 (en) | Method for real time video processing involving changing a color of an object on a human face in a video | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN109446889B (zh) | 基于孪生匹配网络的物体追踪方法及装置 | |
| KR20200093426A (ko) | 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치 | |
| CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
| CN111104538A (zh) | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 | |
| Xie et al. | A convolutional neural network based approach towards real-time hard hat detection | |
| EP4322056A1 (en) | Model training method and apparatus | |
| CN110163239A (zh) | 一种基于超像素和条件随机场的弱监督图像语义分割方法 | |
| CN116152863B (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN110991513A (zh) | 一种具有类人连续学习能力的图像目标识别系统及方法 | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| CN112084838A (zh) | 一种车间安全帽检测方法 | |
| CN114782986B (zh) | 基于深度学习的安全帽佩戴检测方法、装置、设备及介质 | |
| CN113780135B (zh) | 跨场景的VOCs气体泄漏检测方法、系统及存储介质 | |
| CN114219936A (zh) | 目标检测方法、电子设备、存储介质和计算机程序产品 | |
| CN109600627B (zh) | 一种视频识别方法和装置 | |
| CN115131826B (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| Huynh et al. | An efficient model for copy-move image forgery detection | |
| CN114898454A (zh) | 一种神经网络模型的训练方法、装置、电子设备及介质 | |
| CN115546476A (zh) | 基于多尺度特征的多对象检测方法与数据平台 | |
| CN114462490A (zh) | 图像目标的检索方法、检索设备、电子设备和存储介质 | |
| CN113837001A (zh) | 监控场景下的异常闯入物实时检测方法及装置 | |
| KM et al. | A Review on Deep Learning Based Helmet Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |