CN113468992A - 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 - Google Patents
基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 Download PDFInfo
- Publication number
- CN113468992A CN113468992A CN202110687183.9A CN202110687183A CN113468992A CN 113468992 A CN113468992 A CN 113468992A CN 202110687183 A CN202110687183 A CN 202110687183A CN 113468992 A CN113468992 A CN 113468992A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature extraction
- layer
- network
- safety helmet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 53
- 238000010276 construction Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 108
- 238000011176 pooling Methods 0.000 claims description 80
- 230000004927 fusion Effects 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 12
- 101100203828 Arabidopsis thaliana SPP3A gene Proteins 0.000 claims description 9
- 101100534124 Oryza sativa subsp. japonica SPP3 gene Proteins 0.000 claims description 9
- 102100030684 Sphingosine-1-phosphate phosphatase 1 Human genes 0.000 claims description 9
- 101710168942 Sphingosine-1-phosphate phosphatase 1 Proteins 0.000 claims description 9
- 102100030677 Sphingosine-1-phosphate phosphatase 2 Human genes 0.000 claims description 9
- 101710168938 Sphingosine-1-phosphate phosphatase 2 Proteins 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 101150063780 spp1 gene Proteins 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法，属于机器视觉技术领域，获取施工现场安全帽图片检测训练集；构建安全帽检测轻量化卷积神经网络；将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练；利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。本发明提出的安全帽检测轻量化卷积神经网络，检测速度快，在参数量与计算量上得到了大幅度降低，并且能够实现不同距离安全帽目标的准确检测，解决了实际施工现场安全帽佩戴检测的实时性需求以及用于嵌入式设备的问题。
Description
技术领域
本发明属于机器视觉技术领域，尤其涉及一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法。
背景技术
在施工环境中，施工人员佩戴安全帽可以有效避免或减小安全事故的伤害。通过人工巡检监控视频实现安全帽佩戴检测费时费力，且容易造成误检和漏检。利用机器视觉技术实现对施工现场工作人员是否佩戴安全帽进行检测，可有效地代替人工巡检，提高识别的精度，避免安全事故的发生。
传统的安全帽检测主要通过提取目标的几何、颜色等特征进行对比识别，例如利用肤色检测实现人头区域的定位，再采用SVM分类器对安全帽的Hu矩特征进行识别；利用混合高斯模型和连通区域处理来定位人体头部是否存在安全帽；结合局部二值模式直方图、梯度直方图和颜色特征，再利用SVM对安全帽进行检测。但是基于目标图像特征提取的传统检测方法对变化多样的实际环境检测能力有限。
近年来，基于深度学习的目标检测技术随着卷积神经网络的大力发展，有效的得到了实现，其较强的泛化能力能够针对绝大多数不同的环境进行安全帽佩戴检测。目前，基于深度学习的目标检测技术主要为基于区域建议和基于回归策略的目标检测网络。基于区域建议的目标检测网络代表性算法有Faster RCNN、Mask RCNN；基于回归策略的单阶段目标检测网络代表性算法有YOLO系列和SSD。然而，利用卷积神经网络进行安全帽检测对硬件的计算性能要求较高，在实际的应用中，由于移动和嵌入式设备的计算能力和内存有限，无法达到目前大多数卷积神经网络的计算性能。所以这些主流的检测算法很难在移动和嵌入式设备上得到较为广泛的应用。因此，根据移动式平台的需求，一系列用于图像分类的轻量级卷积神经网络被提出，如Xception、MobileNet系列和Shuffle-Net系列。
利用深度可分离卷积来改进Darknet53网络，极大的减少了主干网络的参数量，但是由于为了提高检测精度，其将Inception结构应用至检测网络，在一定程度上增加了参数量，未达到嵌入式环境部署的要求；根据yolov4-Tiny算法使用GhostNet模块重新构建主干特征提取网络，降低了模型的参数量，使其更容易部署在嵌入式设备上，但是其对检测精度没有提升。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法，解决了目前基于深度学习的安全帽模型参数量太大，无法部署在嵌入式设备上的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法，包括如下步骤：
S1、获取施工现场安全帽图片检测训练集；
S2、构建安全帽检测轻量化卷积神经网络；
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练；
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
进一步地，所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
上述方案的有益效果为：将训练集图像归一化为416×416尺度大小，相较于原始YOLOv4目标检测网络的尺度大小为608×608图像输入需要的计算量更少。
进一步地，所述步骤S2包括如下步骤：
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络；
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端；
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层，形成特征金字塔网络NPANet，完成安全帽检测轻量化卷积神经网络构建。
进一步地，所述Mobilenetv1轻量化网络采用直筒结构，并根据用于降低网络参数量的3×3深度可分离卷积层，以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
进一步地，所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
进一步地，所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
进一步地，所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下：
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取，且分别将三种尺度特征图输入至所述特征金字塔网络NPANet；
A2、利用所述特征金字塔网络NPANet对所述三种不同尺度的特征图进行特征提取，并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块；
A3、利用YOLO Head结果预测模块输出最终特征图，并利用logist回归对最终特征图上的先验框进行非极大值筛选评分，且得到预测结果，完成安全帽检测轻量化卷积神经网络单次训练。
进一步地，所述步骤A2中利用所述特征金字塔网络NPANet特征提取的方法的步骤如下：
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取，得到深层特征图特征提取结果，并将深层特征图特征提取结果输入第一空间金字塔模块SPP1；
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理，得到深层最大池化结果，并利用3层卷积模块Conv x3对最大池化结果进行特征提取，得到深层最大池化特征提取结果；
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合，得到第一中层融合特征图，并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取，得到第一中层融合特征图特征提取结果；
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理，得到中层最大池化结果，并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取，得到中层最大池化特征提取结果；
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合，得到浅层融合特征图，并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取，得到浅层融合特征图特征提取结果；
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化，得到浅层最大池化结果，并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取，得到浅层最大池化特征提取结果；
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图，并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取，得到第二中层融合特征图特征提取结果；
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合，得到深层融合特征图，并利用5层卷积模块Conv x5对深层融合特征图进行特征提取，得到深层融合特征图特征提取结果，完成对所述三种不同尺度的特征图的特征提取。
进一步地，所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
本发明的有益效果：
(1)、本发明提出的安全帽检测轻量化卷积神经网络相较于原始YOLOv4目标检测网络，在参数量与计算量上得到了大幅度降低，并且能够实现不同距离安全帽目标的准确检测，检测速度快，满足实际施工现场安全帽佩戴检测的实时性以及用于嵌入式设备的需求。
(2)、本发明采用的Mobilenetv1神经网络是针对移动和嵌入式设备而设计的一种轻量化卷积神经网络，其主要利用了深度可分离卷积来代替3×3标准卷积从而减少整个网络的参数量，相比于经典的卷积神经网络，其拥有更小的体积，更少的计算量以及较高的精度。
(3)、本发明采用的空间金字塔池化模块能够让卷积神经网络的输入图片不需要经过缩放、裁剪等操作就可以直接输入网络，且能分理出丰富的上下文信息，获得增强网络小目标的检测能力。
(4)、本发明采用的深度可分离卷积模块代替5层卷积模块Conv x5中的3×3的标准卷积，减少了主干特征提取网络的参数量，且利用深度可分离卷积能在很大程度上降低模型参数量以及计算量，并且在检测精度没有变化的情况下提高检测速率。
(5)、本发明利用空间金字塔模块进行最大池化操作不仅能够保持特征图的平移不变性，也能通过1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核这四种不同大小的池化核获得特征图的局部和全局信息，获得不同程度的感受野，有效的提高模型对安全帽的检测准确率。
附图说明
图1为本发明实施例中轻量化卷积神经网络的施工现场安全帽佩戴检测方法的步骤流程图。
图2为本发明实施例中安全帽检测轻量化卷积神经网络结构框图。
图3为本发明实施例中深度可分离卷积模块Depthblock_body的结构图。
图4为本发明实施例中3层卷积模块Conv x3的结构图。
图5为本发明实施例中5层卷积模块Conv x5的结构图。
图6为本发明实施例中Mbilenetv1轻量化网络的损失下降曲线。
图7为本发明实施例中实际的施工现场安全帽佩戴检测原始测试图。
图8为本发明实施例中利用安全帽检测轻量化卷积神经网络检测安全帽佩戴结果图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
有鉴于背景技术，本发明为解决目前基于深度学习的安全帽模型参数量太大，无法部署在嵌入式设备上的问题，如图1所示，本发明提供一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法，包括如下步骤：
S1、获取施工现场安全帽图片检测训练集；
S2、构建安全帽检测轻量化卷积神经网络；
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练；
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
如图2所示，所述步骤S2包括如下步骤：
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络；
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端；
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层，形成特征金字塔网络NPANet，完成安全帽检测轻量化卷积神经网络构建。
如图3所示，所述Mobilenetv1轻量化网络采用直筒结构，并根据用于降低网络参数量的3×3深度可分离卷积层，以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下：
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取，且分别将三种尺度特征图输入至所述特征金字塔网络NPANet；
A2、利用所述特征金字塔网络NPANet对所述三种不同尺度的特征图进行特征提取，并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块；
A3、利用YOLO Head结果预测模块输出最终特征图，并利用logist回归对最终特征图上的先验框进行非极大值筛选评分，且得到预测结果，完成安全帽检测轻量化卷积神经网络单次训练。
所述步骤A2中利用所述特征金字塔网络NPANet特征提取的方法的步骤如下：
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取，得到深层特征图特征提取结果，并将深层特征图特征提取结果输入第一空间金字塔模块SPP1；
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理，得到深层最大池化结果，并利用3层卷积模块Conv x3对最大池化结果进行特征提取，得到深层最大池化特征提取结果；
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合，得到第一中层融合特征图，并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取，得到第一中层融合特征图特征提取结果；
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理，得到中层最大池化结果，并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取，得到中层最大池化特征提取结果；
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合，得到浅层融合特征图，并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取，得到浅层融合特征图特征提取结果；
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化，得到浅层最大池化结果，并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取，得到浅层最大池化特征提取结果；
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图，并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取，得到第二中层融合特征图特征提取结果；
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合，得到深层融合特征图，并利用5层卷积模块Conv x5对深层融合特征图进行特征提取，得到深层融合特征图特征提取结果，完成对所述三种不同尺度的特征图的特征提取。
所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
如图4所示，所述3层卷积模块Conv x3由依次连接的1×1卷积层、3×3卷积层和1×1卷积层构成，且3×3卷积层由深度可分离卷积模块Depthblock_body代替，减少参数量。
如图5所示，所述5层卷积模块Conv x5由依次连接的1×1卷积层、3×3卷积层、1×1卷积层、3×3卷积层和1×1卷积层构成，且其中所有3×3卷积均被深度可分离卷积模块Depthblock_body代替，减少参数量。
本发明的工作原理为：首先获取施工现场安全帽检测训练集；构建安全帽检测轻量化卷积神经网络；将所述施工现场安全帽检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练；将训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
在本发明的一个实用实例中，普通卷积的参数量WSC与深度可分离卷积的参数量WDSC的表达式分别如下：
WSC＝M×M×C×K
WDSC＝M×M×C+C×1×1×K
其中，M×M表示卷积核的大小，C表示输入的特征图像的通道数，K表示卷积核的个数。
普通卷积计算量SSC与深度可分离卷积计算量SDSC的表达式分别如下：
SSC＝H×W×C×K×M×M
SDSC＝H×W×C×M×M+H×W×C×K
其中，H表示输入的特征图像的长，W表示输入的特征图像的宽，M×M表示卷积核的大小，C表示输入的特征图像的通道数，K表示卷积核的个数。
深度可分离卷积对普通卷积参数量的压缩比HW与深度可分离卷积对普通卷积计算量的压缩比HS的表达式分别如下：
其中,WDSC表示深度可分离卷积的参数量，WSC表示普通卷积的参数量，K表示卷积核的个数，M×M表示卷积核的大小，SDSC表示深度可分离卷积计算量，SSC表示普通卷积计算量。
在本发明的另一个实用实例中，收集的安全帽检测训练集由施工现场图片及图片中的人头部分图像组成，通过labelimg标注出所有图像的目标区域及类别，将佩戴安全帽的标记为‘hat’，未佩戴安全帽的标记为‘person’；本实施例共爬取6600张图片作为数据集，其中6000张作为训练集，600张作为测试集。
为增加实验数据集的多样性以及防止安全帽检测轻量化卷积神经网络过拟合，训练前使用图像缩放、长宽扭曲、图像翻转、色域扭曲以及为图像多余部分增加灰条等操作对训练集进行预处理。
如图6所示，训练的输入图片尺寸设置为416x416，网络训练分两次进行，第一阶段训练冻结mobilenet主干部分，初始学习率(learning rate)设置为0.001，batch size设置为32，训练50轮，使用学习率下降策略，连续2轮验证集的损失值未改善，学习率将乘以0.5；第二阶段训练释放冻结部分微调模型，初始习率设置为0.0001，batchsize设置为8，训练50轮，使用学习率下降和提前终止策略，连续2轮验证集的损失值未改善，学习率将乘以0.5，连续10轮验证集损失未改变将提前中止训练；学习率、batch size以及训练轮数这样设置的原因在于，本次安全帽识别训练，借助了预训练参数；因此将训练分为两个阶段，第一阶段冻结主干部分是为了使模型收敛速度加快并保护预训练权重不被破坏，第二阶段是在模型训练相对平稳后，微调模型得到较好的训练效果。
本实施例分别从召回率(Recall)、平均精确率(AP)、平均精确率均值(mAP)、检测速度(FPS)以及模型参数量来对本实施例提供的安全帽检测轻量化卷积神经网络进行评估，评估结果如表1所示：
表1
如图7和图8所示，在YOLOv4框架下，使用SPP空间金字塔池化模块，可以看出主干网络使用MobileNetv1时平均精确率值达到70.97％，由图8中的召回率可知，以MobileNetv1为主干网络的佩戴安全帽和未佩戴安全帽的召回率最高分别为82.23％、51.94％，说明网络对于佩戴安全帽的类检测的效果更好，这可能是由于佩戴安全帽和未佩戴安全帽两种类别的数据集造成的原因；在参数量方面，本实施例提供的安全帽检测轻量化卷积神经网络的参数量仅为48.8MB，相较于原本YOLOv4的245MB参数量做到了很大程度的降低，轻量化效果很好，满足嵌入端的要求；在检测速度方面本实施例提供的安全帽检测轻量化卷积神经网络的检测速度高达40frame/s，满足实时性检测要求。
Claims (9)
1.一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法，其特征在于，包括如下步骤：
S1、获取施工现场安全帽图片检测训练集；
S2、构建安全帽检测轻量化卷积神经网络；
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练；
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
2.根据权利要求1所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
3.根据权利要求1所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述步骤S2包括如下步骤：
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络；
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端；
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层，形成特征金字塔网络NPANet，完成安全帽检测轻量化卷积神经网络构建。
4.根据权利要求3所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述Mobilenetv1轻量化网络采用直筒结构，并根据用于降低网络参数量的3×3深度可分离卷积层，以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
5.根据权利要求3所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
6.根据权利要求3所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
7.根据权利要求6所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下：
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取，且分别将三种尺度特征图输入至所述特征金字塔网络NPANet；
A2、利用所述特征金字塔网络NPANet对所述三种不同尺度的特征图进行特征提取，并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块；
A3、利用YOLO Head结果预测模块输出最终特征图，并利用logist回归对最终特征图上的先验框进行非极大值筛选评分，且得到预测结果，完成安全帽检测轻量化卷积神经网络单次训练。
8.根据权利要求7所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述步骤A2中利用所述特征金字塔网络NPANet特征提取的方法的步骤如下：
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取，得到深层特征图特征提取结果，并将深层特征图特征提取结果输入第一空间金字塔模块SPP1；
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理，得到深层最大池化结果，并利用3层卷积模块Conv x3对最大池化结果进行特征提取，得到深层最大池化特征提取结果；
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合，得到第一中层融合特征图，并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取，得到第一中层融合特征图特征提取结果；
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理，得到中层最大池化结果，并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取，得到中层最大池化特征提取结果；
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合，得到浅层融合特征图，并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取，得到浅层融合特征图特征提取结果；
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化，得到浅层最大池化结果，并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取，得到浅层最大池化特征提取结果；
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图，并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取，得到第二中层融合特征图特征提取结果；
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合，得到深层融合特征图，并利用5层卷积模块Conv x5对深层融合特征图进行特征提取，得到深层融合特征图特征提取结果，完成对所述三种不同尺度的特征图的特征提取。
9.根据权利要求8所述的一种轻量化卷积网络的施工现场安全帽佩戴检测方法，其特征在于，所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110687183.9A CN113468992B (zh) | 2021-06-21 | 2021-06-21 | 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110687183.9A CN113468992B (zh) | 2021-06-21 | 2021-06-21 | 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468992A true CN113468992A (zh) | 2021-10-01 |
| CN113468992B CN113468992B (zh) | 2022-11-04 |
Family
ID=77868975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110687183.9A Active CN113468992B (zh) | 2021-06-21 | 2021-06-21 | 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468992B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989852A (zh) * | 2021-11-12 | 2022-01-28 | 重庆邮电大学 | 一种轻量化YOLOv4的建筑工地安全帽佩戴检测方法及装置 |
| CN114241518A (zh) * | 2021-12-06 | 2022-03-25 | 上海震巽智慧科技有限公司 | 一种面向移动端实时应用的人体目标检测方法及系统 |
| CN114283469A (zh) * | 2021-12-14 | 2022-04-05 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
| CN114463676A (zh) * | 2022-01-19 | 2022-05-10 | 北京工业大学 | 一种基于隐式表达的安全帽配戴检测方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
| CN111178206A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 一种基于改进yolo的建筑预埋件检测方法及系统 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN112036327A (zh) * | 2020-09-01 | 2020-12-04 | 南京工程学院 | 一种基于ssd的轻量化安全帽检测方法 |
| CN112084866A (zh) * | 2020-08-07 | 2020-12-15 | 浙江工业大学 | 一种基于改进YOLO v4算法的目标检测方法 |
| CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
| CN112464701A (zh) * | 2020-08-26 | 2021-03-09 | 北京交通大学 | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 |
| CN112487915A (zh) * | 2020-11-25 | 2021-03-12 | 江苏科技大学 | 一种基于Embedded YOLO算法的行人检测方法 |
| CN112487862A (zh) * | 2020-10-28 | 2021-03-12 | 南京云牛智能科技有限公司 | 基于改进EfficientDet模型的车库行人检测方法 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
| CN112906654A (zh) * | 2021-03-29 | 2021-06-04 | 杭州电力设备制造有限公司 | 基于深度学习算法的防震锤检测方法 |
-
2021
- 2021-06-21 CN CN202110687183.9A patent/CN113468992B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
| CN111178206A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 一种基于改进yolo的建筑预埋件检测方法及系统 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN112084866A (zh) * | 2020-08-07 | 2020-12-15 | 浙江工业大学 | 一种基于改进YOLO v4算法的目标检测方法 |
| CN112464701A (zh) * | 2020-08-26 | 2021-03-09 | 北京交通大学 | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 |
| CN112036327A (zh) * | 2020-09-01 | 2020-12-04 | 南京工程学院 | 一种基于ssd的轻量化安全帽检测方法 |
| CN112487862A (zh) * | 2020-10-28 | 2021-03-12 | 南京云牛智能科技有限公司 | 基于改进EfficientDet模型的车库行人检测方法 |
| CN112487915A (zh) * | 2020-11-25 | 2021-03-12 | 江苏科技大学 | 一种基于Embedded YOLO算法的行人检测方法 |
| CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
| CN112906654A (zh) * | 2021-03-29 | 2021-06-04 | 杭州电力设备制造有限公司 | 基于深度学习算法的防震锤检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| 叶子勋 等: ""YOLOv4口罩检测算法的轻量化改进"", 《计算机工程与应用》 * |
| 孔维刚 等: ""基于改进YOLOv4算法的轻量化网络设计与实现"", 《计算机工程》 * |
| 张凯 等: ""基于轻量化YOLOv4的发电机定子表面缺陷检测算法"", 《计算机与数字工程》 * |
| 肖体刚 等: ""改进SSD的安全帽佩戴检测方法"", 《四川轻化工大学学报》 * |
| 肖体刚 等: ""改进YOLOv3的安全帽佩戴检测方法"", 《计算机工程与应用》 * |
| 陈柳 等: ""轻量化高精度卷积神经网络的安全帽识别方法"", 《计算机工程与应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989852A (zh) * | 2021-11-12 | 2022-01-28 | 重庆邮电大学 | 一种轻量化YOLOv4的建筑工地安全帽佩戴检测方法及装置 |
| CN113989852B (zh) * | 2021-11-12 | 2024-06-04 | 重庆邮电大学 | 一种轻量化YOLOv4的建筑工地安全帽佩戴检测方法及装置 |
| CN114241518A (zh) * | 2021-12-06 | 2022-03-25 | 上海震巽智慧科技有限公司 | 一种面向移动端实时应用的人体目标检测方法及系统 |
| CN114283469A (zh) * | 2021-12-14 | 2022-04-05 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
| CN114283469B (zh) * | 2021-12-14 | 2022-09-23 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
| CN114463676A (zh) * | 2022-01-19 | 2022-05-10 | 北京工业大学 | 一种基于隐式表达的安全帽配戴检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468992B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468992B (zh) | 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN103578119B (zh) | 基于超像素的Codebook动态场景中目标检测方法 | |
| Moslemi et al. | Driver distraction recognition using 3d convolutional neural networks | |
| CN111582095B (zh) | 一种轻量级行人异常行为快速检测方法 | |
| CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN111611895B (zh) | 一种基于OpenPose的多视角人体骨架自动标注方法 | |
| CN110032925A (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
| CN109325915A (zh) | 一种用于低分辨率监控视频的超分辨率重建方法 | |
| CN112966810B (zh) | 基于改进YOLOv5s的头盔检测方法、装置、电子设备和存储介质 | |
| CN106650615A (zh) | 一种图像处理方法及终端 | |
| CN113269133A (zh) | 一种基于深度学习的无人机视角视频语义分割方法 | |
| CN114463677A (zh) | 一种基于全局注意力的安全帽配戴检测方法 | |
| CN111832461A (zh) | 一种基于视频流的非机动车骑行人员头盔佩戴检测方法 | |
| CN116343144B (zh) | 一种融合视觉感知自适应去雾的实时目标检测方法 | |
| CN112101260A (zh) | 一种作业人员安全带识别方法、装置、设备和存储介质 | |
| CN114972208A (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| CN114842503A (zh) | 基于YOLOv5网络的头盔检测方法 | |
| CN112818840B (zh) | 无人机在线检测系统和方法 | |
| CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
| CN114612709A (zh) | 图像金字塔特征指导的多尺度目标检测方法 | |
| CN110647813A (zh) | 一种基于无人机航拍的人脸实时检测识别方法 | |
| Nie et al. | Analysis on DeepLabV3+ performance for automatic steel defects detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |