CN113468992B - 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 - Google Patents

基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 Download PDF

Info

Publication number
CN113468992B
CN113468992B CN202110687183.9A CN202110687183A CN113468992B CN 113468992 B CN113468992 B CN 113468992B CN 202110687183 A CN202110687183 A CN 202110687183A CN 113468992 B CN113468992 B CN 113468992B
Authority
CN
China
Prior art keywords
feature extraction
feature
layer
feature map
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110687183.9A
Other languages
English (en)
Other versions
CN113468992A (zh
Inventor
吴浩
李天宇
陈明举
毛艳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202110687183.9A priority Critical patent/CN113468992B/zh
Publication of CN113468992A publication Critical patent/CN113468992A/zh
Application granted granted Critical
Publication of CN113468992B publication Critical patent/CN113468992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,属于机器视觉技术领域,获取施工现场安全帽图片检测训练集;构建安全帽检测轻量化卷积神经网络;将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练;利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。本发明提出的安全帽检测轻量化卷积神经网络,检测速度快,在参数量与计算量上得到了大幅度降低,并且能够实现不同距离安全帽目标的准确检测,解决了实际施工现场安全帽佩戴检测的实时性需求以及用于嵌入式设备的问题。

Description

基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法
技术领域
本发明属于机器视觉技术领域,尤其涉及一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法。
背景技术
在施工环境中,施工人员佩戴安全帽可以有效避免或减小安全事故的伤害。通过人工巡检监控视频实现安全帽佩戴检测费时费力,且容易造成误检和漏检。利用机器视觉技术实现对施工现场工作人员是否佩戴安全帽进行检测,可有效地代替人工巡检,提高识别的精度,避免安全事故的发生。
传统的安全帽检测主要通过提取目标的几何、颜色等特征进行对比识别,例如利用肤色检测实现人头区域的定位,再采用SVM分类器对安全帽的Hu矩特征进行识别;利用混合高斯模型和连通区域处理来定位人体头部是否存在安全帽;结合局部二值模式直方图、梯度直方图和颜色特征,再利用SVM对安全帽进行检测。但是基于目标图像特征提取的传统检测方法对变化多样的实际环境检测能力有限。
近年来,基于深度学习的目标检测技术随着卷积神经网络的大力发展,有效的得到了实现,其较强的泛化能力能够针对绝大多数不同的环境进行安全帽佩戴检测。目前,基于深度学习的目标检测技术主要为基于区域建议和基于回归策略的目标检测网络。基于区域建议的目标检测网络代表性算法有Faster RCNN、Mask RCNN;基于回归策略的单阶段目标检测网络代表性算法有YOLO系列和SSD。然而,利用卷积神经网络进行安全帽检测对硬件的计算性能要求较高,在实际的应用中,由于移动和嵌入式设备的计算能力和内存有限,无法达到目前大多数卷积神经网络的计算性能。所以这些主流的检测算法很难在移动和嵌入式设备上得到较为广泛的应用。因此,根据移动式平台的需求,一系列用于图像分类的轻量级卷积神经网络被提出,如Xception、MobileNet系列和Shuffle-Net系列。
利用深度可分离卷积来改进Darknet53网络,极大的减少了主干网络的参数量,但是由于为了提高检测精度,其将Inception结构应用至检测网络,在一定程度上增加了参数量,未达到嵌入式环境部署的要求;根据yolov4-Tiny算法使用GhostNet模块重新构建主干特征提取网络,降低了模型的参数量,使其更容易部署在嵌入式设备上,但是其对检测精度没有提升。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,解决了目前基于深度学习的安全帽模型参数量太大,无法部署在嵌入式设备上的问题。
为了达到以上目的,本发明采用的技术方案为:
本方案提供一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,包括如下步骤:
S1、获取施工现场安全帽图片检测训练集;
S2、构建安全帽检测轻量化卷积神经网络;
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练;
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
进一步地,所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
上述方案的有益效果为:将训练集图像归一化为416×416尺度大小,相较于原始YOLOv4目标检测网络的尺度大小为608×608图像输入需要的计算量更少。
进一步地,所述步骤S2包括如下步骤:
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络;
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端;
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层,形成特征金字塔网络NPANet,完成安全帽检测轻量化卷积神经网络构建。
进一步地,所述Mobilenetv1轻量化网络采用直筒结构,并根据用于降低网络参数量的3×3深度可分离卷积层,以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
进一步地,所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
进一步地,所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
进一步地,所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下:
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取,且分别将三种尺度特征图输入至所述特征金字塔网络NPANet;
A2、利用所述特征金字塔网络NPANet对所述三种不同尺度的特征图进行特征提取,并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块;
A3、利用YOLO Head结果预测模块输出最终特征图,并利用logist回归对最终特征图上的先验框进行非极大值筛选评分,且得到预测结果,完成安全帽检测轻量化卷积神经网络单次训练。
进一步地,所述步骤A2中利用所述特征金字塔网络NPANet特征提取的方法的步骤如下:
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取,得到深层特征图特征提取结果,并将深层特征图特征提取结果输入第一空间金字塔模块SPP1;
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理,得到深层最大池化结果,并利用3层卷积模块Conv x3对最大池化结果进行特征提取,得到深层最大池化特征提取结果;
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合,得到第一中层融合特征图,并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取,得到第一中层融合特征图特征提取结果;
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理,得到中层最大池化结果,并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取,得到中层最大池化特征提取结果;
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合,得到浅层融合特征图,并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取,得到浅层融合特征图特征提取结果;
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化,得到浅层最大池化结果,并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取,得到浅层最大池化特征提取结果;
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图,并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取,得到第二中层融合特征图特征提取结果;
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合,得到深层融合特征图,并利用5层卷积模块Conv x5对深层融合特征图进行特征提取,得到深层融合特征图特征提取结果,完成对所述三种不同尺度的特征图的特征提取。
进一步地,所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
本发明的有益效果:
(1)、本发明提出的安全帽检测轻量化卷积神经网络相较于原始YOLOv4目标检测网络,在参数量与计算量上得到了大幅度降低,并且能够实现不同距离安全帽目标的准确检测,检测速度快,满足实际施工现场安全帽佩戴检测的实时性以及用于嵌入式设备的需求。
(2)、本发明采用的Mobilenetv1神经网络是针对移动和嵌入式设备而设计的一种轻量化卷积神经网络,其主要利用了深度可分离卷积来代替3×3标准卷积从而减少整个网络的参数量,相比于经典的卷积神经网络,其拥有更小的体积,更少的计算量以及较高的精度。
(3)、本发明采用的空间金字塔池化模块能够让卷积神经网络的输入图片不需要经过缩放、裁剪等操作就可以直接输入网络,且能分理出丰富的上下文信息,获得增强网络小目标的检测能力。
(4)、本发明采用的深度可分离卷积模块代替5层卷积模块Conv x5中的3×3的标准卷积,减少了主干特征提取网络的参数量,且利用深度可分离卷积能在很大程度上降低模型参数量以及计算量,并且在检测精度没有变化的情况下提高检测速率。
(5)、本发明利用空间金字塔模块进行最大池化操作不仅能够保持特征图的平移不变性,也能通过1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核这四种不同大小的池化核获得特征图的局部和全局信息,获得不同程度的感受野,有效的提高模型对安全帽的检测准确率。
附图说明
图1为本发明实施例中轻量化卷积神经网络的施工现场安全帽佩戴检测方法的步骤流程图。
图2为本发明实施例中安全帽检测轻量化卷积神经网络结构框图。
图3为本发明实施例中深度可分离卷积模块Depthblock_body的结构图。
图4为本发明实施例中3层卷积模块Conv x3的结构图。
图5为本发明实施例中5层卷积模块Conv x5的结构图。
图6为本发明实施例中Mbilenetv1轻量化网络的损失下降曲线。
图7为本发明实施例中实际的施工现场安全帽佩戴检测原始测试图。
图8为本发明实施例中利用安全帽检测轻量化卷积神经网络检测安全帽佩戴结果图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
有鉴于背景技术,本发明为解决目前基于深度学习的安全帽模型参数量太大,无法部署在嵌入式设备上的问题,如图1所示,本发明提供一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,包括如下步骤:
S1、获取施工现场安全帽图片检测训练集;
S2、构建安全帽检测轻量化卷积神经网络;
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练;
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
如图2所示,所述步骤S2包括如下步骤:
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络;
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端;
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层,形成特征金字塔网络NPANet,完成安全帽检测轻量化卷积神经网络构建。
如图3所示,所述Mobilenetv1轻量化网络采用直筒结构,并根据用于降低网络参数量的3×3深度可分离卷积层,以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下:
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取,且分别将三种尺度特征图输入至所述特征金字塔网络NPANet;
A2、利用所述特征金字塔网络NPANet对所述三种不同尺度的特征图进行特征提取,并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块;
A3、利用YOLO Head结果预测模块输出最终特征图,并利用logist回归对最终特征图上的先验框进行非极大值筛选评分,且得到预测结果,完成安全帽检测轻量化卷积神经网络单次训练。
所述步骤A2中利用所述特征金字塔网络NPANet特征提取的方法的步骤如下:
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取,得到深层特征图特征提取结果,并将深层特征图特征提取结果输入第一空间金字塔模块SPP1;
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理,得到深层最大池化结果,并利用3层卷积模块Conv x3对最大池化结果进行特征提取,得到深层最大池化特征提取结果;
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合,得到第一中层融合特征图,并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取,得到第一中层融合特征图特征提取结果;
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理,得到中层最大池化结果,并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取,得到中层最大池化特征提取结果;
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合,得到浅层融合特征图,并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取,得到浅层融合特征图特征提取结果;
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化,得到浅层最大池化结果,并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取,得到浅层最大池化特征提取结果;
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图,并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取,得到第二中层融合特征图特征提取结果;
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合,得到深层融合特征图,并利用5层卷积模块Conv x5对深层融合特征图进行特征提取,得到深层融合特征图特征提取结果,完成对所述三种不同尺度的特征图的特征提取。
所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
如图4所示,所述3层卷积模块Conv x3由依次连接的1×1卷积层、3×3卷积层和1×1卷积层构成,且3×3卷积层由深度可分离卷积模块Depthblock_body代替,减少参数量。
如图5所示,所述5层卷积模块Conv x5由依次连接的1×1卷积层、3×3卷积层、1×1卷积层、3×3卷积层和1×1卷积层构成,且其中所有3×3卷积均被深度可分离卷积模块Depthblock_body代替,减少参数量。
本发明的工作原理为:首先获取施工现场安全帽检测训练集;构建安全帽检测轻量化卷积神经网络;将所述施工现场安全帽检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练;将训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
在本发明的一个实用实例中,普通卷积的参数量WSC与深度可分离卷积的参数量WDSC的表达式分别如下:
WSC=M×M×C×K
WDSC=M×M×C+C×1×1×K
其中,M×M表示卷积核的大小,C表示输入的特征图像的通道数,K表示卷积核的个数。
普通卷积计算量SSC与深度可分离卷积计算量SDSC的表达式分别如下:
SSC=H×W×C×K×M×M
SDSC=H×W×C×M×M+H×W×C×K
其中,H表示输入的特征图像的长,W表示输入的特征图像的宽,M×M表示卷积核的大小,C表示输入的特征图像的通道数,K表示卷积核的个数。
深度可分离卷积对普通卷积参数量的压缩比HW与深度可分离卷积对普通卷积计算量的压缩比HS的表达式分别如下:
Figure BDA0003125026550000111
Figure BDA0003125026550000112
其中,WDSC表示深度可分离卷积的参数量,WSC表示普通卷积的参数量,K表示卷积核的个数,M×M表示卷积核的大小,SDSC表示深度可分离卷积计算量,SSC表示普通卷积计算量。
在本发明的另一个实用实例中,收集的安全帽检测训练集由施工现场图片及图片中的人头部分图像组成,通过labelimg标注出所有图像的目标区域及类别,将佩戴安全帽的标记为‘hat’,未佩戴安全帽的标记为‘person’;本实施例共爬取6600张图片作为数据集,其中6000张作为训练集,600张作为测试集。
为增加实验数据集的多样性以及防止安全帽检测轻量化卷积神经网络过拟合,训练前使用图像缩放、长宽扭曲、图像翻转、色域扭曲以及为图像多余部分增加灰条等操作对训练集进行预处理。
如图6所示,训练的输入图片尺寸设置为416x416,网络训练分两次进行,第一阶段训练冻结mobilenet主干部分,初始学习率(learning rate)设置为0.001,batch size设置为32,训练50轮,使用学习率下降策略,连续2轮验证集的损失值未改善,学习率将乘以0.5;第二阶段训练释放冻结部分微调模型,初始习率设置为0.0001,batchsize设置为8,训练50轮,使用学习率下降和提前终止策略,连续2轮验证集的损失值未改善,学习率将乘以0.5,连续10轮验证集损失未改变将提前中止训练;学习率、batch size以及训练轮数这样设置的原因在于,本次安全帽识别训练,借助了预训练参数;因此将训练分为两个阶段,第一阶段冻结主干部分是为了使模型收敛速度加快并保护预训练权重不被破坏,第二阶段是在模型训练相对平稳后,微调模型得到较好的训练效果。
本实施例分别从召回率(Recall)、平均精确率(AP)、平均精确率均值(mAP)、检测速度(FPS)以及模型参数量来对本实施例提供的安全帽检测轻量化卷积神经网络进行评估,评估结果如表1所示:
表1
Figure BDA0003125026550000121
如图7和图8所示,在YOLOv4框架下,使用SPP空间金字塔池化模块,可以看出主干网络使用MobileNetv1时平均精确率值达到70.97%,由图8中的召回率可知,以MobileNetv1为主干网络的佩戴安全帽和未佩戴安全帽的召回率最高分别为82.23%、51.94%,说明网络对于佩戴安全帽的类检测的效果更好,这可能是由于佩戴安全帽和未佩戴安全帽两种类别的数据集造成的原因;在参数量方面,本实施例提供的安全帽检测轻量化卷积神经网络的参数量仅为48.8MB,相较于原本YOLOv4的245MB参数量做到了很大程度的降低,轻量化效果很好,满足嵌入端的要求;在检测速度方面本实施例提供的安全帽检测轻量化卷积神经网络的检测速度高达40frame/s,满足实时性检测要求。

Claims (7)

1.一种基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,包括如下步骤:
S1、获取施工现场安全帽图片检测训练集;
S2、构建安全帽检测轻量化卷积神经网络;
所述步骤S2包括如下步骤:
S21、利用Mobilenetv1轻量化网络代替YOLOv4目标检测网络中的CSPDarknet53主干特征提取网络;
S22、分别将第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3由深层到浅层对应嵌入所述Mobilenetv1轻量化网络输出的三种尺度特征图输出端;
S23、利用深度可分离卷积模块Depthblock_body代替特征金字塔网络PANet中的所有5层卷积模块Conv x5中的3×3的标准卷积层,形成特征金字塔网络NPANet,完成安全帽检测轻量化卷积神经网络构建;
利用所述特征金字塔网络NPANet特征提取的方法的步骤如下:
B1、利用3层卷积模块Conv x3对深层特征图进行特征提取,得到深层特征图特征提取结果,并将深层特征图特征提取结果输入第一空间金字塔模块SPP1;
B2、利用第一空间金字塔模块SPP1对深层特征图特征提取结果的做最大池化处理,得到深层最大池化结果,并利用3层卷积模块Conv x3对最大池化结果进行特征提取,得到深层最大池化特征提取结果;
B3、将深层最大池化特征提取结果进行上采样后与中层特征图进行Concat融合,得到第一中层融合特征图,并利用3层卷积模块Conv x3对第一中层融合特征图进行特征提取,得到第一中层融合特征图特征提取结果;
B4、利用第二空间金字塔模块SPP2对第一中层融合特征图特征提取结果做最大池化处理,得到中层最大池化结果,并利用3层卷积模块Conv x3对中层最大池化结果进行特征提取,得到中层最大池化特征提取结果;
B5、将中层最大池化特征提取结果进行上采样后与浅层特征图进行Concat融合,得到浅层融合特征图,并利用3层卷积模块Conv x3对浅层融合特征图进行特征提取,得到浅层融合特征图特征提取结果;
B6、利用第三空间金字塔模块SPP3对浅层融合特征图特征提取结果做最大池化,得到浅层最大池化结果,并利用3层卷积模块Conv x3对浅层最大池化结果进行特征提取,得到浅层最大池化特征提取结果;
B7、将浅层最大池化特征提取结果进行下采样后与中层最大池化特征提取结果进行Concat融合得到第二中层融合特征图,并利用5层卷积模块Conv x5对第二中层融合特征图进行特征提取,得到第二中层融合特征图特征提取结果;
B8、将第二中层融合特征图特征提取结果下采样与深层最大池化特征提取结果进行Concat融合,得到深层融合特征图,并利用5层卷积模块Conv x5对深层融合特征图进行特征提取,得到深层融合特征图特征提取结果,完成对所述三种不同尺度的特征图的特征提取;
S3、将所述施工现场安全帽图片检测训练集经预处理后输入到构建的安全帽检测轻量化卷积神经网络进行训练;
S4、利用训练好的安全帽检测轻量化卷积神经网络用于实际的施工现场安全帽佩戴检测。
2.根据权利要求1所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述施工现场安全帽检测训练集包括若干张尺度大小为416×416的施工现场安全帽图集。
3.根据权利要求1所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述Mobilenetv1轻量化网络采用直筒结构,并根据用于降低网络参数量的3×3深度可分离卷积层,以及用于进行通道的融合与调整的1×1点卷积层构成深度可分离卷积模块Depthblock_body。
4.根据权利要求1所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述第一空间金字塔模块SPP1、第二空间金字塔模块SPP2和第三空间金字塔模块SPP3均包括用于对三种尺度特征图分别进行最大池化的1×1的池化核、5×5的池化核、9×9的池化核、13×13的池化核以及用于对尺度特征图通道融合的concat函数。
5.根据权利要求1所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述三种尺度特征图分别为52×52的浅层特征图、26×26的中层特征图以及13×13的深层特征图。
6.根据权利要求5所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述步骤S3中安全帽检测轻量化卷积神经网络单次训练的步骤如下:
A1、将训练集输入至Mobilenetv1轻量化网络进行特征提取,且分别将三种尺度特征图输入至所述特征金字塔网络NPANet;
A2、利用所述特征金字塔网络NPANet对三种不同尺度的特征图进行特征提取,并将特征金字塔网络NPANet的特征提取结果输入至YOLO Head结果预测模块;
A3、利用YOLO Head结果预测模块输出最终特征图,并利用logist回归对最终特征图上的先验框进行非极大值筛选评分,且得到预测结果,完成安全帽检测轻量化卷积神经网络单次训练。
7.根据权利要求6所述的基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法,其特征在于,所述特征金字塔网络NPANet的特征提取结果包括浅层最大池化特征提取结果、第二中层融合特征图特征提取结果和深层融合特征图特征提取结果。
CN202110687183.9A 2021-06-21 2021-06-21 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法 Active CN113468992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687183.9A CN113468992B (zh) 2021-06-21 2021-06-21 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687183.9A CN113468992B (zh) 2021-06-21 2021-06-21 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法

Publications (2)

Publication Number Publication Date
CN113468992A CN113468992A (zh) 2021-10-01
CN113468992B true CN113468992B (zh) 2022-11-04

Family

ID=77868975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687183.9A Active CN113468992B (zh) 2021-06-21 2021-06-21 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法

Country Status (1)

Country Link
CN (1) CN113468992B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989852B (zh) * 2021-11-12 2024-06-04 重庆邮电大学 一种轻量化YOLOv4的建筑工地安全帽佩戴检测方法及装置
CN114283469B (zh) * 2021-12-14 2022-09-23 贵州大学 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN114463676A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种基于隐式表达的安全帽配戴检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321874A (zh) * 2019-07-12 2019-10-11 南京航空航天大学 一种轻量化的卷积神经网络行人识别方法
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法
CN111178206A (zh) * 2019-12-20 2020-05-19 山东大学 一种基于改进yolo的建筑预埋件检测方法及系统
CN111754498A (zh) * 2020-06-29 2020-10-09 河南科技大学 一种基于YOLOv3的传送带托辊检测方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112329721A (zh) * 2020-11-26 2021-02-05 上海电力大学 一种模型轻量化设计的遥感小目标检测方法
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112767711A (zh) * 2021-01-27 2021-05-07 湖南优美科技发展有限公司 一种多类别多尺度多目标抓拍方法及系统
CN112906654A (zh) * 2021-03-29 2021-06-04 杭州电力设备制造有限公司 基于深度学习算法的防震锤检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287849B (zh) * 2019-06-20 2022-01-07 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN112464701B (zh) * 2020-08-26 2023-06-30 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321874A (zh) * 2019-07-12 2019-10-11 南京航空航天大学 一种轻量化的卷积神经网络行人识别方法
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法
CN111178206A (zh) * 2019-12-20 2020-05-19 山东大学 一种基于改进yolo的建筑预埋件检测方法及系统
CN111754498A (zh) * 2020-06-29 2020-10-09 河南科技大学 一种基于YOLOv3的传送带托辊检测方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112329721A (zh) * 2020-11-26 2021-02-05 上海电力大学 一种模型轻量化设计的遥感小目标检测方法
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112767711A (zh) * 2021-01-27 2021-05-07 湖南优美科技发展有限公司 一种多类别多尺度多目标抓拍方法及系统
CN112906654A (zh) * 2021-03-29 2021-06-04 杭州电力设备制造有限公司 基于深度学习算法的防震锤检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"YOLOv4口罩检测算法的轻量化改进";叶子勋 等;《计算机工程与应用》;20210605;第1-20页 *
"基于改进YOLOv4算法的轻量化网络设计与实现";孔维刚 等;《计算机工程》;20210430;第1-11页 *
"基于轻量化YOLOv4的发电机定子表面缺陷检测算法";张凯 等;《计算机与数字工程》;20210430;第49卷(第4期);第686-691、710页 *
"改进SSD的安全帽佩戴检测方法";肖体刚 等;《四川轻化工大学学报》;20200831;第33卷(第4期);第68-76页 *
"改进YOLOv3的安全帽佩戴检测方法";肖体刚 等;《计算机工程与应用》;20210207;第1-14页 *
"轻量化高精度卷积神经网络的安全帽识别方法";陈柳 等;《计算机工程与应用》;20201026;第1-9页 *

Also Published As

Publication number Publication date
CN113468992A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113468992B (zh) 基于轻量化卷积神经网络的施工现场安全帽佩戴检测方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN110135375A (zh) 基于全局信息整合的多人姿态估计方法
CN111582095B (zh) 一种轻量级行人异常行为快速检测方法
CN112487922B (zh) 一种多模态人脸活体检测方法及系统
CN107944399A (zh) 一种基于卷积神经网络目标中心模型的行人重识别方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN111611895B (zh) 一种基于OpenPose的多视角人体骨架自动标注方法
CN110555875A (zh) 瞳孔半径的检测方法、装置、计算机设备和存储介质
CN109447066B (zh) 一种快速精确的单阶段目标检测方法及装置
CN110110755A (zh) 基于ptgan区域差距与多重分支的行人重识别检测算法及装置
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
CN111832461A (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN109344909A (zh) 一种基于多通道卷积神经网络的身份识别方法
CN111582092A (zh) 一种基于人体骨架的行人异常行为检测方法
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN115462783A (zh) 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
CN113887494A (zh) 用于嵌入式平台的实时高精度人脸检测识别系统
CN116503725A (zh) 红外弱小目标实时检测方法及装置
CN115761618A (zh) 一种重点场所安防监控图像识别方法
CN107862298A (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant