CN112084838A

CN112084838A - 一种车间安全帽检测方法

Info

Publication number: CN112084838A
Application number: CN202010701380.7A
Authority: CN
Inventors: 谢尚旋; 江金芳
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2020-12-15
Anticipated expiration: 2040-07-20
Also published as: CN112084838B

Abstract

本发明公开了一种车间安全帽检测方法。该方法首先通过获取车间场景的图像，并对获取到的图像进行预处理，接着通过对现有目标检测模型中特征提取网络进行改良后运用到对图像中人体头部的检测与分类，获得图像中每个人体头部的位置信息和分类信息，并判断每个人体的头部是否佩戴安全帽，将结果以及头部位置在图像中进行标注。该方法运用经特征金字塔网络FPN改良后的目标检测模型SSD进行头部检测以及分类，能够加强对不同尺度目标的识别效果，实现高精度且快速的安全帽检测。

Description

一种车间安全帽检测方法

技术领域

本发明涉及一种车间安全帽检测方法，属于深度学习，计算机视觉领域。

背景技术

目前也有部分神经网络模型在安全帽检测系统实现了落地运用，其中效果较好的有SSD模型。但SSD模型在检测中还是存在弊端：由于其特征提取部分只是对特征进行简单的缩放，但却与原尺度中的特征信息关联较少，在检测不同尺度的安全帽时，精度依旧有待提高。

发明内容

本发明针对现有SSD模型检测存在精度较低的问题，提出了一种车间安全帽检测方法。

本发明通过按帧率获取车间的监控视频图像，对视频图像进行相应的预处理操作，为检测模型的训练提供训练数据，且易于工作人员头部的检测。输入图像后运用经特征金字塔网络FPN改良后的特征提取网络获取基于该图像的多尺度特征。在多尺度特征之上，运用基于多尺寸先验框的SSD检测模型,经过分类网络层和位置回归网络层的计算，得到最终对于图像中工作人员是否佩戴安全帽的判别。

本发明具体实现的方法，包括以下步骤：

步骤(1)：图像预处理，对获取的图像进行一定的预处理，更易于模型检测与训练；

步骤(2)：特征提取网络，在原本的特征提取网络Resnet-101网络后构建特征金字塔网络FPN以获得多尺度的图像特征；

步骤(3)：安全帽检测，获取不同尺度下的图像特征运用SSD模型进行安全帽的检测；

具体的，步骤(1)中图像预处理包括以下步骤：

步骤(1-1)：训练图像预标注，对每一张图像中佩戴了安全帽的工作人员的头部进行人工勾画标注，并将头部坐标统一记录以供头部检测模型的训练。

步骤(1-2)：输入图像的尺度变化处理，将输入的图像统一缩放至分辨率为300×300的大小。

步骤(1-3)：图像增强处理，对经过尺度变化处理后的图像进行随机的翻转，平移，旋转等操作。

步骤(1-4)：测试图像预处理，由于测试图像是用于模型测试模型效果的，因此不需要对其进行标注，只需要进行步骤1-2中的尺度变化处理即可。

具体的，步骤(2)中特征提取网络是在模型原本的特征提取网络的基础上加入特征金字塔网络进行改良后，实现多尺度的图像特征的提取，包括以下步骤：

步骤(2-1)：输入图像，将经过预处理的图像输入到特征提取网络。

步骤(2-2)：提取特征，运用预训练的Resnet-101网络对输入图像进行特征提取。

步骤(2-3)：图像特征多尺度化，将Resnet-101网络中最后一层的第2，3，4，5层卷积层作为多尺度图像特征输出。

步骤(2-4)：特征降维，以上多尺度图像特征再通过以1×1大小的卷积核的卷积运算进行图像特征的降维以减小之后的计算量以及内存空间。

步骤(2-5)：特征上采样，对步骤1-3输出的多尺度特征进行自上而下的最近邻算法的上采样从而进行尺度的扩展。

设扩展后的图像中像素点坐标(x,y)，分辨率为new_h×new_w，原图分辨率h×w,原图像素值f₀(x,y),通过向后映射计算：

扩展后像素值f(x,y)＝f₀(h/new_h×h,w/new_w×w)

步骤(2-6)：特征侧连接合成，将步骤2-5中扩展后的多尺度特征与步骤1-4中降维后的特征进行按位相加，再通过以3×3大小的卷积核的卷积运算进行整合，得到最终的多尺度特征。

具体的，步骤(3)中运用高精度且快速的目标检测模型进行头部检测，在本发明中采用的是SSD模型，包括以下步骤：

步骤(3-1)：建立先验框，根据原模型先验框尺寸定义方法，定义各个尺度的特征图上以每个像素点为中心生成的先验框数目及大小。

步骤(3-2)：构建检测模型，检测模型包括分类网络层和位置回归网络层。根据每一尺度的特征图的输出通道，构建卷积核大小为3×3的分类层和位置回归层。

步骤(3-3)：检测目标，将先前获得的多尺度特征输入到网络模型中计算各个先验框对于实际目标的偏移以及其类别的判断，实现对图像中的工作人员是否佩戴安全帽的检测。

步骤(3-4)：精简检测结果，检测结果再经非极大值抑制，保留相似结果中置信度更高的结果框，去除其余结果框以精简检测结果。

步骤(3-5)：检测结果可视化，将各个工作人员头部位置以方框形式绘制在原图像上并标注其是否佩戴安全帽。

本发明中优选步骤(2)所述原本的特征提取网络为Resnet-101，但不限于Resnet-101。若经测试得出效果更好的特征提取网络，可用于替换Resnet-101网络，但相应的特征金字塔网络提取的网络层也需做出相应调整。

本发明的有益效果在于：

本发明方法中运用的算法则是采用FPN网络，在缩放的同时还与缩放前的特征进行结合，以替代SSD中的特征提取部分，从而对SSD模型进行了优化，在保证了检测速度并没有被影响的前提下，提升了在车间中工人较多且位置分布广的情况下系统检测的精度，以提供更高效智能的检测功能，保证安全帽检测系统极高的实时性和精确性，以防未佩戴安全帽的安全隐患发生。

附图说明

图1是系统的流程图。

图2是特征金字塔网络FPN的原理示意图。

图3是改进后的SSD检测模型结构图。

图4是对测试图像进行尺度变换图，其中4a为测试图像原图，4b为尺度变换处理后的测试图像。

图5是输入一张图像的检测结果示意图。

具体实施方式

为了使本发明的原理及技术方案更加清晰易懂，结合以下实例和附图对本发明作进一步阐述。所举实例仅用于解释本发明的技术方案，而不能以此来限制本发明的应用。

参照图1和图3，一种车间安全帽检测方法，包括以下步骤：

步骤(1)：图像预处理，对获取的图像进行一定的预处理，更易于模型检

测与训练，具体如下：

步骤(1-4)：测试图像预处理，由于测试图像是用于模型测试模型效果的，因此不需要对其进行标注，只需要进行1.2中的尺度变化处理即可。

步骤(2)：特征提取网络，在原本的特征提取网络Resnet-101网络后构建特征金字塔网络FPN，结构图见图2，以获得多尺度的图像特征，具体如下：

步骤(2-5)：特征上采样，对步骤(2-3)输出的多尺度特征进行自上而下的最近邻算法的上采样从而进行尺度的扩展。

扩展后像素值f(x,y)＝f₀(h/new_h×h,w/new_w×w)

步骤(2-6)：特征侧连接合成，将步骤(2-5)中扩展后的多尺度特征与步骤(2-4)：中降维后的特征进行按位相加，再通过以3×3大小的卷积核的卷积运算进行整合，得到最终的多尺度特征。

步骤(3)：安全帽检测，获取不同尺度下的图像特征运用SSD模型进行安全帽的检测，具体如下：

实施例1

如图4所示，本实施例选用一张车间中的图像进行仿真检测，具体如下：

输入图像：将选用的图像输入到模型中，如图4a所示，原图中有6位戴安全帽的车间工人。

步骤(1)：图像预处理，由于此图像为测试图像，因此只需要对其进行尺度变换处理。如图4b所示。

步骤(2)：特征提取，尺度变换后的图像输入到Resnet-101的特征金字塔网络FPN进行多尺度的特征提取。

步骤(3)：安全帽检测，检测模块采用SSD的检测部分，将前一部分的多个特征图分别进行目标的分类和位置的回归，最后获得检测结果。

步骤(3-1)：建立先验框，根据原模型先验框尺寸定义方法，定义各个尺度的特征图上以每个像素点为中心生成的先验框数目及大小，如表1所示。再根据不同的长宽比，从而确定各个长宽不同的先验框。

表1

特征图	尺寸	每个中心像素点产生的先验框数目
			原图	30	4
Conv_3	60	6
			Conv_4	111	6
Conv_5	162	6

步骤(3-5)：输出结果，根据检测结果的坐标和类别，用方框在图像中进行表示，最后将图像输出。最后结果如图5所示。

实施例2

使用开源大型数据集MS COCO的验证集对基于SSD改进的各个算法，模型进行测试对比，实验结果如表2所示。

表2

(1)平均精度：本方法中使用的算法在检测各个尺寸目标时的平均精度均高于原始的SSD模型，本发明提出的算法检测小尺寸、中尺寸和大尺寸目标的精度分别为8.7％，29.2％，42.2％，而原始SDD模型的精度分别为6.6％，25.9％，41.4％。

(2)召回率：本方法使用的算法在检测小目标及中尺寸目标时的召回率明显优于SSD，本发明提出的算法检测小尺寸和中尺寸目标的召回率分别为15.9％，44.2％，而原始SSD模型的召回率分别为11.2％,40.4％；本算法在检测大尺寸目标时的召回率与SSD对比近乎是相同的，这是由于SSD模型仅是对不同尺度下的特征进行检测，由于高层的网络层提取的特征信息较多，有利于大尺度目标检测，而本算法旨在将原低层的特征信息与经下采样后的信息进行特征融合，丰富原低层提取的特征信息以提升对小尺度目标的检测效果。

(3)运行速度：SSD的其他改进模型有DSOD和DSSD。DSSD模型通过改变特征提取网络，引入了反卷积层提高模型对小目标的分类效果，而DSOD最主要的贡献是在于采用DenseNet的密集层次连接改进SSD，提出了可以从零开始训练的模型，而并非采用大多数模型中常用的迁移学习。本发明以画面每秒传输帧数对比四个算法模型的运行速度，本方法使用的算法具有明显的优势，其测试的运行速度为35.7fps，而DSOD与DSSD的运行速度过于缓慢——分别为17.4fps，5.5fps，但DSOD与DSSD在检测精度上优于本发明提出的算法。

由于车间安全帽检测场景的特殊性，通常要求检测算法的实时性和准确性，且需要能够对不同尺度目标进行检测。由于本算法使用了特征金字塔结构的特征提取网络对多尺度的特征进行融合并采用了SSD模型中多边框检测的检测方式，本算法在对中、小目标的检测的表现、整体的精度以及运行速度的表现上超过了大多数的模型，同时本算法可以保证在精度影响较小的前提下大大提升运行速度，保证了安全帽检测的实时性与准确性。因而综合实验结果，本方法使用的算法在检测精度与运行速度之间可以取得较好的平衡，比较适用于车间安全帽检测的应用场景。

Claims

1.一种车间安全帽检测方法，用于检测车间工作人员是否佩戴安全帽，其特征在于，包括以下步骤：

步骤(1)：图像预处理，对获取的图像进行一定的预处理，更易于检测与训练；

步骤(2)：特征提取网络，在原本的特征提取网络的基础上构建特征金字塔网络FPN以获得多尺度的图像特征；

步骤(3)：安全帽检测，获取不同尺度下的图像特征运用SSD模型进行安全帽检测。

2.根据权利要求1所述的一种车间安全帽检测方法，其特征在于：步骤(1)所述的图像预处理具体包括以下步骤：

步骤(1-1)：训练图像预标注，对每一张图像中佩戴了安全帽的工作人员的头部进行人工勾画标注，并将头部坐标统一记录以供头部检测模型的训练；

步骤(1-2)：输入图像的尺度变化处理，将输入的图像统一缩放至分辨率为300×300的大小；

步骤(1-3)：图像增强处理，对经过尺度变化处理后的图像进行随机的翻转、平移和旋转操作；

步骤(1-4)：测试图像预处理，由于测试图像是用于模型测试模型效果的，因此不需要对其进行标注，只需要进行步骤(1-2)中的尺度变化处理即可。

3.根据权利要求1所述的一种车间安全帽检测方法，其特征在于：步骤(2)所述原本的特征提取网络为Resnet-101。若经测试得出效果更好的特征提取网络，可用于替换Resnet-101网络，但相应的特征金字塔网络提取的网络层也需做出相应调整。

4.根据权利要求1所述的一种车间安全帽检测方法，其特征在于：步骤(2)具体包括以下步骤：

步骤(2-1)：输入图像，将经过预处理的图像输入到特征提取网络；

步骤(2-2)：提取特征，运用预训练的Resnet-101网络对输入图像进行特征提取；

步骤(2-3)：图像特征多尺度化，将Resnet-101网络中最后一层的第2，3、4、5层卷积层作为多尺度图像特征输出；

步骤(2-4)：特征降维，以上多尺度图像特征再通过以1×1大小的卷积核的卷积运算进行图像特征的降维以减小后续计算量以及内存空间；

步骤(2-5)：特征上采样，对步骤(2-3)输出的多尺度特征进行自上而下的最近邻算法的上采样从而进行尺度的扩展；

扩展后像素值f(x,y)＝f₀(h/new_h×h,w/new_w×w)

步骤(2-6)：特征侧连接合成，将步骤(2-5)中扩展后的多尺度特征与步骤(2-4)中降维后的特征进行按位相加，再通过以3×3大小的卷积核的卷积运算进行整合，得到最终的多尺度特征。

5.根据权利要求1所述的一种车间安全帽检测方法，其特征在于：步骤(3)中采用的是SSD模型，具体包括以下步骤：

步骤(3-1)：建立先验框，根据原模型先验框尺寸定义方法，定义各个尺度的特征图上以每个像素点为中心生成的先验框数目及大小；

步骤(3-2)：构建检测模型，检测模型包括分类网络层和位置回归网络层；根据每一尺度的特征图的输出通道，构建卷积核大小为3×3的分类层和位置回回归层；

步骤(3-3)：检测目标，将先前获得的多尺度特征输入到网络模型中计算各个先验框对于实际目标的偏移以及其类别的判断，实现对图像中的工作人员是否佩戴安全帽的检测；

步骤(3-4)：精简检测结果，检测结果再经非极大值抑制，保留相似结果中置信度更高的结果框，去除其余结果框以精简检测结果；