CN110502965B - 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，包括以下步骤：S100根据实时多人姿态估计算法模型OpenPose检测并输出图像中的所有个体的身体骨架姿态；S200根据深度学习目标检测算法模型YOLOv3检测出图像中的工人与安全帽，以两类矩形边框分别进行标识和输出；S300整合两种算法模型，根据两类矩形边框的交面比、以及安全帽矩形边框的对角线长度和人物面部中心点到安全帽中心点长度的比对，判断图中工人是否佩戴安全帽。本发明能够准确判断安全帽是否被正确佩戴，该方法逻辑流程清晰，检测速度快，对实时保障施工现场安全帽的有效佩戴，对维护施工人员的生命安全具有重要意义。

Description

一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测 方法

技术领域

本发明属于土木工程安全文明施工管理以及智能视频监控领域，特别是涉及一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法。

背景技术

土木工程施工需要大量人员参与，现场环境复杂，是一项风险较高的生产制造过程。安全帽可以显著缓冲物理撞击，降低头部损伤，有效保障施工人员的生命安全。然而，在施工作业中，时常出现施工人员未按照生产规范佩戴安全帽，形成安全隐患。因此，实时保障施工现场安全帽的有效佩戴，对维护施工人员的生命安全具有重要意义。基于人工的方法检测工人是否佩戴安全帽是在施工现场设置安全生产监督员，然而该方法自动化程度低，成本高昂，难以实现全场实时监测。自动化的监测方法有基于传感器的接触式监测和基于监控视频图像的非接触式监测。基于传感器的接触式监测，可以记录施工作业人员个人信息，方便管理，然而该方法硬件成本较高，佩戴舒适度欠佳，并且传感器容易受人为干扰损坏；基于监控视频图像的非接触式方法具有成本低、部署便捷的优点，施工人员无额外负担。早期的基于图像的安全帽佩戴检测方法主要使用传统图像处理和计算机视觉技术，使用如方向梯度直方图特征(Histogram of Oriented Gradients，HOG)特征、圆形霍夫变换(Circle Hough Transform，CHT)，或者单纯根据图像的RGB分量识别安全帽。这些传统方法依赖于提前裁剪出目标区域图像(即施工人员)，判别标准朴素，部分方法仅适用于直立人体，并且无法精确判断施工人员已经正确佩戴安全帽，或者只是将其拿在手里或放置在旁边，无法适应实际施工现场的复杂背景环境和施工人员行为。

近年来，以卷积神经网络为代表的深度学习凭借其强大的非线性特征学习能力在图像分类、目标检测等领域取得了一系列突破性研究成果，其中一些方法已应用于安全帽佩戴检测任务中。比如可将安全帽佩戴检测建模为目标检测任务，检测对象分为已佩戴安全帽施工人员和未佩戴安全帽施工人员，通过在视频图像中框选标注这两类对象制作数据集，随后使用该数据集训练一个目标检测神经网络。将施工现场图像输入给训练完成的神经网络即可实现安全帽佩戴的实时检测。然而，安全帽在目标中面积占比较小，两类目标的特征区分不明显，导致需要大量数据以供训练网络。

发明内容

本发明所要解决的问题是目前基于视频的施工人员安全帽佩戴检测方法的检测精度较低、检测原理较朴素，在实际的复杂施工现场和人体行为下容易失效的问题，因此提出了一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法。

本发明通过以下技术方案实现：一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，包括以下步骤：

S100根据实时多人姿态估计算法模型OpenPose检测并输出图像中的所有个体的身体骨架姿态；

S200根据深度学习目标检测算法模型YOLOv3检测出图像中的工人与安全帽，以两类矩形边框分别进行标识和输出；

S300整合两种算法模型，根据两类矩形边框的交面比、以及安全帽矩形边框的对角线长度和人物面部中心点到安全帽中心点长度的比对，判断图中工人是否佩戴安全帽。

进一步的，步骤S100中包括：

S110将一张图片输入到一个卷积神经网络，输出特征图；

S120将特征图分别输入级联网络结构中的两个分支中，并分别预测出一组关于身体各部分信息的二维置信度映射S^t，和一组关于身体各部分亲和度的二维向量场L^t；

S130通过S^t和L^t的信息，将所有的肢体与关键点结合起来，最终得到所有个体的身体骨架姿态。

进一步的，在步骤S100中，OpenPose采用PAF(部分亲和字段)机制检测得到所有个体的身体骨架姿态。

进一步的，所述身体骨架姿态中包含有若干个人体关键点，每个人体关键点即为一个身体关节部位。

进一步的，步骤S200中包括：

S220所述YOLOv3算法模型采用多尺度检测的方法，采用9个尺寸的先验框，为每种下采样尺度设定3种先验框；

S230在每个尺度上的特征图采样，并与不同尺度的特征图堆积；

S240通过卷积核的方式实现不同尺度特征图之间的局部特征融合；

S250在多个尺度的融合特征图上分别做独立检测，每个尺度特征图的对应的网格输出的是深度为3×(1+4+C)的张量，其中，3代表每个尺度网格3种先验框，1代表网格是否存在目标对象的置信度，4代表预测边框的坐标，C为目标检测任务的类别数量。

进一步的，在步骤S220前还包括：

S210采用leaky ReLU作为激活函数并且采用端到端的方法对YOLOv3算法模型进行训练。

进一步的，在步骤S300中包括：

S310将OpenPose算法模型检测出的身体骨架姿态的姿态关键点与YOLOv3算法模型检测出的人体边框匹配，所述人体边框包括身体矩形边框和安全帽矩形边框；

S320遍历人体边框中的所有安全帽矩形边框，然后寻找和当前人体边框交面比最大的安全帽矩形框，交面比表达公式如下：

其中，Area_hat表示安全帽占网格面积，Area_person表示工人占网格面积；

S330判断交面比是否0.2，若是，则认为该工人存在佩戴安全帽的可能性，并执行步骤S340；否则，认定该工人没有配搭安全帽；

S340在OpenPose算法模型检测出的身体骨架姿态的姿态关键点中提取五个五官关节点；

S350根据五个五官关节点计算得出他们的中心点坐标C作为人体的面部关节点，计算得出安全帽矩形框的中心点坐标D；

S360设安全帽矩形边框的对角线为AB，判断线段AB与线段CD的大小，若AB≤CD，则判定该工人佩戴了安全帽；若AB＞CD，则判定该工人没有佩戴安全帽。

进一步的，步骤S300后还包括：

S400若判定该工人没有佩戴安全帽，则在该工人四周输出红色人物边框；

S500自动警告施工人员及时佩戴安全帽。

本发明的有益效果在于：本发明的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，首先，改进并使用基于端到端的目标检测算法YOLOv3进行监控视频图像中安全帽的快速检测，同时使用OpenPose识别出图像中的所有人体并提取姿态。随后根据空间关系将安全帽与人体配对，并根据安全帽与人体头部关节点的空间位置关系判断安全帽是否被正确佩戴。该方法逻辑流程清晰，检测速度快，对实时保障施工现场安全帽的有效佩戴，对维护施工人员的生命安全具有重要意义。

附图说明

图1为本发明的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法的方法流程图；

图2为本发明的OpenPose原理图；

图3为本发明的人体姿态关键点示意图；

图4为特征图与先验框示意图，其中，图4(a)为13×13尺度特征图；图4(b)为26×26尺度特征图；图4(c)为52×52尺度特征图；

图5为判定工程帽是否戴在头上时的空间位置示意图；

图6为各类工程场景检测效果示意图，其中，图6(a)为建筑工程场景检测效果示意图；图6(b)为路桥工程场景检测效果示意图；图6(c)为地铁工程场景检测效果示意图。

图7为各类视野场景检测效果图，其中，图7(a)为近景检测效果图；图7(b)为中景检测效果图；图7(c)为远景检测效果图；

图8为统计评估指标示意图；

图9为检测系统检测效果图；

图10为C类数据检测结果；

图11为YOLOv3网络模型示意图；

图12为基于YOLOv3改进的配备密集连接机制的深度网络模型示意图；

图13为基于YOLOv3改进的配备密集连接机制的深度网络结构。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明提供一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，包括以下步骤：

S100根据实时多人姿态估计算法模型OpenPose检测并输出图像中的所有个体的身体骨架姿态；

S200根据深度学习目标检测算法模型YOLOv3检测出图像中的工人与安全帽，以两类矩形边框分别进行标识和输出；

S300整合两种算法模型，根据两类矩形边框的交面比、以及安全帽矩形边框的对角线长度和人物面部中心点到安全帽中心点长度的比对，判断图中工人是否佩戴安全帽。

具体的，本发明使用人体姿态估计算法检测施工人员的二维关节点与肢体的姿态图像，然后使用计算机视觉目标检测技术检测图像中的安全帽，通过评估面部关节点和安全帽的相对位置来判断工人是否真正佩戴安全帽。

在本部分优选实施例中，步骤S100中包括：

S110将一张图片输入到一个卷积神经网络，输出特征图；

S120将特征图分别输入级联网络结构中的两个分支中，并分别预测出一组关于身体各部分信息的二维置信度映射S^t，和一组关于身体各部分亲和度的二维向量场L^t；

S130通过S^t和L^t的信息，将所有的肢体与关键点结合起来，最终得到所有个体的身体骨架姿态。

在本部分优选实施例中，在步骤S100中，OpenPose采用PAF(部分亲和字段)机制检测得到所有个体的身体骨架姿态。。

具体的，网络结构流程如图2所示。首先将一张图片输入到一个卷积神经网络(该网络结构有VGG-19网络的前十层与两层CNN组成)，输出图像特征图,再将特征图输入Branch1(分支1)与Branch2(分支2)级联网络结构，网络结构有t个阶段组成，每个阶段由两个分支，分别预测输出一组关于身体部分关键点位置的二维置信度映射，和一组关于身体各部分亲和度S^t的二维向量场L^t。通过S^t和L^t的信息，将所有的肢体与关键点结合起来，最终得到所有个体的身体骨架姿态。本发明使用开源数据集COCO，该数据集的人体关键点标注如骨架如图3所示，每个关键点即为一个身体关节部位，对应关系如表4.1所示:

表4.1

参照图3所示，在本部分优选实施例中，所述身体骨架姿态中包含有若干个人体关键点，每个人体关键点即为一个身体关节部位。

具体的，如图3所示和表4.1所示，每个人体姿态关键点均有序号代指，在现实应用中，每个人体姿态关键点亦均有坐标表示形式。

在本部分优选实施例中，步骤S200中包括：

S220所述YOLOv3算法模型采用多尺度检测的方法，采用9个尺寸的先验框，为每种下采样尺度设定3种先验框；

S230在每个尺度上的特征图采样，并与不同尺度的特征图堆积；

S240通过卷积核的方式实现不同尺度特征图之间的局部特征融合；

S250在多个尺度的融合特征图上分别做独立检测，每个尺度特征图的对应的网格输出的是深度为3×(1+4+C)的张量，其中，3代表每个尺度网格3种先验框，1代表网格是否存在目标对象的置信度，4代表预测边框的坐标，C为目标检测任务的类别数量。输出的张量中带有类别和位置信息。

具体的，本发明的安全帽检测使用了端到端的深度学习目标检测算法YOLOv3，并进一步优化了模型，提高检测性能，实现在不影响实时监测速度的情况下，提高图像中安全帽小目标(远距离)的监测效果。YOLOv3网络模型如图11所示。

该网络的基本原理是通过划分单元格进行目标检测，如果某个目标对象的中心坐标落在某个单元格中，那么就由该网格来预测该对象类别。具体地说，该算法采用多尺度检测的方法，采用9个尺寸的先验框，为每种下采样尺度设定3种先验框，如图4(a)、图4(b)、图4(c)所示，其中蓝色框为聚类得到的先验框，黄色框是本发明标注的边框，红框是对象中心点所在的网格。在本实施例中，因为最小的13×13特征图，在原始图片中对应最大的感受野，所以应用较大的先验框，用来检测较大的对象。中等的26×26特征图上应用中等的先验框，用来检测中等大小的对象。较大的52×52特征图上应用较小的先验框，用来检测较小的对象，如图4(a)、图4(b)、图4(c)所示。

每个尺度上采样并与不同尺度的特征图堆积，而后通过卷积核(3×3和1×1)的方式实现不同尺度特征图之间的局部特征融合，融合了13×13、26×26和52×52这3个尺度，在多个尺度的融合特征图上分别独立做检测，每个尺度特征图的对应的网格输出的是深度为3×(1+4+C)的张量。其中3代表每个尺度网格3种先验框，1代表网格是否存在目标对象的置信度，4代表预测边框的坐标，C为目标检测任务的类别数量，由于本发明只需检测出施工人员与安全帽两类目标对象，所以此时C为2，输出张量的深度为21。

在本部分优选实施例中，在步骤S220前还包括：

S210采用带泄露线性整流函数leaky ReLU作为激活函数并且采用端到端的方法对YOLOv3算法模型进行训练。

具体的，模型采用leaky ReLU作为激活函数并且采用端到端的方法进行训练，训练过程只需要一个损失函数，仅需要关注输入端和输出端，其中，损失函数如公式1所示：

其中第一部分为边框中心点坐标的误差项，其中

表示判断第i个网格中第j个预测边框是否负责预测这个目标对象：与包含目标对象的真实边框的IOU值最大的预测边框负责该目标对象。第二部分为衡量边框的宽与高的误差项；第三部分为含有目标对象的预测边框置信度(Confidence)预测误差项，其中

的作用是判断是否存在目标对象的中心落在第i个网格中；第四部分为包含目标对象的网格预测分类误差项，不包含目标对象时该项为0；第五部分为不包含目标对象的预测边框置信度(Confidence)预测误差项。损失函数采用的是均方差损失，并且不同的部分相应分配不同的权重值。此外，λ_coord代表给bbox(边界框)坐标误差项分配的权重；S²代表在输入图中划分的网格个数，比如13×13，S即为13；B代表给每个网格分配的预测边框的个数；(x_i,y_i)是边界框中心点相对于第i个网格单元的横纵坐标，范围在(0,1)，

是从训练数据中得到的真实边界框中心点相对于第i个网格单元的横纵坐标，范围在(0,1)。(w,h)是边界框相对输入图像的宽和高，范围在(0,1)，

为从训练数据中得到的真实边界框相对输入图像的宽与高，范围在(0，1)；p_i(c)代表条件概率，表示第i个网格单元存在目标的前提下，属于第c个类别的概率。C_i表示第i个网格单元的置信度；Noobj代表边界框中不包含目标的情况。

本发明对针对施工现场环境复杂并且安全帽较小容易导致监测准确率较低的特点，本发明在目标维度聚类，多尺度检测以及密集连接机制三个方面优化了网络模型。

首先，一般YOLOv3模型中anchor(先验框)的个数是人为选定的，并未针对于工人与安全帽两类物体的几何形状特性进行优化。参照图12所示，本发明采用k-means聚类方法，根据训练集中标注的施工人员与安全帽目标对象真实边框宽高尺寸的特征，找到统计规律，聚类得到9种先验框替代YOLOv3模型中的先验框。随后，针对施工现场远景视野下的安全帽目标较小的特点，本发明加了第四个尺度检测部分，在上述实施例中，本发明设置了三个尺度，但在实际操作用，为了检测目标较小的安全帽，可以增加第四个尺度检测部分，同样在测试集中聚类得到12个先验框，并按按大小顺序分配到四个尺度上，得到四尺度检测模型。

最后，本发明借鉴了DenseNet网络模型，即每个层都会与前面所有层在维度上连接在一起，并作为下一层的输入，这样可以实现特征重用，提升效率。在网络结构中的跨尺度预测部分采用密集连接机制，将小尺度层，中尺度层与的大尺度层密集连接连接，并通过上采样处理将不同尺度层的特征图大小保持与预测输出尺度的特征图大小一致，解决不同层大小不一致的问题。为了充分利用不同层特征，做到特征重用，本发明除了在跨尺度预测部分采用密集连接不同的层，还将Darknt53特征提取网络中相应大小的特征图连接在一起，在不同尺度上输出预测。

参照图13所示，基于YOLOv3改进后的神经网络各层操作如下：

(1)最小尺度的预测层(13×13)：

输入：网络中第71层13×13，通道数为1024的特征图。

操作：对71层的13×13，通道数为1024的特征图进行一系列1×1与3×3的卷积操作，进行特征融合，保持特征图大小为13×13不变，输出张量通道数减少为21个；

输出：输出13×13大小的特征图，输出张量通道数为21个，然后在此输出张量基础上进行分类和定位回归。

(2)中尺度的预测层(26×26)：

输入：

a.对网络中第79层的13×13，通道数为512的特征图进行卷积操作，生成13×13，通道数为256的特征图，然后进行2倍上采样，生成26×26，通道数为256的特征图；

b.网络中第61层26×26，通道数为512的特征图。

将a，b所得特征图连接在一起，生成26×26，通道数为768的特征图。

操作：对87层的26×26，通道数为512的特征图进行一系列1×1与3×3的卷积操作，进行特征融合，保持特征图大小为26×26不变，输出张量通道数减少为21个。

输出：输出26×26大小的特征图，输出张量通道数为21个，然后在此输出张量基础上进行分类和定位回归。

(3)大尺度预测层(52×52)：

输入：

a.对网络中第91层的26×26，通道数为256的特征图进行卷积操作，生成52×52，通道数为128的特征图，然后进行2倍上采样，生成52×52，通道维数为128的特征图；

b.将网络中第79层的13×13，通道数为256的特征图进行卷积操作，生成52×52，通道数为128的特征图。然后进行4倍上采样，生成52×52，通道数为128的特征图；

c.网络中第36层52×52，通道数为256的特征图。

将a，b，c所得特征图连接在一起，生成52×52，通道数为512的特征图。

操作：对102层的52×52，通道数为512的特征图进行一系列1×1与3×3的卷积操作，进行特征融合，保持特征图大小为52×52不变，输出张量通道数减少为21个。

输出：输出52×52大小的特征图，输出张量通道数为21个，然后在此输出张量基础上进行分类和定位回归。

(4)最大尺度预测层(104×104)：

输入：

a.将网络中第106层的52×52，通道维度为128的特征图进行卷积操作，生成52×52，通道维度为64的特征图，然后进行2倍上采样，生成104×104，通道维度为64的特征图；

b将网络中第91层的26×26，通道维度为256的特征图进行卷积操作，生成26×26，通道数为64的特征图。然后进行4倍上采样，生成104×104，通道数为64的特征图；

c对网络中第79层的13×13，通道数为512的特征图进行卷积操作，生成13×13，通道数为64的特征图。然后进行8倍上采样，生成104×104，通道数为64的特征图；

d网络中第11层104×104，通道数为128的特征图。

将a，b，c，d所得特征图连接在一起，生成104×104，通道数为256的特征图。

操作：进行一系列1×1与3×3的卷积操作，进行特征融合，保持特征图大小为104×104不变，输出张量通道数减少为21个。

输出：输出104×104大小的特征图，输出张量通道数为21个，然后在此输出张量基础上进行分类和定位回归。

在本部分优选实施例中，在步骤S300中包括：

S310将OpenPose算法模型检测出的身体骨架姿态的姿态关键点与YOLOv3算法模型检测出的人体边框匹配，所述人体边框包括身体矩形边框和安全帽矩形边框；

S320遍历人体边框中的所有安全帽矩形边框，然后寻找和当前人体边框交面比最大的安全帽矩形框，交面比表达公式如下：

其中，Area_hat表示安全帽占网格面积，Area_person表示工人占网格面积；

S330判断交面比是否0.2，若是，则认为该工人存在佩戴安全帽的可能性，并执行步骤S340；否则，认定该工人没有配搭安全帽；

S340在OpenPose算法模型检测出的身体骨架姿态的姿态关键点中提取五个五官关节点；

S350根据五个五官关节点计算得出他们的中心点坐标C作为人体的面部关节点，计算得出安全帽矩形框的中心点坐标D；

S360设安全帽矩形边框的对角线为AB，判断线段AB与线段CD的大小，若AB≤CD，则判定该工人佩戴了安全帽；若AB＞CD，则判定该工人没有佩戴安全帽。

具体的，本发明的模型输出为安全帽与施工人员在图像中的位置信息，记录着两类目标的位置坐标。人体姿态检测模型(OpenPose)的输出为人体的18个关节点组成的人体二维骨架位置信息，记录着人体的姿态以及每个关节点的位置坐标。为了判定施工人员是否佩戴安全帽，首先将姿态关键点与YOLOv3检测到的人体边框匹配，对于单个施工人员，遍历人体边框中的所有的安全帽矩形框，然后寻找和当前人体边框交面比最大的安全帽矩形框。如果存在这个安全帽边框，并满足两类边框之间的交面比值大于0.2的条件，则认为该施工人员存在配带安全帽的可能性，否则即认定为该工人没有佩戴安全帽。

为了方便表示，此处自定义Intersection overArea(IOA)，如公式2所示，为人体边框与安全帽边框交集部分的面积除以安全帽边框的面积，即为安全帽边框与施工人员边框交集部分占安全帽边框的比重(交面比)。

由于在施工现场施工作业过程中，施工人员经常将自身的安全帽拿在手上，并且由于施工区域人员的密度较大，经常会出现施工人员聚集在一起施工，产生交错重合，存在施工人员边框中出现其他工人的安全帽情况。所以即使人体边框中出现安全帽矩形框，找到交并比最大的安全帽框，也仍然不能判定该安全帽即为工人佩戴的安全帽。因此需要对可能佩戴安全帽的施工人员做出二次判断，判定安全帽是否佩戴在了施工人员的头上。由于人体姿态检测(Openpose)可以得出人体不同关节的位置信息，具有很好地灵活性，因此本发明利用目标检测与人体姿态估计地特点，将两模型整合到一起，直接预测判断工人是否佩戴了安全帽。具体地，首先使用OpenPose模型检测得出人体姿态骨架，记录着人体各个关节点的位置坐标((x₀,y₀),(x₁,y₁),...,(x₁₇,y₁₇))。OpenPose模型检测输出结果中包含着人体五官关节点，此处定义的五官为CMU数据集中标注地五官关节点，鼻子(x₀,y₀)、左眼(x₁₅,y₁₅)、右眼(x₁₄,y₁₄)、左耳(x₁₇,y₁₇)、右耳(x₁₆,y₁₆)五个点。

本发明将检测出来的单个个体地五官关节点全部取出，计算得出它们的中心点坐标C：

代表人体的面部关节点。通过这种方法得出的面部关节点在出现在安全帽边框的内部或者靠近安全帽边框的外部，因此本发明利用面部关节点与安全帽边框之间的空间位置关系采取了一种判定方式。而后计算得出人体边框中的安全帽矩形框的中心点坐标D：

将面部关节点C与安全帽中心点D连接，再将线段CD与安全帽矩形框地对角线AB作比较，如图5所示。

如公式5至公式7所示：

其中，helmet为安全帽，当AB≤CD时，判定该施工人员佩戴了安全帽，当AB＞CD时，判定为该工人没有佩戴安全帽。本发明将整合后的模型在测试集中进行测试，输出人体边框，当检测到施工人员佩戴安全帽时，人体边框为蓝色；当检测到工人没有佩戴安全帽时，人体边框即为红色，图5为人体头部节点与安全帽的空间位置示意图。

参照图1所示，在本部分优选实施例中，步骤S300后还包括：

S400若判定该工人没有佩戴安全帽，则在该工人四周输出红色人物边框；

S500自动警告施工人员及时佩戴安全帽。

具体的，由于说明书附图必须为黑白色，因此图中显示浅灰色矩形框的即为原蓝色；深灰色矩形框的即为原红色。

发明效果：

本发明将各模型分别定义好参数，在训练集上训练得到模型权重，并在测试集中的检测结果如表5.1所示：

表5.1

其中四尺度检测结构与密集连接结构的Mean Average Precision(mAP)与Recall均超过94％，比YOLOv3聚类与YOLOv3两模型结构性能明显提高，尤其在hat类小目标的检测效果上，四尺度检测与密集连接机制结构效果尤为突出，并且在检测速度方面在GTX1060的显卡上平均检测一张图片耗时49ms。参照图6(a)、图6(b)和图6(c)所示，本发明将测试集根据不同工程类别重新分类，建筑工程(724张图片)，路桥工程(624张)，地铁工程(440张)，采用密集连接结构与YOLOv3两种模型分别对这三类场景的测试集进行检测，如表5.2所示：

表5.2

参照图7所示，本发明又按照视频图像视野范围将测试集分为近景(568张照片)，中景(540张)，远景(644张)，同样采用密集连接模型与YOLOv3模型分别对三种测试集进行测试，结果如表5.3所示：

表5.3

在近景与中景的检测性能表现最好，由于远景图像中的小目标众多，所以各类评估指标均最低，但是改进的密集连接结构模型在远景图片检测上mAP与Recall均超过90％，表明模型在小物体的检测性能表现优异。

参照图8-图9所示，为了阐明整合模型后的检测系统的评估指标Precision(精确率)，Recall(召回率)。首先第一步统计得出人物的漏检率为3.0％，即系统没有将工人(包括戴安全帽以及没有戴安全帽的工人)检测出来的概率。其次在第一步的基础上(不考虑没有检测出来的工人)，将没有佩戴安全帽的施工人员视为正例，佩戴安全帽的施工人员视为反例。首先定义TP(真正例)，FP(假正例)，FN(假反例)，TN(真反例)。如下图8所示，其中红色边框为系统预测的没有佩戴安全帽的工人，绿色边框为预测出的佩戴安全帽的工人。具体地说，TP代表系统正确地预测出了没有佩戴安全帽的工人；FP代表系统将佩戴安全帽的工人误判成了正例(没有佩戴)；FN代表系统将没有佩戴安全帽的工人误判成了佩戴安全帽的工人；TN代表系统正确检测出了佩戴安全帽的工人。

Precision(精确率)表示为TP与TP+FP的比值，衡量的是检测系统预测出来的正类的确是正类的概率，其表达公式如公式8所示：

Recall(召回率)表示为TP与TP+FN的比值，衡量的是检测系统能把所有的没有佩戴安全帽的工人都找出来的能力，其表达公式如公式9所示：

因此，失误率的表达公式即为公式10所示：

检测结果如表5.4所示：

表5.4

参照图10所示，显示精确率达到了94.4％，召回率达到了91.6％。本发明将安全帽拿在手上或放在边上以及其他人员安全帽遮挡这类数据成为C类数据，为了测试模型在C类数据中引起检测系统误判方面的检测效果，单独从测试集中挑选出C类数据，作为二分类问题来评估检测效果。定义Precision(精确率)，Recall(召回率)，将C类别的施工人员视为正例，佩戴安全帽的施工人员视为反例，测试结果如表5.5所示：

表5.5。

Claims (7)

1.一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，包括以下步骤：

S100根据实时多人姿态估计算法模型OpenPose检测并输出图像中的所有个体的身体骨架姿态；

S200根据深度学习目标检测算法模型YOLOv3检测出图像中的工人与安全帽，以两类矩形边框分别进行标识和输出；

S300整合两种算法模型，根据两类矩形边框的交面比、以及安全帽矩形边框的对角线长度和人物面部中心点到安全帽中心点长度的比对，判断图中工人是否佩戴安全帽，

在步骤S300中包括：

S310将OpenPose算法模型检测出的身体骨架姿态的姿态关键点与YOLOv3算法模型检测出的人体边框匹配，所述人体边框包括身体矩形边框和安全帽矩形边框；

S320遍历人体边框中的所有安全帽矩形边框，然后寻找和当前人体边框交面比最大的安全帽矩形框，交面比表达公式如下：

其中，Area_hat表示安全帽占网格面积，Area_person表示工人占网格面积；

S330判断交面比是否0.2，若是，则认为该工人存在佩戴安全帽的可能性，并执行步骤S340；否则，认定该工人没有配搭安全帽；

S340在OpenPose算法模型检测出的身体骨架姿态的姿态关键点中提取五个五官关节点；

S350根据五个五官关节点计算得出他们的中心点坐标C作为人体的面部关节点，计算得出安全帽矩形框的中心点坐标D；

S360设安全帽矩形边框的对角线为AB，判断线段AB与线段CD的大小，若AB≤CD，则判定该工人佩戴了安全帽；若AB＞CD，则判定该工人没有佩戴安全帽。

2.根据权利要求1所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，步骤S100中包括：

S110将一张图片输入到一个卷积神经网络，输出特征图；

S120将特征图分别输入级联网络结构中的两个分支中，并分别预测出一组关于身体各部分信息的二维置信度映射S^t，和一组关于身体各部分亲和度的二维向量场L^t；

S130通过S^t和L^t的信息，将所有的肢体与关键点结合起来，最终得到所有个体的身体骨架姿态，T表示实施的阶段数。

3.根据权利要求2所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，在步骤S100中，OpenPose采用部分亲和字段PAF机制检测得到所有个体的身体骨架姿态。

4.根据权利要求3所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，所述身体骨架姿态中包含有若干个人体关键点，每个人体关键点即为一个身体关节部位。

5.根据权利要求1所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，步骤S200中包括：

S220所述YOLOv3算法模型采用多尺度检测的方法，采用9个尺寸的先验框，为每种下采样尺度设定3种先验框；

S230在每个尺度上的特征图采样，并与不同尺度的特征图堆积；

S240通过卷积核的方式实现不同尺度特征图之间的局部特征融合；

S250在多个尺度的融合特征图上分别做独立检测，每个尺度特征图的对应的网格输出的是深度为3×(1+4+C)的张量，其中，3代表每个尺度网格3种先验框，1代表网格是否存在目标对象的置信度，4代表预测边框的坐标，C为目标检测任务的类别数量。

6.根据权利要求5所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，在步骤S220前还包括：

S210采用leaky ReLU作为激活函数并且采用端到端的方法对YOLOv3算法模型进行训练。

7.根据权利要求1所述的一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法，其特征在于，步骤S300后还包括：

S400若判定该工人没有佩戴安全帽，则在该工人四周输出红色人物边框；

S500自动警告施工人员及时佩戴安全帽。

Images