CN107563281A - 一种基于深度学习的建筑工地人员安全隐患监测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的建筑工地人员安全隐患监测方法，针对建筑工地安全隐患实现有效地发现和预警，对建筑工地实施安全化和智能化的管理，相对于目前建筑工地的门禁系统，所述方法采用深度学习来识别人脸，抗干扰能力强，能够从少数样本集学习数据集特征本质的能力，使得在人脸识别过程中更接近人的大脑视觉机理，识别结果更接近人的视觉判断，提高识别率，进而能够有效保证建筑工地安全，避免工地安全隐患的发生。

Description

一种基于深度学习的建筑工地人员安全隐患监测方法

技术领域

本发明涉及一种基于深度学习的建筑工地人员安全隐患监测方法，属于图像与视频分析技术领域。

背景技术

随着我国建筑行业的迅速发展，安全事故频发，不仅给企业造成严重的经济损失，还给死者家庭带来灾难，影响社会的稳定。

安全隐患作为安全事故的导火索，往往很难被安全管理者所发现。如果能够及时发现，对安全事故进行预警，将会减少安全事故的发生。目前，实名制门禁系统作为施工单位文明施工的必备要求，得到施工单位的大力推广和应用。另外，《安全生产法》规定，进入工地必须穿戴安全帽。目前，国内建筑工地门禁以射频门禁为主，具有“认卡不认人”的确定，射频卡容易丢失及易被他人盗用。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的建筑工地人员安全隐患监测方法，能够有效保证建筑工地安全，避免工地安全隐患的发生。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于深度学习的建筑工地人员安全隐患监测方法，基于建筑工地各个合法工地人员面部特征所构建的用户数据库，执行如下建筑工地人员人脸特征匹配方法，实现建筑工地人员安全隐患发现；

步骤A1.采用预先训练所获得的人脸检测模块，针对监控摄像装置所捕获的各帧视频图像进行人脸检测，获得各个人脸局部图像，并进入步骤A2；

步骤A2.分别针对各个人脸局部图像，针对人脸局部图像中的五官进行移位，使其五官位置与预设标准对其人脸图像的五官位置相同，由此分别更新各个人脸局部图像，然后进入步骤A3；

步骤A3.分别针对各个人脸局部图像，采用预先经过训练的深度学习网络模型，构建人脸特征提取模块，通过人脸特征提取模块提取人脸局部图像所对应的人脸特征向量，并将其与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配，确认该人脸局部图像是否为建筑工地的合法工地人员，由此基于针对各个人脸局部图像的特征匹配，实现建筑工地人员安全隐患发现。

作为本发明的一种优选技术方案：所述步骤A1中的人脸检测模块通过如下步骤进行训练获得；

步骤A1-1.采用预设人脸检测样本，针对至少两个基于hog特征的人脸检测单元，分别进行训练，获得各个经过训练的人脸检测单元；

步骤A1-2.针对各个经过训练的人脸检测单元进行级联，获得多级级联回归树式人脸检测单元；

步骤A1-3.采用预设人脸检测样本，针对多级级联回归树式人脸检测单元进行人脸回归训练，获得人脸检测模块。

作为本发明的一种优选技术方案：所述步骤A2中，分别针对各个人脸局部图像，采用二维仿射变换针对人脸局部图像中的五官进行移位，使其五官位置与预设标准对其人脸图像的五官位置相同，由此分别更新各个人脸局部图像。

作为本发明的一种优选技术方案：所述步骤A3中，人脸特征提取模块通过如下步骤获得：

步骤A3-1.采集预设数量的建筑工地各个合法工地人员的面部图像，并进行尺寸初始化操作，然后构建建筑工地人员面部训练样本数据；

步骤A3-2.针对深度学习框架caffe和开源vgg模型进行微调，获得预设架构、对应于建建筑工地人员面部特征提取的深度学习网络模型，作为人脸特征提取模块。

作为本发明的一种优选技术方案：所述步骤A3中，针对通过人脸特征提取模块提取人脸局部图像所获得的人脸特征向量，采用余弦距离比对法，与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配。

作为本发明的一种优选技术方案：在基于建筑工地人员人脸特征匹配方法的基础上，还包括安全帽检测方法如下，实现建筑工地人员安全隐患发现；

步骤B1.获取步骤A2中更新所得的各个人脸局部图像，然后分别针对各个人脸局部图像，获取人脸局部图像所在视频图像中，以人脸局部图像为中心预设尺寸的待检测图像，由此获得各个人脸局部图像分别所对应的待检测图像；

步骤B2.构建卷积神经网络，由数据输入端开始依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、降维层、全连接层共九层架构；

步骤B3.分别针对各个待检测图像，基于RGB颜色分量，采用卷积神经网络针对待检测图像进行检测，判断待检测图像中是否存在安全帽，即判断该待检测图像中人脸局部图像所对应建筑工地人员是否佩戴安全帽，实现建筑工地人员安全隐患发现。

作为本发明的一种优选技术方案：在基于建筑工地人员人脸特征匹配方法的基础上，还包括异常行为检测方法如下，实现建筑工地人员安全隐患发现；

步骤C1.基于步骤A2中更新所得的各个人脸局部图像，结合监控摄像装置所捕获的连续视频图像帧，通过Canny边缘求取方法和背景差法，获得各个建筑工地人员运动目标；

步骤C2.采用预设异常行为动作样本，针对预设深度学习网络进行训练，获得经过训练的深度学习网络，即异常行为动作检测模型；

步骤C3.分别针对各个建筑工地人员运动目标，采用异常行为动作检测模型针对建筑工地人员运动目标进行异常行为动作检测，判断是否该建筑工地人员运动目标是否存在异常行为动作，实现建筑工地人员安全隐患发现。

本发明所述一种基于深度学习的建筑工地人员安全隐患监测方法采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法，针对建筑工地安全隐患实现有效地发现和预警，对建筑工地实施安全化和智能化的管理，相对于目前建筑工地的门禁系统，所述方法采用深度学习来识别人脸，抗干扰能力强，能够从少数样本集学习数据集特征本质的能力，使得在人脸识别过程中更接近人的大脑视觉机理，识别结果更接近人的视觉判断，提高识别率，进而能够有效保证建筑工地安全，避免工地安全隐患的发生；

(2)本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法，在提供人脸识别功能之外，还提供安全帽检测功能，训练基于安全帽检测、深度学习的卷积神经网络，并应用卷积神经网络的分类功能对人脸图片进行是否穿戴安全帽的二分类，检测方式新颖；

(3)本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法，还引入采用深度学习算法，针对工地施工人员异常行为实现检测，及时地发现危险动作和意外，为安全事故进行及时预警。

附图说明

图1是本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法的示意图。

图2是本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法中人脸算法流程图；

图3是本发明所设计一种基于深度学习的建筑工地人员安全隐患监测方法中安全帽检测算法流程图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明设计了一种基于深度学习的建筑工地人员安全隐患监测方法，实际应用当中，基于建筑工地各个合法工地人员面部特征所构建的用户数据库，执行如下建筑工地人员人脸特征匹配方法，实现建筑工地人员安全隐患发现；

步骤A1.采用预先训练所获得的人脸检测模块，针对监控摄像装置所捕获的各帧视频图像进行人脸检测，获得各个人脸局部图像，并进入步骤A2。

上述步骤A1中的人脸检测模块通过如下步骤进行训练获得。

步骤A1-1.采用预设人脸检测样本，针对至少两个基于hog特征的人脸检测单元，分别进行训练，获得各个经过训练的人脸检测单元；

步骤A1-2.针对各个经过训练的人脸检测单元进行级联，获得多级级联回归树式人脸检测单元；

步骤A1-3.采用预设人脸检测样本，针对多级级联回归树式人脸检测单元进行人脸回归训练，获得人脸检测模块。

步骤A2.分别针对各个人脸局部图像，采用二维仿射变换针对人脸局部图像中的五官进行移位，具体包括移动、缩放、翻转、旋转等一系列的变换，使其五官位置与预设标准对其人脸图像的五官位置相同，由此分别更新各个人脸局部图像，然后进入步骤A3。

这里，仿射变换是空间直角坐标变换的一种，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”(straightness，即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(parallelism，即保持二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变)。仿射变换可以通过一系列的原子变换的复合来实现，包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)。

根据旋转中心center、旋转角度、缩放因子scale计算仿射变换矩阵，

计算方法:

其中，

α＝scale*cosangle

β＝scale*sinangle

将人脸关键点的坐标进行仿射变换，得到对齐人脸的人脸关键点坐标。

仿射变换将原坐标(x,y)变换为新坐标(x',y')的计算方法为:

通过上述公式，可计算出经过变换的图像。

步骤A3.分别针对各个人脸局部图像，采用预先经过训练的深度学习网络模型，构建人脸特征提取模块，通过人脸特征提取模块提取人脸局部图像所对应的人脸特征向量，并采用余弦距离比对法，将其与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配，确认该人脸局部图像是否为建筑工地的合法工地人员，由此基于针对各个人脸局部图像的特征匹配，实现建筑工地人员安全隐患发现。

上述步骤A3中，人脸特征提取模块通过如下步骤获得：

步骤A3-1.采集预设数量的建筑工地各个合法工地人员的面部图像，并进行尺寸初始化操作，然后构建建筑工地人员面部训练样本数据；这里的尺寸初始化操作，实际应用中，例如把原始image缩放到最小边S>224；然后在full image上随机提取224*224片段；

步骤A3-2.针对深度学习框架caffe和开源vgg模型进行微调，获得预设架构、对应于建建筑工地人员面部特征提取的深度学习网络模型，作为人脸特征提取模块。

这里在实际应用中，所采用的深度学习网络模型为8个卷积层，3个全连接层，共计11层；其中5阶段卷积特征提取，每层的卷积个数从首阶段的64个开始，每个阶段增长一倍，直到达到最高的512个，然后保持。再通过人脸特征提取模块提取人脸局部图像所对应的1024维人脸特征向量，并采用余弦距离比对法，将此1024维人脸特征向量其与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配，确认该人脸局部图像是否为建筑工地的合法工地人员，此处的余弦距离比对法，采用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。n维向量与的余弦距离公式为如下。

在基于建筑工地人员人脸特征匹配方法的基础上，还包括安全帽检测方法如下，实现建筑工地人员安全隐患发现。

步骤B1.获取步骤A2中更新所得的各个人脸局部图像，然后分别针对各个人脸局部图像，获取人脸局部图像所在视频图像中，以人脸局部图像为中心预设尺寸的待检测图像，由此获得各个人脸局部图像分别所对应的待检测图像。

步骤B2.构建卷积神经网络，由数据输入端开始依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、降维层、全连接层共九层架构。实际应用中，如此，而使用了间隔卷积操作(stride)和池化层(pooling)，池化采用最大重叠池化，池化的size选择3*3，strides选择2；最后两层分别为512个神经元的全连接层和最后的softmax层，因为网络是用于检测是否穿戴安全帽的，属于二分类问题，所以最后的softmax层神经元个数为2。

步骤B3.分别针对各个待检测图像，基于RGB颜色分量，采用卷积神经网络针对待检测图像进行检测，判断待检测图像中是否存在安全帽，即判断该待检测图像中人脸局部图像所对应建筑工地人员是否佩戴安全帽，实现建筑工地人员安全隐患发现。

在基于建筑工地人员人脸特征匹配方法的基础上，还包括异常行为检测方法如下，实现建筑工地人员安全隐患发现，这里，异常行为包括个人异常行为检测(摔倒，奔跑)，交互异常行为检测(打架)，群体行为检测(聚集，逃跑)。

步骤C1.基于步骤A2中更新所得的各个人脸局部图像，结合监控摄像装置所捕获的连续视频图像帧，通过Canny边缘求取方法和背景差法，获得各个建筑工地人员运动目标。

步骤C2.采用预设异常行为动作样本，针对预设深度学习网络进行训练，获得经过训练的深度学习网络，即异常行为动作检测模型。

步骤C3.分别针对各个建筑工地人员运动目标，采用异常行为动作检测模型针对建筑工地人员运动目标进行异常行为动作检测，判断是否该建筑工地人员运动目标是否存在异常行为动作，实现建筑工地人员安全隐患发现。

上述技术方案所设计基于深度学习的建筑工地人员安全隐患监测方法，针对建筑工地安全隐患实现有效地发现和预警，对建筑工地实施安全化和智能化的管理，相对于目前建筑工地的门禁系统，所述方法采用深度学习来识别人脸，抗干扰能力强，能够从少数样本集学习数据集特征本质的能力，使得在人脸识别过程中更接近人的大脑视觉机理，识别结果更接近人的视觉判断，提高识别率，进而能够有效保证建筑工地安全，避免工地安全隐患的发生；在提供人脸识别功能之外，还提供安全帽检测功能，训练基于安全帽检测、深度学习的卷积神经网络，并应用卷积神经网络的分类功能对人脸图片进行是否穿戴安全帽的二分类，检测方式新颖；还引入采用深度学习算法，针对工地施工人员异常行为实现检测，及时地发现危险动作和意外，为安全事故进行及时预警。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于：基于建筑工地各个合法工地人员面部特征所构建的用户数据库，执行如下建筑工地人员人脸特征匹配方法，实现建筑工地人员安全隐患发现；

步骤A1.采用预先训练所获得的人脸检测模块，针对监控摄像装置所捕获的各帧视频图像进行人脸检测，获得各个人脸局部图像，并进入步骤A2；

步骤A2.分别针对各个人脸局部图像，针对人脸局部图像中的五官进行移位，使其五官位置与预设标准对其人脸图像的五官位置相同，由此分别更新各个人脸局部图像，然后进入步骤A3；

步骤A3.分别针对各个人脸局部图像，采用预先经过训练的深度学习网络模型，构建人脸特征提取模块，通过人脸特征提取模块提取人脸局部图像所对应的人脸特征向量，并将其与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配，确认该人脸局部图像是否为建筑工地的合法工地人员，由此基于针对各个人脸局部图像的特征匹配，实现建筑工地人员安全隐患发现。

2.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，所述步骤A1中的人脸检测模块通过如下步骤进行训练获得；

步骤A1-1.采用预设人脸检测样本，针对至少两个基于hog特征的人脸检测单元，分别进行训练，获得各个经过训练的人脸检测单元；

步骤A1-2.针对各个经过训练的人脸检测单元进行级联，获得多级级联回归树式人脸检测单元；

步骤A1-3.采用预设人脸检测样本，针对多级级联回归树式人脸检测单元进行人脸回归训练，获得人脸检测模块。

3.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，所述步骤A2中，分别针对各个人脸局部图像，采用二维仿射变换针对人脸局部图像中的五官进行移位，使其五官位置与预设标准对其人脸图像的五官位置相同，由此分别更新各个人脸局部图像。

4.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，所述步骤A3中，人脸特征提取模块通过如下步骤获得：

步骤A3-1.采集预设数量的建筑工地各个合法工地人员的面部图像，并进行尺寸初始化操作，然后构建建筑工地人员面部训练样本数据；

步骤A3-2.针对深度学习框架caffe和开源vgg模型进行微调，获得预设架构、对应于建建筑工地人员面部特征提取的深度学习网络模型，作为人脸特征提取模块。

5.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，所述步骤A3中，针对通过人脸特征提取模块提取人脸局部图像所获得的人脸特征向量，采用余弦距离比对法，与用户数据库中的建筑工地各个合法工地人员面部特征进行匹配。

6.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，在基于建筑工地人员人脸特征匹配方法的基础上，还包括安全帽检测方法如下，实现建筑工地人员安全隐患发现；

步骤B1.获取步骤A2中更新所得的各个人脸局部图像，然后分别针对各个人脸局部图像，获取人脸局部图像所在视频图像中，以人脸局部图像为中心预设尺寸的待检测图像，由此获得各个人脸局部图像分别所对应的待检测图像；

步骤B2.构建卷积神经网络，由数据输入端开始依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、降维层、全连接层共九层架构；

步骤B3.分别针对各个待检测图像，基于RGB颜色分量，采用卷积神经网络针对待检测图像进行检测，判断待检测图像中是否存在安全帽，即判断该待检测图像中人脸局部图像所对应建筑工地人员是否佩戴安全帽，实现建筑工地人员安全隐患发现。

7.根据权利要求1所述一种基于深度学习的建筑工地人员安全隐患监测方法，其特征在于，在基于建筑工地人员人脸特征匹配方法的基础上，还包括异常行为检测方法如下，实现建筑工地人员安全隐患发现；

步骤C1.基于步骤A2中更新所得的各个人脸局部图像，结合监控摄像装置所捕获的连续视频图像帧，通过Canny边缘求取方法和背景差法，获得各个建筑工地人员运动目标；

步骤C2.采用预设异常行为动作样本，针对预设深度学习网络进行训练，获得经过训练的深度学习网络，即异常行为动作检测模型；

步骤C3.分别针对各个建筑工地人员运动目标，采用异常行为动作检测模型针对建筑工地人员运动目标进行异常行为动作检测，判断是否该建筑工地人员运动目标是否存在异常行为动作，实现建筑工地人员安全隐患发现。