CN112560627A - 基于神经网的工地人员异常行为实时检测方法 - Google Patents

Abstract

一种基于神经网的工地人员异常行为实时检测方法，步骤包括：1)在工地现场部署摄像机，用于采集人员图像信息；获取工地现场摄像机视频信流，并截取单帧图片；2)按照预先设定的输入图像的尺寸要求，改变输入图像大小；3)采用编码器‑解码器架构神经网络对经过步骤2)处理的图像进行处理，生成不同的尺度下的特征映射图；4)基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；5)过滤虚警检测；6)根据感兴趣目标的存在状态，推断异常行为是否发生；7)输出异常行为实时检测结果。本发明采用物联网、机器学习及区块链技术达到提升工地管理智能化、透明化程度的效果，解决工地管理难度大的问题。

Description

基于神经网的工地人员异常行为实时检测方法

技术领域

本技术方案是计算机技术在安监场景中的应用技术，具体是一种人员异常行为的实时检测方法，具体是该方法在工地场景的应用，本实时检测方法采用编码器-解码器架构神经网络。

背景技术

传统工地管理面临建筑工地环境复杂、从业人员管理难、事故多发且调查取证难、项目安全管理难等问题。

随着手机使用的普及，工地工人进行作业时使用手机，会增加安全事故发生的可能性。而依靠人员监督难以起到实时的监督作用，如果采用事后监控视频进行检查，也需要大量的人力和时间成本，而且对预防安全事故来说，其效果远不如即时发现、即时处理。

发明内容

为了解决上述技术问题，发明提出一种基于神经网的工地人员异常行为实时检测方法，步骤包括：

1)在工地现场部署摄像机，用于采集人员图像信息；获取工地现场摄像机视频信流，并截取单帧图片；

2)按照预先设定的输入图像的尺寸要求，改变输入图像大小(采用resize函数，常见的插值算法有：最近邻、双线性、双三次、基于像素区域关系以及兰索斯插值算法)；其特征是步骤还包括：

3)采用编码器-解码器架构神经网络对经过步骤2)处理的图像进行处理，生成不同的尺度下的特征映射图；

所述编码器-解码器架构神经网络的构建方法为：

首先基于多分支卷积模块，生成不同的尺度下的特征映射图；

然后构建一个卷积神经网络，为编码器-解码器架构；其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；

最后对不同分支上的特征进行融合，获得准确的目标分割结果；

4)基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；不同尺寸目标分别为：人体、人脸、手机、安全帽；

5)过滤虚警检测；

6)根据感兴趣目标的存在状态，推断异常行为是否发生；

目标的状态与异常行为之间的对应关系为：

若手机位置与人脸位置很接近，则判断为打电话，为异常；反之正常；

若安全帽位置与人体位置接近，则判断为异常；

若安全帽位置与人脸位置很接近，则判断为正常；反之异常；

7)输出异常行为实时检测结果。

所述步骤3)中，步骤2)得到的图像送入FPN特征网络(特征图金字塔网络)中，不同尺度的ROI使用不同特征层作为ROI pooling层的输入；

对于输入图像中的不同尺寸目标的不同特征，利用浅层的特征将简单的目标的区分开，利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

所述步骤5)中，过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服、手机的位置中心点分别表示为：M(x,y)，F(x,y),J(x,y)最优分布算法为：

F＝{(x,y)|(x,y)∈R}

其中，F中的任何一个元素为可行解，(x,y)^*为最优解。

建立相对位置约束惩罚函数的方法为：

约束优化问题的一般形式可表达如下:

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

应用场景中，规定安全服与安全帽的位置为：安全帽在安全服之上是正常；手机在安全帽附近是异常；

所述决策变量是安全帽安全服与手机的位置坐标(x,y)；

空间位置约束模型参考图2，M、F、J分别代表安全帽、安全服、手机的位置。

所述步骤2)中，确定输入图像的尺寸的步骤为：

2.1)统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；(感兴趣的目标即为人员以及附属物，附属物是手机、安全帽、安全服等)

2.2)统计感兴趣目标位置分布规律，用来统计安全帽安全服及手机之间的相对位置关系，确定异常事件分类。

采用公开数据集预训练好的深度学习目标检测网络，根据部署场景微调训练后，得到部署后目标检测网络，再进行实时人员、各个物体检测。根据部署场景微调训练，方法为：现场场景与实验时会存在误检测和漏检测的情况，则根据实际场景数据进行调参处理。

检测到的人员和各个物体形成一个边界框即Boundingbox，返回检测到的人员、各个物体的位置信息，位置信息包括边界框四个顶点的坐标信息；

采用微小目标检测网络即特征金字塔网络FPN，进行实时人员、各个物体检测；返回检测到的人员、各个物体的位置信息。

所述步骤3)中的网络构建方法具体可以为：

3.1、把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；

3.2、采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROI pooling层的输入；

图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

3.3、解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳；交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服、手机的位置中心点分别表示为：Z₁(x₁,y₁),Z₂(x₂,y₂),Z₃(x₃,y₃)

最优分布算法为：

F＝{(x,y)|(x,y)∈R}

其中，F中的任何一个元素为可行解，(x,y)^*为最优解。

建立相对位置约束惩罚函数的方法为：约束优化问题的一般形式可表达如下：

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

本发明采用物联网、机器学习及区块链技术达到提升工地管理智能化、透明化程度的效果，解决工地管理难度大的问题。

附图说明

图1为应用于智慧工地场景的人员异常行为实时检测方法流程图。

图2是空间位置约束模型示意图，其中，Z₁，Z₂，Z₃代表目标相对位置。

具体实施方式

参考图1对技术方案进一步说明：

针对不同目标尺寸的差异，通过在不同尺度上的目标检测、不同目标相对位置约束惩罚等处理，实现对安全帽、安全服、手机等不同尺寸特定目标的一体化检测，从而判断是否存在异常行为。

具体地，智慧工地人员异常行为实时检测方法的步骤为：

步骤S1：获取摄像机视频信流，并截取单帧图片；

步骤S2：统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；

步骤S3：统计感兴趣目标位置分布规律；

采用公开数据集预训练好的深度学习目标检测网络模型，根据部署场景微调训练后，得到部署后目标检测网络，再进行实时人员、各个物体检测；

检测到的人员和各个物体形成一个边界框即Boundingbox，返回检测到的人员、各个物体的位置信息，位置信息包括边界框四个顶点的坐标信息；

进一步优选的，采用微小目标检测网络进行实时人员、各个物体检测，返回检测到的人员、各个物体的位置信息。

步骤S4：按照步骤2)中确定的尺寸要求，resize输入图像；

步骤S5：基于多分支卷积模块，生成不同的尺度下的特征映射图；

构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；最后对不同分支上的特征进行融合，获得准确的目标分割结果；

解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小。网络达到最佳；交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

步骤S6：建立相对位置约束惩罚函数；

约束优化问题的一般形式可表达如下:

minf(x),x＝[x₁,...,x_n]^T

其满足以下m个约束条件:

g_j(x)≤0,j＝1,...,q

h_j(x)＝0,j＝q+1,...,m

其中，x＝[x₁,...,x_n]^T为决策变量，f(x)为目标函数，q为不等式约束条件个数，m-q为等式约束条件个数。如果在候选解x处g_j(x)＝0，则约束条件g_j(x)≤0称为候选解的积极约束条件。

步骤S7：基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；

步骤S8：基于步骤4)中建立的不同目标的相对位置约束惩罚函数，筛选最优分布组合，过滤虚警检测；最优分布算法如下：

F＝{x|x∈D，g(x)≥0}

f(x^*)＝min{f(x)|x∈F}

其中，F中的任何一个元素为可行解，x^*为最优解。

步骤S9：根据感兴趣目标的存在状态，推断异常行为是否发生；

步骤S10：输出异常行为实时检测结果。

Claims (4)

1.一种基于神经网的工地人员异常行为实时检测方法，步骤包括：

1)在工地现场部署摄像机，用于采集人员图像信息；获取工地现场摄像机视频信流，并截取单帧图片；

2)按照预先设定的输入图像的尺寸要求，改变输入图像大小；

其特征是步骤还包括：

3)采用编码器-解码器架构神经网络对经过步骤2)处理的图像进行处理，生成不同的尺度下的特征映射图；

所述编码器-解码器架构神经网络的构建方法为：

首先基于多分支卷积模块，生成不同的尺度下的特征映射图；

然后构建一个卷积神经网络，为编码器-解码器架构；其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；

最后对不同分支上的特征进行融合，获得准确的目标分割结果；

4)基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；不同尺寸目标分别为：人体、人脸、手机、安全帽；

5)过滤虚警检测；

6)根据感兴趣目标的存在状态，推断异常行为是否发生；

目标的状态与异常行为之间的对应关系为：

若手机位置与人脸位置很接近，则判断为打电话，为异常；反之正常；

若安全帽位置与人体位置接近，则判断为异常；

若安全帽位置与人脸位置很接近，则判断为正常；反之异常；

7)输出异常行为实时检测结果。

2.根据权利要求1所述的基于神经网的工地人员异常行为实时检测方法，其特征是所述步骤3)中，步骤2)得到的图像送入FPN特征网络中，不同尺度的ROI使用不同特征层作为ROIpooling层的输入；

对于输入图像中的不同尺寸目标的不同特征，利用浅层的特征将简单的目标的区分开，利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息。

3.根据权利要求1所述的基于神经网的工地人员异常行为实时检测方法，其特征是所述步骤5)中，过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合。

4.根据权利要求1所述的基于神经网的工地人员异常行为实时检测方法，其特征是所述步骤2)中，确定输入图像的尺寸的步骤为：

2.1)统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；感兴趣的目标即为人员以及附属物，附属物是手机、安全帽、安全服；

2.2)统计感兴趣目标位置分布规律，用来统计安全帽安全服及手机之间的相对位置关系，确定异常事件分类。

Images