CN112613359A - 用于人员异常行为检测的神经网络的构建方法 - Google Patents

Abstract

本发明提出一种用于人员异常行为检测的神经网络的构建方法，所述神经网络是编码器‑解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；步骤2、构建一个卷积神经网络，为编码器‑解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果。该神经网络可用于工地场景的人员异常行为的实时检测应用。

Description

用于人员异常行为检测的神经网络的构建方法

技术领域

本技术方案是计算机技术在安监场景中的应用方法，具体是一种适用于人员异常行为检测的神经网络的构建方法，该神经网络是编码器-解码器架构神经网络。该神经网络可用于工地场景的人员异常行为的实时检测。

背景技术

传统工地管理面临建筑工地环境复杂、从业人员管理难、事故多发且调查取证难、项目安全管理难等问题。

随着手机使用的普及，工地工人进行作业时使用手机，会增加安全事故发生的可能性。而依靠人员监督难以起到实时的监督作用，如果采用事后监控视频进行检查，也需要大量的人力和时间成本，而且对预防安全事故来说，其效果远不如即时发现、即时处理。

发明内容

为了解决上述技术问题，本发明提出一种用于人员异常行为检测的神经网络的构建方法。所述神经网络是编码器-解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：

步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；

步骤2、构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；

步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果；

所述步骤1中，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；

所述步骤2中，采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROI pooling层的输入；

对于输入图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

步骤3中，解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳。

所述步骤3中，交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

所述步骤3后还包括步骤4、过滤虚警检测，方法为：

采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服和手机的位置中心点分别表示为：Z₁(x₁,y₁),Z₂(x₂,y₂)和Z₃(x₃,y₃)；

最优分布方法为：

F＝{(x,y)|(x,y)∈R}

f((x,y)^*)＝min{D＝(x₁-x₂)²+(y₁-y₂)²|(x,y)∈F}

其中，F中的任何一个元素为可行解，(x,y)^*为最优解；

建立相对位置约束惩罚函数表达如下:

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

本神经网络应用于工地人员异常行为实时检测方法，步骤包括：

1)在工地现场部署摄像机，用于采集人员图像信息；获取工地现场摄像机视频信流，并截取单帧图片；

2)按照预先设定的输入图像的尺寸要求，改变输入图像大小(采用resize函数，常见的插值算法有：最近邻、双线性、双三次、基于像素区域关系以及兰索斯插值算法)；其特征是步骤还包括：

3)采用编码器-解码器架构神经网络对经过步骤2)处理的图像进行处理，生成不同的尺度下的特征映射图；

所述编码器-解码器架构神经网络的构建方法为：

首先基于多分支卷积模块，生成不同的尺度下的特征映射图；

然后构建一个卷积神经网络，为编码器-解码器架构；其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；

最后对不同分支上的特征进行融合，获得准确的目标分割结果；

4)基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；不同尺寸目标分别为：人体、人脸、手机、安全帽；

5)过滤虚警检测；

6)根据感兴趣目标的存在状态，推断异常行为是否发生；

目标的状态与异常行为之间的对应关系为：

若手机位置与人脸位置很接近，则判断为打电话，为异常；反之正常；

若安全帽位置与人体位置接近，则判断为异常；

若安全帽位置与人脸位置很接近，则判断为正常；反之异常；

7)输出异常行为实时检测结果。

所述步骤3)中，步骤2)得到的图像送入FPN特征网络(特征图金字塔网络)中，不同尺度的ROI使用不同特征层作为ROI pooling层的输入；

对于输入图像中的不同尺寸目标的不同特征，利用浅层的特征将简单的目标的区分开，利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

所述步骤5)中，过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服、手机的位置中心点分别表示为：M(x,y)，F(x,y),J(x,y)最优分布算法为：

其中，F中的任何一个元素为可行解，(x,y)^*为最优解。

建立相对位置约束惩罚函数的方法为：

约束优化问题的一般形式可表达如下:

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

应用场景中，规定安全服与安全帽的位置为：安全帽在安全服之上是正常；手机在安全帽附近是异常；

所述决策变量是安全帽安全服与手机的位置坐标(x,y)；

空间位置约束模型参考图2，M、F、J分别代表安全帽、安全服、手机的位置。

所述步骤2)中，确定输入图像的尺寸的步骤为：

2.1)统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；(感兴趣的目标即为人员以及附属物，附属物是手机、安全帽、安全服等)

2.2)统计感兴趣目标位置分布规律，用来统计安全帽安全服及手机之间的相对位置关系，确定异常事件分类。

采用公开数据集预训练好的深度学习目标检测网络，根据部署场景微调训练后，得到部署后目标检测网络，再进行实时人员、各个物体检测。根据部署场景微调训练，方法为：现场场景与实验时会存在误检测和漏检测的情况，则根据实际场景数据进行调参处理。

检测到的人员和各个物体形成一个边界框即Boundingbox，返回检测到的人员、各个物体的位置信息，位置信息包括边界框四个顶点的坐标信息；

采用微小目标检测网络即特征金字塔网络FPN，进行实时人员、各个物体检测；返回检测到的人员、各个物体的位置信息。

所述步骤3)中的网络构建方法具体可以为：

3.1、把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；

3.2、采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROI pooling层的输入；

图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

3.3、解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳；交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服、手机的位置中心点分别表示为：Z₁(x₁,y₁),Z₂(x₂,y₂),Z₃(x₃,y₃)。

最优分布算法为：

F＝{(x,y)|(x,y)∈R}

其中，F中的任何一个元素为可行解，(x,y)^*为最优解。

建立相对位置约束惩罚函数的方法为：约束优化问题的一般形式可表达如下：

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

采用本发明，再结合物联网及区块链等技术，可以达到提升工地管理智能化、透明化程度的效果，解决工地管理难度大的问题。

附图说明

图1为本方法构建神经网络应用于智慧工地场景的人员异常行为实时检测方法流程图。

图2是空间位置约束模型示意图，其中，Z₁，Z₂，Z₃代表目标相对位置。

具体实施方式

参考图1以及本方法构建神经网络的应用，对技术方案进一步说明。

本检测方法可以针对不同目标尺寸的差异，通过在不同尺度上的目标检测、不同目标相对位置约束惩罚等处理，实现对安全帽、安全服、手机等不同尺寸特定目标的一体化检测，从而判断是否存在异常行为。

具体地，智慧工地人员异常行为实时检测方法的步骤为：

步骤S1：获取摄像机视频信流，并截取单帧图片；

步骤S2：统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；

步骤S3：统计感兴趣目标位置分布规律；

采用公开数据集预训练好的深度学习目标检测网络模型，根据部署场景微调训练后，得到部署后目标检测网络，再进行实时人员、各个物体检测；

检测到的人员和各个物体形成一个边界框即Boundingbox，返回检测到的人员、各个物体的位置信息，位置信息包括边界框四个顶点的坐标信息；

进一步优选的，采用微小目标检测网络进行实时人员、各个物体检测，返回检测到的人员、各个物体的位置信息。

步骤S4：按照步骤2)中确定的尺寸要求，resize输入图像；

步骤S5：基于多分支卷积模块，生成不同的尺度下的特征映射图；

构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；最后对不同分支上的特征进行融合，获得准确的目标分割结果；

解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小。网络达到最佳；交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

步骤S6：建立相对位置约束惩罚函数；

约束优化问题的一般形式可表达如下:

minf(x),x＝[x₁,...,x_n]^T

其满足以下m个约束条件:

g_j(x)≤0,j＝1,...,q

h_j(x)＝0,j＝q+1,...,m

其中，x＝[x₁,...,x_n]^T为决策变量，f(x)为目标函数，q为不等式约束条件个数，m-q为等式约束条件个数。如果在候选解x处g_j(x)＝0，则约束条件g_j(x)≤0称为候选解的积极约束条件。

步骤S7：基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；

步骤S8：基于步骤4)中建立的不同目标的相对位置约束惩罚函数，筛选最优分布组合，过滤虚警检测；最优分布算法如下：

F＝{x|x∈D，g(x)≥0}

f(x^*)＝min{f(x)|x∈F}

其中，F中的任何一个元素为可行解，x^*为最优解。

步骤S9：根据感兴趣目标的存在状态，推断异常行为是否发生；

步骤S10：输出异常行为实时检测结果。

Claims (3)

1.一种用于人员异常行为检测的神经网络的构建方法，其特征是所述神经网络是编码器-解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：

步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；

步骤2、构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；

步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果；

所述步骤1中，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；

所述步骤2中，采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROIpooling层的输入；

对于输入图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；

增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；

步骤3中，解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳。

2.根据权利要求1所述的用于人员异常行为检测的神经网络的构建方法，其特征是所述步骤3中，交叉熵损失函数计算如下：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i,j)的真实类别，p_ij代表像素(i,j)的目标概率。

3.根据权利要求1或2所述的用于人员异常行为检测的神经网络的构建方法，其特征是所述步骤3后还包括步骤4、过滤虚警检测，方法为：

采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：

设安全帽、安全服和手机的位置中心点分别表示为：Z₁(x₁,y₁),Z₂(x₂,y₂)和Z₃(x₃,y₃)；

最优分布方法为：

F＝{(x,y)|(x,y)∈R}

其中，F中的任何一个元素为可行解，(x,y)^*为最优解；

建立相对位置约束惩罚函数表达如下:

min(f(x,y)),(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T

y_M＞y_F,y＞0

其中，(x,y)＝[(x₁,y₁),...,(x_n,y_n)]^T为决策变量，f((x,y))为目标函数。

Images