CN111523559A - 一种基于多特征融合的异常行为检测方法 - Google Patents

Abstract

一种基于多特征融合的异常行为检测方法，包括表情分析、人体姿态分析、人体异常行为分析，利用开源平台OpenPose提取视频中人体的18个关节点坐标信息，再根据计算关节点的速度和角度，完善关节点特征信息；同时对视频中的行人进行人脸检测并进行表情分析；最后将人脸表情、关节点特征信息进行融合，再输入异常行为分析模型中，得到识别结果。本发明比以单一人体姿态特征为依据的检测方法的识别准确率要好，在安防监控等领域有一定的应用价值。

Description

一种基于多特征融合的异常行为检测方法

技术领域

本发明涉及一种人体异常行为检测方法，采用目前比较成熟的开源平台OpenPose进行人体骨架关节点的获取，采用MobileNet轻量级卷积神经网络进行人脸表情特征的识别，具体设计一种基于表情分析和姿态分析多特征融合的人体异常行为检测方法，属于安防监控领域。

背景技术

随着异常行为在不同场景中广泛出现和安防监控的推广，人们希望利用监控设备检测可能出现的异常行为。基于视频的人体行为识别在各个方面有着广泛的应用，如视频监控，视频分析，病人监控系统等方面都有着很好的应用前景。

人体异常行为识别技术可以分为三种：利用可穿戴式传感器，利用音频信息和利用视频图像技术。基于传感器的方法识别率高、检测方式简单，但存在携带不方便的问题；基于音频信息的方法易受外界噪声干扰，准确率不高的问题；基于视频图像技术应用范围广、人体姿态特征多，但存在着易受环境光照多因素影响，准确率问题，这是制约行为识别发展的因素。

随着视频复杂度的提升，单一的视频特征已经不能准确地表达出视频信息，进行异常行为识别。因此目前采用结合视频和语音的特征进行融合，但是由于室外语音噪声较大，同时语音采集设备部署不足，实际应用较少。基于视频图像中的不同特征进行分析，对多模态进行融合，得到异常行为的方法更具设计操作性。

发明内容

为了克服单一人体姿态特征对异常行为识别效果不佳、不灵活的不足，本发明提出了一种基于多特征融合的异常行为检测方法，实现了人脸表情、人体姿态信息的融合以及人体异常行为识别模型的设计，提高了识别的正确率。

为实现上述目标，本发明采用的技术方案为：

一种基于多特征融合的异常行为检测方法，包括以下步骤：

步骤1：对视频数据集进行分帧处理，得到视频的T帧图像；

步骤2：通过OpenPose姿态提取库获取每帧图片中人物的关节点坐标信息，得到包含当前帧的18个关节点的坐标位置序列{(x₁₁,y₁₁),(x₁₂,y₁₂),…,(x_1N,y_1N)}；

步骤3：对相邻帧的相同关节点进行向量角度θ_1N和大小

的计算，得到关节点动态信息{θ₁₁,θ₁₂,…,θ_1N}，

步骤4：将关节点的位置和关节点动态信息根据权重f_t分配，进行特征融合，表示为18*T*4姿态特征信息矩阵S₁；

步骤5：利用MTCNN提取人脸区域，并用MobileNet对检测到的人脸图像进行表情特征提取，表示为16*T*1的K₁；

步骤6：将人体表情信息K₁和人体姿态信息S₁进行融合，表示为18*T*4的特征矩阵S₂；

步骤7：将融合后的特征矩阵通过具有噪声鲁棒性的残差网络的行为识别模型，得到最终行为识别结果。

进一步，所述步骤3中，通过如下公式对关节点进行角度和大小的计算：

计算第T帧第N个关节点角度θ_TN的公式如(1)所示：

其中P_TN表示第N个关节点的特征向量，将求解关节角度的问题转化为求解向量角度问题；

计算第T帧第N个关节点速度v_TN的公式如(2)所示：

其中x_TN、y_TN表示第N个关节点的坐标值，x_(T-1)N、y_(T-1)N表示前一帧关节点的坐标值，利用欧氏距离计算关节点的变化距离，v_TN表示在关键帧帧差时间为t_T情况下关节点的速度。

进一步，所述步骤4中，通过如下方法对权重分配f_t的计算：

根据关节点方向和速度的变化剧烈程度，给T帧图像分配权重f_T，表示对单帧的预测概率值，计算第T个关键帧的最终权重f_T的公式如(3)所示：

其中θ_t表示第T张图像帧中的关节点最大角度变化，v_t表示第T张图像帧中的关节点最大速度变化，k₁、k₂是角度和速度的权重值。

进一步，所述步骤4中，通过如下方法对关节点位置信息和特征融合：

按照空间信息和时序信息将关节点位置序列表示为18*T*2的坐标值矩阵，并与关节点的动态信息融合，表示18*T*4关节点特征矩阵为如(4)所示：

再进一步，所述步骤7中，异常行为检测模型采用了具有噪声鲁棒性的残差网络：

采用包含INSP激活函数的残差网络作为异常行为识别模型，该网络在VGG-19的基础上添加残差单元，并将ReLU函数替换成NSP函数进行改进，实现抗噪声、低功耗；

INSP的公式如(5)所示：

σ的公式如(6)所示：

其中k表示噪声尺度的控制，S表示尺度参数，x表示前一层卷积的输入值，w_i表示前一层卷积的权重，i表示第i个神经元,τ_syn表示突触时间常数。

本发明的有益效果表现在：

1利用开源平台OpenPose处理视频的动作关节点，方法简单且效果稳定，对少部分遮挡关节点仍适用；

2利用MobileNet轻量级卷积神经网络对人脸表情进行识别，适合应用在移动端和嵌入式端，在cpu上也适用；

3利用关节点方向和角度判断关节点处于剧烈晃动状态，对异常行为识别提供预测；

4本发明把关节点检测和人脸表情特征进行融合，异常行为检测和暴力动作检测提供新的研究思路；

5本发明提高了基于单一姿态特征对异常行为检测的正确性，在安防监控、病人监控系统领域等具有一定的应用价值。

附图说明

图1是多特征融合的异常行为检测方法系统框图；

图2是异常行为分析模型图。

具体实施方式

下面结合附图对本发明的实施过程进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参照图1和图2，一种基于多特征融合的异常行为检测方法，包括以下步骤：

步骤1：对视频数据集进行分帧处理，得到视频的T帧图像；

步骤2：通过OpenPose姿态提取库获取每帧图片中人物的关节点坐标信息，得到包含当前帧的18个关节点的坐标位置序列{(x₁₁,y₁₁),(x₁₂,y₁₂),…,(x_1N,y_1N)}；

步骤3：对相邻帧的相同关节点进行向量角度θ_1N和大小

的计算，得到关节点动态信息{θ₁₁,θ₁₂,…,θ_1N}，

通过如下公式对关节点进行角度和大小的计算：

计算第T帧第N个关节点角度θ_TN的公式如(1)所示：

其中P_TN表示第N个关节点的特征向量，将求解关节角度的问题转化为求解向量角度问题。

计算第T帧第N个关节点速度v_TN的公式如(2)所示：

其中x_TN、y_TN表示第N个关节点的坐标值，x_(T-1)N、y_(T-1)N表示前一帧关节点的坐标值，利用欧氏距离计算关节点的变化距离，v_TN表示在关键帧帧差时间为t_T情况下关节点的速度；

步骤4：将关节点的位置和关节点动态信息根据权重f_t分配，进行特征融合，表示为18*T*4姿态特征信息矩阵S₁；

通过如下方法对权重分配f_t的计算：

根据关节点方向和速度的变化剧烈程度，给T帧图像分配权重f_T，表示对单帧的预测概率值，计算第T个关键帧的最终权重f_T的公式如(3)所示：

其中θ_t表示第T张图像帧中的关节点最大角度变化，v_t表示第T张图像帧中的关节点最大速度变化，k₁、k₂是角度和速度的权重值；

进一步，所述步骤4中，通过如下方法对关节点位置信息和特征融合：

按照空间信息和时序信息将关节点位置序列表示为18*T*2的坐标值矩阵，并与关节点的动态信息融合，表示18*T*4关节点特征矩阵为如(4)所示：

步骤5：利用MTCNN提取人脸区域，并用MobileNet对检测到的人脸图像进行表情特征提取，表示为16*T*1的K₁；

步骤6：将人体表情信息K₁和人体姿态信息S₁进行融合，表示为18*T*4的特征矩阵S₂；

步骤7：将融合后的特征矩阵通过具有噪声鲁棒性的残差网络的行为识别模型，得到最终行为识别结果；

所述步骤7中，异常行为检测模型采用了具有噪声鲁棒性的残差网络：

采用包含INSP激活函数的残差网络作为异常行为识别模型，该网络在VGG-19的基础上添加残差单元，并将ReLU函数替换成NSP函数进行改进，实现抗噪声、低功耗；

INSP的公式如(5)所示：

σ的公式如(6)所示：

其中k表示噪声尺度的控制，S表示尺度参数，x表示前一层卷积的输入值，w_i表示前一层卷积的权重，i表示第i个神经元,τ_syn表示突触时间常数。

本发明根据发生异常行为时人脸表情的不同，作为对基于单一姿态估计进行异常行为识别的多模态特征，提高异常行为识别的准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于多特征融合的异常行为检测方法，其特征在于，该方法包括以下步骤：

步骤1：对视频数据集进行分帧处理，得到视频的T帧图像；

步骤2：通过OpenPose姿态提取库获取每帧图片中人物的关节点坐标信息，得到包含当前帧的18个关节点的坐标位置序列{(x₁₁,y₁₁),(x₁₂,y₁₂),…,(x_1N,y_1N)}；

步骤3：对相邻帧的相同关节点进行向量角度θ_1N和大小

的计算，得到关节点动态信息{θ₁₁,θ₁₂,…,θ_1N}，

步骤4：将关节点的位置和关节点动态信息根据权重f_t分配，进行特征融合，表示为18*T*4姿态特征信息矩阵S₁；

步骤5：利用MTCNN提取人脸区域，并用MobileNet对检测到的人脸图像进行表情特征提取，表示为16*T*1的K₁；

步骤6：将人体表情信息K₁和人体姿态信息S₁进行融合，表示为18*T*4的特征矩阵S₂；

步骤7：将融合后的特征矩阵通过具有噪声鲁棒性的残差网络的行为识别模型，得到最终行为识别结果。

2.根据权利要求1所述的基于多特征融合的异常行为检测方法，其特征在于，所述步骤3中，通过如下公式对关节点进行角度和大小的计算：

计算第T帧第N个关节点角度θ_TN的公式如(1)所示：

其中P_TN表示第N个关节点的特征向量，将求解关节角度的问题转化为求解向量角度问题；

计算第T帧第N个关节点速度v_TN的公式如(2)所示：

其中x_TN、y_TN表示第N个关节点的坐标值，x_(T-1)N、y_(T-1)N表示前一帧关节点的坐标值，利用欧氏距离计算关节点的变化距离，v_TN表示在关键帧帧差时间为t_T情况下关节点的速度。

3.根据权利要求1或2所述的基于多特征融合的异常行为检测方法，其特征在于，所述步骤4中，通过如下方法对权重分配f_t的计算：

根据关节点方向和速度的变化剧烈程度，给T帧图像分配权重f_T，表示对单帧的预测概率值，计算第T个关键帧的最终权重f_T的公式如(3)所示：

其中θ_t表示第T张图像帧中的关节点最大角度变化，v_t表示第T张图像帧中的关节点最大速度变化，k₁、k₂是角度和速度的权重值。

4.根据权利要求1或2所述的基于多特征融合的异常行为检测方法，其特征在于，所述步骤4中，通过如下方法对关节点位置信息和特征融合：

按照空间信息和时序信息将关节点位置序列表示为18*T*2的坐标值矩阵，并与关节点的动态信息融合，表示18*T*4关节点特征矩阵为如(4)所示：

5.根据权利要求1或2所述的基于多特征融合的异常行为检测，其特征在于，所述步骤7中，异常行为检测模型采用了具有噪声鲁棒性的残差网络：

采用包含INSP激活函数的残差网络作为异常行为识别模型，该网络在VGG-19的基础上添加残差单元，并将ReLU函数替换成NSP函数进行改进；

INSP的公式如(5)所示：

σ的公式如(6)所示：

其中k表示噪声尺度的控制，S表示尺度参数，x表示前一层卷积的输入值，w_i表示前一层卷积的权重，i表示第i个神经元,τ_syn表示突触时间常数。

Images