CN115761561A

CN115761561A - 一种基于骨架行为识别的违规视频检测方法

Info

Publication number: CN115761561A
Application number: CN202210453527.4A
Authority: CN
Inventors: 于碧辉; 魏靖烜; 王克; 孙华军; 卜立平
Original assignee: Shenyang Institute of Computing Technology of CAS
Current assignee: Shenyang Institute of Computing Technology of CAS
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2023-03-07

Abstract

本发明涉及本发明提供了一种基于骨架行为识别的违规视频检测方法和系统。包括：视频采集模块、抽取关键帧模块、建立图像数据集模块、实时视频行为检测模块。视频抽取关键帧模块采用姿态估计算法进行关节位置估计，违规行为检测模块采用了多滤波动态图卷积神经网络模型，实时视频行为检测模块采用了多滤波动态图卷积神经网络，通过动态的骨架图来适应不同行为节点之间连接关系。本发明提出的一种基于图卷积神经网络的Inception结构和动态骨架图方法能够实时、准确地对互联网直播中的违规敏感动作行为进行检测和识别，为规范主播直播行为、文明的互联网直播环境提供重要保证。

Description

一种基于骨架行为识别的违规视频检测方法

技术领域

本发明涉及图像处理和检测，尤其涉及一种基于骨架行为识别的违规视频检测方法。

背景技术

近些年，人们开始对行为识别愈发关注，它不仅对于理解视频内容有着重要意义，还在人机交互、视频监控等领域有着广泛的应用。由于网络流媒体的普遍使用，针对网络视频流中的违法、违规以及违反道德风尚的行为的分析变得刻不容缓，针对视频中的该类场景的检测，行为识别可以起到十分重要的作用。随着深度传感器和姿态估计算法的发展，使得提取视频中的人体骨骼特征变得可行且容易实现，人体骨骼中关节的结构传达着重要的动作信息，比起RGB视频的形式更具有鲁棒性，因此骨架序列的动作识别具有重要意义。

目前，对于互联网直播违规行为的检测一般采用人工的方式进行筛选，或者采用简单的图像识别方法在整体上进行图像的识别，这种方法在实际应用中存在以下问题：

1、人工审查工作量巨大，难以保证对每个视频进行有效审查；

2、通过人工审查，主观性强，对质量难以保证；

3、现有的图像识别和分类方法对于具有违法、违规以及违反道德风尚的行为的识别精度不够。

发明内容

本发明提供了一种基于骨架行为识别的违规视频检测方法和系统，基于深度神经网络处理技术对违规视频首先针对静态的人体结构连接，使其成为动态的连接方式，在本身没有连接的两个节点之间通过学习增加相应的连接，其次通过Inception结构对图卷积中的滤波器进行处理，增加每个关节源点的影响信息。基于骨架识别方法对于互联网直播违规行为进行研究，具有重要的研究价值和研究意义。本发明的方法能够实时、准确地对互联网直播视频中的敏感肢体动作行为进行检测和识别。

本发明为实现上述目的所采用的技术方案是：

一种基于骨架行为识别的违规视频检测方法，包括以下步骤：

视频采集步骤：从互联网直播平台获取视频流数据；

抽取关键帧步骤：对视频流数据采用稀疏采样获取单帧图像；采用姿态估计算法对单帧图像进行关节位置估计，获取人体多关节特征；单帧图像上选取平均关节置信度高于阈值的点作为关节特征，得到关键帧图像；

建立图像数据集步骤：将关键帧图像分类标记为违规行为动作图像或非违规行为动作图像，重新混合样本制作样本图像数据集；

建立违规行为检测的图卷积网络模型步骤：建立多滤波动态图卷积神经网络模型，分批次地用多张样本图像数据集反复训练该网络，对模型进行迭代调优及设置违规行为判别概率阈值，直到获取优化后基于人体骨架识别的违规行为检测图卷积网络模型；所述该模型用于判别连续多帧动态图像是否包含违规行为动作；

实时视频行为检测步骤：实时采集视频流并抽取关键帧图像，输入优化后基于人体骨架识别的违规行为检测图卷积网络模型，获取违规判别结果。

所述人体关节特征包括15个关节点向量的像素位置和其置信度(x,y,acc)。

所述样本图像数据集划分为训练集、测试集、验证集。

所述基于人体骨架识别的违规行为检测图卷积网络模型包括：依次连接的BN层、9层时空残差块、全局的平均池化层、全连接层、softmax分类器；所述BN层为批次归一化层，用于规范化输入数据；所述每层时空残差块是由多滤波动态图卷积网络、时域卷积网络以及残差结构组成；所述全局的平均池化层用于将不同样本的特征映射到相同的大小，在保留模型有用特征的同时减少模型的参数量，提高模型的泛化能力；所述全连接层将学到的有关人体骨架关节的特征表示映射到样本标记空间，提取得到有用特征；所述softmax分类器用于动作的分类预测。

所述时域卷积网络的时间窗口为9，所述残差结构使用概率为0.5的dropout参数。

所述多滤波图动态卷积结构包括：将Inception结构拓展到图卷积网络中，分别采用1-领域与2-领域的滤波器对骨架图进行特征提取，且每个邻域内的节点遵循分区策略：将卷积核分为三类，分别为根节点、向心集合和离心集合，用于对输入的样本图像进行处理，最后将特征图连接在一起构成邻接像素矩阵，用于筛选关节位置。

所述训练时是将训练集数据分批次输入该模型，获取动态人体骨架关节连线，并通过多滤波图动态卷积结构关联学习动态人体骨架关节连线与其对应的行为，通过softmax分类器对当前该批次输入的多帧图像数据给出是否违规的判别概率。

所述稀疏采样视频帧的的间隔为5s。

一种基于骨架行为识别的违规视频检测系统，用于对互联网直播平台的视频流数据进行违规识别，所述该系统包括如下程序模块：

视频采集程序模块：从互联网直播平台获取视频流数据；

抽取关键帧程序模块：对视频流数据采用稀疏采样获取单帧图像；采用姿态估计算法对单帧图像进行关节位置估计，获取人体多关节特征；单帧图像上选取平均关节置信度高于阈值的点作为特征，得到关键帧图像；

建立图像数据集程序模块：将关键帧图像分类标记为违规行为动作图像或非违规行为动作图像，重新混合样本制作样本图像数据集；

建立违规行为检测的图卷积网络模型程序模块：建立多滤波动态图卷积神经网络模型，用样本图像数据集反复训练该网络，对模型进行迭代调优及设置违规行为判别概率阈值，直到获取优化后基于人体骨架识别的违规行为检测图卷积网络模型；所述该模型用于判别单帧图像是否违规；

实时视频行为检测程序模块：实时采集视频流并抽取关键帧图像，输入优化后基于人体骨架识别的违规行为检测图卷积网络模型，逐一获取单帧图像违规判别结果。

一种基于骨架行为识别的违规视频检测设备，包括：在服务器端的处理器和计算机可读存储介质；所述处理器用于实现各指令，所述计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-8任一项所述的基于骨架行为识别的违规视频检测方法。

本发明具有以下有益效果及优点：

1.针对源点只能获取相邻节点特征和静态结构的骨架图无法满足自适应需求的问题，本发明提出一种基于图卷积神经网络的Inception结构和动态骨架图，即多滤波动态图卷积网络。该方法不仅可以使得源点能够获取到较远节点的特征，还能使用动态的骨架图结构，针对不同的动作产生不同的身体关联，提高了模型的适应性和准确率，取得了更好的效果。

2.本发明针对静态的人体结构连接，使其成为动态的连接方式，在本身没有连接的两个节点之间通过学习增加相应的连接。

3.本发明将Inception结构拓展到图卷积中并结合分区策略，分别采用1-领域与2-领域的滤波器对骨架图进行特征提取，且每个邻域内的节点遵循分区策略，即将卷积核分为三类，分别为根节点、向心集合(包含比根节点近和与根节点距离相同的节点)和离心集合，最后将特征图连接在一起。这种方式解决了无法获取较远节点对源节点的影响的问题。

4.本发明提出一个新的注意力机制，可以将静态骨架图变成动态的图结构，它可以通过学习，在物理不相连的节点之间产生新的连接，使得动作识别算法更合理更准确。

5.本发明的方法能够实时、准确地对互联网直播视频中的敏感肢体动作行为进行检测和识别，为规范主播直播行为、文明的互联网直播环境提供重要保证。

6.本系统操作简单，识别准确率较高，在当今直播盛行的年代，适合大面积推广应用。

附图说明

图1为本发明中模型结构图；

图2为多滤波图卷积结构图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明方法包括：首先针对静态的人体结构连接，使其成为动态的连接方式，在本身没有连接的两个节点之间通过学习增加相应的连接，其次通过Inception结构对图卷积中的滤波器进行处理，增加每个关节源点的影响信息。在这两方面的基础上提出了多滤波动态的图卷积神经网络的动作识别模型，最后，在Kinetics-skeleton数据集上展开了动作模型的识别研究，研究结果验证了多滤波动态图卷积神经网络模型的识别准确率。动作识别的网络模型一共有9层时空残差块组成，每个时空残差块是由多滤波动态图卷积网络、时域卷积网络以及残差结构公共组成。时域卷积网络的时间窗口为9，残差结构使用概率为0.5的Dropout，防止过拟合。当数据刚进入模型经过一个BN层，用于规范化输入数据。结尾处使用一个全局的平均池化层，将不同样本的特征映射到相同的大小，最后提供给softmax分类器进行动作的分类预测。本发明将Inception结构拓展到图卷积中并结合分区策略，分别采用1-领域与2-领域的滤波器对骨架图进行特征提取，且每个邻域内的节点遵循分区策略，即将卷积核分为三类，分别为根节点、向心集合(包含比根节点近和与根节点距离相同的节点)和离心集合，最后将特征图连接在一起。这种方式解决了无法获取较远节点对源节点的影响的问题。

本发明中所述的违规视频为：比如视频画面中含有违法、违规以及违反道德风尚的敏感肢体行为动作。本发明方法是针对视频中该类动作等行为，基于骨架行为进行识别训练。

所述的违规视频检测系统内安装有：基于深度学习的异常动作识别模型和训练好的模型权重参数。所述的违规视频检测系统内安装有：采集异常及正规直播平台视频数据的视频采集程序。所述的违规视频检测系统内安装有：将视频流处理成图像数据的视频解析程序。所述的违规视频检测系统内安装有：直播及视频异常行为检测程序。所述的违规视频检测系统内安装的识别模型是基于多滤波动态图卷积神经网络的骨架行为识别的异常行为识别模型。

所述基于深度学习的异常行为识别模型采用多滤波动态图卷积网络模型和大规模图像数据集预训练模型。

所述的违规视频检测系统内安装的模型权重参数是利用互联网直播平台正规和异常视频流数据对检测模型进行训练获得的。

所述违规视频检测系统内使用的视频采集程序是对互联网平台公开分享的视频流数据进行搜集。所述违规视频检测系统内使用的视频解析程序，能够对视频流逐帧处理成图像数据，并且利用稀疏采样方式压缩解析量。所述违规视频检测系统内使用的视频异常行为检测程序，将视频解析程序处理得到的关键视频帧图像作为输入，使用深度学习神经网络模型进行识别检测，最终的输出是输入视频是否异常。

如图1所示，本发明采用基于多滤波动态图卷积网络的视频违规行为检测模型。利用获取检测视频模块在网络上获得公开可使用的违规及非违规视频数据集，利用上多滤波动态图卷积网络进行训练，并将训练好的模型权重参数保存在服务器，用于对视频违规行为的检测。模型自上而下为，通过Openpose姿态估计算法对视频的每一帧进行关节位置估计，得到相应的关键点(找到关节点)以及相应节点的置信度，随后，通过BatchNorm方法对于输入到模型中的数据进行批归一化操作，随后，多滤波动态图卷积网络(Mfd-gcn)、时域卷积网络(Tcn)以及残差结构(ResNet)组成的9层的残差块进行特征的提取，提取后进行全局池化(Global Pooling)用于将不同样本的特征映射到相同的大小，在保留模型有用特征的同时减少模型的参数量，提高模型的泛化能力，提取到有用特征；经过全连接层(FullyConnection)进行结果映射，将学到的有关人体骨架关节的特征表示映射到样本标记空间，提取得到有用特征(将关节点进行连线得到人体骨架)，最后通过softmax分类器给出辅助决策结果。

整个网络模型一共有9层时空残差块组成，每个时空残差块是由多滤波动态图卷积网络、时域卷积网络以及残差结构公共组成。时域卷积网络的时间窗口为9，残差结构使用概率为0.5的Dropout，防止过拟合。当数据刚进入模型经过一个BN层，用于规范化输入数据。结尾处使用一个全局的平均池化层，将不同样本的特征映射到相同的大小，最后提供给softmax分类器进行动作的分类预测。

下面结合图2，对图1中的多滤波图卷积结构进行详细描述。

使用图划分的策略将滤波器分为三类，分别代表了向心运动、离心运动和静止的动作特征。本文提出一种类似Inception的网络结构，即多滤波结构，利用不同维度的滤波器对节点进行卷积操作，最后再将特征图融合在一起。

将Inception结构拓展到图卷积中并结合分区策略，分别采用1-领域(图中K1)与2-领域(图中K2)的滤波器对骨架图进行特征提取，且每个邻域内的节点遵循分区策略，即将卷积核分为三类，分别为根节点、向心集合(包含比根节点近和与根节点距离相同的节点)和离心集合，最后将特征图连接在一起，解决了无法获取较远节点对源节点的影响的问题，更好的进行特征抽取工作。多滤波动态图卷积神经网络，通过增加原点(当前点)的邻域范围来获取较远节点对原点的影响，并且通过动态的骨架图来适应不同行为节点之间连接关系，从而改变了骨架图的原始特征提取方案，更有效进行特征抽取。

本发明的一种基于骨架行为识别的违规视频检测方法，包括：在服务器端的处理器和计算机可读存储介质；所述处理器用于实现各指令，所述计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于文本和视频融合的多模态违规视频检测方法。

本发明中所述的计算机可读存储介质中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上说明所描述的实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换和改进。这些都属于本发明的保护范围。

Claims

1.一种基于骨架行为识别的违规视频检测方法，其特征在于，包括以下步骤：

视频采集步骤：从互联网直播平台获取视频流数据；

2.根据权利要求1所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述人体关节特征包括15个关节点向量的像素位置和其置信度(x,y,acc)。

3.根据权利要求1所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述样本图像数据集划分为训练集、测试集、验证集。

4.根据权利要求1所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述基于人体骨架识别的违规行为检测图卷积网络模型包括：依次连接的BN层、9层时空残差块、全局的平均池化层、全连接层、softmax分类器；所述BN层为批次归一化层，用于规范化输入数据；所述每层时空残差块是由多滤波动态图卷积网络、时域卷积网络以及残差结构组成；所述全局的平均池化层用于将不同样本的特征映射到相同的大小，在保留模型有用特征的同时减少模型的参数量，提高模型的泛化能力；所述全连接层将学到的有关人体骨架关节的特征表示映射到样本标记空间，提取得到有用特征；所述softmax分类器用于动作的分类预测。

5.根据权利要求4所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述时域卷积网络的时间窗口为9，所述残差结构使用概率为0.5的dropout参数。

6.根据权利要求4所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述多滤波图动态卷积结构包括：将Inception结构拓展到图卷积网络中，分别采用1-领域与2-领域的滤波器对骨架图进行特征提取，且每个邻域内的节点遵循分区策略：将卷积核分为三类，分别为根节点、向心集合和离心集合，用于对输入的样本图像进行处理，最后将特征图连接在一起构成邻接像素矩阵，用于筛选关节位置。

7.根据权利要求1所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述训练时是将训练集数据分批次输入该模型，获取动态人体骨架关节连线，并通过多滤波图动态卷积结构关联学习动态人体骨架关节连线与其对应的行为，通过softmax分类器对当前该批次输入的多帧图像数据给出是否违规的判别概率。

8.根据权利要求1所述的一种基于骨架行为识别的违规视频检测方法，其特征在于，所述稀疏采样视频帧的的间隔为5s。

9.一种基于骨架行为识别的违规视频检测系统，用于对互联网直播平台的视频流数据进行违规识别，其特征在于，所述该系统包括如下程序模块：

视频采集程序模块：从互联网直播平台获取视频流数据；

10.一种基于骨架行为识别的违规视频检测设备，包括：在服务器端的处理器和计算机可读存储介质；所述处理器用于实现各指令，所述计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-8任一项所述的基于骨架行为识别的违规视频检测方法。