CN109657597A - 面向个体直播场景的异常行为检测方法 - Google Patents

Abstract

本发明揭示了一种面向个体直播场景的异常行为检测方法，其特征在于，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，得到连续三帧图像；S2、对连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测；S3、对当前帧图像进行人形区域分割，得到待检图像；S4、分离待检图像的三个颜色通道的图像，得到输入图像；S5、对输入图像进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。本发明能快速且准确的对视频中人物的异常行为进行检测识别，当检测到直播内容违规时，可以及时向网络平台通知报警，从而实现对直播内容实时、全面的监测。

Description

面向个体直播场景的异常行为检测方法

技术领域

本发明涉及一种依托于计算机技术的异常行为检测方法，具体而言，涉及一种面向个体直播场景的异常行为检测方法，属于深度学习技术领域。

背景技术

近年来，网络直播行业发展极为迅速，各种直播平台层出不穷并不断发展壮大，越来越多的用户开始进行直播或者观看，信息量日益剧增。与此同时，随着直播行业的飞速发展，直播行业的各种乱象频频出现。尤其在个体直播领域，直播的内容五花八门，其中不乏色情、暴力等用来吸引观众的低俗内容。但对于这一问题，目前市场上缺乏有效的监管工具和相应的检测方法，因此这一现象很难完全杜绝。

人物的异常行为检测技术能够在视频中检测人物的运动形态，对视频中的人形图像进行检测与追踪，进而实现对视频内容的判断。也正是基于这一技术的出现，为技术人员带来了启发，通过使用异常行为检测模型对网络个体直播的内容进行实时监测，以判断是否包含色情、暴力等低俗内容，也就成为了目前行业内研究的热点。

综上所述，如何在现有技术的基础上提出一种面向个体直播场景的异常行为检测方法，快速且准确的完成对直播内容的检测，也就成为了本领域内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种面向个体直播场景的异常行为检测方法，包括如下步骤：

S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧；

S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4；

S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6；

S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，得到输入图像Image7；

S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。

优选地，S1中所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。

优选地，S2具体包括如下步骤：

S21、对前两帧图像Image1和Image2做灰度差；

S22、对当前帧图像Image3和前一帧图像Image2做灰度差；

S23、对上述两个结果按位做“与”操作，得到图像Image4。

优选地，S3具体包括如下步骤：

S31、对S2中得到的图像Image4进行形态学中的闭运算处理，然后对图中的人形轮廓进行矩形拟合，记录矩形的中心位置（x0,y0）和高宽（h，w）；

S32、截取当前帧图像Image3对应的矩形区域，获得人形图像Image5，其中，Image5=Image3[x0-h/2 : x0+h/2,y0-w/2 : y0+w/2] ；

S33、调整图像Image5大小为（68,68），得到待检图像Image6。

优选地，S5中所述卷积神经网络为一个9层卷积神经网络，共包括3个卷积层、3个池化层、2个全连接层和1个输出层，所述卷积神经网络的前6层由卷积层和池化层交替级联，随后接入2个全连接层，最后一层采用RBF分类器；所述卷积神经网络中卷积层的卷积核边长都是5，步长都为1，池化层的窗口边长都为2，步长都为2。

优选地，S5中还包括训练异常行为检测模型，具体包括如下步骤：

S51、准备训练样本集合，所述训练样本集合包括正样本集和负样本集；

S52、处理训练样本，使样本尺寸保持一致；

S53、训练样本处理完毕后，将所有正样本与所有负样本分别放入两个对应文件夹中，并将所有训练样本缩放到同样的尺寸大小。

S55、对所有正、负样本赋予样本标签；

S55、将正、负样本和标签，都输入到卷积神经网络模型中进行训练，最终得到经过训练的异常行为检测模型。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明提出了一种面向个体直播场景的异常行为检测方法，该方法采用三帧差法对视频中人物的运动形态进行实时检测与追踪，通过形态学的闭运算处理和矩形拟合，减少周围环境对人形检测的影响，随后在当前帧图像对应的矩形区域进行人形分割，得到输入图像，随后使用卷积神经网络进行训练，最终得到异常行为检测模型并将其用于直播用户的异常行为检测。

本发明能快速且准确的对视频中人物的异常行为进行检测识别，当检测到直播内容违规时，可以及时向网络平台通知报警，从而实现对直播内容实时、全面的监测。本发明能够广泛地适用于个体直播领域，为公众打造一个绿色和谐的网络环境。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他视频内容检测的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明的异常行为检测方法的总体流程示意图；

图2为本发明中人形检测与分割的流程示意图；

图3为本发明卷积神经网络模型的结构示意图。

具体实施方式

如图1~图3所示，本发明揭示了一种面向个体直播场景的异常行为检测方法，包括如下步骤：

S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧。

所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。其中Gamma校正就是对图像的Gamma曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；中值滤波主要消除噪声对检测的影响。

S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4。

S2具体包括如下步骤：

S21、对前两帧图像Image1和Image2做灰度差；

S22、对当前帧图像Image3和前一帧图像Image2做灰度差；

S23、对上述两个结果按位做“与”操作，得到图像Image4。

此处所述采用三帧差法对运动的人形区域进行检测，需要说明的是，帧间差分法是通过对视频中相邻两帧图像做差分运算来标记运动物体的方法。当视频中存在移动物体的时候，相邻帧（或相邻三帧）之间在灰度上会有差别，求取两帧图像灰度差的绝对值，则静止的物体在差值图像上表现出来全是0，而移动物体特别是移动物体的轮廓处由于存在灰度变化为非0，这样就能大致计算出移动物体的位置、轮廓和移动路径等。本发明中采用的三帧差法是在相邻帧差法基础上改进的算法，在一定程度上优化了运动物体双边粗轮廓的现象，相比相邻两帧差法，三帧差法做了两次的差分运算，给了三帧差法更多可操作和优化的空间，为更优秀的检测效果提供了可能。

S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6。

S3具体包括如下步骤：

S31、对S2中得到的图像Image4进行形态学中的闭运算处理，然后对图中的人形轮廓进行矩形拟合，记录矩形的中心位置（x0,y0）和高宽（h，w）；

矩形拟合指的是用一个矩形刚好能包括所有连续分布的像素值为255的点。

S32、截取当前帧图像Image3对应的矩形区域，获得人形图像Image5，其中，Image5=Image3[x0-h/2 : x0+h/2,y0-w/2 : y0+w/2] ；

S33、调整图像Image5大小为（68,68），得到待检图像Image6。

S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，即输入的是一个3×68×68的三维神经元，得到输入图像Image7；

一幅图像的基本组成单位是以RGB为基础展开的，为此可以理解为一个图像由RGB这样的三个元素组成，R为一个红色通道，表示为1；G为一个绿色通道，表示为2；B 为一个蓝色通道，表示为3；有一处白色图像则为4,它是由1、2、3处的通道颜色混合而成，这相当于我们使用的调色板，几种颜色混合在一起将产生一种新的颜色。

S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。

本发明中的所述卷积神经网络为一个9层卷积神经网络，共包括3个卷积层、3个池化层、2个全连接层和1个输出层，所述卷积神经网络的前6层由卷积层和池化层交替级联用于特征提取，随后接入2个全连接层，最后一层采用RBF分类器；所述卷积神经网络中卷积层的卷积核边长都是5，步长都为1，池化层的窗口边长都为2，步长都为2。

激励层采用ReLU激活函数，主要对卷积层的输出进行一个非线性映射，因为卷积层的计算还是一种线性计算，卷积层和激励层合并在一起称为卷积层；全连接层主要对特征进行重新拟合，减少特征信息的损失；网络的最后一层采用RBF分类器。

其中输入层Input由3×68×68的三维神经元组成，对应于输入人形图像的三个颜色通道图像channel_r、channel_g、channel_b。

其中，卷积层C1采用3×5×5的卷积核，对应于深度为3的输入层Input，一个feature map（特征映射图）对应一个卷积核，本发明使用6个不同的卷积核，共输出6个64×64的feature map。

其中池化层S2采用2×2的“池化视野（filter）”，输出的深度保持不变，依然为上一层中feature map的个数，采用Max pooling（取“池化视野”矩阵中的最大值）的计算方式，可将6个64×64的feature map下采样得到6个32×32的特征矩阵。

卷积层C3采用6个6×5×5的卷积核，得到6个28×28的特征映射图。

池化层S4对6个28×28的feature map下采样得到6个14×14的特征矩阵。

卷积层C5采用16个6×5×5的卷积核，得到16个10×10的特征映射图。

池化层S6对16个10×10的feature map下采样得到16个5×5的特征矩阵。

全连接层F7采用120个神经元，与池化层S6的400个神经元进行全连接。

全连接层F8采用84个神经元，与全连接层F7的120个神经元进行全连接。

输出层Output采用1个神经元，与全连接层F8的84个神经元进行高斯连接。

S5中还包括训练异常行为检测模型，具体包括如下步骤：

S51、准备训练样本集合，所述训练样本集合包括正样本集（含有违规行为的样本）和负样本集，训练样本应该是无限多的，而且训练样本应该覆盖实际应用过程中可能发生的各种情况。

S52、收集到足够的训练样本之后，需要手动处理训练样本，使样本尺寸保持一致；

S53、训练样本处理完毕后，将所有正样本与所有负样本分别放入两个对应文件夹中，并将所有训练样本缩放到同样的尺寸大小。

S55、对所有正、负样本赋予样本标签；

例如，所有正样本标记为1，所有负样本标记为0；

S55、将正、负样本和标签，都输入到卷积神经网络模型中进行训练，最终得到经过训练的异常行为检测模型。

本发明提出了一种面向个体直播场景的异常行为检测方法，该方法采用三帧差法对视频中人物的运动形态进行实时检测与追踪，通过形态学的闭运算处理和矩形拟合，减少周围环境对人形检测的影响，随后在当前帧图像对应的矩形区域进行人形分割，得到输入图像，随后使用卷积神经网络进行训练，最终得到异常行为检测模型并将其用于直播用户的异常行为检测。

本发明能快速且准确的对视频中人物的异常行为进行检测识别，当检测到直播内容违规时，可以及时向网络平台通知报警，从而实现对直播内容实时、全面的监测。本发明能够广泛地适用于个体直播领域，为公众打造一个绿色和谐的网络环境。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他视频内容检测的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种面向个体直播场景的异常行为检测方法，其特征在于，包括如下步骤：

S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧；

S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4；

S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6；

S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，得到输入图像Image7；

S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。

2.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于：S1中所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。

3.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于，S2具体包括如下步骤：

S21、对前两帧图像Image1和Image2做灰度差；

S22、对当前帧图像Image3和前一帧图像Image2做灰度差；

S23、对上述两个结果按位做“与”操作，得到图像Image4。

4.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于，S3具体包括如下步骤：

S31、对S2中得到的图像Image4进行形态学中的闭运算处理，然后对图中的人形轮廓进行矩形拟合，记录矩形的中心位置（x0,y0）和高宽（h，w）；

S32、截取当前帧图像Image3对应的矩形区域，获得人形图像Image5，其中，Image5=Image3[x0-h/2 : x0+h/2,y0-w/2 : y0+w/2] ；

S33、调整图像Image5大小为（68,68），得到待检图像Image6。

5.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于：S5中所述卷积神经网络为一个9层卷积神经网络，共包括3个卷积层、3个池化层、2个全连接层和1个输出层，所述卷积神经网络的前6层由卷积层和池化层交替级联，随后接入2个全连接层，最后一层采用RBF分类器；所述卷积神经网络中卷积层的卷积核边长都是5，步长都为1，池化层的窗口边长都为2，步长都为2。

6.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于，S5中还包括训练异常行为检测模型，具体包括如下步骤：

S51、准备训练样本集合，所述训练样本集合包括正样本集和负样本集；

S52、处理训练样本，使样本尺寸保持一致；

S53、训练样本处理完毕后，将所有正样本与所有负样本分别放入两个对应文件夹中，并将所有训练样本缩放到同样的尺寸大小。

S55、对所有正、负样本赋予样本标签；

S55、将正、负样本和标签，都输入到卷积神经网络模型中进行训练，最终得到经过训练的异常行为检测模型。