CN111079539B - 一种基于异常追踪的视频异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于异常追踪的视频异常行为检测方法，包括以下步骤：S1、视频异常检测与追踪模型的设计；S2、对视频提取前景块，再输入到卷积自编码器中编码再解码输出重构视频块，并训练卷积自编码器能学习到时空特征；S3、将时空特征用局部敏感哈希函数映射到不同的桶中，训练一对多支持向量机分类器；S4、利用分类器对测试视频块分类，将多个分类器的最高得分取负作为异常得分，设置阈值初步检测视频中的异常块；S5、用核相关滤波跟踪方法跟踪初步检测得到的异常块，对异常目标的区域进行矫正。本发明通过跟踪初步检测得到的异常块，纠正异常目标的位置，并对根据异常目标路径块得到的异常目标得分曲线平滑，去除噪声的影响，提高检测的精度。

Description

一种基于异常追踪的视频异常行为检测方法

技术领域

本发明涉及图像与视频处理技术领域，具体涉及一种基于异常追踪的视频异常行为检测方法。

背景技术

视频异常行为检测是智能视频监控中的重要组成部分，自动监测视频中可能的异常行为，从而能及时的发现并阻止灾害的发生，在交通、公众安全等领域应用广泛。

异常行为检测的关键问题之一是如何定义异常。由于异常行为非常稀少且形式各样，很难枚举和定义，所以目前的方法都是专注于如何对正常行为提取特征建模。在传统特征方面，梯度直方图、光流直方图、社会力模型、密集轨迹和动态纹理等均被用于正常行为的建模，然而这些方法都是手工设计的，需要一定的专家知识，对于应用场景有比较强的针对性。

而随着计算机视觉的发展，神经网络在目标检测、人脸识别等多个领域大放异彩。不需要针对具体问题精心设计手工特征，神经网络能自动学习到足够精细又具有鲁棒性的特征。但由于视频异常检测问题缺少正样本的特性，常用的神经网络端对端的训练方式并不合适，比较常用的有利用自编码器编码的特征对正常行为建模或者利用预训练好的卷积三维神经网络提取视频中的时空特征。布加勒斯特大学的Ionescu等人提出了一种以对象为中心的卷积自编码无监督特征学习框架编码运动和外观信息，并基于训练样本聚类的监督分类方法检测异常。但该方法需要用到目标检测方法对每帧进行检测，当面对人群密集的情况时，计算量很大且冗余，并且需要三个自编码器分别提取运动和外观信息。对正常样本聚类时采用k-Means聚类方法，特征高维、数据量多时计算时间长。

视频跟踪技术常常用于跟踪中的某个特定目标。考虑到人们在观察视频时往往是先注意到某个不寻常的点，再对该点进行跟踪的思路，先对视频进行初步的异常检测，再跟踪异常目标，可以对异常区域进行纠正，从而能得到更准确的异常得分，提高检测的准确度。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于异常追踪的视频异常行为检测方法，更好地提升视频异常行为检测任务的性能和泛化能力。

为了达到上述目的，本发明采用以下技术方案：

一种基于异常追踪的视频异常行为检测方法，所述方法包括以下步骤：

S1、视频异常检测与追踪模型的设计：包括时空特征提取器的设计、分类器的设计以及结合异常追踪器的异常检测方法的设计；其中，时空特征提取器由提取前景块和卷积自编码器编码两部分组成，分类器由局部敏感哈希函数快速聚类时空特征和针对每一聚类训练一对多支持向量机分类器两部分组成，异常追踪器即用核相关滤波跟踪方法跟踪分类器初步检测得到的异常块，并用分类器再次检测跟踪得到的异常目标路径块，计算异常得分，从而达到结合异常追踪检测异常行为的目的；

S2、时空特征提取器的训练：对视频提取前景块，再输入到卷积自编码器中编码再解码输出重构视频块，以最小化与对应区域的下一帧图像的重构误差作为训练方向，训练卷积自编码器能学习到时空特征；

S3、分类器的训练：将步骤S2编码得到的时空特征用局部敏感哈希函数映射到不同的桶中，将一个桶中的样本作为一类，训练一对多支持向量机分类器；

S4、用步骤S3中训练好的分类器对测试视频块分类，将多个分类器的最高得分取负作为异常得分，设置阈值初步检测视频中的异常块；

S5、搭建异常追踪器：用核相关滤波跟踪方法追踪步骤S4中得到的异常块，对异常目标的区域进行矫正，并重新计算异常目标路径块的异常得分检测视频中的异常。

作为优选的技术方案，步骤S2中，前景块的提取是将视频帧先分为大小为20×20的不重叠的块，对连续五帧相同区域的块组合成一个大小为20×20×5的立方体，计算每个立方体帧之间对应位置像素点的方差之和，设置阈值判断是否是前景块。

作为优选的技术方案，步骤S2中，对视频提取大小为20×20的前景块，输入到三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为16，8，4，无零填充的卷积层和非线性激活层串联形成的网络模块编码，再通过三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为8，16，3，无零填充的反卷积层和非线性激活层串联形成的网络模块解码得到重构视频块，以最小化与对应区域的下一帧图像的重构误差作为训练方向，训练卷积自编码器能学习到时空特征。

作为优选的技术方案，步骤S2中，所述网络模块编码的编码器中的三个卷积层的激活函数均为ReLU，解码器中的三层反卷积层的前两层激活函数为ReLU，最后一层激活函数为tanh，将输出值缩放到[-1，1]范围内。

ReLU激活函数如下公式所示：

其中x为激活函数ReLU的输入值，ReLU(x)为激活函数的输出值；

tanh激活函数如下公式所示：

其中x为激活函数tanh的输入值，tanh(x)为激活函数的输出值；

编码器编码后的时空特征为4×7×7，196维。

作为优选的技术方案，步骤S2中，将重构视频块与下一帧对应区域的图像块的像素点的重构误差作为损失函数，训练卷积自编码器学习到时空特征，像素点的重构误差的计算公式如下：

其中，A^t，A^t+1分别为第t帧和第t+1帧对应区域的图像块，h、w为图像块的高和宽，

为对应像素点。

作为优选的技术方案，步骤S3中，利用M个P-stable局部敏感哈希函数与训练集时空特征矩阵相乘，每一个训练样本映射成M个哈希值，哈希值相同则落入同一个桶代表聚为一类，将样本量小于5的聚类删除，减少噪声的干扰，对剩下的多个聚类训练一对多支持向量机。

作为优选的技术方案，步骤S4具体为：

根据S3训练得到的分类器，在测试阶段，提取测试视频的前景块，再用编码器编码前景块的时空特征，用多个支持向量机分类，得到多个分类分数，取最大分数的负值作为异常得分s(x)，即：

s(x)＝-g(x)

g(x)＝max(g₁(x)，g₂(x)...g_i(x)，...)

其中，x为一个测试视频前景块的时空特征向量，g_i(x)为第i个支持向量机的分数，支持向量机为LinearSVC，如果s(x)＞0则初步判定为异常块，说明该视频块不属于任何一个聚类。

作为优选的技术方案，步骤S5中，利用核相关滤波跟踪方法依次跟踪步骤S4中初步检测到的异常块，对追踪到的异常目标路径块提取时空特征，根据分类器得到异常得分，将该异常目标的异常得分绘制成曲线，由于目标在相邻帧的行为一般变化不大，异常得分曲线应是平滑的，对得分曲线每三帧取平均去除噪声；

若步骤S4中的初步检测的异常块与已追踪得到的异常目标路径块重叠，则放弃追踪该异常块，减少对同一异常目标的冗余追踪；若不重叠，则追踪该异常块；

最后，取视频帧中异常目标路径块最大的异常分数作为该帧的异常分数。

作为优选的技术方案，步骤S5中，所述异常曲线中横坐标是帧数，纵坐标是异常分数。由于异常往往集中在某个目标上，并且帧与帧之间动作变化较小，所以异常目标的得分应该是光滑的，对曲线进行每三帧求平均，去除噪声的影响，如下公式所示。

s(t)＝[s(t-1)+s(t)+s(t+1)]/3

其中s(t)为第t帧的分数，s(t-1)和s(t+1)分别为前一帧和后一帧的异常分数。异常曲线的第一帧和最后一帧的分数保持原分数不变。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过原始前景块和下一帧前景块的重构误差训练卷积自动编码器，使其在学习到图像的外观特征的同时学习到运动信息，不需要分成多个网络分开学习外观和运动特征，合并为一个网络学习可以简化模型，减少计算时间。

2、本发明对训练集的时空特征通过局部敏感哈希聚类成多种正常行为模式，再对每一聚类训练一对多支持向量机分类器，根据多个支持向量机的最高得分检测异常。局部敏感哈希可以实现对高维时空特征的快速聚类，从而减少计算时间。

3、本发明通过跟踪初步检测得到的异常块，纠正异常目标的位置，并对异常追踪目标的异常分数曲线进行平滑，去除噪声的影响，提高检测的精度。

附图说明

图1为本发明实施例基于追踪的视频异常检测方法训练阶段流程图。

图2为本发明实施例基于卷积自编码器的时空特征提取器训练阶段网络模型。

图3为本发明实施例基于局部敏感哈希聚类的分类器训练阶段模型。

图4为本发明实施例基于追踪的视频异常检测方法测试阶段流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此实施例。

如图1所示，本实施例一种基于异常追踪的视频异常行为检测方法，包括下述步骤：

S1、设计异常追踪模型和异常检测方法，具体网络结构和方法设置如下：

本实施例的异常检测方法训练阶段为先提取视频前景块，再对前景块通过卷积自编码器提取时空特征。卷积自编码器训练阶段有编码器和解码器，训练完成后用编码器的编码结果作为时空特征，利用局部敏感哈希函数快速聚类后，对每个聚类训练一对多支持向量机分类器。

测试阶段，如图4所示，提取观测视频前景块，利用训练好的编码器提取前景块的时空特征，用分类器初步检测出异常图像块，跟踪异常块，平滑异常目标的异常得分曲线，根据阈值判断检测异常目标。

S2、时空特征提取器的具体模型参数设置和方法如下：

如图2所示，首先对观测视频均进行归一化的预处理，在本实施例中，对所有像素值统一采用的预处理方法如下：

所有未预处理的视频帧的像素值范围为[0，255]，所以进行预处理之后，像素值的数值范围变为[0，1]。

再将视频帧先分为大小为20×20的不重叠的块，对连续五帧相同区域的块组合成一个大小为20×20×5的立方体。计算每个立方体帧之间对应像素点的方差之和，设置阈值为0.8，方差之和大于0.8则为前景块。

将大小为20×20，通道数为3的前景块的像素值统一变换到[-1，1]，变换方法如下：

再输入到三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为16，8，4，无零填充的卷积层和非线性激活层串联形成的网络模块编码，再通过三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为8，16，3，无零填充的反卷积层和非线性激活层串联形成的网络模块解码，编码器中的三个卷积层的激活函数均为ReLU，解码器中的三层反卷积层的前两层激活函数为ReLU，最后一层激活函数为tanh，将输出值缩放到[-1，1]范围内。

ReLU激活函数如下公式所示：

其中x为激活函数ReLU的输入值，ReLU(x)为激活函数的输出值；

tanh激活函数如下公式所示：

其中x为激活函数tanh的输入值，tanh(x)为激活函数的输出值；

编码器编码后的时空特征为4×7×7，196维。

将重构块与下一帧对应区域的图像块的像素点的重构误差作为损失函数，训练卷积自编码器学习到时空特征。像素点的重构误差的计算公式如下：

其中，A^t，A^t+1分别为第t帧和第t+1帧对应区域的图像块，h、w为图像块的高和宽，

为对应像素点。

S3、分类器的具体模型参数设置和方法如下：

在本实施例中，如图3所示，训练集时空特征矩阵为N×196维，N为前景块的数量，利用2个P-stable局部敏感哈希函数，对训练样本计算哈希值，计算方式如下公式所示：

其中，b∈(0，r)是一个随机数，在本实施例中，r为50。v为一个训练集样本，大小为1×196。a是一个196×1的向量，其中每一个元素都是从标准正态分布中随机生成。

为向下取整函数。

两个哈希函数对于每个样本可以得到两个哈希值{h₁，h₂}，两个哈希值均对应相同则样本落入同一个桶聚为一类。将样本量小于5的聚类删除，减少噪声的干扰。对剩下的每个聚类训练一对多支持向量机分类器，即每次将一个聚类作为一类，其他聚类作为另一类训练一个分类器，有K个聚类即有K个支持向量机分类器。

S4、根据S3训练得到的分类器，在测试阶段，提取测试视频的前景块，再用编码器编码前景块的时空特征，用多个支持向量机分类，得到多个分类分数，取最大分数的负值作为异常得分s(x)，即：

s(x)＝-g(x)

g(x)＝max(g₁(x)，g₂(x)...g_i(x)，...)

其中，x为一个测试视频前景块的时空特征向量，g_i(x)为第i个支持向量机的分数，支持向量机为LinearSVC，如果s(x)＞0则初步判定为异常块，说明该视频块不属于任何一个聚类。

S5、异常追踪器的具体模型参数设置和方法如下：如图4所示，利用核相关滤波跟踪方法依次跟踪步骤S4中检测到的异常块，将每一帧中跟踪得到的区域截取出来，转变大小为20×20，并输入到卷积自编码器中得到编码结果作为时空特征向量，对向量计算每个支持向量机的分数并且取最高分数的负值作为异常得分。将该异常目标每帧的得分绘制成异常曲线，横坐标是帧数，纵坐标是异常分数。由于异常往往集中在某个目标上，并且帧与帧之间动作变化较小，所以异常目标的得分应该是光滑的，对曲线进行每三帧求平均，去除噪声的影响，如下公式所示。

s(t)＝[s(t-1)+s(t)+s(t+1)]/3

其中s(t)为第t帧的分数，s(t-1)和s(t+1)分别为前一帧和后一帧的异常分数。异常曲线的第一帧和最后一帧的分数保持原分数不变。

如果第一轮检测到的异常块与第二轮追踪得到的异常块区域有重叠，则不追踪该第一轮检测到的异常块。如此，可以减少追踪的次数，避免同一异常目标追踪多次。

将一帧中的所有异常块的最大异常分数作为该帧的异常分数，若异常分数超过阈值，则判断该帧为异常。在本实施例中，阈值设定为0。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于异常追踪的视频异常行为检测方法，其特征在于：所述方法包括以下步骤：

S1、视频异常检测与追踪模型的设计：包括时空特征提取器的设计、分类器的设计以及结合异常追踪器的异常检测方法的设计；其中，时空特征提取器由提取前景块和卷积自编码器编码两部分组成，分类器由局部敏感哈希函数快速聚类时空特征和针对每一聚类训练一对多支持向量机分类器两部分组成，异常追踪器即用核相关滤波跟踪方法跟踪分类器初步检测得到的异常块，并用分类器再次检测跟踪得到的异常目标路径块，计算异常得分，从而达到结合异常追踪检测异常行为的目的；

S2、时空特征提取器的训练：对视频提取前景块，再输入到卷积自编码器中编码再解码输出重构视频块，以最小化与对应区域的下一帧图像的重构误差作为训练方向，训练卷积自编码器能学习到时空特征；

步骤S2中，将重构视频块与下一帧对应区域的图像块的像素点的重构误差作为损失函数，训练卷积自编码器学习到时空特征，像素点的重构误差的计算公式如下：

其中，A^t,A^t+1分别为第t帧和第t+1帧对应区域的图像块，h、w为图像块的高和宽，

为对应像素点；

S3、分类器的训练：将步骤S2编码得到的时空特征用局部敏感哈希函数映射到不同的桶中，将一个桶中的样本作为一类，训练一对多支持向量机分类器；

S4、用步骤S3中训练好的分类器对测试视频块分类，将多个分类器的最高得分取负作为异常得分，设置阈值初步检测视频中的异常块；

S5、搭建异常追踪器：用核相关滤波跟踪方法追踪步骤S4中得到的异常块，对异常目标的区域进行矫正，并重新计算异常目标路径块的异常得分检测视频中的异常。

2.根据权利要求1所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S2中，前景块的提取是将视频帧先分为大小为20×20的不重叠的块，对连续五帧相同区域的块组合成一个大小为20×20×5的立方体，计算每个立方体帧之间对应位置像素点的方差之和，设置阈值判断是否是前景块。

3.根据权利要求2所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S2中，对视频提取大小为20×20的前景块，输入到三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为16，8，4，无零填充的卷积层和非线性激活层串联形成的网络模块编码，再通过三层卷积核大小分别为3×3、2×2、3×3，步长分别为1×1、2×2、1×1，通道数分别为8，16，3，无零填充的反卷积层和非线性激活层串联形成的网络模块解码得到重构视频块，以最小化与对应区域的下一帧图像的重构误差作为训练方向，训练卷积自编码器能学习到时空特征。

4.根据权利要求3所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S2中，所述网络模块编码的编码器中的三个卷积层的激活函数均为ReLU，解码器中的三层反卷积层的前两层激活函数为ReLU，最后一层激活函数为tanh，将输出值缩放到[-1，1]范围内；

ReLU激活函数如下公式所示：

其中x为激活函数ReLU的输入值，ReLU(x)为激活函数的输出值；

tanh激活函数如下公式所示：

其中x为激活函数tanh的输入值，tanh(x)为激活函数的输出值；

编码器编码后的时空特征为4×7×7，196维。

5.根据权利要求1所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S3中，利用M个P-stable局部敏感哈希函数与训练集时空特征矩阵相乘，每一个训练样本映射成M个哈希值，哈希值相同则落入同一个桶代表聚为一类，将样本量小于5的聚类删除，减少噪声的干扰，对剩下的多个聚类训练一对多支持向量机。

6.根据权利要求1所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S4具体为：

根据S3训练得到的分类器，在测试阶段，提取测试视频的前景块，再用编码器编码前景块的时空特征，用多个支持向量机分类，得到多个分类分数，取最大分数的负值作为异常得分s(x)，即：

s(x)＝-g(x)

g(x)＝max(g₁(x),g₂(x)…g_i(x),…)

其中，x为一个测试视频前景块的时空特征向量，g_i(x)为第i个支持向量机的分数，支持向量机为LinearSVC，如果s(x)＞0则初步判定为异常块，说明该视频块不属于任何一个聚类。

7.根据权利要求1所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S5中，利用核相关滤波跟踪方法依次跟踪步骤S4中初步检测到的异常块，对追踪到的异常目标路径块提取时空特征，根据分类器得到异常得分，将该异常目标的异常得分绘制成曲线，由于目标在相邻帧的行为一般变化不大，异常得分曲线应是平滑的，对得分曲线每三帧取平均去除噪声；

若步骤S4中的初步检测的异常块与已追踪得到的异常目标路径块重叠，则放弃追踪该异常块，减少对同一异常目标的冗余追踪；若不重叠，则追踪该异常块；

最后，取视频帧中异常目标路径块最大的异常分数作为该帧的异常分数。

8.根据权利要求7所述的一种基于异常追踪的视频异常行为检测方法，其特征在于：步骤S5中，所述异常得分曲线中横坐标是帧数，纵坐标是异常分数，由于异常往往集中在某个目标上，并且帧与帧之间动作变化较小，所以异常目标的得分应是光滑的，对曲线进行每三帧求平均，去除噪声的影响，如下公式所示：

s(t)＝[s(t-1)+s(t)+s(t+1)]/3

其中s(t)为第t帧的分数，s(t-1)和s(t+1)分别为前一帧和后一帧的异常分数，异常曲线的第一帧和最后一帧的分数保持原分数不变。

Images