CN112949344A - 一种用于异常检测的特征自回归方法 - Google Patents

Abstract

本发明公开了一种用于异常检测的特征自回归方法。包括以下步骤：首先，通过自动编码器得到输入样本的低维特征，再将其重建为高维图像。接着，使用分类器对输入样本和生成样本进行分类，并提取它们的低维特征通过不断缩小分类损失和重建损失使模型能够重建出更高质量的正常样本。在此基础上，为了降低模型表示异常的能力。引入密度估计器对低维特征的分布进行正则化约束。然后，经过多次迭代训练得到最优模型。最后，通过比较输入样本和生成样本的高维图像和低维特征的重建误差来判断是否异常。该方法在视频监控异常行为检测领域具有广阔的应用前景。

Description

一种用于异常检测的特征自回归方法

技术领域

本发明涉及一种用于异常检测的特征自回归方法，属于计算机视觉领域中的异常检测问题。

背景技术

异常检测由于异常样本较少，且标签难以获取成为了智能视频监控的研究难点和关键技术。由于传统视频监控依赖于人眼捕捉异常行为需要耗费大量的人力物力，且主观性太强。目前更多的是让计算机自动检测出异常，其中深度学习的方法应用最为广泛。

深度学习的方法能从海量的数据中自动提取出有用的特征。基于标记信息可以分为监督学习方法，如支持向量机(SVM)、主成分分析(PCANet)等。半监督学习方法，如自动编码器(AutoEncoder，简称AE)和生成对抗网络(GAN)。和无监督学习，如受限玻尔兹曼机(RBM)，稀疏编码器(Sparse Coding)等。由于异常标签难以获取，标注量大，半监督学习和无监督学习在异常检测中的应用更为广泛。自动编码器的原理比较简单：对于输入样本，首先通过编码器将其压缩为低维特征，然后通过解码器对每个样本点进行重建，还原到原来的维度，整个训练模型的目的就是减少重构误差。假设异常样本会产生更大的误差。然而，由于自动编码器强大的重构能力，即使是异常样本也能够得到很好的重建。所以，仅对样本相似度进行约束是不够的。因此，如何在保证重建出高质量样本的同时降低表示异常的可能性逐渐成为异常检测方向的研究趋势。

发明内容

本发明提出了一种用于异常检测的特征自回归方法，目的就在于解决上述问题。

本发明通过以下技术方案来实现上述目的：

(1)通过使用跳线连接的自动编码器，获得样本的低维特征再将其重建成高维图像。

(2)使用一个自回归密度估计器来获得低维特征的概率分布，并对其进行约束。提高模型对正常样本的记忆能力，同时降低模型表示异常的能力。

(3)引入分类器网络对输入样本和生成样本进行分类。并提取输入样本和生成样本的低维特征。

(4)通过不断的迭代训练，得到最优的异常检测模型。

附图说明

图1一种用于异常检测的特征自回归方法流程图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，整个网络结构分别包括编码器EN，解码器DE，分类器C和参数密度估计器H。

编码器网络EN通过将高维图像x映射成低维特征z来捕获输入数据的分布。解码器网络DE将低维特征z上采样回到输入图像维度并重建输出。编解码器采用跳线连接方式，保留了多尺度信息，因此能够产生更好的重建。

分类器网络C的任务是对由编解码器网络生成的伪图像x和真实图像x进行分类。并用作特征提取器，提取输入图像x和重建图像x的低维特征。

想要提高模型区分正常和异常样本的能力，仅仅依靠自动编码器来缩小图像层面对正常样本的重建误差是不够的，因为它不能保证异常样本能产生很大的重构误差，所以本文提出在自动编码器上引入参数密度估计器H，得到低维特征向量z的概率分布，假设输入样本x和低维特征z之间存在这样的关系：

p(x)＝∫p(x|z)p(z)dz， (1)

本文仅用正常样本进行训练，则p(x)表示正常样本的分布，p(x|z)是在给定潜在向量的先验分布p(z)的情况下所观察到的条件概率密度。为了使低维特征z尽量不重建出异常图片，就需要找到使p(x|z)最大的特征向量z。因此本文通过一个自回归过程来学习p(z)的真实分布。自回归模型为涉及顺序预测的任务提供了通用表述，即每个输出都取决于先前的观察结果，本文采用这种技术来分解联合概率密度，从而避免预先定义其分布：

其中，<表示一种顺序结构，保证每个z_i的条件概率密度是根据输入{z₁,...,z_i-1}计算的。估计器输出条件概率密度p(z_i|z_＜i)的参数，表示为o＝H(h)，输入参数为

(假设输入层的通道数ci＝1)，输出为

(其中co＝B是输出通道的数量)。位置i，通道数为k的输入h_i,k和位置为j通道数为l的输出o_j,l之间的连接参数ω定义为：

类型A强制严格依赖于先前的元素，而类型B仅屏蔽后续元素。假设每个条件概率密度被建模为多项式，则最后一个自回归层的输出(在

中)提供构成空间量化的B个通道的概率估计：

⊥表示将d个多项式式拼接起来，得到分布参数，进而推断出概率分布q(z)。

本发明结合了四个损失值。

对抗损失：该损失确保网络EN和DE尽可能逼真地重建正常图像x至x，而分类器网络C对样本进行分类。其中L_cla表示为：

重建损失：为了明确地学习表观特征以充分捕获输入数据分布，我们将一范数正则化应用于输入x和重构输出x。这种标准化确保模型能够生成与输入样本类似的图像。重建损失如下所示：

特征损失：分类器C除了对样本进行分类还提取x和x的特征以重建它们的潜在特征向量。因此，潜在特征向量的损失变为：

密度估计损失：估计器用一种自回归的方式获取真实分布p(z)的参数模型，得到近似分布q(z)。为了确保它和真实分布之间的信息差距很小，从而降低特征向量表示异常的可能性，用L_de来表示真实分布与拟合分布的交叉熵，定义为：

L_de＝D_KL(p(z)||q(z)), (8)

最终，总损失定义为：

L＝λ_claL_cla+λ_intL_int+λ_feaL_fea+λ_deL_de， (9)

其中，λ_cla、λ_int、λ_fea和λ_de是权重参数。

对于异常性的评估是通过计算异常分数，假设正常样本的异常分数小，异常样本的分数更高。因此，对于给定样本x，它的异常分数s(x)定义为：

s(x)＝αI(x)+γV(x)， (10)

其中I(x)和V(x)分别表示给定样本和潜在向量的重建分数，α和γ是他们的权重。最后将整个测试集中所有图像的异常分数归一化到[0，1]范围，并使用以下等式计算每个测试样本的异常分数As(x)为：

为了验证本发明提出的基于特征自回归的异常检测方法的有效性，在CIFAR-10和UCSD Ped2两个个公共数据集上进行了实验验证。与目前主流的方法进行对比，表现出较好的效果。采用ROC作为评测标准，AUC表示ROC曲线下面积。实验结果如表1和表2所示：

表1 CIFAR-10数据集的AUC结果

表2 UCSD Ped2数据集的AUC结果

Claims (4)

1.一种用于异常检测的特征自回归方法，其特点在于包括以下步骤：

(1)通过使用跳线连接的自动编码器，获得样本的低维特征再将其重建成高维图像；

(2)使用自回归密度估计器获得低维特征的概率分布；

(3)分类器对输入样本和生成样本进行分类，并提取输入样本和生成样本的低维特征，经过不断的迭代得到最终的异常检测模型。

2.根据权利要求1所述的方法，其特点在于步骤(1)中所述的自动编码器添加了跳线连接结构；编码器通过连续的下采样提取低维特征向量，解码器结合下采样各层信息和上采样的输入信息还原细节信息，并且逐步还原图像精度，能捕捉样本的多尺度信息。

3.根据权利要求1所述的方法，其特点在于步骤(2)中所述的获得低维特征向量的概率分布，计算方法如下：

假设输入样本x和低维特征z之间存在这样的关系：

p(x)＝∫p(x|z)p(z)dz, (1)

p(x|z)是给定潜在向量的先验分布p(z)的情况下所观察到的条件概率密度，通过找到使p(x|z)最大的特征向量z来排除模型表示异常的可能性；该方法不强制要求特征向量服从某一分布(如高斯分布)，而是通过一个自回归过程来学习它的真实分布，即每个输出都取决于先前的观察结果：

其中，<表示一种顺序结构；为了使每个输出条件概率密度具有自回归特性，需要使估计器H的每一层有正确连接模式，自回归估计器通过堆叠多个掩膜全链接(Masked FullyConnections)组成，它输出条件概率密度p(z_i|z_＜i)的参数，表示为o＝H(h)，输入参数为

(假设输入层的通道数ci＝1)，输出为

(其中co＝B是输出通道的数量)，位置i通道数为k的输入h_i,k和位置为j通道数为l的输出o_j,l之间的连接参数ω定义为：

类型A强制严格依赖于先前的元素(并且仅用作第一个估计层)，而类型B仅屏蔽后续元素，假设每个条件概率密度被建模为多项式，则最后一个自回归层的输出(在

中)提供构成空间量化的B个通道的概率估计：

⊥表示将d个多项式式拼接起来，得到分布参数，进而推断出概率分布q(z)。

4.根据权利要求1所述的方法，其特点在于步骤(3)中所述的不仅对输入样本和生成样本进行分类还用作特征提取器，最终用图像的重建损失和低维特征的重建损失来定义异常分数。

Images