CN106898007A - 一种基于稀疏表示的自适应加权双字典异常检测方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的自适应加权双字典异常检测方法。在充分考虑到光照均匀度的影响以及单字典稀疏表不足的基础上，本方法对视频序列提取两种互补特征，主要活动区域原图特征和差分二值化特征，在不增加特征提取复杂度的情况下保证特征的有效性，然后学习两种过完备字典，将测试样本特征分别在字典上进行稀疏表示得到双字典的稀疏重建代价。利用高斯函数估计器根据视频场景的亮度方差自适应的调节两部分稀疏重建代价的权重，使得异常检测算法能够根据场景的光照情况变化自适应调节异常判断的准则，适应场景的各种变化的情况，达到异常检测算法的鲁棒性和异常检测的准确性。

Description

一种基于稀疏表示的自适应加权双字典异常检测方法

技术领域

本发明属于图像数据处理或产生领域的图像分析技术，具体涉及一种基于稀疏表示的自适应加权双字典异常检测方法。

背景技术

近年来，随着整个社会安全意识的不断提高，视频监控系统应用越来越广泛。但传统的视频监控系统通常在事故发生后被用来分析事故原因，如果视频监控系统能在异常事件发生之前自动把异常事件检测出来并发出预警，这样就能有效阻止异常事件的发生。

视频中异常事件监测是智能视频监控中一个重要的研究课题。在一些人流量比较大的公共场所，这些场所易发生群体性事件，如果不能及时预防并处理，会产生严重的影响。因此，对视频监控场景中的群体异常检测具有重要的应用价值。

当前的视频监控技术主要集中在场景特征的提取以及异常检测模型的研究上，其中，稀疏分析是近年来受到广泛关注的信息处理方法，它可以在有效减少样本数目的条件下，实现目标结果的可靠分析和计算，特别适合于样本集少但是特征又很高维的图像研究，因此被广泛应用到监控视频分析领域。对提取出来的视频特征用K均值奇异值分解(K-means Singular Value Decomposition，以下简称K-SVD)方法进行过完备字典学习，然后将测试样本特征在字典上进行稀疏表示，通过测试样本特征的重建误差以及重建系数的稀疏度即稀疏重建代价(Sparse Reconstruction Cost，以下简称SRC)来判断异常是否发生。该方法结合稀疏分析对特征进行有效降维处理，进而进行异常事件的准确的检测，是一种有效的视频异常检测方法。但是在对视频监控序列进行异常检测研究时，通常都未能考虑场景的光照均匀度对其的影响，并且一般都是单字典稀疏表示，仅有的少数双字典稀疏表示也未能考虑到光照均匀的影响。由于场景光照是否均匀对视频特征有重要的影响，进而影响后续的异常检测判断，而单字典稀疏表示表达视频特征比较单一，不能很好地反映场景信息，少数的双字典稀疏表示也没有以场景光照均匀的变化为依据来自适应地进行异常判断。现有技术中，还没有发现提取两种互补特的特征进行双字典学习以解决但字典稀疏表示表达视频特征比较单一以及现有的双字典稀疏表示没有以场景光照均匀的变化为依据缺陷的尝试。

发明内容

本发明针对的技术问题是现有技术中基于视频场景下异常检测方法要处理的特征高维单一、算法复杂度高、未考虑场景光照变化影响的问题。

为解决上述问题，本发明提出了一种基于稀疏表示的自适应加权双字典异常检测方法，在充分考虑到光照均匀度的影响以及单字典稀疏表不足的基础上，本方法提取两种互补的特征进行双字典学习，将测试样本特征分别在字典上进行稀疏表示得到双字典的稀疏重建代价。利用高斯函数估计器根据视频场景的亮度方差自适应的调节两部分稀疏重建代价的权重，使得异常检测算法能够根据场景的光照情况变化自适应调节异常判断的准则，适应场景的各种变化的情况，达到异常检测算法的鲁棒性和异常检测的准确性，能够实现对视频监控场景中群体异常事件的鲁棒准确检测。

技术方案具体包括以下步骤：

(1)对监控视频序列提取两种互补特征：主要活动区域原图特征和二值化差分图像特征；

(2)利用部分两种互补特征作为训练集特征进行过完备双字典学习，将测试样本特征分别在过完备双字典上进行稀疏表示，计算样本特征的两部分SRC；

(3)计算视频序列训练集的亮度方差，用以反映场景的光照均匀度，使用高斯函数估计器根据亮度方差估计两部分SRC的权重；

(4)根据估计的两部分权重对两种SRC进行加权求和，得到最终的SRC，判断异常是否出现。

进一步，上述步骤1中，对监控视频序列求两种互补特征具体包括以下步骤：

(1)主要活动区域提取原图特征：把视频序列转换成灰度图像序列，对灰度视频相邻帧进行相减求帧间灰度差分图像，对灰度差分图像用OTSU法(最大类间方差法)进行阈值分割得到二值化图像，对二值化差分序列进行检测将1值区域的最大外接矩形区域确定为主要活动区域，对该区域的原图提取特征，减少图像特征的冗余，提高特征的有效性；

(2)二值化差分图像提取特征：同上对视频图像转换成灰度图像，相邻帧间求差分图像，对灰度差分图像用OTSU法求灰度阈值，进行阈值分割得到二值化图像，根据上述得到的二值化差分图像直接提取特征。

上述步骤2中，利用两种互补特征分别进行过完备字典学习，并将测试样本特征在字典上进行稀疏表示，计算SRC。具体包括以下步骤：

(1)利用部分主要活动区域原图特征作为训练集特征，进行K-SVD过完备字典学习，并将测试样本特征在学习到的字典上面进行稀疏表示，根据以下公式(1)计算SRC_ori：

其中y为测试样本特征，D为训练得到的过完备字典，x为y在字典D上的稀疏表示系数；

(2)利用部分二值化差分特征作为训练集特征，进行K-SVD过完备字典学习，并将测试样本特征在学习到的字典上面进行稀疏表示，同理根据公式(1)计算SRC_bw。

上述步骤3中，计算视频序列训练集的亮度方差，用以反映场景的光照均匀度，使用高斯函数估计器根据亮度方差估计两部分SRC的权重，具体包括以下步骤：

(1)对于原图字典SRC，较适合光照不均匀场景，此时亮度方差较大，原图字典SRC权重w_ori应随着方差变大而变大，使用递增部分的高斯函数估计器，将权重调大；

(2)对于二值化差分字典SRC，较适合光照均匀场景，此时亮度方差较小，二值化差分字典SRC权重w_bw应随着方差变小而变大，使用递减部分的高斯函数估计器，将权重调大。

上述步骤4中，根据估计的两部分权重对两种SRC进行加权求和，得到最终的SRC，用以判断异常是否出现。具体包括以下步骤：

(1)根据步骤3中估计得到的双字典权重w_ori和w_bw，利用以下公式(2)对两部分SRC进行加权求和，得到最终的SRC：

SRC＝w_ori*SRC_ori+w_bw*SRC_bw (2)

(2)把加权得到的SRC与训练得到的重建代价阈值T_SRC进行比较，大于阈值则表示当前帧为异常帧，否则判断为正常帧。

与现有技术相比，本发明的有益效果：

1，本发明,充分考虑场景光照是否均匀的影响，对视频序列提取两种互补特征，主要活动区域原图特征和差分二值化特征，利用原图特征来弥补OTSU法差分二值化图像对光照不均匀图像效果不好的缺点，同时仅对检测到的主要活动区域进行原图特征提取降低了特征提取的复杂度又保证了特征提取的有效性，然后学习两种过完备字典，将测试样本特征分别在字典上进行稀疏表示得到双字典的SRC。

2，本发明计算视频场景的亮度方差，利用高斯函数估计器自适应的调节两部分SRC的权重，使得异常检测算法能够很好地适应场景光照的各种变化情况，保证算法的鲁棒性和异常检测的准确性。

附图说明

图1是主要活动区域提取示例。

图2是二值化差分图像示例。

图3是根据场景光照均匀度(亮度方差)估计双字典SRC权重的高斯函数估计器曲线。

图4是本发明异常检测方法具体实施例的流程示意图。

图5是光照均匀场景下异常检测的实验结果。

图6是光照不均匀场景下异常检测的实验结果。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步详尽的说明。

本发明的基本思想是对视频监控序列提取两种互补特征，首先对视频序列灰度差分图像用最大类间方差法(又称为OTSU法)阈值分割得到二值化差分图像序列，在二值化差分图像序列上提取特征。但是OTSU法二值化的阈值是全局阈值，不能很好地作用在光照不均匀图像，考虑到光照均匀度对特征的影响，提取第二种互补特征：对视频序列进行主要活动区域检测，在检测到的主要活动区域提取原图特征，减少图像特征的冗余，提高特征的有效性。然后利用这两种互补特征进行过完备双字典学习，将测试样本特征分别在过完备双字典上进行稀疏表示，计算样本特征的两部分稀疏重建代价。利用高斯函数估计器根据视频场景的亮度方差自适应的调节两部分稀疏重建代价的权重。场景光照较均匀时，亮度方差较小，这时候OTSU法二值化效果比较好，提取的差分特征比较有效，异常检测要较为依赖二值化差分字典的SRC，要用高斯函数根据亮度方差将二值化差分字典的SRC权重调节大一点，将原图特征字典的SRC权重调节小一点；同理场景光照较不均匀时，亮度方差较大，这时候OTSU法二值化效果较差，提取的差分特征不如原图特征有效，异常检测要较为依赖原图特征字典的SRC，要用高斯函数根据亮度方差将原图特征字典的SRC权重调节大一点，将二值化差分特征字典的SRC权重调节小一点。最后根据高斯函数估计得到的双字典权重进行加权求和得到最终的稀疏重建代价用于判断异常是否出现。

本发明的具体实施方式分为以下4个步骤：

1、对监控视频序列提取两种互补特征。

对视频图像主要活动区域提取原图特征：把视频序列转换成灰度图像序列，对灰度视频相邻帧进行相减求帧间灰度差分图像，对灰度差分图像用OTSU法进行阈值分割得到二值化图像，对二值化差分序列进行检测将1值区域的最大外接矩形区域确定为主要活动区域如图1(红色矩形框内)所示，对该区域的原图提取方向梯度直方图(HOG)特征HOG_ori，减少图像特征的冗余，提高特征的有效性。

对视频图像二值化差分图像如图2所示提取特征：同上对视频图像转换成灰度图像，相邻帧间求差分图像，对灰度差分图像用OTSU法求灰度阈值，进行阈值分割得到二值化图像，根据上述得到的二值化差分图像直接提取HOG特征HOG_bw。

2、结合字典学习方法K-SVD，用两种互补特征的一部分作为训练集分别进行过完备双字典学习，将测试样本集特征在双字典上分别进行稀疏表示，得到SRC。

对原图HOG特征HOG_ori，取出部分特征作为训练集用K-SVD进行过完备字典学习得到原图特征字典D_ori，将测试样本集特征在该字典上进行稀疏表示，根据公式计算SRC_ori。

同上对二值化差分图像特征HOG_bw，取出部分特征作为训练集用K-SVD进行过完备字典学习得到原图特征字典D_ori，将测试样本集特征在该字典上进行稀疏表示，根据公式计算SRC_bw。

3、计算视频序列训练集的亮度方差var Y，用以反映场景的光照均匀度，使用高斯函数估计器如图3所示根据亮度方差估计两部分SRC的权重。

对于原图字典SRC权重，较适合光照不均匀场景，此时亮度方差较大，原图字典SRC权重w_ori应随着方差变大而变大，使用递增部分的高斯函数估计器，将权重调大。高斯函数估计器如下式(3)所示：

其中本实验中将高斯函数估计器的均值μ_ori设为1，方差为0.25。

对于二值差分字典SRC权重，较适合光照均匀场景，此时亮度方差较小，二值差分字典SRC权重w_bw应随着方差变小而变大，使用递减部分的高斯函数估计器，将权重调大。高斯函数估计器如下式(4)所示：

其中本实验中将高斯函数估计器的均值μ_bw设为0，方差为0.25。

4、根据估计的两部分权重对两种SRC进行加权求和，得到最终的SRC，用以判断异常是否出现。

根据上面估计得到的双字典权重w_ori和w_bw，利用公式(2)对两部分SRC进行加权求和，得到最终的SRC。把最终得到的SRC与训练得到的重建代价阈值T_SRC进行比较，当测试特征SRC大于阈值说明它较难用字典进行重建，其于正常视频特征偏差较大，表示当前帧为异常帧，否则判断为正常帧。

实验结果如图所示，图5是光照均匀场景下异常检测的结果，图6是光照不均匀场景下异常检测的结果。横轴为视频异常检测测试帧数，纵轴为测试帧的SRC。

需要说明的是，以上所述仅为本发明的一个具体实施例，并不用以限制本发明，本实施例中所用数据集和攻击模式仅限于本实施例，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于稀疏表示的自适应加权双字典异常检测方法，其特征在于，该方法包括以下步骤：

(1)对监控视频序列提取两种互补特征：主要活动区域原图特征和二值化差分图像特征；

(2)利用两种互补特征的一部分作为训练集特征分别进行过完备双字典学习，将测试样本特征分别在过完备双字典上进行稀疏表示，计算样本特征的两部分稀疏重建代价；

(3)计算视频序列训练集的亮度方差，用以反映场景的光照均匀度，使用高斯函数估计器根据亮度方差估计两部分稀疏重建代价的权重；

(4)根据估计的两部分权重对两种稀疏重建代价进行加权求和，得到最终的稀疏重建代价，判断异常是否出现。

2.根据权利要求1所述的基于稀疏表示的自适应加权双字典异常检测方法，其特征在于，所述步骤1对监控视频序列提取两种互补特征，具体包括以下步骤：

(1)主要活动区域提取原图特征：把视频序列转换成灰度图像序列，对灰度视频相邻帧进行相减求帧间灰度差分图像，对灰度差分图像用最大类间方差法进行阈值分割得到二值化图像，对二值化差分序列进行检测将1值区域的最大外接矩形区域确定为主要活动区域，对该区域的原图提取特征，减少图像特征的冗余，提高特征的有效性；

(2)二值化差分图像提取特征：对视频图像转换成灰度图像，相邻帧间求差分图像，对灰度差分图像用最大类间方差法求灰度阈值，进行阈值分割得到二值化图像，根据上述得到的二值化差分图像直接提取特征。

3.根据权利要求1所述的基于稀疏表示的自适应加权双字典异常检测方法，其特征在于，所述步骤2利用两种互补特征分别进行过完备字典学习，并将测试样本特征在字典上进行稀疏表示，计算稀疏重建代价，具体包括以下步骤：

(1)利用部分主要活动区域原图特征作为训练集特征，进行K均值奇异值分解过完备字典学习，并将测试样本特征在学习到的字典上面进行稀疏表示，根据以下公式计算SRC_ori：

$SRC=\frac{1}{2}\left|\right|y-D*x|{|}_2^2+|\left|x\right|{|}_1---\left(1\right)$

其中y为测试样本特征，D为训练得到的过完备字典，x为y在字典D上的稀疏表示系数；

(2)利用部分二值化差分特征作为训练集特征，进行K均值奇异值分解过完备字典学习，并将测试样本特征在学习到的字典上面进行稀疏表示，同理根据上述公式1计算SRC_bw。

4.根据权利要求1所述基于稀疏表示的自适应加权双字典异常检测方法，其特征在于，所述步骤3计算视频序列训练集的亮度方差，用以反映场景的光照均匀度，使用高斯函数估计器根据亮度方差估计两部分稀疏重建代价的权重，具体包括以下步骤：

(1)对于原图字典稀疏重建代价，较适合光照不均匀场景，此时亮度方差较大，原图字典稀疏重建代价权重w_ori应随着方差变大而变大，使用递增部分的高斯函数估计器，将权重调大；

(2)对于二值化差分字典稀疏重建代价，较适合光照均匀场景，此时亮度方差较小，二值化差分字典稀疏重建代价权重w_bw应随着方差变小而变大，使用递减部分的高斯函数估计器，将权重调大。

5.根据权利要求1所述的基于稀疏表示的自适应加权双字典异常检测方法，其特征在于，所述步骤4根据估计的两部分权重对两种稀疏重建代价进行加权求和，得到最终的稀疏重建代价，用以判断群体异常是否出现，具体包含以下步骤：

(1)根据上面估计得到的双字典权重w_ori和w_bw，利用以下公式对两部分稀疏重建代价进行加权求和，得到最终的稀疏重建代价SRC：

SRC＝w_ori*SRC_ori+w_bw*SRC_bw；

(2)把加权得到的稀疏重建代价与训练得到的重建代价阈值T_SRC进行比较，大于阈值则表示当前帧为异常帧，否则判断为正常帧。