CN113343757A - 基于卷积稀疏编码和光流的时空异常检测方法 - Google Patents

Abstract

本发明涉及视频监控技术领域，具体为基于卷积稀疏编码和光流的时空异常检测方法，该方法包括有视频的时空特征学习和视频的异常检测两个部分。本发明算法融合卷积稀疏编码表示与光流场分别从空间外观和时间运动两个方面检测视频中的异常事件，将外观异常分数和运动异常分数求和，得到一个更具有判断依据的总的异常分数，最终利用人工智能实现视频监控系统的智慧化，用以协助安保人员有效维护社会民众的自身安全，减少不必要的人力成本。所谓“智慧化”，即实现监控系统拥有独立监测、独立决策的能力，使得监控系统在实时采集现场图像信息的同时对该信息进行筛选、判断，进而使监控系统在检测出如打架斗殴、人群恐慌等异常事件时及时发出报警信息，以此减轻异常事件所带来的危害。

Description

基于卷积稀疏编码和光流的时空异常检测方法

技术领域

本发明涉及视频监控技术领域，具体为基于卷积稀疏编码和光流的时空异常检测方法。

背景技术

近几十年来，经济水平的提高带动了城市化的快速发展，随着越来越多的人涌入城市，当前社会人口变得愈发密集，随之也伴随着多种多样的不安定事件发生。在这样的环境下人们亟需一个安全、可靠的社会环境来保证自身的生命及财产安全，因此如何保证当前的社会公共安全成为当今学术和工业界的一个热点问题。现阶段，在地铁、商场、车站等人流量较大的公共场所已设置了较完备的监控系统，这些监控系统以图像、视频等形式直观地转播并记录现场信息，用于相关安保人员对不同现场的实时监视，如图1所示的生活中的常见异常事件，人行道出现自从车、地铁出入口出现奔跑等。

然而这样的监控系统要求人眼长时间的去观测一个或多个实时视频流，这忽略了人体无法长时间集中保持注意力这一事实，从而无法保证监控系统的监测质量和效率，同时也不可避免地造成了大量人力资源的浪费，鉴于此，我们提出基于卷积稀疏编码和光流的时空异常检测方法。

发明内容

本发明的目的在于提供基于卷积稀疏编码和光流的时空异常检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于卷积稀疏编码和光流的时空异常检测方法，该方法包括有视频的时空特征学习和视频的异常检测两个部分。

优选的，所述时空特征学习部分和异常检测部分的算法均从空间、时间两个维度进行。

优选的，所述时空特征学习部分的空间维度算法包括有如下步骤：

步骤1：通过卷积稀疏编码学习滤波器来重构表示正常帧；

步骤2：迫使滤波器学习正常事件的空间外观特征。

优选的，所述时空特征学习部分的时间维度算法包括有如下步骤：

步骤1：根据相邻视频帧间的像素变化计算其光流图像，提取帧的光流直方矢量；

步骤2：以正常帧的HOF为训练样本训练支持向量机；

步骤3：得到一个单分类器描述正常事件的运动特征分布。

优选的，所述异常检测部分的空间维度算法包括有如下步骤：

步骤1：利用特征学习阶段获得的滤波器去重构表示测试样本；

步骤2：得到基于重构误差的外观异常分数。

优选的，所述异常检测部分的时间维度算法包括有如下步骤：

步骤1：将测试样本的HOF特征输入基于SVM的单分类器；

步骤2：基于输出的分类概率值得到一个运动异常分数。

优选的，所述异常检测部分包括有结果判定算法，将外观异常分数和运动异常分数加权求和得到视频帧的总异常分数，并与预设阈值比较，当该帧的总异常分数超过预设阈值时将其分类为异常帧。

与现有技术相比，本发明的有益效果是：本发明算法融合卷积稀疏编码表示与光流场分别从空间外观和时间运动两个方面检测视频中的异常事件，将外观异常分数和运动异常分数求和，得到一个更具有判断依据的总的异常分数，最终利用人工智能实现视频监控系统的智慧化，用以协助安保人员有效维护社会民众的自身安全，减少不必要的人力成本。所谓“智慧化”，即实现监控系统拥有独立监测、独立决策的能力，使得监控系统在实时采集现场图像信息的同时对该信息进行筛选、判断，进而使监控系统在检测出如打架斗殴、人群恐慌等异常事件时及时发出报警信息，以此减轻异常事件所带来的危害。

附图说明

图1为生活中的常见异常事件；

图2为本发明的算法框图；

图3为基于卷积稀疏编码的外观异常检测框图；

图4为光流直方矢量提取流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图4，本发明提供一种技术方案：基于卷积稀疏编码和光流的时空异常检测方法，该方法包括有视频的时空特征学习和视频的异常检测两个部分。

时空特征学习：时空特征学习部分目的是对视频序列中正常事件的外观、运动模式构建相应模型，进而可通过判断测试样本的特征是否服从该模型实现异常检测。此部分从空间、时间两个维度上并行进行：一方面通过卷积稀疏编码学习滤波器来重构表示正常帧，迫使滤波器学习正常事件的空间外观特征；另一方面根据相邻视频帧间的像素变化计算其光流图像，提取帧的光流直方矢量，以正常帧的HOF为训练样本训练支持向量机，得到一个单分类器描述正常事件的运动特征分布。最终，每一视频帧得到一个外观重构误差以及一个光流幅度变化量。

异常检测：与时空特征学习类似，异常检测阶段同样从空间、时间两个维度进行。空间维度上，利用特征学习阶段获得的滤波器去重构表示测试样本，进而得到基于重构误差的外观异常分数；时间维度上，将测试样本的HOF特征输入基于SVM的单分类器，基于输出的分类概率值得到一个运动异常分数。最后，将外观异常分数和运动异常分数加权求和得到视频帧的总异常分数，并与预设阈值比较，当该帧的总异常分数超过预设阈值时将其分类为异常帧。

其中，主要基于卷积稀疏编码进行了外观异常检测。

稀疏编码是一种无监督的方法，其目的是找到一组基向量，能够将输入样本表示为这些基向量的线性组合，具体为各基向量与其对应稀疏系数间的乘积之和。而卷积稀疏编码不同于稀疏编码中的乘操作，卷积稀疏编码首先将一组滤波器与对应特征映射间进行卷积，之后再对所有卷积结果求和从而表示输入样本。本发明提出利用卷积稀疏编码代替稀疏编码表示视频帧，卷积稀疏编码目标在于直接表示整个帧图像，而不是单个图像块的底层特征。这样的表示方式考虑到了空间上相邻像素之间的连续性，实现视频帧的端到端表示，卷积稀疏编码的目标函数定义如下：

式中s表示输入样本，d_m表示m个滤波器，x_m是滤波器对应的特征映射，尺寸和s相同，*表示卷积操作。目标函数中第一项表示输入的重构误差，第二项保证了特征映射的稀疏性。采用交替乘子算法将上式划分为两个子问题分别求解滤波器与特征映射：固定滤波器，求解特征映射；固定特征映射，求解滤波器，以此反复交替迭代直至收敛。

为学习正常事件的外观模式，给定一个只包含正常帧的视频数据集，通过最小化公式(1)学习一组滤波器能够以最小的重构误差来表示正常帧，这样的方法迫使滤波器学习正常事件的共同特性。为降低计算复杂度，对得到的滤波器执行k近邻分类算法[14]，选取出其中具有代表性的一组滤波器。测试时固定所学习的滤波器，针对给定的测试样本s学习一组对应的特征映射，以此得到该样本的重构表示

具体表示如下：

直觉上，在正常数据上学习的滤波器能够以较小的重构误差表示出正常帧而不能表示异常帧。因此，可根据样本的重构误差得到该帧的外观异常分数，进而判断该帧是否具有外观异常。这里的外观异常分数计算如下：

在得到一个视频中所有帧的异常分数后，将其归一化到[0,1] 之间：

这里t表示该视频序列中的第t帧，

分别表示最大取该视频序列中所有帧的异常分数的最大值和最小值。分数 S_appe越大表示该帧越有可能存在外观上的异常。基于卷积稀疏编码的外观异常检测流程如图3所示。

其中，主要基于光流直方矢量进行了运动异常检测。

运动场用来描述一个物体在真实的三维空间中的运动轨迹，而光流场试图通过二维的图像平面上的像素变化来反映物体在三维空间中的真实运动，其根本在于求解图像中各像素点的速度矢量，该矢量不仅包括像素的运动幅度，还包括像素的运动方向。若f(x,y,z)表示某一帧位于(x,y)处的像素点的强度，其中t表示该帧的时间维度，而到下一帧时，该像素点在水平和垂直方向上相对移动了dx，dy的距离，所用时间为dt，即得到下一帧该像素点强度为f(x+dx,y+ dy,t+dt)。在求解光流场时，往往假设光流的微小运动和亮度恒定，则可得到：

f(x，y，t)＝f(x+dx，y+dy，t+dt) (5)

将式子(5)利用一阶泰勒级数展开，进一步可以得到：

也就是：

f_xdx+f_ydy+f_tdt＝0 (7)

令：

其中u,v分别表示像素点在水平,垂直方向上的光流分量。式中：

那么

f_xu+f_yv＝-f_t (10)

即

光流场的核心在于分别求解水平、垂直方向上的光流分量u,v，常见传统光流计算方法有Lucas-Kanade方法、Horn-Schunck方法等。

Lucas-Kanade光流法是一种稀疏光流法，仅需要计算图像中部分像素点的光流矢量，相当于将图像稀疏化，提取其中较为代表性的像素点计算光流矢量。而Horn-Schunck光流法是一种稠密光流计算方法，需要计算图像中所有像素的光流值。相对于前者，Horn-Schunck 光流法的计算成本较高，但不会引起信息丢失，因此本发明基于 Horn-Schunck光流法计算提取每一帧的光流直方图，其提取过程如图4所示，具体步骤如下：

1)利用Horn-Schunck光流法计算帧中所有像素的光流水平分量u和垂直分量v后，再根据公式(12),(13)计算像素点的光流幅度和光流方向，以捕捉视频序列中正常事件的运动模式。

其中(i,j,t)分别表示像素点在帧中的空间位置与时间维度，u^x、v^y是该像素在水平和垂直方向上的光流分量，|h_i,j,t|、φ_i,j,t分别表示光流幅度以及光流方向。

2)在得到所有帧的光流图之后，将每一帧的光流图像划分为M×N个互不重叠的图像块，同时将360度方向均分为相同角度的B个角度子扇区，然后将已划分好的各图像块中所有像素点的光流幅度|h_i,j,t|添加到其对应的角度φ_i,j,t位置；

3)将图像块的位于各角度子扇区的光流幅度各自累加得到B个光流值，进而将其以扇区的顺序依次级联形成该图像块的光流矢量；

4)重复步骤3)，得到所有图像块的光流矢量后依次级联形成对应帧的光流直方图HOF，该矢量维度为X＝M×N×B。

在得到所有帧的HOF后，以正常帧的HOF作为训练样本输入SVM 以训练一个单分类器。检测异常时，首先依照上述步骤提取给定帧的 HOF特征，之后将其输入预训练的单分类器输出一个属于类内的概率值P。该值越小说明给定测试帧属于正常帧的概率越小，相反属于异常帧的可能性越大，因此基于该概率值可以算该帧的运动异常分数，用于反映该帧是否包含运动异常的可能性。得到一个视频中所有帧的分类概率后，定义运动异常分数S_motion如下：

综上，本发明所提算法融合卷积稀疏编码表示与光流场分别从空间外观和时间运动两个方面检测视频中的异常事件。在样本测试阶段，给定一个测试帧，计算基于卷积稀疏编码的重构误差以及基于光流特征的SVM分类输出分数，得到该帧的外观异常分数S_appe和运动异常分数S_motion，分别反映该帧在外观和运动上的异常性。进而，将两个异常分数以公式(15)加权融合得到最终的异常分数：

Score(t)＝S_appe(t)+α*S_motion(t) (15)

式中t表示视频序列中的第t帧，∝控制运动异常分数S_motion在总的异常分数所占权重。与正常帧相比，异常帧往往具有更大的异常分数 Score，因此我们可以通过设定一个阈值来检测视频序列中的异常帧。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：该方法包括有视频的时空特征学习和视频的异常检测两个部分。

2.根据权利要求1所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述时空特征学习部分和异常检测部分的算法均从空间、时间两个维度进行。

3.根据权利要求2所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述时空特征学习部分的空间维度算法包括有如下步骤：

步骤1：通过卷积稀疏编码学习滤波器来重构表示正常帧；

步骤2：迫使滤波器学习正常事件的空间外观特征。

4.根据权利要求2所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述时空特征学习部分的时间维度算法包括有如下步骤：

步骤1：根据相邻视频帧间的像素变化计算其光流图像，提取帧的光流直方矢量；

步骤2：以正常帧的HOF为训练样本训练支持向量机；

步骤3：得到一个单分类器描述正常事件的运动特征分布。

5.根据权利要求2所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述异常检测部分的空间维度算法包括有如下步骤：

步骤1：利用特征学习阶段获得的滤波器去重构表示测试样本；

步骤2：得到基于重构误差的外观异常分数。

6.根据权利要求2所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述异常检测部分的时间维度算法包括有如下步骤：

步骤1：将测试样本的HOF特征输入基于SVM的单分类器；

步骤2：基于输出的分类概率值得到一个运动异常分数。

7.根据权利要求2-6所述的基于卷积稀疏编码和光流的时空异常检测方法，其特征在于：所述异常检测部分包括有结果判定算法，将外观异常分数和运动异常分数加权求和得到视频帧的总异常分数，并与预设阈值比较，当该帧的总异常分数超过预设阈值时将其分类为异常帧。

Images