CN109284705B - 一种交通监控视频的异常检测方法 - Google Patents

Abstract

本发明公开了一种交通监控视频的异常检测方法，属于模式识别技术领域。本发明所述方法用隐马尔可夫模型来描述交通流的正常模式，从而识别出异于正常模式的异常事件。正常状态下的视频序列内，光流的方向与大小的变化具有整体稳定性，用HMM进行建模。在异常事件发生时，光流场会产生明显的变化。对正常的模式进行学习，对于与模型不匹配的样本即可以分类为非正常样本即异常视频序列。本发明所述方法场景适应性强，模型训练成本低且具备实时运行性。

Description

一种交通监控视频的异常检测方法

技术领域

本发明属于模式识别技术领域，具体涉及一种交通监控视频的异常检测方法。

背景技术

近年来基于计算机视觉的机器学习方法被广泛的应用于交通异常检测中，主要是因为基于视频的异常检测具有易安装、低成本、即时性等特点。仅仅通过交通关键路口的摄像监控视频数据，无需人工干预，便可以对异常事件的发生进行检测甚至预测，从而预防交通事故的发生。

隐马尔可夫模型是模式识别中的重要工具，是一个具有双层结构的随机过程模型。它具有强大的时间序列建模能力，在机器学习任务中具有独特的优势，主要体现在整体和局部都具备平移不变性。通过联系上下文信息建立相邻节点的关系，利用未来、过去节点的独立性，减少了模型的复杂度。作为马尔可夫理论的重要分支，隐马尔可夫模型具有扎实的理论支撑，在实际领域于也有广泛的应用，如语音识别、手势识别、信号处理等。

目前，在基于视频的交通异常检测方法中，根据特征提取的不同可分为如下种类：(1)基于光流的方法，优点在于物理意义直观，但于光流变化不大的异常事件(如远距离的监控视频)效果较差；(2)基于车辆运动轨迹的方法，随着时间增长，模型对于车流模式的学习越来越准确，但缺点是不能实时检测；(3)基于车辆运动矢量的方法，需要对目标进行稳定地追踪，不适合交通状况复杂的场景；(4)基于自定义描述子的方法，该方法具有很强的灵活性，但模型复杂度高、训练成本大。

文献“Image Sequences Based Traffic Incident Detection for SignaledIntersections Using HMM”公开了一种针对十字路口交通场景的交通异常事件检测算法。文献主要利用了帧差法得到的图像作为特征，且对东西、西东、北南、南北四个车流方向不同的样本分别进行训练。实验证明，系统对于车辆事故的准确率能达到74％，但是该方法对场景的适应性较差，即仅适合固定视角的十字路口。

文献“Fast anomaly detection in traffic surveillance video based onrobust sparse optical flow”以光流为特征，关注视频帧中划定的特定区域的光流变化。这样的方法可以检测到交通场景中的各种异常事件，而不仅限于车辆的碰撞，但是其复杂的模型结构加大了训练的成本，且在不同的视频样本里还需人为划定检测区域。

文献“Adaptive video-based algorithm for accident detection onhighways”公开了一种基于车辆运动轨迹的交通异常检测方法。文献对不同的车辆、行人等物体的移动轨迹进行收集并分类。该方法的优点在于，当测试样本即新轨迹被判定为非异常样本时，该样本便会加入以训练好的模型，使得模型会不断的自动完善。但是，由于轨迹的固定性，某一个训练好的模型在另一个场景下并不适用，且无法达到实时性要求。

文献“Trajectory-based anoma1ous behaviour detection for intelligenttraffic surveillance”公开了在高速公路上的交通异常检测，首先进行车辆目标跟踪，然后以目标的运动矢量为特征训练模型，取得了较好的检测效果。该方法有效的重要前提是稳定的目标追踪，因此它对目标少而分散的场景(如高速公路)极其依赖。在交通流量较大的场景中，车辆等物体往往会产生重叠，这就会给跟踪算法造成极大的干扰，比如丢失、质心改变等。

综上，对于交通监控视频中的异常检测，需要解决现有方法存在的问题，如场景适应性差、非实时性、模型复杂度高等。

发明内容

本发明的目的是克服上述现有技术的不足，提供一种交通监控视频的异常检测方法。

本发明所提出的技术问题是这样解决的：

一种交通监控视频的异常检测方法，包括以下步骤：

步骤1.视频分段

将一段视频序列Z分为等长的L段，即Z＝{z₁，z₂，...，z_L}，其中每一段的长度为1秒，1≤l≤L；第l个视频段表示为z_l＝{I_l1，I_l2，...，I_lt，...I_lT}，包含T个视频帧，其中I_lt表示第t帧的特征，1≤t≤T；

步骤2.光流提取

选取Lucas-Kanade光流作为描述交通流的特征；对于第l个视频段的第t帧，其特征为I_lt＝{p₁，p₂，...，p_a}，即该帧图像中存在q个稀疏光流，其中p_i表示第i个光流向量，1≤i≤q；

假设当前第t帧某一角点的坐标为(x_t，y_t)，若其满足下式，则将该角点删除：

|x_t-x_t-1|+|y_t-y_t-1|＜2

步骤3.交通流主方向

首先找出光流的主方向，并以此为基底建立坐标系，然后将所有的光流投影到新的坐标系上；

步骤4.坐标变换

首先找出光流的主方向作为主轴，再以该方向的正交方向作为副轴；对于某一帧的q个光流，求解协方差矩阵的特征值与特征向量，取最大特征值对应的特征向量为主轴方向；

步骤5.连续隐马尔可夫模型

连续隐马尔可夫模型有五个参数，即

其中，π_t为第t帧的状态概率，

为由状态

转移至状态

的概率，1≤n₁≤N，1≤n₂≤N，n₁≠n₂，r_nm为第m个高斯分布中第n个高斯分布的权重，μ_nm为m个高斯分布中第n个高斯分布的均值，∑_nm为m个高斯分布中第n个高斯分布的方差，1≤n≤N，1≤m≤M；

采用N个M核的GMM，其中N是隐状态数，M是高斯混合模型的高斯分布分量数；在CHMM中，对于第t帧，隐状态q_n生成光流的平均方向o_t的概率B_n(o_t)符合高斯混合分布；高斯混合模型是由M个高斯分布混合而成，即：

其中，c_nm为加权系数，N(μ_im，∑_im)表示以μ_im为均值、∑_im为方差的高斯分布；

上式中，b_nm(o_t)＝N(o_t；μ_nm，∑_nm)表示状态q_n对应的GMM的第m个高斯分布分量，即：

步骤6.高斯混合模型

在原始坐标系下，将所有的光流进行原点对齐；然后对所有的光流求均值，记为第t帧的均值光流μ_t；对于一段视频序列的光流采取相同的方式，可得到均值光流集合{μ₁，μ₂，...，μ_T}。

步骤7.HMM-GMM模型训练

步骤7-1.使用K-means聚类初始化GMM的参数，即r_nm，μ_nm，∑_nm；

步骤7-2.使用B-W算法对CHMM的所有参数进行训练，其中训练样本是正常模式下的视频段；

步骤8.异常事件检测

步骤8-1.求CHMM模型对测试样本即视频段的似然概率；

步骤8-2.以似然满足高斯分布为依据，计算异常检测阈值；

步骤8-3.将似然概率与阈值对比进行异常事件检测。

阈值计算的具体过程为：

步骤8-2-1.根据正常训练样本，估计均值与方差，建立高斯模型：

训练样本的对数似然概率为L＝{l₁，l₂，...，l_t，...，l_T}，计算均值与方差：

得到正常样本的似然概率的高斯分布N(μ_l，∑_l)；

步骤8-2-2.在交叉验证集上评估，根据查准率、查全率等指标选择最佳阈值δ^*：

对于某个阈值δ，在交叉验证集上计算准确率P与召回率R：

其中TP表示真正例，即正样本被预测为正样本的数量；FP表示假正例，即负样本被预测为正样本的数量；FN表示假反例，即正样本被预测为负样本的数量；

根据准确率与召回率，画出P-R曲线，根据曲线选择最优的阈值δ^*；阈值是个经验值，一般取0.32。

步骤8-3中，对于测试集数据，将似然概率与阈值相比较：

假设有训练好的CHMM模型λ，对于一个视频段O＝{o₁，o₂，...，o_T}，计算似然概率P_O|λ；

当满足下式时，判定为检测到了异常事件：

logP_O|λ＜δ^*。

本发明的有益效果是：

(1)场景适应性强，本方法不依赖于某种特定场景，也不需划定特定区域，对交通状况复杂的场景也有较好的效果；(2)模型训练成本低，EM算法作为无监督训练算法省去了为训练样本标记的成本，且以全局光流为特征并依据交通流主方向进行坐标旋转甚至降维，使得模型输入参数规模很小，训练速度快；(3)具备实时运行性。

附图说明

图1为异常事件对光流场产生扰乱示意图，其中(a)(c)正常状态下的光流场；(b)(d)异常发生时的光流；(a)(b)表示的是消防车的经过；(c)(d)表示的是交通事故；

图2为本发明所述方法的算法流程图；

图3为视频分段示意图；

图4为提取L-K光流示意图；

图5为角点检测示意图；

图6(a)为交通光流中的主方向示意图，(b)为坐标变换后的光流向量示意图；

图7为坐标变换示意图；

图8为HMM-GMM结构图；

图9为高斯混合模型示意图，其中(a)正常状态光流场；(b)原点对齐光流并求均值光流；(c)均值光流的分布；(d)双核高斯混合模型；

图10为含有事故的视频序列的似然概率示意图；

图11为异常检测模块流程示意图；

图12为包含不同环境的视频数据集示意图；

图13为交通异常检测结果图；其中左列为交通实时检测画面，右列为对应的对数似然概率；(a)正常视频样本，(c)车辆事故 (e)行人横穿马路 (g)消防车闯红灯。

具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

本发明的核心思想是用隐马尔可夫模型来描述交通流的正常模式，从而识别出异于正常模式的异常事件。在正常状态下的光流场是有一定的分布规律的。换句话说，正常状态下的一小段视频序列内，光流的方向与大小的变化具有整体稳定性，这样的特性十分适合用HMM(Hidden Markov Model，隐马尔可夫模型)进行建模。在异常事件发生时，光流场会产生明显的变化，如图1所示。由于异常检测是一个二分类问题，因此只需要对正常的模式进行学习，对于与模型不匹配的样本自然可以分类为非正常样本即异常视频序列。

本实施例提供一种交通监控视频的异常检测方法，其算法流程图如图2所示，包括以下步骤：

步骤1.视频分段

如图3所示，假设有一段视频序列Z，将其分为等长的L段，即Z＝{z₁，z₂，...，z_L}，其中每一段的长度为1秒，1≤l≤L，如图3所示。第l个视频段表示为z_l＝{I_l1，I_l2，...，I_lt，...I_lT}，包含T个视频帧，其中I_lt表示第t帧的特征，1≤t≤T；

对于训练样本，要求所有视频段中都存在目标移动，即不存在光流为零的时刻；实际情况中，画面不存在移动目标的时候一般无异常事件发生；因此，光流不存在的时刻可作为视频分割的依据；

步骤2.光流提取

选取Lucas-Kanade光流作为描述交通流的特征，如图4所示；对于第l个视频段的第t帧，其特征为I_lt＝{p₁，p₂，...，p_a}，即该帧图像中存在q个稀疏光流，其中p_i表示第i个光流向量，1≤i≤q；

不同于稠密光流法的逐点追踪，L-K光流的提取一般需自行添加特征点，然后对特征点进行追踪；本文角点作为特征点并提取，如图5所示；但是并不是所有的角点都是需要的，因为光流提取目标是移动物体，所以需要对除了移动物体以外的角点进行过滤；

假设当前第t帧某一角点的坐标为(x_t，y_t)，若其满足下式，则将该角点删除：

|x_t-x_t-1|+|y_t-y_t-1|＜2

步骤3.交通流主方向

对光流分布分析后可以发现，光流场中存在着“主方向”，如图6(a)所示；首先找出光流的主方向，并以此为基底建立坐标系，然后将所有的光流投影到新的坐标系上；

本实施例选择二维的特征向量，首先找出最大的主方向，并以此为一个基底建立与之垂直的第二个基底，即直角坐标系，如图6(b)所示；

步骤4.坐标变换

对光流数据进行坐标变换是为了突出光流在主方向上的变化，并且减少特征数据规模；上述过程本质就是坐标系的旋转，如图7所示；

首先找出光流的主方向作为主轴，再以该方向的正交方向作为副轴；主方向的选取使用主成分分析，对于某一帧的q个光流，求解协方差矩阵的特征值与特征向量，取最大特征值对应的特征向量为主轴方向；

步骤5.连续隐马尔可夫模型

一般的HMM的观察集合往往是离散值，而光流是一个连续值向量。为了实现离散状态与连续观察值之间的概率联系，本方法引入了连续隐马尔可夫模型(Continuous HiddenMarkov Model，CHMM)。它是含有连续观察值的HMM结构，通过与高斯混合模型(GaussianMixture Model，GMM)结合来实现，即HMM-GMM。连续隐马尔可夫模型有五个参数，即

其结构如图8所示，其中，π_t为第t帧的状态概率，

为由状态

转移至状态

的概率，1≤n₁≤N，1≤n₂≤N，n₁≠n₂，r_nm为第m个高斯分布中第n个高斯分布的权重，μ_nm为m个高斯分布中第n个高斯分布的均值，∑_nm为m个高斯分布中第n个高斯分布的方差，1≤n≤N，1≤m≤M。

采用N个M核的GMM，其中N是隐状态数，M是高斯混合模型的高斯分布分量数；在CHMM中，对于第t帧，隐状态q_n生成光流的平均方向o_t的概率B_n(o_t)符合高斯混合分布；高斯混合模型是由M个高斯分布混合而成，即：

其中，c_nm为加权系数，N(μ_im，∑_im)表示以μ_im为均值、∑_im为方差的高斯分布；

上式中，b_nm(o_t)＝N(o_t；μ_nm，∑_nm)表示状态q_n对应的GMM的第m个高斯分布分量，即：

步骤6.高斯混合模型

以图9为例，图9(a)是交通监控视频中某一帧的稀疏光流场；在原始坐标系(步骤3中的坐标系)下，将所有的光流进行原点对齐，如图9(b)所示；然后对所有的光流求均值，记为第t帧的均值光流μ_t；对于一段视频序列的光流采取相同的方式，可得到均值光流集合{μ₁，μ₂，...，μ_T}，如图9(c)所示。

对于正常状况下的视频样本，通过观察发现，所有的均值光流均匀的分布在某中心附近。接着，用多核高斯混合模型描述均值光流的分布。图9(d)展示了一个双核的高斯混合模型建模的结果。对每一个状态q_n都建立一个高斯混合模型，就建立起了隐状态与观察值的概率联系。

步骤7.HMM-GMM模型训练

模型的训练分为两步：(1)使用K-means聚类初始化GMM的参数，即r_nm，μ_nm，∑_nm；(2)使用B-W算法(Baum-Welch)对CHMM的所有参数进行训练，其中训练样本是正常模式下的视频段；

步骤8.异常事件检测

对一段测试样本，似然概率就代表了测试样本与正常模型的匹配程度。因此，异常事件的发生时刻就是似然概率出现大幅降低的时刻。以车辆事故为例，图10是某段含有事故的视频序列对于训练好的CHMM的似然概率的变化。可以发现，在事故发生的15s左右似然概率发生了大幅的下降。

异常检测模块流程如图11所示，分如下步骤：

步骤8-1.求CHMM模型对测试样本即视频段的似然概率；

步骤8-2.以似然满足高斯分布为依据，计算异常检测阈值；

步骤8-3.将似然概率与阈值对比进行异常事件检测。

阈值通常选取的值稍小于似然均值。本方法假设训练视频的似然概率满足高斯分布，通过已标记的训练集对阈值的取值进行评估，从而选取最佳阈值。阈值计算分如下步骤：

步骤8-2-1.根据正常训练样本，估计均值与方差，建立高斯模型：

假设有训练样本的对数似然概率L＝{l₁，l₂，...，l_t，...，l_T}，计算均值与方差：

得到正常样本的似然概率的高斯分布N(μ_l，∑_l)；

步骤8-2-2.在交叉验证集上评估，根据查准率、查全率等指标选择最佳阈值δ^*：

对于某个阈值δ，在交叉验证集上计算准确率P与召回率R：

其中TP表示真正例，即正样本被预测为正样本的数量；FP表示假正例，即负样本被预测为正样本的数量；FN表示假反例，即正样本被预测为负样本的数量；

根据准确率与召回率，画出P-R曲线，根据曲线选择最优的阈值δ^*；阈值是个经验值，一般取0.32。

步骤8-3中，对于测试集数据，将似然概率与阈值相比较：

假设有训练好的CHMM模型λ，对于一个视频段O＝{o₁，o₂，...，o_T}，计算似然概率P_O|λ；

当满足下式时，判定为检测到了异常事件：

log P_Oλ＜δ^*。

为了对本实施例所述方法的正确性和精确性进行验证，我们进行了大量实验。为了使得模型适应更多的交通环境，我们在互联网上收集了大量的交通监控视频。这些数据包括异常视频与正常视频，且在场景、天气、时间、角度和画面质量上都各不相同，如图12所示。

首先，对视频数据进行分类处理。对于正常状态下的交通监控视频归为训练样本集。然后，对于含有异常事件的视频数据，随机选择一个时间长度为30s的包含异常事件的区间进行截取。最后，截取66个这样的视频段作为异常样本集，均匀地包含了各类异常事件。

一、可行性

对训练样本集和异常样本集都选取部分样本进行测试，实验结果如图13所示。可以发现，对于正常视频样本对数似然概率随着时间的变化稳定在某一区间，而在异常事件发生时刻附近对数似然概率产生了大幅的下降。

二、精度

为了算法的评估进行量化，使用两个指标来评估，定义为：

(1)异常警报率(DR)，异常警报的样本数占所有样本的比例。

(2)正确检测率(CDR)，正确检测的样本数占所有异常事件警报数的比例。

根据这两个指标本文的算法有如下表的检测结果，即异常报警率为89.39％，正确检测率为81.35％。

表1异常检测数值结果

三、速度

以600*480的分辨率、每秒25帧的视频作为输入，实验平台为AMD R514003.2GHzPC搭载16G内存，处理每一帧平均仅需要23.7ms，满足实时性运行的要求。

Claims (4)

1.一种交通监控视频的异常检测方法，其特征在于，包括以下步骤：

步骤1.视频分段

将一段视频序列Z分为等长的L段，即Z＝{z₁，z₂，...，z_L}，1≤l≤L；第l个视频段表示为z_l＝{I_l1，I_l2，...，I_lt，...I_lT}，包含T个视频帧，其中I_lt表示第t帧的特征，1≤t≤T；

步骤2.光流提取

选取Lucas-Kanade光流作为描述交通流的特征；对于第l个视频段的第t帧，其特征为I_lt＝{p₁，p₂，...，p_a}，即该帧图像中存在q个稀疏光流，其中p_i表示第i个光流向量，1≤i≤q；

假设当前第t帧某一角点的坐标为(x_t，y_t)，若其满足下式，则将该角点删除：

|x_t-x_t-1|+|y_t-y_t-1|＜2

步骤3.交通流主方向

首先找出光流的主方向，并以此为基底建立坐标系，然后将所有的光流投影到新的坐标系上；

步骤4.坐标变换

首先找出光流的主方向作为主轴，再以该方向的正交方向作为副轴；对于某一帧的q个光流，求解协方差矩阵的特征值与特征向量，取最大特征值对应的特征向量为主轴方向；

步骤5.连续隐马尔可夫模型

连续隐马尔可夫模型有五个参数，即

其中，π_t为第t帧的状态概率，

为由状态

转移至状态

的概率，1≤n₁≤N，1≤n₂≤N，n₁≠n₂，r_nm为第m个高斯分布中第n个高斯分布的权重，μ_nm为m个高斯分布中第n个高斯分布的均值，∑_nm为m个高斯分布中第n个高斯分布的方差，1≤n≤N，1≤m≤M；

采用N个M核的GMM，其中N是隐状态数，M是高斯混合模型的高斯分布分量数；在CHMM中，对于第t帧，隐状态q_n生成光流的平均方向o_t的概率B_n(o_t)符合高斯混合分布；高斯混合模型是由M个高斯分布混合而成，即：

其中，c_nm为加权系数，N(μ_im，∑_im)表示以μ_im为均值、∑_im为方差的高斯分布；

上式中，b_nm(o_t)＝N(o_t；μ_nm，∑_nm)表示状态q_n对应的GMM的第m个高斯分布分量，即：

步骤6.高斯混合模型

在原始坐标系下，将所有的光流进行原点对齐；然后对所有的光流求均值，记为第t帧的均值光流μ_t；对于一段视频序列的光流采取相同的方式，可得到均值光流集合{μ₁，μ₂，...，μ_T}；

步骤7.HMM-GMM模型训练

步骤7-1.使用K-means聚类初始化GMM的参数，即r_nm，μ_nm，Σ_nm；

步骤7-2.使用B-W算法对CHMM的所有参数进行训练，其中训练样本是正常模式下的视频段；

步骤8.异常事件检测

步骤8-1.求CHMM模型对测试样本即视频段的似然概率；

步骤8-2.以似然满足高斯分布为依据，计算异常检测阈值；

步骤8-3.将似然概率与阈值对比进行异常事件检测。

2.根据权利要求1所述的交通监控视频的异常检测方法，其特征在于，步骤8-2中阈值计算的具体过程为：

步骤8-2-1.根据正常训练样本，估计均值与方差，建立高斯模型：

训练样本的对数似然概率为L＝{l₁，l₂，...，l_t，...，l_T}，计算均值与方差：

得到正常样本的似然概率的高斯分布N(μ_l，∑_l)；

步骤8-2-2.在交叉验证集上评估，根据查准率、查全率等指标选择最佳阈值δ^*：

对于某个阈值δ，在交叉验证集上计算准确率P与召回率R：

其中TP表示真正例，即正样本被预测为正样本的数量；FP表示假正例，即负样本被预测为正样本的数量；FN表示假反例，即正样本被预测为负样本的数量；

根据准确率与召回率，画出P-R曲线，根据曲线选择最优的阈值δ^*。

3.根据权利要求1所述的交通监控视频的异常检测方法，其特征在于，步骤8-3的具体过程为：

对于测试集数据，将似然概率与阈值相比较：

假设训练好的CHMM模型λ，对于一个视频段O＝{o₁，o₂，...，o_T}，计算似然概率P_O|λ；

当满足下式时，判定为检测到了异常事件：

1ogP_O|λ＜δ^*。

4.根据权利要求1所述的交通监控视频的异常检测方法，其特征在于，步骤1中，每一段的长度为1秒。

Images