CN101271527A - 一种基于运动场局部统计特征分析的异常行为检测方法 - Google Patents

Abstract

本发明涉及一种基于运动场局部统计特征分析的异常行为检测方法。该系统主要包括视频图像的运动场分析，局部统计特征提取，基于样本的统计学习与模式识别技术。首先通过基本的运动分析技术，提取图像中物体的特征，计算其运动状态，形成一个运动场。在此基础上，对局部运动信息进行统计特征提取，获得运动场的局部运动特征。最后将这些运动特征的空间分布关系表示成全局结构化信息，采用基于统计学习的方法，来识别行为的类型。本算法通过直接基于运动信息的分析进行行为识别，来提高算法的效率和鲁棒性。

Description

一种基于运动场局部统计特征分析的异常行为检测方法

技术领域

本发明涉及基于运动图像的计算机监控技术，基于统计学习的模式识别技术和基于局部运动场的特征分析技术。是一种视觉监控内容分析方法，属于计算机视觉、智能信息处理领域。

背景技术

随着社会对公共安全问题的重视，实时监控得到了越来越广泛的应用。目前监控的问题在于大量的监控信息难以得到及时有效的处理，利用计算机视觉技术分析和理解人的运动，并提供记录和报警，则有助于改善公共场所的安全监控水平。通过计算机来协助对人类行为和事件的识别，已经成为计算机视觉领域的一个热点问题。

视觉监控的智能分析技术是计算机视觉领域的热点和难点问题，涉及到图像处理、机器学习等前沿课题。近年来学术上进行的相关研究很多，包括国家863,973的智能监控项目的研究。异常行为检测是指首先对自定义的正常动作行为和其他行为数据分别进行分析与建模，然后根据测试行为与两者的相似程序来判别行为是否有异常。目前的研究主要集中通过检测人体的运动区域、速度是否满足预定条件等限制，来检测人物出现、越界等基本事件。在此基础上美国ObjectVideo等公司已经开发出相应的产品，并得到了一定的应用。

然而这些研究和应用还存在一定的问题：首先，目前的研究多是基于前景区域的检测和跟踪信息，进而分析是否满足预定的条件，使问题局限于物体的检测和跟踪，而较少涉及对物体运动动作及其规律的理解，功能上具有一定的局限性。其次，部分视觉理解方法采用机械的人体模型方法，通过匹配视频图像，恢复出人体关节运动的状态，进而理解人体的运动。这样处理增加了中间环节，使模型更加复杂且难以准确实现。

发明内容

本发明是通过对人体运动场的分析，提取局部运动特征，并综合不同区域的特征及其分布，获得个体运动的描述，最后对大量的正常和异常运动数据进行机器学习，建立人体运动特征模型，实现人体异常行为的实时检测。

本发明主要涉及计算机视觉和模式识别领域，通过视频图像获得人体运动场的基本信息，在此基础上，首先针对运动复杂性的特点，将复杂的人体运动分解为简单的局部运动，通过定位和分析局部运动场，提取局部运动特征；然后综合人体不同区域的运动特征及其分布特征，获得个体运动的描述；最后对大量的正常和异常运动数据进行机器学习，建立人体运动特征模型，实现人体异常行为的实时检测。

整个方法过程如下：首先通过视频采集预定义的不同类型的动作若干组，作为训练样本；然后根据人体运动区域检测结果，对局部区域进行划分；建立运动的光流场，通过局部运动场定位和分析方法，获得局部运动的描述；提取区域特征，并融入特征对的空间分布关系，表示为整体特征；然后对这些特征，进行大量的学习，建立SVR模型；测试阶段通过实时采集的视频数据，对不确定的动作进行以上步骤的特征提取，通过贝叶斯的方法判断属于某一类动作的概率，最后选取概率最大的动作类型作为识别结果。

(1)基于局部运动场的特征分析。

首先通过视频图像的分析，提供运动场的基本光流数据，给定图像I(x，y，t)，表示任意时刻t，图像坐标(x，y)处的亮度值I。则根据基本的光流公式(1)，在假定人体的发光特性不变化的基础上，我们可以得到(x，y)处特征点的运云速度V。

$V=\∂I/\∂t=\∂I/\∂\mathrm{xu}+\∂I/\∂\mathrm{yv}---\left(1\right)$

其中u，v是图像采样坐标轴。

光流的运动特征L＝{V₁，V₂}通过对光流场向量进行高斯聚类获得，表示为两个主要的独立运动分量V₁，V₂，以简化整体光流场的表达。

光流的空间分布通过矩的计算实现，根据公式(2)可以获得基本的矩特征，其中零阶矩特征M₀₀表示运动区域的面积，一阶矩特征M_0，1和M_1，0分别表示两个坐标轴方向的重心分布情况，更高阶特征则表示更高频率范围的分布信息，这样就可以通过一系列矩及其变换来表示运动区域的分布特征J＝{M₀₀，M₀₁，M₁₀，…}。

M_pq＝∑_x∑_y||V||(x，y)x^py^q    (2)

由于人体运动的复杂性，全局性的运动及其分布分析只能得到总体的运动趋势，其作用是非常有限的；另外由于人体的结构特点具有明显的全局不确定性和局部区域运动的连续性，我们对以上的光流分析和运动区域分析进行了局部化，即在给定区域内进行特征计算。

(2)全局人体运动特征描述方法

全局的运动特征除了局部特征的描述以外，更重要的是通过局部特征及其分布描述整体特征，具体方法如下：

首先通过背景与当前帧差分图像来分析运动区域的分布状态，其中运动差分图像可以根据公式(3)，直接得到。

D(x，y，t)＝I(x，y，t)-I(x，y，t₀)    (3)

其中I(x，y，t₀)是背景图像；然后计算此运动区域的边界，以确定人体所在的位置，结合人体的结构特点，将人体运动区域预分为独立的r个部分，分别表示人局部肢体所在区域的运动情况；这样在每一个区域内都需要独立计算光流场，以及区域i内的光流运动特征L_i和运动分布特征J_i，其中i∈N，i≤r；

为了描述不同特征区域的相对位置，我们定义了特征对T_q＝<J₁，J_q>，表示特征J₁与J_q中心位置连线所形成的矢量，最终人体运动全局特征可编码为：g＝[L₁，…，L_r，J₁，…，J_r，T₂，…，T_r]。

(3)基于贝叶斯的动作序列识别

首先定义动作序列识别的目标集H＝{h₀，h₁…h_n}，对于每一个动作集G＝{G₀，G₁…G_n}中每一个动作都采集一定量的样本，建立相应的SVR(支持向量回归)模型。那么给定一个新的动作序列g_i，首先可以通过SVR模型获得属于某个目标的即时概率P(g_i|h_m)，通过对所有目标隶属概率的比较，概率最大的即为模型的即时运动识别结果。

由于即时结果不能反应整个运动过程，为了减少错误率，需要计算一个动作序列g_t，g_(t-1)，......属于任何目标h_l的概率P(h_l|g_t，g_(t-1)，......)。

根据状态的连续性，我们可以将运动变化看作一个马尔可夫过程，认为它的状态仅和上次状态和当前动作有关，则

P(h_l |g_t，g_(t-1)，......)＝P(h_l|h_(l-1)，g_t)

另外假设t-1状态和t时刻动作是独立的则

P(h_l|h_(l-1)，g_t)＝P(h_l|h_(l-1))P(h_l|g_t)

根据贝叶斯公式：

P(h_l|g_t)＝P(h_l)P(g_t|h_l)/∑_kP(g_t|h_k)P(h_k)

给定状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)，根据SVR模型就可以获得整个序列的识别结果。其中状态转移矩阵和先验概率根据训练样本中各种动作出现的频率统计得到的，也可以采用均匀分布的策略进行。

附图说明：

图1为本发明的系统运行流程。

图2为本发明的算法流程。

图3为本发明的运动场分析示意图，其中方框为所划分的局部区域，红色圆圈表示检测到的局部运动特征中心，红线表示其速度，圆圈间的蓝色连线表示全局特征的特征向量。

具体实施方式：

下面结合附图对本发明的实施方式加以详细说明。

图1是系统运行流程图，图2是特征提取算法的流程图，本发明方法按照图1流程，系统运行包括如下具体步骤：

1.样本视频数据采集：本系统采用机器学习原理进行人体运动的建模与识别，因此需要大量运动样本进行相关的学习与校验等工作。我们以5种特定的动作为例，各采集了若干段视频序列，并取其中一部分作为训练集进行学习，一部分作为测试集进行模型校验，构建了视频数据样本。

2.图像分析与特征提取：具体的提取过程如图2所示的流程进行，介绍如下。

1)获取视频数据：包括训练视频以及检测中实时采集的视频。

2)运动场计算：给定视频图像I(x，y，t)，根据基本的光流公式(1)，计算所有特征点的运动速度，其中包含大小和方向信息。

3)人体检测与区域划分：首先通过当前图像I(x，y，t)与背景图像I(x，y，t₀)差分的方法，获得人体运动的区域。计算出该区域的中心以及矩形边界信息，对所在区域进行四叉树划分，得到运动的四个局部初始区域。

4)局部特征提取：局部特征提取包括两方面特征，一个是向量的主成分分析L，对所有特征点的速度矢量，通过聚类的方法，获得两个主要的速度分量；另一方面对通过对速度大小的局部区域内矩计算，获得特征区域内包括运动重心在内的矩特征J。

5)全局特征分析：采用基于主从特征模式方法进行描述，首先，我们选定一个主特征，分别与其他特征进行匹配，组成3个特征对T，以向量的形式表示，包含特征间的距离和角度信息。将特征间的结构信息与局部特征进行顺序编码即得到运动的全局特征g。

6)模型学习与识别：最后所有的训练与学习都基于这样的全局运动特征进行。

3.行为建模：首先对于每一个动作都采集一定量的样本，通过图像分析与特征提取，获得人体运动全局特征，建立相应的SVR模型。同时通过状态序列的变化计算状态转移矩阵P(h_l|h_(l-1))及先验概率P(h_l)。

4.建立模型库：至此完成整个离线训练过程，将训练得到的SVR模型以及状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)保存到数据库中。

5.实时数据采集：在应用过程中，首先要初始化以上SVR模型及相关参数，通过摄像头实时采集运动视频序列进行分析。

6.采用与2相同的方法进行特征提取。

7.行为识别：给定一个新的动作序列g_t，g_t-1，...，需要求属于任何一个目标状态h_l的概率P(h_l|g_t，g_t-1，......)。我们将它看作一个马尔可夫过程，认为它的状态仅和上次状态和当前动作有关，则由贝叶斯公式：

P(h_l|g_t)＝P(h_l)P(g_t|h_l)/∑_kP(g_t|h_k)P(h_k)

给定状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)，根据SVR模型就可以获得整个序列的对某一种动作的相似度。

8.结果分析：最后通过对每一种行为的相似度进行比较，选取满足阈值(Y＝0.5)要求的最大相似行为作为识别结果，否则认为不属于以上训练动作，即判定为异常行为。

Claims (3)

1.一种基于运动场局部统计特征分析的异常行为检测方法，其特征在于，所述方法包括以下步骤：

(1)样本视频数据采集：通过视频采集预定义的不同类型的动作若干组，作为训练样本；

(2)图像分析与特征提取：根据人体运动区域检测结果，对局部区域进行划分；建立运动的光流场，通过局部运动场定位和分析方法，获得局部运动的描述；提取区域特征，并融入特征对的空间分布关系，表示为整体特征；然后对这些特征，进行大量的学习，建立SVR(支持向量回归)模型；

(3)行为建模：首先对于每一个动作都采集一定量的样本，通过图像分析与特征提取，获得人体运动全局特征，建立相应的SVR模型；同时通过状态序列的变化计算状态转移矩阵P(h_l|h_(l-1))及先验概率P(h_l)；

(4)建立模型库：将训练得到的SVR模型以及状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)保存到数据库中；

(5)实时数据采集：通过摄像头实时采集运动视频序列进行分析；

(6)采用与步骤(2)相同的方法进行特征提取；

(7)行为识别：给定一个新的动作序列，由贝叶斯公式：

P(h_l|g_t)＝P(h_l)P(g_t|h_l)/∑_kP(g_t|h_k)P(h_k)

给定状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)，根据SVR模型就可以获得整个序列的对某一种动作的相似度；

(8)结果分析：最后通过对每一种行为的相似度进行比较，选取满足阈值要求的最大相似行为作为识别结果，否则认为不属于以上训练动作，即判断为异常行为。

2、如权利要求1所述的一种异常行为检测方法，其特征在于：所述图像分析与特征提取包括以下步骤：

(1)获取视频数据：包括训练视频以及检测中实时采集的视频；

(2)运动场计算：首先通过视频图像的分析，提供运动场的基本光流数据，给定图像I(x，y，t)，表示任意时刻t，图像坐标(x，y)处的亮度值I；则根据基本的光流公式(1)，在假定人体的发光特性不变化的基础上，我们可以得到(x，y)处特征点的运动速度V：

$V=\&PartialD;I/\&PartialD;t=\&PartialD;I/\&PartialD;\mathrm{xu}+\&PartialD;I/\&PartialD;\mathrm{yv}---\left(1\right)$

其中u，v是图像采样坐标轴；

(3)人体检测与区域划分：首先通过背景与当前帧差分图像来分析运动区域的分布状态，其中运动差分图像可以根据公式(2)，直接得到：

D(x，y，t)＝I(x，y，t)-I(x，y，t₀)    (2)

其中I(x，y，t₀)是背景图像；然后计算此运动区域的边界，以确定人体所在的位置，结合人体的结构特点，将人体运动区域预分为独立的r个部分，分别表示人局部肢体所在区域的运动情况；这样在每一个区域内都需要独立计算光流场，以及区域i内的光流运动特征L_i和运动分布特征J_i，其中i∈N，i≤r；

(4)局部特征提取：光流的运动特征L＝{V₁，V₂}通过对光流场向量进行高斯聚类获得，表示为两个主要的独立运动分量V₁，V₂，以简化整体光流场的表达；光流的空间分布通过矩的计算实现，根据公式(3)可以获得基本的矩特征，其中零阶矩特征M_0，0表示运动区域的面积，一阶矩特征M_0，1和M_1，0分别表示两个坐标轴方向的重心分布情况，更高阶特征则表示更高频率范围的分布信息，这样就可以通过一系列矩及其变换来表示运动区域的分布特征J＝{M₀₀，M₀₁，M₁₀，…}；

M_pq＝∑_x∑_y||V||(x，y)x^py^q    (3)

(5)全局特征分析：采用基于主从特征模式方法进行描述，为了描述不同特征区域的相对位置，定义特征对T_q＝<J₁，J_q>，表示特征J₁与J_q中心位置连线所形成的矢量，最终人体运动全局特征可编码为：g＝[L₁，…，L_r，J₁，…，J_r，T₂，…，T_r]；

(6)模型学习与识别：最后所有的训练与学习都基于这样的全局运动特征进行。

3、如权利要求1所述的一种异常行为检测方法，其特征在于：所述行为建模包括以下步骤：首先定义动作序列识别的目标集H＝{h₀，h₁…h_n}，对于每一个动作集G＝{G₀，G₁…G_n}中每一个动作都采集一定量的样本，建立相应的SVR(支持向量回归)模型；那么给定一个新的动作序列g_i，首先可以通过SVR模型获得属于某个目标的即时概率P(g_i|h_m)，通过对所有目标隶属概率的比较，概率最大的即为模型的即时运动识别结果；

由于即时结果不能反应整个运动过程，为了减少错误率，需要计算一个动作序列g_t，g(_t-1)，......属于任何目标h_l的概率P(h_l|g_t，g_(t-1)，......)；

根据状态的连续性，我们可以将运动变化看作一个马尔可夫过程，认为它的状悉仅和上次状态和当前动作有关，则

P(h_l|g_t，g_(t-1)，......)＝P(h_l|h_(l-1)，g_t)

另外假设t-1状态和t时刻动作是独立的则

P(h_l|h_(l-1)，g_t)＝P(h_l|h_(l-1))P(h_l|g_t)

根据贝叶斯公式：

P(h_l|g_t)＝P(h_l)P(g_t|h_l)/∑_kP(g_t|h_k)P(h_k)

给定状态转移矩阵P(h_l|h_(l-1))和先验概率P(h_l)，根据SVR模型就可以获得整个序列的识别结果。

Images