CN101464952A - 基于轮廓的异常行为识别方法 - Google Patents

Abstract

本发明一种基于轮廓的异常行为识别方法。首先，对摄像头采集到的图像序列进行运动目标检测与跟踪，提取目标轮廓；接着利用R变换表达每一帧中运动轮廓的空间信息；再对空间信息重新排列组合，做为行为分析的特征向量，利用主成分分析对其进行特征降维；最后利用隐马尔可夫模型表达具有空间信息的轮廓序列在时间上的变换关系，每个行为都有各自的隐马尔可夫模型参数表示。在识别过程中，将新的行为特征序列与存储的参数进行比较，依最大似然原则选择最匹配的行为。本发明识别方法对于提高智能视觉监控的自动分析具有重要意义，使计算机无需人的帮助就能知道场景中事件发生的时间、地点和人物。还可用于视频检索，帮助人们寻找视频中感兴趣的事件。

Description

基于轮廓的异常行为识别方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别涉及智能视觉监控中的异常行为识别方法。

背景技术

随着现代科技的飞速发展，利用摄像机监控动态场景早已被广泛应用在社会的方方面面，除了一些对于安全要求级别高的场合，如银行、军事基地等，越来越多的智能视觉监控应用在民用，如交通路口、生活社区、地铁沿线等，用以保障人民的生命财产安全。尽管目前商用监控摄像机普遍存在于商场、超市、电梯间，但没有充分发挥其实时主动的监视报警功能。虽然这些摄像头可以提供大量的视频数据，但还不能对感兴趣行为进行实时的分析处理，而且海量数据的存在以及长时间枯燥乏味的监视很容易使得安保人员疲倦，松懈，对场景发生的异常不能及时反应，造成灾难性的后果。因此，开发出实时的监控系统，并根据场景中的异常行为与现象自动报警，引起警卫的注意，对破坏行为及时制止，对威胁安全的行为及时救援等成为日益迫切的需求。这要求摄像机不仅仅记录一堆堆的数据，更重要的是会分析数据，理解数据，这样计算机可以警醒人，帮助人完成监控任务，提高监控质量。

动态场景中运动目标的行为分析与理解一直是计算机视觉领域最活跃的主题，尤其是监控场景下异常行为的检测与识别更具有广泛的应用。如前所述，安全问题，无论国防还是民用一直是各个国家长期关注的热点。英国的Closed Circuit Television(CCTV)监控项目有不计其数的摄像头分布在商场、社区、学校、停车场以及众多公共场合，成功降低犯罪率。同时，北美，澳大利亚，欧洲其他一些国际紧随其后，有关动态场景中运动目标行为分析与识别的研究项目纷沓而至，这要求计算机可以从摄像机捕获的运动序列中检测，跟踪目标并对其行为进行理解。但目前大部分的技术，尤其是实时系统还处在对运动目标的检测跟踪阶段，就算涉及运动目标的行为分析，也仅是简单的走跑运动。因此开发出具有自动分析视频数据能力的监控技术，通过摄像头可以知道场景中发生了什么是智能视觉监控的一个首要目的。

不过在监控场景下，由于摄像头数量众多，而且还存在很多可自由控制的带云台摄像头，这样即使获得同一行为的底层运动数据，不同的视觉，不同的镜头下，在二维图像平面还是具有不同的表现形式。因此，如何获取针对平移，旋转，比例尺度变换具有不变性的底层特征是行为分析与识别成功的关键。目前，运动目标的轨迹与轮廓被认为可以用于视觉监控系统中行为识别算法的两个主要的运动特征。与轨迹相关的其他特征，比如速度，距离等也得到广泛应用，不过这些特征只能描述运动目标在场景中的位置移动，不能刻画行为细致的空间特征。轮廓则不然，完整的行为轮廓序列是一种时空变化的运动模式，它既可以表达运动过程中肢体的变化又能描述行为时间上的相互关系。而且具有易于捕捉，受噪声影响小等优点。

传统监控可以实现视频数据的分发、存储功能，但对场景中的异常情况只能通过人工处理。面对海量视频数据，连续长时间的工作会让警卫倦怠、不警醒，对危险事件不敏感。

发明内容

轮廓可以描述行为序列中每一帧的姿态，包括全部的边缘信息与身体内部信息，因此特征维数比较高，而且一般的实时监控场景往往比较复杂，受变换的光照条件、阴影、飘动的旗帜等影响，运动分割后的目标轮廓不可避免的出现形状分块，内部空洞或者阴影。而且运动目标对于摄像头的距离是不断变换的，表现在二维图像平面上就是运动目标轮廓在整个行为序列中尺度大小不一。考虑到上述情形，本发明的目的是公开一种基于轮廓的异常行为识别方法，通过一种新的特征表达方式，

变换，来进行特征描述，并将变换的结果用做行为识别的特征，经此变换得到的特征计算复杂度低，具有几何变换不变性而且抗噪性比较强，对形状噪声鲁棒而且对于相似性高的行为可区分性高。

为实现上述目的，本发明的技术解决方案是：

一种基于轮廓的异常行为识别方法，包括轮廓提取，特征表达，训练和识别多个过程，步骤如下：

步骤S1：对摄像头采集到的图像序列进行运动目标检测与跟踪，提取目标轮廓；

步骤S2：对得到的目标轮廓姿态，利用

变换表达得到每一帧中运动轮廓的空间信息，用做行为识别的底层特征；

步骤S3：利用主成分分析对改进的特征向量进行特征提取；

步骤S4：利用隐马尔可夫模型表达具有空间信息的轮廓序列在时间上的变换关系；

步骤S5：利用训练的模型参数库，根据最大似然准则，看待识别行为和哪个预先定义的行为最匹配。

所述的基于轮廓的异常行为识别方法，其所述步骤S1的运动目标检测包括如下步骤：

步骤S11：对得到的图像序列构建背景模型；

步骤S12：从运动图像序列中将变化区域从背景模型中提取出来，用于得到运动目标；

步骤S13：将得到的运动目标进行形态学操作和连通域分析，得到分割准确的运动目标轮廓。

所述的基于轮廓的异常行为识别方法，其所述步骤S2的空间信息表达包括如下步骤：

步骤S21：对已经得到的轮廓进行尺度归一化；

步骤S22：对归一化过的轮廓进行

变换，得到轮廓空间信息的低维特征表达。

所述的基于轮廓的异常行为识别方法，其所述步骤S3的特征降维过程包括如下步骤：

步骤S31：将行为序列中每一帧经过

变换后的1×180维的特征向量分成三部分，每一部分为一个1×60的向量，依次排列形成一个60×3的矩阵；

步骤S32：对得到的矩阵进行主成分分析，根据信息贡献率得到一个2×3的矩阵；

步骤S33：对得到的降维矩阵，依次展开排成一行，最后得到一个1×6的特征向量，用做最后的特征表达。

所述的基于轮廓的异常行为识别方法，其所述步骤S4的行为模型参数学习过程包括如下步骤：

步骤S41：将每个行为所得的特征序列作为隐马尔可夫模型的输入；

步骤S42：学习不同行为的隐马尔可夫模型的参数并保留。

所述的基于轮廓的异常行为识别方法，其所述步骤S5的行为识别过程包括如下步骤：

步骤S51：将原始识别序列按照步骤S1到S3转换成行为特征序列；

步骤S52：计算此特征序列和步骤S42中保留的参数模型的最大似然，取其最大的那个为识别结果。

基于轮廓的异常行为识别对于智能视觉监控的广泛应用尤为关键，它可以提高监控系统的自动性，智能性，更好的解脱使用者。利用

变换，本发明实现了一个基于轮廓的异常行为识别方法，首先利用变换表达每一帧中运动轮廓的空间信息；然后利用主成分分析对改进的特征向量进行特征提取；最后利用隐马尔可夫模型表达具有空间信息的轮廓序列在时间上的变换关系，每个行为都有各自的隐马尔可夫模型参数表示。在识别过程中，新的行为特征序列分别与这些存储的参数进行比较，根据最大似然原则选择最匹配的行为。

本发明的优点是：

一种基于轮廓的异常行为识别方法，用于智能视觉监控系统，让计算机自动分析视频数据，对有可能发生的异常事件做出预警，以降低人工监控的强度。

附图说明

图1基于变换的异常行为模型参数训|练流程框图；

图2基于

变换的异常行为识别流程框图；

图3变换的几何变换结果示意图；

图4不同数据条件下基于R变换的识别结果直方图；

图5不同数据条件下五种特征表达的识别率比较直方图；

图6帧丢失数据条件下五种特征描述子的识别率比较直方图；

图7冗余数据条件下五种特征描述子的识别率比较直方图；

图8缺失数据条件下五种特征描述子的识别率比较直方图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅在便于对本发明的理解，而对本发明不起任何限定作用。

本发明方法所需要的硬件最低配置为：P4 3.0G CPU，512M内存的计算机；最低分辨率为320x240的监控摄像头或DV摄像机；帧率为25帧每秒的视频采集卡，所有结果可通过VC达到实时的识别处理。

图1给出了基于轮廓的异常行为模型参数学习流程图。首先对摄像头采集到的行为序列进行运动目标跟踪，提取目标轮廓，然后利用

变换表达每一帧中运动轮廓的空间信息；接着利用主成分分析对得到的特征向量进行特征提取；最后利用隐马尔可夫模型表达具有空间信息的轮廓序列在时间上的变换关系，每个行为都有各自的隐马尔可夫模型参数表示。

在识别过程中，新的行为特征序列分别与这些存储保留的参数进行比较，根据最大似然原则选择最匹配的行为，做为最后的识别结果，过程如图2所示。

对于每个行为序列，我们采用如下的方法进行背景分割，获取运动目标轮廓

首先由采集到的图像序列基于多高斯构建背景图像模型，接着由当前输入图像与背景模型进行差分比对操作并进行二值化处理，然后经过形态学滤波和连通量分析得到轮廓分割结果。最后对由背景分割得到的结果进行差分阈值化处理并结合图像中的统计特征和运动分析方法来检测到目标。这样可以有效的减弱和消除由于光照变化，前景背景颜色相近带来的干扰从而得到更加鲁棒和准确的轮廓。该方法完全可以应用于任意复杂背景下运动目标的分割。

运动特征表达

场景中，运动目标的姿态轮廓随着时间的变化而表现出各个行为的不同。为了去除信息冗余度和减少计算复杂度，我们将每帧中二维的姿态轮廓转换为一维的特征向量来表示其空间信息，这是通过

变换实现的。

变换是一种扩展的Radon变换，我们首先给出Radon变换的定义，它是数据处理中广泛应用的一种技术，其原理是把原始图像通过线性积分的形式变换到另外一个参数域内。假设f(x，y)是一幅二值图像，那么其Radon变换定义如下：

${T_R}^f(\mathrm{\ρ},\mathrm{\θ})={\∫}_{-\∞}^{+\∞}{\∫}_{-\∞}^{+\∞}f(x,y)\mathrm{\δ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-\mathrm{\ρ})\mathrm{dxdy}=R_{\mathrm{adon}}\left\{f(x,y)\right\}$

式中θ∈[0，π]，ρ∈[-∞，+∞]，δ(x)为delta函数，

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if\; x}=0\\ 0& \mathrm{otherwise}\end{array}\right.$

变换定义如下：

$R_f\left(\mathrm{\θ}\right)={\∫}_{-\∞}^{+\∞}{T^2}_{R^f}(\mathrm{\ρ},\mathrm{\θ})\mathrm{d\ρ}$

变换具有良好的几何不变性，利用其提取的特征向量对于行为训练和识别都是及其有用的：

假设尺度因子为α，

$\frac{1}{{\mathrm{\α}}^2}{\∫}_{-\∞}^{+\∞}{T^2}_{R^f}(\mathrm{\ρ},\mathrm{\θ})\mathrm{d\ρ}=\frac{1}{{\mathrm{\α}}^3}{\∫}_{-\∞}^{+\∞}{T^2}_{R^f}(v,\mathrm{\θ})\mathrm{dv}=\frac{1}{{\mathrm{\α}}^3}{R}_f\left(\mathrm{\θ}\right)$

假设平移向量为 $\stackrel{\→}{\mathrm{\μ}}=(x_0,y_0),$

${\∫}_{-\∞}^{+\∞}{T^2}_{R^f}((\mathrm{\ρ}-x_0\cos \left(\mathrm{\θ}\right)-y_0\sin \left(\mathrm{\θ}\right)),\mathrm{\θ})\mathrm{d\ρ}={\∫}_{-\∞}^{+\∞}{T^2}_{R^f}(v,\mathrm{\θ})\mathrm{dv}=R_f\left(\mathrm{\θ}\right)$

假设旋转角度为θ₀，

${\∫}_{-\∞}^{+\∞}{T^2}_{R^f}(\mathrm{\ρ},(\mathrm{\θ}+{\mathrm{\θ}}_0))\mathrm{d\ρ}=R_f(\mathrm{\θ}+{\mathrm{\θ}}_0)$

根据Radon变换的对称性，令γ＝-ρ，则

$\underset{-\∞}{\overset{\∞}{\∫}}{T^2}_{R^f}(-\mathrm{\ρ},(\mathrm{\θ}\±\mathrm{\π}))\mathrm{d\ρ}=-\underset{\∞}{\overset{-\∞}{\∫}}{T^2}_{R^f}(-\mathrm{\γ},(\mathrm{\θ}\±\mathrm{\π}))\mathrm{d\γ}=\underset{-\∞}{\overset{\∞}{\∫}}{T^2}_{R^f}(-\mathrm{\γ},(\mathrm{\θ}\±\mathrm{\π}))\mathrm{d\γ}=R_f(\mathrm{\θ}\±\mathrm{\π})$

图3给出了存在上述几何变换时，

变换的变化结果示意图，其中，图a1为原始图片，a2为其对应的

变换结果，b1为将原始图片进行平移变化的结果，c为将原始图片逆时针旋转30度的结果，d表示经一定尺度变换后的结果；b2、c2、d2分别为经过不同的几何变化后，各自的

变换结果。

我们发现同一个原始图像在经过平移，尺度，旋转之后具有不同的特性：

1.平移不改变

变换的结果；

2.如果原始图像发生一定角度的旋转，那么其旋转图像的

变换结果也会发生改变，但只是位移发生线性变换，幅值并不发生变化。由于在大部分视觉监控场景中摄像头一般都是固定的，很少发生这样的旋转现象，利用此变换表达特征不会对我们的实际应用产生任何影响；

3.在一定尺度上放大或者缩小原始图像，其变换的曲线形状并未发生变化，所不同的只是幅值，归一化可消除此影响；

4.

变换是周期函数，周期为π，因此一个单帧运动目标的空间信息可以表达成一个180D的特征向量。

如果我们先在尺度上对图像中的运动目标进行归一化，那么此运动目标的轮廓信息经过变换成为几何不变量。

基于主元分析的特征选择

为了去除信息的冗余度，减少计算代价，我们利用主元分析的方法对其进行降维，不是单纯的对整个序列降维，而是将每一帧的180维分成三部分，然后写成一个60*3的矩阵，对这个矩阵进行PCA降维，通过实验发现，我们选择前两个特征值(累积方差已经高于98％)，然后将降维得到的2*3的矩阵展开成为1*6的特征向量，最终形成特征序列。

基于HMM的行为识别

隐马尔可夫模型目前是应用最为广泛的行为模型，在这里用作行为的识别，流程图如图2所示。本发明具体实施例选取办公室为监控环境，走、跑、跳跃、携包、下蹲五种行为为感兴趣行为，因为办公室中“出入行走”属正常行为，而快速奔跑、跳跃、走着走着突然蹲下以及携带箱包出入办公室都被视为异常行为，一旦发现应立刻报警。

行为数据库：为了验证算法的鲁棒性，我们采用了四种不同的数据做为测试数据，他们分别是：实况数据、帧丢失数据、冗余数据和缺失数据，具体含义如下：

1.面对低精度的采集设备和场景中光照变化、前景背景颜色相似性等干扰的存在，运动目标轮廓不可避免的具有空洞，阴影等现象。为了更好的描述行为本身的时空变化，我们对这些不好的数据人为去除噪声，得到的数据做为训练数据，称之为“实况数据”；

2.人为制造一些测试数据，分别去除行为序列的前10帧，中间15帧以及最后15帧，称其为“帧丢失数据”；

3.对于由于衣摆和阴影造成的噪声数据，称为“冗余数据”；

4.对于实际得到的那些存在噪声的数据，有些具有身体空洞，丢失部分轮廓，或者一个完整的轮廓被分成数个部分，称之为“缺失数据”。

对每一种不同的数据条件，我们都有五十条测试数据。图4给出了不同数据条件下基于

变换的行为识别率直方图。我们发现在缺失数据和帧丢失数据情况下，

变换依然保持了和实况数据情况下差不多的识别率，都在90％以上，这说明

变换对这些噪声数据的存在不敏感。但当数据为冗余数据时(这类噪声数据大部分是由于阴影带来的)，

变换表现出的识别结果并不象其他三种数据那么理想。这表明

变换对冗余数据比较敏感，因此我们在运动目标检测的适合尽量使用腐蚀效果比较强的分割算法，尽量减少由于阴影噪声给行为识别所带来的影响。

本发明与基于矩的特征描述子做了一个详细的比较，其中包括不变矩、Zernike矩、伪Zernike矩和小波矩。除了不变矩具有平移、尺度、旋转的几何不变性以外，其他矩都只是旋转不变的，因此与在行为识别过程中，首先要对图像进行尺度与平移的归一化。对一幅320×240的数字图像而言，各个矩以及R变换的平均计算时间如表1所示。

表1：各种轮廓表达方式的运算时间

这是window XP操作系统下，Pentium 4，3.2GHz，MATLAB计算的结果。如表所示，一个二维R变换的计算时间约为0.047秒，略高于不变矩的平均时间，远远低于其他矩的计算时间，这说明换非常适合用在对速度要求比较高的实时监控系统。

图5—8给出了不同测试数据条件下，

变换与这四种矩描述子的识别率直方图。

由图5看出，实况数据情况下，基于小波矩的特征表达获得了最高的识别率。基于不变矩和

变换的特征表达方式获得仅次于小波矩表达方式的识别率。而且实验结果表明，只有小波矩和

变换完全正确地识别了”走”、”跑”这两种高度相似的行为，其他矩描述子都有错识的现象，尤其是

矩和伪

矩，”走、跑”总是出现误识。这是因为

矩以及伪

矩只能提取图像的全局特征，因此对差异比较显著的行为具有很好的识别效果，而无法区分具有细微差别的相似模式；而小波矩具有很强的细节描述能力，因此它在识别”走、跑”等相似度比较大的行为时，表现出良好的区分性能，相比较而言，

变换也具有这样的性能，而且

变换具有很低的计算复杂度。

如图6所示，在三种帧丢失数据情况下，

变换都表现出高于90％的识别率，效果优于任何一个基于矩的特征描述子，这充分说明

变换对于帧丢失情况不敏感。

如图7所示，当数据为冗余数据时，这五种特征描述子都未能取得良好的识别结果，识别率都在70％以下，小波矩甚至只有48％，这说明他们对冗余数据比较敏感，因此我们在运动目标检测的时尽量使用腐蚀效果比较强的分割算法，尽量减少由于阴影噪声给行为识别所带来的影响。

如图8所示，在“不完整数据”情况下，基于

变换的识别率远远高于其他特征描述子，表现良好的鲁棒性。

总的来说，该方法与相关工作相比有如下几个优点：

1.

变换具备良好的几何变换的不变性，以及比较低的计算复杂度。

2.

变换对运动中帧丢失现象以及由于噪声和背景减除不完备带来的轮廓空洞或轮廓分裂现象，具备更好的鲁棒性。

3.对于”走”、”跑”等相似性很高的不易区分的行为，

变换表现很好的可区分性。

以上所述，仅为本发明中的具体实施例，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于轮廓的异常行为识别方法，其特征在于：包括步骤：

步骤S1：对摄像头采集到的图像序列进行运动目标检测与跟踪，提取目标轮廓；

步骤S2：对得到的目标轮廓姿态，利用R变换表达得到每一帧中运动轮廓的空间信息，用做行为识别的底层特征；

步骤S3：利用主成分分析对上述特征向量进行特征降维，得到适合的特征序列；

步骤S4：将不同行为的特征序列做为输入，利用隐马尔可夫模型学习其随时间的变化关系，通过每个行为的隐马尔可夫模型参数表示；

步骤S5：利用训练的模型参数库，根据最大似然准则，判断待识别行为和预先定义行为的匹配程度。

2.根据权力要求1所述的基于轮廓的异常行为识别方法，其特征在于：所述步骤S1中的运动目标检测包括如下步骤：

步骤S11：对得到的图像序列构建背景模型；

步骤S12：从运动图像序列中将变化区域从背景模型中提取出来，用于得到运动目标；

步骤S13：将得到的运动目标进行形态学操作和连通域分析，得到分割准确的运动目标轮廓。

3.根据权力要求1所述的基于轮廓的异常行为识别方法，其特征在于：所述步骤S2的空间信息表达包括如下步骤：

步骤S21：对步骤S1已经得到的轮廓进行尺度归一化；

步骤S22：对归一化过的轮廓进行R变换，得到轮廓空间信息的特征描述。

4.根据权力要求1所述的基于轮廓的异常行为识别方法，其特征在于：所述步骤S3的特征降维过程包括如下步骤：

步骤S31：将行为序列中每一帧经R变换后的1×180维的特征向量分成三部分，每一部分为一个1×60的向量，依次排列形成一个60×3的矩阵；

步骤S32：对步骤S31得到的矩阵进行主成分分析，根据信息贡献率得到一个2×3的矩阵；

步骤S33：对步骤S32得到的降维矩阵，依次展开排成一行，最后得到一个1×6的特征向量，用做最后的特征描述。

5.根据权力要求1所述的基于轮廓的异常行为识别方法，其特征在于：所述步骤S4的行为模型参数学习过程包括如下步骤：

步骤S41：将每个行为所得的特征序列作为隐马尔可夫模型的输入；

步骤S42：学习不同行为的隐马尔可夫模型的参数并保留。

6.根据权力要求1或5所述的基于轮廓的异常行为识别方法，其特征在于：所述步骤S5的行为识别过程包括如下步骤：

步骤S51：将原始识别序列按照步骤S1到S3转换成行为特征序列；

步骤S52：将所得到的行为特征序列分别与步骤S42存储保留的模型参数进行比较，根据最大似然原则选择最匹配的行为。

Images