CN102156983A - 基于模式识别与目标跟踪的异常行人位置检测方法 - Google Patents

Abstract

一种视频图像处理技术领域的基于模式识别与目标跟踪的异常行人位置检测方法，利用形状特征进行模式识别，并对识别为异常的区域进行跟踪，在跟踪过程中得到异常行为的时间特性，在结合形状特性与时间特性的基础上进行分析，得出最终的异常行人位置检测结果。本发明可实现在具有多种运动物体、行人密集程度高的复杂场景中鲁棒地对特定异常事件进行检测。本发明不但可以判断出发生了何种异常行为，还可以在视频中标记处异常事件发生的位置，实现了异常事件检测的自动化。

Description

基于模式识别与目标跟踪的异常行人位置检测方法

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于模式识别与目标跟踪的异常行人位置检测方法。

背景技术

随着社会对公共安全的重视和监控设备的普及，视频监控得到了越来越广泛的应用。但是目前的视频监控还主要停留在由人在事后查找异常事件的阶段，既浪费大量人力物力，又无法持久保证准确的检测效果。因此，利用计算机视觉、模式识别等方法来分析和理解人的行为、自动完成视频分析的智能监控技术便成为了国内外研究的热点问题。

异常行人是指在特定环境中行为存在嫌疑的行人，在机场、银行、商场、停车场等场合的视频监控中有很强的应用需求。现有的研究多存在下列问题：首先，用于分析的视频内容过于简单。此类视频往往背景单一，场景中只有少数几个行人，行人的正常行为与异常行为差别很大易于区分。其次，对异常行为的认定过于笼统，将不满足正常要求的行为统统认定为异常。这种定义未免过于简单，即使判断正确，人们也无从知道发生的是何种异常事件、事件发生于哪个位置，仍需要人再作进一步观察，因此还是没有完全实现异常事件的自动检测与识别。

经过对现有技术的文献检索发现，利用形状信息进行模式识别可以在复杂的场景中有效地检测出具有特定形状的物体。该类方法中最具代表性的为Qiang Zhu于2006年在《IEEE Computer Society Conference on Computer Vision and Pattern Recognition》(国际电子电气工程师协会计算机学会计算机视觉与模式识别会议)论文集第2卷1491至1498页上发表的论文“Fast human detection using a cascade of histogram of oriented gradients”(基于梯度方向直方图构建级联分离器实现快速行人检测)。此论文提出了简化HoG(Histograms of Oriented Gradient梯度方向直方图)特征并利用级联分类器完成模式识别，在INRIAPerson数据库上可实现高达95％以上的识别准确率。利用此类方法，可以有助于我们针对某种特定的异常行为完成异常行人区域检测。但是基于形状信息的识别是瞬间的，而异常行为必须要经过一段时间的持续观察才能充分认定。这促使我们寻找一种新的检测方式，将模式识别与目标跟踪结合起来，从形状特性与时间特性两个方面完成异常行人区域的可靠检测。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于模式识别与目标跟踪的异常行人区域检测方法，利用形状特征进行模式识别，对识别为异常的区域进行跟踪，并在跟踪过程中得到异常行为的时间特性，在结合形状特性与时间特性的基础上进行分析，得出最终的检测结果。本发明可实现在具有多种运动物体(车、行人等)、行人密集程度高的复杂场景中鲁棒地对特定异常行人区域进行检测。本发明不但可以判断出发生了何种异常行为，还可以在视频中标记出异常行人出现的位置，实现了异常行人检测的自动化。

本发明是通过以下技术方案实现的，采用高斯混合模型对视频图像的场景进行背景建模，利用阈值化操作和形态学后处理提取视频图像的前景，利用轮廓特征和行人上半身高度先验模型确定行人出现区域；在行人区域采样，提取采样区域的HoG特征并利用模式识别分类器进行识别，得到异常行人区域的形状特性；在分类器识别为异常的区域开辟跟踪团块，采用改进的粒子滤波方法完成跟踪，在跟踪过程中持续利用模式识别分类器进行识别，得到异常行为的时间特性；在结束团块时，结合时间特性与形状特性做出异常行人检测的最终判断。

所述的行人上半身高度先验模型通过以下方式得到：针对待分析的固定摄像头视频，手工标定出位于视频场景中各个位置的行人，得到一组行人上半身高度信息与头顶点信息，采用线性模型来描述行人上半身高度与行人出现位置的相互关系，并利用最小二乘法学习出线性模型的具体参数，得到行人上半身高度先验模型。

所述的模式识别分类器是指：手工采集特定异常行为图片构建图片样本库，提取每张图片的HoG(梯度方向直方图)特征作为训练特征，采用级联Adaboost学习方法对HoG特征分类，训练得到模式识别分类器。

所述的轮廓特征是通过以下方式得到：对视频图像的前景进行轮廓分析得到轮廓峰值点，即轮廓特征。

所述的行人出现区域是指：在轮廓特征处根据行人上半身高度先验模型划定行人区域并统计行人区域内的前景像素比例，当比例大于规定门限Th_f时，认为此区域为行人出现区域。

所述的采样是指：以每个行人出现区域中心点为中心，分别向上、下移动区域高度的1/8，再分别向左、右移动行人区域宽度的1/8，而后将区域按1.2倍扩大，再向上、下移动区域高度的1/8，再向左、右移动行人区域宽度的1/8，由此获得9个采样区域。

所述的形状特性是指：利用模式识别分类器对采样区域的HoG特征进行判断后的识别结果。

所述的改进的粒子滤波方法具体包括以下步骤：

a)建立系统状态空间和动态模型：状态空间定义为[x，y，w，h]，分别代表跟踪团块的质心坐标x、y以及跟踪团块的宽度和高度w、h，其中：坐标的动态模型用二阶自回归过程来模拟：

其中：

是k+1时刻两个独立的高斯随机变量，常数C取值为2.0，w，h的动态模型由s_w，s_h，即w，h的倍数控制：w_k+1＝(As_w+Bs_h)w_k，h_k+1＝(As_h+Bs_w)h_k，其中：s_w，s_h分别使用二阶自回归过程，即

其中：随机项

表示宽度、高度的相同变化量，是在相同变化量上的偏差；

b)观测模型与置信度的建立：采用图像的HSV(H色度、S饱和度、V光强)色彩分量建立观测直方图，当S和V分别同时大于门限Th_s和Th_v时，像素被分配到由H和S量化的二维空间{N_w×N_h}中的一点：

$\mathrm{bin}\left(\mathrm{pix}\right)=\frac{S\left(\mathrm{pix}\right)}{\mathrm{MAX}\_S}{N}_s{N}_h+\frac{H\left(\mathrm{pix}\right)}{\mathrm{MAX}\_H}{N}_h,$ S(pix)＞Th_s，V(pix)＞Th_v，

其中：bin(pix)是像素pix在直方图中的序号，H(pix)、S(pix)、V(pix)是像素pix的H、S、V分量，N_s、N_h为S、H分量上的量化数，MAX_S、MAX_H是S、H分量的最大值，门限Th_s＝0.1，Th_v＝0.2；

当S的幅值小于门限Th_s和或V幅值小于门限Th_v时，模型抛弃一切颜色信息，根据光强把像素分配到{N_w×N_h}之外的N_v个直方图项中：

$\mathrm{bin}\left(\mathrm{pix}\right)=N_s,N_h+\frac{V\left(\mathrm{pix}\right)}{\mathrm{MAX}\_V}{N}_v$

最后得到的颜色直方图共有N_sN_h+N_v个直方项：

其中：R为样点x所在的矩形区域，q(x)是该区域的颜色直方图，u是直方图变量；用Bhattacharyya相似系数来衡量两个二维直方图间的距离：

其中：q*是目标模板的直方图，是在开辟跟踪团块时统计团块区域颜色直方图获得的。q*(n)，q(n；x)是直方图第n个直方项的值。q*(n)，q(n；x)相似的置信度为：

c)状态更新：由贝叶斯理论有其中：

其中：x_k为k时刻粒子状态值，z_k为k时刻粒子观测值；

d)样本重采样：在粒子数匮乏时按权重排序并筛选，并通过密集采样恢复样本代表性，其中：重采样点的位置是在离散概率分布为上随机抽样产生的。

所述的时间特性是指：在跟踪过程中，持续提取团块区域的HoG特征利用模式识别分类器识别得到的结果。

所述的结合形状特性与时间特性做出异常行人检测的最终判断具体包括以下步骤：

i)时间参数初始化：为跟踪团块分别设立用以检查是否可以纳入为候选异常团块之列的预备期限以及用于判断是否要中断团块寿命的结束期限，同时开辟三个变量分别记录在预备期限和结束期限内跟踪团块被识别为异常的次数以及在跟踪团块整个寿命内被识别为异常的次数；

ii)预备期限时间性能判断：统计初始化后异常识别次数占预备期限的比例，当比例高于设定门限Th_s时，团块纳入候选异常跟踪团块，结束期限相关参数开始初始化；当比例小于Th_s则自动删除此跟踪团块；

iii)结束期限时间性能判断：对于候选异常跟踪团块，每隔结束期限的整数倍时间检查一次在结束期限内团块被识别为异常的次数，若次数占结束期限的比例高于设定门限Th_e则对结束期限相关参数进行初始化；若比例小于Th_e则结束此候选异常跟踪团块的寿命；

iv)跟踪团块异常行人性质判断：在结束候选异常跟踪团块寿命时，统计团块的寿命长度以及在寿命中被识别为异常的次数，若跟踪团块寿命超过规定门限Th_l且在寿命中被识别为异常的次数比例超过规定门限Th_r，则判定异常行人被检测出来，跟踪团块区域即为异常行人区域，异常行人的置信度为识别为异常的次数与寿命之比；否则判定不是异常事件并删除该跟踪团块。

本发明的原理是，由于行人头肩部分彼此遮挡的几率很小且头肩形状具有强可区分性，因此可以通过前景分析寻找头顶点，确定行人区域。在行人区域处提取梯度信息进行模式识别，从形状的角度判断该区域是否异常。仅通过单帧的形状特征来定义异常行人并不充分，还需要对此区域在持续时间中的模式识别结果进行分析，从形状特性和时间特性两方面得出异常行人的最终判断。

与现有技术相比，本发明针对某特定异常行人进行检测，增强了异常行人检测的针对性；输出结果既包含对异常行人的识别又包括异常行人出现的位置，因此可以实现异常行人检测的自动化。本发明提出综合利用模式识别和目标跟踪来完成异常行人检测。利用模式识别的方法得到异常行人的形状特征，利用目标跟踪的方法对跟踪区域进行持续地判断，在综合考虑形状特性与时间特性的基础上，实现更加鲁棒准确的异常行人检测。

附图说明

图1是本发明针对拥抱行为的异常行人检测方法流程图。

图2是场景分析采样图。

图3是分类器训练的正样本图。

图4是前景分割与轮廓分析结果图。

图5是跟踪团块时间性能分析流程图。

图6是最终异常行人检测输出图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例选取拥抱事件作为异常事件，将拥抱的行人作为异常行人进行检测。实施例对TRECVid2009提供的英国伦敦Gatwick机场监控视频序列(720×576像素，25fps)进行处理。该视频中场景背景处于动态变化之中，不仅有光照变化还有不停变化的广告灯箱，运动物体有行人、行李车、清洁车等，行人遮挡比较严重。本实施例包括如下步骤：

第一步，针对待分析的固定摄像头视频，手工标定出位于视频场景中各个位置的行人，得到一组行人上半身高度信息与头顶点信息，采用线性模型来描述行人上半身高度与行人出现位置的相互关系，并利用最小二乘法学习出线性模型的具体参数，得到行人上半身高度先验模型，具体为：

任意选取视频序列中某一段，对分布在场景各位置的行人进行人工采样，如图2所示标定出行人头顶点和腰部的坐标，由头顶点与腰部的坐标差可获得行人的上半身高度信息。本实施例中，采集了58个行人上半身高度(h₀，h₁，…，h₅₈)和头顶点图像坐标((x₀，y₀)，(x₁，y₁)，…，(x₅₈，y₅₈))。采用归一化坐标表示头顶点，并用向量来表示，即H＝(h₀，h₁，…，h₅₈)^T X＝((x₀，y₀，1)，(x₁，y₁，1)，…，(x₅₈，y₅₈，1))^T，而后利用线性模型来描述行人上半身高度与头顶点坐标的关系(H＝AX)。线性系数A可通过最小二乘估计法获得

$A^{*}=\arg \underset{A}{\min }{(H-\mathrm{AX})}^T(H-\mathrm{AX})$

解得：

A＝(X^TX)^-1X^TH

本实施例的最终拟合函数为：h＝0.0034*x-0.4062*y+249.5634

(程序基于OpenCV1.0编写，视频中的图像坐标原点位于左下角。)

第二步，采集拥抱行为图片样本库，提取图片的HoG(梯度方向直方图)特征做输入数据，采用级联Adaboost学习方法生成拥抱的模式识别分类器。

拥抱行为图片样本库需要手动在训练视频上对发生拥抱行为的区域进行分割提取。为了保证提取图片能够刻画拥抱行为的形状特征，选择正方形的窗口，覆盖拥抱者从头顶点到腰部的区域。同时为了克服拥抱姿态变化的问题，将此窗口按1∶1.2比例扩大，保证拥抱行人位于窗口的中心位置。图片分割完成以后，将所有图片统一归一化到的固定尺寸。在本实施例中，共采集了正样本123个负样本133个用于训练，归一化后的图像尺寸为80×80，采集后的图片如图3所示。

本实施例选用Qiang Zhu提出的HoG特征，该特征可以在任意尺度、比例的窗口提取，运算简单。为了确保窗口尺寸、位置分布的合理性，规定窗口的尺寸范围从12×12到80×80，长宽比例为(1∶1)、(1∶2)、(2∶1)三种，相邻窗口间的位移为4，、6、8三种。按此要求，共可以产生4057个不同窗口。HoG特征生成过程为：

①生成对应9个梯度方向区间的9幅二值图

将梯度方向(无符号绝对值梯度)所在范围[0，180)平均划分为9个区间，并开辟9个与行人区域尺寸相同(80×80)的二值图像空间，此9幅二值图像与9个梯度方向区间一一对应。计算拥抱区域内每一点像素的梯度方向，并查看该梯度方向落入哪个区间，落入区间对应的二值图在该位置处赋1，其余二值图在该位置处赋0，由此可得到行人区域的9幅二值图像。

②生成指定窗口的HoG特征

当给定窗口的位置(4057个窗口位置中的一个)时，将该窗口平分为四个子窗口。统计9幅二值图在每个子窗口内值为1的像素个数，生成一个9维的直方图向量。将四个子窗口的向量头尾相接，则构成36维的HoG特征向量。

本实施例采用了LibSVM工具(http://www.csie.ntu.edu.tw/～cjlin/libsvm/)完成弱分类器的训练。首先要指定该弱分类器对应的窗口位置，而后将训练集中正负样本在指定窗口位置处的HoG特征按LibSVM要求写成训练数据文件，由LibSVM学习程序自动产生弱分类器模型。

级联Adaboost分类器的训练步骤如下：

①设定可接受的每个强分类器的最大负样本判错率f_max＝0.7和最小正样本通过率d_min＝0.9975，级联Adaboost分类器要达到的总负样本判错率目标F_target＝0.000001，正样本集P，负样本集N。

②设级联排列的强分类器的序号为i，级联到当前第i个强分类器时级联Adaboost分类器的总负样本判错率为F_i、总正样本通过率为D_i。初始化F_i＝0＝1.0，D_i＝0＝1.0。

③当前负样本判错率大于目标负样本判错率(F_i＞F_target)时，令i＝i+1，利用Adaboost方法训练产生一个新的强分类器，得出该强分类器的负样本判错率f_i。

④计算当前级联Adaboost分类器的F_i和D_i：

F_i＝F_i-1·f_i，D_i＝D_i-1·d_min。

⑤若F_i仍大于F_target，则需更新负样本集。用当前的级联Adaboost分类器在负样本集N中做判断，剔除出可正确判断为负样本的数据，仅保留错判为正样本的数据在N中用于下次训练，返回③。若Fi小于等于F_target，则级联Adaboost分类器训练完成。

利用Adaboost方法训练强分类器的过程如下：

①把正、负样本的权重参数w_i分别初始化为

其中l＝123为正样本的个数，m＝133为负样本的个数，i为样本序号(i＝1，…，256)。设该强分类器的负样本判错率f_t＝1、正样本通过率d_t＝0，t＝1为强分类器中的弱分类器的序号，也可理解为②中循环执行的次数。

②当f_t＞f_max时，循环执行以下步骤：

a)归一化权重：

其中n为样本总个数。

b)在已规定的4057个窗口位置中随机选择203个窗口位置(4057×5％)。对第k个窗口位置(k＝1，…，203)，在正负图片样本集中提取在此窗口的HoG特征，得到此HoG特征的正负样本数据。而后将数据送入libSVM程序，产生出此特征基于支持向量基的弱分类器h_k，并计算h_k的错误率

${\mathrm{\ϵ}}_k=\underset{i}{\mathrm{\Σ}}{w}_i|h_k\left(x_i\right)-y_i|.$

其中，h_k(x_i)为由h_k判断的第i个数据的分类结果，y_i为已知的分类结果。

c)选择具有最小错误率ε_t的弱分类器h_t添加到强分类器中。

d)利用当前强分类器的判决结果来更新正负样本的权重。

$w_i=w_i{\mathrm{\β}}_t^{1-e_i}$

其中β_t＝ε_t/(1-ε_t)；如果x_i被分类正确则e_i＝0，否则e_i＝1。

计算h_t在强分类器中的权重

e)减小当前强分类器的门限th_t，直至满足d_i＞d_min。计算此时的负样本判错率f_t。

令t＝t+1，返回循环。

③当f_t≤f_max时，强分类器训练完成。假设此时共有T个弱分类器，则由此T个弱分类器得到的强分类器表达式为：

$h\left(x\right)=\left\{\begin{array}{cc}1,& \underset{t=1}{\overset{T}{\mathrm{\Σ}}}{a}_t{h}_t\left(x\right)\≥{\mathrm{th}}_t\\ 0,& \mathrm{otherwise}\end{array}\right.$

在指定参数f_max＝0.7、d_min＝0.9975、F_target＝0.000001时，训练的级联Adaboost分类器共产生9个强分类器。

第三步，利用混合高斯模型对视频背景进行自适应建模，计算当前帧图像与背景的差异得到帧差结果，对帧差结果进行阈值化操作和形态学后处理得到前景区域。

视频场景中每一点像素的灰度值可用混合高斯模型来描述

$P\left(X_t\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k^t\·\mathrm{\η}(X_t,{\mathrm{\μ}}_k^t,{\mathrm{\Σ}}_k^t).$

其中，η为高斯概率密度函数，

和

分别为t帧时刻第k个高斯模型的权重、均值和方差，K为混合模型中高斯函数的个数上限，在本实施例中令K＝5。

利用高斯混合模型得到背景建模的过程如下：

①以视频第一帧各像素的灰度值来初始化每个像素的混合高斯模型。此时混合高斯模型只有一个高斯函数被初始化，其均值即为当前像素的灰度值，方差被指定为固定值σ²＝30，高斯的权值为0.05。

②当读入新一帧图像时，要按高斯函数权值由大至小的顺序查看各高斯函数是否与此像素灰度相匹配。匹配的条件为：像素灰度值与该高斯函数均值的差异不超过Th_d＝2.5σ＝13.69。若找到匹配的高斯函数，则可直接转入③。若此灰度与任何一个高斯函数都不匹配，则按照①初始化一个新的高斯函数。当混合模型中存在未初始化的高斯函数时，直接用此新的高斯函数来初始化；当K个高斯函数都被使用时，则用此新的高斯函数来替换当前混合模型中权值最小的高斯函数。

③当确定好当前像素灰度对应的高斯函数后，需要对混合模型内每个已使用的高斯函数的权值、均值、方差进行更新。背景的建模与更新需要一定时间的累积，规定此时间窗口长度L＝200。当视频读入帧数小于200时，更新公式为：

${\hat{w}}_k^{N+1}={\hat{w}}_k^N+\frac{1}{N+1}(\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})-{\hat{w}}_k^N)$

${\widehat{\mathrm{\μ}}}_k^{N+1}={\widehat{\mathrm{\μ}}}_k^N+\frac{\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})}{\underset{i=1}{\overset{N+1}{\mathrm{\Σ}}}\hat{p}\left({\mathrm{\ω}}_k\right|X_i)}(X_{N+1}-{\widehat{\mathrm{\μ}}}_k^N)$

${\widehat{\mathrm{\Σ}}}_k^{N+1}={\widehat{\mathrm{\Σ}}}_k^N+\frac{\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})}{\underset{i=1}{\overset{N+1}{\mathrm{\Σ}}}\hat{p}\left({\mathrm{\ω}}_k\right|X_i)}((X_{N+1}-{\widehat{\mathrm{\μ}}}_k^N){(X_{N+1}-{\widehat{\mathrm{\μ}}}_k^N)}^T-{\widehat{\mathrm{\Σ}}}_k^N)$

其中，N为帧数，ω_k用于记录第k个高斯函数在权值降序排列中的序号。

为二值函数，其定义为：

当帧数超过L后，更新公式为：

${\hat{w}}_k^{N+1}={\hat{w}}_k^N+\frac{1}{L}(\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})-{\hat{w}}_k^N)$

${\widehat{\mathrm{\μ}}}_k^{N+1}={\widehat{\mathrm{\μ}}}_k^N+\frac{1}{L}(\frac{\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})X_{N+1}}{{\hat{w}}_k^{N+1}}-{\widehat{\mathrm{\μ}}}_k^N)$

${\widehat{\mathrm{\Σ}}}_k^{N+1}={\widehat{\mathrm{\Σ}}}_k^N+\frac{1}{L}(\frac{\hat{p}\left({\mathrm{\ω}}_k\right|X_{N+1})(X_{N+1}-{\widehat{\mathrm{\μ}}}_k^N){(X_{N+1}-{\widehat{\mathrm{\μ}}}_k^N)}^T}{{\hat{w}}_k^{N+1}}-{\widehat{\mathrm{\Σ}}}_k^N)$

更新完毕后，再对混合高斯模型中各高斯函数的权值进行归一化处理。

④把各个高斯函数按其权重由大至小排列，确定权重相加大于Th_w＝0.7的前B个高斯函数为描述背景的高斯函数。若与当前像素匹配的高斯函数排列位于前B，则判断为背景像素。

将当前帧与背景相减，对其结果进行二值化处理，门限为Th_p＝15；对此二值图进行后处理来获得前景分割结果，具体方法如下：

对帧差结果进行7倍下采样，而后采用3×3模板进行膨胀、中值滤波、腐蚀，然后7倍上采样还原至原始尺寸，再用3×3模板进行腐蚀、中值滤波、膨胀。通过此后处理，可去除噪声与孔洞，保证前景分割结果尽可能连通，前景轮廓尽可能平滑。

第四步，对前景区域进行轮廓分析，得到轮廓峰值点，在峰值点处根据行人上半身高度先验模型划定行人区域，统计区域内的前景像素比例，根据比例值大小做出行人检测的判断结果，具体过程如下：

①利用Canny方法得到前景图像的轮廓c。

②按顺时针沿轮廓计算曲线纵坐标的一阶导数导数符号改变处设定为初始头顶点位置；

③为避免曲线的微小扰动造成头顶点过于密集，设定相邻头顶点的最小横坐标间隔Th_x＝50，在此间隔内将纵坐标最大的初始头顶点位置标识为候选头顶点。

④在候选头顶点位置，利用步骤一确定的行人上半身高度拟合函数计算候选头顶点处对应的行人上半身高度h，以h作为宽度得到行人区域。统计矩形区域内前景像素的比例，当比例高于门限值Th_f＝0.6时，保留该头顶点位置，否则予以剔除。

第五步，在每个行人检测结果处附近进行采样，在每个采样区域提取HoG特征，送入训练好的拥抱检测分类器中进行模式识别，比较所有采样区域的识别结果，做出拥抱形状检测的判断结果。

在本实施例中，采样过程为：

①以行人检测结果确定的区域中心点为中心，分别向上、下移动区域高度的1/8，再分别向左、右移动行人区域宽度的1/8。

②以行人检测结果确定的区域中心点为中心，将区域尺寸扩大1.2倍，而后分别向上、下移动行人区域高度的1/8，再分别向左、右移动行人区域宽度的1/8。

由此每个行人检测区域可对应得到9个采样区域。

第六步，在拥抱分类器识别为拥抱的区域处开辟跟踪团块，采用改进的粒子滤波方法进行跟踪，在跟踪过程中持续利用拥抱分类器对跟踪团块区域进行判断，并利用识别结果修正跟踪。

选择改进的粒子滤波跟踪方法的具体步骤为：

①系统状态空间和动态模型建立

状态空间本实施例定义为[x，y，w，h]，分别代表跟踪团块的质心坐标，跟踪团块的宽度和高度。开辟新跟踪团块时，用对应的拥抱区域的质心坐标和区域的宽高来初始化状态空间参数。

动态模型描述的是跟踪团块状态随时间变化的转移过程，也称为粒子的传播过程。x，y坐标的动态模型用二阶自回归过程来模拟：

$x_{k+1}={2x}_k-x_{k-1}+C\·w\·g_{k+1}^1$ $y_{k+1}={2y}_k-y_{k-1}+C\·h\·g_{k+1}^2$

是k+1时刻两个独立的高斯随机变量，上两式中的随机项还与跟踪团块的宽度、高度和常数C有关，以此满足尺寸大的物体其移动位移也较大的实际要求。在本实施例中，C取值为2.0.

w，h的动态模型由s_w，s_h(w，h的倍数)按加权系数A、B控制，即

w_k+1＝(As_w+Bs_h)w_k h_k+1＝(As_h+Bs_w)h_k

s_w，s_h分别使用二阶自回归过程：

$s_{w,k+1}={2s}_{w,k}-s_{w,k-1}+g_{k+1}^3{g}_{k+1}^4$ $s_{h,k+1}={2s}_{h,k}-s_{h,k-1}+g_{k+1}^3+g_{k+1}^5$

其中共有随机项

表示宽度、高度的相同变化量，

是在相同变化量上的偏差。这样做的目的是为了体现一般序列中目标横纵向大小变化的相关性，同时不失两者的差别。

为了防止长时间跟踪后宽度、高度比例失调，进一步对s_w，s_h求加权平均，引入平滑系数A，B，满足A+B＝1，A＞B。在本实施例中，A＝0.7，B＝0.3。

②观测模型与置信度的建立

本实施例采用图像的HSV(色度、饱和度、光强)色彩分量建立观测直方图。当S、V大于门限Th_s、Th_v时，像素被分配到由H、S量化的二维空间中的一点。在本实施例中，Th_s＝0.1，Th_v＝0.2。

$\mathrm{bin}\left(\mathrm{pix}\right)=\frac{S\left(\mathrm{pix}\right)}{\mathrm{MAX}\_S}{N}_s{N}_h+\frac{H\left(\mathrm{pix}\right)}{\mathrm{MAX}\_H}{N}_h,$ S(pix)＞Th_s，V(pix)＞Th_v

bin(pix)是像素pix在直方图中的序号，H(pix)、S(pix)、V(pix)是像素pix的H、S、V分量，N_s、N_h为S、H分量上的量化数，MAX_S、MAX_H是S、H分量的最大值。当S、V幅值小于门限时，模型抛弃一切颜色信息，根据光强把像素分配到{N_s×N_h}之外的N_v个直方图项中。

$\mathrm{bin}\left(\mathrm{pix}\right)=N_s,N_h+\frac{V\left(\mathrm{pix}\right)}{\mathrm{MAX}\_V}{N}_v$

这样最后得到的颜色直方图共有N_sN_h+N_v个直方项，用公式表示如下：

$q\left(x\right)=\underset{\mathrm{pix}\∈R}{\mathrm{\Σ}}\mathrm{\δ}(\mathrm{bin}\left(\mathrm{pix}\right)-u)$

R为样点x所在的矩形区域，q(x)是该区域的颜色直方图，u是直方图变量。

利用颜色直方图可得到比较样点和目标模板的直方图接近程度，直方图越接近，样点与目标匹配的概率越大。用Bhattacharyya相似系数来衡量两个二维直方图间的距离：

$\mathrm{Dis}(q*,q\left(x\right))={[1-\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{q*\left(n\right)q(n;x)}]}^{\frac{1}{2}}$

q*是目标模板的直方图，是在初始化跟踪团块时对团块区域内的颜色进行统计获得的。q*(n)，q(n；x)是直方图第n个直方项的值。

最后，匹配置信度可由高斯函数表示，本实施例中高斯函数方差为1：

$p=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{{\mathrm{Dis}}^2}{{2\mathrm{\σ}}^2}}$

③状态更新：由贝叶斯理论，状态更新方程为：

$p\left(x_k\right|z_{1:k})=\frac{p\left(z_k\right|x_k)p\left(x_k\right|z_{1:k-1})}{p\left(z_k\right|z_{1:k-1})}$

其中：x_k为k时刻粒子状态值，z_k为k时刻粒子观测值。由于p(x)但是难以直接采得有代表性的样本，所以用另一概率分布q(x)作为重要性密度函数。本实施例中选择

$q\left(x_k\right|z_{1:k})=p\left(x_k\right|x_{k-1}^i{,z}_k)=p\left(x_k\right|x_{k-1}^i).$

权重更新方程为：

$w_k^i\∝w_{k-1}^{i}p\left(z_k\right|x_k^i)$

④样本重采样：重采样的原理是在粒子数匮乏时去除一些权重小的样点，在权重大的样点附近密集采样，恢复样本代表性。重采样点在离散概率分布

$p\left(x_k\right|z_{1:k})\≈\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{w}_k^i\mathrm{\δ}(x_k-x_k^i)$

上随机抽样产生，权重大的样点有更多的机会被采到，而被采到的样点被重新赋予相同的权值。其中，Ns是样点数。

在跟踪中，持续进行拥抱形状识别并用识别结果来修正跟踪的具体方法为：对每一帧图像，先按步骤三至步骤五进行拥抱形状检测，而后比较现有跟踪团块与检测结果，若跟踪团块与检测结果指向同一个行人，则用检测结果以重采样的方式来更新跟踪团块的粒子信息；若没有相应的检测结果与跟踪团块一致，则用常规方法更新跟踪团块，并对该跟踪团块进行拥抱识别；若检测结果与所有跟踪团块都不重合，则为新出现的拥抱区域，需要利用此检测结果新开辟一个跟踪团块。

第七步，在跟踪过程中，持续对团块区域进行拥抱形状识别，获得跟踪团块拥抱行为的时间特性，决定是否继续跟踪，并在结束团块寿命时做出拥抱事件的最终判断。

时间特性获得以及利用时间特性判断拥抱事件的流程图如图5所示，具体方法如下：

①时间参数初始化：对于新识别的拥抱区域，在开辟跟踪团块时为此跟踪团块设立两个时间期限，一个是预备期限Tstart＝STARTPREPARE＝15，用以检查该跟踪团块是否可以纳入为拥抱候选跟踪团块之列；另一个是结束期限Tend＝ENDCHECK＝15，用于判断是否要中断此跟踪团块的寿命，两期限长度由用户指定。同时还要开辟三个变量用于记录在预备期限和结束期限内跟踪团块被识别为拥抱的次数StartNum和EndNum，以及在跟踪团块整个寿命期间的被识别为拥抱的次数EmbraceNum。

②预备期限时间性能判断：跟踪团块初始化后进入预备期，统计预备期内被识别为拥抱的次数占预备期限的比例，若比例高于设定门限Th_s＝60％则可纳入候选拥抱跟踪团块，结束期限相关参数开始初始化；若比例小于Th_s，则自动删除此跟踪团块。

③结束期限时间性能判断：对于候选拥抱图块，每隔结束期限的整数倍时间长度检查一次在此时间内跟踪团块被识别为拥抱的次数。若此次数占结束期限的比例高于设定门限Th_e＝20％，则将Tend、EndNum初始化，开始下一个结束期限的判断；若比例小于Th_e，则说明跟踪团块区域已不能再作为拥抱区域了，需要终止团块寿命。

④跟踪团块拥抱事件判断：对于候选拥抱跟踪团块，在结束其寿命时对该团块的寿命长度以及在寿命中被识别为拥抱的次数比例进行判断。若跟踪团块寿命超过规定门限Th_l＝25，且在其寿命中跟踪团块被判断为拥抱的次数比例超过规定门限Th_r＝75％，认为拥抱事件发生，其拥抱事件置信率即为拥抱次数与寿命之比；若有上述任一条件不满足，则认为不是拥抱事件，直接删除此跟踪团块。

实施效果

依据上述步骤，对TrecVid2009提供的机场监控视频(720×576像素，25fps)进行拥抱检测。所有实验均在PC计算机上实现，计算机的参数为：中央处理器Intel(R)Core(TM)2Duo CPU E6550@2.33GHz，内存1.95GB。视频处理速度与场景中行人的密集程度有关，处理速度范围为：5ms～200ms。在TrecVid2009事件检测大赛拥抱事件检测分项中，利用本实施例得到的检测结果获得了第二名的成绩。

图4给出场景原始图像、前景分割与前景分析的结果。可以看出混合高斯模型能够自适应于场景的动态变化，通过计算当前帧图像与背景的差异，并对差异进行阈值化操作和形态学后处理，能够准确地得到前景区域，并能保证前景轮廓的平滑。每一个检测结果都用圆点标识出来，可以看出轮廓分析的方法能够准确地定位轮廓突出且包含大量前景像素的峰值点，大大缩小了模式识别时搜索的范围，有效提高方法速度。

图6是整个方法的拥抱事件判断输出结果，可以看出本实施例能否准确地检测出拥抱事件，并能够输出拥抱事件发生的位置，可实现拥抱事件的自动检测。

Claims (10)

1.一种基于模式识别与目标跟踪的异常行人位置检测方法，其特征在于，采用高斯混合模型对视频图像的场景进行背景建模，利用阈值化操作和形态学后处理提取视频图像的前景，利用轮廓特征和行人上半身高度先验模型确定行人出现区域；在行人区域采样，提取采样区域的HoG特征并利用模式识别分类器进行识别，得到异常行人区域的形状特性；在分类器识别为异常的区域开辟跟踪团块，采用改进的粒子滤波方法完成跟踪，在跟踪过程中持续利用模式识别分类器进行识别，得到异常行为的时间特性；在结束团块时，结合时间特性与形状特性做出异常行人检测的最终判断。

2.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的行人上半身高度先验模型通过以下方式得到：针对待分析的固定摄像头视频，手工标定出位于视频场景中各个位置的行人，得到一组行人上半身高度信息与头顶点信息，采用线性模型来描述行人上半身高度与行人出现位置的相互关系，并利用最小二乘法学习出线性模型的具体参数，得到行人上半身高度先验模型。

3.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的模式识别分类器是指：手工采集特定异常行为图片构建图片样本库，提取每张图片的梯度方向直方图特征作为训练特征，采用级联Adaboost学习方法对HoG特征分类，训练得到模式识别分类器。

4.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的轮廓特征通过以下方式得到：对视频图像的前景进行轮廓分析得到轮廓峰值点，即轮廓特征。

5.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的行人出现区域是指：在轮廓特征处根据行人上半身高度先验模型划定行人区域并统计行人区域内的前景像素比例，当比例大于规定门限Th_f时，认为此区域为行人出现区域。

6.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的采样是指：以每个行人出现区域中心点为中心，分别向上、下移动区域高度的1/8，再分别向左、右移动行人区域宽度的1/8，而后将区域按1.2倍扩大，再向上、下移动区域高度的1/8，再向左、右移动行人区域宽度的1/8，由此获得9个采样区域。

7.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的形状特性是指：利用模式识别分类器对采样区域的HoG特征进行判断后的识别结果。

8.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的改进的粒子滤波方法包括以下步骤：

a)建立系统状态空间和动态模型：状态空间定义为[x，y，w，h]，分别代表跟踪团块的质心坐标x、y以及跟踪团块的宽度和高度w、h，其中：坐标的动态模型用二阶自回归过程来模拟：

其中：

是k+1时刻两个独立的高斯随机变量，常数C取值为2.0，w，h的动态模型由s_w，s_h，即w，h的倍数控制：w_k+1＝(As_w+Bs_h)w_k，h_k+1＝(As_h+Bs_w)h_k，其中：s_w，s_h分别使用二阶自回归过程，即

其中：随机项

表示宽度、高度的相同变化量，

是在相同变化量上的偏差；

b)观测模型与置信度的建立：采用图像的HSV(H色度、S饱和度、V光强)色彩分量建立观测直方图，当S和V分别同时大于门限Th_s和Th_v时，像素被分配到由H和S量化的二维空间{N_w×N_h}中的一点：

$\mathrm{bin}\left(\mathrm{pix}\right)=\frac{S\left(\mathrm{pix}\right)}{\mathrm{MAX}\_S}{N}_s{N}_h+\frac{H\left(\mathrm{pix}\right)}{\mathrm{MAX}\_H}{N}_h,$ S(pix)＞Th_s，V(pix)＞Th_v，

其中：bin(pix)是像素pix在直方图中的序号，H(pix)、S(pix)、V(pix)是像素pix的H、S、V分量，N_s、N_h为S、H分量上的量化数，MAX_S、MAX_H是S、H分量的最大值，门限Th_s＝0.1，Th_v＝0.2；

当S的幅值小于门限Th_s和或V幅值小于门限Th_v时，模型抛弃一切颜色信息，根据光强把像素分配到{N_w×N_h}之外的N_v个直方图项中：

$\mathrm{bin}\left(\mathrm{pix}\right)=N_s,N_h+\frac{V\left(\mathrm{pix}\right)}{\mathrm{MAX}\_V}{N}_v$

最后得到的颜色直方图共有N_sN_h+N_v个直方项：

其中：R为样点x所在的矩形区域，q(x)是该区域的颜色直方图，u是直方图变量；用Bhattacharyya相似系数来衡量两个二维直方图间的距离：其中：q*是目标模板的直方图，是在开辟跟踪团块时统计团块区域颜色直方图获得的，q*(n)，q(n；x)是直方图第n个直方项的值，q*(n)，q(n；x)相似的置信度为：

c)状态更新：由贝叶斯理论有

其中：

其中：x_k为k时刻粒子状态值，z_k为k时刻粒子观测值；

d)样本重采样：在粒子数匮乏时按权重排序并筛选，并通过密集采样恢复样本代表性，其中：重采样点的位置是在离散概率分布为

上随机抽样产生的，其中：Ns为样点个数。

9.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的时间特性是指：在跟踪过程中，持续提取团块区域的HoG特征利用模式识别分类器识别得到的结果。

10.根据权利要求1所述的基于模式识别与目标跟踪的异常行人位置检测方法，其特征是，所述的结合形状特性与时间特性做出异常行人检测的最终判断具体包括以下步骤：

i)时间参数初始化：为跟踪团块分别设立用以检查是否可以纳入为候选异常团块之列的预备期限以及用于判断是否要中断团块寿命的结束期限，同时开辟三个变量分别记录在预备期限和结束期限内跟踪团块被识别为异常的次数以及在跟踪团块整个寿命内被识别为异常的次数；

ii)预备期限时间性能判断：统计初始化后异常识别次数占预备期限的比例，当比例高于设定门限Th_s时，团块纳入候选异常跟踪团块，结束期限相关参数开始初始化；当比例小于Th_s则自动删除此跟踪团块；

iii)结束期限时间性能判断：对于候选异常跟踪团块，每隔结束期限的整数倍时间检查一次在结束期限内团块被识别为异常的次数，若次数占结束期限的比例高于设定门限Th_e则对结束期限相关参数进行初始化；若比例小于Th_e则结束此候选异常跟踪团块的寿命；

iv)跟踪团块异常行人性质判断：在结束候选异常跟踪团块寿命时，统计团块的寿命长度以及在寿命中被识别为异常的次数，若跟踪团块寿命超过规定门限Th_l且在寿命中被识别为异常的次数比例超过规定门限Th_r，则判定异常行人被检测出来，跟踪团块区域即为异常行人区域，异常行人的置信度为识别为异常的次数与寿命之比；否则判定不是异常事件并删除团块。

Images