CN101739551A - 运动目标识别方法及系统 - Google Patents

Abstract

本发明公开了一种运动目标识别方法及系统，所述运动目标识别方法包括：检测目标，从视频图像中提取感兴趣的区域；跟踪目标，建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；分类目标，通过分类法对区域和目标进行分类，分类法包括区域分类法和目标分类法。本发明实现了运动目标的检测、跟踪和分类，解决了图像抖动、亮度变化、阴影、树叶摆动等问题。

Description

运动目标识别方法及系统

技术领域

本发明涉及视频监控技术，特别是涉及一种智能视频监控系统中的运动目标识别方法及系统。

背景技术

运动目标识别是智能视频监控系统的关键模块，其直接影响着后续处理。通常运动目标识别包括：检测、跟踪、分类。

检测的目的是将视频场景中的运动目标区域从背景中分割出来。由于光照的变化、背景混乱运动的干扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在，给运动目标的正确检测带来了极大的挑战。为了实现运动目标检测，可以使用光流法和帧间差分法。光流法检测采用了目标随时间变化的光流特性，可以通过计算位移向量光流场来初始化目标的轮廓，从而使基于轮廓的跟踪算法有效地检测和跟踪目标。这种方法的缺点是大多数光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置，很难应用于场景图像的实时性操作。帧间差分法是检测相邻两帧图像之间变化的最简单方法，是直接比较两帧图像对象像素点像素值的不同，然后通过阈值来提取场景图像中的运动目标区域。这种方法的缺点是一般不能完全提取所有相关的特征像素点，在运动实体内部容易产生空洞现象，对基于区域的运动目标跟踪的鲁棒性不强，而且无法检测出静止的车辆，对于运动目标的速度有所限制。

跟踪的目的是在正确检测出运动目标的基础上，确定同一目标在不同场景图像中位置的过程。为了实现跟踪，可以使用图像匹配方法，如区域匹配、模型匹配。区域匹配是把参考图像的某一块整体与实时图像所有可能位置上进行叠加，然后计算某种图像相似性度量的相应值，其最大相似性相对应的位置就是目标的位置。这种方法的缺点是计算量大，难以达到实时性要求。模型匹配是根据模板来匹配场景图像中的目标。这种方法的缺点是计算分析复杂，运算速度慢，模型的更新较为复杂，实时性较差。

分类的目的是区分目标，如人和车。为了实现运动目标分类，可以使用贝叶斯算法和神经网络算法。贝叶斯算法是一类利用概率统计知识进行分类的算法，可以运用到大型数据库中，且方法简单、分类准确率高、速度快。这种方法的缺点是由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。神经网络算法能够模拟人类大脑的机构和功能，采用各种学习算法从训练样本中学习，并将获取的知识存储在网络各单元之间的连接权中，能够准确的分类目标。神经网络算法在1998年提出后，又出现许多变形，包括替换的误差函数、网络拓扑的动态调整、学习率和要素参数的动态调整。近年来，从神经网络中提取规则受到越来越多的关注。这种方法的缺点是由于要使用大量的训练样本，且在实际应用中要不断地更新样本信息，因此运算量极大。

综上所述，目前迫切需要提出更为有效的运动目标识别方案。

发明内容

有鉴于此，本发明的主要目的在于提供一种运动目标识别方法及系统。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种运动目标识别方法，该方法包括：

检测目标，从视频图像中提取感兴趣的区域；

跟踪目标，建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；

分类目标，通过分类法对区域和目标进行分类，分类法包括区域分类法和目标分类法。

根据本发明，所述检测目标包括如下步骤：

获取视频，获取视频内容以得到场景图像，并建立背景模型；预处理图像，消除场景图像对背景模型的影响；标记区域，根据背景模型对场景图像进行前景分割，并标记出连通区域；维护状态，判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；增强区域，使用阴影检测、高亮检测和树滤波，剔除阴影、高亮和树叶摆动的虚假区域；以及，分裂与合并区域，使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

其中，所述预处理图像包括：滤波处理和全局运动补偿。

所述滤波处理包括：对图像进行噪声过滤处理、图像平滑处理；所述全局运动补偿，是补偿由于相机轻微摆动而引起的图像全局运动，在全局运动补偿中，运动模型包括平移、旋转、变焦。

通过下列公式计算前景所在的矩形区域周围正负5个像素的区域亮度差IDS，得到全局运动补偿中图像平移的距离Δx、Δy，公式如下：

$\mathrm{IDS}=\underset{x=s_x}{\overset{m}{\mathrm{\Σ}}}\underset{y=s_y}{\overset{n}{\mathrm{\Σ}}}(I_{(x,y)}\left(t\right)-I_{(x,y)}(t-1))s_x{s}_y$

其中，s_x表示区域起点x坐标，s_y表示区域起点y坐标，I_(x，y)(t)表示当前帧图像灰度，I_(x，y)(t-1)表示上一帧图像灰度；同理计算其它四个区域的Δx、Δy，最后求出Δx、Δy的平均值；将图像按照Δx、Δy的平均值进行平移得到补偿后的图像。

其中，所述标记区域包括如下步骤：

前景分割，基于背景模型对场景图像进行分割，以得到前景的二值图像；形态学处理，使用数学形态学的方法处理所述的二值图像，以去除面积较小的虚假区域，并填充面积较大的区域；以及连通区域标记，用连通域的方法标记同一场景中的不同区域，以区别不同的目标区域。其中，所述维护状态包括状态判定和异常检测。

所述状态判定，是判定检测目标模块当前所处的状态，做出相应处理；当场景稳定时间超过阈值1，系统由初始化状态进入工作状态；当场景改变时间超过阈值2，系统由工作状态进入初始化状态。其中，所述阈值1优选为0.5～2秒之间，所述阈值2优选为5～20秒之间。

所述异常检测，是在视频信号干扰严重，以及有人为的遮挡相机的情况时执行；根据两次背景的边缘匹配值及背景初始化成功的最短时间判断，若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4，则认为是异常现象。其中所述阈值3优选为30～50之间。所述阈值4优选为6～20秒之间。

其中，所述增强区域包括：阴影检测、高亮检测、树滤波。

阴影检测，针对每个连通区域，分别计算该连通区域内的像素值的均值，并将该均值作为阈值，判定该区域的阴影区域，然后将阴影区域滤除，若像素值小于所述阈值，则判定为阴影；高亮检测，检测图像是否处于高亮状态，若是，则进行亮度补偿，亮度补偿使得图像的像素值的均值为128；树滤波，检测图像中的摆动树叶和摆动树叶阴影，并将其从前景图像中滤除。

检测摆动树叶是根据以下两个特征之一判定实现的：(1)运动轨迹跟踪，当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时，则认为该目标是摆动树叶；(2)质心运动的振幅，当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时，则认为该目标是摆动树叶。其中，所述阈值5优选为5％～15％之间，所述阈值6优选为1.5～2.5之间。

检测摆动树叶阴影的方法是：分别统计膨胀操作前后该区域内膨胀操作前后像素值为“1”的点的个数，并计算它们的比值，若该比值小于阈值7，则认为该区域是摆动树叶阴影的区域。其中，所述阈值7优选为40％～60％之间。

其中，所述分裂与合并区域是基于所述增强区域的处理过程，判定相邻两区域是否是同一目标区域；若属于同一目标区域，则将这两个区域合并；否则，将其分裂；其中，相邻两区域是指区域边缘距离小于阈值8的区域。其中，所述阈值8优选为3～7个像素之间。

根据本发明，所述跟踪目标包括：预测目标，用于估计目标的下一帧运动；匹配目标，用于跟踪匹配的稳定目标，并滤除虚假目标；更新目标，更新当前帧中稳定目标的模板。

其中，所述预测目标是根据目标运动的累加位移及其相应的累加时间，计算该目标运动的平均速度，并根据该速度预测目标的下一次位移。

所述累加位移、累加时间及平均运动速度的关系为：

v＝s/t

其中，s为目标质心稳定运动多帧后的位移，t为目标运动多帧所需的时间，v为该目标稳定运动的平均速度；

根据所述平均速度v预测的下一次位移为：

s′＝v·Δt

其中，Δt为预测的目标时间，s′为目标质心稳定运动Δt时间后的位移。

其中，所述匹配目标包括：跟踪匹配的稳定目标和滤除虚假目标；所述跟踪匹配的稳定目标是判定检测区域与跟踪目标是否匹配，所述匹配根据下述公式中检测区域与目标的匹配系数D来判定：

D＝Da*A_Da+Db*A_Db+Dc*A_Dc

其中，Da为面积匹配系数，Db为直方图匹配系数，Dc为距离匹配系数。当检测区域与目标的匹配系数D大于阈值9时，则判定该检测区域与目标匹配。A_Da、A_Db、A_Dc分别为Da、Db、Dc对应的权值系数。其中，所述阈值9优选为0.7～0.8之间。

面积匹配系数Da，是当检测区域与目标相交的区域的面积大于目标的面积的阈值10时，则认为该检测区域满足面积的匹配，Da取1；否则Da取0。其中，所述阈值10优选为40％～60％之间。

直方图匹配系数Db，是当检测区域与目标相交的区域的直方图大于目标的直方图的阈值11时，则认为该检测区域满足直方图的匹配，Db取1；否则Db取0。所述阈值11优选为40％～60％之间。

距离匹配系数Dc，根据检测区域是运动的还是静止的两种情况来考虑距离匹配系数Dc；若当前帧图像与前一帧图像中检测区域的差分图像中，前景点的个数大于背景点个数的阈值12时，则认为检测区域是运动的，否则认为该检测区域是静止的。

当检测区域是运动时，计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若该距离小于目标所在矩形框的对角线长度的阈值13，则认为满足距离的匹配，Dc取1；否则Dc取0。

当检测区域是静止时，计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若该距离小于阈值14，则认为满足距离的匹配，Dc取1；否则Dc取0。

其中，所述阈值12优选为65％～75％之间。所述阈值13优选为1.5～2之间。所述阈值14优选为8～12个像素之间。

滤除虚假目标是通过目标运动的轨迹分析，以滤除虚假的目标区域；其中，轨迹分析是利用目标轨迹信息，统计面积变化的平滑性和质心点变化的平稳性。

其中，所述统计面积变化的平滑性是指统计目标轨迹点上面积集合{area₁，area₂，...，area_n}，n表示轨迹点的个数，统计面积均值：

$\stackrel{\‾}{\mathrm{area}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{area}}_i$

统计面积方差： ${\mathrm{area}}_{\mathrm{sd}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{area}}_i-\stackrel{\‾}{\mathrm{area}})}^2$

当

时，认为面积变化不平滑，将该目标区域滤除。

所述统计质心点变化的平稳性是根据正常目标的运动在方向上不会产生经常性突变，统计相邻轨迹点中方向变化的比率，若该比率超过阈值15，则认为质心点变化不平稳，将该目标区域滤除。所述阈值15优选为40％～60％之间。

根据本发明，所述分类目标包括如下步骤：提取特征，提取目标的空间特征和时间特征；以及判定类型，判定目标的类型。

其中，所述空间特征包括：区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ、区域轮廓的类圆性ρ、区域的紧集度F、区域的面积A、区域的上部分与下部分的面积比R。

所述时间特征为目标的速度v。

所述判定类型包括每帧分类和整体分类。

其中，区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ通过如下所述的常规步骤确定：

1)计算轮廓点x，y坐标的平均值，公式如下：

${\mathrm{mean}}_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

${\mathrm{mean}}_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i$

x₀＝mean_x，y₀＝mean_y

2)计算轮廓点x，y坐标的方差，协方差，公式如下：

${\mathrm{SD}}_{x^2}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-{\mathrm{mean}}_x)}^2$

${\mathrm{SD}}_{y^2}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\mathrm{mean}}_y)}^2$

${\mathrm{SD}}_{\mathrm{xy}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-{\mathrm{mean}}_x)(y_i-{\mathrm{mean}}_y)$

3)计算最大最小特征值，公式如下：

$\mathrm{eigenvalueMax}={\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2}+\sqrt{{({\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2})}^2-4({\mathrm{SD}}_{x^2}\×{\mathrm{SD}}_{y^2}-{{\mathrm{SD}}_{\mathrm{xy}}}^2)}$

$\mathrm{eigenvalueMin}={\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2}-\sqrt{{({\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2})}^2-4({\mathrm{SD}}_{x^2}\×{\mathrm{SD}}_{y^2}-{{\mathrm{SD}}_{\mathrm{xy}}}^2)}$

4)计算长轴、短轴、椭圆倾角，公式如下：

$a=2\sqrt{\mathrm{eigenvalueMax}}$

$b=2\sqrt{\mathrm{eigenvalueMin}}$

$\mathrm{\θ}=a\cos \left(\frac{1}{\sqrt{1+{{\mathrm{SD}}_{\mathrm{xy}}}^2}}\right)$

区域轮廓的类圆性ρ通过如下公式确定：

$\mathrm{\ρ}=\frac{c^3}{s}$

其中，c为拟合目标区域的周长，s为拟合目标区域的面积，ρ为拟合目标区域的类圆性。

区域的紧集度F是指目标与目标区域的面积比；其中，所述目标是指目标所在的矩形区域里像素值为1的像素点；目标区域是指该矩形区域中所有的像素点；目标与目标区域的面积比为目标与目标区域内统计的像素个数的比值。

区域的上部分与下部分的面积比R是指目标所在的矩形区域的上半部分面积与下半部分面积之比；其中，所述上半部分面积指区域中心点y坐标以上的所有像素值为1的点的个数，下半部分面积指区域中心点y坐标以下的所有像素值为1的点的个数。

所述每帧分类是根据区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征，通过概率分类法进行每帧分类，以获得目标的历史分类信息。

所述整体分类是根据目标的历史分类信息进行分类，以判定目标的类型。

其中，所述概率分类法是指：分别按照人、人群、车、车群、小动物类型，赋予区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征等特征不同的权值；然后分别计算人、人群、车、车群、小动物等类型的特征概率值，并选择概率值最大的那一类型为目标的当前帧分类信息。

其中，利用概率分类法通过如下公式(P_T)计算整体特征概率P_T：

P_T＝A_ap*a_p+A_bp*b_p+A_θp*θ_p+A_ρp*ρ_p+A_Fp*F_p+A_Ap*A_p+A_Rp*R_p+A_Vp*V_p

其中，a_p表示区域轮廓拟合椭圆的长轴a的概率，b_p表示区域轮廓拟合椭圆的短轴b的概率，θ_p表示拟合短轴与水平方向夹角θ的概率，ρ_p表示区域轮廓的类圆性ρ的概率，F_p表示区域的紧集度F的概率，A_p表示区域的面积A的概率，R_p表示区域的上部分与下部分的面积比的概率R，V_p表示目标的运动速度v的概率。A_ap、A_bp、A_θp、A_ρp、A_Fp、A_Ap、A_Rp、A_Vp分别为a_p、b_p、θ_p、ρ_p、F_p、A_p、R_p、V_p对应的权值系数。

当

时，将该帧目标被分类为人，否则将该帧目标被分类为车，其中，人的类型的整体特征概率为P_T ¹，车的类型的整体特征概率为P_T ²。

所述人的类型的整体特征概率P_T ¹由下列条件通过公式(P_T)计算得到：

当a在阈值T_pa内时，a_p取1，否则a_p取0；

当b在阈值T_pb内时，b_p取1，否则b_p取0；

当θ在阈值T_pθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_pρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_pF内时，F_p取1，否则F_p取0；

当A在阈值T_pA内时，A_p取1，否则A_p取0；

当R在阈值T_pR内时，R_p取1，否则R_p取0；

当v在阈值T_pV内时，V_p取1，否则V_p取0。

所述车的类型的的整体特征概率P_T ²由下列条件通过公式(P_T)计算得到：

当a在阈值T_ba内时，a_p取1，否则a_p取0；

当b在阈值T_bb内时，b_p取1，否则b_p取0；

当θ在阈值T_bθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_bρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_bF内时，F_p取1，否则F_p取0；

当A在阈值T_bA内时，A_p取1，否则A_p取0；

当R在阈值T_bR内时，R_p取1，否则R_p取0；

当v在阈值T_bV内时，V_p取1，否则V_p取0。

所述历史分类信息是指统计每帧目标的分类信息；若目标在历史分类信息中分类为车的个数累加的总和为NUM1，在历史分类信息中分类为人的个数累加的总和为NUM2，若NUM1＞NUM2，则判定该目标类型为车；否则，判定该目标类型为人。

根据本发明的另一方面，本发明还提供了一种运动目标识别系统，所述运动目标识别系统包括：

检测目标模块，用于从视频图像中提取感兴趣的区域；跟踪目标模块，用于建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；和分类目标模块，用于通过区域分类法和目标分类法对区域和目标进行分类。

其中，所述检测目标模块包括：获取视频模块，用于获取视频内容以得到场景图像，并建立背景模型；预处理图像模块，用于消除场景图像对背景模型的影响；标记区域模块，用于根据背景模型对场景图像进行前景分割，并标记出连通区域；维护状态模块，用于判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；增强区域模块，用于使用阴影检测、高亮检测和树滤波，剔除阴影、高亮和树叶摆动的虚假区域；和分裂与合并区域模块，用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

其中，所述跟踪目标模块包括：预测目标模块，用于估计目标在下一帧图像中的位置；匹配目标模块，用于跟踪匹配的稳定目标，并滤除虚假目标；和更新目标模块，用于当前帧中稳定目标的模板更新。

其中，所述分类目标模块包括：提取特征模块，用于提取目标的空间特征和时间特征；和判定类型模块，用于判定目标的类型。

本发明所提供的运动目标识别方法，具有以下优点和特点：

1)本发明的检测目标可以准确检测场景图像中的运动目标，包括人、车，同时可以忽略图像抖动、摆动的树、亮度变化、阴影、雨、雪等干扰因素的影响。2)本发明的跟踪目标实现了复杂背景下多目标的准确跟踪，解决了遮挡、树叶摆动等问题，并且运算简便，具有很强的实用性。3)本发明的分类目标是基于物理空间上的，满足摄像机的标定，能够直接接入视频监控系统中，完成自动分类功能。特别地，运动目标分类方法能够实现人群与车的准确分类。4)本发明的运动目标识别方法能够智能地识别不同目标的性质和类别，可应用于智能视频监控系统中，用以实现目标分类识别、运动目标警戒、运动目标跟踪、PTZ跟踪、自动特写拍摄、目标行为检测、流量检测、拥挤检测、遗留物检测、被盗物检测、烟雾检测和火焰检测等功能。

附图说明

图1为本发明运动目标识别方法的框架示意图；

图2为本发明运动目标识别方法中检测目标的流程示意图；

图3为本发明运动目标识别方法中标记区域的流程示意图；

图4为本发明运动目标识别方法中跟踪目标的流程示意图；

图5为本发明运动目标识别方法中分类目标的流程示意图；

图6为本发明运动目标识别方法中判定类型的流程示意图；

图7为本发明运动目标识别系统的结构示意图；

图8为本发明运动目标识别系统中检测目标模块的结构示意图；

图9为本发明运动目标识别系统中跟踪目标模块的结构示意图；

图10为本发明运动目标识别系统中分类目标模块的结构示意图。

具体实施方式

下面结合具体实施例和附图进一步详细说明。

图1为本发明运动目标识别方法的流程示意图，如图1所示，运动目标识别方法包括：

检测目标10，从视频图像中提取感兴趣的区域；跟踪目标20，建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；分类目标30，通过分类法对区域和目标进行分类，分类法包括区域分类法和目标分类法。

首先，第一步进行检测目标10，从视频图像中提取感兴趣的区域。图2为本发明运动目标识别方法中检测目标的流程示意图，如图2所示，检测目标的流程包括：

获取视频201：获取视频内容以得到场景图像，并建立背景模型；预处理图像202：消除场景图像对背景模型的影响；标记区域203：根据背景模型对场景图像进行前景分割，并标记出连通区域；维护状态204：判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；增强区域205，使用差分图像、边缘图像、区域形状纹理的特征以及跟踪器反馈数据，剔除阴影、高亮和树叶摆动的虚假区域；分裂与合并区域206，使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

首先获取视频201的内容是通过视频获取设备实现，该视频获取设备可以是一个可见光谱、近红外或红外摄像机。所述近红外和红外摄像机允许在无额外光线的弱光下应用。所述建立背景模型最初以第一帧场景图像作为背景模型，之后在维护状态204中进行更新。

然后预处理图像202包括：滤波处理和全局运动补偿。

所述滤波处理是指对图像做噪声过滤、平滑等常规处理，以去除图像中的噪声点。滤波处理可以通过下述文献实现，如：“图像去噪混合滤波方法[J].中国图象图形学报，2005，10(3)”，“自适应中心加权的改进均值滤波算法[J].清华大学学报(自然科学版)，1999，39(9)”。

全局运动补偿是指补偿由于相机轻微摆动而引起的图像全局运动。在全局运动补偿中，运动模型基本上就是反映摄像机的各种运动，包括平移、旋转、变焦等。全局运动补偿的方法是：基于区域块匹配的运动补偿，在图像中画出四个区域块，区域块的长宽在32-64像素之间，要求区域覆盖相对比较固定的背景，比如楼房，或者固定不动的背景。

常规的全局运动补偿的方法如下：假设前景所在的矩形区域大小为m×n，计算该区域周围正负5个像素的区域亮度差IDS，公式如下：

$\mathrm{IDS}=\underset{x=s_x}{\overset{m}{\mathrm{\Σ}}}\underset{y=s_y}{\overset{n}{\mathrm{\Σ}}}(I_{(x,y)}\left(t\right)-I_{(x,y)}(t-1))s_x{s}_y$

其中，s_x表示区域起点x坐标，s_y表示区域起点y坐标，I_(x，y)(t)表示当前帧图像灰度，I_(x，y)(t-1)表示上一帧图像灰度。

这样可得到最小亮度差所对应区域的位置，计算此区域的位置变化量Δx、Δy。同理计算其它四个区域的位置变化量Δx、Δy，最后求出平均的Δx、Δy(即，平均值)。将图像按照Δx、Δy的平均值进行平移得到补偿后的图像。

接着进行区域标记203，图3为本发明运动目标识别方法中标记区域的流程示意图，如图3所示，标记区域的流程具体如下：前景分割213、形态学处理223、连通区域标记233。

前景分割213是指基于背景模型对场景图像进行分割，以得到前景的二值图像。具体地，将场景图像与背景模型对应的像素值相减，如果该结果大于设定的阈值，则记为“1”以表示为前景点；如果小于阈值，则记为“0”以表示为背景点，由此得到前景的二值图像。

形态学处理223通常是指使用数学形态学的方法即通过先腐蚀后膨胀，处理所述的二值图像，以去除面积较小的虚假区域，并填充面积较大的区域。其中，腐蚀参数选的是3×3模板，膨胀参数选的是3×3模板。

连通区域标记233通常是指用连通域的方法标记同一场景中的不同区域，以区别不同的目标区域。连通区域标记方法可以通过四连通域方法或八连通域方法实现。八连/四连通域的连通标记的方法是：首先，对形态学处理223获取的图像施行逐行扫描，找到一个未标记区域的第一点，标记该点；检查该点的八连/四连域点并标记满足连通性要求的，且尚未被标记的点，同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中，不断地从记录种子点的数组中取出一个种子，施行上述的操作，如此循环，直到记录种子点的数组为空，一个连通区域标记结束。接着再标记下一个未标记的区域，直到形态学处理223获取的图像的所有连通区域都被标记。

在标记区域203中，单个区域与单个目标并不是一一对应的。由于遮挡情况，一个区域包含了多个人或者车；由于前景与背景相似，一个目标可能被过度分割为多个区域；由于光照的影响，区域中可能包含阴影和高亮区域；由于一些非感兴趣的运动，如树叶摆动和水波荡漾等，也会产生虚假的前景区域。这些问题都是背景模型方法所固有的，需要在后续步骤中加以解决。

图2中维护状态204包括：状态判定和异常检测。

状态判定是指判定检测目标模块当前所处的状态，并做出相应处理。判定检测目标模块当前所处的状态主要是通过场景稳定时间、场景改变时间来判定的。当场景稳定时间超过阈值1，系统由初始化状态进入工作状态；当场景改变时间超过阈值2，系统由工作状态进入初始化状态。其中，所述阈值1优选为0.5～2秒之间，所述阈值2优选为5～20秒之间。

当处于所述工作状态时，继续执行下一操作，背景模型不变。当处于所述初始化状态时，重新建立背景模型，并在必要时做出异常检测。所述重新建立背景模型期间，可以通过帧间差分法进行区域检测实现。帧间差分法是通过两帧图像进行相减取绝对值实现的。

异常检测，是在必要时包括视频信号干扰严重，有人为的遮挡相机等情况执行。根据两次背景的边缘匹配值及背景初始化成功的最短时间判断。若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4，则认为是异常现象。其中所述阈值3优选为30～50之间。所述阈值4优选为6～20秒之间。

图2中增强区域205，用于使用差分图像、边缘图像、区域形状纹理的特征以及跟踪器反馈数据，剔除阴影、高亮和树叶摆动的虚假区域。增强区域包括：阴影检测、高亮检测、树滤波。

阴影检测用于检测前景图像中的阴影区域，包括人、车的阴影，并将检测到的阴影区域滤除。所述阴影检测是针对每个连通区域，分别计算该连通区域内的像素值的均值，并将该均值作为阈值，判定该区域的阴影区域，然后将阴影区域滤除。阴影判定规则如下：若像素值小于所述阈值，则判定为阴影。

高亮检测用于检测图像是否处于高亮状态(高亮状态即指图像中的像素值普遍过高)，若是则进行亮度补偿。亮度补偿通过亮度均衡实现，使得图像的像素值的均值为128。

树滤波用于检测图像中的摆动的树叶及其阴影，并将其从前景图像中滤除。

检测摆动树叶是根据以下两个特征之一判定实现的：(1)运动轨迹跟踪，当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时，则认为该目标是摆动树叶；例如目标有10个轨迹点，这些轨迹点中只有一次对应的区域是运动的，则把此目标视为摆动树叶，将该目标滤除。(2)质心运动的振幅，若某一目标的质心运动的振幅是突变的，则认为该目标是摆动树叶，即当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6倍时，则认为该目标是摆动的树叶，将该目标滤除。其中，所述阈值5优选为5％～15％之间，所述阈值6优选为1.5～2.5之间。

摆动树叶阴影的检测是通过检测区域内点的密集度来实现的，检测摆动树叶阴影的方法是：分别统计膨胀操作前后区域内的点的个数(即该区域内膨胀操作前后像素值为“1”的点的个数)，并计算它们的比值，若该比值小于阈值7，则认为该区域是摆动树叶阴影的区域，并将该区域滤除。其中，所述阈值7优选为40％～60％之间。

图2中分裂与合并区域206是使用背景模型提供的约束以及人和车模型等先验知识对区域进行合并和分裂处理，以解决目标过于分割和目标相互遮挡问题。所述分裂与合并区域的方法是基于上述增强区域205处理过程，判定相邻两区域是同一目标区域，还是不同目标区域。若属于同一目标区域，则将这两个区域合并；否则，将其分裂。其中，相邻两区域是指区域边缘距离小于阈值8的区域，同一个区域指标记号一致的区域，不同目标区域指标记号不一致的区域。其中，所述阈值8优选为3～7个像素之间。

第二步进行跟踪目标20，以建立帧与帧之间所提取区域之间的关联性和一致性，形成目标。图4为本发明运动目标识别方法中跟踪目标的流程示意图，如图4所示，跟踪目标的流程包括：

预测目标401，用于估计目标的下一帧运动；匹配目标402，用于跟踪匹配的稳定目标，并滤除虚假目标；更新目标403，用于当前帧中稳定目标的模板更新。

预测目标401的方法是：根据目标运动的累加位移及其相应的累加时间，计算该目标运动的平均速度，并根据该速度预测目标的下一次位移。其中，所述累加位移就是目标运动的位移的累加和，累加时间就是目标运动的时间的累加和。所述累加位移、累加时间及平均运动速度的关系为：v＝s/t

其中，s为目标质心稳定运动多帧后的位移，t为目标运动多帧所需的时间，v为该目标稳定运动的平均速度。通过上述公式便可计算得到平均速度。

根据所述平均速度v预测的下一次位移为：s′＝v·Δt

其中，Δt为预测的目标时间，s′为目标质心稳定运动Δt时间后的位移。通过上述公式便可计算预测到下一次位移。

匹配目标402包括：跟踪匹配的稳定目标；滤除虚假目标。

所述跟踪匹配的稳定目标是判定检测区域与跟踪目标是否匹配。所述匹配的判定条件为：检测区域与目标的匹配系数D的计算公式如下：

D＝Da*A_Da+Db*A_Db+Dc*A_Dc

其中，Da为面积匹配系数，Db为直方图匹配系数，Dc为距离匹配系数。当检测区域与目标的匹配系数D大于阈值9时，则判定该检测区域与目标匹配。A_Da、A_Db、A_Dc分别为Da、Db、Dc对应的权值系数。其中，所述阈值9优选为0.7～0.8之间。

所述A_Da、A_Db、A_Dc的值都在0～1之间，且满足三者的值的和为1。所述A_Da、A_Db、A_Dc的优选值分别为0.2、0.3、0.5。

1)面积匹配系数Da。当检测区域与目标相交的区域的面积大于目标的面积的阈值10时，则认为该检测区域满足面积的匹配，Da取1；否则Da取0。所述阈值10优选为40％～60％之间。

2)直方图匹配系数Db。当检测区域与目标相交的区域的直方图大于目标的直方图的阈值11时，则认为该检测区域满足直方图的匹配，Db取1；否则Db取0。所述阈值11优选为40％～60％之间。

3)距离匹配系数Dc。分两种情况来考虑距离匹配系数Dc，这两种情况即检测区域是运动的还是静止的。若当前帧图像与前一帧图像中检测区域的差分图像中，前景点的个数大于背景点个数的阈值12时，则认为检测区域是运动的，否则认为该检测区域是静止的。当检测区域是运动时，计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若小于目标所在矩形框的对角线长度的阈值13，则认为满足距离的匹配，Dc取1；否则Dc取0。当检测区域是静止时，计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若小于阈值14，则认为满足距离的匹配，Dc取1；否则Dc取0。其中，所述阈值12优选为65％～75％之间。所述阈值13优选为1.5～2之间。所述阈值14优选为8～12个像素之间。

滤除虚假目标是通过目标运动的轨迹分析，以滤除虚假的目标区域。其中，轨迹分析是利用目标轨迹信息(包括平面信息和质心点信息)，统计面积变化的平滑性和质心点变化的平稳性。

其中，统计面积变化的平滑性的方法如下：统计目标轨迹点上面积集合{area₁，area₂，...，area_n}，n表示轨迹点的个数，统计面积均值：

$\stackrel{\‾}{\mathrm{area}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{area}}_i$

统计面积方差： ${\mathrm{area}}_{\mathrm{sd}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{area}}_i-\stackrel{\‾}{\mathrm{area}})}^2$

当时，认为面积变化不平滑，将该目标区域滤除。

统计质心点变化的平稳性的方法是根据正常目标的运动在方向上不会产生经常性突变，统计相邻轨迹点中方向变化的比率，若该比率超过阈值15，则认为质心点变化不平稳，将该目标区域滤除。所述阈值15优选为40％～60％之间。

更新目标403根据目标匹配402后的稳定目标，实时的更新跟踪目标的模型。其中，目标检测10从每帧视频图像中提取感兴趣区域，提供给目标跟踪20做目标跟踪用途，同时目标跟踪20反馈的目标数据辅助步骤中目标检测10的算法操作。

第三步是分类目标，即通过分类法对区域和目标进行分类，分类法包括区域分类法和目标分类法。

图5为本发明运动目标识别方法中分类目标的流程示意图，如图5所示，分类目标30的流程包括：提取特征501，提取目标的空间特征和时间特征；和判定类型502，判定目标的类型。

特征包括空间特征和时间特征两种。所述空间特征包括：区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ、区域轮廓的类圆性ρ、区域的紧集度F、区域的面积A、区域的上部分与下部分的面积比R。

所述拟合短轴与水平方向夹角中的拟合短轴即为所述区域轮廓拟合椭圆的短轴。

所述区域轮廓拟合椭圆就是根据区域轮廓上的数据点，通过计算轮廓上数据点的特征矩阵、特征向量以及特征值来拟合椭圆的参数。假设椭圆几何中心(x₀，y₀)、椭圆长轴倾角θ、椭圆长轴a、椭圆短轴b。确定椭圆长轴倾角θ、椭圆长轴a、椭圆短轴b的步骤如下：

1)计算轮廓点x，y坐标的平均值，公式如下：

${\mathrm{mean}}_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

${\mathrm{mean}}_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i$

x₀＝mean_x，y₀＝mean_y

2)计算轮廓点x，y坐标的方差，协方差，公式如下：

${\mathrm{SD}}_{x^2}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-{\mathrm{mean}}_x)}^2$

${\mathrm{SD}}_{y^2}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-{\mathrm{mean}}_y)}^2$

${\mathrm{SD}}_{\mathrm{xy}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-{\mathrm{mean}}_x)(y_i-{\mathrm{mean}}_y)$

3)计算最大最小特征值，公式如下：

$\mathrm{eigenvalueMax}={\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2}+\sqrt{{({\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2})}^2-4({\mathrm{SD}}_{x^2}\×{\mathrm{SD}}_{y^2}-{{\mathrm{SD}}_{\mathrm{xy}}}^2)}$

$\mathrm{eigenvalueMin}={\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2}-\sqrt{{({\mathrm{SD}}_{x^2}+{\mathrm{SD}}_{y^2})}^2-4({\mathrm{SD}}_{x^2}\×{\mathrm{SD}}_{y^2}-{{\mathrm{SD}}_{\mathrm{xy}}}^2)}$

4)计算长轴、短轴、椭圆倾角，公式如下：

$a=2\sqrt{\mathrm{eigenvalueMax}}$

$b=2\sqrt{\mathrm{eigenvalueMin}}$

$\mathrm{\θ}=a\cos \left(\frac{1}{\sqrt{1+{{\mathrm{SD}}_{\mathrm{xy}}}^2}}\right)$

所述区域轮廓的类圆性ρ是指拟合目标区域的周长与面积的关系，该关系公式为：

$\mathrm{\ρ}=\frac{c^3}{s}$

其中，c为拟合目标区域的周长，s为拟合目标区域的面积，ρ为拟合目标区域的类圆性。由于拟合目标的区域为矩形，因此c为该区域的长加宽的和的2倍的值，s为该区域的长乘以宽的值。

所述区域的紧集度F指的是目标与目标区域的面积比。其中，所述目标是指实际的前景图像，即目标所在的矩形区域里像素值为1的像素点。目标区域是指，该矩形区域中所有的像素点。目标与目标区域的面积比为目标与目标区域内统计的像素个数的比值。

所述区域的上部分与下部分的面积比R为：目标所在的矩形区域上半部分面积与下半部分面积之比。其中，所述上半部分面积指区域中心点y坐标以上的所有像素值为1的点的个数，下半部分面积指区域中心点y坐标以下的所有像素值为1的点的个数。

时间特征包括：目标的速度v，目标的速度v是指目标的速度信息。

图6为本发明运动目标识别方法中类型判定502的流程示意图，如图6所示，判定类型的流程包括：每帧分类601、和整体分类602。

每帧分类601是根据区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征，通过概率分类法进行每帧分类，以获得目标的历史分类信息。

所述概率分类法的方法是：分别按照人、人群、车、车群、小动物等类型，赋予区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征等特征不同的权值；然后分别计算人、人群、车、车群、小动物等类型的特征概率值，并选择概率值最大的那一类型为目标的当前帧分类信息。利用概率分类法计算整体特征概率PT的公式如下：

P_T＝A_ap*a_p+A_bp*b_p+A_θp*θ_p+A_ρp*ρ_p+A_Fp*F_p+A_Ap*A_p+A_Rp*R_p+A_Vp*V_p

其中，a_p表示区域轮廓拟合椭圆的长轴a的概率，b_p表示区域轮廓拟合椭圆的短轴b的概率，θ_p表示拟合短轴与水平方向夹角θ的概率，ρ_p表示区域轮廓的类圆性ρ的概率，F_p表示区域的紧集度F的概率，A_p表示区域的面积A的概率，R_p表示区域的上部分与下部分的面积比的概率R，V_p表示目标的运动速度v的概率。A_ap、A_bp、A_θp、A_ρp、A_Fp、A_Ap、A_Rp、A_Vp分别为a_p、b_p、θ_p、ρ_p、F_p、A_p、R_p、V_p对应的权值系数。

所述权值系数A_ap、A_bp、A_θp、A_ρp、A_Fp、A_Ap、A_Rp、A_Vp的值都在0～1之间，且满足八者的值的和为1。所述权值系数A_ap、A_bp、A_θp、A_ρp、A_Fp、A_Ap、A_Rp、A_Vp的优选值分别为0.2、0.2、0.1、0.1、0.1、0.2、0.1、0.1。

下面以类型人和车为例。

对于类型人，各特征的概率取值如下：

当a在阈值T_pa内时，a_p取1，否则a_p取0；

当b在阈值T_pb内时，b_p取1，否则b_p取0；

当θ在阈值T_pθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_pρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_pF内时，F_p取1，否则F_p取0；

当A在阈值T_pA内时，A_p取1，否则A_p取0；

当R在阈值T_pR内时，R_p取1，否则R_p取0；

当v在阈值T_pV内时，V_p取1，否则V_p取0。

根据上述特征的概率取值，计算属于类型人的整体特征概率P_T ¹。

其中，所述阈值T_pa优选为100～200cm。

所述阈值T_pb优选为40～100cm。

所述阈值T_pθ优选为0°～10°。

所述阈值T_pρ优选为0.5～1。

所述阈值T_pF优选为0.4～0.7。

所述阈值T_pA优选为2000～10000cm²。

所述阈值T_pR优选为0～1。

所述阈值T_pV优选为0～200cm/s。

对于类型车，各特征的概率取值如下：

当a在阈值T_ba内时，a_p取1，否则a_p取0；

当b在阈值T_bb内时，b_p取1，否则b_p取0；

当θ在阈值T_bθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_bρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_bF内时，F_p取1，否则F_p取0；

当A在阈值T_bA内时，A_p取1，否则A_p取0；

当R在阈值T_bR内时，R_p取1，否则R_p取0；

当v在阈值T_bV内时，V_p取1，否则V_p取0。

根据上述特征的概率取值，计算属于类型车的整体特征概率P_T ²。

其中，所述阈值T_ba优选为200～500cm。

所述阈值T_bb优选为70～300cm。

所述阈值T_bθ优选为20°～90°。

所述阈值T_bρ优选为0.1～0.5。

所述阈值T_bF优选为0.7～1。

所述阈值T_bA优选为25000～60000cm²。

所述阈值T_bR优选为0～1。

所述阈值T_bV优选为200～10000cm/s。

当P_T ¹＞P_T ²时，将该帧目标被分类为人，否则将该帧目标被分类为车。

所述历史分类信息是指统计每帧目标的分类信息。

整体类型602是根据目标的历史分类信息进行分类，以判定目标的类型。其方法是：根据目标的历史分类信息中分类的累加数(即统计目标在历史分类信息中的每一分类型的个数累加的总和)判定目标类型。例如，若目标在历史分类信息中分类为车的个数累加的总和为NUM1，在历史分类信息中分类为人的个数累加的总和为NUM2，若NUM1＞NUM2，则判定该目标类型为车；否则，判定该目标类型为人。

图7为本发明运动目标识别系统的结构示意图，如图7所示。运动目标识别系统包括检测目标模块71、跟踪目标模块72和分类目标模块73。其中，检测目标模块71，用于从视频图像中提取感兴趣的区域，跟踪目标模块72，用于建立帧与帧之间所提取区域之间的关联性和一致性，形成目标，分类目标模块73，用于通过区域分类法和目标分类法对区域和目标进行分类。

图8为本发明运动目标识别系统中检测目标模块的结构示意图，如图8所示，检测目标模块71包括获取视频模块711、预处理图像模块712、标记区域模块713、维护状态模块714、增强区域模块715和分裂与合并区域模块716。其中，获取视频模块711，用于获取视频内容以得到场景图像，并建立背景模型；预处理图像模块712，用于消除场景图像对背景模型的影响；标记区域模块713，用于根据背景模型对场景图像进行前景分割，并标记出连通区域；维护状态模块714，用于判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；增强区域模块715，用于使用阴影检测、高亮检测和树滤波，剔除阴影、高亮和树叶摆动的虚假区域；和分裂与合并区域模块716，用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

图9为本发明运动目标识别系统中跟踪目标模块的结构示意图，如图9所示，跟踪目标模块72包括预测目标模块721、匹配目标模块722和更新目标模块723。其中，预测目标模块721，用于估计目标在下一帧图像中的位置；匹配目标模块722，用于跟踪匹配的稳定目标，并滤除虚假目标；和更新目标模块723，用于当前帧中稳定目标的模板更新。

图10为本发明运动目标识别系统中分类目标模块的结构示意图，如图10所示。分类目标模块73包括提取特征模块731和判定类型模块732。其中，提取特征模块731，用于提取目标的空间特征和时间特征；和判定类型模块732，用于判定目标的类型。

下面介绍按照本发明的运动目标识别方法的各种功能及应用。

1、运动目标检测

本发明的目标检测可以准确检测场景图像中的运动目标，包括人、车，同时可以忽略图像抖动、摆动的树、亮度变化、阴影、雨、雪等干扰因素的影响。

2、运动目标跟踪

本发明的目标跟踪实现了复杂背景下多目标的准确跟踪，解决了遮挡、树叶摆动等问题，并且运算简便，具有很强的实用性。

3、运动目标分类

本发明的目标分类是基于物理空间上的，满足摄像机的标定，能够直接接入视频监控系统中，完成自动分类功能。

特别地，运动目标分类方法能够实现人群与车的准确分类。

4、运动目标识别

本发明的运动目标识别方法能够智能地识别不同目标的性质和类别。

运动目标识别方法可应用于智能视频监控系统中，用以实现目标分类识别、运动目标警戒、运动目标跟踪、PTZ跟踪、自动特写拍摄、目标行为检测、流量检测、拥挤检测、遗留物检测、被盗物检测、烟雾检测和火焰检测等功能。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (22)

1.一种运动目标识别方法，其特征在于，所述运动目标识别方法包括如下步骤：

(1)检测目标，从视频图像中提取感兴趣的区域；

(2)跟踪目标，建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；和

(3)分类目标，通过分类法对所述区域和所述目标进行分类，分类法包括区域分类法和目标分类法。

2.根据权利要求1所述的方法，其特征在于，所述检测目标包括如下步骤：

获取视频，获取视频内容以得到场景图像，并建立背景模型；

预处理图像，消除场景图像对背景模型的影响；

标记区域，根据背景模型对场景图像进行前景分割，并标记出连通区域；

维护状态，判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；

增强区域，使用阴影检测、高亮检测和树滤波，剔除阴影、高亮和树叶摆动的虚假区域；

分裂与合并区域，使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

3.根据权利要求2所述的方法，其特征在于，所述预处理图像包括：滤波处理和全局运动补偿；其中，

所述滤波处理包括对图像进行噪声过滤处理、图像平滑处理；

所述全局运动补偿，是补偿由于相机轻微摆动而引起的图像全局运动，在全局运动补偿中，运动模型包括平移、旋转、变焦；

通过下列公式计算前景所在的矩形区域周围正负5个像素的区域亮度差IDS，得到全局运动补偿中图像平移的距离Δx、Δy，公式如下：

$\mathrm{IDS}=\underset{x=s_x}{\overset{m}{\mathrm{\Σ}}}\underset{y=s_y}{\overset{n}{\mathrm{\Σ}}}(I_{(x,y)}\left(t\right)-I_{(x,y)}(t-1))s_x{s}_y$

其中，s_x表示区域起点x坐标，s_y表示区域起点y坐标，I_(x，y)(t)表示当前帧图像灰度，I_(x，y)(t-1)表示上一帧图像灰度；

同理计算其它四个区域的Δx、Δy，最后求出Δx、Δy的平均值；

将图像按照Δx、Δy的平均值进行平移得到补偿后的图像。

4.根据权利要求2所述的方法，其特征在于，所述标记区域包括如下步骤：

前景分割，基于背景模型对场景图像进行分割，以得到前景的二值图像；

形态学处理，使用数学形态学的方法处理所述的二值图像，以去除面积较小的虚假区域，并填充面积较大的区域；以及

连通区域标记，用连通域的方法标记同一场景中的不同区域，以区别不同的目标区域。

5.根据权利要求2所述的方法，其特征在于，所述维护状态包括状态判定和异常检测；其中，

所述状态判定，是判定检测目标模块当前所处的状态，做出相应处理；当场景稳定时间超过阈值1，系统由初始化状态进入工作状态；当场景改变时间超过阈值2，系统由工作状态进入初始化状态；

所述异常检测，是在视频信号干扰严重，以及有人为的遮挡相机的情况时执行；根据两次背景的边缘匹配值及背景初始化成功的最短时间判断，若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4，则认为是异常现象。

6.根据权利要求2所述的方法，其特征在于，所述增强区域包括：阴影检测、高亮检测、树滤波；其中，

阴影检测，针对每个连通区域，分别计算该连通区域内的像素值的均值，并将该均值作为阈值，判定该区域的阴影区域，然后将阴影区域滤除，若像素值小于所述阈值，则判定为阴影；

高亮检测，检测图像是否处于高亮状态，若是，则进行亮度补偿，亮度补偿使得图像的像素值的均值为128；

树滤波，检测图像中的摆动树叶和摆动树叶阴影，并将其从前景图像中滤除；其中：

检测摆动树叶是根据以下两个特征之一判定实现的：(1)运动轨迹跟踪，当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时，则认为该目标是摆动树叶；(2)质心运动的振幅，当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时，则认为该目标是摆动树叶；

检测摆动树叶阴影的方法是：分别统计膨胀操作前后该区域内膨胀操作前后像素值为“1”的点的个数，并计算它们的比值，若该比值小于阈值7，则认为该区域是摆动树叶阴影的区域。

7.根据权利要求2所述的方法，其特征在于，所述分裂与合并区域是基于所述增强区域的处理过程，判定相邻两区域是否是同一目标区域；若属于同一目标区域，则将这两个区域合并；否则，将其分裂；其中，相邻两区域是指区域边缘距离小于阈值8的区域。

8.根据权利要求1所述的方法，其特征在于，所述跟踪目标包括如下步骤：

预测目标，估计目标的下一帧运动；

匹配目标，跟踪匹配的稳定目标，并滤除虚假目标；

更新目标，更新当前帧中稳定目标的模板。

9.根据权利要求8所述的方法，其特征在于，所述预测目标是根据目标运动的累加位移及其相应的累加时间，计算该目标运动的平均速度，并根据该速度预测目标的下一次位移；其中，

所述累加位移、累加时间及平均运动速度的关系为：

v＝s/t

其中，s为目标质心稳定运动多帧后的位移，t为目标运动多帧所需的时间，v为该目标稳定运动的平均速度；

根据所述平均速度v预测的下一次位移为：

s′＝v·Δt

其中，Δt为预测的目标时间，s′为目标质心稳定运动Δt时间后的位移。

10.根据权利要求8所述的方法，其特征在于，所述匹配目标包括：跟踪匹配的稳定目标和滤除虚假目标；其中，

所述跟踪匹配的稳定目标是判定检测区域与跟踪目标是否匹配，所述匹配根据下述公式中检测区域与目标的匹配系数D来判定：

D＝Da*A_Da+Db*A_Db+Dc*A_Dc

其中，Da为面积匹配系数，Db为直方图匹配系数，Dc为距离匹配系数。A_Da、A_Db、A_Dc分别为Da、Db、Dc对应的权值系数；当检测区域与目标的匹配系数D大于阈值9时，则判定该检测区域与目标匹配；

滤除虚假目标是通过目标运动的轨迹分析，以滤除虚假的目标区域；其中，轨迹分析是利用目标轨迹信息，统计面积变化的平滑性和质心点变化的平稳性。

11.根据权利要求10所述的方法，其特征在于，

面积匹配系数Da，是当检测区域与目标相交的区域的面积大于目标的面积的阈值10时，则认为该检测区域满足面积的匹配，Da取1；否则Da取0；

直方图匹配系数Db，是当检测区域与目标相交的区域的直方图大于目标的直方图的阈值11时，则认为该检测区域满足直方图的匹配，Db取1；否则Db取0；

距离匹配系数Dc，根据检测区域是运动的还是静止的两种情况来考虑距离匹配系数Dc；若当前帧图像与前一帧图像中检测区域的差分图像中，前景点的个数大于背景点个数的阈值12时，则认为检测区域是运动的，否则认为该检测区域是静止的；

当检测区域是运动时，计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若该距离小于目标所在矩形框的对角线长度的阈值13，则认为满足距离的匹配，Dc取1；否则Dc取0；

当检测区域是静止时，计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离，若该距离小于阈值14，则认为满足距离的匹配，Dc取1；否则Dc取0。

12.根据权利要求10所述的方法，其特征在于，所述统计面积变化的平滑性是指统计目标轨迹点上面积集合{area₁，area₂，...，area_n}，n表示轨迹点的个数，统计面积均值：

$\stackrel{\‾}{\mathrm{area}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{are}{a}_i$

统计面积方差： ${\mathrm{area}}_{\mathrm{sd}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{area}}_i-\stackrel{\‾}{\mathrm{area}})}^2$

当

时，认为面积变化不平滑，将该目标区域滤除；

所述统计质心点变化的平稳性是根据正常目标的运动在方向上不会产生经常性突变，统计相邻轨迹点中方向变化的比率，若该比率超过阈值15，则认为质心点变化不平稳，将该目标区域滤除。

13.根据权利要求1所述的方法，其特征在于，所述分类目标包括如下步骤：提取特征，提取目标的空间特征和时间特征；以及判定类型，判定目标的类型；

其中，所述空间特征包括：区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ、区域轮廓的类圆性ρ、区域的紧集度F、区域的面积A、区域的上部分与下部分的面积比R；

所述时间特征为目标的速度v；

所述判定类型包括每帧分类和整体分类。

14.根据权利要求13所述的方法，其特征在于，区域轮廓的类圆性ρ通过如下公式确定：

$\mathrm{\ρ}=\frac{c^3}{s}$

其中，c为拟合目标区域的周长，s为拟合目标区域的面积，ρ为拟合目标区域的类圆性；

区域的紧集度F，是指目标与目标区域的面积比；其中，所述目标是指目标所在的矩形区域里像素值为1的像素点；目标区域是指该矩形区域中所有的像素点；目标与目标区域的面积比为目标与目标区域内统计的像素个数的比值；

区域的上部分与下部分的面积比R，是指目标所在的矩形区域的上半部分面积与下半部分面积之比；其中，所述上半部分面积指区域中心点y坐标以上的所有像素值为1的点的个数，下半部分面积指区域中心点y坐标以下的所有像素值为1的点的个数。

15.根据权利要求13所述的方法，其特征在于，所述每帧分类是根据区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征，通过概率分类法进行每帧分类，以获得目标的历史分类信息；

所述整体分类是根据目标的历史分类信息进行分类，以判定目标的类型。

16.根据权利要求15所述的方法，其特征在于，所述概率分类法是指：分别按照人、人群、车、车群、小动物类型，赋予区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ、区域轮廓的类圆性ρ、区域的紧集度F、区域的面积A、区域的上部分与下部分的面积比R、及目标的速度特征v不同的权值；然后分别计算人、人群、车、车群、小动物类型的特征概率值，并选择概率值最大的那一类型为目标的当前帧分类信息；

其中，利用概率分类法通过如下公式(P_T)计算整体特征概率P_T：

P_T＝A_ap*a_p+A_bp*b_p+A_θp*θ_p+A_ρp*ρ_p+A_Fp*F_p+A_Ap*A_p+A_Rp*R_p+A_Vp*V_p

其中，a_p表示区域轮廓拟合椭圆的长轴a的概率，b_p表示区域轮廓拟合椭圆的短轴b的概率，θ_p表示拟合短轴与水平方向夹角θ的概率，ρ_p表示区域轮廓的类圆性ρ的概率，F_p表示区域的紧集度F的概率，A_p表示区域的面积A的概率，R_p表示区域的上与下部分面积比的概率R，V_p表示目标的运动速度v的概率。A_ap、A_bp、A_θp、A_ρp、A_Fp、A_Ap、A_Rp、A_Vp分别为a_p、b_p、θ_p、ρ_p、F_p、F_p、R_p、V_p对应的权值系数；

当

时，将该帧目标分类为人，否则将该帧目标分类为车，其中，人的类型的整体特征概率为P_T ¹，车的类型的整体特征概率为P_T ²。

17.根据权利要求16所述的方法，其特征在于，所述人的类型的整体特征概率P_T ¹由下列条件通过公式(P_T)计算得到：

当a在阈值T_pa内时，a_p取1，否则a_p取0；

当b在阈值T_pb内时，b_p取1，否则b_p取0；

当θ在阈值T_pθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_pρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_pF内时，F_p取1，否则F_p取0；

当A在阈值T_pA内时，A_p取1，否则A_p取0；

当R在阈值T_pR内时，R_p取1，否则R_p取0；

当v在阈值T_pV内时，V_p取1，否则V_p取0；

所述车的类型的的整体特征概率P_T ²由下列条件通过公式(P_T)计算得到：

当a在阈值T_ba内时，a_p取1，否则a_p取0；

当b在阈值T_bb内时，b_p取1，否则b_p取0；

当θ在阈值T_bθ内时，θ_p取1，否则θ_p取0；

当ρ在阈值T_bρ内时，ρ_p取1，否则ρ_p取0；

当F在阈值T_bF内时，F_p取1，否则F_p取0；

当A在阈值T_bA内时，A_p取1，否则A_p取0；

当R在阈值T_bR内时，R_p取1，否则R_p取0；

当v在阈值T_bV内时，V_p取1，否则V_p取0。

18.根据权利要求15所述的方法，其特征在于，所述历史分类信息是指统计每帧目标的分类信息；若目标在历史分类信息中分类为车的个数累加的总和为NUM1，在历史分类信息中分类为人的个数累加的总和为NUM2，若NUM1＞NUM2，则判定该目标类型为车；否则，判定该目标类型为人。

19.一种运动目标识别系统，其特征在于，所述运动目标识别系统包括：

检测目标模块，用于从视频图像中提取感兴趣的区域；

跟踪目标模块，用于建立帧与帧之间所提取区域之间的关联性和一致性，形成目标；和

分类目标模块，用于通过区域分类法和目标分类法对所述区域和所述目标进行分类。

20.根据权利要求19所述的运动目标识别系统，其特征在于，所述检测目标模块包括：

获取视频模块，用于获取视频内容以得到场景图像，并建立背景模型；

预处理图像模块，用于消除场景图像对背景模型的影响；

标记区域模块，用于根据背景模型对场景图像进行前景分割，并标记出连通区域；

维护状态模块，用于判定检测目标模块当前所处的状态，做出相应处理，并且在必要时做异常检测；

增强区域模块，用于使用差分图像、边缘图像、区域形状纹理的特征以及跟踪器反馈数据，剔除阴影、高亮和树叶摆动的虚假区域；和

分裂与合并区域模块，用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理，以解决目标过分割和目标相互遮挡问题。

21.根据权利要求19所述的运动目标识别系统，其特征在于，所述跟踪目标模块包括：

预测目标模块，用于估计目标在下一帧图像中的位置；

匹配目标模块，用于跟踪匹配的稳定目标，并滤除虚假目标；和

更新目标模块，用于当前帧中稳定目标的模板更新。

22.根据权利要求19所述的运动目标识别系统，其特征在于，所述分类目标模块包括：

提取特征模块，用于提取目标的空间特征和时间特征；和

判定类型模块，用于判定目标的类型。

Images