CN101231755B - 运动目标跟踪及数量统计方法 - Google Patents

Abstract

本发明公开一种运动目标跟踪及数量统计方法，包括以下步骤：a.不断获取包含运动目标的视频图像；b.获取当前帧视频图像，对当前帧视频图像进行预处理；c.对预处理后的图像进行目标区域分割，提取出目标区域；d.对步骤c中获得的当前帧中的目标区域与上一帧之间进行基于在线特征选择的目标区域匹配，建立匹配跟踪链；以及e.根据所述匹配跟踪链记录的目标区域轨迹，确定每一跟踪链所对应的目标数量。本发明可解决一般应用场合中由于光照在空间上分布极不均衡、在时间上变化复杂和运动目标通行过程中姿态变化显著等恶劣环境而造成的数量统计结果精度低的问题。

Description

运动目标跟踪及数量统计方法

技术领域

本发明涉及一种运动目标跟踪及数量统计方法，尤其涉及基于图像识别技术的运动目标跟踪及数量统计方法。

背景技术

商场、博物馆、展览馆、体育馆等公共建筑出入口、自动扶梯和建筑物走廊等长通道通行口、客运车辆乘客上下门等场所常常需要统计在某一时间点或时间段内人员进入和离开的数量，以此统计数据为依据优化运营和提高管理水平。以光电技术为主的人数统计方法由于统计精度低、不能保存可供事后人眼清点评判的图像而不能广泛被用户接受。

近年来，出现了一些采用图像识别技术为主进行人数统计的研究，这些系统一般均假设摄像机工作场景中背景基本恒定、光照在长时间内基本恒定、光照在空间中分布基本均衡、人员的出现与否对摄像机工作光照无显著影响、人员主动呈现出某些单一的特征、摄像机视野范围中人体姿态基本无显著变化等。

例如武汉科技大学信息科学与工程学院的付晓薇在其硕士学位论文“一种基于动态图像的多目标识别计数方法”中公布了一种应用于商场客流量的图像统计系统。其系统流程框图如图1所示，包括获取动态图像11、运动检测12、目标分类与特征提取13、多目标跟踪14、目标计数15等步骤。该系统采用帧间差、背景差和自适应阈值方法分割运动目标区域，采用图像滤波、图像分割、形态学处理和统计特征提取人体头部区域，采用特征跟踪方法对多目标进行跟踪计数。论文作者所从事的研究主题是商场的客流量统计，但是论文作者仅仅在自己实验室模拟了一类简单的人员通行情况，实验室简单的人员模拟通行情况与商场出入口人员进出复杂情况存在显著的差异，该论文公布的多目标识别计数方法仅仅能完成实验室模拟场景下的多目标识别计数，而难以完成实际应用条件下的商场客流量统计工作，更不用说该方法并没有考虑光照在空间上分布极不均衡、在时间上变化复杂、人员通行过程中姿态变化显著等一般场合下的出入口人数统计问题。在光照在空间上分布极不均衡、在时间上变化复杂的情况下，不但目标与背景之间存在显著差异，背景与背景之间也存在显著的差异，采用该论文公布的方法难以此类复杂情况下的运动区域检测。在类似乘客上车或下车的许多应用场合中，人员通行过程中姿态变化显著，人体的头部常常被遮挡，简单的提取人体头部特征方法常常不能区分某区域中是否存在人体。由于光照变化非常剧烈，特征变化显著，单一的特征跟踪方法难以正确跟踪多目标。

大连海事大学信号与图像处理研究所的田京雷在2005年全国图象图形学学术会议上公布了“基于视频的客流计数系统的研究”论文(《第十二届全国图象图形学学术会议论文集》，作者：章毓晋，ISBN：7302119309)，论文讨论了基于视频的客流计数系统，其系统工作流程如图2所示，包括视频捕获21、运动分割22、目标识别23、目标跟踪24、计数25等步骤。该论文采用图像帧差方法完成运动分割22；采用运动区域的面积、长度和宽度等参数通过模糊C-均值(FCM)聚类方法完成目标识别23；采用形心方法完成目标跟踪24；根据前后两帧中心点的位置，判断运动目标是否越过预先设置的两条计数线来对人体计数25。该论文公布的方法在运动目标的提取方法上与前述学位论文公布的方法类似，均是采用简单的帧间差方法，所不同的是由两帧差该为三帧差，所以在光照在空间上分布极不均衡、在时间上变化复杂的情况下不能正确的完成人体区域的检测工作。该系统讨论的只是室内通道中的简单情况，而没有考虑摄像机工作区域跨越室内外的光照在空间上分布极不均衡、在时间上变化复杂、人员通行过程中姿态变化显著等一般应用场合下出入口中存在的复杂问题。

类似的，其它已经公布的基于图像识别的人数统计系统，其工作原理、基本假设和实现方法也和以上两篇论文公布的方法类似，不能解决在光照在空间上分布极不均衡、在时间上变化复杂和人员通行过程中姿态变化显著等一般应用场合下的出入口人数统计问题。

发明内容

本发明提供一种运动目标跟踪及数量统计方法，旨在解决一般应用场合中由于光照在空间上分布极不均衡、在时间上变化复杂和运动目标(人体或其他物体)通行过程中姿态变化显著等恶劣环境而造成的数量统计结果精度低这一问题。本发明所涉及的数量统计不仅包括统计通过指定区域的目标数量，还包括区分通过指定区域的每一个目标是进入还是离开。

本发明为解决上述技术问题而采用的技术方案是提供一种运动目标跟踪及数量统计方法，包括以下步骤：

a.不断获取包含运动目标的视频图像；

b.获取当前帧视频图像，对当前帧视频图像进行预处理；

c.对预处理后的图像进行目标区域分割，提取出目标区域；

d.对步骤c中获得的当前帧中的目标区域与上一帧之间进行基于在线特征选择的目标区域匹配，建立匹配跟踪链；以及

e.根据所述匹配跟踪链记录的目标区域轨迹，确定每一跟踪链所对应的目标数量。

上述的运动目标跟踪及数量统计方法还包括步骤f.对于每一帧从步骤a获取视频图像，对其执行步骤b～步骤e，并累计每一跟踪链所对应目标数量。

上述的运动目标跟踪及数量统计方法中，所述步骤c中的目标区域分割步骤包括：

c1、将预处理后的图像分割成相对独立的多个第一区域；

c2、计算每个第一区域的运动信息；

c3、根据所述运动信息确定并提取运动区域；

c4、验证各运动区域是否为目标区域；以及

c5、提取通过验证的目标区域。

其中步骤c1进一步包括：

c11、将所述图像分割成多个第二区域；

c12、计算各第二区域的运动信息；

c13、计算各第二区域的描述属性信息；

c14、根据各第二区域之间的空间位置关系和所述描述属性信息创建区域邻接图；以及

c15、根据所述描述属性信息及所述区域邻接图将各第二区域合并为所述第一区域。

在步骤c11中，将所述图像分割为多个第二区域的方法包括分水岭分割法或种子点区域生长法。

在步骤c11中，每个第二区域的内部像素具有一致的像素属性，像素属性包括颜色、梯度强度、是否属于边缘点以及边界响应强度。

在步骤c12中，所述第二区域的运动信息包括第二区域的运动矢量和边界像素点运动概率值。

在步骤c13中，所述描述属性信息包括：

用以描述每个第二区域内部属性的第一类属性，包括颜色分布属性、灰度分布属性和运动信息属性；

用以描述任意空间位置上相邻的两个第二区域之间差异的第二类属性，包括第二区域之间的灰度均值差异属性、颜色均值差异属性和运动矢量差异属性；

用以描述任意空间位置上相邻的两个第二区域之间的共同边界特性的第三类属性，包括梯度强度属性、边缘点数量和共同边界点运动概率属性。

在步骤c14中，创建区域邻接图的步骤进一步包括：

以一结点来表示每个第二区域，在结点中存储所述第一类属性信息；

在空间位置上相邻的两个第二区域所对应的结点间创建一条双向连接弧，双向连接弧中存储所述第二类和第三类属性信息；

获得包含多个结点和连接结点的双向连接弧的区域邻接图。

在步骤c15中，将各第二区域合并为所述第一区域的步骤包括：

以第二类、第三类属性信息相似度达到预先指定值为约束条件，按第一类属性信息相似度由大至小的顺序渐次合并各第二区域，直到其第一类属性信息相似度小于预先指定的值；

以第一类、第三类属性信息相似度达到预先指定值为约束条件，按第二类属性信息相似度由大至小的顺序渐次合并第二区域，直到其第二类属性信息相似度小于预先指定的值；以及

以第一类、第二类属性信息相似度达到预先指定值为约束条件，按第三类属性信息相似度由大至小的顺序渐次合并第二区域，直到其第三类属性信息相似度小于预先指定的值。

上述的运动目标跟踪及数量统计方法中，步骤c4中验证各运动区域是否为目标区域的步骤采用的是弹性匹配法，其中所述的弹性匹配法包括：

训练阶段步骤：选择一组数量为TrainSum的包含目标区域的图像区域作为训练图像集，采用二维数组Accm[x][y]来描述训练图像集，数组中的x和y分别是训练图像集中像素点的横坐标和纵坐标，对于每个训练图像中的每个点P(x，y)，如果其在目标区域内部，则二维数组Accm对应元素Accm[x][y]的值增加1；

运动区域分类步骤：为每个运动区域设置一个累加器A，其初始值设置为A＝0，对所有该运动区域内部的每个像素点Q(x，y)，将该像素点所对应的数组元素Accm[x][y]的值加至累加器A，获得一累计值；如果累计值＞TrainSum*S*Threshold，而且运动区域的像素点总数S符合Smin＜S＜Smax，则该区域为目标区域，否则不是目标区域；

其中参数Threshold表示允许将一运动区域认定为目标区域的临界系数，Smin和Smax分别表示目标区域像素点总数的下限和上限。

上述的运动目标跟踪及数量统计方法中，步骤d进一步包括：

d1、建立包含多个目标特征的特征池；

d2、对所述特征池中的至少部分特征，一一计算当前帧中的各目标区域的目标特征与上一帧中各目标区域的目标特征的匹配度；

d3、根据所述匹配度计算当前帧中的各目标区域与上一帧中各目标区域的综合匹配度量值；

d4、在当前帧的目标区域和上一帧中与其综合匹配度量值最大的目标区域之间建立匹配映射关系；以及

d5、根据所述匹配映射关系建立包含当前帧目标区域的匹配跟踪链。

其中在步骤d3中，计算综合匹配度量值的步骤包括：选择当前帧的目标区域与上一帧中的目标区域在所述特征池中匹配程度最高的设定比例的特征，进行加权计算，获得所述两个目标区域之间的综合匹配度量值。

其中在步骤d5中，建立匹配跟踪链的步骤包括：

根据步骤d4的匹配映射关系找到上一帧对应目标区域的跟踪链，将当前帧的目标区域加入上一帧对应目标区域的跟踪链；以及

若在上一帧找不到对应的跟踪链，则建立新的跟踪链。

在上述的运动目标跟踪及数量统计方法中，步骤e进一步包括：

对于每一条未被计数的跟踪链，根据目标空间位移轨迹和目标尺寸时间变化规律来判断其是否是符合计数的跟踪链；

对每一条已被计数的跟踪链，验证本跟踪链计数结果的正确性，如果本跟踪链在以前的统计与本次统计结果不符合，则采用本次统计结果，同时修正前面的统计结果，直到所述跟踪链完全离开图像获取区域。

本发明的上述技术方案，对数量统计的应用场合未做任何限制和假设，对一般应用场合中常遇到的光照在空间上分布极不均衡、在时间上变化复杂和运动目标通行过程中姿态变化显著等情况进行了综合考虑。在这种应用条件下，本发明以图像识别技术为核心，解决了一般应用场合中由于光照在空间上分布极不均衡、在时间上变化复杂和目标通行过程中姿态变化显著等恶劣环境而造成的人数统计结果精度低这一问题，经过实际运行测试和数据统计，本发明可以明显提高统计正确率。

附图说明

以下结合附图和具体实施方式进一步说明本发明的特征和优点，其中：

图1是一种基于动态图像的多目标识别计数方法的流程框图；

图2是一种基于视频的客流计数系统的流程框图；

图3是实现本发明的运动目标跟踪及数量统计方法而设计的统计装置结构示意图；

图4是本发明的运动目标跟踪及数量统计方法的流程框图；

图5是图4的目标区域分割步骤的流程框图；

图6是图5所示的小区域分割步骤示意图；

图7是图5所示的创建区域邻接图步骤示意图；

图8是图5所示的区域合并步骤示意图；

图9是图6所示小区域分割图合并后的大区域分割图；

图10是大区域运动矢量计算示意图；

图11是从图9中提取运动区域的示意图；

图12是图4的人体跟踪步骤的流程框图；

图13是根据图12所示流程建立的匹配跟踪链示意图；

图14A是匹配跟踪链分支示意图；

图14B是匹配跟踪链合并示意图。

具体实施方式

请参阅图3所示，为实现本发明的运动目标跟踪及数量统计方法而设计的一统计装置3包括成像单元31、运算处理单元32、图像识别单元33以及人机交互单元34，成像单元31具有摄像机310，其通过视频连接线30连接到运算处理单元32，图像识别单元33一般可以是图像处理软件，储存于运算处理单元32的非易失性存储器(如硬盘)中，并可被运算处理单元32的处理器执行。人机交互单元34可包括人机界面、保存识别结果的数据库、声光报警装置、数据上传装置等。

作为本发明的一个特定实施例，图3所示统计装置3是安装在客运车辆上，用于统计客车出入口的人数。客运车辆是典型的光照在空间上分布极不均衡、在时间上变化复杂和人员通行过程中姿态变化显著的场合。摄像机监视区域跨越室内外，空间光照动态范围大、分布严重不均衡，人员出现前后，背景光照发生非常显著的变化，采用各公开文献的基于背景差或帧间差的运动区域检测方法错误率很高。乘客通过车门上车的姿态随时在发生显著的变化情况，导致被跟踪的特征处于不断的变化之中，各公开文献采用的单一或少量固定特征对人体跟踪的方法错误率也很高。而本发明提出的解决方案，却可以完全克服这两种典型人数统计中的困难问题。

图3所示的成像单元31安装在乘客上下车门内的踏步正中心位置的车顶部，成像单元31垂直向下或略微向车门外倾斜一个小角度向下拍摄乘客上下车的实时图像。运算处理单元32安装在客运车辆的任意隐蔽且方便操作的位置，根据现场安装实施经验，一般安装在驾驶室内。运算处理单元32将成像单元31拍摄的模拟图像转化为数字图像以后，传送至安装在运算处理单元32内的非易失性存储器(如硬盘)上的图像识别单元33，由图像识别单元33进行实时运算。在一个实施例中，按照本发明所提供的图像识别单元33，采用2.0G以上的CPU作为运算处理单元32的运算核心部件，可以达到8-10帧/秒的运算速度。在这种运算速度下，基本上可以确保所有乘客被正确检测并实时跟踪。在客运车辆运动场合中，人机交互单元34一般包括司乘人员查看统计结果的软件界面、保存识别结果的数据库和声光报警装置，人机交互单元34也安装在车内靠近运算处理单元32的位置。

以下详细说明本发明的运动目标跟踪及数量统计方法的各步骤。请先参阅图4所示，本方法包括获取出入口图像41、图像预处理42、目标区域分割43、目标跟踪44、目标计数45以及计数结果输出46。其中获取出入口图像41为如前述的将成像单元31拍摄的图像传送至图像识别单元33。

图像预处理步骤42可包括图像滤波、色彩空间变换(例如由RGB变换为HIS)、计算图像的梯度、计算图像的对比度阈值、图像梯度幅值三值化、图像梯度非极大值抑制、边缘提取、边缘细化和边缘连接等环节。在保证运算高效的前提下，可以采用任意图像滤波方法，本发明先采用3×3模板进行中值滤波，再采用小范围模板的高斯滤波。通过本步骤的处理，每一个像素点具备了以下四种属性：颜色、梯度强度、是否属于边缘点以及边缘响应强度。本步骤还可获得后续处理所需的颜色分布属性、灰度分布属性、梯度强度属性等属性。

目标区域分割步骤的作用是将运动目标(在本实施例中即人体目标，以下均称为人体目标)从图像中分割提取出来。请参阅图5所示，本步骤进一步包括下列步骤：

将图像分割成人眼视觉意义上相对独立的多个大区域(即第一区域)的步骤，通过下列的步骤50～54实现。

步骤50：小区域分割。采用分水岭方法或种子点区域生长法将图像分割为数量较大(例如3000个左右)的小区域(第二区域)。如图6所示。每个小区域的内部像素具备完全一致的像素属性，即颜色、梯度强度、是否属于边缘点以及边界响应强度属性。

步骤51：提取小区域(即第二区域)运动信息，运动信息包括小区域的运动矢量和边界点像素运动概率值两种。小区域Ri的运动矢量由Mv_i(Mv_x，Mv_y)表示，其中Mv_x表示小区域i在水平方向上的位移，Mv_y表示小区域i在垂直方向上的位移。运动矢量Mv_i(Mv_x，Mv_y)计算方法可以是运算高效的任意公知的常用方法，如全搜索、三步法、四步法等，在此不再赘述。边界像素点Bi(x，y)的运动概率值Mp(i)分两种情况计算：如果Bi(x，y)不是物体边缘点，则Mp(i)＝0.0；如果Bi(x，y)是物体边缘点，则Mp(i)值计算方法为：

本帧图像边缘点总数量为T，对本帧每个物体边缘像素点Ei(x，y)(i＝0，1，...，T-1)，在前一帧图像中寻找一个在空间位置上最接近的边缘像素点Ej(x，y)，则每个边缘像素点在水平方向上的位移为Mv_x＝xi-xj，在垂直方向上的位移为Mv_y＝yi-yj，综合水平方向和垂直方向的位移，得到边缘点的位移值：

${\mathrm{Mv}}_i=\sqrt{{{\mathrm{Mv}}_x}^2+{{\mathrm{Mv}}_y}^2}$

对所有T个位移值Mv_i由大至小进行排序，取排在前5％×T位置处的Mv_i(i＝5％×T)值为基准值Mv_Base，每个边缘像素点Ei(x，y)的运动概率值由公式：

$\mathrm{Mp}\left(i\right)=\min (\frac{{\mathrm{Mv}}_i}{\max (\mathrm{Mv}\_\mathrm{Base},1)},1.0),(i=\mathrm{0,1},...,T-1)$ 计算得到。

步骤52：计算小区域描述属性信息。这些属性信息一共分为三类，第一类是描述每个区域内部的三种属性：颜色分布属性、灰度分布属性和运动信息(包括运动矢量和边界点运动概率值)属性；第二类是描述空间位置上相邻的任意两个区域之间差异的三种属性：灰度均值差异属性、颜色均值差异属性和运动矢量差异属性，第三类是描述空间位置上相邻的任意两个区域之间的共同边界特性的三种属性：梯度强度属性、边缘点数量和边界点运动概率属性。实际上，在图像预处理模块42和提取小区域运动信息步骤51中，三类描述属性信息的每一种属性信息均已经计算出来了，在本步骤中，只是进一步将前面计算出来的一些属性归纳提炼为三类描述属性，每类描述属性包括三种属性信息。这些描述属性可以下表简明的表示：

表一

第一类属性	第二类属性	第三类属性
			颜色分布	颜色均值差异	梯度强度
灰度分布	灰度均值差异	边缘点数量
			运动信息	运动矢量差异	边界点运动概率值

步骤53：创建小区域的区域邻接图。在计算好每个小区域的三类属性后，可以根据三类属性和小区域的空间位置关系来创建小区域的区域邻接图。图7示出一个区域邻接图的示意图，每一个如图6所示的由黑色线条所包围的封闭小区域Ri(i＝0，1，2，…)，在图7中用结点Ni来表示，在结点Ni中存储第一类属性信息。如果两个结点Ni和Nj在空间位置上相邻，则创建一条双向连接弧Lij。双向连接弧Lij中存储第二类和第三类属性信息。

步骤54：小区域合并为大区域。该步骤通过融合描述区域属性的三类信息，采用区域合并算法，通过区域邻接图，完成由小区域至大区域的合并工作。不同于已有的基于单一信息的区域合并或单步骤的区域合并算法，本发明的实施例采用的是多步骤多属性信息相融合的区域合并方法，在不同的合并步骤，有针对性的选择若干属性信息为主，其他属性信息为辅的方法。通过在不同合并步骤中的重点强调的属性差异，实现了各种信息在整个合并过程中的均衡利用，避免了任意单一信息的不完善导致的错误分割，具体步骤如下：

第一步：合并第一类属性信息相似的小区域，按第一类属性信息排序，属性信息越接近的先合并(但约束条件是第二类、第三类属性信息的相似度也达到预先指定值)，直到各小区域第一类属性信息相似度小于预先指定值；

第二步：采用与第一步相似的方法，合并第二类属性信息相似的小区域，约束条件是第一类、第三类属性信息的相似度也达到预先指定值；

第三步：采用与第一步相似的方法，合并第三类属性信息相似的小区域，约束条件是第一类、第二类属性信息的相似度达到预先指定的值。

举例来说，对于两个小区域Ri和Rj，如果它们的属性信息分别是Pi(m)和Pj(m)(m＝1，2，3分别代表第一类、第二类和第三类属性信息)，其相似度值|P_i(m)-P_j(m)|越小，属性信息越接近，越应该尽早被合并。

区域合并步骤54通过执行上述步骤完成，需要指出的是，这些步骤的执行顺序并无先后之分而可以是任意的，其他的执行顺序，例如第三步、第二步、第一步是完全可以的。

图8示出小区域到大区域合并的示意图，将图8中上半部的10个表示小区域结点N0～N9，按照上述区域合并步骤，合并为3个表示大区域的新的结点。结点N0 167/M0由结点N0，N1，N6，N7合并得到，结点N2345/M1由结点N2，N3，N4，N5合并得到，结点N89/M2由结点N8和N9合并得到。也就是说，大区域M0由小区域N0，N1，N6，N7合并得到，大区域M1由小区域N2，N3，N4，N5合并得到，大区域M2由小区域N8和N9合并得到。

图9是在一个实际应用中将图6的所示小区域分割图合并后的大区域分割图。对比图6和图9可以看出，图9中的大区域均是由图6中的若干在空间位置上相临的小区域合并而成的。图9中的每一个区域比图6中的每一个区域在描述物体上具有更直观的人眼视觉意义，为下一步提取运动区域奠定了基础。区域合并步骤54完成以后，可达到以下效果：任何人体像素点和非人体像素点均应不在同一个区域中，任何两个不同人体的像素点不在同一个区域中，背景中任何差异显著的两个像素不在同一个区域中，图像分割的区域总数量尽可能的小(一般小于100)。

步骤55：小区域标记映射。在区域合并完成后，将属于同一个大区域的各小区域标记映射为同一个标记。

步骤56：计算每个大区域的运动信息。每个大区域的运动信息包括：区域内部的运动矢量和任意两个相邻区域之间的共同边界的运动概率值。该运动信息可很容易通过步骤51获得的小区域运动信息计算出来。需要指出的是，由k个小区域R(j)(j＝1，..，k)合并为大区域M(i)，其运动矢量等于所有处于大区域外围的小区域的所有运动矢量之平均值(而非大区域中所有小区域的运动矢量之平均值)。例如图10所示，该大区域由R0-R19合并而成，该大区域的运动矢量是处于边界的小区域R11、R13、R14、R15、R16、R17、R18和R19的运动矢量平均值。任何两个大区域M(m)和M(n)之间的边界运动概率值是所有共同边界点的运动概率值之平均。

步骤57：运动区域提取。即区分图像中哪些区域是运动区域，哪些区域是背景区域，从而可以提取出运动区域。本发明可以采用任意能完成全局优化的最小能量求解数学模型来完成运动区域提取工作，例如可采用为解决Markov寻优问题而提出的高置信度优先(HCF)求解方法。请同时参照图9和图11，经过本步骤后，可从图9中提取如图11所示的运动区域A。

步骤58：目标区域验证。即验证运动区域是否是合法的目标区域(在本实施例中即人体区域，以下均称为人体区域)。传统的解决方法是采用简单的形态学与人体目标区域尺寸相结合的方法验证每个区域是否是人体，并确定独立区域可能的人体数量。这种方法对人体通过摄像机区域姿态基本恒定的场合下很有效，但是，在人体姿态变化显著的情况下，则不能完成人体区域的验证。为克服这一问题，本发明采用一种弹性匹配方法来验证运动区域是否是合法的人体区域。下面结合本发明的实施例对其进行说明，在阅读下述说明后实施本步骤，是本领域技术人员的基本能力。

弹性匹配方法包括两个阶段：人体区域训练阶段和运动区域分类阶段。

在训练阶段中，人工选择数量为TrainSum(TrainSum通常大于100)的包含人体区域的一组图像区域作为训练图像集，其中这些人体区域是已经被确定为人体的运动区域。采用二维数组Accm[x][y]来描述这些训练图像集，数组中的x和y分别是训练图像集中像素点的横坐标和纵坐标。对于每个训练图像中的每个点P(x，y)，如果其在人体区域内部，则二维数组Accm[x][y]对应位置Accm[x][y]值增加1。

在运动区域分类阶段中，每个运动区域设置一个累加器A，其初始值设置为A＝0，对所有该运动区域内部的每个像素点Q(x，y)，将该像素点所对应的数组元素Accm[x][y]的值加至累加器A，获得一累计值。如果累计值＞TrainSum*S*Threshold，而且运动区域的像素点总数S符合Smin＜S＜Smax，则该区域为人体区域，否则不是人体区域。其中参数Threshold表示允许将一运动区域认定为人体区域的临界系数，其范围一般在0.8～1.0，Smin和Smax分别表示人体区域像素点总数的下限和上限，这三个参数均是预置的人工调整参数。

步骤59：提取所有验证通过的人体区域，至下一个步骤进行处理。

请回到图4所示，目标跟踪步骤44的作用是对已经提取出来的人体区域，从人体出现到消失的全过程进行跟踪。请参阅图12所示，本步骤主要是对提取出的人体区域进行基于在线特征选择的目标区域匹配，建立匹配跟踪链，本步骤又可由以下五个子步骤组成，依次如下：

步骤61：建立一个包含人体特征的特征池，特征池中可包括部分或全部以下11种特征：人体区域的面积F0、最小外接矩形F1、人体区域的面积与最小外接矩形的面积之比F2、重心坐标C(x，y)F3、运动矢量Mv(Mvx，Mvy)F4、灰度直方图F5、颜色值F6、梯度直方图F7、主轴位置F8、人体区域的对称性F9、人体区域的面积与周长之比F10等。根据实际问题需要，特征池中还可以任意添加其它特征或删减已有的特征。

步骤62：特征匹配。对特征池中的所有人体特征，一一计算当前帧中的各个人体区域的人体特征与上一帧中各个人体区域的人体特征的匹配度；

步骤63：相邻帧人体区域匹配，根据匹配度计算当前帧中的各个人体区域与上一帧中各个人体区域的综合匹配度量值。

在本实施例中，综合匹配度量值可采用以下方法计算：计算特征池中所有特征的距离d_i，特征之间的距离d_i可表征匹配度，距离d_i越小，匹配度越高。将这些d_i按照从小到大排序，选择其中前p％个最小d_i值所对应的特征，这些选择出来的特征依次为F_O ^s，…，F_p ^s，对应的距离依次为d_O ^s，…，d_p ^s，将这些特征的距离按一定的权值加权，权值依次为w_O ^s，…，w_p ^s，则加权距离为

$\stackrel{\‾}{d}=\frac{\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{w}_i^s\×d_i^s}{\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{w}_i^s}$

d越小，两个目标区域的综合匹配度量值越大。其中这些特征的权值w_O ^s，…，w_p ^s是预置的人工调整参数。将本帧的人体区域和上一帧中与其综合匹配度量值最大的人体区域，确定为匹配成功的人体区域对。如果本帧的人体区域和上一帧中与其综合匹配度量值次大的人体区域，在其综合匹配度量值上大于预先给定的人工调整系数C(0.8＜C＜1.0)×最大的综合匹配度量值，也确定为匹配成功的人体区域对。

步骤64：建立匹配映射关系。对于已经匹配成功的人体区域对，创建一个结点来描述本帧人体区域的属性信息，同时创建一条双向连接弧来描述匹配成功的人体区域对之间的对应关系。在某些情况下(例如经过摄像机的人体聚合或分开)，本帧的一个人体区域可能与上一帧中的一个以上人体区域配对成功，或者本帧的一个以上目标区域可能与上一帧中的一个目标区域配对成功。

步骤65：建立匹配跟踪链。匹配映射关系建立好以后，则找到上一帧对应人体区域的跟踪链，本帧的人体区域加入上一帧对应人体区域的跟踪链。如果在上一帧找不到对应的跟踪链，则建立新的跟踪链。图13是一条跟踪链示意图，在图13中，结点N(m)(k)表示本帧图像中新加入的人体区域，m是跟踪链标号，k代表该跟踪链出现了k+1次。N(m)(k)存储特征池中所有特征数据，任何两个相邻结点之间的双向箭头表示这两个结点之间的映射关系，在双向箭头中存储各特征之间的距离d_i和加权距离d。

为配合步骤63中的人体区域一对多或多对一配对，跟踪链允许出现分支，如图14A所示，前帧的跟踪链N(m)(k-1)在本帧分为跟踪链N(m)(k)和N(n)(k)，而如图14b所示，两条或多条前帧的跟踪链N(m)(k-1)和N(n)(k-1)可以在本帧合并为一条跟踪链N(m)(k)。本步骤完成以后，就建立好了多对多映射关系的匹配跟踪链。

请回到图4所示，目标计数步骤45的作用是在目标区域分割步骤43和目标跟踪步骤44的基础上，统计出入口进门和出门的人数。对所有跟踪链，按照跟踪链记录的人体区域历史轨迹，确定从本帧出发的每一条跟踪链所对应的人体数量和每个人体的运动方向。

不同于各公开文献的人体计数方法(其一般是以人体空间位移为唯一基准确定每个人体的运动方向)的是，本发明考虑到摄像机工作区域中人员通行过程中姿态变化显著因素，人体在摄像机工作区域中发生运动不一定全部表现为人体在空间中的位移，在诸如客运车辆乘客上下车、自动扶梯中的人员运动等场合下，如果人还没有行走到踏步，则人体主要表现为在空间中的位移，人体在由水平地面通过踏步的过程中，除了人体在空间中的位移，在图像上还表现为人体区域逐渐由小变大或逐渐由大变小的人体目标尺寸在时间上的变化规律。

本发明采用以下方法解决以上复杂的人体运动过程场合中的人体计数：

对于每一条没有被计数的跟踪链，综合人体空间位移轨迹和人体目标尺寸时间变化规律来判断其是否是符合计数的跟踪链；

对每一条已经被计数的跟踪链，如果出现了分支，则按与前述步骤相同的方法判断其分支链的统计结果；同时，验证本跟踪链计数结果的正确性，如果本跟踪链在以前的统计与本次统计结果不符合，则采用本次统计结果，同时修正前面的统计结果，直到该跟踪链完全离开摄像机工作区域。采用这种方法可以显著提高区分人体运动方向的正确率。

请回到图3、图4所示，图像识别单元13每接收到一帧图像，循环一次上述步骤42～45，不断进行人体区域的提取、人体区域跟踪以及人体的计数，最终输出计数结果(步骤46)，显示在人机界面上。

本发明的上述方案与现有的人数统计方法相比有以下优点：

1.首先，在人体区域提取方面，本发明不依赖于背景在时间轴上基本恒定，运动区域和背景存在显著的差异这些基本假设，而主要利用每一帧图像的帧内信息，首先将整幅图像分割为人眼视觉意义上独立的若干区域，再确定每个区域是否是运动区域，由于本发明方案不在像素级上利用运动信息，而在区域级上利用运动信息，确保了即使在光照在空间上分布极不均衡、在时间上变化复杂，本发明方案也能正确提取出人体区域。

2.本发明的方案对由人体目标对摄像机成像光线的遮挡所产生的阴影不敏感，所以不需要额外的阴影消除方法。各公开文献还需要复杂的阴影消除方法，直接导致在一定程度上降低人数统计结果的精度。

3.在验证运动区域是否是人体区域的方法上，本发明的优势在于：可以在人员通行过程中姿态变化显著场合下，通过弹性匹配方法统计人体组成几何形状进而确定任何运动区域是否是人体。而已经公布的方法基本上采用简单的形态学滤波方法或由人体面积、宽度和高度等简单参数验证运动区域是否是人体区域，不能解决人员通行过程中姿态变化显著场合下的人体验证问题。

4.在人体跟踪方法上，本发明相对于已经公开的方法优势在于：(1)光照在空间上分布极不均衡、在时间上变化复杂情况下，预先假定的单一特征变化显著，在人员通行过程中姿态变化显著情况下，预先假定的单一特征可能消失，导致已经公开的人体特征匹配方法常常失效，而本发明采用一个特征池，通过在线选择特征池中最有效的特征，完全避免了光照在空间上分布极不均衡、在时间上变化复杂和人员通行过程中姿态变化显著所导致的特征匹配失效的可能性。(2)本发明采用建立跟踪链方法，可以克服人员交错交互情况下的人体区域匹配跟踪问题，而已经公布的方法没有采取任何处理人员交错交互情况下的措施。

5.在计数方法上，本发明方案相对于已经公开的人体计数方法，优势在于：各公开文献一般只关注人体区域在水平空间上的位移，忽略了人体区域在图像空间中尺寸大小的变化趋势，在人员通行过程中姿态变化显著情况下，难以区分人体的运动方向。而本发明方案不仅关注人体区域在水平空间上的位移，还关注人体区域在运动过程中在时间上的尺寸大小变化趋势。本发明将这两种信息结合在一起，解决了复杂情况下的人数统计。

按上述实施方法将本系统安装在客运车辆上，经过较长时间的运行测试和大样本数据统计，本发明方案可以达到极高的统计正确率。应当注意的是，只有数量和运动方向均正确，才算正确的统计结果，否则均看作是错误的统计结果。

本发明不仅可以应用在客运车辆统计乘客数量，还可以广泛应用于商场、博物馆、展览馆、体育馆等公共建筑出入口、自动扶梯和建筑物走廊等长通道出入口等常见的应用场合。这些场合的出入口相对于客运车辆上下乘客车门出入口来说，环境光照和乘客姿态等情况要好一些。按照类似客运车辆的实施方案，本发明可以达到比客运车辆更高的统计正确率。此外，本发明也可以应用于非人体目标的数量统计，对于非人体运动目标，其统计步骤与人体相似，即首先获得运动目标视频图像，对其预处理，区域分割，提取运动目标区域，与上一帧视频图像之间建立匹配跟踪链，获得运动目标运动轨迹，确定运动目标的数量，进行统计。

以上的实施例说明仅为本发明的较佳实施例说明，本领域技术人员可依据本发明的上述实施例说明而作出其它种种等效的替换及修改。然而这些依据本发明实施例所作的种种等效替换及修改，属于本发明的发明精神及由权利要求所界定的专利范围内。

Claims (11)

1.一种运动目标跟踪及数量统计方法，该统计方法包括以下步骤：

a．不断获取包含运动目标的视频图像；

b．获取当前帧视频图像，对当前帧视频图像进行预处理；

c．对预处理后的图像进行目标区域分割，提取出目标区域；

d．对步骤c中获得的当前帧中的目标区域与上一帧之间进行基于在线特征选择的目标区域匹配，建立匹配跟踪链；以及

e．根据所述匹配跟踪链记录的目标区域轨迹，确定每一跟踪链所对应的目标数量，其中：对于每一帧从步骤a获取视频图像，对其执行步骤b～步骤e，并累计每一跟踪链所对应目标数量；

所述步骤c中的目标区域分割步骤包括：

c1、将预处理后的图像分割成相对独立的多个第一区域；

c2、计算每个第一区域的运动信息；

c3、根据所述运动信息确定并提取运动区域；

c4、验证各运动区域是否为目标区域；以及

c5、提取通过验证的目标区域,其中,

所述步骤c1中，分割所述图像的步骤包括：

c11、将所述图像分割成多个第二区域；

c12、计算各第二区域的运动信息；

c13、计算各第二区域的描述属性信息；

c14、根据各第二区域之间的空间位置关系和所述描述属性信息创建区域邻接图；以及

c15、根据所述描述属性信息及所述区域邻接图将各第二区域合并为所述第一区域；

所述步骤c13中，所述第二区域的描述属性信息包括：

用以描述每个第二区域内部属性的第一类属性，包括颜色分布属性、灰度分布属性和运动信息属性；

用以描述空间位置上相邻的任意两个第二区域之间差异的第二类属性，包括第二区域之间的灰度均值差异属性、颜色均值差异属性和运动矢量差异属性；

用以描述空间位置上相邻的任意两个第二区域之间的共同边界特性的第三类属性，包括梯度强度属性、边缘点数量和共同边界点运动概率属性。

2.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c11中，将所述图像分割为多个第二区域的方法包括分水岭分割法或种子点区域生长法。

3.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c11中，每个第二区域的内部像素具有一致的像素属性，所述像素属性包括颜色、梯度强度、是否属于边缘点以及边界响应强度。

4.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c12中，所述第二区域的运动信息包括第二区域的运动矢量和边界像素点运动概率值。

5.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c14中，创建区域邻接图的步骤包括：

以一结点来表示每个第二区域，在结点中存储所述第一类属性信息；

在空间位置上相邻的两个第二区域所对应的结点间创建一条双向连接弧，双向连接弧中存储所述第二类和第三类属性信息；

获得包含多个结点和连接结点的双向连接弧的区域邻接图。

6.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c15中，将各第二区域合并为所述第一区域的步骤包括：

以第二类、第三类属性信息相似度达到预先指定值为约束条件，按第一类属性信息相似度由大至小的顺序渐次合并各第二区域，直到其第一类属性信息相似度小于预先指定的值；

以第一类、第三类属性信息相似度达到预先指定值为约束条件，按第二类属性信息相似度由大至小的顺序渐次合并第二区域，直到其第二类属性信息相似度小于预先指定的值；以及

以第一类、第二类属性信息相似度达到预先指定值为约束条件，按第三类属性信息相似度由大至小的顺序渐次合并第二区域，直到其第三类属性信息相似度小于预先指定的值。

7.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤c4中，验证各运动区域是否为目标区域的步骤采用的是弹性匹配法，其中所述的弹性匹配法包括：

训练阶段步骤：选择一组数量为TrainSum的包含目标区域的图像区域作为训练图像集，采用二维数组Accm[x][y]来描述训练图像集，数组中的x和y分别是训练图像集中像素点的横坐标和纵坐标，对于每个训练图像中的每个点P(x,y)，如果其在目标区域内部，则二维数组Accm对应元素Accm[x][y]的值增加1；

运动区域分类步骤：为每个运动区域设置一个累加器A，其初始值设置为A=0，对所有该运动区域内部的每个像素点Q(x,y)，将该像素点所对应的数组元素Accm[x][y]的值加至累加器A，获得一累计值；如果累计值＞TrainSum*S*Threshold，而且运动区域的像素点总数S符合Smin＜S＜Smax，则该区域为目标区域，否则不是目标区域；

其中参数Threshold表示允许将一运动区域认定为目标区域的临界系数，Smin和Smax分别表示目标区域像素点总数的下限和上限。

8.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤d包括：

d1、建立包含多个目标特征的特征池；

d2、对所述特征池中的至少部分特征，一一计算当前帧中的各目标区域的目标特征与上一帧中各目标区域的目标特征的匹配度；

d3、根据所述匹配度计算当前帧中的各目标区域与上一帧中各目标区域的综合匹配度量值；

d4、在当前帧的目标区域和上一帧中与其综合匹配度量值最大的目标区域之间建立匹配映射关系；以及

d5、根据所述匹配映射关系建立包含当前帧目标区域的匹配跟踪链。

9.如权利要求8所述的运动目标跟踪及数量统计方法，其特征在于：所述步骤d3中，计算综合匹配度量值的步骤包括：选择当前帧的目标区域与上一帧中的目标区域在所述特征池中匹配程度最高的设定比例的特征，进行加权计算，获得所述两个目标区域之间的综合匹配度量值。

10.如权利要求8所述的运动目标跟踪及数量统计方法，其特征在于，所述步骤d5中，建立匹配跟踪链的步骤包括：

根据步骤d4的匹配映射关系找到上一帧对应目标区域的跟踪链，将当前帧的目标区域加入上一帧对应目标区域的跟踪链；以及

若在上一帧找不到对应的跟踪链，则建立新的跟踪链。

11.如权利要求1所述的运动目标跟踪及数量统计方法，其特征在于，所述步骤e包括：

对于每一条未被计数的跟踪链，根据目标空间位移轨迹和目标尺寸时间变化规律来判断其是否是符合计数的跟踪链；

对每一条已被计数的跟踪链，验证本跟踪链计数结果的正确性，如果本跟踪链在以前的统计与本次统计结果不符合，则采用本次统计结果，同时修正前面的统计结果，直到所述跟踪链完全离开图像获取区域。

Images