CN104463232A - 一种基于hog特征和颜色直方图特征的密度人群计数的方法 - Google Patents

Abstract

本发明公开了一种基于HOG特征和颜色直方图特征的密度人群计数的方法，包括下述步骤：S1、对采集到的图像区域进行HOG特征的提取，并对产生HOG特征的检测窗口的颜色直方图特征的提取；S2、采用基于HOG特征训练得到第一个SVM分类器，所述第一个SVM分类器用于对检测区域进行预估计，再采用基于颜色直方图特征训练得到第二个SVM分类器，所述第二个SVM分类器用于对预估计后的检测区进行第二次分类；然后通过加权联合两个SVM分类器所得到的结果来确定检测区域是否为人头区域；S3、根据检测出来的人头区域，采用以光流法为基础的区域匹配方法来实现视频中人群的数量统计。本发明提出的基于HOG特征和颜色直方图特征的密度人群计数的方法具有较好的准确性和抗干扰性。

Description

一种基于HOG特征和颜色直方图特征的密度人群计数的方法

技术领域

本发明涉及计算机图像处理和视频监控的研究领域，特别涉及一种基于HOG特征和颜色直方图特征的密度人群计数的方法。

背景技术

随着视频记录设备逐步大众化，数字视频数据正呈爆炸式增长，面对数量如此之多、内容如此丰富的视频，如何对视频监控已成为计算机视频领域急需解决的问题；同时由于统计分析技术和视频处理技术的快速发展，实时智能人群密度监控系统更是成为人们的研究重点。而HOG特征是视频领域中比较常用的处理方式，HOG特征：方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

近些年来交通工具的迅猛发展，人们的出行越来越便利，消费娱乐场所、地铁等地方经常会出现短期人流高峰，人群密度过大很容易造成安全隐患。各种喜庆节日、体育场所发生的踩踏事件屡见不鲜，人群密度的监控能够及时发现人群密度是否超过安全阈值，进而及时采取相应的解决方案，避免意外事件的发生。但是大多数传统的人群密度监控通过人观看实时监控录像来完成，消耗大量人力、物力、财力，并且容易出现错漏；同时随着城市建设，数以百万计的摄像头投入使用，传统的人力监控已难以满足需要。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，本发明对密度人群计数的方法进行了研究，针对目前国内外各种人群计数方法的研究分析，提出了一种基于HOG特征和颜色直方图特征的密度人群计数的方法，从而有效地解决了人工监控带来时间和成本问题，同时也有效地提高了准确率。

为了达到上述目的，本发明采用以下技术方案：

一种基于HOG特征和颜色直方图特征的密度人群计数的方法，包括下述步骤：

S0、通过摄像头采集实时监控数据，并对图像进行预处理；

S1、对预处理后的图像进行HOG特征的提取，再针对生成HOG特征的检测窗口提取其颜色直方图特征；

S2、采用基于HOG特征训练得到第一个SVM分类器，所述第一个SVM分类器用于对检测区域进行预估计，再采用基于颜色直方图特征训练得到第二个SVM分类器，所述第二个SVM分类器用于对预估计后的检测区域进行第二次分类，组合HOG特征和颜色直方图特征进行检测，得到两个SVM分类器的检测结果，然后通过加权联合两个SVM分类器所得到的结果来确定检测区域是否为人头区域；

S3、根据检测出来的人头区域，采用以光流法为基础的区域匹配方法来实现视频中人群的数量统计。

优选的，步骤S2中，组合HOG特征和颜色直方图特征进行检测的具体步骤如下：

S1.1、图像HOG特征的提取，并训练出第一个SVM分类器；

S1.2、在原始图像上对于生成HOG特征的检测窗口的颜色直方图特征进行提取，训练出第二个SVM分类器；

S1.3、对于测试的视频数据，先用第一个SVM分类器进行分类，再用第二个SVM分类器进行二次分类，得到两个SVM分类器的检测结果。

优选的，步骤S1.3中，在进行二次分类时，对第一个SVM分类器分类得到的结果的重叠区域进行合并，其具体步骤为：

S1.3.1对每一个被第一个SVM分类器检测出来的区域，与其它所有的区域进行矩形面积重合度的计算，一个矩形可以由向量r＝(x,y,w,h)表示，x,y,w,h分别是矩阵的左上角纵坐标和矩形的宽高，那么两个矩形区域r_i和r_j是否属于同一个区域D_i可做如下判断：

$|x_j-x_i|\≤\mathrm{\τ}\∩|y_j-y_i|\≤\mathrm{\τ}\⇒r_j\∈D_i,$ 其中r_i∈D_i

其中τ为预设阈值，通过广度优先算法可以把属于同一个区域的矩形区域搜索出来；

S1.3.2、由步骤S1.3.1操作得到的候选窗口划分为m个区域，对每一个区域D_i执行下述计算得到一个矩形区域r_i：

$x_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\Σ}}}{x}_k,y_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\Σ}}}{y}_k,(x_k,y_k,w,h)\∈D_i,k=\mathrm{1,2},...,n_i$

其中n_i为区域集合D_i中的矩形区域数量，由于每个窗口的大小是一样，合并后的矩形区域为r_i＝(x_i,y_i,w,h)。

优选的，步骤S2中，确定检测区域是否为人头区域的具体步骤为：

S2.1、使用同一个样本集训练第一个SVM分类器和第二个SVM分类器，分别对应HOG特征和颜色直方图特征；

S2.2、对已进行预处理的图像使用固定窗口进行检测，将第一个SVM分类器检测得分大于0的区域记录下来；

S2.3、对步骤S2.2记录的区域进行合并，因为通常在人头区域附近的检测窗口都会得到大于0的SVM分类器检测得分，并求得合并后的矩形区域；

S2.4、计算每个重叠区域中检测窗口的SVM分类器检测得分的最大值作为这个区域的SVM分类器检测得分；

S2.5、通过步骤S2.3的合并操作求得代表每个矩形集合的矩形区域以及相应的SVM分类器的检测得分，计算原图像中的每个矩形区域的颜色直方图以及使用第二个SVM分类器进行分类，得到相应的基于颜色直方图特征的SVM分类器的检测得分；

S2.6、线性加权组合步骤S2.5中的两个SVM分类器的检测得分，根据结果，判断检测区域是否为人头区域。

优选的，步骤S2.4中，为了得到SVM分类器的检测结果，针对重叠区域的情况，计算该区域中每个重叠区域的SVM分类器检测得分的最大值作为该区域SVM分类器的检测得分，

S_i＝max s_k,k＝1,2,…,n_i

其中S_i表示区域D_i的SVM分类器的检测得分，s_i表示区域D_i中各个检测窗口的SVM分类器的检测得分，n_i为区域D_i中检测窗口的数量。

优选的，步骤S2.6中，针对每个区域两个SVM分类器的检测得分，采用加权线性组合这两个SVM分类器的检测得分：

f_i＝αw₀S_i+βw₁S_i'

其中S_i是第一个SVM分类器的检测得分，S_i'是第二个SVM分类器的检测得分，w₀是基于HOG特征使用第一个SVM分类器得到结果的权重，w₁是基于颜色直方图特征使用第二个SVM分类器得到结果的权重，α,β是线性组合的系数，满足α+β＝1。

优选的，步骤S3中，采用基于光流法的区域匹配方法统计人群的数量时，存在一直没有与预估区域匹配的目标，则等待N帧后，可视目标已离场；存在在某极少数帧中有匹配的目标，在其余帧中没有与之匹配的目标，则可视为误检。

优选的，步骤S3中，采用基于光流法的区域匹配方法统计人群的数量时，一个预估区域可以表示为r＝(x,y,w,h,v_x,v_y,f,p)，并定义预估区域集合D，其中r_i∈D,i＝1,…,n，速度分量v_x,v_y以更新预估区域的位置，f为当前已等待的帧数，p记录匹配的次数，其具体步骤为：

S3.1、初始化预估区域集合D，D为空集；

S3.2、读入一帧图像，检测所有人头区域，并把当前人头区域作为预估区域添加到集合D，此时每一个预估区域r_i＝(x_i,y_i,w,h,0,0,0,0)；

S3.3、读入下一帧图像，扫描区域D，对于每一个r_i，若是f_i＝0，则由当前帧和上一帧计算其速度分量v_xi,v_yi；

S3.4、检测当前帧所有的人头区域，记为集合D'，对D'中的每一个元素r_i'，寻找与预估区域的匹配：

|x_i'-x_j|≤τ∩|y_i'-y_j|≤τ

r_i＝(x_i',y_i',w,h)∈D',i＝1,…,n₁

r_j＝(x_j,y_j,w,h,v_xj,v_yj,f_j,p_j)∈D,j＝1,…,n₂

其中τ为预设阈值，n₁,n₂分别为集合D'和D的成员数量，若是不等式成立，则r_i'是r_j的新位置，清空已等待的帧数：r_j＝(x_i',y_i',w,h,v_xj,v_yj,0,p_j+1)；

S3.5、对集合D在步骤S3.4中没有找到匹配的成员则对其位置和已等待的帧数这两个参数进行更新： $r_{k_t}=(x_{k_t}+v_{k_t},y_{k_t}+v_{k_t},w,h,v_{{\mathrm{xk}}_t},f_{k_t}+1,p_{k_t}),$ 其中n为D中没有找到匹配的数量，对于更新后的进行如下判断：若且其中：F为最大等待的帧数，maxy为垂直方向坐标的最大值，则将从D中删除，而在此基础上再满足P为最少匹配次数，则人群计数器加1；

S3.6、对集合D'在步骤S3.4中没有找到匹配的每一个成员建立一个新的预估区域 $r_i=(x_{k_t}^{\′},y_{k_t}^{\′},w,h,\mathrm{0,0,0,0})$

其中n₄为D'中没有找到匹配的数量；

S3.7、重复步骤S3.3，开始执行直到视频中最后一帧图像为止。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明的基于HOG特征和颜色直方图特征的密度人群计数的方法，不仅具有较低的误检率，而且能够适用于不同密度的人群。取得改进的表现在：设计了一种适合不同密度人群的基于HOG特征和颜色直方图特征的计数方法，将视频序列数据经过预处理后；提取HOG特征，训练出第一个SVM分类器，并对生成HOG特征的检测窗口提取其颜色直方图特征，训练出第二个SVM分类器，在检测时，先用第一个SVM分类器进行分类，再对第一次分类的结果用第二个SVM分类器进行二次分类，加权组合两个SVM分类器的检测得分，判断检测区域是否是人头区域；再采用基于光流的区域匹配方法进行人群数量的统计，以预防人群踩踏、交通堵塞等事件。

2、通过验证，本申请提出的基于HOG特征和颜色直方图特征的密度人群计数的方法适应于不同的人群密度场景，具有较好的准确性和抗干扰性。

附图说明

图1是本发明基于HOG特征和颜色直方图特征的人群识别的流程图；

图2是本发明密度人群计数的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

参照图1，是基于HOG特征和颜色直方图特征的密度人群计数的方法的人头区域的识别：包括提取HOG(Histograms of Oriented Gradients梯度直方图)特征，训练出第一个SVM(Support Vector Machine支持向量机)分类器，并对生成HOG特征的检测区域提取其颜色直方图特征，训练出第二个SVM分类器，在检测时，先用第一个SVM分类器进行分类，再用第二个SVM分类器进行二次分类，组合两个SVM分类器的检测得分，判断检测区域是否是人头区域；具体做法如下：

1.1)使用同一个样本集训练两个SVM分类器(以下称为第一个SVM分类器和第二个SVM分类器)，对应HOG特征和颜色直方图特征；

1.2)对已进行预处理的图片使用64*64大小的窗口进行检测，将第一个SVM分类器检测得分大于0的区域记录下来；

1.3)对区域进行合并，因为通常在人头区域附近的检测窗口都会得到大于0的SVM分类器检测得分，所以需对这些区域进行合并，合并算法如下：

1.3.1)对每一个被第一个SVM分类器检测出来的区域，与其它所有的区域进行矩形面积重合度的计算，一个矩形可以由向量r＝(x,y,w,h)表示，x,y,w,h分别是矩阵的左上角纵坐标和矩形的宽高，那么两个矩形区域r_i和r_j是否属于同一个区域D_i可做如下判断：

$|x_j-x_i|\≤\mathrm{\τ}\∩|y_j-y_i|\≤\mathrm{\τ}\⇒r_j\∈D_i,$ 其中r_i∈D_i

τ为预设阈值，通过广度优先算法可以把属于同一个区域的矩形区域搜索出来；

1.3.2)由1.3.1)操作得到的候选窗口划分为m个区域，对每一个区域D_i执行下述计算得到一个形区域r_i：

$x_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\Σ}}}{x}_k,y_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\Σ}}}{y}_k,(x_k,y_k,w,h)\∈D_i,k=\mathrm{1,2},...,n_i$

n_i为区域集合D_i中的矩形区域数量，由每个窗口的大小是一样，合并后的矩形区域为r_i＝(x_i,y_i,w,h)；

1.4)计算每个重叠区域中检测窗口的SVM分类器检测得分的最大值作为这个区域的SVM分类器的检测得分，

S_i＝max s_k,k＝1,2,…,n_i

其中S_i表示区域D_i的SVM分类器的检测得分，s_i表示区域D_i中各个检测窗口的SVM分类器的检测得分，n_i为区域D_i中检测窗口的数量；

1.5)通过1.3)的合并操作求得代表每个矩形集合D_i的矩形区域r_i以及相应的SVM分类器的检测得分S_i，计算原图像中的每个矩形区域r_i的颜色直方图以及使用第二个SVM分类器进行分类，得到相应的基于颜色直方图特征的SVM分类器的检测得分S_i'；

1.6)线性加权组合1.5)中的两个SVM分类器的检测得分：

f_i＝αw₀S_i+βw₁S_i'

当f_i>0时，矩阵区域r_i为人头区域，否则不是人头区域；其中S_i是第一个SVM分类器的检测得分，S_i'是第二个SVM分类器的检测得分，w₀是基于HOG特征使用第一个SVM分类器得到结果的权重，w₁是基于颜色直方图特征使用第二个SVM分类器得到结果的权重，α,β是线性组合的系数，满足α+β＝1；

本方法对来自佛山市通济桥视频数据(摄像头：方向从桥的左下角拍摄，分辨率为1920*1088；光照环境：夜晚，电灯光源从桥的左下角拍摄；人群特点：人群密度较高，人群从左上角向右下角移动，很多人手持风车等遮挡物)进行实验，可知，取α＝0.8,β＝0.2,w₀＝1,w₁＝10000时能获得较好的结果，其中由于视频数据光照原因和摄像头的方向(使得大多时候只看到人脸的侧面)导致第二个SVM分类器检测得分比较低。

参照图2，是基于HOG特征和颜色直方图特征的密度人群计数的方法的人群计数过程：通过光流法计运动的速度，得到一个人头区域在下一帧中的预估位置，若是下一帧中在预估位置的附近有人头区域被检测出，认定这是同一个人头区域，把预估区域更新到检测出来的人头区域位置，若是预估区域越过计数边界，则认为目标离开，人群计数器加一。

当对视频中人群数量统计时，本方法是基于检测区域略大于计数区域的设定，具体计算流程如下(一个预估区域可以表示为r＝(x,y,w,h,v_x,v_y,f,p)，并定义预估区域集合D，其中r_i∈D,i＝1,…,n，速度分量v_x,v_y以更新预估区域的位置，f为当前已等待的帧数，p为记录匹配的次数)：

设定，若等待N帧后，仍没有与预估区域匹配的目标，即参数f＝N时，视目标离场；若预估区域只在某极少数帧中存在与之匹配的目标，即参数p<P(其中P为最低匹配次数)时，视为误检。

2.1)初始化预估区域集合D，D为空集；

2.2)读入一帧图像，检测所有人头区域，并把当前人头区域作为预估区域添加到集合D，此时每一个预估区域r_i＝(x_i,y_i,w,h,0,0,0,0)；

2.3)读入下一帧图像，扫描区域D，对于每一个r_i，若是f_i＝0，则由当前帧和上一帧计算其速度分量v_xi,v_yi；

2.4)检测当前帧所有的人头区域，记为集合D'，对D'中的每一个元素r_i'，寻找与预估区域的匹配：

|x_i'-x_j|≤τ∩|y_i'-y_j|≤τ

r_i＝(x_i',y_i',w,h)∈D',i＝1,…,n₁

r_j＝(x_j,y_j,w,h,v_xj,v_yj,f_j,p_j)∈D,j＝1,…,n₂

其中τ为预设阈值，n₁,n₂分别为集合D'和D的成员数量，若是不等式成立，则r_i'是r_j的新位置，清空已等待的帧数：r_j＝(x_i',y_i',w,h,v_xj,v_yj,0,p_j+1)；

2.5)对集合D在步骤4)中没有找到匹配的成员则对其位置和已等待的帧数这两个参数进行更新： $r_{k_t}=(x_{k_t}+v_{k_t},y_{k_t}+v_{k_t},w,h,v_{{\mathrm{xk}}_t},f_{k_t}+1,p_{k_t}),$ 其中n₃为D中没有找到匹配的数量，对于更新后的进行如下判断：若且(F为最大等待的帧数，maxy为垂直方向坐标的最大值)，则将从D中删除，而在此基础上再满足(P为最少匹配次数)，则人群计数器加一；

2.6)对集合D'在步骤4)中没有找到匹配的每一个成员建立一个新的预估区域其中n₄为D'中没有找到匹配的数量；

2.7)重复步骤3),开始执行直到视频的最后一帧图像。

同样，对上述佛山市通济桥视频数据进行实验，经实验验证当计数区域的高度为80个像素，检测区域的高度为90个像素，此时人头区域从进入到计数区域到离开计数区域大概需要4帧左右，计数区域的人流量统计准确率相对较高达到85％左右。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，包括下述步骤：

S0、通过摄像头采集实时监控数据，并对图像进行预处理；

S1、对预处理后的图像进行HOG特征的提取，再针对生成HOG特征的检测窗口提取其颜色直方图特征；

S2、采用基于HOG特征训练得到第一个SVM分类器，所述第一个SVM分类器用于对检测区域进行预估计，再采用基于颜色直方图特征训练得到第二个SVM分类器，所述第二个SVM分类器用于对预估计后的检测区域进行第二次分类，组合HOG特征和颜色直方图特征进行检测，得到两个SVM分类器的检测结果，然后通过加权联合两个SVM分类器所得到的结果来确定检测区域是否为人头区域；

S3、根据检测出来的人头区域，采用以光流法为基础的区域匹配方法来实现视频中人群的数量统计。

2.根据权利要求1所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S2中，组合HOG特征和颜色直方图特征进行检测的具体步骤如下：

S1.1、图像HOG特征的提取，并训练出第一个SVM分类器；

S1.2、在原始图像上对于生成HOG特征的检测窗口的颜色直方图特征进行提取，训练出第二个SVM分类器；

S1.3、对于测试的视频数据，先用第一个SVM分类器进行分类，再用第二个SVM分类器进行二次分类，得到两个SVM分类器的检测结果。

3.根据权利要求2所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S1.3中，在进行二次分类时，对第一个SVM分类器分类得到的结果的重叠区域进行合并，其具体步骤为：

S1.3.1对每一个被第一个SVM分类器检测出来的区域，与其它所有的区域进行矩形面积重合度的计算，一个矩形可以由向量r＝(x,y,w,h)表示，x,y,w,h分别是矩阵的左上角纵坐标和矩形的宽高，那么两个矩形区域r_i和r_j是否属于同一个区域D_i可做如下判断：

$|x_j-x_i|\&le;\mathrm{\&tau;}\&cap;|y_j-y_i|\&le;\mathrm{\&tau;}\&DoubleRightArrow;r_j\&Element;D_i,$ 其中r_i∈D_i

其中τ为预设阈值，通过广度优先算法可以把属于同一个区域的矩形区域搜索出来；

S1.3.2、由步骤S1.3.1操作得到的候选窗口划分为m个区域，对每一个区域D_i执行下述计算得到一个矩形区域r_i：

$x_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_k,y_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_k,(x_k,y_k,w,h)\&Element;D_i,k=\mathrm{1,2},...,n_i$

其中n_i为区域集合D_i中的矩形区域数量，由于每个窗口的大小是一样，合并后的矩形区域为r_i＝(x_i,y_i,w,h)。

4.根据权利要求1所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S2中，确定检测区域是否为人头区域的具体步骤为：

S2.1、使用同一个样本集训练第一个SVM分类器和第二个SVM分类器，分别对应HOG特征和颜色直方图特征；

S2.2、对已进行预处理的图像使用固定窗口进行检测，将第一个SVM分类器检测得分大于0的区域记录下来；

S2.3、对步骤S2.2记录的区域进行合并，因为通常在人头区域附近的检测窗口都会得到大于0的SVM分类器检测得分，并求得合并后的矩形区域；

S2.4、计算每个重叠区域中检测窗口的SVM分类器检测得分的最大值作为这个区域的SVM分类器检测得分；

S2.5、通过步骤S2.3的合并操作求得代表每个矩形集合的矩形区域以及相应的SVM分类器的检测得分，计算原图像中的每个矩形区域的颜色直方图以及使用第二个SVM分类器进行分类，得到相应的基于颜色直方图特征的SVM分类器的检测得分；

S2.6、线性加权组合步骤S2.5中的两个SVM分类器的检测得分，根据结果，判断检测区域是否为人头区域。

5.根据权利要求4所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S2.4中，为了得到SVM分类器的检测结果，针对重叠区域的情况，计算该区域中每个重叠区域的SVM分类器检测得分的最大值作为该区域SVM分类器的检测得分，

S_i＝max s_k,k＝1,2,…,n_i

其中S_i表示区域D_i的SVM分类器的检测得分，s_i表示区域D_i中各个检测窗口的SVM分类器的检测得分，n_i为区域D_i中检测窗口的数量。

6.根据权利要求4所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S2.6中，针对每个区域两个SVM分类器的检测得分，采用加权线性组合这两个SVM分类器的检测得分：

f_i＝αw₀S_i+βw₁S′_i

其中S_i是第一个SVM分类器的检测得分，S′_i是第二个SVM分类器的检测得分，w₀是基于HOG特征使用第一个SVM分类器得到结果的权重，w₁是基于颜色直方图特征使用第二个SVM分类器得到结果的权重，α,β是线性组合的系数，满足α+β＝1。

7.根据权利要求1所述的基于HOG特征和颜色直方图特征的密度人群计数的方法，其特征在于，步骤S3中，采用基于光流法的区域匹配方法统计人群的数量时，一个预估区域可以表示为r＝(x,y,w,h,v_x,v_y,f,p)，并定义预估区域集合D，其中r_i∈D,i＝1,…,n，速度分量v_x,v_y以更新预估区域的位置，f为当前已等待的帧数，p记录匹配的次数，其具体步骤为：

S3.1、初始化预估区域集合D，D为空集；

S3.2、读入一帧图像，检测所有人头区域，并把当前人头区域作为预估区域添加到集合D，此时每一个预估区域r_i＝(x_i,y_i,w,h,0,0,0,0)；

S3.3、读入下一帧图像，扫描区域D，对于每一个r_i，若是f_i＝0，则由当前帧和上一帧计算其速度分量v_xi,v_yi；

S3.4、检测当前帧所有的人头区域，记为集合D′，对D′中的每一个元素r_i′，寻找与预估区域的匹配：

|x′_i-x_j|≤τ∩|y′_i-y_j|≤τ

r_i＝(x′_i,y′_i,w,h)∈D′,i＝1,…,n₁

r_j＝(x_j,y_j,w,h,v_xj,v_yj,f_j,p_j)∈D,j＝1,…,n₂

其中τ为预设阈值，n₁,n₂分别为集合D′和D的成员数量，若是不等式成立，则r_i′是r_j的新位置，清空已等待的帧数：r_j＝(x′_i,y′_i,w,h,v_xj,v_yj,0,p_j+1)；

S3.5、对集合D在步骤S3.4中没有找到匹配的成员则对其位置和已等待的帧数这两个参数进行更新： $r_{k_t}=(x_{k_t}+v_{k_t},y_{k_t}+v_{k_t},w,h,v_{{\mathrm{xk}}_t},v_{{\mathrm{yk}}_t},f_{k_t}+1,p_{k_t}),$ 其中n₃为D中没有找到匹配的数量，对于更新后的进行如下判断：若且其中：F为最大等待的帧数，max y为垂直方向坐标的最大值，则将从D中删除，而在此基础上再满足P为最少匹配次数，则人群计数器加1；

S3.6、对集合D′在步骤S3.4中没有找到匹配的每一个成员建立一个新的预估区域 $r_i=(x_{k_t}^{\&prime;},y_{k_t}^{\&prime;},w,h,\mathrm{0,0,0,0})$

其中n₄为D′中没有找到匹配的数量；

S3.7、重复步骤S3.3，开始执行直到视频中最后一帧图像为止。