CN103310444B - 一种基于头顶摄像头的监控行人计数的方法 - Google Patents

Abstract

本发明公开一种计算机视觉与模式识别领域的基于头顶摄像头的监控行人计数的方法，首先将距离相近的人和物体作为一个跟踪目标，然后通过分析该目标区域的大小和轮廓特征，估计该区域所含有的行人的数量，达到计数的目的。区别于目前的已有方法，本发明将距离较近的多个行人作为一个跟踪的目标，根据该目标的面积和轮廓特征来估计此目标中所含有的行人的数量。同时，采用基于图像轮廓并融合部分步态特征的方法，用于区分前景块中行人和非行人物体（如行李箱等）。实验证明本发明提出的方法在行人间距较小，以及存在非行人的运动物体的场景下，可以取得令人满意的计数效果。

Description

一种基于头顶摄像头的监控行人计数的方法

技术领域

本发明属于计算机视觉与模式识别领域，具体地，涉及一种基于头顶摄像头的监控计数新方法。

背景技术

在计算机视觉领域，视频监控计数的应用场合不断增加。在安保方面，经常需要计算出入大楼的人数；在智能交通方面，需要统计各个路口的流量来合理规划交通设施；在地铁换乘站，需要统计各方向换乘的人数，以便合理安排地铁的车次。人工计数成本高而且在人流量大的时候难以准确计数，所以视频监控在计数问题上得到了应用。

目前已经有很多种监控计数的系统，使用各种方法，但是在区分行人与非行人方面，成功不多。在使用头顶摄像头的系统中，已有的计数策略主要是使用不同方法得到场景中的行人，进行跟踪并计数。也有使用光流，或者不同位置的行人的模板匹配来估计行人数量的。近年来论文中的方法主要有：

SenemVelipasalar等人在2006年提出根据前景区域的大小估计其中包含的人数；MassimilianoBozzoli等人在2007年利用光流法进行跟踪目标的人数估计；Jun-WeiHsieh等在2007年使用场景中不同位置不同的行人模板，通过与得到的前景进行匹配来估计人数；JavierBarandiaran在2008年使用了在场景中画若干平行直线的方法计数，通过线上测得的人的宽度和的时间长短来估计越线的人数；BorislavAntic′等人在2009年用聚类的方法得到前景中的每个人，不过需要预先估计一个人的平均的前景大小；于海滨等在2007年通过提取头部特征以计算场景中行人的数量。

专利方面，申请号为CN201110035274.0的中国发明专利申请通过基于Blob的跟踪方法进行行人计数；申请号为CN201210274839.5的中国发明专利申请通过发色特征获取头部分割，得到人头区域并计数；申请号为CN201210208666.7的中国发明专利申请通过匹配头部特征并跟踪头部特征区域来计数；申请号为CN201210295833.6的中国发明专利通过将提取到的前景与椭圆模板进行匹配，然后跟踪；申请号为CN201010114819.2的中国发明专利利用并联的多类分类器检测头部，并进行跟踪计数；申请号为CN201010607822.8的中国发明专利根据优化了的头部检测区域的运动轨迹获取人数；申请号为CN201110089154.9的中国发明专利使用光流法获得稠密光流场，分类后进行计数；申请号为CN201210064543.0的中国发明专利提出了通过提取图像的加速稳健特征，聚类后跟踪计数的方法。

在已有的基于跟踪的监控计数方法中，通常是将单个行人作为跟踪的目标，因此在拥挤场景下，跟踪单个目标将会变得非常困难。若是同时跟踪多个目标，就需要估计该目标中含有的行人的数量。检测头部的特征是一种可行的方法，但是从前景中检测头部，所需的计算量稍大，会影响系统的实时性。根据前景的大小来估计其中所含的行人数量也可以用来进行监控计数，但是由于行人的胖瘦，以及携带的其他物品，如包裹，行李箱，小孩等，对前景区域大小的影响很大，容易造成误判。

发明内容

针对现有技术存在的上述不足，本发明的目的是提供一种基于头顶摄像头的监控行人计数的方法，统计监控视频中行人的数量，并且对非行人的目标加以区分。本发明提取跟踪到的前景区域的外接矩形的大小和前景的轮廓特征并加以综合，减小非行人的物体对人数估计造成的影响，得到更加精确的计数结果。

为实现上述目的，本发明总体上说，首先将距离相近的人和物体作为一个跟踪目标，然后通过分析该目标区域的大小和轮廓特征，估计该区域所含有的行人的数量，达到计数的目的。

本发明所述的基于头顶摄像头的监控行人计数的方法，包括如下步骤：

第一步，安装摄像头。

本发明基于头顶摄像头，因此摄像头应安装在走廊或者过道的顶部，方向竖直向下，但是与铅垂线应当有约5到10度的夹角。

摄像头的安装角度并非准确的与铅垂线重合，这是有原因的。当以一个小角度从头顶拍摄行人时，既可以避免行人之间的遮挡，同时行人的上半身与下半身也不会完全重合，又由于行人的下半身总是在前景的下半部分，因此可以较容易的提取。

第二步，获得运动物体的位置。

要对目标进行跟踪，首先要知道运动目标的位置。本发明具体采用高斯混合模型法，因为在静止摄像头的场景下，背景建模和背景减除是检测运动物体的一种高效的方法。建模采用RGB彩色模型，对每个像素分别建模。假设当前帧某个像素位置p的颜色表示是I(p)，那么根据高斯混合模型，该像素呈现这一颜色的概率是

$P(I\left(p\right),t)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k\left(t\right)g(I\left(p\right),{\mathrm{\μ}}_k\left(t\right),{\mathrm{\σ}}_k^2\left(t\right))$

其中K（K<N）是当前模型数目，w_k(t)是像素p的第k个高斯模型的权重，μ_k(t)是第k个高斯模型的中心，(t)是第k个高斯模型的方差，g是高斯概率密度函数

$g(I\left(p\right),\mathrm{\&mu;}{,\mathrm{\&sigma;}}^2)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{{[I\left(p\right)-\mathrm{\&mu;}]}^2}{{\mathrm{\&sigma;}}^2}}$

高斯分布在距离中心2.5σ以外的比例很少，所以可以定义，当

|I(p)-μ_k(t)|<2.5σ_k(t)

时，认为像素属于背景，否则该像素就属于前景。然后根据色调不受阴影影响的特点，区分出阴影。剩下的被判断为前景的像素经过先开后闭的形态学处理之后，就得到了比较清晰的运动目标。

第三步，目标跟踪。

本发明使用的跟踪的框架是基于匹配的块跟踪，每当获得新的一帧图像的前景，就与目标队列中的目标模型进行匹配。首先从目标外接矩形框的位置关系上进行匹配，若目标的外接矩形框与队列中模型的矩形框之间的距离小于设定的阈值时，就认为有可能是同一个目标。同时，本发明还加入了对目标特征的匹配，提取目标的特征点，与目标专属的码书进行匹配，以获得更好的跟踪效果。

第四步，获取跟踪目标的特征。

第三步中每一个跟踪到的目标都有一个唯一的序号，根据前景的信息，依次计算出每一个前景的外接矩形框的位置，并且将这些矩形框设为感兴趣的区域（ROI）。在每一帧中，计算该矩形框的面积大小，记为S(t)。然后取ROI的下半部分五分之一区域，计算该区域内的轮廓，以及该区域内所有轮廓的长度之和，记为L(t)。

第五步，计算目标区域包含的人数。

根据S(t)和L(t)的值，综合估计该目标中所含的行人数量。

首先要对人数和其所对应的阈值进行设置。如，摄像头的安装高度约4米，阈值的设置如下：

定义area_thre0，area_thre1，area_thre2分别为比较目标外接矩形框大小的阈值，在系统初始化时设定；contour_thre1，contour_thre2分别为比较目标步态部分轮廓大小的阈值，在系统初始化时设定；num_of_pede为根据阈值比较的结果计算得到的当前最新的跟踪目标所包含的行人数量。

当监控摄像机的焦距不变时，增加监控摄像机的安装高度，得到的图像大小会成比例的缩小；反之降低监控摄像机的安装高度，得到的图像大小会成比例的增大。因此，与面积相关的阈值，即area_thre0，area_thre1，area_thre2，在监控摄像机焦距不变时，与摄像机的安装高度的平方成反比；与长度相关的阈值，即contour_thre1，contour_thre2，在监控摄像机焦距不变时，与摄像机的安装高度成反比。这样一来，当本发明的方法应用于不同场景时，不需多次统计训练阈值，只需稍作调整即可。

当S(t)小于area_thre0时，认为目标太小，可能是干扰，计数为num_of_pede=0；

当S(t)大于等于area_thre0并且小于area_thre1时，认为目标可能包含一个行人，计数为num_of_pede=1；

当S(t)大于等于area_thre1并且小于area_thre2时，认为目标可能包含两个行人，计数为num_of_pede=2；

当S(t)大于等于area_thre2时，使用进行回归得出的公式，计数num_of_pede为0.0002*S(t)+0.2773取整后的值。

但是此时num_of_pede的值仅是一个粗略的估计值，因为前景中可能包含非行人的物体，会增加前景外接矩形框的大小，从而使得对人数的判断不准确。所以要加上轮廓检测的数据进行修正。对于轮廓的长度，同样用阈值处理：

若num_of_pede=2，则比较L与contour_thre1，若L小于contour_thre1，则相应人数num_of_pede减一，否则num_of_pede不变；

若num_of_pede=3，则比较L与contour_thre2，若L小于contour_thre2，则相应人数num_of_pede减一，否则num_of_pede不变；

经过这样修正后的人数即可作为相对可靠的前景中行人的数量。

第六步，绊线检测。

在系统初始化时，首先在场景中设定一条直线，该直线可以用鼠标在视频的第一帧中画出。系统自动计算出与该直线相距20个像素点的两条平行直线。系统根据跟踪到的前景矩形框中心与这两条直线的距离，来判断是否绊线，并且记录绊线的先后顺序，以判断该目标是进还是出

第七步，人数统计及输出。

根据第五步中num_of_pede的值，和第六步中出入的方向，就可以得出当前出入的总人数了，可以即时的输出到监控的画面上。

与现有技术相比，本发明具有如下的有益效果：

首先，本发明对于单个行人以及多个行人同时出现的场景均能进行监控计数，具有很高的实际应用价值；

其次，本发明使用前景中很简单的两个特征，避免了复杂计算同时又有效区分了行人和非行人；

再次，本发明有效的避免了行人间的遮挡对计数造成的影响，提高了监控计数的准确性；

最后，本发明的实现只需要单个摄像头，安装方便且对监控环境影响很小。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为摄像头的安装位置要求。

图2为测试视频中行人原图和背景减除并通过形态学处理后的前景图像。

图3为前景外接矩形框面积和行人数量之间的关系散点图。

图4为步态部分轮廓长度与行人数量的关系散点图。

图5为测试视频中一些典型的场景。

图6为两个搭着肩的行人的输出结果。

图7为两个行人带着一个行李箱的输出结果。

图8为一个行人带着行李箱的输出结果。

图9为三个行人并排走的输出结果。

图10为单个行人的输出结果。

图11为单个行人带着行李的输出结果。

图12为单个行人带着行李的输出结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供一种基于头顶摄像头的监控计数新方法，该方法首先采集提取并跟踪视频中的运动目标，再使用目标的特征计算目标所含的行人数量并区分非行人的目标，从而实现了对行人的准确计数。

如图1所示，展示了摄像头的安装位置要求。首先要合理地安装监控摄像头。测试视频的拍摄地点是一个过道的上方，摄像头方向向下并且略微倾斜一个小角度，约5°到10°，拍摄地点走廊的高度约4米。如果摄像头的安装位置太低，则行人在场景中出现的时间将会很短，这不利于跟踪，以及在跟踪的同时进行的人数计算。另一方面，如果摄像头安装的角度偏离竖直方向太大，那么摄像头拍摄到的行人之间可能会有遮挡，这同样会影响跟踪的效果以及人数的估计。因此，摄像头的安装需要选择合适的高度和角度。

为了提取场景中的运动目标，本发明采用建立高斯混合模型并使用背景减除的方法。首先记录下没有行人及运动物体的场景，以建立高斯混合模型。一般来说这一步在视频的前几帧完成，因此视频的初始几秒应避免行人的出现，以免影响高斯混合模型的正确建立。建立好高斯混合模型后，逐帧比较每一个像素的值和高斯混合模型中的中间值的差，若大于模型方差的2.5倍，则认为该像素已经不是背景了，标记为前景。为了消除干扰，要对得到的前景进行先开后闭的形态学操作，以去除噪声点，同时填补小的空洞。图2展示了测试视频中的行人原图，和通过高斯混合模型得到并处理后的前景。

接下来需要对检测到的前景进行跟踪，以得到运动目标的轨迹。本发明使用的跟踪的框架是基于匹配的块跟踪，同时结合目标的角点特征。每当获得新的一帧图像的前景，就与目标队列中的目标模型进行匹配。匹配首先在目标的外接矩形框上进行，比较当前帧外接矩形框的中心位置和队列中模型的矩形框之间的距离，若两者之间的距离小于设定的阈值，则认为是同一个跟踪的目标。若两个目标从较远的地方靠近再分离，则需要提取各自的角点特征，以区别这两个目标分离之后的轨迹。

在得到了稳定的跟踪目标之后，就可以分析该目标的大小和轮廓特征了。首先计算当前帧跟踪目标的大小S(t)，本发明选择该目标的外接矩形框的面积作为目标的大小，原因有二，首先，目标外接矩形框的大小基本和行人的大小成正比；另外，如果行人有勾肩搭背或者拉着手等靠得很近的情况，用前景的面积得到的值会比较小，从而造成误判。然后计算前景中行人的腿的区域的轮廓大小，在本发明中取前景的外接矩形框下方五分之一部分，设置为新的ROI，计算这一ROI区域内的轮廓和所有轮廓的周长之和，记为L(t)。这一部分区域所对应的，是行人的腿部，由于人在行走时，双腿要周期性的交叉，形成所谓的步态，所以该区域的轮廓周长会比较大；同时，如果该区域是人所携带的行李，则因为行李的外形是基本不变的，所以轮廓的周长基本是一个较小的定值。五分之一这一值是在本发明的拍摄环境下所选取的，这一值的选择与监控摄像头安装的角度有关，角度越大，值的选取应相对增加。

接下来对第五步中的阈值做出说明。本发明用到了两类阈值，一类是与目标外接矩形框的面积相关的，有area_thre0，area_thre1，area_thre2，另一类是与前景的一部分周长相关的，有contour_thre1，contour_thre2。这些值的选取通过实验和数理统计的方法得到。首先统计前景外接矩形框面积和行人数量之间的关系，具体数据见图3，其中1.5和2.5分别表示一人携带一件行李和两人携带一件行李。通过对这些实验数据的观察，可以发现行人的数量和目标外接矩形框的面积的平方根基本成正比，我们设定单个行人的S(t)值在2000和7000之间，两个行人的S(t)值在7000和15000之间，若行人数量在三人以上，则使用回归方程：num_of_pede=0.0002*S(t)+0.2773。然后统计目标步态部分轮廓长度与行人数量的关系，具体数据见图。通过观察可以发现，一个行人的部分轮廓长，与一个行人携带一件行李的部分轮廓长相差不大，两个行人的部分轮廓长，与两个行人携带一件行李的部分轮廓长相差不大，从图中可以看出，550和800可以作为合适的步态轮廓长度的阈值。当摄像头的安装高度和焦距变化时，这些阈值可以根据相应比例调整，而无需再做统计回归。

得到跟踪的目标的轨迹和目标中所包含的行人数量后，就可以进行绊线检测了。该直线可以在系统中预设，也可以在运行开始时，人工添加。系统会自动在与设定好的直线相距20像素点的两个平行位置生成两条直线L1和L2。当跟踪目标的外接矩形框的中心与L1或者L2的距离小于某一阈值时，就判定该跟踪目标绊线。该阈值不能取得太小，否则会因为矩形框中心的不稳定，即使绊线了也达不到一个很小的值，在我们的实验视频中，该阈值取7。在跟踪的目标上记录下通过L1和L2的先后顺序，就可以判断该目标前进的方向了。

最后，系统需要设置两个变量，in和out，分别记录入和出的人数，在绊线检测后，若目标方向为入，则在in这个变量上加上该跟踪目标的num_of_pede的值，同样地，若目标方向为出，则在out这个变量上加上该跟踪目标的num_of_pede的值。最后，实时的将in和out的值以及当前目标num_of_pede的值输出就可以了。

为了证明本发明的有效性，提供拍摄各种可能情况下的视频，其中包含单人行走，两人并排行走，两人搭着肩行走，一人拉着行李箱行走，两人并行其中一人拉着行李箱行走，三人并行等场景。根据本发明的方法，对包含这些场景的视频进行了行人计数，结果均非常准确，测试视频中一些典型的场景见图5。

图6～图11展示了不同场景下本发明的系统的输出结果。其中直线左边是数字表示当前最新的跟踪目标所含的行人数目；上方的数字表示向上走的总人数，即in的总和；下方的数字表示向下走的总人数，即out的总和。图6表示了两个搭着肩的行人的输出结果，即人数为2，向下走的行人总数为2。图7表示了两个行人带着一个行李箱的输出结果，即人数为2，向下走的总人数为4，因为加上了图6中的结果。图8表示了一个行人带着行李箱的输出结果，即人数为1，向上走的行人总数为1。图9表示了三个行人并排走的输出结果，即人数为3，向上走的行人总数为4，因为加上了图8的结果。图10为单个行人的输出结果。图11与图12为单个行人带着行李的输出结果。从以上的效果来看，本发明可以准确的区分行人与非行人，并对跟踪目标的人数进行合理的估计，从而得到准确的监控计数结果。

区别于目前的已有方法，本发明将距离较近的多个行人作为一个跟踪的目标，根据该目标的面积和轮廓特征来估计此目标中所含有的行人的数量。同时，采用基于图像轮廓并融合部分步态特征的方法，用于区分前景块中行人和非行人物体（如行李箱等）。实验证明本发明提出的方法在行人间距较小，以及存在非行人的运动物体的场景下，可以取得令人满意的计数效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于头顶摄像头的监控行人计数的方法，其特征在于，所述方法利用行人与非行人之间轮廓与步态特征的不同来估计场景中的人数，具体包括如下步骤：

第一步，安装摄像头：摄像头方向竖直向下，但是与铅垂线有5到10度的夹角；

第二步，获得运动物体的位置：采用高斯混合模型法，即建立背景的高斯混合模型，比较每一帧每个像素点的值，判断是否为前景；

第三步，目标跟踪：利用块匹配的方式，即通过比较当前帧检测到的前景块和已跟踪到的目标的模型，来实现目标的跟踪；

匹配首先在目标的外接矩形框上进行，比较当前帧外接矩形框的中心位置和队列中模型的矩形框之间的距离，若两者之间的距离小于设定的阈值，则认为是同一个跟踪的目标；若两个目标从较远的地方靠近再分离，则需要提取各自的角点特征，以区别这两个目标分离之后的轨迹；

第四步，获取跟踪目标的特征：计算第三步中跟踪到的目标的大小及轮廓特征，包括目标的外接矩形的面积S(t)，目标下半部分五分之一区域的轮廓周长L(t)；

第五步，计算目标区域包含的人数：根据S(t)和L(t)的值，综合估计该目标中所含的行人数量；

第六步，绊线检测：通过判断跟踪目标与预设的直线的距离来判断是否越线，预设两条直线，通过区分越线的先后来判断行人的方向；

第七步，人数统计及输出：根据目标所含的人数和越线的方向，计算进入和走出该区域的人数，并输出显示；

所述第五步中，首先要对人数和其所对应的阈值进行设置，阈值的设置如下：

定义area_thre0，area_thre1，area_thre2分别为比较目标外接矩形框大小的阈值，在系统初始化时设定；contour_thre1，contour_thre2分别为比较目标步态部分轮廓大小的阈值，在系统初始化时设定；num_of_pede为根据阈值比较的结果计算得到的当前最新的跟踪目标所包含的行人数量；

当S(t)小于area_thre0时，认为目标太小，可能是干扰，计数为num_of_pede＝0；

当S(t)大于等于area_thre0并且小于area_thre1时，认为目标可能包含一个行人，计数为num_of_pede＝1；

当S(t)大于等于area_thre1并且小于area_thre2时，认为目标可能包含两个行人，计数为num_of_pede＝2；

当S(t)大于等于area_thre2时，使用进行回归得出的公式，计数num_of_pede为0.0002*S(t)+0.2773取整后的值；

然后进行轮廓检测的数据进行修正，对于轮廓的长度，同样用阈值处理：

若num_of_pede＝2，则比较L与contour_thre1，若L小于contour_thre1，则相应人数num_of_pede减一，否则num_of_pede不变；

若num_of_pede＝3，则比较L与contour_thre2，若L小于contour_thre2，则相应人数num_of_pede减一，否则num_of_pede不变；

经过这样修正后的人数即可作为相对可靠的前景中行人的数量。

2.根据权利要求1所述的监控行人计数的方法，其特征在于，所述第三步中，采用基于匹配的块跟踪，每当获得新的一帧图像的前景，就与目标队列中的目标模型进行匹配，首先从目标外接矩形框的位置关系上进行匹配，若目标的外接矩形框与队列中模型的矩形框之间的距离小于设定的阈值时，就认为有可能是同一个目标；同时，还加入了对目标特征的匹配，提取目标的特征点，与目标专属的码书进行匹配。

3.根据权利要求1所述的监控行人计数的方法，其特征在于，所述第四步中，具体为：第三步中每一个跟踪到的目标都有一个唯一的序号，根据前景的信息，依次计算出每一个前景的外接矩形框的位置，并且将这些矩形框设为感兴趣的区域ROI；在每一帧中，计算该矩形框的面积大小，记为S(t)，然后取ROI的下半部分五分之一区域，计算该区域内的轮廓，以及该区域内所有轮廓的长度之和，记为L(t)。

4.根据权利要求1-3任一项所述的监控行人计数的方法，其特征在于，所述第六步中，在系统初始化时，首先在场景中设定一条直线，该直线用鼠标在视频的第一帧中画出，系统自动计算出与该直线相距20个像素点的两条平行直线，系统根据跟踪到的前景矩形框中心与这两条直线的距离，来判断是否绊线，并且记录绊线的先后顺序，以判断该目标是进还是出。

5.根据权利要求1所述的监控行人计数的方法，其特征在于，所述第六步中，当跟踪目标的中心与所设置的直线之间距离小于预设值即7个像素时，定义为绊线。

6.根据权利要求1或3所述的监控行人计数的方法，其特征在于，所述方法将步态特征引入人数估计中，从而区分行人和行李。

7.根据权利要求1所述的监控行人计数的方法，其特征在于，所述S(t)和L(t)的值与人数的关系由统计训练得到。