CN101196991A - 密集客流计数和行人步行速度自动检测方法及系统 - Google Patents

Abstract

一种基于视频图像的密集客流计数和行人步行速度自动检测方法，属于计算机视觉技术领域。本发明采用视频采集装置和处理算法。其中视频图像采集设备通过闭路电视系统(CCTV)采集监控视频图像，通常采用置于客流通道的出入口顶端的摄像机，实时采集客流出入的视频图像。处理器采用计算机视觉算法对采集到的视频图像进行处理，采用Adaboost算法进行人脸识别，以Harr特征作为输入，以弱分类器加权组合构成强分类器，最后用强分类器组成“瀑布”层叠形式；然后进行触发计数。计算行人步行速度主要根据对行人脸部进行跟踪，跟踪区域为行人脸部进入检测区域开始，出检测区域为止。计算行人步行速度的要点为标定和跟踪。

Description

密集客流计数和行人步行速度自动检测方法及系统

技术领域

本发明涉及计算机视觉领域，具体基于视频图像的密集客流计数和行人步行速度自动检测方法及装置。

背景技术

随着经济的飞速发展，人口的城市化程度越来越高，城市的人口密度越来越大，在某些公共场所的人群管理问题日益突出。人群密度是表征特定场所即时拥挤程度的一个重要参考指标，是对公共场所进行有效管理的重要依据，随着国内经济和大规模客流运输的快速发展，目前在某些特定场所对人群计数和行人步行速度计算的需求已经变得越来越紧迫。对密集客流计数和行人步行速度的传统方法是人工估计，但这种方法比较主观，不能做定量判断。

由于视频监控的广泛应用，基于计算机视觉的行人检测和跟踪已经成为一个非常活跃的研究领域，为大型公共场所的智能监控提出了新的解决办法。当前，针对客流密集场所的行人检测和跟踪方面已经取得了一些成果。但是多数所提出的方法和系统，一般针对人数较少的视频图像，通过在出入口设置虚拟的检测线，根据单个行人的轨迹来对过往的行人进行计数。然而对于客流密集的场所，存在严重的相互遮挡问题，因此传统的基于斑块检测与跟踪的背景差方法无法解决以下问题：

1.在客流密集的情况下，只有有限的背景，甚至无法提取背景；

2.在行人拥挤时，行人间存在严重的相互遮挡，以及背包等物品的遮挡；

3.客流密集的视频图像中，往往包含大量的不规则运动，目标的特征信息有限，一般需要通过两帧以上的视频图像才能检测出单个运动目标；

避免遮挡问题的方法之一，是通过调整摄像机的拍摄角度，采用从人的头顶部向下拍摄的办法，对行人的头部进行识别和计数。这种拍摄的方式无疑降低了处理的难度，但是需要重新安装检测的摄像机，增大了系统的投入。更加实用的方式是，将客流信息统计作为安全监控系统(闭路电视CCTV)的增强功能，通过视频图像的处理技术，得到客流信息。

发明内容

针对现有技术的基于斑块检测与跟踪的背景差方法存在识别准确率低的问题，本发明的目的是提供一种基于视频图像的密集客流计数和行人步行速度自动检测方法。

采用视频处理装置和算法。视频图像采集设备通过闭路电视系统(CCTV)采集监控视频图像，通常采用置于地铁通道的出入口顶端的摄像机，实时采集客流出入的视频图像。处理器采用计算机视觉算法对采集到的视频图像进行处理，采用Adaboost算法进行人脸识别，以Harr特征作为输入，以弱分类器加权组合构成强分类器，最后用强分类器组成“瀑布”层叠形式；然后进行触发计数，触发计数的中心思想是：根据人脸在图中的位置具有连续性的特点，将得到新图中的人脸结果和链表进行匹配，当发现其中两者的位置和接近时认为是同一个人脸。计算行人步行速度主要根据对行人脸部进行跟踪，跟踪区域为行人脸部进入检测区域开始，出检测区域为止。计算行人步行速度的要点为标定和跟踪。

人脸识别：

使用Adaboost算法，采用Harr特征作为输入，以弱分类器加权组合构成强分类器，弱分类器的性能要求不是很高，只需要比随机猜测性能稍好即可，这种弱分类器在实际情况下是很容易获得的。最后用强分类器组成“瀑布”层叠形式，以此达到较高的实时性并保证获得较高的识别率。

触发计数：

将检测区内的得到的识别结果放到链表结构中，触发的中心思想是：根据人脸在图中的位置具有连续性的特点，将得到新图中的人脸结果和链表进行匹配，当发现其中两者的位置和接近时认为是同一个人脸。记录匹配帧数和不匹配帧数两个参数，设置两个阈值T₁、T₂，分别用于触发计数和删除模板，如果匹配帧数大于T₁，则触发。如果不匹配帧数大于T₂，则认为人已离开检测区，删除模版。

计算行人步行速度：

计算行人步行速度主要根据对行人脸部进行跟踪，跟踪区域为行人脸部进入检测区域开始，出检测区域为止。跟踪要点主要有：

标定：标定为二维标定。因为只有一个摄像头，并且人脸部可以近似认为在一个平面上，所以采用二维标定。标定主要是将图像坐标转换为实际坐标，为计算行人步行速度提供可能。

跟踪：跟踪主要根据人脸部颜色特征进行跟踪。人脸部颜色分布在一个特定的范围内。跟踪采用CAMSHIFT算法。

CAMSHIFT算法：首先将RGB颜色空间转换到HSV颜色空间。人脸颜色分布与H有直接联系。当S和V同时很小时，H误差较大；并且，人脸颜色对应于H分布为某一特定范围(50～160)，所以取出某一范围内的H分量进行直方图分析。根据象素点值的概率分布对设定的跟踪区域找中心。寻找中心主要是根据求跟踪区域重心的原理。若上次中心与当前中心距离小于某一个特定的值，则认为找到中心，迭代结束。求出半径：根据零阶距、一阶距和二阶距计算出半径。

采用本发明的方法得到的密集客流计数和行人步行速度自动检测的结果更为准确。

附图说明

图1是实现基于视频图像的密集客流计数和行人步行速度自动检测方法的系统的结构框图；

图2是客流计数中整个训练过程流程示意图；

图3是客流计数中层叠分类器训练流程图；

图4是行人步行速度算法流程图；

图5是本发明方法的软件测试界面示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。

本实施例采用图1所示的基于视频图像的密集客流计数和行人步行速度自动检测方法，具体实施步骤如下：

1、硬件设备的建立

如图1所示，基于视频图像的密集客流计数和行人步行速度自动检测可以采用以数字信号处理器DSP为核心的硬件结构，由采集模块、存储器、处理器构成。由于计算机视觉算法具有一定的复杂性，处理的对象是复杂的视频图像，并且要求系统能满足实时性，因此选择的芯片一定要有强大的处理能力。综合以上各方面考虑，可以选择TI的TMS320DM642。TMS320C6000DSP平台提高了性能和成本效益的水准，提供业界最快的广泛DSP产品系列，这些DSP以高达1GHz的时钟速度运行。平台由TMS320C64x和TMS320C62x定点系列以及TMS320C67x浮点系列组成。C6000 DSP平台是处理目标宽带基础设施、高性能音频和成像应用等产品的设计人员的最佳选择。TMS320DM642是TI公司目前推出的在多媒体处理领域的主流产品，它是在C64x的基础上，增加了许多外围设备和接口。

2、软件流程图的建立

如图2，3所示，密集客流计数检测方法软件流程图，首先采集视频图像，首先采用类Haar特征提取人脸特征，然后使用AdaBoost学习算法构建分类器，最后通过多级分类器级联的结构快速检测人脸。同时，联合肤色、边缘特征以及由粗到细的金字塔式搜索，提高检测速度。如图4所示，行人步行速度算法主要是对行人脸部进行跟踪，要点为标定和跟踪。

3、基于Haar特征的学习方法

基于Haar特征的方法是一种基于样本的学习方法，该方法主要思想是：

(1)利用积分图像(Integral Image)的概念，获取Haar特征值；

(2)把Haar特征作为训练过程的输入，利用算法挑选某些分量能力强的Haar特征构成各自对应的“弱分类器”；

(3)利用Adaboost算法将若干“弱分类器”组成“强分类器”；

(4)将若干“强分类器”串联起来组合成层叠分类器，调节层叠分类器的串联的级数，可以方便的改变系统的错误率和响应速度；

由于特征简单、搜索策略高效，算法在保证90％以上准确率的基础上，检测速度可以基本满足实时应用的要求。

Haar特征的定义为：

${\mathrm{feature}}_k=\underset{i\∈(1...N)}{\mathrm{\Σ}}{\mathrm{\ω}}_i\mathrm{RctSum}\left(r_i\right)---\left(3.1\right)$

其中ω_i∈R为矩形r_i的权，RctSum(r_i)为矩形r_i所谓图像的灰度积分，N是组成feature_k的矩形个数。

在定义Haar特征的时候，对其构成做了限制：

(1)由于满足定义的N有无穷多个，N极限为2，即一个Haar特征至少要有2个矩形构成，最多也只能有2个；

(2)这两个构成Haar特征的矩形的权值必须异号，而且权值与矩形面积呈反比；

(3)为了便于采集积分图像计算特征值，这两个构成Haar特征的矩形必须有一个包含于另一个之中。

由公式(3.1)可知RctSum(r_i)是计算Haar特征的核心，因此定义积分图像如下：

已知输入图像I，在点(x，y)处的积分图像值定义为：

$\mathrm{ii}(x,y)=\underset{x_i\≤x,y_i\≤y}{\mathrm{\Σ}}I(x_i,y_i)---\left(3.2\right)$

4、AdaBoost算法与强分类器

AdaBoost算法是Boosting算法的一种变形，通常，Boosting算法可以提高任何给定的学习算法的分类精确度，在AdaBoost算法中，每个训练样本都被赋予一个权值，表明该样本被某个弱分类器选中的概率。如果某个样本已经被准确地分类，那么在构造下一个训练集时，它被选中的概率就被降低；相反，如果样本没有被准确分类，那么它的权值就得到提高，使得这些被错分的样本在下一轮学习中被重视。通过这种方法每一轮学习都“聚焦”与这些较困难的样本上。重复上述操作，每一轮都选出一个最优的弱分类器，最后由这些弱分类器的线性组合构成一个总的强分类器。

AdaBoost算法的级别定义如下：

(1)给定N个训练例(x₁，y₁)，...，(x_n，y_n)，y_i＝0，1分别不是反例和正例。设有M个反例，L个正例，M+L＝N；

(2)初始化每个样例的权值：

${\mathrm{\ω}}_{1,i}=\left\{\begin{array}{cc}\frac{1}{2M}& y_i=0\\ \frac{1}{2L}& y_i=1\end{array}\right.$

(3)对于t＝1，...，T有迭代过程：

①正规化权值 ${\mathrm{\ω}}_{t,j}\←\frac{{\mathrm{\ω}}_{t,j}}{{\mathrm{\Σ}}_{j=1}^N{\mathrm{\ω}}_{t,j}}$

②计算弱分类器j的错误率ε_j＝∑_tω_t|h_j(x_t)-y_t|

③选择出错误率最低的分类器，设为h_i

④依照h_t分类能力修改每个样例的权值，使之与ε_t成正比： ${\mathrm{\ω}}_{t+1,i}={\mathrm{\ω}}_{t,i}{\mathrm{\β}}_t^{1-e_i},$

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_i}{1-{\mathrm{\ϵ}}_i},$

这样在下次迭代时，被错误识别的样例要重点考虑。

(4)经过T次迭代后，选出T个弱分类器，然后加权组成一个强分类器；

$h\left(x\right)=\left\{\begin{array}{cc}1,& {\mathrm{\Σ}}_{t=0}^T{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}{\mathrm{\Σ}}_{t=0}^T{\mathrm{\α}}_t\\ 0,& \mathrm{other}\end{array}\right.---\left(3.4\right)$

其中， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}$

只要弱分类器的能力比随机猜测好，那么就能提高总体分类器的准确率，而随着弱分类器个数的增加，得到的强分类器在训练样本上的分类错误按指数递减。

AdaBoost学习过程只是试图减少错误，它本身不能做到以提高错误判对率为代价而达到高的检测率。因此，一个很简单，也是一直以来使用的用来平衡这些错误的方法是调整由AdaBoost生成的分类器的阈值。更高的阈值产生更低的检测率和错误判对率的分类器。反之则产生高检测率和高错误判对率。

通过AdaBoost算法生成了由重要特征组成的强分类器，层叠分类器见图3。对于一个的强分类器，将之用于人脸检测，但由于检测过程要扫描带检测图像的每个位置的各个规模的每个窗口，所以要检测窗口数量很多，这种条件下，如果每个窗口都进行所以特征的特征值计算，检测工作的这个过程将花费很多的时间。在实际的人脸检测过程中可以采用“先重后轻”的层叠分类器的思想。它首先使用更重要的特征构成的结果较简单的强分类器进行非人脸窗口的排除，随着特征的重要性的逐渐降低，分类器的数目越来越多，但同时待检测窗口也越来越少。

层叠分类器的每一层都是用AdaBoost算法算法训练。如果把基于AdaBoost算法的训练模块比作中央处理器的话，那么所有样本的所有矩形特征值就是其输入。而多层分类器里的各个强分类器就是其输出。训练之前必须先确定整个系统要达到的最高误检率F_max以为多少，最低检测率D_min。在确定目标的前提下，整个系统至少需要由 $n={\log }_{f_{\max }}{F}_{\max }$ 个强分类器组成。整个训练过程就是一个利用AdaBoost算法构造强分类器的过程。图2是整个训练过程流程图。

采集的样本分为两部分：人脸样本集和非人脸样本集。人脸样本应选择具有不同背景、不同光照条件、不同表情的多训练样本。

5.触发计数：

将检测区内的得到的识别结果放到链表结构中，触发的中心思想是：根据人脸在图中的位置具有连续性的特点，将得到下一帧新图中的人脸结果和链表进行匹配，当发现其中两者的位置和接近时认为是同一个人脸。记录匹配帧数和不匹配帧数两个参数，设置两个阈值T₁、T₂，分别用于触发计数和删除模板，如果匹配帧数大于T₁，则触发。如果不匹配帧数大于T₂，则认为人已离开检测区，删除模版。

6.计算行人步行速度：

计算行人步行速度主要根据对行人脸部进行跟踪，跟踪区域为行人脸部进入检测区域开始，出检测区域为止。行人步行速度算法要点主要有：

标定：标定为二维标定。因为只有一个摄像头，并且人脸部可以近似认为在一个平面上，所以采用二维标定。标定主要是将图像坐标转换为实际坐标，为计算行人步行速度提供可能。

跟踪：跟踪主要根据人脸部颜色特征进行跟踪。人脸部颜色分布在一个特定的范围内。

首先将RGB颜色空间转换到HSV颜色空间。人脸颜色分布与H有直接联系。当S和V同时很小时，H误差较大；并且，人脸颜色对应于H分布为某一特定范围(50～160)，所以取出某一范围内的H分量进行直方图分析。根据象素点值的概率分布对设定的跟踪区域找中心。寻找中心主要是根据求跟踪区域重心的原理。若上次中心与当前中心距离小于某一个特定的值，则认为找到中心，迭代结束。求出半径根据零阶距、一阶距和二阶距计算出半径。

7.测试结果

软件测试界面，如图5所示：

1.客流计数结果(图5中为24)

2.行人步行速度结果(图5中为146cm/s)

本发明的方法与现有技术中“基于斑块检测与跟踪的背景差方法”相比，显著地提高了准确度。而且系统结构简单，便于在现有硬件系统中应用实现。

Claims (8)

1.一种基于视频图像的密集客流计数和行人步行速度自动检测方法，步骤如下；

(a)采集客流出入的监控视频图像，

(b)采用计算机视觉算法对采集到的视频图像进行处理，采用人脸识别的方法统计人数，采用跟踪人脸的方法计算行人步行速度。

2.根据权利要求1所述的方法，特征在于，步骤(b)包括：(b-i)人脸识别的方法统计人数，具体是：使用Adaboost算法，采用Harr特征作为输入，以弱分类器加权组合构成强分类器，最后用强分类器组成“瀑布”层叠形式，进行触发计数，获得实时性人群流量。

3.根据权利要求1所述的方法，特征在于，步骤(b)还包括：(b-ii)跟踪人脸的方法计算行人步行速度，具体是：对行人脸部进行跟踪，跟踪区域为行人脸部进入检测区域开始，出检测区域为止；统计图片的帧数，计算时间和行人步行速度。

4.根据权利要求2所述的方法，特征在于，步骤(b-i)的触发计数的方法是：根据人脸在图中的位置具有连续性的特点，将得到下一帧新图中的人脸结果和链表进行匹配，当发现其中两者的位置和接近时认为是同一个人脸。

5.根据权利要求3所述的方法，特征在于，步骤(b-ii)的方法中还需采用标定和跟踪，具体如下：

(a)标定：为二维标定，将图像坐标转换为实际坐标；

(b)跟踪：根据人脸部颜色特征进行跟踪，采用CAMSHIFT算法。

6.根据权利要求3或5所述的方法，特征在于步骤(b-ii)的方法中判断进出检测区域的方法是：记录匹配帧数和不匹配帧数两个参数，设置两个阈值T₁、T₂，分别用于触发计数和删除模板，如果匹配帧数大于T₁，则触发；如果不匹配帧数大于T₂，则判断人已离开检测区，删除模版。

7.根据权利要求2所述的方法，特征在于，步骤(b-i)中弱分类器优于随机猜测性能。

8.实现权利要求1-5或7中任一所述方法的系统，特征在于包括：

(a)视频图像采集设备，包括置于客流通道的出入口顶端的摄像机，闭路电视系统CCTV；

(b)用计算机视觉算法对采集到的视频图像进行处理的视频处理装置，具体包括视频采集模块、存储器、处理器，所述的处理器包括但不限于嵌入式处理器；平台由TMS320C64x和TMS320C62x定点系列以及TMS320C67x浮点系列组成。