CN104318263A

CN104318263A - 一种实时高精度人流计数方法

Info

Publication number: CN104318263A
Application number: CN201410490095.XA
Authority: CN
Inventors: 陈泳瑾; 孙宁; 李晓飞
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2014-09-24
Filing date: 2014-09-24
Publication date: 2015-01-28

Abstract

本发明提出了一种实时高精度人流计数方法，所述方法包含动目标前景提取和前景区域行人检测两个步骤；所述动目标前景提取步骤对获取的视频帧序列进行前景检测，获得包含行人、车辆等动目标的前景区域；所述前景区域行人检测步骤利用离线训练的可变形部件模型对前景区域进行行人检测，确定前景区域的行人数量和位置；以当前帧检测结果为起始，对行人目标后续运动进行跟踪，实现人流进出卡口的判断和记录。本发明方法基于背景差方法提取出包含目标的前景区域，使得算法满足实时计算的条件，基于可变形部件模型的行人检测确保了人流计数的高精度，提供了一种实时、高精度、抗遮挡性能良好的人流计数方法，具有很高的实用价值和发展前景。

Description

一种实时高精度人流计数方法

技术领域

本发明属于图像处理技术领域，特别涉及一种实时高精度人流计数方法。

背景技术

在现代社会，安防是一个非常重要的领域，而视频监控技术正是安防技术的核心组成部分之一，视频监控的应用范围很广，包括运动检测、目标跟踪、人脸识别、车辆识别、遗留物/移走物检测、异常行为检测及识别、人数统计、人群密度估计、公共场所的人流控制、交通路口车辆流量控制等。

由于在理论研究与实际应用都具备重要研究意义的课题，行人流量计数一直吸引着大量研究者的兴趣。在应用层面上，人流统计在不同的应用场合可以发挥不同的作用，可为商场获取商场内部按不同时段分布的人数统计、人群流动方向等信息；商场外人行道上的人群流动量统计信息，有利于评估商场选址是否适当。在技术层面上，为了实现人流计数，要涉及运动检测与跟踪、目标识别等内容，它们代表了计算机视觉领域的前沿研究方向；同时，由于运动检测、目标跟踪、识别等的研究具有相当的难度，相应的研究具有重要的学术意义。

最近十年来，有很多人流计数方法被提出来，其中大多数方法都是基于前景检测及图像分块来进行计数的，还有基于“AdaBoost+Haar”用于行人检测和“方向梯度直方图（HOG）+支持向量机（SVM）”等主流方法。其中引发出了很多难题，如前景检测不稳定，出现鬼影、分块、漏检等问题，这些主要是由环境中光照、阴影等因素导致；所谓鬼影就是将前几帧运动物体所覆盖的区域错误的检测为运动目标。而在人群拥挤出现个体遮挡的情况下，“HOG+SVM”等方法则存在漏检的问题。同时，人员出现量大的场景，如地铁站、汽车站、火车站等，计算度成量级上升的情况下，需要保证实时性的问题。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，针对因环境和人为因素干扰造成目标识别率低和目标检测实时性差而导致的人流计数精度不高的问题，提供一种实时高精度人流计数方法。

为解决上述技术问题，本发明所采用的技术方案是：

一种实时高精度人流计数方法，具体步骤如下：

步骤 1：采集实时视频序列；

步骤 2：训练行人可变形部件模型；

步骤 3：运动目标前景提取：对每帧视频图像进行处理，采用ViBe背景建模方法，提取出每帧图像的前景图像，得到该前景图像的最小外接矩形；

步骤 4：前景区域行人检测：取出步骤3中前景图像的最小外接矩形所对应的视频图像帧中的图像区域，对该区域进行行人检测，使用已经训练好的行人可变形部件模型进行匹配，获得该区域中行人的数量和位置坐标；

步骤 5：使用卡尔曼滤波方法对步骤4检测得到的行人结果进行跟踪，判断行人是否存在穿越卡口的行为，获取人流进出卡口的人数；

步骤 6：对人流进出卡口的数据进行输出。

步骤2中，所述训练行人可变形部件模型，采用Latent SVM方法，采用的训练数据包含PASCAL行人图像数据库、INRIA行人图像数据库。

所述训练数据包含9000张正样本和5000张负样本，所述正样本包含行人图像数据库中的9000张行人图像，所述负样本包含行人图像数据库中的5000张不含行人的图片。

步骤4中，所述前景区域行人检测，其具体步骤如下：

步骤4-1，计算前景区域图像的HOG特征图，建立10个尺度的图像特征金字塔；

步骤4-2，分别用训练好的三个方向的可变形部件模型扫描特征图像，获得不同尺度下的得分；

步骤4-3，将图像不同尺度下的得分相加得到模型匹配的分数，当三个模型得分最大值大于检测阈值时，判断为行人，进而得到行人的准确位置。

步骤5中，所述获取人流进出卡口的人数，其具体步骤是：分别设定进计数器和出计数器，若前后两帧目标位移相比较为进的方向，则进计数器加1；否则出计数器加1；一直到目标离开卡口监控区域时，根据进计数器和出计数器的值，统计人流进出卡口的人数。

本发明的有益效果：

本发明提出了一种实时高精度人流计数方法，该方法包含动目标前景提取和前景区域行人检测两个步骤；所述动目标前景提取步骤对获取的视频帧序列进行前景检测，获得包含行人、车辆等动目标的前景区域；所述前景区域行人检测步骤利用离线训练的可变形部件模型对前景区域进行行人检测，确定前景区域的行人数量和位置；以当前帧检测结果为起始，对行人目标后续运动进行跟踪，实现人流进出卡口的判断和记录。本发明方法基于背景差方法提取出包含目标的前景区域，使得算法满足实时计算的条件，基于可变形部件模型的行人检测确保了人流计数的高精度，提供了一种实时、高精度、抗遮挡性能良好的人流计数方法，具有很高的实用价值和发展前景。

附图说明

图1：本发明实时高精度人流计数方法的整体流程图。

具体实施方式

下面结合附图所示流程对本发明提出的一种实时高精度人流计数方法的实施例包括以下几个步骤。

如图1所示的实施例，本发明一种实时高精度人流计数方法，其步骤如下：

步骤1：采集校园的行人比较密集的校门的视频图像；

步骤 2：采用Latent SVM方法（详见Pedro F. Felzenszwalb, Ross B. Girshick, David McAllester and Deva Ramanan. Object Detection with Discriminatively Trained Part-Based Models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(9):1627-1645, 2010），训练行人可变形部件模型，训练数据采用国际通用的行人图像数据库，包括PASCAL数据库、INRIA数据库等，从行人图像数据库中选取9000张行人图像作为正样本，从行人图像数据库中选取5000张没有行人的图像作为负样本训练得到行人的混合模型，包括行人的具有一定俯角的正面、侧面和顶部三个方向的可变形部件模型（Deformable Part Models, DPM）；

步骤3：提取动目标前景区域：首先需要对图像进行背景建模，对比混合高斯法、核密度估计法、均值法、码本法和ViBe法等几种背景建模检测算法，综合考虑算法对硬件内存，鲁棒性，实时性的要求，本专利选择ViBe算法来对图像建立背景模型。

具体步骤：首先为每个像素存储一个含20个样本值的背景样本集，样本集中采样值就是该像素邻居点的像素值，然后将下一帧该像素的新像素值和样本集进行比较来判断是否是前景点，然后对背景样本集进行更新再进行下一帧的比较和判断，提取出每帧图像的前景图像，以最小外接矩形的形式给出；

步骤4：利用可变形部件模型检测前景图像中的行人：取出步骤3中前景图像的最小外接矩形所对应的视频图像帧中的图像区域，对该区域用训练好的可变形部件模型进行行人检测，避免了因在整张图像中滑框检测花费大量的检测时间，确保了实时性。具体检测的过程如下：

4-1：计算特征金字塔具体步骤为：计算各个尺度的特征图。将整个尺度空间划分成间隔为10的组来计算，每组有10个尺度。在每个尺度上，都用sbin/2和sbin（sbin=8）这样的单元大小来分别计算两张HOG特征图，第一张特征图相当于上采样的特征图，然后对图像下采样到二倍分辨率，用sbin进行特征图的计算；其中，sbin表示标准单元大小。这里的特征图每个点是一个32维向量，此处32维向量就是HOG特征。

4-2：计算每点的分数：在动目标图像中检测行人时，根据各个部件最佳位置计算每个根位置的综合得分，即检测窗口在指定根位置的得分，每一级的全局根滤波器分数可由各级根滤波器分数的和加上偏移的经过转换和下采样的部分滤波器响应来进行表达，使用动态规划和广义距离变换来计算部件的最优位置并获取最终在此位置的分数。

4-3：计算三个模型的得分，当三个模型得分最大值大于检测阈值时，判断为行人，进而得到行人的准确位置。

步骤5：使用卡尔曼滤波方法对上述检测得到的行人结果进行跟踪，判断行人是否存在穿越卡口的行为，获取人流进出卡口的准确数据。判断行人进出卡口的具体步骤：分别设定进计数器和出计数器，若前后两帧目标位移相比较为进的方向，则进计数器加1，否则出计数器加1，一直到目标离开监控区域时，比较进计数器和出计数器的值，若进计数器的值减去出计数器的值为正，则判断为进，反之，则为出。统计进出的总数目。

步骤 6：对人流进出卡口的数据进行输出。使用具有一定俯角的正面、侧面和顶部混合模型，使得摄像头在俯角较小的情况下也能够准确检测出行人并计数。使用的模型是可变形部件模型，避免了当行人有遮挡、行人密集的情况下检测效果差，提高了识别的准确率，可以实现实时高精度的人流计数。

显然，本领域技术人员应当理解，对上述本发明所公开的一种实时高精度人流计数方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims

1.一种实时高精度人流计数方法，其特征在于，包括以下步骤：

步骤 A：采集实时视频序列；

步骤 B：训练行人可变形部件模型；

步骤 C：运动目标前景提取：对每帧视频图像进行处理，采用ViBe背景建模方法，提取出每帧图像的前景图像，得到该前景图像的最小外接矩形；

步骤 D：前景区域行人检测：取出步骤C中前景图像的最小外接矩形所对应的视频图像帧中的图像区域，对该区域进行行人检测，使用已经训练好的行人可变形部件模型进行匹配，获得该区域中行人的数量和位置坐标；

步骤 E：使用卡尔曼滤波方法对步骤D检测得到的行人结果进行跟踪，判断行人是否存在穿越卡口的行为，获取人流进出卡口的人数；

步骤 F：对人流进出卡口的数据进行输出。

2.根据权利要求1所述的一种实时高精度人流计数方法，其特征在于，步骤B中，所述行人可变形部件模型的训练采用Latent SVM方法，采用的训练数据包含PASCAL行人图像数据库、INRIA行人图像数据库。

3.根据权利要求2所述的一种实时高精度人流计数方法，其特征在于：所述训练数据包含9000张正样本和5000张负样本，所述正样本包含行人图像数据库中的9000张行人图像，所述负样本包含行人图像数据库中的5000张不含行人的图片。

4.根据权利要求1所述的一种实时高精度人流计数方法，其特征在于：步骤D中，所述前景区域行人检测的具体步骤是：

步骤D-1，计算前景区域图像的HOG特征图，建立10个尺度的图像特征金字塔；

步骤D-2，分别用训练好的三个方向的可变形部件模型扫描特征图像获得不同尺度下的得分；

步骤D-3，将图像不同尺度下的得分相加得到模型匹配的分数，当三个模型得分最大值大于检测阈值时，判断为行人，进而得到行人的准确位置。

5.根据权利要求1所述的一种实时高精度人流计数方法，其特征在于：步骤E中，所述获取人流进出卡口的人数，其具体步骤是：分别设定进计数器和出计数器，若前后两帧目标位移相比较为进的方向，则进计数器加1；否则出计数器加1；一直到目标离开卡口监控区域时，根据进计数器和出计数器的值，统计人流进出卡口的人数。