CN106570449A

CN106570449A - 一种基于区域定义的人流量与人气指数检测方法及检测系统

Info

Publication number: CN106570449A
Application number: CN201610112918.4A
Authority: CN
Inventors: 高飞; 丰敏强; 令狐乾锦; 童伟圆; 卢书芳; 张元鸣; 肖刚
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2016-02-29
Filing date: 2016-02-29
Publication date: 2017-04-19
Anticipated expiration: 2036-02-29
Also published as: CN106570449B

Abstract

本发明涉及一种基于区域定义的人流量与人气指数检测方法及检测系统。它利用计算机视觉技术和SVM对行人的头和肩膀的检测，并利用色调‑饱和度直方图对单个行人在感兴趣区域内实现快速的检测和跟踪，统计该区域的行人数量并得到单个行人在定义区域内停留的时间，结合单位时间内的人数和感兴趣区域的面积计算该区域的人气指数，本发明的方法提高了行人检测和跟踪的正确率，并且利用计算机视觉技术计算基于区域定义的人气指数，是一项极具有广泛商业价值的工程。

Description

一种基于区域定义的人流量与人气指数检测方法及检测系统

技术领域

本发明涉及一种基于区域定义的人流量与人气指数检测方法及检测系统，尤其涉及利用计算机视觉技术对特定区域的人流量与人气指数进行检测的检测方法及检测系统。

背景技术

近年来，随着经济的发展，商业区的贸易人数增多，商品需要准确的市场信息。传统的人流量统计方式除了人工计数外，还有红外线感应计数方式及闸门计数方式，其中，红外线感应计数方式主要是在行人通过的地方设置红外感应器，利用红外特性，达到对行人进行统计的目的，这种方法实现比较简单，成本也比较低廉，但是当多个行人通过时，其统计精度会受到较大影响；闸门计数通过在行人经过的地方设置闸门，利用行人推动闸门横杆的方式，实现对行人流量的统计，此方法相对来说能较准确的统计行人数量，但是设置闸门难免对行人通行造成影响，尤其行人较多时，容易造成闸门处拥堵。

伴随着数字图像处理技术的发展和市场的需求，本发明提出一种基于区域定义的人流量与人气指数检测方法及检测系统，其中与本发明较为接近的技术方案包括：发明专利(公开号：CN 103729499A，名称：基于公共交通数据的区域人气聚集指数计算系统及方法)提出了采集公共交通数据，划分原始区和根据原始区建立缓冲区，从公共交通数据中获得出入所述原始区的缓冲区的人员流动信息，以得到缓冲区人气聚集指数，然后根据原始人气聚集指数和缓冲区人气聚集指数累计值建立人气引导模型，最后根据人气引导模型校正原始人气聚集指数，以获得最终人气聚集指数；发明专利(公布号：CN 103473554A，名称：人流统计系统及方法)采用正上方单一影像摄取单元，利用光流法得到行人的速度信息并计算每一帧行人经过检测线的距离，取平均作为切片厚度，然后根据累积的切片还原行人的完整拼图，最后利用线性回归分析统计处拼图内的人数，该方法对检测线上下进行行人统计，避免了行人的遮挡问题；发明专利(公布号：CN 103824114A，名称：一种基于截面流量统计的行人流量计数方法和系统)通过在视频中设置一条行人流量带，并分割成若干个截面计数块，提取人群的有效运动像素特征，梯度像素特征，利用SVM对截面流量计数快进行人数预测，该方法能快速统计行人，在行人运动方向比较规律的环境中有着较高的准确率。

综上所述，当前人流量与人气指数检测技术方案中存在如下不足：(1)当前方案虽然避免了行人的遮挡问题，但是不能统计单个行人在区域内的停留时间；(2)在行人运动方向比较复杂的环境中，截面计数块的有效运动像素块可能会互相干扰，造成行人计数准确率低；(3)现有的人气指数计算方法只提出了一个计算交通区域内人气指数的模型，并没有详细说明如何采集这些数据的方法；(4)无法统计单个行人在区域内的停留时间。

发明内容

为解决现有方法中存在的上述问题，本发明提出一种基于区域定义的人流量与人气指数检测方法及系统。

所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于包括如下步骤：

步骤1:构建行人图像的正、负样本数据集，并将所有的正、负样本缩放至宽为32像素、高为32像素的样本图像；

步骤2：基于轮廓信息提取步骤1中样本图像的HOG特征向量；

步骤3：利用混合高斯模型提取运动前景，记作FG，作为行人头肩检测区域的掩码；

步骤4：利用HOG特征向量训练SVM分类器，具体为：将步骤1所有缩放过的正、负样本图像设置标签向量，正样本为1，负样本为-1，每一个样本的HOG特征向量和对应的标签向量输入到SVM中进行训练，得到基于行人头肩轮廓HOG的SVM分类器；

步骤5：利用步骤4训练好的SVM分类器对感兴趣区域内检测行人头肩，具体为：根据步骤3提取的FG作为感兴趣区域的掩码并利用步骤4训练好的分类器对运动前景区域内的图像检测，识别行人的头肩部分，并用最小包络矩形标记，满足最小包络矩形的长＝宽、并且尺寸小于W像素的包络矩形，加入新检测行人头肩目标的队列New_Detected_List＝{R_i|i＝1,2,...,n}，其中W表示最大行人头肩目标包络矩形；

步骤6：跟踪行人头肩目标，计算新检测到的行人头肩目标与原队列中的行人头肩对象中心的欧氏距离：

跟踪队列Track_List＝{R_i|i＝1,2,...,n}；

原队列Old_Detected_List＝{R_i|i＝1,2,...,n}

欧氏距离

其中，点(x_i,y_i)为行人矩形框R_i的中心，点(x′_j,y′_j)为行人矩形框R_j的中心；如果欧氏距离小于D，其中D为随机选取行人头肩样本的平均宽度，则新检测到的行人头肩目标替换原队列Old_Detected_List＝{R_i|i＝1,2,...,n}中的对象，并把该对象加入跟踪队列Track_List＝{R_i|i＝1,2,...,n}；如果新检测到的行人头肩目标没有在原队列中找到替换对象，则加入原队列，且其时间约束器置为0；如果原队列中的对象在此帧中没有得到更新，该对象的时间约束器加1，并用跟踪队列中的对象对其进行替换更新；

如果队列中存在对象的时间约束器大于15，即连续15帧没有得到更新，则默认该对象消失或者不在感兴趣区域内，并把它从检测队列和跟踪队列中踢出，人数计数器n加1，并且记录该对象存在检测队列中的时间，即个人停留时间TS_i；

步骤7：基于色调约束进行meanShift跟踪，计算检测到的行人头肩目标包络矩形内行人头部的色调，剔除包络矩形中的背景部分色调，并计算直方图,根据该色调直方图计算检测到行人头肩目标的直方图反向投影，然后根据meanShift对跟踪队列中的对象进行跟踪，更新跟踪队列中对象的位置信息；

步骤8：计算特定区域人气指数，具体如下：由用户设定统计时间和检测区域面积，根据步骤6中跟踪算法计算出的个人停留时间和人数，并推导出该区域人气指数：

其中λ为人气指数，n为人数，TS_i为个人停留时间，S为检测区域的面积，t为统计时间，η为常数。

所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤1中的正样本数据集构建方法为：采用最小矩形窗口，随机提取至少一段视频图像中的行人头肩样本NP张；负样本数据集构建方法为：随机提取至少一段视频中不包含行人头部的图像NN张。

所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于正样本数据集构建方法与负样本数据集构建方法中的视频相同或不同。

所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤2中的提取样本的HOG特征过程为：HOG特征的块尺寸选择8*8像素，步长为4像素，胞元cell的尺寸为4*4，直方图bin区间选择9个，相邻的2*2胞元cell进行块内归一化；串联所有cell特征向量构成样本的HOG特征。

所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤7中跟踪具体为：计算检测到的行人头肩目标包络矩形内行人头部的色调，剔除包络矩形中的背景部分色调，并计算直方图,根据该色调直方图计算检测到行人头肩目标的直方图反向投影，然后根据meanShift对跟踪队列中的对象进行跟踪，更新对象的位置信息。

所述的基于区域定义的人流量与人气指数检测方法所用的检测系统，其特征在于包括IP网络摄像头、路由器、图像视频处理机和数据库服务器，IP网络摄像头与路由器的输入端连接，路由器的输出端与图像视频处理机的输入端连接，图像视频处理机的输出端连接行人跟踪模块和行人检测模块，行人跟踪模块和行人检测模块连接人气指数计算系统模块，人气指数计算系统模块连接用户界面模块，图像视频处理机、用户界面模块和数据库服务器相连接，路由器把IP网络摄像头拍摄的视频流传给图像视频处理机；行人检测模块和行人跟踪模块在图像视频处理机的控制下保持运行；数据库服务器存储数据并连接图像视频处理机；人气指数计算系统模块计算从数据库服务器和图像视频处理机获取数据计算人气指数；将计算结果通过用户界面显示，本发明的图像视频处理机内置计算机视觉与图像处理模块，计算机视觉与图像处理模块对图像进行执行控制。

所述的基于区域定义的人流量与人气指数检测方法所用的检测系统，其特征在于所述IP网络摄像头为若干台，每台IP网络摄像头以倾斜角度为45-60度固定在检测区域的斜上方，用于实时拍摄该区域内的人流量视频。

通过采用上述技术，与现有技术相比，本发明的有益效果如下：

本发明利用计算机视觉技术和SVM对行人的头和肩膀的检测，并利用色调-饱和度直方图对单个行人在感兴趣区域内实现快速的检测和跟踪，统计该区域的行人数量并得到单个行人在定义区域内停留的时间，结合单位时间内的人数和感兴趣区域的面积计算该区域的人气指数，本发明的方法提高了行人检测和跟踪的正确率，并且利用计算机视觉技术计算基于区域定义的人气指数，是一项极具有广泛商业价值的工程。

附图说明

图1为本发明的人流量与人气指数检测系统的结构示意图；

图2为本发明的样本HOG信息提取的示意图。

图中：1-IP网络摄像头，2-路由器，3-图像视频处理机，4-行人检测模块，5-行人跟踪模块，6-数据库服务器，7-人气指数计算系统，8-用户界面。

具体实施方式

下面结合说明书附图对本发明作进一步说明，应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1和图2所示，本发明的一种基于区域定义的人流量与人气指数检测系统，由IP网络摄像头1、路由器2、图像视频处理机3和数据库服务器4构成；IP网络摄像头1与路由器2的输入端连接，路由器2的输出端与图像视频处理机3的输入端连接，图像视频处理机3的输出端连接行人跟踪模块4和行人检测模块5，行人跟踪模块4和行人检测模块5连接人气指数计算系统模块7，人气指数计算系统模块7连接用户界面模块8，图像视频处理机3、用户界面模块8和数据库服务器4相连接；所述IP网络摄像头1为若干台，每台IP网络摄像头1以倾斜角度为45-60度固定在检测区域的斜上方，用于实时拍摄该区域内的人流量视频；路由器2把IP网络摄像头1拍摄的视频流传给图像视频处理机3；行人检测模块4和行人跟踪模块5在图像视频处理机3的控制下保持运行；数据库服务器6存储数据并连接图像视频处理机3；人气指数计算系统模块7计算从数据库服务器6和图像视频处理机3获取数据计算人气指数；将计算结果通过用户界面8(客户端)显示，本发明的图像视频处理机3内置计算机视觉与图像处理模块，计算机视觉与图像处理模块按照本发明检测方法中的步骤对图像进行执行控制。

本发明的一种基于区域定义的人流量与人气指数检测方法，采取如下步骤：

步骤1:构建行人图像的正、负样本数据集，具体为：

步骤1.1：正样本数据集构建方法：采用最小矩形窗口，提取一段视频图像中的行人头肩样本；样本高度为h，宽为w，使得w＝h；在本实施例中，共提取行人头肩正样本2000张，即NP＝2000；

步骤1.2：负样本数据集构建方法:随机选取NN张不包含行人头部的图像，每张图像中随机选择10张w＝h的负样本，宽、高取值与正样本一样；在本实施例中，NN＝500，则负样本数量为5000；

步骤1.3：将所有的正、负样本缩放至宽为32像素、高为32像素的样本图像；

步骤2：基于轮廓信息提取样本图像的HOG特征向量，步骤如下：提取样本的HOG特征，HOG特征的块尺寸选择8*8像素，步长为4像素，胞元cell的尺寸为4*4，直方图bin区间选择9个；相邻的2*2cell进行块内归一化；串联所有cell特征向量构成样本的HOG特征；

步骤4：利用HOG特征向量训练SVM分类器，具体为：将所有缩放过的正、负样本设置标签向量，正样本为1，负样本为-1，每一个样本的HOG特征向量和对应的标签向量输入到SVM中进行训练，得到基于行人头肩轮廓HOG的SVM分类器；

步骤5：利用步骤4训练好的SVM分类器对感兴趣区域内检测行人头肩，，具体为：根据步骤3提取的FG作为感兴趣区域的掩码并利用步骤4训练好的分类器对运动前景区域内的图像检测，识别行人的头肩部分，并用最小包络矩形标记，满足最小包络矩形的长＝宽、并且尺寸小于60(W＝60)像素的包络矩形，加入新检测行人头肩目标的队列New_Detected_List＝{R_i|i＝1,2,...,n}；

步骤6：跟踪行人头肩目标，跟踪队列Track_List＝{R_i|i＝1,2,...,n}；具体为：计算新检测的行人头肩目标与原队列中的行人头肩对象中心的欧氏距离：

其中，点(x_i,y_i)为行人矩形框R_i的中心，点(x′_j,y′_j)为行人矩形框R_j的中心；如果欧氏距离小于D，其中D首先取初始第一帧检测到行人头肩包络矩形的宽度，检测跟踪行人数达到10人后，随后取跟踪到的前10人头肩包络矩形的平均宽度，本发明实施例中D＝40，则新检测行人头肩目标替换原队列Old_Detected_List＝{R_i|i＝1,2,...,n}中的对象，并把该对象加入跟踪队列Track_List＝{R_i|i＝1,2,...,n}；如果新检测的行人头肩目标没有找到原队列中的替换对象，则加入队列，时间约束器置为0；如果原来队列中的对象在此帧中没有得到更新，时间约束器加1；如果队列中对象的时间约束器大于15，则默认该对象消失或者不在感兴趣区域内，并把它从检测队列中踢出；

步骤7：基于色调约束进行meanShift跟踪，具体为：计算检测到的行人头肩目标包络矩形内行人头部的色调，剔除包络矩形中的背景部分色调，并计算直方图,根据该色调直方图计算检测到行人头肩目标的直方图反向投影，然后根据meanShift对跟踪队列中的对象进行跟踪，更新对象的位置信息；

步骤8：所述的计算特定区域人气指数具体如下：由用户设定统计时间和检测区域面积，根据步骤6和步骤7的跟踪算法计算个人停留时间和人数，并推导出该区域人气指数：

其中λ为人气指数，n为人数，S为检测区域的面积，TS_i为个人停留时间，t为统计时间，η为常数；在本实施例中，n＝28,S＝400*270像素, 秒，t＝100秒,η＝10⁶,计算得出λ＝0.116。

实施本发明后，提高了行人检测和跟踪的正确率，并且利用计算机视觉技术计算基于区域定义的人气指数，是一项极具有广泛商业价值的工程。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.一种基于区域定义的人流量与人气指数检测方法，其特征在于包括如下步骤：

步骤2：基于轮廓信息提取步骤1中样本图像的HOG特征向量；

跟踪队列Track_List＝{R_i|i＝1,2,...,n}；

原队列Old_Detected_List＝{R_i|i＝1,2,...,n}

欧氏距离

2.根据权利要求1所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤1中的正样本数据集构建方法为：采用最小矩形窗口，随机提取至少一段视频图像中的行人头肩样本NP张；负样本数据集构建方法为：随机提取至少一段视频中不包含行人头部的图像NN张。

3.根据权利要求2所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于正样本数据集构建方法与负样本数据集构建方法中的视频相同或不同。

4.根据权利要求2所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤2中的提取样本的HOG特征过程为：HOG特征的块尺寸选择8*8像素，步长为4像素，胞元cell的尺寸为4*4，直方图bin区间选择9个，相邻的2*2胞元cell进行块内归一化；串联所有cell特征向量构成样本的HOG特征。

5.根据权利要求1所述的一种基于区域定义的人流量与人气指数检测方法，其特征在于步骤7中跟踪具体为：计算检测到的行人头肩目标包络矩形内行人头部的色调，剔除包络矩形中的背景部分色调，并计算直方图,根据该色调直方图计算检测到行人头肩目标的直方图反向投影，然后根据meanShift对跟踪队列中的对象进行跟踪，更新对象的位置信息。

6.一种基于权利要求1所述的基于区域定义的人流量与人气指数检测方法所用的检测系统，其特征在于包括IP网络摄像头(1)、路由器(2)、图像视频处理机(3)和数据库服务器(4)，IP网络摄像头(1)与路由器(2)的输入端连接，路由器(2)的输出端与图像视频处理机(3)的输入端连接，图像视频处理机(3)的输出端连接行人跟踪模块(4)和行人检测模块(5)，行人跟踪模块(4)和行人检测模块(5)连接人气指数计算系统模块(7)，人气指数计算系统模块(7)连接用户界面模块(8)，图像视频处理机(3)、用户界面模块(8)和数据库服务器(4)相连接，路由器(2)把IP网络摄像头(1)拍摄的视频流传给图像视频处理机(3)；行人检测模块(4)和行人跟踪模块(5)在图像视频处理机(3)的控制下保持运行；数据库服务器(6)存储数据并连接图像视频处理机(3)；人气指数计算系统模块(7)计算从数据库服务器(6)和图像视频处理机(3)获取数据计算人气指数；将计算结果通过用户界面(8)显示。

7.根据权利要求6所述的基于区域定义的人流量与人气指数检测方法所用的检测系统，其特征在于所述IP网络摄像头(1)为若干台，每台IP网络摄像头(1)以倾斜角度为45-60度固定在检测区域的斜上方，用于实时拍摄该区域内的人流量视频。