CN106203513B - 一种基于行人头肩多目标检测及跟踪的统计方法 - Google Patents

Abstract

本发明涉及一种基于行人头肩多目标检测及跟踪的统计方法，它先构建行人头肩图像正、负样本数据集，提取其HOG特征向量，利用混合高斯模型提取运动前景，并把前景的最小包络矩形作为检测区域，利用多尺度滑动窗口和训练好的SVM分类器检测行人头肩目标，初始化目标匹配矩阵为零矩阵，初始化行人统计计数器、统计经过区域的目标人数，对于跟踪队列TraList中的目标，如果目标中心位置在跟踪区域外，则删除该目标，更新行人统计计数器。本发明利用计算机视觉技术对特定区域的人流量进行统计，用于行人统计，解决了传统行人统计效率低，准确率低的问题，提升了行人统计数字化和智能化水平，是一项能带来经济效益和社会安全的多赢工程，适用于多种室内室外场景。

Description

一种基于行人头肩多目标检测及跟踪的统计方法

技术领域

本发明属于智能监控技术领域，具体是一种基于行人头肩多目标检测及跟踪的统计方法，它利用计算机视觉技术对特定区域的人流量进行统计。

背景技术

目前行人统计具有广泛的商业应用，例如车站，旅游景点，展区，商业街等。利用统计人数的数据，可以有效的进行人员调动，资源配置以及提供更好的安全保障。除了传统的人工计数外，目前常见的行人统计方法主要有机械传闸门方式，红外线感应计数方式以及计算机视觉方式。闸门和红外线感应计数由于受制于硬件条件，只适用于人流量较少的室内环境且依赖于用于计数的设备。计算机视觉方式具有简单，相对成本较低，适用场景广泛等特点，本发明提出的一种基于行人头肩多目标检测及跟踪的统计方法利用计算机视觉技术，能够满足对多种场景下的行人流量统计。目前与本发明较为接近的技术方案包括：发明专利(公布号：CN 103473554 A，名称：人流统计系统及方法)采用正上方单一影像摄取单元，利用光流法得到行人的速度信息并计算每一帧行人经过检测线的距离，取平均作为切片厚度，然后根据累积的切片还原行人的完整拼图，最后利用线性回归分析统计处拼图内的人数，该方法对检测线上下进行行人统计，避免了行人的遮挡问题；发明专利(公布号：CN103824114 A，名称：一种基于截面流量统计的行人流量计数方法和系统)通过在视频中设置一条行人流量带，并分割成若干个截面计数块，提取人群的有效运动像素特征，梯度像素特征，利用SVM对截面流量计数快进行人数预测，该方法能快速统计行人，在行人运动方向比较规律的环境中有着较高的准确率；发明专利(公布号：CN 103049787 A，名称：一种基于头肩特征的人数统计方法和系统)通过检测行人头肩信息更新行人跟踪列表中目标，该方法能很好地适应监控图像的特征，从而提高人数统计的准确率。

综上所述，当前人流量统计技术方案中存在如下不足：(1)采用垂直往下拍摄的摄像机统计行人人数，一般只适用于室内环境；(2)在行人运动方向比较复杂的环境中，截面计数块的有效运动像素块可能会互相干扰，造成行人计数准确率低；(3)由于行人体态的非刚性，环境噪声以及行人运动过程中的遮挡问题，并不能每帧都能检测到跟踪的目标，容易造成目标跟踪丢失；

发明内容

为解决现有方法中存在的上述问题，本发明提出一种基于行人头肩多目标检测及跟踪的统计方法。

所述的一种基于行人头肩多目标检测及跟踪的统计方法，其特征在于包括如下步骤：

步骤1：构建行人头肩图像正、负样本数据集，并将构建的所有正、负样本缩放至宽为32像素、高为32像素的样本图像；

步骤2：提取步骤1中所有正、负样本的HOG特征向量，并对正、负样本设置标签，正样本为1，负样本为-1，利用所有样本的HOG特征向量以及标签，对线性SVM分类器训练，得到一个能检测行人头肩的SVM分类器；

步骤3：利用混合高斯模型提取运动前景，并把前景的最小包络矩形作为检测区域，记作FG_i区域，i为每帧图像中检测区域的标号，i＝1,2,…,n；

步骤4：利用多尺度滑动窗口和步骤2中训练好的SVM分类器，检测步骤3的FG_i区域中的行人头肩目标，并加入检测队列其中表示第t时刻的第i个目标的行人头肩；

步骤5：初始化目标匹配矩阵M(i,j)为零矩阵，初始化行人统计计数器PredCount＝0，其中i表示当前检测队列中的行人头肩目标的编号，作为矩阵的行编号，j表示上一帧检测队列中的行人头肩目标的编号，作为矩阵的列编号；如果前后两帧之间目标关系满足：

则与为同一个目标并把矩阵中目标所在的行和列标记为1,f表示计算目标面积的函数，T表示重合面积百分比阈值，表示取两个目标区域的重叠部分；

步骤6：对于步骤5中目标匹配矩阵M(i,j)，矩阵元素值为0的行号表示当前图像新出现的目标；值为0的列号表示当前图像消失的目标；对于连续三帧被匹配的目标确定为跟踪目标，加入跟踪队列

步骤7：利用步骤4中新检测到的目标匹配跟踪队列 如果满足公式(1)，则跟踪队列中的目标被新目标替换；否则，使用基于均值感知哈希粒子滤波对其跟踪，具体为：

步骤7.1：缩小尺寸，使用双线性内插法快速去除图片中的高频和细节，保留低频部分，将目标图片缩小到8*8的尺寸，一共64个像素；

步骤7.2：将8*8的图片转成灰度图；

步骤7.3：计算掩码指示的48个有效像素的灰度平均值；

步骤7.4：计算跟踪目标的hash值；

其中，公式(2)表示缩小图片中的有效像素，G(x,y)表示图像在(x,y)处的灰度值，公式(3)E表示8*8行人头肩有效掩码；公式(4)表示有效像素的平均灰度值，表示行人头肩的有效像素；由公式(5)计算hash矩阵串连得到跟踪目标的hash值，AVG表示所有有效像素的平均灰度值；h(x,y)表示hash矩阵在(x,y)处的值；

步骤7.5：计算跟踪目标模型与预测粒子目标模型的相似度：

其中，d表示海明距离，h_I表示跟踪模型的hash值，h_k表示预测目标的hash值，π⁽ⁿ⁾表示预测粒子目标的权值，sum表示统计哈希码中值不为0的个数；

步骤7.6：使用蒙特卡罗方法选择权值较高的粒子，更新跟踪目标的位置和大小；

步骤8：统计经过区域的目标人数，对于跟踪队列TraList中的目标，如果目标中心位置在跟踪区域外，则删除该目标，更新行人统计计数器：PredCount＝PredCount+1。

本发明的有益效果为：用于行人统计，适用于多种室内室外场景，解决了传统行人统计效率低，准确率低的问题，提升了行人统计数字化和智能化水平，是一项可以带来经济效益和社会安全的多赢工程。

附图说明

图1为行人头肩检测算法总体流程图；

图2为滑动窗口检测算法示意图；

图3为跟踪算法总体流程图。

具体实施方式

下面结合附图对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1-3所示，本发明的一种基于行人头肩多目标检测及跟踪的统计方法具体采取了如下步骤：

图1是根据本发明的实施例的行人头肩检测算法流程图，步骤1-4为本实施例中的检测部分。

如图1所示，根据本发明实施例的行人头肩检测算法流程图，行人头肩检测算法分为训练步骤和检测步骤。

步骤1：构建行人头肩图像正、负样本数据集，选取正样本1000张，负样本2000张，并将所有的正、负样本缩放至宽为32像素、高为32像素的样本图像；

步骤2：提取步骤1中所有正、负样本的HOG特征，HOG特征的块尺寸选择8*8像素，步长为4像素，胞元cell的尺寸为4*4，直方图bin区间选择9个；相邻的2*2cell进行块内归一化；串联所有cell特征向量构成样本的HOG特征；对每个正、负样本设置标签，正样本为1，负样本为-1，利用所有样本的HOG特征以及标签，对线性SVM分类器训练，得到一个可以检测行人头肩的SVM分类器；

步骤3：利用混合高斯模型提取运动前景，并把前景的最小包络矩形作为检测区域，记作FG_i，i为每帧图像中检测区域的标号，i＝1,2,…,n，所述的混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，然后使用统计差分(如3σ原则)进行目标像素判断，可以对复杂动态背景进行建模；

步骤4：利用多尺度滑动窗口和步骤2中训练好的行人头肩SVM分类器，检测FG区域中的行人头肩目标，并加入检测队列其中表示第t时刻的第i个目标的行人头肩，图2为本实施例中的滑动窗口检测示意图；

步骤5：初始化目标匹配矩阵M(i,j)为零矩阵，初始化行人统计计数器PredCount＝0，其中i表示当前检测队列中的行人头肩目标的编号，作为矩阵的行编号，j表示上一帧检测队列中的行人头肩目标的编号，作为矩阵的列编号；如果前后两帧之间目标关系满足：

则与为同一个目标并把矩阵中目标所在的行和列标记为1,f表示计算目标面积的函数，T表示重合面积百分比阈值，T＝0.85，表示取两个目标区域的重叠部分；

步骤6：对于步骤5中目标匹配矩阵M(i,j)，矩阵元素值为0的行号表示当前图像新出现的目标；值为0的列号表示当前图像消失的目标；对于连续三帧被匹配的目标确定为跟踪目标，加入跟踪队列

步骤7：利用步骤4中新检测到的目标匹配跟踪队列 如果满足公式(1)，则跟踪队列中的目标被新目标替换；否则，使用基于均值感知哈希粒子滤波对其跟踪，即采用均值感知哈希和粒子滤波相结合，均值感知哈希是图像的一个特征，主要是图像的低频部分，基于这个特征结合粒子滤波跟踪框架，对目标进行跟踪，具体为：

步骤7.1：缩小尺寸，使用双线性内插法快速去除图片中的高频和细节，保留低频部分，将目标图片缩小到8*8的尺寸，一共64个像素；

步骤7.2：将8*8的图片转成灰度图；

步骤7.3：计算掩码指示的48个有效像素的灰度平均值；

步骤7.4：计算跟踪目标的hash值；

其中，公式(2)表示缩小图片中的有效像素，G(x,y)表示图像在(x,y)处的灰度值，公式(3)的E表示8*8行人头肩有效掩码；公式(4)表示有效像素的平均灰度值，表示行人头肩的有效像素；由公式(5)计算hash矩阵串连得到跟踪目标的hash值，AVG表示所有有效像素的平均灰度值；h(x,y)表示hash矩阵在(x,y)处的值；

步骤7.5：计算跟踪目标模型与预测粒子目标模型的相似度：

其中，d表示海明距离，h_I表示跟踪模型的hash值，h_k表示预测目标的hash值，π⁽ⁿ⁾表示预测粒子目标的权值，sum表示统计哈希码中值不为0的个数；

步骤7.6：使用蒙特卡罗方法选择权值较高的粒子，更新跟踪目标的位置和大小；

步骤8：统计经过区域的目标人数，对于跟踪队列TraList中的目标，如果目标中心位置在跟踪区域外，则删除该目标，更新行人统计计数器：PredCount＝PredCount+1。

实施本发明后，用于行人统计，适用于多种室内室外场景，解决了传统行人统计效率低，准确率低的问题，提升了行人统计数字化和智能化水平，是一项可以带来经济效益和社会安全的多赢工程。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于行人头肩多目标检测及跟踪的统计方法，其特征在于包括如下步骤：

步骤1：构建行人头肩图像正、负样本数据集，并将构建的所有正、负样本缩放至宽为32像素、高为32像素的样本图像；

步骤2：提取步骤1中所有正、负样本的HOG特征向量，并对正、负样本设置标签，正样本为1，负样本为-1，利用所有样本的HOG特征向量以及标签，对线性SVM分类器训练，得到一个能检测行人头肩的SVM分类器；

步骤3：利用混合高斯模型提取运动前景，并把前景的最小包络矩形作为检测区域，记作FG_i区域，i为每帧图像中检测区域的标号，i＝1,2,…,n；

步骤4：利用多尺度滑动窗口和步骤2中训练好的SVM分类器，检测步骤3的FG_i区域中的行人头肩目标，并加入检测队列其中表示第t时刻的第i个目标的行人头肩；

步骤5：初始化目标匹配矩阵M(i,j)为零矩阵，初始化行人统计计数器PredCount＝0，其中i表示当前检测队列中的行人头肩目标的编号，作为矩阵的行编号，j表示上一帧检测队列中的行人头肩目标的编号，作为矩阵的列编号；如果前后两帧之间目标关系满足：

则与为同一个目标并把矩阵中目标所在的行和列标记为1,f表示计算目标面积的函数，T表示重合面积百分比阈值，表示取两个目标区域的重叠部分；

步骤6：对于步骤5中目标匹配矩阵M(i,j)，矩阵元素值为0的行号表示当前图像新出现的目标；值为0的列号表示当前图像消失的目标；对于连续三帧被匹配的目标确定为跟踪目标，加入跟踪队列

步骤7：利用步骤4中新检测到的目标匹配跟踪队列 如果满足公式(1)，则跟踪队列中的目标被新目标替换；否则，使用基于均值感知哈希粒子滤波对其跟踪，并更新跟踪目标的位置和大小。

2.根据权利要求1所述的一种基于行人头肩多目标检测及跟踪的统计方法，其特征在于步骤7中的使用基于均值感知哈希粒子滤波对其跟踪具体为：

步骤7.1：缩小尺寸，使用双线性内插法快速去除图片中的高频和细节，保留低频部分，将目标图片缩小到8*8的尺寸，一共64个像素；

步骤7.2：将8*8的图片转成灰度图；

步骤7.3：计算掩码指示的48个有效像素的灰度平均值；

步骤7.4：计算跟踪目标的hash值；

其中，公式(2)表示缩小图片中的有效像素，G(x,y)表示图像在(x,y)处的灰度值，公式(3)E表示8*8行人头肩有效掩码；公式(4)表示有效像素的平均灰度值，表示行人头肩的有效像素；由公式(5)计算hash矩阵串连得到跟踪目标的hash值，AVG表示所有有效像素的平均灰度值；h(x,y)表示hash矩阵在(x,y)处的值；

步骤7.5：计算跟踪目标模型与预测粒子目标模型的相似度：

其中，d表示海明距离，h_I表示跟踪模型的hash值，h_k表示预测目标的hash值，π⁽ⁿ⁾表示预测粒子目标的权值，sum表示统计哈希码中值不为0的个数；

步骤7.6：使用蒙特卡罗方法选择权值较高的粒子，更新跟踪目标的位置和大小。