CN105184245A - 一种多特征融合的人群密度估计方法 - Google Patents

Abstract

本发明公开一种多特征融合的人群密度估计方法，包括：提取基于KLT跟踪的轨迹段数目特征；对现存的人群密度估计算法的特征，包括GLCM纹理分析特征、像素统计特征，再和轨迹段数目特征在不同场景下进行实验对比，找到对人群密度估计最适合的特征组合：GLCM纹理特征+像素统计特征+轨迹段数目特征。提取出训练集视频帧的轨迹段数目特征、像素统计特征和纹理特征，送入线性回归模型中训练，得到的模型，计算出测试视频帧中行人的数目。本发明将基于KLT跟踪的轨迹段数目作为人群密度估计的特征，并将其应用到线性回归模型，和现有的基于个体目标的人群密度估计算法相比，复杂度低，准确率高。

Description

一种多特征融合的人群密度估计方法

技术领域

本发明涉及视频分析中人群密度估计方法，更具体的，涉及一种多特征融合的人群密度估计方法，该方法提取了基于KLT跟踪的轨迹段数目作为人群密度估计的新特征，并将提取的新特征与其它特征相融合，对人群密度进行估计。

背景技术

在很多公共场合，由于人群密度过高而产生灾难。为减少公共安全事件的发生，开发一套实时监控各种公共场合的人群密度的智能系统是非常重要和急迫的。

2001年，Lin发表文章提出新的人群密度估计算法，该算法首先利用Haar小波变换和头部特征的结合提取目标，进而将检测的物体特征放入支持向量机SVM分类器进行分类判断是否为人类头部，最后通过计算检测出来的头部数目来做人群数目统计，该算法在人群密度小的场景下准确率比较高。2003年，Zhao和Nevatia在CVPR上发表一篇文章，首次介绍基于3D模型匹配的人群密度估计算法，该算法在无遮挡的情况下还是可行的，但是其复杂度高、耗时且在遮挡情况下无法匹配等一系列问题注定了其在当时无法广泛应用开来。2005年，Leibe同样在CVPR上发表文章提出基于全局特征和局部特征结合的人群密度估计，该算法很好地解决了Lin和Zhao等人算法的缺陷，成功在人群遮挡的情况下很好地检测出行人，但是由于其算法耗时大，复杂度高，无法实时监控而缺乏应用性。随后，Rabaud和Belongie2006年在CVPR上发表一篇文章，该文章利用KLT跟踪算法和聚类算法结合的方法对人群密度进行估计，但是却被固定人群所限制。

在实际应用中，对每个个体进行识别分割的方法其实是非常不可取的，不仅容易错检漏检，而且对个体精确分割常常导致整个算法复杂度高而失去应用性。Chen在2007年提出团块的概念，通过模糊检测的方法降低检测的难度，再在块中具体做人头检测，由论文中图所示，改算法利用人头数目来计算人群密度。

虽然团块的应用大大减少了算法的复杂程度和提高检测准确度，但是在人群密集或者遮挡的场景下还是会表现其不足。Kilambi在2008年提出了利用最小化函数来估计人群密度，但是该算法只能估计人群密度的等级而无法精确计算。

现存的研究往往都是在全局中应用单一回归模型，把特征向量映射成行人数量来进行人群密度估计。由于摄像头与被拍摄场景有视觉差原因，图像中距离较远的物体面积比较小，而距离较近的物体面积比较大，所以存在透视效应。这种方法重点在于前景像素，边缘特征，与KLT跟踪轨迹段数目特征的提取，摄像头远近比例过度依赖透视归一化处理，处理不得当即会带来严重的影响。

发明内容

本发明的目的是为了克服现有技术的不足，提出一种克服了单一依靠透视归一化带来的局限性的多特征融合的人群密度估计方法。

本发明的目的通过以下的技术方案实现：

一种多特征融合的人群密度估计方法，包括以下步骤：

(1)对每一帧进行透视归一化处理，并将每一帧分块。

(2)计算出基于KLT跟踪的轨迹段数目特征。所用KLT追踪，是用仿射运动建立个体目标运动模型，即J(AX+d)＝I(X)，其中A是变形矩阵，d是偏移向量，且A＝I+D，I是单位矩阵，D为零矩阵，即A＝I，J(X+d)＝I(X)；是像素点的坐标，I(X)是像素点X的像素值，若干个像素点的像素值组成一幅图像；J(X)是I(X)通过AX+d变换后像素点X的像素值，再最小化式子ε＝∫∫_W[J(AX+d)-I(X)]²ω(X)dX，得到提取轨迹段所用模型Zd＝e，W是特征窗口，ω(X)是加权函数，最简单的情况是ω(X)＝1，令其等于高斯函数；其中：

$e=\∫{\∫}_W\[I\left(X\right)-J\left(X\right)\]\left[\begin{array}{c}{g}_x\\ g_y\end{array}\right]\mathrm{\ω}\left(X\right)dX,$

$Z=g\left(X\right)g^T\left(X\right)=\left[\begin{array}{cc}{g}_x^2& g_x{g}_y\\ g_x{g}_y& g_y^2\end{array}\right],$

$g\left(X\right)={\[\frac{\∂}{\∂x}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\frac{\∂}{\∂y}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\]}^T,$

采用模型Zd＝e计算出了每一个特征窗口中心点的位移d，得到了一系列的轨迹段，计算出轨迹段的数目，作为人群密度估计的特征，其中丢弃少于等于5帧的轨迹段。

(3)采用高斯混合GMM算法进行运动前景检测，采用Canny算法提取边缘，计算出视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征。

(4)人群特征的比较选择；对现存的人群密度估计算法的特征，前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征，和步骤(1)中提出的轨迹段数目特征，在不同场景下进行实验对比，找到对人群密度估计最适合的特征组合：GLCM纹理特征+像素统计特征+轨迹段数目特征。

(5)将轨迹段数目特征、像素统计特征和纹理特征融合，放在不同的回归模型中训练，找到最适合的回归模型。通过实验证明线性回归模型能取得最好的效果。

本发明是提取出一种新的个体目标特征，并将其与现有的像素统计特征，纹理特征相融合，并在此基础上提出将视频帧分块提取特征，再将特征合成一个字典后进行统一回归，从而更好地进行人群密度估计，克服了单一依靠透视归一化带来的局限性。该方法比现有方法准确率提高了15％。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提出的基于KLT跟踪的轨迹段数目特征，相对于其他特征维度较低，所以算法复杂度低。

2、本发明相对于复杂度也较低的GLCM纹理特征，在平均平方误差下降了7.6％，平均偏离误差下降了9.4％。

3、本发明将轨迹段数目特征、像素统计特征和GLCM纹理特征融合，克服了单特征情况下的缺陷，也比目前常用的像素统计和GLCM纹理两个特征融合的效果好很多，平均偏离误差下降了15.45％。

4、本发明将提出的将视频帧分块的算法，比未分块的算法准确率提升了9.2％。

附图说明

图1为本发明的操作流程图。

图2为UCSD数据集示意图。

图3为mall数据集示意图。

图4为本发明提出的基于KLT跟踪的轨迹段数目与行人数量关系图。

图5为一个目标行人的轨迹段示意图。

图6为基于分块的人群密度估计算法的流程图。

图7为多特征融合示意图。

图8基于分块特征的实验对比图。

图9为人群密度估计效果图。

具体实施方式

下面结合实例和附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

图1给出了本发明的操作过程，如图1所示，一种多特征融合的人群密度估计，包括以下步骤：

(1)收集UCSD行人数据集，这个数据集是加州大学圣地亚哥分校UCSD计算机视觉实验室在校园内布的固定数字摄像头，录制了一个小时的视频帧。视频背景是在校园走道，视频中最小人数为11人，最多人数有46人。原视频分辨率为740*480，帧率为30fps，经过降低采样该数据集是分辨率为238*158、帧率为10fps的视频。本实施例采用视频中前2000帧图像，前2000帧只有行人，并且已经人工标定了视频中实际人数，如图2为UCSD数据集示意图。本实施例用第601-1400帧共800帧图像作为训练集，而剩下的作为测试数据集。

(2)收集mall数据集，mall数据集是通过公共监控视频在某大型超市内部，经过两个月的时间拍摄的视频，视频分辨率为320*240，帧率小于2fps，最小人数是13人，而最大人数达到了53人。如图3为mall数据集示意图。用前800帧作为训练集，而剩下作为测试集。

(3)设置三个实验衡量指标，平均绝对误差mae，平均平方误差mse平均偏离误差mde。

(4)对图像进行透视归一化处理，即利用线性插值处理的思想对图像进行透视归一化校正；该算法流程为：

(4a)、在图像中划出一个四边形区域abcd，该区域为行人数目统计区域。

(4b)、先对区域内第一个行人和最后一个行人进行标记，算出ab，cd的长度和参照行人高度h₁和h₂。

(4c)、在线上像素点的权重设置为1，而在线上像素点的权重设置为

(4d)、其他在abcd区域内的像素点权重按照1和之间之间的值做线性插值。

(5)用KLT跟踪法，对视频中的个体目标进行跟踪。对UCSD数据集和mall数据集训练样本的视频帧进行窗口划分，其步骤如下：

(5a)、图像I划分为n*s块，这些区域不能相互重叠，再将每一块划分成m*r个窗口，这些窗口也不相互重叠，记为W_k(k＝1,2…m*r)。

(5b)、对每个窗口W_k，按照下式计算出它的梯度矩阵Z：

$Z=g\left(X\right)g^T\left(X\right)=\left[\begin{array}{cc}{g}_x^2& g_x{g}_y\\ g_x{g}_y& g_y^2\end{array}\right]$

其中 $g\left(X\right)={\[\frac{\∂}{\∂x}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\frac{\∂}{\∂y}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\]}^T.$

(5c)、提取特征窗口：设在步骤(5b)中计算的梯度矩阵Z的两个特征值分别为λ₁、λ₂，并且满足λ₁<λ₂，那么λ₁，λ₂就是对图像的这个窗口的纹理特征的表示，有这样三种情况，第一种情况：当λ₁和λ₂都很小，则说明了图像的窗口的灰度分布比较恒定；第二种情况：当λ₁很小但λ₂很大，则说明了图像的窗口的纹理模式不定向。第三种情况：当λ₁和λ₂都很大，则说明了图像窗口中的纹理模式适用于角点以及其它被可靠跟踪。

(5d)、特征窗口的选取：筛选的目标是选择被称为好的特征值，即这些特征窗口应该具有这样的纹理模式：能够被可靠的跟踪，这里给定一个阈值λ，若满足如下的式子：min(λ₁，λ₂)>λ，则保留这个特征窗口，否则丢弃这个特征窗口。

使用上述步骤(5d)提取的用于KLT追踪的特征窗口，再利用模型Zd＝e，可以求出每相邻帧的偏移量。其中， $e=\&Integral;{\&Integral;}_W\&lsqb;I\left(X\right)-J\left(X\right)\&rsqb;\left[\begin{array}{c}{g}_x\\ g_y\end{array}\right]\mathrm{\&omega;}\left(X\right)dX,$ Z是梯度矩阵(见步骤5(b))，d是偏移向量。KLT追踪至没有符合要求的特征值、特征点之间的像素小于4像素或者由于闭塞等原因而停止。所以形成了一系列的轨迹段，如图6所示例子。本发明在选取特征时去掉上述过程中追踪少于5帧的轨迹段。将提取出的轨迹段数目特征送入回归模型中训练，再用测试集的对其进行测试，得到表1的结果。

表1轨迹段数目特征实验结果

(6)人群密度估计方法特征的选取：利用高斯混合模型提取出前景，计算出前景像素统计特征，并选择合适的像素统计特征，在UCSD和mall两个数据集上将训练集的特征送入回归模型中训练，再用测试集的视频对其进行测试，得到如表1所示的结果。计算出前景像素的GLCM纹理特征和LBP纹理特征，以同样的方法进行实验，实验结果如表2所示。实现结果表明，GLCM纹理特征只是简单提取齐次性、能量和熵，效果并不是很突出，LBP特征却在mae、mse、mde均比像素统计特征要好，但是由于其复杂度过高(特征维度达到59维)，而且纹理特征在光照变换的时候影响较大，故本发明不采用LBP特征。最终本发明选取GLCM纹理特征，前景面积和前景边缘相结合的像素统计特征。再将轨迹段数目特征与GLCM纹理特征，前景面积和前景边缘特征相融合，作为人群密度估计的特征。实验结果如表4所示。

表2像素统计特征实验结果

表3纹理特征实验结果

表4多特征融合的实验结果

(7)把视频帧进行分块提取特征，将特征合成一个字典后再统一回归，从而更好地进行人群密度估计，克服了单一依靠透视归一化带来的局限性。基于分块的人群密度估计算法的流程图如图6所示。本发明将图像分成3*3块区域对区域内分别提取的像素统计特征，纹理特征和基于KLT跟踪轨迹段数目特征，然后按照块顺利合成一个特征集如图7所示。图8是基于分块特征的人群密度估计算法在UCSD、mall两个数据集上的测试结果，并且与单一用全局特征的模型的实验对比。实验结果如图8所示，可以看出，基于分块的算法使得平均准确率提升了9.2％。

(8)把上述步骤(7)中合成的字典放到线性回归模型中进行训练。并在得到的模型中做预测，计算出每一帧的行人数目。实验结果如图9所示，其中图9(a)实际人数为27，估计27，准确率100％；图9(b)实际人数44，估计43，准确率97％；图9(c)为mall数据集中第801-2000帧预测与实际人数的曲线图，带三角形的曲线为Ground，未带三角形的曲线为估计值。从定性的角度来看，预测值和实际值的区别很小，证明了本文算法的有效性。

以上所述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种多特征融合的人群密度估计方法，其特征在于，包括以下步骤：

(1)视频采集；

(2)特征的提取；采用KLT跟踪法对采集的视频中的个体目标进行跟踪，计算出基于KLT跟踪的轨迹段数目特征；对采集的视频进行运动信息前景的检测，提取边缘信息，计算出视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征；

(3)将轨迹段数目特征、像素统计特征和GLCM纹理分析特征融合，应用到线性回归模型中进行训练得到训练模型；

(4)根据训练模型，检测出待测视频帧中行人的数目。

2.根据权利要求1所述的多特征融合的人群密度估计方法，其特征在于，所述步骤(2)中的KLT跟踪法，是用仿射运动建立个体目标运动模型，即J(AX+d)＝I(X)，其中A是变形矩阵，d是偏移向量，且A＝I+D，I是单位矩阵，D为零矩阵，即A＝I，J(X+d)＝I(X)；是像素点的坐标，I(X)是像素点X的像素值，若干个像素点的像素值组成一幅图像；J(X)是I(X)通过AX+d变换后像素点X的像素值，再最小化式子ε＝∫∫_W[J(AX+d)－I(X)]²ω(X)dX，得到提取轨迹段所用模型Zd＝e，W是特征窗口，ω(X)是加权函数，其中：

$e=\&Integral;{\&Integral;}_W\&lsqb;I\left(X\right)-J\left(X\right)\&rsqb;\left[\begin{array}{c}{g}_x\\ g_y\end{array}\right]\mathrm{\&omega;}\left(X\right)dX,$

$Z=g\left(X\right)g^T\left(X\right)=\left[\begin{array}{cc}{g}_x^2& g_x{g}_y\\ g_x{g}_y& g_y^2\end{array}\right],$

$g\left(X\right)={\&lsqb;\frac{\&part;}{\&part;x}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\frac{\&part;}{\&part;y}\left(\frac{I\left(X\right)+J\left(X\right)}{2}\right)\&rsqb;}^T,$

采用模型Zd＝e计算出了每一个特征窗口中心点的位移d，得到了一系列的轨迹段，计算出轨迹段的数目。

3.根据权利要求1所述的多特征融合的人群密度估计方法，其特征在于，所述步骤(3)中，采用高斯混合GMM算法进行运动前景检测，采用Canny算法提取边缘。

4.根据权利要求1所述的多特征融合的人群密度估计方法，其特征在于，在步骤(1)采集视频后，还对视频进行归一化处理，对归一化处理后的视频帧进行分块，再提取出每个块的轨迹段数目特征、像素统计特征和GLCM纹理分析特征，再将其组合在一个大字典里，放入线性回归模型中训练。