CN105740819A - 一种基于整数规划的人群密度估计方法 - Google Patents

Abstract

本发明涉及一种基于整数规划的人群密度估计方法，其步骤包括：1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。本发明能够更好的适应复杂场景、高密度、有遮挡场景下的人群密度估计，能够提高检测精度，对不同场景、不同视角、不同物体结构、不同样本大小、部分遮挡等情况都有很好的鲁棒性。

Description

一种基于整数规划的人群密度估计方法

技术领域

本发明涉及一种视频监控技术，属于智能视频监控方法，尤其适合于视频清晰度低、人流量大、个体之前有部分遮挡的情况下的人群的计数和检测。

背景技术

人群密度即单位面积内拥有的人数，不同人群的密度可以反映不同的人群状态，是人群特征的一个重要属性。近年来，人群拥塞引起灾祸数量激增，如果能事前对公共场所的人群状态进行分析、统计，然后据此对人群进行及时合理的疏导，将可以减少灾祸的发生，因此人群密度估计和人数统计对预防群体事件十分重要。现在的人群密度估计研究主要分为两类：一类是通过检测和跟踪个体并计数统计的直接方法；另一类是将人群作为一个整体的研究对象，根据人群特征分析后建立起其与人数的映射关系并实现计数统计的间接方式。相对于间接方式，直接方式更加直观，但是在高密度人群，特别是视野开阔的环境下，其统计准确率较差。相对于直接方式，间接方式在高密度人流及视野开阔环境下的计数准确率更优，但该方法计算模型的复杂度过高、技术准确性及鲁棒性需进一步提高。然而，不管是直接方式还是间接方式，人群密度估计的性能取决于两方面，即目标计数和目标检测。

目标计数即统计目标的总体数目。传统的人群计数方法是通过一些机械装置或传感器实现的，如：红外光束检测、机械传动式自动检测、光幕传感器自动人员计数等。这些方法虽然可以完成一定的技术任务，但是机械装置的性能退化、漏检是严重的问题。近些年，随着计算机视觉的发展，产生了很多基于计算机视觉的人数统计方法，包括背景移除法、信息融合法、纹理统计分析法等。背景移除法在低密度时能获得不错的结果，但是在高密度情况下，由于遮挡和摄像角度问题，结果存在很大误差。纹理统计法虽然能在一定程度上实现高密度情况下的人数统计，但是其计算量大、复杂度高、处理时间长、且在低密度人群计数方面出错率依然比较高。在V.LempitskyandA.Zisserman,“Learningtocountobjectsinimages,”inAdvancesinNeuralInformationProcessingSystems,2010.一文中作者提出了一种基于密度图的人群计数方法。所谓密度图就是建立特征向量与密度值的对应关系，通过特征向量求得每个像素的密度值，从而得到整幅图像的密度图，对密度图进行区域分割，然后整数化密度图便可获得每个区域中的目标数量。这个方法能获得更准确的目标数量，但是却缺少了目标的位置信息。

目标检测即确定视频中物体的位置，并在图像中找到他们的位置边界框。传统的目标检测方法包括帧间差分法、背景减除法和光流法。背景减除法是通过统计前若干帧的变化情况学习背景扰动规律，此类算法由于通常需要缓冲若干帧来学习背景，因此往往需要消耗大量的内存，此外，对于大范围的背景扰动，这类算法的检测效果也不理想。帧间差分法的主要思想是利用视频图像序列中连续两帧或三帧的差异来检测发生运动的区域，这类算法动态性强，能够适应动态背景下的运动目标检测，但是这类算法检测出的目标轮廓非常不理想，目标运动快时目标轮廓被扩大，目标运动慢时可能无法得到目标位置边界。基于光流的运动目标检测算法是利用光流方程计算出每个像素的运动状态矢量，从而发现运动的像素点，并对这些像素点进行追踪，这类算法在相机运动、背景变化时也能检测出运动目标，但是这类算法复杂度高、易受噪声影响、很难做到实时性检测。同时，这几类算法在多角度、高密度、有遮挡的情况下效果也不是很好，而且不能统计目标的数量。在C.Arteta,V.Lempitsky,J.Noble,andA.Zisserman,“Learningtodetectpartiallyoverlappinginstances,”inIEEEConf.ComputerVisionandPatternRecognition,2013,pp.3230–3237.一文中，作者提出了一种既能统计目标数量又能定位目标位置的方法。此方法是以极值区域为基础实施的，在每个极值区域提取底层特征，然后通过SVM的方法预测每个区域的目标数目，已知每个区域的目标数量后通过K-means的方法获得每个个体的位置。这个方法的检测结果明显优于其它检测方法，但是在目标计数方面却不如上文提到的方法。

发明内容

由于现有的人群密度估计方法没能达到同时实现目标检测和目标计数的双重效果，且监控的现实场景存在环境变化、角度变化、目标遮挡以及噪声的影响，使得传统的人群面密度估计方法很难在复杂环境下准确估计高密度情况下的人群密度。本发明的目的是提出在高密度、有遮挡、分辨率低等复杂环境下的人群密度估计方法。

本发明采用的技术方案如下：

一种基于整数规划的人群密度估计方法，包括以下步骤：

1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；

2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；

3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；

4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。

进一步地，步骤1)所述特征提取是提取图像的随机森林特征或者SIFT特征，然后通过Codebook(密码本)和K-means结合的方法进行特征降维，在具体实施时也可以采用传统的PCA(即主成分分析，PrincipalComponentAnalysis)降维的方法。

进一步地，步骤2)所述密度图估计，根据提取的特征向量按下面公式计算每个像素密度的估计值：

$Y(i;\mathrm{\ω})={\mathrm{\ω}}^T{x}_i,\∀i\∈I,$

其中，x_i∈R^K是图像I中第i个像素的特征向量，ω∈R^K是参数向量。由于特征向量是用密码本归一化的向量，所以权重ω_j可以理解为密码j的密度值；然后根据求得的各个像素的密度值，最终获得图像的密度图。

进一步地，步骤3)进行所述目标计数的方法是：

a)根据密度图，利用公式可以求得各个区域中目标数量的近似值，其中w_i是由0、1组成一个二值向量，0表示没有目标，1表示有目标，y是由小数组成的密度图向量；利用整数规划的方法将y整数化，获得由0、1组成的目标计数向量g，0表示没有目标，1表示有目标，利用公式进行目标计数；

b)目标计数的关键是正确的求解向量g，将g的目标函数定义为：

$\begin{array}{c}{g}^{*}=\underset{g\∈R^M}{\arg \min }\underset{j=1}{\overset{L}{\mathrm{\Σ}}}\left|w_j^{T}g-n_j\right|+\mathrm{\α}\left|Z^{T}g-N\right|\\ =\underset{g\∈R^M}{\arg \min }\left|\right|Wg-n|{|}_1+\mathrm{\α}\left|Z^{T}g-N\right|\end{array},$

其中，α是归一化参数，W＝[w₁,...,w_L]^T表示由所有滑动窗口的向量组成的矩阵，L为滑动窗口数，图像给定后W固定不变，计数向量n＝[n₁,....,n_L]^T表示目标数目，表示第j个滑动窗口中目标数目的估计值，N＝Z^Ty表示整幅图像中目标数量的估计值，Z为一个全1矩阵，M表示图像I中的像素数目，R^M表示一个M维空间的空间；最终目标数目为：n＝W^Tg。

进一步地，步骤4)根据已经分割好的密度图和目标计数向量进行目标检测，同时将已经获得的各个区域的目标数目作为约束，提高目标检测的准确率。

与传统的人群密度估计方法相比，本发明采用基于整数规划的人群密度估计方法能同时完成目标计数和目标检测的双重任务。该方法用密度图和整数规划的方法分别实现目标计数和目标检测，更好的适应复杂场景、高密度、有遮挡场景下的人群密度估计，在一定程度上提高了检测精度。同时，本发明的方法对不同场景、不同视角、不同物体结构、不同样本大小、部分遮挡等情况都有很好的鲁棒性。

附图说明

图1是基于整数规划的人群密度估计方法的步骤流程图。

具体实施方案

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

本发明将人群密度估计中的目标计数表示成一个回归问题，将目标定位表示成一个整数规划问题。首先，通过K-means的方法训练一个有K个密码的密码本，利用学习到的密码本量化局部特征，将其归一化为向量x_k∈R^K。其次，建立每个像素的特征向量和其密度值的对应关系，最小化真实密度值和估计密度值得到最优密度图。最后，根据已知密度图，利用整数规划的方法求解每个目标的位置。

本发明针对传统人群密度估计方法未能同时实现目标检测和目标计数以及不适合复杂场景这两个问题，发明了一种基于整数规划的人群密度估计方法，利用学习到的密度图计算各个区域的目标数量，利用带约束的整数规划方法获得每个目标的位置信息。该方法的整体流程如图1所示：首先根据输入的图像或视频帧进行特征提取得到密度图，然后将密度图分成若干个局部区域，在每个区域进行目标计数，在密度图基础上使用带约束的整数规划方法进行目标检测。

1)特征提取

首先，提取图像的随机森林特征。利用K-means的方法学习得到一个有K个密码的密码本，利用这个密码本归一化图像特征向量为向量x_k∈R^K，其中x_k表示某个像素特征向量，k为码本索引表示此像素属于哪个码本，R^K表示一个K维的空间，K表示码本的个数。这样在同一区域中的所有像素就会有相同的像素特征，形成超级像素。

2)密度图估计

密度图估计的实质是为每个像素建立其特征向量到密度值的映射关系，所以映射参数的求解是关键。根据提取的特征向量每个像素密度的估计值可以按下面公式计算：

$Y(i;\mathrm{\ω})={\mathrm{\ω}}^T{x}_i,\∀i\∈I,$

其中，x_i∈R^K是图像I中第i个像素的特征向量，ω∈R^K是参数向量。由于特征向量是用密码本归一化的向量，所以权重ω_j可以理解为密码j的密度值。

根据求得的各个像素的密度值，最终获得图像的密度图。密度图可以很好地反应行人所在的区域，高密度区域目标数量相对也较大，因此，首先对密度图进行分割，然后在高密度区进行目标计数和目标检测。上述分析表明密度图的精确度对后续工作十分重要，研究表明通过最小化图像密度的真实值和估计值间的误差可以获得最优参数向量，因此将密度图估计的目标函数定义为下述形式效果最好：

${\mathrm{\ω}}^{*}=\underset{\mathrm{\ω}}{\mathrm{argmin}}\left|\right|\mathrm{\ω}|{|}^2+\mathrm{\β}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|D\left(Y_j^{*}\right(i),Y_j(i;\mathrm{\ω})|,i\∈M,j\∈N$

其中，ω^*表示参数向量的最优解，表示密度真实值和估计值间的差，表示图像j的第i个像素处的真实密度，Y_j(i；ω)表示图像j的第i个像素的密度估计值，β是一个控制正规化的参数，N表示训练集视频序列中图像的帧数，M表示图像总像素数。

3)目标计数

已知密度图，利用公式可以求得各个区域中目标数量的近似值，其中w_i是由0、1组成一个二值向量，0表示没有目标，1表示有目标，y是由小数组成的密度图向量。因为向量y由小数组成，利用上述公式进行目标计数会产生较大的误差，所以需要利用整数规划的方法将y整数化，获得由0、1组成的目标计数向量g，0表示没有目标，1表示有目标，利用公式进行目标计数。

由此可知，目标计数的关键是正确的求解向量g，本发明将g的目标函数定义为：

$\begin{array}{c}{g}^{*}=\underset{g\∈R^M}{\arg \min }\underset{j=1}{\overset{L}{\mathrm{\Σ}}}\left|w_j^{T}g-n_j\right|+\mathrm{\α}\left|Z^{T}g-N\right|\\ =\underset{g\∈R^M}{\arg \min }\left|\right|Wg-n|{|}_1+\mathrm{\α}\left|Z^{T}g-N\right|\end{array},$

其中，α是归一化参数，W＝[w₁,...,w_L]^T表示由所有滑动窗口的向量组成的矩阵(滑动窗口的大小为目标的平均大小，水平和垂直方向滑动步长固定，依待检测目标大小而定)，L为滑动窗口数，图像给定后W固定不变，计数向量n＝[n₁,....,n_L]^T表示目标数目，表示第j个滑动窗口中目标数目的估计值，N＝Z^Ty表示整幅图像中目标数量的估计值，Z为一个全1矩阵，M表示图像I中的像素数目，R^M表示一个M维空间的空间。

最终目标数目为：n＝W^Tg。

4)目标检测

目标检测即确定视频中物体的位置，并在图像中找到他们的位置边界框。根据已经分割好的密度图和目标计数向量，进行目标检测，同时将已经获得的各个区域的目标数目作为约束，提高检测的准确率。由于噪声，目标间的相互遮挡等问题，本发明将目标检测的目标函数定义为一个代价函数：

$b_{jj}^{*}=b_j+\mathrm{\β}D\left(b_{j,}{b}_{jj}^0\right)$

$b_j=\arg \min \left|\right|\frac{\underset{i\∈\_b_j}{\mathrm{\Σ}}Y(i;\mathrm{\ω})}{n_i}-\mathrm{\γ}\left|\right|$

其中，表示位置l_jj的参照边界框，表示位置l_jj估计所得边界框，b_j表示b_jj所属区域_b_j的均值位置边界框，n_i表示区域_b_j的目标数，表示估计均值所得边界框和参照边界框的差异，i表示区域_b_j中的像素，β控制权重，γ表示目标密度值(一般为0.8～1之间，越大边界框越紧)。

本发明特征提取过程使用了随机森林特征，然后通过Codebook(密码本)和K-means结合的方法进行特征降维，在具体实施时也可以采用传统的PCA降维的方法，如果不进行降维直接通过用提取的特征学习密度图系统的实时性会相对较差。同时，也可以用SIFT(Scale-InvariantFeatureTransform)特征代替随机森林特征，研究表明效果相当，不过当进行行人检测时随机森林特征会优于SIFT特征。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于整数规划的人群密度估计方法，其特征在于，包括以下步骤：

1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；

2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；

3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；

4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。

2.如权利要求1所述的方法，其特征在于：步骤1)所述特征提取是提取图像的随机森林特征或者SIFT特征，然后利用K-means的方法学习得到有K个密码的密码本，利用该密码本归一化图像特征向量为向量x_k∈R^K，其中x_k表示某个像素特征向量，k为码本索引表示此像素属于哪个码本，R^K表示一个K维的空间，K表示码本的个数，这样在同一区域中的所有像素有相同的像素特征，形成超级像素。

3.如权利要求1所述的方法，其特征在于：步骤1)所述特征提取是提取图像的随机森林特征或者SIFT特征，然后利用PCA方法进行特征降维。

4.如权利要求1所述的方法，其特征在于：步骤2)所述密度图估计，根据提取的特征向量按下面公式计算每个像素密度的估计值：

$Y(i;\mathrm{\ω})={\mathrm{\ω}}^T{x}_i,\∀i\∈I,$

其中，x_i∈R^K是图像I中第i个像素的特征向量，ω∈R^K是参数向量；由于特征向量是用密码本归一化的向量，所以权重ω_j可以理解为密码j的密度值；然后根据求得的各个像素的密度值，最终获得图像的密度图。

5.如权利要求4所述的方法，其特征在于，所述密度图估计的目标函数定义为下述形式：

${\mathrm{\ω}}^{*}=\underset{\mathrm{\ω}}{\arg min}\left|\right|\mathrm{\ω}|{|}^2+\mathrm{\β}\underset{j=1}{\overset{N}{\Σ}}\underset{i=1}{\overset{M}{\Σ}}|D\left(Y_j^{*}\right(i),Y_j(i;\mathrm{\ω})|,i\∈M,j\∈N,$

其中，ω^*表示参数向量的最优解，表示密度真实值和估计值间的差，表示图像j的第i个像素处的真实密度，Y_j(i；ω)表示图像j的第i个像素的密度估计值，β是一个控制正规化的参数，N表示训练集视频序列中图像的帧数，M表示图像总像素数。

6.如权利要求5所述的方法，其特征在于，步骤3)进行所述目标计数的方法是：

a)根据密度图，利用公式可以求得各个区域中目标数量的近似值，其中w_i是由0、1组成一个二值向量，0表示没有目标，1表示有目标，y是由小数组成的密度图向量；利用整数规划的方法将y整数化，获得由0、1组成的目标计数向量g，0表示没有目标，1表示有目标，利用公式进行目标计数；

b)目标计数的关键是正确的求解向量g，将g的目标函数定义为：

$\begin{array}{c}{g}^{*}=\underset{g\∈R^M}{\arg \min }\underset{j=1}{\overset{L}{\Σ}}\left|w_j^{T}g-n_j\right|+\mathrm{\α}\left|Z^{T}g-N\right|\\ =\underset{g\∈R^M}{\arg \min }\left|\right|Wg-n|{|}_1+\mathrm{\α}\left|Z^{T}g-N\right|\end{array},$

其中，α是归一化参数，W＝[w₁,...,w_L]^T表示由所有滑动窗口的向量组成的矩阵，L为滑动窗口数，图像给定后W固定不变，计数向量n＝[n₁,....,n_L]^T表示目标数目，表示第j个滑动窗口中目标数目的估计值，N＝Z^Ty表示整幅图像中目标数量的估计值，Z为一个全1矩阵，M表示图像I中的像素数目，R^M表示一个M维空间的空间；最终目标数目为：n＝W^Tg。

7.如权利要求1所述的方法，其特征在于：步骤4)根据已经分割好的密度图和目标计数向量进行目标检测，同时将已经获得的各个区域的目标数目作为约束，提高目标检测的准确率。

8.如权利要求7所述的方法，其特征在于：步骤4)将目标检测的目标函数定义为一个代价函数：

$b_{jj}^{*}=b_j+\mathrm{\β}D\left(b_{j,}{b}_{jj}^0\right),$

$b_j=\arg \min \left|\right|\frac{\underset{i\∈\_b_j}{\Σ}Y(i;\mathrm{\ω})}{n_i}-\mathrm{\γ}\left|\right|,$

其中，表示位置l_jj的参照边界框，表示位置l_jj估计所得边界框，b_j表示b_jj所属区域_b_j的均值位置边界框，n_i表示区域_b_j的目标数，表示估计所得均值边界框和参照边界框的差异，i表示区域_b_j中的像素，β控制权重，γ表示目标密度值。

9.如权利要求8所述的方法，其特征在于：所述目标密度值γ的取值范围是0.8～1，取值越大边界框越紧。