CN102509151A - 一种基于视频处理的人群密度与分布的估计方法 - Google Patents

Abstract

一种计算机视频处理技术领域的基于视频处理的人群密度与分布的估计方法，尤其适合于流动的中高密度等级的人群。包括步骤为：利用三维Hessian矩阵检测稀疏特征点；基于时空域局部二进制模式的动态纹理提取；基于傅里叶变换的谱分析；基于支持向量机的人群密度总体估计；通过将频值映射到jet色图中并进行高斯平滑，得到基于光谱的局部人群密度显示。本发明通过提取图像的稀疏时空局部二进制动态纹理特征，并基于时空域的对称性，提取了一种视频空时特征，提高了鲁棒性减少了计算量，更适合大规模运动人群的估计。

Description

一种基于视频处理的人群密度与分布的估计方法

技术领域

本发明涉及计算机视频处理技术领域，具体为一种基于视频处理的人群密度与分布的估计方法，尤其适合大规模运动人群的估计。

背景技术

随着人口的不断增多和城市化大范围的推进，由于人群密度过大而造成人员伤亡的事情屡见不鲜。一系列重大事故的发生使得如何对某些场所的人群进行有效管理以保证人群安全成为一个亟待解决的问题。如：2004年在圣城麦加附近米纳(Mina)举行的“破魂”仪式上发生人群冲撞骚动，导致至少244人被践踏致死；2009年世界杯预选赛的踩踏事件等。传统的人群密度估计通过监控场景的闭路电视进行人工监控，费时费力且缺乏客观性。随着计算机和图像处理技术的发展和广泛应用，智能化的人群密度监控系统成为人们研究的重点。

传统的密度估计方法中，Davies和Chow提出了基于像素统计的图像处理方法来判断人群密度，该方法主要通过背景减的方法来提取前景人群占据的空间大小，以及运用边缘提取的方法检测人群对象的边缘长度，通过这两类特征对人群密度进行估计。这种方法较为简单，计算量小，当人群密度较低的时候效果较好，但是当人群密度较高时，由于人群遮挡严重会导致结果误差很大。1998年，Marana提出了一种基于纹理分析技术的人群密度估计方法，该方法的依据是不同密度的人群图像对应的纹理模式不同。高密度的人群在纹理上表现为细模式，而低密度的人群图像在背景图像为低频的同时在纹理上表现为粗模式。基于纹理分析的密度估计方法可以解决高密度人群密度问题，但是算法计算量较大，特征量较多，并且当背景较复杂时，对中低密度人群估计的误差较大。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种基于视频处理的人群密度与分布的估计方法，该方法基于人群是运动的假设，提出了一种基于时空局部二进制模式的动态纹理分析方法。相比上述现有技术，该动态纹理结合了时域和空域的特征属性。实验证明，这种估计方法在不同密度等级上都有很好的表现。除此之外，由于该方法不依赖于个别人体的检测与追踪，所以不需要复杂的背景建模。因此，该方法在大规模人群估计上有很好的鲁棒性和效率。

本发明是通过以下技术方案实现的，包括以下几个步骤：

第一步：对图像帧利用三维Hessian矩阵检测稀疏特征点。

$H\left(I\right)=\left[\begin{array}{ccc}\frac{{\∂}^{2}I}{{\∂x}^2}& \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{\∂x\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{{\∂y}^2}& \frac{{\∂}^{2}I}{\∂y\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂t}& \frac{{\∂}^{2}I}{\∂y\∂t}& \frac{{\∂}^{2}I}{{\∂t}^2}\end{array}\right]$

其中，

是指x方向的二阶偏导数，

是指在x方向和时间t方向上的混合二阶偏导数，其他因素同此理。这种三维Hessian矩阵的实现一般是通过将图像序列和高斯滤波器进行卷积。为了简化运算，本发明可以将时间域和空间域进行分离，这样

可以用

进行估计。

为方差为

的二维高斯核，

为方差为

的一维高斯核。其他因素可以类似计算。本发明可以通过调整方差的大小来控制时间和空间上的尺度。

第二步：基于时空局部二进制模式的动态纹理提取。

局部二值模式(Local Binary Pattern，LBP)是将邻域作为一个处理单元，以中心像素灰度作为阈值，与该像素邻域中的其他像素对比，如果大于中心像素的灰度，则对应邻域像素置为1，否则置0，得到0、1交替的二进制序列，为每一个元素分配一个权重因子2ⁱ，LBP算子从一个二进制序列转换为一个确切的十进制数即为中心像素的LBP特征。

本发明提出了时空局部二进制模式，利用时空局部二进制模式计算出检测出的特征点的二进制序列，为下一步的谱分析做准备。

第三步：对第二步得到的稀疏特征点的二进制序列做谱分析.

将特征点处得到的二进制序列进行傅里叶变换，根据主频和副频的幅值相加得到一个频值。其中，人群流量大的地方变化大，其相应的二进制波形变化快，所得到的频值也大。

第四步：基于支持向量机的人群密度总体估计。

人群特征向量与人群密度之间的关系是一个典型的回归问题，而支持向量机(SVM)是一种解决非线性回归问题的有效工具。传统的决策函数方程为：

$f\left(\stackrel{\‾}{x}\right)=\left(\mathrm{sign}\right)(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}K(\stackrel{\‾}{x_i},\stackrel{\‾}{x})+b)$

其中，

为支持向量。本发明采用高斯径向基函数(radial basis function，RBF)作为核函数。考虑到计算复杂性和特征向量的性质，本发明采用“一对一”多类分类算法。对一个K类分类问题(K＞2)，“一对一”多类分类算法对其中任意两类训练样本构造一个支持向量机的子分类器，所有不同的两类组合共构成k(k-1)/2个子分类器。根据最大化策略预测人群的密度等级。

本发明还进一步包含第五步：基于光谱的局部人群密度显示步骤，即将第三步中得到的频值映射到jet色图中，并对整幅图像进行高斯平滑得到光谱的局部人群密度显示。

本发明上述方法中，运用三维Hessian矩阵检测特征点，被检测出的特征点时空变化大，大部分特征点都在位于人群所在地方，且计算量小，效率高。

本发明上述方法中，运用稀疏时空局部二进制模式进行计算，将时域考虑进去，得到二进制序列后不按一般LBP那样转换成十进制数值，而要进行谱分析。

本发明上述方法中，将第二步得到的二进制序列进行傅里叶变换得到频值，将频值进行直方图分布，得到图像的特征向量，将特征向量用支持向量机做训练学习，得到相关参数就可对图像的密度等级进行预测。

与现有技术相比，本发明的有益效果在于：1)利用三维Hessian矩阵检测出稀疏特征点，计算量小，效率高；2)计算稀疏特征点的时空局部二进制序列值，计算量小且充分考虑到了时间域空间域的对称性及变化，准确率高；3)不仅能用SVM给出整幅图像的密度等级，也能用光谱显示出局部密度分布图。综上，本发明在各个密度等级上都有较好的结果，且计算量小，不需要复杂的背景建模，其不仅能够判别整幅图像的密度等级，也能显示出人群密度的分布图，为人群异常行为的预警提供了便利。

附图说明

图1为本发明实施例的总流程框图。

图2为利用三维Hessian矩阵检测稀疏特征点流程图。

图3为(a)原图，(b)检测出的特征点图。

图4为LBP序列计算框图。

图5为不同区域LBP序列的谱特征。

图6为不同密度等级下的局部人群密度分布光谱图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施采用的图像帧来自数据集PETS2009(IEEE International Workshop on PerformanceEvaluation of Tracking and Surveillance)中的人群密度和流动估计序列。

本实施例涉及的基于时空局部二值模式的人群密度与分布的估计方法，总流程如图1所示，包括如下具体步骤：

第一步：利用三维Hessian矩阵检测稀疏特征点，如图2所示。

$H\left(I\right)=\left[\begin{array}{ccc}\frac{{\∂}^{2}I}{{\∂x}^2}& \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{\∂x\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{{\∂y}^2}& \frac{{\∂}^{2}I}{\∂y\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂t}& \frac{{\∂}^{2}I}{\∂y\∂t}& \frac{{\∂}^{2}I}{{\∂t}^2}\end{array}\right]$

其中，

是指x方向的二阶偏导数，

是指在x方向和时间t方向上的混合二阶偏导数，其他因素同此理。这种三维Hessian矩阵的实现一般是通过将图像序列和高斯滤波器进行卷积。为了简化运算，可以将时间域和空间域进行分离，这样

可以用

进行估计。

为方差为

的二维高斯核，为方差为

的一维高斯核。其他因素可以类似计算。本实施例可以通过调整方差的大小来控制时间和空间上的尺度。本实施例中取

当其三维Hessian矩阵的行列式值大于门限值时，该点被选为稀疏特征点。一般来说这些点都在人群运动变化大的地方。检测结果如图3所示，本实施例将检测点放大标示出来以便观察。

第二步：基于稀疏时空局部二进制模式的动态纹理提取。

取特征点前后共5帧，以每帧特征点为中心，取相邻的8个像素点，和特征点像素值做比较，大于特征点的像素灰度，则对应邻域像素置为1，否则置0，按照两种旋转顺序得到两个0、1交替的二进制序列。顺序一：先在每帧图像内进行旋转排列，然后整体5帧前后相接进行沿圆柱形的旋转排列。顺序二：先把5帧图像的对应点进行排列，然后再进行“之”字旋转排列。

如图4所示，给出检测出的特征点，沿着圆柱形以R为半径计算出其时空域中的相邻点。中间帧的中间点代表特征点，中间点的周围代表空间域上特征点的相邻点，其他点则是特征点在前后两帧的相邻点。将这些点与特征点处的像素值做比较，如果大于特征点处的像素灰度，则对应邻域像素置为1，否则置0，沿着圆柱形环绕进行排列得到0、1交替的二进制序列。

为满足时间和空间的对称性，根据不同的合理旋转顺序可以得到不同的二进制序列，为谱分析做准备。

第三步：谱分析。

如图5所示，可以看出不同区域LBP序列的变化快慢不一样，人群密度大的地方变化快，人群密度小的地方变化慢。根据这一特征，可以将其傅里叶变换的频值与其人群密度联系起来。将特征点得到的两个二进制序列进行傅里叶变换，根据主频和第一副频的幅值相加得到两个序列对应的频值，取两个频值中较小的一个。

第四步：基于支持向量机的人群密度总体估计。

将每帧图像内的特征点频值进行直方图分布排列。直方图的区间设为9个，每个区间内的特征点个数为一个特征值，则每帧图像可得到9个特征值。标定1000帧图像，人群密度等级分为4个，分别为：自由人流，限制人流，密集人流，堵塞人流。将标定好的每帧图像的9个特征值利用支持向量机进行训练。然后利用训练得到的相关参数对人群密度等级进行预测。

第五步：基于光谱的局部人群密度显示。

将第三步中得到的频值映射到jet色图中，并对整幅图像进行高斯平滑得到光谱的局部人群密度显示。本实施例中平滑窗口大小为39*39。如图6所示，可以看到不同密度等级下的局部人群密度分布光谱图，根据光谱图，可以看出人群密度的分布情况。

通过实验证明，本实施例较之以前方法能很好的进行人群密度估计。基于像素统计的人群密度分析方法和基于纹理分析的人群密度分析方法都需要完美的背景提取，而这在实时监控中是难以实现的。而本文中基于LBP的算法不需要背景提取，并在所有密度等级上都表现良好。

Claims (7)

1.一种基于视频处理的人群密度与分布的估计方法，其特征在于，包括以下步骤：

第一步：对图像帧利用三维Hessian矩阵检测稀疏特征点；

第二步：基于稀疏时空局部二进制模式的动态纹理提取，利用时空局部二进制模式计算出检测出的稀疏特征点的二进制序列；

第三步：对第二步得到的稀疏特征点的二进制序列做谱分析；

第四步：基于支持向量机的人群密度总体估计。

2.根据权利要求1所述的基于视频处理的人群密度与分布的估计方法，其特征在于，第一步中，所述对图像帧利用三维Hessian矩阵检测稀疏特征点，是指：

$H\left(I\right)=\left[\begin{array}{ccc}\frac{{\∂}^{2}I}{{\∂x}^2}& \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{\∂x\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{{\∂y}^2}& \frac{{\∂}^{2}I}{\∂y\∂t}\\ \frac{{\∂}^{2}I}{\∂x\∂t}& \frac{{\∂}^{2}I}{\∂y\∂t}& \frac{{\∂}^{2}I}{{\∂t}^2}\end{array}\right]$

其中，

是指x方向的二阶偏导数，

是指在x方向和时间t方向上的混合二阶偏导数，其他因素同此理，三维Hessian矩阵的实现是通过将图像序列和高斯滤波器进行卷积。

3.根据权利要求2所述的基于视频处理的人群密度与分布的估计方法，其特征在于，将时间域和空间域进行分离，

用

进行估计，

为方差为

的二维高斯核，为方差为

的一维高斯核，通过调整方差的大小来控制时间和空间上的尺度。

4.根据权利要求1-3任一项所述的基于视频处理的人群密度与分布的估计方法，其特征在于，所述基于稀疏时空局部二进制模式的动态纹理提取，是指：

根据检测出的特征点，沿着圆柱形以R为半径计算出其时空域中的相邻点，将相邻点与特征点处的像素值做比较，如果大于特征点处的像素灰度，则对应邻域像素置为1，否则置0，沿着圆柱形环绕进行排列得到0、1交替的二进制序列，为满足时间和空间的对称性，根据不同的合理旋转顺序得到不同的二进制序列，为谱分析做准备。

5.根据权利要求1-3任一项所述的基于视频处理的人群密度与分布的估计方法，其特征在于，所述对第二步得到的稀疏特征点的二进制序列做谱分析，是指：

将特征点处得到的二进制序列进行傅里叶变换，根据主频和副频的幅值相加得到一个频值，其中，人群流量大的地方变化大，其相应的二进制波形变化快，所得到的频值也大。

6.根据权利要求1-3任一项所述的基于视频处理的人群密度与分布的估计方法，其特征在于，所述基于支持向量机的人群密度总体估计，是指：

采用高斯径向基函数作为核函数，采用“一对一”多类分类算法，对一个K类分类问题，K＞2，“一对一”多类分类算法对其中任意两类训练样本构造一个支持向量机的子分类器，所有不同的两类组合共构成k(k-1)/2个子分类器，根据最大化策略预测人群的密度等级。

7.根据权利要求1所述的基于视频处理的人群密度与分布的估计方法，其特征在于，进一步包括基于光谱的局部人群密度显示，即将第三步中得到的频值映射到jet色图中，并对整幅图像进行高斯平滑得到光谱的局部人群密度显示。

Images