CN106203331A - 一种基于卷积神经网络的人群密度估算方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人群密度估算方法，包括：步骤S1，建立训练样本集；步骤S2，构建基于Mixed‑Pooling的卷积神经网络模型；步骤S3，训练卷积神经网络模型：采用随机梯度下降法对步骤S2中构建的卷积神经网络模型进行迭代训练，每迭代一次检测一次梯度以及损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络模型；步骤S4，人群密度估计检测：将通过步骤S3获得的关于远近两个分区的卷积神经网络分类模型，按照新的检测分类策略对整体区域的人群密度进行估计。本发明克服了复杂场景背景干扰以及行人遮挡等问题，实现了对场景中人群密度的准确估计。

Description

一种基于卷积神经网络的人群密度估算方法

技术领域

本发明涉及人群密度估计方法，尤其涉及一种基于Mixed-Pooling的卷积神经网络的人群密度估计方法。

背景技术

近年来，随着经济水平的快速发展，人们的生活水平逐步提高，越来越多的人们会在假期选择出游，造成各个风景区游览人数的剧烈增长，同时由于人群过于拥挤而带来的安全隐患越发明显，发生的安全事故也越来越多。因此，如何使用计算机视觉等技术对人群进行智能监控及时做出预警，并采取有效的措施，对于保障社会稳定和人民生命财产安全具有重大意义。目前人群密度估计方法主要分为两种方式：

1、基于行人检测的方法：目前采用基于行人检测的方法对人群密度进行估计，其首先在于对于人群中的每一个个体进行检测，然后对其计数从而获得人群密度。Dollar等人(Dalal N，Triggs B。Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，2005。CVPR 2005。IEEE Computer SocietyConference on。IEEE，2005，1：886-893。)首先采用HOG(Histograms of OrientedGradients)进行特征提取，然后利用SVM分类器训练正负样本。Stefan Walk等人(Walk S，Majer N，Schindler K，et al。New features and insights for pedestrian detection[C]//Computer vision and pattern recognition(CVPR)，2010IEEE conference on。IEEE，2010：1030-1037。)利用HOG和CSS(color self similarity)联合提取特征，然后利用HIK SVM分类器进行正负样本分类器的训练。Dollar等人(Dollár P，Tu Z，Perona P，etal。Integral channel features[J]。2009。)提出了积分通道特征，通过对输入图像做各种线性和非线性的变换，诸如局部求和、直方图、harr-like以及它们的变种之类的特征便可以通过积分图来快速计算出来，然后利用分类器进行训练出检测模型。Shanshan Zhang等人(Zhang S，Benenson R，Schiele B。Filtered channel features for pedestriandetection[C]//Computer Vision and Pattern Recognition(CVPR)，2015IEEEConference on。IEEE，2015：1751-1760。)提出了一种棋盘式的滤波器(Checkboard)。滤波器形状包含一系列简单的形状，如单个正方形、各种可能的水平和竖直方向的梯度(±1)、棋盘形状等。滤波器的大小4*4，4*3，3*3，2*2等(单位为cell)，每一种类型对应的滤波器数目为61，39，25，7。

2、直接对人群密度估计：采用直接对人群密度估计的方法都是直接将其看为一个整体直接进行特征提取和分类。Anthnoy C。Davies等人(Davies A C，Yin J H，Velastin SA。Crowd monitoring using image processing[J]。Electronics&CommunicationEngineering Journal，1995，7(1)：37-47。)提出使用背景去除以及对静态人群的边缘检测同时利用光流场对动态的人群进行密度估计。Marana等人(Marana A N，Velastin S A，Costa L F，et al。Automatic estimation of crowd density using texture[J]。SafetyScience，1998，28(3)：165-175。)提出通过获取图片基于灰度共生矩阵(Gary LevelDependence Matrix，GLDM)的纹理信息，然后将提取的纹理特征利用自组织神经网络训练分类器，从而实现对人群密度的估计。HuangYang(Yang H，Su H，Zheng S，et al。Thelarge-scale crowd density estimation based on sparse spatiotemporal localbinary pattern[C]//Multimedia and Expo(ICME)，2011IEEE InternationalConference on。IEEE，2011：1-6。)等人提出使用稀疏时空局部二进制模式(sparsespatiotemporal local binary pattern，SST-LBP)算子来提取人群的动态纹理特征，然后利用SVM对其进行训练分类器，实现对人群密度的估计分级。Wenhua Ma等人提出了一种灵活的人群密度估计方法，方法提出第一步先将输入图片分成不同的patch小块，然后根据每个小块的纹理特征划定密度分级标签，最后利用局部信息来对整体区域人群密度进行估计分类。Min Fu(Fu M，Xu P，Li X，et al。Fast crowd density estimation withconvolutional neural networks[J]。Engineering Applications of ArtificialIntelligence，2015，43：81-88。)等人提出基于卷积神经网络的人群密度估计方法，并采用了Multi-Stage的训练方案。针对过去的人群密度估计研究方法，其中利用行人检测的方案中，难以应付人群过于密集带来的人与人之间个体的遮挡，并且对大密度的人群进行每个个体的检测所需的时间也非常长。而在直接对人群进行估计的方案中，其很难做到针对多个背景复杂的场景进行密度估计，其准确不能达到特别理想的状态，并且采用大部分采用人工提取特征的方法，其较为繁琐。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于卷积神经网络的人群密度估算方法，用以克服复杂场景背景干扰以及行人遮挡等问题，进而实现对场景中人群密度的准确估计。

为解决上述技术问题，本发明采用如下技术方案。

一种基于卷积神经网络的人群密度估算方法，其包括有如下步骤：步骤S1，建立训练样本集：获取视频监控帧图像，对所获取的图像进行多种预处理，同时采用人工方式确定图像范围内的人群数量；步骤S2，构建基于Mixed-Pooling的卷积神经网络模型：卷积神经网络模型包含两个卷积层、两个Mixed-Pooling层、两个全连接层、两个ReLU层以及Dropout层；步骤S3，训练卷积神经网络模型：初始化后，采用随机梯度下降法对步骤S2中构建的卷积神经网络模型进行迭代训练，每迭代一次检测一次梯度以及损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络模型；步骤S4，人群密度估计检测：将通过步骤S3获得的关于远近两个分区的卷积神经网络分类模型，按照检测分类策略对整体区域的人群密度进行估计。

优选地，所述步骤S1包括如下步骤：步骤S10，首先划定场景的兴趣区域，然后针对监控帧图像中不动景部分添加Mask处理，并按照行人所占像素与区域面积比相等的原则进行远近分块，然后采用人工方式分别确定远近两块区域的人数，将两个区域按照规定的人数范围分为五个级别：非常稀疏、稀疏、中等密度、密集、非常密集；步骤S11，对所有样本图片进行去噪图像增强预处理，然后将图像大小统一为256*144，利用所有训练图像的均值对图像进行归一化处理。

优选地，所述步骤S2中：卷积层与池化层交替链接，并将ReLU层连接于卷积层顶端，在最后一个池化层后依次连接两个全连接层，并利用Dropout层防止其训练过拟合；卷积层中：每个卷积层的特征映射图都可以使用多个卷积核，通过对前一层得到的特征映射图进行卷积操作，然后组合得出；池化层中：池化层中输出的N个特征图谱与其输入的N个特征图谱相对应。

优选地，所述步骤S3中，卷积神经网络模型训练方法包括两个阶段：第一阶段是前向传播阶段，训练样本经过预处理直接输入到网络的数据层，经过网络中各种隐含层进行逐层变换、逐层映射，直到输出层；第二阶段是反向传播阶段，用带有标签的原始数据进一步对整个卷积神经网络参数进行监督优化。

优选地，所述步骤S4中，人群密度估计检测过程中，首先将获取的监控视频按照场景情况对不动景部分添加Mask掩模，然后利用按照远近分别训练得到的密度估计分类器，对两区域进行分别检测。

本发明公开的基于卷积神经网络的人群密度估算方法，其首先通过监控摄像头获取监控视频的帧图像，之后根据场景情况不同对周边不动景添加Mask区域，然后将人群监控区域按照远近分为两个分块，其次采用Mixed-Pooling作为卷积神经网络中的池化层，利用大量经过预处理的图片，通过设计好的卷积神经网络对远近两个分块分别进行训练分类模型，最后利用提出的分类检测策略对整体区域人群密度进行估计。相比现有技术而言，本发明较好地克服了复杂场景背景干扰以及行人遮挡等问题，实现了对场景中人群密度的准确估计。

附图说明

图1为本发明人群密度估算方法的主程序流程图。

图2为针对训练样本的分块过程示意图。

图3为构建卷积神经网络模型过程示意图。

具体实施方式

下面结合附图和实施例对本发明作更加详细的描述。

本发明公开了一种基于卷积神经网络的人群密度估算方法，结合图1至图3所示，其包括有如下步骤：

步骤S1，建立训练样本集：获取视频监控帧图像，对所获取的图像进行多种预处理，同时采用人工方式确定图像范围内的人群数量；

步骤S2，构建基于Mixed-Pooling的卷积神经网络模型：卷积神经网络模型包含两个卷积层、两个Mixed-Pooling层、两个全连接层、两个ReLU层以及Dropout层；

步骤S3，训练卷积神经网络模型：初始化后，采用随机梯度下降(SGD)法对步骤S2中构建的卷积神经网络模型进行迭代训练，每迭代一次检测一次梯度以及损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络模型；

步骤S4，人群密度估计检测：将通过步骤S3获得的关于远近两个分区的卷积神经网络分类模型，按照检测分类策略对整体区域的人群密度进行估计。

进一步地，所述步骤S1包括如下步骤S10和S11：

步骤S10，首先划定场景的兴趣区域，然后针对监控帧图像中不动景部分添加Mask处理，并按照行人所占像素与区域面积比相等的原则进行远近分块，然后采用人工方式分别确定远近两块区域的人数，将两个区域按照规定的人数范围分为五个级别：非常稀疏(very low)、稀疏(low)、中等密度(middle)、密集(high)、非常密集(very high)；

该步骤S10中，进行远近两个区域的分块后，其按照如下公式确定分界位置：

$\frac{s1+s3}{(AB+EF)*h1}=\frac{s2+s3}{(CD+EF)*h2}$

$s3=s1+\frac{s2-s1}{h}*h1$

h＝h1+h2

$EF=AB+\frac{(CD-AB)*h1}{h1+h2}$

其中，AB和CD是场景边界处最近端与最远端的长度，二者可通过测量得出，S1和S2表示同一行人处于近端和远端时所占的像素大小，h表示场景区域的高度，EF为需要确定的分界线位置，S3表示行人在EF处所占像素大小，通过对远近两个区域进行人工计数，确定区域内最大容纳人数N。

步骤S11，对所有样本图片进行去噪图像增强预处理，然后将图像大小统一为256*144，利用所有训练图像的均值对图像进行归一化处理。

作为一种优选方式，所述步骤S2中：卷积层与池化层交替链接，并将ReLU层连接于卷积层顶端，在最后一个池化层后依次连接两个全连接层，并利用Dropout层防止其训练过拟合；卷积层中：每个卷积层的特征映射图都可以使用多个卷积核，通过对前一层得到的特征映射图进行卷积操作，然后组合得出；

池化层中：池化层中输出的N个特征图谱与其输入的N个特征图谱相对应。进一步地，对同一级的卷积层中进行卷积操作时会存在重复卷积的部分，因此获得的特征映射图中会存在一定的冗余信息，对前一层的特征映射图采取下采样(池化)操作可以迅速降低特征映射的维度，减少数据量，并去除其中的重叠信息，同时池化层中输出的N个特征图谱与其输入的N个特征图谱相对应，只是经过其操作后的特征映射图都会变小。

作为一种优选方式，在该步骤S2中，卷积神经网络结构中采用池化层，其中池化层常用的池化方法为Max-Pooling和Average-Pooling，该两种池化方法如下公式：

其中，y_kij表示根据第kth个特征映射图进行池化操作后的输出结果，x_kpq表示在卷积核覆盖的区域(p,q)内的特征映射图的特征元素值；

Mixed-Pooling表示为：

y_kij＝λave-pooling+(1-λ)max-pooling

其中，λ为随机取值，其值可取0或1。

作为一种优选方式，所述步骤S3中，卷积神经网络模型训练方法包括两个阶段：

第一阶段是前向传播阶段，训练样本经过预处理直接输入到网络的数据层，经过网络中各种隐含层进行逐层变换、逐层映射，直到输出层；

第二阶段是反向传播阶段，用带有标签的原始数据进一步对整个卷积神经网络参数进行监督优化。反向传播过程包括：在卷积神经网络训练的反向传播过程中进行权值更新，由i到i+1次，卷积层更新神经元权值如以下公式：

$w(i+1)=w\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂w\left(t\right)}$

下采样层神经元更新权值为：

$\mathrm{\β}(i+1)=\mathrm{\β}\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂\mathrm{\β}\left(i\right)}$

其中，α表示卷积神经网络训练设定的学习速率，E表示在多分类问题中，存在c类共N个训练样本时的平方误差代价函数，如以下公式：

$E=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2$

其中：表示第n个样本对应的标签的第k维，表示第n个样本对应的网络输出的第k个输出。而网络训练过程就是要让最后得到的误差代价函数的值尽可能小，通过极小化误差反向传播调整权值矩阵，不断循环直到得到最佳值。

作为一种优选方式，所述步骤S4中，人群密度估计检测过程中，首先将获取的监控视频按照场景情况对不动景部分添加Mask掩模，然后利用按照远近分别训练得到的密度估计分类器，对两区域进行分别检测。

该步骤S4中，将通过步骤S3获得的关于远近两个分区的卷积神经网络分类模型按照提出的新的检测分类策略对整体区域的人群密度进行估计。其中，分类策略如下：

1、将整个区域人群密度分为3个级别：high，middle，low，然后将其按照远近比例划分为两个区域，并将其分别划分为五个级别：very high、high、middle、low、very low。

2、将W设置成整个区域的密度估计结果，C1和C2设置成远近两个区域的密度估计结果。

本发明公开的基于卷积神经网络的人群密度估算方法，通过使用Mixed-Pooling对卷积神经网络的特征提取进行优化，降低了环境等干扰因素造成对分类识别准确性的影响，同时利用所提出的分类策略来降低识别误差，进而提高了整个区域人群密度估计的准确性。

以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。

Claims (8)

1.一种基于卷积神经网络的人群密度估算方法，其特征在于，包括有如下步骤：

步骤S1，建立训练样本集：获取视频监控帧图像，对所获取的图像进行多种预处理，同时采用人工方式确定图像范围内的人群数量；

步骤S2，构建基于Mixed-Pooling的卷积神经网络模型：卷积神经网络模型包含两个卷积层、两个Mixed-Pooling层、两个全连接层、两个ReLU层以及Dropout层；

步骤S3，训练卷积神经网络模型：初始化后，采用随机梯度下降法对步骤S2中构建的卷积神经网络模型进行迭代训练，每迭代一次检测一次梯度以及损失函数的值，以获得网络模型结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络模型；

步骤S4，人群密度估计检测：将通过步骤S3获得的关于远近两个分区的卷积神经网络分类模型，按照检测分类策略对整体区域的人群密度进行估计。

2.如权利要求1所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S1包括如下步骤：

步骤S10，首先划定场景的兴趣区域，然后针对监控帧图像中不动景部分添加Mask处理，并按照行人所占像素与区域面积比相等的原则进行远近分块，然后采用人工方式分别确定远近两块区域的人数，将两个区域按照规定的人数范围分为五个级别：非常稀疏、稀疏、中等密度、密集、非常密集；

步骤S11，对所有样本图片进行去噪图像增强预处理，然后将图像大小统一为256*144，利用所有训练图像的均值对图像进行归一化处理。

3.如权利要求2所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S10中，进行远近两个区域的分块后，其按照如下公式确定分界位置：

$\frac{s1+s3}{(AB+EF)*h1}=\frac{s2+s3}{(CD+EF)*h2}$

$s3=s1+\frac{s2-s1}{h}*h1$

h＝h1+h2

$EF=AB+\frac{(CD-AB)*h1}{h1+h2}$

其中，AB和CD是场景边界处最近端与最远端的长度，二者可通过测量得出，S1和S2表示同一行人处于近端和远端时所占的像素大小，h表示场景区域的高度，EF为需要确定的分界线位置，S3表示行人在EF处所占像素大小，通过对远近两个区域进行人工计数，确定区域内最大容纳人数N。

4.如权利要求1所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S2中：

卷积层与池化层交替链接，并将ReLU层连接于卷积层顶端，在最后一个池化层后依次连接两个全连接层，并利用Dropout层防止其训练过拟合；

卷积层中：每个卷积层的特征映射图都可以使用多个卷积核，通过对前一层得到的特征映射图进行卷积操作，然后组合得出；

池化层中：池化层中输出的N个特征图谱与其输入的N个特征图谱相对应。

5.如权利要求1所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S2中，卷积神经网络结构中采用池化层，其中池化层常用的池化方法为Max-Pooling和Average-Pooling，该两种池化方法如下公式：

其中，y_kij表示根据第kth个特征映射图进行池化操作后的输出结果，x_kpq表示在卷积核覆盖的区域(p,q)内的特征映射图的特征元素值；

Mixed-Pooling表示为：

y_kij＝λave-pooling+(1-λ)max-pooling

其中，λ为随机取值，其值可取0或1。

6.如权利要求1所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S3中，卷积神经网络模型训练方法包括两个阶段：

第一阶段是前向传播阶段，训练样本经过预处理直接输入到网络的数据层，经过网络中各种隐含层进行逐层变换、逐层映射，直到输出层；

第二阶段是反向传播阶段，用带有标签的原始数据进一步对整个卷积神经网络参数进行监督优化。

7.如权利要求6所述的基于卷积神经网络的人群密度估算方法，其特征在于，反向传播过程包括：在卷积神经网络训练的反向传播过程中进行权值更新，由i到i+1次，卷积层更新神经元权值如以下公式：

$w(i+1)=w\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂w\left(t\right)}$

下采样层神经元更新权值为：

$\mathrm{\β}(i+1)=\mathrm{\β}\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂\mathrm{\β}\left(i\right)}$

其中，α表示卷积神经网络训练设定的学习速率，E表示在多分类问题中，存在c类共N个训练样本时的平方误差代价函数，如以下公式：

$E=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2$

其中：表示第n个样本对应的标签的第k维，表示第n个样本对应的网络输出的第k个输出。

8.如权利要求1所述的基于卷积神经网络的人群密度估算方法，其特征在于，所述步骤S4中，人群密度估计检测过程中，首先将获取的监控视频按照场景情况对不动景部分添加Mask掩模，然后利用按照远近分别训练得到的密度估计分类器，对两区域进行分别检测。