CN110674704A - 一种基于多尺度扩张卷积网络的人群密度估计方法及装置 - Google Patents

Abstract

本发明涉及一种基于多尺度扩张卷积网络的人群密度估计方法及装置，所述估计方法构建的卷积网络模型包括网络前端和网络后端，所述网络前端包括VGG‑16网络前10层卷积层和3层max‑pooling层，所述网络后端包括依次连接的多尺度扩展卷积模块和降维卷积层组，所述多尺度扩展卷积模块包括四个分支卷积层和与各分支卷积层相连的concat层，所述四个分支卷积层为并列的1个1×1卷积层和3个扩张率分别为1、2和3的3×3卷积层。与现有技术相比，本发明具有检测结果精确、计算量小等优点。

Description

一种基于多尺度扩张卷积网络的人群密度估计方法及装置

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种基于多尺度扩张卷积网络的人群密度估计方法及装置。

背景技术

近年来，国内外发生了多起重大的人群踩踏事故，造成了众多人员的伤亡。此外，由于诸如视频监控、公共安全设计和交通监控等实际应用的需求，准确地对视频图像中的人群进行人数估计引起了人们的极大关注。人群技术，或称之为人群密度估计，主要是对一个人群场景中的人数进行统计，该技术面临着许多挑战，原因是图像中的人群存在严重遮挡、分布密集、视角失真以及尺度显著变化等问题。早期的人群计数方法是基于检测或回归。人群检测基于形状或是身体部分目标的探测器对图片进行相关处理，但在估计有严重遮挡和背景杂乱的图像时，该类方法会受到严重影响；基于回归的方法被提出来解决人群计数问题。基于回归的方法通常学习一种从特征到人数或者密度图的映射关系，但该方法会受到尺度和视角急剧变化的影响，准确度很难进一步提升。

近年来，卷积神经网络在计算机视觉任务中取得成功，基于卷积神经网络的方法也被研究者们用于人群计数领域，包括多列卷积神经网络MCNN、CSRnet网络模型、尺度自适应卷积神经网络SaCNN等技术，以上几种经典方法将输入的场景图片映射到相关的人群密度图片中，最终将人群密度图进行求和得到场景下人群数量，并且人群密度图能更好地表示出原有场景图片中的人群密度分布。但以上方法都至少存在以下两个问题的其中一个：感受野大小单一导致对于人群图像的人头尺寸大小不一的适应性差，计算精度不高；采用多通道卷积网络，多个子网络分支包含不同尺度感受野的大卷积核卷积层，网络参数过多导致的计算量过大，训练难度大。

现有技术也给出了一些解决方案，中国专利CN108388852A提出了一种基于多尺度卷积神经网络的人群密度估计方法，利用空洞卷积与原始卷积进行不同感受野信息的特征融合，以及融合不同分辨率下特征图不同的层级语义信息，从而生成具有更高质量的人群密度图，但该方法所采用的多尺度卷积神经网络需要将不同层网络获得的特征信息进行多次特征融合，网络结构复杂，计算量大，网络实现和训练难度高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多尺度扩张卷积网络的人群密度估计方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于多尺度扩张卷积网络的人群密度估计方法，包括以下步骤：

S1：构建卷积网络模型，将数据集中的图像分割成原图像长和宽的1/2，对获得的图片进行镜像处理，增加图像多样性，然后将数据集划分为训练集和测试集，所述训练集通过高斯核函数生成人群密度基准图；

S2：利用训练集和人群密度基准图对卷积网络模型进行训练；

S3：将测试集输入训练后的卷积网络模型，获得测试集的人群密度估计图；

所述卷积网络模型包括网络前端和网络后端，所述网络前端包括VGG16网络前10层卷积层和3层max-pooling层，所述网络后端包括依次连接的多尺度扩展卷积模块和降维卷积层组，所述多尺度扩展卷积模块包括四个分支卷积层以及与各个分支卷积层连接的concat层，所述多尺度扩展卷积模块设有多个，多个多尺度扩展卷积模块依次连接。

所述四个分支卷积层为独立并列的1个1×1卷积层和3个扩张率分别为1、2和3的3×3卷积层，每个卷积层的通道数均为输入数据的1/4，通过concat层拼接，然后通过降维卷积层组输出单通道人群密度图。

进一步地，所述降维卷积层组由四个通道数为256、128、64和1的卷积层依次连接构成，通道数为256、128和64的3个卷积层采用3×3卷积核，通道数为1的卷积核为1×1。

所述网络前端包括包含VGG-16的3个max-pooling层，每个池化层中核大小为2×2，步长为2，使得经过卷积网络后得到的人群密度图变为输入图像的1/8长宽，为了便于计算，步骤S2进行网络训练时采用双线性插值法将人群密度基准图的长和宽缩小至原来的1/8，使得人群密度基准图与输出的人群密度图大小一致。

所述扩张卷积定义为：

其中，M和N为输入矩阵的长和宽，d为扩张率，F_l+1(m,n)代表在l层中(m,n)坐标位置的像素值，ω(i,j)为过滤器参数值，利用扩张卷积的性质可以在更小的卷积核情况下得到更大的感受野。

进一步地，所述人群密度基准图的生成过程具体为：

101)对于训练集的图像中的个体标注h_i，将距个体标注h_i最近的k个个体标注离个体标注h_i的距离设为集合

102)对个体标注h_i，定义其平均距离为

103)对每一个像素点x，密度函数生成为：

其中，N为图像中的个体标记总数，

为高斯核函数，其中标准差β为实验设置参数；

104)重复步骤101)-103)，直至训练集中所有图像都生成对应的人群密度基准图。

进一步地，步骤S2中对卷积网络模型进行训练具体为：

将训练集中的图像输入卷积网络，根据获得的人群密度图与对应的人群密度基准图计算损失函数并回传。

进一步地，所述损失函数的表达式为：

式中，N为训练批次数，Θ为网络参数，D(x_i；Θ)为输入图像x_i的密度估计图输出，D(x_i)^GT为输入图像x_i的基准密度图。

本发明还提供一种基于多尺度扩张卷积网络的人群密度估计装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述计算机程序执行如所述方法的步骤。

与现有技术相比，本发明具有以如下有益效果：

(1)本发明构建了包括相连的网络前端和网络后端的多尺度扩张卷积网络，其中网络后端为依次连接的多尺度扩展卷积模块和降维卷积层组，多尺度扩展卷积模块中并列的四个分支卷积层具有不同感受野，对前端网络提取出的特征图进行进一步语义处理，对于尺度显著变化的人群图像的检测结果更精确，同时避免了使用多个子网络分支，网络结构简洁，计算量少；

(2)本发明在网络后端的多尺度扩展卷积模块中设置的四个分支卷积层分别为1×1卷积层和3个扩张率分别为1、2和3的3×3卷积层，4个卷积层的卷积核大小均未超过3×3，通过扩展卷积代替大卷积核的卷积层，有效减少了网络参数；

(3)本发明通过多尺度扩展卷积模块替代多通道结构，使得多尺度扩张卷积网络整体结构简单，更易于网络实现和训练。

附图说明

图1为卷积网络结构图；

图2为多尺度扩张卷积模块结构图；

图3为卷积网络各层设置图；

图4为实施例一可视化结果说明图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

本实施例提供一种基于多尺度扩张卷积网络的人群密度估计方法，包括以下步骤：

S1：构建卷积网络模型，将数据集中的图像分割成原图像长和宽的1/2，对获得的图片进行镜像处理，增加图像多样性，然后将数据集划分为训练集和测试集，所述训练集通过高斯核函数生成人群密度基准图；

S2：利用训练集和人群密度基准图对卷积网络模型进行训练；

S3：将测试集输入训练后的卷积网络模型，获得测试集的人群密度估计图。

如图1所示，本实施例的卷积网络模型包括网络前端(front end)和网络后端(back end)，所述网络前端包括VGG16网络前10层卷积层和3层max-pooling层，所述网络后端包括依次连接的多尺度扩展卷积模块和降维卷积层组。如图2所示，每个多尺度扩展卷积模块包括四个独立并列的分支卷积层以及与各分支卷积层连接的concat层，四个分支卷积层为的1×1卷积核(Kernel)卷积层和3个扩张率(Dilation)分别为1、2和3的3×3卷积核(Kernel)卷积层，每个卷积层的通道数均为输入数据的1/4，通过concat层拼接，然后通过降维卷积层组输出单通道人群密度图，上层网络(Previous layer)的数据传输至多尺度扩展卷积模块的四个独立并列的分支卷积层进行并行处理。本实施例中，多尺度扩展卷积模块设有3个，3个多尺度扩展卷积模块依次连接，如图1和图3所示。

降维卷积层组由四个通道数为256、128、64和1的卷积层依次连接构成，通道数为256、128和64的3个卷积层采用3×3卷积核，通道数为1的卷积核为1×1。

除最后一层卷积层即通道数为1的1×1卷积层以外，卷积网络中其它卷积层均包含ReLU激活函数。

网络前端包括包含VGG-16的三个max-pooling层，每个池化层中核大小为2×2，步长为2，使得经过卷积网络后得到的人群密度图变为输入图像的1/8长宽，为了便于计算，步骤S2进行网络训练时采用双线性插值法将人群密度基准图的长和宽缩小至原来的1/8，使得人群密度基准图与输出的人群密度图大小一致。

扩张卷积定义为：

其中，M和N为输入矩阵的长和宽，d为扩张率，F_l+1(m,n)代表在l层中(m,n)坐标位置的像素值，ω(i,j)为过滤器参数值，利用扩张卷积的性质可以在更小的卷积核情况下得到更大的感受野。

人群密度基准图的生成过程具体为：

101)对于训练集的图像中的个体标注h_i，将距个体标注h_i最近的k个个体标注离个体标注h_i的距离设为集合

102)对个体标注h_i，定义其平均距离为

103)对每一个像素点x，密度函数生成为：

其中，N为图像中的个体标记总数，

为高斯核函数，其中标准差β为实验设置参数；

104)重复步骤101)-103)，直至训练集中所有图像都生成对应的人群密度基准图。

步骤S2中对卷积网络模型进行训练具体为：

将训练集中的图像输入卷积网络，根据获得的人群密度图与对应的人群密度基准图计算损失函数并回传。

本实施例选用的损失函数的表达式为：

式中，N为训练批次数，Θ为网络参数，D(x_i；Θ)为输入图像x_i的密度估计图输出，D(x_i)^GT为输入图像x_i的基准密度图。

利用数据集中的训练集对网络进行训练和微调，其中学习率设置为1e-6，卷积网络的网络前端采用预训练的VGG-16网络进行初始化，网络后端采用标准差为0.01的高斯初始化，网络训练采用随机梯度下降的方式进行迭代更改。

步骤S3将光流测试集输入训练后的卷积网络模型，获得测试集的人群密度估计图，对该图进行求和得到该图的人群计数。

采用对平均错误率MAE和均方错误率MSE对测试集的结果进行评价，MAE和MSE定义如下：

其中，N为样本数目，S_i为网络生成密度图求和得到的人群数目，为图像人群数目基准值，MAE和MSE越小代表结果越好。

本实施例的数据集选用ShanghaiTech和UCF_CC_50数据集，将数据集输入多尺度扩张卷积网络后获得的部分结果如图4所示，左列两栏为ShanghaiTech PartA中的结果可视化，中间两栏为ShanghaiTech PartB中的结果可视化，右侧两栏为UCF_CC_50数据集中部分结果的可视化，第一行为输入的图片，第二行为人群密度图基准值，第三行为本发明进行预测生成的人群密度图，人群密度估计数目在密度图片的左下角。

本实施例为了验证本发明的性能，设计了两组对比实验：

(1)多尺度扩张卷积网络与采用大卷积核的多尺度卷积网络进行对比；

实验选取ShanghaiTech PartA、ShanghaiTech PartB和UCF_CC_50数据集进行相关比较。

与大卷积核的多尺度卷积网络相比，多尺度扩张卷积网络将多尺度卷积模块中使用扩张卷积得到更大感受野替换成使用大卷积核得到感受野，其卷积核大小分别为1x1、3x3、5x5和7x7，比较结果如表1：

表1多尺度扩张卷积和大卷积核多尺度卷积网络结果比较

由表1可以看出，多尺度扩张卷积网络拥有更少的参数量但在最终的结果上仍能和更多参数量的结果相近或者更好。

(2)不同数据集与其他方法的比较；

在ShanghaiTech PartA、ShanghaiTech PartB和UCF_CC_50数据集中与主流算法进行比较，包括MCNN、FCN、Swiching-CNN、IG-CNN和CSRNet，MDNet代表本实施例的多尺度扩张卷积网络，比较结果如表2：

表2与主流人群密度估计方法结果比较

由表2可得，本实施例采用的多尺度扩张卷积网络的测试实验结果证明本发明与目前公布的主流算法相比具有更好的人群密度估计准确率。

实施例二

本实施例提供与实施例一对应的一种基于多尺度扩张卷积网络的人群密度估计装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述计算机程序执行如所述方法的步骤。

实施例一和实施例二提出了一种基于多尺度扩张卷积网络的人群密度估计方法及装置，通过采用3个依次连接的具有4个不同感受野的多尺度扩张卷积模块，代替采用多个子网络分支的做法，在不增加参数的同时能够有不同大小的感受野，计算量小且估计准确度高。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于多尺度扩张卷积网络的人群密度估计方法，包括以下步骤：

S1：构建卷积网络模型，将数据集划分为训练集和测试集，所述训练集通过高斯核函数生成人群密度基准图；

S2：利用训练集和人群密度基准图对卷积网络模型进行训练；

S3：将测试集输入训练后的卷积网络模型，获得测试集的人群密度估计图；

其特征在于，所述卷积网络模型包括网络前端和网络后端，所述网络前端包括VGG-16网络前10层卷积层和3层max-pooling层，所述网络后端包括依次连接的多尺度扩展卷积模块和降维卷积层组，所述多尺度扩展卷积模块包括四个分支卷积层以及与各分支卷积层相连的concat层，所述四个分支卷积层为并列的1个1×1卷积层和3个扩张率分别为1、2和3的3×3卷积层。

2.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，所述降维卷积层组由四个通道数为256、128、64和1的卷积层依次连接构成，通道数为256、128和64的3个卷积层采用3×3卷积核，通道数为1的卷积核为1×1。

3.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，所述多尺度扩展卷积模块设有多个，多个多尺度扩展卷积模块依次连接。

4.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，所述多尺度扩展卷积模块中每个卷积层的通道数均为输入数据的1/4。

5.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，步骤S2进行网络训练时采用双线性插值法将人群密度基准图的长和宽缩小至原来的1/8。

6.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，步骤S1划分数据集之前对数据集进行数据增强处理，具体为：

将数据集中的图像分割成原图像长和宽的1/2，再进行镜像处理。

7.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，所述人群密度基准图的生成过程具体为：

101)对于训练集的图像中的个体标注h_i，将距个体标注h_i最近的k个个体标注离个体标注h_i的距离设为集合

102)对个体标注h_i，定义其平均距离为

103)对每一个像素点x，密度函数生成为：

其中，N为图像中的个体标记总数，

为高斯核函数，其中标准差

β为实验设置参数；

104)重复步骤101)-103)，直至训练集中所有图像都生成对应的人群密度基准图。

8.根据权利要求1所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，步骤S2中对卷积网络模型进行训练具体为：

将训练集中的图像输入卷积网络，根据获得的人群密度图与对应的人群密度基准图计算损失函数并回传。

9.根据权利要求8所述的一种基于多尺度扩张卷积网络的人群密度估计方法，其特征在于，所述损失函数的表达式为：

式中，N为训练批次数，Θ为网络参数，D(x_i；Θ)为输入图像x_i的密度估计图输出，D(x_i)^GT为输入图像x_i的基准密度图。

10.一种基于多尺度扩张卷积网络的人群密度估计装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行如权利要求1至9任一所述的方法的步骤。

Images