CN105528589A - 基于多列卷积神经网络的单张图像人群计数算法 - Google Patents

Abstract

本发明提供了一种基于多列卷积神经网络的单张图像人群计数算法，其中的多列卷积神经网络有三个子网络，每个子网络用到卷积核的大小不同，每个子网络的输入为同一张图像，在经过四次卷积和两次池化后，三个子网络输出的特征图在“通道”维度上链接在一起，再用一个1×1的核卷积得到人群的密度图。本发明得到的人群密度优于现有算法。

Description

基于多列卷积神经网络的单张图像人群计数算法

技术领域

本发明涉及一种依据单张图像进行精确的人群计数或者人群密度估计的算法。

背景技术

现有人群计数算法存在对图像分割技术依赖性比较大、计数规模较小、输入图片大小固定等诸多限制，很多算法对于人数变化很大，或者背景复杂的图像的计数精度很低。如今，室外广场、街道基本都配备了摄像头，但是人群信息处理还没有得到有效应用，因此精确的人群计数或者人群密度估计算法对于监控中人群异常事件检测具有重要意义。

发明内容

本发明的目的是提供一种依据单张图像进行精确的人群计数或者人群密度估计的算法。

为了达到上述目的，本发明的技术方案是提供了一种基于多列卷积神经网络的单张图像人群计数算法，包括以下步骤：

建立多列卷积神经网络，利用样本集对该多列卷积神经网络进行训练，得到待学习参数Θ的估计，使得通过该多列卷积神经网络得到的样本集中任意输入图像x的人群密度估计图F(x；Θ)与该输入图像x的实际人群密度图M(x)间的欧式距离最小，其特征在于：

所述多列卷积神经网络包括子网络一、子网络二、子网络三，同一张输入图像x输入子网络一、子网络二、子网络三后均经过四次卷积和两次池化得到三组不同的特征图，子网络一的卷积的卷积核大小为N₁×N₁，子网络二的卷积的卷积核大小为N₂×N₂，子网络三的卷积的卷积核大小为N₃×N₃，N₁＞N₂＞N₃，三组特征图在通道维度上链接在一起，再用一个1×1的核卷积得到人群的估计密度图，该多列卷积神经网络的损失函数是估计密度图F(x_i；Θ)和实际密度图M(x_i)之间的欧氏距离L(Θ)， $L\left(\mathrm{\Θ}\right)=\frac{1}{2N}\underset{i=1}{\overset{N}{\Σ}}\left|\right|F(x_i;\mathrm{\Θ})-M\left(x_i\right)|{|}_2^2,$ 式中，N为输入多列卷积神经网络的图像数量，x_i为多列卷积神经网络的第i幅输入图像，M(x_i)表示第i幅输入图像的标准密度图矩阵，为多列卷积神经网络的参数设定一个初始值后，根据实际的标准密度图算出输入图片的损失：L(Θ)，然后在每一次优化迭代中更新整个网络的参数Θ，直到损失值收敛到一个较小的值。

优选地，采用随机梯度下降法在每一次优化迭代中更新整个网络的参数Θ。

优选地，输入图像x对应的实际人群密度图M(x)表示为：式中，N为图像中的人数，表示输入图像x中每个像素的位置，x_i为第i个人头在输入图像x中的位置，δ(·)为单位冲击函数，*为卷积操作，为标准差为σ_i的高斯核。

本发明在三个公共数据集上以及一个发明人自己提出的数据集上与其他方法进行了比较，公共数据集包括UCF_CC_50，UCSD和WorldExpo。各个数据集的信息如下表所示：

上表中，Num为图像数量，Max、Min分别表示图像中出现的最大人数和最小人数，Ave表示图像的平均人数，Total是数据集中所有的人数。

发明采用平均绝对误差(MAE)：和均方误差(MSE)：(N为图片数量，z_i为第i幅图像中实际的人头数，为第i幅图像通过本发明提供的网络输出的人头数)来衡量算法的准确性。在UCF_CC_50数据集上，本发明方法与现有技术的对比，如下表所示(MCNN为本发明的算法)：

Method	MAE	MSE
			Rodriguez et al.	655.7	697.8
Lempitsky et al.	493.4	487.1
			Idrees et al.	419.5	541.6
Zhang et al.	467.0	498.5
			MCNN	377.6	509.1

在UCSD数据集上，本发明方法与现有技术的对比，如下表所示：

Method	MAE	MSE
			Kernel Ridge Regression	2.16	7.45
Ridge Regression	2.25	7.82
			Gaussian Process Regression	2.24	7.97
Cumulative Attribute Regression	2.07	6.86
			Zhang et al.	1.60	3.31
MCNN	1.07	1.35

在WorldExpo数据集上，本发明方法与现有技术对比，如下表所示：

Method	Sence1	Sence2	Sence3	Sence4	Sence5	Average
							LBP+RR	13.6	59.8	37.1	21.8	23.4	31.0
Zhang et al.	9.8	14.1	14.3	22.2	3.7	12.9
							MCNN	3.4	20.6	12.9	13.0	8.1	11.6

在发明人自己的数据集上，本发明方法与现有技术的对比，如下表所示：

附图说明

图1为本发明中的多列卷积神经网络的网络结构，图中，Conv代表卷积操作，Conv后的数字代表卷积核的大小，Pooling代表最大池化操作，Pooling后的数字代表池化区域的大小，Mergedfeaturemaps为各组特征图按“通道”维度链接起来总的特征图；

图2a)及图2c)为输入图像，图2b)为图2a)对应的实际人群密度图，图2d)为图2c)对应的实际人群密度图；

图3a)为输入图像，图3b)为图3a)对应的实际人群密度图，图3c)为通过本发明估算到的图3a)的人群密度图；

图3d)为输入图像，图3e)为图3d)对应的实际人群密度图，图3f)为通过本发明估算到的图3d)的人群密度图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明需要解决给定一张人群图像或者视频中的一帧，然后估计该图像各个区域人群的密度以及总人数。

已知输入图像可以表示为m×n的矩阵：x∈R^m×n，则该输入图像x所对应的实际人群密度可以表示为：式中：N为图像中的人数，表示图像中每个像素的位置，x_i为第i个人头在图像中的位置，δ(·)为单位冲击函数，*为卷积操作，为标准差为σ_i的高斯核。基于多列卷积神经网络的单张图像人群计数算法的目标是学习一个由输入图像x到该图像中的人群密度(如图2a)至图d)所示)的映射函数F：F：x→F(x)≈M(x)，式中，F(x)为估计人群密度图。为了学习F，需要解决如下问题：

$F^{*}:\arg \underset{F}{\min }\left|\right|M\left(x\right)-F(x;\mathrm{\Θ})|{|}_2^2,$ 式中，F(x；Θ)为估计人群密度图，Θ为待学习参数。一般来说，F是一个复杂非线性的映射。

在本发明中，利用如图1所示的多列卷积神经网络来学习非线性函数F。其结构如图1所示。多列卷积神经网络有三个子网络，每个子网络用到卷积核的大小不同。第一个子网络用到的卷积核的大小为7×7，第二个子网络用到的卷积核的大小为5×5，第三个子网络用到的卷积核的大小为7×7。同一张输入图像Inputimage输入三个子网络后先经过三次不同的卷积。输入图像Inputimage在第一个子网络内先经过一次卷积核大小为9×9的卷积后再进行三次卷积和两次池化，三次卷积的卷积核大小均为7×7；输入图像Inputimage在第二个子网络内先经过一次卷积核大小为7×7的卷积后再进行三次卷积和两次池化，三次卷积的卷积核大小均为5×5；输入图像Inputimage在第三个子网络内先经过一次卷积核大小为5×5的卷积后再进行三次卷积和两次池化，三次卷积的卷积核大小均为3×3。图像在三个子网络中经过四次卷积和两次池化后，输出三张特征图。三个子网络的池化区域大小均为2×2。三张特征图在“通道”维度上链接在一起，形成总特征图Mergedfeaturemaps，随后再用一个卷积核大小为1×1的卷积得到人群的密度估计图Densitymap。图1中，每个子网络每一层左上角的数字表示通道数，例如对于第一个子网络而言，其第一层的通道数为16。

上述多列卷积神经网络的损失函数是估计密度图和实际密度图之间的欧氏距离：式中，F(X_i；Θ)为第i幅输入图像的人群密度估计图，X_i为第i幅输入图像的图像矩阵，Θ为待学习参数，N为输入图像的总数量，F_i为第i幅输入图像的标准密度图矩阵。首先给网络中的参数设定一个初始值(卷积层的核用标准差为0.01的高斯核初始化，偏置初始化为0)，给定初始值之后，根据实际的标准密度图算出输入图片的损失：L(Θ)。然后采用随机梯度下降法在每一次优化迭代中更新整个网络的参数：L(Θ)，直到损失值收敛到一个较小的值。

Claims (3)

1.一种基于多列卷积神经网络的单张图像人群计数算法，包括以下步骤：

建立多列卷积神经网络，利用样本集对该多列卷积神经网络进行训练，得到待学习参数Θ的估计，使得通过该多列卷积神经网络得到的样本集中任意输入图像x的人群密度估计图F(x；Θ)与该输入图像x的实际人群密度图M(x)间的欧式距离最小，其特征在于：

所述多列卷积神经网络包括子网络一、子网络二、子网络三，同一张输入图像x输入子网络一、子网络二、子网络三后均经过四次卷积和两次池化得到三组不同的特征图，子网络一的卷积的卷积核大小为N₁×N₁，子网络二的卷积的卷积核大小为N₂×N₂，子网络三的卷积的卷积核大小为N₃×N₃，N₁＞N₂＞N₃，三组特征图在通道维度上链接在一起，再用一个1×1的核卷积得到人群的估计密度图，该多列卷积神经网络的损失函数是估计密度图F(x_i；Θ)和实际密度图M(x_i)之间的欧氏距离L(Θ)，式中，N为输入多列卷积神经网络的图像数量，x_i为多列卷积神经网络的第i幅输入图像，M(x_i)表示第i幅输入图像的标准密度图矩阵，为多列卷积神经网络的参数设定一个初始值后，根据实际的标准密度图算出输入图片的损失：L(Θ)，然后在每一次优化迭代中更新整个网络的参数Θ，直到损失值收敛到一个较小的值。

2.如权利要求1所述的一种基于多列卷积神经网络的单张图像人群计数算法，其特征在于：采用随机梯度下降法在每一次优化迭代中更新整个网络的参数Θ。

3.如权利要求1所述的一种基于多列卷积神经网络的单张图像人群计数算法，其特征在于：输入图像x对应的实际人群密度图M(x)表示为：式中，N为图像中的人数，表示输入图像x中每个像素的位置，x_i为第i个人头在输入图像x中的位置，δ(·)为单位冲击函数，*为卷积操作，为标准差为σ_i的高斯核。