CN108876774A - 一种基于卷积神经网络的人群计数方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人群计数方法，包括以下步骤：(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；(4)对训练完毕的模型进行性能评估与测试。利用本发明，减少了模型需要训练的参数数量，简化了模型结构，在保证准确率的前提下，提升了模型的实时性，满足了实际应用的需求。

Description

一种基于卷积神经网络的人群计数方法

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于卷积神经网络的人群计数方法。

背景技术

公共场景中的人数统计问题是机器视觉领域一个重要的分支，也是一个具有挑战性的问题。在公共场所的监控视频中进行人群计数具有重要的研究价值，例如在公共运输系统可以利用人数计数系统可以保证道路的畅通；大量人群聚集时，对人群进行合理分析，能够降低人群中的不安全因素并防止发生踩踏事件发生。

目前人群计数的主要方法有：基于行人检测器的计数方法、基于特征回归的计数方法以及基于深度学习的计数方法。

基于行人检测器的计数方法：该方法相对最直观，直接检测图像中行人来计数，当在很密集时出现大量遮挡时会受到很大影响。

基于特征回归的计数方法：该方法将人群看作纹理进行处理，并对场景中的人群做了一定的先验假设，通过建立图像特征与人数之间回归模型来估计人数，该方法忽略了行人的空间信息，计数精度不高。

基于深度学习的计数方法：利用卷积神经网络可以自动提取不同层级特征，无需人工设计，结合密度图可实现端到端的模型。但是由于模型复杂程度较大，实际应用中很有很多不足。

公开号为CN104992223A的中国专利文献公开了一种基于深度学习的密集人数估计方法，包括以下步骤：选择一幅密集场景的图像作为测试图像，然后对测试图像进行分块操作，分块的比例要保证与原图像的宽高比近似相同；将分得的图像块进行归一化操作，归一化成32×32的像素块，作为我们的测试样本，并附上对应的真实人数标签；将像素块批量送入已经训练好的深度网络中，对于每个像素块，网络都会反馈一个预测结果；将每个像素块的预测结果求和，所得到的结果就是我们需要估计的测试图像中的总人数。该方法将深度学习的方法引入到了人数统计这一具体问题之中，可以估计出不同密度等级下的人数。然而，该方法对图片的清晰度要求较高，在图片清晰度下降时得到的人数估计值和真实值存在较大的偏差。

发明内容

本发明给提供一种基于卷积神经网络的人群计数方法，模型结构简单，准确率高，能够应用于实时性要求较高的实际场景中的监控设备。

一种基于卷积神经网络的人群计数方法，包括以下步骤：

(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；

(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；

(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；

(4)对训练完毕的模型进行性能评估与测试。

作为优选，步骤(1)中，得到真实人群密度图的具体步骤为：

(1-1)将训练图片标注人头位置，得到0、1分布的标注图像；

(1-2)将标注图像与带有扩展参数的高斯核进行卷积，得到真实人群密度图，具体公式如下：

其中，M表示标注图像中的人数，x表示图像中每个像素的位置，x_i表示第i个人的标注的位置，表示标准差为σ_i的高斯核，代表第i个人的标注位置和它周围最近的3个人的标注位置的平均距离，即 在此记第i个人的标注位置到距它最近的3个人的距离为

作为优选，步骤(2)中，所述卷积神经网络一共有12层结构，包括5个卷积层、3个池化层以及4个修正线性单元激活层。

5个卷积层的结构分别是9×9×3×24、9×9×24×32、7×7×32×24、5×5×24×12、9×9×12×1，四个数字含义分别是滤波器的高度、宽度、输入通道数以及输出通道数。

3个池化层都采用最大池化，尺寸都设为3×3，步长为2；除了最后一个卷积层外，其他卷积层之后使用修正线性单元激活层进行激活操作，之后再连接最大池化层。

所述的卷积神经网络去掉了传统的全连接层，整个网络为全卷积网络，该网络可以输入任意尺寸的图片，输出估计的密度图。

步骤(2)中，将训练图片和对应的真实人群密度图输入网络进行训练，网络模型将估计的人群密度图与真实的密度图进行对比，不断调整网络的参数，使模型的输出不断趋于真实的密度图，估计的密度图与真实密度图之间的损失函数定义为：

其中，θ表示网络中的可学习的参数，N是训练图片的数量，X_i是输入图像，D_i是输入图像的真实密度图。

计算损失函数之后，采用随机梯度下降法和反向传播方法不断调整更新卷积神经网络的参数，直至损失函数收敛。

步骤(3)中，利用模型迁移方法对得到的模型微调的具体操作为：

(3-1)在现有的数据集上对模型进行预训练；

(3-2)针对应用的实际场景，制作新的数据集；

(3-3)固定预训练好的模型的前三层网络参数，使用新的数据集对后两层卷积层进行训练，直至模型收敛。

步骤(4)中，对模型进行性能评估与测试具体方法如下：

将测试集数据输入网络得到估计密度图，对估计密度图进行积分得到估计人数值，将估计人数值与真实人数值比较来评价模型性能，采用的评价指标为平均绝对误差，其公式为：

其中，N表示测试集中训练图片的数量，g_i表示第i张图中真实的人数，表示模型估计的人数。

与现有技术相比，本发明的有益效果是：本发明通过使用简洁的卷积神经网络，减少了模型需要训练的参数数量，简化了模型结构，在保证准确率的前提下，提升了模型的实时性，满足了实际应用的需求。

附图说明

图1本发明一种基于卷积神经网络的人群计数方法整体流程示意图；

图2为本发明提供的卷积神经网络结构示意图；

图3为本发明使用高斯核生成真实密度图的过程示意图；

图4为本发明的部分实验结果示意图；其中，a为原图，b为真实值，c为本发明模型估计结果。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述。

如图1所示，一种基于卷积神经网络的人群计数方法，包括：

步骤1，将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；

步骤2，将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；

步骤3，制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；

步骤4，对训练完毕的模型进行性能评估与测试。

首先，本发明的模型输出是估计的图像密度图，完成训练还需要为模型提供相应的“标签”，即图像的真实密度图，对于一张图像，用点标注出人头的中心得到标注图像，然后将标注图像与高斯核进行卷积操作即得到真实的密度图，为了增加真实密度图的可靠性，对高斯核引入一个扩展参数；如图3所示，为真实密度图的生成过程示意图。

接着，利用MatconvNet深度学习框架建立卷积神经网络，搭建的卷积神经网络的结构如图2所示：

本发明提出的卷积神经网络包括5个卷积层、3个池化层以及4个修正线性单元激活层；5个卷积层的结构分别是9×9×3×24、9×9×24×32、7×7×32×24、5×5×24×12、9×9×12×1，四个数字含义分别是滤波器的高度、宽度、输入通道数以及输出通道数；池化层都采用最大池化，尺寸都设为3×3，步长为2；除了最后一个卷积层外，其他卷积层之后先进行修正线性激活单元，之后再连接最大池化层；卷积神经网络去掉了传统的全连接层，整个网络为全卷积网络，该网络可以输入任意尺寸的图片，输出估计的密度图。

将图像和对应的真实密度图输入网络进行训练，网络模型将估计的人群密度图与真实的密度图进行对比，不断调整网络的参数，使模型的输出不断趋于真实的密度图，使用欧式距离来表示模型输出与真实密度图之间的差距，具体的损失函数定义如下：

式中，θ表示网络中的可学习的参数，N是训练集图片的数量，D_i是输入图像X_i对应的真实密度图。采用随机梯度下降法在每一次迭代中更新网络的参数，直至模型收敛。

模型训练好之后，进一步对模型的性能进行评估，采用的标准是平均绝对误差，它反映出模型的准确率。其公式为：

其中，N表示测试集中图片的数量，g_i表示第i张图中真实的人数，表示模型估计的人数。

在自己整理的新数据集ZJU_CLASS上进行评估，部分结果如图4所示，其中，左边a为原图，中间b为真实值，右边的c为模型估计的结果，图4中，从上到下三幅图的真实人数分别是4、27、65，我们提出的模型预测的人数分别是5、29、62，模型在不同密度场景下都取得了很好的预测结果。整个数据集上的评估结果如表1所示，整个ZJU_CLASS数据集上的平均绝对误差仅为2.98，且达到了每秒10帧的处理速度，满足实际应用场景下对实时性的需求。

表1

	结果
		最大误差	7
最小误差	0
		平均绝对误差	2.98
实时性	10FPS

本发明的优势在于所设计的卷积神经网络，保证了较高的统计准确率同时，模型结构简单，参数数量少，能够应用于实时性要求较高的实际场景中的监控设备等。

上述仅为本发明的较佳实施例，本领域技术人员会理解，本发明不限于以上所述的实施例，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的人群计数方法，其特征在于，包括以下步骤：

(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；

(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；

(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；

(4)对训练完毕的模型进行性能评估与测试。

2.根据权利要求1所述的基于卷积神经网络的人群计数方法，其特征在于，步骤(1)的具体步骤为：

(1-1)将训练图片标注人头位置，得到0、1分布的标注图像；

(1-2)将标注图像与带有扩展参数的高斯核进行卷积，得到真实人群密度图，具体公式如下：

其中，M表示标注图像中的人数，x表示图像中每个像素的位置，x_i表示第i个人的标注的位置，表示标准差为σ_i的高斯核，代表第i个人的标注位置和它周围最近的3个人的标注位置的平均距离，即 在此记第i个人的标注位置到距它最近的3个人的距离为

3.根据权利要求1所述的基于卷积神经网络的人群计数方法，其特征在于，步骤(2)中，所述卷积神经网络模型的结构不含有全连接层，具体包括：5个卷积层、3个池化层以及4个修正线性单元激活层。

4.根据权利要求3所述基于卷积神经网络的人群计数方法，其特征在于，所述的5个卷积层具有不同的尺寸，卷积核的大小依次为9×9、9×9、7×7、5×5、9×9，卷积核输入输出通道尺寸分别为3×24、24×32、32×24、24×12、12×1，除最后一个卷积层外，其余每层卷积后使用修正线性单元激活层进行激活操作。

5.根据权利要求3所述基于卷积神经网络的人群计数方法，其特征在于，所述的3个池化层均采用最大池化，最大池化的窗口大小均为3×3，步长均为2。

6.根据权利要求1所述的基于卷积神经网络的人群计数方法，其特征在于，步骤(2)中，通过对比模型输出的密度图与真实人群密度图的损失函数来更新参数，所述损失函数的公式如下：

其中，θ表示网络中的可学习的参数，N是训练图片的数量，X_i是输入图像，D_i是输入图像的真实密度图。

7.根据权利要求6所述基于卷积神经网络的人群计数方法，其特征在于，计算损失函数之后，采用随机梯度下降法和反向传播方法不断调整更新卷积神经网络的参数，直至损失函数收敛。

8.根据权利要求1所述基于卷积神经网络的人群计数方法，其特征在于，步骤(3)中，利用模型迁移方法对得到的模型微调的具体操作为：

(3-1)在现有的数据集上对模型进行预训练；

(3-2)针对应用的实际场景，制作新的数据集；

(3-3)固定预训练好的模型的前三层网络参数，使用新的数据集对后两层卷积层进行训练，直至模型收敛。

9.根据权利要求1所述基于卷积神经网络的人群计数方法，其特征在于，步骤(4)中，所述的性能评估与测试具体方法如下：

将测试集数据输入网络得到估计密度图，对估计密度图进行积分得到估计人数值，将估计人数值与真实人数值比较来评价模型性能，采用的评价指标为平均绝对误差，其公式为：

其中，N表示测试集中训练图片的数量，g_i表示第i张图中真实的人数，表示模型估计的人数。