CN107742099A - 一种基于全卷积网络的人群密度估计、人数统计的方法 - Google Patents

Abstract

本发明公开了一种基于全卷积网络的人群密度估计、人数统计的方法，包括训练数据准备模块、预测模型设计模块、预测模型训练模块和实时检测模块。所述的全卷积网络包括1个深层卷积神经网络和2个浅层卷积神经网络；深层卷积神经网络用于处理人群离摄像头近的场景，获取人的脸部和人体特征，采用最大池化操作；浅层卷积神经网络用于处理人群离摄像头远的场景，获取人体轮廓信息，采用平均池化操作。本模型采用全卷积网络可以适应任何尺寸的输入图像；此模型采用的深层和浅层网络组合的方式，因此可以很容易地迁移到不同的应用场景；此系统可以同时高效且准确的预测出人群密度和人群数量。

Description

一种基于全卷积网络的人群密度估计、人数统计的方法

技术领域

本发明属于计算机视觉技术与人工神经网络的技术领域，具体地说，涉及一种基于全卷积网络的人群密度估计、人数统计的方法。

背景技术

近年来随着经济水平发展，人口快速增长，由于人群聚集引起的骚乱已经不止一次的发生，人群监控也变得越来越重要，但是靠人力来实现人群监控容易产生疲劳并且容易受到个人主观因素影响，与此同时，计算机视觉技术日趋成熟，它在工程中的应用范围已经扩展到车牌识别、人脸检测、指纹识别等生活的方方面面，由此更加促进了人群密度自动估计方法的研究。

人群密度等级估计和人群数量统计是人群监控的个重要研究方向。人群密度等级估计将人群按照密集程度划分为不同等级，通过特征分析及分类手段估计人群密度，常应用于人群密度的预警。而人群数量统计侧重于统计人数，要求结果能精确到人数。人群密度估计主要分为特征提取和人群密度分类两步。现有的人群密度估计方法，为了提升效果，特征提取方法往往设计得非常复杂，这在一定程度上使得检测速度难以兼顾。同时，人群密度估计常用的支持向量机等分类方法都属于浅层学习方法，在分类效果上都存在一定的局限性。

然而，近年来，随着深度学习不断取得成绩，这种深度、多层次的结构模型越来越受到重视。深度卷积神经网络作为具有代表性的深度学习模型方法之一，通过多隐层的网络结构，深度提取图像的高层特征，并通过特征学习避免了复杂的特征设计过程。

目前，人群分析主要应用场合有：

1)对火车站、地铁站等；

人流复杂的场合进行视频监控，通过群体分析，实现智能化监控，能够检测群体中的异常行为；

2)商场、体育场馆等场所进行安全疏通，安保部门可根据人群密度估计结果，分析人流量，及时疏通安全通道，避免人流过大引起拥堵。

现存人群密度估计和人数统计方法大都存在以下问题：

(1)大多针对的小于2000以下的人群环境；

(2)融合大量的人工特征，设计特征复杂，使用起来步骤繁琐；

(3)无法同时获取人群的密度估计和人群的具体数量；

(4)标定真实样本步骤繁琐。

发明内容

针对现有技术中上述的不足，本发明提供一种基于全卷积网络的人群密度估计、人数统计的方法，能够高效且准确地预测出人群密度和人群数量。

为了达到上述目的，本发明采用的解决方案是：一种基于全卷积网络的人群密度估计、人数统计的方法，包括以下模块，

模块一、训练数据准备模块，用于完成训练数据的准备；训练数据准备模块包括真实标签的准备和训练数据的准备；

模块二、预测模型设计模块，用于设计人群密度估计和人数统计的模型结构；

模块三、预测模型训练模块，用于训练人群密度估计和人数统计的离线模型；

模块四、实时检测模块，用于输出人群密度估计图谱和人群数量。

进一步地，所述的模块一中，所述的训练数据的准备包括以下两种方式，

训练数据的准备方式一：

S0：将图像按照步长为r0、区间为[s0,s1]做图像金字塔处理；

S1：对金字塔图像按照重合面积为p0的百分比采样，得到训练数据；

训练数据的准备方式二：

对图像中高密度人群图像进行多次随机采样。

进一步地，所述的模块一中，所述的真实标签的准备包括以下步骤，

S0：对图像做人头的位置标定，得到位置坐标(x,y)；

S1：生成一个和输入图像大小相同的标签矩阵，其中有人头的位置(x，y)等于1，其他位置等于0；

S2：采用归一化高斯核卷积标签矩阵；

S3：对S2中的标签矩阵采用线性插值方法做降采样操作，比例为八分之一。

进一步地，所述的全卷积网络包括1个深层卷积神经网络和2个浅层卷积神经网络。

进一步地，所述的深层卷积神经网络用于处理人群离摄像头近的场景，获取人的脸部和人体特征；深层卷积神经网络采用10层卷积层，分别在第二层、第四层、第七层、第十层采用最大池化操作。

进一步地，所述的浅层卷积神经网络用于处理人群离摄像头远的场景，获取人体轮廓信息；浅层卷积神经网络分别采用8层、5层卷积层，8层的浅层卷积神经网络的卷积核为5x5，5层的浅层卷积神经网络的卷积核为7x7，采用平均池化操作。

进一步地，对网络的输出做上采样操作，倍数为8倍，得到与输入网络的原始图像同样尺寸的密度图谱；对所述的密度图谱求和，即统计得出人数。

进一步地，采用欧式距离衡量真实人群密度和预测人群密度之间的误差值，目标函数如下：

其中，为模型优化中的一些列学习参数的集合，N是训练样本的数量，X_i是i张输入图像，F_i是第i张图像真实密度图。是在学习参数下网络估计的密度图。

本发明的有益效果是，

1、采用全卷积网络可以适应任何尺寸的输入图像，避免了传统卷积神经网络的输入尺寸必须一致的问题；

2、此模型采用的深层和浅层网络组合的方式，因此可以很容易地迁移到不同的应用场景。如果某一个应场景的数量比较少，再做微调训练的时候和固定前面几层的网络参数不变，只更新后面几层的参数。同时达到模型迁移和减少计算复杂的目的；

3、此系统可以同时高效且准确的预测出人群密度和人群数量。

附图说明

图1是本发明的人群密度估和人数统计的模型结构图。

图2是本发明的人群密度估和人数统计的模型训练流程图。

图3是本发明的人群密度估和人数统计的测试流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照附图1-附图3，以下结合附图对本发明作进一步描述：

一种基于全卷积网络的人群密度估计、人数统计的方法，包括以下模块，

模块一、训练数据准备模块，用于完成训练数据的准备；训练数据准备模块包括真实标签的准备和训练数据的准备；

所述的训练数据的准备指数据增强，通过以下两种方式进行数据增强，

训练数据的准备方式一：

S0：将图像按照步长为r0、区间为[s0,s1]做图像金字塔处理；

S1：对金字塔图像按照重合面积为p0的百分比采样，得到训练数据；

训练数据的准备方式二：

对图像中高密度人群图像进行多次随机采样；

所述的真实标签的准备包括以下步骤，

S0：对图像做人头的位置标定，得到位置坐标(x,y)；

S1：生成一个和输入图像大小相同的标签矩阵，其中有人头的位置(x，y)等于1，其他位置等于0；

S2：采用归一化高斯核卷积标签矩阵；

S3：对S2中的标签矩阵采用线性插值方法做降采样操作，比例为八分之一；

模块二、预测模型设计模块，用于设计人群密度估计和人数统计的模型结构；如附图1所示，其中虚线框内仅仅是测试阶段使用；

模块三、预测模型训练模块，用于训练人群密度估计和人数统计的离线模型；

模块四、实时检测模块，用于输出人群密度估计图谱和人群数量。

本实施例中，采用全卷积网络可以适应任何尺寸的输入图像，避免了传统卷积神经网络的输入尺寸必须一致问题；所述的全卷积网络包括1个深层卷积神经网络和2个浅层卷积神经网络。

所述的深层卷积神经网络用于处理人群离摄像头近的场景，能更加精确地获取人的脸部和人体特征；深层卷积神经网络采用10层卷积层，分别在第二层、第四层、第七层、第十层采用最大池化操作。

所述的浅层卷积神经网络用于处理人群离摄像头远的场景，获取人体轮廓信息；浅层卷积神经网络分别采用8层、5层卷积层，8层的浅层卷积神经网络的卷积核为5x5，5层的浅层卷积神经网络的卷积核为7x7，采用平均池化操作而非最大池化，防止人头轮廓的损失。

本实施例中，对网络的输出做上采样操作，倍数为8倍，得到与输入网络的原始图像同样尺寸的密度图谱；对所述的密度图谱求和，即统计得出人数。

本实施例中，采用欧式距离衡量真实人群密度和预测人群密度之间的误差值，目标函数如下：

其中，为模型优化中的一些列学习参数的集合，N是训练样本的数量，X_i是i张输入图像，F_i是第i张图像真实密度图。是在学习参数下网络估计的密度图。

由于人群密度图像的数据有限，如果同时直接训练网络会导致网络梯度发散不收敛。因此采用对分别三个卷积神经网络进行预训练，然后再将预训练的模型参数初始化整个网络，再做微调训练。此模型采用的深层和浅层网络组合的方式，因此可以很容易地迁移到不同的应用场景。如果某一个应场景的数量比较少，在做微调训练的时候和固定前面几层的网络参数不变，只更新后面几层的参数。同时达到模型迁移和减少计算复杂的目的。此系统可以同时的人群的密度分布图和人群数量。

下面根据系统的工作模式来阐述此系统的工作流程。

一、训练模式

训练模式流程如图2所示。

(1)人群图像采集

收集人群数据。

(2)数据预处理

S0：对图像做人头的位置标定，得到坐标(x0，y0)，(x1，y1)，...(xn，yn)；

S1：生成一个和输入图像同样大小的标签矩阵，其中有人头位置(x0，y0)，(x1，y1)，...(xn，yn)等于1，其他位置等于0；

S2：采用归一化高斯核卷积标签矩阵。

S3：将图像按照步长为r0、区间为[s0，s1]做图像金字塔处理；

S4：对金字塔图像按照重合面积为p0的百分比采样，得到训练图像数据，同时标签矩阵采用相同的方法采样，得到训练标签数据；

(3)模型训练

采用附图1的网络结构并按照附图2的流程训练人群密度估计、人数统计的方法及系统的离线模型。

二、识别模式

(1)输入图像

(2)提取特征

采用训练得到的离线模型提取特征，得到人群密度图谱。

(3)对人群密度图谱求和得到人群数量。

综上所述，本发明通过训练数据准备模块、预测模型设计模块、预测模型训练模块实现了基于全卷积网络的人群密度估计、人数统计的方法及系统。

下面根据具体例子说明系统的工作模式：

一、人群密度估、人数统计模型训练过程

S0：对图像做人头的位置标定，得到坐标(x0，y0)，(x1，y1)，...(xn，yn)；

S1：生成一个和输入图像同样大小的标签矩阵，其中有人头位置(x0，y0)，(x1，y1)，...(xn，yn)等于1，其他位置等于0；

S2：采用归一化高斯核卷积标签矩阵。

S3：将图像按照步长为0.1、尺度区间为[0.5 1，5]做图像金字塔处理；

S4：对金字塔图像按照重合面积比例为50％采样，得到训练图像数据，同时标签矩阵采用相同的方法采样，得到训练标签数据；

S5：学习率的设置

S50：在前10轮训练中，学习率逐渐从0.002增加到0.01。如果训练时从一个较大的学习率开始，通常因为不稳定的梯度，而使得模型发散；

S51：保持学习率为0.002直到完成20轮训练；

S52：再接下的30轮训练中，学习率为0.001；

S53：最后40轮训练，学习率为0.0001。

S6：训练网络，得到离线模型。

二、人群密度估计、人数统计实时检测

(1)摄像头采集人群图像；

(2)采用离线模型提取特征，得到人群密度图谱；

(3)对人群密度图谱求和得到人群数量。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于全卷积网络的人群密度估计、人数统计的方法，其特征是：包括以下模块，

模块一、训练数据准备模块，用于完成训练数据的准备；训练数据准备模块包括真实标签的准备和训练数据的准备；

模块二、预测模型设计模块，用于设计人群密度估计和人数统计的模型结构；

模块三、预测模型训练模块，用于训练人群密度估计和人数统计的离线模型；

模块四、实时检测模块，用于输出人群密度估计图谱和人群数量。

2.根据权利要求1所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：所述的模块一中，所述的训练数据的准备包括以下两种方式，

训练数据的准备方式一：

S0：将图像按照步长为r0、区间为[0.5 1.2]做图像金字塔处理；

S1：对金字塔图像按照重合面积为p0的百分比采样，得到训练数据；

训练数据的准备方式二：

对图像中高密度人群图像进行多次随机采样。

3.根据权利要求1所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：所述的模块一中，所述的真实标签的准备包括以下步骤，

S0：对图像做人头的位置标定，得到位置坐标(x,y)；

S1：生成一个和输入图像大小相同的标签矩阵，其中有人头的位置(x，y)等于1，其他位置等于0；

S2：采用归一化高斯核卷积标签矩阵；

S3：对S2中的标签矩阵采用线性插值方法做降采样操作，比例为八分之一。

4.根据权利要求1所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：所述的全卷积网络包括1个深层卷积神经网络和2个浅层卷积神经网络。

5.根据权利要求4所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：所述的深层卷积神经网络用于处理人群离摄像头近的场景，获取人的脸部和人体特征；深层卷积神经网络采用10层卷积层，分别在第二层、第四层、第七层、第十层采用最大池化操作。

6.根据权利要求4所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：所述的浅层卷积神经网络用于处理人群离摄像头远的场景，获取人体轮廓信息；浅层卷积神经网络分别采用8层、5层卷积层，8层的浅层卷积神经网络的卷积核为5x5，5层的浅层卷积神经网络的卷积核为7x7，采用平均池化操作。

7.根据权利要求3所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：对网络的输出做上采样操作，倍数为8倍，得到与输入网络的原始图像同样尺寸的密度图谱；对所述的密度图谱求和，即统计得出人数。

8.根据权利要求7所述的基于全卷积网络的人群密度估计、人数统计的方法，其特征是：采用欧式距离衡量真实人群密度和预测人群密度之间的误差值，目标函数如下：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mo>&amp;ForAll;</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>N</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <mo>|</mo> <mi>F</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>;</mo> <mo>&amp;ForAll;</mo> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>F</mi> <mi>i</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>

其中，为模型优化中的一些列学习参数的集合，N是训练样本的数量，X_i是i张输入图像，F_i是第i张图像真实密度图。是在学习参数下网络估计的密度图。