CN106326937B - 基于卷积神经网络的人群密度分布估计方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的人群密度分布热度图生成方法，将人群图片集分为训练样本集及测试样本集，利用全卷积神经网络架构进行人群标签图像分割，利用卷积神经网络进行人数回归；并通过多尺度模板运算对密度图进行纠正，根据修正后的密度图和回归人数，生成人群密度分布热度图，完成人群密度分布估计。本发明利用全卷积神经网络强大的学习能力，提取图像的深层特征，进行准确的人群分割，克服了传统方法的密度计算对于全图特征的低效性和盲目性；通过多尺度的模板纠正，一定程度上克服了人群远近的透视效应；针对估计人数做映射，不同摄像头的热度图具可横向对比，适用于多种人群场景，能够实时获取人群密度分布热度图。

Description

基于卷积神经网络的人群密度分布估计方法

技术领域

本发明涉及人群密度分布估计技术领域，特别涉及一种基于卷积神经网络的人群密度分布估计方法。

背景技术

公共场所的人群密度是涉及公共场所客流状况及安全问题的一个关键指标，伴随着智能监控的技术发展，从摄像头视频数据直接生成人群密度热度图的方法研究具有重要的现实意义和社会价值。传统的人群密度分布方法主要包括两类：一、基于视频监控中运动信息的前景分割、特征提取及人数回归的方法；二、基于单张图片子区域提取特征值，对每个子区域从多种不同而互补的源进行人数估计，并求出图片中总人数的方法。以上传统方法在理想条件下可以取得较好的检测效果，但是在出现下面复杂的场景时，往往会表现出很差的性能，方法一只能针对运动的人群做估计，如果人群静止则会误判为背景，人群估计数就会明显少于实际人数。方法二也有明显不足，如在人群密度较低时，多源特征的提取误差变大，如常用的傅里叶分析方法往往失效。现有技术中基于灰度共生矩阵等纹理特征的人群密度估计方法，即在图像的多个方向上计算训练样本的灰度共生矩阵，并计算其对应的度量指标例如对比度、均匀程度、熵等表征为特征向量，再运用主成分分析等方法，并通过线性回归分析，建立线性回归方程，用以对待测样本进行估计，其容易对无人区域误判，同时当人群密度较低时，无法得到有效的纹理信息，无法对低密度区域做出正确的估计。

发明内容

针对现有技术中的不足，本发明提供一种基于卷积神经网络的人群密度分布估计方法，运用深度卷积神经网络进行特征学习，能够深刻揭示海量数据中承载的信息，达到更准确的数据效果，且对尺度、旋转及角度转换、光照变化均具有很好的鲁棒性，适用于多种人群场景，能够实时获取人群密度分布热度图。

按照本发明所提供的设计方案，一种基于卷积神经网络的人群密度分布估计方法，具体包含如下步骤：

步骤1.选取不同场景人群图像数据集，对单个图片中的人群位置进行像素级标注并统计人数，生成标签信息，标签信息包括：标签图像和人数标签，其中，标签图像中人群部分像素标记为目标灰度值；将图像数据集中原图及其对应的标签信息分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本包括一张图像、相应的标签图像以及人数标签；

步骤2.构建人群分割全卷积神经网络和人数回归卷积神经网络；并利用训练样本集，离线学习全卷积神经网络参数及卷积神经网络参数，得到相应的网络模型；

步骤3.利用训练好的网络模型，得到输入图像的人数和人群标签图；

步骤4.根据选取图片对应的摄像头高度和倾斜角设计纠正模板，对人群标签图进行多尺度模板卷积和蒙版运算，生成密度图像；

步骤5.根据密度图像和人数，生成人群密度热度图，进行人群密度分布的估计。

上述的，步骤1中人群位置进行像素级标注并统计人数，具体包含：对单个图片中有人的位置像素表示为1，没有人群的位置像素表示为0，生成标签信息，其中，标签信息中的标签图像采用带调色板的检索图片表示。

上述的，步骤2学习人群分割全卷积神经网络参数具体包含如下内容：

步骤2.1.1、建立全卷积神经网络结构，包含七组卷积和五次池化，利用训练样本集，学习人群分割估计函数F(x,Θ)，其中，x为训练样本集中输入图像，Θ为网络学习参数；

步骤2.1.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；第六组和第七组为全连接运算转换卷积运算，卷积核大小分别为7*7、1*1；五次池化均利用大小为2*2卷积核进行下采样运算；

步骤2.1.3、利用skip layer网络结构融合技术，对第三次池化运算、第四次池化运算结果及第七组卷积后的输出进行底层高层融合，以及反卷积运算生成人群分割图；

步骤2.1.4、利用梯度下降法优化softmax损失函数：

进行多次迭代，更新网络参数，使得损失函数收敛到较小值。

上述的，步骤2中的学习人数回归卷积神经网络参数具体包含内容如下：

步骤2.2.1、建立卷积神经网络结构，包含五组卷积、五次池化和两个全连接，利用训练样本集，学习人数回归估计函数L(x,Θ)，其中，x为训练样本集中输入图像，Θ为待优化网络学习参数；

步骤2.2.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；五次池化均利用大小为2*2卷积核进行下采样运算；然后进行两个全连接运算；

步骤2.2.3、使用欧式距离作为损失函数，其表达式为：更新网络参数，其中，Θ是待优化网络学习参数，N是训练样本数量，X_i是输入图像，F_y是网络回归的人数，Y是人数标签。

上述的，步骤4具体包含内容如下：

步骤4.1、当标签图像中一个像素的周围均为人群像素时，该点的人群密度相对较大，通过不同尺寸模板对标签图像进行卷积运算，得到该点的相对密度，绘制出初步的人群密度图F₁(x,y)；

步骤4.2、建立与图像同等尺寸的二维蒙版矩阵，假设图像的高度、宽度分别为H、W，将该二维蒙版矩阵看作单通道灰度图，以其左上顶点为坐标原点，水平向右为x轴，垂直向上为y轴，底边中间位置(W/2，H)处的像素值为1，其余位置的像素值为到该点的棋盘距离的k次方，对于该蒙版矩阵在点(x,y)处的值为：I(x,y)＝(Max(|x-W/2|,|y-H|))^k，其中，k＝λhsinθ，λ为可调参数，h为摄像头高度，参数θ为摄像头与垂直方向倾斜角度，0°＜θ＜70°；

步骤4.3、通过公式：对蒙版矩阵做归一化；

步骤4.4、将得到的蒙版矩阵I'(x,y)与F₁(x,y)点乘运算得到密度图像。

本发明的有益效果：

1.本发明与传统耗费大量人力去设计合适的特征方法相比，运用深度卷积网络模型的手段进行特征学习，能够深刻揭示海量数据里所承载的复杂而丰富的信息，并能达到更精准的效果，且对尺度、旋转以及角度变换、光照变化都有很好的鲁棒性；通过深度学习对大量差异化训练样本的学习，有较强的泛化能力，可以兼顾密集或稀疏的人群状况。适用于多种人群场景，实时获得人群密度分布热度图；利用卷积网络学习图像的特征达到人数回归和人群分割的效果，且考虑到针对不同高度和倾角的摄像头，作了多尺度模板运算修正操作，得到更加准确的密度分布热图。

2.本发明利用卷积神经网络强大的学习能力，提取图像的深层特征，进行准确的人群分割，克服了传统方法的密度计算对于全图特征的低效性和盲目性；通过多尺度的模板纠正，一定程度上克服了人群远近的透视效应；针对估计人数做映射，不同摄像头的热度图具可横向对比，适用于多种人群场景，能够实时获取人群密度分布热度图。

附图说明：

图1为本发明的流程示意图；

图2为实施例二中的标签图像示意图；

图3为实施例二中全卷积神经网络结构参数学习示意图；

图4为实施例二中卷积神经网络结构参数学习示意图；

图5为实施例二中利用skip layer网络结构融合技术进行卷积运算示意图；

图6为实验验证示意图之一；

图7为实验验证示意图之二。

具体实施方式：

下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。

实施例一，参见图1所示，一基于卷积神经网络的人群密度分布估计方法，具体包含如下步骤：

步骤1.选取不同场景人群图像数据集，对单个图片中的人群位置进行像素级标注并统计人数，生成标签信息，标签信息包括：标签图像和人数标签，其中，标签图像中人群部分像素标记为目标灰度值；将图像数据集中原图及其对应的标签信息分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本包括一张图像、相应的标签图像以及人数标签；

步骤2.构建人群分割全卷积神经网络和人数回归卷积神经网络；并利用训练样本集，离线学习全卷积神经网络参数及卷积神经网络参数，得到相应的网络模型；

步骤3.利用训练好的网络模型，得到输入图像的人数和人群标签图；

步骤4.根据选取图片对应的摄像头高度和倾斜角设计纠正模板，对人群标签图进行多尺度模板卷积和蒙版运算，生成密度图像；

步骤5.根据密度图像和人数，生成人群密度热度图，进行人群密度分布的估计。

实施例二，参见图2～5所示，一基于卷积神经网络的人群密度分布估计方法，具体包含如下步骤：

步骤1.选取不同场景人群图像数据集，对单个图片中的人群位置进行像素级标注并统计人数，生成标签信息，标签信息包括：标签图像和人数标签，其中，标签图像中人群部分像素标记为目标灰度值，对单个图片中有人的位置像素表示为1，没有人群的位置像素表示为0，生成标签信息，为便于观察，标签信息中的标签图像采用带调色板的检索图片表示，如图2中所示：a)表示原图，b)表示标签图像；将图像数据集中原图及其对应的标签信息分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本包括一张图像、相应的标签图像以及人数标签；

步骤2.构建人群分割全卷积神经网络和人数回归卷积神经网络；并利用训练样本集，离线学习全卷积神经网络参数及卷积神经网络参数，得到相应的网络模型；

全卷积神经网络将传统卷积神经网络的全连接层转化为卷积层，并能够以端到端的方式得到每个像素的预测结果，对人群位置做像素级标注，最终实现像素级的人群分割。

学习人群全卷积神经网络参数具体包含如下内容：

步骤2.1.1、建立全卷积神经网络结构，包含七组卷积和五次池化，利用训练样本集，学习人群分割估计函数F(x,Θ)，其中，x为训练样本集中输入图像，Θ为网络学习参数；

步骤2.1.2、为取得最优效果，采用堆叠多个卷积核，进行相应的卷积运算和池化运算，如图3所示，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；第六组和第七组为全连接运算转换为卷积运算，卷积核大小分别为7*7、1*1；五次池化均利用大小为2*2卷积核进行下采样运算，每次使得图像分辨率缩小为原来的1/2，在同一组中采用多层卷积来获取更深层的图像特征；

步骤2.1.3、由于要求输出的分割图像与输入图像大小相同，而输入图像经过池化进行了下采样，因此需要对卷积池化后的图像进行上采样，仅对高层卷积的输出使用反卷积到原图像大小，会丢失大量细节，因此，利用skip layer网络结构融合技术，如图5所示，对第三次池化运算、第四次池化运算结果及第七组卷积后的输出进行底层高层融合，以及反卷积生成人群分割图，能够完好分割主题，又尽量保留细节，使边界轮廓更清晰；

步骤2.1.4、利用梯度下降法优化softmax损失函数：

进行多次迭代，更新网络参数，使得损失函数收敛到较小值。

学习人数回归卷积神经网络参数具体包含内容如下：

步骤2.2.1、建立卷积神经网络结构，包含五组卷积、五次池化和两个全连接，利用训练样本集，学习人数回归估计函数L(x,Θ)，其中，x为训练样本集中输入图像，Θ为待优化网络学习参数；

步骤2.2.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，如图4所示，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；五次池化均利用大小为2*2卷积核进行下采样运算；然后进行两个全连接运算；

步骤2.2.3、使用欧式距离作为损失函数，其表达式为：更新网络参数，其中，Θ是待优化网络学习参数，N是训练样本数量，X_i是输入图像，F_y是网络回归的人数，Y是人数标签。

步骤3.利用训练好的网络模型，得到输入图像的人数和人群标签图；

步骤4.根据选取图片对应的摄像头高度和倾斜角设计纠正模板，对人群标签

图进行多尺度模板卷积和蒙版运算，生成密度图像，具体包含内容如下：

步骤4.1、当标签图像中一个像素的周围均为人群像素时，该点的人群密度相对较大，通过不同尺寸模板对标签图像进行卷积运算，得到该点的相对密度，绘制出初步的人群密度图F₁(x,y)；

步骤4.2、建立与图像同等尺寸的二维蒙版矩阵，假设图像的高度、宽度分别为H、W，将该二维蒙版矩阵看作单通道灰度图，以其左上顶点为坐标原点，水平向右为x轴，垂直向上为y轴，底边中间位置(W/2，H)处的像素值为1，其余位置的像素值为到该点的棋盘距离的k次方，对于该蒙版矩阵在点(x,y)处的值为：I(x,y)＝(Max(|x-W/2|,|y-H|))^k，其中，k＝λhsinθ，λ为可调参数，参考经验值为0.01，h为摄像头高度，参数θ为摄像头与垂直方向倾斜角度，0°＜θ＜70°；

步骤4.3、通过公式：对蒙版矩阵做归一化；

步骤4.4、将得到的蒙版矩阵I'(x,y)与F₁(x,y)点乘运算得到密度图像，该纠正方式在摄像头高度较高时，可以达到较好的纠正视觉透视效果。

步骤5.根据密度图像和人数，生成人群密度热度图，进行人群密度分布的估计。

本发明利用全卷积神经网络强大的学习能力，提取图像的深层特征，进行准确的人群分割，克服了传统方法的密度计算对于全图特征的低效性和盲目性；通过多尺度的模板纠正，一定程度上克服了人群远近的透视效应；针对估计人数做映射，不同摄像头的热度图具可横向对比，适用于多种人群场景，能够实时获取人群密度分布热度图，经试验验证，参见图6所示：a)表示原图，b表示对应的热度图；及图7所示：a)表示原图，b)表示对应的热度图，能够深刻揭示海量数据里所承载的复杂而丰富的信息，并能达到更精准的效果，且对尺度、旋转以及角度变换、光照变化都有很好的鲁棒性；通过深度学习对大量差异化训练样本的学习，有较强的泛化能力，可以兼顾密集或稀疏的人群状况，适用于多种人群场景，实时获得人群密度分布热度图。

本发明并不局限于上述具体实施方式，本领域技术人员还可据此做出多种变化，但任何与本发明等同或者类似的变化都应涵盖在本发明权利要求的范围内。

Claims (4)

1.一种基于卷积神经网络的人群密度分布估计方法，具体包含如下步骤：

步骤1.选取不同场景人群图像数据集，对单个图片中的人群位置进行像素级标注并统计人数，生成标签信息，标签信息包括：标签图片和人数标签，其中，标签图像中人群部分像素标记为目标灰度值；将图像数据集中原图及其对应的标签信息分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本包括一张图像、相应的标签图片以及人数标签；

步骤2.构建人群分割全卷积神经网络和人数回归卷积神经网络；并利用训练样本集，离线学习全卷积神经网络参数及卷积神经网络参数，得到相应的网络模型；

步骤3.利用训练好的网络模型，得到输入图像的人数和人群标签图；

步骤4.根据选取图片对应的摄像头高度和倾斜角设计纠正模板，对人群标签图进行多尺度模板卷积和蒙版运算，生成密度图像；

步骤5.根据密度图像和人数，生成人群密度热度图，进行人群密度分布的估计；

所述步骤4具体包含内容如下：

步骤4.1、当标签图片中一个像素的周围均为人群像素时，该像素的人群密度相对较大，通过不同尺寸模板对标签图片进行卷积运算，得到该像素的相对密度，绘制出初步的人群密度图F₁(x,y)；

步骤4.2、建立与图像同等尺寸的二维蒙版矩阵，假设图像的高度、宽度分别为H、W，将该二维蒙版矩阵看作单通道灰度图，以其左上顶点为坐标原点，水平向右为x轴，垂直向上为y轴，底边中间位置(W/2，H)处的像素值为1，其余位置的像素值为到该点的棋盘距离的k次方，对于该蒙版矩阵在点(x,y)处的值为：I(x,y)＝(Max(|x-W/2|,|y-H|))^k，其中，k＝λhsinθ，λ为可调参数，h为摄像头高度，参数θ为摄像头与垂直方向倾斜角度，0°＜θ＜70°；

步骤4.3、通过公式：对蒙版矩阵做归一化；

步骤4.4、将得到的蒙版矩阵I'(x,y)与F₁(x,y)点乘运算得到密度图像。

2.根据权利要求1所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤1中人群位置进行像素级标注并统计人数，具体包含：对单个图片中有人的位置像素表示为1，没有人群的位置像素表示为0，生成标签信息，其中，标签信息中的标签图片采用带调色板的检索图片表示。

3.根据权利要求1所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤2学习人群全卷积神经网络参数具体包含如下内容：

步骤2.1.1、建立全卷积神经网络结构，包含七组卷积和五次池化，利用训练样本集，学习人群分割估计函数F(x,Θ)，其中，x为训练样本集中输入图像，Θ为网络学习参数；

步骤2.1.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；第六组和第七组为全连接运算转换为卷积运算，卷积核大小分别为7*7、1*1；五次池化均利用大小为2*2卷积核进行下采样运算；

步骤2.1.3、利用skip layer网络结构融合技术，对第三次池化运算、第四次池化运算结果及第七组卷积后的输出进行底层高层融合，以及反卷积生成人群分割图；

步骤2.1.4、利用梯度下降法优化softmax损失函数：

进行多次迭代，更新网络参数，使得损失函数收敛到较小值。

4.根据权利要求1中所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤2中的学习人数回归卷积神经网络参数具体包含内容如下：

步骤2.2.1、建立卷积神经网络结构，包含五组卷积、五次池化和两个全连接，利用训练样本集，学习人数回归估计函数L(x,Θ)，其中，x为训练样本集中输入图像，Θ为待优化网络学习参数；

步骤2.2.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；五次池化均利用大小为2*2卷积核进行下采样运算；然后进行两个全连接运算；

步骤2.2.3、使用欧式距离作为损失函数，其表达式为：更新网络参数，其中，Θ是待优化网络学习参数，N是训练样本数量，X_i是输入图像，F_y是网络回归的人数，Y是人数标签。