CN111563447B - 一种基于密度图的人群密度分析与检测定位方法 - Google Patents

Abstract

本发明公开了一种基于密度图的人群密度分析与检测定位方法，将用于训练的数据集中的人群图像进行预处理，利用高斯滤波器转化为二维的人群密度图像，其次设计一种深度分离空洞卷积网络模型学习输入图像与人群密度图像之间的特征映射函数，实现端到端的预测模型，并对预测密度图像素值积分求和实现人群计数，最后将预测得到的人群密度图输入至RetinaNet目标检测网络实现人头检测与定位。本发明实现在人群高度密集场景下人头与非人头的分类，能够解决高度密集场景下的人群密度分析无法提供具体定位以及人群检测中的漏检问题。

Description

一种基于密度图的人群密度分析与检测定位方法

技术领域

本发明涉及一种基于密度图分类的人群检测与定位方法，主要设计一种深度分离空洞卷积神经网络模型生成高质量的人群密度图并将人群密度图输入目标检测网络更好的实现目标分类，实现人群密度分析以及人头检测定位，属于图像处理、目标检测和人工智能的交叉应用领域。

背景技术

人群密度分析以及人头检测定位的目的是通过人群密度图获取人的空间分布信息并检测出人物的具体定位信息，已成为计算机视觉领域的一个热点问题，在人群行为分析、公共场所监控等方面有着广泛的应用。人群密度分析方法主要有三种：基于检测的方法、基于回归的方法、基于深度学习的方法。

1.基于检测的方法：该方法主要分为基于整体检测和基于人物局部的检测。传统方法利用SVM检测器，boosting算法和随机森林矩阵等方法训练一个分类器，提取行人全身的小波、HOG、边缘、纹理等特征去检测行人。整体检测的方法主要适用于稀疏的人群计数，随着人群密度的提升，人与人之间的遮挡变得越来越严重，局部检测的方法主要通过检测身体的部分结构，例如头，肩膀等去统计人群的数量，这种方法比之基于整体的检测，在效果上略有提升。

2.基于回归的方法：主要是学习一种特征到人群数量的映射。该方法首先提取低级的特征，例如前景特征，边缘特征，纹理和梯度特征；其次学习一个回归模型，例如线性回归，分段线性回归，岭回归和高斯过程回归或神经网络等方法学习一个低级特征到人群数量的映射关系。该方法大多数需要进行前景分割，生成静止的背景模型，对于光照变化十分敏感，当场景转换时每次都需要重新训练模型，时间和计算代价高。

3.基于深度学习的方法：该方法通常通过卷积神经网络提取行人特征并通过估计人群密度概率图进行人群计数。人群密度概率图可提供人群在图像中的分布信息，卷积神经网络可以生产一个端到端的人群密度估计模型。

发明内容

发明目的：本发明的目的是生成高质量的人群密度图输入至目标检测网络以提高检测精度，提出了一种基于密度图的人群密度分析与检测定位方法。该方法将人群密度图像与目标检测网络相结合，解决了单纯的人群计数无法提供人群分布的空间信息，人物的具体位置信息以及目标检测网络对人群图像直接检测时对小尺寸头部造成的漏检问题。本发明可以生成高质量的人群密度图提供人群分布的空间信息，并有效解决小尺寸头部的漏检问题，检测精确度高，具有良好的鲁棒性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于密度图的人群密度分析与检测定位方法，包括以下步骤：

步骤1)，获取人群图像S(S₁,S₂,......,S_i,......,S_n)，用户输入人群图像，将人群图像S_i中的头部进行标注组成稀疏矩阵，通过几何自适应高斯核函数将该稀疏矩阵转化为二维的地面真实人群密度图P^GT(P^GT ₁,P^GT ₂,......,P^GT _i,......P^GT _n)，将密度图P^GT _i中所有的像素值积分求和得到人群图像中的真实人数，具体步骤如下：

步骤1.1)，针对人群高度密集的输入图像S_i，在图像S_i的像素x_i处有一个人头，通过delta函数表示为δ(x-x_i)，用H(x)表述一张人群图像中的N个被标记的人头的稀疏矩阵：

步骤1.2)，一个人体头部的周围区域中人群分布的密度均匀，通过最近邻居法，估计人群分布的集合形变，具体计算方法如下：

其中，

P^GT(x)为生成的二维地面真实情况密度图，x_i为人头在图像中的像素位置，δ(x-x_i)为人群图像中人体头部位置的冲击函数，N为图像中的人头总数，

为距离x_i人头最近的m个人头与该人头的平均距离，在拥挤场景中人体头部的大小与两个邻居的人头中心之间的距离有关，

的值在人群密度较小的情况下近似等于人头的大小；

步骤1.3)，将地面真实的人群密度图的所有像素值积分求和，求出输入图像中所包含的真实人数，

步骤2)，通过深度分离空洞卷积网络模型学习输入图像与人群密度图像之间的特征映射函数，即S(x)→P^GT(x)之间的映射关系，并设计网络输出预测图像与地面真实人群密度图像之间的损失函数，实现端到端的预测模型，具体步骤如下：

步骤2.1)：构建深度分离空洞卷积网络模型，该模型前端为去除了全连接层并且已预训练的VGG-16模型，包括10层卷积层与3层池化层，后端为一层分离层以及两组空洞率为r＝1，r＝2，r＝3的空洞卷积层，卷积层的卷积核大小为k*k，通过空洞卷积扩大感受野：

RF_n＝RF_n-1+(Ksize_n-1)*stride

其中，RF_n为当前层感受野的大小，RF_n-1为上一层感受野的大小，Ksize_n为当前层卷积核的大小，stride为前面所有层步长的乘积；

步骤2.2)，输入人群图像S_i(w,h,3)至深度分离空洞卷积神经网络模型，其中w为图像S_i的宽度，h为图像S_i的高度，3为图像的RGB三维通道，训练深度分离空洞卷积神经网络模型学习输入图像与人群密度图像之间的特征映射函数，在训练期间，随机梯度下降的固定学习率为LR；

步骤2.3)，选择倍率为

的双线性插值，使得输出的预测图像与输入的人群图像之间共享相同的分辨率；

步骤2.4)，采用欧式距离来测量预测的人群密度图与地面真实值之间的距离，即预测的各点与真实的各点的均方差，损失函数的计算方法如下：

其中，B表示训练批次的大小，P(S_i；Θ)表示深度分离空洞卷积神经网络模型预测输出的人群密度图，参数显示为Θ，S_i表示输入的人群图像，P^GT _i表示输入图像的地面真实密度图；

步骤2.5)，将预测的得到的人群密度的所有像素值积分求和并结合损失函数得到预计的人数总和，实现人群密度分析和人群计数；

步骤3)：将步骤2)预测得到的人群密度图输入至基于特征金字塔模型实现的RetinaNet目标检测网络，使用人群密度图协助目标检测网络实现人头与非人头的分类，同时使用最近邻居策略估计头部边界框以初始化锚点信息，训练目标检测网络，实现人体头部检测与定位。

优选的：所述步骤1.2)中高斯核参数β取0.3。

优选的：所述步骤2.1)中卷积核大小k*k取3*3。

优选的：所述步骤2.2)中随机梯度下降的固定学习率LR取1e-6。

优选的：所述步骤2.3)中双线插值倍率

取8。

本发明相比现有技术，具有以下有益效果：

1.本发明通过设计深层次的端到端的深度分离空洞卷积模型有效的避免了多列架构卷积神经网络的复杂性与冗余性，通过深度单列架构提高了检测的精度与检测速率，具有良好的实时性和鲁棒性，能提供高质量的人群密度图像，并得到高精度的人群计数结果。

2.本发明设计深度分离空洞卷积神经网络通过设置空洞率可以在不增加参数的情况下扩大感受野，获取多尺度的信息，有效改善了过多使用池化层带来的精度损失，同时增加分离层以及设置呈锯齿状的空洞率可有效避免单纯的空洞卷积造成的局部信息丢失以及远距离信息没有相关性的问题。

3.本发明将人群密度图像输RetinaNet目标检测网络，帮助目标检测网络有效的区分人头与非人头，有效的提高了人头的检测准确率，避免了较小尺寸头部的漏检问题，同时可提供人头的具体定位信息。

附图说明

图1是基于密度图的人群密度分析与检测定位流程图

图2是深度分离空洞卷积神经网络模型图

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于密度图的人群密度分析与检测定位方法，如图1、2所示，以人群密度检测、人头检测与定位、人群计数为目标，首先将用于训练的数据集中的人群图像进行预处理，利用高斯滤波器转化为二维的人群密度图像，其次设计一种深度分离空洞卷积网络模型学习输入图像与人群密度图像之间的特征映射函数，实现端到端的预测模型，并对预测密度图像素值积分求和实现人群计数，最后将预测得到的人群密度图输入至RetinaNet目标检测网络实现人头检测与定位，提高检测精度，具体包括以下步骤：

1)：用户输入任意大小的人群图像S(S₁,S₂,......,S_i,......,S_n)，将人群图像S_i中的头部进行标注组成稀疏矩阵，生成一张和原图一样大小的单通道图片，其中像素值全部取0，有人头的地方通像素值取1，通过几何自适应高斯核函数将该稀疏矩阵转化为二维的人群密度图P^GT(P^GT ₁,P^GT ₂,......,P^GT _i,......P^GT _n)，将密度图P^GT _i中所有的像素值积分求和得到人群图像中的真实人数；具体步骤如下：

1.1)：针对人群高度密集的输入图像S_i，在图像S_i的像素x_i处有一个人头，通过delta函数表示为δ(x-x_i)，一张人群图像中的N个被标记的人头的稀疏矩阵可以被表述为H(x)，具体计算方法如下：

1.2)：一个人体头部的周围区域中人群分布的密度均匀，通过最近邻居法，估计人群分布的集合形变，具体计算方法如下：

其中

P^GT(x)为生成的二维地面真实情况密度图，x_i为人头在图像中的像素位置，δ(x-x_i)为人群图像中人体头部位置的冲击函数，N为图像中的人头总数，

为距离x_i人头最近的m个人头与该人头的平均距离，在拥挤场景中人体头部的大小与两个邻居的人头中心之间的距离有关，

的值在人群密度较小的情况下近似等于人头的大小,为了更好的表征人头大小的特征，β取0.3；

1.3)：将地面真实的人群密度图的所有像素值通过积分的方式求和，求出输入图像中所包含的真实人数，假如输入的人群图像中只有1个人头，通过高斯滤波以高斯分布的方式这个凸点就会压在该输入图像上，图像上的所有的点都被填充了值，图像上点的值形成空间上的高斯分布，这些值的总和为1，同理，有两个人头时，就通过第二次高斯分布转换，叠加在前一个高斯分布上，这样所有的像素点的求和为2，即有几个人，像素点的值求和就是几；

2)：通过深度分离空洞卷积网络模型学习输入图像与人群密度图像之间的特征映射函数，即S(x)→P^GT(x)之间的映射关系，并设计网络输出预测图像与地面真实人群密度图像之间的损失函数，实现端到端的预测模型，具体步骤如下：

2.1)：构建深度分离空洞卷积网络模型，该模型前端为去除了全连接层并且已预训练好的VGG-16模型，包括10层卷积层与3层池化层，后端为一层分离层以及两组空洞率为r＝1，r＝2，r＝3的空洞卷积层，卷积层的卷积核大小为3*3，通过空洞卷积在不增加参数的情况下扩大感受野，避免了过多使用池化层造成的精度丢失，可以提取多尺度的特征，通过添加分离层避免了空洞卷积之间的局部信息丢失以及远距离信息之间缺乏相关性的问题，感受野大小的具体计算方式如下：

RF_n＝RF_n-1+(Ksize_n-1)*stride

其中RF_n为当前层感受野的大小，RF_n-1为上一层感受野的大小，Ksize_n为当前层卷积核的大小，stride为前面所有层步长的乘积，相比之下，卷积核大小为3*3，步长为1的普通卷积，三层后的感受野仅为7*7，而空洞率为2的空洞卷积3层之后的感受野大小为15*15；

2.2)：输入人群图像S_i(w,h,3)至深度分离空洞卷积神经网络模型，其中w为图像S_i的宽度，h为图像S_i的高度，3为图像的RGB三维通道，训练深度分离空洞卷积神经网络模型学习输入图像与人群密度图像之间的特征映射函数，在训练期间，随机梯度下降的固定学习率为1e-6；

2.3)：由于经过3次池化操作，深度分离空洞卷神经网络模型输出的预测图像的大小为原图的1/8，选择倍率为8的双线性插值，使得输出的预测图像与输入的人群图像之间共享相同的分辨率；

2.4)：采用欧式距离来测量预测的人群密度图与地面真实值之间的距离，即预测的各点与真实的各点的均方差，损失函数的计算方法如下：

其中B表示训练批次的大小，P(S_i；Θ)表示深度分离空洞卷积神经网络模型预测输出的人群密度图，参数显示为Θ，S_i表示输入的人群图像，P^GT _i表示输入图像的地面真实密度图；

2.5)：将预测的得到的人群密度的所有像素值积分求和并结合损失函数得到预计的人数总和，实现人群密度分析和人群计数；

3)：将预测得到的人群密度图输入至基于特征金字塔模型实现的RetinaNet目标检测网络，RetinaNet是FPN网络与FCN网络的组合应用，该网络提出了Focal loss，即一种改进了的交叉熵(cross-entropy,CE)损失，它通过在原有的交叉熵损失上乘上使易检测目标对模型训练贡献削弱的指数式，从而使得Focal loss成功地解决了在目标检测时，正负样本区域极不平衡而目标检测损失易被大批量负样本所左右的问题，使用人群密度图协助目标检测网络通过解码实现人头与非人头的分类，同时使用最近邻居策略估计头部边界框以初始化锚点信息，训练目标检测网络，实现人体头部检测与定位。

本发明通过设计端到端的深度分离空洞卷积网络模型预测人群密度图，并将人群密度图输入至目标检测网络，帮助检测网络实现在人群高度密集场景下人头与非人头的分类，能够解决高度密集场景下的人群密度分析无法提供具体定位以及人群检测中的漏检问题。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于密度图的人群密度分析与检测定位方法，其特征在于，包括以下步骤：

步骤1)，获取人群图像S(S₁,S₂,…,S_u,…,S_U)，将人群图像S_u中的头部进行标注组成稀疏矩阵，通过几何自适应高斯核函数将该稀疏矩阵转化为二维的地面真实人群密度图

将密度图

中所有的像素值积分求和得到人群图像中的真实人数，具体步骤如下：

步骤1.1)，针对人群高度密集的输入人群图像S_u，在人群图像S_u的像素x_i处有一个人头，通过delta函数表示为δ(x-x_i)，用H(x)表述一张人群图像中的N个被标记的人头的稀疏矩阵：

步骤1.2)，一个人体头部的周围区域中人群分布的密度均匀，通过最近邻居法，估计人群分布的集合形变，具体计算方法如下：

其中，

P^GT(x)为生成的二维地面真实情况密度图，x_i为人头在图像中的像素位置，N为图像中的人头总数，

为距离x_i人头最近的m个人头与该人头的平均距离，在拥挤场景中人体头部的大小与两个邻居的人头中心之间的距离有关，

的值在人群密度较小的情况下近似等于人头的大小；

步骤1.3)，将地面真实的人群密度图的所有像素值积分求和，求出输入图像中所包含的真实人数，

步骤2)，通过深度分离空洞卷积网络模型学习输入图像与人群密度图像之间的特征映射函数，即S(x)→P^GT(x)之间的映射关系，并设计网络输出预测图像与地面真实人群密度图像之间的损失函数，实现端到端的预测模型，具体步骤如下：

步骤2.1)：构建深度分离空洞卷积网络模型，该模型前端为去除了全连接层并且已预训练的VGG-16模型，包括10层卷积层与3层池化层，后端为一层空洞率为r＝1的分离层以及两组空洞率为r＝2、r＝3的空洞卷积层，卷积层的卷积核大小为k*k，通过空洞卷积扩大感受野：

RF_n＝RF_n-1+(Ksize_n-1)*stride

其中，RF_n为当前层感受野的大小，RF_n-1为上一层感受野的大小，Ksize_n为当前层卷积核的大小，stride为前面所有层步长的乘积；

步骤2.2)，输入人群图像S_u(w,h,3)至深度分离空洞卷积神经网络模型，其中，w为人群图像S_u的宽度，h为人群图像S_u的高度，3为图像的RGB三维通道，训练深度分离空洞卷积神经网络模型学习输入图像与人群密度图像之间的特征映射函数，在训练期间，随机梯度下降的固定学习率为LR；

步骤2.3)，选择倍率为

的双线性插值，使得输出的预测图像与输入的人群图像之间共享相同的分辨率；

步骤2.4)，采用欧式距离来测量预测的人群密度图与地面真实值之间的距离，即预测的各点与真实的各点的均方差，损失函数的计算方法如下：

其中，B表示训练批次的大小，P(S_b；Θ)表示深度分离空洞卷积神经网络模型预测输出的人群密度图，参数显示为Θ，S_b表示输入的人群图像，

表示输入图像的地面真实密度图；

步骤2.5)，将预测的得到的人群密度的所有像素值积分求和并结合损失函数得到预计的人数总和，实现人群密度分析和人群计数；

步骤3)：将步骤2)预测得到的人群密度图输入至基于特征金字塔模型实现的RetinaNet目标检测网络，使用人群密度图协助目标检测网络实现人头与非人头的分类，同时使用最近邻居策略估计头部边界框以初始化锚点信息，训练目标检测网络，实现人体头部检测与定位。

2.根据权利要求1所述基于密度图的人群密度分析与检测定位方法，其特征在于：所述步骤1.2)中高斯核参数β取0.3。

3.根据权利要求1所述基于密度图的人群密度分析与检测定位方法，其特征在于：所述步骤2.1)中卷积核大小k*k取3*3。

4.根据权利要求1所述基于密度图的人群密度分析与检测定位方法，其特征在于：所述步骤2.2)中随机梯度下降的固定学习率LR取1e-6。

5.根据权利要求1所述基于密度图的人群密度分析与检测定位方法，其特征在于：所述步骤2.3)中双线插值倍率

取8。

Images