CN107679503A - 一种基于深度学习的人群计数算法 - Google Patents

Abstract

本发明公开了一种基于深度学习的人群计数算法，算法的步骤为：根据人体的高度，估计不同视角下的透视图；根据透视图，在不同的区域选择块，输入到全卷积网络中进行人群密度估计；基于人群密度估计的结果，使用CNN进行人群数目估计；基于人群密度估计的结果，结合原图RGB三通道图像，使用FCN进行人体分割任务学习；人群数目估计与人体分割两个任务联合学习，提升人群数目估计和人体分割模型的精度。本发明结合深度学习和人群密度图估计人群数目与人体分割，提高了人群计数算法及系统的准确性。

Description

一种基于深度学习的人群计数算法

技术领域

本发明涉及一种计数算法，尤其涉及一种基于深度学习的人群计数算法，属于机器视觉技术领域。

背景技术

在公共场所的监控视频中进行人群计数具有重要的研究价值。例如，在车站候车大厅中进行人群计数，可以优化公共交通的调度；特定区域中人群数目的迅速变化可能会导致意外事件等。目前人群计数的主要方法有：

1)行人检测法：在人群稀疏分布的场景中，通过检测视频中的每一个行人来计数。这种方法相对直接，但是在人群拥挤遮挡时会受到影响。

2)轨迹聚类法：对于监控视频，通常使用KLT(Kanade-Lucas-Tomasi)跟踪器与聚类的方法，用轨迹聚类去估计人数。但这种方法会被人之间的严重遮挡所限制。

3)特征回归法：首先得到图像特征与人数的回归模型，然后借助图像特征来估计图像中的人数。这种方法考虑到了人群的整体特征，可以进行大规模的人群计数，但是会忽略行人的空间信息，导致计数精度不够。

4)人群密度图回归法：通过像素级的目标密度图回归计数，后又改进了随机森林使目标密度回归的方法，提高了训练效率。该法除了考虑到了空间信息，另一个优势是它们能估计图像任意位置的目标数目。借助于这个优势，提出了交互式的目标计数系统，它可以直观地展示密度估计结果，让使用者很容易知道人群计数是否出错。但这些方法都是针对特定场景的，并不适用于跨场景的计数。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于深度学习的人群计数算法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的人群计数算法，其整体步骤如下：

S1、数据准备阶段：

S11、对于跨场景人群计数集中的人群图片，根据人体的高度，估计不同视角下的透视图，生成数据库中不同场景下图像的透视图；

S12、根据步骤S11获得的透视图和数据库中所标注的行人头部位置得到密度图的真值，计算方法如公式一所示；

其中，D_i(p)是计算得到的密度图；p是原图上任意一点；P_i是原图上所有的点；N_h是归一化的高斯核；P_h是行人的头部位置；σ_h是高斯核函数的宽度参数；N_b是二维正态分布；P_b是行人的身体位置，它是由头部位置和透视图的值所估计的，此处假设所有成年人的身高为175cm；∑代表二维正态分布中的协方差矩阵；

把N_h与N_b相加，||Z||为p点所在的密度图上单个人的密度图值的总和，除以||Z||归一化后每个人在密度图上的值求和都为1，整张密度图求和后的值即为图中人数；

S13、按照数据库中给定的透视图随机在原图上切块，图像块的大小根据图像块左上角的点在透视图对应位置的值确定；选取图像块左上角的点在透视图中对应位置的值取整后乘以5作为切出的正方形图像的边长，进而在原图和计算所得到的密度图中按近大远小的方法切块；

S2、模型设计与训练阶段：

S21、因为原数据集包含训练集和测试集，把通过S13步骤在训练集切下来的图像块和密度图块分为训练集，把通过S13步骤在测试集切下来的图像块和密度图块分为测试集；

S22、在深度学习框架caffe下，用FCN全卷积网络学习到人群密度图，具体为：把FCN的损失改为欧式损失，网络输入为原图上切下来的小块，把它们都缩放到128*128像素大小，要学习到的密度图的真值是通过计算得到的密度图上对应位置上切下来的密度图块上的值，同样把这些切下来的密度图的小块缩放到128*128像素大小，然后通过FCN学习适应得到图像的密度图的深度神经网络模型，基于FCN训练得到的模型用于检测任意输入图像的人群密度图；

S23、人群数目估计与人体分割两个任务联合学习，提升人群数目估计模型和人体分割模型的精度；在学习到的密度图的基础上，在学习密度图时的FCN之后加入全连接层形成CNN来训练适于进行人群计数的CNN模型进行人群数目估计，网络输入为原图切下来的图像块，训练目标真值为图像块中的人数；并结合人群密度图与原图作为训练的目标真值，网络输入仍为原图切下来的图像块，使用FCN训练适于进行人体分割的深度神经网络模型用于进行人体分割；

S3、模型测试阶段：

S31、训练好的人群密度图模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群密度图模型，提取模型的最后一层反卷积层作为生成的密度图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群密度图，然后把这些小块拼起来得到整张图像的密度图；

S32、人群计数模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群计数模型，提取模型的最后一层全连接层的结果作为人群数目，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群数目，然后把这些小块上的所有结果加起来得到整张图像的人群数目；

S33、人体分割模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人体分割模型，提取模型的最后一层反卷积层作为生成的人体分割图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人体分割图，然后把这些小块拼起来得到整张图像的人体分割图。

本发明结合深度学习和人群密度图估计人群数目与人体分割，提高了人群计数算法及系统的准确性。此外，人群数目估计与人体分割两个任务联合学习，可以提升人群数目估计和人体分割模型的精度。

附图说明

图1为本发明的整体结构示意图。

图2为在原图上对透视图的值进行切块的示意图。

图3为在密度图上对透视图的值进行切块的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示的一种基于深度学习的人群计数算法，其整体步骤如下：

S1、数据准备阶段：

S11、对于跨场景人群计数集WorldExpo’10Crowd Counting Dataset(2010年上海世博会人群计数数据集)中的人群图片，根据人体的高度，估计不同视角下的透视图。在每个场景使用行人检测器随机选几个成年行人标注，假设成人的平均身高为175cm，透视图中的像素值表示实际场景中一米在图像中包含的像素个数，利用线性回归的方法，生成数据库中不同场景下图像的透视图；

S12、根据步骤S11获得的透视图和数据库中所标注的行人头部位置得到密度图的真值，计算方法如公式一所示；

其中，D_i(p)是计算得到的密度图；p是原图上任意一点；P_i是原图上所有的点；N_h是归一化的高斯核；P_h是行人的头部位置；σ_h是高斯核函数的宽度参数；N_b是二维正态分布；P_b是行人的身体位置，它是由头部位置和透视图的值所估计的，此处假设所有成年人的身高为175cm；∑代表二维正态分布中的协方差矩阵；

把N_h与N_b相加，||Z||为p点所在的密度图上单个人的密度图值的总和，除以||Z||归一化后每个人在密度图上的值求和都为1，整张密度图求和后的值即为图中人数；

S13、按照数据库中给定的透视图随机在原图上切块，图像块的大小根据图像块左上角的点在透视图对应位置的值确定；选取图像块左上角的点在透视图中对应位置的值取整后乘以5作为切出的正方形图像的边长，这样就可以在原图和计算所得到的密度图中按近大远小的方法切块。在原图和计算得到的密度图上按步骤S11得到的透视图的值进行切块的示意图分别如图2、图3所示。

S2、模型设计与训练阶段：

S21、因为原数据集包含训练集和测试集，把通过S13步骤在训练集切下来的图像块和密度图块分为训练集，把通过S13步骤在测试集切下来的图像块和密度图块分为测试集；

S22、在深度学习框架caffe下，用FCN(全卷积网络)学习到人群密度图，具体为：把FCN的损失改为欧式损失，网络输入为原图上切下来的小块，把它们都缩放到128*128像素大小，要学习到的密度图的真值是通过计算得到的密度图上对应位置上切下来的密度图块上的值，同样把这些切下来的密度图的小块缩放到128*128像素大小，然后通过FCN学习适应得到图像的密度图的深度神经网络模型，基于FCN训练得到的模型可以检测到任意输入图像的人群密度图；

S23、人群数目估计与人体分割两个任务联合学习，提升人群数目估计模型和人体分割模型的精度；在学习到的密度图的基础上，在学习密度图时的FCN之后加入全连接层形成CNN(卷积神经网络)来训练适于进行人群计数的CNN模型进行人群数目估计，网络输入为原图切下来的图像块，训练目标真值为图像块中的人数；并结合人群密度图与原图(RGB三通道图像)作为训练的目标真值，网络输入仍为原图切下来的图像块，使用FCN训练适于进行人体分割的深度神经网络模型用于进行人体分割；

S3、模型测试阶段：

S31、训练好的人群密度图模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群密度图模型，提取模型的最后一层反卷积层作为生成的密度图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群密度图，然后把这些小块拼起来得到整张图像的密度图；

S32、人群计数模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群计数模型，提取模型的最后一层全连接层的结果作为人群数目，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群数目，然后把这些小块上的所有结果加起来得到整张图像的人群数目；

S33、人体分割模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人体分割模型，提取模型的最后一层反卷积层作为生成的人体分割图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人体分割图，然后把这些小块拼起来得到整张图像的人体分割图。

本发明与传统的人群技术算法相比，具有以下优势：

一、基于深度学习的人群计数算法：1)使用全卷积网络进行人群密度图估计；2)人群数目估计与人体分割联合学习。有益效果：通过多层卷积得到高层特征，可以通过深度网络来学习人群密度图并分割人体，从而得到更精确的人群数目。

二、使用全卷积网络进行人群密度估计：1)基于行人检测器，根据人体的高度，估计不同场景下的透视图；2)根据透视图，在不同的区域选择不同大小的块，输入到全卷积网络中进行人群密度图估计。有益效果：根据得到的透视图可以估计不同场景下的人群密度图，使人数估计更为精确。

三、人群数目估计与人体分割联合学习：1)基于人群密度图估计的结果，使用CNN(卷积神经网络)进行人群数目估计；2)基于人群密度图估计的结果，结合原图RGB三通道图像，使用FCN(全卷积网络)进行人体分割任务学习；3)人群数目估计与人体分割两个任务联合学习，提升人群数目估计和人体分割模型的精度。有益效果：人数估计与人体分割进行多任务学习，可以有效提升两个任务的准确度。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (1)

1.一种基于深度学习的人群计数算法，其特征在于：所述算法的整体步骤如下：

S1、数据准备阶段：

S11、对于跨场景人群计数集中的人群图片，根据人体的高度，估计不同视角下的透视图，生成数据库中不同场景下图像的透视图；

S12、根据步骤S11获得的透视图和数据库中所标注的行人头部位置得到密度图的真值，计算方法如公式一所示；

其中，D_i(p)是计算得到的密度图；p是原图上任意一点；P_i是原图上所有的点；N_h是归一化的高斯核；P_h是行人的头部位置；σ_h是高斯核函数的宽度参数；N_b是二维正态分布；P_b是行人的身体位置，它是由头部位置和透视图的值所估计的，此处假设所有成年人的身高为175cm；∑代表二维正态分布中的协方差矩阵；

把N_h与N_b相加，||Z||为p点所在的密度图上单个人的密度图值的总和，除以||Z||归一化后每个人在密度图上的值求和都为1，整张密度图求和后的值即为图中人数；

S13、按照数据库中给定的透视图随机在原图上切块，图像块的大小根据图像块左上角的点在透视图对应位置的值确定；选取图像块左上角的点在透视图中对应位置的值取整后乘以5作为切出的正方形图像的边长，进而在原图和计算所得到的密度图中按近大远小的方法切块；

S2、模型设计与训练阶段：

S21、因为原数据集包含训练集和测试集，把通过S13步骤在训练集切下来的图像块和密度图块分为训练集，把通过S13步骤在测试集切下来的图像块和密度图块分为测试集；

S22、在深度学习框架caffe下，用FCN全卷积网络学习到人群密度图，具体为：把FCN的损失改为欧式损失，网络输入为原图上切下来的小块，把它们都缩放到128*128像素大小，要学习到的密度图的真值是通过计算得到的密度图上对应位置上切下来的密度图块上的值，同样把这些切下来的密度图的小块缩放到128*128像素大小，然后通过FCN学习适应得到图像的密度图的深度神经网络模型，基于FCN训练得到的模型用于检测任意输入图像的人群密度图；

S23、人群数目估计与人体分割两个任务联合学习，提升人群数目估计模型和人体分割模型的精度；在学习到的密度图的基础上，在学习密度图时的FCN之后加入全连接层形成CNN来训练适于进行人群计数的CNN模型进行人群数目估计，网络输入为原图切下来的图像块，训练目标真值为图像块中的人数；并结合人群密度图与原图作为训练的目标真值，网络输入仍为原图切下来的图像块，使用FCN训练适于进行人体分割的深度神经网络模型用于进行人体分割；

S3、模型测试阶段：

S31、训练好的人群密度图模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群密度图模型，提取模型的最后一层反卷积层作为生成的密度图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群密度图，然后把这些小块拼起来得到整张图像的密度图；

S32、人群计数模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人群计数模型，提取模型的最后一层全连接层的结果作为人群数目，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人群数目，然后把这些小块上的所有结果加起来得到整张图像的人群数目；

S33、人体分割模型测试时使用滑动窗口的方式，将原数据库测试集中的任意一张图像输入学习到的人体分割模型，提取模型的最后一层反卷积层作为生成的人体分割图，然后在图像上采用滑动窗口的方式分块得到每一小块图像的测试结果，即每一小块的人体分割图，然后把这些小块拼起来得到整张图像的人体分割图。