CN109858424A - 人群密度统计方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种人群密度统计方法、装置、电子设备和存储介质，该方法包括：获取待统计的包括人群信息的目标图像；将目标图像输入至预先训练的目标检测深度神经网络中，得到目标图像对应的第一人群密度分布图；将目标图像输入至预先训练的人群密度回归深度神经网络中，得到目标图像对应的第二人群密度分布图；通过预先训练的融合神经网络对第一人群密度分布图和第二人群密度分布图进行融合得到第三人群密度分布图。以解决人群密度统计时存在的不能很好地处理不同拥挤程度场景中的人群密度分布的问题，提高了人群密度统计应用的广泛性以及准确度。

Description

人群密度统计方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及计算机视觉技术，尤其涉及一种人群密度统计方法、装置、电子设备和存储介质。

背景技术

随着科技的进步和人们生活水平的提高，人们的社交活动逐渐增多，交通枢纽、大型活动现场及大型公共场所人流拥堵越来越严重，由于人流拥堵造成的安全隐患日趋严重。因此，如何自动、实时的，进行人数统计具有重要的研究价值。

在实际情况中，不同场景的人群差异明显，同一个场景中不同时间段的人群变化也是巨大的。例如，地铁站内，上下班高峰期和平峰期出现的人群变化就非常大，上下班高峰期，人群非常拥挤，而在平峰期，一般而言，人群都是稀疏的，甚至是没有人出现。此外，由于相机成像的透视规律，成像后，导致离相机近的人群相对稀疏，离相机远的人群相对密集。

现有技术的处理方法中，一类通常是处理目标不是很小、相对稀疏以及遮挡不是很严重的场景中比较准确，另一类方法是处理目标较小、相对拥挤以及遮挡严重的场景中比较准确。但是在实际的应用中，无论是不同的场景，还是同一个场景中不同的时间段，当人群目标尺度跨度较大时，就会造成局部稀疏性很大，采用现有技术中的任意一种方法均不能很好的处理不同拥挤程度场景中的人群密度统计的问题。

发明内容

本申请提供了一种人群密度统计方法、装置、电子设备和存储介质，以解决现有技术中人群密度统计时存在的不能很好地处理不同拥挤程度场景中的人群密度统计的问题。

本申请采用如下技术方案：

第一方面，本申请实施例提供了一种人群密度统计方法，该方法包括：

获取待统计的包括人群信息的目标图像；

将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；

将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；

通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

第二方面，本申请实施例提供了一种人群密度统计装置，该装置包括：

目标图像获取模块，用于获取待统计的包括人群信息的目标图像；

第一人群密度分布图确定模块，用于将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；

第二人群密度分布图确定模块，用于将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；

第三人群密度分布图确定模块，用于通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人群密度统计方法。

第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的人群密度统计方法。

本申请采用的技术方案中有如下有益效果：本申请采用目标检测方法和密度回归方法融合的方式对人群进行密度图分析，具体是，首先将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；其次将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；最后，通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。以解决现有技术中人群密度统计时存在的不能很好地处理不同拥挤程度场景中的人群密度统计的问题，提高了人群密度统计应用的广泛性以及准确度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例提供的一种人群密度统计方法的流程图；

图2是本申请实施例提供的另一种人群密度统计方法的流程图；

图3是本申请实施例提供的一种人群密度统计装置的结构示意图；

图4是本申请实施例提供的示例的原图；

图5是本申请实施例提供的与图4对应的标签信息生成的密度图；

图6是本申请实施例提供的与图4对应的检测结果与标定的标签点的示意图；

图7是本申请实施例提供的一种与图4对应的由预先训练的人群密度回归深度神经网络生成的第一人群密度分布图；

图8是本申请实施例提供的一种与图4对应的由预先训练的目标检测深度神经网络生成的第二人群密度分布图；

图9是本申请实施例提供的一种与图4对应的第三人群密度分布图；

图10是本申请实施例提供的一种应用密度图统计人数的整体网络结构图；

图11是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

首先对本申请实施例的应用场景进行介绍，该人群密度统计方法可以有效处理实际场景中的人群密度分布差异较大的情况，包括稀疏人群、中等密度人群和高密度人群等。例如，地铁站内的上下班高峰期的人群变化很大，人群非常拥挤，为高密度人群；平峰期人群比较稀疏，甚至是没有人出现，为稀疏人群。正确分析人群密度，对于指导有关部门的工作以及人们的出行具有很深的指导意义。

图1给出了本申请实施例提供的一种人群密度统计方法的流程图，本实施例提供的人群密度统计方法可以由本申请实施例中的人群密度统计装置来执行，该人群密度统计装置可通过硬件和/或软件的方式实现。参考图1，该方法具体可以包括：

S101、获取待统计的包括人群信息的目标图像。

具体的，待统计的人群可以是步行街上的人群、公园里人群、地铁站站台上的人群或者火车站候车室中的人群等等。例如，以地铁站站台上的人群为例，可以根据实际的需求，选取目标时刻的人群信息的图像作为目标图像，其中，目标时刻可以是周五下午6点至凌晨12点以及周日下午6点至凌晨12点，具体可以通过安装在地铁站站台上的监控摄像头获取目标图像。其中，目标图像中包括的既定目标的数量是未知的，这里不进行限定，例如，目标图像中可以包括多个既定目标，也可以不包括既定目标。

S102、将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图。

其中，目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力，尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得尤其重要。而在人群密度统计中，应用目标检测深度神经网络可以很好的处理目标不是很小、相对稀疏以及遮挡不是很严重的场景中的人群密度统计。

在一个具体的例子中，通常情况下目标检测深度神经网络可以使用SSD(SingleShot MultiBox Detector，一种目标检测算法)，例如可以是RetinaNet或RefineDet等；还可以是RCNN系列方法，例如可以是Fast-RCNN或Faster-RCNN等；还可以是Yolo系列方法等，其中，RCNN、Fast-RCNN以及Faster-RCNN均为在CNN(Convolutional Neural Networks，卷积神经网络)的基础上扩展了不同的功能，在此不赘述。

S103、将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图。

其中，神经网络回归是一种非参数非线性方法，结合了神经网络和回归两方面的优势，在本发明实施例中，应用了这两个方面的优势，也即，在人群密度统计中，应用人群密度回归深度神经网络，处理目标较小、相对拥挤以及遮挡严重的场景中比较准确。具体的，在本申请实施例中，将目标图像输入至预先训练的人群密度回归深度神经网络中，得到目标图像对应的第二人群密度分布图。需要说明的是，本申请实施例中的相对拥挤或人口密集，有两个基本概念，一个是真实场景中，人群密集，比如春运时期的拥挤的火车站；另一个是，由于成像的透视规律导致的空间压缩，其在图像上呈现出来的也是非常密集的情况。

在一个具体的例子中，在人群密度回归深度神经网络的训练过程中，需要应用标签信息，其中，通过该标签信息，可以确定人群密度回归深度神经网络的具体功能，以此来获得预先训练的人群密度回归深度神经网络。其中，人群密度回归深度神经网络的标签信息的生成方法如下：

其中，G(*)表示高斯滤波，σ_i为第i点的高斯参数，是指当前点i的各个相邻点距离当前点i的距离，相邻点至少有k个，其中，k是指与当前点i最靠近的点的个数，表示当前点i的k-近邻平均距离，i表示标注的点索引；x_i是指当前点，x是指除了当前点以外的其他点，β是指经验参数，N是当前图像中标记点的数量(也就是目标数量)，δ是指设定的一种函数运算。

在一个具体的例子中，若当前目标图像中有四个人，分别记为A、B、C和D，假设B距离A最近，C与A的距离大于B与A的距离，D与A的距离最远，则在该具体的例子中，当前点为A，则k-近邻平均距离是指3-邻近平均距离，也即，D到A的距离、C到A的距离以及B到A的距离的平均值。

需要说明的是，S102和S103的执行顺序可以进行调换，也即，第一人群密度分布图和第二人群密度图的获得过程并无先后顺序之分。

S104、通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

具体的，在获得第一人群密度分布图和第二人群密度分布图之后，通过预先训练的融合神经网络对第一人群密度分布图和第二人群密度分布图进行融合，以此来得到第三人群密度分布图。

可选的，在得到第三人群密度分布图后，还可以根据所述第三人群密度分布图，统计所述目标图像中的人数。具体的，将第三人群密度分布图发送至电子设备后，电子设备可以根据该第三人群密度分布图统计目标图像中的人数。

此外，还可以对第三人群密度分布图中的高密度区域进行标识，将此高密度区域作为特定区域进行安全管控；还可以对第三人群密度分布图中的部分区域进行分析，以统计该部分区域中的人数。需要说明的是，在得到第三人群密度分布图后，对第三密度分布图的应用不进行限定，上述举例只是用来示例。

在一个具体的例子中，由于第三人群密度分布图中各像素点的像素值代表该点处的人群密度，因此，电子设备可以对第三人群密度分布图中各像素点的像素值进行积分处理，并将所处理的结果作为目标图像中包括的总人数。例如，电子设备可以首先确定第三人群密度分布图中各像素点的像素值，然后将各像素点的像素值相加，最后将相加结果作为目标图像中包括的总人数。

本申请采用的技术方案中有如下有益效果：本申请采用目标检测方法和密度回归方法融合的方式对人群进行密度图分析，具体是，首先将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；其次将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；最后，通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图，再根据所述第三人群密度分布图，统计所述目标图像中的人数。以解决现有技术中人群密度统计时存在的不能很好地处理不同拥挤程度场景中的人群密度统计的问题，提高了人群密度统计应用的广泛性以及准确度。

可选的，所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络共享一个基础网络；所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络均为全卷积神经网络。

其中，预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络共享一个基础网络，在一个具体的例子中，基础网络可以是VGG16中conv1到conv4的网络层。

此外，预先训练的目标检测深度神经网络和预先训练的人群密度回归深度神经网络均可以是全卷积神经网络，例如可以是选取VGG或RESNET作为共享的基础网络，本发明实施例以VGG16为例进行说明。在一个具体的例子中，预先训练的人群密度回归深度神经网络的构造可以表示如下：

P1：

Input:VGG16conv4_3

D0:Input->conv3×3×512-s2-relu

D1:D0->conv3×3×512-s2-relu

D2:D1->conv3×3×512-s2-relu

D3:D2->conv3×3×256-s2-relu

D4:D3->conv3×3×128-s2-relu

D5:D4->conv3×3×64-s2-relu

D6:D5->conv1×1×1->output

其中，convn×n×m-sq表示卷积核大小为n×n，通道数为m，dilation rate(扩张率)为q的空洞卷积；convn×n×m表示卷积核大小为n×n，通道数为m的普通卷积；符号”->”表示数据信息流向。具体的，conv4_3是VGG16中conv4中的一层，conv4包含三个子层，即conv4_1、conv4_2和conv4_3；relu表示神经网络中通用的激活函数。

可选的，所述预先训练的人群密度回归深度神经网络中可以应用视觉注意力机制。

其中，视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。具体的，深度学习中的视觉注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。在本申请实施例中，则从众多信息中选择的当前任务目标更关键的信息是人的信息，例如，人的位置信息。需要说明的是，视觉注意力机制在本方案中是可选的，应用视觉注意力机制会带来更好的效果，但是应用视觉注意力机制可能提高计算复杂度，因此，在实际的应用中，可以根据实际的需求选择是否应用视觉注意力机制。在本申请实施例中，以应用视觉注意力机制进行说明，但不形成具体限定。

在一个具体的例子中，在上述P1的基础上，进一步使用视觉注意力机制，其过程具体描述为：

P2：

DA:conv1×1×1

Input：VGG16conv4_3

D0:Input->conv3×3×512-s2-relu

D1:D0->conv3×3×512-s2-relu

D2:D1->conv3×3×512-s2-relu

D3:D2->conv3×3×256-s2-relu

D4:D3->conv3×3×128-s2-relu

D5:D4->conv3×3×64-s2-relu

D6:D5->conv1×1×1

DAT:D6dot-product DATTENSION

D7:DAT->conv1×1×1->output

其中，视觉注意力机制的应用形式通过DATTENSION：D5->DA->output:DATTENSION体现，convn×n×m-sq表示卷积核大小为n×n，通道数为m，dilation rate为q的空洞卷积。convn×n×m表示卷积核大小为n×n，通道数为m的普通卷积，符号”->”表示数据信息流向。在一个具体的例子中，conv1×1×1表示卷积核大小为1×1，输出为1层，relu表示神经网络中通用的激活函数。

其中，视觉注意力机制表述如下：

am＝softmax(g)

其中，w表示卷积参数，表示当前层中的第m个通道的特征图，表示卷积操作，⊙表示点积操作，表示加上视觉注意力机制后的第m个通道的特征图，b表示卷积偏置。示例性的，通道是指，构成目标图像的多张图片，每个图片成为一个通道，具有各自的通道特征。

在上述实施例的基础上，图2给出了本申请实施例提供的另一种人群密度统计方法的流程图。该人群密度统计方法是对上述人群密度统计方法的具体化。参考图2，该人群密度统计方法包括：

S201、获取待统计的包括人群信息的目标图像。

S202、将所述目标图像输入至预先训练的目标检测深度神经网络中，获取所述目标检测深度神经网络输出的目标框的坐标参数、类别以及所述目标框的类别得分。

具体的，将目标图像输入至预先训练的目标检测深度神经网络中，目标检测深度神经网络的输出为目标框，其中，目标框可以是目标图像中的指定目标为人时的将人头进行标定的矩形框。获取目标检测深度神经网络输出的目标框的坐标参数，其中，坐标参数包括起始横坐标，用t_x表示，包括起始纵坐标，用t_y表示，目标宽用t_w表示，目标高用t_h表示；目标框的类别用class表示，目标框的类别得分用score表示。在一个具体的例子中，目标框的类别可以是人、包或宠物等。

S203、通过设定的阈值，结合所述坐标参数、类别以及所述目标框的类别得分对所述目标框进行过滤。

其中，设定的阈值可以是目标框的类别得分阈值，该得分阈值可以用DT表示，通过设定的阈值对目标框进行过滤，选择符合条件的目标框。在一个具体的例子中，过滤条件可以是类别得分阈值大于设定的阈值的即为符合条件的目标框。

S204、获取过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高。

具体的，在对目标框进行过滤后，将符合条件的目标框称为过滤后的目标框，获取过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高，分别用t_xd、t_yd、t_wd以及t_hd表示。

S205、根据所述过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高确定过滤后的目标框的中心坐标。

具体的，过滤后的目标框的中心坐标的横坐标可以用表示，过滤后的目标框的中心坐标的纵坐标可以用表示，具体的计算方式如下：

S206、应用高斯滤波对所述过滤后的目标框的中心坐标进行运算，确定第一人群密度图，其中，所述高斯滤波的参数根据当前目标框的中心坐标的k-近邻平均距离自适应选取。

具体的，根据当前目标框的中心点的k-近邻平均距离自适应选取高斯滤波的参数，例如σ_i；应用高斯滤波对所述过滤后的目标框的中心坐标进行运算，确定第一人群密度图。其中，参数的具体计算过程和第一人群密度图的生成方式如下：

其中，t_xc和t_yc表示目标框的中心坐标，G(*)表示高斯滤波，σ_i为第i点的高斯参数，表示当前点i的k-近邻平均距离，i表示当前检测目标框的中心点索引，其中，中心点是中心坐标处的点，关于k-近邻平均距离的解释与S103中相同，在此不赘述。

S207、将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图。

S208、联合所述预先训练的融合神经网络、所述预先训练的目标检测深度神经网络以及所述预先训练的人群密度回归深度神经网络，得到人群密度深度神经网络。

具体的，联合所述预先训练的融合神经网络、所述预先训练的目标检测深度神经网络以及所述预先训练的人群密度回归深度神经网络进行整体网络训练，得到人群密度深度神经网络，也即，最终的人群密度深度神经网络。

示例性的，所述预先训练的融合神经网络的训练过程如下：可以应用可学习的sigmod函数方式来计算预先训练的融合神经网络的权重，计算融合权重的过程可以表述为：

其中fs(i)表示网络学习到的融合权重，fⁱ表示特征图中的第i个点，i是对应的点索引，α和β是可学习参数，具体可以通过反向传播的方式学习得到。其中，融合权重是预先训练的融合神经网络中的一个重要参数，融合神经网络的输出即为融合权重。具体的，本发明实施例中应用的预先训练的融合网络中，包含了上述可学习的sigmod函数对应的sigmod层。

在一个具体的例子中，通过深度卷积神经网络来学习融合权重，融合神经网络的训练过程具体描述如下：

融合神经网络的输入为归一化后的第一人群密度分布图、第二人群密度分布图以及VGG16conv4_3经过1×1×3卷积滤波并归一化后的特征组合，用第一归一化特征对融合权重学习神经网络FN1进行训练得到融合神经网络。

具体的融合神经网络的网络结构如下：

FN1：

F0:Input->conv3×3×20->conv3×3×20->conv3×3×20->relu

F1:F0->conv3×3×40->conv3×3×40->relu

F2:F1->conv3×3×20->conv3×3×20->relu

F3:F2->conv1×1×1

F4:F3->learnSigmod->output:fs

其中，convn×n×m-sq表示卷积核大小为n×n，通道数为m，dilationrate为q的空洞卷积，convn×n×m表示卷积核大小为n×n，通道数为m的普通卷积，fs表示通过学习得到的融合权重，符号”->”表示数据信息流向。

需要说明的是，融合神经网络的损失函数和预先训练的人群密度回归深度神经网络中应用的密度图回归损失函数以及人数损失函数一致，在此不赘述。

S209、应用所述人群密度深度神经网络得到第三人群密度分布图。

S210、根据所述第三人群密度分布图，统计所述目标图像中的人数。本申请实施例中，通过对目标框的各个参数的确定，再根据设定的阈值对目标框进行过滤，选择出符合条件的目标框，根据过滤后的目标框的相关参数以及应用高斯滤波对所述过滤后的目标框的中心坐标进行运算，确定第一人群密度图，应用了目标检测方法的优点；联合所述预先训练的融合神经网络、所述预先训练的目标检测深度神经网络以及所述预先训练的人群密度回归深度神经网络，得到人群密度深度神经网络，再应用人群密度深度神经网络确定第三人群密度分布图，进而应用第三人群密度分布图统计目标图像中的人数。提高了应用人群密度统计目标图像中的人数的准确度。

示例性的，所述预先训练的人群密度回归深度神经网络的训练过程中应用的综合损失函数根据密度图回归损失函数和人数损失函数确定。

与现有技术相比，本申请实施例中预先训练的人群密度回归深度神经网络的训练过程中应用两个损失函数，密度回归损失函数和人群损失函数，再根据密度回归损失函数和人群损失函数确定综合损失函数，应用综合损失函数对人群密回归深度神经网络进行训练，确定预先训练的人群密度回归深度神经网络。在一个具体的例子中，密度图回归损失函数L_D(w)使用欧氏距离作为损失函数，具体如下：

其中，w是人群密度回归神经网络参数，是第i张图像的真实人群密度分布图，是第i张图像估计的第二人群密度分布图，N是训练图片数量。

人数损失函数L_C(w)可以表示为：

其中，w是人群密度回归神经网络参数，是第i张图像的真实人群密度分布图，是第i张图像估计的第二人群密度分布图，N是训练图片数量。

综上，综合损失函数为：

L_S(w)＝L_D(w)+λL_C(w)

其中，λ是平衡L_D(w)和L_C(w)的平衡参数。

在上述技术方案的基础上，第三人群密度分布图的确定公式如下：

D(w)＝fs⊙D¹(w)+(1-fs)⊙D²(w)

其中，fs是通过学习得到的权重，⊙表示点积操作，D¹(w)，D²(w)分别表示第一人群密度分布图和第二人群密度分布图，D(w)表示第三人群密度分布图。

应用两个损失函数与应用单一的损失函数相比，提高了预先训练的人群密度回归深度神经网络在训练过程中的准确性，进而提高了人群密度统计的准确性。

示例性的，所述预先训练的人群密度回归深度神经网络的训练过程包括：采用所述密度图回归损失函数对基础人群密度回归深度神经网络进行训练，得到中间人群密度回归深度神经网络；采用所述综合损失函数对所述中间人群密度回归深度神经网络进行训练，得到所述预先训练的人群密度回归深度神经网络。

具体的，采用密度回归损失函数对基础人群密度回归深度神经网络进行训练，当满足第一终止条件时停止训练，得到中间人群密度回归深度神经网络；然后采用综合损失函数对中间人群密度回归深度神经网络进行训练，当满足第二终止条件时停止训练，得到预先训练的人群密度回归深度神经网络。其中，第一终止条件和第二终止条件均可以根据本申请实施例的人群密度统计方法的实际应用场景中的实际需求进行设定。

在上述实施例的基础上，图3为本申请实施例提供的一种人群密度统计装置的结构示意图。参考图3，本实施例提供的人群密度统计装置具体包括：目标图像获取模块301、第一人群密度分布图确定模块302、第二人群密度分布图确定模块303和第三人群密度分布图确定模块304。

其中，目标图像获取模块301，用于获取待统计的包括人群信息的目标图像；第一人群密度分布图确定模块302，用于将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；第二人群密度分布图确定模块303，用于将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；第三人群密度分布图确定模块304，用于通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

本申请采用的技术方案中有如下有益效果：本申请采用目标检测方法和密度回归方法融合的方式对人群进行密度图分析，具体是，首先将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；其次将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；最后，通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图，再根据所述第三人群密度分布图，统计所述目标图像中的人数。以解决现有技术中人群密度统计时存在的不能很好地处理不同拥挤程度场景中的人群密度统计的问题，提高了人群密度统计应用的广泛性以及准确度。

可选的，所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络共享一个基础网络；所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络均为全卷积神经网络。

可选的，第一人群密度分布图确定模块302包括：

获取子模块，用于获取所述目标检测深度神经网络输出的目标框的坐标参数、类别以及所述目标框的类别得分；

过滤子模块，用于通过设定的阈值，结合所述坐标参数、类别以及所述目标框的类别得分对所述目标框进行过滤；

生成子模块，用于应用过滤后的目标框生成所述第一人群密度图。

可选的，所述生成子模块具体用于：

获取过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高；

根据所述过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高确定过滤后的目标框的中心坐标；

应用高斯滤波对所述过滤后的目标框的中心坐标进行运算，确定第一人群密度图，其中，所述高斯滤波的参数根据当前目标框的中心目标的k-近邻平均距离自适应选取。

可选的，所述预先训练的人群密度回归深度神经网络的训练过程中应用的综合损失函数根据密度图回归损失函数和人数损失函数确定。

可选的，第二人群密度分布图确定模块303包括：

第一训练子模块，用于采用所述密度图回归损失函数对基础人群密度回归深度神经网络进行训练，得到中间人群密度回归深度神经网络；

第二训练子模块，用于采用所述综合损失函数对所述中间人群密度回归深度神经网络进行训练，得到所述预先训练的人群密度回归深度神经网络。

可选的，第三人群密度分布图确定模块304具体用于：

联合所述预先训练的融合神经网络、所述预先训练的目标检测深度神经网络以及所述预先训练的人群密度回归深度神经网络，得到人群密度深度神经网络；

应用所述人群密度深度神经网络得到第三人群密度分布图。

可选的，还包括人数统计模块，用于根据所述第三人群密度分布图，统计所述目标图像中的人数。

本申请实施例提供的人群密度统计装置可以用于执行上述实施例提供的人群密度统计方法，具备相应的功能和有益效果。

为了使本申请实施例的技术方案更容易理解，下面用一些图来说明本申请实施例的应用，其中，

图4示出了示例的原图，图5示出了与图4对应的标签信息生成的密度图，图6示出了与图4对应的检测结果与标定的标签点的示意图，图7示出了一种与图4对应的由预先训练的人群密度回归深度神经网络生成的第一人群密度分布图，图8示出了一种与图4对应的由预先训练的目标检测深度神经网络生成的第二人群密度分布图，图9示出了一种与图4对应的第三人群密度分布图。图10示出了一种应用密度图统计人数的整体网络结构图。

本申请实施例提供了一种电子设备，且该电子设备中可集成本申请实施例提供的人群密度统计装置。图11是本申请实施例提供的一种电子设备的结构示意图。参考图11，该电子设备包括：处理器110、存储器111。该电子设备中处理器110的数量可以是一个或者多个，图11中以一个处理器110为例。该电子设备中存储器111的数量可以是一个或者多个，图11中以一个存储器111为例。该电子设备的处理器110和存储器111可以通过总线或者其他方式连接，图11中以通过总线连接为例。

存储器111作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的人群密度统计方法对应的程序指令/模块(例如目标图像获取模块301、第一人群密度分布图确定模块302、第二人群密度分布图确定模块303和第三人群密度分布图确定模块304)。存储器111可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器111可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器111可进一步包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器110通过运行存储在存储器111中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的人群密度统计方法，该人群密度统计方法包括：获取待统计的包括人群信息的目标图像；将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

上述提供的电子设备可用于执行上述实施例提供的人群密度统计方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人群密度统计方法，该人群密度统计方法包括：获取待统计的包括人群信息的目标图像；将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

存储介质——任何的各种类型的存储器电子设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的人群密度统计方法，还可以执行本申请任意实施例所提供的人群密度统计方法中的相关操作。

上述实施例中提供的人群密度统计装置、存储介质及电子设备可执行本申请任意实施例所提供的人群密度统计方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的人群密度统计方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (12)

1.一种人群密度统计方法，其特征在于，包括：

获取待统计的包括人群信息的目标图像；

将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；

将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；

通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

2.根据权利要求1所述的方法，其特征在于，所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络共享一个基础网络；

所述预先训练的目标检测深度神经网络和所述预先训练的人群密度回归深度神经网络均为全卷积神经网络。

3.根据权利要求1所述的方法，其特征在于，所述第一人群密度图的生成方式如下：

获取所述目标检测深度神经网络输出的目标框的坐标参数、类别以及所述目标框的类别得分；

通过设定的阈值，结合所述坐标参数、类别以及所述目标框的类别得分对所述目标框进行过滤；

应用过滤后的目标框生成所述第一人群密度图。

4.根据权利要求3所述的方法，其特征在于，所述应用过滤后的目标框生成所述第一人群密度图，包括：

获取过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高；

根据所述过滤后的目标框的起始横坐标、起始纵坐标、目标宽和目标高确定过滤后的目标框的中心坐标；

应用高斯滤波对所述过滤后的目标框的中心坐标进行运算，确定第一人群密度图，其中，所述高斯滤波的参数根据当前目标框的中心坐标的k-近邻平均距离自适应选取。

5.根据权利要求1所述的方法，其特征在于，所述预先训练的人群密度回归深度神经网络的训练过程中应用的综合损失函数根据密度图回归损失函数和人数损失函数确定。

6.根据权利要求5所述的方法，其特征在于，所述预先训练的人群密度回归深度神经网络的训练过程包括：

采用所述密度图回归损失函数对基础人群密度回归深度神经网络进行训练，得到中间人群密度回归深度神经网络；

采用所述综合损失函数对所述中间人群密度回归深度神经网络进行训练，得到所述预先训练的人群密度回归深度神经网络。

7.根据权利要求1所述的方法，其特征在于，所述通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图，包括：

联合所述预先训练的融合神经网络、所述预先训练的目标检测深度神经网络以及所述预先训练的人群密度回归深度神经网络，得到人群密度深度神经网络；

应用所述人群密度深度神经网络得到第三人群密度分布图。

8.根据权利要求1-7任一项所述的方法，其特征在于，在所述通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图之后，还包括：

根据所述第三人群密度分布图，统计所述目标图像中的人数。

9.一种人群密度统计装置，其特征在于，包括：

目标图像获取模块，用于获取待统计的包括人群信息的目标图像；

第一人群密度分布图确定模块，用于将所述目标图像输入至预先训练的目标检测深度神经网络中，得到所述目标图像对应的第一人群密度分布图；

第二人群密度分布图确定模块，用于将所述目标图像输入至预先训练的人群密度回归深度神经网络中，得到所述目标图像对应的第二人群密度分布图；

第三人群密度分布图确定模块，用于通过预先训练的融合神经网络对所述第一人群密度分布图和所述第二人群密度分布图进行融合得到第三人群密度分布图。

10.根据权利要求9所述的装置，其特征在于，还包括：

人数统计模块，用于根据所述第三人群密度分布图，统计所述目标图像中的人数。

11.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一所述的人群密度统计方法。

12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8任一所述的人群密度统计方法。