CN109815919A - 一种人群计数方法、网络、系统和电子设备 - Google Patents

Abstract

本申请实施例提供一种人群计数方法、网络、系统及电子设备，所述方法包括：获取待测图像；将所述待测图像输入神经网络中，进行特征提取；对神经网络提取到的特征进行处理，统计出人群数量。利用本发明所公开的方法，在人群计数问题中可以输出高质量的人群密度图，同时得到高准确度的人群计数估计。

Description

一种人群计数方法、网络、系统和电子设备

技术领域

本申请涉及图像处理领域，特别涉及一种人群计数方法、网络、系统和电子设备。

背景技术

目前人群计数技术已广泛应用于视频监控，公共安全，交通流量控制等诸多领域，因而得到了越来越多的关注。但是人群计数主要困难在于人头尺度在图像中差异性大，人体遮挡严重，摄像透视形变，人群分布多样，环境背景噪声。这都使得精确的人群计数任务变得极具挑战。

现有的人群计数技术大致包括2类，基于传统特征的方法和基于深度神经网络的方法。传统特征方法主要通过从人体或人头抽取人工设计的描述特征，比如Harrwavelets和HOG描述子，再以滑动窗口的方式去搜索检测人体，从而得到图片中的人群计数。这类方法的主要缺陷是不能处理高密度人群，遮挡严重的场景。近年来随着深度神经网络在计算机视觉领域取得巨大成功，另一类基于深度神经网络的人群计数方法显示出了相比传统方法的优越性。这类方法优点在于直接输出人群密度图(density map)，因此除了能得到图片的人群总数外，还能得到更丰富的人群密度分布图，同时不需要人工设计特征。一个典型的方法是Zhang设计的multi-column CNN(MCNN)，取得了较好的效果。multi-column由不同卷积核大小的分支网络组成，目的是通过不同大小的卷积核来提取不同人头尺度的特征，来解决人头尺度差异性的问题。但是这个方法存在的问题一是不同分支的卷积核大小需要人工去设置，依赖实践经验。二是有论文实验指出具有不同卷积核大小的多个分支学习到的特征是高度相似的，这与方法的设计初衷相违背。同时目前主流的人群计数方法都没有对背景噪声进行很好的处理，对于一些有树木，植物，建筑物背景的场景，存在较多的计数错误。

发明内容

为了解决现有人群计数技术存在的上述困难，本发明的目的是提供一套高准确度的人群计数估计的解决方案。

本发明公开一种人群计数方法，该方法包括：获取待测图像；将所述待测图像输入神经网络中，进行特征提取；对神经网络提取到的特征进行处理，统计出人群数量。

优选的，所述神经网络包括主干网络、第一分支网络、第二分支网络。其中，所述主干网络用于提取所述目标图像数据的多层次特征，分别作为第一分支网络和第二分支网络处理的输入特征图；所述的第一分支网络用于产生注意力图；所述的第二分支网络用于产生密度图。

优选的，所述的主干网络采用带batch normalization的VGG16作为前端特征提取器。

优选的，所述的主干网络为单一大小卷积核单主干网络。

优选的，所述的主干网络采用3x3大小的卷积核。

优选的，所述的第一分支网络采用的训练算法包含用来衡量密度图像素点值的误差的算法和用来衡量注意力图的生成质量的算法。

所述的用来衡量密度图像素点值的误差的公式为：

F(X_i；Θ)是估计得密度图，是密度图的真值，N是batch中的图片数量。

所述的用来衡量注意力图的生成质量的公式为：

是注意力图的真值，P_i是经过sigmiod激活函数后的概率值。

所述的第一分支网络还包括多任务联合训练的损失函数，所述损失函数定义如下：

L＝L_den+αL_att(α为常数)

本发明提出一种人群计数方法中，所述的神经网络对所述的目标图像数据处理步骤包括：

所述的主干网络对所述输入图像数据进行处理提取多层次特征，传递给第一分支网络和第二分支网络进行处理。

所述的第一分支网络对输入特征进行处理，获得代表密度图中每个点是否属于人头区域的概率集合。

所述的第二分支网络输入特征进行一系列处理，融合不同尺度的特征，并与所述第一分支网络得到的集合相乘，得到优化后的特征集合；优化后的特征集合通过卷积层处理生成人群密度图。

本发明还公开一种神经网络，其特征在于所述网络包括主干网络、第一分支网络和第二分支网络。

其中，所述主干网络前置处理，实施提取输入图像数据的多层次特征，传递给第一分支网络和第二分支网络进行处理；所述第一分支网络实施对输入特征的处理，获得代表密度图中每个点是否属于人头区域的概率集合；所述第二分支网络实施对输入特征的处理，融合不同尺度的特征，并与所述第一分支网络处理得到的集合相乘，得到优化后的特征集合；优化后的特征集合通过卷积层处理生成人群密度图。

本发明还公开一种人群计数系统，包括获取单元、特征提取单元和处理单元。其中，获取单元用于获取待测图像数据；特征提取单元用于对所述输入数据进行处理提取多层次特征；处理单元用于将神经网络提取到的特征进行处理，统计出人群数量。

优选的，所述特征提取单元使用上述的神经网络实现特征提取。

本发明还提出的一种电子设备，包括处理器以及存储器，其中所述存储器用于存储可执行程序；所述处理器用于执行所述可执行程序以实现人群计数方法。

上述可知，本发明所公开的方法、网络和电子设备，前端采用主干网络做网络来提取多层次的特征，后端设计了双路特征融合网络，用于融合前端的不同层次特征，从而提高人群计数的估算能力。利用本发明所公开的方法、网络和电子设备，在人群计数问题中可以输出高质量的人群密度图，同时得到高准确度的人群计数估计。

为了对本发明有更清楚全面的了解，下面结合附图，对本发明人群计数方法、网络、系统和电子设备的具体实施方式进行详细描述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人群计数系统结构示意图。

图2为本发明实施例特征提取单元使用的神经网络结构示意图。

图3为本发明实施例提供的一种分支网络的处理流程示意图。

图4为本发明实施例提供的一种神经网络实施结构示意图。

图5为本发明实施例提供的神经网络各阶段输出的高密度图的可视化结果示意图。

具体实施方式

以下参照附图，对本发明的实施方式和实施例进行详细说明。

请参阅图1，图1示出了本发明实施例的一种人群计数系统结构图，如图所示，人群计数系统10包含三个单元，分别是获取单元101，特征提取单元102和处理单元103。

人群计数系统10接收到待分析视频作为输入数据。

首先由获取单元101对待分析视频进行处理，获得待测图像数据，作为特征提取单元102的输入。

特征提取单元102对输入的图像数据进行处理提取多层次特征。在本实施例中，特征提取单元102采用VGG16-BN主干网络做网络前端来提取图像的多层次的特征。后端设计了双路特征融合网络，用于融合前端的不同层次特征。其中一路为注意力图路径(attention map path)，用于输出注意力图，表示人群在图像中不同位置是否存在的概率。另一路为密度图路径(dens ity mappath)，把融合后的特征与注意力图相乘得到最终特征图，来达到抑制非人群区域的目的，最终特征图通过一个卷积层生成最终的人群密度图。

处理单元103用于对神经网络提取到的特征进行处理，统计出人群数量。

请参阅图2，图2为本发明实施例特征提取单元使用的神经网络结构示意图。本实施例的神经网络20包括三部分，包含主干网络201、第一分支网络202和第二分支网络203。

其中，主干网络201是以VGG16-BN做为前端特征提取器的特征图提取网络Featuremap extractor(FME)，优选的，可以采用单一大小卷积核单主干网络来提取特征。在该实施例中，FME网络全部采用3x3大小的卷积核，这一方法的优势在于相比于大卷积核可以大幅度减少计算量，并可以构建更深层的网络结构。优选的，选择预训练VGG16-BN，即带batchnormalization的VGG16作为前端特征提取器。通过截取了VGG16-BN前13层特征(conv1-1到conv5-3)，并选取conv2-2,conv3-3,conv4-3and conv5-3输出的特征图大小分别是原图的1/2,1/4,1/8，1/16，作为后端网络融合的输入特征图。

第一分支网络202的一种实现是注意力图路径生成分支网络(简称AMP)，AMP利用注意力模型来加强人头所在区域以区分背景噪声，并输出代表密度图中每个点是否属于人头区域的概率值。为了得到概率值，对AMP最后的输出采用sigmoid激活函数得到0-1之间的数值。高概率值表示人头区域，低概率值表示背景区域。

第二分支网络203的一种具体实现是密度图路径生成分支网络(简称DMP)，DMP由类似金字塔的结构组成，采用上采样upsample和连接concatenate操作融合不同尺度的特征，最后整合Euclidean loss和attention map loss来进行端到端的训练和预测。具体的处理流程请参阅图3。

请参阅图3，图3示出了本发明实施例提供的一种第二分支网络的处理流程，在本实施例中是指密度图通道生成分支网络(DMP)处理的部分流程，其中：

S1，表示transfer connectionblock结构，包含concat(S11)、conv1×1×256(S12)、BN Relu(S13)、conv3×3×256(S14)和upsample(S16)层的处理。

S2，表示headblock H结构，包含concat(S21)、conv1×1×64(S22)、conv3×3×64(S23)和conv3×3×32(S24)层的处理。

如图3所示，首先对Conv5-3的特征图进行upsample层处理扩大一倍，作为输入。

步骤S11，将扩大一倍的Conv5-3和Conv4-3的特征图合并，然后经过一个transferconnectionblockT(S1)处理，随后处理的第二个Tblock结构和前一个结构类似，只是采用了不同的特征图通道数，具体的有concat,conv1×1×128,conv3×3×128和upsample层的处理。然后把第二个T block的输出和Conv2-2的特征图再进行合并，输入到headblock H(S2)结构中。每一个3x3卷积前的1x1卷积的作用是减少计算复杂度。然后把输出的特征图和注意力图做点乘操作，得到优化后的特征图，最后通过一个1x1卷积层得到最终的人群密度图。

注意力图路径生成分支网络(AMP)的流程结构和DMP网络的流程结构类似。

请参阅图4，图4示出了本发明实施例提供的一种神经网络实施结构示意图，该实施例网络结构包括三部分。第一部分是以VGG16-BN做主干的特征图提取网络feature mapextractor(FME)，第二部分是注意力图路径生成分支网络(AMP)，第三部分是密度图路径生成分支网络(DMP)。

图5示出了本发明实施例提供的神经网络各阶段的输出的图可视化结果示意图。

对于图片中标注的每一个人头点的位置设为1，其他位置设置为0，然后用高斯函数对每一个1进行高斯模糊处理得到密度图的真值。因此每一个人头点形成一个圆形的高斯分布区域，而且这个区域的和为1。实验中高斯核的大小为15，方差为4。

再对密度图进行一个核大小为3，方差为2的高斯模糊处理，再以阈值0.001做二值化处理，即大与0.001的点设为1，小于0.001的点设为0，从而得到注意力图的真值。

在本实施例中，注意力图路径分支网络采用的训练算法采用Euclidean loss和attention map loss来进行端到端的训练和预测。

其中，Euclidean loss用来衡量密度图像素点值的误差，其计算公式如下：

公式中，F(X_i；Θ)是估计得密度图，是密度图的真值，N是batch中的图片数量。

其中，Attention map loss用来衡量注意力图的生成质量，其计算公式如下：

公式中，是注意力图的真值，P_i是经过sigmiod激活函数后的概率值。

在本实施例中，整个网络的多任务联合训练loss为：

L＝L_den+αL_att

公式中，α是常量，在该实施例中α设置为0.1。

本实施例中训练的一种具体实现是对图片进行预处理和数据增广处理，如果图片短边长度小于512，则放大到512，再进行[0.8,1.2]倍数的随机放缩；然后随机裁剪一个400x400的图片，并进行随机水平翻转和对比度gamma变换。

本实施例中，前端VGG16-BN采用Image Net预训练参数初始化，后端参数以0均值，0.01方差做随机初始化。训练采用Adam优化器，学习率learning rate设置为1e-4，weightdecay设置为5e-4，batch size设置为30。

以上实施例采用了常用的3个公开数据集作为训练源数据进行实验，3个公开数据集分别为ShanghaiTech、UCF CC 50和UCF-QRNF。衡量标准为常用的平均绝对误差MAE和平方根均方误差MSE。

ShanghaiTech数据集的训练结果记录如下：

ShanghaiTech数据集分为partA和partB两部分。partA包含482张网络上的高密度人群的图片。PartB包含716张上海街道上的人群图片。

UCF_CC_50数据集的训练结果记录如下：

UCF_CC_50数据集只包含50张不同分辨率的人群图片，人数差异较大。

Method	MAE	MSE
			Cross-Scene	467.0	498.5
MCNN	377.6	509.1
			Switch-CNN	318.1	439.2
CP-CNN	295.8	320.9
			TDF-CNN	354.7	491.4
ACSCP	291.0	404.6
			ic-CNN	260.9	365.5
CSRNet	266.1	397.5
			SaNet	258.4	334.9
本发明实施方案	209.6	316.2

UCF-QRNF数据集的训练结果记录如下：

UCF-QRNF数据集是目前最大最新的人群数据集，包含1535张标注好的不同视角不同场景，光照下的人群图片。这使得这个数据集更接近真实场景，也更具挑战。训练结果如下表。

本申请实施例还公开一种神经网络，所述网络包括主干网络、第一分支网络和第二分支网络。其中，主干网络采用VGG16-BN主干网络来提取多层次的特征。不同于其他方法设计的multi-column多分支结构，该网络全部采用采用单一大小卷积核单主干网络来提取特征，同时采用带batch normalization的VGG16作为前端特征提取器，截取了VGG16-BN前13层特征(conv1-1到conv5-3)，并选取conv2-2,conv3-3,conv4-3and conv5-3输出的特征图大小分别是原图的1/2,1/4,1/8，1/16，作为后端网络融合的输入特征。第一分支网络是注意力图路径生成分支网络(AMP)，第二分支网络是密度图路径生成分支网络(DMP)。密度图路径采用上采样upsample和连接concatenate操作融合不同尺度的特征。注意力图路径利用注意力模型来加强人头所在区域以区分背景噪声。最后整合Euclidean损失和注意力图损失来进行端到端的训练和预测。

本申请实施例还公开一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行上述任一实施例所述的人群计数方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种人群计数方法，其特征在于：

获取待测图像；

将所述待测图像输入神经网络中，进行特征提取；

对提取到的特征进行处理，统计出人群数量。

2.如权利要求1所述的方法，其特征在于，所述神经网络包括主干网络、第一分支网络、第二分支网络，其中：

所述主干网络用于提取所述目标图像数据的多层次特征，分别作为第一分支网络和第二分支网络处理的输入特征图；

所述的第一分支网络用于产生注意力图；

所述的第二分支网络用于产生密度图。

3.如权利要求2所述的方法，其特征在于，所述的主干网络采用带Batch Norma l izat ion的VGG16作为前端特征提取器。

4.如权利要求2所述的方法，其特征在于，所述的主干网络为单一大小卷积核单主干网络。

5.如权利要求4所述的方法，其特征在于，所述的主干网络采用3x3大小的卷积核。

6.如权利要求2所述的方法，其特征在于，所述的第一分支网络采用的训练算法包含用来衡量密度图像素点值的误差的算法和用来衡量注意力图的生成质量的算法。

7.如权利要求6所述的方法，其特征在于，所述的用来衡量密度图像素点值的误差的算法公式为：

F(X_i；Θ)是估计得密度图，是密度图的真值，N是batch中的图片数量。

8.如权利要求6所述的方法，其特征在于，所述的用来衡量注意力图的生成质量的算法公式为：

是注意力图的真值，P_i是经过sigmiod激活函数后的概率值。

9.如权利要求2所述的方法，其特征在于，所述的第一分支网络还包括多任务联合训练的损失函数，所述损失函数定义如下：

L＝L_den+αL_att

α为常数。

10.如权利要求2所述的方法，其特征在于，所述神经网络对所述的目标图像数据提取特征的步骤包括：

所述的主干网络对所述输入图像数据进行处理提取多层次特征，传递给第一分支网络和第二分支网络进行处理；

所述的第一分支网络对输入特征进行处理，获得代表密度图中每个点是否属于人头区域的概率集合；

所述的第二分支网络输入特征进行一系列处理，融合不同尺度的特征，并与所述第一分支网络得到的集合相乘，得到优化后的特征集合；优化后的特征集合通过卷积层处理生成人群密度图。

11.一种神经网络，其特征在于，所述网络包括主干网络、第一分支网络和第二分支网络，其中：

主干网络，用以前置处理，实施提取输入图像数据的多层次特征，传递给第一分支网络和第二分支网络进行处理；

第一分支网络，用以实施对输入特征的处理，获得代表密度图中每个点是否属于人头区域的概率集合；

第二分支网络，用以实施对输入特征的处理，融合不同尺度的特征，并与所述第一分支网络处理得到的集合相乘，得到优化后的特征集合，并通过卷积层处理生成人群密度图。

12.一种人群计数系统，其特征在于，包括：

获取单元：获取待测图像数据；

特征提取单元：对所述输入数据进行处理提取多层次特征；

处理单元：对提取到的特征进行处理，统计出人群数量。

13.如权利要求12所述的系统，其特征在于，所述特征提取单元使用权利要求11所述的神经网络实现特征提取。

14.一种电子设备，其特征在于，所述系统包括处理器以及存储器，

所述存储器用于存储可执行程序；

所述处理器用于执行所述可执行程序以实现权利要求1-10所述的人群计数方法。