CN107330364A - 一种基于cGAN网络的人群计数方法及系统 - Google Patents

Abstract

本发明公开一种基于cGAN网络的人群计数方法及系统，步骤为：利用累加的高斯核函数矩阵生成人群的密度分布图；利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；利用判别器判别密度图属于生成器生成或属于真实样本；交替训练生成器和判别器；利用训练完成的生成器，将场景图片输入，得到相应场景图片密度图；利用场景图片像素值累加表征图片的人群总数。本发明采用生成式模型，需要更少的训练数据，训练速度快，更加适合于实际的应用需求；同时采用更深度的神经网络，能进一步更好的剔除背景的干扰，生成高质量的人群密度分布图，为进一步的群体分析及视频监控中发挥更好决策支持作用。

Description

一种基于cGAN网络的人群计数方法及系统

技术领域

本发明属于计算机视觉技术领域，具体为一种基于cGAN网络的群体人数的统计方法及系统，尤其是涉及一种适合于快速训练，得到更清晰密度分布图的人群计数方案。

背景技术

大型活动已经成为经济发展和文化交流的重要载体，而群体管理也成为社会管理中的重要方面。人群的数量是人群的重要属性，可以为管理者提供重要的决策信息，在近年来的计算机视觉应用领域受到广泛的关注和研究。人群计数可定义为:给定一张对应的图片统计出图片中的人群的总的数量。它是一种自动的人群计数技术，能在监控网络中快速的求取场景中人群的数量，是智能视频监控等应用中的重要的组成部分。

人群的计数方案从现有的技术文献检索发现，整体来讲有两种主要的研究思路：

思路之一是从传统的角度出发，通过手工设计的特征方案提取人群的对应特征，找寻特征和人数的关系，从而得到最后的人数结果(参见：Dollar,P.,Wojek,C.,Schiele,B.,Perona,P.:Pedestrian detection:an evaluation ofthe state ofthe art.IEEETrans.Pattern Anal.Mach.Intell.34(4),743–761(2011)；Chan,A.B.,&Vasconcelos,N.(2012).Counting people with low-level features and Bayesian regression.IEEETransactions on Image Processing,21(4),2160-2177)。但是，这类方法的性能受限于人工设计特征的有效性。从另一个角度说，手工设计的特征提取方案不能有效的应对各种场景条件。

思路之二是利用深度学习的方案，实现端到端的人群技术。这类方法根据loss函数主要分为两种，分别利用总人数或密度分布图作为优化目标loss(参见：Cong Zhang,Hongsheng Li,Xiaogang Wang,and Xiaokang Yang,Cross-scene crowd counting viadeep convolutional neural networks,in CVPR,2015.；Zhang,Y.,Zhou,D.,Chen,S.,Gao,S.,&Ma,Y.(2016).Single-image crowd counting via multi-columnconvolutional neural network.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(pp.589-597).)。然而，这类方法面临深度网络带来的各种训练问题。

发明内容

针对上述的计数存在的问题，本发明提供一种基于cGAN网络的人群计数方法及系统，需要的训练数据更少，训练速度快，能有效的应对各种场景条件。

本发明是通过以下技术方案实现的：

根据本发明的第一目的，提供一种基于cGAN网络的人群计数方法，包括：

第一步：利用累加的高斯核函数矩阵生成人群的密度分布图；

第二步：对cGAN网络进行训练，包括：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合第一和第二步得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于第一步得到的真实密度分布图的样本；得到训练完成的cGAN网络中的生成器；

第三步：利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。

优选地，所述第一步，包括：

101：标注训练图片，在对应的行人头部标注点x_i；

102：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值为1的高斯核函数矩阵块δ(x-x_i)*G_σ，进而通过对单个行人的累加作为整体密度其中δ(x-x_i)代表位于x_i处的单个行人，G_σ代表二维的高斯滤波算子。

优选地，所述第二步，包括：

201：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；

202：利用判别器判别密度分布图属于生成器生成或属于真实样本；

203：固定生成器，训练判别器；固定判别器，训练生成器，交替训练迭代，得到最终的生成器模型，训练完成生成器。

更优选地，所述生成器模型，该模型encoder(编码)网络获取源数据域的语义属性信息，decoder(解码)网络利用语义信息生成对应的数据样本，模型学习生成能与源数据域同概率数据分布的非线性生成函数。

更优选地，所述判别器，对真实样本和生成样本进行分类，求取具有最佳分类效果的分类模型。

优选地，所述生成器是一个深度编码解码网络，其中所述生成器编码网络是卷积神经网络(CNN)，提取输入图片的语义属性信息，所述生成器解码网络是反卷积神经网络，生成人群密度分布图样本。

根据本发明的第二目的，提供一种基于cGAN网络的人群计数系统，包括：

人群密度分布图生成模块，该模块利用累加的高斯核函数矩阵生成人群的密度分布图；

cGAN网络训练摸，该模块利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，利用判别器判别密度分布图属于生成器生成或属于真实样本；得到训练完成的cGAN网络中的生成器；

人群计数模块，该模块利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。

本发明采用生成式模型，需要的训练数据更少，训练速度快，更加适合于实际的应用需求；同时采用更深度的神经网络，能进一步更好的剔除背景的干扰，生成高质量的人群密度分布图，为进一步的群体分析及视频监控中发挥更好决策支持作用。

与现有技术相比，本发明的有益效果在于：

1)本发明首次将cGAN网络引入到人群计数的解决方案中，从全新的生成式模型角度对问题进行求解；

2)本发明具有训练时间短，训练简单，同时得到更优密度分布图的优点，更具有实际的应用价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例基于cGAN网络的人群计数方法总流程框图；

图2为本发明一实施例中估计密度图生成的示意图；

图3为本发明一实施例中得到人群计数的密度图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施采用的图像来自数据库Shanghaitech中的人群场景图片。该人群计数场景图片序列是由(In Proceedings ofthe IEEE Conference on Computer Vision andPattern Recognition，CVPR2016)提供的，以进行人群计数方法的分析和比较。

本实施例涉及cGAN网络的人群计数方法，包括如下具体步骤：

第一步：标注训练图片，在对应的行人头部标注点x_i，对坐标位置进行放缩，放缩的比例为原图尺寸长宽和256的比值。当然，在其他实施例中，放缩的比例也可以根据实际需要进行选择。

第二步：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值为1的高斯核函数矩阵块δ(x-x_i)*G_σ，进而通过对单个行人的累加作为整体密度这里高斯核函数的核大小为10个pixel。在其他实施例中，所述的高斯核函数的核大小也可以根据实际需要进行选择和确定，其中δ(x-x_i)代表位于x_i处的单个行人，G_σ代表二维的高斯滤波算子。

如图2所示，详细阐释了第一到第二步网络的具体训练样本的生成过程。

第三步：生成器是一个深度编码解码网络，利用生成器编码网络提取输入图片的语义属性信息，利用生成器解码网络生成人群密度分布图样本；

本实施例中：

所述生成器编码网络是八层的卷积神经网络(CNN)，提取输入图片的语义属性信息；所述生成器解码网络是八层反卷积神经网络，生成人群密度分布图样本，输入和输出样本的尺寸相同。

本实施例采用更深度的神经网络，能进一步更好的剔除背景的干扰，生成高质量的人群密度分布图，能提升进一步的群体分析及视频监控中应用效果。

第四步：利用判别器判别密度图属于生成器生成或属于真实样本；

本实施例中，所述判别器，对真实样本和生成样本进行分类，求取具有最佳分类效果的分类模型。

第五步：固定生成器，训练判别器；固定判别器，训练生成器，交替训练迭代，得到最终的生成器模型；

本实施例中，所述生成器模型，该模型encoder(编码)网络获取源数据域的语义属性信息，decoder(解码网络)利用语义信息生成对应的数据样本，模型学习生成能与源数据域同概率数据分布的非线性生成函数。

本实施例中，采用生成器模型，需要的训练数据更少，训练速度快，更加适合于实际的应用需求。

第六步：利用训练完成cGAN网络中的生成器，将场景图片输入，得到相应场景图片密度分布图D_e；

第七步：利用场景图片像素值累加，得到最终的场景图片的人群总数估计值N。

综上所述，本发明的步骤深度的阐明了基于cGAN网络的人群计数方法的流程以及相关的技术细节。本发明是一种端到端的人群计数方法。

如图1所示，是整个网络结构运行的流程示意图，其中详细阐释了上述实施例中第三到第六步网络的具体训练过程和数据流向。

根据上述方法，对应提供一种基于cGAN网络的人群计数系统，其包括：

人群密度分布图生成模块，该模块利用累加的高斯核函数矩阵生成人群的密度分布图；

cGAN网络训练摸，该模块利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，利用判别器判别密度分布图属于生成器生成或属于真实样本，得到训练完成的cGAN网络中的生成器；

人群计数模块，该模块利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。

需要说明的是，上述的基于cGAN网络的人群计数系统的各模块具体实现技术，可以采用所述基于cGAN网络的人群计数方法中对应步骤实现技术，在此不予赘述。

图3是对比了ground-truth密度分布图和预测得到的密度分布图，可以看出预测得到的密度图很好的反应了人群的整体分布，同时具有优秀的细节刻画。

以下表1是基于本发明在该实例数据集上统计结果和其他方法的对比，可以看出本发明具有很高的人群计数准确率。(参见：Cong Zhang,Hongsheng Li,Xiaogang Wang,and Xiaokang Yang,Cross-scene crowd counting via deep convolutional neuralnetworks,in CVPR,2015；Zhang,Y.,Zhou,D.,Chen,S.,Gao,S.,&Ma,Y.(2016).Single-image crowd counting via multi-column convolutional neural network.InProceedings of the IEEE Conference on Computer Vision and Pattern Recognition(pp.589-597).)

表1

表2，是相同硬件条件下的训练时间比较，主要的硬件条件为操作系统:Ubuntu14.04.5LTS；Cpu:Intel(R)Core(TM)i7-5960X CPU@3.00GHz；Gpu:TITAN X(Pascal).

表2

可以看出本发明的方法的时间成本得到很大的优化。本实施例中训练的过程无需人工的干涉，测试阶段只需要将验证图片输入得到密度图，然后进行统计即可。

本发明采用生成式模型，具有训练时间短，训练简单，同时得到更优密度分布图的优点，能有效的应对各种场景条件。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项模块可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于cGAN网络的人群计数方法，其特征在于包括：

第一步：利用累加的高斯核函数矩阵生成人群的密度分布图；

第二步：对cGAN网络进行训练，包括：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合第一和第二步得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于第一步得到的真实密度分布图的样本；得到训练完成的cGAN网络中的生成器；

第三步：利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。

2.根据权利要求1所述的基于cGAN网络的人群计数方法，其特征在于：所述第一步，包括：

101：标注训练图片，在对应的行人头部标注点x_i；

102：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值为1的高斯核函数矩阵块δ(x-x_i)*G_σ，进而通过对单个行人的累加作为整体密度其中δ(x-x_i)代表位于x_i处的单个行人，G_σ代表二维的高斯滤波算子。

3.根据权利要求1所述的基于cGAN网络的人群计数方法，其特征在于：所述第二步，包括：

201：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；

202：利用判别器判别密度分布图属于生成器生成或属于真实样本；

203：固定生成器，训练判别器；固定判别器，训练生成器，交替训练迭代，得到最终的生成器模型，训练完成生成器。

4.根据权利要求3所述的基于cGAN网络的人群计数方法，其特征在于：所述生成器模型，该模型编码网络获取源数据域的语义属性信息，解码网络利用语义信息生成对应的数据样本，所述模型学习生成能与源数据域同概率数据分布的非线性生成函数。

5.根据权利要求3所述的基于cGAN网络的人群计数方法，其特征在于：所述判别器，对真实样本和生成样本进行分类，求取具有最佳分类效果的分类模型。

6.根据权利要求1-5任一项所述的基于cGAN网络的人群计数方法，其特征在于：所述生成器是一个深度编码解码网络，其中所述生成器编码网络是卷积神经网络，提取输入图片的语义属性信息，所述生成器解码网络是反卷积神经网络，生成人群密度分布图样本。

7.据权利要求6述的基于cGAN网络的人群计数方法，其特征在于：所述生成器编码网络是八层的卷积神经网络，所述成器解码网络是八层反卷积神经网络，输入和输出样本的尺寸相同。

8.一种采用权利要求1-7任一项所述得到的基于cGAN网络的人群计数系统，其特征在于包括：

人群密度分布图生成模块，该模块利用累加的高斯核函数矩阵生成人群的密度分布图；

cGAN网络训练摸，该模块利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合所述人群密度分布图生成模块和生成器解码网络得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于所述人群密度分布图生成模块得到的真实密度分布图的样本，得到训练完成的cGAN网络中的生成器；

人群计数模块，该模块利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。