CN110705499B

CN110705499B - 一种基于迁移学习的人群计数方法

Info

Publication number: CN110705499B
Application number: CN201910966650.4A
Authority: CN
Inventors: 向伟; 沈复民; 孔繁昊; 奚兴; 张艳明
Original assignee: Chengdu Koala Youran Technology Co ltd
Current assignee: Chengdu Koala Youran Technology Co ltd
Priority date: 2019-10-12
Filing date: 2019-10-12
Publication date: 2020-06-02
Anticipated expiration: 2039-10-12
Also published as: CN110705499A

Abstract

本发明公开了一种基于迁移学习的人群计数方法，采用本地数据集对全卷积神经网络进行预训练，然后用监控场景数据进行微调。本发明经过迁移学习后的模型，在少量数据的微调下，就能达到较高的准确度。微调后的模型在特定监控场景下能达到较高的准确率，即使不使用特定监控场景的图像进行微调，相比于随机初始化的模型或在ImageNet上预训练的模型，在本发明的模型也能达到更低的预测误差。

Description

一种基于迁移学习的人群计数方法

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于迁移学习的人群计数方法。

背景技术

国内外的大型活动中频发踩踏事件，已经造成了不小的伤亡，如2015年上海外滩踩踏事件，已达到了我国规定的重大伤亡事故级别。因此，人群计数问题的研究也越来越火热，若能通过准确估计当前场景的人群密度，并安排相应的安保措施，则可以有效减少或避免此类事件的发生。

传统的人群计数算法主要分类两大类：

1．基于检测的方法。早期的人群计数研究主要聚焦于基于检测的方法，其主要思想为使用一个滑动窗口检测器来检测场景中人群，并统计相应的人数。基于检测的方法主要分为两大类，一种是基于整体的检测，另一种是基于部分身体的检测。基于整体检测的方法主要适用于稀疏的人群计数，随着人群密度的提升，人与人之间的遮挡变得越来越严重。基于部分身体的检测通过检测身体的部分结构，例如头，肩膀等去统计人群的数量。这种方法比之基于整体的检测，在效果上有略微的提升。

2．基于回归的方法。无论何种基于检测的方法，都很难处理人群之间严重的遮挡问题。所以，基于回归的方法逐渐被用来解决人群计数的问题。基于回归的方法，主要思想是通过学习一种特征到人群数量的映射。这类方法步骤主要分为两步，第一步提取低级的特征，例如前景特征，边缘特征，纹理和梯度特征；第二步是学习一个回归模型，例如线性回归，分段线性回归，岭回归和高斯过程回归等方法学习一个低级特征到人群数量的映射关系。

然而，目前的人群计数方法均在已公开的数据集上进行研究，在实际的监控场景应用时效果往往不理想，主要原因在于目前的数据集图像跟实际的监控画面差距较大、部分标注不准确，导致计数的准确率下降。

目前公开数据集的规模较小、场景单一，导致训练模型很容易过拟合。另一方面，特定场景的监控数据属于敏感数据，大量获取和标注十分困难。且监控场景数据存在透视形变（perspective distortion）的问题，因此，本发明旨在解决透视形变的问题，利用少量的特定监控场景下的训练数据达到较高的准确率。

发明内容

本发明的目的在于提供一种基于迁移学习的人群计数方法，经过迁移学习后的模型，在少量数据的微调下，就能达到较高的准确度。

本发明主要通过以下方案实现：一种基于迁移学习的人群计数方法，采用本地数据集对全卷积神经网络进行预训练，然后用监控场景数据进行微调。

为了更好的实现本发明，进一步的，全卷积神经网络包括依次设置的基础网络、Average pooling、Conv、上采样；首先通过基础网络提取图像特征，然后依次进入Averagepooling、Conv进行全局特征的提取，然后上采样到设定大小的特征图；将基础网络提取的特征图与经过上采样得到的特征图进行差值计算，以在全局特征下找到特征图中因为透视形变影响最大的参数；然后利用k=1的卷积核将差值拉成一维形成权重，随后乘以全局特征；最后解码网络，以生成密度图，对生成的密度图中的元素求和即为预测的总人数。

为了更好的实现本发明，进一步的，所述基础网络为VGG-16网络的前十层，所述基础网络的第1-2层的卷积层的k=3、c=64、d=1，且max pooling的k=2；第3-4层的卷积层的k=3、c=128、d=1，且max pooling的k=2；第5-7层的卷积层的k=3、c=256、d=1，且max pooling的k=2；第8-10层的卷积层的k=3、c=512、d=1；其中k为卷积核大小，c为通道数，d为扩张率。

为了更好的实现本发明，进一步的，所述解码网络的第1-3层的卷积层的k=3、c=512、d=2，第4层的卷积层的k=3、c=256、d=2，第5层的卷积层的k=3、c=128、d=2，第6层的卷积层的k=3、c=64、d=2，第7层的卷积层的k=1、c=1、d=1。

为了更好的实现本发明，进一步的，所述本地数据包括真实监控场景、游戏画面、电视电影画面的数据。

为了更好的实现本发明，进一步的，采用拍摄或爬虫方式获取真实监控场景图像，所述游戏画面从接近真实场景的游戏中截取，所述电视电影画面从接近真实场景的现代都市剧中截取；截取的画面以高角度、覆盖人群广为基本要求，以接近真实场景。

为了更好的实现本发明，进一步的，所述真实监控场景、游戏画面、电视电影画面的图像数量比例约为3:4:3。

为了更好的实现本发明，进一步的，利用Cycle GAN模型对游戏画面、电视电影画面的数据进行转换，缩小真实监控场景的数据与游戏画面、电视电影画面的数据的域差。

为了更好的实现本发明，进一步的，所述Cycle GAN模型通过从游戏画面、电视电影画面的图像域获取输入图像A，所述输入图像A被传递到第一个生成器GeneratorA，以将来自游戏画面、电视电影画面的图像域的输入图像A转换到监控场景图像域中的图像B；然后，所述图像B被传递到另一个生成器GeneratorB，在游戏画面、电视电影画面的图像域中转换回输出图像C；所述输出图像C与输入图像A相似，所述输出图像C是有真实监控场景风格的图像。

本发明的有益效果：

（1）经过迁移学习后的模型，在少量数据的微调下，就能达到较高的准确度。

（2）本发明解决了公开数据集数量小、场景单一且跟真实监控场景画面相差较大的问题，制作了一个场景丰富、规模大、人数多的本地数据。

（3）由于游戏电影中的画面相对于真实监控数据图像更为清晰，场景风格截然不同。因此本发明利用Cycle GAN（循环生成对抗网络）对这部分数据进行转换，使游戏电影图像更接近真实监控场景图像。

（4）输出图像C必须与原始输入图像A相似，用来定义非配对数据集中原来不存在的有意义映射，这样输出图像C就是我们需要的有真实监控场景风格的图像。

（5）微调后的模型在特定监控场景下能达到较高的准确率，即使不使用特定监控场景的图像进行微调，相比于随机初始化的模型或在ImageNet上预训练的模型，在本发明制作的数据集上预训练的模型也能达到更低的预测误差。

附图说明

图1为本发明的流程图；

图2为本发明的网络结构图。

具体实施方式

实施例1：

一种基于迁移学习的人群计数方法，如图1所示，采用本地数据集对全卷积神经网络进行预训练，然后用监控场景数据进行微调。

如图1所示，将本地数据集对该全卷积神经网络进行预训练，接着用少量的特定监控场景数据进行微调。经过迁移学习后的模型，在少量监控场景数据的微调下，就能达到较高的准确度。

实施例2：

本实施例是在实施例1的基础上进行优化，所述本地数据包括真实监控场景、游戏画面、电视电影画面的数据。由于游戏电影等画面与真实监控场景差距较大，本发明提出一种域适应（domain adaptation）的方法，利用Cycle GAN对数据进行转换，缩小了游戏电影数据与现实监控数据的域差（domain gap）。

本发明采用拍摄或爬虫方式获取真实监控场景图像，所述游戏画面从接近真实场景的游戏中截取，所述电视电影画面从接近真实场景的现代都市剧中截取；截取的画面以高角度、覆盖人群广为基本要求，以接近真实场景。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例2的基础上进行优化，所述Cycle GAN模型通过从游戏画面、电视电影画面的图像域获取输入图像A，所述输入图像A被传递到第一个生成器GeneratorA，以将来自游戏画面、电视电影画面的图像域的输入图像A转换到监控场景图像域中的图像B；然后，所述图像B被传递到另一个生成器GeneratorB，在游戏画面、电视电影画面的图像域中转换回输出图像C；所述输出图像C与输入图像A相似，所述输出图像C是有真实监控场景风格的图像。

本实施例的其他部分与上述实施例2相同，故不再赘述。

实施例4：

本实施例是在实施例1-3任一个的基础上进行优化，如图2所示，全卷积神经网络包括依次设置的基础网络、Average pooling、Conv、上采样；首先通过基础网络提取图像特征，然后依次进入Average pooling、Conv进行全局特征的提取，然后上采样到特定大小的特征图；将基础网络提取的特征图与经过上采样得到的特征图进行差值计算，以在全局特征下找到特征图中因为透视形变影响最大的参数；然后利用k=1的卷积核将差值拉成一维形成权重，随后乘以全局特征；对全局特征重标定的过程即为对透视形变的关注过程，称之为域适应（domain adaptation）。差值越大，透视形变程度越大，权重越大。最后解码网络，以生成密度图，对生成的密度图中的元素求和即为预测的总人数。

本实施例的其他部分与上述实施例1-3任一个相同，故不再赘述。

实施例5：

一种基于迁移学习的人群计数方法，如图1所示，制作监控场景下的本地数据集进行迁移学习。该数据集主要包含真实监控场景、游戏画面、电视电影画面等。由于游戏电影等画面与真实监控场景差距较大，本发明提出一种域适应（domain adaptation）的方法，利用Cycle GAN对数据进行转换，缩小了游戏电影数据与现实监控数据的域差（domain gap）。

为解决透视形变（perspective distortion）问题，如图2所示，设计了一个全卷积神经网络（FCN），如图1所示，将本地数据集对该全卷积神经网络进行预训练，接着用少量的特定监控场景数据进行微调。经过迁移学习后的模型，在少量监控场景数据的微调下，就能达到较高的准确度。

本发明主要包括以下步骤：

1、解决了公开数据集数量小、场景单一且跟真实监控场景画面相差较大的问题，本发明制作了一个场景丰富、规模大、人数多的本地数据。该数据集主要数据来源为各类真实监控场景下的图像，其次是游戏画面、电影电视片段，游戏和电影电视画面。对于真实监控场景图像，可以采用拍摄和爬虫等方式获取。游戏画面可从罪恶都市等接近真实场景的游戏中截取，电影电视画面可从现代都市剧中截取，截取的画面以高角度、覆盖人群广为基本要求，以接近真实场景。各类图像数量比例约为3:4:3，经过筛选总共获取了18953张图像并标注。

该数据集中大部分为游戏电影的图像，考虑到游戏电影中的画面相对于真实监控数据图像更为清晰，场景风格截然不同。因此本发明利用Cycle GAN（循环生成对抗网络）对这部分数据进行转换，使游戏电影图像更接近真实监控场景图像。所述Cycle GAN处理方法主要包括以下步骤：

1）所述Cycle GAN模型通过从游戏电影图像域获取输入图像A，该输入图像被传递到第一个生成器名为GeneratorA，其任务是将来自游戏电影图像域的给定图像转换到监控场景图像域中的图像B。

2）然后这个新生成的图像被传递到另一个生成器名为GeneratorB，其任务是在游戏电影图像域中转换回输出图像C。这个输出图像C必须与原始输入图像A相似，用来定义非配对数据集中原来不存在的有意义映射，这样输出图像C就是我们需要的有真实监控场景风格的图像了。

2、然后利用标注好的本地数据对全卷积神经网络进行预训练，为了解决数据中存在的透视形变（perspective distortion）问题，本发明设计了一个基于VGG-16网络模型的全卷积神经网络，如图２所示。透视形变主要特点是物体离镜头越远，则物体越小。往往监控图像中，图像靠下位置的物体显得大，靠上的物体显得小。

首先，基础网络为VGG-16网络的前十层，具体参数如表１，其中k为卷积核大小，c为通道数，d为扩张率。基础网络的主要功能为提取图像特征，如纹理、颜色信息等。接着是Average pooling+Conv进行全局特征的提取，然后上采样（upsample）到特定大小的特征图。随后将基础网络提取出的特征图与经过采样后的特征图进行差值计算，目的是在全局特征下，找到特征图中因为透视形变影响最大的参数，差值越大即影响越大。然后利用k=1的卷积核将差值拉成一维形成权重，随后乘以全局特征。对全局特征重标定的过程即为对透视形变的关注过程，称之为域适应（domain adaptation）。差值越大，透视形变程度越大，权重越大。之后是解码网络，主要作用是生成密度图，对生成的密度图中的元素求和即为预测的总人数。

本发明损失函数采用的是均方误差损失函数（MSE Loss）。经过在本地数据集上训练过的模型，对监控场景更为敏感，同时对透视形变有一定的适应能力。

微调后的模型在特定监控场景下能达到较高的准确率，即使不使用特定监控场景的图像进行微调，相比于随机初始化的模型或在ImageNet上预训练的模型，在本发明制作的数据集上预训练的模型也能达到更低的预测误差。

通过本发明方法训练得到的模型，在200张监控数据下微调后的均方误差（MSE）为26.3，即使不进行微调的均方误差（MSE）为39.7。采用参数随机初始化模型的均方误差（MSE）为63.4，在ImageNet上进行预训练的模型的均方误差（MSE）为43.2。可以发现，利用本发明方法在实际监控场景下有更低的误差。

表1网络参数

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims

1.一种基于迁移学习的人群计数方法，其特征在于，采用本地数据集对全卷积神经网络进行预训练，然后用监控场景数据进行微调；

全卷积神经网络包括依次设置的基础网络、Average pooling、Conv、上采样；首先通过基础网络提取图像特征，然后依次进入Average pooling、Conv进行全局特征的提取，然后上采样到设定大小的特征图；将基础网络提取的特征图与经过上采样得到的特征图进行差值计算，以在全局特征下找到特征图中因为透视形变影响最大的参数；然后利用k=1的卷积核将差值拉成一维形成权重，随后乘以全局特征；最后解码网络，以生成密度图，对生成的密度图中的元素求和即为预测的总人数。

2.根据权利要求1所述的一种基于迁移学习的人群计数方法，其特征在于，所述基础网络为VGG-16网络的前十层，所述基础网络的第1-2层的卷积层的k=3、c=64、d=1，且maxpooling的k=2；第3-4层的卷积层的k=3、c=128、d=1，且max pooling的k=2；第5-7层的卷积层的k=3、c=256、d=1，且max pooling的k=2；第8-10层的卷积层的k=3、c=512、d=1；其中k为卷积核大小，c为通道数，d为扩张率。

3.根据权利要求2所述的一种基于迁移学习的人群计数方法，其特征在于，所述解码网络的第1-3层的卷积层的k=3、c=512、d=2，第4层的卷积层的k=3、c=256、d=2，第5层的卷积层的k=3、c=128、d=2，第6层的卷积层的k=3、c=64、d=2，第7层的卷积层的k=1、c=1、d=1。

4.根据权利要求1所述的一种基于迁移学习的人群计数方法，其特征在于，所述本地数据包括真实监控场景、游戏画面、电视电影画面的数据。

5.根据权利要求4所述的一种基于迁移学习的人群计数方法，其特征在于，采用拍摄或爬虫方式获取真实监控场景图像，所述游戏画面从接近真实场景的游戏中截取，所述电视电影画面从接近真实场景的现代都市剧中截取；截取的画面以高角度、覆盖人群广为基本要求，以接近真实场景。

6.根据权利要求4所述的一种基于迁移学习的人群计数方法，其特征在于，所述真实监控场景、游戏画面、电视电影画面的图像数量比例约为3:4:3。

7.根据权利要求4-6任一项所述的一种基于迁移学习的人群计数方法，其特征在于，利用Cycle GAN模型对游戏画面、电视电影画面的数据进行转换，缩小真实监控场景的数据与游戏画面、电视电影画面的数据的域差。

8.根据权利要求7所述的一种基于迁移学习的人群计数方法，其特征在于，所述CycleGAN模型通过从游戏画面、电视电影画面的图像域获取输入图像A，所述输入图像A被传递到第一个生成器GeneratorA，以将来自游戏画面、电视电影画面的图像域的输入图像A转换到监控场景图像域中的图像B；然后，所述图像B被传递到另一个生成器GeneratorB，在游戏画面、电视电影画面的图像域中转换回输出图像C；所述输出图像C与输入图像A相似，所述输出图像C是有真实监控场景风格的图像。