CN109359520A - 人群计数方法、系统、计算机可读存储介质及服务器 - Google Patents

Abstract

本发明提供一种人群计数方法、系统、计算机可读存储介质及服务器，人群计数方法包括：将包含人群的原始图像集进行训练预处理，以形成预处理图像集；结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于将包含人群的原始图像集映射为热力图；对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；将所述原始图像集中的测试图集输入所述另一卷积神经网络内，以获取与所述原始图像集对应的热力图。本发明所提供人群计数方法、系统、计算机可读存储介质及服务器可有效地解决多种尺度，多种场景下的人群计数问题。

Description

人群计数方法、系统、计算机可读存储介质及服务器

技术领域

本发明属于智能监控计数领域，涉及一种计数方法和系统，特别是涉及一种人群计数方 法、系统、计算机可读存储介质及服务器。

背景技术

在各种集会，交通要道等公共场合中，常常会有人群聚集，此时所面临人数管控的问题 是非常重要的，在安全上，需要对人群数量进行预警以便进行合理的调度，在商业上，人群 聚集地常常意味着商业价值点的挖掘。然而，人群具有流动性以及多样性，因此在这些公共 场合中如何利用监控的图像、视频等来获得当下人群的数量是非常有意义的。

目前计算当前人数的智能监控方案有很多种，其技术方向主要有以下几种：

1)目标检测：采用这种方法需要逐一检测并识别出场景里面的每一个人，通过检测出人 体，头、肩等部位来计算出人群的数量，这种方法能同时完成人群计数和定位个人。虽然在 目标检测和识别方面当监控范围变大，或人群变多变密时，该方法由于需要分割识别每个人， 检测过程将比较耗时，需要牺牲性能来换取准确率，另外当人群之间有所遮挡，将会导致检 出率的下降，这也给场景带来了使用限制，比如，相机需要尽量避免过低或水平拍摄造成人 之间的遮挡。

2)特征回归：该方法通常直接通过深度神经网络对人群图像进行特征抽取，学习与人数 的映射关系。在这种方法中，常见的做法是，先把人群图像映射成密度图，再通过密度图计 算人数。这种方法能找到人群的整体特征，对密度大的人群场景具有良好的计数性能，在人 群遮挡严重，场景杂乱的情况下更具有应用价值。目前用来做人群图像特征抽取的网络中， 较为简单的网络常只针对特定场景,并不适用于跨场景的计数。为适应不同场景大多，需要采 用较大的网络，如多通道网络进行训练。复杂的网络参数较多，不仅在训练上具有一定的难 度，而且在实施时花在硬件成本较大，实时性上常难以满足应用需求。

因此，如何提供一种人群计数方法、系统、计算机可读存储介质及服务器，以解决现有 技术无法解决多种尺度，多种场景下的人群计数的问题，实已成为本领域技术人员亟待解决 的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人群计数方法、系统、计算 机可读存储介质及服务器，用于解决现有技术无法解决多种尺度，多种场景下的人群计数的 问题。

为实现上述目的及其他相关目的，本发明一方面提供一种人群计数方法，包括：将包含 人群的原始图像集进行训练预处理，以形成预处理图像集；结合多通道可变形卷积，搭建一 卷积神经网络；所述卷积神经网络用于将包含人群的原始图像集映射为热力图；对搭建的卷 积神经网络进行训练，以形成另一卷积神经网络；将所述原始图像集中的测试图集输入所述 另一卷积神经网络内，以获取与所述原始图像集对应的热力图。

于本发明的一实施例中，所述将包含人群的原始图像集进行训练预处理的步骤包括：把 包含人群的原始图像集按人头位置生成密度图集；将生成的密度图集划分为训练图集和测试 图集，并将所述密度图集进行归一化处理，减去普通卷积vgg16在图像网络预训练模型的平 均值；将训练图集与所述密度图集对应，以统一尺寸大小，并对所述训练图集进行数据扩增。

于本发明的一实施例中，统一尺寸大小的步骤包括：以预定尺寸大小为标准，若训练图 集的尺寸大小小于预定尺寸大小，则对训练图集的周边填零；若训练图集的尺寸大小大于预 定尺寸大小，则裁剪所述训练图集；对所述训练图集进行数据扩增的步骤包括：将训练图集 分别以预设两种截取方式截取1/N大小的图片块(一般不小于1/4)，再将截取图片进行水平 翻转；预设两种截取方式包括：在训练图片上依次截取1/N图片块N片，截取内容不重叠； 在训练图片上随机选点截取1/N大小图片块M次，截取内容可能产生重叠；通过以上步骤可 将原训练的1张图片可扩增为(N+M)*2张。

于本发明的一实施例中，所述结合多通道可变形卷积，搭建一卷积神经网络的步骤包括： 搭建vgg16神经网络前10层，图片将经过这些普通卷积网络进行特征抽取，获取特征图； 接入可变形卷积组成的多通道网络；接入反卷积层，以便对特征矩阵进行上采样最终得到热 力图矩阵。

于本发明的一实施例中，所述初始化该卷积神经网络的步骤包括：对该卷积神经网络前 10层的vgg16部分加载预训练权重；对10层后使用标准差为0.01的高斯核初始化卷积核； 利用0对多通道可变形卷积的偏移层初始化。

于本发明的一实施例中，所述对搭建的卷积神经网络进行训练，以形成另一卷积神经网 络的步骤包括：冻结所述卷积神经网络的前10层，利用第一损失函数对所述卷积神经网络的 10层之后部分进行训练；待所述第一损失函数不再下降后，解冻所述卷积神经网络的前10 层，在所述第一损失函数加入第二损失函数，组成总损失函数；利用所述总损失函数对所述 卷积神经网络进行训练，待所述总损失函数不再下降，停止训练，形成另一卷积神经网络。

于本发明的一实施例中，所述对搭建的卷积神经网络进行训练，以形成另一卷积神经网 络的步骤还包括：在利用第一损失函数对所述卷积神经网络的10层之后部分训练的训练过程 和利用所述总损失函数对所述卷积神经网络训练的训练过程中，对卷积神经网络的网络权重 进行优化。

本发明另一方面提供一种人群计数系统，包括：预处理模块，用于将包含人群的原始图 像集进行训练预处理，以形成预处理图像集；搭建模块，用于结合多通道可变形卷积，搭建 一卷积神经网络；所述卷积神经网络用于将包含人群的原始图像集映射为热力图；训练模块， 用于对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；验证模块，用于将所述原 始图像集输入所述另一卷积神经网络内，以获取与所述原始图像集对应的热力图。

本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理 器执行时实现所述人群计数方法。

本发明最后一方面提供一种服务器，包括：处理器及存储器；所述存储器用于存储计算 机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行所述人群 计数方法。

如上所述，本发明所述的人群计数方法、系统、计算机可读存储介质及服务器，具有以 下有益效果：

第一，有效解决多种尺度，多种场景下的人群计数问题；

第二，为全卷积网络(FCN)，输入输出大小不受限制，在分辨率较高时甚至可以缩小输 入图片来提高计算性能；

第三，采用了可变形卷积，能适应摄像机在不同角度、高度采集的图像，施工简单；

第四，适用范围广，在不同场景下用同一个模型进行预测都能得到较好的效果，适合各 种人流拥挤、室内外的场景；

第五，不易觉察，可通过视频记录客流；

第六，效果直观，可直接查看密度图得到人群常聚集的地点。

附图说明

图1显示为本发明的应用场景示意图。

图2A显示为本发明的人群计数方法于一实施例中的流程示意图。

图2B显示为本发明的人群计数方法中S21的流程示意图。

图2C显示为本发明的人群计数方法中S22的流程示意图。

图2D显示为本发明的人群计数方法中S22的流程示意图。

图3显示为本发明的人群计数系统于一实施例中的原理结构示意图。

元件标号说明

1 应用场景

11 多媒体采集设备

12 本地服务器

13 数据服务器

3 人群计数系统

31 预处理模块

32 搭建模块

33 训练模块

34 验证模块

S21～S24 步骤

S211～S213 步骤

S221～S222 步骤

S231～S233

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。

本发明所提供的人群计数方法、系统、计算机可读存储介质及服务器的技术原理如下：

采用了单通道与多通道网络混合，普通卷积和可变形卷积，反卷积进行混合，先利用普 通卷积vgg16网络前10层进行特征抽取操作，再用可变形卷积构建了多通道卷积网络，扩大 了卷积核的感受野，能更好地适应人群在不同位置成像上的空间形变，最后网络采用了反卷 积进行上采样操作优化输出密度图。

通过本发明可对各个场合的摄像头所采集的视频或图像进行人群计数，实现人流量数据 的采集和利用。传统的人群计数方法一般基于目标检测，通过精确定位、跟踪行人后实现计 数，适用于视频清晰度高以及人流量不大的情况，适用条件受到比较多的限制，对人群密度 稍高，视野开阔的环境常常不适用。本发明基于深度学习框架，通过对图像整体特征识别来 得到标注人头位置点的密度图，并得出图像中的人群的总人数。

实施例一

本实施例提供一种人群计数方法，包括：

将包含人群的原始图像集进行训练预处理，以形成预处理图像集；

结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于将包含人群的原 始图像集映射为热力图；

对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；

将所述原始图像集输入所述另一卷积神经网络内，以获取与所述原始图像集对应的热力 图。

以下将结合图示对本实施例所提供的人群计数方法进行详细描述。本实施例所述人群计 数方法应用于如图1所示应用场景1中。在该应用场景1中，通过各种多媒体采集设备11采 集RTSP视频流或截帧图，再将采集到的RTSP视频流或截帧图通过本地服务器12搭建分析 平台，解码图片，执行所述人群计数方法，获取密度图矩阵或RTSP视频流或截帧图中的总 人数，并经由业务/数据接口推送至数据服务器13。在本实施例中，所述本地服务器12可选 择TX1/TX2/带显卡的服务器等。

请参阅图2A，显示为人群计数方法于一实施例中的流程示意图。如图2A所示，所述人 群计数方法具体包括以下几个步骤：

S21，将包含人群的原始图像集进行训练预处理，以形成预处理图像集。在本实施例中， 包含人群的原始图像集来源于RTSP视频流或截帧图。

请参阅图2B，显示为S21的流程示意图。如图2B所示，所述S21包括：

S211，把包含人群的原始图像集按人头位置生成密度图集。

包含人群的原始图像集对应的密度图如下表示：

其中，N为图像的总人数,x_i为人头在图像中的位置，δ(x-x_i)为冲激函数，G_σ(x)为标 准差为σ的高斯函数。

S212，将生成的密度图集划分为训练图集和测试图集，并将所述密度图集进行归一化处 理，减去普通卷积vgg16在ImageNet(Imagenet为一个图像数据库名称)数据库上预训练模 型的平均值。

S213，将训练图集与所述密度图集对应，以统一尺寸大小，并对所述训练图集进行数据 扩增。

在本实施例中，统一尺寸大小的步骤包括：以预定尺寸大小为标准，若训练图集的尺寸 大小小于预定尺寸大小，则对训练图集的周边填零；若训练图集的尺寸大小大于预定尺寸大 小，则裁剪所述训练图集。

具体地，为了方便训练，须将图片按统一大小(h,w)输入网络进行训练(该步骤仅在训练 时需要，网络进行预测时不需缩放，可对不同尺寸图片进行处理)，(h,w)可选择训练图片中 最常见的长宽。网络输出为原图1/4大小的密度图(h/2,w/2)，因此训练用的密度图也应缩放 成原图的1/4，再用F′(x)/∑F′(x)*N进行人数的归一化。把不同宽高比例的图片缩放成统一 大小，利用常规的线性插值方法将导致图像中人群变形，影响网络性能，因此采用对小于(h,w) 周边填零，大于(h,w)进行裁剪的方法来得到统一尺寸，密度图的缩放也采用相同的方法。

对所述训练图集进行数据扩增的步骤包括：

将训练图集分别用以预设两种截取方式截取1/N大小的图片块(一般不小于1/4),再将截 取图片进行水平翻转；预设两种截取方式包括两种截取方式如下：在训练图片上依次截取1/N 图片块N片，截取内容不重叠；在训练图片上随机选点截取1/N大小图片块M次，截取内容 可能产生重叠；通过以上步骤可将原训练的1张图片可扩增为(N+M)*2张。

具体地，将训练图集的图片在图片(h/2),(w/2)处进行划分切块，图片被分为4份，得到 4n个大小为(h/2)*(w/2)的图片块；在训练图集的图片上随机选取图片的四分之一大小的图 片块M次最终得到M*n个大小为(h/2)*(w/2)的图片块；对上述(4+M)*n个图片块进行水 平翻转，最终的得到(4+M)*n*2个图片块，至此形成所述预处理图像集。

S22，结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于将包含人群 的原始图像集映射为热力图。

请参阅图2C，显示为S22的流程示意图。如图2C所示，所述S22包括：

搭建vgg16神经网络前10层，图片将经过这些普通卷积网络进行特征抽取，获取特征图；

在搭建的vgg16神经网络前10层后接入可变形卷积组成的多通道网络；

在多通道网络之后接入反卷积层，以便对特征矩阵进行上采样最终得到热力图矩阵。

S221，搭建vgg16神经网络前10层，图片将经过这些普通卷积网络进行特征抽取，获取 特征图；将所述特征图经过由可变形卷积组成的多通道网络；再经过反卷积层进行上采样， 以搭建起一卷积神经网络。

具体地，神经网络前10层与vgg16一样，包含了10个3×3的卷积核，采用小卷积核的 堆叠可以不降低效果的同时降低计算量，其中分别为2个64通道的，2个128通道的，3个256通道的，3个512通道的，卷积核步数为1，图经过卷积核宽高不会改变。另外在卷积 核通道改变中间加入了最大池化层(MaxPooling)，一共3个，步长为2，每经过池化层图缩 小1/4。经过vgg16抽取特征后，特征图经过由可变形卷积组成的多通道网络，网络可分为三 层，每一层有3个子网络通道，分别包含了3×3，5×5，7×7的卷积核，每一层的三个卷积 核通道数一样。卷积核步长为1，特征图经过这些卷积核后大小都不会改变。因此特征图经 过一层的三个通道后可以直接在通道维度上链接为原宽高，该层卷积核通道数*3的特征矩阵，然后再经过1×1的卷积进入下一层。经过这三层可变形卷积的多通道网络后，特征矩阵利用 了不同大小的可变形卷积得到了不规则物体(人群)的特征，再经过2层反卷积进行上采样 即可得到密度图。在经过两层反卷积时，选用PRELU避免丢失信息，PRELU具有可学习参数a，可如下表示：

其中，多通道可变形卷积deformconv(Deformable Convolution Networks)，相比普通卷积的 卷积核多了层代表着偏移量ΔP_n的offset层，多通道可变形卷积 可表示为

S222，在搭建的vgg16神经网络前10层后接入可变形卷积组成的多通道网络；

S223，在多通道网络之后接入反卷积层，以便对特征矩阵进行上采样最终得到热力图矩 阵。。

在本实施例中，构建的卷积神经网络的网络结构如表1所示。

表1：卷积神经网络的网络结构

S23，对搭建的卷积神经网络进行训练，以形成另一卷积神经网络。在本实施例中，训练 的目的是最小化预测密度图和实际密度图的距离。请参阅图2D，显示为S23的流程示意图。 如图2D所示，所述S23包括：

S231，冻结所述卷积神经网络的前10层，利用第一损失函数对所述卷积神经网络的10 层之后部分进行训练，在训练过程中，利用随机梯度下降法进行迭代优化网络权重，采用Adam 优化更加高效。

所述第一损失函数loss1可表示为：

其中，X_i为输入图像的图像矩阵,F(X_i,Θ)为卷积神经网络预测密度图，D_i为实际密度 图，Θ为待学习参数，N为每次迭代训练的图片数。

S232，待所述第一损失函数不再下降后，解冻所述卷积神经网络的前10层，在所述第一 损失函数loss1加入第二损失函数loss2，组成总损失函数loss。在本实施例中，所述第一损 失函数不再下降意味着第一损失函数的数值下降至一预定数值。损失函数 loss＝αloss1+βloss2，α,β为loss权重，根据经验设定。所述第二损失函数loss2为人数的均 方差(mean square error)，如下公式表示：

S233，利用所述总损失函数对所述卷积神经网络进行训练，待所述总损失函数不再下降， 停止训练，形成另一卷积神经网络。在对所述卷积神经网络进行训练过程中，采用Adam优 化网络权重。所述总损失函数不再下降意味着总损失函数的数值下降至另一预定数值。

S24，将所述原始图像集中的测试图集输入所述另一卷积神经网络内，以获取与所述原始 图像集对应的热力图。

具体地，把测试图集输入另一卷积神经网络进行计算，把测试图集输入另一卷积神经网 络的计算过程如下：把测试图片减去普通卷积vgg16在ImageNet数据库预训练模型的平均值； 图片依次与训练得到的卷积神经网络的各个卷积核进行卷积运算，最终得到(h2,w2,1)的 密度图矩阵D，∑D即为人数。把D进行最大最小归一化后乘以256即可表示为热力图。在 本实施例中，可用实际人数和预测人数的平均绝对误差MAE和平均平方误差MSE两个指标 作为评价标准，并且可视化密度图，与原图人群位置或者人头位置相比较。若密度图标示人 群位置对应得上原图，MAE和MSE两个指标都在误差允许范围内(误差范围可按经验设置 或实际应用可接受范围设置)，则说明网络能良好地将人群图像映射为密度图，否则需重新训 练网络或调节训练参数继续训练。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处 理器执行时实现上述人群计数方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算 机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序 在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟 或者光盘等各种可以存储程序代码的介质。

本实施例提供的人群计数方法具有以下有益效果：

第一，有效解决多种尺度，多种场景下的人群计数问题；

第二，为全卷积网络(FCN)，输入输出大小不受限制，在分辨率较高时甚至可以缩小输 入图片来提高计算性能；

第三，采用了可变形卷积，能适应摄像机在不同角度、高度采集的图像，施工简单；

第四，适用范围广，在不同场景下用同一个模型进行预测都能得到较好的效果，适合各 种人流拥挤、室内外的场景；

第五，不易觉察，可通过视频记录客流；

第六，效果直观，可直接查看密度图得到人群常聚集的地点。

实施例二

本实施例提供一种人群计数系统，包括：

预处理模块，用于将包含人群的原始图像集进行训练预处理，以形成预处理图像集；

搭建模块，用于结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于 将包含人群的原始图像集映射为热力图；

训练模块，用于对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；

验证模块，用于将所述原始图像集输入所述另一卷积神经网络内，以获取与所述原始图 像集对应的热力图。

以下将结合图示本实施例所提供的人群计数系统进行详细描述。需要说明的是，应理解 以下人群计数系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部 分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调 用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形 式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以 集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装 置的存储器中，由上述装置的某一个处理元件调用并执行以下x模块的功能。其它模块的实 现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件 可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以下各个 模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以下这些模块 可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路 (Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简 称FPGA)等。当以下某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以 是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代 码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式 实现。

请参阅图3，显示为人群计数系统于一实施例中的原理结构示意图。如图3所示，所述 人群计数系统3包括预处理模块31、搭建模块32、训练模块33及验证模块34。

所述预处理模块31用于将包含人群的原始图像集进行训练预处理，以形成预处理图像 集。在本实施例中，包含人群的原始图像集来源于RTSP视频流或截帧图。

所述预处理模块31具体用于把包含人群的原始图像集按人头位置生成密度图集；将生成 的密度图集划分为训练图集和测试图集，并将所述密度图集进行归一化处理，减去普通卷积 vgg16在图像网络预训练模型的平均值；将训练图集与所述密度图集对应，以统一尺寸大小， 并对所述训练图集进行数据扩增。

与所述预处理模块31耦合的搭建模块32用于搭建vgg16神经网络前10层，图片将经过 这些普通卷积网络进行特征抽取，获取特征图；在搭建的vgg16神经网络前10层后接入可变 形卷积组成的多通道网络；在多通道网络之后接入反卷积层，以便对特征矩阵进行上采样最 终得到热力图矩阵。。

与所述预处理模块31和搭建模块32耦合的训练模块33用于对搭建的卷积神经网络进行 训练，以形成另一卷积神经网络。在本实施例中，训练的目的是最小化预测密度图和实际密 度图的距离。

所述训练模块33具体用于冻结所述卷积神经网络的前10层，利用第一损失函数对所述 卷积神经网络的10层之后部分进行训练；待所述第一损失函数不再下降后，解冻所述卷积神 经网络的前10层，在所述第一损失函数加入第二损失函数，组成总损失函数；利用所述总损 失函数对所述卷积神经网络进行训练，待所述总损失函数不再下降，停止训练，形成另一卷 积神经网络。

与所述训练模块33耦合的验证模块34用于将所述原始图像集中的测试图集输入所述另 一卷积神经网络内，以获取与所述原始图像集对应的热力图。

实施例三

本实施例提供一种服务器，包括：处理器、存储器、收发器、通信接口或/和系统总线； 存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存 储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序， 使服务器执行如实施例所述人群计数方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称 PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。 该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问装置 与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器 (Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)， 例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、 网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、 现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明所述人群计数方法、系统、计算机可读存储介质及服务器，具有以下

有益效果：

第一，有效解决多种尺度，多种场景下的人群计数问题；

第二，为全卷积网络(FCN)，输入输出大小不受限制，在分辨率较高时甚至可以缩小输 入图片来提高计算性能；

第三，采用了可变形卷积，能适应摄像机在不同角度、高度采集的图像，施工简单；

第四，适用范围广，在不同场景下用同一个模型进行预测都能得到较好的效果，适合各 种人流拥挤、室内外的场景；

第五，不易觉察，可通过视频记录客流；

第六，效果直观，可直接查看密度图得到人群常聚集的地点。本发明有效克服了现有技 术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人群计数方法，其特征在于，包括：

将包含人群的原始图像集进行训练预处理，以形成预处理图像集；

结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于将包含人群的原始图像集映射为热力图；

对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；

将所述原始图像集中的测试图集输入所述另一卷积神经网络内，以获取与所述原始图像集对应的热力图。

2.根据权利要求1所述的人群计数方法，其特征在于，所述将包含人群的原始图像集进行训练预处理的步骤包括：

把包含人群的原始图像集按人头位置生成密度图集；

将生成的密度图集划分为训练图集和测试图集，并将所述密度图集进行归一化处理，减去普通卷积vgg16在图像网络预训练模型的平均值；

将训练图集与所述密度图集对应，以统一尺寸大小，并对所述训练图集进行数据扩增。

3.根据权利要求2所述的人群计数方法，其特征在于，

统一尺寸大小的步骤包括：以预定尺寸大小为标准，若训练图集的尺寸大小小于预定尺寸大小，则对训练图集的周边填零；若训练图集的尺寸大小大于预定尺寸大小，则裁剪所述训练图集；

对所述训练图集进行数据扩增的步骤包括：将训练图集分别以预设两种截取方式截取1/N大小的图片块(一般不小于1/4)，再将截取图片进行水平翻转；预设两种截取方式包括：在训练图片上依次截取1/N图片块N片，截取内容不重叠；在训练图片上随机选点截取1/N大小图片块M次，截取内容可能产生重叠；通过以上步骤可将原训练的1张图片可扩增为(N+M)*2张。

4.根据权利要求1所述的人群计数方法，其特征在于，所述结合多通道可变形卷积，搭建一卷积神经网络的步骤包括：

搭建vgg16神经网络前10层，图片将经过这些普通卷积网络进行特征抽取，获取特征图；

在搭建的vgg16神经网络前10层后接入可变形卷积组成的多通道网络；

在多通道网络之后接入反卷积层，以便对特征矩阵进行上采样最终得到热力图矩阵。

5.根据权利要求4所述的人群计数方法，其特征在于，所述初始化该卷积神经网络的步骤包括：

对该卷积神经网络前10层的vgg16部分加载预训练权重；

对10层后使用标准差为0.01的高斯核初始化卷积核；

利用0对多通道可变形卷积的偏移层初始化。

6.根据权利要求4所述的人群计数方法，其特征在于，所述对搭建的卷积神经网络进行训练，以形成另一卷积神经网络的步骤包括：

冻结所述卷积神经网络的前10层，利用第一损失函数对所述卷积神经网络的10层之后部分进行训练；

待所述第一损失函数不再下降后，解冻所述卷积神经网络的前10层，在所述第一损失函数加入第二损失函数，组成总损失函数；

利用所述总损失函数对所述卷积神经网络进行训练，待所述总损失函数不再下降，停止训练，形成另一卷积神经网络。

7.根据权利要求6所述的人群计数方法，其特征在于，所述对搭建的卷积神经网络进行训练，以形成另一卷积神经网络的步骤还包括：

在利用第一损失函数对所述卷积神经网络的前10层训练的训练过程和利用所述总损失函数对所述卷积神经网络训练的训练过程中，对卷积神经网络的网络权重进行优化。

8.一种人群计数系统，其特征在于，包括：

预处理模块，用于将包含人群的原始图像集进行训练预处理，以形成预处理图像集；

搭建模块，用于结合多通道可变形卷积，搭建一卷积神经网络；所述卷积神经网络用于将包含人群的原始图像集映射为热力图；

训练模块，用于对搭建的卷积神经网络进行训练，以形成另一卷积神经网络；

验证模块，用于将所述原始图像集输入所述另一卷积神经网络内，以获取与所述原始图像集对应的热力图。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述人群计数方法。

10.一种服务器，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行如权利要求1至7中任一项所述人群计数方法。