CN112215129A - 一种基于排序损失和双分支网络的人群计数方法及系统 - Google Patents

Abstract

本发明公开了一种基于排序损失约束的双分支尺度感知人群计数方法及系统，包括了一个双分支尺度感知网络，该网络由两大部分组成：VGG16的前10层作为基础主干网络，双分支网络作为网络的第二部分。浅层网络分支通过一个浅层全卷积网络提取低层信息(颜色、边缘、形状等)，深层网络分支通过一个深层全卷积网络提取高层上下文特征(头部、人脸和身体等)；将两个分支提取的不同尺度特征融合，生成预测密度图；并且基于原始图必定包含比任意子图更多或相等的人的事实，提出了利用图像内部约束关系的排序损失函数；并将排序损失与欧氏距离损失结合起来作为最终损失函数，并且进行训练，提高了计数的准确度，解决了密集人群场景下的人群计数问题。

Description

一种基于排序损失和双分支网络的人群计数方法及系统

技术领域

本发明涉及深度学习的技术领域，尤其涉及一种基于排序损失约束的双分支尺度感知人群计数方法。

背景技术

随着世界人口指数式增长，人群计数问题在实际生活中应用场景越来越多，例如节假日出游，体育赛事，政治集会等，得到准确的人数信息是解决密集场景下人群拥挤问题的关键。此外，人数信息对于很多行业都有重要的意义。

早期的一些方法通过检测的方法来解决人群计数问题，使用一个滑动窗口检测器来检测场景中人群，并统计相应的人数或者基于手工提取的头部或身体的特征(如Haar小波和HOG)来估计人数。然而严重的遮挡使得检测出每一个行人很困难。为了克服遮挡问题，提出了基于回归的方法，这种方式首先提取多种手工特征用于生成低层信息，再将计数问题转换成回归问题，学习一个回归模型，用线性回归，分段线性回归，岭回归和高斯过程回归等方法学习裁剪的图像块到人数的映射关系。尽管如此，基于回归的方式还是难以处理高密集的人群场景。

近年来，GPU计算能力的提升和许多大型数据库的出现促使深度学习在许多计算机视觉领域取得了十分优异的性能。研究者开始将深度学习方法应用到图片人群计数领域，通过CNN去学习人群图片和密度图之间非线性表达。这使得图片人群计数的准确度取得了一个质的飞跃，尤其是在高密集人群场景下。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有人群计数领域中存在由于尺度多变造成的计数误差问题，提出了本发明。

因此，本发明解决的技术问题是：缓解人群计数领域中由于尺度多变造成的计数误差问题，还可以对人群进行预测，对构建的损失函数进行训练，从而保证了结果的准确度。

为解决上述技术问题，本发明提供如下技术方案：采集人群图像数据进行预处理，形成样本数据集；对训练样本集图像手工标注人头位置，利用高斯函数计算所述人群图像数据的人群密度信息，得到人群标签密度图；基于深度学习策略构建双分支尺度感知神经网络模型并输入所述样本数据集和所述人群标签密度图进行训练；将训练集中的人群图像输入所述双分支尺度感知神经网络模型内提取特征信息以输出预测密度图；利用积分求解所述预测密度图中的人数。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：构建所述双分支尺度感知神经网络模型包括，选取VGG网络前十层作为所述双分支尺度感知神经网络模型的骨干网络；基于两个不同深度的分支提取不同尺度的特征并作为所述双分支尺度感知神经网络模型的核心网络；利用1*1卷积融合所述输入层与所述网络层提取的所述特征输出单通道密度图形成输出层。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：所述核心网络还包括，浅层和深层，所述浅层包括三层卷积层，所述深层包括六层卷积层；其中，所述浅层提取待检测目标的低层信息，所述深层提取所述待检测目标的语义信息。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：训练所述双分支尺度感知神经网络模型包括，将训练集输入所述双分支尺度感知神经网络模型的所述骨干网络以得到特征图；所述特征图传输至所述核心网络中的两个分支进行特征提取并进行关联；利用所述1*1卷积层得到单通道的所述预测密度图，结合损失函数对所述标签密度图和所述预测密度图进行计算；根据所述损失函数计算的误差，利用反向传播逐层传递并不断调整网络参数，直至所述双分支尺度感知神经网络模型趋向稳定，完成训练。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：所述损失函数计算包括，

利用所述人群图像的人数约束关系建立排序损失函数，如下，

C(I_K)≤C(I_K-1)…C(I₂)≤C(I₁)

其中，I₁，I₂,……I_K-1,I_K：样本I的子图；

对于相邻子图之间的排序损失为LD(I,k)，如下，

LD(I,k)＝max(0,(C(I_k)-C(I_k+1)))

对于数据图中单张图片I的K张子图之间的所述排序损失函数为LRS，如下，

网络的所述排序损失函数为LR，定义如下：

其中，M为一个批训练数据的数量。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：还包括，对所述排序损失函数与欧式距离损失函数进行加权以获得网络损失函数；

所述欧氏距离损失函数，如下，

其中，D(X_l)：第l张输入图片X_l的标签密度图，

第l张输入图片X_l的预测密度图；

所述网络损失函数如下，

L＝LE+λLR

其中，λ：调节欧式距离和排序损失函数在最终损失函数中占比的参数。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：求解所述预测密度图中的人数，包括，将测试数据集输入所述预测密度图中进行计算，得到预测人数并对比所述标签密度图，则第X_i张测试图片的预测人数

求解公式如下，

其中，W为生成的预测密度图的长，H为生成的预测密度图的宽，D(w,h)为预测密度图中(w,h)位置的像素值；网络的性能由预测人数与标签人数的绝对误差以及均方误差来衡量，其值越小网络性能越好，绝对误差(MAE)和均方误差(MSE)如下，

其中，N：为测试图片张数，C(X_i)：为第X_i张测试图片的标注人数，

：为第X_i张测试图片的预测人数。

作为本发明所述的一种基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：所述标签密度图包括，利用自适应高斯核函数衡量所述人群图像中每个人头的大小，并结合所述高斯核函数代替人头位置坐标，转化为一个连续的密度图，如下，

其中

其中，V为人群图片中包含的人数，Z_i为图片中第i个人头标签的坐标，

为标准差为σ_i的高斯核函数。

作为本发明所述的基于排序损失和双分支网络的人群计数方法的一种优选方案，其中：所述预处理包括，对采集的数据进行裁剪和水平镜像以增强图像数据的特征；所述样本数据集包括，所述训练集和所述测试集。

本发明解决的另一个技术问题是：提出一种基于排序损失和双分支网络的人群计数系统，缓解人群计数领域中由于尺度多变造成的计数误差问题。

为解决上述技术问题，本发明提供如下技术方案：一种基于排序损失和双分支网络的人群计数系统，包括图像采集模块，用于采集人群图像数据和待检测图像信息；基础特征提取模块，能够接收所述图像采集模块信息，用于利用VGG骨干网提取图像中的基础特征；多层特征提取模块，能够接收所述基础特征提取模块，并用于双分支网络提取浅层和深层特征；特征融合模块，能够接收所述多层特征提取模块的浅层特征和深层特征并进行特征融合，得到融合特征；密度图获取模块，能够接收所述特征融合模块所得到的融合特征进行转化，得到人群密度图；人数计数模块由人群密度图计算得到图像中的人数。

本发明的有益效果：针对在人群计数领域中存在由于尺度多变造成的计数误差问题，本发明提供一种基于排序损失约束的双分支尺度感知人群计数算法，在双分支尺度感知网络中，结合深浅不同的双分支网络，提取不同尺度目标的特征，能解决由于人群图片中尺度多变问题；设计了一种排序函数，利用图片本身的内部约束关系，得到更加准确的预测密度图；在网络的第二部分引入了空洞卷积操作，与普通的卷积操作相比，在不增加计算量的同时增加感受野，提高人群计数的准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的流程示意图；

图2为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的双分支尺度感知网络结构示意图；

图3为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的排序裁剪子图示意图；

图4为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的数据增强裁剪方式示意图；

图5为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的各数据集密度图；

图6为本发明第一个实施例所述的一种基于排序损失和双分支网络的人群计数方法的多种方法对比测试结果折线示意图；

图7为本发明第二个实施例所述的一种基于排序损失和双分支网络的人群计数系统的模块结构分布示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～图4，为本发明的第一个实施例，该实施例提供了一种基于排序损失和双分支网络的人群计数方法，包括：

S1：采集人群图像数据进行预处理，形成样本数据集。其中需要说明的是，预处理包括对采集的数据进行裁剪和水平镜像以增强图像数据的特征。样本数据集包括训练集和测试集。

进一步的，参照图3和图4，预处理采集的人群图像数据形成样本数据集具体包括以下步骤：

随机选取裁剪9张图片，每张为原图的1/4大小；

选择4张为原图中的不重复位置，剩下的五张以原图1/4大小随机裁剪；

对裁剪后的图片进行随机翻转，获得更多的训练图片，形成一个样本的数据集，提供多种图像训练资料。

S2：利用高斯函数和手工标注人头位置计算人群图像数据的人群密度信息，得到人群标签密度图。本步骤需要说明的是，标签密度图包括以下步骤：利用自适应高斯核函数衡量人群图像中每个人头的大小，并结合高斯核函数代替人头位置坐标，转化为一个连续的密度图，如下，

其中

其中，V为人群图片中包含的人数，Z_i为图片中第i个人头标签的坐标，

为标准差为σ_i的高斯核函数；通过标签密度图可以方便本方法的计算与模型的训练。

S3:基于深度学习策略构建双分支尺度感知神经网络模型并输入样本数据集和人群标签密度图进行训练。本步骤需要说明的是，构建双分支尺度感知神经网络模型包括：

选取VGG网络前十层作为双分支尺度感知神经网络模型的骨干网络；

基于两个不同深度的分支提取不同尺度的特征并作为双分支尺度感知神经网络模型的核心网络；

其中核心网络还包括浅层和深层，浅层包括三层卷积层，并提取待检测目标的低层信息；深层包括六层卷积层，并提取所述待检测目标的语义信息；从低层信息和语义信息两个方面提取不同尺寸的人的信息，解决不同视角引起的不同尺度的问题；

利用1*1卷积融合两个不同深度的分支提取的特征输出单通道密度图形成输出层。

S4:将训练集中的人群图像输入双分支尺度感知神经网络模型内提取特征信息以输出预测密度图，获得网络参数。本步骤需要说明的是，训练双分支尺度感知神经网络模型包括：

将训练集输入双分支尺度感知神经网络模型的输入层以得到特征图；

特征图传输至网络层中的两个分支进行特征提取并进行关联；

利用1*1卷积层得到单通道的预测密度图，结合损失函数对标签密度图和预测密度图进行计算；

根据损失函数计算的误差，利用反向传播逐层传递并不断调整网络参数，直至双分支尺度感知神经网络模型趋向稳定，完成训练，减少人群计数时产生的误差，使得计数更加准确。

损失函数计算包括：

利用人群图像的人数约束关系建立排序损失函数，如下，

C(I_K)≤C(I_K-1)...C(I₂)≤C(I₁)

其中，I₁，I₂,……I_K-1,I_K：样本数据图；

对于相邻子图之间的排序损失为LD(I,k)，如下，

LD(I，k)＝max(0，(C(I_k)-C(I_k+1)))

对于数据图中单张图片I的K子图之间的排序损失函数为LRS，如下，

网络的排序损失函数为LR，定义如下：

其中，M为一个批训练数据的数量。

对排序损失函数与欧式距离损失函数进行加权以获得网络损失函数；欧氏距离损失函数，如下，

其中，D(X_l)：第l张输入图片X_l的标签密度图，

：第l张输入图片X_l的预测密度图；网络损失函数如下，

L＝LE+λLR

其中，λ为调节欧式距离和排序损失函数在最终损失函数中占比的参数。进一步的是：

求解预测密度图中的人数，包括：

将训练数据集输入预测密度图中进行计算，得到预测人数并对比标签密度图，则第X_i张训练图片的预测人数

求解公式如下，

其中，W为生成的预测密度图的长，H为生成的预测密度图的宽，D(w,h)为预测密度图中(w,h)位置的像素值。

S5:将待检测的人群图像输入训练完成的双分支尺度感知神经网络模型内提取特征信息以输出预测密度图。

S6:利用积分求解预测密度图中的人数。本步骤需要说明的是，求解预测密度图中的人数，包括：

将测试数据集输入预测密度图中进行计算，第X_i张测试图片的预测人数

求解公式如下，

其中，W为生成的预测密度图的长，H为生成的预测密度图的宽，D(w,h)为预测密度图中(w,h)位置的像素值；

网络的性能由预测人数与标签人数的绝对误差以及均方误差来衡量，其值越小网络性能越好，绝对误差(MAE)和均方误差(MSE)如下，

其中，N为测试图片张数，C(X_i)为第X_i张测试图片的标注人数，

为第X_i张测试图片的预测人数；

通过对人群密度图的计算，得到人群图像中的人群数量，输出最终结果。

本实施例还需要说明的是，双分支尺度感知神经网络模型的第一部分为VGG网络的前十层，采用在ImageNet上训练的VGG网络参数初始化骨干网络，网络的第二部分由两个部分组成，第一个部分为浅层网络分支，由三层3*3的卷积层组成，用来提取目标的低层信息；第二个部分为深层网络分支，由六层3*3的卷积层组成，用来提取目标的语义信息；同时为了扩大感受野的同时不丢失空间信息，在网络的第二个部分，利用空洞卷积替代了普通的卷积操作，相较于普通卷积操作，空洞卷积在卷积核之中插入像素为0的空洞，在增加感受野的同时不增加计算量，解决了人群图片中由于拍摄角度以及人群分布不均带来的尺度多变问题；本发明方法根据网络预测得出的密度图与标签密度图计算损失函数，不断更新网络参数，直到损失函数不再减小，即网络收敛，得到最终学习的网络模型，具体的网络结构如下表1所示：

表1：网络结构表。

实施例2

为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择以当前的一些领先的人群计数方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果；

参照图5，本发明方法是基于图片的人群计数方法，选取三个公开的数据集验证本发明，ShanghaiTech数据集由partA和partB两个部分构成，其中partA的图片中的人群相比partB更加密集。partA由网络中随机选择的图片组成，partB由不同时间段随机拍摄于上海街道上的图片组成，这两部分又分别划分成训练数据集和测试数据集，partA的训练数据集和测试数据集分别有300和182张图片,数据集，而partB的训练数据集和测试数据集分别有400和316张图片。UCF_CC_50数据集为50张不同场景下各种密度以及视角失真的图片，每一张图片中包含的人数从94到4543不等。但由于数据集图片数量较少，本实施例采用交叉验证协议进行训练和测试，其中数据集被均分成5组，并进行5次交叉验证。UCF-QNRF数据集拍摄于不同的野外真实场景，并拥有最多样化的视角、密度和光照变化场景下的密集人群图片。按照数据集中单张图片的标注点大小进行排序，每5张图片中选择一张作为测试图片，生成训练数据集和测试数据集，训练数据集由1201张图片组成，测试数据集由334张图片组成。三个数据集的基本情况如下表2所示：

表2：人群计数数据表。

参照图5，本发明方法基于深度学习策略并利用人群训练图片和生成的对应的密度图标签训练网络，将测试图片输入训练好的网络中得到预测密度图，最后求解密度图的积分得到图片中包含的人数，本发明方法利用深度学习拥有强大的学习能力，能够自动的学习图像中的特征，而且生成预测密度图的方式不需要显式的框出每一个人，在一定程度上缓解遮挡问题来的计数误差，且本方法采用不同深度的分支网络能够检测不同大小的人头，在一定程度上缓解了人头大小不一带来的误差。

分别将人群数据集ShanghaiTech、UCF_CC_50、UCF-QNRF的训练数据和对应的人群标签密度图输入到设计好的网络中，根据网络输出的预测密度图和标签密度图按照损失函数不断迭代训练整个网络，最终得到训练好的网络模型，并对该模型进行评估，本发明对ShanghaiTech、UCF_CC_50、UCF-QNRF的评估结果与其他算法的比较如表3所示。

表3：各数据集上的实验结果。

同时参照图6中，可以看出ShanghaiTech、UCF_CC_50、UCF-QNRF的在MAE和MSE两方面的评价结果，使用本人群计数方法所得到的在MAE和MSE两方面的结果明显低于使用其他人群计数方法，在ShanghaiTechpartA，UCF_CC_50，UCF-QNRF数据集上的MAE和MSE均取得了最低的误差，ShanghaiTechpartB数据集上，MAE和MSE均取得了具有竞争力的结果；因此本发明方法对人群图像的计数可以更加有效地缓解误差，使计数更加准确。

实施例3

参照图7，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于排序损失和双分支网络的人群计数系统，该系统包括图像采集模块100、与图像采集模块100依次连接的基础特征提取模块200、多层特征提取模块300、特征融合模块400和密度图获取模块500，以及与密度图获取模块500连接的人数计数模块600。更加具体的，其中图像采集模块100为设置于系统内摄像头或者摄像机，用于采集人群图像数据和待检测图像信息，并将采集的信息上传至基础特征提取模块200；该基础特征提取模块200与图像采集模块100连接，能够接收图像采集模块100上传信息，用于利用VGG骨干网提取图像中的基础特征；多层特征提取模块300与基础特征提取模块200连接，能够接收基础特征提取模块200上传的基础特征信息，并用于双分支网络提取浅层和深层特征；特征融合模块400与多层特征提取模块300连接，能够接收多层特征提取模块300上传的浅层特征和深层特征并进行特征融合，最终得到融合特征；密度图获取模块500与特征融合模块400连接，能够接收特征融合模块400所得到的融合特征进行转化，得到人群密度图；人数计数模块600与密度图获取模块500相连接，用于根据接收上传的人群密度图计算得到图像中的人数，实现最终的人群计数。

不难理解的是，本实施例中所提出的系统，其内涉及图像采集模块100、基础特征提取模块200、多层特征提取模块300、特征融合模块400密度图获取模块500和人数计数模块600间的连接关系，例如可以是运行在计算机可读程序，通过提高各模块的程序数据接口实现。

优选的，还需要说明的是，本发明通过图像模块100来采集人群图像数据和待检测图像信息，便于进行进一步研究；利用基础特征提取模块200接收图像采集模块100信息，并且利用VGG骨干网提取图像中的基础特征，将特征输入至双分支网络；多层特征提取模块300接收来自基础特征提取模块200的信息，用于双分支网络提取浅层和深层特征，从特征的浅层和深层两方面入手，降低了人群计数时因多尺度以及图片内部的数量关系产生的误差；特征融合模块400将特征信息传入密度图获取模块500，得到人群密度图，可以清楚得看到使用本发明方法后人群图像的状态并且有利于对人数的计算；人数计数模块600利用密度图获取模块500所得到的人群密度图进行计算，得到人群图像中的人数，从而达到人群计数的效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于排序损失和双分支网络的人群计数方法，其特征在于：包括，

采集人群图像数据进行预处理，形成样本数据集；

利用高斯函数计算所述人群图像数据的标注信息，得到人群标签密度图；

基于深度学习策略构建双分支尺度感知神经网络模型并输入所述样本数据集和所述人群标签密度图进行训练；

将训练集中的人群图像输入所述双分支尺度感知神经网络模型内提取特征信息以输出预测密度图；

利用积分求解所述预测密度图中的人数。

2.如权利要求1所述的基于排序损失和双分支网络的人群计数方法，其特征在于：构建所述双分支尺度感知神经网络模型包括，

选取VGG网络前十层作为所述双分支尺度感知神经网络模型的骨干网络；

基于两个不同深度的分支提取不同尺度的特征并作为所述双分支尺度感知神经网络模型的核心网络；

利用1*1卷积融合所述输入层与所述网络层提取的所述特征输出单通道密度图形成输出层。

3.如权利要求2所述的基于排序损失和双分支网络的人群计数方法，其特征在于：所述核心网络还包括，浅层和深层，所述浅层包括三层卷积层，所述深层包括六层卷积层；

其中，所述浅层提取待检测目标的低层信息，所述深层提取所述待检测目标的语义信息。

4.如权利要求2或3所述的基于排序损失和双分支网络的人群计数方法，其特征在于：训练所述双分支尺度感知神经网络模型包括，

将训练集输入所述双分支尺度感知神经网络模型的所述骨干网络以得到特征图；

所述特征图传输至所述核心网络中的两个分支进行特征提取并进行关联；

利用所述1*1卷积层得到单通道的所述预测密度图，结合损失函数对所述标签密度图和所述预测密度图进行计算；

根据所述损失函数计算的误差，利用反向传播逐层传递并不断调整网络参数，直至所述双分支尺度感知神经网络模型趋向稳定，完成训练。

5.如权利要求4所述的基于排序损失和双分支网络的人群计数方法，其特征在于：所述损失函数计算包括，

利用所述人群图像的人数约束关系建立排序损失函数，如下，

C(I_K)≤C(I_K-1)…C(I₂)≤C(I₁)

其中，I₁，I₂,……I_K-1,I_K为样本I的子图；

对于相邻子图之间的排序损失为LD(I,k)，如下，

LD(I,k)＝max(0,(C(I_k)-C(I_k+1)))

对于数据图中单张图片I的K张子图之间的所述排序损失函数为LRS，如下，

网络的所述排序损失函数为LR，定义如下：

其中，M为一个批训练数据的数量。

6.如权利要求5所述的基于排序损失和双分支网络的人群计数方法，其特征在于：还包括，

对所述排序损失函数与欧式距离损失函数进行加权以获得网络损失函数；

所述欧氏距离损失函数，如下，

其中，D(X_l)为第l张输入图片X_l的标签密度图，

为第l张输入图片X_l的预测密度图；

所述网络损失函数如下，

L＝LE+λLR

其中，λ为调节欧式距离和排序损失函数在最终损失函数中占比的参数。

7.如权利要求5或6所述的基于排序损失和双分支网络的人群计数方法，其特征在于：求解所述预测密度图中的人数，包括，

将测试数据集输入所述预测密度图中进行计算，得到预测人数并对比所述标签密度图，则第X_i张测试图片的预测人数

求解公式如下，

其中，W为生成的预测密度图的长，H为生成的预测密度图的宽，D(w,h)为预测密度图中(w,h)位置的像素值；

网络的性能由预测人数与标签人数的绝对误差以及均方误差来衡量，其值越小网络性能越好，绝对误差(MAE)和均方误差(MSE)如下，

其中，N为测试图片张数，C(X_i)为第X_i张测试图片的标注人数，

为第X_i张测试图片的预测人数。

8.如权利要求7所述的基于排序损失和双分支网络的人群计数方法，其特征在于：所述标签密度图包括，

利用自适应高斯核函数衡量所述人群图像中每个人头的大小，并结合所述高斯核函数代替人头位置坐标，转化为一个连续的密度图，如下，

其中

其中，V为人群图片中包含的人数，Z_i为图片中第i个人头标签的坐标，

为标准差为σ_i的高斯核函数。

9.如权利要求1或8所述的基于排序损失和双分支网络的人群计数方法，其特征在于：所述预处理包括，

对采集的数据进行裁剪和水平镜像以增强图像数据的特征；

所述样本数据集包括，所述训练集和所述测试集。

10.一种基于排序损失和双分支网络的人群计数系统，其特征在于：包括，

图像采集模块(100)，用于采集人群图像数据和待检测图像信息；

基础特征提取模块(200)，能够接收所述图像采集模块(100)信息，用于利用VGG骨干网提取图像中的基础特征；

多层特征提取模块(300)，能够接收所述基础特征提取模块(200)，并用于双分支网络提取浅层和深层特征；

特征融合模块(400)，能够接收所述多层特征提取模块(300)的浅层特征和深层特征并进行特征融合，得到融合特征；

密度图获取模块(500)，能够接收所述特征融合模块(400)所得到的融合特征进行转化，得到人群密度图；

人数计数模块(600)由人群密度图计算得到图像中的人数。

Images