CN111476188B

CN111476188B - 基于特征金字塔的人群计数方法、系统、介质及电子设备

Info

Publication number: CN111476188B
Application number: CN202010289830.6A
Authority: CN
Inventors: 吕蕾; 谢锦阳; 顾玲玉; 陈梓铭; 张金玲
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2023-09-12
Anticipated expiration: 2040-04-14
Also published as: CN111476188A

Abstract

本公开提供了一种基于特征金字塔的人群计数方法、系统、介质及电子设备，属于计算机视觉技术领域，对获取的图像进行预处理，得到图像对应的初始人群密度图并输入到预设特征金字塔网络模型中，在每个层次上得到融合了多尺度的上下文信息的特征图；从底层到顶层逐层进行信息传递更新，然后进行反向信息传递直至底层，将双向信息传递得到的每层的特征图进行融合，得到每层的最终特征图，进行反向逐层侧边连接得到最终人群密度图，进而得到最终的人群计数数值；本公开通过双向消息传递来集成多层特征，通过逐层融合网络中不同尺度的特征图来解决人群图片中的尺度变化问题，保留了更多细节信息，从而实现了效果更好的多尺度密集人群的计数。

Description

基于特征金字塔的人群计数方法、系统、介质及电子设备

技术领域

本公开涉及计算机视觉技术领域，特别涉及一种基于特征金字塔的人群计数方法、系统、介质及电子设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

现有的人群统计其主要有两个基本框架：基于检测的计数和基于回归的计数框架。其中基于检测的计数框架通过训练一个分类器，利用个人的边缘或通过检测身体的部分结构，例如头，胳膊等去统计输入图片的人群数量。但是基于检测的计数框架在低密度场景下可以准确估计人群，而在拥挤地区则会降低其可靠性。基于回归的计数框架利用线性回归、高斯回归等方法学习一个低级特征到人群数量的映射关系，可以捕捉拥挤区域的一般密度信息，但在不知道每个人的位置的情况下，它倾向于过高地估计低密度的计数。

近几年，卷积神经网络的成功运用为人群计数技术带来了重大突破，将深度学习方法应用到人群计数领域，提出利用卷积神经网络下的人数，与传统方法相比在计数准确性上有了明显提升。

本公开发明人发现，由于单列卷积神经网络(Convolutional Neural Networks，CNN)只含有一种尺度的感受野，难以处理尺度变化问题，研究者们提出一系列的多列CNN、多输入CNN和多任务学习CNN结构，但是这些多列CNN普遍采用最高层的特征图来回归产生密度图，而高层的特征图在经过逐层抽象表达和池化层的下采样后，会丢失较多的细节信息甚至过滤掉一些尺度较小的目标，造成算法对小目标的计数能力较差。

发明内容

为了解决现有技术的不足，本公开提供了一种基于特征金字塔的人群计数方法、系统、介质及电子设备，通过双向消息传递来集成多层特征，通过逐层融合网络中不同尺度的特征图来解决人群图片中的尺度变化问题，保留了更多细节信息，从而实现了效果更好的多尺度密集人群的计数。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于特征金字塔的人群计数方法。

一种基于特征金字塔的人群计数方法，包括以下步骤：

对获取的图像进行预处理，得到图像对应的初始人群密度图；

将得到的初始人群密度图输入到预设特征金字塔网络模型中，在多个层次上提取特征图，在每个层次上得到融合了多尺度的上下文信息的特征图；

从底层到顶层逐层进行信息传递更新，然后进行反向信息传递直至底层，将双向信息传递得到的每层的特征图进行融合，得到每层的最终特征图；

将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，进而得到最终的人群计数数值。

本公开第二方面提供了一种基于特征金字塔的人群计数系统。

一种基于特征金字塔的人群计数系统，包括：

数据预处理模块，被配置为：对获取的图像进行预处理，得到图像对应的初始人群密度图；

特征提取模块，被配置为：将得到的初始人群密度图输入到预设特征金字塔网络模型中，在多个层次上提取特征图，在每个层次上得到融合了多尺度的上下文信息的特征图；

特征处理模块，被配置为：从底层到顶层逐层进行信息传递更新，然后进行反向信息传递直至底层，将双向信息传递得到的每层的特征图进行融合，得到每层的最终特征图；

人群计数模块，被配置为：将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，进而得到最终的人群计数数值

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于特征金字塔的人群计数方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于特征金字塔的人群计数方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开提供的方法、系统、介质及电子设备，通过逐层融合网络中不同尺度的特征图来解决人群图片中的尺度变化问题，通过多尺度上下文感知特征提取，用于捕获多层次特征的丰富上下文信息，能够适用于密度信息复杂多样的场景。

2、本公开提供的方法、系统、介质及电子设备，通过双向信息传递，在不同层次的特征之间传递信息，利用这种结构，高层的高级语义信息被传递到较浅的层，而包含在较浅层中的低级空间细节则相反地传递到较高的层，这样语义信息和细节信息被插入到每一个层级，这样集成的特征互相补充，并且对于处理不同的场景下的情况具有一定的鲁棒性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于特征金字塔的密集人群计数方法的流程图。

图2为本公开实施例1提供的基于特征金字塔的密集人群计数方法的原理图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于特征金字塔的人群计数方法，包括以下步骤：

所述特征金字塔网络模型具体为VGG-16特征提取网络模型。

具体步骤如下：

步骤一：图像预处理

将带有人头位置标注的图像数据集通过二维高斯卷积核进行卷积，生成数据集中每张图像对应的人群密度图标签组成得到训练样本集。

在人群计数任务中，需要训练卷积神经网络，本实施例选择使用密度图作为数据标签，由于人群计数数据库只提供了人头标注的坐标点，在网络训练之前首先需要生成训练图片的密度图。

那么生成密度图方程可以表示为：

其中N代表人群图像中的人数，X代表图像中每个像素的位置，X_i代表第i个人的标注位置，δ(x-x_i)表示激活函数，表示标准差为σ_i的高斯核，d_i为标记点x_i与其最近的K个人头之间的平均距离，而β根据经验取为0.3。

步骤二：特征提取

将经过预处理的数据集输入特征金字塔的自底向上的模块，本实施例设计了一个多尺度特征提取模块来捕获多尺度上下文信息，对于每一侧输出，通过叠加不同接收域的膨胀卷积层来获得多个特征图，然后，通过串联来融合特征图，以获得融合了多尺度的上下文信息的特征图。

高密度人群图片，存在着严重的人群重叠问题和尺度变化问题，直接使用单尺度卷积和池化可能不能有效地处理这些复杂的变化。本实施例中首先使用VGG-16网络在五个层次上提取特征图，对于这些特征图首先使用四个不同接收域的扩张卷积层来获得多个特征图；四个扩展卷积层具有相同的3*3卷积核，具有不同的扩展速率，分别被设置为1、3、5和7，以捕获多尺度上下文信息；然后通过串联来融合特征图，以获得融合了多尺度的上下文信息的特征图。

步骤三：信息传递

该步骤中，本实施例设计了一种双向信息传递结构，在不同层次的特征之间传递信息。利用这种结构，高层的高级语义信息被传递到较浅的层，而包含在较浅层中的低级空间细节则相反地传递到较高的层。

传统卷积方法只采用高层次的特征图，而高层的特征图在经过逐层抽象表达和池化层的下采样后，会丢失较多的细节信息甚至过滤掉一些尺度较小的目标，造成算法对小目标的计数能力较差。

为了有效整合多层次特征，本实施例设计了一种双向信息传递结构，该双向信息传递机构是在VGG-16的多个侧输出之间构建的。

通过这种结构，较高的层传递语义信息，帮助较浅的层更好地定位突出区域，较浅的层向较高的层传递更多的空间细节。通过上采样和下采样操作进行双向信息传递，通过输入上步骤得到的特征图得到融合了各个层次特征的特征图。

从浅层输出到深层输出的消息传递过程由以下公式表示：

其中，Conv(*；θ)是具有参数θ的卷积层；Down()是一种下采样操作，其目的是将特征图缩小2倍，以适应更高级别特征图的大小；而是一个ReLU激活函数，/>是从低级特征/>接收消息后更新的特征。

信息从高层传递到浅层的相反方向是：

其中Up()是一个上采样操作，将特征图向上采样2倍，并且表示在用高级信息接收来自/>的消息后更新的特性，最终分别将各层得到的/>进行合并，得到最终特征图/>

步骤四：特征融合

将步骤三产生的不同层次的特征结合，生成估计的人群密度图。具体地，通过自顶向下的方式，处理上步骤产生的多个特征组，将不同感受野、不同尺度的特征结合生成估计的人群密度图。

本步骤使用一种自上而下的方法进行侧边连接，将所有尺度的特征图逐层次融合，最终回归生成密度图。

最顶层直接输出的是特征图，然后该特征图分别经过1×1卷积层和3×3卷积层最终得到密度图M₅。除了最顶层输出的密度图M₅，每一个密度图M_i都是利用上一个输出的密度图M_i+1和第i个特征组生成。对每个密度图M_i分别进行上采样，然后与M_i-1层得到的特征图进行组合，生成最终的估计的人群密度图。

具体公式如下：

其中表示卷积核大小为1*1的卷积层，/>表示基于该尺度的特征图，其中Up()是一个上采样操作，将特征图向上采样2倍。

步骤五：人群计数

对最终得到的密度图进行积分，已得到最终的人群计数的数值。具体公式如下：

其中，C是最终估计的人数，H是密度图的高度，W是密度图的宽度，P_ij是整幅密度图在坐标(i，j)处的像素值，通过上述公式最终得到最终估计的人数。

实施例2：

本公开实施例2提供了一种基于特征金字塔的人群计数系统，包括：

人群计数模块，被配置为：将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，进而得到最终的人群计数数值。

所述人群计数系统的工作方法与实施例1中的基于特征金字塔的人群计数方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于特征金字塔的人群计数方法中的步骤，具体为：

更详细的步骤与实施例1中的相同，这里不再赘述。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于特征金字塔的人群计数方法中的步骤，具体为：

更详细的步骤与实施例1中的相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种基于特征金字塔的人群计数方法，其特征在于，包括以下步骤：

将得到的初始人群密度图输入到预设特征金字塔网络模型中，在多个层次上提取特征图，在每个层次上得到融合了多尺度的上下文信息的特征图，具体为：

采用VGG-16网络在五个层次上提取特征图，对每个层次得到的特征图使用四个不同接收域的扩张卷积层来获得多个特征图，通过串联每个层次的多张融合特征图，以获得每个层次融合了多尺度的上下文信息的特征图；

将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，进而得到最终的人群计数数值；

从底层到顶层逐层进行信息传递更新，具体为：

其中，Conv(*；θ)为具有参数θ的卷积层，Down()为下采样操作，为从底下一层特征接收消息后更新的特征；

然后进行反向信息传递直至底层，具体为：

其中，Up()为上采样操作，并且为从顶上一层特征/>接收消息后更新的特性，最终分别将各层得到的/>和/>进行合并，得到最终特征图/>

所述将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，具体为：

除去最顶层输出的人群密度图，每一个密度图M_i都是利用上一个输出的密度图M_i+1和第i个特征组合生成，对每个密度图M_i分别进行上采样，然后与M_i-1层得到的特征图/>进行组合，生成最终人群密度图。

2.如权利要求1所述的基于特征金字塔的人群计数方法，其特征在于，对获取的图像进行预处理，具体为：对获取的图像进行人头位置标注，对位置标注后的图像通过二维高斯卷积核进行卷积，得到图像对应的人群密度图。

3.如权利要求1所述的基于特征金字塔的人群计数方法，其特征在于，得到图像对应的初始人群密度图，具体为：

其中，N代表人群图像中的人数，x代表图像中每个像素的位置，x_i代表第i个人的标注位置，δ(x-x_i)表示激活函数，表示标准差为σ_i的高斯核，/>为标记点x_i与其最近的K个人头之间的平均距离，β为预设系数。

4.一种基于特征金字塔的人群计数系统，其特征在于，包括：

特征提取模块，被配置为：将得到的初始人群密度图输入到预设特征金字塔网络模型中，在多个层次上提取特征图，在每个层次上得到融合了多尺度的上下文信息的特征图，具体为：

人群计数模块，被配置为：将得到的各层的最终特征图进行反向逐层侧边连接，得到最终人群密度图，进而得到最终的人群计数数值；

从底层到顶层逐层进行信息传递更新，具体为：

然后进行反向信息传递直至底层，具体为：

5.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一项所述的基于特征金字塔的人群计数方法中的步骤。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的基于特征金字塔的人群计数方法中的步骤。