CN110837786B - 基于空间通道的密度图产生方法、装置、电子终端及介质 - Google Patents

Abstract

本发明提供一种基于空间通道的密度图产生方法、装置、电子终端及介质，该方法包括：对输入的原始图像进行特征提取，以获得初步特征图；根据多个分割尺度对初步特征图进行分割，且保留各分割块中最大的值，获得对应多个分割尺度的中间特征图；将中间特征图的任意两点特征之间的位置关联结果和各通道间的通道关联结果进行融合，获得位置通道注意力特征图；对位置通道注意力特征图进行特征图插值操作和相接操作，获取多个输出特征图；将多个输出特征图在通道维度相接，获得最终特征图；对最终特征图进行处理，以获得密度图。本发明在特征的空间维度和通道维度分别抓取特征之间的全局依赖关系，增强特征的表达能力，提高密度图的精度和有效性。

Description

基于空间通道的密度图产生方法、装置、电子终端及介质

技术领域

本发明涉及图像处理领域，特别是涉及一种基于空间通道的密度图产生方法、装置、电子终端及介质。

背景技术

人群计数在视频监控、交通监测、公共安全、城市规划以及建设智能商超等方面有着广泛应用，如监控某个人群易聚集区域的人群数目，防止由于人群密度过大，导致人群失控发生踩踏等事件。人群计数的结果直接影响后续的策略的执行，所以需要提出一种准确且有效的人群密度计算方法。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于空间通道的密度图产生方法、装置、电子终端及介质，用于解决现有技术中不能准确且有效的对人群密度进行计算的问题。

为实现上述目的及其他相关目的，本发明提供一种基于空间通道的密度图产生方法，包括：对输入的原始图像进行特征提取，以获得初步特征图；根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图，且将所述的多个输出特征图在通道维度相接，获得最终特征图；根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

在一些实施例中，根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图。

在一些实施例中，将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；且对进行插值后的各所述位置通道注意力特征图逐次相加；对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

在一些实施例中，根据具有预设卷积尺度的卷积层对所述最终特征图进行处理的步骤包括：根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

为实现上述目的及其他相关目的，本发明还提供一种基于空间通道的密度图产生装置，包括：特征提取模块，用以对输入的原始图像进行特征提取，以获得初步特征图；图像分割模块，用以根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；注意力模块，用以将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；合并模块，用以将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图，且用以将所述多个输出特征图在通道维度相接，获得最终特征图；估计模块，用以根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

在一些实施例中，所述图像分割模块还用以根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图。

在一些实施例中，所述合并模块将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；且对进行插值后的各所述位置通道注意力特征图逐次相加；对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

在一些实施例中，所述估计模块还用以根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述基于空间通道的密度图产生方法。

为实现上述目的及其他相关目的，本发明还提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行如上中任一项所述基于空间通道的密度图产生方法。

如上所述，本发明提供一种基于空间通道的密度图产生方法、装置、电子终端及介质，密度图产生方法包括：对输入的原始图像进行特征提取，以获得初步特征图；根据预设的多个分割尺度对初步特征图进行分割，且保留各分割块中最大的值，以获得对应多个分割尺度的中间特征图；将中间特征图的任意两点特征之间的位置关联结果和中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与初步特征图大小相同的多个输出特征图；将所述的多个输出特征图在通道维度相接，获得最终特征图；根据具有预设卷积尺度的卷积层对最终特征图进行处理，以获得密度图。本发明在特征的空间维度和通道维度分别抓取特征之间的全局依赖关系，增强特征的表达能力，提高密度图的精度和有效性。

附图说明

图1显示为本发明的基于空间通道的密度图产生方法在一具体实施例中的流程示意图。

图2显示为本发明的基于空间通道的密度图产生装置在一具体实施例中的组成示意图。

图3显示为本发明一具体实施例中密度图产生方法应用流程示意图。

图4显示为本发明的一具体实施例中图片分割示意图。

图5显示为本发明的电子终端在一具体实施例中的组成示意图。

元件标号说明

1 基于空间通道的密度图产生装置

11 特征提取模块

12 图像分割模块

13 注意力模块

14 合并模块

15 估计模块

2 电子终端

21 处理器

22 存储器

S11～S15 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

传统的人群计数算法主要分类两大类：

(1)基于目标检测的方法：这类方法就是通过对图像上每个行人或人头进行定位与识别，再根据结果统计人数。优点在于可以做到准确的行人或者人头位置，但缺点在于对高密度的人群图像来说，其检测效果差；

(2)基于回归的方法：这类方法可以叫做人群数目估计，没有精确定位行人位置，而是对大概的人群数目给出个估计值；优点在于对高密度人群图像来说，其效果是比基于目标检测方法的好，但缺点没有精确的定位。

其中，基于回归的方法又分为两种：

(1)直接回归：如在深度学习的卷积神经网络中输入人群图像，直接输出一个人群数目估计值；

(2)密度图回归：密度图回归根据已知的每个人头位置，再估计该位置所在人头的大小，这样可以得到该人头的覆盖区域，通过一种方法，将该区域转化为该区域内可能为人头的概率，该区域概率和为1(或者表示每个像素可能有多少个人)。最终我们可以得到一张人群密度图。

本发明正是基于密度图回归的一类人群计数方法。本发明采用联合多尺度空间通道注意力网络来进行人群图像处理，引入了一种自注意力机制(self-attentionmechanism)，在特征的空间维度和通道维度分别抓取特征之间的全局依赖关系，增强特征的表达能力，最后通过一个多列卷积神经网络生成密度图。

请参阅图1，显示为本发明的密度图产生方法在一具体实施例中的流程示意图。所述基于空间通道的密度图产生方法S1包括：

S11：对输入的原始图像进行特征提取，以获得初步特征图；

S12：根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；在一些实施例中，所述分割尺度为多个不同的分割尺度，所述密度图产生方法S1的所述步骤S12还包括：根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述分割尺度的中间特征图。

S13：将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；

S14：将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作和相接操作，以获取与所述初步特征图大小相同的多个输出特征图，且将所述的多个输出特征图在通道维度相接，获得最终特征图。

进一步的，将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：

分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；

且对进行插值后的各所述位置通道注意力特征图逐次相加；

对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

S15：根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

在一些实施例中，根据具有预设卷积尺度的卷积层对所述最终特征图进行处理的步骤包括：根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

在一些实施例中，在获得所述密度图后，所述方法S1还包括：将所述密度图输入Inception子网络或ResNet Block块网络的步骤。其中，Inception子网络架构的主要思想是找出如何用密集成分来近似最优的局部稀疏结。Inception子网络的作用有：代替人工确定卷积层中的过滤器类型或者确定是否需要创建卷积层和池化层，即：不需要人为的决定使用哪个过滤器，是否需要池化层等，由网络自行决定这些参数，可以给网络添加所有可能值，将输出连接起来，网络自己学习它需要什么样的参数。即所述密度图输入所述Inception子网络或ResNet Block块网络，以提高所述密度图的估计精度。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

参阅图2，显示为本发明的密度图产生装置在一具体实施例中的组成示意图。所述基于空间通道的密度图产生装置1，包括：特征提取模块11、图像分割模块12、注意力模块13、合并模块14以及估计模块15。

所述特征提取模块11用以对输入的原始图像进行特征提取，以获得初步特征图；

所述图像分割模块12用以根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；

所述注意力模块13用以将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；

所述合并模块14用以将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图，且用以将所述多个输出特征图在通道维度相接，获得最终特征图；

所述估计模块15用以根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

其中，所述图像分割模块12还用以根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述分割尺度的中间特征图。

在一些实施例中，所述合并模块14将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：

分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；

且对进行插值后的各所述位置通道注意力特征图逐次相加；

对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

在一些实施例中，所述估计模块15还用以根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

在一具体应用中，还用以将所述估计模块15获得的所述密度图输入Inception子网络或ResNet Block块网络。所述Inception子网络或ResNet Block块网络的应用用于提高所述密度图的估计精度。

结合图3，显示为本发明一具体实施例中密度图产生方法应用流程示意图。结合图4，显示为本发明的一具体实施例中图片分割示意图。

如图3所示，密度图产生方法的运行过程中包括：

所述特征提取模块11对输入图像进行初步的特征提取，输入原始图像(A×B)，输出初步特征图(M×N)。其中，所述初步特征图(M×N)的结构如表1所示：

Conv-3-64-1
	Conv-3-64-1
Conv-3-64-1
	Max_Pooling
Conv-3-128-1
	Conv-3-128-1
Conv-3-128-1
	Max_Pooling
Conv-3-256-1
	Conv-3-256-1
Conv-3-256-1
	Max_Pooling
Conv-3-512-1
	Conv-3-512-1
Conv-3-512-1

表1

其中，以Conv-3-256-1为例，Conv表示卷积层，3表示卷积核大小，256为卷积核数量，1表示膨胀率。Max Pooling表示最大池化层，窗口为2x2，步幅为2。

在一些实施例中，所述特征提取模块11可包括卷积层或可变性卷积。所述特征提取模块11可为MobileNet或Res-Net等网络结构。

如图2所示，所述密度图产生方法的运行过程中还包括分块池化模块(图像分割模块12)、合并模块14和估计模块15。所述分块池化模块以特征提取模块输出的特征图(空间尺寸：M×N)和三个不同大小的尺度(s1,s2,s3)为输入，根据尺度对特征图进行分割，并取各分割块中最大的值保留，最后输出三个大小分别为s1×s1,s2×s2,s3×s3的特征图。分块池化模块在尽可能保留图片有效空间信息的前提下，降低了图片的尺寸，同时减少网络了参数量。分割实例如图3所示，其中，M和N代表特征图的行和列。在一些实施例中，所述分块池化模块的池化层可以为均值池化。

所述合并模块14将三个尺度的注意力模块的结果输入合并模块。该模块首先分别对三个尺度的特征图插值，得到相同大小的图片，再逐通道相加，最后再次插值，输出一个大小为M×N的最终特征图。此过程中，尺寸为s1×s1,s2×s2,s3×s3的三个特征图合并成一个M×N大小的特征图。

所述估计模块15是一个尺度为1×1的卷积层，对合并后的特征图进行降维，把多通道的特征图降到一个通道，再执行图像插值，调整特征图的大小到原图像尺寸，得到目标密度图。

所述密度图生成的过程中还包括所述注意力模块13，所述注意力模块13分为两大模块：即位置注意力模块和通道注意力模块。

1)位置注意力模块旨在利用特征图任意两点特征之间的关联，来相互增强各自特征的表达。以尺度1为例，假设经过分块池化模块处理的特征图为A(s1×s1×C)。第一步，首先对特征图A进行降维。原始特征图A分别经过三个卷积层得到降维的特征，这个操作能够进一步提取特征并且降低运算量，产生三个维度相同的特征图B(s1×s1×C′)，C(s1×s1×C′)和D(s1×s1×C′)。第二步，计算出输入特征图在空间上任意两点特征之间的关联强度矩阵。首先改组B和C的维度分别为(s1×s1)×C′和C′×(s1×s1)，接着计算矩阵乘积获得任意两点特征之间的关联强度矩阵(s1×s1)×(s1×s1)。第三步对关联强度矩阵进行softmax归一化操作，得到空间注意力图S(s1×s1)×(s1×s1)。在空间注意力图S中，每一个空间点都有一个关联向量，其中与空间点特征越相似的点，其响应值越大。第四步，对空间注意力图S与特征图D(s1×s1×C′)计算矩阵乘法，再经过重塑，和特征图A(s1×s1×C)进行矩阵加法，得到空间注意力特征图E(s1×s1×C)。这样图中各个位置的点，通过空间注意力图在空间中产生全局的关联。总的来说，空间注意力特征图E由输入特征图A和特征图D以及空间注意力图S得到。

(2)通道注意力模块旨在通过建立通道之间的关联，增强在通道中特定语义响应能力。通道注意力特征图计算具体过程与空间注意力模块相似，不同的是，不需要卷积层降维，且在获得通道注意力图X(C×C)时，是将任意两个通道特征进行维度变换和矩阵乘积。以输入特征图A(s1×s1×C)为例。第一步，将任意两个通道特征进行维度变换和矩阵乘积，即A重塑和矩阵转置后又与自身重塑的结果计算矩阵乘法，获得任意两个通道的关联强度矩阵(C×C)。第二步，同样经过softmax操作获得通道间的注意力图X(C×C)。第三步，把通道注意力图X和特征图A重塑后的结果计算矩阵乘法，再次对结果进行重塑，然后与输入特征图A进行矩阵加法，得到通道注意力特征图E(s1×s1×C)。这一步目的在于使各个通道之间能产生全局的关联，获得更强的语义响应的特征。

为了进一步获得全局依赖关系的特征，将两个模块的输出结果进行相加融合，获得最终的空间通道注意力特征图用于像素点的分类。

其中，(s1×s1)×C′中s1为尺寸，C为通道数。

本发明使用了空间通道注意力网络，引入自注意力机制(self-attentionmechanism)，能够分别捕捉空间维度和通道维度上的视觉特征关联和抓取特征之间的全局依赖关系，因此能增强特征的表达能力，同时在处理复杂多样的场景时，该方法比以往的方法更为灵活、有效，可以处理拥挤场景中复杂的人群分布情况。联合多尺度空间通道注意力网络可以应用于自动驾驶、增强现实以及图像编辑等领域。而本方法可以应用于拥挤人群计数和视频监控，例如大型集会以及车站人流等等。

本发明采用了分块池化网络，解决了输入图像尺寸能够任意大小的问题，能够提取多尺度的人脸特征，而且提高了网络的性能。

且本发明使用了多尺度网络，输入图片可以任意大小，避免图片失真，人头遮挡等等问题，可适应各种情况下的的拥挤人群图片以及由于视角变化造成的图片扭曲。

在一具体应用中，本发明的密度图产生过程还可包括以下执行步骤：

步骤1:收集人群图像以及背景图像；将数据集划分为训练集和测试集；

步骤2:对训练集进行数据扩充，无人街景图的人群计数设置为0，对数据增强后的图像进行Gaussian核模糊归一化处理，得到真实的人群密度图；

步骤3:定义损失函数为交叉熵函数；

步骤4:搭建网络并随机进行初始化。载入VGG-16网络，初始权值为VGG-16在ImageNet上的预训练权重；对于网络结构里的其他部分的参数，采用均值为0，均方差为0.01的正态分布进行初始化，偏差采用0进行初始化。

步骤5:图片输入多尺度空间通道注意力网络，进行特征提取和分块池化后产生三个尺度的特征图。然后三个特征图进入注意力网络，输出三个空间通道注意力特征图。最后经过合并模块，估计模块得到密度图。

步骤6:用欧氏距离来测量人群计数网络生成的密度图和真实密度图之间的差异，计算最终的损失。

步骤7:重复步骤5，直到损失不再明显下降，训练结束，得到最终密度图；

步骤8:利用测试集评估模型，挑选最优模型作为最终模型；

步骤9:用密度图进行计算得出人群总数。

即本发明可以应用于商场和景点客流分析，车站和广场等等公共场合视频监控，可以统计和分析商场和景点客流的变化，可以分析各处客流情况，突发情况下对监控中人群进行指引，避免拥堵。

在一些实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于空间通道的密度图产生方法S1，其中，所述密度图产生方法S1参阅图1及关于图1的相关描述。

在一些实施例中，参阅图5，显示为本发明的电子终端在一具体实施例中的组成示意图。本发明还提供一种电子终端2，所述电子终端2例如为台式电脑、平板电脑、智能手机等智能数据处理设备。所述电子终端2包括：处理器21及存储器22；

所述存储器22用于存储计算机程序，所述处理器21用于执行所述存储器22存储的计算机程序，以使所述电子终端2执行所述基于空间通道的密度图产生方法S1，其中，所述基于空间通道的密度图产生方法S1参阅图1及关于图1的相关描述。

所述存储器22可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器22还可以包括远离一个或多个处理器21的存储器22，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器22的访问。

所述处理器21可操作地与存储器22和/或非易失性存储设备耦接。更具体地，处理器21可执行在存储器22和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器21可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。

综上所述，本发明提供一种密度图产生方法、装置、电子终端及介质，所述密度图产生方法包括：对输入的原始图像进行特征提取，以获得初步特征图；根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应多个所述分割尺度的中间特征图；将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图；将所述的多个输出特征图在通道维度相接，获得最终特征图；根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。本发明在特征的空间维度和通道维度分别抓取特征之间的全局依赖关系，增强特征的表达能力，提高获取的密度图的精度和有效性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于空间通道的密度图产生方法，其特征在于，包括：

对输入的原始图像进行特征提取，以获得初步特征图；

根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；

将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；

将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图，且将所述的多个输出特征图在通道维度相接，获得最终特征图；

根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

2.根据权利要求1所述的基于空间通道的密度图产生方法，其特征在于，根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图。

3.根据权利要求1所述的基于空间通道的密度图产生方法，其特征在于，将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：

分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；

且对进行插值后的各所述位置通道注意力特征图逐次相加；

对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

4.根据权利要求1所述的基于空间通道的密度图产生方法，其特征在于，根据具有预设卷积尺度的卷积层对所述最终特征图进行处理的步骤包括：根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

5.一种基于空间通道的密度图产生装置，其特征在于，包括：

特征提取模块，用以对输入的原始图像进行特征提取，以获得初步特征图；

图像分割模块，用以根据预设的多个分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；

注意力模块，用以将所述中间特征图的任意两点特征之间的位置关联结果和所述中间特征图的各通道之间的通道关联结果进行融合，以获得位置通道注意力特征图；

合并模块，用以将各所述分割尺度对应的位置通道注意力特征图进行合并；所述合并包括：对所述位置通道注意力特征图根据所述对应的分割尺度进行特征图插值操作，以获取与所述初步特征图大小相同的多个输出特征图，且用以将所述多个输出特征图在通道维度相接，获得最终特征图；

估计模块，用以根据具有预设卷积尺度的卷积层对所述最终特征图进行处理，以获得与所述原始图像大小相同的密度图。

6.根据权利要求5所述的基于空间通道的密度图产生装置，其特征在于，所述图像分割模块还用以根据预设的多个不同的分割尺度对所述初步特征图进行分割，且保留各分割块中最大的值，以获得对应所述多个分割尺度的中间特征图；

所述合并模块将各所述分割尺度对应的位置通道注意力特征图进行合并的步骤包括：

分别对各所述分割尺度对应的位置通道注意力特征图进行插值，以使各所述分割尺度对应的位置通道注意力特征图的大小相同；

且对进行插值后的各所述位置通道注意力特征图逐次相加；

对逐次相加后获得的位置通道注意力特征图再次进行插值，以获得与所述初步特征图大小相同的最终特征图。

7.根据权利要求5所述的基于空间通道的密度图产生装置，其特征在于，所述估计模块还用以根据所述卷积层对所述最终特征图进行降维处理，把具有多通道的所述最终特征图将到一个通道，且对一个通道的所述最终特征图执行图像插值，以获得与所述原始图像大小相同的密度图。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述基于空间通道的密度图产生方法。

9.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行如权利要求1至4中任一项所述基于空间通道的密度图产生方法。

Images