CN111027670A - 特征图处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种特征图处理方法、装置、电子设备及存储介质，方法包括：对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；归一化最终通道维度向量，得到对应于每个所述输入特征图的权重因子；将权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。本申请提供的特征图处理方法，使用多个一维卷积核处理全局池化后的通道维度向量，这种局部交互用于建模特征通道间的相关性，由于提取了多个尺度的局部特征信息，进一步提高了通道维特征增强的有效性。

Description

特征图处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种特征图处理方法、装置、电子设备及存储介质。

背景技术

随着深度学习的兴起，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。近年来，在计算机视觉领域，注意力机制由于能极大提高CNN在图像分类、物体检测、图像分割等任务中的性能，许多CNN网络均使用了注意力机制来对特征通道进行增强。特征图(feature map)也叫通道(Channel)。通过卷积神经网络(CNN)的卷积层对图像进行卷积处理，得到对应的特征图。卷积层可以在通道与通道之间进行交互，之后在下一层生成新的通道。每个卷积层有多少个卷积核，经过卷积处理后就会产生多少个特征图。卷积神经网络可以包括多个卷积层，可以连续进行多次卷积操作，中间的卷积层对上一卷积层输出的特征图进行卷积处理后输出特征图，由下一卷积层继续进行卷积处理。通过多次卷积处理后得到的特征图的特征提取效果直接影响对图像的处理效果。

现有的ECA-Net使用全局平均池化(GAP)提取某层的通道维度向量，然后使用了一维卷积处理这层的通道维度向量，进而建模这层通道间的相关性，再使用Sigmoid激活函数获得归一化后的通道维权重因子，表示了每个特征通道的重要程度，最后用这个权重因子对相应通道的特征进行加权，从而提升有用特征并抑制对当前任务用处不大的特征。ECA-Net使用一维卷积时，卷积核的维数是根据通道数目来确定的，而且只使用了一种卷积核大小，由于一种卷积核只能提取到局部特征，导致后续建模通道间的相关性不太准确，导致对图像的特征提取效果不佳，影响对图像的下一步处理，影响整体的图像处理效果。

发明内容

本申请的目的是提供一种特征图处理方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种特征图处理方法，包括：

对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

进一步地，所述全局池化处理为全局平均池化处理或全局最大池化处理。

进一步地，所述使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量，包括：

当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

进一步地，所述对所述通道维度向量进行边界填充，包括：采用1、2或4的边界填充值对所述通道维度向量进行边界填充。

进一步地，所述归一化所述最终通道维度向量，包括：用Sigmoid激活函数、tanh函数或ReLu函数归一化所述最终通道维度向量。

进一步地，所述若干不同尺寸的一维卷积核包括三个尺寸分别为1×3、1×5和1×9的卷积核。

根据本申请实施例的另一个方面，提供一种特征图处理装置，包括：

池化模块，用于对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

卷积模块，用于使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

汇总模块，用于将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化模块，用于归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

相乘模块，将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

进一步地，所述卷积模块包括填充模块，所述填充模块用于当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的特征图处理方法。

根据本申请实施例的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的特征图处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的特征图处理方法，使用多个不同尺寸的一维卷积核处理全局池化后的通道维度向量，有利于通过局部交互增强通道间的相关性，进一步提高了通道维特征增强的有效性。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的一个实施例的特征图处理方法流程图；

图2为本申请的一个实施例的特征图处理装置结构框图；

图3为本申请的另一实施例的特征图处理方法步骤示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本申请的一个实施例提供了一种特征图处理方法001，包括：

S100、对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

S200、使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

由于每个一维卷积核提取的特征都是局部的，所以使用多个卷积核提取特征更加高效完全，有利于利用局部交互性来加强通道间的相关性；

S300、将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

S400、归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

S500、将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

在某些实施例中，所述全局池化处理为全局平均池化处理或全局最大池化处理。

如图2所示，本实施例还提供一种特征图处理装置，包括：

池化模块1，用于对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

卷积模块2，用于使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

汇总模块3，用于将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化模块4，用于归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

相乘模块5，将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

在某些实施方式中，所述卷积模块2包括填充模块21，所述填充模块21用于当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

本实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的特征图处理方法。

本实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的特征图处理方法。

如图3所示，本申请的另一个实施例提供了一种特征图处理方法002，包括以下步骤：

S1、对输入特征图进行全局平均池化处理，得到池化值，用所述池化值构建通道维度向量。在本实施例中，输入特征图的数量为6个。

S2、使用三个不同尺寸的一维卷积核分别处理所述通道维度向量，得到三个处理后的一维向量。

使用多个一维卷积核处理全局平均池化提取到的通道维度向量，由于每个一维卷积提取特征都是局部的，所以使用多个不同尺寸的卷积核提取特征更加高效完全，有利于通过局部交互性来增加通道间的相关性。

在某些实施方式中，当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历，例如，进行边界填充所采用的边界填充值可以为1、2或4。

在某些实施方式中，为了保持全尺寸的输出，需要进行边界填充，所采用的三个卷积核的尺寸分别为1×3、1×5和1×9，相对应的边界填充值分别为1、2和4。

S3、将所述三个处理后的一维向量相加得到一个和，将相加得到的和作为输入特征图的最终通道维度向量。

S4、归一化所述最终通道维度向量，得到每个输入特征图的权重因子。

在某些实施方式中，用Sigmoid激活函数、tanh函数或ReLu函数归一化所述最终通道维度向量。

S5、将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

具体地，如图3所示，在本实施例中，6个输入特征图(即C＝6，C代表输入特征图的个数，每个输入特征图的尺寸为W×H)经过GAP(全局平均池化)处理之后，得到1×1×6大小的通道维度向量，分别用三个过滤器(分别为1×3、1×5和1×9的卷积核)对所述通道维度向量进行卷积处理，对应得到三个卷积处理后的一维向量，将所述三个卷积处理后的一维向量对应相加，得到的和向量作为最终的通道维度向量，用Sigmoid激活函数归一化所述最终的通道维度向量，得到6个权重因子，每个权重因子对应一个通道，将每个通道的权重因子与对应的输入特征图相乘，得到特征增强的输出特征图。

本申请使用多个不同尺寸的一维卷积核处理全局池化后的通道维度向量，有利于通过局部交互增强通道间的相关性，进一步提高了通道维特征增强的有效性。这种局部交互有利于提高通道间的相关性，由于提取了多个尺度的局部特征信息，进一步提高了通道维特征增强的有效性。因此本申请的技术方案可以广泛应用于图像分类、物体检测和图像分割等计算机视觉领域，对特征图的处理效果较好，特征提取效果较好，有助于提高图像的整体处理效果。

需要说明的是：

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种特征图处理方法，其特征在于，包括：

对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

2.根据权利要求1所述的方法，其特征在于，所述全局池化处理为全局平均池化处理或全局最大池化处理。

3.根据权利要求1所述的方法，其特征在于，所述使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量，包括：

当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

4.根据权利要求3所述的方法，其特征在于，所述对所述通道维度向量进行边界填充，包括：采用1、2或4的边界填充值对所述通道维度向量进行边界填充。

5.根据权利要求1所述的方法，其特征在于，所述归一化所述最终通道维度向量，包括：用Sigmoid激活函数、tanh函数或ReLu函数归一化所述最终通道维度向量。

6.根据权利要求1所述的方法，其特征在于，所述若干不同尺寸的一维卷积核包括三个尺寸分别为1×3、1×5和1×9的卷积核。

7.一种特征图处理装置，其特征在于，包括：

池化模块，用于对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

卷积模块，用于使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

汇总模块，用于将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化模块，用于归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

相乘模块，将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

8.根据权利要求7所述的装置，其特征在于，所述卷积模块包括填充模块，所述填充模块用于当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6中任一所述的特征图处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-6中任一所述的特征图处理方法。

Images