CN111161195A

CN111161195A - 一种特征图处理方法、装置、存储介质及终端

Info

Publication number: CN111161195A
Application number: CN202010003068.0A
Authority: CN
Inventors: 贾琳; 赵磊
Original assignee: Chongqing Terminus Technology Co Ltd
Current assignee: Chongqing Terminus Technology Co Ltd
Priority date: 2020-01-02
Filing date: 2020-01-02
Publication date: 2020-05-15
Anticipated expiration: 2040-01-02
Also published as: CN111161195B

Abstract

本发明公开了一种特征图处理方法、装置、存储介质及终端，所述方法包括：获取输入特征图后按照卷积参数值(conv1*1卷积)进行降维后生成输入通道特征图集合；将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合后基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合；将所述分组处理后的特征图集合拼接后生成拼接后的特征图；将所述拼接后的特征图对应的通道数升维后输入预设SE增强模块中生成增强后的特征图；基于所述增强后的特征图和所述输入特征图生成输出特征图。因此，采用本申请实施例，可以提高多尺度特征信息提取的有效性。

Description

一种特征图处理方法、装置、存储介质及终端

技术领域

本发明涉及计算机技术领域，特别涉及一种特征图处理方法、装置、存储介质及终端。

背景技术

随着深度学习的兴起，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功，尤其是ResNet网络的提出，使得CNN网路设计可以不受梯度消失的影响，可以训练出很深的CNN网络，从而最大程度地提取有效的卷积特征信息。

目前在计算机视觉领域中，骨干网络均使用了ResNet网络提取图像特征，用于后续分类、检测、分割等任务。但是这种方式在提取图像特征时，当需要提取不同尺度下更多的图像信息时，需要增加计算量和参数量才能完成不同尺度下更多的图像信息的提取，从而降低了多尺度特征信息提取的有效性。

发明内容

本申请实施例提供了一种特征图处理方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种特征图处理方法，所述方法包括：

获取输入特征图；

将所述输入特征图按照卷积参数值进行降维后生成输入通道特征图集合；

将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合；

基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合；

将所述分组处理后的特征图集合拼接后生成拼接后的特征图；

将所述拼接后的特征图对应的通道数升维成所述特征图对应的通道数，生成升维后的特征图；

将所述升维后的特征图输入预设SE增强模块中生成增强后的特征图；

基于所述增强后的特征图和所述输入特征图生成输出特征图。

可选的，所述获取输入特征图之前，还包括：

获取目标图像；

将所述目标图像输入预设卷积神经网络模型中生成输入特征图。

可选的，所述基于所述增强后的特征图和所述输入特征图生成输出特征图，包括：

将所述增强后的特征图和所述输入特征图相加生成输出特征图。

可选的，所述卷积参数值是conv1*1卷积。

第二方面，本申请实施例提供了一种特征图处理装置，所述装置包括：

特征图获取模块，用于获取输入特征图；

第一集合生成模块，用于将所述输入特征图按照卷积参数值进行降维后生成输入通道特征图集合；

第二集合生成模块，用于将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合；

第三集合生成模块，用于基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合；

第一特征图生成模块，用于将所述分组处理后的特征图集合拼接后生成拼接后的特征图；

第二特征图生成模块，用于将所述拼接后的特征图对应的通道数升维成所述特征图对应的通道数，生成升维后的特征图；

第三特征图生成模块，用于将所述升维后的特征图输入预设SE增强模块中生成增强后的特征图；

第四特征图生成模块，用于基于所述增强后的特征图和所述输入特征图生成输出特征图。

可选的，所述装置还包括：

图像获取模块，用于获取目标图像；

第五特征图生成模块，用于将所述目标图像输入预设卷积神经网络模型中生成输入特征图。

可选的，所述第四特征图生成模块，具体用于：

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，首先获取输入特征图，然后将所述输入特征图按照卷积参数值进行降维后生成输入通道特征图集合，再将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合，基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合，将所述分组处理后的特征图集合拼接后生成拼接后的特征图，将所述拼接后的特征图对应的通道数升维成所述特征图对应的通道数，生成升维后的特征图，将所述升维后的特征图输入预设SE增强模块中生成增强后的特征图，最后基于所述增强后的特征图和所述输入特征图生成输出特征图。由于本发明使用四连通域移位操作代替空域卷积操作，通过多尺度增强模块进一步减少res2net网络中多尺度提取特征信息时卷积操作的计算量和参数量，同时使用跳跃连接将原始输入特征图信息与多尺度提取的特征信息进行聚合，进一步提高了多尺度特征信息提取的有效性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的特征图处理方法的流程示意图；

图2是本申请实施例提供的特征图处理过程的过程示意图；

图3是本申请实施例提供的一种特征图处理装置的结构示意图；

图4是本申请实施例提供的另一种特征图处理装置的结构示意图；

图5是本申请实施例提供的一种终端的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

到目前为止，对于图像特征的提取，骨干网络均使用了ResNet网络提取图像特征，用于后续分类、检测、分割等任务。但是这种方式在提取图像特征时，当需要提取不同尺度下更多的图像信息时，需要增加计算量和参数量才能完成不同尺度下更多的图像信息的提取，从而降低了图像信息提取的效率。为此，本申请提供了一种图像处理方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本发明使用四连通域移位操作代替空域卷积操作，通过多尺度增强模块进一步减少res2net网络中多尺度提取特征信息时卷积操作的计算量和参数量，同时使用跳跃连接将原始输入特征图信息与多尺度提取的特征信息进行聚合，进一步提高了多尺度特征信息提取的有效性，下面采用示例性的实施例进行详细说明。

下面将结合附图1-附图2，对本申请实施例提供的特征图处理方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的特征图处理装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的特征图处理装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。

请参见图1，为本申请实施例提供了一种数据关联分析方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：

S101，获取输入特征图；

其中，特征图是将目标图像输入到预设的卷积神经网络模型中生成的特征图，所述卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。

在一种可能的实现方式中，用户终端首先获取目标图像，此处的目标图像可以是通过用户终端摄像头采集到的目标图像，也可以是保存在用户终端内存中的目标图像，针对目标图像的获取，此处不做限定。当用户终端检测到获取的目标图像时，用户终端首先将调用预先保存在服务器的卷积神经网络模型的信号发送给服务器，当服务器接收到来自用户终端的信号指令时，服务器将保存的卷积神经网络模型响应于用户终端，当用户终端接收到来自服务器的卷积神经网络模型后，将目标图像输入到卷积神经网络模型中进行处理，处理结束后生成目标图像对应的特征图。

S102，将所述输入特征图按照卷积参数值进行降维后生成输入通道特征图集合；

其中，特征图的由来具体可参见步骤S101，此处不再赘述。卷积参数是提前进行预设的参数值，用来对特征图进行降维处理的参数值，卷积参数可以是1*1卷积的卷及参数(卷积参数)，也可以是其他的卷积参数，卷积参数具体的参数值大小根据实际情况而定，此处不做限制。

在本申请实施例中，基于步骤S101首先获得了特征图，当用户终端获取到特征图时，再获取预先设置的1*1的卷积参数值，再对特征图进行1*1卷积操作提取出输入特征图的重要特征(减少输入特征通道数目)(相当于降维)，降维之后生成了输入通道特征图集合。

S103，将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合；

其中，根据步骤S102可以生成通道特征图集合。预设分组数量是用户提前设置的对输入通道特征图进行分组的分组参数。

在一种可能的实现方式中，用户终端首先基于步骤S102生成了通道特征图集合，当生成通道特征图集合后，获取预先设置的分组参数，例如此时的分组参数值为g，输入通道特征图集合通过分组参数值进行分组后可得到分组后的通道特征图集合，例如表1所示，得到的通道特征图有X1、X2、X3、……和Xg，其中Xg中的g代表大于3的自然数(g一般为2的n次方，例如4、8、16、64…，便于计算机处理数据)。

表1

X1

X2

X3

…

Xg

S104，基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合；

其中，多尺度移位模块是进一步提高从通道特征图中进行多尺度特征信息提取的数学模型。例如图2所示，多尺度移位模块中使用四连通域移位操作代替空域卷积操作，通过多尺度增强模块进一步减少res2net网络中多尺度提取特征信息时卷积操作的计算量和参数量，同时使用跳跃连接将原始输入特征图信息与多尺度提取的特征信息进行聚合，进一步提高了多尺度特征信息提取的有效性。

在本申请实施例中，对第一组特征图使用多尺度移位模块处理，得到处理后的第一组特征图，然后将其与下一分组的输入特征图拼接在一起，经过多尺度移位模块处理，得到处理后的下一分组的特征图，将处理后的下一分组的特征图与其再下一分组的输入特征图拼接在一起，经过多尺度移位模块处理，得到处理后的再下一分组的特征图，重复上述操作，从而得到一系列分组处理后的输出特征图。

例如，首先基于步骤S104得到分组后的通道特征图集合，分组后的通道特征图集合分别是X1、X2、X3、……和Xg，其中，g为大于3的自然数。首先将特征图X1输入多尺度移位模块中生成处理后的特征图y1。将特征图y1和特征图X2进行拼接生成拼接后的特征图，再将拼接后的特征图输入多尺度移位模块中生成处理后的特征图y2。将特征图y2和特征图X3进行拼接生成拼接后的特征图，再将拼接后的特征图输入多尺度移位模块中生成处理后的特征图y3。根据上述步骤以此类推，将特征图y3(yg-1)和特征图Xg进行拼接生成拼接后的特征图，再将拼接后的特征图输入多尺度移位模块中生成处理后的特征图yg，其中g是大于等于3的自然数。利用这种方式可得到分组处理后的特征图y1、y2、y3、……和yg。

S105，将所述分组处理后的特征图集合拼接后生成拼接后的特征图；

其中，分组处理后的特征图集合是根据步骤S104可得到分组处理后的特征图y1、y2、y3、……和yg。

在一种可能的实现方式中，当经过步骤S104得到分组处理后的特征图集合后，用户终端通过内部程序将分组处理后的特征图集合y1、y2、y3、……和yg进行拼接在一起生成新的特征图。

S106，将所述拼接后的特征图对应的通道数升维成所述特征图对应的通道数，生成升维后的特征图；

在本申请实施例中，根据步骤S105生成的特征图此时不符合输入特征图的通道数，此时需要使用1*1卷积进行升维处理，处理结束后即可保证此时的特征图的通道数和输入特征图的通道数保持一致。

S107，将所述升维后的特征图输入预设SE增强模块中生成增强后的特征图；

其中，预设SE增强模块是用于增强特征图的数学模型，具体功能是对特征图信息进一步增强有用通道信息，减弱不重要的信息。

在本申请实施例中，首先基于步骤S106得到升维后的特征图，当用户终端得到升维后的特征图后，获取保存在服务器内部的SE增强模块对升维后的特征图进行进一步增强有用通道信息，减弱不重要的信息后生成增强后的特征图。

S108，基于所述增强后的特征图和所述输入特征图生成输出特征图。

在一种可能的实现方式中，例如图2所示，首先对输入特征图进行1×1卷积进行降维处理，减少输入特征图的通道数，然后对上述降维处理的所有通道特征图按照预设分组数量进行分组，得到g组特征图，然后对第一组特征图使用多尺度移位模块处理，再将其与下一分组的输入特征图拼接在一起，再经过多尺度移位模块处理，重复进行如此操作，从而得到一系列分组处理后的输出特征图，然后将每组处理后的输出特征图拼接在一起，然后使用1×1卷积进行升维处理，恢复到输入特征图的通道数，最后使用SE增强模块对上述特征图进行增强操作，并与输入特征图相加，得到最后的输出特征图。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

请参见图3，其示出了本发明一个示例性实施例提供的特征图处理装置的结构示意图。该特征图处理方法装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括特征图获取模块10、第一集合生成模块20、第二集合生成模块30、第三集合生成模块40、第一特征图生成模块50、第二特征图生成模块60、第三特征图生成模块70、第四特征图生成模块80。

特征图获取模块10，用于获取输入特征图；

第一集合生成模块20，用于将所述输入特征图按照卷积参数值进行降维后生成输入通道特征图集合；

第二集合生成模块30，用于将所述输入通道特征图集合按照预设分组数量进行分组生成分组后的通道特征图集合；

第三集合生成模块40，用于基于预设多尺度移位模块将所述分组后的通道特征图集合进行处理生成分组处理后的特征图集合；

第一特征图生成模块50，用于将所述分组处理后的特征图集合拼接后生成拼接后的特征图；

第二特征图生成模块60，用于将所述拼接后的特征图对应的通道数升维成所述特征图对应的通道数，生成升维后的特征图；

第三特征图生成模块70，用于将所述升维后的特征图输入预设SE增强模块中生成增强后的特征图；

第四特征图生成模块80，用于基于所述增强后的特征图和所述输入特征图生成输出特征图。

可选的，如图4所示，所述装置1还包括：

图像获取模块90，用于获取目标图像；

第五特征图生成模块100，用于将所述目标图像输入预设卷积神经网络模型中生成输入特征图。

可选的，所述第四特征图生成模块80，具体用于：

需要说明的是，上述实施例提供的特征图处理装置在特征图处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的特征图处理装置与特征图处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的特征图处理方法。

本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的特征图处理方法。

请参见图5，为本申请实施例提供了一种终端的结构示意图。如图5所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及特征图处理应用程序。

在图5所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的特征图处理应用程序，并具体执行以下操作：

获取输入特征图；

在一个实施例中，所述处理器1001在执行所述获取输入特征图之前，还执行以下操作：

获取目标图像；

在一个实施例中，所述处理器1001在执行所述基于所述增强后的特征图和所述输入特征图生成输出特征图时，具体执行以下操作：

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种特征图处理方法，其特征在于，所述方法包括：

获取输入特征图；

2.根据权利要求1所述的方法，其特征在于，所述获取输入特征图之前，还包括：

获取目标图像；

3.根据权利要求1所述的方法，其特征在于，所述基于所述增强后的特征图和所述输入特征图生成输出特征图，包括：

4.根据权利要求1所述的方法，其特征在于，所述卷积参数值是conv1*1卷积。

5.一种特征图处理装置，其特征在于，所述装置包括：

特征图获取模块，用于获取输入特征图；

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

图像获取模块，用于获取目标图像；

7.根据权利要求5所述的装置，其特征在于，所述第四特征图生成模块，具体用于：

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～4任意一项的方法步骤。

9.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～4任意一项的方法步骤。