CN115187823A - 基于注意力机制的特征加强方法、装置及图像处理方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的特征加强方法、装置及图像处理方法，特征加强方法包括：获取图像待加强的初始特征矩阵；对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵。本发明可应用于轻量级卷积神经网络性能的提高，在保证轻量级卷积神经网络参数轻量级的前提下提高图像分类、目标检测、行为识别及实例分割等任务的准确性，满足应用中的基本需求。

Description

基于注意力机制的特征加强方法、装置及图像处理方法

技术领域

本发明涉及图像处理技术领域，具体是一种基于注意力机制的特征加强方法、装置及图像处理方法。

背景技术

随着网络时代的到来，信息传输速度的加快，图像与视频逐渐展现出文字所没有的独特优势，越来越多地受到了人们的欢迎与使用。同时，人工智能突飞猛进地发展，计算机的计算能力也在不断增加。这样的背景下，通过计算机程序进行的图像和视频的理解也为人们的生活带来了极大的便利。现有的优秀图像处理算法大多使用深度神经网络，尤其是卷积神经网络。其中，根据参数量的大小，卷积神经网络又可以分为普通量级的神经网络和轻量级的神经网络。

常见的普通量级通用卷积神经网络包括AlexNet，GoogleNet，ResNet和DenceNet等，这些网络都有着结构简单，泛用性强的优点，一般参数量在几十兆的量级。在神经网络的发展过程中，一方面是针对性能进行提升的研究方向，最近热门的自注意力网络Transformer和各种多流组合的卷积模型参数量达到了几百兆，而准确率也有显著的增长。另一个研究方向则是面向移动设备开发的轻量级网络，目标是在保证参数足够少的同时，尽量提高性能。这部分网络一般只有少于十兆的参数量，可以应用和搭载在移动设备上进行使用。当前最先进的轻量级卷积网络包括HBONet，ShuffleNetV2，MobileNetV3和EfficientNet等。

提高现代深度神经网络性能的有效方式是注意力机制，这在各种计算机视觉任务中都被证明了有效性。注意力机制可以被视为一个动态选择过程，通过根据输入的重要性加权特征来实现，本质是指导模型关注图像的一些能提供有效特征的区域。由于深度神经网络缺乏可解释性，而且它对于图像特征的提取是自动完成的，所以注意力机制也需要具有自适应的特性，这使得注意力机制的研究成为了一项复杂的研究。现有的关于注意力机制的研究有很多，无论是基于通道的注意力，还是基于空间的注意力，还有最近流行的自注意力都可以有效提高深度神经网络的性能，但其中的大部分方法都会给轻量级网络带来难以承受的参数代价。因此，开展针对轻量级网络基于注意力机制的图像特征加强研究是很有价值的。

研究应用于轻量级深度网络的注意力机制图像特征加强是一个根源性的工作，通过使用注意力机制提高网络性能，对轻量级深度网络卷积过程中的特征矩阵进行特征加强处理，使轻量级网络可以缓解参数量与性能之间不可调和的矛盾，在权衡点上拥有更高的自由度。这可以推动轻量级网络的研究在结构和方法上有更大的突破，也可以在研究思路上启发在普通量级深度网络进行注意力机制研究的研究者们。在图像上使用轻量级网络的基础任务是图像分类任务，同时研究者们也通常将这些网络应用在目标检测、行为识别、实例分割等下游任务中作为骨干网络。因此，基于轻量级网络的注意力机制方法可以在各种任务中体现价值。

实际上，围绕轻量级网络设计注意力机制的特征增强方法并不是仅仅是一项学术上的研究，在实际生活与应用中也有着重要的地位。由于参数限制，以往在各种移动设备上都只能使用轻量级网络，这在很大程度上损失了深度网络在性能上的优点，严重影响了使用者的体验。通过构建合适的注意力机制，轻量级网络在性能上的提升可以有效优化它的应用范围和使用体验。

最近在轻量级神经网络中应用最广泛的方法是挤压-激发(SE)的通道注意力方法。同时还有一些基于空间域的注意力方法例如BAM等。但这些方法只单独考虑了图像特征在编码通道或局部空间的关系，严重限制了网络性能的提升幅度。同时，这些方法在参数上已经会给轻量级网络带来一定的压力，盲目地组合这些方法以从多角度增强图像特征将会使网络的参数量面临成倍的增长。因此围绕轻量级神经网络开展一种结合空间域和通道域注意力机制的图像特征增强方法有意义的。

发明内容

针对上述现有技术中的不足，本发明提供一种基于注意力机制的特征加强方法及图像处理方法，可应用于轻量级卷积神经网络性能的提高，在保证轻量级卷积神经网络参数轻量级的前提下提高图像分类、目标检测、行为识别及实例分割等任务的准确性，满足应用中的基本需求。

为实现上述目的，本发明提供一种基于注意力机制的特征加强方法，包括如下步骤：

步骤1，获取图像待加强的初始特征矩阵；

步骤2，对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；

步骤3，对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；

步骤4，对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；

步骤5，将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵。

在其中一个实施例，步骤2具体包括：

步骤2.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第一空间域矩阵；

步骤2.2，放大特征的表征差异比例：对大小为1*H*W的第一空间域矩阵进行逐元素的平方操作，以将空间域特征的表征差异放大，得到第二空间域矩阵；

步骤2.3，权重获取：采用Sigmoid激活函数处理第二空间域矩阵，得到大小为1*H*W的第一注意力权重矩阵，将第一注意力权重矩阵进行复制，得到大小为C*H*W的第二注意力权重矩阵；

步骤2.4，加权计算：将第二注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且特征强化注意力加权后的第一特征矩阵。

在其中一个实施例，步骤3具体包括：

步骤3.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第三空间域矩阵；

步骤3.2，矩阵向量化：对大小为1*H*W的第一空间域矩阵进行向量化操作，使1*H*W大小的第三空间域矩阵转化为1*(H*W)大小的第一特征向量；

步骤3.3，特征空间相关性矩阵的获取与处理：将转置后的第一特征向量与自身做矩阵乘法，获得(H*W)*(H*W)大小的特征空间相关性矩阵，沿着特征空间相关性矩阵任一维度进行求和运算，得到大小为1*(H*W)的空间相关性向量，再将空间相关性向量还原为1*H*W大小的特征矩阵，即得到蕴含了全局信息的第四空间域矩阵；

步骤3.4，权重获取：采用Sigmoid激活函数处理第四空间域矩阵，得到大小为1*H*W的第三注意力权重矩阵，将第三注意力权重矩阵进行复制，得到大小为C*H*W的第四注意力权重矩阵；

步骤3.5，加权计算：将第四注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且空间相关性注意力加权后的第二特征矩阵。

在其中一个实施例，步骤4具体包括：

步骤4.1，提取通道域信息：对初始特征矩阵的空间域进行二维平均池化并清除一个大小为1的维度，使大小为C*H*W的初始特征矩阵转化为大小为C*1的第二特征向量；

步骤4.2，通道相关性信息的获取与处理：根据特征通道数确定通道相关性关注宽度C，并根据通道宽度C自适应地确认参数k，使用大小为k的卷积核对第二特征向量进行通道数不变的一维卷积操作，得到大小为C*1且蕴含了通道交互信息的第三特征向量；

步骤4.3，权重获取：采用Sigmoid激活函数处理第三特征向量，获得大小为C*1的第五注意力权重矩阵，将第五注意力权重矩阵进行复制，得到大小为C*H*W的第六注意力权重矩阵；

步骤4.4，加权计算：将第六注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且通道相关性注意力加权后的第三特征矩阵。

在其中一个实施例，步骤4.2中，所述根据通道宽度C自适应地确认参数k，具体为：

式中，|·|_odd表示取距计算结果最近奇数的运算。

在其中一个实施例，步骤5中，所述加强特征矩阵具体为：

X＝a·X₁+b·X₂+(1-a-b)·X₃

式中，X为经过特征加强处理后的加强特征矩阵，X₁为第一特征矩阵，X₂为第二特征矩阵，X₃为第三特征矩阵，a、b为超参数。

为实现上述目的，本发明提供一种基于注意力机制的特征加强装置，采用上述的方法进行图像特征加强，所述特征加强装置包括：

特征矩阵获取单元，用于获取图像待加强的初始特征矩阵；

特征强化单元，用于对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；

空间相关性强化单元，对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；

通道相关性强化单元，对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；

特征输出单元，用于将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵并输出。

为实现上述目的，本发明提供一种图像处理方法，所述图像处理为图像分类或目标检测或行为识别或实例分割，采用轻量级卷积神经网络进行图像处理，其过程为：

步骤一、将目标图像输入到轻量级卷积神经网络；

步骤二、基于轻量级卷积神经网络的网络结构，使用具有N*N卷积核的卷积块进行对目标图像的图像特征矩阵进行卷积处理；

步骤三、在网络的反复卷积过程中，在每个卷积块中加入上述的特征加强装置，进而在卷积层提取特征矩阵的过程中利用注意力引导特征构建；

步骤四、基于轻量级卷积神经网络的网络结构，对最后一个卷积块与特征加强装置输出的特征矩阵按顺序使用1*1卷积操作和池化操作进行处理，提高特征的语义表达性；

步骤五、将整合后的特征矩阵进行最后的处理，使之向任务要求的格式进行计算和转换，输出图像处理的结果。

本发明提供的一种基于注意力机制的特征加强方法、装置及图像处理方法，可对图像特征进行自适应的注意力提取与加权，提高网络对图像重点位置和重点目标的敏感性，丰富网络输出特征的可分辨性，可应用于轻量级卷积神经网络性能的提高，在保证轻量级卷积神经网络参数轻量级的前提下提高图像分类、目标检测、行为识别、实例分割等图像处理任务的准确性，满足应用中的基本需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1中特征加强方法的流程图；

图2为本发明实施例2中特征加强装置的框架图；

图3为本发明实施例3中图像处理的流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例1

本实施例公开了一种基于注意力机制的特征加强方法，主要应用于轻量级卷积神经网络在图像分类、目标检测、行为识别及实例分割等图像处理任务下的图像特征加强，在保证轻量级卷积神经网络的网络参数轻量级的前提下提高图像分类、目标检测、行为识别及实例分割等任务的准确性。参考图1，该特征加强方法包括如下步骤：

步骤1，获取图像待加强的初始特征矩阵。在具体实施过程中，初始特征矩阵可以是通过轻量级卷积神经网络的卷积层获得的卷积特征。

步骤2，对初始特征矩阵进行特征强化处理，获取一种空间域的注意力权重，得到特征强化注意力加权后的第一特征矩阵。由于轻量级卷积神经网络无论在网络层数的深度，还是每个特征提取模块的参数复杂度都远差于普通量级的深度神经网络，在提取图像特征的过程中容易将很多对图像分类无益的信息提取做特征。因此，进行简单的特征强化处理可以使网络更容易区分图像中对分类有效或无效的信息。因此本实施例中，特征强化处理的具体实施过程为：

步骤2.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，去除通道域信息，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第一空间域矩阵，从而便于对空间域的信息进行后续处理；其中，将通道信息平均化有利于从综合的角度分析网络在图像信息提取上的倾向，同时可以在后续的空间域特征加强中节约计算资源，提高网络运算效率；

步骤2.2，放大特征的表征差异比例：对大小为1*H*W的第一空间域矩阵进行逐元素的平方操作，以将空间域特征的表征差异放大，得到第二空间域矩阵；其中，图像特征的本质是在图像内容提取的过程中信息筛选的结果，针对轻量级网络层数过少带来的特征信息混杂情况，进行特征表征差异的放大可以有效清除无效信息对网络性能带来的影响；

步骤2.3，权重获取：采用Sigmoid激活函数处理第二空间域矩阵，得到大小为1*H*W的第一注意力权重矩阵，将第一注意力权重矩阵进行复制，得到大小为C*H*W的第二注意力权重矩阵；

步骤2.4，加权计算：将第二注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且特征强化注意力加权后的第一特征矩阵。

步骤3，对初始特征矩阵进行特征空间相关性的提取和处理，获取一种空间域的注意力权重，得到空间相关性注意力加权后的第二特征矩阵。卷积神经网络由于自身卷积操作的局部性特点，很难在图像的全局层次建立特征的空间联系，在网络深度增加的同时会不断丢失全局信息，而这部分信息对图像分类时有价值的。因此，在每个卷积块后增加空间相关性的捕获和处理模块可以补充卷积特征缺失的图像信息。本实施例中，特征空间相关性的提取和处理的具体实施过程为：

步骤3.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，去除通道域信息，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第三空间域矩阵；

步骤3.2，矩阵向量化：对大小为1*H*W的第一空间域矩阵进行向量化操作，使1*H*W大小的第三空间域矩阵转化为1*(H*W)大小的第一特征向量；这样做可以便于后续提取特征空间相关性的操作；

步骤3.3，特征空间相关性矩阵的获取与处理：将转置后的第一特征向量与自身做矩阵乘法，获得(H*W)*(H*W)大小的特征空间相关性矩阵，沿着特征空间相关性矩阵任一维度进行求和运算(例如沿着第一维度求和)，得到大小为1*(H*W)的空间相关性向量，再将空间相关性向量还原为1*H*W大小的特征矩阵，即得到蕴含了全局信息的第四空间域矩阵；其中，执行特征向量的求矩阵操作实际是通过令每个特征值与其他所有特征值相乘的方式使空间域特征在内部进行交互，在一定程度上量化空间域特征值的内部关系，而沿某一维度求和则是进行信息聚合，将前面计算的特征内部交互总结为具体的特征值，使特征具有全局特性；

步骤3.4，权重获取：采用Sigmoid激活函数处理第四空间域矩阵，得到大小为1*H*W的第三注意力权重矩阵，将第三注意力权重矩阵进行复制，得到大小为C*H*W的第四注意力权重矩阵；

步骤3.5，加权计算：将第四注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且空间相关性注意力加权后的第二特征矩阵。

步骤4，对初始特征矩阵进行特征通道相关性的提取和处理，获取一种通道域的注意力权重，得到通道相关性注意力加权后的第三特征矩阵。卷积神经网络进行图像信息提取时普遍会获取空间域和通道域两方面的特征，在普遍研究中通道域特征被认为是图像中不同目标的特征，建立不同通道特征之间的相关性可以提取图像中的目标关系信息。因此本实施例中特征通道相关性的提取和处理的具体实施方式为：

步骤4.1，提取通道域信息：对初始特征矩阵的空间域进行二维平均池化并清除一个大小为1的维度，使大小为C*H*W的初始特征矩阵转化为大小为C*1的第二特征向量；这样做可以将特征处理的重心放在通道域上，排除空间域信息带来的干扰和可能会引入的额外参数；

步骤4.2，通道相关性信息的获取与处理：根据特征通道数确定通道相关性关注宽度C，并根据通道宽度C自适应地确认参数k，使用大小为k的卷积核对第二特征向量进行通道数不变的一维卷积操作，得到大小为C*1且蕴含了通道交互信息的第三特征向量；其中，使用大小为k的一维卷积操作实际是为了围绕特征向量中的每个通道计算范围为k的其他通道与其之间的交互，提取有限感知域下的通道相关性信息；

步骤4.3，权重获取：采用Sigmoid激活函数处理第三特征向量，获得大小为C*1的第五注意力权重矩阵，将第五注意力权重矩阵进行复制，得到大小为C*H*W的第六注意力权重矩阵；

步骤4.4，加权计算：将第六注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且通道相关性注意力加权后的第三特征矩阵。

在步骤4.2中，根据通道宽度C自适应地确认参数k，具体为：

式中，|·|_odd表示取距计算结果最近奇数的运算。

步骤5，将第一特征矩阵、第二特征矩阵、第三特征矩阵做基于超参数的加权相加，得到一个综合的加强特征矩阵，可以将该特征矩阵经过骨干网络的处理输入到网络的后续卷积层中参与运算。其中，基于超参数的加权相加具体为：

X＝a·X₁+b·X₂+(1-a-b)·X₃

式中，X为经过特征加强处理后的加强特征矩阵，X₁为第一特征矩阵，X₂为第二特征矩阵，X₃为第三特征矩阵，a、b为超参数。

实施例2

参考图2，本实施例公开了一种基于注意力机制的图像特征加强装置，该图像特征加强装置包括特征矩阵获取单元、特征强化单元、空间相关性强化单元、通道相关性强化单元与特征输出单元。具体地：

特征矩阵获取单元用于获取图像待加强的初始特征矩阵；特征强化单元用于对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；空间相关性强化单元用于对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；通道相关性强化单元用于对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；特征输出单元用于将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵并输出。其中，各个单元的工作过程与实施例1相同，因此本实施例中不再对其赘述。

实施例3

本实施例公开了一种图像处理方法，其中，图像处理为图像分类或目标检测或行为识别或实例分割中的一种，具体采用轻量级卷积神经网络进行图像处理，参考图3，本实施例中图像处理的过程为：

步骤一、将目标图像输入到轻量级卷积神经网络；

步骤二、基于轻量级卷积神经网络的网络结构，使用具有N*N卷积核的卷积块进行对目标图像的图像特征矩阵进行卷积处理；

步骤三、在网络的反复卷积过程中，在每个卷积块中加入实施例2的特征加强装置，进而在卷积层提取特征矩阵的过程中利用注意力引导特征构建，即对于每一个卷积块，其卷积块本身输出的图像特征矩阵即为该卷积块中特征加强装置内特征矩阵获取单元的输入信息，而该卷积块中特征加强装置内特征输出单元所输出的加强特征矩阵，则为下一个卷积块的输入，依次类推，直至最后一个卷积块中的特征加强装置输出最后一个加强特征矩阵；

步骤四、基于轻量级卷积神经网络的网络结构，对最后一个卷积块与特征加强装置输出的特征矩阵按顺序使用1*1卷积操作和池化操作进行整合处理，提高特征的语义表达性，其整合过程为：对步骤三获取的最后一个加强特征矩阵进行卷积核大小为1*1的卷积操作，对特征进行进一步的信息提取；而后对1*1卷积输出的特征矩阵进行二维池化，使大小为C*H*W的特征矩阵变为大小为C*1*1的特征向量；

步骤五、将特征向量进行最后的处理，使之向任务要求的格式进行计算和转换，输出目标行为识别的结果。以目标行为识别为例，该步骤五的具体实施过程为：

将步骤四获取的特征向量输入到全连接层。输入C*1大小的特征向量，输出C’*1大小的概率分布向量(C’的值等于行为识别的总行为类数)。取输出概率分布向量中值最大的项作为图像行为标签的预测结果，完成目标行为识别。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于注意力机制的特征加强方法，其特征在于，包括如下步骤：

步骤1，获取图像待加强的初始特征矩阵；

步骤2，对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；

步骤3，对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；

步骤4，对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；

步骤5，将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵。

2.根据权利要求1所述的基于注意力机制的特征加强方法，其特征在于，步骤2具体包括：

步骤2.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第一空间域矩阵；

步骤2.2，放大特征的表征差异比例：对大小为1*H*W的第一空间域矩阵进行逐元素的平方操作，以将空间域特征的表征差异放大，得到第二空间域矩阵；

步骤2.3，权重获取：采用Sigmoid激活函数处理第二空间域矩阵，得到大小为1*H*W的第一注意力权重矩阵，将第一注意力权重矩阵进行复制，得到大小为C*H*W的第二注意力权重矩阵；

步骤2.4，加权计算：将第二注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且特征强化注意力加权后的第一特征矩阵。

3.根据权利要求1所述的基于注意力机制的特征加强方法，其特征在于，步骤3具体包括：

步骤3.1，提取空间域信息：对初始特征矩阵的通道域进行一维平均池化，使大小为C*H*W的初始特征矩阵转化为大小为1*H*W的第三空间域矩阵；

步骤3.2，矩阵向量化：对大小为1*H*W的第一空间域矩阵进行向量化操作，使1*H*W大小的第三空间域矩阵转化为1*(H*W)大小的第一特征向量；

步骤3.3，特征空间相关性矩阵的获取与处理：将转置后的第一特征向量与自身做矩阵乘法，获得(H*W)*(H*W)大小的特征空间相关性矩阵，沿着特征空间相关性矩阵任一维度进行求和运算，得到大小为1*(H*W)的空间相关性向量，再将空间相关性向量还原为1*H*W大小的特征矩阵，即得到蕴含了全局信息的第四空间域矩阵；

步骤3.4，权重获取：采用Sigmoid激活函数处理第四空间域矩阵，得到大小为1*H*W的第三注意力权重矩阵，将第三注意力权重矩阵进行复制，得到大小为C*H*W的第四注意力权重矩阵；

步骤3.5，加权计算：将第四注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且空间相关性注意力加权后的第二特征矩阵。

4.根据权利要求1所述的基于注意力机制的特征加强方法，其特征在于，步骤4具体包括：

步骤4.1，提取通道域信息：对初始特征矩阵的空间域进行二维平均池化并清除一个大小为1的维度，使大小为C*H*W的初始特征矩阵转化为大小为C*1的第二特征向量；

步骤4.2，通道相关性信息的获取与处理：根据特征通道数确定通道相关性关注宽度C，并根据通道宽度C自适应地确认参数k，使用大小为k的卷积核对第二特征向量进行通道数不变的一维卷积操作，得到大小为C*1且蕴含了通道交互信息的第三特征向量；

步骤4.3，权重获取：采用Sigmoid激活函数处理第三特征向量，获得大小为C*1的第五注意力权重矩阵，将第五注意力权重矩阵进行复制，得到大小为C*H*W的第六注意力权重矩阵；

步骤4.4，加权计算：将第六注意力权重矩阵与初始特征矩阵进行逐元素相乘，得到大小为C*H*W且通道相关性注意力加权后的第三特征矩阵。

5.根据权利要求4所述的基于注意力机制的特征加强方法，其特征在于，步骤4.2中，所述根据通道宽度C自适应地确认参数k，具体为：

式中，|·|_odd表示取距计算结果最近奇数的运算。

6.根据权利要求1所述的基于注意力机制的特征加强方法，其特征在于，步骤5中，所述加强特征矩阵具体为：

X＝a·X₁+b·X₂+(1-a-b)·X₃

式中，X为经过特征加强处理后的加强特征矩阵，X₁为第一特征矩阵，X₂为第二特征矩阵，X₃为第三特征矩阵，a、b为超参数。

7.一种基于注意力机制的特征加强装置，其特征在于，采用权利要求1至6任一项所述的方法进行图像特征加强，所述特征加强装置包括：

特征矩阵获取单元，用于获取图像待加强的初始特征矩阵；

特征强化单元，用于对初始特征矩阵进行特征强化处理，得到特征强化注意力加权后的第一特征矩阵；

空间相关性强化单元，对初始特征矩阵进行特征空间相关性的提取和处理，得到空间相关性注意力加权后的第二特征矩阵；

通道相关性强化单元，对初始特征矩阵进行特征通道相关性的提取和处理，得到通道相关性注意力加权后的第三特征矩阵；

特征输出单元，用于将第一特征矩阵、第二特征矩阵、第三特征矩阵加权，得到加强特征矩阵并输出。

8.一种图像处理方法，所述图像处理为图像分类或目标检测或行为识别或实例分割，其特征在于，采用轻量级卷积神经网络进行图像处理，其过程为：

步骤一、将目标图像输入到轻量级卷积神经网络；

步骤二、基于轻量级卷积神经网络的网络结构，使用具有N*N卷积核的卷积块进行对目标图像的图像特征矩阵进行卷积处理；

步骤三、在网络的反复卷积过程中，在每个卷积块中加入权利要求7所述的特征加强装置，进而在卷积层提取特征矩阵的过程中利用注意力引导特征构建；

步骤四、基于轻量级卷积神经网络的网络结构，对最后一个卷积块与特征加强装置输出的特征矩阵按顺序使用1*1卷积操作和池化操作进行处理，提高特征的语义表达性；

步骤五、将整合后的特征矩阵进行最后的处理，使之向任务要求的格式进行计算和转换，输出图像处理的结果。

Images