CN112329800B - 一种基于全局信息引导残差注意力的显著性目标检测方法 - Google Patents

Abstract

本发明提供了一种基于全局信息引导残差注意力的显著性目标检测方法，通过将图像输入到主干网络提取特征；设计全局信息互补模块获取丰富的全局信息并引导整体网络；通过多尺度并行卷积提取多尺度信息；通过特征融合模块融合全局信息和多尺度信息；通过残差注意力模块增强显著性目标特征，经过多级监督最终输出显著性结果。本发明不仅能够从ResNet‑50主干网络提取图像特征，并且提出的全局信息互补模块能够将主干网络中低层次细节信息与高层次丰富语义信息融合到一起，且设计的残差注意力模块能够将图像特征中更大的权重集中在前景显著性区域中，过滤掉无用的背景信息，与现有的显著性检测方法相比具有良好的性能。

Description

一种基于全局信息引导残差注意力的显著性目标检测方法

技术领域

本发明涉及图像处理领域，具体而言，涉及了一种基于全局信息引导残差注意力的显著性目标检测方法。

背景技术

显著性目标检测是识别图像中最能引起人类注意的目标或区域的任务，几十年来一直是计算机视觉的研究热点，它通常作为一个预处理步骤来支持后续的各种高级计算机视觉任务，如目标跟踪、语义分割和目标检测等。

在早期，传统的显著性检测方法通常是将图像分割成多个超像素进行预处理，采用启发式线索，并设计手工制作的低层特征，如颜色、纹理和形状，以生成显著性图。然而，手工构建的特征往往无法检测到复杂场景中的高层语义信息，从而限制了它们在杂乱场景中定位整个显著目标区域的能力，不能适用于实际问题。近年来，深度卷积神经网络(CNNs)在各种视觉任务中表现出强大的特征提取能力和学习能力。因为CNNs能够捕获到高水平的语义特征信息，研究人员将其引入到显著性目标检测任务中，以产生更精确的检测结果。

目前，最有效的显著性检测方法是基于全卷积网络(FCNs)和注意力机制，主要通过增加网络结构的深度，合理利用上下文信息来提升精度，通过注意力机制来自适应提取显著对象周围的有用信息。2019年，Zhao等人(T.Zhao,X.Wu,Pyramid feature attentionnetwork for saliency detection,in:Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2019,pp.3085-3094.)设计了一个基于FCNs的注意力机制网络来捕获丰富的上下文特征，在高级特征映射后采用通道注意力和低层特征映射后采用空间注意力，然后将两者的输出特征融合一起来检测显著性目标。2020年，Li等人(J.Li,Z.Pan,Q.Liu,Z.Wang,Stacked u-shape network with channel-wiseattention for salient object detection,IEEE Transactions on Multimedia,earlyaccess,2020,doi:10.1109/TMM.2020.2997192.)采用多级注意级联反馈模块捕获跨层次的互补信息，将语义较高的特征反馈给先前的特征，对其进行细化，以获得更好的显著性目标预测结果。

尽管基于FCNs和注意力机制的显著性检测方法与传统的显著性检测方法相比有了很大的进步，但它们的预测在获得具有均匀显著区域和精确边界的显著性映射方面仍然存在不足。所存在的问题主要有：特征提取过程中，低层特征包含丰富的细节信息，高层特征包含全局语义信息，互补这些信息有利于获得显著的目标，但无法将这些不同的功能特征整合到一个统一的模块中获取全局信息；注意力机制可以聚焦于显著的目标，但经过注意力机制处理后会丢失部分输入信息。

发明内容

为了解决背景技术中所存在的问题，本发明提出了一种基于全局信息引导残差注意力的显著性目标检测方法。

一种基于全局信息引导残差注意力的显著性目标检测方法，包括：

步骤1、基于跨层连接方式的U-Net网络，首先将图像输入到ResNet-50主干网络中并提取出五个阶段的图像特征，分别为Res1、Res2、Res3、Res4和Res5；

步骤2、将Res2与Res5的特征输入到全局信息互补模块中并获取丰富的全局信息；将ResNet-50中三个卷积块生成的特征图Res2、Res3和Res4通过多尺度并行卷积模块提取多尺度特征信息；再将全局信息互补模块生成的全局特征信息和多尺度并行卷积模块生成的多尺度特征信息通过特征融合模块进行融合；

步骤3、将全局信息互补模块生成的一个特征图和融合模块生成的三个特征图分别输入到残差注意力模块中，并生成三个层级的显著性特征图，经过多级监督最终输出显著性结果。

基于上述，全局信息互补模块分为多尺度融合和通道注意力融合两部分，多尺度融合是将Res2和Res5这两个不同尺度的输出特征在空间维度上进行融合，多尺度融合后再进行通道注意力融合。

基于上述，多尺度融合过程使用步长为2、卷积核大小为3×3的卷积层将第二层Res2输出特征进行下采样，同时采用双线性插值方法将Res5的输出特征进行上采样，使得两个特征在进行处理后尺度大小相同，再在通道维度上进行合并，公式如下

U_c＝down(δ(Trans(C⁽²⁾；θ))；C⁽⁰⁾)+up(δ(Trans(C⁽⁵⁾；θ))；C⁽⁰⁾)

其中，Trans(*；θ)是参数θ的卷积层，其目的是改变特征的通道数，δ表示Relu激活函数，down表示下采样操作，其目的是将样本*下采样到与C⁽⁰⁾相同的大小，up是双线性插值运算，其目的是将样本*上采样到与C⁽⁰⁾相同的大小，其中C⁽⁰⁾大小为64×64。

基于上述，通道注意力融合过程是先通过全局平均池化操作将融合后的特征提取出包含各通道全局信息的全局特征向量，全局特征向量包含了所有通道的全局信息，然后利用两个全连接操作对全局池化层得到的特征向量进行缩放，在每个全连接层后面分别加入了Relu运算和sigmoid运算，再将两个全连接操作得到的权重与输入的特征进行相乘连接，然后将得到的结果下采样到与编码过程最高层特征图尺度大小一样的特征，得到整个融合互补模块的输出特征f_g，公式如下

U_s＝δ(ω₁σ(ω₂g))

f_g＝down(F_scale(U_c,U_s)；C⁽⁵⁾)

其中，W、H和C分别为特征图的长、宽和通道数，f_c为特征图中每个格点的值，ω₁和ω₂为全连接层的权重，δ为Relu激活函数，σ为sigmoid操作，down(*；C⁽⁵⁾)下采样操作，其目的是将样本*下采样到与Res5特征相同的大小。

基于上述，在多尺度并行卷积模块中，先用1×1卷积对输入特征P进行操作，降低输入特征的通道数，减少运算参数，然后采用4种不同的扩张率r(r＝1,2,4,8)的扩张卷积层

来获取不同尺度大小的特征信息，得到4个输出特征

其中输出特征

和输入特征P具有相同大小的空间分辨率，然后再将P与

进行相加融合，最终在融合特征上进行1×1卷积操作得到输出特征X，将输出特征X的通道数和输入特征P的通道数保持一致，操作如下

其中

表示不同扩张率的3×3卷积操作，conv₁表示1×1卷积操作，sum(*,*)表示元素间的求和运算。

基于上述，特征融合模块中的输入包括三部分，分别为来自上一层输出的高级特征

由多尺度并行卷积模块生成的多尺度信息的特征

和由全局信息互补模块生成的高低层融合互补特征f_g，融合过程描述为

f_e ^t＝8up(8down(f_a ^t))

f_h ^t+1＝conv₁(concat(f_a ^t,f_b ^t,f_d ^t,f_e ^t))

其中，up是通过双线性插值进行的上采样操作，8up表示上采样空间分辨率为原来的8倍，down是通过平均池化进行的下采样操作，8down表示下采样空间分辨率为原来的1/8，conv₁表示卷积核大小为1×1的卷积操作，t是阶段索引。

基于上述，残差注意力模块包括残差通道注意力模块和残差空间注意力模块，将四个不同分辨率和不同通道数的多尺度特征(f_h ¹、f_h ²、f_h ³、f_h ⁴)作为残差注意力模块的输入特征。

基于上述，采用空间注意力模块对于空间分辨率高通道数少的两个特征(f_h ³、f_h ⁴)进行处理，过程描述为

F_s＝σ(concat(conv₂(conv₁(Y)),conv₁(conv₂(Y)))

N³＝conv₄(F_scale(Y,F_s)+Y)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，conv₁表示卷积核大小为1×1的卷积层，conv₂表示卷积核大小为1×k的卷积层，conv₃表示卷积核大小为k×1的卷积层，k取值为9，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，σ表示sigmoid操作。

基于上述，在残差通道注意力模块中对空间分辨率低通道数多的两个特征(f_h ¹、f_h ²)进行处理，过程描述为

F_c＝σ(Fc₂(δ(Fc₁(F_ga(X))))

N¹＝conv₄(F_scale(X,F_c)+X)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，F_ga表示全局平均池化操作，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，δ表示Relu操作，σ表示sigmoid操作。

基于上述，将残差空间注意力模块处理得到的特征Y₂经过下采样，并将残差通道注意力模块处理得到的特征X₂经过上采样之后，进行concat，得到Z，并将Z通过卷积核大小为3×3的conv₄处理，得到空间大小为128×128×1的显著性特征图N²，过程描述为

N²＝conv₄(concat(up(X₂),down(Y₂)))

其中，up表示利用双线性插值法进行的上采样操作，down表示利用平均池化进行的下采样操作，concat表示串联操作，conv₄表示卷积核大小为3×3的卷积层。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明不仅能够从ResNet-50主干网络提取图像特征，并且提出的全局信息互补模块能够将主干网络中低层次细节信息与高层次丰富语义信息融合到一起，且设计的残差注意力模块能够将图像特征中更大的权重集中在前景显著性区域中，过滤掉无用的背景信息，与现有的显著性检测方法相比具有良好的性能。

附图说明

图1为本发明的总体网络框图。

图2为本发明的全局信息互补模块。

图3为本发明的特征融合模块。

图4为本发明的残差注意力模块。

图5为本发明的主观视觉效果对比图。

图6为本发明的PR曲线对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方案进一步的操作说明如下：

1)在步骤1中，所提出的整体网络是在对称的编解码器U型架构上改进的，主干网络ResNet-50包含49个卷积层和1个全连接层，我们丢弃全连接层，只使用卷积层来提取特征，并将输入图像大小统一调整为256×256。

2)在步骤2中，首先设计了一个全局信息互补模块将ResNet-50主干网络生成的Res2层和Res5层进行融合，卷积神经网络在特征提取中提供了良好的性能，在编码阶段经过多层卷积操作提取过程中，不同尺度的特征信息都有着重要的意义，其中较低层高分辨率的特征包含着丰富的局部位置信息，有助于显著性目标关键点的检测，而高层低分辨率的特征包含着整个目标的全局语义信息，但经过下采样，分辨率降低，对细节的感知能力较差，缺少局部位置细节信息，直接将高低层特征求和会忽略不同阶段之间的差异性，并不能充分利用两种特征图的信息。因此，在编码过程中引入高低尺度互补融合模块将第二层Res2输出的高分辨率表征信息和高层Res5输出的丰富语义特征信息在通道维度上融合后引入通道注意力模块，使得最高层特征既具有全局性推理信息也具有高分辨率局部信息，由于第一层高分辨率特征包含太多的背景噪音，因此没有选择用第一层特征与最高层特征进行融合。然后设计了多尺度并行卷积模块应用于ResNet-50主干网络生成的Res2、Res3和Res4三个特征上，用于捕获多尺度特征信息，并将其结果输送到融合模块中。本发明设计了三个结构类似的融合模块，每个融合模块的输入来自三个不同层次的特征，分别为来自上一层输出的高级特征

由多尺度并行卷积模块生成的多尺度信息的特征

和由全局信息互补模块生成的高低层融合互补特征f_g。通过融合模块可以保留特征中的多尺度细节信息和全局语义信息。

3)在步骤3中，设计了一个残差注意力模块，对全局信息互补模块生成的一个特征图

和融合模块生成的三个特征图

和

进行加权处理，达到增强显著性目标特征抑制背景的效果。根据四个不同层次特征的特点，我们将使用残差通道注意力和残差空间注意力分别进行处理，我们采用残差空间注意力模块对于空间分辨率高通道数少的两个特征(f_h ³、f_h ⁴)进行处理，将注意力更多地集中在前景显著性区域中，过滤掉无用的空间背景信息；采用残差通道注意力对空间分辨率低通道数多的两个特征(f_h ¹、f_h ²)进行处理，将更大的权重分配给对显著性区域表现出高响应的通道。经过残差注意力模块处理之后输出三个不同空间分辨率大小的1通道显著性特征图N¹、N²和N³。通过残差注意力模块强调有用特征信息和过滤掉不太有用特征信息，使得特征提取效果更好。最后，在最终输出的三层显著性特征图分别用一个二值化交叉熵损失来优化输出预测。损失函数表示为：

其中，H和W分别表示图像的高度和宽度，(x,y)表示图像像素(x,y)的基本真实标签，p_x,y表示在图像像素位置(x,y)中成为显著对象的相应概率。

此外，还通过连接操作集成了多尺度的卷积特征图

N_fuse＝conv(concat(N¹,N²,N³))

其中，N_fuse表示综合特征映射，conv表示卷积层，concat表示串联操作，融合后的特征使用ground truth监督，损失函数和

一样。

全部损失过程使用多级交叉熵损失函数来监督多层网络，其中包括特征图N¹,N²,N³的3个损失函数以及N_fuse的1个损失函数。全程损失函数定义如下：

其中，

表示不同的损失，

表示综合特征映射的损失。

具体的，如图1所示，本发明提供了一种基于全局信息引导残差注意力的显著性检测方法，该方法的操作如下：

a.该方法的特征提取部分采用ResNet-50网络，共包括五个阶段Res1、Res2、Res3、Res4和Res5，分别对应的空间分辨率为256×256×64、128×128×128、64×64×256、32×32×512和16×16×1024；

b.在图2中的全局信息互补模块分为多尺度融合和通道注意力融合两部分，第一部分是Res2输出层的特征和Res5输出层的特征这两个尺度的特征在通道维度上的融合，融合特征的不同通道具有不同的特征权重，因此在融合之后引入第二阶段模块——通道注意力模块，目的是让模型充分能够学习到不同通道中的信息。

多尺度融合过程使用步长为2、卷积核大小为3×3的卷积层将第二层Res2输出特征进行下采样，同时采用双线性插值方法将Res5的输出特征进行上采样，使得两个特征在进行处理后尺度大小相同，然后在通道维度上进行合并，公式所示：

U_c＝down(δ(Trans(C⁽²⁾；θ))；C⁽⁰⁾)+up(δ(Trans(C⁽⁵⁾；θ))；C⁽⁰⁾)

其中，Trans(*；θ)是参数θ的卷积层，其目的是改变特征的通道数，δ表示Relu激活函数，down表示下采样操作，其目的是将样本*下采样到与C⁽⁰⁾相同的大小，up是双线性插值运算，其目的是将样本*上采样到与C⁽⁰⁾相同的大小，其中C⁽⁰⁾大小为64×64。

通道注意力融合过程：首先通过全局平均池化操作将融合后的特征提取出包含各通道全局信息的全局特征向量，全局特征向量包含了所有通道的全局信息，然后利用两个全连接操作对全局池化层得到的特征向量进行缩放，在每个全连接层后面分别加入了Relu运算和sigmoid运算，最后，将两个全连接操作得到的权重与输入的特征进行相乘连接，然后将得到的结果下采样到与编码过程最高层特征图尺度大小一样的特征，得到整个融合互补模块的输出特征f_g。如式所示：

U_s＝δ(ω₁σ(ω₂g))

f_g＝down(F_scale(U_c,U_s)；C⁽⁵⁾)

其中，W、H和C分别为特征图的长、宽和通道数，f_c为特征图中每个格点的值，ω₁和ω₂为全连接层的权重，δ为Relu激活函数，σ为sigmoid操作，down(*；C⁽⁵⁾)为下采样操作，其目的是将样本*下采样到与Res5特征相同的大小。

c.图1中的多尺度并行卷积模块中，先用1×1卷积对输入特征P进行操作，降低输入特征的通道数，减少运算参数，然后采用4种不同的扩张率r(r＝1,2,4,8)的扩张卷积层

来获取不同尺度大小的特征信息，得到4个输出特征

其中输出特征

和输入特征P具有相同大小的空间分辨率，然后再将P与

进行相加融合，最终在融合特征上进行1×1卷积操作得到输出特征X，将输出特征X的通道数和输入特征P的通道数保持一致。公式所示：

其中，

表示不同扩张率的3×3卷积操作，conv₁表示1×1卷积操作，sum(*,*)表示元素间的求和运算。

d.图3所示设计的特征融合模块中的输入包括三部分，分别为来自上一层输出的高级特征

由多尺度并行卷积模块生成的多尺度信息的特征

和由全局信息互补模块生成的高低层融合互补特征f_g。首先将特征f_g通过双线性插值法上采样到与特征

具有相同大小的空间分辨率，然后再用卷积核大小为1×1的conv₁将其通道数压缩为与特征

通道数一致，将所得到的特征与特征

进行乘法运算，得到新的特征f₁ ^t。同样将上一层输出的高级特征

经过双线性插值法上采样和卷积核大小为1×1的conv₁处理，得到与特征f₁ ^t空间分辨率和通道数一致的特征。将所得的特征和特征f₁ ^t进行乘法运算，输出新的特征

为了进一步获取多尺度信息，我们将特征

做进一步聚合处理，先将

经过三个不同下采样率的平均池化操作进行映射，然后再经过分别使用双线性插值法上采样到与

空间分辨率大小相同的特征f_b ^t、f_d ^t和f_e ^t，之后将特征

与所得到的特征f_b ^t、f_d ^t和f_e ^t进行合并，最后通过卷积核大小为1×1的conv₁使得通道数大小与特征

通道数大小一致，最终获得输出特征f_h ^t+1。上述过程可以描述为：

f_e ^t＝8up(8down(f_a ^t))

f_h ^t+1＝conv₁(concat(f_a ^t,f_b ^t,f_d ^t,f_e ^t))

其中，up是通过双线性插值进行的上采样操作，8up表示上采样空间分辨率为原来的8倍，down是通过平均池化进行的下采样操作，8down表示下采样空间分辨率为原来的1/8，conv₁表示卷积核大小为1×1的卷积操作，t是阶段索引。

e.在图4的残差注意力模块中，将四个不同分辨率和不同通道数的多尺度特征(f_h ¹、f_h ²、f_h ³、f_h ⁴)作为输入特征，采用空间注意力模块对于空间分辨率高通道数少的两个特征(f_h ³、f_h ⁴)进行处理，采用通道注意力对空间分辨率低通道数多的两个特征(f_h ¹、f_h ²)进行处理。

在残差空间注意力模块中，首先将f_h ³和f_h ⁴通过上线性插值法上采样到相同的空间分辨率大小(256×256)并融合得到Y，然后采用1×k和k×1并联的卷积层捕获高分辨率的空间关注点。然后，通过sigmoid运算将空间特征图进行归一化处理映射到[0,1]，得到特征F_s，将特征F_s与输入特征Y通过相乘操作得到特征Y₁，随后通过残差连接将输入特征Y与特征Y₁进行相加融合得到特征Y₂，最终将Y₂通过卷积核大小为3×3的conv₄处理，得到空间大小为256×256×1的显著性特征图N³。公式如下：

F_s＝σ(concat(conv₂(conv₁(Y)),conv₁(conv₂(Y)))

N³＝conv₄(F_scale(Y,F_s)+Y)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，conv₁表示卷积核大小为1×1的卷积层，conv₂表示卷积核大小为1×k的卷积层，conv₃表示卷积核大小为k×1的卷积层，k取值为9，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，σ表示sigmoid操作。

在残差通道注意力模块中，首先将f_h ¹和f_h ²进行空间维度上的融合并通过卷积核大小为1×1的conv₁压缩通道数，得到输出特征X，将X作为残差空间注意力模块的输入特征，然后对输入X应用全局平均池化来获得通道上的特征向量。之后再通过两个全连接层来获取通道之间的相关性。在两个全连接层后面分别加了Relu运算和sigmoid运算得到特征F_c，将所得到的特征F_c与输入特征X进行相乘操作得到特征X₁。随后通过残差连接将输入特征X与特征X₁进行相加融合得到特征X₂，最终将X₂通过卷积核大小为3×3的conv₄处理，得到空间大小为64×64×1的显著性特征图N¹。公式如下：

F_c＝σ(Fc₂(δ(Fc₁(F_ga(X))))

N¹＝conv₄(F_scale(X,F_c)+X)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，F_ga表示全局平均池化操作，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，δ表示Relu操作，σ表示sigmoid操作。

最终，将残差空间注意力模块所得到的特征Y₂经过下采样，并将残差通道注意力模块所得到的特征X₂经过上采样之后，进行concat，得到Z，并将Z通过卷积核大小为3×3的conv₄处理，得到空间大小为128×128×1的显著性特征图N²。

N²＝conv₄(concat(up(X₂),down(Y₂)))

其中，up表示利用双线性插值法进行的上采样操作，down表示利用平均池化进行的下采样操作，concat表示串联操作，conv₄表示卷积核大小为3×3的卷积层。

f.最后通过多级监督损失函数输出显著性目标。

为了验证本方法的有效性，在三个公开的数据集(PASCAL-S、ECSSD、DUTS-TE)上与多个最新的显著性目标检测方法进行了对比实验。实验采用深度学习框架Pytorch搭建网络，实验环境为Linux系统，使用NVIDIA Tesla T4 GPU16GB进行神经网络模型训练与测试，通过随机裁剪调整图片到大小为256×256进行训练。在三个公开数据集上与最新的方法进行了实验性能对比，如图6所示，本方法的PR曲线表现良好。如图5所示，从主观视觉对比来看，本方法具有较强的显著性目标边缘分割、位置检测和细节分割能力。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (7)

1.一种基于全局信息引导残差注意力的显著性目标检测方法，其特征在于，包括：

步骤1、基于跨层连接方式的U-Net网络，首先将图像输入到ResNet-50主干网络中并提取出五个阶段的图像特征，分别为Res1、Res2、Res3、Res4和Res5；

步骤2、将Res2与Res5的特征输入到全局信息互补模块中并获取丰富的全局信息；将ResNet-50中三个卷积块生成的特征图Res2、Res3和Res4通过多尺度并行卷积模块提取多尺度特征信息；再将全局信息互补模块生成的全局信息和多尺度并行卷积模块生成的多尺度特征信息通过特征融合模块进行融合；

步骤3、将全局信息互补模块生成的一个特征图和融合模块生成的三个特征图分别输入到残差注意力模块中，并生成三个层级的显著性特征图，经过多级监督最终输出显著性结果，具体包括：构建三个融合模块，融合模块的输入分别为来自上一层输出的高级特征

由多尺度并行卷积模块生成的多尺度信息的特征

和由全局信息互补模块生成的高低层融合互补特征f_g；残差注意力模块对全局信息互补模块生成的一个特征图

和融合模块生成的三个特征图

和

进行处理；

全局信息互补模块分为多尺度融合和通道注意力融合两部分，多尺度融合是将Res2和Res5这两个不同尺度的输出特征在空间维度上进行融合，多尺度融合后再进行通道注意力融合；

多尺度融合过程使用步长为2、卷积核大小为3×3的卷积层将第二层Res2输出特征进行下采样，同时采用双线性插值方法将Res5的输出特征进行上采样，使得两个特征在进行处理后尺度大小相同，再在通道维度上进行合并，公式如下

U_c＝down(δ(Trans(C⁽²⁾；θ))；C⁽⁰⁾)+up(δ(Trans(C⁽⁵⁾；θ))；C⁽⁰⁾)

其中，Trans(*；θ)是参数θ的卷积层，其目的是改变特征的通道数，δ表示Relu激活函数，down表示下采样操作，其目的是将样本*下采样到与C⁽⁰⁾相同的大小，up是双线性插值运算，其目的是将样本*上采样到与C⁽⁰⁾相同的大小，其中C⁽⁰⁾大小为64×64；

通道注意力融合过程是先通过全局平均池化操作将融合后的特征提取出包含各通道全局信息的全局特征向量，全局特征向量包含了所有通道的全局信息，然后利用两个全连接操作对全局池化层得到的特征向量进行缩放，在每个全连接层后面分别加入了Relu运算和sigmoid运算，再将两个全连接操作得到的权重与输入的特征进行相乘连接，然后将得到的结果下采样到与编码过程最高层特征图尺度大小一样的特征，得到整个融合互补模块的输出特征f_g，公式如下

U_s＝δ(ω₁σ(ω₂g))

f_g＝down(F_scale(U_c,U_s)；C⁽⁵⁾)

其中，W、H和C分别为特征图的长、宽和通道数，f_c为特征图中每个格点的值，ω₁和ω₂为全连接层的权重，δ为Relu激活函数，σ为sigmoid操作，down(*；C⁽⁵⁾)下采样操作，其目的是将样本*下采样到与Res5特征相同的大小，F_scale表示相乘运算。

2.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：在多尺度并行卷积模块中，先用1×1卷积对输入特征P进行操作，降低输入特征的通道数，减少运算参数，然后采用4种不同的扩张率r的扩张卷积层

来获取不同尺度大小的特征信息，r＝1,2,4,8，得到4个输出特征

其中输出特征

和输入特征P具有相同大小的空间分辨率，然后再将P与

进行相加融合，最终在融合特征上进行1×1卷积操作得到输出特征X，将输出特征X的通道数和输入特征P的通道数保持一致，操作如下

其中，

表示不同扩张率的3×3卷积操作，conv₁表示1×1卷积操作，sum(*,*)表示元素间的求和运算。

3.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：特征融合模块中的输入包括三部分，分别为来自上一层输出的高级特征

由多尺度并行卷积模块生成的多尺度信息的特征

和由全局信息互补模块生成的高低层融合互补特征f_g，融合过程描述为

f_e ^t＝8up(8down(f_a ^t))

f_h ^t+1＝conv₁(concat(f_a ^t,f_b ^t,f_d ^t,f_e ^t))

其中，up是通过双线性插值进行的上采样操作，8up表示上采样空间分辨率为原来的8倍，down是通过平均池化进行的下采样操作，8down表示下采样空间分辨率为原来的1/8，conv₁表示卷积核大小为1×1的卷积操作，t是阶段索引。

4.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：残差注意力模块包括残差通道注意力模块和残差空间注意力模块，将四个不同分辨率和不同通道数的多尺度特征(f_h ¹、f_h ²、f_h ³、f_h ⁴)作为残差注意力模块的输入特征。

5.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：采用空间注意力模块对于空间分辨率高通道数少的两个特征(f_h ³、f_h ⁴)进行处理，过程描述为

F_s＝σ(concat(conv₂(conv₃(Y)),conv₃(conv₂(Y))))

N³＝conv₄(F_scale(Y,F_s)+Y)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，conv₁表示卷积核大小为1×1的卷积层，conv₂表示卷积核大小为1×k的卷积层，conv₃表示卷积核大小为k×1的卷积层，k取值为9，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，σ表示sigmoid操作。

6.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：在残差通道注意力模块中对空间分辨率低通道数多的两个特征(f_h ¹、f_h ²)进行处理，过程描述为

F_c＝σ(Fc₂(δ(Fc₁(F_ga(X)))))

N₁＝conv₄(F_scale(X,F_c)+X)

其中，up表示利用双线性插值法进行的上采样操作，concat表示串联操作，F_ga表示全局平均池化操作，F_scale表示相乘运算，conv₄表示卷积核大小为3×3的卷积层，δ表示Relu操作，σ表示sigmoid操作。

7.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法，其特征在于：将残差空间注意力模块处理得到的特征Y₂经过下采样，并将残差通道注意力模块处理得到的特征X₂经过上采样之后，进行concat，得到Z，并将Z通过卷积核大小为3×3的conv₄处理，得到空间大小为128×128×1的显著性特征图N²，过程描述为

N²＝conv₄(concat(up(X₂),down(Y₂)))

其中，up表示利用双线性插值法进行的上采样操作，down表示利用平均池化进行的下采样操作，concat表示串联操作，conv₄表示卷积核大小为3×3的卷积层。

Images