CN110648334A - 一种基于注意力机制的多特征循环卷积显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的多特征循环卷积显著性目标检测方法，包括步骤：一、分析自然图像中显著性目标具有的共性的特点，包括空间分布和对比度特征，使用改进的U‑Net全卷积神经网络，其采用编码器‑解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合；二、将编码端特征与解码端特征进行concatenate融合会引入大量的杂波，干扰最后预测图生成，因此引入注意力模块从通道间和像素间两个角度标定全像素权重，增强任务相关像素权重，弱化背景和噪声影响；三、使用多特征循环卷积模块作为后处理手段，通过迭代来增强空间分辨能力，进一步细化分割图像区域的边缘，得到更精细的显著目标掩膜。

Description

一种基于注意力机制的多特征循环卷积显著性目标检测方法

技术领域

本发明属于自动目标识别领域，具体涉及一种基于注意力机制的多特征循环卷积显著性目标检测方法研究。

背景技术

显著性目标检测是机器视觉领域的基础性研究热点，使用显著性目标检测方法对图像像素点进行显著度计算，能够突出图像前景区域像素，抑制背景区域像素，达到数据降维和减少背景干扰目的。生成的显著图将有助于合理分配有限的计算资源，为后续复杂的视觉任务提供先验信息。显著性目标检测在图像检索，图像/视频压缩，图像质量评估，虚拟视觉等领域具有广泛应用。

传统的显著性目标检测技术主要依靠人工提取的特征来计算区域显著性。主要思路是融合图像的颜色、方向、强度等浅层特征，度量图像显著区域。传统方法在背景简单，高对比度的情况下能有效反映出目标的显著性，但由于未能利用深层语义的特征，检测结果鲁棒性较差，显著区域突显不充分，方法泛化能力较弱。近年来，卷积神经网络(CNN)广泛应用于机器视觉领域，其具有自动提取图像特征的能力，通过堆叠卷积块，卷积神经网络能够自动提取多层次图像特征。特别是全卷积神经网络的使用，极大提高了显著性目标检测的性能，涌现出诸如Amulet、UCF和SRM等优秀方法，但这些方法对于卷积特征中的有利特征和杂波特征，没有针对性处理手段，使得特征利用效益不足，存在显著目标区域突出不均匀，背景错误检测和目标轮廓模糊等问题。

发明内容

本发明所要解决的技术问题是：现有显著性目标检测方法存在特征利用效益不足、背景错误检测和目标轮廓模糊等问题，为此，提供了一种基于注意力机制的多特征循环卷积显著性目标检测方法。

本发明采用如下技术方案来实现的：

一种基于注意力机制的多特征循环卷积显著性目标检测方法，包括如下步骤：

步骤一、分析自然图像中显著性目标具有的共性的特点，包括空间分布和对比度特征，使用改进的U-Net全卷积神经网络，其采用编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合；

步骤二、由于直接使用U-Net的跨层连接方式，将编码端特征与解码端特征进行concatenate融合会引入大量的杂波，干扰最后预测图生成，因此引入注意力模块从通道间和像素间两个角度标定全像素权重，增强任务相关像素权重，弱化背景和噪声影响；

步骤三、为进一步提升输出图质量，使用多特征循环卷积模块作为后处理手段，通过迭代来增强空间分辨能力，进一步细化分割图像区域的边缘，得到更精细的显著目标掩膜。

本发明进一步的改进在于，在步骤一中，使用改进的U-Net全卷积神经网络，其采用的编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，实现目标区域准确分割；自然图像中显著性目标位于图像中央且目标尺度相对较大，显著性目标对于周围环境具有颜色、亮度区别；在全卷积神经网络中，利用最后一层语义特征进行解码生成的图像具有严重“马赛克”现象，此时使用跨层连接将浅层细节特征与深层语义特征进行融合，能提高编码器预测图的细节表征能力；U-Net采用对称编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，从而实现目标区域准确分割；其编码器由五层卷积块组成，实现输入图像的高层语义特征提取；卷积块包含2个3x3卷积层，1个BN层，1个ReLU激活层；卷积块之间采用最大池化层进行下采样，确保特征描述具有一定全局性；每次下采样后特征通道数翻倍，第5层不进行加倍；解码器采用双线性插值加普通卷积的方式进行上采样，上采样后通道数不变，并与对称位置的编码端特征进行“像素加”融合。

本发明进一步的改进在于，在步骤二中，引入注意力机制对编码器特征进行预加权处理，过滤有害杂波干扰；设计双注意力模块，在融合编码端特征与解码端特征之前，先将编码端特征接入设计的通道间-像素间双注意力模块，标定通道间响应权重，突出前景区域像素响应强度，增强任务相关特征表征能力，弱化背景和噪声影响；其中通道间注意力由SE模块生成，SE模块采用squeeze-excitation操作，为输入特征图各特征通道赋予权重；采用squeeze操作获取各通道特征的全局信息，得到一个长度为1×1×C的描述符，该描述符用来权衡各通道特征整体响应的相对强弱；此处采用全局平均池化的方式获取全局信息；设输入张量为X＝(X₁,X₂,…X_a,…,X_C)∈R^W×H×C，X_a∈R^W×H；squeeze操作描述为：

式中：Z＝(Z₁,Z₂,…Z_a,…,Z_C)∈R^1×1×C，Z_a∈R^1×1；

采用excitation操作对全局信息描述符进行仿射变换，捕获通道间依赖性；此处采用全连接层进行实现，excitation操作描述为：

S＝F_ex(Z)＝σ{FC₂[δ(FC₁(Z))]}

式中：FC₁为含有C/r个单元的全连接层，δ表示ReLU激活函数，FC₂表示含有r个单元的全连接层，σ表示Sigmoid激活函数，S表示各通道权重赋值向量，S＝(S₁,S₂,…S_a,…,S_C)∈R^1×1×C，S_a∈R^1×1；

将经过squeeze-excitation操作得到的通道间权重向量与各通道对应相乘，输出为：

像素间注意力模块采用设计的多尺度上下文重加权网络实现，多尺度上下文重加权网络由采用膨胀卷积设计的三条不同感受野的卷积支路组成，末端采用1x1卷积对多感受野特征进行融合，设输入特征图X∈R^W×H×C，下采样特征图

注意力模块输出

设计的像素间注意力模块描述为：

式中：f_conv1×1表示1x1卷积，f_br1，f_br2，f_br3分别表示三个尺度特征提取分支的卷积操作，Expand表示复制扩展Y′维度与X′一致；

为避免由于多级注意力模块串联造成的特征信息弱化与损失，基于两类注意力模块对输入特征图的注意力加权特征图，采用concatenate进行对结果进行通道堆叠，并使用1x1卷积将两类结果进行整合，经L2 Normalize对输出层进行标准化，减少特征相对值在融合过程中的衰减现象。

本发明进一步的改进在于，在步骤三中，利用多特征循环卷积模块对粗显著图进行边缘细化；其中循环卷积可描述为：

式中：u_k ^(i,j)为第k通道位于(i,j)的像素，

分别表示前向输入与循环输入的权值；u_k ^(i,j)表示前向输入，不随循环步长变化；z_k ^(i,j)表示卷积输出；T表示循环次数；x^{(i ,j)}(t-1)表示循环输入，即上一个循环单元输出；循环单元输出x_k ^(i,j)(t)由z_k ^(i,j)(t)变化而来，LRN表示局部响应归一化，N表示参与归一化的邻近通道数，α和β是用来调整标准化幅度，C表示总通道数；

设计多特征循环卷积模块，遵循Inception思想改造卷积循环单元，聚合多尺度感受野特征；同时添加外部循环机制，结合多卷积层特征，将解码器最后一层输出与编码器底层卷积特征作为输入，输出边缘效果更好的预测图；在原RCL基础上，添加外部循环机制，将上一轮MFRCM的输出值作为下一轮外部循环的输入值；由于采用concatenate操作结合输入图和特征图，输入图通道占比重较小，故采用Repeat方案扩充输入图通道。

本发明具有以下有益的技术效果：

本发明针对现有显著性目标检测方法特征利用效益不足、背景错误检测和目标轮廓模糊等问题，提供了一种基于注意力机制的多特征循环卷积显著性目标检测方法。通过设计的双注意力模块实现进行特征预加权处理，标定通道间响应权重，增强任务相关特征表征能力，过滤有害杂波干扰。设计多特征循环卷积模块，聚合多尺度感受野特征，以时间迭代来增强空间分辨能力，细化目标区域边缘。本发明能够快速、准确找出自然图像内显著性目标并进行分割，对大场景、高分辨率图像的目标检测具有重要意义。

附图说明

图1是本发明方法总体结构示意图；

图2是本发明双注意力模块内部结构示意图；

图3是本发明多特征循环卷积模块内部结构示意图；

图4是本发明多特征循环卷积模块连接示意图；

图5是本发明方法主观视觉效果对比图；

图6是本发明方法PR曲线和ROC曲线对比图，其中图6(a)是方法在ECSSD-250数据集上与其他方法的PR曲线，图6(b)是方法在ECSSD-250数据集上与其他方法的ROC曲线，图6(c)是方法在HKU-IS-1447数据集上与其他方法的PR曲线，图6(d)是方法在HKU-IS-1447数据集上与其他方法的ROC曲线，图6(e)是方法在DUT-OMRON-1500数据集上与其他方法的PR曲线，图6(f)是方法在DUT-OMRON-1500数据集上与其他方法的PR曲线。

具体实施方式

以下结合附图对本发明做出进一步的说明。

本发明提供的一种基于注意力机制的多特征循环卷积显著性目标检测方法，方法总体结构如图1所示。该方法选取U-Net作为骨干网络，设计像素间-通道间双注意力模块，增强特征的利用效益，减弱噪声和背景像素干扰；设计循环卷积模块，通过循环迭代细化显著区域边缘轮廓；使用旁路输出策略对预测结果进行多阶段约束。本发明提出的双注意力模块，从通道和空间两个视角出发考虑注意力，标定通道间响应权重，突出前景区域像素响应强度，增强任务相关特征表征能力，弱化背景和噪声影响，实现高效的显著性目标检测。

本发明提供的基于注意力机制的多特征循环卷积显著性目标检测方法，具体步骤如下：

步骤1：基于U-Net的改进全卷积神经网络作为特征提取骨干网络。编码器采用五层卷积块提取输入图像的高层语义特征，用于描述图像目标的显著性。其中卷积块由两个包含3x3卷积层，BN层，ReLU激活层的子卷积模块组成。卷积块之间使用滑步为2的最大池化层进行下采样，增大深层特征感受野，确保特征描述具有一定全局性。每次下采样后特征通道翻倍，最后的下采样通道不进行加倍。解码器采用反卷积块对高层语义特征进行上采样。反卷积块具有卷积块相同卷积子模块，只是模块之间采用反卷积层进行上采样，上采样后通道数减半，并与解码器特征进行通道堆叠。

步骤2：通过双注意力模块(DAM)标定特征重要度。设计的通道间-像素间双注意力模块，标定通道间响应权重，突出前景区域像素响应强度，增强任务相关特征表征能力，弱化背景和噪声影响。为避免由于多级注意力模块串联造成的特征信息弱化与损失，DAM采用并联方式融合两类注意力。DAM内部结构如图2所示。

选用SE模块作为通道间注意力模块。其采用挤压-激励操作提取通道间注意力，在监督学习下，根据预测值和真值误差为输入特征图各特征通道赋予权重。实现通道间差异化处理，可以增大任务有利的特征通道权值，降低无用的特征通道权值，从而减弱无关信息干扰。

设计了多尺度上下文重加权网络，作为像素间注意力模块来实现特征图像素间注意力预测。基于Inception-ResNet结构设计了多尺度上下文信息聚合模块，构建3路分支，分别为3x3卷积、3x3卷积加比率为3的3x3空洞卷积、3x3卷积加比率为3的5x5空洞卷积，实现3x3，9x9和15x15三个尺度特征信息的提取，并采用1x1卷积进行多通道特征融合。输入特征图通过多尺度信息整合模块和激励函数，生成像素间注意力分布图。将分布图分别与各通道特征图像素对应相乘，得到加权后的特征图。设输入特征图X∈R^W×H×C，下采样特征图

注意力模块输出

该模块可以表述为：

X″＝Concatenate[f₁(X′),f₂(X′),f₃(X′)]

Y′＝Sigmoid{f″[X′+f′(X″)]},Y′∈R^{W′×H′×1}

式中：f表示1x1卷积，f₁，f₂，f₃分别表示三个尺度特征提取分支的卷积操作，Expand表示复制扩展Y′维度与X′一致。

由于两类注意力模块输出的权值均在0-1之间，如果直接采用串联方式将结果进行融合，会减小像素间灰度值差异，特征响应将弱化，造成信息损失。为避免这个问题，本文采用并联方式融合两类注意力模块。首先让两类注意力模块分别对输入特征图进行处理，得到两类注意力加权特征图，然后采用concatenate进行对结果进行通道堆叠，最后用1x1卷积将两类结果进行整合，并使用L2 Normalize对输出层进行标准化。

步骤3：使用多特征循环卷积模块(MFRCM)细化目标分割边缘。为进一步提升预测图质量，受人类“凝视”视觉机制启发，在模型后端引入多特征循环卷积模块，以时间迭代来增强空间分辨能力，细化目标区域边缘。MFRCM将循环连接引入至卷积层之间，以Inception卷积层为循环单位，逐步提取特征信息。随循环步骤T的增加，输出图单个像素的感受野增大，特征提取范围增大，信息描述更全面。输入图与循环单元输出之间使用短连接。设输入特征图为U∈R^W×H×C，u_k ^(i,j)为第k通道位于(i,j)的像素，循环卷积过程可描述为：

式中：

分别表示前向输入与循环输入的权值；u_k ^(i,j)表示前向输入，不随循环步长变化；z_k ^(i,j)表示卷积输出；T表示循环次数；x^(i,j)(t-1)表示循环输入，即上一个循环单元输出。循环单元输出x_k ^(i,j)(t)由z_k ^(i,j)(t)变化而来：

f(z_k ^(i,j))＝ReLU(z_k ^(i,j))，g(f_k ^(i,j))＝LRN(f_k ^(i,j))，x_k ^(i,j)(t)＝g{f[z_k ^(i,j)(t)]}，

式中：LRN表示局部响应归一化。

式中：N表示参与归一化的邻近通道数，α和β是用来调整标准化幅度，C表示总通道数。多特征循环卷积模块内部结构如图3所示。

在原RCL基础上，添加外部循环机制，将上一轮MFRCM的输出值作为下一轮外部循环的输入值。连接示意图如图4所示。由于采用堆叠操作结合输入图和特征图，输入图通道占比重较小，故采用Repeat方案扩充输入图通道。

实验及分析：

为验证本方法的有效性，在三个数据集上进行了方法对比实验。实验采用深度学习框架pytorch-0.4进行神经网络搭建，实验环境为Windows 10，使用NVIDA TITAN X GPU进行神经网络训练与测试。在自然图像数据集ESSCD、HKU-IS和DUT-OMRON上，本方法的PR曲线、ROC曲线、F-measure值和MAE值均表现良好，实验性能对比曲线如图6所示。从主观视觉对比来看，本方法具有较强的显著性目标位置检测、目标边缘分割和细节检测能力，如图5所示。

表1是本发明方法客观量化指标对比。

Claims (4)

1.一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，包括如下步骤：

步骤一、分析自然图像中显著性目标具有的共性的特点，包括空间分布和对比度特征，使用改进的U-Net全卷积神经网络，其采用编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合；

步骤二、由于直接使用U-Net的跨层连接方式，将编码端特征与解码端特征进行concatenate融合会引入大量的杂波，干扰最后预测图生成，因此引入注意力模块从通道间和像素间两个角度标定全像素权重，增强任务相关像素权重，弱化背景和噪声影响；

步骤三、为进一步提升输出图质量，使用多特征循环卷积模块作为后处理手段，通过迭代来增强空间分辨能力，进一步细化分割图像区域的边缘，得到更精细的显著目标掩膜。

2.根据权利要求1所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤一中，使用改进的U-Net全卷积神经网络，其采用的编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，实现目标区域准确分割；自然图像中显著性目标位于图像中央且目标尺度相对较大，显著性目标对于周围环境具有颜色、亮度区别；在全卷积神经网络中，利用最后一层语义特征进行解码生成的图像具有严重“马赛克”现象，此时使用跨层连接将浅层细节特征与深层语义特征进行融合，能提高编码器预测图的细节表征能力；U-Net采用对称编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，从而实现目标区域准确分割；其编码器由五层卷积块组成，实现输入图像的高层语义特征提取；卷积块包含2个3x3卷积层，1个BN层，1个ReLU激活层；卷积块之间采用最大池化层进行下采样，确保特征描述具有一定全局性；每次下采样后特征通道数翻倍，第5层不进行加倍；解码器采用双线性插值加普通卷积的方式进行上采样，上采样后通道数不变，并与对称位置的编码端特征进行“像素加”融合。

3.根据权利要求2所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤二中，引入注意力机制对编码器特征进行预加权处理，过滤有害杂波干扰；设计双注意力模块，在融合编码端特征与解码端特征之前，先将编码端特征接入设计的通道间-像素间双注意力模块，标定通道间响应权重，突出前景区域像素响应强度，增强任务相关特征表征能力，弱化背景和噪声影响；其中通道间注意力由SE模块生成，SE模块采用squeeze-excitation操作，为输入特征图各特征通道赋予权重；采用squeeze操作获取各通道特征的全局信息，得到一个长度为1×1×C的描述符，该描述符用来权衡各通道特征整体响应的相对强弱；此处采用全局平均池化的方式获取全局信息；设输入张量为X＝(X₁,X₂,…X_a,…,X_C)∈R^W×H×C，X_a∈R^W×H；squeeze操作描述为：

式中：Z＝(Z₁,Z₂,…Z_a,…,Z_C)∈R^1×1×C，Z_a∈R^1×1；

采用excitation操作对全局信息描述符进行仿射变换，捕获通道间依赖性；此处采用全连接层进行实现，excitation操作描述为：

S＝F_ex(Z)＝σ{FC₂[δ(FC₁(Z))]}

式中：FC₁为含有C/r个单元的全连接层，δ表示ReLU激活函数，FC₂表示含有r个单元的全连接层，σ表示Sigmoid激活函数，S表示各通道权重赋值向量，S＝(S₁,S₂,…S_a,…,S_C)∈R^{1 ×1×C}，S_a∈R^1×1；

将经过squeeze-excitation操作得到的通道间权重向量与各通道对应相乘，输出为：

像素间注意力模块采用设计的多尺度上下文重加权网络实现，多尺度上下文重加权网络由采用膨胀卷积设计的三条不同感受野的卷积支路组成，末端采用1x1卷积对多感受野特征进行融合，设输入特征图X∈R^W×H×C，下采样特征图

注意力模块输出

设计的像素间注意力模块描述为：

式中：f_conv1×1表示1x1卷积，f_br1，f_br2，f_br3分别表示三个尺度特征提取分支的卷积操作，Expand表示复制扩展Y′维度与X′一致；

为避免由于多级注意力模块串联造成的特征信息弱化与损失，基于两类注意力模块对输入特征图的注意力加权特征图，采用concatenate进行对结果进行通道堆叠，并使用1x1卷积将两类结果进行整合，经L2 Normalize对输出层进行标准化，减少特征相对值在融合过程中的衰减现象。

4.根据权利要求3所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤三中，利用多特征循环卷积模块对粗显著图进行边缘细化；其中循环卷积可描述为：

式中：u_k ^(i,j)为第k通道位于(i,j)的像素，

分别表示前向输入与循环输入的权值；u_k ^(i,j)表示前向输入，不随循环步长变化；z_k ^(i,j)表示卷积输出；T表示循环次数；x^(i,j)(t-1)表示循环输入，即上一个循环单元输出；循环单元输出x_k ^(i,j)(t)由z_k ^(i,j)(t)变化而来，LRN表示局部响应归一化，N表示参与归一化的邻近通道数，α和β是用来调整标准化幅度，C表示总通道数；

设计多特征循环卷积模块，遵循Inception思想改造卷积循环单元，聚合多尺度感受野特征；同时添加外部循环机制，结合多卷积层特征，将解码器最后一层输出与编码器底层卷积特征作为输入，输出边缘效果更好的预测图；在原RCL基础上，添加外部循环机制，将上一轮MFRCM的输出值作为下一轮外部循环的输入值；由于采用concatenate操作结合输入图和特征图，输入图通道占比重较小，故采用Repeat方案扩充输入图通道。

Images