CN114241218A - 一种基于逐级注意力机制的目标显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于逐级注意力机制的目标显著性检测方法。首先进行图像数据预处理，获得预处理后的图像训练集，然后构建目标显著性检测网络，最后通过图像训练集对目标显著性检测网络进行训练；本发明使得特征信息在空间注意力和通道注意力模块上都得以逐级递进，通道注意力模块组和空间注意力模块组使得网络能够提取更丰富的上下文信息，避免了语义杂糅，有效减少了分割噪声，尤其是假阴性噪声，目标显著性检测性能取得了显著提升。

Description

一种基于逐级注意力机制的目标显著性检测方法

技术领域

本发明属于计算机视觉领域，涉及显著目标检测、图像检测领域。具体涉及一种基于逐级注意力机制的目标显著性检测方法。

背景技术

随着深度学习、神经网络的飞速发展，计算机视觉领域实现了前所未有的跨越。目标检测作为计算机视觉领域一个经典大类，受到广泛的研究和探讨，在显著目标检测、行人重识别、图像数据评估等各个方向都取得了巨大进步。在生活中，面部扫描、车牌扫描、天网工程等都利用到了目标检测的相关技术。

人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，这种视觉注意机制是人们日常生活中处理视觉信息的重要机制。随着互联网带来的大数据量的传播，如何从海量的图像和视频数据中快速地获取重要信息，已经成为计算机视觉领域一个关键的问题。通过在计算机视觉任务中引入这种视觉注意机制，即视觉显著性，可以为视觉信息处理任务带来一系列重大的帮助和改善。显著性物体检测的目的即是从图像中定位最有吸引力和视觉上独特的物体或区域，大量应用于图像分割、目标重定位、目标图像前景注释等领域。

U-Net是现在最为流行的图像分割网络，网络主要包括下采样和上采样两个部分，通过下采样对图片特征进行提取处理，而上采样则可以将特征信息进行还原，使得网络最后输出为一个完整图像。

现如今，注意力机制越来越受到广大学者关注，在现有神经网络中引入注意力机制可以聚焦主体信息，产生更具有分辨能力的特征信息，注意力模块的组合也能够使得网络获得注意力感知的能力，现有的注意力模块给各个网络模型性能带来了巨大的提升。

但是现存的基于注意力机制的显著性目标检测网络往往单一使用注意力模块，或者简单将注意力模块整合到编解码环节中，作为一个先验模块来提升自己网络性能，未能充分挖掘注意力模块对网络的性能提升和应用方式，错误的使用也常常导致语义信息的杂糅与噪声。

发明内容

针对现有技术存在的问题，本发明提供一种基于逐级注意力机制的目标显著性检测方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1、图像数据预处理，获得预处理后的图像训练集：

训练数据集采用DUTS图像数据集。对待训练数据集进行图像预处理，首先去除图像相关噪声干扰使数据更加精确，然后对去噪后的训练数据集进行扩增，获得预处理后的图像训练集。

步骤2、构建目标显著性检测网络：

目标显著性检测网络采用encoder-decoder(编码-解码)结构，编码部分采用ResNet34，在解码部分采用部分解码结构(Partial decoder)减少网络数据量，并且有两组不同的注意力模块(Channel Attention Module、Spatial Attention Module)与PDC逐次连接。。

步骤3、通过步骤1获得的图像训练集对目标显著性检测网络进行训练；

进一步的，步骤2所述的目标显著性检测网络具体结构如下：

编码部分(encoder)包括一个输入卷积层和五个卷积块，五个卷积块均采用ResNet34，第四及第五个卷积块的信息将会分别输入到由两个并行连接的通道注意力模块(Channel Attention Module)组成的通道注意力模块组中，从而获得第四卷积块和第五卷积块的通道注意力特征，获得的通道注意力特征先进行元素级求和后，与第四、五卷积块的特征信息一同输入适应其通道数的部分解码器(mPDC)，由此，部分解码器将会输出一个粗略的分割图。

得到粗略的分割图后，为了获得进一步的全局信息，将粗略分割图和第四、第五卷积块通道注意力特征元素级求和的数据一同输入到由三个空间注意力模块逐级连接而成的空间注意力模块组中，每个空间注意力模块连接一个只用于解码的子解码结构(sub-Decoder)，输出批次优化后的分割图作为下一级空间注意力模块的输入。从而进行逐级优化，将最后一级的输出特征与部分解码器输出的粗略的分割图求和后输入残差优化模块(Residual Refinement Module)得到最终输出结果。

需要注意的是，部分解码器的输出、逐级优化的输出以及最后优化后的输出将使用混合loss函数进行约束。

进一步的，通道注意力模块组中的通道注意力模块结构如下：

给定输入特征F∈R^C×H×W，其中C、H、W为通道数、高度、宽度，首先对F通过三次1×1卷积分别获得查询Q，键K，值V，其中

{V}∈R^C×H×W为像素数。然后，对Q和K进行矩阵乘法，并应用softmax层计算通道注意力图X∈R^C×C。

Q_i：表示矩阵Q的第i行，K_j：表示矩阵K的第j行，x_ij表示j_th通道对i_th通道的影响，之后将X，V相乘，并转换为R^C×H×W的格式。

最后，为了提高容错能力，进行乘法运算，通道注意力模块的结果有一个可学习的参数γ，获取最终输出F’∈R^C×H×W。

进一步的，空间注意力模块组中的空间注意力模块结构如下：

首先在输入端采用三个1×1的卷积层，并将卷积结果重塑为三个新的特征图Q’，K’和V’，{Q’，K’}∈R^C1×N，C1＝C/8，V’∈R^C×N，之后对转置后的Q’和K’用矩阵乘法，使用softmax正则化后得到空间注意力图X’∈R^N×N。

Q’_：i是Q’的第i列，K’_：j是K’的第j列，x’_ij是j_th元素对i_th元素的影响。将V’和转置后的X’进行矩阵相乘并转换为R^C×H×W的格式。与通道注意力模块相同，空间注意力模块也有一个可学习的参数γ’。

γ’初始值为1，基于F’，F”对每个位置得到更丰富的语义关联并增强特征的语义表达。

进一步的，部分解码器的输出、逐级优化的输出以及最后优化后的输出将使用以下混合loss函数进行约束：

l＝l_bce+l_ssim+l_iou

其中G(x，y)，T(x，y)分别为ground truth和预测结果在各个位置的数值。μ和σ分别为均值和标准差，H，W为图片的高和宽，C1＝0.01²，C2＝0.03²，用于防止分母为零。

进一步的，步骤3具体方法如下：

采用Adam优化器进行优化，学习率设置为0.001，beta＝(0.9，0.999)，eps＝1e-8，weight_decay＝0。将输入图像resize为256*256，epoch设置为120，batch size为8。

本发明有益效果如下：

本发明使得特征信息在空间注意力和通道注意力模块上都得以逐级递进，通道注意力模块组和空间注意力模块组使得网络能够提取更丰富的上下文信息，避免了语义杂糅，有效减少了分割噪声，尤其是假阴性噪声，目标显著性检测性能取得了显著提升。

附图说明

图1为本发明实施例网络结构示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

如图1所示，一种基于逐级注意力机制的目标显著性检测方法，具体实现步骤如下：

步骤1：对待训练数据集进行图像预处理，数据集选择DUTS，为了得到较好的训练结果，本方法通过旋转、翻转将数据集扩充为原来的4倍，除去不必要的图像噪声使数据更加精确。

步骤2-网络搭建：

网络主要结构如图1，本方法采用encoder-decoder(编码-解码)办法，网络结构编码部分采用ResNet34，在解码部分采用部分解码结构(Partial decoder)减少网络数据量，并且有两组注意力模块连接两个部分，具体的：encoder部分包括一个输入卷积层和五个卷积块，五个卷积块均采用ResNet34，第五个卷积块的信息将会输入到由两个并行连接的通道注意力模块(Channel attention module)组成的通道注意力模块组中，从而获得卷积块4和卷积块5的通道注意力特征，处理后的特征与第4、5卷积块信息一同输入改进后，适应输入特征通道数和大小的部分解码器(mPDC)，同时，部分解码器将会输出一个粗略的分割图。

编码部分(encoder)包括一个输入卷积层和五个卷积块，五个卷积块均采用ResNet34，第四及第五个卷积块的信息将会分别输入到由两个并行连接的通道注意力模块(Channel Attention Module)组成的通道注意力模块组中，从而获得第四卷积块和第五卷积块的通道注意力特征，获得的通道注意力特征先进行元素级求和后，与第四、五卷积块的特征信息一同输入适应其通道数的部分解码器(mPDC)，由此，部分解码器将会输出一个粗略的分割图。

得到粗略的分割图后，为了获得进一步的全局信息，将粗略分割图和第四、第五卷积块通道注意力特征元素级求和的数据一同输入到由三个空间注意力模块逐级连接而成的空间注意力模块组中，每个空间注意力模块连接一个只用于解码的子解码结构(sub-Decoder)，输出批次优化后的分割图作为下一级空间注意力模块的输入。从而进行逐级优化，将最后一级的输出特征与部分解码器输出的粗略的分割图求和后输入残差优化模块(Residual Refinement Module)得到最终输出结果。

对于通道注意力模块组中的每一个模块：

具体来说，给定输入特征F∈R^C×H×W，其中C、H、W为通道数、高度、宽度，首先对F通过三次1×1卷积分别获得查询Q，键K，值V，其中

{V}∈R^C×H×W为像素数。然后，对Q和K进行矩阵乘法，并应用softmax层计算通道注意力图X∈R^C×C。

Q_i：表示矩阵Q的第i行，K_j：表示矩阵K的第j行，x_ij表示j_th通道对i_th通道的影响，之后将X，V相乘，并转换为R^C×H×W的格式。

最后，为了提高容错能力，进行乘法运算，通道注意力模块的结果有一个可学习的参数γ，获取最终输出F’∈R^C×H×W。

对于空间注意力模块组中的每一个模块：

首先在输入端采用三个1×1的卷积层，并将卷积结果重塑为三个新的特征图Q’，K’和V’，{Q’，K’}∈R^C1×N，C1＝C/8，V’∈R^C×N，之后对转置后的Q’和K’用矩阵乘法，使用softmax正则化后得到空间注意力图X’∈R^N×N。

Q’_：i是Q’的第i列，K’_：j是K’的第j列，x’_ij是j_th元素对i_th元素的影响。将V’和转置后的X’进行矩阵相乘并转换为R^C×H×W的格式。与通道注意力模块相同，空间注意力模块也有一个可学习的参数γ’。

γ’初始值为1.基于F’，F”对每个位置得到更丰富的语义关联并增强特征的语义表达。

部分解码器的输出、逐级优化的输出以及最后优化后的输出将使用以下混合loss函数进行约束：

l＝l_bce+l_ssim+l_iou

其中G(x，y)，T(x，y)分别为ground truth和预测结果在各个位置的数值。参数解释，μ和σ分别为均值和标准差，H，W为图片的高和宽，C1＝0.01²，C2＝0.03²，用于防止分母为零。

步骤3-数据输入、训练：

网络采用Adam优化器，学习率设置为0.001，beta＝(0.9，0.999)，eps＝1e-8，weight_decay＝0。将输入图片resize为256*256，epoch设置为120，batch size为8。

本发明充分研究优化了注意力模块的常规结构，充分利用了不同注意力模块的逐级监督优化能力，通过使用更加有效的注意力模块手段使每次解码都能获得了更加丰富的全局信息，有效减少了分割噪声，尤其是假阴性噪声，取得了显著的效果。

Claims (6)

1.一种基于逐级注意力机制的目标显著性检测方法，其特征在于，包括如下步骤：

步骤1、图像数据预处理，获得预处理后的图像训练集：

训练数据集采用DUTS图像数据集；对待训练数据集进行图像预处理，首先去除图像相关噪声干扰使数据更加精确，然后对去噪后的训练数据集进行扩增，获得预处理后的图像训练集；

步骤2、构建目标显著性检测网络：

目标显著性检测网络采用encoder-decoder结构，编码部分采用ResNet34，在解码部分采用部分解码结构减少网络数据量，并且有两组不同的注意力模块与PDC逐次连接；；

步骤3、通过步骤1获得的图像训练集对目标显著性检测网络进行训练。

2.根据权利要求1所述的一种基于逐级注意力机制的目标显著性检测方法，其特征在于，步骤2所述的目标显著性检测网络具体结构如下：

编码部分包括一个输入卷积层和五个卷积块，五个卷积块均采用ResNet34，第四及第五个卷积块的信息将会分别输入到由两个并行连接的通道注意力模块组成的通道注意力模块组中，从而获得第四卷积块和第五卷积块的通道注意力特征，获得的通道注意力特征先进行元素级求和后，与第四、五卷积块的特征信息一同输入适应其通道数的部分解码器，由此，部分解码器将会输出一个粗略的分割图；

得到粗略的分割图后，为了获得进一步的全局信息，将粗略分割图和第四、第五卷积块通道注意力特征元素级求和的数据一同输入到由三个空间注意力模块逐级连接而成的空间注意力模块组中，每个空间注意力模块连接一个只用于解码的子解码结构，输出批次优化后的分割图作为下一级空间注意力模块的输入；从而进行逐级优化，将最后一级的输出特征与部分解码器输出的粗略的分割图求和后输入残差优化模块得到最终输出结果；

需要注意的是，部分解码器的输出、逐级优化的输出以及最后优化后的输出将使用混合loss函数进行约束。

3.根据权利要求2所述的一种基于逐级注意力机制的目标显著性检测方法，其特征在于，通道注意力模块组中的通道注意力模块结构如下：

给定输入特征F∈R^C×H×W，其中C、H、W为通道数、高度、宽度，首先对F通过三次1×1卷积分别获得查询Q，键K，值V，其中

{V}∈R^C×H×W为像素数。然后，对Q和K进行矩阵乘法，并应用softmax层计算通道注意力图X∈R^C×C；

Q_i：表示矩阵Q的第i行，K_j：表示矩阵K的第j行，x_ij表示j_th通道对i_th通道的影响，之后将X，V相乘，并转换为R^C×H×W的格式；

最后，为了提高容错能力，进行乘法运算，通道注意力模块的结果有一个可学习的参数γ，获取最终输出F′∈R^C×H×W；

4.根据权利要求3所述的一种基于逐级注意力机制的目标显著性检测方法，其特征在于，空间注意力模块组中的空间注意力模块结构如下：

首先在输入端采用三个1×1的卷积层，并将卷积结果重塑为三个新的特征图Q’，K′和V’，{Q’，K′}∈R^C1×N，C1＝C/8，V′∈R^C×N，之后对转置后的Q′和K′用矩阵乘法，使用softmax正则化后得到空间注意力图X′∈R^N×N；

Q′_：i是Q′的第i列，K′_：j是K′的第j列，x′_ij是j_th元素对i_th元素的影响；将V′和转置后的X′进行矩阵相乘并转换为R^C×H×W的格式；与通道注意力模块相同，空间注意力模块也有一个可学习的参数γ′；

γ′初始值为1，基于F′，F″对每个位置得到更丰富的语义关联并增强特征的语义表达。

5.根据权利要求4所述的一种基于逐级注意力机制的目标显著性检测方法，其特征在于，部分解码器的输出、逐级优化的输出以及最后优化后的输出将使用以下混合loss函数进行约束：

l＝l_bce+l_ssim+l_iou

其中G(x，y)，T(x，y)分别为ground truth和预测结果在各个位置的数值；μ和σ分别为均值和标准差，H，W为图片的高和宽，Cl＝0.01²，C2＝0.03²，用于防止分母为零。

6.根据权利要求5所述的一种基于逐级注意力机制的目标显著性检测方法，其特征在于，步骤3具体方法如下：

采用Adam优化器进行优化，学习率设置为0.001，beta＝(0.9，0.999)，eps＝1e-8，weight_decay＝0；将输入图像resize为256*256，epoch设置为120，batch size为8。

Images