CN111160311B - 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 - Google Patents

Abstract

本发明公开了一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，用于解决现有黄河冰凌检测方法准确度差的技术问题。技术方案是首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支，在深层分支加入通道注意力模块；在浅层分支加入位置注意力模块；融合模块用于浅层分支和深层分支的融合。将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本发明能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。

Description

基于多注意力机制双流融合网络的黄河冰凌语义分割方法

技术领域

本发明涉及一种黄河冰凌检测方法，特别涉及一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法。

背景技术

语义分割是计算机视觉中十分重要的领域，它是指像素级别的识别图像，即标注出图像中每个像素所属的对象类别，其目标是预测出图像中每一个像素的类标签。河流冰情监测对航运业的河流管理具有重要意义。精确的冰分割是其中之一冰情监测研究中最重要的技术。无人机航拍影像具有高清晰、大比例尺、小面积、高现势性的优点。它可以提供计算冰盖密度、漂移冰速的先决条件信息，冰盖分布、变化检测等。同时，无人机航拍图像的发展无论在军事领域或商业领域都产生很大的影响。无人机航拍图像分辨率及解析力的提升带动各种相关产业的发展。诸如地震救灾、冰川融化评估、交通及导航等方面都对无人机航拍图像分割提取有极大需求。

文献“申请公布号是CN105913023A的中国发明专利”公开了一种基于多光谱图像和SAR图像的黄河冰凌协同检测方法，该算法首先利用遥感图像，通过对黄河遥感图像几何矫正、Bow-tie校正、云剔除、图像裁剪等预处理，进而对河流区域粗分割，最后利用NDSI检测方法与聚类法相结合，得到分割区域集合m；然后将区域m利用SAR图像检测方法输入，通过超像素分割和计算显著图得到分割区域集合n，最后通过交替迭代，寻找黄河冰凌监测模型最优的解，获取到最佳冰凌检测区域。该方法在解决冰凌监测问题时，面临自动化程度低、处理结果不准确等问题。

发明内容

为了克服现有黄河冰凌检测方法准确度差的不足，本发明提供一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法。该方法首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支。为了编码通道之间的关联，在深层分支加入了通道注意力模块；为了保留纹理，颜色等细节信息，强调同一张特征图中不同位置像素之间的相关性，在浅层分支加入了位置注意力模块；同时，为了更好的融合浅层分支和深层分支的特征，引入了融合模块。其次将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本发明能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。

本发明解决其技术问题所采用的技术方案：一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，其特点是包括以下步骤：

步骤一、数据集采集，此数据集中的图像是由不同的无人机在黄河宁夏-内蒙古河段进行拍摄的。通过人工制作相应的标签，对黄河冰凌图像予以分割标注，得到的最终数据集，并根据图像拍摄的时期，等比例划分为训练集、验证集和测试集。

步骤二、构建分割网络结构，整个网络包含浅层分支和深层分支，深层分支中，在残差模块之后加入通道注意力模块；加入浅层分支并且浅层分支加入位置注意力模块；引入融合模块融合浅层分支和深层分支的特征。

步骤三、对构建的分割网络进行训练，将训练集中数据分批次放入网络中，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，采用交叉熵损失，使用RMSprop优化器进行优化，直至目标函数的值不下降时结束训练。

步骤四、测试图像集输入步骤三训练的语义分割网络，得到预测的结果图，并使用平均交并比指标mIoU进行评价。

本发明的有益效果是：该方法首先采集数据集并进行标注，将标注好的数据集划分训练数据集和测试数据集。然后构建分割网络结构，网络包含浅层分支和深层分支。为了编码通道之间的关联，在深层分支加入了通道注意力模块；为了保留纹理，颜色等细节信息，强调同一张特征图中不同位置像素之间的相关性，在浅层分支加入了位置注意力模块；同时，为了更好的融合浅层分支和深层分支的特征，引入了融合模块。其次将训练集中数据分批次放入网络中，并采用交叉熵损失和RMSprop优化器对构建的神经网络进行训练。最后输入待测试的图像，使用训练好的模型进行测试。本发明能够有选择地进行多层级和多尺度的特征融合，并且基于注意力机制捕捉上下文信息，获得更高分辨率的特征图，得到更好的分割效果。

具体的，由于在浅层分支对浅层特征使用了位置注意力模块，考虑不同像素之间的相似性，更好的关注细节信息，提高不同大小，颜色，纹理的冰凌分割准确度；由于在深层分支针对深层特征，采用全局平均池化和通道注意力模块，考虑了通道之间的相似性，得到了更准确的语义表示，提高了不同类别之间的分割准确度；由于在深层分支融合了不同残差模块的特征，有选择的进行多尺度融合，获得了更高质量的特征图。通过融合两个分支的特征图，综合考虑了空间信息和语义信息，提高了算法的鲁棒性和准确性。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于多注意力机制双流融合网络的黄河冰凌语义分割方法的网络结构图。

图2是本发明方法残差模块1,2,3,4的结构图。

图3是本发明方法通道注意力模块结构图。

图4是本发明方法位置注意力模块结构图。

图5是本发明方法融合模块结构图。

具体实施方式

参照图1-5。本发明基于多注意力机制双流融合网络的黄河冰凌语义分割方法具体步骤如下：

1、准备和构建数据集。

数据集由不同的无人机载黄河宁夏-内蒙古河段进行拍摄，经过人工挑选，对数据集进行标注，对图像予以逐像素的标记，标记为三类，包含冰，水，岸。将标注好的数据集按照拍摄时间等比例划分为训练集、验证集和测试集。图像大小为1600×640，训练集包含570张图像，验证集包含82张图像，测试集包含244张图像。

2、构建语义分割网络。

网络包括两个分支，浅层分支和深层分支，同时为了更好的融合两个分支的特征图，引入了融合模块。具体的步骤如下：

1)构建深层分支的网络结构，深层网络主要是由残差模块组成的，首先将输入图像经过步长为2的7×7卷积，然后将输入图像经过步长为2的3×3最大池化得到大小为原图大小1/4的特征图。得到的特征图依次经过残差模块1，2，3，4。其中残差模块1由3个模块组成，每个模块中依次包含64个1×1卷积核，64个3×3卷积核，256个1×1卷积核，卷积核的步长均为1。残差模块2由4个模块组成，其中第一个模块的第一个1×1卷积核的步长为2，其余均为1。每个模块中依次包含128个1×1卷积核，128个3×3卷积核和512个1×1卷积核。残差模块3由23个模块组成，每个模块依次包含256个1×1卷积核，256个3×3卷积核，1024个1×1卷积核，卷积核的步长均为1。残差模块4由3个模块组成，每个模块依次包含512个1×1卷积核，512个3×3卷积核，2048个1×1卷积核，卷积核的步长均为1。

经过第四个残差模块后，特征图的分辨率为原图1/16,之后经过一个全局平均池化层得到全局平均池化的值。

在残差模块2，3，4之后分别加入通道注意力模块，残差模块4经过通道注意力之后的结果与全局平均池化值相乘，最后把残差模块2，3，4的结果堆叠起来，使用双线性插值进行2倍的上采样。通道注意力模块的具体步骤如下：

①输入特征图依次经过全局平均池化，1×1的卷积层，批处理正则化和Sigmoid函数得到通道注意力向量，表示各个特征图之间的相关性。

②通道注意力向量与输入特征图进行相乘，相乘的结果与输入特征图相加得到通道加权的特征图。

2)构造浅层分支，浅层分支在深层分支第一个7×7的卷积层之后，添加两个3×3卷积、批处理正则化和ReLU的组合，将特征图下采样到原图的1/8。之后再加入位置注意力模块。位置注意力模块的具体步骤如下：

①将输入的特征图记为A，大小为C×H×W，经过三个1×1的卷积操作生成三个特征图B、C、D，大小均为C×H×W，将特征图B、C、D的大小改变为C×N,其中N＝W×H。

②将特征图C进行转置与特征图B相乘，应用softmax归一化计算空间注意力矩阵S，大小为N×N。

s_ji表示特征图的第i个位置的像素对第j个位置的像素的影响。

③将特征图D与位置注意力矩阵S的转置相乘，得到新的加权的特征图F，并将特征图F大小改变为C×H×W。

④将特征图F与特征图A相加得到特征图E，大小为C×H×W。通过上述的操作，能有选择地根据位置注意力融合上下文信息，相似的语义特征被关联，从而保留了类内的紧凑性和语义一致性。

其中α代表权重系数，初始化为0，随着训练过程逐渐增大。

3)将步骤1)中的结果使用双线性插值上采样两倍，与步骤2)的结果进行融合，具体融合的步骤如下：

①将步骤1)和步骤2)得到的特征图进行堆叠，然后依次经过1×1的卷积层，批处理正则化，ReLU。

②将步骤①得到的特征图依次经过全局平局池化，1×1的卷积、ReLU、1×1的卷积、Sigmoid，将该结果与步骤①得到的特征图进行相乘，并且与其相加得到了融合后的特征图。

3、网络训练。

对构建的语义分割网络进行训练，将训练集中数据分批次放入网络中，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，具体采用交叉熵损失，使用RMSprop优化器进行优化，直至目标函数值不下降时结束训练。

4、测试图像。

将测试图像集输入步骤三训练语义分割网络，得到预测的结果图，并使用平均交并比指标mIoU进行评价。

Claims (1)

1.一种基于多注意力机制双流融合网络的黄河冰凌语义分割方法，其特征在于包括以下步骤：

步骤一、数据集采集，此数据集中的图像是由不同的无人机在黄河宁夏-内蒙古河段进行拍摄的；通过人工制作相应的标签，对黄河冰凌图像予以分割标注，得到的最终数据集，并根据图像拍摄的时期，等比例划分为训练集、验证集和测试集；

步骤二、构建分割网络结构，整个网络包含浅层分支和深层分支，深层分支中，在残差模块之后加入通道注意力模块；

所述深层分支的网络结构由残差模块组成，首先将输入图像经过步长为2的7×7卷积，然后将输入图像经过步长为2的3×3最大池化得到大小为原图大小1/4的特征图，得到的特征图依次经过残差模块1，2，3，4；经过第4个残差模块后，特征图的分辨率为原图1/16,之后经过一个全局平均池化层得到全局平均池化的值；在残差模块2，3，4之后分别加入通道注意力模块，残差模块4经过通道注意力之后的结果与全局平均池化值相乘，最后把残差模块2，3，4的结果堆叠起来，使用双线性插值进行2倍的上采样；

加入浅层分支并且浅层分支加入位置注意力模块；

所述浅层分支在深层分支第一个7×7的卷积层之后，添加两个3×3卷积、批处理正则化和ReLU的组合，之后再加入位置注意力模块；

引入融合模块融合浅层分支和深层分支的特征；

步骤三、对构建的分割网络进行训练，将训练集中数据分批次放入网络中，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，采用交叉熵损失，使用RMSprop优化器进行优化，直至目标函数的值不下降时结束训练；

步骤四、测试图像集输入步骤三训练的语义分割网络，得到预测的结果图，并使用平均交并比指标mIoU进行评价。

Images