CN111860351B - 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法 - Google Patents

Abstract

本发明公开了一种基于自注意力全卷积神经网络的遥感图像鱼塘提取方法，基本步骤为：利用遥感图像计算NDWI，并利用NDWI进行初步分类，然后制作遥感图像样本集和标定样本集；接下来构建自注意力全卷积神经网络并训练模型，接着用训练后模型对遥感图像进行预测，得到遥感图像各像元类别概率分布；最后将各像元类别概率分布与NDWI分类的结果进行融合，得到分类结果。本发明在使用全卷积神经网络的基础上，设计了行列双向GRU自注意力模型，对遥感图像中的鱼塘提取具有准确度高、边缘完整的特点，可用于鱼塘自动化提取及变化检测等应用。

Description

一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取 方法

技术领域

本发明属于遥感目标识别领域，特别涉及一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法。

背景技术

遥感图像的解译中，最重要的是图像信息的识别。人类对外部视觉的感知是一个统一的整体，包括对场景中每个物体的形状、大小、颜色、距离等性质都按照精确的时空方位等被完整的感知。遥感信息主要包涵了地物的光谱信息，然而不同的物体由于其结构形状和空间位置的不同，在遥感图像上也有明显的反映。人们在视觉判断时，除感受色调、色相的差别外，通过形状和位置的辨认也可以获得大量的信息。遥感图像也是如此，一般仅仅依赖光谱信息不易获得很高的识别精度，只有充分利用了空间结构等图像信息，才能更好地区分地物。

鱼塘是水产养殖的基础。全国各地拥有众多鱼塘,是现代农业产业的重要组成部分。及时准确地掌握鱼塘面积时空分布动态,是水产养殖实现现代化管理的迫切需要。目前，鱼塘养殖区面积以及空间分布的获取方法主要依靠人工实地调查测量，该方法时间周期长，人力投入大。遥感技术由于其具有实时、大范围、动态等优势，逐渐成为鱼塘养殖区监测的主流方法。鱼塘是浅水人工水体，通常具有明显的人造形状。此外，鱼塘的边界是按照节省成本的原则构造的，并且通常采用直线来划定局部区域的边界。因此，鱼塘的边界具有更规则的形状，而且由于边缘较窄以及形状不定等多种因素，传统的分类算法提取鱼塘边缘较为模糊、提取范围不完整，无法自动获得较为规则的几何形状。本发明给出的一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法对边缘细节信息较为敏感，对鱼塘等规则形状物体提取效果较好，可以实现遥感图像上鱼塘的自动化识别和提取。

有益效果

与现有技术相比，本发明具有如下有益效果：本发明给出了一种端对端的鱼塘提取方法，使用全卷积神经网络提取图像丰富的语义信息和细节信息；在此基础上，设计了行列双向GRU自注意力模型，使得本发明的网络能够获取像元同行列其他像元的隐藏信息以及像元间的联系，并且更加注重关键区域，对形状规则且边缘细窄的物体提取效果较佳；最后利用NDWI来改善行列自注意力全卷积神经网络预测的分类结果。本发明自动化程度高，鱼塘提取较为准确、完整。

发明内容

为解决上述问题，本文给出了一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法，其特征在于包括以下步骤：

一、预处理

步骤1：选择带有鱼塘的高分辨率遥感图像中的绿波段、红波段、红外波段组成假彩色图像，计算归一化水体指数NDWI，通过NDWI将遥感图像初步分类为“水体”、“背景”；

步骤2：在步骤1的遥感图像上标记鱼塘和自然水体的样本，得到“鱼塘”、“自然水体”、“背景”这三类待识别目标物的标记结果；

步骤3：将步骤1中的假彩色图像和步骤2中的标记结果裁剪至256*256大小，得到遥感图像样本集和标记样本集；

二、构建行列自注意力全卷积神经网络

步骤4：行列自注意力全卷积神经网络分为编码块和解码块；为获取丰富的图像细节信息和语义信息，编码块采用ResNet101网络，得到不同层的编码输出；解码块利用不同编码层输出细节特征不一致的特点，对带有大量细节信息的浅层编码输出进行行列上下文特征的提取，然后将提取出的行列上下文特征与带有丰富语义信息的深层编码输出进行结合，得到解码输出；

其中，通过行列双向GRU(门控循环单元)自注意力模型来对浅层编码输出进行行列上下文特征的提取，行列上下文特征是像元同行列其他像元的隐藏信息以及像元间的联系，可以用来辅助该像元的类别的判断；行列上下文特征与深层编码输出结合的方式为行列上下文特征与上采样后的深层编码输出进行加权求和操作；

步骤5：为了在得到更大感受野的同时获取行列上下文特征，使用结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型对细节特征损失最少的编码层输出进行操作，得到的结果和步骤4解码输出在通道维相连接，而后在通道维降维并归一化得到各像元类别概率分布；

其中，空洞空间卷积池化金字塔模型由多条带有不同扩张率的空洞卷积通路并联组成，为增强空洞空间卷积池化金字塔模型对于图像上下文特征的提取，所述结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型是在空洞空间卷积池化金字塔模型去除池化层后，在每条通路后添加行列双向GRU自注意力模型；

三、训练

步骤6：将步骤3得到的遥感图像样本集和标记样本集输入至步骤4行列自注意力全卷积神经网络进行训练，得到训练后的模型；

四、分类后处理

步骤7：使用步骤6训练的模型进行预测，将预测后得到的各像元类别概率分布和步骤1中NDWI分类的结果进行融合，得到分类结果；

其中融合的策略为：对于第i行和第j列中的像元，如果NDWI分类后的结果为“水”，则将该像元预测为“背景”的概率修改为0，其他情况该像元预测类别概率分布不变。

进一步地，步骤4中的行列双向GRU自注意力模型，具体实现方式如下：

特征图G^h×w×C可以被划分为h行，每行像元r_i∈G^1×w×C(i＝1,2…,h)，G^h×w×C也可以被划分为w列，每列像元c_j∈G^h×1×C(j＝1,2…,w)；C为通道数；

(1)依空间顺序从下到上，将第i行r_i中的每列像元依从左到右的顺序输入至双向GRU，而后经过自注意力层，得到第i行上下文特征SR_i；将第1行到第h行的上下文特征SR₁-SR_h按照从下到上的顺序拼接得到所有行上下文特征SR；

其中，自注意力层的查询项、键项、值项分别是GRU的输出经过1*1卷积层所得；

(2)依空间顺序从右到左，将第j列c_j中的每行像元依从上到下的顺序输入至双向GRU，而后经过自注意力层，得到第j列上下文特征SC_j；将第1列到第w列的上下文特征SC₁-SC_w按照从右到左的顺序拼接得到所有列上下文特征SC；

其中，自注意力层的查询项、键项、值项分别是GRU的输出经过1*1卷积层所得；

(3)然后将(1)得到的所有行上下文特征SR和(2)得到的所有列上下文特征SC对应行列位置进行加权求和操作，得到行列双向GRU自注意力模型提取的行列上下文特征R。

附图说明

图1是行列自注意力全卷积神经网络的结构图。

图2是行列双向GRU自注意力模型(RCSA)的结构图。

图3是结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型的结构图。

图4是本发明实施例实验结果对比图(深灰色代表“自然水体”、浅灰色代表“鱼塘”、白色代表“背景”)。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明给出的行列自注意力全卷积神经网络结构图如图1所示，其中每个矩形框代表一个神经网络层。其中conv1、conv2_x、conv3_x、conv4_x、conv5_x分别是ResNet101的五组卷积层；RCSA代表行列双向GRU自注意力模型；ASPP-RC代表结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型；Upsampling Block代表上采样块；CAB(Channelattention block)是通道注意力块，可以对输入进行加权求和，加入的目的是改变每一阶段的特征权重以优化一致性；本发明包括以下步骤：

步骤1：选择带有鱼塘的高分辨率遥感图像中的绿波段、红波段、红外波段组成假彩色图像，计算归一化水体指数NDWI，通过NDWI将遥感图像初步分类为“水体”、“背景”；

步骤2：在步骤1的遥感图像上人为标记鱼塘和自然水体的样本，得到“鱼塘”、“自然水体”、“背景”这三类待识别目标物的标记结果；

步骤3：将步骤1中的假彩色图像和步骤2中的标记结果裁剪至256*256大小，得到遥感图像样本集和标记样本集；

步骤4：行列自注意力全卷积神经网络分为编码块和解码块。为获取丰富的图像细节信息和语义信息，编码块采用ResNet101网络，得到不同层的编码输出；解码块利用不同编码层输出细节特征不一致的特点，将深层的编码输出经过上采样后的结果与浅层的编码输出经过行列双向GRU(门控循环单元)自注意力模型的结果进行CAB操作，得到不同层的解码输出；其中，通过行列双向GRU自注意力模型(RSCA)来对浅层编码输出进行行列上下文特征的提取，行列双向GRU自注意力模型的结构图如图2所示，行列上下文特征是像元同行列其他像元的隐藏信息以及像元间的联系，可以用来辅助该像元的类别的判断；

具体地，行列双向GRU自注意力模型的具体步骤如下：

特征图为输入图像的卷积结果，卷积类型可以为空洞卷积或者是深层卷积；从空间上来看，G^h×w×C可以被划分为h行，每行元素r_i∈G^1×w×C(i＝1,2…,h)，G^h×w×C也可以被划分为w列，每列元素c_j∈G^h×1×C(j＝1,2…,w)；C为通道数；

1得到行上下文特征

1.1将第i行r_i中每个像元依空间顺序输入至双向GRU中，得到GRU的输出r′_i；

1.2将输出r′_i分别乘以1*1卷积W_Qc、W_Kc、W_Vc，得到Q_c、K_c、V_c；

其中Q_c＝W_Qc*r′_i，K_c＝W_Kc*r′_i，V_c＝W_Vc*r′_i

1.3计算得到第i行输出

其中softmax()代表softmax函数；

1.4重复1.1-1.3步骤，直至所有行全部处理完毕，得到行上下文特征SR＝[SR₁,SR₂…,SR_n]^T；2得到列上下文特征

2.1将第j列c_j中每个像元依空间顺序输入至双向GRU中，得到GRU的输出c′_j；

2.2将输出c′_j分别乘以1*1卷积W_Qr、W_Kr、W_Vr，得到Q_r、K_r、V_r；

其中Q_r＝W_Qr*c′_i，K_r＝W_Kr*c′_i，V_r＝W_Vr*c′_i

2.3计算得到第j列输出

其中softmax()代表softmax函数；

2.4重复2.1-2.3步骤，直至所有列全部处理完毕，得到列上下文特征SC＝[SC₁,SC₂…,SC_n]；

3.将上述得到的行处理的参数以及列处理所得参数对应位置进行加权求和(权重各取0.5)操作，得到提取后的行列上下文特征R。

R_ij＝0.5*SC_ij+0.5*SR_ij

步骤5：为了在得到更大感受野的同时获取行列上下文特征，使用结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型对细节特征损失最少的Conv1输出进行操作，得到的结果和步骤4解码输出在通道维进行拼接，而后在通道维降维，降维至三维，并归一化得到各像元类别概率分布；

其中，空洞空间卷积池化金字塔模型由多条带有不同扩张率的空洞卷积通路并联组成，为增强空洞空间卷积池化金字塔模型对于图像上下文特征的提取，所述结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型是在空洞空间卷积池化金字塔模型去除池化层后，在每条通路后添加行列双向GRU自注意力模型，并且额外添加1*1卷积层获取原有信息，结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型的结构图如图3所示，其中Atrous convolution为空洞卷积，原始卷积核大小为3*3，rate代表空洞率；降维的目的是将通道数降至待识别目标物类别数；

步骤6：将步骤3得到的遥感图像样本集和标记样本集输入至步骤4行列自注意力全卷积神经网络进行训练，得到训练后的模型；

步骤7：使用步骤6训练的模型进行预测，将预测后得到的各像元类别概率分布和步骤1中NDWI分类的结果进行融合，得到分类结果；

其中融合的策略为：对于第i行和第j列中的像元，如果NDWI分类后的结果为“水”，则将该像元预测为“背景”的概率修改为0，其他情况该像元预测类别概率分布不变。

实验结果：

本发明使用4张遥感图像作为训练数据，1张遥感图像作为测试，分类结果为三类，分别代表鱼塘、自然水体、背景，并将结果与SVM、Deeplabv3+、Reseg、HCN(HomogeneousConvolutional Neural Network)分类后的结果进行对比。本实施例采用mIoU以及各类别的精度和召回率来定量评价方法的性能，详见表1，其中RCSANet代表未经后处理的行列自注意力全卷积神经网络的结果，RCSANet-NDWI代表经过后处理的行列自注意力全卷积神经网络的结果。

表1

请见图4，图中展示表1所述方法的分类结果图，其中深灰色代表“自然水体”、浅灰色代表“鱼塘”、白色代表“背景”，Image代表遥感图像，Ground truth代表标记样本。

从实验结果可以看出，本发明能够较为准确地提取出鱼塘区域，在多项指标上高于其他方法，而且提取的边缘较为完整。本发明很好地解决了遥感图像中鱼塘提取的问题，具有广阔的应用前景和价值。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法，其特征在于，包括以下步骤：

一、预处理

步骤1：选择带有鱼塘的高分辨率遥感图像中的绿波段、红波段、红外波段组成假彩色图像，计算归一化水体指数NDWI，通过NDWI将遥感图像初步分类为“水体”、“背景”；

步骤2：在步骤1的遥感图像上标记鱼塘和自然水体的样本，得到“鱼塘”、“自然水体”、“背景”这三类待识别目标物的标记结果；

步骤3：将步骤1中的假彩色图像和步骤2中的标记结果裁剪至256*256大小，得到遥感图像样本集和标记样本集；

二、构建行列自注意力全卷积神经网络

步骤4：行列自注意力全卷积神经网络分为编码块和解码块；为获取丰富的图像细节信息和语义信息，编码块采用ResNet101网络，得到不同层的编码输出；解码块利用不同编码层输出细节信息与语义信息不一致的特点，对带有大量细节信息的浅层编码输出进行行列上下文特征的提取，然后将提取出的行列上下文特征与带有丰富语义信息的深层编码输出进行结合，得到解码输出；

其中，通过行列双向GRU(门控循环单元)自注意力模型来对浅层编码输出进行行列上下文特征的提取，行列上下文特征是像元同行列其他像元的隐藏信息以及像元间的联系，用来辅助该像元类别的判断；行列上下文特征与深层编码输出结合的方式为行列上下文特征与上采样后的深层编码输出进行加权求和操作；

步骤5：为得到更大感受野的同时获取行列上下文特征，使用结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型对细节特征损失最少的编码层输出进行操作，得到的结果和步骤4解码输出在通道维相连接，而后在通道维降维并归一化得到各像元类别概率分布；

其中，空洞空间卷积池化金字塔模型由多条带有不同扩张率的空洞卷积通路并联组成，为增强空洞空间卷积池化金字塔模型对于图像行列上下文特征的提取，结合行列双向GRU自注意力模型的空洞空间卷积池化金字塔模型是在空洞空间卷积池化金字塔模型去除池化层后，在各条通路后添加行列双向GRU自注意力模型；

三、训练

步骤6：将步骤3得到的遥感图像样本集和标记样本集输入至步骤4行列自注意力全卷积神经网络进行训练，得到训练后的模型；

四、分类后处理

步骤7：使用步骤6训练后的模型进行预测，将预测后得到的各像元类别概率分布和步骤1中NDWI分类的结果进行融合，得到分类结果；

其中融合的策略为：对于第i行和第j列中的像元，如果NDWI分类后的结果为“水”，则将该像元预测为“背景”的概率修改为0，其他情况该像元预测类别概率分布不变。

2.根据权利要求1所述的一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法，其特征在于，步骤4中的行列双向GRU自注意力模型具体实现方式如下：

特征图G^h×w×C可以被划分为h行，每行像元r_i∈G^1×w×C(i＝1,2…,h)，G^h×w×C也可以被划分为w列，每列像元c_j∈G^h×1×C(j＝1,2…,w)；C为通道数；

(1)依空间顺序从下到上，将第i行r_i中的每列像元依从左到右的顺序输入至双向GRU，而后经过自注意力层，得到第i行上下文特征SR_i；将第1行到第h行的上下文特征SR₁-SR_h按照从下到上的顺序拼接得到所有行上下文特征SR；

其中，自注意力层的查询项、键项、值项分别是双向GRU的输出经过1*1卷积层所得；

(2)依空间顺序从右到左，将第j列c_j中的每行像元依从上到下的顺序输入至双向GRU，而后经过自注意力层，得到第j列上下文特征SC_j；将第1列到第w列的上下文特征SC₁-SC_w按照从右到左的顺序拼接得到所有列上下文特征SC；

其中，自注意力层的查询项、键项、值项分别是双向GRU的输出经过1*1卷积层所得；

(3)然后将(1)得到的所有行上下文特征SR和(2)得到的所有列上下文特征SC对应行列位置进行加权求和操作，得到行列双向GRU自注意力模型提取的行列上下文特征R。

Images