CN115331104A - 一种基于卷积神经网络的农作物种植信息提取方法 - Google Patents

Abstract

本发明属于遥感影像作物种植信息提取领域，具体涉及一种基于卷积神经网络并以高分遥感影像为数据源的农作物种植耕地利用信息的提取。本发明提供一种基于卷积神经网络的农作物种植信息提取方法，该方法融合注意力机制与残差模块的卷积网络模型、协同多光谱遥感影像数据，对农作物种植信息进行提取，提高农作物种植信息提取的效果。一种基于卷积神经网络的农作物种植信息提取方法，包括如下步骤：S1、构建经过处理的原始多光谱卫星遥感影像数据集；S2、数据增强；S3、构建模型；S4、设置参数；S5、获取模型训练结果；S6、得到农田种植信息提取结果。

Description

一种基于卷积神经网络的农作物种植信息提取方法

技术领域

本发明属于遥感影像作物种植信息提取领域，具体涉及一种基于卷积神经网络并以高分遥感影像为数据源的农作物种植耕地利用信息的提取。

背景技术

近年来，随着智慧农业技术的快速推进，基于高分辨率遥感影像结合深度学习的技术在产量预测、作物信息提取、种植信息探测等方面变得愈发重要。遥感影像尤其是多光谱的遥感影像可以更好保存地物的光谱特征，同时由于遥感影像数据具有语义特征复杂、影响因素众多的特点。因此，对高分辨率多光谱遥感影像的作物种植信息进行高效的分割成为作物信息提取最具挑战性的研究方向之一。

作物像素级别的分类问题，作物种植信息的提取通常分为人工设置阈值的NDVI、WNDVI等的传统方法与基于计算机深度学习技术的语义分割方法。

以往的提取方法多采用数学模型结合遥感数据对作物种植面积信息进行提取，但其存在精度低、效率低等问题。随着计算机技术的发展，使用计算机视觉技术进行相关研究得到了广泛认可。图像语义分割技术是构成计算机视觉技术的基础。目前语义分割技术广泛应用于农业遥感、自动驾驶、机器人等领域。卷积神经网络网络技术是语义分割技术的重要组成技术。但CNN技术在卷积和池化过程中丢失图像细节所导致的图像分割不精确问题，Jonathan等人提出了FCN模型，率先实现了语义级别的图像分割问题。与传统的CNN方法相比，FCN可实现对每一个像素进行分类，但其在使用过程中存在细节被丢失和被平滑的问题。Segnet和U-Net模型可以较好地克服上述问题。Segnet和U-Net模型结构与FCN模型结构类似，均具有较为明显的“编码-解码”结构，同时均可实现在小数据集上的良好表现。在此基础上，许多新的图像语义分割模型被提出，例如金字塔场景稀疏网络语义分割模型、RefineNet模型和google的Deeplab系列、并且这些模型在许多大型数据集上均可以表现出优异的性能。但是，受限于卫星遥感影像的特殊性，上述模型在应用与遥感影像时，效果通常不甚理想。另外，由于耕地信息提取的训练数据一般都只采用RGB三波段信息，其所能保存的特征丰富度有限。

对于类似U-Net等具有传统结构的卷积网络模型，随着模型深度的增加，模型的退化现象明显，识别误差加大，准确率降低，针对这一现象，何恺明等提出了残差网络模型以解决上述问题，残差结构通过对不相邻的特征图之间添加“跨越式”的Identity mapping通道的方法，达到了加深网络的同时又保证合适的下降梯度的目的。

发明内容

为解决现有农作物种植信息提取中的各种问题，本发明提供一种基于卷积神经网络的农作物种植信息提取方法，该方法融合注意力机制与残差模块的卷积网络模型、协同多光谱遥感影像数据，对农作物种植信息进行提取，提高农作物种植信息提取的效果。

为了达到上述目的，本发明提供了如下技术方案：

一种基于卷积神经网络的农作物种植信息提取方法，其中，所述方法包括如下步骤：

S1、构建经过处理的原始多光谱卫星遥感影像数据集：

S1.1、由遥感卫星采集原始遥感影像数据，形成原始多光谱卫星遥感影像数据集；

原始多光谱卫星遥感影像数据集中包括农田覆盖区域内的以下三类多光谱遥感影像数据：

1、种植作物的农田覆盖区域的多光谱遥感影像数据；

2、未种植作物的农田覆盖区域的多光谱遥感影像数据；及

3、其它覆盖区域的多光谱遥感影像数据；

S1.2、对原始遥感影像数据进行标注

种植作物的农田覆盖区域标注为像素值255，未种植作物的农田覆盖区域标注为像素值200，其它覆盖类型区域标注为像素值0；

S1.3、将原始多光谱卫星遥感影像数据集中的原始多光谱遥感影像数据进行裁剪，裁剪后图像的像素大小为256×256；

S1.4、将裁剪后的原始多光谱卫星遥感影像数据集按照8:1:1的比例划分训练集、验证集与测试集，得到经过处理的原始多光谱卫星遥感影像数据集；

S2、数据增强：

对步骤S1构建的经过处理的原始多光谱遥感影像数据集进行增强，使多光谱卫星遥感影像数据集数据图片数量扩展为原有的4倍，得到包括种植作物的农田覆盖区域、未种植作物的农田覆盖区域、和其它类型覆盖区域的农作物种植信息数据集；

S3、构建模型：

以U-Net模型结构为基础框架，融合注意力机制与残差模块构建URSE-Net卷积神经网络模型；

URSE-Net卷积神经网络模型由编码器、中间层和解码器三部分构成；在编码器部分，使用改进后的残差模块对遥感影像数据进行信息提取；在中间层，使用两种通道注意力机制SE和ECA；在解码器部分，每一层使用一次“卷积-批标准化-激活”操作；

步骤S3.1、融合完全预激活残差模块的编码器

使用将批标准化与激活操作放于卷积操作之前的完全预激活残差模块进行主干网络的搭建，完全预激活残差模块的结构为：批标准化层、激活层、3×3卷积层；

在完全预激活残差模块处理过程中，特征图的通道数始终保持一致，如公式1所示计算方法，经过主干网络提取后，得到4个特征图，按照得到的先后顺序依次为编码器第一特征图C1、编码器第二特征图C2、编码器第三特征图C3、编码器第四特征图C4，其尺寸分别为像素值256×256×64、128×128×128、64×64×256、32×32×512；

公式1中：m为输出特征图的尺寸，单位为像素；w为输入特征图的尺寸，单位为像素；f为过滤器尺寸，单位为像素；s为步长，单位为像素；

编码器部分共分为五个模块，每一模块包含两次残差模块处理和一次卷积操作，同时结合最大池化，实现对原始图像数据尺寸的压缩和通道数量的增加；

在第一模块，输入图片首先经过一次卷积操作，将通道数量变为64，然后经过两次残差模块操作，得到像素值为256×256，通道数为64的特征图，将该特征图作为编码器第一特征图C1，输出到中间层；

结合最大池化操作将编码器第一特征图C1的长宽变为原来的二分之一，并以0.25的神经元丢弃概率输入到第二模块中，在第二模块中，特征图经过两次残差操作，得到像素值为128×128，通道数为128的特征图，将该特征图作为编码器第二特征图C2，输出到中间层；

结合最大池化将编码器第二特征图C2的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第三模块中，在第三模块中，特征图经过两次残差操作，得到像素为64×64，通道数为256的特征图，将该特征图作为编码器第三特征图C3，输出到中间层；

结合最大池化操作将编码器第三特征图C3的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第四模块，在第四模块中，特征图经过两次残差操作，得到像素值大小为32×32，通道数为512的特征图，将该特征图作为第四特征图C4，输出到中间层；

结合最大池化，将编码器第四特征图C4的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第五模块；在第五模块中，特征图经过两次残差操作，得到长宽像素值为16×16，通道数为1024的编码器第五特征图，输出到解码器部分；

步骤S3.2、使用通道注意力机制SE模块和ECA模块的中间层部分

对编码器第一模块得到的编码器第一特征图C1、编码器第二模块得到的编码器第二特征图C2使用SE模块进行处理；对编码器第三模块得到的编码器第三特征图C3、编码器第四模块得到的编码器第四特征图C4使用ECA模块进行处理；

编码器第一特征图C1、编码器第二特征图C2在输入到SE模块之后，依次经过全局池化、全连接操作、激活操作、全连接操作、σ激活操作，在此过程中，其特征图的宽×高×通道数，依次为：1、与输入相同；2、宽和高均变为1，通道数保持不变；3、宽和高为1，通道数变为十六分之一；4、宽和高为1，通道数与输入保持一致；将σ激活操作后的输出与输入相乘得到与输入特征图尺寸及通道数一致的输出特征图，将该特征图输出到解码器部分；

编码器第三特征图C3、编码器第四特征图C4输入之后首先经过一次全局平均池化，其宽和高变为1，通道数量保持不变；之后经过一次一维卷积和σ激活函数操作，其宽、高、通道数保持不变，将其输出与输入特征图相乘得到输出特征图，输出到解码器部分；

步骤S3.3、在解码器部分，每一小部分使用一次“卷积-批标准化-激活”操作与随机丢弃操作的解码器部分

解码器部分结构同样含有五个模块，且每一模块仅包含一次“卷积-批标准化-激活”操作，配合反卷积操作，实现对图像尺寸的还原及通道数量的压缩；

在解码器部分，首先对于编码器第五特征图进行反卷积操作，得到长宽为32×32，通道数为512的解码器第五模块特征图；

将解码器第五模块特征图与经过ECA模块处理后的编码器第四特征图C4叠加，经过一次“卷积-标准化-激活”后，输出32×32×512的解码器第四特征图；

解码器第四特征图经过反卷积后其长宽变为64×64，通道数变为256，并与经过ECA模块处理后的编码器第三特征图C3叠加，经过一次“卷积-标准化-激活”后，输出64×64×256的解码器第三特征图；

解码器第三特征图经过反卷积后其长宽变为128×128，通道数变为128，叠加经过SE模块处理后的编码器第二特征图C2，经过一次“卷积-标准化-激活”后，输出128×128×128的解码器第二特征图；

解码器第二特征图经过反卷积后其长宽变为256×256，通道数为64，叠加经过SE模块处理后的编码器第一特征图C1，经过一次“卷积-标准化-激活”后，输出256×256×64的解码器第一特征图，最后经过一次卷积操作得到预测结果；

S4、设置参数：

在模型中获取训练参数；以步骤S2处理后的训练集数据为数据源，对模型的运行参数进行调整，使得模型达到最佳的运行表现，得到模型训练设置参数；

S5、获取模型训练结果：

对模型训练后得到的权重参数进行保存，并利用S3构建的模型及获取的训练结果对数据集进行特征提取；

S6、得到农田种植信息提取结果：

通过对模型预测结果的可视化方法，利用像素转换技术对模型识别结果进行转换，得到农田种植信息提取的可视化结果并展示。

其中，步骤S2中，数据增强步骤包括：

S2.1、旋转:将经过处理的原始遥感影像进行±90度的旋转；

S2.2、翻转：将经过步骤S2.1旋转后的经过处理的遥感影像分别以x轴和y轴为中心进行翻转。

其中，步骤S4中，设置参数包括：优化器、学习率、批大小和损失函数。

其中，步骤S5中，获取模型训练结果具体包括：以训练集对模型进行训练，验证集对训练结果进行验证，并保存模型在测试集上表现最佳的一组结果，所述表现最佳的判定指标为损失值与准确率。

其中，步骤S6中，得到农田种植信息提取结果具体包括：以S5得到结果模型，对测试集数据进行农田种植信息提取，使用像素转换技术对预测结果进行可视化并进行评估。

与现有技术相比，本发明的有益效果在于：

本申请在编码器部分使用前置批标准化与激活的残差网络模块代替原有结构，实现对网络深层次特征的提取，避免模型的退化现象；在中间处理部分，引入两种通道注意力机制，实现了模型对特征图通道权重的加强；在解码器部分，使用加入批标准化，提高模型的泛化能力同时避免过拟合现象的发生；在模型全局中引入随机丢弃神经元的Dropout操作，也可以有效避免过拟合现象。

附图说明

图1为URSE-Net的模型结构图；

图2为FPA残差模块的示意图；

图3为SE和ECA注意力机制的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

一种基于卷积神经网络的农作物种植信息提取方法，包括如下步骤：

S1、构建经过处理的原始多光谱卫星遥感影像数据集：

S1.1、由遥感卫星采集原始遥感影像数据，形成原始多光谱卫星遥感影像数据集。

原始多光谱卫星遥感影像数据集中包括农田覆盖区域内的以下三类多光谱遥感影像数据：

1、种植作物的农田覆盖区域的多光谱遥感影像数据；

2、未种植作物的农田覆盖区域的多光谱遥感影像数据；及

3、其它覆盖区域的多光谱遥感影像数据。

S1.2、对原始遥感影像数据进行标注

种植作物的农田覆盖区域标注为像素值255，未种植作物的农田覆盖区域标注为像素值200，其它覆盖类型区域标注为像素值0。

S1.3、将原始多光谱卫星遥感影像数据集中的原始多光谱遥感影像数据进行裁剪，裁剪后图像的像素大小为256×256。

S1.4、将裁剪后的原始多光谱卫星遥感影像数据集按照8:1:1的比例划分训练集、验证集与测试集，得到经过处理的原始多光谱卫星遥感影像数据集。

S2、数据增强：

对步骤S1构建的经过处理的原始多光谱遥感影像数据集进行增强，使多光谱卫星遥感影像数据集数据图片数量扩展为原有的4倍，得到包括种植作物的农田覆盖区域、未种植作物的农田覆盖区域、和其它类型覆盖区域的农作物种植信息数据集；

步骤S2中，数据增强步骤包括：

S2.1、旋转:将经过处理的原始遥感影像进行±90度的旋转；

S2.2、翻转：将经过步骤S2.1旋转后的经过处理的遥感影像分别以x轴和y轴为中心进行翻转。

S3、构建模型：

以U-Net模型结构为基础框架，融合注意力机制与残差模块构建URSE-Net卷积神经网络模型。

步骤S3中，针对传统U-Net模型网络深度较浅，深层次特征提取能力较弱，多类别分割时边界信息提取能力较弱的问题，提出一个端到端的语义分割模型URSE-Net，结合改进后的残差模块，优化传统U-Net模型结构。

对于URSE-Net这样的卷积网络模型，伴随着模型深度的增加，模型的过拟合现象也会逐渐明显，对于该现象传统方式会进行“模型融合方法”进行处理，但这又会导致训练和测试时间的增加。为了解决上述问题，本发明在模型进入下一层之前加入了丢弃操作，即按照一定概率暂时随机丢弃网络中部分神经元，同时在解码器部分引入批标准化来避免过拟合现象。

如图1所示，URSE-Net卷积神经网络模型由编码器、中间层和解码器三部分构成。在编码器部分，使用改进后的残差模块对遥感影像数据进行信息提取；在中间层，使用两种通道注意力机制SE和ECA；在解码器部分，每一层使用一次“卷积-批标准化-激活”操作。

步骤S3.1、融合完全预激活残差模块的编码器

综合对比不同残差模块的表现，本发明使用将批标准化与激活操作放于卷积操作之前的完全预激活残差模块(Full pre-activation(FPA))进行主干网络的搭建，FPA残差模块的结构如图2所示。

如图1所示，本发明使用完全预激活残差模块代替传统U-Net主干网路中的卷积操作。

完全预激活残差模块的基本结构为：批标准化层、激活层、3×3卷积层，改进后的残差模块的特征提取能力和泛化能力均有较大提高。

在完全预激活残差模块处理过程中，特征图的通道数始终保持一致，如公式1所示计算方法，经过主干网络提取后，得到4个特征图，按照得到的先后顺序依次为编码器第一特征图C1、编码器第二特征图C2、编码器第三特征图C3、编码器第四特征图C4，其尺寸分别为像素值256×256×64、128×128×128、64×64×256、32×32×512。

公式1中：m为输出特征图的尺寸，单位为像素；w为输入特征图的尺寸，单位为像素；f为过滤器尺寸，单位为像素；s为步长，单位为像素。

编码器部分共分为五个模块，每一模块包含两次残差模块处理和一次卷积操作，同时结合最大池化，实现对原始图像数据尺寸的压缩和通道数量的增加。在第一模块，输入图片首先经过一次卷积操作，将通道数量变为64，然后经过两次残差模块操作，得到像素值为256×256，通道数为64的特征图，将该特征图作为编码器第一特征图C1，输出到中间层；

结合最大池化操作将编码器第一特征图C1的长宽变为原来的二分之一，并以0.25的神经元丢弃概率输入到第二模块中，在第二模块中，特征图经过两次残差操作，得到像素值为128×128，通道数为128的特征图，将该特征图作为编码器第二特征图C2，输出到中间层；

结合最大池化将编码器第二特征图C2的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第三模块中，在第三模块中，特征图经过两次残差操作，得到像素为64×64，通道数为256的特征图，将该特征图作为编码器第三特征图C3，输出到中间层；

结合最大池化操作将编码器第三特征图C3的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第四模块，在第四模块中，特征图经过两次残差操作，得到像素值大小为32×32，通道数为512的特征图，将该特征图作为第四特征图C4，输出到中间层；

结合最大池化，将编码器第四特征图C4的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第五模块；在第五模块中，特征图经过两次残差操作，得到长宽像素值为16×16，通道数为1024的编码器第五特征图，输出到解码器部分。

步骤S3.2、使用通道注意力机制SE模块和ECA模块的中间层部分

对编码器第一模块得到的编码器第一特征图C1、编码器第二模块得到的编码器第二特征图C2使用SE模块进行处理；对编码器第三模块得到的编码器第三特征图C3、编码器第四模块得到的编码器第四特征图C4使用ECA模块进行处理。

注意力机制是实现网络自适应注意的一种方式，常用的注意力机制包括三种，即：通道注意力机制、空间注意力机制，以及将二者结合的通道空间注意力机制。其代表实现方式有SE模块、ECA模块、CBAM模块等。

通过对比试验发现，以下处理方法可以显著地提升模型的信息提取能力，即：对编码器第一模块得到的编码器第一特征图C1、编码器第二模块得到的编码器第二特征图C2使用SE模块进行处理；对编码器第三模块得到的编码器第三特征图C3、编码器第四模块得到的编码器第四特征图C4使用ECA模块进行处理；对编码器第五特征图不进行注意力处理。SE模块与ECA模块插入的位置如图3所示。

SE模块是经典的通道注意力实现方式之一，其主要由全局平均池化(Squeeze)和生成通道权重(Extraction)两部分构成，对于输入的特征图，首先为每个通道独立采用全局平均池化(Squeeze)，然后使用两个全连接层(Fully-connected，FC)以及非线性函数(Sigmoid)来生成通道权重(Extraction)，最后通过与初始权重相乘(Scale)得到一个与输入尺寸相同的特征图。进行全连接时，其通道数量c由公式2确定：

公式2中：C为输入特征图的通道数，r＝16。

在本发明中，编码器第一特征图C1、编码器第二特征图C2在输入到SE模块之后，依次经过全局池化、全连接操作、激活操作、全连接操作、σ激活操作，在此过程中，其特征图的宽×高×通道数，依次为：1、与输入相同；2、宽和高均变为1，通道数保持不变；3、宽和高为1，通道数变为十六分之一；4、宽和高为1，通道数与输入保持一致。将σ激活操作后的输出与输入相乘得到与输入特征图尺寸及通道数一致的输出特征图，将该特征图输出到解码器部分。

ECA模块同样是通道注意力机制实现方式之一，相较于SE模块，ECA模块将SE模块中两次全连接层计算替换为1D卷积，并采用自适应卷积核的方式实现通道注意力机制，相较于SE模块，ECA模块更为轻量化，所需参数更少。其自适应卷积核k的大小由公式3获得：

公式3中，k为自适应卷积核的像素大小，C为输入通道数，b设置为1，γ设置为2，odd为只能取奇数。

在本发明中，编码器第三特征图C3、编码器第四特征图C4输入之后首先经过一次全局平均池化，其宽和高变为1，通道数量保持不变；之后经过一次一维卷积和σ激活函数操作，其宽、高、通道数保持不变，将其输出与输入特征图相乘得到输出特征图，输出到解码器部分。

步骤S3.3、在解码器部分，每一小部分使用一次“卷积-批标准化-激活”操作与随机丢弃操作的解码器部分

解码器部分结构与编码器部分相似，同样含有五个模块，且每一模块仅包含一次“卷积-批标准化-激活”操作，配合反卷积操作，实现对图像尺寸的还原及通道数量的压缩。

在解码器部分，首先对于编码器第五特征图进行反卷积操作，得到长宽为32×32，通道数为512的解码器第五模块特征图；

将解码器第五模块特征图与经过ECA模块处理后的编码器第四特征图C4叠加，经过一次“卷积-标准化-激活”后，输出32×32×512的解码器第四特征图；

解码器第四特征图经过反卷积后其长宽变为64×64，通道数变为256，并与经过ECA模块处理后的编码器第三特征图C3叠加，经过一次“卷积-标准化-激活”后，输出64×64×256的解码器第三特征图；

解码器第三特征图经过反卷积后其长宽变为128×128，通道数变为128，叠加经过SE模块处理后的编码器第二特征图C2，经过一次“卷积-标准化-激活”后，输出128×128×128的解码器第二特征图；

解码器第二特征图经过反卷积后其长宽变为256×256，通道数为64，叠加经过SE模块处理后的编码器第一特征图C1，经过一次“卷积-标准化-激活”后，输出256×256×64的解码器第一特征图，最后经过一次卷积操作得到预测结果。

S4、设置参数：

在模型中获取训练参数；以步骤S2处理后的训练集数据为数据源，对模型的运行参数进行调整，使得模型达到最佳的运行表现，得到模型训练设置参数。

步骤S4中，设置参数包括：优化器、学习率、批大小和损失函数。

S5、获取模型训练结果：

对模型训练后得到的权重参数进行保存，并利用S3构建的模型及获取的训练结果对数据集进行特征提取；

步骤S5中，获取模型训练结果具体包括：以训练集对模型进行训练，验证集对训练结果进行验证，并保存模型在测试集上表现最佳的一组结果，所述表现最佳的判定指标为损失值与准确率。

S6、得到农田种植信息提取结果：

通过对模型预测结果的可视化方法，利用像素转换技术对模型识别结果进行转换，得到农田种植信息提取的可视化结果并展示。

步骤S6中，得到农田种植信息提取结果具体包括：以S5得到结果模型，对测试集数据进行农田种植信息提取，使用像素转换技术对预测结果进行可视化并进行评估。

实施例：

根据本发明提供的基于卷积神经网络的农作物种植信息提取方法，包括如下步骤：

S1、构建经过处理的原始多光谱卫星遥感影像数据集：

对原始遥感影像数据进行标注，种植作物的农田覆盖区域标注为像素值255，未种植作物的农田覆盖区域标注为像素值200，其它覆盖类型区域标注为像素值0。

将卫星遥感数据裁剪成像素值大小为256×256的规格。

裁剪后的遥感影像按照8:1:1的比例划分训练集、验证集与测试集，得到一个包含训练集5300张、验证集530张、测试集530张的原始遥感影像数据集。

S2、数据增强：

S2.1、旋转:将经过处理的原始遥感影像进行±90度的旋转；

S2.2、翻转：将经过步骤S2.1旋转后的经过处理的遥感影像分别以x轴和y轴为中心进行翻转。

S3、构建模型：以U-Net模型结构为基础框架，融合SE、ECA注意力机制模块与残差模块构建URSE-Net卷积神经网络模型。

URSE-Net模型由编码器、中间层和解码器三部分构成。参考图1，编码器部分共分为五个模块，每一模块包含两次残差模块处理和一次卷积操作，同时结合最大池化，实现对原始图像数据尺寸的压缩和通道数量的增加；中间层部分利用编码器部分的输出四个特征图C1、C2、C3、C4，通过注意力机制进行处理；解码器部分结构与编码器部分相似，同样含有五个模块，且每一模块仅包含一次“卷积-批标准化-激活”操作，配合反卷积操作，实现对图像尺寸的还原及通道数量的压缩。

S4、设置参数：模型优化器选用自适应动量的随机优化方法(Adam)，学习率为e-⁴，批大小设置为8，使用交叉熵为损失函数，使得该模型训练达到最优。

最大迭代次数设置为100，早停设置为经过10次迭代，验证集loss不下降模型即停止训练，并保存其在验证集表现最好的一组权重。

S5、取模型训练结果：

对模型训练后得到的参数进行保存，得到农田种植信息提取模型，并利用模型及训练结果对数据集进行特征提取；

步骤S5中，获取模型训练结果具体包括：以训练集对模型进行训练，验证集对训练结果进行验证，并保存模型在测试集上表现最佳的一组结果。

S6、得到农田种植信息提取结果：

通过对模型预测结果的可视化方法，利用像素转换技术对模型识别结果进行转换，得到农田种植信息提取的可视化结果并展示。

步骤S6中，得到农田种植信息提取结果具体包括：以S5得到结果模型，对测试集数据进行农田种植信息提取，使用像素转换技术对预测结果进行可视化并进行评估。

通过对比验证的方法对比了URSE-Net、DeepLabv3+、PSPNet、U-Net、SegNet五个农作物种植信息提取方法，各方法均使用相同的训练集、验证集与测试集进行对比，同时为了更好的发挥模型性能，综合考虑硬件水平，批大小设置为4、8、16、32、64，取各方法最佳结果进行对比。

在相同条件下，分别对U-Net、Segnet、PSPnet、Deeplabv3+预测结果进行分析。

根据本研究的特点即实现在像素级别上的精确分类，在研究总精度时使用像素精度(pixel accuracy，PA)和平均交并比(mean Intersection over Union，mIoU)为评价指标

表2各个模型评价指标

综上表明，URSE-Net模型在使用多光谱遥感影像进行农作物种植信息提取任务时，具有更高的像素精度和更加平衡的精确度，模型的泛化能力和鲁棒性较好。

Claims (5)

1.一种基于卷积神经网络的农作物种植信息提取方法，其特征在于：所述方法包括如下步骤：

S1、构建经过处理的原始多光谱卫星遥感影像数据集：

S1.1、由遥感卫星采集原始遥感影像数据，形成原始多光谱卫星遥感影像数据集；

原始多光谱卫星遥感影像数据集中包括农田覆盖区域内的以下三类多光谱遥感影像数据：

1、种植作物的农田覆盖区域的多光谱遥感影像数据；

2、未种植作物的农田覆盖区域的多光谱遥感影像数据；及

3、其它覆盖区域的多光谱遥感影像数据；

S1.2、对原始遥感影像数据进行标注

种植作物的农田覆盖区域标注为像素值255，未种植作物的农田覆盖区域标注为像素值200，其它覆盖类型区域标注为像素值0；

S1.3、将原始多光谱卫星遥感影像数据集中的原始多光谱遥感影像数据进行裁剪，裁剪后图像的像素大小为256×256；

S1.4、将裁剪后的原始多光谱卫星遥感影像数据集按照8:1:1的比例划分训练集、验证集与测试集，得到经过处理的原始多光谱卫星遥感影像数据集；

S2、数据增强：

对步骤S1构建的经过处理的原始多光谱遥感影像数据集进行增强，使多光谱卫星遥感影像数据集数据图片数量扩展为原有的4倍，得到包括种植作物的农田覆盖区域、未种植作物的农田覆盖区域、和其它类型覆盖区域的农作物种植信息数据集；

S3、构建模型：

以U-Net模型结构为基础框架，融合注意力机制与残差模块构建URSE-Net卷积神经网络模型；

URSE-Net卷积神经网络模型由编码器、中间层和解码器三部分构成；在编码器部分，使用改进后的残差模块对遥感影像数据进行信息提取；在中间层，使用两种通道注意力机制SE和ECA；在解码器部分，每一层使用一次“卷积-批标准化-激活”操作；

步骤S3.1、融合完全预激活残差模块的编码器

使用将批标准化与激活操作放于卷积操作之前的完全预激活残差模块进行主干网络的搭建，完全预激活残差模块的结构为：批标准化层、激活层、3×3卷积层；

在完全预激活残差模块处理过程中，特征图的通道数始终保持一致，如公式1所示计算方法，经过主干网络提取后，得到4个特征图，按照得到的先后顺序依次为编码器第一特征图C1、编码器第二特征图C2、编码器第三特征图C3、编码器第四特征图C4，其尺寸分别为像素值256×256×64、128×128×128、64×64×256、32×32×512；

公式1中：m为输出特征图的尺寸，单位为像素；w为输入特征图的尺寸，单位为像素；f为过滤器尺寸，单位为像素；s为步长，单位为像素；

编码器部分共分为五个模块，每一模块包含两次残差模块处理和一次卷积操作，同时结合最大池化，实现对原始图像数据尺寸的压缩和通道数量的增加；

在第一模块，输入图片首先经过一次卷积操作，将通道数量变为64，然后经过两次残差模块操作，得到像素值为256×256，通道数为64的特征图，将该特征图作为编码器第一特征图C1，输出到中间层；

结合最大池化操作将编码器第一特征图C1的长宽变为原来的二分之一，并以0.25的神经元丢弃概率输入到第二模块中，在第二模块中，特征图经过两次残差操作，得到像素值为128×128，通道数为128的特征图，将该特征图作为编码器第二特征图C2，输出到中间层；

结合最大池化将编码器第二特征图C2的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第三模块中，在第三模块中，特征图经过两次残差操作，得到像素为64×64，通道数为256的特征图，将该特征图作为编码器第三特征图C3，输出到中间层；

结合最大池化操作将编码器第三特征图C3的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第四模块，在第四模块中，特征图经过两次残差操作，得到像素值大小为32×32，通道数为512的特征图，将该特征图作为第四特征图C4，输出到中间层；

结合最大池化，将编码器第四特征图C4的长宽变为原来的二分之一，并以0.5的神经元丢弃概率输入到第五模块；在第五模块中，特征图经过两次残差操作，得到长宽像素值为16×16，通道数为1024的编码器第五特征图，输出到解码器部分；

步骤S3.2、使用通道注意力机制SE模块和ECA模块的中间层部分

对编码器第一模块得到的编码器第一特征图C1、编码器第二模块得到的编码器第二特征图C2使用SE模块进行处理；对编码器第三模块得到的编码器第三特征图C3、编码器第四模块得到的编码器第四特征图C4使用ECA模块进行处理；

编码器第一特征图C1、编码器第二特征图C2在输入到SE模块之后，依次经过全局池化、全连接操作、激活操作、全连接操作、σ激活操作，在此过程中，其特征图的宽×高×通道数，依次为：1、与输入相同；2、宽和高均变为1，通道数保持不变；3、宽和高为1，通道数变为十六分之一；4、宽和高为1，通道数与输入保持一致；将σ激活操作后的输出与输入相乘得到与输入特征图尺寸及通道数一致的输出特征图，将该特征图输出到解码器部分；

编码器第三特征图C3、编码器第四特征图C4输入之后首先经过一次全局平均池化，其宽和高变为1，通道数量保持不变；之后经过一次一维卷积和σ激活函数操作，其宽、高、通道数保持不变，将其输出与输入特征图相乘得到输出特征图，输出到解码器部分；

步骤S3.3、在解码器部分，每一小部分使用一次“卷积-批标准化-激活”操作与随机丢弃操作的解码器部分

解码器部分结构同样含有五个模块，且每一模块仅包含一次“卷积-批标准化-激活”操作，配合反卷积操作，实现对图像尺寸的还原及通道数量的压缩；

在解码器部分，首先对于编码器第五特征图进行反卷积操作，得到长宽为32×32，通道数为512的解码器第五模块特征图；

将解码器第五模块特征图与经过ECA模块处理后的编码器第四特征图C4叠加，经过一次“卷积-标准化-激活”后，输出32×32×512的解码器第四特征图；

解码器第四特征图经过反卷积后其长宽变为64×64，通道数变为256，并与经过ECA模块处理后的编码器第三特征图C3叠加，经过一次“卷积-标准化-激活”后，输出64×64×256的解码器第三特征图；

解码器第三特征图经过反卷积后其长宽变为128×128，通道数变为128，叠加经过SE模块处理后的编码器第二特征图C2，经过一次“卷积-标准化-激活”后，输出128×128×128的解码器第二特征图；

解码器第二特征图经过反卷积后其长宽变为256×256，通道数为64，叠加经过SE模块处理后的编码器第一特征图C1，经过一次“卷积-标准化-激活”后，输出256×256×64的解码器第一特征图，最后经过一次卷积操作得到预测结果；

S4、设置参数：

在模型中获取训练参数；以步骤S2处理后的训练集数据为数据源，对模型的运行参数进行调整，使得模型达到最佳的运行表现，得到模型训练设置参数；

S5、获取模型训练结果：

对模型训练后得到的权重参数进行保存，并利用S3构建的模型及获取的训练结果对数据集进行特征提取；

S6、得到农田种植信息提取结果：

通过对模型预测结果的可视化方法，利用像素转换技术对模型识别结果进行转换，得到农田种植信息提取的可视化结果并展示。

2.如权利要求1所述的基于卷积神经网络的农作物种植信息提取方法，其特征在于：

步骤S2中，数据增强步骤包括：

S2.1、旋转:将经过处理的原始遥感影像进行±90度的旋转；

S2.2、翻转：将经过步骤S2.1旋转后的经过处理的遥感影像分别以x轴和y轴为中心进行翻转。

3.如权利要求1所述的基于卷积神经网络的农作物种植信息提取方法，其特征在于：步骤S4中，设置参数包括：优化器、学习率、批大小和损失函数。

4.如权利要求1所述的基于卷积神经网络的农作物种植信息提取方法，其特征在于：步骤S5中，获取模型训练结果具体包括：以训练集对模型进行训练，验证集对训练结果进行验证，并保存模型在测试集上表现最佳的一组结果，所述表现最佳的判定指标为损失值与准确率。

5.如权利要求1所述的基于卷积神经网络的农作物种植信息提取方法，其特征在于：步骤S6中，得到农田种植信息提取结果具体包括：以S5得到结果模型，对测试集数据进行农田种植信息提取，使用像素转换技术对预测结果进行可视化并进行评估。

Images