CN116012713A - 基于多源卫星遥感数据的作物种植信息监测方法 - Google Patents

Abstract

本发明属于农业信息化技术领域，具体涉及一种基于多源卫星遥感数据的作物种植信息监测方法，该方法包括步骤：多空间分辨率遥感卫星影像整合；识别目标注意力强弱评估与排序；基于全连接神经网络的特征提取；基于密集连接的特征融合；设计编码‑解码结构，编码特征，最终解码并网络输出作物三七黑色遮荫棚分析结果；本发明研究基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型，设计作物三七黑色遮荫棚多特征的特征抽取、分析能力，通过密集注意力机制进一步增强作物三七黑色遮荫棚的特征传递和累积整合特性，通过自动学习和挖掘，实现顾及作物三七黑色遮荫棚多层次特征的多源卫星遥感作物黑棚自动提取新方法。

Description

基于多源卫星遥感数据的作物种植信息监测方法

技术领域

本发明属于农业信息化技术领域，具体涉及一种基于多源卫星遥感数据的作物种植信息监测方法。

背景技术

遥感技术具有高效、快速、动态、宏观和实施成本低等优点，目前已广泛应用于农业经济作物的面积调查、产量估算以及长势监测等方面。农业遥感已经成为传统农业向信息化农业过渡的主要支撑技术之一。与粮食、蔬菜等农作物相比，中草药具有产地区域性较强、经济价值较高、且市场需求量弹性较弱等特点，如果相关部门不加以引导，很容易造成与市场供求失衡相伴随的价格大幅度波动，从而对药农的经济利益和生产生活造成很大影响。这就要求相关部门须掌握时效性强且准确的产量数据。

很多中药要作物需要使用遮荫棚，本申请基于此进行研究，以三七中草药为例进行进一步说明：三七为多年喜阴草本植物，全生长期(2-3年)需人工搭建荫棚覆盖，通过对荫棚的遥感解译提取可估算三七种植面积。由于解译对象为荫棚，属于人工建造物，与周围地物存在差异，目前大部分三七荫棚都以透光力更易于控制的黑色塑料遮阳网代替传统的枯枝棚，且云南三七种植面积多为5～10亩或数十亩连片，因此，利用卫星遥感技术识别三七荫棚信息，提取三七种植面积具有一定的可行性。在当前技术条件下，三七种植信息监测方法，主要面临如下挑战：

1)近年来，三七遮阳棚多以黑遮阳棚形式出现，但单从光谱来提取黑色大棚覆盖区域易与水体、阴影以及部分人工地物混淆；

2)三七规格品种类型较多，采用的是所有品种的年平均价格作为价格分析的数据，但是单以所有规格品种三七平均价格为例进行分析，不能完全代表其他规格品种的价格走势，从而不能完全确切反映三七种植面积与市场价格的关系；

3)虽然当前研究呈现出人工特征先验知识与深度学习模型相结合的技术发展方向，国内外在植物遥感调查方面已做过大量的研究工作，但主要研究对象为成片生长的灌木、乔木类植物，而对于草本植物三七这一重要经济作物的遥感调查与监测尚缺少探索。

发明内容

本发明的目的在于克服传统技术中存在的上述问题，提供一种基于多源卫星遥感数据的作物种植信息监测方法。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

本发明提供一种基于多源卫星遥感数据的作物种植信息监测方法，包括以下步骤：

步骤一、多空间分辨率遥感卫星影像整合；

步骤二、识别目标注意力强弱评估与排序；

步骤三、基于全连接神经网络的特征提取；

步骤四、基于密集连接的特征融合；

步骤五、设计编码-解码结构，编码特征，最终解码并网络输出作物黑色遮荫棚分析结果。

进一步地，步骤一中，在人眼识别经验、注意的特征整合理论认识基础上，利用深度学习和多源遥感数据种植区监测深度学习的训练样本，进一步实现包括，

1)作物黑色遮荫棚的立体视觉注意特征分析；

2)作物黑色遮荫棚场景的注意力分析方法；

3)研究多源遥感数据作物黑色遮荫棚目标的差异和视觉注意力评估方法，以及不同目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立作物黑色遮荫棚提取深度学习的计算策略及优化流程；

5)在进行基于深度学习的高分卫星作物信息智能识别是需要随不同来源的数据进行统一的坐标和投影变换，几何、辐射校正，以选取遥感影像云量较少且质量高的影像。

进一步地，步骤二中，根据多源遥感数据作物黑色遮荫棚提取所需要识别的目标，以及对应所建立的作物黑色遮荫棚样本库，通过开展步骤一，实现基于深度学习的作物黑色遮荫棚视觉注意特征分析方法、以及基于深度学习的视觉注意力评估方法，并利用这些方法对所需要识别的作物黑色遮荫棚进行视觉注意力强弱评估与排序，以此作为执行作物黑色遮荫棚识别的顺序。

进一步地，步骤三中，主要采用顾及作物生长变换差异的全连接神经元网络结构实现作物黑色遮荫棚的提取，在训练中权重信息共享，需要更少的参数、不容易出现过拟合。

进一步地，步骤三中，将密集连接机制引入到全连接神经网络，设计和开发了基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型。

进一步地，步骤四中，在密集连接结构中，先前所有卷积层的特征映射都与后面层特征有关联，即第L个卷积层能够获取先前所有卷积层(X₀，X₁,X_2，K X_L-1)的特征映射作为输入：

X_L＝F_L([X₀，X₁，X₂,K,X_L-1])；

其中，[X₀，X₁，X₂,K,X_L-1]表示先前所有特征映射的融合，而非线性转换函数F_L包括批归一化层、激活函数和卷积层；

密集连接结构构建了一个增长率降低密集连接结构中特征层的冗余，提高网络结构的效率。

进一步地，步骤五中，编码过程即为图像下采样特征抽取过程，其输入层为长宽为512×512遥感影像，下采样层包含1个步长为2，卷积核大小为7的卷积层和5个密集连接块，密集连接块记为DenseBlock；最终可将遥感影像抽取为16×16×256的高度抽象特征图；解码过程即特征恢复过程，具体为下采样高度抽象特征图经4次反卷积特征恢复和4次DenseBlock特征提取操作，生成512×512×144的特征恢复图；特征恢复过程中，由跳跃连接结构将上采样与下采样过程中相同长宽特征图进行融合，以提高特征利用度，弥补特征损失；再经一次卷积操作恢复为512×512×2的裸地、背景二值影像图，即输出与输入图像宽高尺度相同的单通道裸地特征图，再通过随机梯度下降优化器和交叉熵损失函数更新特征权重，实现遥感影像特征的学习；

解码结构中，反卷积的高级特征通过跳跃连接层融合编码结构中低级特征，并利用注意力机制指导低级特征获取不同类型的空间细节信息；

最终，网络输出建筑物语义分析结果。

进一步地，步骤六中，采用孪生深度学习神经网络结构，实现作物产量估算和价值预测；孪生神经网络是一类包含两个或多个相同子网络和决策网神经网络架构；在孪生网络中，两个分支网络共享完全相同的体系结构和相同的权重集；孪生网络中的子网络具有相同的参数和权重，在网络训练过程时参数是在子网上共同进行更新；孪生神经网络有助于发现不同结构之间的相似性和关系；孪生网络中的子网共享权重意味着训练需要更少的参数，也就意味着需要更少的数据并且不容易过拟合；每个分支网络接受一个图像作为输入。

进一步地，分支网络主要由一系列卷积、Relu和最大池层组成，孪生网络的分支可以看作描述计算模块，它主要是进行特征的提取；顶部网络是将两个分支网络输出的特征被连接作为输入；顶部决策网络在不同的任务中呈现不同的形式，起到不同的作用；在作物信息提取语义分析的任务中顶部网络主要是作为解码器，它主要包括反卷积层、卷积层、Relu函数，并被用于恢复孪生网络融合后特征的空间信息和高频细节特征，生成语义分割图；因此，孪生网络的这种特性能够有效的顾及不同数据源之间的相互关系，提高作物产量估算和价格预测的准确性。

进一步地，作物为种植过程中需要使用黑色遮荫棚的草本经济作物，如三七。

本发明的有益效果是：

1、本发明提供一种基于多源卫星遥感数据的作物种植信息监测方法，以“如何利用深度学习，模拟人眼立体视觉中作物黑色遮荫棚多特征表达形式”为核心，研究基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型，设计作物黑色遮荫棚多特征的特征抽取、分析能力，通过密集注意力机制进一步增强作物黑色遮荫棚的特征传递和累积整合特性，通过构建深层的神经网络模型，逐层地、由浅到深地从庞大的数据集中自动学习，挖掘数据中的隐含特征，深度挖掘多源卫星遥感作物黑色遮荫棚的多层次、多维度的特征和空间关系，实现顾及作物黑色遮荫棚多层次特征的多源卫星遥感作物黑棚自动提取新方法。

2、本发明采用顾及作物生长和种植的孪生深度学习神经网络结构，实现作物产量估算和价值预测，提高作物产量估算和价格预测的准确性。

3、本发明在应用上，取得具有实用价值的中草药作物自动提取技术以及作物产量估算和价格预测技术，可以为相关部门指导作物的合理种植提供决策依据。

当然，实施本发明的任一产品并不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的模型结构；

图2为本发明中作物信息孪生结构示意图。

图3为本发明中注意力机制结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的具体实施例为：

实施例一

本实施例中作物选择三七草本作物，对应提供一种基于多源卫星遥感数据的云南省文山州三七种植信息监测方法，包括以下步骤：

步骤一、顾及视觉注意力机制的三七黑色遮荫棚提取优化流程；

在“人眼识别经验”和“注意的特征整合理论”认识基础上，主要利用深度学习和三七黑色遮荫棚样本，进一步实现包括，

1)三七黑色遮荫棚的立体视觉注意特征分析；

2)三七黑色遮荫棚场景的注意力分析方法；

3)研究多源遥感数据三七黑色遮荫棚目标的差异和视觉注意力评估方法，以及不同目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立三七黑色遮荫棚提取深度学习的计算策略及优化流程；

5)在进行基于深度学习的高分卫星三七信息智能识别是需要随不同来源的数据进行统一的坐标和投影变换，几何、辐射校正，以选取遥感影像云量较少且质量高的影像。

步骤二、识别目标注意力强弱评估与排序；

根据多源遥感数据三七黑色遮荫棚提取所需要识别的目标，以及对应所建立的三七黑色遮荫棚样本库，通过开展步骤一，实现基于深度学习的三七黑色遮荫棚视觉注意特征分析方法、以及基于深度学习的视觉注意力评估方法，并利用这些方法对所需要识别的三七黑色遮荫棚进行视觉注意力强弱评估与排序，以此作为执行三七黑色遮荫棚识别的顺序；

步骤三、基于全连接网络的特征提取；

为提高方法效率和可靠性，本实施例采用全连接网络作为基本框架，将密集连接机制引入到全连接神经网络，设计和开发了基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型，在训练中权重信息共享，需要更少的参数、不容易出现过拟合；

具体的，本实施例涉及一个浅层孪生网络结构，将无人机遥感数据产品的数字正射影像(DOM，Digital Orthophoto Map)与数字表面模型(DSM，Digital Surface Model)作为网络输入，其中一支网络提取建筑物的纹理和光谱信息，另一支网络充分挖掘建筑物的空间结构信息，两支网络具有相同的卷积层，经过两次卷积操作后，将两类特征的输出结果合并，最后选用5×5的卷积核进行特征融合。

步骤四、基于密集连接的特征融合；

现有常用的卷积神经网络(CNN，Convolutional Neural Networks)主要由一系列卷积层组成，每个卷积层之间都存在非线性转换函数F_L。一般非线性函数包括卷积操作、激活单元和池化操作。假设第L个卷积层的输入和输出分别为X_L-1和X_L，则相邻卷积层之间的信息转换可表示为：

X_L＝F_L(X_L-1)  (1)

这种信息的简单转换会造成特征信息的丢失并降低了相邻卷积层间的信息反馈，而在多源遥感数据语义分析中，密集连接结构(Densenet)被广泛应用与解决此类问题。

密集连接结构能够复用先前所有卷积层的特征信息，有效减少训练过程中的网络参数，使网络结构更易训练。在密集连接结构中，先前所有卷积层的特征映射都与后面层特征有关联，即第L个卷积层能够获取先前所有卷积层(X₀，X₁,X₂，K X_L-1)的特征映射作为输入：

X_L＝F_L([X₀，X₁，X₂,K,X_L-1])       (2)

其中，[X₀，X₁，X₂,K,X_L-1]表示先前所有特征映射的融合，而非线性转换函数F_L包括批归一化层、激活函数和卷积层。

此外，密集连接结构中构建了一个增长率(Growth Rate)降低密集连接结构中特征层的冗余，提高网络结构的效率。

步骤五，设计编码-解码结构，编码特征，最终解码并网络输出三七黑色遮荫棚语义分析结果；

由于密集连接结构的高效性，本文基于全连接神经网络设计一个新的编码-解码结构。

结合步骤一至步骤四，为了充分利用三七黑色遮荫棚的多特征信息，在网络的顶端文本设计一个将密集连接机制引入到全连接神经网络，设计和开发了基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型，并在进入编码结构之前融合抽取的空间特征和光谱特征。

编码过程即为图像下采样特征抽取过程，其输入层为长宽为512×512遥感影像，下采样层包含1个步长为2，卷积核大小为7的卷积层和5个密集连接块(DenseBlock)，最终可将遥感影像抽取为16×16×256的高度抽象特征图；解码过程即特征恢复过程，具体为下采样高度抽象特征图经4次反卷积特征恢复和4次DenseBlock特征提取操作，生成512×512×144的特征恢复图；特征恢复过程中，由跳跃连接结构将上采样与下采样过程中相同长宽特征图进行融合，以提高特征利用度，弥补特征损失；再经一次卷积操作恢复为512×512×2的三七黑色遮荫棚、背景二值影像图，即输出与输入图像宽高尺度相同的单通道裸地特征图，再通过随机梯度下降优化器和交叉熵损失函数更新特征权重，实现遥感影像特征的学习；

编码结构中主要包括密集连接块和转换层，前者利用密集连接结构增强特征，后者通过下采样扩大特征感受野进一步提取三七黑色遮荫棚的抽象特征。在解码结构中，反卷积的高级特征通过跳跃连接层融合编码结构中低级特征，并利用注意力机制指导低级特征获取不同类型的空间细节信息；最终，网络输出三七黑色遮荫棚语义分析结果。

步骤六、采用顾及三七生长和种植的孪生深度学习神经网络结构，实现三七产量估算和价值预测；

孪生神经网络是一类包含两个或多个相同子网络和决策网神经网络架构。在孪生网络中，两个分支网络共享完全相同的体系结构和相同的权重集。孪生网络中的子网络具有相同的参数和权重，在网络训练过程时参数是在子网上共同进行更新。孪生神经网络有助于发现不同结构之间的相似性和关系。孪生网络中的子网共享权重意味着训练需要更少的参数，也就意味着需要更少的数据并且不容易过拟合。每个分支网络接受一个图像作为输入。分支网络主要由一系列卷积、Relu和最大池层组成，孪生网络的分支可以看作描述计算模块，它主要是进行特征的提取。顶部网络是将两个分支网络输出的特征被连接作为输入。顶部决策网络在不同的任务中呈现不同的形式，起到不同的作用。在三七信息提取语义分析的任务中顶部网络主要是作为解码器，它是由反卷积层，卷积层，Relu函数等组成，并被用于恢复孪生网络融合后特征的空间信息和高频细节特征，生成语义分割图。因此，孪生网络的这种特性能够有效的顾及不同数据源之间的相互关系，提高三七产量估算和价格预测的准确性。

利用孪生网络和VGG网络，提出一个新的多特征整合孪生网络进行三七信息提取模型。多特征整合孪生网络整体框架由三个子模块组成：模拟前注意阶段的多特征多层次并行自学习子模块、模拟特征整合阶段的多特征整合子模块、局部注意力多特征融合的上采样解码子模块。具体如下：

1)模拟前注意阶段的多特征多层次并行自学习子模块,首先利用VggNet网络思想在多层次特征累积自学习的优势，分别构建不同时序下遥感图像的自学习子网络：OpticsVggCNNs，建立孪生神经网络的子网络，从而实现多特征自学习和多特征并行自学习网络构架；

2)模拟特征整合阶段的多特征整合子模块，仍然主要利用VggNet网络思想在多层次特征累积传递、多类型特征特征的技术优势，将前注意阶段获得的多类型、多层次特征自学习分量作为模型输入，通过特征整合子模块MFInteVggCNNs，将某层次提取分特征整合为该层次上的总特征，例如将第1层次提取分量整合为第1层次的全面特征描述结果。然后，再将第1层次的全面特征描述结果，以及第2层次提取分量作为整合子模块的模型输入，从而建立多类型特征整合、多层次特征传递与整合的特征整合深度学习子模型机制；

3)局部注意力多特征融合的上采样解码子模块，通过局部注意力多特征融合卷积层，在进行累积解码的同时，不断地结合对应层次的全面特征描述，以实现上采样解码；最后通过激活函数实现语义目标识别。

整个模型构建，在横向上是一个多类型特征并行自学习子模块，在纵向上是一个多层次特征串行累积传递、形成目标语义特征的特征整合子模块，二者之间又不是完全独立，通过特征传递，构建了二者之间的多类型、多层次特征的累积传递关系，设计了从多类型、多层次的初级特征自学习到多类型、多层次特征的整合，从而形成目标语义特征的自学习深度学习模型机制，以实现对注意的特征整合多源数据机制的完全支持和模拟。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.基于多源卫星遥感数据的作物种植信息监测方法，其特征在于包括以下步骤：

步骤一、多空间分辨率遥感卫星影像整合；

步骤二、识别目标注意力强弱评估与排序；

步骤三、基于全连接神经网络的特征提取；

步骤四、基于密集连接的特征融合；

步骤五、设计编码-解码结构，编码特征，最终解码并网络输出作物黑色遮荫棚分析结果。

2.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤一中，在人眼识别经验、注意的特征整合理论认识基础上，利用深度学习和多源遥感数据种植区监测深度学习的训练样本，进一步实现包括，

1)作物黑色遮荫棚的立体视觉注意特征分析；

2)作物黑色遮荫棚场景的注意力分析方法；

3)研究多源遥感数据作物黑色遮荫棚目标的差异和视觉注意力评估方法，以及不同目标注意力评估方法的对比研究；

4)从视觉注意力机制角度，建立作物黑色遮荫棚提取深度学习的计算策略及优化流程；

5)在进行基于深度学习的高分卫星作物信息智能识别是需要随不同来源的数据进行统一的坐标和投影变换，几何、辐射校正，以选取遥感影像云量较少且质量高的影像。

3.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤二中，根据多源遥感数据作物黑色遮荫棚提取所需要识别的目标，以及对应所建立的作物黑色遮荫棚样本库，通过开展步骤一，实现基于深度学习的作物黑色遮荫棚视觉注意特征分析方法、以及基于深度学习的视觉注意力评估方法，并利用这些方法对所需要识别的作物黑色遮荫棚进行视觉注意力强弱评估与排序，以此作为执行作物黑色遮荫棚识别的顺序。

4.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤三中，主要采用顾及作物生长变换差异的全连接神经元网络结构实现作物黑色遮荫棚的提取，在训练中权重信息共享，需要更少的参数、不容易出现过拟合。

5.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤三中，将密集连接机制引入到全连接神经网络，设计和开发了基于引入密集连接的全卷积神经网络的遥感影像地物边界提取的深度学习模型。

6.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤四中，在密集连接结构中，先前所有卷积层的特征映射都与后面层特征有关联，即第L个卷积层能够获取先前所有卷积层(X₀，X₁,X₂，K X_L-1)的特征映射作为输入：

X_L＝F_L([X₀，X₁，X₂,K,X_L-1])；

其中，[X₀，X₁，X₂,K,X_L-1]表示先前所有特征映射的融合，而非线性转换函数F_L包括批归一化层、激活函数和卷积层；

密集连接结构构建了一个增长率降低密集连接结构中特征层的冗余，提高网络结构的效率。

7.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤五中，编码过程即为图像下采样特征抽取过程，其输入层为长宽为512×512遥感影像，下采样层包含1个步长为2，卷积核大小为7的卷积层和5个密集连接块，密集连接块记为DenseBlock；最终可将遥感影像抽取为16×16×256的高度抽象特征图；解码过程即特征恢复过程，具体为下采样高度抽象特征图经4次反卷积特征恢复和4次DenseBlock特征提取操作，生成512×512×144的特征恢复图；特征恢复过程中，由跳跃连接结构将上采样与下采样过程中相同长宽特征图进行融合，以提高特征利用度，弥补特征损失；再经一次卷积操作恢复为512×512×2的裸地、背景二值影像图，即输出与输入图像宽高尺度相同的单通道裸地特征图，再通过随机梯度下降优化器和交叉熵损失函数更新特征权重，实现遥感影像特征的学习；

解码结构中，反卷积的高级特征通过跳跃连接层融合编码结构中低级特征，并利用注意力机制指导低级特征获取不同类型的空间细节信息；

最终，网络输出建筑物语义分析结果。

8.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：步骤六中，采用孪生深度学习神经网络结构，实现作物产量估算和价值预测；孪生神经网络是一类包含两个或多个相同子网络和决策网神经网络架构；在孪生网络中，两个分支网络共享完全相同的体系结构和相同的权重集；孪生网络中的子网络具有相同的参数和权重，在网络训练过程时参数是在子网上共同进行更新；每个分支网络接受一个图像作为输入。

9.根据权利要求8所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：分支网络主要由一系列卷积、Relu和最大池层组成；顶部网络是将两个分支网络输出的特征被连接作为输入。

10.根据权利要求1所述的基于多源卫星遥感数据的作物种植信息监测方法，其特征在于：作物为种植过程中需要使用黑色遮荫棚的草本经济作物。

Images