CN110555343B - 典型资源要素中林、灌、草三要素提取方法和系统 - Google Patents

典型资源要素中林、灌、草三要素提取方法和系统 Download PDF

Info

Publication number
CN110555343B
CN110555343B CN201810555558.4A CN201810555558A CN110555343B CN 110555343 B CN110555343 B CN 110555343B CN 201810555558 A CN201810555558 A CN 201810555558A CN 110555343 B CN110555343 B CN 110555343B
Authority
CN
China
Prior art keywords
sequence
vector
time sequence
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810555558.4A
Other languages
English (en)
Other versions
CN110555343A (zh
Inventor
赵祥
王昊宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201810555558.4A priority Critical patent/CN110555343B/zh
Publication of CN110555343A publication Critical patent/CN110555343A/zh
Application granted granted Critical
Publication of CN110555343B publication Critical patent/CN110555343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种典型资源要素中林、灌、草三要素提取方法和系统，包括：获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对所述向量进行排序，获得向量序列；将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型。本发明一方面更准确地反应出影像中地物的特征，另一方面通过提取更多的时间维度的信息为满足土地覆盖分类的精度要求提供了支持。

Description

典型资源要素中林、灌、草三要素提取方法和系统
技术领域
本发明涉及遥感图像处理技术领域，更具体地，涉及典型资源要素中林、灌、草三要素提取方法和系统。
背景技术
土地覆盖是指地球表面的植被覆盖物和人工覆盖物的总称，是自然植被与自然营造体和人工建造所覆盖的地表诸要素的综合反映。土地覆盖是人类认识自然、掌握自然规律必备的信息，也是各种资源管理和地理信息服务所需要的最基本数据。因此，土地覆盖信息的获取、分析和更新显得极其重要。
遥感影像数据以其宏观性，实时性的特点，一直以来都是土地覆盖检测的重要手段。目前基于遥感数据的土地覆盖提取方法一般分为两种，一种是基于遥感原始图像作为目视解译的传统方法；另一种则是利用深度学习的思想基于遥感的数据产品(包括1级产品和更高级产品)的智能分类。
为了获取一级土地分类产品，目前一般是用遥感数据的反射率产品数据或植被覆盖指数(NDVI，Normalized Difference Vegetation Index)产品数据作为分类依据的分类模型。而随着遥感数据的高级产品的出现，特别是多种陆表特征参量产品(代表性的GLASS(Global land surface satellite)产品，具体可参见：http://glass-product.bnu.edu.cn/)的出现，现有的土地覆盖分类技术方案已经无法满足土地覆盖分类的精度要求。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的典型资源要素中林、灌、草三要素提取方法和系统。
根据本发明实施例的第一方面，提供一种典型资源要素中林、灌、草三要素提取方法，包括：
获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对所述向量进行排序，获得向量序列；
将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；
其中，所述类别标签为预先获取的、与土地覆盖类型对应的特征向量；所述预设的时间递归神经网络是根据类别标签、正向时序的样本向量序列和反向时序的样本向量序列进行训练后得到的。
根据本发明的第二方面，还提供一种典型资源要素中林、灌、草三要素提取系统，包括：
向量序列模块，用于获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对所述向量进行排序，获得向量序列；
识别模块，用于将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；
其中，所述类别标签为预先获取的、与土地覆盖类型对应的特征向量。
根据本发明的第三方面，还提供一种提取设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的提取方法。
根据本发明的第四方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的提取方法。
本发明提出的典型资源要素中林、灌、草三要素提取方法和系统，由于选择的观测数据随不同地物、不同时间会产生差异，利用LSTM网络可提取序列中时间间隔较长的向量间的关系的特性，可以从观测数据中提取出时间特征，即更准确地反应出影像中地物的特征；另一方面，由于LSTM网络可以保存上一时刻的信息，也就意味着每输入一个向量，就可以保留前一个向量的一些信息，因此，本发明实施例为了对影像的土地覆盖类型进行识别，通过将向量序列以正向时序和反向时序输入至LSTM网络中，必然会相比仅以正向时序输入时所提取到的土地在时间维度上的信息更多，通过提取更多的时间维度的信息为满足土地覆盖分类的精度要求提供了支持。
附图说明
图1为根据本发明实施例的土地覆盖类别的提取方法的流程示意图；
图2为根据本发明实施例的将所述向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量的流程示意图；
图3为根据本发明实施例的时间序列层输出对应待识别影像的特征向量的流程示意图；
图4为根据本发明实施例的LSTM网络的隐藏层的结构示意图；
图5为根据本发明实施例的典型资源要素中林、灌、草三要素提取系统的功能框图；
图6为根据本发明实施例的提取设备的框图；
图7为根据本发明实施例通过TensorFlow平台构建的数据流图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了克服现有技术的上述问题，本发明实施例提供了一种典型资源要素中林、灌、草三要素提取方法。参见图1，其中图1为本发明实施例的土地覆盖类别的提取方法的流程示意图，如图所示，该提取方法包括：
101、获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对向量进行排序，获得向量序列；
需要说明的是，本发明实施例中若干个帧的选取方法可以基于待识别影像的总时长来选取，例如若待识别影像的时长为1年，则可以从待识别影像中每个月中相同日期的影像数据中挑选若干个帧，还可以基于待识别影像的拍摄时的日期来选取，例如待识别影像并不是在1年中连续地对某一区域进行拍摄，而是间隙性/不定期地对某一区域进行拍摄，这是可以根据待识别影像的拍摄日期，以预设时间间隔选取若干个帧，甚至也可以采用变化的时间间隔选取附待识别影像中的若干个帧，本发明实施例对帧的选取不做具体的限定。
对于每一帧中的观测数据来说，选取的标准为该观测数据随时间的变化而变化并且呈现一定规律性的数据，例如LAI(Leaf Area Index，叶面积指数)、ET(Evapotranspiration，散蒸)等等，LAI是指植物叶片总面积与土地面积的比值，显然，在不同的季节，植物的叶片总面积会发生变化，比如在冬天，阔叶林植物的叶片掉落，LAI处于较低值，而春天时阔叶林植物的叶片会重新长成，LAI处于较高值；ET是指植被及地面整体向大气输送的水汽总通量，随季节的不同，植被的蒸腾作用会有区别，而土壤中水分蒸发量也会有区别，冬天气温降低，植被的蒸腾作用减缓，土壤中水分蒸发量也降低，ET处于较低值，而夏天气温升高，制备的蒸腾作用旺盛，土壤中水分蒸发量也较高，ET处于较高值，由此可见，LAI和ET都属于随时间变化而变化、并且变化呈现一定规律性的数据。本发明实施例对于观测数据的选择也不做具体的限定。
将每一帧的观测数据作为向量，即将每个帧用向量进行表示，例如以观测数据LAI和ET为例，某一帧的LAI为q1，ET为q2，则该帧表示为(q1,q2)，按照帧的时序对向量进行排序，获得向量序列X＝(x1，…，xT)，即xT为第T帧的向量，进一步地，
Figure BDA0001682284290000051
M表示观测数据的总数。需要说明的是，本发明实施例中观测数据既可以采用真实值，也可以采用对真实值进行处理后的值，例如对真实值进行归一化处理后的值，本发明实施例不做具体的限定。
102、将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，根据时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；类别标签为预先获取的、与土地覆盖类型对应的特征向量。
需要说明的是，时间递归神经网络(Long-Short Term Memory，LSTM)是一种特殊的循环神经网络(Recurrent NeuralNetworks，RNN)，RNN通常用于处理序列问题，序列的每一帧依次从输入层传入RNN网络，输入层节点个数等于序列每一帧的数据维数。隐藏层节点的计算不只依赖于当前输入层的输入，也依赖于上一时刻该隐藏层各节点的激活值。对于输入序列(x1，x2，x3，...xt...xT)，RNN网络将得到隐藏层序列(h1，h2，h2，...ht...hT)和输出序列(y1，y2，y3，...yt...yT),具体计算方法如下：
ht＝H(Wh*[xt,ht-1]+bh)
yt＝O(Who*ht+bo)
其中，H和O表示隐藏层和输出层所用的激活函数，Wh表示输入层和上一时刻隐藏层到当前隐藏层的权重矩阵，Who表示隐藏层到输出层的权重矩阵，而bh和bo分别表示隐藏层和输出层的偏斜向量。RNN网络存在的问题是难以发现序列中的时间间隔较长的帧之间的关系——因为任一帧的输入对后续隐藏层节点和输出层节点的影响会随着时间越来越小。而LSTM网络则可以有效地解决这一问题，LSTM网络在隐藏层加入了状态，使得网络对序列中较长时间前的输入有了记忆的能力。
在本发明实施例中，类别标签即用于描述土地覆盖类型的特征向量，在具体应用时，由于林地、灌木丛和草地随季节变化会产生比较明显的区分，因此可以设置林地、灌木丛以及草地(即林、灌、草)三种土地覆盖类型(也称作典型资源要素)。
本发明实施例中预设的时间递归神经网络是根据类别标签、正向时序的样本向量序列和反向时序的样本向量序列进行训练后得到的。具体地，通过对已知土地覆盖类型的影像获取样本向量序列，然后将类别标签、正向时序的样本向量序列和反向时序的样本向量序列输入时间递归神经网络中，输出土地覆盖类型的分析结果，根据土地覆盖类型的分析结果和实际的土地覆盖类型间的偏差不断修正时间递归神经网络。
综上所述，一方面，本发明实施例所选择的观测数据随不同地物、不同时间会产生差异，利用LSTM网络可提取序列中时间间隔较长的向量间的关系的特性，可以从观测数据中提取出时间特征，即更准确地反应出影像中地物的特征；另一方面，由于LSTM网络可以保存上一时刻的信息，也就意味着每输入一个向量，就可以保留前一个向量的一些信息，因此，本发明实施例为了对影像的土地覆盖类型进行识别，通过将向量序列以正向时序和反向时序输入至LSTM网络中，必然会相比仅以正向时序输入时所提取到的土地在时间维度上的信息更多，通过提取更多的时间维度的信息为满足土地覆盖分类的精度要求提供了支持。
基于上述实施例的内容，作为一种可选实施例，将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型，具体为：
将向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量；
需要说明的是，普通的RNN网络或者LSTM网络的输出皆为与输入序列等长的序列，而由于本发明实施例的LSTM网络输出的是分类结果，因此本发明实施例必然需要对现有的LSTM网络的结构进行改造，在本发明实施例中，LSTM网络包括时间序列层和softmax层，其中时间序列层用于将向量序列转换为单一的向量，使得时间序列层的输出值不再表达时间变化的趋势。
将特征向量以及类别标签输入至softmax层，输出待识别影像中的土地覆盖类型。
需要说明的是，softmax层是神经网络中常见的逻辑层，softmax层的输入是T*1的向量，输出也是T*1的向量(这个向量的值表示这个样本属于每个类的概率)，只不过输出的向量的每个值的大小范围为0到1。即，softmax层输出的向量为样本属于各类的概率。本发明实施例中softmax层中节点的个数与类别标签的个数一致。在本发明实施例中softmax层的输入是一个1行1列的向量，输出即为待识别影像属于各土地覆盖类型的概率，显然，最高概率对应的土地覆盖类型即为待识别影像中的土地覆盖类型。
基于上述实施例的内容，作为一种可选实施例，将向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量，参见图2，具体包括：
201、将向量序列按照正向时序和反向时序分别输入至简化层，输出对应向量序列的正向时序的第一向量和对应向量序列的反向时序的第二向量；
需要说明的是，本发明实施例的时间序列层进一步包括简化层和逻辑回归层，其中，简化层用于将正向时序/反向时序的向量序列化简为一个向量，由于本发明实施的向量序列能够体现影像在时间上的变化趋势，采用简化层用于将向量序列化简为一个向量，克服了参数过大，模型复杂度过高的问题，为后续进一步获取待识别影像对应的特征向量提供了便利。本发明实施例并不限定具体将正向时序/反向时序的向量序列简化为一个向量的方式，例如可以采用将向量序列中各向量去平均值的方法，也可以采用先对向量序列中各向量赋以权重，再取平均值的方法。同理，在采用先对向量序列中个向量赋以权重再去平均值的方法时，本发明并不限定对各向量赋以权重的具体方法，例如，由于向量序列中的各向量自带时间属性，可以根据技术人员对不同时间的看重程度设置权重，还可以根据不同向量对时间的敏感程度设置权重。
202、将第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量。
需要说明的是，逻辑回归层用于将第一向量和第二向量进行整合，得到一个向量，即待识别影像的特征向量。
基于上述实施例的内容，作为一种可选实施例，简化层具体包括隐藏层和平均池层；
相应地，将向量序列按照正向时序和反向时序分别输入至简化层，输出对应向量序列的正向时序的第一向量和对应向量序列的反向时序的第二向量，具体为：
将向量序列按照正向时序和反向时序分别输入至隐藏层，输出与向量序列的正向时序对应的第一输出序列和与向量序列的反向时序对应的第二输出序列；
将第一输出序列和第二输出序列分别输入至平均池层，输出对应向量序列的正向时序的第一向量和对应向量序列的反向时序的第二向量；
其中，第一输出序列和第二输出序列中向量的个数均与向量序列中向量的个数一致。
图3示出了本发明实施例的时间序列层输出对应待识别影像的特征向量的流程示意图，图中向量序列为(x1，x2，x3，...xt...xT)，其中xt表示第t个向量，标有LSTM的矩形表示的是隐藏层，其中同一行的LSTM矩形表示的是同一个LSTM隐藏层，也就是说，本发明实施例的时间序列层具有两个隐藏层：mLSTM和Bi-mLSTM，其中，mLSTM要求向量序列按照正向时序输入，输出第一输出序列(h1，h2，h3，...ht...hT)，而Bi-mLSTM要求向量序列按照反向时序输入，输出第二输出序列
Figure BDA0001682284290000091
标有Mean pooling的矩形表示的是平均池层，也就是说，本发明实施例的时间序列层具有两个平均池层，分别用于输入第一输出序列和第二输出序列，输出第一向量h和第二向量hb，在本发明实施例中，
Figure BDA0001682284290000092
标有Logistic regression的矩形表示的是逻辑回归层，以mLSTM的输出h和Bi－mLSTM的输出hb连接成的新向量为输入，输出待识别影像的特征向量y。
图4为LSTM网络的隐藏层的结构示意图，当序列的第t帧输入到LSTM网络中时，隐藏层的输入包括：当前输入xt、上一时刻的隐藏层输出向量ht-1以及隐藏层状态Ct-1。隐藏层的任务是计算并输出向量ht，并更新状态得到Ct，为此隐藏层加入了遗忘门f、输入门i以及输出门o。遗忘门f决定状态C中的哪些信息被丢弃，输入门i决定输入由xt和ht-1得到的更新信息中有哪些信息能够用于状态C的更新，经过遗忘门和输出门，状态C的更新完成。由于LSTM网络中加入隐藏层状态的目的是使其对隐藏层的输出h产生影响，因此输出门o用于决定状态C中的哪些信息作用到ht的计算中。图2中的δ表示sigmod激活函数，3个新加门以及隐藏层输出ht和状态更新Ct的计算表达式如下:
ft＝δ(Wf*[xt,ht-1]+bf)
it＝δ(Wi*[xt,ht-1]+bi)
ot＝δ(Wo*[xt,ht-1]+bo)
Ct＝tan h(Wc*[xt,ht-1]+bc)+ft*Ct-1
ht＝ot*tan h(Ct)
由上述公式可以看出遗忘门f、输入门i以及输出门o的输入都是xt和ht-1，同时每个门中有自己的权重和偏斜。这些参数随着训练过程不断调优，在状态更新和隐藏层输出值的计算上发挥作用。
基于上述实施例的内容，作为一种可选实施例，将所述第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量，具体为：
根据预设的第一权重对所述第一向量进行加权，获得加权后的第一向量；根据预设的第二权重对所述第二向量进行加权，获得加权后的第二向量；根据所述加权后的第一向量、加权后的第二向量以及预设的偏移，获得所述待识别影像的特征向量。
需要说明的是，本发明实施例中时间递归神经网络模型的训练参数包括逻辑回归层中的第一权重、第二权重和偏移，通过将待识别影像的特征向量与类别标签的偏差作为损失函数，通过调整逻辑回归层中的第一权重、第二权重和偏移，达到损失函数符合预设的程度。另外，训练参数除了上述逻辑回归层中的第一权重、第二权重和偏移之外，还包括隐藏层中3个门(遗忘门、输入门、输出门)的权重和偏移。
基于上述实施例的内容，作为一种可选实施例，观测数据至少包括以下种类的时间特征：LAI、ET、FAPAR、albedo和FVC。
FAPAR表示光合有效辐射吸收比(Fraction of Photosynthetically ActiveRadiation，简称FPAR)基于查找表的方法建立从叶面积指数到光合有效辐射吸收比的关系模型，用以生产全球陆表光合有效辐射吸收比。
Albedo表示地表反照率(Surface Broadband Albedo,简称Albedo)采取直接估算算法，使用观测数据POLDER3BRDF数据集(适用广泛地表)和模型数据ART模型数据集(针对冰雪地表)训练建立起适用于全球不同区域、不同覆盖类型、不同季节的地表的格网查找表，直接通过AVHRR和MODIS反射率数据估算短波、可见光和近红外波段反照率。
FVC表示植被覆盖度(Fractional Vegetation Cover，简称FVC)基于机器学习方法训练出从预处理的反射率到FVC值的关系模型，用以生产全球陆表植被覆盖度产品。
基于上述实施例的内容，作为一种可选实施例，将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，之前还包括：对向量序列中的向量进行dropout随机丢弃操作。需要说明的是，过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是神经网络设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。本发明实施例采用dropout随机丢弃操作，即随机丢弃一部分样本，防止模型过于拟合，使对神经网络的训练在合适的程度。
根据本发明的另一个方面，还提供一种典型资源要素中林、灌、草三要素提取系统，参见图5，图5示出了本发明实施例的典型资源要素中林、灌、草三要素提取系统的功能框图，该系统用于在前述各实施例中识别影像中的土地覆盖类型。因此，在前述各实施例中的典型资源要素中林、灌、草三要素提取方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
如图所示，该提取系统包括：
向量序列模块501，用于获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对向量进行排序，获得向量序列。
识别模块502，用于将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，根据时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；其中，类别标签为预先获取的、与土地覆盖类型对应的特征向量。
综上所述，一方面，本发明实施例的装置所选择的观测数据随不同地物、不同时间会产生差异，利用LSTM网络可提取序列中时间间隔较长的向量间的关系的特性，可以从观测数据中提取出时间特征，即更准确地反应出影像中地物的特征；另一方面，由于LSTM网络可以保存上一时刻的信息，也就意味着每输入一个向量，就可以保留前一个向量的一些信息，因此，本发明实施例的装置为了对影像的土地覆盖类型进行识别，通过将向量序列以正向时序和反向时序输入至LSTM网络中，必然会相比仅以正向时序输入时所提取到的土地在时间维度上的信息更多，通过提取更多的时间维度的信息为满足土地覆盖分类的精度要求提供了支持。
基于上述实施例的内容，作为一种可选实施例，识别模块包括：
时间序列层模块，用于将向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量。
输出模块，用于将特征向量以及类别标签输入至softmax层，输出待识别影像中的土地覆盖类型。
基于上述实施例的内容，作为一种可选实施例，时间序列层模块进一步包括：
简化层模块，用于将向量序列按照正向时序和反向时序分别输入至简化层，输出对应向量序列的正向时序的第一向量和对应向量序列的反向时序的第二向量。
逻辑回归层模块，用于将第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量。
需要说明的是，逻辑回归层用于将第一向量和第二向量进行整合，得到一个向量，即待识别影像的特征向量。
基于上述实施例的内容，作为一种可选实施例，简化层模块进一步包括：
输出序列单元，用于将向量序列按照正向时序和反向时序分别输入至隐藏层，输出与向量序列的正向时序对应的第一输出序列和与向量序列的反向时序对应的第二输出序列；
向量单元，用于将第一输出序列和第二输出序列分别输入至平均池层，输出对应向量序列的正向时序的第一向量和对应向量序列的反向时序的第二向量；其中，第一输出序列和第二输出序列中向量的个数均与向量序列中向量的个数一致。
本发明实施例提供了一种提取设备。参见图6，该设备包括：处理器(processor)601、存储器(memory)602和总线603；
其中，处理器601及存储器602分别通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述实施例所提供的提取方法，例如包括：获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对向量进行排序，获得向量序列；将类别标签以及正向时序和反向时序的向量序列输入至预设的时间递归神经网络中，根据时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；其中，类别标签为预先获取的、与土地覆盖类型对应的特征向量。
本发明实施例的典型资源要素中林、灌、草三要素提取方法中的时间递归神经网络具体可在在TensorFlow平台实现，TensorFlow是谷歌推出的第二代人工智能学习系统，而且有着很多优秀的特点，例如：
1)高度的灵活性。TensorFlow平台不仅能够用于搭建并训练各种神经网络模型，还可以完成很多其他计算任务，用户只需要将自己的计算模型设计成数据流图的形式就可以应用TensorFlow平台完成任务。
2)可移植性强。TensorFlow平台可以在CPU和GPU上运行，这即使其能够移植到台式机、服务器和手机等许多设备上。
3)提供了大量机器学习的模型，使得科研和开发人员可以省去重写底层实现的繁琐工作。
4)自动求微分。对于使用梯度下降法进行训练的机器学习模型，用户只需要定义损失函数以及模型中哪些参数是可训练的，TensorFlow平台就能够自动求微分导数并用梯度下降法训练模型参数。
5)性能优化。对于多CPU和GPU的工作平台，TensorFlow平台能够很好地支持多线程、队列、异步操作等。
在TensorFlow平台下，可以使用python或C++的代码来搭建数据流图进行计算。流图中的节点表示数学操作，线表示在节点间传递的数据张量即多维数据数组。
用TensorFlow平台实现模型一般分为构建数据流图、训练模型、使用模型这3个阶段。在TensorFlow平台中，可以用常量、变量、以及操作来构建数据流图。其中，变量包括输入变量、可训练的变量以及其他变量。在流图中加入输入变量需要用占位符placeholder占位，之后在训练和使用模型时用feed操作将数据从placeholder输入到模型中。可训练的变量用来表示模型中的权重和偏移等参数，在构建这些变量时需要设置trainable＝True。在训练阶段，可以调用训练相关的操作使这些模型参数随着训练数据得到训练。
TensorFlow平台中提供了LSTMCell操作来支持LSTM网络的搭建。LSTMCell相当于LSTM网络的隐藏层，在内部封装了LSTM隐藏层包含的遗忘门、输入门和输出门等结构，同时还可根据研究需要设置隐藏层结点个数。在用TensorFlow平台搭建神经网络的过程中，不再以神经网络中的节点为单位进行布局，而是以层为基础来考虑。因为像LSTMCell这样的TensorFlow平台操作直接代表了网络中的一个隐藏层。因此包含多个节点的输入层和输出层也都用向量的形式来表示，向量长度即为该层节点的个数。
本发明实施例构建的TensorFlow平台的数据流图如图7所示。图中胶囊形单元表示LSTM网络的输入和输出，其中InputData单元表示输入至LSTM网络中的向量序列，target单元表示输入的类别标签，cost单元表示LSTM网络的输出结果。矩形单元表示TensorFlow平台中的操作，圆形单元表示可训练的模型参数。
在该数据流图中，InputData单元的输入是一个林灌草实例的向量序列。输入的数据经过dropout操作，dropout操作的目的是防止模型过于拟合。接下来，数据被传入2个MultiRNNCell中，MultiRNNCell是TensorFlow平台提供的LSTM网络的主要操作，相当于LSTM网络的整个隐藏层。图中的MultiRNNCell中的内容是其按时间展开图，隐藏层用LSTMCell实现，其中可以包含多个隐藏层。在图中省略了反向MultiRNNCell的详细内容，因为2个MultiRNNCell的结构相同，只是在输入向量序列时，一个向量序列按照正向时序输入，另一个按照负向时序进行输入。2个MultiRNNCell得到的输出序列分别经过ReduceMean操作得到与时间无关的平均向量：第一向量h和第二向量hb。最后，h和hb经过逻辑回归层(Logistic Regression)和softmax层，并用基于交叉熵的损失函数Cost来计算输出与真实的类别标签的误差。模型中的主要训练参数包括输入层到隐藏层的权重和偏斜、LSTMCell中3个门的权重和偏斜、以及逻辑回归层的权重和偏斜。给出损失函数Cost后，使用TensorFlow平台提供的训练操作可以自动求损失函数Cost关于每个训练参数的微分导数并用梯度下降法对LSTM网络进行训练。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的提取方法，例如包括：获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对向量进行排序，获得向量序列；将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；其中，类别标签为预先获取的、与土地覆盖类型对应的特征向量。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种典型资源要素中林、灌、草三要素提取方法，其特征在于，包括：
获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对所述向量进行排序，获得向量序列；
将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；
其中，所述类别标签为预先获取的、与土地覆盖类型对应的特征向量；所述预设的时间递归神经网络是根据类别标签、正向时序的样本向量序列和反向时序的样本向量序列进行训练后得到的；
所述将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型，具体为：
将所述向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量；
将所述特征向量以及所述类别标签输入至softmax层，输出所述待识别影像中的土地覆盖类型；
所述将所述向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量，具体为：
将所述向量序列按照正向时序和反向时序分别输入至简化层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量；
将所述第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量；
其中，所述简化层具体包括隐藏层和平均池层；
相应地，将所述向量序列按照正向时序和反向时序分别输入至简化层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量，具体为：
将所述向量序列按照正向时序和反向时序分别输入至所述隐藏层，输出与所述向量序列的正向时序对应的第一输出序列和与所述向量序列的反向时序对应的第二输出序列；
将所述第一输出序列和所述第二输出序列分别输入至平均池层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量；
其中，所述第一输出序列和第二输出序列中向量的个数均与所述向量序列中向量的个数一致。
2.根据权利要求1所述的提取方法，其特征在于，所述将所述第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量，具体为：
根据预设的第一权重对所述第一向量进行加权，获得加权后的第一向量；
根据预设的第二权重对所述第二向量进行加权，获得加权后的第二向量；
根据所述加权后的第一向量、加权后的第二向量以及预设的偏移，获得所述待识别影像的特征向量。
3.根据权利要求1所述的提取方法，其特征在于，所述观测数据至少包括以下种类的时间特征：LAI、ET、FAPAR、albedo和FVC；
相应地，所述隐藏层中节点的个数与所述观测数据中时间特征的种类的个数一致，所述第一向量和第二向量的长度均与所述隐藏层中节点的个数一致。
4.根据权利要求1-2任一所述的提取方法，其特征在于，所述将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，之前还包括：
对所述向量序列中的向量进行dropout随机丢弃操作。
5.一种典型资源要素中林、灌、草三要素提取系统，其特征在于，包括：
向量序列模块，用于获取待识别影像中若干个帧的观测数据，将每一帧的观测数据作为向量，按照帧的时序对所述向量进行排序，获得向量序列；
识别模块，用于将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型；
其中，所述类别标签为预先获取的、与土地覆盖类型对应的特征向量；所述预设的时间递归神经网络是根据类别标签、正向时序的样本向量序列和反向时序的样本向量序列进行训练后得到的；
所述将类别标签、正向时序的向量序列和反向时序的向量序列输入至预设的时间递归神经网络中，根据所述时间递归神经网络的输出结果，获得待识别影像中的土地覆盖类型，具体为：
将所述向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量；
将所述特征向量以及所述类别标签输入至softmax层，输出所述待识别影像中的土地覆盖类型；
所述将所述向量序列按照正向时序和反向时序分别输入至时间序列层，输出对应待识别影像的特征向量，具体为：
将所述向量序列按照正向时序和反向时序分别输入至简化层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量；
将所述第一向量和第二向量进行组合并输入至逻辑回归层，输出待识别影像的特征向量；
其中，所述简化层具体包括隐藏层和平均池层；
相应地，将所述向量序列按照正向时序和反向时序分别输入至简化层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量，具体为：
将所述向量序列按照正向时序和反向时序分别输入至所述隐藏层，输出与所述向量序列的正向时序对应的第一输出序列和与所述向量序列的反向时序对应的第二输出序列；
将所述第一输出序列和所述第二输出序列分别输入至平均池层，输出对应所述向量序列的正向时序的第一向量和对应所述向量序列的反向时序的第二向量；
其中，所述第一输出序列和第二输出序列中向量的个数均与所述向量序列中向量的个数一致。
6.一种提取设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
CN201810555558.4A 2018-06-01 2018-06-01 典型资源要素中林、灌、草三要素提取方法和系统 Active CN110555343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810555558.4A CN110555343B (zh) 2018-06-01 2018-06-01 典型资源要素中林、灌、草三要素提取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810555558.4A CN110555343B (zh) 2018-06-01 2018-06-01 典型资源要素中林、灌、草三要素提取方法和系统

Publications (2)

Publication Number Publication Date
CN110555343A CN110555343A (zh) 2019-12-10
CN110555343B true CN110555343B (zh) 2022-04-05

Family

ID=68735306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810555558.4A Active CN110555343B (zh) 2018-06-01 2018-06-01 典型资源要素中林、灌、草三要素提取方法和系统

Country Status (1)

Country Link
CN (1) CN110555343B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626273B (zh) * 2020-07-29 2020-12-22 成都睿沿科技有限公司 基于原子性动作时序特性的摔倒行为识别系统及方法
CN113095303B (zh) * 2021-06-04 2021-09-28 成都数之联科技有限公司 模型训练方法及林地变化检测方法及系统及装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN106502994A (zh) * 2016-11-29 2017-03-15 上海智臻智能网络科技股份有限公司 一种文本的关键词提取的方法和装置
CN106649561A (zh) * 2016-11-10 2017-05-10 复旦大学 面向税务咨询业务的智能问答系统
CN106951692A (zh) * 2017-03-06 2017-07-14 北京师范大学 典型资源要素提取方法及装置
CN107273820A (zh) * 2017-05-26 2017-10-20 中国科学院遥感与数字地球研究所 一种土地覆盖遥感分类方法及系统
CN107451118A (zh) * 2017-07-21 2017-12-08 西安电子科技大学 基于弱监督深度学习的句子级情感分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN106649561A (zh) * 2016-11-10 2017-05-10 复旦大学 面向税务咨询业务的智能问答系统
CN106502994A (zh) * 2016-11-29 2017-03-15 上海智臻智能网络科技股份有限公司 一种文本的关键词提取的方法和装置
CN106951692A (zh) * 2017-03-06 2017-07-14 北京师范大学 典型资源要素提取方法及装置
CN107273820A (zh) * 2017-05-26 2017-10-20 中国科学院遥感与数字地球研究所 一种土地覆盖遥感分类方法及系统
CN107451118A (zh) * 2017-07-21 2017-12-08 西安电子科技大学 基于弱监督深度学习的句子级情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Incremental Dual-memory LSTM in Land Cover Prediction";Xiaowei Jia 等;《ResearchGate》;20170831;第1-10页 *
M. Rußwurm 等."MULTI-TEMPORAL LAND COVER CLASSIFICATION WITH LONG SHORT-TERM MEMORY NEURAL NETWORKS".《The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》.2017,第551-558页. *

Also Published As

Publication number Publication date
CN110555343A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
Zhu et al. Deep learning for smart agriculture: Concepts, tools, applications, and opportunities
Kong et al. Multi-stream hybrid architecture based on cross-level fusion strategy for fine-grained crop species recognition in precision agriculture
Alibabaei et al. A review of the challenges of using deep learning algorithms to support decision-making in agricultural activities
Peng et al. Weed detection in paddy field using an improved RetinaNet network
Jabir et al. Deep learning-based decision support system for weeds detection in wheat fields
Barreto et al. Automatic UAV-based counting of seedlings in sugar-beet field and extension to maize and strawberry
CN109886155A (zh) 基于深度学习的单株水稻检测定位方法、系统、设备及介质
Zhang et al. Accurate cotton diseases and pests detection in complex background based on an improved YOLOX model
US20240054776A1 (en) Tracking objects with changing appearances
CN110555343B (zh) 典型资源要素中林、灌、草三要素提取方法和系统
CN110490102A (zh) 土地利用类型提取方法及装置
Miao et al. Crop weed identification system based on convolutional neural network
Bhasha et al. Automated crop yield prediction system using machine learning algorithm
Sharma et al. Crop yield prediction using hybrid deep learning algorithm for smart agriculture
Kumar et al. Deep learning and computer vision in smart agriculture
Mir et al. Improving the food and agriculture sector tehran stock exchange by using artificial intelligence
Li et al. A longan yield estimation approach based on uav images and deep learning
Yang et al. Simple, Low-Cost Estimation of Potato Above-Ground Biomass Using Improved Canopy Leaf Detection Method
Thivya Lakshmi et al. CoDet: A novel deep learning pipeline for cotton plant detection and disease identification
Alibabaei Application of Artificial Intelligence algorithms to support decision-making in agriculture activities
Kodors et al. Rapid Prototyping of Pear Detection Neural Network with YOLO Architecture in Photographs
Epifani et al. TEBAKA: territorial basic knowledge acquisition. an agritech project for italy: Results on self-supervised semantic segmentation
Metta et al. Drought prediction using artificial neural network
Chavan et al. KrishiAI-An IoT and Machine Learning based Mobile Application for Farmers
Ye et al. CBTA: a CNN-BiGRU method with triple attention for winter wheat yield prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant