CN111402131B - 基于深度学习的超分辨率土地覆被分类图的获取方法 - Google Patents
基于深度学习的超分辨率土地覆被分类图的获取方法 Download PDFInfo
- Publication number
- CN111402131B CN111402131B CN202010162379.1A CN202010162379A CN111402131B CN 111402131 B CN111402131 B CN 111402131B CN 202010162379 A CN202010162379 A CN 202010162379A CN 111402131 B CN111402131 B CN 111402131B
- Authority
- CN
- China
- Prior art keywords
- resolution
- land cover
- glass
- super
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于深度学习的超分辨率土地覆被分类图的获取方法，该方法包括：将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。本发明实施例提供的方法，实现了获取更准确和更明确的超分辨率土地覆被分类图。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的超分辨率土地覆被分类图的获取方法。
背景技术
土地覆盖是指地球表面的植被覆盖物和人工覆盖物的总称，是自然植被与自然营造体和人工建造所覆盖的地表诸要素的综合反映。土地覆盖是人类认识自然、掌握自然规律必备的信息，也是各种资源管理和地理信息服务所需要的最基本数据。因此，土地覆被信息的获取、分析和更新显得极其重要。
遥感影像数据以其宏观性，实时性的特点，一直以来都是土地覆盖检测的重要手段。目前基于遥感数据的土地覆被分类方法一般分为两种，一种是基于遥感原始图像作为目视解译的传统方法；另一种则是利用深度学习的思想基于遥感的数据产品(包括一级产品和更高级产品)的智能分类。
土地覆被分类图已被广泛使用，但是越来越需要更高的时空分辨率的土地覆被分类图。高温卫星数据往往具有较粗糙的空间分辨率，而高空间分辨率卫星数据通常具有较低的时间分辨率。生产高空间和时间分辨率的土地覆盖分类产品极具挑战性。超分辨率方法可以帮助实现这一目标，但是目前能获取超分辨率的土地覆被分类图的方法有限。
在传统的土地覆被制图中，通常根据现有数据制作具有相应分辨率的土地覆被分类图。根据常规方法，通过将遥感图像的每个像素仅分配给一个土地覆盖类别来对土地覆盖进行分类。
超分辨率的方法，可以从低分辨率图像中获得精细的空间分辨率土地覆被分类图。显然，低分辨率图像可以通过插值(例如双线性插值和双三次卷积)进行上采样。但是，通过这些方法获得的高分辨率图像不明确，无法添加更多有用的信息。
因此，如何避免现有的超分辨率土地覆被分类图的获取方法造成的获得的高分辨率图像不明确和不准确，无法添加更多有用的信息的情况，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种基于深度学习的超分辨率土地覆被分类图的获取方法，用以解决现有的超分辨率土地覆被分类图的获取方法造成的获得的高分辨率图像不明确和不准确，无法添加更多有用的信息的问题。
第一方面，本发明实施例提供一种基于深度学习的超分辨率土地覆被分类图的获取方法，包括：
确定低时空分辨率的土地覆盖图；
将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；
其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
优选地，该方法中，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
优选地，该方法中，所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI(陆表卫星遥感数据-叶面积指数)特征参量、GLASS-FAPAR(陆表卫星遥感数据-光合有效辐射吸收比)特征参量、GLASS-GPP(陆表卫星遥感数据-植被总初级生产力)特征参量、GLASS-albedo(陆表卫星遥感数据-地面反照率)特征参量、GLASS-ET(陆表卫星遥感数据-蒸散)特征参量和GLASS-FVC(陆表卫星遥感数据-植被覆盖率)特征参量构成所述样本低时空分辨率的土地覆盖图。
优选地，该方法中，所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
第二方面，本发明实施例提供一种基于深度学习的超分辨率土地覆被分类图的获取装置，包括：
确定单元，用于确定低时空分辨率的土地覆盖图；
提取单元，用于将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；
其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
优选地，该装置中，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
优选地，该装置中，所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图。
优选地，该装置中，所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度学习的超分辨率土地覆被分类图的获取方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度学习的超分辨率土地覆被分类图的获取方法的步骤。
本发明实施例提供的方法，通过将低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于水下退化图像输入水下图像增强模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图，而所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。因此，通过大量样本和样本标签训练得到的超分辨率提取模型可以保证使用其提取的超分辨率土地覆被分类图的准确性，同时，构建的训练网络中卷积运算单元的卷积处理可以起到对样本的异常值和不均匀性的平滑作用，卷积后的数据对于LSTM网络提取特征信息更有用。如此，本发明实施例提供的方法，实现了获取更准确和更明确的超分辨率土地覆被分类图，可以在超分辨率土地覆被分类图中添加更多有用的信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的超分辨率土地覆被分类图的获取方法的流程示意图；
图2为本发明实施例提供的通过超分辨率提取模型超分辨率土地覆被分类图的流程示意图；
图3为本发明实施例提供的基于深度学习的超分辨率土地覆被分类图的获取装置的结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的超分辨率土地覆被分类图的获取方法，普遍存在获得的高分辨率图像不明确和不准确，无法添加更多有用的信息的问题。对此，本发明实施例提供了一种基于深度学习的超分辨率土地覆被分类图的获取方法。图1为本发明实施例提供的基于深度学习的超分辨率土地覆被分类图的获取方法的流程示意图，如图1所示，该方法包括：
步骤110，确定低时空分辨率的土地覆盖图。
具体地，确定需要进行超分辨率土地覆被分类图提取的低时空分辨率的土地覆盖图。
步骤120，将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
具体地，将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，此处基于机器学习的方法对大量的样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练，确定超分辨率提取模型。训练时的样本和样本标签来自于土地分类CNLUCC(中国多时期土地利用土地覆被遥感监测数据集)产品，训练的样本低时空分辨率的土地覆盖图包括陆表特征参量GLASS-LAI、GLASS-FAPAR、GLASS-GPP、GLASS-albedo、GLASS-ET和GLASS-FVC。进行超分辨率提取模型训练时，使用的训练网络是采用卷积运算单元与LSTM网络级联后建立的网络，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。该卷积运算单元与常用的CNN不同，常用的CNN卷积核是正方形结构，正方形结构的优点是可以执行图像的空间信息的特征提取，但是，对于本实施例中使用的时空分辨率的土地覆盖图这种时间序列的定量遥感参数，数据的表达是从时间轴延伸的时间曲线数据，因此，平方的卷积不适合处理此类数据，本实施例中使用的卷积核是X*1，X为大于0的整数，卷积核在不同的定量遥感产品之间的长度为1，在单个定量遥感产品的时间序列中的长度为X，因此，卷积核只会在定量遥感产品的时间序列方向上滑动和卷积。LSTM是一种特殊的循环神经网络(RNN)，RNN网络存在的问题是难以发现序列中的时间间隔较长的帧之间的关系，因为任一帧的输入对后续隐藏层节点和输出层节点的影响会随着时间越来越小，LSTM网络可以有效地解决这一问题，LSTM在隐藏层加入了状态，使得网络对序列中较长时间前的输入有了记忆的能力。
本发明实施例提供的方法，通过将低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于水下退化图像输入水下图像增强模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图，而所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。因此，通过大量样本和样本标签训练得到的超分辨率提取模型可以保证使用其提取的超分辨率土地覆被分类图的准确性，同时，构建的训练网络中卷积运算单元的卷积处理可以起到对样本的异常值和不均匀性的平滑作用，卷积后的数据对于LSTM网络提取特征信息更有用。如此，本发明实施例提供的方法，实现了获取更准确和更明确的超分辨率土地覆被分类图，可以在超分辨率土地覆被分类图中添加更多有用的信息。
基于上述实施例，该方法中，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
具体地，训练时的样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签都是从CNLUCC产品中筛选出来。而CNLUCC产品中对应于各低时空分辨率的土地覆盖图的超分辨率土地覆被分类图是通过人工插值对各低时空分辨率的土地覆盖图进行上采样得到的，但是得到的超分辨率土地覆被分类图是根据CNLUCC类别进行分类的，数量较多，此处，对数据进行进一步的清洗，将CNLUCC中类别通过相似类型合并整合成10种大类别。
基于上述任一实施例，该方法中，所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图。
具体地，样本低时空分辨率的土地覆盖图是由6种陆表特征参量构成，包括GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量。通常需要在训练之前对样本低时空分辨率的土地覆盖图数据进行预处理，将HDF等格式的遥感产品数据使用RGDAL(地理空间数据抽象库)读入计算机内存中并将栅格数据提取出成矩阵，按照相同时空位置将6种特征参量数据转化在同一个dataframe数据类型中，每一行代表同一时空位置，包括6个字段，分别是6种特征参量数据的值。
基于上述任一实施例，该方法中，所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
具体地，基于上述低时空分辨率的土地覆盖图(即地表类型)的表示方法，每个地表类型被表示成一个多元时间序列。地表类型分类问题就可以看作是对这些时间序列进行分类的一个问题，同时用已标注的超分辨率土地覆被分类图标签里训练超分辨率提取模型，并用训练好的超分辨率提取模型来提取其他低时空分辨率的土地覆盖图的超分辨率土地覆被分类图。
进一步地，图2为本发明实施例提供的通过超分辨率提取模型超分辨率土地覆被分类图的流程示意图。如图2所示，对于输入低时空分辨率的土地覆盖图数据(Input)先进行卷积运算(Conv)，然后再进行LSTM网络处理，并通过Softmax层输出分类的结果。
具体地，超分辨率提取模型以地表类型的时间序列GLASS遥感产品即多元时间序列为输入，其输出为超分辨率提取模型对该地表类型类别标签的估计。
本实施例中选用的基于ConvLSTM的超分辨率提取模型如图2所示。过程中，将LSTM网络原本的输出层去掉，并将隐藏层的输出(h1，h2，h3，...ht...hT)输入到一个平均池层，得到不再包含时间信息的向量h，即:
ConvLSTM的输出用hb表示。最后，设计组合了一个逻辑回归模型，逻辑回归层以ConvLSTM输出的hb连接成的新向量为输入，并通过softmax层输出分类的结果。
具体地，本发明实施例的超分辨率提取模型是在TensorFlow平台上实现的，在TensorFlow中提供了LSTMCell和Conv2d操作来支持ConLSTM模型的搭建。LSTMCell和Conv2d相当于ConLSTM模型的隐藏层，在内部封装了ConvLSTM隐藏层包含的遗忘门、输入门和输出门等结构，同时还可根据研究需要设置隐藏层结点个数。在用TensorFlow搭建神经网络的过程中，不再以神经网络中的节点为单位进行布局，而是以层为基础来考虑。因为像LSTMCell和Conv2d这样的TensorFlow操作直接代表了网络中的一个隐藏层。因此包含多个节点的输入层和输出层也都用向量的形式来表示，向量长度即为该层节点的个数。
InputData是一个地表类型实例，即一个多元时间序列。输入数据InputData经过dropout操作，dropout操作的目的是防止模型过于拟合。接下来，数据被传入2个MultiRNNCell中，MultiRNNCell是TensorFlow提供的RNN的主要操作，相当于RNN的整个隐藏层。MultiRNNCell中的内容是其按时间展开图，隐藏层用LSTMCell实现，其中可以包含多个隐藏层。2个MultiRNNCell得到的输出序列分别经过ReduceMean操作得到与时间无关的平均向量h和hb，向量的长度即为隐藏层节点个数。最后，h和hb经过一个手动构建的逻辑回归层和Softmax激活函数，并用交叉熵损失函数来计算模型输出与真实的类别标签的误差。具体地，进行超分辨率提取模型训练时的参数设置如下：输入数据的每一帧包含6种GLASS产品其中一天特征，因此模型的输入节点可设置为6个。输出层节点设置为10个，与所有10个地表类型类别相对应。序列长度设为46，与研究规定的地表类型时间跨度长度一致。模型中的训练参数的初始化会对训练效果产生很大的影响，这里就选用TensorFlow提供的random_uniform_initializer对逻辑回归层的训练参数进行初始化，并用orthogonal_initializer方法对LSTMCell中的遗忘门、输入门和输出门的参数进行初始化。
本发明实施例提供一种基于深度学习的超分辨率土地覆被分类图的获取装置，图3为本发明实施例提供的基于深度学习的超分辨率土地覆被分类图的获取装置的结构示意图。如图3所示，该装置包括确定单元310和提取单元320，其中，
所述确定单元310，用于确定低时空分辨率的土地覆盖图；
所述提取单元320，用于将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；
其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
本发明实施例提供的装置，通过将低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于水下退化图像输入水下图像增强模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图，而所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。因此，通过大量样本和样本标签训练得到的超分辨率提取模型可以保证使用其提取的超分辨率土地覆被分类图的准确性，同时，构建的训练网络中卷积运算单元的卷积处理可以起到对样本的异常值和不均匀性的平滑作用，卷积后的数据对于LSTM网络提取特征信息更有用。如此，本发明实施例提供的装置，实现了获取更准确和更明确的超分辨率土地覆被分类图，可以在超分辨率土地覆被分类图中添加更多有用的信息。
基于上述任一实施例，该装置中，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
基于上述任一实施例，该装置中，所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图。
基于上述任一实施例，该装置中，所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储在存储器403上并可在处理器401上运行的计算机程序，以执行上述各实施例提供的基于深度学习的超分辨率土地覆被分类图的获取方法，例如包括：确定低时空分辨率的土地覆盖图；将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于深度学习的超分辨率土地覆被分类图的获取方法，例如包括：确定低时空分辨率的土地覆盖图；将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于深度学习的超分辨率土地覆被分类图的获取方法，其特征在于，包括：
确定低时空分辨率的土地覆盖图；
将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；
其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数；
所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图；
所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
2.根据权利要求1所述的基于深度学习的超分辨率土地覆被分类图的获取方法，其特征在于，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
3.一种基于深度学习的超分辨率土地覆被分类图的获取装置，其特征在于，包括：
确定单元，用于确定低时空分辨率的土地覆盖图；
提取单元，用于将所述低时空分辨率的土地覆盖图输入超分辨率提取模型，输出对应于所述低时空分辨率的土地覆盖图的超分辨率土地覆被分类图；
其中，所述超分辨率提取模型是基于样本低时空分辨率的土地覆盖图和对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签进行训练后得到的，所述超分辨率提取模型采用卷积运算单元与LSTM网络级联后建立的网络进行训练，所述卷积运算单元使用的卷积核是X*1矩形卷积核，X为大于0的整数；
所述样本低时空分辨率的土地覆盖图，具体包括：
由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图；
所述由GLASS-LAI特征参量、GLASS-FAPAR特征参量、GLASS-GPP特征参量、GLASS-albedo特征参量、GLASS-ET特征参量和GLASS-FVC特征参量构成所述样本低时空分辨率的土地覆盖图，具体包括：
所述样本低时空分辨率的土地覆盖图Y包含T个帧，第t个帧yt对应第t个采样时间上的低时空分辨率的土地覆盖图，如下式表示：
Y＝{y1，y2，y3，……，yt，……，yT}
其中，
分别对应第t个采样时间上的GLASS-LAI特征参量、第t个采样时间上的GLASS-FAPAR特征参量、第t个采样时间上的GLASS-GPP特征参量、第t个采样时间上的GLASS-albedo特征参量、第t个采样时间上的GLASS-ET特征参量和第t个采样时间上的GLASS-FVC特征参量。
4.根据权利要求3所述的基于深度学习的超分辨率土地覆被分类图的获取装置，其特征在于，对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签的获取，具体包括：
采用人工插值对各样本低时空分辨率的土地覆盖图进行上采样，得到对应于各样本低时空分辨率的土地覆盖图的超分辨率土地覆被分类图标签，
其中，土地覆被分类类别为基于CNLUCC类别合并而成的10种大类别。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述的基于深度学习的超分辨率土地覆被分类图的获取方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1或2所述的基于深度学习的超分辨率土地覆被分类图的获取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162379.1A CN111402131B (zh) | 2020-03-10 | 2020-03-10 | 基于深度学习的超分辨率土地覆被分类图的获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162379.1A CN111402131B (zh) | 2020-03-10 | 2020-03-10 | 基于深度学习的超分辨率土地覆被分类图的获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402131A CN111402131A (zh) | 2020-07-10 |
| CN111402131B true CN111402131B (zh) | 2022-04-01 |
Family
ID=71430826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010162379.1A Active CN111402131B (zh) | 2020-03-10 | 2020-03-10 | 基于深度学习的超分辨率土地覆被分类图的获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402131B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070078B (zh) * | 2020-11-16 | 2021-01-19 | 武汉思众空间信息科技有限公司 | 基于深度学习的土地利用分类方法及系统 |
| CN112767252B (zh) * | 2021-01-26 | 2022-08-02 | 电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN113160050B (zh) * | 2021-03-25 | 2023-08-25 | 哈尔滨工业大学 | 基于时空神经网络的小目标识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109946241A (zh) * | 2019-03-12 | 2019-06-28 | 北京理工大学 | 一种基于高光谱计算成像系统的土壤分类方法 |
| CN109949224A (zh) * | 2019-02-26 | 2019-06-28 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN110263716A (zh) * | 2019-06-21 | 2019-09-20 | 中国科学院地理科学与资源研究所 | 一种基于街景图像的遥感影像超分辨率土地覆被制图方法 |
| CN110263717A (zh) * | 2019-06-21 | 2019-09-20 | 中国科学院地理科学与资源研究所 | 一种融入街景影像的土地利用类别确定方法 |
-
2020
- 2020-03-10 CN CN202010162379.1A patent/CN111402131B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109949224A (zh) * | 2019-02-26 | 2019-06-28 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN109946241A (zh) * | 2019-03-12 | 2019-06-28 | 北京理工大学 | 一种基于高光谱计算成像系统的土壤分类方法 |
| CN110263716A (zh) * | 2019-06-21 | 2019-09-20 | 中国科学院地理科学与资源研究所 | 一种基于街景图像的遥感影像超分辨率土地覆被制图方法 |
| CN110263717A (zh) * | 2019-06-21 | 2019-09-20 | 中国科学院地理科学与资源研究所 | 一种融入街景影像的土地利用类别确定方法 |
Non-Patent Citations (1)
| Title |
|---|
| "A long-term Global LAnd Surface Satellite (GLASS)data-set for environmental studies";Shunlin Liang,等;《International Journal of Digital Earth》;20130615;第1-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402131A (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN111402131B (zh) | 基于深度学习的超分辨率土地覆被分类图的获取方法 | |
| Giada et al. | Information extraction from very high resolution satellite imagery over Lukole refugee camp, Tanzania | |
| Maskey et al. | Deepti: Deep-learning-based tropical cyclone intensity estimation system | |
| Mertens et al. | A sub‐pixel mapping algorithm based on sub‐pixel/pixel spatial attraction models | |
| Li et al. | YOLOSR-IST: A deep learning method for small target detection in infrared remote sensing images based on super-resolution and YOLO | |
| CN110097101B (zh) | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 | |
| Du et al. | Segmentation and sampling method for complex polyline generalization based on a generative adversarial network | |
| CN112906662B (zh) | 一种遥感图像变化检测方法、装置、设备及存储介质 | |
| Cai et al. | A comparison of object-based and contextual pixel-based classifications using high and medium spatial resolution images | |
| Binaghi et al. | A cognitive pyramid for contextual classification of remote sensing images | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
| CN113435268A (zh) | 基于图变换知识嵌入算法的地震灾区遥感影像解译方法 | |
| Malik et al. | Computer vision models for comparing spatial patterns: understanding spatial scale | |
| CN116740422A (zh) | 基于多模态注意力融合技术的遥感图像分类方法及装置 | |
| CN116152591A (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN115601281A (zh) | 基于深度学习的遥感图像时空融合方法、系统及电子设备 | |
| CN115375548A (zh) | 一种超分辨率的遥感图像生成方法、系统、设备和介质 | |
| CN114170519A (zh) | 基于深度学习与多维注意力的高分辨率遥感道路提取方法 | |
| CN117808708A (zh) | 云雾遥感影像的处理方法、装置、设备和介质 | |
| CN111428809B (zh) | 基于空间信息融合与卷积神经网络的人群计数方法 | |
| Wang et al. | SCU‐Net: Semantic Segmentation Network for Learning Channel Information on Remote Sensing Images | |
| Zhukovskyy et al. | Information System of Cartographic Images Analysis for Soil Condition Monitoring of Agricultural Parcels | |
| Yang et al. | Sparse representation and SRCNN based spatio-temporal information fusion method of multi-sensor remote sensing data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |