CN107451528A - 基于深度学习的地表覆盖图片自动识别方法及系统 - Google Patents
基于深度学习的地表覆盖图片自动识别方法及系统 Download PDFInfo
- Publication number
- CN107451528A CN107451528A CN201710538580.3A CN201710538580A CN107451528A CN 107451528 A CN107451528 A CN 107451528A CN 201710538580 A CN201710538580 A CN 201710538580A CN 107451528 A CN107451528 A CN 107451528A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- ground mulching
- picture
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012952 Resampling Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000000205 computational method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000013524 data verification Methods 0.000 claims description 2
- 230000007935 neutral effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000010200 validation analysis Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于深度学习的地表覆盖图片自动识别方法及系统，首先，对地表覆盖图片进行预处理，利用重采样的方法，得到像素为224*224*3的地表覆盖图片；其次，利用卷积神经网络，构建地表覆盖图片自动识别模型，并利用反向传播算法和训练数据，对卷积神经网络的参数进行修正；最后，通过输入验证数据，对地表覆盖图片自动识别结果进行精度验证。本发明具有自动识别速度快和识别精度高的优点。
Description
技术领域
本发明属于地表覆盖及图像识别技术领域，尤其涉及一种基于深度学习的地表覆盖图片自动识别方法及系统。
背景技术
地表覆盖数据是环境变化研究、地理国情监测和可持续发展规划等不可或缺的重要基础信息，对其验证是地表覆盖制图的一项重要内容。地表覆盖验证是从调查数据、实地照片或高分辨率影像等验证样本中，解译出样本点及其周围地表覆盖真值的过程。目前常用方法主要包括野外实地调查和样本目视解译。然而，实地调查需要大量的人力物力才能到达采样地点完成验证任务；目视解译由于图像解译的自动化实现困难，解译成千上万的影像消耗大量人力和时间。因此，地表覆盖验证样本的采集和解译是一项困难的任务，需要发展新的易采集样本数据以及样本自动化识别方法。
近年来，带地理标签的网络在线图片已经被应用到地表覆盖研究中。目前该类应用一般可分为基于目视解译的图片识别方法和基于特征提取的图片识别方法。前者首先建立地表覆盖类型标准，并依据该标准，通过人工目视解译的方法，对图片中的地表覆盖类型进行识别。“Antoniou,Vyron,et al."Investigating the feasibility of geo-taggedphotographs as sources of land cover input data."ISPRS International Journalof Geo-Information 5.5(2016):64.”中获取Flickr、Panoramio、Geograph网站的地表覆盖图片，选取七名志愿者，分别对图片中的人造地表、林地、草地、水体等地表覆盖类型进行识别，探讨了带有地理标签的图片用于地表覆盖分类的可行性。而基于特征提取的图片识别方法，利用不同地表覆盖类型在图片特征中的规律性，通过提取并解译该特征，对图片中的地表覆盖类型进行识别。“Sitthi,Asamaporn,et al."Exploring Land Use and LandCover of Geotagged Social-Sensing Images Using Naive Bayes Classifier."Sustainability 8.9(2016):921.”通过提取多种图片特征，利用朴素贝叶斯算法，实现了地表覆盖图片的自动识别。
然而，上述两类方法都有其自身的局限性。基于目视解译的方法在地表覆盖图片较多的情况下，难以避免耗时耗力的问题。而基于特征提取的图片识别方法，虽然实现了地表覆盖图片的自动识别，但是需要手动提取多种图片特征，难以满足地表覆盖快速识别的需求。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于深度学习的地表覆盖图片自动识别方法及系统，由于目视解译与特征提取的方法耗时耗力，难以满足地表覆盖快速验证的需求。
为了实现上述目的，本发明采用如下技术方案：
基于深度学习的地表覆盖图片自动识别方法，包括如下步骤：
步骤(1)：地表覆盖图片预处理：通过网络爬虫获取互联网上的地表覆盖图片，然后对采集的图片进行重采样，利用目视解译的方法对重采样后的地表覆盖图片进行地表覆盖类型的分类，将地表覆盖图片随机分为两部分：得到训练数据和验证数据；
步骤(2)：利用训练数据构建地表覆盖图片自动识别模型：首先，构建地表覆盖图片自动识别模型中的卷积神经网络，所述卷积神经网络包括：依次连接的卷积层、多层感知器和分类器；继而，利用训练数据和反向传播算法，调整卷积神经网络的参数，实现地表覆盖图片自动识别模型的构建；
步骤(3)：利用验证数据验证地表覆盖图片自动识别结果：将步骤(1)中验证数据输入步骤(2)的地表覆盖图片自动识别模型，得到每张图片的地表覆盖类型识别结果；继而，将所得识别结果与步骤(1)中所得目视解译分类结果进行对比，通过交叉验证方法，计算地表覆盖图片自动识别结果的验证精度。
所述步骤(1)的重采样步骤包括：利用重采样方法，调整图片中像元的位置和间距，得到像素为224*224*3的地表覆盖图片。
所述训练数据用于步骤(2)的地表覆盖图片自动识别模型的构建，所述验证数据用于步骤(3)中地表覆盖图片自动识别结果的验证。
所述地表覆盖类型，包括：耕地、森林、草地、灌木丛、湿地、水体、苔原、人造地表、裸地、冰川和永久积雪。
所述互联网上的地表覆盖图片，包括：环球地理参考场图片库(Global Geo-Referenced Field Photo Library)、Flickr、Panoramio、Geograph等网站的地表覆盖图片、谷歌地图、百度地图、高德地图中的街景图片。
所述步骤(101)的有益效果是解决地表覆盖图片分辨率不一致的问题。
所述步骤(2)构建地表覆盖图片自动识别模型中的卷积神经网络，包括：
步骤(201)：构建卷积层；
步骤(202)：构建多层感知器；
步骤(203)：构建分类器。
所述步骤(201)的步骤为：
为了提取地表覆盖图片中的地表覆盖类型特征，构建网络的卷积层；
卷积层的公式如下：
其中，卷积层的输入特征图xi为n个重采样后的地表覆盖图片构成的三维数组，即地表覆盖图片的分辨率；
输出特征图yj也是个三维数组，连接输入特征图xi和输出特征图yj的权值记为wij，公式(1)中*为二维离散卷积运算符，bj是可训练的偏置参数；其中wij的初始参数为0，并根据需要进行调整。
所述步骤(202)的步骤为：通过连接三个全连接层，构建多层感知器。
其中，全连接层的定义如下：将卷积层输出的特征yj全部连接到同一个隐含节点上，输出一个1×1×m的地表覆盖高维特征，m为全连接层隐含节点的数目。
所述步骤(203)的步骤为：
分类器的输入数据为全连接层输出的地表覆盖高维特征g，分类器利用softmax回归方法，计算每个地表覆盖类型的分类概率softmax(g)，并取概率最高的地表覆盖类型，作为图片最终的地表覆盖类型。
其中，softmax回归的公式如下：
其中，exp(·)为期望函数，gk为全部类别的高维特征，gj为j类的高维特征，其中k为地表覆盖的全部类别，j为其中一种地表覆盖类型。
所述步骤(2)中利用训练数据和反向传播算法，调整卷积神经网络的参数的步骤为：
将步骤(1)中的训练数据输入卷积神经网络中，获得预测分类结果pn，n为第n张图片；利用反向传播方法，对卷积神经网络中的权值参数wij进行更新；
所述反向传播方法：将地表覆盖图片自动识别模型获得的分类类别与目视解译的分类类别进行比较，根据损失函数得到分类误差，通过遍历卷积神经网络模型的反向路径，将分类误差逐层传递到每个节点，根据权值更新公式，更新相应的卷积核权值wij。
其中，权值更新公式如下：
式中，对于卷积网络任意一层L，wij为连接输入特征图xi和输出特征图yj之间的权值，α为设定的每一层的学习率，xi为输入特征图，其中对于参数
当L层是卷积网络的最后一层时：
其中Tj为第j个目视解译的分类；RL’(xi)为非线性映射函数的导数；j＝1,2,……,NL。
当L层不是最后一层时：
其中NL+1为第L+1层输出特征的数目；m＝1,2,……,NL+1；wjm为连接L层的输出特征图yj(L+1层的输入特征图xj)与L+1层输出特征图ym的权重；为L+1层第m个输出特征图的参数i和j是正整数；
其中，分类误差Hp′(p)的计算方法如下：
式中n为第n张图片，p是预测的分类结果，p’是真实的分类结果，即训练数据目视解译的分类。当分类误差在设定范围内时，则认为卷积神经网络的参数调整结束，否则，继续调整。
基于深度学习的地表覆盖图片自动识别系统，其特征是，包括：
地表覆盖图片预处理单元：通过网络爬虫获取互联网上的地表覆盖图片，然后对采集的图片进行重采样，利用目视解译的方法对重采样后的地表覆盖图片进行地表覆盖类型的分类，将地表覆盖图片随机分为两部分：得到训练数据和验证数据；
地表覆盖图片自动识别模型构建单元：首先，构建地表覆盖图片自动识别模型中的卷积神经网络，所述卷积神经网络包括：依次连接的卷积层、多层感知器和分类器；继而，利用训练数据和反向传播算法，调整卷积神经网络的参数，实现地表覆盖图片自动识别模型的构建；
地表覆盖图片自动识别结果验证单元：将验证数据输入地表覆盖图片自动识别模型，得到每张图片的地表覆盖类型识别结果；继而，将所得识别结果与所得目视解译分类结果进行对比，通过交叉验证方法，计算地表覆盖图片自动识别结果的验证精度。
本发明的有益效果：
首先，对地表覆盖图片进行预处理，利用重采样的方法，得到像素为224*224*3的地表覆盖图片；其次，利用卷积神经网络，构建地表覆盖图片自动识别模型，并利用反向传播算法和训练数据，对卷积神经网络的参数进行修正；最后，通过输入验证数据，对地表覆盖图片自动识别结果进行精度验证。本发明具有对地表覆盖图片进行快速、准确识别的优点。
附图说明
图1为基于深度学习的地表覆盖图片识别方法的流程图；
图2为地表覆盖图片分布示意图；
图3为地表覆盖图片自动识别模型的分类误差变化示意图；
图4(a)-图4(c)为地表覆盖图片识别结果示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
为了对本发明的技术特征、目的和效果有更加清楚的理解，现以环球地理参考场图片库(网址：http://eomf.ou.edu/photos/)和VGG16卷积神经网络为例，结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
本发明所提出的一种基于深度学习的地表覆盖图片识别方法。其流程图如图1所示。
步骤(1)：地表覆盖图片预处理。通过python语言编写网络爬虫，获取互联网上的地表覆盖图片。针对地表覆盖图片分辨率不一致的问题，利用重采样方法，调整所述图片中像元的位置和间距，得到像素为224*224*3的地表覆盖图片。继而，利用目视解译的方法对重采样后的地表覆盖图片进行地表覆盖类型的分类，所述地表覆盖类型包括：耕地、森林、草地、灌木丛、湿地、水体、苔原、人造地表、裸地、冰川、永久积雪。最后，将地表覆盖图片随机分为训练数据与验证数据，其中80％为训练数据，20％为验证数据。所述训练数据用于步骤(2)的地表覆盖图片自动识别模型的构建，所述验证数据用于步骤(3)中地表覆盖图片自动识别结果的验证。(所属地表覆盖图片包括：环球地理参考场图片库(Global Geo-Referenced Field Photo Library)、Flickr、Panoramio、Geograph等网站的地表覆盖图片、谷歌地图、百度地图、高德地图中的街景图片)
本发明以从环球地理参考场图片库(Global Geo-Referenced Field PhotoLibrary)下载的美国地区(除去阿拉斯加地区)22813张地表覆盖图片为实验数据。首先，利用重采样方法，
得到像素为224*224*3的图片。继而，利用目视解译方法将重采样之后的图片进行地表覆盖类型的分类，除去无法进行地表覆盖分类的图片外，共分2为人造地表1440张、森林1167张、灌木丛390张、草地4213张、耕地3155张、水体1053张、裸地287张、永久积雪247张。最后，地表覆盖图片随机分为10756张训练数据和1196张验证数据。地表覆盖图片的空间分布如图2所示，每种地表覆盖类型的图片数目如表1所示。
表1地表覆盖类型与图片数目。
步骤(2)：地表覆盖图片自动识别模型的构建。所述地表覆盖图片自动识别模型的构建包括：卷积神经网络的构建与卷积神经网络参数的调整。首先，构建地表覆盖图片自动识别模型中的卷积神经网络，所述卷积神经网络包括网络的卷积层、多层感知器和分类器3部分。继而，利用步骤(1)中训练数据和反向传播算法，调整卷积神经网络的参数，以此实现地表覆盖图片自动识别模型的构建。
a.构建地表覆盖图片自动识别模型中的VGG16卷积神经网络，所述卷积神经网络包括网络的卷积层、多层感知器和分类器3部分。首先，为了提取地表覆盖图片中的地表覆盖类型特征，构建网络的卷积层。卷积层的公式如下：
卷积层的输入特征图xi为n个步骤(1)中重采样后的地表覆盖图片构成的三维数组(即地表覆盖图片的分辨率)；输出特征图yj也是个三维数组,连接输入特征图xi和输出特征图yj的权值记为wij，公式中*为二维离散卷积运算符，bj是可训练的偏置参数。其中wij的初始参数为0，并根据下述步骤(202)进行调整。
其次，通过连接三个全连接层，构建模型的多层感知器。
其中，全连接层的定义如下：将卷积层输出的特征yj全部连接到同一个隐含节点上，输出一个1×1×m的地表覆盖高维特征，m即为全连接层隐含节点的数目。
最后，构建模型的分类器。分类器的输入数据为全连接层输出的地表覆盖高维特征g，该分类器利用softmax回归方法，计算每个地表覆盖类型的分类概率softmax(gj)，并取概率最高的地表覆盖类型，作为图片最终的地表覆盖类型。
其中，softmax回归的公式如下：
式中，exp(·)为期望函数，gk为全部类别的高维特征，gj为j类的高维特征，其中k为地表覆盖的全部类别，j为其中一种地表覆盖类型。
本发明首先构建模型的卷积层。通过反复堆叠3×3的小型卷积核和2×2的最大池化层,构建模型的卷积层。本例中地表覆盖图片自动识别模型有五段卷积，每一段有2-3个卷积层，每一个卷积层之间用ReLU函数进行非线性操作，同时每段尾部会连接一个最大池化层用来对图片进行下采样。
继而，通过连接三个全连接层，构建模型的多层感知器。第1、2个全连接层隐含节点为4096个，最后一层输出节点为8个，多层感知器将步骤卷积层输出的7*7*512的特征图映射到隐含节点转换成1*1*4096的特征向量，最后一层全连接把1*1*4096的特征向量与8个隐含节点全连接，这八个隐含节点的输出就是分类的显示表达。
最后构建模型的分类器。分类器的输入数据为全连接层输出的1*1*8的地表覆盖高维特征g，该分类器利用softmax回归方法，计算每个地表覆盖类型的分类概率softmax(g),并取概率最高的地表覆盖类型，作为图片最终的地表覆盖类型。
b:利用步骤(1)中训练数据和反向传播算法，调整卷积神经网络的参数。
将步骤(1)中的训练数据输入上述卷积神经网络中，获得预测分类结果pn。n为第n张图片。利用反向传播方法，对模型中的权值参数wij进行更新。
其中反向传播方法即：将地表覆盖图片自动识别模型获得的分类类别与目视解译的分类类别进行比较，根据损失函数得到分类误差，通过遍历模型的反向路径，将分类误差逐层传递到每个节点，根据权值更新公式，更新相应的卷积核权值wij。
其中，权值更新公式如下：
式中，对于卷积网络任意一层L，wij为连接输入特征图xi和输出特征图yj之间的权值，α为设定的每一层的学习率，xi为输入特征图，其中对于参数
当L层是卷积网络的最后一层时：
其中Tj为第j个目视解译的分类；RL’(xi)为非线性映射函数的导数；j＝1,2,……,NL。
当L层不是最后一层时：
其中NL+1为第L+1层输出特征的数目；m＝1,2,……,NL+1；wjm为连接L层的输出特征图yj(L+1层的输入特征图xj)与L+1层输出特征图ym的权重；为L+1层第m个输出特征图的参数i和j是正整数；
其中，分类误差Hp′(p)的计算方法如下：
式中n为第n张图片，p是预测的分类结果，p’是真实的分类结果，即训练数据目视解译的分类。当误差的极限约为0.001时，则认为模型的修正结束，否则，重复步骤(202)。
本例中，利用反向传播方法和步骤(1)中训练数据，根据学习率为0.01的权值更新公式调整上述已构建模型的参数，实现卷积神经网络的参数修正。调整过程中分类误差随着迭代次数的增大而减小并趋近于0。其中，模型修正过程中分类误差变化图见图3。
部分数据识别结果见图4(a)-图4(c)。
其中，图4(a)识别结果为草地，概率为75.23％；识别结果为水体，概率为13.22％；识别结果为人造地表，概率为0％；识别结果为森林，概率为2.31％；识别结果为灌木丛，概率为5.25％；识别结果为永久积雪，概率为0％；识别结果为裸地，概率为0％；识别结果为耕地，概率为4.99％；
图4(b)识别结果为水体，概率为72.22％；识别结果为草地，概率为11.57％；识别结果为人造地表，概率为0％；识别结果为森林，概率为7.29％；识别结果为灌木丛，概率为0％；
识别结果为永久积雪，概率为8.92％；识别结果为裸地，概率为0％；识别结果为耕地，概率为0％；
图4(c)识别结果为人造地表，概率为76.47％；识别结果为草地，概率为0％；识别结果为水体，概率为22.72％；识别结果为森林，概率为0％；识别结果为灌木丛，概率为0％；识别结果为永久积雪，概率为0.81％；识别结果为裸地，概率为0％；识别结果为耕地，概率为0％；上述识别结果与真实分类一致。
步骤(3)：地表覆盖图片自动识别结果的验证。将步骤(1)中验证数据输入步骤(2)所述修正后的地表覆盖图片自动识别模型，得到每张图片的地表覆盖类型识别结果。继而，将所得识别结果与步骤(1)中所得目视解译分类结果进行对比，通过交叉验证方法，计算地表覆盖图片自动识别结果的验证精度。
本例中利用步骤(1)中1196张验证数据进行验证，其中，有1081张图片被正确分类，验证精度为90.72％。验证过程中的精度变化见表2。
表2地表覆盖图片自动识别验证精度变化表
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于深度学习的地表覆盖图片自动识别方法，其特征是，包括如下步骤：
步骤(1)：地表覆盖图片预处理：通过网络爬虫获取互联网上的地表覆盖图片，然后对采集的图片进行重采样，利用目视解译的方法对重采样后的地表覆盖图片进行地表覆盖类型的分类，将地表覆盖图片随机分为两部分：得到训练数据和验证数据；
步骤(2)：利用训练数据构建地表覆盖图片自动识别模型：首先，构建地表覆盖图片自动识别模型中的卷积神经网络，所述卷积神经网络包括：依次连接的卷积层、多层感知器和分类器；继而，利用训练数据和反向传播算法，调整卷积神经网络的参数，实现地表覆盖图片自动识别模型的构建；
步骤(3)：利用验证数据验证地表覆盖图片自动识别结果：将步骤(1)中验证数据输入步骤(2)的地表覆盖图片自动识别模型，得到每张图片的地表覆盖类型识别结果；继而，将所得识别结果与步骤(1)中所得目视解译分类结果进行对比，通过交叉验证方法，计算地表覆盖图片自动识别结果的验证精度。
2.如权利要求1所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，所述步骤(1)的重采样步骤包括：利用重采样方法，调整图片中像元的位置和间距，得到像素为224*224*3的地表覆盖图片。
3.如权利要求1所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，所述地表覆盖类型，包括：耕地、森林、草地、灌木丛、湿地、水体、苔原、人造地表、裸地、冰川和永久积雪。
4.如权利要求1所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，
所述互联网上的地表覆盖图片，包括：环球地理参考场图片库、Flickr或Panoramio、Geograph网站的地表覆盖图片，谷歌地图、百度地图或高德地图中的街景图片。
5.如权利要求1所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，
所述步骤(2)构建地表覆盖图片自动识别模型中的卷积神经网络，包括：
步骤(201)：构建卷积层；
步骤(202)：构建多层感知器；
步骤(203)：构建分类器。
6.如权利要求5所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，所述步骤(201)的步骤为：
为了提取地表覆盖图片中的地表覆盖类型特征，构建网络的卷积层；
卷积层的公式如下：
<mrow>
<msub>
<mi>&gamma;</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，卷积层的输入特征图xi为n个重采样后的地表覆盖图片构成的三维数组，即地表覆盖图片的分辨率；
输出特征图yj也是个三维数组，连接输入特征图xi和输出特征图yj的权值记为wij，公式(1)中*为二维离散卷积运算符，bj是可训练的偏置参数；其中wij的初始参数为0，并根据需要进行调整。
7.如权利要求6所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，
所述步骤(202)的步骤为：通过连接三个全连接层，构建多层感知器；
其中，全连接层的定义如下：将卷积层输出的特征yj全部连接到同一个隐含节点上，输出一个1×1×m的地表覆盖高维特征，m为全连接层隐含节点的数目。
8.如权利要求7所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，
所述步骤(203)的步骤为：
分类器的输入数据为全连接层输出的地表覆盖高维特征g，分类器利用softmax回归方法，计算每个地表覆盖类型的分类概率softmax(g)，并取概率最高的地表覆盖类型，作为图片最终的地表覆盖类型；
其中，softmax回归的公式如下：
<mrow>
<mi>s</mi>
<mi>o</mi>
<mi>f</mi>
<mi>t</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mi>k</mi>
</msub>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，exp(·)为期望函数，gk为全部类别的高维特征，gj为j类的高维特征，其中k为地表覆盖的全部类别，j为其中一种地表覆盖类型。
9.如权利要求8所述的基于深度学习的地表覆盖图片自动识别方法，其特征是，
所述步骤(2)中利用训练数据和反向传播算法，调整卷积神经网络的参数的步骤为：
将步骤(1)中的训练数据输入卷积神经网络中，获得预测分类结果pn，n为第n张图片；利用反向传播方法，对卷积神经网络中的权值参数wij进行更新；
所述反向传播方法：将地表覆盖图片自动识别模型获得的分类类别与目视解译的分类类别进行比较，根据损失函数得到分类误差，通过遍历卷积神经网络模型的反向路径，将分类误差逐层传递到每个节点，根据权值更新公式，更新相应的卷积核权值wij；
其中，权值更新公式如下：
<mrow>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>&alpha;</mi>
<msub>
<mo>&part;</mo>
<mi>j</mi>
</msub>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，对于卷积网络任意一层L，wij为连接输入特征图xi和输出特征图yj之间的权值，α为设定的每一层的学习率，xi为输入特征图，其中对于参数
当L层是卷积网络的最后一层时：
<mrow>
<msub>
<mo>&part;</mo>
<mi>j</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<msub>
<mi>R</mi>
<mi>L</mi>
</msub>
<mo>,</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Tj为第j个目视解译的分类；RL’(xi)为非线性映射函数的导数；j＝1,2,……,NL；
当L层不是最后一层时：
<mrow>
<msub>
<mo>&part;</mo>
<mi>j</mi>
</msub>
<mo>=</mo>
<msup>
<msub>
<mi>R</mi>
<mi>L</mi>
</msub>
<mo>,</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</munderover>
<msub>
<mo>&part;</mo>
<mi>m</mi>
</msub>
<msub>
<mi>w</mi>
<mrow>
<mi>j</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中NL+1为第L+1层输出特征的数目；m＝1,2,……,NL+1；wjm为连接L层的输出特征图yj与L+1层输出特征图ym的权重；为L+1层第m个输出特征图的参数i和j是正整数；
其中，分类误差Hp′(p)的计算方法如下：
<mrow>
<msub>
<mi>H</mi>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
<mi>n</mi>
<mi>log</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
式中n为第n张图片，p是预测的分类结果，p’是真实的分类结果，即训练数据目视解译的分类；当分类误差在设定范围内时，则认为卷积神经网络的参数调整结束，否则，继续调整。
10.基于深度学习的地表覆盖图片自动识别系统，其特征是，包括：
地表覆盖图片预处理单元：通过网络爬虫获取互联网上的地表覆盖图片，然后对采集的图片进行重采样，利用目视解译的方法对重采样后的地表覆盖图片进行地表覆盖类型的分类，将地表覆盖图片随机分为两部分：得到训练数据和验证数据；
地表覆盖图片自动识别模型构建单元：首先，构建地表覆盖图片自动识别模型中的卷积神经网络，所述卷积神经网络包括：依次连接的卷积层、多层感知器和分类器；继而，利用训练数据和反向传播算法，调整卷积神经网络的参数，实现地表覆盖图片自动识别模型的构建；
地表覆盖图片自动识别结果验证单元：将验证数据输入地表覆盖图片自动识别模型，得到每张图片的地表覆盖类型识别结果；继而，将所得识别结果与所得目视解译分类结果进行对比，通过交叉验证方法，计算地表覆盖图片自动识别结果的验证精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538580.3A CN107451528B (zh) | 2017-07-04 | 2017-07-04 | 基于深度学习的地表覆盖图片自动识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538580.3A CN107451528B (zh) | 2017-07-04 | 2017-07-04 | 基于深度学习的地表覆盖图片自动识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107451528A true CN107451528A (zh) | 2017-12-08 |
| CN107451528B CN107451528B (zh) | 2019-11-12 |
Family
ID=60488124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710538580.3A Expired - Fee Related CN107451528B (zh) | 2017-07-04 | 2017-07-04 | 基于深度学习的地表覆盖图片自动识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107451528B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108122009A (zh) * | 2017-12-25 | 2018-06-05 | 合肥阿巴赛信息科技有限公司 | 基于深度学习的珠宝图片分类系统及方法 |
| CN109635053A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 地图的质检方法、装置、系统及存储介质 |
| CN109794431A (zh) * | 2019-03-19 | 2019-05-24 | 广东省农业科学院农业生物基因研究中心 | 一种智能化筛选高活力作物种子的技术 |
| CN110399840A (zh) * | 2019-05-22 | 2019-11-01 | 西南科技大学 | 一种快速的草坪语义分割及边界检测方法 |
| CN111144271A (zh) * | 2019-12-23 | 2020-05-12 | 山东大学齐鲁医院 | 一种内镜下自动识别活检部位及活检数量的方法及系统 |
| CN111177071A (zh) * | 2019-12-12 | 2020-05-19 | 广州地理研究所 | Flickr平台的图片下载方法及装置 |
| CN113095303A (zh) * | 2021-06-04 | 2021-07-09 | 成都数之联科技有限公司 | 模型训练方法及林地变化检测方法及系统及装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063718A (zh) * | 2014-04-01 | 2014-09-24 | 中国科学院遥感与数字地球研究所 | 在作物识别和面积估算中选择遥感数据和分类算法的方法 |
| CN105844298A (zh) * | 2016-03-23 | 2016-08-10 | 中国石油大学(华东) | 一种基于Fuzzy ARTMAP神经网络的高光谱溢油影像分类方法 |
| US20160307073A1 (en) * | 2015-04-20 | 2016-10-20 | Los Alamos National Security, Llc | Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery |
| CN106898350A (zh) * | 2017-01-16 | 2017-06-27 | 华南理工大学 | 一种基于深度学习的智能工业机器人语音交互与控制方法 |
-
2017
- 2017-07-04 CN CN201710538580.3A patent/CN107451528B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063718A (zh) * | 2014-04-01 | 2014-09-24 | 中国科学院遥感与数字地球研究所 | 在作物识别和面积估算中选择遥感数据和分类算法的方法 |
| US20160307073A1 (en) * | 2015-04-20 | 2016-10-20 | Los Alamos National Security, Llc | Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery |
| CN105844298A (zh) * | 2016-03-23 | 2016-08-10 | 中国石油大学(华东) | 一种基于Fuzzy ARTMAP神经网络的高光谱溢油影像分类方法 |
| CN106898350A (zh) * | 2017-01-16 | 2017-06-27 | 华南理工大学 | 一种基于深度学习的智能工业机器人语音交互与控制方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108122009A (zh) * | 2017-12-25 | 2018-06-05 | 合肥阿巴赛信息科技有限公司 | 基于深度学习的珠宝图片分类系统及方法 |
| CN109635053A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 地图的质检方法、装置、系统及存储介质 |
| CN109635053B (zh) * | 2018-10-31 | 2021-01-12 | 百度在线网络技术（北京）有限公司 | 地图的质检方法、装置、系统及存储介质 |
| CN109794431A (zh) * | 2019-03-19 | 2019-05-24 | 广东省农业科学院农业生物基因研究中心 | 一种智能化筛选高活力作物种子的技术 |
| CN110399840A (zh) * | 2019-05-22 | 2019-11-01 | 西南科技大学 | 一种快速的草坪语义分割及边界检测方法 |
| CN110399840B (zh) * | 2019-05-22 | 2024-04-02 | 西南科技大学 | 一种快速的草坪语义分割及边界检测方法 |
| CN111177071A (zh) * | 2019-12-12 | 2020-05-19 | 广州地理研究所 | Flickr平台的图片下载方法及装置 |
| CN111177071B (zh) * | 2019-12-12 | 2023-07-07 | 广州地理研究所 | Flickr平台的图片下载方法及装置 |
| CN111144271A (zh) * | 2019-12-23 | 2020-05-12 | 山东大学齐鲁医院 | 一种内镜下自动识别活检部位及活检数量的方法及系统 |
| CN111144271B (zh) * | 2019-12-23 | 2021-02-05 | 山东大学齐鲁医院 | 一种内镜下自动识别活检部位及活检数量的方法及系统 |
| CN113095303A (zh) * | 2021-06-04 | 2021-07-09 | 成都数之联科技有限公司 | 模型训练方法及林地变化检测方法及系统及装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107451528B (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451528B (zh) | 基于深度学习的地表覆盖图片自动识别方法及系统 | |
| Mubin et al. | Young and mature oil palm tree detection and counting using convolutional neural network deep learning method | |
| CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
| CN108710863A (zh) | 基于深度学习的无人机航拍场景语义分割方法及系统 | |
| Saralioglu et al. | Semantic segmentation of land cover from high resolution multispectral satellite images by spectral-spatial convolutional neural network | |
| CN110325981A (zh) | 基于变化检测的地图界面更新系统 | |
| Leon et al. | Improving the synoptic mapping of coral reef geomorphology using object-based image analysis | |
| Ghorbanzadeh et al. | The application of ResU-net and OBIA for landslide detection from multi-temporal sentinel-2 images | |
| Ainiwaer et al. | Deep learning-based rapid recognition of oasis-desert ecotone plant communities using UAV low-altitude remote-sensing data | |
| Novelli et al. | Improving the ANN classification accuracy of landsat data through spectral indices and linear transformations (PCA and TCT) aimed at LU/LC monitoring of a river basin | |
| CN113205014A (zh) | 一种基于图像锐化的时序数据耕地提取方法 | |
| CN113435268A (zh) | 基于图变换知识嵌入算法的地震灾区遥感影像解译方法 | |
| Tang et al. | A deep relearning method based on the recurrent neural network for land cover classification | |
| Hamer et al. | Replacing human interpretation of agricultural land in Afghanistan with a deep convolutional neural network | |
| Vanden Boomen et al. | Application of deep learning for imaging‐based stream gaging | |
| Arunachalam et al. | ArcOLITIRS: A toolbox for radiometric calibration and surface temperature estimation from Landsat 8 products in ArcGIS environment | |
| Musyoka | Automatic delineation of small holder agricultural field boundaries using fully convolutional networks | |
| Lguensat et al. | Convolutional neural networks for the segmentation of oceanic eddies from altimetric maps | |
| Hidayat et al. | GEOBIA an (geographic) object-based image analysis for coastal mapping in Indonesia: A review | |
| Raju et al. | Object Recognition in Remote Sensing Images Based on Modified Backpropagation Neural Network. | |
| Baral et al. | Remote Sensing Image Classification Using Transfer Learning Based Convolutional Neural Networks: An Experimental Overview | |
| AlAfandy et al. | Efficient Classification of Remote Sensing Images Using Two Convolution Channels and SVM. | |
| Norelyaqine et al. | Deep learning for building extraction from high-resolution remote sensing images | |
| Sun et al. | Crop classification in cloudy and rainy areas based on the optical-synthetic aperture radar response mechanism | |
| Driba et al. | Predicting wetland soil properties using machine learning, geophysics, and soil measurement data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191112 |