CN110287869A - 基于深度学习的高分辨率遥感影像农作物分类方法 - Google Patents

基于深度学习的高分辨率遥感影像农作物分类方法 Download PDF

Info

Publication number
CN110287869A
CN110287869A CN201910551686.6A CN201910551686A CN110287869A CN 110287869 A CN110287869 A CN 110287869A CN 201910551686 A CN201910551686 A CN 201910551686A CN 110287869 A CN110287869 A CN 110287869A
Authority
CN
China
Prior art keywords
size
remote sensing
sensing image
padding
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910551686.6A
Other languages
English (en)
Other versions
CN110287869B (zh
Inventor
顾玲嘉
杨舒婷
任瑞治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910551686.6A priority Critical patent/CN110287869B/zh
Publication of CN110287869A publication Critical patent/CN110287869A/zh
Application granted granted Critical
Publication of CN110287869B publication Critical patent/CN110287869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Abstract

本发明公开了一种基于深度学习的高分辨率遥感影像农作物分类方法，属于卫星遥感图像处理与应用的技术领域。本发明目的是解决现有高分辨率遥感影像在对农作物分类中存在的地物边界模糊、算法复杂度高与忽略特征波段信息等缺点，以及目前神经网络方法无法对高分辨率遥感图像进行农作物分类的问题。本发明采用36波段的组合方式，结合本发明所设计分VGG神经网络结果，利用VGG神经网络的深度学习，通过多次迭代达到了对10m分辨率的高分辨遥感影像中的农作物地块进行准确的分类。

Description

基于深度学习的高分辨率遥感影像农作物分类方法
技术领域
本发明属于卫星遥感图像处理与应用的技术领域。
背景技术
农作物分类信息的获取在农业资源调查、土地利用现状分析、农作物估产和灾害评估等诸多领域中都具有十分重要的意义，近年来也成为了遥感领域的研究热点之一。在诸多遥感图像的分类方法中，基于深度学习的图像分类方法自提出以来就备受关注，它为图像的识别与分类开拓了新的方向。近年来，国内外的研究学者提出了许多基于深度学习的图像分类方法。代表研究如下：
不同于传统的图像分类方法，神经网络算法的加入对图像分类准确率有明显提高， Krizhevsky等人提出训练CNN模型运用于图像的分类，并在ImageNet比赛中取得了很好的分类结果(参见Krizhevsky A,Sutskever I,Hinton G E,"Imagenet classificationwith deep convolutional neural networks,"Advances in neural informationprocessing systems,1097-1105 (2012))。Chen等人用DBN模型提取高分辨率遥感影像中的飞机，利用DBN能够学习特征和利用BP调整参数的特点证实了比传统特征分类器的提取方法更好(参见Chen X,Xiang S, Liu C L,"Aircraft detection by deep beliefnets,"20132nd IAPR Asian Conference on Pattern Recognition.IEEE,54-58(2013))。Romero等人提出非监督的神经网络用于对高光谱遥感影像的分析，避免了有监督方法训练时高光谱影像的Hudge现象和小样本造成的过拟合问题，但是相比监督分类不能有效地提取影像特征(参见Romero A,Gatta C,Camps-Valls G, "Unsupervised deep featureextraction for remote sensing image classification,"IEEE Transactions onGeoscience and Remote Sensing,54(3):1349-1362(2016))。Chen等人提出了有监督的3D-CNN模型能够同时提取影像的光谱和空间特征，使分类精度进一步提升(参见Chen Y,Jiang H,Li C,"Deep feature extraction and classification of hyperspectralimages based on convolutional neural networks,"IEEE Transactions onGeoscience and Remote Sensing,54(10): 6232-6251(2016))。Marco Castelluccio等人对比了GoogLeNet与CaffeNet对遥感影像进行分类(参见Castelluccio M,Poggi G,Sansone C,"Land use classification in remote sensing images by convolutionalneural networks,"arXiv preprint arXiv:1508.00092(2015))。Chen等人提出用全卷积网络对SAR影像进行自动目标识别和分类,有效地缓解了由于样本有限造成的过拟合问题(参见Chen S,Wang H,Xu F,"Target classification using the deep convolutionalnetworks for SAR images,"IEEE Transactions on Geoscience and Remote Sensing,54(8):4806-4817(2016))。Xiaodong Xu等人将CNN应用到多源遥感数据中，实现结果的精确分类(参见Xu X,Li W,Ran Q,"Multisource remote sensing data classificationbased on convolutional neural network,"IEEE Transactions on Geoscience andRemote Sensing,56(2):937-949(2018))。随着深度学习的不断发展，神经网络逐渐被应用到遥感影像中，包括建筑物提取，目标检测与土地利用等方面。
目前为止，国内外研究学者提出了很多遥感图像分类算法，但仍然存在一些缺陷：(1)算法复杂度高；(2)忽略特征波段的影响；(3)地物之间边界模糊。基于深度学习的遥感图像分类方法在农作物的分类中具备优势，可以在某些程度上克服这些缺点，但目前主要是针对空间分辨率是10米级别的多光谱遥感影像进行处理，分辨率在1m以下的高分辨率遥感影像采用神经网络进行农作物分类的方法在国内外未见报道。
发明内容
为了解决现有高分辨率遥感影像在对农作物分类中存在的地物边界模糊、算法复杂度高与忽略特征波段信息等缺点，以及目前神经网络方法无法对高分辨率遥感图像进行农作物分类的问题，本发明采用一种基于深度学习的遥感影像农作物分类算法，能够快速、有效地获取到高分辨率遥感卫星影像中的农作物分类信息。
本发明采用的技术方案具体步骤取下：
步骤一、影像预处理：获取到的高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，然后对处理好的遥感图像进行图像剪裁选取需要的图像区域。
(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标。
(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH) 来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。
(c)图像剪裁用于获得感兴趣的区域(ROI)。
步骤二、图像分割：对获取到的高分辨率遥感影像的各特征波段进行分割操作。采用 Felzenszwalb分割算法，对图像进行分割操作，各地物之间的边界变得清晰。
该算法是将图像用加权图抽象化表示，图G(Graph)是由顶点集V(vertices)和边集E(edges) 组成，表示为G＝(V,E)，顶点v∈V，把图像中的每个像素或每个区域看成图的一个顶点，连接一对顶点的边(vi,vj)具有权重w(vi,vj)，边的权值代表该条边所连接的两个顶点的颜色特征差异，在该算法中的意义为顶点之间的不相似度。图像分割的具体实现方法：
(a)计算每一个像素点与其4邻域(不包括对角线上的像素点)或8邻域的不相似度，不相似度即它们之间的权重。
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面。
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断。设其所连接的顶点为(vi,vj)。需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域，。
(d)更新阈值与类标号。
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号。
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
步骤三、高分辨率遥感影像的特征波段组合：针对多时相遥感影像的波段信息进行特征波段组合，提出一种36波段的组合方式。
基于36波段的特征波段组合里包括3景的多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI) 和差值植被指数(DVI)；
其中，归一化植被指数的缩写是NDVI，该指数是反映农作物长势与营养信息的重要参数之一，NDVI的公式如式(1)所示：
NDVI＝(NIR-R)/(NIR+R) (1)
其中，NIR为近红外波段的反射值，R为红光波段的反射值。
归一化水指数的缩写是NDWI,一般用来提取影像中的水体信息，效果较好。该指数同样可以用来对水稻进行识别，提高水稻的分类准确度。NDWI的公式如式(2)所示：
NDVI＝(NIR-R)/(NIR+R) (2)
其中，G为绿光波段的反射值，NIR为近红外波段的反射值。
差值植被指数的缩写是DVI,该指数可以用来检测植被生长状态、植被覆盖度和消除部分辐射误差等。DVI的公式如式(3)所示：
DVI＝NIR-R (3)
其中，NIR为近红外波段的反射值，R为红光波段的反射值。
步骤四、训练集的选取：在获取到的遥感影像中根据实地考察结果和不同的作物类型表现出不同的光谱特征，为不同的作物类型选择出符合光谱特征的训练样本，并基于像素点分类，其中80％的像素点进行训练，20％的像素点进行测试。
训练数据的选取对模型精度是有很大影响的，一般从两个方面考虑，一方面是训练样本的质量，另一方面是样本数量。
(a)样本质量
样本质量是指训练样本能反映总体分布的程度，或者说是整个训练样本所能提供的信息量，它将对神经网络模型的泛化能力有很大的影响。训练样本选取后若存在奇异值，即训练样本值之间的差异较大，可以通过归一化处理来保证参数变化范围的一致性；样本分布如果不正常，考虑对变量进行压缩式变换。
(b)样本数量
样本数量是指训练某个神经网络所需的样本数，样本数目对网络性能起重要作用。训练样本数量不能过少，可能会导致网络在训练时不能收敛；训练样本的数量同样不能过多，会导致训练时发生过拟合。一般来说，当训练样本不够，不能更好学习特征的时候，可以通过数据增强的方法扩充原始的样本数据集。数据增强在图像深度学习中可以更好的提取图像特征，使模型的泛化能力增强，即可以防止模型的过拟合。图像增强手段包括图像旋转、扭曲图像特征、改变图像尺寸大小、增强图像噪音等。
步骤五、神经网络分类算法：采用VGG算法对36个特征波段组合的遥感影像进行分类，得到农作物的分类结果。
VGG算法的网络结构中包括输入层、连续的卷积层、池化层、全连接层与输出层。VGG 算法中选择连续的卷积核替代较大的卷积核以获得网络深度的提升，经过1500次迭代达到高精度要求。
输出特征图大小的计算方式有两种，一种是padding＝'SAME'，另一种是padding＝'VALID'。若采用'SAME'方式，若采用'VALID'方式，其中，win是输入特征图边的大小，wout是输出特征图边的大小， padding为特征图填充的圈数，strides代表步长，kernel_size代表内核大小。
所述的VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段。
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，即池化层输出特征响应图的尺寸为3×3×64。
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为 2×2×128。
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为 1×1×256。
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为 1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作物的可能概率，概率值最大的索引值对应该像素点的作物分类。
本发明的有益效果：
本发明将预处理后的遥感影像特征波段先进行分割，然后组合特征波段并通过神经网络进行农作物的分类，比较精确的对遥感影像中不同的农作物进行识别，解决了传统遥感图像分类算法中忽略特征波段、地物边界模糊与算法复杂度高的缺点。本发明考虑到地物之间的边界信息，同时考虑到不同的特征波段农作物具有不同的响应情况，提出了上述特征波段的组合并通过VGG网络分类，获得更准确的农作物分类结果。本发明方法能自动、高效地从高分辨率卫星遥感影像中识别出不同的作物类型，为农业资源调查、土地利用现状分析、农作物估产等诸多领域提供一定的技术支持。
附图说明
图1是本发明使用的研究区。
图2是本发明基于深度学习的高分辨率遥感影像农作物分类方法的流程图。
图3是本发明实施例1的近红波段分割图。
图4是本发明实施例1的VGG网络结构图。
图5是本发明实施例1的VGG在不同迭代次数下训练精度的变化情况。
图6是本发明实施例1的VGG网络在36个特征波段组合下的分类结果。
具体实施方式
实施例1：
采用VGG网络对36个特征波段的组合进行分类，如表1所示，采用多时相的Sentinel-2 影像作为实验数据，Sentinel-2数据具有不同的波段分辨率，分别是10m、20m、60m，本文使用的数据均重采成统一的10m分辨率。包含3景数据，获取时间分别为2017年6月15日、 2017年7月18日、2017年9月11日。实验区位于吉林省长春市石头口门水库附近(图1)，周边的农作物种植茂密，多为水稻、玉米、大豆等东北常见作物。通过野外观测与专家解译的方式获得该实验区的验证数据，并以此结果作为标准。
表1
Sentinel-2波段 中心波长(um) 分辨率(m)
B1-海岸/气溶胶波段 0.443 60
B2-蓝波段 0.49 10
B3-绿波段 0.56 10
B4-红波段 0.665 10
B5-红边波段 0.705 20
B6-红边波段 0.74 20
B7-红边波段 0.783 20
B8-近红外波段 0.842 10
B8A-近红波段 0.865 20
B9-水蒸气波段 0.945 60
B10-短波红外波段 1.375 60
B11-短波红外波段 1.61 20
B12-短波红外波段 2.19 20
步骤一：影像预处理
获取到的高分辨率Sentinel-2数据是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，并对处理好的遥感图像进行图像剪裁选取需要的图像区域。
(a)辐射定标：利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)完成数字量化值(DN)到辐射亮度值的转化。
(b)大气校正：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差。
(c)通过图像剪裁获得感兴趣的区域(ROI)。
步骤二、图像分割
利用Felzenszwalb算法对需要用到的Sentinel-2数据特征波段进行分割处理，突出地物之间的边界信息。以2017年7月18日的Sentinel-2数据的近红波段分割图为例(图3)。图像分割的实现方法：
(a)计算每一个像素点与其4邻域(不包括对角线上的像素点)或8邻域的不相似度，不相似度即它们之间的权重。
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面。
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断。设其所连接的顶点为(vi,vj)。需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域。
(d)更新阈值与类标号。
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号。
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
步骤三：高分辨率遥感影像的特征波段组合
使用3景高分辨率的Sentinel-2数据，将红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI)、差值植被指数(DVI) 特征波段组合成36个波段，波段组合情况见表2。
表2
波段数目 波段组合情况
36波段 (B2、B3、B4、B5、B6、B7、B8、B11、B12、NDVI、NDWI、DVI)×3
步骤四：训练集的选取，根据遥感影像中不同作物类型表现不同光谱特性，将实验区的作物类型划分为四类，包括水稻、玉米、大豆与城镇。在遥感影像上分别选取不同作物类型的训练样本，选取的训练样本在样本质量与样本数量上均满足要求。基于图像像素点进行分类，其中约12000个像素点进行训练，约3000个像素点进行测试。不同作物类型的光谱特性见表3。
表3
步骤五：VGG算法
选取的VGG网络包括输入层，连续的卷积层加池化层(7个卷积层、3个池化层)，2个全连接层和输出层(图4)。用连续的卷积核来替代较大的卷积核以获得更深的网络。不同迭代次数下VGG网络训练精度的变化情况(图5)，最终选择的迭代次数为1500次。
VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段。
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，即池化层输出特征响应图的尺寸为3×3×64。
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为 2×2×128。
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为 1×1×256。
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作为的可能概率，概率值最大的索引值对应该像素点的作物分类。
VGG网络的参数设置见表4。
表4
VGG网络在36个特征波段组合下的分类结果如图6所示，通过在1m分辨率的GF-2数据上选取验证数据对最终的分类结果进行验证，验证数据的选取是经过野外观测与专家解译的，GF-2影像数据与Sentinel-2影像数据已经事先进行了配准，选取的验证数据如图(a)所示。由于地物类型有限，主要以城镇、水稻、玉米、大豆为主。特征波段已进行分割处理，将多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI)、差值植被指数(DVI)组合成36个波段送入VGG网络进行农作物分类。得到的分类结果如图(b)所示，分类结果图的边界轮廓体现较好，比较精确的识别出水稻、玉米、大豆与城镇，与实现选好的实测数据进行精度分析，总体精度达到95.1011％，Kappa系数为0.9292。
实验结果：为了说明VGG算法在高分辨率遥感影像分类中的优势，将选择两种在分类中表现良好的机器学习算法随机森林(RF)与支持向量机(SVM)进行对比。传统的机器学习算法在农作物分类中的表现同样优秀，但基于深度学习的高分辨遥感影像农作物分类算法要比传统的机器学习算法分类效果更好，在对相同特征波段组合成的36个波段进行分类时，本发明提出的VGG网络分类算法表现最优，总体分类精度达到95.1011％，然后是支持向量机 (SVM)，总体分类精度为93.2031％，最后是随机森林(RF)，总体分类精度为92.9291％。VGG 算法比传统的机器学习算法在总体精度上提升了约3个百分点，作物之间的错分现象有所改善，并且地物之间的边界更清晰。

Claims (3)

1.基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，该方法的具体步骤如下：
步骤一、影像预处理：获取到的高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，然后对处理好的遥感图像进行图像剪裁选取需要的图像区域；
步骤二、图像分割：对获取到的高分辨率遥感影像的各特征波段进行分割操作；采用Felzenszwalb分割算法，对图像进行分割操作，各地物之间的边界变得清晰；
步骤三、高分辨率遥感影像的特征波段组合：针对多时相遥感影像的波段信息进行特征波段组合，提出一种36波段的组合方式；
基于36波段的特征波段组合里包括3景的多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数NDVI、归一化水指数NDWI和差值植被指数DVI；
所述的归一化植被指数NDVI的公式如式(1)所示：
NDVI＝(NIR-R)/(NIR+R) (1)
其中，NIR为近红外波段的反射值，R为红光波段的反射值；
归一化水指数NDWI的公式如式(2)所示：
NDVI＝(NIR-R)/(NIR+R) (2)
其中，G为绿光波段的反射值，NIR为近红外波段的反射值；
差值植被指数的缩写是DVI的公式如式(3)所示：
DVI＝NIR-R (3)
其中，NIR为近红外波段的反射值，R为红光波段的反射值；
步骤四、训练集的选取：在获取到的遥感影像中根据实地考察结果和不同的作物类型表现出不同的光谱特征，为不同的作物类型选择出符合光谱特征的训练样本，并基于像素点分类，其中80％的像素点进行训练，20％的像素点进行测试；
步骤五、神经网络分类算法：采用VGG算法对36个特征波段组合的遥感影像进行分类，经过1500次迭代后，得到农作物的分类结果；
所述的VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段；
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，即池化层输出特征响应图的尺寸为3×3×64；
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为2×2×128；
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为1×1×256；
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作物的可能概率，概率值最大的索引值对应该像素点的作物分类。
2.根据权利要求1所述的基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，步骤一的影像预处理中
(a)辐射定标的方法：辐射定标参数放在元数据文件中，利用完整的遥感图像处理平台的辐射定标工具能自动从元数据文件中读取参数，从而完成辐射定标；
(b)大气校正的方法：利用完整的遥感图像处理平台的大气校正工具来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。
3.根据权利要求1所述的基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，步骤二中图像分割所采用的Felzenszwalb算法具体步骤如下：
(a)计算每一个像素点与其4邻域或8邻域的不相似度，不相似度即它们之间的权重；4邻域不包括对角线上的像素点；
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面；
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断；设其所连接的顶点为(vi,vj)；需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域；
(d)更新阈值与类标号；
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号；
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
CN201910551686.6A 2019-06-25 2019-06-25 基于深度学习的高分辨率遥感影像农作物分类方法 Active CN110287869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910551686.6A CN110287869B (zh) 2019-06-25 2019-06-25 基于深度学习的高分辨率遥感影像农作物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551686.6A CN110287869B (zh) 2019-06-25 2019-06-25 基于深度学习的高分辨率遥感影像农作物分类方法

Publications (2)

Publication Number Publication Date
CN110287869A true CN110287869A (zh) 2019-09-27
CN110287869B CN110287869B (zh) 2022-03-18

Family

ID=68005640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551686.6A Active CN110287869B (zh) 2019-06-25 2019-06-25 基于深度学习的高分辨率遥感影像农作物分类方法

Country Status (1)

Country Link
CN (1) CN110287869B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852225A (zh) * 2019-10-31 2020-02-28 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN110992257A (zh) * 2019-12-20 2020-04-10 北京航天泰坦科技股份有限公司 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置
CN111060455A (zh) * 2019-11-01 2020-04-24 中科禾信遥感科技（苏州）有限公司 面向东北冷凉区的遥感图像作物标记方法和装置
CN111079835A (zh) * 2019-12-16 2020-04-28 安徽大学 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法
CN111582194A (zh) * 2020-05-12 2020-08-25 吉林大学 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法
CN111738175A (zh) * 2020-06-24 2020-10-02 桂林理工大学 一种基于遥感影像和卷积神经网络的农业干旱监测系统
CN111767800A (zh) * 2020-06-02 2020-10-13 华南师范大学 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN111814563A (zh) * 2020-06-09 2020-10-23 河南工业大学 一种种植结构的分类方法及装置
CN112580504A (zh) * 2020-12-17 2021-03-30 中国科学院空天信息创新研究院 基于高分辨率卫星遥感影像的树种分类计数方法及装置
CN112712071A (zh) * 2021-03-26 2021-04-27 北京简巨科技有限公司 作物长势检测方法及其相关设备
CN112840348A (zh) * 2019-10-11 2021-05-25 安徽中科智能感知产业技术研究院有限责任公司 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法
CN112861802A (zh) * 2021-03-16 2021-05-28 吉林大学 基于时空深度学习融合技术的农作物全自动化分类方法
CN113033381A (zh) * 2021-03-23 2021-06-25 生态环境部卫星环境应用中心 基于遥感数据的矿山和固废填埋场自动提取方法和装置
CN113159154A (zh) * 2021-04-12 2021-07-23 浙江工业大学 一种面向农作物分类的时间序列特征重建及动态识别方法
CN113240340A (zh) * 2021-06-10 2021-08-10 中国农业科学院农业信息研究所 基于模糊分类的大豆种植区分析方法、装置、设备和介质
CN113343783A (zh) * 2021-05-18 2021-09-03 北京科技大学 一种农作物智能识别与长势预测方法及系统
CN113869370A (zh) * 2021-09-03 2021-12-31 中林信达（北京）科技信息有限责任公司 基于深度学习算法和时序哨兵影像的树种精细化分类方法
CN114387516A (zh) * 2022-01-07 2022-04-22 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN116897668A (zh) * 2023-07-17 2023-10-20 辽宁省农业机械化研究所 一种电驱农作物播种施肥控制方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024258A (zh) * 2010-12-15 2011-04-20 中国科学院遥感应用研究所 具有边界保持特性的遥感图像多尺度分割方法
CN105389559A (zh) * 2015-11-12 2016-03-09 中国科学院遥感与数字地球研究所 基于高分辨率遥感影像的农业灾害范围识别系统及方法
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
US20170169314A1 (en) * 2015-12-15 2017-06-15 Qualcomm Incorporated Methods for object localization and image classification
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107796764A (zh) * 2016-09-05 2018-03-13 南京农业大学 一种基于三波段植被指数的小麦叶面积指数估算模型的构建方法
US20180181822A1 (en) * 2016-12-27 2018-06-28 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
CN108596103A (zh) * 2018-04-26 2018-09-28 吉林大学 基于最佳光谱指数选择的高分辨率卫星遥感影像建筑物提取方法
US10127451B1 (en) * 2017-04-24 2018-11-13 Peter Cecil Vanderbilt Sinnott Method of detecting and quantifying sun-drying crops using satellite derived spectral signals
CN108932521A (zh) * 2018-04-26 2018-12-04 中国农业大学 一种基于深度学习的农作物分类方法及系统
CN109409261A (zh) * 2018-10-11 2019-03-01 北京师范大学 一种农作物分类方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024258A (zh) * 2010-12-15 2011-04-20 中国科学院遥感应用研究所 具有边界保持特性的遥感图像多尺度分割方法
CN105389559A (zh) * 2015-11-12 2016-03-09 中国科学院遥感与数字地球研究所 基于高分辨率遥感影像的农业灾害范围识别系统及方法
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
US20170169314A1 (en) * 2015-12-15 2017-06-15 Qualcomm Incorporated Methods for object localization and image classification
CN107796764A (zh) * 2016-09-05 2018-03-13 南京农业大学 一种基于三波段植被指数的小麦叶面积指数估算模型的构建方法
US20180181822A1 (en) * 2016-12-27 2018-06-28 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
US10127451B1 (en) * 2017-04-24 2018-11-13 Peter Cecil Vanderbilt Sinnott Method of detecting and quantifying sun-drying crops using satellite derived spectral signals
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN108596103A (zh) * 2018-04-26 2018-09-28 吉林大学 基于最佳光谱指数选择的高分辨率卫星遥感影像建筑物提取方法
CN108932521A (zh) * 2018-04-26 2018-12-04 中国农业大学 一种基于深度学习的农作物分类方法及系统
CN109409261A (zh) * 2018-10-11 2019-03-01 北京师范大学 一种农作物分类方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN Y 等: ""Deep feature extraction and classification of hyperspectral images based on convolutional neural networks"", 《GEOSCIENCE AND REMOTE SENSING》 *
CHENG G 等: ""When deep learning meets metric learning: Remote sensing image scene classification via learning discriminative CNNs"", 《 GEOSCIENCE AND REMOTE SENSING》 *
FELZENSZWALB P F 等: ""Efficient Graph-Based Image Segmentation"", 《COMPUTER VISION》 *
WEI, LF 等: ""Spatial-Spectral Fusion Based on Conditional Random Fields for the Fine Classification of Crops in UAV-Borne Hyperspectral Remote Sensing Imagery"", 《REMOTE SENS》 *
黄双燕 等: ""机器学习法的干旱区典型农作物分类"", 《光谱学与光谱分析》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840348A (zh) * 2019-10-11 2021-05-25 安徽中科智能感知产业技术研究院有限责任公司 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法
CN110852225A (zh) * 2019-10-31 2020-02-28 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN110852225B (zh) * 2019-10-31 2022-05-06 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN111060455B (zh) * 2019-11-01 2022-03-08 中科禾信遥感科技（苏州）有限公司 面向东北冷凉区的遥感图像作物标记方法和装置
CN111060455A (zh) * 2019-11-01 2020-04-24 中科禾信遥感科技（苏州）有限公司 面向东北冷凉区的遥感图像作物标记方法和装置
CN111079835A (zh) * 2019-12-16 2020-04-28 安徽大学 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法
CN111079835B (zh) * 2019-12-16 2023-03-07 安徽大学 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法
CN110992257A (zh) * 2019-12-20 2020-04-10 北京航天泰坦科技股份有限公司 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置
CN111582194A (zh) * 2020-05-12 2020-08-25 吉林大学 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法
CN111582194B (zh) * 2020-05-12 2022-03-29 吉林大学 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法
CN111767800B (zh) * 2020-06-02 2023-09-05 华南师范大学 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN111767800A (zh) * 2020-06-02 2020-10-13 华南师范大学 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN111814563A (zh) * 2020-06-09 2020-10-23 河南工业大学 一种种植结构的分类方法及装置
CN111814563B (zh) * 2020-06-09 2022-05-17 河南工业大学 一种种植结构的分类方法及装置
CN111738175A (zh) * 2020-06-24 2020-10-02 桂林理工大学 一种基于遥感影像和卷积神经网络的农业干旱监测系统
CN112580504A (zh) * 2020-12-17 2021-03-30 中国科学院空天信息创新研究院 基于高分辨率卫星遥感影像的树种分类计数方法及装置
CN112580504B (zh) * 2020-12-17 2023-01-17 中国科学院空天信息创新研究院 基于高分辨率卫星遥感影像的树种分类计数方法及装置
CN112861802A (zh) * 2021-03-16 2021-05-28 吉林大学 基于时空深度学习融合技术的农作物全自动化分类方法
CN113033381B (zh) * 2021-03-23 2021-09-10 生态环境部卫星环境应用中心 基于遥感数据的矿山和固废填埋场自动提取方法和装置
CN113033381A (zh) * 2021-03-23 2021-06-25 生态环境部卫星环境应用中心 基于遥感数据的矿山和固废填埋场自动提取方法和装置
CN112712071A (zh) * 2021-03-26 2021-04-27 北京简巨科技有限公司 作物长势检测方法及其相关设备
CN113159154A (zh) * 2021-04-12 2021-07-23 浙江工业大学 一种面向农作物分类的时间序列特征重建及动态识别方法
CN113159154B (zh) * 2021-04-12 2024-03-29 浙江工业大学 一种面向农作物分类的时间序列特征重建及动态识别方法
CN113343783A (zh) * 2021-05-18 2021-09-03 北京科技大学 一种农作物智能识别与长势预测方法及系统
CN113240340A (zh) * 2021-06-10 2021-08-10 中国农业科学院农业信息研究所 基于模糊分类的大豆种植区分析方法、装置、设备和介质
CN113240340B (zh) * 2021-06-10 2024-04-16 中国农业科学院农业信息研究所 基于模糊分类的大豆种植区分析方法、装置、设备和介质
CN113869370A (zh) * 2021-09-03 2021-12-31 中林信达（北京）科技信息有限责任公司 基于深度学习算法和时序哨兵影像的树种精细化分类方法
CN114387516A (zh) * 2022-01-07 2022-04-22 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN114387516B (zh) * 2022-01-07 2022-08-16 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN116897668A (zh) * 2023-07-17 2023-10-20 辽宁省农业机械化研究所 一种电驱农作物播种施肥控制方法及系统
CN116897668B (zh) * 2023-07-17 2024-01-23 辽宁省农业机械化研究所 一种电驱农作物播种施肥控制方法及系统

Also Published As

Publication number Publication date
CN110287869B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN110287869A (zh) 基于深度学习的高分辨率遥感影像农作物分类方法
Jin et al. Deep neural network algorithm for estimating maize biomass based on simulated Sentinel 2A vegetation indices and leaf area index
CN108573276A (zh) 一种基于高分辨率遥感影像的变化检测方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN112131946B (zh) 光学遥感影像植被和水体信息自动提取方法
CN111340826A (zh) 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN115170979B (zh) 一种多源数据融合的矿区精细用地分类方法
Chen et al. Aboveground biomass of salt-marsh vegetation in coastal wetlands: Sample expansion of in situ hyperspectral and Sentinel-2 data using a generative adversarial network
CN114926748A (zh) Sentinel-1/2微波与光学多光谱影像结合的大豆遥感识别方法
CN111523525A (zh) 农作物分类识别方法、装置和电子设备
Liang et al. Improved estimation of aboveground biomass in rubber plantations by fusing spectral and textural information from UAV-based RGB imagery
CN109977991A (zh) 基于高清卫星遥感的林业资源采集方法
CN108898070A (zh) 一种基于无人机平台的高光谱遥感提取薇甘菊装置及方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN107121681B (zh) 基于高分卫星遥感数据的居民地提取系统
CN115512162A (zh) 基于注意力孪生网络与多模态融合特征的地物分类方法
Sun et al. Study on the water body extraction using GF-1 data based on adaboost integrated learning algorithm
CN115880487A (zh) 基于深度学习方法的林木激光点云枝叶分离方法
Laine Crop identification with Sentinel-2 satellite imagery in Finland
CN115631419A (zh) 一种基于变化检测的水稻种植面积和空间分布提取方法和装置
Dehkordi et al. Performance Evaluation of Temporal and Spatial-Temporal Convolutional Neural Networks for Land-Cover Classification (A Case Study in Shahrekord, Iran)
CN115457325A (zh) 一种基于面向对象和光谱规则的多光谱遥感图像非监督分类方法
Fan et al. An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images
CN114429564A (zh) 一种基于双支路的高光谱和LiADR数据协同分类方法
CN112966781A (zh) 基于三元组损失和卷积神经网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant