CN112001293A - 结合多尺度信息和编解码网络的遥感影像地物分类方法 - Google Patents

结合多尺度信息和编解码网络的遥感影像地物分类方法 Download PDF

Info

Publication number
CN112001293A
CN112001293A CN202010834935.5A CN202010834935A CN112001293A CN 112001293 A CN112001293 A CN 112001293A CN 202010834935 A CN202010834935 A CN 202010834935A CN 112001293 A CN112001293 A CN 112001293A
Authority
CN
China
Prior art keywords
image
remote sensing
feature
scale information
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010834935.5A
Other languages
English (en)
Inventor
单森华
戴诗琪
吴闽帆
林永清
庄自成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Istrong Technology Co ltd
Original Assignee
Istrong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Istrong Technology Co ltd filed Critical Istrong Technology Co ltd
Priority to CN202010834935.5A priority Critical patent/CN112001293A/zh
Publication of CN112001293A publication Critical patent/CN112001293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种结合多尺度信息和编解码网络的遥感影像地物分类方法,包括以下步骤:对遥感影像数据集进行地物类别标注;采用U‑net网络作为主结构,在编码过程中添加基于原图的多尺度信息,即除了卷积特征提取,还在原图上进行多个尺度的降采样,强化低层边缘特征,得到改进后的网络结构;解码过程保持原始结构不变,取最后一层的特征图计算交叉熵损失函数,使用随机梯度下降方法进行优化,得到训练好的最优模型;预测待分类影像时,对预处理好的影像按固定尺寸进行分块;将分好块的待分类影像块集按批次输入最优模型进行预测,输出每个影像块的分割图;对分割图集进行拼接,形成整个影像的分割图。该方法有利于提高遥感影像地物分类的精度。

Description

结合多尺度信息和编解码网络的遥感影像地物分类方法
技术领域
本发明属于遥感影像技术领域,具体涉及一种结合多尺度信息和编解码网络的遥感影像地物分类方法。
背景技术
遥感影像是一种包含了各类地面物体的时间、空间等特征的高信息密度影像,通过对影像中地物的光谱、纹理和形状特征进行分析,可以快速地区分地物类别,为环境生态、国土资源、城市规划等诸多领域提供应用。近年来,随着遥感科技的发展,获取的遥感影像分辨率越来越高,获取周期越来越短,遥感技术的应用场景也越来越广泛。
与中低分辨率的遥感影像相比,高分辨遥感影像包含了更多的细节信息,但同时受传感器位置、大气状况、地形气候等诸多因素的影响,“同物异谱、异物同谱”的问题也更加严重,传统的遥感影像地物分类方法难以达到较高的地物分类精度。
借助深度学习方法自动处理遥感影像,通过深度卷积神经网络自主学习特征,有助于充分挖掘遥感影像中大量的有用信息,增强分类器的鲁棒性,有效提高高分辨率遥感影像地物分类的准确率和速度。
传统的遥感影像地物分类方法主要分为面向像素的方法和面向对象的方法,其中面向像素的方法分析影像的最小单元是单个的像元,只利用了光谱信息特征,丰富的空间信息利用率几乎为零。传统的面向对象的方法虽然基于光谱信息、几何信息和结构信息进行分析,但处理速度较慢,精度也有待提升。
现有的基于深度学习语义分割的方法,大多采用经典的编解码结构生成与原图大小一致的分割图,虽然提取出了影像的高层特征,与传统方法相比具有更强的鲁棒性,但往往丢失了过多的浅层特征,导致最终的分割图的边缘不够精确。
发明内容
本发明的目的在于提供一种结合多尺度信息和编解码网络的遥感影像地物分类方法,该方法有利于提高遥感影像地物分类的精度。
为实现上述目的,本发明采用的技术方案是:一种结合多尺度信息和编解码网络的遥感影像地物分类方法,包括以下步骤:
1)对收集的遥感影像数据集进行地物类别标注;
2)采用U-net网络作为主结构,在其编码过程中添加基于原图的多尺度信息,强化影像低层的边缘特征,得到改进后的网络结构,除了对输入影像进行卷积和池化得到每个阶段的特征图,还在原图上直接进行不同尺度的降采样,然后与相应阶段的卷积特征图进行拼接,送入下一阶段的特征提取;解码过程保持原结构不变,对特征图进行反卷积逐步还原特征图为原图大小;
3)解码过程最后一层的特征图,对每个像素使用softmax函数激活,然后计算交叉熵损失函数,使用随机梯度下降方法进行优化,得到训练好的最优模型;
4)预测待分类影像时,首先对影像进行预处理;
5)对预处理好的影像按固定尺寸进行分块,并记录每一块影像的起始点坐标,按顺序存储;
6)将分好块的待分类影像块集按批次输入训练好的最优模型进行预测,最优模型输出每个影像块的分割图;
7)按分块前记录的坐标信息对分割图集按顺序进行拼接,最终形成整个影像的分割图。
进一步地,所述步骤1中,对遥感影像进行地物类别标注的方法为:采用图像处理软件勾勒出遥感影像的地物边缘,填充不同地物类别对应的颜色标签,然后将颜色标签转换成相应的数字标签。
进一步地,地物类别包括建筑物、农田、水体、森林、草地和未定义6个类别;所述数字标签中,0代表未定义类别,1至5依次代表建筑物、农田、水体、森林、草地。
进一步地,所述步骤2中,在原图上进行不同尺度的降采样,分别降采样为原图的1/2、1/4、1/8、1/16大小。
进一步地,所述步骤3中,交叉熵损失函数的计算公式如下:
Figure 100002_DEST_PATH_IMAGE002
其中,l(x)表示像素x对应的地物类别,ω(l(x))表示像素x的地物类别对应的权重,主要解决各个地物类别样本分布不均衡的问题,p l(x)(x)表示像素x在类别l(x)上的激活值;
将迭代次数内在验证集上得到的损失E最小的模型作为最优模型F进行存储。
进一步地,所述步骤4中,对影像进行预处理的方法为:使用ENVI平台的Radiometric Correction算法进行辐射定标,设置好辐射定标参数后自动完成定标;然后使用平台中的FLAASH Atmospheric Correction算法进行大气校正。
相较于现有技术,本发明具有以下有益效果:本发明采用深度学习的编解码网络模型进行地物分类,相较于传统的面向像素的方法和面向对象的方法具有更强的鲁棒性,适用于多源的遥感影像数据源,不受限于特定季节或特定区域,且在分类精度和速度上都有明显提升。同时,改进经典的U-net编解码结构,在编码过程中除了原始的卷积特征提取,还在原图上进行了多个尺度的降采样,一方面使模型更好地适应同一地物的不同尺度,另一方面强化了边缘等低层特征,使模型的地物分类结果更准确,分割边缘也更精确。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中改进后的网络结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种结合多尺度信息和编解码网络的遥感影像地物分类方法,该方法通过增加对原图直接降采样的特征图,强化影像低层的边缘特征,以提高遥感影像地物分类的精度。如图1所示,该方法具体包括以下步骤:
1)将收集的高分二号遥感影像数据集划分为训练集和测试集,并进行地物类别标注。
在本实施例中,地物类别包括建筑物、农田、水体、森林、草地和未定义6个类别。采用photoshop软件的套索工具勾勒出遥感影像的地物边缘,填充不同地物类别对应的颜色标签,然后将颜色标签转换成相应的数字标签。所述数字标签中,0代表未定义类别,建筑物、农田、水体、森林、草地依次为1到5。
2)采用U-net网络作为主结构,在其编码过程中添加基于原图的多尺度信息,强化影像低层的边缘特征,得到改进后的编解码网络结构如图2所示(箭头向下部分为编码过程,箭头向上部分为解码过程)。在编码过程中,除了对输入影像向下进行卷积和池化得到每个阶段的特征图,还在原图上直接进行不同尺度的降采样,分别降采样为原图的1/2、1/4、1/8、1/16大小,然后与相应阶段的卷积特征图进行拼接,送入下一阶段的特征提取。解码过程保持原结构不变,对特征图进行反卷积逐步还原特征图为原图大小。
3)解码过程最后一层的特征图,对每个像素使用softmax函数激活,然后计算交叉熵损失函数,使用随机梯度下降方法进行优化,得到训练好的最优模型。
其中,交叉熵损失函数的计算公式如下:
Figure 621014DEST_PATH_IMAGE002
其中,l(x)表示像素x对应的地物类别,ω(l(x))表示像素x的地物类别对应的权重,主要解决各个地物类别样本分布不均衡的问题,p l(x)(x)表示像素x在类别l(x)上的激活值;
将迭代次数内在验证集上得到的损失E最小的模型作为最优模型F进行存储。
4)预测待分类影像时,首先对影像进行预处理。具体为,使用ENVI平台的Radiometric Correction算法进行辐射定标,设置好辐射定标参数后自动完成定标;然后使用平台中的FLAASH Atmospheric Correction算法进行大气校正。
5)对预处理好的影像按固定尺寸进行分块,并记录每一块影像的起始点坐标,按顺序存储。
6)将分好块的待分类影像块集按批次输入训练好的最优模型进行预测,最优模型输出每个影像块的分割图。
7)按分块前记录的坐标信息对分割图集按顺序进行拼接,最终形成整个影像的分割图。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (6)

1.一种结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,包括以下步骤:
1)对收集的遥感影像数据集进行地物类别标注;
2)采用U-net网络作为主结构,在其编码过程中添加基于原图的多尺度信息,强化影像低层的边缘特征,得到改进后的网络结构,除了对输入影像进行卷积和池化得到每个阶段的特征图,还在原图上直接进行不同尺度的降采样,然后与相应阶段的卷积特征图进行拼接,送入下一阶段的特征提取;解码过程保持原结构不变,对特征图进行反卷积逐步还原特征图为原图大小;
3)解码过程最后一层的特征图,对每个像素使用softmax函数激活,然后计算交叉熵损失函数,使用随机梯度下降方法进行优化,得到训练好的最优模型;
4)预测待分类影像时,首先对影像进行预处理;
5)对预处理好的影像按固定尺寸进行分块,并记录每一块影像的起始点坐标,按顺序存储;
6)将分好块的待分类影像块集按批次输入训练好的最优模型进行预测,最优模型输出每个影像块的分割图;
7)按分块前记录的坐标信息对分割图集按顺序进行拼接,最终形成整个影像的分割图。
2.根据权利要求1所述的结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,所述步骤1中,对遥感影像进行地物类别标注的方法为:采用图像处理软件勾勒出遥感影像的地物边缘,填充不同地物类别对应的颜色标签,然后将颜色标签转换成相应的数字标签。
3.根据权利要求2所述的结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,地物类别包括建筑物、农田、水体、森林、草地和未定义6个类别;所述数字标签中,0代表未定义类别,1至5依次代表建筑物、农田、水体、森林、草地。
4.根据权利要求1所述的结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,所述步骤2中,在原图上进行不同尺度的降采样,分别降采样为原图的1/2、1/4、1/8、1/16大小。
5.根据权利要求1所述的结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,所述步骤3中,交叉熵损失函数的计算公式如下:
Figure DEST_PATH_IMAGE002
其中,l(x)表示像素x对应的地物类别,ω(l(x))表示像素x的地物类别对应的权重,主要解决各个地物类别样本分布不均衡的问题,p l(x)(x)表示像素x在类别l(x)上的激活值;
将迭代次数内在验证集上得到的损失E最小的模型作为最优模型F进行存储。
6.根据权利要求1所述的结合多尺度信息和编解码网络的遥感影像地物分类方法,其特征在于,所述步骤4中,对影像进行预处理的方法为:使用ENVI平台的RadiometricCorrection算法进行辐射定标,设置好辐射定标参数后自动完成定标;然后使用平台中的FLAASH Atmospheric Correction算法进行大气校正。
CN202010834935.5A 2020-08-19 2020-08-19 结合多尺度信息和编解码网络的遥感影像地物分类方法 Pending CN112001293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010834935.5A CN112001293A (zh) 2020-08-19 2020-08-19 结合多尺度信息和编解码网络的遥感影像地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010834935.5A CN112001293A (zh) 2020-08-19 2020-08-19 结合多尺度信息和编解码网络的遥感影像地物分类方法

Publications (1)

Publication Number Publication Date
CN112001293A true CN112001293A (zh) 2020-11-27

Family

ID=73472773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010834935.5A Pending CN112001293A (zh) 2020-08-19 2020-08-19 结合多尺度信息和编解码网络的遥感影像地物分类方法

Country Status (1)

Country Link
CN (1) CN112001293A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560719A (zh) * 2020-12-21 2021-03-26 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112819837A (zh) * 2021-02-26 2021-05-18 南京大学 一种基于多源异构遥感影像的语义分割方法
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113627288A (zh) * 2021-07-27 2021-11-09 武汉大学 一种面向海量影像的智能化信息标签获取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
CN110852393A (zh) * 2019-11-14 2020-02-28 吉林高分遥感应用研究院有限公司 一种遥感图像的分割方法及系统
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111062950A (zh) * 2019-11-29 2020-04-24 南京恩博科技有限公司 一种用于多类别森林场景图像分割的方法、存储介质和设备
CN111127472A (zh) * 2019-10-30 2020-05-08 武汉大学 一种基于权重学习的多尺度图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
CN111127472A (zh) * 2019-10-30 2020-05-08 武汉大学 一种基于权重学习的多尺度图像分割方法
CN110852393A (zh) * 2019-11-14 2020-02-28 吉林高分遥感应用研究院有限公司 一种遥感图像的分割方法及系统
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111062950A (zh) * 2019-11-29 2020-04-24 南京恩博科技有限公司 一种用于多类别森林场景图像分割的方法、存储介质和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560719A (zh) * 2020-12-21 2021-03-26 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112560719B (zh) * 2020-12-21 2023-07-04 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112819837A (zh) * 2021-02-26 2021-05-18 南京大学 一种基于多源异构遥感影像的语义分割方法
CN112819837B (zh) * 2021-02-26 2024-02-09 南京大学 一种基于多源异构遥感影像的语义分割方法
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113627288A (zh) * 2021-07-27 2021-11-09 武汉大学 一种面向海量影像的智能化信息标签获取方法
CN113627288B (zh) * 2021-07-27 2023-08-18 武汉大学 一种面向海量影像的智能化信息标签获取方法

Similar Documents

Publication Publication Date Title
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN111582043B (zh) 基于多任务学习的高分辨率遥感影像地物变化检测方法
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN111914611B (zh) 城市绿地高分遥感监测方法与系统
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
CN110853026A (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN111898688A (zh) 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN113223042B (zh) 一种遥感影像深度学习样本智能采集方法及设备
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN112183416A (zh) 一种基于深度学习方法的新增建设用地自动提取方法
CN107016403A (zh) 一种基于夜间灯光数据提取城市建成区阈值的方法
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN112836614B (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN115471467A (zh) 一种高分辨率光学遥感影像建筑物变化检测方法
CN111414954A (zh) 一种岩石图像检索方法及其系统
CN111104850A (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN113989287A (zh) 城市道路遥感图像分割方法、装置、电子设备和存储介质
CN112257496A (zh) 一种基于深度学习的输电通道周围环境分类方法及系统
CN111738052A (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination