CN112906809A - 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法 - Google Patents

一种利用组合损失函数HRnet解译高分辨率遥感影像的方法 Download PDF

Info

Publication number
CN112906809A
CN112906809A CN202110249056.0A CN202110249056A CN112906809A CN 112906809 A CN112906809 A CN 112906809A CN 202110249056 A CN202110249056 A CN 202110249056A CN 112906809 A CN112906809 A CN 112906809A
Authority
CN
China
Prior art keywords
remote sensing
loss function
hrnet
resolution remote
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110249056.0A
Other languages
English (en)
Inventor
李纯斌
常秀红
吴静
李全红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Agricultural University
Original Assignee
Gansu Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Agricultural University filed Critical Gansu Agricultural University
Priority to CN202110249056.0A priority Critical patent/CN112906809A/zh
Publication of CN112906809A publication Critical patent/CN112906809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，包括以下步骤：高分辨率遥感影像土地利用分类数据集—语义分隔网络—分类结果—结果评价；本发明使用深度学习算法进行高分辨率遥感影像土地利用分类，一方面能够在很大程度上能够减少人工目视解译过程中所投入人力、物力，能够快速高效的使用计算机进行高分辨率遥感影像的解译任务，且在很大程度上能够避免人为提取特征过程中的主观行为，提高分类的精度。

Description

一种利用组合损失函数HRnet解译高分辨率遥感影像的方法
技术领域
本发明涉及土地利用分类领域，尤其涉及一种利用组合损失函数HRnet解译高分辨率遥感影像的方法。
背景技术
高分辨率遥感影像的土地利用分类是土地覆被提取领域的基础问题，由于土地利用分类标准受自然和社会因素双重影响，使得不同用地类型信息存在极大的互扰性，而如何进一步提高土地利用的分类精度是目前研究中面临的问题。人工解译是最常用，也是精度较高的一种方法，依赖于地物的大小、形状、颜色和色调、阴影、位置、纹理、分辨率、地貌等特征，将影像图划分为不同的地类，但是该方法要求解译者有丰富的经验，主观性强，工作量大，并且有些复杂的遥感信息靠人的视力很难去辨别。尤其在面对海量的遥感影像土地利用分类时，该方法费时、费力，不实用。因此借助计算机提高提取遥感图像信息的效率便成为解决这一瓶颈的关键。
高分辨率遥感影像的土地分类实际对应于计算机视觉领域内的语义分割任务，实现像素级别的划分。常用的语义分割算法有很多。Long等人于2014年提出了全卷积神经网络(Fully Convolutional Networks,FCN)，首次提出了有效的语义分割网络结构，为其发展奠定了基础。该网络将卷积神经网络中的全连接层改为卷积层，通过卷积层和池化层来提取图像中的特征，再通过反卷积上采样来恢复原图，实现了像素级别的输出，是较早应用于遥感影像语义分割的深度学习模型。但是在提取特征时下采样到原来图像的32倍，导致细节信息丢失严重，得到的分割结果比较粗糙。2015年Ronneberger等人提出的U-net模型是对FCN网络的扩展，主要改进为引入对称的编码-解码(Encoder-Decoder)结构，编码器(Encoder)用于提取特征，解码器(Decoder)用来恢复原图，分割精度有所提高，获得了学者们的认可并进行了相应的应用和改进，但该模型在特征提取过程中丢失了空间细节位置信息，分割精度受限。Deeplab系列网络提出多尺度信息的融合方案，使用了空洞卷积(AtrousConvolutio)和带孔的空间金字塔池化(Atrous Spatial Pyramid Pooling,ASSP)层用来提高语义分割的精度。但是遥感影像中包含复杂的空间信息，面对提取不同尺寸大小的地物时，Deeplab网络提取效果不尽人意，对于小尺度地物错分漏分的现象仍然严重，并且在编码过程中分辨率不断的降低，边缘信息丢失较多，得到的分割结果较粗糙，对地物边界的定位不够准确。
2019年，HRnet(High-resolution network)模型的出现为图像语义分割提供了新的思路。该模型提出了一种多分支的网络结构，在各分支上同时维持从高分辨率到低分辨率的多个分辨率特征，从而获得多尺度特征的有效融合，得到更丰富的上下文信息，在遥感影像的语义分割任务中有较好的应用潜力。但在使用HRnet模型进行高分辨率的遥感影像分割任务时需要找到一个合适的损失函数来引导模型的前进方向，并在一定程度上解决影像样本不平衡问题，从而提高模型分割精度。
语义分割算法常用的损失函数为交叉熵损失函数，针对在研究区内存在有许多背景单一的大面积区域时，使用该损失函数会导致对背景复杂的训练样本训练不充分，因而不能准确的将复杂地类分类出来。
目前1米分辨率的遥感影像应用越来越广泛，且已有的大部分语义分割模型方法中背景复杂的训练样本训练不充分、复杂地类难分辨等问题，本专利从模型的筛选、损失函数的改进入手，针对1米分辨率的遥感影像精准进行地类分类的方法。
损失函数是衡量模型训练好坏的重要标准，一个有效的损失函数有利于指导模型在训练过程中的前进方向。交叉熵损失函数常用于遥感语义分割任务中，通过每一像素点的损失得到总体的损失，再进行反向传播，通过梯度下降来调整网络中的各项权值。但是随着训练的进行，越来越多的样本会被正确的分类，对于易分类的样本，其概率值接近于标签值，损失较少，但是在整体样本中占有较大的比例，所以总体损失也较少；对于难分类的样本，概率值与标签值相差较大，所以损失较大，占总样本比例较小。大量易分类样本点会导致梯度下降的方向，因而是用交叉熵损失函数会使得对难分类样本训练不充分。因此本专利提出一种新的组合损失函数来改善背景复杂的训练样本训练不充分的问题。
卷积神经网络以原始数据为输入，经过卷积层、池化层、非线性激活等一系列操作，得到原始数据抽象后的特征。在以卷积神经网络为基础的语义分割训练任务中，通常以降低损失函数为代价来找到模型学习参数的最优值，因而不同的损失函数对分割任务的精度有不同的影响。在高分辨率遥感图像分割任务中，往往需要从一副影像图中提取不同的地类，如耕地、林地、建筑用地、水体等。地类复杂、边界无明显的界定且要提取不同尺寸大小的地类时，使用交叉熵损失函数的语义分割网络分割结果精度低，错分、漏分现象严重，已不能满足高分辨率遥感影像的土地分类任务。在现有的语义分割网络中，提取特征的过程中通常先降低特征图分辨率再恢复分辨率，得到了丰富的语义信息，却丢失了影像中的空间细节信息，导致小尺寸地物不能准确的被提取出来。
发明内容
本发明的目的在于提供一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，以解决上述技术问题。
本发明为解决上述技术问题，采用以下技术方案来实现：
一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，包括以下步骤：
高分辨率遥感影像土地利用分类数据集—语义分隔网络—分类结果—结果评价；
具体的：
高分辨率遥感影像土地利用分类数据集来自于如下方面：土地利用现状数据—高分辨率遥感影像—分类体系表；
语义分隔网络信息由Deeplab、Unet、HRnet测试并得到分类结果：
Hrnet基于损失函数，且定义的损失函数为：L＝0.8×Lc+0.2×L0，式中Lc为CrossEntropy Loss，L0为Lovasz Softmax Loss。
优选的，标签数据的制作依赖于分类体系表，所得数据均为一定尺寸大小的图片，剔除模糊、不清楚的样本数据，得到高质量的样本数据。
优选的，语义分隔网络得到的数据划分为训练样本、验证样本、测试样本，训练样本用于训练模型，验证样本用来对模型进行优化，测试样本用来表示模型的泛化能力，使用基于损失函数的HRnet对训练样本进行训练，用验证样本优化模型参数，使得模型达到最优的效果，最优化即表示损失函数达到最小值。
优选的，通过测试数据对模型的泛化能力进行测定，并从定性、定量的角度进行模型的评价，用得到的模型进行大面积范围内的影像解译或者土地利用分类，得到分类的结果。
本发明的有益效果是：
1.本发明使用深度学习算法进行高分辨率遥感影像土地利用分类，一方面能够在很大程度上能够减少人工目视解译过程中所投入人力、物力，能够快速高效的使用计算机进行高分辨率遥感影像的解译任务，且在很大程度上能够避免人为提取特征过程中的主观行为，提高分类的精度。
2.在训练一组样本的过程中，通过计算损失函数的代价来找到模型中学习参数的优化值。针对不同的任务选取不同的损失函数。Cross Entropy Loss常用于多分类任务中，而Lovasz Softmax Loss对于小尺度地物的提取有更显著的表现。土地利用分类任务对不同尺度大小的地物进行自动提取，因此选用Cross Entropy Loss+Lovasz Softmax Loss的方法来对HRnet模型进行优化，Cross Entropy Loss使超参数收敛到最优值，LovaszSoftmax Loss优化MIoU，获得更好的预测精度。在结合中，对不同loss进行权重配比，通过实验发现，Cross Entropy Loss为0.8，Lovasz Softmax Loss为0.2时能够取得一个好的分割效果。
3.使用该损失函数的分割算法对样本数据进行充分的训练，对地类的细节信息更加的敏感，优化效果更显著，分类的精度较高。
附图说明
图1为本发明一种利用组合损失函数HRnet解译高分辨率遥感影像的方法的流程示意图；
图2为本发明不同模型的区域分割效果示意图；
图3为本发明不同模型的区域分割效果示意图；
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。
下面结合附图描述本发明的具体实施例。
实施例
以甘肃省兰州市红古区为研究区，以高分辨率影像图和土地利用成果数据为基础数据。影像图分辨率为1米；土地利用成果数据是人工解译后的shp格式数据，用arcgis pro将影像图和土地覆被数据分割为大小256×256的图片以便进行网络训练。由于该区域内有大面积的山地，导致草地占地面积较广，占总面积的67.3％，为了防止该地类在样本数据中分布不均衡而导致过拟合，因而减少了草地采样区域，得到样本数据总量为6223张图片，其中训练集占60％，测试集占20％，验证集占20％。采集的样本数据量较小，为了在训练中能充分学习到地物的特征，对数据集进行数据增强(上下翻转，随机裁剪，角度翻转，原图做亮度、对比度、饱和度的色彩调整等)方法增大样本数据量。标签中土地利用分类体系如表1所示：
Figure BDA0002965234170000051
表1土地利用分类体系构建
试验配置：本次实验中的编程语言为Python3.7，模型框架为paddlepaddle1.8.0，实验中设置bachsize为8，优化算法为SGD，momentum设置为0.9，学习率下降方法采用poly，下降指数设置为0.9，epoch设置为500，损失函数采用(1)Cross Entropy Loss；(2)LovaszSoftmax Loss与Cross Entropy Loss结合。
评价方法：为了客观的评估模型的分类效果，本研究中选取语义分割任务中常用的三种指标进行评估。分别为PA(Pixel Accuracy)，MIoU(Mean Intersection overUnion)，Kappa。
Figure BDA0002965234170000061
式中N为参与统计的总像元数量，为分割样本的总类别数，nij为预测结果中属于第i类但被预测为第j类的ncl像素总量，当i＝j时，即为预测正确，nii表示第i类样本被正确预测的像素数量。
结果显示：详请见表2：
Figure BDA0002965234170000062
表2不同模型的评价指标
注：+表示损失函数的组合，其中HRnet+为本专利方法
从表2可以看出分割精度HRnet+>Unet+>HRnet>Unet>Deeplab+>Deeplab。HRnet模型在提取特征的过程中能够始终保持高分辨率，同时进行多尺度的融合，在遥感影像的地类提取任务中表现的更加突出；同时使用Lovase Softmax Loss与Cross Entropy Loss相结合的方法相比于只使用Cross Entropy Loss，提高了分割的精度，在遥感影像地物的提取中效果更好。
从图2和图3可以看出HRnet模型的整体分割效果最为理想，每一类地物能够被准确的分类，且分割结果能够清晰体现出地物的特征，同时能够准确提取小尺寸地物，边缘优化性能显著。Deeplab模型与Unet模型都不同程度地出现了地类错分漏分、小尺度地物的提取效果不理想及存在一些碎小零星的图斑的问题，无法取得较好的研究效果。由于LovaseSoftmax Loss引入了子模函数，可以使其保留更完整的细节信息，在进行损失函数改进的情况下，Deeplab+、Unet+和HRnet+模型分割能力得到了提高，并且边缘优化效果也更加的显著。
相比于常用的交叉熵损失函数，本专利提出的损失函数组合能够提高网络模型的分割能力，且分割结果的边缘优化也更加的显著。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，其特征在于：包括以下步骤：
高分辨率遥感影像土地利用分类数据集—语义分隔网络—分类结果—结果评价；
具体的：
高分辨率遥感影像土地利用分类数据集来自于如下方面：土地利用现状数据、高分辨率遥感影像、分类体系表；
语义分隔网络信息由Deeplab、Unet、HRnet测试并得到分类结果：
Hrnet基于损失函数，且定义的损失函数为：L＝0.8×Lc+0.2×L0，式中Lc为CrossEntropy Loss，L0为Lovasz Softma Loss。
2.根据权利要求1所述的一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，其特征在于：标签数据的制作依赖于分类体系表，所得数据均为一定尺寸大小的图片，剔除模糊、不清楚的样本数据，得到高质量的样本数据。
3.根据权利要求1所述的一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，其特征在于：语义分隔网络得到的数据划分为训练样本、验证样本、测试样本，训练样本用于训练模型，验证样本用来对模型进行优化，测试样本用来表示模型的泛化能力，使用基于损失函数的HRnet对训练样本进行训练，用验证样本优化模型参数，使得模型达到最优的效果，最优化即表示损失函数达到最小值。
4.根据权利要求1所述的一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，其特征在于：通过测试数据对模型的泛化能力进行测定，并从定性、定量的角度进行模型的评价，用得到的模型进行大面积范围内的影像解译或者土地利用分类，得到分类的结果。
CN202110249056.0A 2021-03-08 2021-03-08 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法 Pending CN112906809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249056.0A CN112906809A (zh) 2021-03-08 2021-03-08 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249056.0A CN112906809A (zh) 2021-03-08 2021-03-08 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法

Publications (1)

Publication Number Publication Date
CN112906809A true CN112906809A (zh) 2021-06-04

Family

ID=76107869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249056.0A Pending CN112906809A (zh) 2021-03-08 2021-03-08 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法

Country Status (1)

Country Link
CN (1) CN112906809A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882380A (zh) * 2022-07-08 2022-08-09 山东省国土测绘院 一种基于改进hrnet模型的湿地资源遥感识别算法
CN115082778A (zh) * 2022-04-28 2022-09-20 中国农业科学院农业信息研究所 一种基于多分支学习的宅基地识别方法及系统
CN115677346A (zh) * 2022-11-07 2023-02-03 北京赛乐米克材料科技有限公司 彩色锆宝石陶瓷鼻托的制备方法
CN116994025A (zh) * 2023-05-30 2023-11-03 广东省国土资源测绘院 一种利用影像超分技术提高耕地识别精度的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082778A (zh) * 2022-04-28 2022-09-20 中国农业科学院农业信息研究所 一种基于多分支学习的宅基地识别方法及系统
CN114882380A (zh) * 2022-07-08 2022-08-09 山东省国土测绘院 一种基于改进hrnet模型的湿地资源遥感识别算法
CN115677346A (zh) * 2022-11-07 2023-02-03 北京赛乐米克材料科技有限公司 彩色锆宝石陶瓷鼻托的制备方法
CN115677346B (zh) * 2022-11-07 2023-09-12 北京赛乐米克材料科技有限公司 彩色锆宝石陶瓷鼻托的制备方法
CN116994025A (zh) * 2023-05-30 2023-11-03 广东省国土资源测绘院 一种利用影像超分技术提高耕地识别精度的方法及装置

Similar Documents

Publication Publication Date Title
CN112906809A (zh) 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN107016403B (zh) 一种基于夜间灯光数据提取城市建成区阈值的方法
CN104517122A (zh) 一种基于优化卷积架构的图像目标识别方法
Liu et al. Remote sensing image change detection based on information transmission and attention mechanism
CN110516539A (zh) 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN109543630A (zh) 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109583321A (zh) 一种基于深度学习的结构化道路中小物体的检测方法
CN108875593A (zh) 基于卷积神经网络的可见光图像天气识别方法
Lu et al. P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images
CN106650812A (zh) 一种卫星遥感影像的城市水体提取方法
CN113313082B (zh) 一种基于多任务损失函数的目标检测方法及系统
CN106372597A (zh) 基于自适应上下文信息的cnn交通检测方法
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN108898096A (zh) 一种面向高分影像的信息快速精确提取方法
CN110334584A (zh) 一种基于区域全卷积网络的手势识别方法
CN110533100A (zh) 一种基于机器学习进行cme检测和跟踪的方法
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114882380A (zh) 一种基于改进hrnet模型的湿地资源遥感识别算法
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN115376019A (zh) 一种异源遥感影像对象级变化检测方法
Li et al. EAGNet: A method for automatic extraction of agricultural greenhouses from high spatial resolution remote sensing images based on hybrid multi-attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination