CN115205618A - 地表覆盖分类模型训练方法、地表覆盖分类方法及装置 - Google Patents

地表覆盖分类模型训练方法、地表覆盖分类方法及装置 Download PDF

Info

Publication number
CN115205618A
CN115205618A CN202210616168.XA CN202210616168A CN115205618A CN 115205618 A CN115205618 A CN 115205618A CN 202210616168 A CN202210616168 A CN 202210616168A CN 115205618 A CN115205618 A CN 115205618A
Authority
CN
China
Prior art keywords
feature
image
surface coverage
loss
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210616168.XA
Other languages
English (en)
Inventor
段富治
吴成路
余言勋
王亚运
牛中彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210616168.XA priority Critical patent/CN115205618A/zh
Publication of CN115205618A publication Critical patent/CN115205618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种地表覆盖分类模型训练方法、地表覆盖分类方法及装置，该地表覆盖分类模型训练方法包括：获取训练集；将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像；对特征图像进行第一类特征处理得到第一特征，利用第一特征预测第一分类结果；对特征图像进行第二类特征处理得到第二特征，并提取第一特征的深层特征得到第三特征，融合第二特征和第三特征，利用融合后的特征预测第二分类结果；利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。通过上述方式，本发明能够充分利用高分辨率遥感影像的多层级特征，提高地表覆盖分类准确性。

Description

地表覆盖分类模型训练方法、地表覆盖分类方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种地表覆盖分类模型训练方法、地表覆盖分类方法及装置。
背景技术
地表覆盖类型的形成与发展过程不仅受地理因素的影响，还与人类活动息息相关。准确进行地表覆盖分类，一方面可以统计区域内的自然资源的分布情况，另一方面，随着时间的推移，还可以统计自然资源的变化情况，从而反映人类活动对自然资源分布造成的影响，用于辅助决策。
传统的地表覆盖类型调查多采取实地调查的方式，需要巨大的人力资源投入。近年来，随着遥感技术的发展，基于遥感影像的地表覆盖类型调查的重要性日益凸显，使用高分辨遥感影像进行地表覆盖分类是其中一项重要内容。目前通用的高分辨率遥感影像地表覆盖分类方法大多需要针对特定地物人工设计特征，没有充分利用高分辨率遥感影像的多波段特性，具有一定的局限性。
发明内容
本发明主要解决的技术问题是提供一种地表覆盖分类模型训练方法、地表覆盖分类方法及装置，能够充分利用高分辨率遥感影像的多层级特征，提高地表覆盖分类准确性。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种地表覆盖分类模型训练方法，该地表覆盖分类模型训练方法包括：获取训练集，训练集包括样本图像和对应的标注信息；将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像；对特征图像进行第一类特征处理得到第一特征，利用第一特征预测第一分类结果；对特征图像进行第二类特征处理得到第二特征，并提取第一特征的深层特征得到第三特征，融合第二特征和第三特征，利用融合后的特征预测第二分类结果；利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。
其中，第一类特征处理为第一卷积处理，第二类特征处理为第二卷积处理，提取第一特征的深层特征得到第三特征包括：将第一特征经过像素注意力机制处理得到第三特征。
其中，融合第二特征和第三特征，利用融合后的特征预测第二分类结果包括：将第二特征和第三特征点乘，利用点乘结果预测第二分类结果。
其中，标注信息包括小类别标注和大类别标注，利用标注信息计算第一分类结果和第二分类结果的总损失包括：对比小类别标注和第一分类结果计算第一损失；对比大类别标注和第二分类结果计算第二损失；计算第一分类结果和第二分类结果之间的加权损失；加权融合第一损失、第二损失、加权损失，得到总损失。
其中，计算第一分类结果和第二分类结果之间的加权损失包括：对比小类别标注和对应的第二分类结果计算第三损失；加权融合第三损失和第二损失得到加权损失。
其中，加权融合第一损失、第二损失、加权损失，得到总损失包括：为第一损失、第二损失和加权损失设置权重值，并对各个权重值分别进行正则化处理；总损失为第一损失、第二损失、加权损失的加权值和权重值的正则化结果的和。
其中，总损失为：
Figure BDA0003673385790000021
其中，loss为总损失，loss1为第一损失，loss2为第二损失，loss3为加权损失，w1，w2，w3为权重值。
其中，将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像包括：从样本图像中提取RGB三通道的图像，得到RGB图像；对RGB图像进行特征提取，得到多个尺度的RGB特征图像；对样本图像进行特征提取，并与相同尺度的RGB特征图像进行融合，得到该尺度的下采样特征图像，对融合后的下采样特征图像进行下采样并与下一尺度的RGB特征图像进行融合，最终得到小尺度下采样特征图像；将小尺度下采样特征图像进行上采样，并与同一尺度的下采样特征图像进行融合，得到该尺度的上采样特征图像，对融合后的上采样特征图像进行上采样并与上一尺度的下采样特征图像进行融合，得到特征图像。
其中，对RGB图像进行特征提取，得到多个尺度的RGB特征图像包括：对RGB图像进行特征提取，得到四个尺度的RGB特征图像；对样本图像进行特征提取包括：将样本图像依次经过多头注意力机制和多层感知器进行特征提取。
其中，该方法还包括：获取验证集，验证集包括验证图像和对应的验证标注图像；将验证图像输入地表覆盖分类初始模型，利用验证标注图像获取地表覆盖分类初始模型的精度，选择精度最高的地表覆盖分类初始模型作为地表覆盖分类模型。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种地表覆盖分类方法，方法包括：获取待分类图像；将待分类图像输入地表覆盖分类模型中，得到地表覆盖分类结果，地表覆盖分类模型为利用上述的地表覆盖分类模型训练方法对地表覆盖分类促使模型所训练得到的。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种数据设备，该数据设备包括处理器，处理器用于执行以实现上述的地表覆盖分类模型训练方法或地表覆盖分类方法。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的地表覆盖分类模型训练方法或地表覆盖分类方法。
本发明的有益效果是：区别于现有技术的情况，本发明的地表覆盖分类模型使用了多层级解码预测，通过挖掘不同层级之间的对应关系，先利用低层级特征预测分类，然后将低层级特征经过处理得到高层级特征，然后使用高层级特征预测分类，相比于直接将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，提高地表覆盖分类准确性。
附图说明
图1是本申请地表覆盖分类模型训练方法一实施方式的流程示意图；
图2是本申请地表覆盖分类模型训练方法另一实施方式的流程示意图；
图3是本申请地表覆盖分类初始模型解码预测模块的示意图；
图4是本申请第一分类结果和第二分类结果之间的加权损失的示意图；
图5是本申请地表覆盖分类模型训练方法又一实施方式的流程示意图；
图6是本申请一样本图像的示意图；
图7为本申请一样本图像的小类别标注图像和大类别标注图像的示意图；
图8是本申请一样本图像的RGB图像的示意图；
图9是本申请地表覆盖分类初始模型的结构示意图；
图10是本申请地表覆盖分类方法一实施方式的流程示意图；
图11是本申请实施方式中地表覆盖分类模型训练装置的结构示意图；
图12是本申请实施方式中数据设备的结构示意图；
图13是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
相对于常规影像而言，高分辨率遥感影像新增一个近红外波段，并且地物类别之间具有明显的层级关系，如林草覆盖可以拆分为乔木林、灌木林、乔灌混合林等。因此本申请提出具有多层级解码预测的地表覆盖分类模型，合理利用高分辨率遥感影像的多波段、多层级信息。同时本发明提出一种地表覆盖分类模型训练方法，通过对样本图像进行特征提取之后，挖掘不同层级之间的对应关系，先利用低层级特征预测分类，然后将低层级特征经过处理得到高层级特征，然后使用高层级特征预测分类，相比于直接将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，提高地表覆盖分类准确性。
请参阅图1，图1是本申请地表覆盖分类模型训练方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：
S110：获取训练集。
利用高分辨率遥感影像获取地表覆盖图像，将获取到的地表覆盖图像作为样本图像。对样本图像中的地物覆盖进行分类标注，得到标注图像作为对应的标注信息，将样本图像和对应的标注信息作为训练集。
S130：将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像。
对样本图像进行特征提取，采用的网络包括但不限于ResNet、Inception、Transformer等网络结果，通过深层网络获得丰富的语义特征，得到特征图像。
S150：对特征图像进行第一类特征处理得到第一特征，利用第一特征预测第一分类结果。
对特征图像进行两个维度的特征处理，以获得不同维度的预测结果，首先，对特征图像进行第一类特征处理，预测获取低维度的第一分类结果。
S170：对特征图像进行第二类特征处理得到第二特征，并提取第一特征的深层特征得到第三特征，融合第二特征和第三特征，利用融合后的特征预测第二分类结果。
对步骤S150得到的第一特征进行深层特征提取，得到第三特征，同时，对特征图像进行第二类特征处理得到第二特征，将第二特征和第三特征进行融合，预测获得高维度的第二分类结果。
S190：利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。
分别将第一分类结果、第二分类结果与对应的标注信息进行比对，并分别计算损失，利用两个分类结果的总损失进行反向传播，以调整地表覆盖分类初始模型的参数。
该实施方式中，通过对样本图像进行特征提取之后，挖掘不同层级之间的对应关系，先利用低层级特征预测分类，然后将低层级特征经过处理得到高层级特征，然后使用高层级特征预测分类，相比于直接将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，提高地表覆盖分类准确性。
在一实施方式中，提出一种具有多层级解码预测模块的地表覆盖分类模型。请参阅图2，图2是本申请地表覆盖分类模型训练方法另一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：
S210：获取训练集。
获取关于地表覆盖的高分辨率遥感影像，对高分辨率遥感影像进行预处理。将预处理之后的地表覆盖图像作为样本图像。对样本图像中的地物覆盖进行分类标注，得到标注图像作为对应的标注信息，将样本图像和对应的标注信息作为训练集。
S230：将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像。
S250：对特征图像进行第一卷积处理得到第一特征，利用第一特征预测第一分类结果。
请参阅图3，图3是本申请地表覆盖分类初始模型解码预测模块的示意图。在解码预测模块对特征图像进行两个维度的特征处理，以获得不同维度的预测结果，首先，对特征图像进行第一卷积处理，预测获取低维度的第一分类结果。
S270：对特征图像进行第二卷积处理得到第二特征，将第一特征经过像素注意力机制处理得到第三特征，将第二特征和第三特征点乘，利用点乘结果预测第二分类结果。
对步骤S250得到的第一特征进行深层特征提取，经过像素注意力机制处理得到第三特征，同时，对特征图像进行第二卷积处理得到第二特征，将第二特征和第三特征进行点乘融合，预测获得高维度的第二分类结果。
S290：利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。
标注信息包括小类别标注和大类别标注，对比大类别标注和第一分类结果计算第一损失；对比小类别标注和第二分类结果计算第二损失；计算第一分类结果和第二分类结果之间的加权损失。加权融合第一损失、第二损失、加权损失，得到总损失。
具体地，计算得到小类别结果的交叉熵损失loss1，计算得到大类别结果的交叉熵损失loss2，以及大类别结果和小类别结果之间的加权损失loss3。请参阅图4，图4是本申请第一分类结果和第二分类结果之间的加权损失的示意图。一个第一分类结果下有一个或多个第二分类结果，因此，比对第一类结果和第二类结果，将第二类结果的损失转化为对应的第一类结果的第三损失，并将第三损失作为权重加权融合到对应的第一类结果的第一损失之上，从而约束层级对应关系，得到加权损失。其中，第一类结果为打类别结果，第二类结果为小类别结果。在一具体实施方式中，如大类A包含有0～n个小类，当小类别结果为0，大类别结果为A，则将小类别0的损失转换为大类别A对应的小类别0的损失，并与大类别A的损失进行融合。
在对第一损失、第二损失、加权损失进行加权融合时，为第一损失、第二损失和加权损失设置权重值，并对各个权重值分别进行正则化处理；总损失为第一损失、第二损失、加权损失的加权值和权重值的正则化结果的和。在本申请的实施方式中，不同于手工设计三个输出损失占比的方法，使用三个可学习的参数w1、w2与w3自动调节三个损失之间的占比，为了避免三个可学习的参数过小导致损失函数反向传播失效，对三个可学习的参数进行正则化约束，总体损失如下：
Figure BDA0003673385790000081
使用上述损失函数进行反向传播，以调整地表覆盖分类初始模型的参数。
该实施方式中，该实施方式中，通过对样本图像进行特征提取之后，挖掘不同层级之间的对应关系，使用低层级特征预测地表覆盖大类，然后将低层级特征经过像素注意力模块得到高层级特征，然后使用高层级特征预测地表覆盖小类。相比于将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，同时，本申请使用的权重自动调整损失函数，提出加权损失，从而约束层级对应关系，使用可学习的参数自动学习三个损失之间的占比以提高地表覆盖分类准确性。
在一实施方式中，提出一种具有双输入的特征聚合模块和多层级解码预测模块的地表覆盖分类模型。请参阅图5，图5是本申请地表覆盖分类模型训练方法又一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施方式包括：
S510：获取训练集。
获取关于地表覆盖的高分辨率遥感影像，对高分辨率遥感影像进行预处理。具体地，预处理操作包括辐射定标、大气校正、几何校正、正射校正、线性拉伸等。因高分辨率遥感影像在获取过程中，容易受到大气、光照以及传感器的影响，导致遥感影像测量值与自身光谱反射率存在误差，因此需要经过辐射定标以及一系列的校正，消除这些失真。高分辨率遥感影像的像素值范围多大于255，为了加载预训练权重，需要将像素值拉伸至0-255，得到用于训练的遥感影像。本申请的数据拉伸方法包括但不限于最大值最小值归一化、2％线性拉伸等。
将预处理之后的高分辨率遥感影像作为样本图像，请参阅图6，图6是本申请一样本图像的示意图。并对样本图像进行数据划分和标注。首先，结合地理国情监测、“三调”等地表覆盖分类标准，结合实际应用需求，制作层级解译标准，并进行目视解译，目视解译过程中，仅需进行地表覆盖分类小类层次的解译，制作地表覆盖分类小类别标注。然后根据层级解译标准中的大类别与小类别之间的对应关系，合并小类别标注，得到大类别标注，其中小类别标注和大类别标注分别为对应的标注图像。具体地，请参阅图7，图7为本申请一样本图像的小类别标注图像和大类别标注图像的示意图。其中，图7左图为小类别标注图像，右图为大类别标注图像，由图中可以看出，小类别标注图像的标注类别较大类别标注图像更多，细节更丰富。
高分辨率遥感影像分辨率较高，当前的计算设备很难承受整幅图像的输入，需要进行裁剪，参考当前主流的语义分割模型常用的分辨率，裁剪大小为512×512。裁剪时，为了减少裁剪边缘信息的缺失，进行有重叠的滑窗裁剪，每次裁剪时保留一半尺寸的前一次裁剪图像。分别对样本图像、小类别标注图像和大类别标注图像均进行滑窗裁剪，将裁剪后的样本图像和其对应的小类别标注图像、大类别标注图像按照合理的比例划分训练集和验证集，作为验证集的样本图像也可以成为验证图像，训练集包括样本图像和对应的标注信息，验证集包括验证图像和对应的标注信息。
S520：从样本图像中提取RGB三通道的图像，得到RGB图像。
获取的样本图像为四通道的高分辨率遥感影像，即RGBN图像，四通道分别为RGB通道和近红外通道，从样本图像中提取RGB三通道的图像，得到RGB图像。请参阅图8，图8是本申请一样本图像的RGB图像的示意图，RGB图像相较图6的RGBN图像缺少近红外通道，而RGB通道细节相同。
S530：对RGB图像进行特征提取，得到多个尺度的RGB特征图像。
请参阅图9，图9是本申请地表覆盖分类初始模型的结构示意图。首先对RGB图像进行特征提取，特征提取模块包括但不限于ResNet、Inception等网络结构，可以加载ImageNet等数据集上的预训练权重，减少样本不足造成的泛化性差等问题。进行下采样，得到四个尺度的RGB特征图像。在一实施方式中，分别得到RGB图像的1/4特征图、1/8特征图、1/16特征图和1/32特征图。
S540：对样本图像进行特征提取，并与相同尺度的RGB特征图像进行融合，得到该尺度的下采样特征图像，对融合后的下采样特征图像进行下采样并与下一尺度的RGB特征图像进行融合，最终得到小尺度下采样特征图像。
将样本图像的RGBN图像输入Transformer模块进行特征提取。具体地，首先对RGBN图像进行分块编码，再依次经过多头注意力机制和多层感知器进行特征提取，将输入的相邻4×4区域的像素映射成一个更高维的表示，在一实施方式中，特征提取之后再次经过多头注意力机制和多层感知器进行第二次特征提取，将信息依次向下传递，得到充分混合的特征图。
对特征图像进行下采样，与同一尺度的RGB特征图像进行融合，得到该尺度的下采样特征图像，并进行下一次下采样并与下一尺度的RGB特征图像进行融合，最终得到小尺度下采样特征图像。具体地，请参阅图9，对特征提取后的RGBN图像进行下采样得到RGBN的1/4特征图，将RGB的1/4特征图与RGBN的1/4特征图进行融合，融合得到1/4的下采样特征图，将1/4的下采样特征图继续进行下采样与相同尺度的RGB特征图进行融合，最终得到1/32的下采样特征图。
S550：将小尺度下采样特征图像进行上采样，并与同一尺度的下采样特征图像进行融合，得到该尺度的上采样特征图像，对融合后的上采样特征图像进行上采样并与上一尺度的下采样特征图像进行融合，得到特征图像。
进一步地，对小尺度下采样特征图像进行再依次向上传递，恢复像素分辨率，具体地，将1/32的下采样特征图的进行上采样，并与1/16的下采样特征图进行融合，得到1/16的上采样特征图，将1/16的上采样特征图继续进行上采样并与相同尺度的下采样特征图进行融合，最终得到1/4的特征图像。
S560：对特征图像进行第一卷积处理得到第一特征，利用第一特征预测第一分类结果。
请继续参阅图9，对上述得到的1/4特征图像进行第一卷积处理，得到第一特征，利用第一特征进行地物覆盖大类别的预测，得到第一分类结果。
S570：对特征图像进行第二卷积处理得到第二特征，将第一特征经过像素注意力机制处理得到第三特征，将第二特征和第三特征点乘，利用点乘结果预测第二分类结果。
另外对特征图像再进行第二卷积处理，得到第二特征，进一步地，将第一特征经过像素注意力机制处理提取更深层次的信息得到第三特征，将第二特征和第三特征进行点乘，利用点乘记过进行地物覆盖小类别的预测，得到第二分类结果。
S580：利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。
S590：对地表覆盖分类初始模型的精度进行验证，选择精度最高的地表覆盖分类初始模型作为地表覆盖分类模型。
将验证图像输入地表覆盖分类初始模型，利用验证标注图像获取地表覆盖分类初始模型的精度，选择精度最高的地表覆盖分类初始模型作为地表覆盖分类模型。
具体地，获取验证集，验证集包含验证图像和对应的标注信息。因计算设备资源不足，需要对验证图像进行滑窗处理，在一实施方式中，首先在验证图像周围填充128个像素，然后进行滑窗预测，滑窗大小为512×512，滑窗步长为256，将验证图像的滑窗图像输入地表覆盖分类初始模型，获取地表覆盖分类预测结果，其中，预测结果只保留滑窗图像中心256×256像素大小的区域，从而避免边界像素预测不准对模型结果造成的影响。通过预设的滑窗大小以及影像的分辨率大小，计算出输入影像滑窗的个数，结合计算设备自身的计算资源，动态调整批量处理的图像量。将输出结果与对应的标注信息进行比对，从MIOU、MACC、Kappa系数多项指标上进行模型精度评价。选择精度最高的地表覆盖分类初始模型作为地表覆盖分类模型。
在该实施方式中，高分辨率遥感影像地物覆盖分类精度评价方法与训练过程中的精度评价有一定的差异，主要是体现在分辨率大小以及评价指标的多样性上。对地物覆盖分类模型进行精度评价时，需要对整图进行预测，直接进行全图卷积，一方面计算设备资源不足，另一方面预测分辨率与训练分辨率差距过大，会显著影响精度，本申请采用膨胀预测的方法。
该实施方式中，提出双输入的特征聚合模块，一个输入是RGB影像通过ResNet、Inception等网络结构得到的深层语义特征，另一个输入是RGBN影像通过Transformer模块得到波段信息更加丰富的特征图。之后，挖掘不同层级之间的对应关系，使用低层级特征预测地表覆盖大类，然后将低层级特征经过像素注意力模块得到高层级特征，然后使用高层级特征预测地表覆盖小类。相比于将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，同时，本申请使用的权重自动调整损失函数，提出加权损失，从而约束层级对应关系，使用可学习的参数自动学习三个损失之间的占比以提高地表覆盖分类准确性。
请参阅图10，图10是本申请地表覆盖分类方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。如图10所示，本实施方式包括：
S1010：获取待分类图像。
S1030：将待分类图像输入地表覆盖分类模型中，得到地表覆盖分类结果。
在该实施方式中，利用上述训练的到的地表覆盖分类模型对待分类图像进行处理，通过学习不同层级的特征，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易地挖掘地表覆盖之间的层级关系，调高分类识别准确性。
请参阅图11，图11是本申请实施方式中地表覆盖分类模型训练装置的结构示意图。该实施方式中，地表覆盖分类模型训练装置包括获取模块111、提取模块112、第一处理模块113、第二处理模块114和调整模块115。
其中，获取模块111用于获取训练集；提取模块112用于将样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像；第一处理模块113用于对特征图像进行第一类特征处理得到第一特征，利用第一特征预测第一分类结果，第二处理模块114用于对特征图像进行第二类特征处理得到第二特征，并提取第一特征的深层特征得到第三特征，融合第二特征和第三特征，利用融合后的特征预测第二分类结果，调整模块115用于利用标注信息计算第一分类结果和第二分类结果的总损失并进行反向传播，以调整地表覆盖分类初始模型的参数。该地表覆盖分类模型训练装置用于挖掘不同层级之间的对应关系，先利用低层级特征预测分类，然后将低层级特征经过处理得到高层级特征，然后使用高层级特征预测分类，相比于直接将上一层级的输出直接作为下一层级的输入的方法，能够合理利用高分辨率遥感影像的多波段、多层级信息，更容易挖掘地表覆盖之间的层级关系，提高地表覆盖分类准确性。
请参阅图12，图12是本申请实施方式中数据设备的结构示意图。该实施方式中，数据设备11包括处理器12。
处理器12还可以称为CPU(Central Processing Unit，中央处理单元)。处理器12可能是一种集成电路芯片，具有信号的处理能力。处理器12还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。
数据设备11可以进一步包括存储器(图中未示出)，用于存储处理器12运行所需的指令和数据。
处理器12用于执行指令以实现上述本申请地表覆盖分类模型训练方法或地表覆盖分类方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图13，图13是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质21存储有指令/程序数据22，该指令/程序数据22被执行时实现本申请地表覆盖分类模型训练方法或地表覆盖分类方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据22可以形成程序文件以软件产品的形式存储在上述存储介质21中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质21包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种地表覆盖分类模型训练方法，其特征在于，所述方法包括：
获取训练集，所述训练集包括样本图像和对应的标注信息；
将所述样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像；
对所述特征图像进行第一类特征处理得到第一特征，利用所述第一特征预测第一分类结果；
对所述特征图像进行第二类特征处理得到第二特征，并提取所述第一特征的深层特征得到第三特征，融合所述第二特征和所述第三特征，利用融合后的特征预测第二分类结果；
利用所述标注信息计算所述第一分类结果和所述第二分类结果的总损失并进行反向传播，以调整所述地表覆盖分类初始模型的参数。
2.根据权利要求1所述的地表覆盖分类模型训练方法，其特征在于，
所述第一类特征处理为第一卷积处理，所述第二类特征处理为第二卷积处理，所述提取所述第一特征的深层特征得到第三特征包括：
将所述第一特征经过像素注意力机制处理得到第三特征。
3.根据权利要求1所述的地表覆盖分类模型训练方法，其特征在于，
所述融合所述第二特征和所述第三特征，利用融合后的特征预测第二分类结果包括：
将所述第二特征和所述第三特征点乘，利用点乘结果预测第二分类结果。
4.根据权利要求1所述的地表覆盖分类模型训练方法，其特征在于，
所述标注信息包括小类别标注和大类别标注，所述利用所述标注信息计算所述第一分类结果和所述第二分类结果的总损失包括：
对比所述小类别标注和所述第一分类结果计算第一损失；对比所述大类别标注和所述第二分类结果计算第二损失；计算所述第一分类结果和所述第二分类结果之间的加权损失；
加权融合所述第一损失、所述第二损失、所述加权损失，得到所述总损失。
5.根据权利要求4所述的地表覆盖分类模型训练方法，其特征在于，
所述计算所述第一分类结果和所述第二分类结果之间的加权损失包括：
对比所述小类别标注和对应的所述第二分类结果计算第三损失；
加权融合所述第三损失和所述第二损失得到所述加权损失。
6.根据权利要求4所述的地表覆盖分类模型训练方法，其特征在于，
所述加权融合所述第一损失、所述第二损失、所述加权损失，得到所述总损失包括：
为所述第一损失、所述第二损失和所述加权损失设置权重值，并对各个所述权重值分别进行正则化处理；
所述总损失为所述第一损失、所述第二损失、所述加权损失的加权值和所述权重值的正则化结果的和。
7.根据权利要求6所述的地表覆盖分类模型训练方法，其特征在于，所述总损失为：
Figure FDA0003673385780000021
其中,loss为所述总损失，loss1为所述第一损失，loss2为所述第二损失，loss3为所述加权损失，w1，w2，w3为权重值。
8.根据权利要求1所述的地表覆盖分类模型训练方法，其特征在于，所述将所述样本图像输入地表覆盖分类初始模型进行特征提取，得到特征图像包括：
从所述样本图像中提取RGB三通道的图像，得到RGB图像；
对所述RGB图像进行特征提取，得到多个尺度的RGB特征图像；
对所述样本图像进行特征提取，并与相同尺度的所述RGB特征图像进行融合，得到该尺度的下采样特征图像，对融合后的所述下采样特征图像进行下采样并与下一尺度的所述RGB特征图像进行融合，最终得到小尺度下采样特征图像；
将所述小尺度下采样特征图像进行上采样，并与同一尺度的所述下采样特征图像进行融合，得到该尺度的上采样特征图像，对融合后的所述上采样特征图像进行上采样并与上一尺度的所述下采样特征图像进行融合，得到所述特征图像。
9.根据权利要求8所述的地表覆盖分类模型训练方法，其特征在于，
所述对所述RGB图像进行特征提取，得到多个尺度的RGB特征图像包括：
对所述RGB图像进行特征提取，得到四个尺度的RGB特征图像；
所述对所述样本图像进行特征提取包括：
将所述样本图像依次经过多头注意力机制和多层感知器进行特征提取。
10.根据权利要求1所述的地表覆盖分类模型训练方法，其特征在于，所述方法还包括：
获取验证集，所述验证集包括验证图像和对应的验证标注图像；
将所述验证图像输入所述地表覆盖分类初始模型，利用所述验证标注图像获取所述地表覆盖分类初始模型的精度，选择精度最高的所述地表覆盖分类初始模型作为地表覆盖分类模型。
11.一种地表覆盖分类方法，其特征在于，所述方法包括：
获取待分类图像；
将所述待分类图像输入地表覆盖分类模型中，得到地表覆盖分类结果，所述地表覆盖分类模型为利用权利要求1-8任一项所述的地表覆盖分类模型训练方法对地表覆盖分类促使模型所训练得到的。
12.一种数据设备，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求1-10任一项所述的地表覆盖分类模型训练方法或权利要求11所述的地表覆盖分类方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-10任一项所述的地表覆盖分类模型训练方法或权利要求11所述的地表覆盖分类方法。
CN202210616168.XA 2022-05-31 2022-05-31 地表覆盖分类模型训练方法、地表覆盖分类方法及装置 Pending CN115205618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210616168.XA CN115205618A (zh) 2022-05-31 2022-05-31 地表覆盖分类模型训练方法、地表覆盖分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210616168.XA CN115205618A (zh) 2022-05-31 2022-05-31 地表覆盖分类模型训练方法、地表覆盖分类方法及装置

Publications (1)

Publication Number Publication Date
CN115205618A true CN115205618A (zh) 2022-10-18

Family

ID=83576037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210616168.XA Pending CN115205618A (zh) 2022-05-31 2022-05-31 地表覆盖分类模型训练方法、地表覆盖分类方法及装置

Country Status (1)

Country Link
CN (1) CN115205618A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115730514A (zh) * 2022-11-11 2023-03-03 厦门大学 基于改进Transformer模型X射线光子计数探测器光谱失真校正方法
CN116884015A (zh) * 2023-07-24 2023-10-13 人民网股份有限公司 标志检测方法、装置、计算设备及存储介质
CN117274584A (zh) * 2023-08-25 2023-12-22 三峡高科信息技术有限责任公司 遥感图像的阴影处理方法及装置、存储介质、终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115730514A (zh) * 2022-11-11 2023-03-03 厦门大学 基于改进Transformer模型X射线光子计数探测器光谱失真校正方法
CN116884015A (zh) * 2023-07-24 2023-10-13 人民网股份有限公司 标志检测方法、装置、计算设备及存储介质
CN117274584A (zh) * 2023-08-25 2023-12-22 三峡高科信息技术有限责任公司 遥感图像的阴影处理方法及装置、存储介质、终端
CN117274584B (zh) * 2023-08-25 2024-05-03 三峡高科信息技术有限责任公司 遥感图像的阴影处理方法及装置、存储介质、终端

Similar Documents

Publication Publication Date Title
CN111767801B (zh) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN115205618A (zh) 地表覆盖分类模型训练方法、地表覆盖分类方法及装置
US20200117961A1 (en) Two-dimensional document processing
US11080910B2 (en) Method and device for displaying explanation of reference numeral in patent drawing image using artificial intelligence technology based machine learning
US9230168B2 (en) Automatic generation of built-up layers from high resolution satellite image data
CN108764138B (zh) 一种基于多维多粒度级联森林的高原地区云雪分类方法
CN112580654A (zh) 遥感图像地物语义分割方法
CN113609889B (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN106226212B (zh) 基于深度残差网络的高光谱霾监测方法
CN114220001A (zh) 基于双注意力神经网络的遥感影像云与云阴影检测方法
Chen et al. A landslide extraction method of channel attention mechanism U-Net network based on Sentinel-2A remote sensing images
Du et al. Segmentation and sampling method for complex polyline generalization based on a generative adversarial network
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
Xia et al. Dilated multi-scale cascade forest for satellite image classification
Lizarazo SVM‐based segmentation and classification of remotely sensed data
US11281928B1 (en) Querying semantic data from unstructured documents
US12086728B2 (en) Form structure extraction by predicting associations
Yue et al. Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram
Oishi et al. A new Landsat 8 cloud discrimination algorithm using thresholding tests
Norman et al. Spatio-statistical optimization of image segmentation process for building footprint extraction using very high-resolution WorldView 3 satellite data
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Lu et al. Comparison between several feature extraction/classification methods for mapping complicated agricultural land use patches using airborne hyperspectral data
CN116091937A (zh) 基于深度学习的高分辨率遥感影像地物识别模型计算方法
Li et al. Automatic building detection from very high-resolution images using multiscale morphological attribute profiles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination