CN113487483A - 影像分割网络的训练方法和装置 - Google Patents

影像分割网络的训练方法和装置 Download PDF

Info

Publication number
CN113487483A
CN113487483A CN202110758609.5A CN202110758609A CN113487483A CN 113487483 A CN113487483 A CN 113487483A CN 202110758609 A CN202110758609 A CN 202110758609A CN 113487483 A CN113487483 A CN 113487483A
Authority
CN
China
Prior art keywords
sample
image
network
remote sensing
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110758609.5A
Other languages
English (en)
Inventor
刘涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202110758609.5A priority Critical patent/CN113487483A/zh
Publication of CN113487483A publication Critical patent/CN113487483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本公开实施例提供一种影像分割网络的训练方法和装置，在训练目标影像分割网络时，基于初始影像分割网络提取的第一样本特征与初始影像超分网络提取的第二样本特征之间的差异训练目标影像分割网络，由于目标影像超分网络能够从遥感影像样本中提取出更细粒度的特征，因此，能够通过目标影像超分网络提取的细粒度的特征来辅助目标影像分割网络进行特征提取，使得训练得到的目标影像分割网络提取的特征也更加细致，达到对目标影像分割网络的隐式细化效果，从而提高目标影像分割网络的特征提取能力，进而提高地表制图的准确度。

Description

影像分割网络的训练方法和装置
技术领域
本公开涉及计算机视觉技术领域，尤其涉及影像分割网络的训练方法和装置。
背景技术
地表覆盖制图用于根据一个区域的影像对该区域的地表覆盖类别进行划分，并生成该区域的地表覆盖分布图来表示这些类别的地表覆盖在地图上的分布。相关技术中在进行地表覆盖制图时，一般先获取遥感影像，再通过神经网络对遥感影像进行影像分割，以确定遥感影像中各个像素点的地表覆盖类别。然而，在遥感影像分辨率较低的情况下，会导致地表覆盖制图的准确性较低。
发明内容
本公开提供一种影像分割网络的训练方法和装置。
第一方面，本公开实施例提供一种地表覆盖制图方法，所述方法包括：将遥感影像输入目标影像分割网络；通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述遥感影像中各像素点对应的地表覆盖类别；所述目标影像分割网络基于初始影像分割网络从遥感影像样本中提取的第一样本特征与初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到，所述初始影像超分网络用于基于所述第二样本特征对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述目标影像分割网络基于以下方式训练得到：通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述目标损失通过对所述第一损失、第二损失和第三损失进行加权得到。
在一些实施例中，所述方法还包括：获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述方法还包括：将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
第二方面，本公开实施例提供一种影像分割网络的训练方法，所述方法包括：获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，所述目标影像分割网络基于所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，包括：通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述基于所述第一损失、第二损失和第三损失生成目标损失，包括：对所述第一损失、第二损失和第三损失进行加权平均，得到目标损失。
在一些实施例中，所述获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征，包括：获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述方法还包括：将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
在一些实施例中，所述方法还包括：将目标遥感影像输入所述目标影像分割网络；通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述目标遥感影像中各像素点对应的地表覆盖类别。
第三方面，本公开实施例提供一种地表覆盖制图装置，所述装置包括：输入模块，用于将遥感影像输入目标影像分割网络；分割模块，用于通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述遥感影像中各像素点对应的地表覆盖类别；所述目标影像分割网络基于初始影像分割网络从遥感影像样本中提取的第一样本特征与初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到，所述初始影像超分网络用于基于所述第二样本特征对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述目标影像分割网络基于以下模块训练得到：第一确定模块，用于通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；第二确定模块，用于通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；第三确定模块，用于获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；训练模块，用于基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述目标损失通过对所述第一损失、第二损失和第三损失进行加权得到。
在一些实施例中，所述装置还包括：第一特征获取模块，用于获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；第二特征获取模块，用于获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述装置还包括：上采样模块，用于将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；合并模块，用于对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
第四方面，本公开实施例提供一种影像分割网络的训练装置，所述装置包括：获取模块，用于获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；训练模块，用于对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，所述目标影像分割网络基于所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述训练模块包括：第一确定单元，用于通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；第二确定单元，用于通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；第三确定单元，用于获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；训练单元，用于基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述基于所述第一损失、第二损失和第三损失生成目标损失，包括：对所述第一损失、第二损失和第三损失进行加权平均，得到目标损失。
在一些实施例中，所述获取模块包括：第一特征获取单元，用于获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；第二特征获取单元，用于获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述装置还包括：上采样模块，用于将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；合并模块，用于对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
在一些实施例中，所述装置还包括：输入模块，用于将目标遥感影像输入所述目标影像分割网络；制图模块，用于通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述目标遥感影像中各像素点对应的地表覆盖类别。
第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第六方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
本公开实施例的目标影像分割网络通过多任务学习的方式训练得到，在训练目标影像分割网络时，将目标影像分割网络提取的第一样本特征与目标影像超分网络提取的第二样本特征之间的差异作为目标影像分割网络的训练目标，由于目标影像超分网络能够从遥感影像样本中提取出更细粒度的特征，因此，能够通过目标影像超分网络提取的细粒度的特征来辅助目标影像分割网络进行特征提取，使得目标影像分割网络提取的特征也更加细致，达到对目标影像分割网络的隐式细化效果，从而提高目标影像分割网络的特征提取能力，进而提高地表制图的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的影像分割网络的训练方法的流程图。
图2是本公开实施例的特征提取主干网络的网络架构的示意图。
图3是本公开实施例的联合训练过程中分割分支和超分分支的示意图。
图4是本公开实施例的训练过程的整体流程的示意图。
图5是本公开实施例的地表制图方法的流程图。
图6是本公开实施例的地表制图装置的框图。
图7是本公开实施例的影像分割网络的训练装置的框图。
图8是本公开实施例的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
地表制图用于根据一个区域的影像对该区域的地表覆盖划分成森林，草地，农田，城市，冰雪等类别，并生成该区域的地表覆盖分布图来表示这些类别的地表覆盖在地图上的分布。地表覆盖数据可为气候变化、碳循环、生物多样性和公共卫生等多种地球系统研究提供基本信息。此外，作为基础数据集，地表覆盖数据可服务于城市规划、自然资源管理和生态系统保护等多种业务场景。
相关技术中在进行地表制图时，一般先获取遥感影像，再通过神经网络对遥感影像进行影像分割，以确定遥感影像中各个像素点的地表覆盖类别。然而，大规模高分辨率制图源数据(如Planet 3m数据)通常为米级分辨率水平数据，分辨率较低，导致地表制图的准确性较低。
基于此，本公开实施例提供一种影像分割网络的训练方法，参见图1，所述方法包括：
步骤101：获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；
步骤102：对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，以使所述目标影像分割网络从所述遥感影像样本中提取的第一样本特征与所述目标影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异小于预设差异阈值。
在步骤101中，遥感影像样本可以是通过遥感传感器采集的影像，所述遥感传感器可以包括但不限于多光谱遥感传感器、高光谱遥感传感器、可见光遥感传感器等类别的遥感传感器，本公开对此不做限制。由于高分辨率遥感影像的获取成本较高，因此，为了节约成本，本公开实施例可采用低分辨率遥感影像作为遥感影像样本。其中，所述高分辨率遥感影像一般指分辨率水平大于或等于第一分辨率等级(例如，亚米级或亚米级以上等级)的遥感影像，低分辨率遥感影像一般指分辨率水平小于或等于第二分辨率等级(例如，米级或米级以下等级)的遥感影像，所述第一分辨率等级大于或等于所述第二分辨率等级。
其中，遥感影像的分辨率是指遥感影像中一个像素点在物理空间中对应的范围，例如，10米分辨率表示遥感影像中一个像素点在物理空间中对应大小约为10米×10米的范围。一个像素点在物理空间中对应的范围越大，分辨率水平越低。例如，10米分辨率对应的分辨率水平低于3米分辨率对应的分辨率水平。
在步骤102中，目标影像分割网络用于获取地表覆盖分布图。所述地表覆盖分布图中可包括所述遥感影像中各像素点对应的地表覆盖类别，各个地表覆盖类别可以预先设定，例如，包括但不限于森林、草地、农田、城市、冰雪、沙漠、湖泊等。可以将遥感影像中的每个像素点都划分到其中一个类别中。在地表覆盖分布图中，可以通过不同的视觉特征来表示不同的类别。例如，在所述视觉特征为色彩的情况下，可以通过白色表示冰雪类别，通过绿色表示森林类别，通过黄色表示沙漠类别，通过蓝色表示湖泊类别，通过灰色表示城市类别。
在相关技术中，采用低分辨率的遥感影像时，会导致地表制图的准确度较低。为了解决上述问题，本公开实施例采用包括影像超分任务和影像分割任务的多任务学习的方式训练出目标影像分割网络。具体来说，在训练目标影像分割网络时，基于初始影像分割网络提取的第一样本特征与初始影像超分网络提取的第二样本特征之间的差异来训练目标影像分割网络。因此，能够通过目标影像超分网络提取的细粒度的特征来辅助目标影像分割网络进行特征提取，使得目标影像分割网络提取的特征也更加细致，达到对目标影像分割网络的隐式细化效果，从而提高目标影像分割网络的特征提取能力。采用通过上述方式训练得到的目标影像分割网络来获取地表覆盖制图，能够提高地表制图的准确度。
参见图2到图4，在训练过程中，还基于初始影像分割网络采用遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失对初始影像分割网络进行约束，以提高初始影像分割网络训练得到的目标影像分割网络的分类准确度。真实地表覆盖类别可以预先进行标注。
初始影像超分网络采用遥感影像样本对应的超分影像与参考影像之间的第二损失作为优化目标，以提高初始影像超分网络的准确度。其中，参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率。参考影像可以通过分辨率较高的遥感传感器采集得到，可以采用谷歌影像等作为参考影像。
还可以通过初始影像分割网络从遥感影像样本中提取的第一样本特征(称为分割特征)与初始影像超分网络从遥感影像样本中提取的第二样本特征(称为超分特征)之间的第三损失来对初始影像分割网络进行约束。超分特征包含更完整的对象结构信息，例如，在分辨率较低的遥感影像中，地物的轮廓不清晰，但经过初始影像超分网络进行超分处理之后，能够获得更清晰的轮廓。因此，通过初始影像超分网络提取的细粒度的特征来辅助初始影像分割网络进行特征提取，从而使初始影像分割网络提取的特征更加细致。
然后，基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述第一损失可以采用交叉熵(Cross Entropy，CE)损失LCE，具体如下所示：
Figure BDA0003148753400000121
其中，N为遥感影像样本中的像素点的总数，yi、pi分别为第i像素点的真实地表覆盖类别和预测地表覆盖类别的概率。
所述第二损失可以采用均方误差(Mean Square Error，MSE)损失LMSE，具体如下所示：
Figure BDA0003148753400000122
其中，SR(xi)为初始影像超分网络输出的超分影像中的第i像素点xi的像素值，xi ′为参考影像中第i像素点的像素值。
在确定第三损失时，引入特征相似度(Similarity，SI)模块，通过隐式传递像素间关系，指导初始影像分割网络学习超分特征。可采用第一样本特征与第二样本特征的相似矩阵之间的距离作为第三损失LSI，即：
Figure BDA0003148753400000131
其中，
Figure BDA0003148753400000132
分别为第一样本特征的相似矩阵和第二样本特征的相似矩阵，相似矩阵用于描述像素点之间的相似度关系。其中，Sij表示特征图F中第i和j像素的相似度关系，即：
Figure BDA0003148753400000133
在本实施例中，所述特征图F为第一样本特征或第二样本特征，Fi和Fj分别表示第i和j像素的特征，T表示矩阵转置。
在一些实施例中，通过对所述第一损失、第二损失和第三损失进行加权平均，可以得到目标损失L，记为：
L＝u1LCE+u2LMSE+u3LSI
其中u1、u2、u3为权重，各个权重的值基于第一损失、第二损失和第三损失的相对大小来设置，通过设置不同的权重，可以将第一损失、第二损失和第三损失的取值映射到相同的数量级上。在一些实施例中，u1、u2、u3分别设置为1、0.2、1。
在一些实施例中，所述初始影像分割网络包括第一初始特征提取子网络，用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的第一样本特征；以及初始影像分割子网络，用于基于所述第一样本特征获取所述遥感影像样本对应的地表覆盖分布图。
所述初始影像超分网络包括第二初始特征提取子网络，用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的第二样本特征；以及初始影像超分子网络，用于基于所述第二样本特征对所述遥感影像样本进行超分辨率处理。
进一步地，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征。
其中，通过第一卷积处理和第二卷积处理能够调整特征的通道数量。对于初始影像分割网络，调整后特征的通道数量等于所需划分的地表覆盖类别的总数。对于初始影像超分网络，调整后特征的通道数量等于遥感影像样本的通道数量。初始影像分割网络与初始影像超分网络可共用特征提取单元(称为特征提取主干网络)，提取出初始样本特征之后，将初始样本特征分别输入影像分割分支(包括所述第一卷积处理单元)与影像超分分支(包括所述第二卷积处理单元和上采样单元)进行处理，分别得到第一样本特征和第二样本特征。由于影像分割分支和影像超分分支采用了不同的优化目标，因此，最终提取出的第一样本特征和第二样本特征也不同。
相关技术中的地表制图方式一般基于分辨率较低的遥感影像实现，无法充分利用高分辨率的空间信息。传统浅层机器学习模型，难以有效学习提取高层次语义特征。同时当前常用基于卷积神经网络(Convolutional Neural Networks，CNN)的深度学习制图算法，如U-Net，往往首先学习低分辨率分类表征，随后通过上采样或反卷积的方式恢复高分辨率语义表征，这造成了原始影像高分辨率空间细节信息的丢失。为了解决上述问题，本公开实施例的目标影像分割网络中包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征。同理，所述目标影像超分网络中也可以包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征。
在一些实施例中，所述特征提取单元中包括所述多个并联的特征提取分支。其中，从高分辨率的特征中能够提取出足够的空间细节信息，从低分辨率的特征中能够提取出较为抽象的深层语义信息，本公开实施例的初始样本特征中同时包括高分辨率的特征以及低分辨率的特征，从而既能够提取出空间细节信息，又能够提取出深层语义信息，从而能够提高地表制图的准确度。
参见图2，本公开实施例的特征提取主干网络可以采用HRNet。图中的立方体表示特征图，在该HRNet用于初始影像分割网络的情况下，特征图为第一样本特征对应的特征图，在该HRNet用于初始影像超分网络的情况下，特征图为第二样本特征对应的特征图。图中的数值表示对应特征图的尺寸，例如，512×512×11表示特征图的长、宽和通道数分别为512、512和11。实线箭头表示卷积操作，斜向上的虚线箭头表示上采样操作，斜向下的虚线箭头表示跨步卷积。上述网络结构中共包括4个阶段，每个阶段用于引入一个特征提取分支。图中的1×表示阶段2包括1组对应实线框内的结构，4×表示阶段3包括4组对应实线框内的结构，3×表示阶段4包括3组对应实线框内的结构。例如，在阶段1，引入分支1，在阶段2，引入分支2，以此类推。其中，每行表示一个特征提取分支。本领域技术人员可以理解，本公开实施例中采用的特征提取主干网络不限于HRNet，只要能够实现通过并联多个分支来获取不同分辨率的特征即可。在采用HRNet作为特征提取主干网络的情况下，网络中的分支数量、各分支的特征图对应的尺寸等参数也可以根据实际情况确定，并不限于图中所示的情况。相比于传统的CNN模型试图从低分辨率表征中恢复高分辨率表征的做法，HRNet通过并联不同分辨率卷积，可自始至终保持高分辨率表征。
最后，可以将各个特征提取分支输出的特征上采样到同一分辨率；对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。例如，假设分支数量为4，各个分支上包括的通道数量分别为N1、N2、N3和N4，则初始样本特征的通道数N等于N1+N2+N3+N4。所述同一分辨率可以是特征提取分支上的特征的最高分辨率，例如，图2中分支1上的特征的分辨率。
如图3所示，是联合训练过程中分割分支和超分分支的示意图。其中，采用HRNet作为特征提取主干网络，以得到高分辨率的特征(即初始样本特征)。HRNet与分割分支中的卷积单元构成第一初始特征提取子网络，HRNet与超分分支中的上采样单元和卷积单元构成第二初始特征提取子网络，s表示softmax层，用于进行分类，得到预测地表覆盖类别。分割分支与超分分支通过卷积得到的特征通过相似度模块计算SI损失，分割分支获取的预测地表覆盖类别与真实地表覆盖类别计算CE损失，超分分支输出的超分影像与真实的高分辨率影像(即参考影像)计算MSE损失。通过SI损失、CE损失和MSE损失加权得到加权损失并对整个网络进行训练。网络训练过程中特征图的尺寸变化如图中所示。本领域技术人员可以理解，图中所示的仅为示例性说明，例如，可以采用其他具有分类功能的网络层代替softmax层，也可以采用其他能够输出多种分辨率的特征的网络代替HRNet，各阶段得到的特征图的尺寸也可以根据需要设置。
在实际应用中，一些遥感影像的光谱波段有限，通常仅涵盖红绿蓝(Red GreenBlue，RGB)三个光谱波段或红绿蓝和近红外(Red Green Blue Near-infrared，RGBN)四个光谱波段，这会导致遥感影像的光谱响应能力较弱，从而无法细致地反映遥感影像中像素点的光谱响应状态，进而降低地表制图的准确度。为了解决上述问题，本公开实施例的遥感影像中不仅包括光谱特征，还包括地形特征和/或地理位置特征，从而为目标影像分割网络提供更丰富的特征，以便提高目标影像分割网络对不同地表覆盖类别的像素点的区分能力，进而提高地表制图的准确度。
具体来说，如图4所示，所述遥感影像中包括第一通道影像，还包括第二通道影像和第三通道影像中的至少一者；其中，所述第一通道影像中包括所述遥感影像的光谱特征；所述第二通道影像中包括所述遥感影像中各像素点的地形特征；所述第三通道影像中包括所述遥感影像中各像素点的地理位置特征。
光谱特征用于表征遥感影像对应的光谱波段。由于不同的地表覆盖类别对光谱波段的响应不同(即不同的地表覆盖类别对应的光谱特征不同)，通过获取光谱特征，能够有针对性地突出遥感影像中不同地表覆盖类别的特征。可以基于遥感光谱指数获取光谱特征，所述遥感光谱指数包括但不限于归一化植被指数(Normalized DifferenceVegetation Index，NDVI)、归一化水体指数(Normalized Difference Water Index，NDWI)等。
像素点的地形特征能够反映复杂地形环境条件，可增加地表覆盖判别信息的维度。所述地形特征包括但不限于表示海拔、坡度、坡向等信息的特征，地形特征可通过基于数字高程模型(Digital Elevation Model，DEM)计算得到。
像素点的地理位置特征即经纬度信息，可指示不同的地理位置，以提供分类辅助信息，从而增强地物的区分度，增强算法对大规模区域的适应能力。
通过采用上述光谱-地形-地理(即光谱特征、像素点的地形特征以及像素点的地理位置特征)的多维输入数据集，结合遥感与地理背景，将有限波段光谱数据，扩充为维度更丰富的输入数据，增强了大规模复杂场景下的制图能力。
如图5所示，本公开实施例还提供一种地表覆盖制图方法，所述方法包括：
步骤101：将遥感影像输入目标影像分割网络；
步骤102：通过目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述遥感影像中各像素点对应的地表覆盖类别；
所述目标影像分割网络基于初始影像分割网络从遥感影像样本中提取的第一样本特征与初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到，所述初始影像超分网络用于基于所述第二样本特征对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述目标影像分割网络基于以下方式训练得到：通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述目标损失通过对所述第一损失、第二损失和第三损失进行加权得到。
在一些实施例中，所述方法还包括：获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述方法还包括：将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
本实施例的地表覆盖制图方法中采用的目标影像分割网络可基于前述任一实施例的训练方法训练得到，该地表覆盖制图方法的细节详见前述训练方法的实施例，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图6所示，本公开实施例还提供一种地表覆盖制图装置，所述装置包括：
输入模块601，用于将遥感影像输入目标影像分割网络；
分割模块602，用于通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述遥感影像中各像素点对应的地表覆盖类别；
所述目标影像分割网络基于初始影像分割网络从遥感影像样本中提取的第一样本特征与初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到，所述初始影像超分网络用于基于所述第二样本特征对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述目标影像分割网络基于以下模块训练得到：第一确定模块，用于通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；第二确定模块，用于通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；第三确定模块，用于获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；训练模块，用于基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述目标损失通过对所述第一损失、第二损失和第三损失进行加权得到。
在一些实施例中，所述装置还包括：第一特征获取模块，用于获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；第二特征获取模块，用于获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述装置还包括：上采样模块，用于将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；合并模块，用于对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
如图7，本公开实施例还提供一种影像分割网络的训练装置，所述装置包括：
获取模块701，用于获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；
训练模块702，用于对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，目标影像分割网络基于所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从遥感影像样本中提取的第二样本特征之间的差异训练得到。
在一些实施例中，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，所述第一通道包括所述遥感影像样本的光谱特征；所述第二通道包括所述遥感影像样本中各像素点的地形特征；所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
在一些实施例中，所述训练模块包括：第一确定单元，用于通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；第二确定单元，用于通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；第三确定单元，用于获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；训练单元，用于基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
在一些实施例中，所述基于所述第一损失、第二损失和第三损失生成目标损失，包括：对第一损失、第二损失和第三损失进行加权平均，得到目标损失。
在一些实施例中，所述获取模块包括：第一特征获取单元，用于获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；第二特征获取单元，用于获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
在一些实施例中，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
在一些实施例中，所述装置还包括：上采样模块，用于将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；合并模块，用于对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
在一些实施例中，所述装置还包括：输入模块，用于将目标遥感影像输入所述目标影像分割网络；制图模块，用于通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述目标遥感影像中各像素点对应的地表覆盖类别。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
图8示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器801、存储器802、输入/输出接口803、通信接口804和总线805。其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
处理器801可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器801还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器802可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行。
输入/输出接口803用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口804用于连接通信模块(图中未示出)，以向其他设备的通信模块发送本设备的信息，或者接收其他设备的通信模块发送的信息。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线805包括一通路，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器801、存储器802、输入/输出接口803、通信接口804以及总线805，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (11)

1.一种影像分割网络的训练方法，其特征在于，所述方法包括：
获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；
对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，所述目标影像分割网络基于所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到。
2.根据权利要求1所述的方法，其特征在于，所述遥感影像样本包括第一通道，还包括第二通道和第三通道中的至少一者；其中，
所述第一通道包括所述遥感影像样本的光谱特征；
所述第二通道包括所述遥感影像样本中各像素点的地形特征；
所述第三通道包括所述遥感影像样本中各像素点的地理位置特征。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，包括：
通过所述初始影像分割网络获取所述遥感影像样本中各像素点对应的预测地表覆盖类别，确定所述遥感影像样本中各个像素点的预测地表覆盖类别与真实地表覆盖类别之间的第一损失；
通过所述初始影像超分网络获取所述遥感影像样本对应的超分影像，确定所述超分影像与参考影像之间的第二损失，所述参考影像与所述遥感影像样本为同一区域的遥感影像，且所述参考影像的分辨率高于所述遥感影像样本的分辨率；
获取所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的第三损失；
基于所述第一损失、第二损失和第三损失生成目标损失，基于所述目标损失对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到所述目标影像分割网络和所述目标影像超分网络。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一损失、第二损失和第三损失生成目标损失，包括：
对所述第一损失、第二损失和第三损失进行加权平均，得到目标损失。
5.根据权利要求1-4任一所述的方法，其特征在于，所述获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征，包括：
获取所述初始影像分割网络中的第一初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第一样本特征，所述第一样本特征用于所述初始影像分割网络中的初始影像分割子网络获取所述遥感影像样本对应的地表覆盖分布图；
获取所述初始影像超分网络中的第二初始特征提取子网络对所述遥感影像样本进行特征提取得到的所述遥感影像样本的第二样本特征，所述第二样本特征用于所述初始影像超分网络中的初始影像超分子网络对所述遥感影像样本进行超分辨率处理。
6.根据权利要求5所述的方法，其特征在于，所述第一初始特征提取子网络包括特征提取单元和第一卷积处理单元，所述特征提取单元用于对所述遥感影像样本进行特征提取，得到所述遥感影像样本的初始样本特征，所述第一卷积处理单元用于对所述初始样本特征进行卷积处理，得到所述第一样本特征；
所述第二初始特征提取子网络包括所述特征提取单元、第二卷积处理单元和上采样单元，所述第二卷积处理单元用于对所述初始样本特征进行卷积处理，所述上采样单元用于对所述第二卷积处理单元输出的特征进行上采样处理，得到所述第二样本特征；
其中，所述特征提取单元包括多个并联的特征提取分支，不同的特征提取分支用于输出不同分辨率的特征，所述初始样本特征包括各个特征提取分支输出的特征。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述多个并联的特征提取分支分别输出的特征上采样到同一分辨率；
对各个特征提取分支对应的上采样后的特征进行合并，得到所述初始样本特征，其中，所述初始样本特征的通道数等于各个特征提取分支输出的特征的通道数之和。
8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：
将目标遥感影像输入所述目标影像分割网络；
通过所述目标影像分割网络获取所述遥感影像对应的地表覆盖分布图，所述地表覆盖分布图中包括所述目标遥感影像中各像素点对应的地表覆盖类别。
9.一种影像分割网络的训练装置，其特征在于，所述装置包括：
获取模块，用于获取初始影像分割网络从遥感影像样本中提取的第一样本特征以及初始影像超分网络从所述遥感影像样本中提取的第二样本特征；
训练模块，用于对所述初始影像分割网络和所述初始影像超分网络进行联合训练，得到目标影像分割网络和目标影像超分网络，所述目标影像分割网络基于所述初始影像分割网络从所述遥感影像样本中提取的第一样本特征与所述初始影像超分网络从所述遥感影像样本中提取的第二样本特征之间的差异训练得到。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任意一项所述的方法。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任意一项所述的方法。
CN202110758609.5A 2021-07-05 2021-07-05 影像分割网络的训练方法和装置 Pending CN113487483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758609.5A CN113487483A (zh) 2021-07-05 2021-07-05 影像分割网络的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758609.5A CN113487483A (zh) 2021-07-05 2021-07-05 影像分割网络的训练方法和装置

Publications (1)

Publication Number Publication Date
CN113487483A true CN113487483A (zh) 2021-10-08

Family

ID=77940063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758609.5A Pending CN113487483A (zh) 2021-07-05 2021-07-05 影像分割网络的训练方法和装置

Country Status (1)

Country Link
CN (1) CN113487483A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908464A (zh) * 2023-01-09 2023-04-04 智慧眼科技股份有限公司 一种舌体图像分割方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361338A (zh) * 2014-10-17 2015-02-18 中国科学院东北地理与农业生态研究所 一种基于ENVISAT ASAR、Landsat TM与DEM数据的泥炭沼泽信息提取方法
WO2018036293A1 (zh) * 2016-08-26 2018-03-01 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN108089850A (zh) * 2018-01-02 2018-05-29 北京建筑大学 一种基于影像协同分割与生态地理分区规则库的地表覆盖产品增量更新方法
WO2020143323A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112906662A (zh) * 2021-04-02 2021-06-04 海南长光卫星信息技术有限公司 一种遥感图像变化检测方法、装置、设备及存储介质
CN112966580A (zh) * 2021-02-25 2021-06-15 山东科技大学 基于深度学习和超分辨率的遥感图像绿潮信息提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361338A (zh) * 2014-10-17 2015-02-18 中国科学院东北地理与农业生态研究所 一种基于ENVISAT ASAR、Landsat TM与DEM数据的泥炭沼泽信息提取方法
WO2018036293A1 (zh) * 2016-08-26 2018-03-01 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN108089850A (zh) * 2018-01-02 2018-05-29 北京建筑大学 一种基于影像协同分割与生态地理分区规则库的地表覆盖产品增量更新方法
WO2020143323A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112966580A (zh) * 2021-02-25 2021-06-15 山东科技大学 基于深度学习和超分辨率的遥感图像绿潮信息提取方法
CN112906662A (zh) * 2021-04-02 2021-06-04 海南长光卫星信息技术有限公司 一种遥感图像变化检测方法、装置、设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LI WANG 等: "Dual Super-Resolution Learning for Semantic Segmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 3773 - 3782 *
S. LEI 等: "Simultaneous Super-Resolution and Segmentation for Remote Sensing Images", 《IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
W. SUN 等: "Fully Convolutional Networks for Semantic Segmentation of Very High Resolution Remotely Sensed Images Combined With DSM", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
Z. GUO 等: "Super-Resolution Integrated Building Semantic Segmentation for Multi-Source Remote Sensing Imagery", 《IEEE ACCESS》 *
沈庆 等: "多分辨率特征注意力融合行人再识别", 《中国图象图形学报》, vol. 25, no. 5, pages 946 - 955 *
肖春姣 等: "深度融合网结合条件随机场的遥感图像语义分割", 《遥感学报》, no. 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908464A (zh) * 2023-01-09 2023-04-04 智慧眼科技股份有限公司 一种舌体图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN110378224B (zh) 一种地物变化的检测方法、检测系统及终端
Du et al. Analysis of Landsat-8 OLI imagery for land surface water mapping
Fu et al. Using convolutional neural network to identify irregular segmentation objects from very high-resolution remote sensing imagery
Saralioglu et al. Semantic segmentation of land cover from high resolution multispectral satellite images by spectral-spatial convolutional neural network
CN113362329B (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
Sun et al. Extracting urban impervious surface from worldView-2 and airborne LiDAR data using 3D convolutional neural networks
Yue et al. Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram
KR102188035B1 (ko) 위성영상의 해상도 복원을 위한 학습 방법 및 장치
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统
Wang et al. Fine spatial resolution coastline extraction from Landsat-8 OLI imagery by integrating downscaling and pansharpening approaches
Rangzan et al. Supervised cross-fusion method: a new triplet approach to fuse thermal, radar, and optical satellite data for land use classification
Parajuli et al. Attentional dense convolutional neural network for water body extraction from sentinel-2 images
CN113487483A (zh) 影像分割网络的训练方法和装置
Hajimoradlou et al. Predicting landslides using locally aligned convolutional neural networks
CN112132867B (zh) 一种遥感影像变化检测方法及装置
Shi et al. Soft-then-hard sub-pixel mapping with multiple shifted images
CN112150522A (zh) 遥感图像的配准方法、装置、设备、存储介质及系统
CN116704324A (zh) 基于水下图像的目标检测方法、系统、设备以及存储介质
CN112465878B (zh) 一种基于粒子滤波的位置预测方法及设备
Varma et al. HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN.
Luo et al. Parameter evaluation and optimization for multi-resolution segmentation in object-based shadow detection using very high resolution imagery
Taşyürek et al. DSHFS: a new hybrid approach that detects structures with their spatial location from large volume satellite images using CNN, GeoServer and TileCache
Mishra et al. Exploring single-frame super-resolution on real-world Hyperion and PRISMA datasets of an urban area in a developing nation
CN113743346A (zh) 图像识别方法、装置、电子设备及存储介质
Saleem et al. Exploiting a texture framework and high spatial resolution properties of panchromatic images to generate enhanced multi-layer products: Examples of Pleiades and historical CORONA space photographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination