CN116310666A - 一种遥感图像自监督训练方法、装置和电子设备 - Google Patents

一种遥感图像自监督训练方法、装置和电子设备 Download PDF

Info

Publication number
CN116310666A
CN116310666A CN202211611129.7A CN202211611129A CN116310666A CN 116310666 A CN116310666 A CN 116310666A CN 202211611129 A CN202211611129 A CN 202211611129A CN 116310666 A CN116310666 A CN 116310666A
Authority
CN
China
Prior art keywords
remote sensing
image
sub
sensing image
sensing sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211611129.7A
Other languages
English (en)
Inventor
霍连志
白晓飞
张嘉
孟瑜
唐娉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Land Survey And Planning Institute
Aerospace Information Research Institute of CAS
Original Assignee
China Land Survey And Planning Institute
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Land Survey And Planning Institute, Aerospace Information Research Institute of CAS filed Critical China Land Survey And Planning Institute
Priority to CN202211611129.7A priority Critical patent/CN116310666A/zh
Publication of CN116310666A publication Critical patent/CN116310666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遥感图像自监督训练方法、装置和电子设备。该方法包括：基于目标成果数据对遥感图像进行区域划分，将遥感图像划分为多个图斑，各图斑对应有类别属性；对区域划分后的遥感图像进行分块处理并基于分块中的图斑的属性对分块进行筛选得到遥感子图像集；基于遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各遥感子图像的正样本和负样本；采用各遥感子图像及对应的正样本和负样本对初始遥感图像特征提取模型进行训练，得到遥感图像特征提取模型。该方法能够快速且有效的构建出正负样本对集合，还能够通过构建的正负样本对集合快速训练出收敛的遥感图像特征提取模型。

Description

一种遥感图像自监督训练方法、装置和电子设备
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种遥感图像自监督训练方法、装置和电子设备。
背景技术
遥感图像在地球观测领域得到了广泛应用，如地表覆盖分类、森林变化监测等，其中，遥感图像分类是把遥感数据转换为遥感信息的重要技术手段，而遥感图像分类模型往往需要大量的标记样本以对遥感图像分类模型进行训练与参数调优。
2012年Krizhevsky A.在机器学习领域的顶级会议2012Conference on NeuralInformation Processing Systems(NIPS)发表的AlexNet工作在经典的图像识别任务上取得重大突破，比传统基于支持向量机的识别率提高接近10％，引起了学术界以及工业界再次对相对比较经典的神经网络的极大兴趣。在学术界，神经网络在20世纪80年代是一个主流的机器学习流派，但是，由于当时缺乏足够的训练数据以及相对比较弱的计算能力，对多层神经网络的训练及其困难，训练时间过长，并往往会产生过拟合的分类网络，因而在实际应用中的识别效果并不好。近年来，具有足够大数据量、具有类别标记的图像数据集的出现(如ImageNet等)，以及显卡GPU计算能力的增强，使得能够在可以接受的时间里对多层神经网络训练出好的网络模型参数。卷积神经网络最基本的结构单元，包含：卷积层、池化层以及全连接层。卷积层对窗口内的图像进行卷积操作，提取各种类型的特征；池化层典型的操作包括平均和最大化，是对提取特征的进一步抽象；全连接层是将卷积层和池化层的输出使用向量堆叠起来，形成一层或多层全连接层，实现高阶的推导能力。AlexNet取得巨大成功后，后续研究者又在增加网络层数、网络优化方法等各方面广泛研究，出现了GoogleNet、VGGNet、ResNet等具有影响力、典型的卷积神经网络。
深度学习模型成功的一个重要前提是对大量标记样本的依赖。受对大量标记样本依赖的限制所启发，近年来自监督学习(self-supervised learning)受到广泛关注，产生了MoCo(参考论文：Momentum Contrast for Unsupervised Visual RepresentationLearning，CVPR2020)，SimCLR(参考论文：A Simple Framework for ContrastiveLearning of Visual Representations,2020)等一些有影响力的算法模型。自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。自监督学习可以被看作是机器学习的一种“理想状态”，模型直接从无标记数据中自行学习，无需标注数据。自监督学习的核心，在于如何自动为数据产生标签，例如输入一张图片，把图片随机旋转一个角度，然后把旋转后的图片作为输入，随机旋转的角度作为标签。再例如，把输入的图片均匀分割成3*3的格子，每个格子里面的内容作为一个patch，随机打乱patch的排列顺序，然后用打乱顺序的patch作为输入，正确的排列顺序作为类别标签。类似这种自动产生的标注，完全无需人工参与。
还有一类自监督学习方法是基于对比约束，它通过学习对两个事物的相似或不相似进行编码来构建表征，这类方法的性能目前来说是非常强的，即通过构建正样本(positive)和负样本(negative)，然后度量正负样本的距离来实现自监督学习。但是，基于遥感图像，采用人工标注的方法进行正样本和负样本的构建，构建效率极低，而快速且有效的正样本和负样本的构建方法一致缺乏。
发明内容
本发明提供一种遥感图像自监督训练方法、装置和电子设备，用以解决现有技术中模型自监督训练时通过人工标注的方法构建正样本和负样本，构建效率低的缺陷，实现一种能够快速、有效构建正样本和负样本的遥感图像特征提取模型的自监督训练方法。
本发明提供一种遥感图像自监督训练方法，包括：
基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；
对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；
基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；
采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
根据本发明提供的一种遥感图像自监督训练方法，所述基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性，包括：
基于所述遥感图像获得目标成果数据；
将所述目标成果数据与所述遥感图像进行空间重叠配准，从而根据所述目标成果数据将所述遥感图像划分为多个图斑；
根据所述目标成果数据定义各所述图斑的类别属性。
根据本发明提供的一种遥感图像自监督训练方法，所述对区域划分后的所述遥感图像进行分块处理，包括：
设定滑动窗口和滑动步长，所述滑动步长的大小小于等于滑动窗口在滑动方向上的宽度；
采用从左至右，从上至下的顺序，以所述滑动步长移动所述滑动窗口对区域划分后的所述遥感图像进行分块处理。
根据本发明提供的一种遥感图像自监督训练方法，所述基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集，包括：
计算各所述分块中各类别属性的图斑的面积比例；
当所述分块中各类别属性的所述图斑的面积比例均低于预设阈值时，筛除所述分块；
当所述分块中一个类别属性的所述图斑的面积比例高于所述预设阈值时，保留所述分块，组成遥感子图像集。
根据本发明提供的一种遥感图像自监督训练方法，所述基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本，包括：
计算所述遥感图像集中各遥感子图像与其余遥感子图像之间的相似性，将具有相似性的遥感子图像定义为正样本，将不具有相似性的遥感子图像定义为负样本；
其中，各所述遥感子图像中，主要类别属性相同的为具有相似性，主要类别属性不相同的为不具有相似性。
根据本发明提供的一种遥感图像自监督训练方法，所述采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型，包括：
建立所述初始遥感图像特征提取模型；
采用各所述遥感子图像及对应的所述正样本和所述负样本对所述初始遥感图像特征提取模型进行自监督训练；
根据所述正样本和所述负样本建立损失函数，优化所述损失函数，更新所述初始遥感图像特征提取模型的参数，直至收敛，得到遥感图像特征提取模型。
本发明还提供一种遥感图像自监督训练装置，包括：
区域划分模块，用于基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；
筛选模块，用于对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；
样本获得模块，用于基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；
训练模块，用于采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感图像自监督训练方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感图像自监督训练方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述遥感图像自监督训练方法。
本发明提供的遥感图像自监督训练方法、装置和电子设备，通过目标成果数据如Open Street Map(开源地图数据)等开源的矢量数据或各行业积累的历史成果数据来构建所述遥感图像的正样本和负样本对集合，不仅能够快速且有效的构建出正负样本对集合，还能够通过构建的正负样本对集合快速训练出收敛的遥感图像特征提取模型，为后续遥感图像分类提供支持。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的遥感图像自监督训练方法的流程示意图；
图2是本发明提供的对遥感图像进行区域划分后的示意图；
图3是本发明提供的将遥感图像划分为多个图斑的方法的流程示意图；
图4是本发明提供的对区域划分后的遥感图像进行分块处理的方法的流程示意图；
图5是本发明提供的对遥感图像分块完成后的示意图；
图6是本发明提供的对分块进行筛选的方法的流程示意图；
图7是本发明提供的对初始遥感图像特征提取模型进行训练的方法的流程示意图；
图8是本发明提供的遥感图像自监督训练装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图7描述本发明提供的一种遥感图像自监督训练方法，包括：
S101：基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性。
具体的，目标成果数据可以是例如Open Street Map等开源的矢量数据，也可以是不同行业或者部门前期完成的历史成果数据，例如我国自然资源部下属的中国国土勘测规划院主导完成的全国第三次国土调查(简称：三调)对我国土地利用现状已经形成一个基础的底图信息。
针对遥感图像，参考图2中所示，根据该遥感图像整个区域对应的目标成果数据对遥感图像进行区域划分，可以将遥感图像分为多个图斑，如图2中多个具有白色边框的区域块。划分好图斑后，根据目标成果数据可以获知各个图斑对应的类别属性，类别属性可以是对各图斑基于用途等属性的分类，例如，图2中的①和⑤的类别属性为居住用地图斑，②为交通用地图斑，③为商服用地图斑，④为公园绿地图斑，当然并不限于此。
S102：对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集。
具体的，对区域划分后的遥感图像进行分块处理即是将遥感图像分为多个块。根据分块中的图斑的属性对分块进行筛选，目的是为了筛选出某一种类别属性占比面积较大的分块即具有主要类别属性的分块，该类分块组成了遥感子图像集。
S103：基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本。
具体的，在遥感子图像集中，计算每个遥感子图像与其余遥感子图像之间的相似性，具有相似性的划分为遥感子图像的正样本，不具有相似性的的划分为遥感子图像的负样本。多个遥感子图像的正样本和负样本组成该遥感图像的正负样本对集合。
S104：采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
具体的，采用上述步骤获得的各所述遥感子图像及对应的正样本和负样本对初始遥感图像特征提取模型进行训练，收敛后得到遥感图像特征提取模型。该遥感图像特征提取模型可以用于对遥感图像进行特征提取，基于提取的特征可以对遥感图像中的区域进行分类。
本发明提供的遥感图像自监督训练方法，通过目标成果数据如Open Street Map等开源的矢量数据或各行业积累的历史成果数据来构建所述遥感图像的正样本和负样本对集合，不仅能够快速且有效的构建出正负样本对集合，还能够通过构建的正负样本对集合快速训练出收敛的遥感图像特征提取模型，为后续遥感图像分类提供支持。
在一个实施例中，如图3中所示，所述基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性，包括：
S301：基于所述遥感图像获得目标成果数据。
具体的，根据遥感图像中包括的区域位置，获取该区域位置对应的目标成果数据。例如，所述遥感图像中为A城市的X区域，则获取A城市X区域的成果数据作为目标成果数据。
S302：将所述目标成果数据与所述遥感图像进行空间重叠配准，从而根据所述目标成果数据将所述遥感图像划分为多个图斑。
具体的，由于目标成果数据与遥感图像是对应的同一区域的，因此将目标成果数据和遥感图像在空间上进行重叠后配准，可以获知遥感图像上的各个区块对应的是目标成果数据中哪个区块的数据，以此可以对遥感图像进行划分。例如目标成果数据中有一个M区块数据，该数据表示了M区块为学校用地并明确了该区块的大小和形状，将该区块数据对应到遥感图像上，划分出一个图斑，该图斑为M区块大小，该图斑的属性为学校用地。
S303：根据所述目标成果数据定义各所述图斑的类别属性。
具体的，目标成果数据中包括了各区块的类型、大小和属性，进行配准后在划分图斑的同时也能够根据目标成果数据确定图斑的属性。
在一个实施例中，如图4中所示，所述对区域划分后的所述遥感图像进行分块处理，包括：
S401：设定滑动窗口和滑动步长，所述滑动步长的大小小于等于滑动窗口在滑动方向上的宽度。
具体的，由于可以是通过滑动窗口以设定的滑动步长滑动来对遥感图像进行分块处理的，因此，为了使得滑动分块过程中是连续分块的，设定的滑动步长的大小需要小于等于滑动窗口在滑动方向上的宽度。即滑动窗口根据滑动步长，按照有部分交叠的方式进行滑动，或者按照无交叠临接的方式进行滑动。如图5中所示，图5中为通过无交叠临接的滑动方式来进行滑动分块的。
在设计滑动步长和滑动窗口时，可以根据遥感图像的大小来设定，以使得刚好可以将遥感图像整个进行分块。也可以如图5中所示，以特定的滑动步长和滑动窗口对遥感图像分块完成后，对遥感图像边缘处不足一个窗口大小的区域进行丢弃处理。
S402：采用从左至右，从上至下的顺序，以所述滑动步长移动所述滑动窗口对区域划分后的所述遥感图像进行分块处理。
具体的，从遥感图像的左上角的第一个像素开始，采用从左至右，从上至下的顺序，以设定的滑动步长来移动滑动窗口对遥感图像进行分块处理，设定滑动步长的长度可以为整数像素个数值。
在一个实施例中，如图6中所示，所述基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集，包括：
S601：计算各所述分块中各类别属性的图斑的面积比例。
具体的，一个分块中可能包括多个类别属性图斑区域，如图5中a块左边的分块中则不止一个类别属性的图斑区域。计算各分块中各类别属性的图斑的面积比例，即每一种类别属性的图斑的面积占分块的面积的比例。
S602：当所述分块中各类别属性的所述图斑的面积比例均低于预设阈值时，筛除所述分块。
具体的，当一个分块中，每个类型的图斑区域的面积比例都低于预设阈值时，该分块被筛除，预设阈值可以设置为80％、85％、87％、93％等，该阈值应当至少不低于70％。
S603：当所述分块中一个类别属性的所述图斑的面积比例高于所述预设阈值时，保留所述分块，组成遥感子图像集。
具体的，当一个分块中，有一个类型的图斑区域的面积比例高于预设阈值时，该分块被保留。通过筛选，最后保留的所有分块组成遥感子图像集Ni(i＝1、2、3……n)，其中，n为保留的分块的个数。
在一个实施例中，所述基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本，包括：计算所述遥感图像集中各遥感子图像与其余遥感子图像之间的相似性，将具有相似性的遥感子图像定义为正样本，将不具有相似性的遥感子图像定义为负样本；其中，各所述遥感子图像中，主要类别属性相同的为具有相似性，主要类别属性不相同的为不具有相似性。
具体的，计算遥感子图像集Ni(i＝1、2、3……n)中各遥感子图像与其余的遥感子图像之间的相似性。例如，对于遥感子图像N1来说，其余遥感子图像N2～Nn中，主要类别属性即面积比例大于预设阈值的图斑的类别属性与N1中面积比例大于预设阈值的图斑的类别属性相同的则为…1的正样本，面积比例大于预设阈值的图斑的类别属性与N1中面积比例大于预设阈值的图斑的类别属性不同的则为N1的负样本。如图5中所示，对遥感子图像a来说，遥感子图像b、c、d、aa、bb、cc、dd均为a的正样本，遥感子图像A、B、C、D均为a的负样本。
在一个实施例中，如图7中所示，所述采用各所述遥感子图像及对应的正样本和负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型，包括：
S701：建立所述初始遥感图像特征提取模型。
S702：采用各所述遥感子图像及对应的正样本和负样本对所述初始遥感图像特征提取模型进行自监督训练。
S703：根据所述正样本和所述负样本建立损失函数，优化所述损失函数，更新所述初始遥感图像特征提取模型的参数，直至收敛，得到遥感图像特征提取模型。
具体的，获得正样本和负样本后，采用遥感子图像及对应的正样本和负样本对初始遥感图像特征提取模型进行训练，更新初始遥感图像特征提取模型的参数，直至收敛，能够得到遥感图像特征提取模型。上述获得的遥感图像特征提取模型可以直接用于对遥感图像进行特征提取。示例性的，遥感图像特征提取模型可以是MoCo网络模型、MoCo v2网络模型或SimCLR网络模型。
下面参考图8对本发明提供的遥感图像自监督训练装置进行描述，下文描述的遥感图像自监督训练装置与上文描述的遥感图像自监督训练方法可相互对应参照。
遥感图像自监督训练装置包括：区域划分模块801、筛选模块802、样本获得模块803和训练模块804；所述区域划分模块801用于基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；所述筛选模块802用于对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；所述样本获得模块803用于基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；所述训练模块804用于采用各所述遥感子图像及对应的正样本和负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
本发明提供的遥感图像自监督训练装置，通过目标成果数据如Open Street Map等开源的矢量数据或各行业积累的历史成果数据来构建所述遥感图像的正样本和负样本对集合，不仅能够快速且有效的构建出正负样本对集合，还能够通过构建的正负样本对集合快速训练出收敛的遥感图像特征提取模型，为后续遥感图像分类提供支持。
在一个实施例中，所述区域划分模块801包括：获取子模块、划分子模块和定义子模块；所述获取子模块用于基于所述遥感图像获得目标成果数据；所述划分子模块用于将所述目标成果数据与所述遥感图像进行空间重叠配准，从而根据所述目标成果数据将所述遥感图像划分为多个图斑；所述定义子模块用于根据所述目标成果数据定义各所述图斑的类别属性。
在一个实施例中，所述筛选模块802包括：设定子模块、和分块子模块；所述设定子模块用于设定滑动窗口和滑动步长，所述滑动步长的大小小于等于滑动窗口在滑动方向上的宽度；所述分块子模块用于采用从左至右，从上至下的顺序，以所述滑动步长移动所述滑动窗口对区域划分后的所述遥感图像进行分块处理。
在一个实施例中，所述筛选模块802还包括：计算子模块、筛除子模块和筛选子模块；所述计算子模块用于计算各所述分块中各类别属性的图斑的面积比例；所述筛除子模块用于当所述分块中各类别属性的所述图斑的面积比例均低于预设阈值时，筛除所述分块；所述筛选子模块用于当所述分块中一个类别属性的所述图斑的面积比例高于所述预设阈值时，保留所述分块，组成遥感子图像集。
在一个实施例中，所述样本获得模块803具体用于：计算所述遥感图像集中各遥感子图像与其余遥感子图像之间的相似性，将具有相似性的遥感子图像定义为正样本，将不具有相似性的遥感子图像定义为负样本；其中，各所述遥感子图像中，主要类别属性相同的为具有相似性，主要类别属性不相同的为不具有相似性。
在一个实施例中，所述训练模块804包括：建立子模块、训练子模块和优化更新子模块。所述建立子模块用于建立所述初始遥感图像特征提取模型。所述训练子模块用于采用各所述遥感子图像及对应的正样本和负样本对所述初始遥感图像特征提取模型进行训练。所述优化更新子模块用于根据所述正样本和所述负样本建立损失函数，优化所述损失函数，更新所述初始遥感图像特征提取模型的参数，直至收敛，得到遥感图像特征提取模型。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行遥感图像自监督训练方法，该方法包括：基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行训练，得到遥感图像特征提取模型。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的遥感图像自监督训练方法，该方法包括：基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行训练，得到遥感图像特征提取模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的遥感图像自监督训练方法，该方法包括：基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行训练，得到遥感图像特征提取模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种遥感图像自监督训练方法，其特征在于，包括：
基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；
对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；
基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；
采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
2.根据权利要求1所述的遥感图像自监督训练方法，其特征在于，所述基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性，包括：
基于所述遥感图像获得目标成果数据；
将所述目标成果数据与所述遥感图像进行空间重叠配准，从而根据所述目标成果数据将所述遥感图像划分为多个图斑；
根据所述目标成果数据定义各所述图斑的类别属性。
3.根据权利要求1所述的遥感图像自监督训练方法，其特征在于，所述对区域划分后的所述遥感图像进行分块处理，包括：
设定滑动窗口和滑动步长，所述滑动步长的大小小于等于滑动窗口在滑动方向上的宽度；
采用从左至右，从上至下的顺序，以所述滑动步长移动所述滑动窗口对区域划分后的所述遥感图像进行分块处理。
4.根据权利要求3所述的遥感图像自监督训练方法，其特征在于，所述基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集，包括：
计算各所述分块中各类别属性的图斑的面积比例；
当所述分块中各类别属性的所述图斑的面积比例均低于预设阈值时，筛除所述分块；
当所述分块中一个类别属性的所述图斑的面积比例高于所述预设阈值时，保留所述分块，组成遥感子图像集。
5.根据权利要求1至4任一项所述的遥感图像自监督训练方法，其特征在于，所述基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本，包括：
计算所述遥感图像集中各遥感子图像与其余遥感子图像之间的相似性，将具有相似性的遥感子图像定义为正样本，将不具有相似性的遥感子图像定义为负样本；
其中，各所述遥感子图像中，主要类别属性相同的为具有相似性，主要类别属性不相同的为不具有相似性。
6.根据权利要求5所述的遥感图像自监督训练方法，其特征在于，所述采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型，包括：
建立所述初始遥感图像特征提取模型；
采用各所述遥感子图像及对应的所述正样本和所述负样本对所述初始遥感图像特征提取模型进行自监督训练；
根据所述正样本和所述负样本建立损失函数，优化所述损失函数，更新所述初始遥感图像特征提取模型的参数，直至收敛，得到遥感图像特征提取模型。
7.一种遥感图像自监督训练装置，其特征在于，包括：
区域划分模块，用于基于目标成果数据对遥感图像进行区域划分，将所述遥感图像划分为多个图斑，各所述图斑对应有类别属性；
筛选模块，用于对区域划分后的所述遥感图像进行分块处理并基于分块中的所述图斑的属性对所述分块进行筛选得到遥感子图像集；
样本获得模块，用于基于所述遥感子图像集中的各遥感子图像与其余遥感子图像之间的相似性，获得各所述遥感子图像的正样本和负样本；
训练模块，用于采用各所述遥感子图像及对应的所述正样本和所述负样本对初始遥感图像特征提取模型进行自监督训练，得到遥感图像特征提取模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述遥感图像自监督训练方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述遥感图像自监督训练方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述遥感图像自监督训练方法。
CN202211611129.7A 2022-12-13 2022-12-13 一种遥感图像自监督训练方法、装置和电子设备 Pending CN116310666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211611129.7A CN116310666A (zh) 2022-12-13 2022-12-13 一种遥感图像自监督训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211611129.7A CN116310666A (zh) 2022-12-13 2022-12-13 一种遥感图像自监督训练方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116310666A true CN116310666A (zh) 2023-06-23

Family

ID=86800204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211611129.7A Pending CN116310666A (zh) 2022-12-13 2022-12-13 一种遥感图像自监督训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116310666A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403112A (zh) * 2023-04-11 2023-07-07 生态环境部卫星环境应用中心 农村黑臭水体排查范围划定方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403112A (zh) * 2023-04-11 2023-07-07 生态环境部卫星环境应用中心 农村黑臭水体排查范围划定方法和装置
CN116403112B (zh) * 2023-04-11 2023-10-27 生态环境部卫星环境应用中心 农村黑臭水体排查范围划定方法和装置

Similar Documents

Publication Publication Date Title
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
Mou et al. RiFCN: Recurrent network in fully convolutional network for semantic segmentation of high resolution remote sensing images
Michel et al. Stable mean-shift algorithm and its application to the segmentation of arbitrarily large remote sensing images
Jiang et al. Submodular salient region detection
CN101706950B (zh) 一种遥感影像多尺度分割的高性能实现方法
CN106709924A (zh) 基于深度卷积神经网络和超像素的图像语义分割方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
US10762389B2 (en) Methods and systems of segmentation of a document
CN108596240B (zh) 一种基于判别特征网络的图像语义分割方法
CN103198479A (zh) 基于语义信息分类的sar图像分割方法
CN106778634B (zh) 一种基于区域融合的显著性人体区域检测方法
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
CN104751485B (zh) 一种基于gpu自适应的前景提取方法
Qin et al. A robust framework combined saliency detection and image recognition for garbage classification
Gould Multiclass pixel labeling with non-local matching constraints
CN111652329B (zh) 一种图像分类方法、装置、存储介质和电子设备
CN116310666A (zh) 一种遥感图像自监督训练方法、装置和电子设备
Wang et al. Semantic segmentation of high-resolution images
CN115760870A (zh) 一种图像重点区域的分割方法、装置、设备及存储介质
CN114529832A (zh) 一种预设遥感图像重叠阴影分割模型训练方法及装置
CN114723037A (zh) 一种聚合高阶邻居节点的异构图神经网络计算方法
CN113158856B (zh) 一种提取遥感图像中目标区域的处理方法和装置
Dalvand et al. Flooding region growing: a new parallel image segmentation model based on membrane computing
CN103886333B (zh) 遥感图像的主动谱聚类方法
Nguyen et al. As-similar-as-possible saliency fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination