CN117152606A - 一种基于置信度动态学习的遥感图像跨域小样本分类方法 - Google Patents

一种基于置信度动态学习的遥感图像跨域小样本分类方法 Download PDF

Info

Publication number
CN117152606A
CN117152606A CN202311067451.2A CN202311067451A CN117152606A CN 117152606 A CN117152606 A CN 117152606A CN 202311067451 A CN202311067451 A CN 202311067451A CN 117152606 A CN117152606 A CN 117152606A
Authority
CN
China
Prior art keywords
remote sensing
sample
sensing image
domain
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311067451.2A
Other languages
English (en)
Inventor
陈禾
李�灿
庄胤
张桐
倪润峰
周天行
张志成
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202311067451.2A priority Critical patent/CN117152606A/zh
Publication of CN117152606A publication Critical patent/CN117152606A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于置信度动态学习的遥感图像跨域小样本分类方法，包括：获取源域和目标域的遥感图像数据；利用源域遥感图像数据对深度学习网络模型进行预训练获得预训练初始化参数；构建半监督跨域协同训练模型并加载初始化参数；基于源域遥感图像数据进行监督学习；进行半监督跨域协同训练模型处理；进行置信度动态学习策略处理；基于总损失函数对初始化参数更新获得用于小样本分类的深度学习网络模型；待测试遥感图像数据输入用于小样本分类的深度学习网络模型，获得对应的分类结果。本发明克服目前对目标域数据信息利用不充分和深度学习模型不确定性损害跨域学习的缺陷，提高深度学习模型的泛化能力，提升对遥感图像跨域小样本分类的性能。

Description

一种基于置信度动态学习的遥感图像跨域小样本分类方法
技术领域
本发明涉及遥感图像跨域小样本分类技术领域，具体涉及一种置信度动态学习的遥感图像跨域小样本分类方法。
背景技术
遥感图像分类是遥感技术中的一个关键问题，旨在利用计算机视觉算法从遥感图像中提取丰富的语义信息，并准确地为图像赋予语义标签，以支持城市规划、土地统计分析、目标精确识别等智能遥感数据解译任务。深度学习模型的兴起为遥感图像分类带来了重大的突破。然而，目前大多数基于深度学习的方法假设训练集和测试集采样自相同数据分布，该假设在实际应用中难以实现。在实际应用中，遥感图像的数据分布受多种因素影响，如传感器类型、照射角度和拍摄位置等复杂因素的影响，导致图像在成像、分辨率和光照等方面存在显著差异。此外，不同遥感数据集的用途不同，所包含的类别也存在差异，进一步加剧了数据域的偏移。目前的监督学习深度模型在面对真实开放环境中的域偏移、有限的标注样本情况时，泛化能力有限，导致分类精度低，使得遥感图像数据分类难以满足实际应用需求。因此，如何通过利用已有标注数据集进行训练，并将学到的知识进行有效迁移而增强模型的泛化能力，使其能够适应少标注、跨领域的开放环境中的不同数据分布和类别的分类任务，成为遥感图像分类领域面临的一项重大挑战。
基于上述问题，需要考虑遥感图像数据中存在的分布差异与类别差异的域偏移问题，进行跨域小样本分类，即模型从源域学习知识，然后将源域知识迁移泛化到目标域学习当中，并利用少量目标域标注训练样本进行适应，以使模型在目标域上能够达到较好的小样本分类性能。已有的跨域小样本分类方法主要基于元学习范式或迁移学习范式，其中迁移学习范式表现出更加强大的性能而被关注。目前基于迁移学习的先进方法利用无标注的部分目标域数据作为额外数据资源，通过伪标签与一致性正则化方式进行自监督学习，并结合源域有标签数据的监督学习，取得了较好的跨域小样本分类性能。然而，由于数据域偏移的存在，深度学习模型对于目标域数据样本的输出会存在不确定性，导致跨域知识迁移不可靠，严重损害模型的跨域小样本分类能力。
发明内容
为了解决上述问题，本发明提供了一种基于置信度动态学习的遥感场景跨域小样本分类方法，能够缓解现有技术中高不确定性对模型跨域学习的负面影响，提高深度学习方法对遥感图像跨域小样本分类的性能。
为实现本发明之目的，采用以下技术方案予以实现：
本发明提供一种基于置信度动态学习的遥感图像跨域小样本分类方法，包括以下步骤：S101：获取源域遥感图像数据以及目标域遥感图像数据；其中，所述源域遥感图像数据携带标签，所述目标域遥感图像数据不携带标签；所述标签指示遥感图像数据的类别；S102：利用所述源域遥感图像数据对深度学习网络模型进行预训练，以获得深度学习网络模型的预训练初始化参数；S103：构建用于跨域特征表示学习的半监督跨域协同训练模型并加载所述预训练初始化参数；其中，所述半监督跨域协同训练模型包括第一模型和第二模型；S104：将所述源域遥感图像数据输入所述第一模型进行监督学习，使所述第一模型具备通用特征信息提取能力；S105：对所述目标域遥感图像数据进行半监督跨域协同训练模型处理，以获得第一预测概率和第二预测概率；S106：对所述第一预测概率和所述第二预测概率进行置信度动态学习策略处理；S107：构建总损失函数并基于所述总损失函数更新所述预训练初始化参数，以获得用于小样本分类的深度学习网络模型；S108：待测试遥感图像数据输入所述用于小样本分类的深度学习网络模型，以获得所述待测试遥感图像数据的分类结果，所述分类结果指示待测试遥感图像数据的类别；其中所述待测试遥感图像数据部分携带标签。
进一步地，所述构建用于跨域特征表示学习的半监督跨域协同训练模型并加载所述预训练初始化参数包括：将所述预训练初始化参数同时加载至所述第一模型以及所述第二模型，其中，所述第一模型包括第一特征提取器与第一分类器，所述第二模型包括第二特征提取器和第二分类器。
进一步地，所述将所述源域遥感图像数据输入所述第一模型进行监督学习，使所述第一模型具备通用特征信息提取能力包括：S104.1：对所述源域遥感图像数据进行特征提取，以获得源域特征 其中，/>为所述源域遥感图像数据，f1为第一特征提取器，s表示源域，i为源域样本索引；S104.2：对所述源域特征进行分类预测，以获得源域分类预测概率/> 其中，c1为第一分类器，softmax(·)为归一化指数函数；S104.3：基于所述源域分类预测概率和所述源域遥感图像数据的标签，采用源域有监督损失对所述第一模型进行所述监督学习，所述源域有监督损失LS表达式如下：
其中，为交叉熵损失函数，/>为源域遥感图像数据标签，NS为源域遥感图像数据数量；所述通用特征信息至少包括中低层特征信息。
进一步地，所述对所述目标域遥感图像数据进行所述半监督跨域协同训练模型处理包括：S105.1：对所述目标域遥感图像数据进行增强处理，以获得强增强数据样本和弱增强数据样本；S105.2：对所述强增强数据样本经过第一特征提取器处理，以获得第一特征图 其中，/>为所述强增强数据样本，f1为第一特征提取器，ts为目标域强增强，j为目标域样本索引；S105.3：将所述第一特征图经过第一分类器处理，以获得第一预测概率/> 其中c1为第一分类器；S105.4：所述弱增强数据样本经过第二特征提取器处理，以获得第二特征图/> 其中，/>为所述弱增强数据样本，f2为第二特征提取器，tw为目标域弱增强；S105.5：将所述第二特征图经过第二分类器处理，以获得第二预测概率/> 其中c2为第二分类器。
进一步地，对所述目标域遥感图像数据进行增强处理，包括弱增强处理和强增强处理：其中，所述弱增强处理包括：S105.1.11：将目标域遥感图像数据经过随机裁剪处理，以获得第一裁剪图像；S105.1.12：将所述第一裁剪图像经过水平翻转处理，以获得第一翻转图像；S105.1.13：将所述第一翻转图像经过归一化处理，以获得弱增强图像数据样本。所述强增强处理包括：S105.1.21：将所述目标域遥感图像数据，经过随机裁剪处理，以获得第二裁剪图像；S105.1.22：将所述第二裁剪图像经过水平翻转处理，以获得第二翻转图像；S105.1.23：将所述第二翻转图像经过色彩抖动处理，以获得变色图像；S105.1.24：将所述变色图像通过高斯模糊处理，以获得模糊图像；S105.1.25：将所述模糊图像经过随机灰度变换处理，以获得随机灰度图像；S105.1.26：将所述随机灰度图像经过归一化处理，以获得强增强图像数据样本。
进一步地，所述对所述第一预测概率和所述第二预测概率进行置信度动态学习策略处理包括：S106.1：基于所述第二预测概率对所述目标域遥感图像数据进行样本划分处理，以获得正样本集和负样本集；所述正样本集包括正样本、正伪标签和正样本概率，负样本集包括负样本、负伪标签和负样本概率；S106.2：基于所述第一预测概率对所述正样本集和所述负样本集分别进行正样本学习处理与负样本学习处理；S106.3：基于所述第一预测概率进行熵最小化学习处理。
进一步地，所述基于所述第二预测概率对目标域遥感图像数据进行样本划分处理包括：S106.1.1：根据所述第二预测概率，计算置信度动态阈值，所述置信度动态阈值t计算公式如下：tk＝(1-α)tk-1+αρk，其中，tk为k轮次下的置信度动态阈值，ρk为当前轮次内所有样本的第二预测概率的置信度平均值，α为超参数，其初始值为1，并随着轮次的增加而减小，α更新公式为：α＝α-(1/K)k，K为训练总轮次数，k为当前轮次数；S106.1.2：对所述第二预测概率进行锐化处理，以获得伪标签pj′：其中，/>为第二特征图，τ为用于锐化第二预测概率的温度参数，c2为第二分类器；S106.1.3：基于所述置信度动态阈值，使用正负样本选择函数，进行正负样本划分，以获得正样本集和负样本集，其中，所述正负样本选择函数表达式如下：/>其中，P为正样本，N为负样本，j为样本索引，/>为正样本选择函数，/>为负样本选择函数，选择函数/>为二值向量，当gj＝1表示该样本被选择，当gj＝0表示该样本未被选择，ρj为样本j的第二预测概率/>的置信度，/>
进一步地，所述对所述正样本集和所述负样本集分别进行正样本学习处理与负样本学习处理包括：其中，正样本学习处理包括：基于所述正伪标签和所述正样本概率通过正样本损失函数进行正样本学习处理，所述正样本损失函数表达式如下：其中，/>为正样本选择函数，pj′为伪标签，/>为第一预测概率，，/>为目标域遥感图像数据正样本数量，j为目标域遥感图像数据索引。其中，负样本学习处理包括：基于所述负伪标签和所述负样本概率通过负样本损失函数进行负样本学习处理，所述负样本损失函数表达式如下：/>其中，/>为负样本选择函数，/>为目标域遥感图像数据负样本数量。
进一步地，所述基于所述第一预测概率进行熵最小化学习处理包括：通过熵最小化损失函数对所述第一预测概率进行熵最小化学习处理，其中熵最小化损失函数表达式如下：其中，/>为第一预测概率，NTU为目标域遥感图像数据数量，j为目标域样本索引。
进一步地，所述总损失函数是通过对源域有标签遥感图像数据的监督学习，与所述置信度动态学习策略结合获得的，表达式如下：
L＝LS+λ(LP+LN)+LSE，
其中，
LS为所述源域交叉熵损失函数，LP为目标域正样本一致性正则化损失函数，LN为目标域负样本一致性正则化损失函数，LSE为熵最小化损失函数，λ为用于调节损失函数权重的超参数为图像样本对应标签，/>为分类器输出预测概率，NS为源域样本数量，/>为正样本选择函数，pj′为伪标签，/>为第一预测概率，/>为目标域遥感图像训练数据正样本数量，/>为负样本选择函数，pj′为伪标签，/>为目标域遥感图像训练数据负样本数量，NTU为目标域遥感图像训练数据样本数量，j为目标域样本索引。
本发明基于现有技术中跨域学习产生的不确定性导致模型跨域知识迁移可靠性差的缺陷，提出了一种置信度动态学习的遥感图像跨域小样本分类方法。首先通过源域样本预训练得到深度学习网络模型，然后基于半监督跨域协同训练模型，同时利用源域遥感图像数据与目标域遥感图像数据达到源域到目标域的知识迁移，，，随后结合置信度动态学习策略，进行深度学习网络模型的跨域学习，最后通过微调分类器，完成目标域上的高性能小样本分类。
应当理解，本发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键特征或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1为本发明的方法流程示意图；
图2为本发明的方法框架示意图；
图3为本发明的置信度动态策略处理流程示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中示出了本发明的一些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
在本发明的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。对于方法步骤的描述并无顺序要求，只要可以实现均在本发明保护范围之内。
如图1和图2所示，本发明提供一种基于置信度动态学习的遥感场景跨域小样本分类方法，包括：
S101：获取源域遥感图像数据以及目标域遥感图像数据。
所述源域遥感图像数据携带标签，所述目标域遥感图像数据不携带标签，标签指示所述遥感图像数据的类别，比如场景语义类别、目标型号类别等，标签所指示的内容可以根据实际需求进行限定，在此不做限定。
源域遥感图像数据和目标域遥感图像数据之间存在域差异，包括数据分布差异与类别差异两方面。数据分布差异主要体现在由于遥感平台差异导致获取图像在颜色、分辨率、成像特性等方面的差异；类别差异则表现在两个数据集之间存在至少部分类别不相同或类别完全不相同的遥感图像数据。本发明正是关注到了域差异的图像的分类预测的难点，并通过本发明的方案有效提升了这些图像的分类结果的精度。
S102：利用所述源域遥感图像数据对深度学习网络模型进行预训练，以获得所述深度学习网络模型的预训练初始化参数。
所述深度学习网络模型包括特征提取器与分类器。
一些实施例中，在监督学习范式下使用源域有标签遥感图像数据对深度学习网络模型进行预训练，得到深度学习网络模型的预训练初始化参数。监督学习指通过已知的大量有标签的遥感图像数据对模型训练，再在未知标签的测试图像数据上进行分类预测。对深度学习网络模型进行预训练主要包括以下步骤：
S102.1：将所述源域遥感图像数据输入所述深度学习骨干网络模型，对所述源域遥感图像数据进行特征提取，得到特征结果其中，/>为所述源域遥感图像数据，i为源域遥感图像数据索引，f为特征提取器；
S102.2：对所述特征结果进行分类预测，得到分类预测概率：
其中，为所述源域遥感图像样本，i为源域样本索引，c为分类器，softmax(·)为归一化指数函数；
S102.3：在有监督学习范式下，基于所述分类预测概率和所述源域遥感图像数据的标签，采用交叉熵损失函数，对深度学习骨干网络模型进行优化，所述交叉熵损失函数如下：
其中，为所述源域遥感图像数据的标签，NS为源域遥感图像数据的数量，s表示源域。
S102.4：通过所述交叉熵损失函数进行参数优化，以得到深度学习网络模型的预训练初始化参数。
S103：构建用于跨域特征表示学习的半监督跨域协同训练模型并加载预训练初始化参数。
所述半监督跨域协同训练模型包括第一模型和第二模型，所述第一模型和所述第二模型使用所述深度学习网络模型结构，第一模型包括第一特征提取器和第一分类器，第二模型包括第二特征提取器和第二分类器。
一些实施例中，在半监督学习范式下，同时利用携带标签的源域遥感图像数据与不携带标签的目标域遥感图像数据，构建半监督跨域协同训练模型以实现对深度学习网络模型的训练。将所述初始化参数加载至第一模型和第二模型中，第一模型使用梯度下降更新模型参数，第二模型采用指数滑动平均进行参数更新。
指数滑动平均参数更新表达式如下：
θ2＝mθ1+(1-m)θ2
其中，θ2为第二模型参数，θ1为第一模型参数，m为动量超参数，所述超参数的经验值可以为m＝0.99，也可以根据实际情况选择其他合适的参数，在此不做限定。
梯度下降更新模型参数是通过计算损失函数、确定损失函数梯度，反向传播更新模型参数，这里的损失函数采用现有技术中适用于该情形的计算方式均可以实现，在此不做限定。
S104：将所述源域遥感图像数据输入所述第一模型进行监督学习，以使所述第一模型具备通用特征信息提取能力。
所述通用特征信息至少包括中低层特征信息，如中低层纹理、颜色和/或边缘等通用特征信息。
对于携带标签的源域遥感图像数据，将其输入第一模型，通过有监督学习，使模型同步学习源域知识，建立源域与目标域之间知识传递，同时保证模型训练收敛，具体步骤如下：
S104.1：对所述源域遥感图像数据进行特征提取，以获得源域特征
其中，为所述源域遥感图像样本，f1为第一特征提取器，s表示源域，i为源域样本索引；
S104.2：对所述源域特征进行分类预测，以获得源域分类预测概率
其中，c1为第一分类器，softmax(·)为归一化指数函数；
S104.3：基于所述源域分类预测概率和所述源域遥感图像数据的标签，采用源域有监督损失对所述第一模型进行所述监督学习，所述源域有监督损失LS表达式如下：
其中，为交叉熵损失函数，/>为源域图像数据样本对应标签，NS为源域样本数量。S105：对所述目标域遥感图像数据进行所述半监督跨域协同训练模型处理，以获得第一预测概率和第二预测概率。
图2中的(a)半监督跨域协同训练模型部分所示，该步骤可以通过以下方式实施：
S105.1：对所述目标域遥感图像数据进行增强处理，以获得强增强数据样本和弱增强数据样本。
S105.2：对所述强增强数据经过第一特征提取器处理，以获得第一特征图。
S105.3：将所述第一特征图经过第一分类器处理，以获得第一预测概率。
S105.4：所述弱增强数据经过第二特征提取器处理，以获得第二特征图。
S105.5：将所述第二特征图经过第二分类器处理，以获得第二预测概率。
以下对S105.1中提到的增强处理进行详细描述。所述增强处理指对所述第一目标域遥感图像数据进行弱数据增强处理和强数据增强处理，以分别获得弱增强数据和强增强数据。其中，弱数据增强仅对图像进行简单变换，不改变图像性质，强数据增强在简单变换的基础上，并对图像做出颜色、清晰度等性质变换。
所述弱增强处理包括：将第一目标域遥感图像数据经过随机裁剪处理，以获得第一裁剪图像；将所述裁剪图像经过水平翻转处理，以获得第一翻转图像；将所述翻转图像经过归一化处理，以获得第一归一化图像数据。
所述强增强处理包括：将目标域遥感图像数据，经过随机裁剪处理，以获得第二裁剪图像；将所述第二裁剪图像经过水平翻转处理，以获得第二翻转图像；将所述第二翻转图像经过色彩抖动处理，以获得变色图像；将所述变色图像通过高斯模糊处理，以获得模糊图像；将所述模糊图像经过随机灰度变换处理，以获得随机灰度图像；将所述随机灰度图像经过归一化处理，以获得强增强图像数据样本。
S105.2以及S105.3主要通过对强增强数据进行处理以获得第一预测概率，该步骤可以在第一模型中实现，具体通过以下方式实施：所述强增强数据经过第一特征提取器处理，以获得第一特征图 将所述第一特征图经过第一分类器处理，以获得第一预测概率/> 其中，/>为所述强增强数据样本，f1为第一特征提取器，ts表示目标域强增强，j为目标域样本索引；/>为第一特征图，c1为第一分类器，softmax(·)为归一化指数函数。
S105.3以及S105.4主要通过对弱增强数据进行处理以获得第二预测概率，该步骤可以在第二模型中实现，具体通过以下方式实施：所述弱增强数据经过第二特征提取器处理，以获得第二特征图 将所述第二特征图经过第二分类器处理，以获得第二预测概率/> 其中，/>为所述弱增强数据样本，f2为第二特征提取器，tw表示目标域弱增强，j为目标域遥感图像数据索引，c2为第二分类器，softmax(·)为归一化指数函数。
S106：对所述第一预测概率和所述第二预测概率进行置信度动态学习策略处理。具体可参考图3。
图2中的(b)置信度动态学习策略部分所示，该步骤可以通过以下方式实施：
S106.1：基于所述第二预测概率对所述目标域遥感图像数据进行样本划分处理，以获得正样本集和负样本集；所述正样本集包括正样本、正伪标签和正样本概率，负样本集包括负样本、负伪标签和负样本概率。
其中样本划分处理可以通过以下方式实施：
S106.1.1：根据所述第二预测概率，计算置信度动态阈值。置信度动态阈值的计算过程如下：
a)将目标域遥感图像数据划分为不同的训练小批次，一次计算这些训练小批次内每个样本第二预测概率的置信度：
ρj＝max(pj′)，
其中，pj′为伪标签，max(·)为取最大值操作；小批次。
b)计算当前训练小批次内样本的第二预测概率平均置信度：
其中，B为训练小批次内样本总数，b为当前训练小批次。
c)计算当前训练轮次内样本第二预测概率总体置信度：
其中，k为当前训练轮次，为当前训练轮次内的训练小批次数，NTU为目标域遥感图像数据总数。
d)根据所述当前训练轮次内的样本第二预测概率总体置信度，计算置信度动态阈值，其中置信度动态阈值计算公式如下：
tk＝(1-α)tk-1+αρk
其中，tk为k轮次下的置信度动态阈值ρk为当前轮次内所有样本的第二预测概率的置信度平均值，α为超参数，其初始值为1，并随着轮次的增加而减小，α更新公式为：α＝α-(1/K)k，其中，K为训练总轮次数，k为当前轮次数值。
S106.1.2：对所述第二预测概率进行锐化处理，以获得伪标签pj′：
其中，为第二特征图，τ为用于锐化第二预测概率的温度参数，c2为第二分类器；
S106.1.3：基于所述置信度动态阈值，使用正负样本选择函数，进行正负划分，以获得正样本集和负样本集，其中，所述正负样本选择函数表达式如下：
其中，P为正样本，N为负样本，j为样本索引，为正样本选择函数，/>为负样本选择函数，选择函数/>为二值向量，当gj＝1表示该样本被选择，当gj＝0表示该样本未被选择，ρj为样本的第二预测概率的置信度，ρj＝max(pj′)。
S106.2：基于第一预测概率对所述正样本和所述负样本分别进行正样本学习处理与负样本学习处理。
下面分别对正样本学习处理和负样本学习处理进行介绍。
正样本学习处理可以通过以下方式实施：基于所述正伪标签和所述正样本概率通过正样本损失函数进行正样本学习处理，所述正样本损失函数表达式如下：
其中，为正样本选择函数，pj′为伪标签，/>为第一预测概率，/>为目标域遥感图像数据正样本数量，TU表示无标签目标域，j为目标域遥感图像数据索引。
负样本学习处理可以通过以下方式实施：基于所述负伪标签和所述负样本概率通过负样本损失函数进行负样本学习处理，所述负样本损失函数表达式如下：
其中，为负样本选择函数，/>为目标域遥感图像训练数据负样本数量。
S106.3：基于第一预测概率对所述第一预测概率进行熵最小化学习。
该步骤可以通过以下方式实施：通过熵最小化损失函数对第一预测概率进行熵最小化处理，其中熵最小化损失函数表达式如下：
其中，为第一预测概率，NTU为目标域遥感图像数据数量，j为目标域样本索引。
S107：构建总损失函数并基于所述总损失函数更新所述预训练初始化参数，以获得用于小样本分类的深度学习网络模型。
将所述源域有标签遥感图像进行监督学习，与所述置信度动态学习策略结合，以获得总损失函数，基于总损失函数对所述预训练初始化参数进行更新，以获得用于小样本分类的深度学习网络模型。
总损失函数表达式如下：
L＝LS+λ(LP+LN)+LSE
其中，
其中，LS为所述源域交叉熵损失函数，LP为目标域正样本一致性正则化损失函数，LN为目标域负样本一致性正则化损失函数，LSE为熵最小化损失函数，λ为用于调节损失函数权重的超参数，其初始值为0，随训练轮次的增大逐渐增加到1，其计算公式如下：K为总训练轮次，k为当前训练轮次；/>为图像样本对应标签，/>为分类器输出预测概率，NS为源域样本数量，/>为正样本选择函数，pj′为伪标签，/>为第一预测概率，为目标域遥感图像训练数据正样本数量，/>为负样本选择函数，pj′为伪标签，/>为目标域遥感图像训练数据负样本数量，NTU为目标域遥感图像训练数据样本数量，j为目标域样本索引。
S108：待测试遥感图像数据输入所述用于小样本分类的深度学习网络模型，以获得所述待测试遥感图像数据的分类结果。
分类结果指示待测试遥感图像数据的类别，待测试遥感图像数据携带第二数目的标签，第二数目不大于待测试遥感图像数据数量的20％，在此仅是示例性地说明，不作为对本发明的限制。
一些实施例中，待测试遥感场景图像数据可以来源于目标域。
该步骤可以通过以下方式实施：
S108.1：将待测试遥感场景图像数据划分为支持集和查询集，其中支持集数据携带第二数目的标签，查询集不携带标签；
S108.2：将所述支持集数据输入所述用于小样本分类的深度学习网络模型，其中特征提取器权重参数冻结不更新，微调分类器参数，以得到用于目标域遥感场景图像小样本分类的深度学习网络模型；
S108.3：将查询集数据输入所述用于目标域遥感场景图像小样本分类的深度学习网络模型，以获得查询集数据的分类结果，所述分类结果指示所述查询集数据的类别。
综上，所述基于置信度动态学习的遥感跨域小样本分类方法，能够针对跨域条件下的遥感场景图像进行小样本分类，适用于现实遥感分类应用中的开放式环境与小样本、少标注条件。通过基于所述半监督跨域协同训练模型，深度学习网络模型可以同步从源域和目标域中进行学习，以达到源域到目标域的跨域知识迁移；通过置信度阈值，可以将目标域训练数据样本划分为正样本和负样本，分别进行正学习和负学习，在避免低质量伪标签对跨域学习负面干扰的同时，最大化提升伪标签信息利用率，实现高可靠性的跨域知识迁移。
与现有技术相对比，本发明的有益效果是：
1)本发明方法对比已有技术，能够更好地对实际遥感场景应用中的开放式跨域场景与小样本少标注约束条件下的遥感场景图像进行准确分类。
2)通过置信度阈值划分正负样本进行动态学习，可处理多种跨域遥感图像小样本分类任务，包括自然、可见光、SAR图像数据之间的跨域场景。
3)可通过利用无标签数据与小样本学习方法，减少遥感数据标注的人工和时间成本。
4)本方法使用较小的骨干网络，训练速度快速的同时保证了跨域小样本的高分类性能，具有较好的实际应用价值。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换，而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于置信度动态学习的遥感图像跨域小样本分类方法，其特征在于，包括以下步骤：
S101：获取源域遥感图像数据以及目标域遥感图像数据；
其中，所述源域遥感图像数据携带标签，所述目标域遥感图像数据不携带标签；所述标签指示遥感图像数据的类别；
S102：利用所述源域遥感图像数据对深度学习网络模型进行预训练，以获得深度学习网络模型的预训练初始化参数；
S103：构建用于跨域特征表示学习的半监督跨域协同训练模型并加载所述预训练初始化参数；
其中，所述半监督跨域协同训练模型包括第一模型和第二模型；
S104：将所述源域遥感图像数据输入所述第一模型进行监督学习，使所述第一模型具备通用特征信息提取能力；
S105：对所述目标域遥感图像数据进行半监督跨域协同训练模型处理，以获得第一预测概率和第二预测概率；
S106：对所述第一预测概率和所述第二预测概率进行置信度动态学习策略处理；
S107：构建总损失函数并基于所述总损失函数更新所述预训练初始化参数，以获得用于小样本分类的深度学习网络模型；
S108：待测试遥感图像数据输入所述用于小样本分类的深度学习网络模型，以获得所述待测试遥感图像数据的分类结果，所述分类结果指示待测试遥感图像数据的类别；
其中所述待测试遥感图像数据部分携带标签。
2.根据权利要求1所述的方法，其特征在于，所述构建用于跨域特征表示学习的半监督跨域协同训练模型并加载所述预训练初始化参数包括：
将所述预训练初始化参数同时加载至所述第一模型以及所述第二模型，
其中，所述第一模型包括第一特征提取器与第一分类器，所述第二模型包括第二特征提取器和第二分类器。
3.根据权利要求1所述的方法，其特征在于，所述将所述源域遥感图像数据输入所述第一模型进行监督学习，使所述第一模型具备通用特征信息提取能力包括：
S104.1：对所述源域遥感图像数据进行特征提取，以获得源域特征 其中，/>为所述源域遥感图像数据，f1为第一特征提取器，s表示源域，i为源域样本索引；
S104.2：对所述源域特征进行分类预测，以获得源域分类预测概率 其中，c1为第一分类器，softmax(·)为归一化指数函数；
S104.3：基于所述源域分类预测概率和所述源域遥感图像数据的标签，采用源域有监督损失对所述第一模型进行所述监督学习，所述源域有监督损失LS表达式如下：
其中，为交叉熵损失函数，/>为源域遥感图像数据标签，NS为源域遥感图像数据数量；
所述通用特征信息至少包括中低层特征信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标域遥感图像数据进行所述半监督跨域协同训练模型处理包括：
S105.1：对所述目标域遥感图像数据进行增强处理，以获得强增强数据样本和弱增强数据样本；
S105.2：对所述强增强数据样本经过第一特征提取器处理，以获得第一特征图 其中，/>为所述强增强数据样本，f1为第一特征提取器，ts为目标域强增强，j为目标域样本索引；
S105.3：将所述第一特征图经过第一分类器处理，以获得第一预测概率 其中c1为第一分类器；
S105.4：所述弱增强数据样本经过第二特征提取器处理，以获得第二特征图 其中，/>为所述弱增强数据样本，f2为第二特征提取器，tw为目标域弱增强；
S105.5：将所述第二特征图经过第二分类器处理，以获得第二预测概率 其中c2为第二分类器。
5.根据权利要求4所述的方法，其特征在于，对所述目标域遥感图像数据进行增强处理，包括弱增强处理和强增强处理：
其中，所述弱增强处理包括：
S105.1.11：将目标域遥感图像数据经过随机裁剪处理，以获得第一裁剪图像；
S105.1.12：将所述第一裁剪图像经过水平翻转处理，以获得第一翻转图像；
S105.1.13：将所述第一翻转图像经过归一化处理，以获得弱增强图像数据样本；
所述强增强处理包括：
S105.1.21：将所述目标域遥感图像数据，经过随机裁剪处理，以获得第二裁剪图像；
S105.1.22：将所述第二裁剪图像经过水平翻转处理，以获得第二翻转图像；
S105.1.23：将所述第二翻转图像经过色彩抖动处理，以获得变色图像；
S105.1.24：将所述变色图像通过高斯模糊处理，以获得模糊图像；
S105.1.25：将所述模糊图像经过随机灰度变换处理，以获得随机灰度图像；
S105.1.26：将所述随机灰度图像经过归一化处理，以获得强增强图像数据样本。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一预测概率和所述第二预测概率进行置信度动态学习策略处理包括：
S106.1：基于所述第二预测概率对所述目标域遥感图像数据进行样本划分处理，以获得正样本集和负样本集；所述正样本集包括正样本、正伪标签和正样本概率，负样本集包括负样本、负伪标签和负样本概率；
S106.2：基于所述第一预测概率对所述正样本集和所述负样本集分别进行正样本学习处理与负样本学习处理；
S106.3：基于所述第一预测概率进行熵最小化学习处理。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第二预测概率对目标域遥感图像数据进行样本划分处理包括：
S106.1.1：根据所述第二预测概率，计算置信度动态阈值，所述置信度动态阈值t计算公式如下：
tk＝(1-α)tk-1+αρk
其中，tk为k轮次下的置信度动态阈值，ρk为当前轮次内所有样本的第二预测概率的置信度平均值，α为超参数，其初始值为1，并随着轮次的增加而减小，α更新公式为：α＝α-(1/K)k，K为训练总轮次数，k为当前轮次数；
S106.1.2：对所述第二预测概率进行锐化处理，以获得伪标签p′j：
其中，为第二特征图，τ为用于锐化第二预测概率的温度参数，c2为第二分类器；
S106.1.3：基于所述置信度动态阈值，使用正负样本选择函数，进行正负样本划分，以获得正样本集和负样本集，其中，所述正负样本选择函数表达式如下：
其中，P为正样本，N为负样本，j为样本索引，为正样本选择函数，/>为负样本选择函数，选择函数/>为二值向量，当gj＝1表示该样本被选择，当gj＝0表示该样本未被选择，ρj为样本j的第二预测概率/>的置信度，/>
8.根据权利要求6所述的方法，其特征在于，所述对所述正样本集和所述负样本集分别进行正样本学习处理与负样本学习处理包括：
其中，正样本学习处理包括：
基于所述正伪标签和所述正样本概率通过正样本损失函数进行正样本学习处理，所述正样本损失函数表达式如下：
其中，为正样本选择函数，pj′为伪标签，/>为第一预测概率，，/>为目标域遥感图像数据正样本数量，j为目标域遥感图像数据索引；
其中，负样本学习处理包括：
基于所述负伪标签和所述负样本概率通过负样本损失函数进行负样本学习处理，所述负样本损失函数表达式如下：
其中，为负样本选择函数，/>为目标域遥感图像数据负样本数量。
9.根据权利要求6所述的方法，其特征在于，所述基于所述第一预测概率进行熵最小化学习处理包括：
通过熵最小化损失函数对所述第一预测概率进行熵最小化学习处理，其中熵最小化损失函数表达式如下：
其中，为第一预测概率，NTU为目标域遥感图像数据数量，j为目标域样本索引。
10.根据权利要求1所述的方法，其特征在于，所述总损失函数是通过对源域有标签遥感图像数据的监督学习，与所述置信度动态学习策略结合获得的，表达式如下：
L＝LS+λ(LP+LN)+LSE
其中，
其中，LS为所述源域交叉熵损失函数，LP为目标域正样本一致性正则化损失函数，LN为目标域负样本一致性正则化损失函数，LSE为熵最小化损失函数，λ为用于调节损失函数权重的超参数为图像样本对应标签，/>为分类器输出预测概率，NS为源域样本数量，/>为正样本选择函数，pj′为伪标签，/>为第一预测概率，/>为目标域遥感图像训练数据正样本数量，/>为负样本选择函数，pj′为伪标签，/>为目标域遥感图像训练数据负样本数量，NTU为目标域遥感图像训练数据样本数量，j为目标域样本索引。
CN202311067451.2A 2023-08-23 2023-08-23 一种基于置信度动态学习的遥感图像跨域小样本分类方法 Pending CN117152606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311067451.2A CN117152606A (zh) 2023-08-23 2023-08-23 一种基于置信度动态学习的遥感图像跨域小样本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311067451.2A CN117152606A (zh) 2023-08-23 2023-08-23 一种基于置信度动态学习的遥感图像跨域小样本分类方法

Publications (1)

Publication Number Publication Date
CN117152606A true CN117152606A (zh) 2023-12-01

Family

ID=88883542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311067451.2A Pending CN117152606A (zh) 2023-08-23 2023-08-23 一种基于置信度动态学习的遥感图像跨域小样本分类方法

Country Status (1)

Country Link
CN (1) CN117152606A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611957A (zh) * 2024-01-19 2024-02-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于统一正负伪标签的无监督视觉表征学习方法及系统
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及系统
CN117611957A (zh) * 2024-01-19 2024-02-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于统一正负伪标签的无监督视觉表征学习方法及系统
CN117611957B (zh) * 2024-01-19 2024-03-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于统一正负伪标签的无监督视觉表征学习方法及系统

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Peng et al. Self-paced joint sparse representation for the classification of hyperspectral images
Fan et al. Watching a small portion could be as good as watching all: Towards efficient video classification
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
EP3767536A1 (en) Latent code for unsupervised domain adaptation
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN108229550B (zh) 一种基于多粒度级联森林网络的云图分类方法
CN117152606A (zh) 一种基于置信度动态学习的遥感图像跨域小样本分类方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN112115916B (zh) 域适应Faster R-CNN半监督SAR检测方法
CN110889865B (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113313166B (zh) 基于特征一致性学习的船舶目标自动标注方法
CN110189292A (zh) 一种基于Faster R-CNN和密度估计的癌细胞检测方法
CN112347930B (zh) 基于自学习半监督深度神经网络高分影像场景分类方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
Wang et al. Label noise modeling and correction via loss curve fitting for SAR ATR
Sun et al. Image recognition technology in texture identification of marine sediment sonar image
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
CN115439715A (zh) 基于反标签学习的半监督少样本图像分类学习方法及系统
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination