CN117557909A - 面向小样本弱小目标的遥感基础模型持续学习方法及装置 - Google Patents

面向小样本弱小目标的遥感基础模型持续学习方法及装置 Download PDF

Info

Publication number
CN117557909A
CN117557909A CN202311586277.2A CN202311586277A CN117557909A CN 117557909 A CN117557909 A CN 117557909A CN 202311586277 A CN202311586277 A CN 202311586277A CN 117557909 A CN117557909 A CN 117557909A
Authority
CN
China
Prior art keywords
remote sensing
weak
data
small
basic model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311586277.2A
Other languages
English (en)
Other versions
CN117557909B (zh
Inventor
孙显
付琨
冯瑛超
毕涵博
刁文辉
王佩瑾
于海琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202311586277.2A priority Critical patent/CN117557909B/zh
Publication of CN117557909A publication Critical patent/CN117557909A/zh
Application granted granted Critical
Publication of CN117557909B publication Critical patent/CN117557909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向小样本弱小目标的遥感基础模型持续学习方法及装置，涉及遥感图像处理领域，可以解决高分辨率光学遥感影像中小样本弱小目标检测识别的有效性和准确性不高的问题。该方法包括：针对高分辨率的光学遥感影像，获取光学遥感影像中的弱小目标全部数据；加载遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型；将弱小目标全部数据根据地理位置聚类划分为多个点位数据；分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。本发明基于基础模型架构利用Transformer来解决遥感场景弱小目标检测任务的难题。

Description

面向小样本弱小目标的遥感基础模型持续学习方法及装置
技术领域
本发明涉及遥感图像处理领域，尤其涉及一种面向小样本弱小目标的遥感基础模型持续学习方法及装置。
背景技术
遥感场景目标检测识别已广泛运用在国防侦查、地质勘探和国土资源等各个领域，受到成像传感器和目标本身特性导致，一些目标对象呈现出尺寸小、特征微弱、样本少、类内差异大等特点。目标尺寸小主要体现在目标在整幅遥感图像中像素占比少；目标特征微弱主要体现在外部轮廓不清晰、纹理特征不突出、与邻近背景特征相似度高；目标样本少主要体现在部分目标获取难度大、标注判读困难、数据量稀缺；类内差异大主要体现在目标在不同区域下特征差异大。因此，在实际应用中受到目标特征微弱、数据稀缺、数据差异大等因素影响，现有的模型无法很好地在不同场景下精确地检测出目标对象，使得遥感场景下的弱小目标检测任务成为一大难点。
在早期，国内外研究学者主要是基于模版匹配和先验知识来实现目标检测识别任务，这类方法需要耗费大量的专家知识和人力成本来进行模板和检测规则的设计，同时存在泛化性差、计算量大的问题，无法高效、有效地适应复杂遥感场景下的目标检测任务。随着大数据的可用性与基础算力的不断提升，复杂的人工智能算法得到了快速发展。特别是卷积神经网络(Convolutional Neural Networks，CNN)，因其具有较好的特征表征能力广泛应用在图像分类、目标检测、语音识别、图像超分和生成等多个任务，并取代了传统的检测算法。其中对于目标检测任务而言，一些研究者基于CNN网络设计了RCNN(Regions withCNN Features)、Faster RCNN、YOLOv1-v7等一系列目标检测器，在遥感领域中已经得到很广泛的应用，大大提升了遥感领域目标检测任务的性能。
然而，现有主流深度学习检测器主要还是针对自然图像设计来，在大尺度高分辨率遥感影像中检测弱小目标时，仍然存在以下问题需要解决：
（1）弱小目标尺度小
由于弱小目标与成像传感器距离远，弱小目标在高分辨率遥感影像上尺度极小，像素宽度仅为十到几十个像素，且缺少可用的形状、方向信息。模型难以提取有用的特征信息。
（2）弱小目标特征微弱且类内差异大
受到噪声和复杂背景影响，目标判别性特征弱，模型无法有效地提取有用的特征信息进行检测。此外受到光照、天气等影响，同类目标在不同区域下视觉特征差异明显，模型难以获得足够的泛化性。
（3）弱小目标分布不平衡，标注样本少
弱小目标数量少，在大尺度遥感影像上分布不均衡，仅存在于少部分影像中。同时由于弱小目标本身特性，标注极其困难。如何在少量标注样本条件下构建高效、准确的弱小目标检测模型，是一个重要科学问题。
发明内容
为解决高分辨率光学遥感影像中小样本弱小目标检测识别的有效性和准确性不高的问题，本发明提供了一种面向小样本弱小目标的遥感基础模型持续学习方法及装置。
本发明一方面提供了一种面向小样本弱小目标的遥感基础模型持续学习方法，包括：步骤S1，针对高分辨率的光学遥感影像，获取光学遥感影像中的弱小目标全部数据；步骤S2，加载遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型；步骤S3，将弱小目标全部数据根据地理位置聚类划分为多个点位数据；步骤S4，分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。
进一步地，在步骤S2，遥感基础模型预训练模型采用RingMo遥感基础模型。
进一步地，在步骤S2，遥感基础模型采用Swin Transformer V2 结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
进一步地，在步骤S4，分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，还包括：冻结骨干网络的前两个Stage参数。
进一步地，该方法还包括：步骤S5，针对弱小目标全部数据中新增的点位数据，基于新增的点位数据对训练好的遥感基础模型的参数进行微调，得到对应新增的点位数据的遥感基础模型。
本发明另一方面提供了一种面向小样本弱小目标的遥感基础模型持续学习装置，包括：弱小目标数据获取模块，用于针对高分辨率的光学遥感影像，获取光学遥感影像中的弱小目标全部数据；有监督训练模块，用于加载遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型；地理位置聚类模块，用于将弱小目标全部数据根据地理位置聚类划分为多个点位数据；模型微调模块，用于分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。
进一步地，遥感基础模型预训练模型采用RingMo遥感基础模型。
进一步地，遥感基础模型采用Swin Transformer V2 结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
进一步地，模型微调模块通过冻结骨干网络的前两个Stage参数，来对训练好的遥感基础模型的参数进行微调。
进一步地，该装置还包括：新增点位数据参数微调模块，用于针对弱小目标全部数据中新增的点位数据，基于新增的点位数据对训练好的遥感基础模型的参数进行微调，得到对应新增的点位数据的遥感基础模型。
与现有技术相比，本发明基于弱小目标样本少、特征弱、类内差异大的特点，提供一种面向小样本弱小目标的遥感基础模型持续学习方法及装置，至少具有以下有益效果：
与现有方法直接对数据进行有监督训练不同，本方法充分利用了遥感基础模型的强特征提取能力和强泛化性的优势，结合了Transformer结构长距离依赖的优点，提出新的针对弱小目标的训练范式，缓解了模型过拟合的现象。另外，为解决弱小目标在不同位置下特征差异大的特点，提出多点位训练的策略，认为在邻近区域会有类似的特征分布，基于数据的地理位置聚类划为多个点位，分别在不同点位上进行微调以实现点位检测的效果。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的面向小样本弱小目标的遥感基础模型持续学习方法的流程图；
图2示意性示出了根据本发明实施例的面向小样本弱小目标的遥感基础模型持续学习方法的原理图；
图3示意性示出了根据本发明实施例的遥感基础模型的网络结构图；
图4示意性示出了图3中的Swin Transformer V2 Block的结构图；
图5示意性示出了根据本发明实施例的针对新增点位数据的模型参数微调的流程图；
图6示意性示出了根据本发明一实施例的面向小样本弱小目标的遥感基础模型持续学习装置的结构框图；
图7示意性示出了根据本发明另一实施例的面向小样本弱小目标的遥感基础模型持续学习装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
近年来，高分辨率光学遥感影像下弱小目标检测成为遥感图像解译的研究热点之一。影像中目标尺寸小、特征微弱，同类目标特征差异大，同时受复杂背景、噪声和小样本等因素影响，使得遥感影像弱小目标检测面临巨大挑战。
随着Vision Transformer视觉变换器的发布，基于Transformer的目标检测方法被陆续提出。与卷积神经网络CNN相比，Transformer的自注意力机制不受局部作用的限制，能够关注全局信息，从而更好地实现视觉建模。为更好地获得泛化能力和特征提取能力，一些研究者基于Transformer提出无监督训练方法，利用大量数据训练出一系列基础模型，很好地解决了在各下游任务的泛化性。
基于此，本发明提出一种面向小样本弱小目标的遥感基础模型持续学习方法，基于基础模型架构利用Transformer来解决遥感场景弱小目标检测任务的难题。
图1示意性示出了根据本发明实施例的面向小样本弱小目标的遥感基础模型持续学习方法的流程图。图2示意性示出了根据本发明实施例的面向小样本弱小目标的遥感基础模型持续学习方法的原理图。
如图1和图2所示，根据该实施例的面向小样本弱小目标的遥感基础模型持续学习方法，可以包括步骤S1~步骤S4。
步骤S1，针对高分辨率的光学遥感影像，获取光学遥感影像中的弱小目标全部数据。
步骤S2，加载遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型。
步骤S3，将弱小目标全部数据根据地理位置聚类划分为多个点位数据。
步骤S4，分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。
通过本发明的实施例，可以有效地解决高分辨率光学遥感影像中小样本弱小目标的检测识别问题。具体而言，本方法提出一种面向小样本的持续学习训练范式，整个流程划分成2阶段：1）基于遥感基础模型，利用弱小目标全部数据进行有监督训练，来强化遥感基础模型对弱小目标的特征提取能力。2）考虑到弱小目标在不同区域、不同场景下特征差异较大，提出多点位微调的策略，将整个弱小目标数据根据地理位置进行聚类划分成多个点位，在阶段1获得的强泛化特征的基础上，分别基于不同点位数据进行参数有效微调，从而提高遥感基础模型对不同地区的特征提取能力。
图3示意性示出了根据本发明实施例的遥感基础模型的网络结构图。图4示意性示出了图3中的Swin Transformer V2 Block的结构图。
如图3和图4所示，本实施例中，遥感基础模型采用Swin Transformer V2 结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
与传统的卷积网络相比，Transformer具有更强的长距离语义关联能力和全局信息提取能力。由此，本方法采用Swin Transformer V2 结构作为骨干网络取代YOLOX方法中的CNN骨干网络从而获得更强的特征提取能力，并且延续采用YOLOX的特征融合模块PAFPN和分类头HEAD进行完成目标的定位和分类。
本实施例中，遥感基础模型预训练模型采用RingMo遥感基础模型。
由于弱小目标数据样本少，若直接利用所有数据训练会导致模型过拟合而在其他未训练区域泛化效果差。因此，为了获得更强的泛化能力而更好地适应遥感场景，本方法加载RingMo遥感基础模型作为预训练参数，该模型利用遥感公开数据集基于无监督范式很好地学习遥感特征分布。通过加载预训练参数，模型能够初步地提出目标特征，有利于在不同场景下进行泛化。
基于上述公开的内容，并结合图2可以看出，为进一步解决弱小目标特征弱、类内差异大的特征，本方法构建了双阶段的训练范式，如下所示：
1）强化弱小目标特征提取能力，提高泛化性：加载RingMo遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练来强化对弱小目标的特征提取能力和提高泛化性，以至于模型能够初步检测出不同场景下、不同区域下弱小目标对象。
2）考虑到弱小目标在不同区域、不同场景下特征差异较大，提出多点位微调的策略，认为弱小目标在邻近区域会有类似的特征分布，因此将整个弱小目标数据根据地理位置进行聚类划分成多个点位，在阶段1获得的强泛化特征的基础上，分别基于不同点位数据进行参数有效微调而专注于不同地区的目标检测。
需要说明的是，在上述步骤S4，分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，还包括：冻结骨干网络的前两个Stage参数。选择冻结骨干网络的前两个Stage参数，原因在于在阶段1已经获得了足够优越的浅层纹理特征，无需再进行额外训练；此外冻结部分参数可以提高训练效率。
图5示意性示出了根据本发明实施例的针对新增点位数据的模型参数微调的流程图。
如图2和图5所示，在一些实施例中，该面向小样本弱小目标的遥感基础模型持续学习方法还包括：
步骤S5，针对弱小目标全部数据中新增的点位数据，基于新增的点位数据对训练好的遥感基础模型的参数进行微调，得到对应新增的点位数据的遥感基础模型。
通过本发明的实施例，面对新增的点位数据，可直接进行阶段2训练，达到持续学习的效果。也就是说，当面对新增加的地区数据，无需进行重新训练，只需要在阶段1的基础上，对新增地区进行微调即可，实现更快地收敛和持续学习的效果。
综上所述，基于弱小目标样本少、特征弱、类内差异大的特点，本发明提供一种面向小样本弱小目标的遥感基础模型持续学习方法及装置。与现有方法直接对数据进行有监督训练不同，本方法充分利用了遥感基础模型的强特征提取能力和强泛化性的优势，结合了Transformer结构长距离依赖的优点，提出新的针对弱小目标的训练范式，缓解了模型过拟合的现象。另外，为解决弱小目标在不同位置下特征差异大的特点，提出多点位训练的策略，认为在邻近区域会有类似的特征分布，基于数据的地理位置聚类划为多个点位，分别在不同点位上进行微调以实现点位检测的效果。
本发明还提供了一种面向小样本弱小目标的遥感基础模型持续学习装置，以下将结合图6~图7对该装置进行详细描述。
图6示意性示出了根据本发明一实施例的面向小样本弱小目标的遥感基础模型持续学习装置的结构框图。
如图6所示，根据该实施例的面向小样本弱小目标的遥感基础模型持续学习装置600包括弱小目标数据获取模块610、有监督训练模块620、地理位置聚类模块630和模型微调模块640。
弱小目标数据获取模块610，用于针对高分辨率的光学遥感影像，获取光学遥感影像中的弱小目标全部数据。在一实施例中，弱小目标数据获取模块610可以用于执行前文描述的步骤S1，在此不再赘述。
有监督训练模块620，用于加载遥感基础模型预训练模型，利用弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型。在一实施例中，有监督训练模块620可以用于执行前文描述的步骤S2，在此不再赘述。
地理位置聚类模块630，用于将弱小目标全部数据根据地理位置聚类划分为多个点位数据。在一实施例中，地理位置聚类模块630可以用于执行前文描述的步骤S3，在此不再赘述。
模型微调模块640，用于分别基于每个点位数据对训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。在一实施例中，模型微调模块640可以用于执行前文描述的步骤S4，在此不再赘述。
根据本发明的实施例，遥感基础模型预训练模型采用RingMo遥感基础模型。
根据本发明的实施例，遥感基础模型采用Swin Transformer V2 结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
根据本发明的实施例，模型微调模块通过冻结骨干网络的前两个Stage参数，来对训练好的遥感基础模型的参数进行微调。
图7示意性示出了根据本发明另一实施例的面向小样本弱小目标的遥感基础模型持续学习装置的结构框图。
如图7所示，在一些实施例中，该面向小样本弱小目标的遥感基础模型持续学习装置700不仅包括前述弱小目标数据获取模块610、有监督训练模块620、地理位置聚类模块630和模型微调模块640，还包括：
新增点位数据参数微调模块710，用于针对弱小目标全部数据中新增的点位数据，基于新增的点位数据对训练好的遥感基础模型的参数进行微调，得到对应新增的点位数据的遥感基础模型。在一实施例中，新增点位数据参数微调模块710可以用于执行前文描述的步骤S5，在此不再赘述。
根据本发明的实施例，弱小目标数据获取模块610、有监督训练模块620、地理位置聚类模块630、模型微调模块640和新增点位数据参数微调模块710中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，弱小目标数据获取模块610、有监督训练模块620、地理位置聚类模块630、模型微调模块640和新增点位数据参数微调模块710中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，弱小目标数据获取模块610、有监督训练模块620、地理位置聚类模块630、模型微调模块640和新增点位数据参数微调模块710中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向小样本弱小目标的遥感基础模型持续学习方法，其特征在于，包括：
步骤S1，针对高分辨率的光学遥感影像，获取所述光学遥感影像中的弱小目标全部数据；
步骤S2，加载遥感基础模型预训练模型，利用所述弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型；
步骤S3，将所述弱小目标全部数据根据地理位置聚类划分为多个点位数据；
步骤S4，分别基于每个所述点位数据对所述训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。
2.根据权利要求1所述的方法，其中，在步骤S2，所述遥感基础模型预训练模型采用RingMo遥感基础模型。
3. 根据权利要求1所述的方法，其中，在步骤S2，所述遥感基础模型采用SwinTransformer V2 结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
4.根据权利要求3所述的方法，其中，在步骤S4，所述分别基于每个所述点位数据对所述训练好的遥感基础模型的参数进行微调，还包括：
冻结所述骨干网络的前两个Stage参数。
5.根据权利要求1所述的方法，其中，所述方法还包括：
步骤S5，针对所述弱小目标全部数据中新增的点位数据，基于所述新增的点位数据对所述训练好的遥感基础模型的参数进行微调，得到对应所述新增的点位数据的遥感基础模型。
6.一种面向小样本弱小目标的遥感基础模型持续学习装置，其特征在于，包括：
弱小目标数据获取模块，用于针对高分辨率的光学遥感影像，获取所述光学遥感影像中的弱小目标全部数据；
有监督训练模块，用于加载遥感基础模型预训练模型，利用所述弱小目标全部数据进行有监督训练，得到训练好的遥感基础模型；
地理位置聚类模块，用于将所述弱小目标全部数据根据地理位置聚类划分为多个点位数据；
模型微调模块，用于分别基于每个所述点位数据对所述训练好的遥感基础模型的参数进行微调，得到对应不同点位数据的遥感基础模型，以适应不同地区光学遥感影像的弱小目标检测。
7.根据权利要求6所述的装置，其中，所述遥感基础模型预训练模型采用RingMo遥感基础模型。
8. 根据权利要求6所述的装置，其中，所述遥感基础模型采用Swin Transformer V2结构作为骨干网络，并延续采用YOLOX的特征融合模块PAFPN和分类头HEAD。
9.根据权利要求8所述的装置，其中，所述模型微调模块通过冻结所述骨干网络的前两个Stage参数，来对所述训练好的遥感基础模型的参数进行微调。
10.根据权利要求6所述的装置，其中，所述装置还包括：
新增点位数据参数微调模块，用于针对所述弱小目标全部数据中新增的点位数据，基于所述新增的点位数据对所述训练好的遥感基础模型的参数进行微调，得到对应所述新增的点位数据的遥感基础模型。
CN202311586277.2A 2023-11-27 2023-11-27 面向小样本弱小目标的遥感基础模型持续学习方法及装置 Active CN117557909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311586277.2A CN117557909B (zh) 2023-11-27 2023-11-27 面向小样本弱小目标的遥感基础模型持续学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311586277.2A CN117557909B (zh) 2023-11-27 2023-11-27 面向小样本弱小目标的遥感基础模型持续学习方法及装置

Publications (2)

Publication Number Publication Date
CN117557909A true CN117557909A (zh) 2024-02-13
CN117557909B CN117557909B (zh) 2024-07-12

Family

ID=89818195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311586277.2A Active CN117557909B (zh) 2023-11-27 2023-11-27 面向小样本弱小目标的遥感基础模型持续学习方法及装置

Country Status (1)

Country Link
CN (1) CN117557909B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860236A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 一种基于迁移学习的小样本遥感目标检测方法及系统
CN113255791A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于k-组合均值特征增强的小样本目标检测方法及系统
CN114429479A (zh) * 2021-12-13 2022-05-03 杭州领见数字农业科技有限公司 一种基于图像分割网络的遥感图像分割方法及装置
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860236A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 一种基于迁移学习的小样本遥感目标检测方法及系统
CN113255791A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于k-组合均值特征增强的小样本目标检测方法及系统
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN114429479A (zh) * 2021-12-13 2022-05-03 杭州领见数字农业科技有限公司 一种基于图像分割网络的遥感图像分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIQING GUO等: "Effective Sequential Classifier Training for SVM-based Multitemporal Remote Sensing Image Classification", ARXIV, 17 January 2018 (2018-01-17) *
王艳恒等: "结合深度学习和超像元的高分遥感影像变化检测", 中国图象图形学报, 16 June 2020 (2020-06-16) *

Also Published As

Publication number Publication date
CN117557909B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
Zhou et al. Robust matching for SAR and optical images using multiscale convolutional gradient features
CN110263705B (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测系统
Cheng et al. FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images
CN111222396B (zh) 一种全天候多光谱行人检测方法
CN112487900B (zh) 一种基于特征融合的sar图像舰船目标检测方法
Chen et al. 2D and 3D object detection algorithms from images: A Survey
Liu et al. Coastline extraction method based on convolutional neural networks—A case study of Jiaozhou Bay in Qingdao, China
CN108805102A (zh) 一种基于深度学习的视频字幕检测与识别方法及系统
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
Yuan et al. Few-shot scene classification with multi-attention deepemd network in remote sensing
CN116258953A (zh) 一种遥感影像目标检测方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
Wang et al. Pedestrian detection in infrared image based on depth transfer learning
Zhang et al. Multimodal remote sensing image matching combining learning features and delaunay triangulation
Wang et al. YOLOv5_CSL_F: YOLOv5’s loss improvement and attention mechanism application for remote sensing image object detection
Zhong et al. Classification for SAR scene matching areas based on convolutional neural networks
CN117557909B (zh) 面向小样本弱小目标的遥感基础模型持续学习方法及装置
Nan et al. Infrared object image instance segmentation based on improved mask-RCNN
Yuan Remote sensing image classification methods based on CNN: Challenge and trends
Tan et al. Accurate detection of built-up areas from high-resolution remote sensing imagery using a fully convolutional network
Zeng et al. Cloud segmentation of remote sensing images on Landsat-8 by deep learning
Mahantesh et al. Content based image retrieval-inspired by computer vision & deep learning techniques
Rathod et al. An extensive review of deep learning driven remote sensing image classification models
CN114694014A (zh) 一种基于多层神经网络的sar图像舰船目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant