CN117496361B - 面向遥感解译应用的训练推理一体机 - Google Patents

面向遥感解译应用的训练推理一体机 Download PDF

Info

Publication number
CN117496361B
CN117496361B CN202410002049.4A CN202410002049A CN117496361B CN 117496361 B CN117496361 B CN 117496361B CN 202410002049 A CN202410002049 A CN 202410002049A CN 117496361 B CN117496361 B CN 117496361B
Authority
CN
China
Prior art keywords
remote sensing
layer
reasoning
training
lightweight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410002049.4A
Other languages
English (en)
Other versions
CN117496361A (zh
Inventor
付琨
孙显
王智睿
赵良瑾
成培瑞
陈凯强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202410002049.4A priority Critical patent/CN117496361B/zh
Publication of CN117496361A publication Critical patent/CN117496361A/zh
Application granted granted Critical
Publication of CN117496361B publication Critical patent/CN117496361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向遥感解译应用的训练推理一体机，其特征在于，包括：轻量化遥感基础模型，被配置为分别提取遥感图像的高频信息和低频信息，将高频信息和低频信息融合得到遥感图像的通用表征，以及根据通用表征进行不同任务的推理；多个边缘设备，每个边缘设备部署有轻量化遥感基础模型，其中，基于多个边缘设备中各个边缘设备的计算资源，动态调度多个边缘设备上的轻量化遥感基础模型处理遥感图像实现不同任务的推理；智能解译软件系统，被配置为设置轻量化遥感基础模型处理遥感图像过程中涉及的参数，预训练轻量化遥感基础模型，以及对推理及预训练所涉及的遥感图像进行管理及标记。

Description

面向遥感解译应用的训练推理一体机
技术领域
本发明涉及遥感图像处理技术领域，具体涉及遥感智能解译技术领域，尤其涉及一种面向遥感解译应用的训练推理一体机。
背景技术
随着空天信息和人工智能技术的持续发展，遥感基础模型已成为遥感智能解译领域的有效解决方案。然而，由于遥感单幅影像幅宽大，基础模型推理速度严重受限，难以满足实际应用中快速处理的需求。因此，遥感智能解译亟需低延时、低成本、可灵活部署的大模型边缘智能一体服务。
发明内容
有鉴于此，本发明提供一种面向遥感解译应用的训练推理一体机，其特征在于，包括：轻量化遥感基础模型，被配置为分别提取遥感图像的高频信息和低频信息，将高频信息和低频信息融合得到遥感图像的通用表征，以及根据通用表征进行不同任务的推理；多个边缘设备，每个边缘设备部署有轻量化遥感基础模型，其中，基于多个边缘设备中各个边缘设备的计算资源，动态调度多个边缘设备上的轻量化遥感基础模型处理遥感图像实现不同任务的推理；智能解译软件系统，被配置为设置轻量化遥感基础模型处理遥感图像过程中涉及的参数，预训练轻量化遥感基础模型，以及对推理及预训练所涉及的遥感图像进行管理及标记。
根据本发明的实施例，轻量化遥感基础模型包括：位置嵌入模块、第一特征提取分支、第二特征提取分支以及融合模块，第一特征提取分支采用卷积神经网络结构，第二特征提取分支采用Transformer网络结构；位置嵌入模块被配置为对遥感图像进行处理，得到带有位置信息的图像块；第一特征提取分支被配置为从带有位置信息的图像块中提取高频信息；第二特征提取分支被配置为提取从带有位置信息的图像块中提取低频信息；融合模块被配置为对高频信息和低频信息进行融合，得到通用表征。
根据本发明的实施例，基于多个边缘设备中各个边缘设备的计算资源，动态调度多个边缘设备上的轻量化遥感基础模型处理遥感图像实现不同任务的推理，包括：将待推理任务加入请求序列中；通过全局最优求解的任务拆解，以及亲和性计算资源的动态调度算法监测各个边缘设备的计算资源，确定计算资源处于空闲状态的边缘设备；将请求队列中待推理任务依次分配至计算资源处于空闲状态的边缘设备进行任务推理；其中，同一边缘设备处理相同类型的待推理任务或不同类型的待推理任务。
根据本发明的实施例，待推理任务包括遥感图像分类、遥感图像目标检测、遥感图像语义分割、遥感图像变化检测中的至少之一。
根据本发明的实施例，智能解译软件系统预训练轻量化遥感基础模型包括：获取训练集中遥感图像的高频信息和低频信息；基于高频信息和低频信息构建频域掩模图像；利用频域掩模图像对轻量化遥感基础模型进行预训练。
根据本发明的实施例，Transformer网络结构包括：从输入端到输出端依次连接的多头注意力层、第一前馈层、第一残差块、第一层归一化、第二前馈层、第二残差块、第二层归一化，其中，第一残差块的输入为带有位置信息的图像块和第一前馈层的输出，第二残差块的输入为第一层归一化的输出和第二前馈层的输出。
根据本发明的实施例，智能解译软件系统预训练轻量化遥感基础模型包括：在第一前馈层的输出和第二前馈层的输出插入用于下游推理任务的适配层；更新轻量化遥感基础模型过程中，冻结轻量化遥感基础模型的主体结构的参数，调整适配层的参数和第一层归一化的参数和第二层归一化的参数，以适配不同类型待推理任务的轻量化遥感基础模型。
根据本发明的实施例，适配层包括：从输入端到输出端依次连接的前馈下行映射层、非线性层、前馈上行映射层和第三残差块，第三残差块的输入为第一前馈层或第二前馈层的输出和前馈上行映射层的输出；前馈下行映射层被配置为对第一前馈层或第二前馈层的输出进行下行映射，降低第一前馈层或第二前馈层的输出的维度；非线性层被配置为对降低维度后的第一前馈层或第二前馈层的输出进行非线性激活；前馈上行映射层被配置为对非线性层的输出进行上行映射，将非线性层的输出维度提高至与第一前馈层或第二前馈层的输出相同的维度。
根据本发明的实施例，智能解译软件系统包括：遥感推理软件，被配置为对设置轻量化遥感基础模型处理遥感图像过程中涉及的参数，参数包括置信度阈值、IoU、待推理任务的并行数量中的至少之一；遥感训练软件，被配置为预训练轻量化遥感基础模型；样本管理与标注软件，被配置为对推理及预训练所涉及的遥感图像进行管理及标记。
根据本发明的实施例，对推理及预训练所涉及的遥感图像进行标记包括：对推理及预训练所涉及的遥感图像进行多边形标记。
根据本发明实施例提供的面向遥感解译应用的训练推理一体机，至少能够实现以下技术效果：
由于面向遥感解译应用的训练推理一体机搭载高精度、高时效轻量化遥感基础模型，能够在应用中有效提高遥感图像的解译精度及效率。遥感解译应用的推理过程中，通过全局最优求解的任务拆解，以及亲和性计算资源的动态调度算法监测各个边缘设备的计算资源进行任务推理的调度，基于这种细粒度流式调度方法实现了推理任务调度加速，从而提高了遥感图像的解译效率。
智能解译软件系统为任务推理、模型训练以及数据管理及标记分配对应配置对应的智能解译软件，能够实现高度定制化的遥感数据解译，确保轻量化遥感基础模型能够更好地应用于不同应用场景，能够实现数据的高效管理及标记。
轻量化遥感基础模型训练过程中，通过Adapter微调方法提高模型智能解译效率。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的轻量化遥感基础模型的结构图。
图2示意性示出了根据本发明实施例的细粒度流式加速框架算法的流程图。
图3示意性示出了根据本发明实施例的Transformer网络结构插入Adapter层后的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在本发明中，不应将位于括号之间的任何参考符号构造成对本发明的限制。
类似地，为了精简本发明并帮助理解各个公开方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
受限于遥感单幅影像幅宽大，遥感基础模型推理速度无法满足实际应用中的快速处理需求。本发明提出的一种面向遥感解译应用的训练推理一体机，面向遥感解译应用的训练推理一体机集成了遥感多模态数据、轻量化基础模型、智能解译软件系统，具体可以包括：
轻量化遥感基础模型，被配置为分别提取遥感图像的高频信息和低频信息，将高频信息和低频信息融合得到遥感图像的通用表征，以及根据通用表征进行不同任务的推理。
多个边缘设备，每个边缘设备部署有轻量化遥感基础模型，其中，基于多个边缘设备中各个边缘设备的计算资源，动态调度多个边缘设备上的轻量化遥感基础模型处理遥感图像实现不同任务的推理。
智能解译软件系统，被配置为设置轻量化遥感基础模型处理遥感图像过程中涉及的参数，预训练轻量化遥感基础模型，以及对推理及预训练所涉及的遥感图像进行管理及标记。
图1示意性示出了根据本发明实施例的轻量化遥感基础模型的结构图。
如图1所示，轻量化遥感基础模型基于RingMo-Lite实现，RingMo-Lite通过提出卷积神经网络（CNN）结合Transformer网络的双分支混合架构兼顾高低频信息提取，具体可以包括：位置嵌入模块、第一特征提取分支、第二特征提取分支以及融合模块，第一特征提取分支采用CNN结构，第二特征提取分支采用Transformer网络结构。
位置嵌入模块被配置为对遥感图像进行处理，得到带有位置信息的图像块。第一特征提取分支被配置为从带有位置信息的图像块中提取高频信息。第二特征提取分支被配置为提取从带有位置信息的图像块中提取低频信息。融合模块被配置为对高频信息和低频信息进行融合，得到通用表征。
在一些实施例中，基于多个边缘设备中各个边缘设备的计算资源，动态调度多个边缘设备上的所述轻量化遥感基础模型处理遥感图像实现不同任务的推理，包括：
将待推理任务加入请求序列中。通过全局最优求解的任务拆解，以及亲和性计算资源的动态调度算法监测各个边缘设备的计算资源，确定计算资源处于空闲状态的边缘设备。将请求队列中待推理任务依次分配至计算资源处于空闲状态的边缘设备进行任务推理。其中，同一边缘设备处理相同类型的待推理任务或不同类型的待推理任务。待推理任务包括遥感图像分类、遥感图像目标检测、遥感图像语义分割、遥感图像变化检测中的至少之一。
图2示意性示出了根据本发明实施例的细粒度流式加速框架算法的流程图。
如图2所示，边缘设备的处理器可以采用嵌入式神经网络处理器（Neural-networkProcessing Unit，NPU）。针对遥感任务中有限的算力资源，可以采用细粒度流式加速框架处理大规模遥感数据流的计算和推理，其算法流程图如图3所示。通过全局最优求解的任务拆解，以及亲和性计算资源的动态调度算法监测计算资源的空闲状态，能够实现高效的并行推理，支持超大幅宽遥感影像与推理结果实时加载与多级漫游，从而大幅提升遥感数据解译速度。
首先，将遥感图像处理请求加入任务队列，例如，R1、R2、R3、…、Rn。
然后，请求预处理后装入待处理队列，例如，R1、R6转入分割请求待处理队列、R2、R5转入分类请求待处理队列，R3转入识别请求待处理队列、R4、R7、R8转入检测请求待处理队列。
最后，为请求分配资源（vNPU）处理遥感图像。
继续参阅图1，在一些实施例中，智能解译软件系统预训练轻量化遥感基础模型包括：获取训练集中遥感图像的高频信息和低频信息。基于高频信息和低频信息构建频域掩模图像。利用频域掩模图像对轻量化遥感基础模型进行预训练。
根据本发明的实施例，利用高低频域选择掩码图像建模策略提升自监督预训练过程中对高频信息的感知能力 ，实现轻量化遥感基础模型泛化性能的提升。
在一些实施例中，随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时。因此，本发明采用Adapter方法进行预训练微调，通过在预训练模型的层级结构中插入用于下游任务的适配层（Adapter层），在微调时将模型主体冻结，仅训练特定于任务Adapter层参数和layer normalization（第一层归一化和第二层归一化） 的参数，减少训练时算力开销。
图3示意性示出了根据本发明实施例的Transformer网络结构插入Adapter层后的结构图。
如图3所示，Transformer网络结构包括：
从输入端到输出端依次连接的多头注意力层、第一前馈层、第一残差块、第一层归一化、第二前馈层、第二残差块、第二层归一化，其中，第一残差块的输入为带有位置信息的图像块和第一前馈层的输出，第二残差块的输入为第一层归一化的输出和第二前馈层的输出。
智能解译软件系统预训练所述轻量化遥感基础模型包括：
在第一前馈层的输出和第二前馈层的输出插入用于下游推理任务的适配层；
更新轻量化遥感基础模型过程中，冻结轻量化遥感基础模型的主体结构的参数，调整适配层的参数和第一层归一化的参数和第二层归一化的参数，以适配不同类型待推理任务的轻量化遥感基础模型。
进一步地，适配层包括：从输入端到输出端依次连接的前馈下行映射层、非线性层、前馈上行映射层和第三残差块，所述第三残差块的输入为第一前馈层或所述第二前馈层的输出和前馈上行映射层的输出。
前馈下行映射层被配置为对第一前馈层或第二前馈层的输出进行下行映射，降低第一前馈层或第二前馈层的输出的维度。非线性层被配置为对降低维度后的第一前馈层或第二前馈层的输出进行非线性激活。前馈上行映射层被配置为对非线性层的输出进行上行映射，将非线性层的输出维度提高至与第一前馈层或第二前馈层的输出相同的维度。
根据本发明实施例的训练方法，在下游某个任务微调时只对这些参数进行训练，而保持原有轻量化遥感基础模型的参数不变，这样一个遥感图像的推力任务只需要少量的参数，训练更快，占用内存更小，减小算力开销，也利于模型的存储和分发。
在一些实施例中，智能解译软件系统共由三个模块构成，分别为遥感推理软件、遥感训练软件、样本管理与标注软件。
遥感推理软件被配置为对设置所述轻量化遥感基础模型处理遥感图像过程中涉及的参数，参数包括置信度阈值、IoU、待推理任务的并行数量等中的至少之一，以满足不同的推理任务需求。基于遥感推理软件，用户可以轻松地设置这些参数，然后执行推理任务，从而实现高度定制化的遥感数据解译。
遥感训练软件被配置为预训练轻量化遥感基础模型。用户可以使用遥感训练软件来训练针对下游检测、分类、分割、变化检测等任务的模型。遥感训练软件提供了强大的功能，以确保模型能够在不同应用场景下表现出色。
样本管理与标注软件被配置为对推理及预训练所涉及的遥感图像进行管理及标记。样本管理与标注软件也是系统中的一个重要组件。它为用户提供了数据管理的工具，支持对遥感图像进行多边形标注。这样，用户可以轻松地组织和标记数据，以便进行训练和推理任务的准备工作。这一综合的软件系统有效地支持遥感数据处理的各个方面。
综上所述，本发明实施例提供的面向遥感解译应用的训练推理一体机，搭载的高精度、高时效轻量化基础模型，能够在应用中有效提高遥感数据服务能力。通过预训练微调方法Adapter提高模型智能解译效率。通过细粒度流式加速框架实现任务调度加速。通过综合的智能解译软件系统实现遥感推理、遥感训练、样本管理与标注功能。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

Claims (8)

1.一种面向遥感解译应用的训练推理一体机，其特征在于，包括：
轻量化遥感基础模型，被配置为分别提取遥感图像的高频信息和低频信息，将所述高频信息和低频信息融合得到所述遥感图像的通用表征，以及根据所述通用表征进行不同任务的推理；
多个边缘设备，每个边缘设备部署有所述轻量化遥感基础模型，其中，基于所述多个边缘设备中各个边缘设备的计算资源，动态调度所述多个边缘设备上的所述轻量化遥感基础模型处理所述遥感图像，实现不同任务的推理；包括：将待推理任务加入请求序列中；通过全局最优求解的任务拆解，以及亲和性计算资源的动态调度算法监测各个边缘设备的计算资源，确定计算资源处于空闲状态的边缘设备；将请求队列中待推理任务依次分配至计算资源处于空闲状态的边缘设备进行任务推理；其中，同一边缘设备处理相同类型的待推理任务或不同类型的待推理任务；
智能解译软件系统，被配置为设置所述轻量化遥感基础模型处理所述遥感图像过程中涉及的参数，预训练所述轻量化遥感基础模型，以及对推理及预训练所涉及的遥感图像进行管理及标记，其中，所述智能解译软件系统预训练所述轻量化遥感基础模型包括：获取训练集中遥感图像的高频信息和低频信息；基于所述高频信息和所述低频信息构建频域掩模图像；利用所述频域掩模图像对所述轻量化遥感基础模型进行预训练。
2.根据权利要求1所述的面向遥感解译应用的训练推理一体机，其特征在于，所述轻量化遥感基础模型包括：位置嵌入模块、第一特征提取分支、第二特征提取分支以及融合模块，所述第一特征提取分支采用卷积神经网络结构，所述第二特征提取分支采用Transformer网络结构；
所述位置嵌入模块被配置为对所述遥感图像进行处理，得到带有位置信息的图像块；
所述第一特征提取分支被配置为从所述带有位置信息的图像块中提取高频信息；
所述第二特征提取分支被配置为提取从所述带有位置信息的图像块中提取低频信息；
所述融合模块被配置为对所述高频信息和所述低频信息进行融合，得到所述通用表征。
3.根据权利要求1所述的面向遥感解译应用的训练推理一体机，其特征在于，所述待推理任务包括遥感图像分类、遥感图像目标检测、遥感图像语义分割、遥感图像变化检测中的至少之一。
4.根据权利要求2所述的面向遥感解译应用的训练推理一体机，其特征在于，所述Transformer网络结构包括：
从输入端到输出端依次连接的多头注意力层、第一前馈层、第一残差块、第一层归一化、第二前馈层、第二残差块、第二层归一化，其中，第一残差块的输入为带有位置信息的图像块和所述第一前馈层的输出，所述第二残差块的输入为第一层归一化的输出和第二前馈层的输出。
5.根据权利要求4所述的面向遥感解译应用的训练推理一体机，其特征在于，所述智能解译软件系统预训练所述轻量化遥感基础模型包括：
在所述第一前馈层的输出和所述第二前馈层的输出插入用于下游推理任务的适配层；
更新所述轻量化遥感基础模型过程中，冻结所述轻量化遥感基础模型的主体结构的参数，调整所述适配层的参数和所述第一层归一化的参数和所述第二层归一化的参数，以适配不同类型待推理任务的所述轻量化遥感基础模型。
6.根据权利要求5所述的面向遥感解译应用的训练推理一体机，其特征在于，所述适配层包括：
从输入端到输出端依次连接的前馈下行映射层、非线性层、前馈上行映射层和第三残差块，所述第三残差块的输入为所述第一前馈层或所述第二前馈层的输出和所述前馈上行映射层的输出；
所述前馈下行映射层被配置为对所述第一前馈层或所述第二前馈层的输出进行下行映射，降低所述第一前馈层或所述第二前馈层的输出的维度；
所述非线性层被配置为对降低维度后的所述第一前馈层或所述第二前馈层的输出进行非线性激活；
所述前馈上行映射层被配置为对所述非线性层的输出进行上行映射，将所述非线性层的输出维度提高至与所述第一前馈层或所述第二前馈层的输出相同的维度。
7.根据权利要求1或2所述的面向遥感解译应用的训练推理一体机，其特征在于，所述智能解译软件系统包括：
遥感推理软件，被配置为对设置所述轻量化遥感基础模型处理所述遥感图像过程中涉及的参数，所述参数包括置信度阈值、IoU、待推理任务的并行数量中的至少之一；
遥感训练软件，被配置为预训练所述轻量化遥感基础模型；
样本管理与标注软件，被配置为对推理及预训练所涉及的遥感图像进行管理及标记。
8.根据权利要求7所述的面向遥感解译应用的训练推理一体机，其特征在于，对推理及预训练所涉及的遥感图像进行标记包括：
对推理及预训练所涉及的遥感图像进行多边形标记。
CN202410002049.4A 2024-01-02 2024-01-02 面向遥感解译应用的训练推理一体机 Active CN117496361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410002049.4A CN117496361B (zh) 2024-01-02 2024-01-02 面向遥感解译应用的训练推理一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410002049.4A CN117496361B (zh) 2024-01-02 2024-01-02 面向遥感解译应用的训练推理一体机

Publications (2)

Publication Number Publication Date
CN117496361A CN117496361A (zh) 2024-02-02
CN117496361B true CN117496361B (zh) 2024-03-19

Family

ID=89680451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410002049.4A Active CN117496361B (zh) 2024-01-02 2024-01-02 面向遥感解译应用的训练推理一体机

Country Status (1)

Country Link
CN (1) CN117496361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097448A (zh) * 2024-02-22 2024-05-28 中国科学院空天信息创新研究院 面向遥感解译一体机的多模态信息融合推理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128681A (zh) * 2021-04-08 2021-07-16 天津大学 一种多边缘设备辅助的通用cnn推理加速系统
CN113591633A (zh) * 2021-07-18 2021-11-02 武汉理工大学 基于动态自注意力Transformer的面向对象土地利用信息解译方法
CN115393191A (zh) * 2022-08-24 2022-11-25 广东工业大学 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN115953699A (zh) * 2022-12-22 2023-04-11 南京市南部新城开发建设管理委员会 一种基于多任务神经网络的遥感图像道路提取方法
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128681A (zh) * 2021-04-08 2021-07-16 天津大学 一种多边缘设备辅助的通用cnn推理加速系统
CN113591633A (zh) * 2021-07-18 2021-11-02 武汉理工大学 基于动态自注意力Transformer的面向对象土地利用信息解译方法
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN115393191A (zh) * 2022-08-24 2022-11-25 广东工业大学 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN115953699A (zh) * 2022-12-22 2023-04-11 南京市南部新城开发建设管理委员会 一种基于多任务神经网络的遥感图像道路提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
遥感边缘智能技术研究进展及挑战;孙显;梁伟;刁文辉;曹志颖;冯瑛超;王冰;付琨;;中国图象图形学报;20200916(第09期);全文 *

Also Published As

Publication number Publication date
CN117496361A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
EP3830716B1 (en) Storage edge controller with a metadata computational engine
CN117496361B (zh) 面向遥感解译应用的训练推理一体机
CN111258744B (zh) 一种基于异构计算的任务处理方法及软硬件框架系统
CN110046226B (zh) 一种基于分布词向量cnn-rnn网络的图像描述方法
CN107391258B (zh) 一种软硬件一体的便携式遥感影像实时处理系统
CN111338695B (zh) 基于流水线技术的数据处理方法及相关产品
CN104794194A (zh) 一种面向大规模多媒体检索的分布式异构并行计算系统
CN109886859A (zh) 数据处理方法、系统、电子设备和计算机可读存储介质
CN113449839A (zh) 一种分布式训练方法、梯度通信方法、装置以及计算设备
CN114154578B (zh) 面向非平衡数据基于半监督分布式训练的任务识别方法
CN114218380B (zh) 基于多模态的冷链配载用户画像标签抽取方法及装置
CN114781635B (zh) 模型部署方法、装置、设备和介质
Ye et al. APSNet: Attention based point cloud sampling
CN115186796A (zh) 基于fpga的卷积神经网络自动部署方法
Zhang et al. Spatial-context-aware deep neural network for multi-class image classification
CN114490922B (zh) 一种自然语言理解模型训练方法及装置
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
Seal et al. Real time accident prediction and related congestion control using spark streaming in an AWS EMR cluster
Wong et al. An assistive learning workflow on annotating images for object detection
CN109685213B (zh) 一种训练样本数据的获取方法、装置和终端设备
CN113298176B (zh) 异构模型自适应协作方法
US20230259467A1 (en) Direct memory access (dma) engine processing data transfer tasks in parallel
CN117934997B (zh) 用于corner case样本生成的大语言模型系统及方法
WO2024159446A1 (en) Buffers squeezing and source code synthesis for reduced inference cost on resource-constrained systems
US20240232585A1 (en) Channel-guided nested loop transformation and scalar replacement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant