CN117496375B - 面向遥感基础模型的异构npu训练方法及系统 - Google Patents
面向遥感基础模型的异构npu训练方法及系统 Download PDFInfo
- Publication number
- CN117496375B CN117496375B CN202410002060.0A CN202410002060A CN117496375B CN 117496375 B CN117496375 B CN 117496375B CN 202410002060 A CN202410002060 A CN 202410002060A CN 117496375 B CN117496375 B CN 117496375B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- npu
- basic model
- tasks
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000003416 augmentation Effects 0.000 claims abstract description 18
- 230000006978 adaptation Effects 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013524 data verification Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000017525 heat dissipation Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供了一种面向遥感基础模型的异构NPU训练方法，卫星遥感技术领域，包括：根据遥感任务的任务类型选择遥感基础模型，不同的遥感基础模型分别用于处理不同的遥感任务；将各遥感基础模型分别适配转换至对应的NPU单元上；基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力；基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。本发明还提供了一种面向遥感基础模型的异构NPU训练系统。
Description
技术领域
本发明涉及卫星遥感技术领域，尤其涉及一种面向遥感基础模型的异构NPU训练方法及系统。
背景技术
遥感技术在现代社会中扮演着重要的角色，广泛应用于环境监测、地质勘探、农业、城市规划等领域。通过遥感技术能够获取来自卫星、飞机或其他传感器的大量地理信息数据，这些数据在不同领域的决策制定和问题解决中至关重要。然而，随着遥感数据的不断增加和复杂性的提高，处理这些数据变得更加复杂和耗时。特别是在进行基础模型的训练和优化时，传统的数据处理方法通常需要大量的计算资源和时间，这限制了遥感数据的实时分析和应用。
NPU是专门设计用于深度学习任务的硬件加速器，具有并行计算和高效能力的特点。它们已经在计算机视觉、自然语言处理和其他领域的深度学习任务中取得了显著的成功。然而，在遥感数据处理方面，NPU的应用仍然面临一些挑战，如数据处理流程的复杂性、NPU与传统处理单元的协同工作等问题。
现有的遥感数据处理方法通常依赖于传统的中央处理单元（CPU）和图形处理单元（GPU）。虽然这些处理单元在某些任务上表现出色，但它们在处理大规模遥感数据时效率不高。因此，有必要开发一种面向遥感数据的NPU训练方法与装置，以提高遥感数据处理的效率和精度。
发明内容
鉴于上述问题，本发明提供了一种一种面向遥感基础模型的异构NPU训练方法及系统，利用NPU的并行计算能力，加速遥感数据处理过程，从而实现更高效的地球观测数据分析和应用。
本发明的一个方面提供了一种面向遥感基础模型的异构NPU训练方法，包括：根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；将各所述遥感基础模型分别适配转换至对应的NPU单元上；基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力；基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。
根据本发明的实施例，所述将各所述遥感基础模型分别适配转换至对应的NPU单元上包括：根据所述遥感任务的任务类型生成掩膜mask；根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述NPU单元上。
根据本发明的实施例，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：基于适配转换后的所述遥感基础模型评价所述遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值；通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；根据所述权重调整对应的NPU单元的并行计算能力，所述权重的大小与所述NPU单元的并行计算能力的高低正相关。
根据本发明的实施例，所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：基于遥感数据训练集在多个所述NPU单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；基于第二损失值优化所述遥感基础模型的参数；重复上述步骤，直至达到所述遥感基础模型的优化目标。
根据本发明的实施例，所述方法还包括：当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型。
根据本发明的实施例，将各所述遥感基础模型分别适配转换至对应的NPU单元上之前，所述方法还包括：初始化所述遥感基础模型，在CPU或GPU上对所述遥感基础模型进行预训练。
根据本发明的实施例，所述方法还包括：通过完成增广训练后的所述遥感基础模型评价遥感数据验证集，得到第二评价结果；基于所述第二评价结果和所述遥感数据验证集的真实标签计算性能指标；基于所述性能指标优化所述遥感基础模型。
本发明的另一个方面提供了一种面向遥感基础模型的异构NPU训练系统，包括：模型选择模块，用于根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；模型转换模块，用于将各所述遥感基础模型分别适配转换至对应的NPU单元上；多个NPU单元，用于基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。
根据本发明的实施例，还包括：高速数据总线，用于连接所述多个NPU单元和与所述NPU单元交互的数据接口；分布式资源管理系统，用于当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型；软件栈，用于控制所述NPU单元执行所述遥感基础模型的计算任务。
根据本发明的实施例，还包括：散热系统，包括散热器和风扇，用于给所述NPU单元散热。
附图说明
为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了本发明实施例提供的一种面向遥感基础模型的异构NPU训练方法的示意图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘（HDD）；光存储装置，如光盘（CD-ROM）；存储器，如随机存取存储器（RAM）或闪存；和/或有线/无线通信链路。
在执行模型训练之前，需进行遥感任务的数据加载和准备。从经过数据预处理的遥感数据集中加载遥感图像和相关标签。这些图像可能包括不同波段的遥感图像、地理信息、植被指数等。数据准备也包括对原始数据进行清理、校准和格式转换，以确保数据的质量和一致性。清理过程涉及检测和修复噪声、缺失值、云覆盖和其他干扰因素。地理坐标系统可能不同，因此进行地理坐标系统的统一也是必要的，以确保数据的一致性和可比性。
图1示意性示出了本发明实施例提供的一种面向遥感基础模型的异构NPU训练方法的示意图。
如图1所示，本发明实施例提供的一种面向遥感基础模型的异构NPU训练方法包括S110~S140。
S110，根据遥感任务的任务类型选择遥感基础模型，不同的遥感基础模型分别用于处理不同的遥感任务。
在本实施例中，根据任务需求，为不同的任务类型的要赶任务选择合适的遥感基础模型GPU，模型可以是卷积神经网络（CNN）或其他深度学习架构，根据应用需求进行选择。初始化遥感基础模型的参数，具体可以采用随机初始化或使用预训练权重，预训练权重通常来源于相关领域的模型，如计算机视觉。在CPU或者GPU上进行遥感基础模型的预训练。
S120，将各遥感基础模型分别适配转换至对应的NPU单元上。
由于GPU提供的主要是pth模型，此模型与NPU无法进行适配，因此无法应用pth模型在NPU上进行计算。在本实施例中，在NPU上设置适配的模型，通过具体任务的指导在异构的NPU上进行适配任务的模型转换，根据具体的任务类型生成具体的掩膜mask，根据掩膜mask挑选模型转换指令进行遥感基础模型转换至NPU单元上。
S130，基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力。
S131，基于适配转换后的遥感基础模型评价遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值。
从遥感数据训练集中随机采样，利用适配转换后的遥感基础模型评价遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值：
L sum ={l 1,l 2,l 3,…，l n}；
其中，l 1,l 2,l 3,…，l n表示各任务类别的遥感任务的第一损失值。
S132，通过对各类遥感任务的第一损失值加权，得到各类遥感任务的权重。
；
其中，q i 表示第i类遥感任务的权重。
S133，根据权重调整对应的NPU单元的并行计算能力，权重的大小与NPU单元的并行计算能力的高低正相关。
权重表示了遥感基础模型处理对应的遥感任务的损失量，为了补偿各遥感基础模型的损失，后续将利用NPU单元的并行计算能力对不同的遥感基础模型进行不同的增光程度的训练。为了均衡各模型的训练效率，对于不同的NPU单元采用异构的配置，通过调整NPU单元的计算核心，处理权重高的遥感任务的NPU单元的计算能力越高。
S140，基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。
模型训练是通过前向传播和反向传播来进行的。前向传播计算模型的输出，然后通过损失函数比较输出和真实标签，得出误差。反向传播用于调整模型参数，以减小误差。
模型的训练是在多个NPU上利用分布式的算法在目前的遥感基础模型进行增广训练，主要利用了NPU的对并行计算的处理能力，增加深度学习的训练效率，更好的适应遥感图像的比较大的特性。
具体的，S140包括S141~S144。
S141，基于遥感数据训练集在多个NPU单元上进行各遥感基础模型的增广训练评价，得到第一评价结果。
S142，基于损失函数评价第一评价结果和遥感数据训练集的真实标签，得到第二损失值。
S143，基于第二损失值优化遥感基础模型的参数。在训练过程中，优化算法如随机梯度下降（SGD）或Adam被用来更新模型参数。
S144，重复上述步骤，直至达到遥感基础模型的优化目标。这是一个迭代的过程，模型的性能将不断改进，以逐渐收敛到最优解。
在本实施例中，配备了分布式资源管理系统，用于有效地分配计算和存储资源。这个系统可以动态分配和重新分配资源，以优化训练过程中的任务并行化和资源利用率。例如，当一个NPU单元上的遥感任务处理完成后，将NPU单元分配给未完成遥感任务的遥感基础模型，以确保最大化计算资源的使用。
在增光训练结束后，还包括对训练后的遥感基础模型进行验证和调整。首先，需要仔细选择独立的遥感数据验证集，确保该验证集能够代表实际应用场景的多样性，并覆盖可能的特殊情况和边缘情况。然后，明确定义模型的性能指标，如准确率、召回率、精确度等，以便在验证过程中对模型的表现进行客观评估。验证和调整过程在模型训练过程的固定间隔内执行，包括：通过完成增广训练后的遥感基础模型评价遥感数据验证集，得到第二评价结果；基于第二评价结果和遥感数据验证集的真实标签计算性能指标；基于性能指标优化遥感基础模型。这个过程将多次重复，以获取足够的数据来绘制性能曲线，如ROC曲线或精确-召回曲线，以便全面评估模型的性能。
在验证过程中，如果发现模型性能不满足要求，就需要进行模型调整。这可能包括超参数的调整，如学习率、批处理大小、正则化强度等，以优化模型的性能。此外，也可以尝试不同的模型架构，例如更深层次的神经网络或不同的层次结构，以寻找最佳的模型配置。如果出现过度拟合问题，可能需要增加数据集大小、减少模型复杂度或引入正则化方法来减轻过度拟合。
一旦训练完成，训练好的模型参数将被保存以备将来使用。最终，经过训练和评估的模型将被部署到实际应用中，用于遥感数据分析和应用，如地图制作、土地利用监测、资源管理等领域。
通过本发明的异构NPU训练装置，实现了多个异构NPU单元和高速数据总线提供了高性能的计算环境，用于快速训练深度学习模型；分布式资源管理系统确保了计算和存储资源的有效分配，最大化资源利用率；该装置具备可扩展性，可以适应不同规模和类型的深度学习任务。
本发明还提供了一种面向遥感基础模型的异构NPU训练系统，包括：模型选择模块、模型转换模块、多个NPU单元。
模型选择模块用于根据遥感任务的任务类型选择遥感基础模型，不同的遥感基础模型分别用于处理不同的遥感任务。
模型转换模块用于将各遥感基础模型分别适配转换至对应的NPU单元上。
多个NPU单元用于基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。这些单元具有高度并行的计算能力，特别优化用于深度学习任务。每个NPU单元包括多个计算核心，用于执行神经网络的前向传播和反向传播。这些NPU单元的异构性质意味着它们可以处理各种类型的计算任务，包括卷积操作、矩阵乘法、激活函数等。这种异构设计有助于装置在不同深度学习模型和任务之间提供最佳性能。
该系统还包括：高速数据总线、分布式资源管理系统和软件栈。
高速数据总线用于连接多个NPU单元和与NPU单元交互的数据接口。高速数据总线具有高带宽和低延迟的特点，用于实现快速、有效的数据交换，确保在训练过程中，大量数据能够以高效的方式传输到NPU单元，以满足深度学习计算的需求。
分布式资源管理系统用于有效地分配计算和存储资源。这个系统可以动态分配和重新分配资源，以优化训练过程中的任务并行化和资源利用率。例如，用于当一个NPU单元上的遥感任务处理完成后，将NPU单元分配给未完成遥感任务的遥感基础模型。
软件栈用于控制NPU单元执行遥感基础模型的计算任务。该软件栈包括驱动程序、库和应用程序接口，用于管理和控制NPU单元，以及执行深度学习计算任务。软件栈允许用户进行模型训练的自定义和配置，包括选择合适的深度学习框架、调整超参数和监控训练过程。
该系统还包括：散热系统，包括散热器和风扇，用于给NPU单元散热。由于深度学习计算通常会引起高温，散热系统确保NPU单元在训练过程中保持适宜的温度，以防止性能下降和硬件损坏。
本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附实施例及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附实施例来进行确定，还由所附实施例的等同物来进行限定。
Claims (6)
1.一种面向遥感基础模型的异构NPU训练方法，其特征在于，包括：
根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；
将各所述遥感基础模型分别适配转换至对应的NPU单元上；
基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力；
基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练；
所述将各所述遥感基础模型分别适配转换至对应的NPU单元上包括：
根据所述遥感任务的任务类型生成掩膜mask；
根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述NPU单元上；
所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：
基于适配转换后的所述遥感基础模型评价所述遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值；
通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；
根据所述权重调整对应的NPU单元的并行计算能力，所述权重的大小与所述NPU单元的并行计算能力的高低正相关；
所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：
基于遥感数据训练集在多个所述NPU单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；
基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；
基于第二损失值优化所述遥感基础模型的参数；
重复上述步骤，直至达到所述遥感基础模型的优化目标；
当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型。
2.根据权利要求1所述的方法，其特征在于，将各所述遥感基础模型分别适配转换至对应的NPU单元上之前，所述方法还包括：
初始化所述遥感基础模型，在CPU或GPU上对所述遥感基础模型进行预训练。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过完成增广训练后的所述遥感基础模型评价遥感数据验证集，得到第二评价结果；
基于所述第二评价结果和所述遥感数据验证集的真实标签计算性能指标；
基于所述性能指标优化所述遥感基础模型。
4.一种面向遥感基础模型的异构NPU训练系统，其特征在于，包括：
模型选择模块，用于根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；
模型转换模块，用于将各所述遥感基础模型分别适配转换至对应的NPU单元上；
多个NPU单元，用于基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练；
所述将各所述遥感基础模型分别适配转换至对应的NPU单元上包括：
根据所述遥感任务的任务类型生成掩膜mask；
根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述NPU单元上；
所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：
基于适配转换后的所述遥感基础模型评价所述遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值；
通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；
根据所述权重调整对应的NPU单元的并行计算能力，所述权重的大小与所述NPU单元的并行计算能力的高低正相关；
所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：
基于遥感数据训练集在多个所述NPU单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；
基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；
基于第二损失值优化所述遥感基础模型的参数；
重复上述步骤，直至达到所述遥感基础模型的优化目标；
当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型。
5.根据权利要求4所述的系统，其特征在于，还包括：
高速数据总线，用于连接所述多个NPU单元和与所述NPU单元交互的数据接口；
分布式资源管理系统，用于当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型；
软件栈，用于控制所述NPU单元执行所述遥感基础模型的计算任务。
6.根据权利要求4所述的系统，其特征在于，还包括：
散热系统，包括散热器和风扇，用于给所述NPU单元散热。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002060.0A CN117496375B (zh) | 2024-01-02 | 2024-01-02 | 面向遥感基础模型的异构npu训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002060.0A CN117496375B (zh) | 2024-01-02 | 2024-01-02 | 面向遥感基础模型的异构npu训练方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117496375A CN117496375A (zh) | 2024-02-02 |
| CN117496375B true CN117496375B (zh) | 2024-03-19 |
Family
ID=89685460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410002060.0A Active CN117496375B (zh) | 2024-01-02 | 2024-01-02 | 面向遥感基础模型的异构npu训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496375B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503188A (zh) * | 2019-08-01 | 2019-11-26 | 三星（中国）半导体有限公司 | 实现基于异构模型图的深度神经网络模型的方法和装置 |
| CN111339935A (zh) * | 2020-02-25 | 2020-06-26 | 西安电子科技大学 | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 |
| CN113538234A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于轻量化生成模型的遥感图像超分辨率重建方法 |
| CN114092815A (zh) * | 2021-11-29 | 2022-02-25 | 自然资源部国土卫星遥感应用中心 | 一种大范围光伏发电设施遥感智能提取方法 |
| CN116152547A (zh) * | 2022-12-19 | 2023-05-23 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 异构计算架构的图像分类识别方法、系统、介质及设备 |
| CN116563552A (zh) * | 2023-06-15 | 2023-08-08 | 中国地质调查局乌鲁木齐自然资源综合调查中心 | 一种多源遥感图像融合语义分割方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11803733B2 (en) * | 2019-08-01 | 2023-10-31 | Samsung Electronics Co., Ltd. | Method for implementing neural network model in heterogeneous computing platform and apparatus for performing the same |
-
2024
- 2024-01-02 CN CN202410002060.0A patent/CN117496375B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503188A (zh) * | 2019-08-01 | 2019-11-26 | 三星（中国）半导体有限公司 | 实现基于异构模型图的深度神经网络模型的方法和装置 |
| KR20210015685A (ko) * | 2019-08-01 | 2021-02-10 | 삼성전자주식회사 | 이종 컴퓨팅 플랫폼에서 뉴럴 네트워크 모델을 구현하는 방법 및 이를 수행하는 장치 |
| CN111339935A (zh) * | 2020-02-25 | 2020-06-26 | 西安电子科技大学 | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 |
| CN113538234A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于轻量化生成模型的遥感图像超分辨率重建方法 |
| CN114092815A (zh) * | 2021-11-29 | 2022-02-25 | 自然资源部国土卫星遥感应用中心 | 一种大范围光伏发电设施遥感智能提取方法 |
| CN116152547A (zh) * | 2022-12-19 | 2023-05-23 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 异构计算架构的图像分类识别方法、系统、介质及设备 |
| CN116563552A (zh) * | 2023-06-15 | 2023-08-08 | 中国地质调查局乌鲁木齐自然资源综合调查中心 | 一种多源遥感图像融合语义分割方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-Receptive-Fields Convolutional Network for Remote Sensing Images Super-Resolution;huan Wang等;《 2021 33rd Chinese Control and Decision Conference (CCDC)》;20220318;全文 * |
| 基于智能芯片的舰船目标智能识别系统设计及实现;彭健等;《战术导弹技术》;20200229(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117496375A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11436019B2 (en) | Data parallelism in distributed training of artificial intelligence models | |
| EP4235514A2 (en) | Methods, systems, articles of manufacture and apparatus to map workloads | |
| US20230237375A1 (en) | Dynamic placement of computation sub-graphs | |
| US20180046913A1 (en) | Combining cpu and special accelerator for implementing an artificial neural network | |
| CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
| US11354579B2 (en) | Dynamic multi-layer execution for artificial intelligence modeling | |
| US20220276871A1 (en) | Executing large artificial intelligence models on memory-constrained devices | |
| JP7287397B2 (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
| CN115066694A (zh) | 计算图优化 | |
| CN115914392A (zh) | 算力网络资源调度方法及系统 | |
| US20220114479A1 (en) | Systems and methods for automatic mixed-precision quantization search | |
| CN116070557A (zh) | 使用强化学习的数据路径电路设计 | |
| CN116263681A (zh) | 移动边缘计算任务卸载方法、装置、设备及存储介质 | |
| CN116245142A (zh) | 用于深度神经网络的混合精度量化的系统和方法 | |
| CN112085175B (zh) | 基于神经网络计算的数据处理方法和装置 | |
| JP2024518232A (ja) | エキスパートの混合を使用した画像処理 | |
| US20210150371A1 (en) | Automatic multi-objective hardware optimization for processing of deep learning networks | |
| CN117496375B (zh) | 面向遥感基础模型的异构npu训练方法及系统 | |
| CN118036776A (zh) | 一种模型训练方法及相关装置 | |
| CN115185660A (zh) | Mar任务在多接入边缘计算中的卸载和缓存放置方法及系统 | |
| US20210201157A1 (en) | Neural network model compression with quantizability regularization | |
| CN110782017B (zh) | 用于自适应调整学习率的方法和装置 | |
| JP2022025392A (ja) | 機械学習装置及び機械学習方法 | |
| CN113052309A (zh) | 压缩神经网络模型的方法、计算机系统以及存储介质 | |
| EP4036811A1 (en) | Combining compression, partitioning and quantization of dl models for fitment in hardware processors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |