CN112949711B - 面向软件定义卫星的神经网络模型可复用训练方法、装置 - Google Patents

面向软件定义卫星的神经网络模型可复用训练方法、装置 Download PDF

Info

Publication number
CN112949711B
CN112949711B CN202110222670.8A CN202110222670A CN112949711B CN 112949711 B CN112949711 B CN 112949711B CN 202110222670 A CN202110222670 A CN 202110222670A CN 112949711 B CN112949711 B CN 112949711B
Authority
CN
China
Prior art keywords
target
parameters
training
model
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110222670.8A
Other languages
English (en)
Other versions
CN112949711A (zh
Inventor
赵岩
赵军锁
王欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202110222670.8A priority Critical patent/CN112949711B/zh
Publication of CN112949711A publication Critical patent/CN112949711A/zh
Application granted granted Critical
Publication of CN112949711B publication Critical patent/CN112949711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Stored Programmes (AREA)

Abstract

本申请提供一种面向软件定义卫星的神经网络模型可复用训练方法、装置,涉及卫星数据处理技术领域。该方法包括:获取卫星应用模型的训练请求,提取目标神经网络模型的目标骨干网络;根据目标骨干网络的标识和预设超参数,从预设的网络模型库中目标骨干网络对应的预训练超参数中,确定目标预训练超参数;将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;根据第一卫星样本数据、预设超参数,和目标模型参数,对目标神经网络模型进行参数训练,得到卫星应用模型。通过本申请,提高卫星应用模型的训练效率。

Description

面向软件定义卫星的神经网络模型可复用训练方法、装置
技术领域
本发明涉及卫星数据处理技术领域,具体而言,涉及一种面向软件定义卫星的神经网络模型可复用训练方法、装置。
背景技术
面对卫星在轨运行所产生的海量数据,如何在有限的时间内,将这些数据变成知识,提升卫星智能化程度,是智能卫星的一个主要研究方向。
采用神经网络模型可实现对卫星数据智能化处理,但是针对卫星应用场景的神经网络模型的训练,一般是在现有的开源模型的基础上,对模型进行针对性修改设计或优化,使用卫星产生的数据集开始进行训练。
在神经网络模型的训练过程中,存在一些公共的骨干网络模型的重复训练,导致神经网络模型的训练耗时长,训练效率较低。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种面向软件定义卫星的神经网络模型可复用训练方法、装置,以便提高软件定义卫星的神经网络模型的训练效率。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种面向软件定义卫星的神经网络模型可复用训练方法,包括:
获取卫星应用模型的训练请求,所述训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和所述目标神经网络模型的预设超参数;
提取所述目标神经网络模型的目标骨干网络;
根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数;其中,所述网络模型库中包括:至少一种骨干网络对应的预训练超参数;
将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;其中,所述目标骨干网络模型参数为采用所述目标预训练超参数对所述目标骨干网络进行预训练得到的模型参数,所述预设模型参数为所述目标神经网络模型的初始模型参数;
根据所述第一卫星样本数据、所述预设超参数,和所述目标模型参数,对所述目标神经网络模型进行参数训练,得到所述卫星应用模型。
可选的,所述预设超参数包括:多种类型的预设超参数;所述根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数,包括:
根据所述目标骨干网络的标识,从所述网络模型库中确定所述目标骨干网络对应的预训练超参数,其中,所述目标骨干网络对应的预训练超参数包括:所述多种类型的预训练超参数;
根据每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,确定所述每种类型的目标超参数;
所述目标预训练超参数包括:所述多种类型的目标超参数。
可选的,所述根据每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,确定所述每种类型的目标超参数,包括:
根据所述每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,采用网格搜索方法,确定所述每种类型的目标超参数。
可选的,所述根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数之前,所述方法还包括:
根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用所述每种骨干网络进行参数训练,得到所述每种骨干网络的模型参数;
将所述预训练超参数、所述每种骨干网络的标识,和所述模型参数的对应关系存储至所述网络模型库中。
可选的,所述根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用所述每种骨干网络进行参数训练,得到所述每种骨干网络的模型参数之前,所述方法还包括:
根据卫星在轨数据,生成所述第二卫星样本数据。
可选的,所述方法还包括:
根据预设的检查周期,检查所述卫星在轨数据是否发生变化;
若变化,则根据变化后的卫星在轨数据,重新生成第二卫星样本数据;
根据所述重新生成的第二卫星样本数据,对所述每种骨干网络的模型参数进行更新。
可选的,所述目标应用需求包括如下至少一种处理需求:遥感影像处理、空间图像处理、卫星运行控制。
第二方面,本申请实施例还提供一种面向软件定义卫星的神经网络模型可复用训练装置,所述装置包括:
请求获取模块,用于获取卫星应用模型的训练请求,所述训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和所述目标神经网络模型的预设超参数;
骨干网络提取模块,用于提取所述目标神经网络模型的目标骨干网络;
超参数确定模块,用于根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数;其中,所述网络模型库中包括:至少一种骨干网络对应的预训练超参数;
参数融合模块,用于将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;其中,所述目标骨干网络模型参数为采用所述目标预训练超参数对所述目标骨干网络进行预训练得到的模型参数,所述预设模型参数为所述目标神经网络模型的初始模型参数;
训练模块,用于根据所述第一卫星样本数据、所述预设超参数,和目标模型参数,对所述目标神经网络模型进行参数训练,得到所述卫星应用模型。
可选的,所述预设超参数包括:多种类型的预设超参数;超参数确定模块包括:
第一超参数确定单元,用于根据所述目标骨干网络的标识,从所述网络模型库中确定所述目标骨干网络对应的预训练超参数,其中,所述目标骨干网络对应的预训练超参数包括:所述多种类型的预训练超参数;
第二超参数确定单元,用于根据所述每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,确定所述每种类型的目标超参数;所述目标预训练超参数包括:所述多种类型的目标超参数。
可选的,上述第二超参数确定单元,用于根据所述每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,采用网格搜索方法,确定所述每种类型的目标超参数。
可选的,在上述超参数确定模块之前,所述装置还包括:
模型预训练模块,用于根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用所述每种骨干网络进行参数训练,得到所述每种骨干网络的模型参数;
存储模块,用于将所述预训练超参数、所述每种骨干网络的标识,和所述模型参数的对应关系存储至所述网络模型库中。
可选的,在所述模型预训练模块之前,所述装置还包括:
样本数据生成模块,用于根据卫星在轨数据,生成所述第二卫星样本数据。
可选的,所述装置还包括:
检查模块,用于根据预设的检查周期,检查所述卫星在轨数据是否发生变化;
样本数据重生成模块,用于若变化,则根据变化后的卫星在轨数据,重新生成第二卫星样本数据;
模型更新模块,用于根据所述重新生成的第二卫星样本数据,对所述每种骨干网络的模型参数进行更新。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储介质,所述存储介质存储有所述处理器可执行的计算机程序,当电子设备运行时,所述处理器执行所述程序指令,以执行上述任一所述的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
第四方面,本申请实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述任一所述的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
本申请的有益效果是:
本申请提供的面向软件定义卫星的神经网络模型可复用训练方法、装置,通过获取卫星应用模型的目标应用需求的第一卫星样本数据、目标神经网络模型和目标神经网络模型的预设超参数,以提取目标神经网络模型中的目标骨干网络,根据目标骨干网络的标识和预设超参数,从预设的网络模型库中目标骨干网络对应的预训练超参数中,确定目标预训练超参数,将以目标预训练超参数对目标骨干网络进行训练得到的目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数,根据第一卫星样本数据、预设超参数和目标模型参数,对目标神经网络模型进行参数训练,得到卫星应用模型。本申请提供的方案,预设的网络模型库中包含采用预训练超参数对多种骨干网络进行参数训练得到的目标骨干网络模型参数,通过预设的网络模型库中确定目标骨干网络模型参数,基于该目标模型参数和目标神经网络模型的预设模型参数进行融合,并根据第一卫星样本数据、预设超参数和融合后得到的目标模型参数对目标神经网络模型进行参数训练,得到卫星应用模型,加速目标神经网络模型的收敛速度,减少了对目标骨干网络的训练时长,降低计算资源的损耗,提高目标神经网络模型的训练效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图;
图2为本申请实施例提供的第二种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图;
图3为本申请实施例提供的网络模型库的示意图;
图4为本申请实施例提供的第三种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图;
图5为本申请实施例提供的一种面向软件定义卫星的神经网络模型可复用训练方法的流程框图;
图6为本申请实施例提供的第四种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图;
图7为本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练方法,可在模型训练平台上进行,该模型训练平台设置在计算机设备上,以通过计算机设备作为执行主体,执行该面向软件定义卫星的神经网络模型可复用训练方法。
针对训练完成的卫星应用模型,可部署在软件定义卫星的计算机平台上,对卫星在轨运行过程中所产生的海量数据进行处理,以实现卫星应用模型的功能,如智能遥感、智能运控,从而提升卫星智能化程度。
图1为本申请实施例提供的第一种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图;如图1所示,该方法包括:
S100:获取卫星应用模型的训练请求。
具体的,模型训练平台基于卫星应用模型的开发者的训练操作,获取卫星应用模型的训练请求。该训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和目标神经网络模型的预设超参数。
目标应用需求为需要进行训练的卫星应用模型的应用需求,第一卫星样本数据为针对该应用需求所提供的用于训练模型的样本数据,目标神经网络模型是用于训练以得到卫星应用模型的初始模型,超参数是影响目标神经网络模型收敛效果的参数,设置不同的超参数使得对目标神经网络模型进行训练会得到不同的卫星应用模型,开发者需要对目标神经网络模型输入预设超参数,以保证目标神经网络模型模型在训练过程中可以收敛至最优解。
S200:提取目标神经网络模型的目标骨干网络。
具体的,目标神经网络模型是在目标骨干网络的基础上结合其他网络模型得到的,模型训练平台通过对训练请求中的目标神经网络模型进行分析,以得到该目标神经网络模型中的目标骨干网络。
在一种可能的实施方式中,目标应用需求包括如下至少一种处理需求:遥感影像处理、空间图像处理、卫星运行控制。
根据目标应用需求,目标骨干网络为卫星数据处理技术领域中主流的或常用的神经网络模型。示例的,目标骨干网络可以包括:遥感影像处理领域的VGGNet((VisualGeometry Group Network,视觉几何组网络)、ResNet(Residual Network,残差网络)、DenseNet(Dense Convolutional Network,密集卷积网络),AlexNet(AlexNetwork,Alex网络);空间图像处理领域的DNN(Deep Neural Networks,深度神经网络),YOLO((You OnlyLook Once,基于单个神经网络的目标检测系统)等;智能控制领域的FNNC(Fuzzy NeutralNetwork Controller,模糊神经网络控制器)等。
S300:根据目标骨干网络的标识和预设超参数,从预设的网络模型库中目标骨干网络对应的预训练超参数中,确定目标预训练超参数。
具体的,模型训练平台上预设的网络模型库中包括:至少一种骨干网络对应的预训练超参数,每种骨干网络的预训练超参数可以为预训练超参数集,包括多个预训练超参数值,采用每个预训练超参数值对对应的每种骨干网络进行参数训练,得到每个预训练超参数值对应的模型参数,每种骨干网络包括多个模型参数。
每个目标骨干网络具有唯一的标识,模型训练平台根据该标识,从预设的网络模型库中选择目标骨干网络对应的多个预训练超参数值,并根据预设超参数,从多个预训练超参数值中选择与预设超参数最优匹配的预训练超参数作为目标预训练超参数。其中,最优匹配的预训练超参数为预训练超参数和预设超参数之差的绝对值最小的预训练超参数。
S400:将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数。
具体的,目标骨干网络模型参数为采用目标预训练超参数对目标骨干网络进行预训练得到的模型参数,预设模型参数为目标神经网络模型的初始模型参数,目标神经网络模型包括目标骨干网络和其他神经网络,预设模型参数包括预设目标骨干网络模型参数和其他神经网络模型参数。
将目标骨干网络模型参数与预设模型参数进行融合是:以目标神经网络模型参数替换预设目标神经网络模型参数,将目标神经网络模型参数和其他神经网络模型参数进行融合,得到目标模型参数。
S500:根据第一卫星样本数据、预设超参数,和目标模型参数,对目标神经网络模型进行参数训练,得到卫星应用模型。
具体的,根据上述S400得到目标模型参数后,将目标模型参数作为目标神经网络模型的待训练模型参数,将第一卫星样本数据、预设超参数输入至目标神经网络模型,对待训练模型参数进行参数训练,训练完成后以得到卫星应用模型。
本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练方法,通过获取卫星应用模型的目标应用需求的第一卫星样本数据、目标神经网络模型和目标神经网络模型的预设超参数,以提取目标神经网络模型中的目标骨干网络,根据目标骨干网络的标识和预设超参数,从预设的网络模型库中目标骨干网络对应的预训练超参数中,确定目标预训练超参数,将以目标预训练超参数对目标骨干网络进行训练得到的目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数,根据第一卫星样本数据、预设超参数和目标模型参数,对目标神经网络模型进行参数训练,得到卫星应用模型。本申请提供的方案,预设的网络模型库中包含采用预训练超参数对多种骨干网络进行参数训练得到的目标骨干网络模型参数,通过预设的网络模型库中确定目标骨干网络模型参数,基于该目标模型参数和目标神经网络模型的预设模型参数进行融合,并根据第一卫星样本数据、预设超参数和融合后得到的目标模型参数对目标神经网络模型进行参数训练,得到卫星应用模型,加速目标神经网络模型的收敛速度,减少了对目标骨干网络的训练时长,降低计算资源的损耗,提高目标神经网络模型的训练效率。
另一方面,针对普通用户进行卫星应用模型的训练,由于卫星在轨数据的保密性及版权等问题,普通用户可能无法获取到卫星在轨数据,使得普通用户难以进行卫星应用模型的训练,或训练得到的卫星应用模型的效果较差,通过本申请实施例提供的方法,普通用户可直接使用网络模型库中的模型参数进行卫星应用模型的训练,使得普通用户在没有卫星在轨数据的情况下,可以训练得到卫星应用模型,或提高训练的卫星应用模型的精度。
在上述实施例的基础上,本申请实施例还提供一种面向软件定义卫星的神经网络模型可复用训练方法,预设超参数包括:多种类型的预设超参数,图2为本申请实施例提供的第二种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图,如图2所示,上述S300包括:
S301:根据目标骨干网络的标识,从网络模型库中确定目标骨干网络对应的预训练超参数。
具体的,网络模型库中包括:至少一种骨干网络的对应的多种类型的预训练超参数,预设超参数包括:多种类型的预设超参数,目标骨干网络对应的预训练超参数也包括:与预设超参数类型对应的多种类型的预训练超参数;根据目标骨干网络的标识,从网络模型库中确定目标骨干网络对应的多种类型的预训练超参数。
S302:根据每种类型的预设超参数,从目标骨干网络对应的每种类型的预训练超参数中,确定每种类型的目标超参数。
目标预训练超参数包括:多种类型的目标超参数。
具体的,每种类型的预训练超参数包括多个预训练超参数值,对多种类型的预训练超参数的多个预训练超参数值进行排列组合,以得到多个预训练超参数组,采用每个预训练超参数组对对应的骨干网络进行参数训练,得到每个预训练超参数组对应的模型参数。示例的,网络模型库中包括骨干网络VGGNet的五种类型的预训练超参数:学习率、批次大小、优化器、迭代次数、激活函数,每种类型的预训练超参数均包括五个预训练超参数值,经过排列组合得到5*5*5*5*5=55=3125个预训练超参数组,采用这3125个预训练超参数组对骨干网络VGGNet进行参数训练,得到骨干网络VGGNet的3125个模型参数,图3为本申请实施例提供的网络模型库的示意图。
卫星应用模型的开发者发送的训练请求中包括多种类型的预设超参数,根据每种类型的预设超参数,从每种类型的预训练超参数中选择与该类型预设超参数最优匹配的预训练超参数作为该类型的目标超参数,多种类型的预设超参数最优匹配的多种类型的目标超参数构成目标预训练超参数,从网络模型库中调用该目标预训练超参数对应的目标模型参数,将目标骨干网络的模型参数替换为该目标模型参数,再将第一卫星样本数据和预设超参数输入至经过替换后的目标神经网络模型进行参数训练,以得到卫星应用模型。
本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练方法,根据目标骨干网络的标识,从网络模型库中确定目标骨干网络对应的多种类型的预训练超参数,根据每种类型的预设超参数,从多种类型的预训练超参数中确定每种类型的目标超参数,通过多种类型的目标超参数构成的目标预训练超参数对应的目标模型参数,替换目标骨干网络的模型参数,再将第一卫星样本数据和预设超参数输入至经过替换后的目标神经网络模型进行参数训练,以得到卫星应用模型,减少了目标骨干网络的训练时长,提高目标神经网络模型的训练效率。
在一种可能的实现方式中,上述S302包括:
根据每种类型的预设超参数,从目标骨干网络对应的每种类型的预训练超参数中,采用网格搜索方法,确定每种类型的目标超参数。
具体的,网格搜索方法为对每种类型的预训练超参数的多个预训练超参数值进行排列组合,列出所有组合的结果即预训练超参数组生成网格,在网格中搜索每种类型的预设超参数,以得到与每种类型的预设超参数最优匹配的预训练超参数,作为每种类型的目标超参数,在网格中多种类型的预设超参数进行遍历,多种类型的预设超参数对应的多种类型的目标超参数在网格中仅对应一个预训练超参数组。
本申请实施例的面向软件定义卫星的神经网络模型可复用训练方法,通过采用网格搜索方法,以确定每种类型的目标超参数,可快速并准确的确定与预设超参数最优匹配的预训练超参数,提高目标超参数的搜索速度,从而提高卫星应用模型的训练效率。
在上述任一实施例的基础上,本申请实施例还提供一种面向软件定义卫星的神经网络模型可复用训练方法,图4为本申请实施例提供的第三种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图,如图4所示,在上述S300之前,该方法还包括:
S10:根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用每种骨干网络进行参数训练,得到每种骨干网络的模型参数。
具体的,预设的第二卫星样本数据是针对每种骨干网络的应用场景,从预设的卫星数据库中获取到的对应类型的样本数据。在每种骨干网络的多种类型的预训练超参数的取值范围内,设置多种类型的预训练超参数的多个预训练超参数值,将多种类型的预训练超参数的多个预训练超参数值进行排列组合,得到多个预训练超参数组,将第二卫星样本数据和多个预训练超参数组输入至每种骨干网络,对骨干网络进行参数训练,以得到每种骨干网络的多个模型参数。
在一种可能的实现方式中,根据卫星在轨数据,生成第二卫星样本数据。
具体的,卫星24小时不间断地产生大量的卫星在轨数据,并将该数据传输至地面的模型训练平台的在轨数据库,根据对数据进行分析的需求,对卫星在轨数据进行标记,以生成第二卫星样本数据,用于对骨干网络进行训练。示例的,若需要对骨干网络进行训练,以识别卫星遥感影像中的地物,则需要对卫星在轨数据中卫星遥感影像的地物进行标记,以作为第二卫星样本数据。
S20:将预训练超参数、每种骨干网络的标识,和模型参数的对应关系存储至网络模型库中。
具体的,每种骨干网络具有同样的标识,每种骨干网络中包含多个模型参数,每个模型参数具有唯一一组预训练超参数,将预训练超参数、每种骨干网络的标识,和模型参数的对应关系存储在网络模型库中,在接收到训练请求时,根据训练请求中目标神经网络模型中目标骨干网络的标识,从网络模型库中调用对应的骨干网络及骨干网络中的多组预训练超参数,并根据训练请求中的预设超参数,从多组预训练超参数中确定与预设超参数最优匹配的目标预训练超参数。
图5为本申请实施例提供的一种面向软件定义卫星的神经网络模型可复用训练方法的流程框图,如图5所示,根据训练请求中的目标神经网络模型的目标骨干网络的标识,从网络模型库中确定目标骨干网络对应的预训练超参数1-预训练超参数n,根据预设超参数,从预训练超参数1-预训练超参数n中选择最优匹配的目标预训练超参数,并根据目标预训练超参数对应的目标骨干网络模型参数替换目标神经网络模型中的预设目标骨干网络模型参数,由目标骨干网络模型参数和其他神经网络模型参数融合作为目标模型参数,根据第一卫星样本数据、预设超参数和目标模型参数对目标神经网络模型进行参数训练,得到卫星应用模型。
在一种可能的实现方式中,多个模型参数在网络模型库中以权重文件的形式存储,可根据目标骨干网络的标识,从网络模型库中目标骨干网络对应的预训练超参数中,确定与预设超参数最优匹配的目标预训练超参数,并从网络模型库中调用目标预训练参数对应的模型参数的权重文件。
本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练方法,根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用每种骨干网络进行参数训练,得到每种骨干网络的模型参数;并将预训练超参数、每种骨干网络的标识,和模型参数的对应关系存储至网络模型库中。通过本方法,根据样本数据和超参数对骨干网络进行预训练,以在对目标神经网络模型进行训练时,可直接使用该预训练的目标模型参数替换目标骨干网络的模型承诺书,减少对目标骨干网络的模型参数的训练时间,以节约对目标神经网络模型进行训练的时间,提高训练效率。
在上述任一实施例的基础上,本申请实施例还提供一种面向软件定义卫星的神经网络模型可复用训练方法,图6为本申请实施例提供的第四种面向软件定义卫星的神经网络模型可复用训练方法的流程示意图,如图6所示,该方法还包括:
S30:根据预设的检查周期,检查卫星在轨数据是否发生变化。
S40:若变化,则根据变化后的卫星在轨数据,重新生成第二卫星样本数据。
S50:根据重新生成的第二卫星样本数据,对每种骨干网络的模型参数进行更新。
具体的,对在轨数据库中的卫星在轨数据进行定期检查,以判断卫星在轨数据是否发生更新。预设的检查周期例如可以为一星期,或半个月。若在轨数据库中产生了新的卫星在轨数据,则对新的卫星在轨数据进行标记,以重新生成第二卫星样本数据,并根据重新生成的第二卫星样本数据对每种骨干网络的参数重新进行训练,以更新模型参数。
本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练方法,通过在预设的检查周期内对卫星在轨数据进行检查,在检查到卫星在轨数据更新时,重新生成第二卫星样本数据,并根据重新生成的第二卫星样本数据,对每种骨干网络的模型参数进行更新。通过本方法,根据卫星在轨数据的更新,对模型参数进行持续、动态的更新,使得模型参数与卫星在轨数据保持一致,以提高模型参数的精度,确保对卫星应用模型的训练精度。
在上述任一实施例的基础上,本申请实施例还提供一种面向软件定义卫星的神经网络模型可复用训练装置,图7为本申请实施例提供的面向软件定义卫星的神经网络模型可复用训练装置的结构示意图,如图7所示,该装置包括:
请求获取模块100,用于获取卫星应用模型的训练请求,训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和目标神经网络模型的预设超参数;
骨干网络提取模块200,用于提取目标神经网络模型的目标骨干网络;
超参数确定模块300,用于根据目标骨干网络的标识和预设超参数,从预设的网络模型库中目标骨干网络对应的预训练超参数中,确定目标预训练超参数;其中,网络模型库中包括:至少一种骨干网络对应的预训练超参数;
参数融合模块400,用于将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;其中,目标骨干网络模型参数为采用目标预训练超参数对目标骨干网络进行预训练得到的模型参数,预设模型参数为目标神经网络模型的初始模型参数;
训练模块500,用于根据第一卫星样本数据、预设超参数,和目标模型参数,对目标神经网络模型进行参数训练,得到卫星应用模型。
可选的,预设超参数包括:多种类型的预设超参数;超参数确定模块300包括:
第一超参数确定单元,用于根据目标骨干网络的标识,从网络模型库中确定目标骨干网络对应的预训练超参数,其中,目标骨干网络对应的预训练超参数包括:多种类型的预训练超参数;
第二超参数确定单元,用于根据每种类型的预设超参数,从目标骨干网络对应的每种类型的预训练超参数中,确定每种类型的目标超参数;目标预训练超参数包括:多种类型的目标超参数。
可选的,上述第二超参数确定单元,用于根据每种类型的预设超参数,从目标骨干网络对应的每种类型的预训练超参数中,采用网格搜索方法,确定每种类型的目标超参数。
可选的,在上述超参数确定模块300之前,装置还包括:
模型预训练模块,用于根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用每种骨干网络进行参数训练,得到每种骨干网络的模型参数;
存储模块,用于将预训练超参数、每种骨干网络的标识,和模型参数的对应关系存储至网络模型库中。
可选的,在模型预训练模块之前,装置还包括:
样本数据生成模块,用于根据卫星在轨数据,生成第二卫星样本数据。
可选的,装置还包括:
检查模块,用于根据预设的检查周期,检查卫星在轨数据是否发生变化;
样本数据重生成模块,用于若变化,则根据变化后的卫星在轨数据,重新生成第二卫星样本数据;
模型更新模块,用于根据重新生成的第二卫星样本数据,对每种骨干网络的模型参数进行更新。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图8为本申请实施例提供的一种电子设备的结构示意图,如图8所示,该电子设备600包括:处理器601、存储器602。
存储器602存储有处理器601可执行的计算机程序,当电子设备600运行时,处理器601调用存储器602存储的计算机程序,以执行如上述任一实施例的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
可选地,本发明还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如上述任一实施例的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种面向软件定义卫星的神经网络模型可复用训练方法,其特征在于,包括:
获取卫星应用模型的训练请求,所述训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和所述目标神经网络模型的预设超参数;其中,所述目标应用需求为所述卫星应用模型的应用需求,所述第一卫星样本数据为针对所述目标应用需求提供的用于训练所述卫星应用模型的样本数据,所述目标神经网络模型是用于训练以得到所述卫星应用模型的初始模型,所述目标应用需求包括如下至少一种处理需求:遥感影像处理、空间图像处理、卫星运行控制;
提取所述目标神经网络模型的目标骨干网络;
根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数;其中,所述网络模型库中包括:至少一种骨干网络对应的预训练超参数;
将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;其中,所述目标骨干网络模型参数为采用所述目标预训练超参数对所述目标骨干网络进行预训练得到的模型参数,所述预设模型参数为所述目标神经网络模型的初始模型参数;
根据所述第一卫星样本数据、所述预设超参数,和所述目标模型参数,对所述目标神经网络模型进行参数训练,得到所述卫星应用模型。
2.如权利要求1所述的方法,其特征在于,所述预设超参数包括:多种类型的预设超参数;所述根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数,包括:
根据所述目标骨干网络的标识,从所述网络模型库中确定所述目标骨干网络对应的预训练超参数,其中,所述目标骨干网络对应的预训练超参数包括:所述多种类型的预训练超参数;
根据每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,确定所述每种类型的目标超参数;
所述目标预训练超参数包括:所述多种类型的目标超参数。
3.如权利要求2所述的方法,其特征在于,所述根据每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,确定所述每种类型的目标超参数,包括:
根据所述每种类型的预设超参数,从所述目标骨干网络对应的所述每种类型的预训练超参数中,采用网格搜索方法,确定所述每种类型的目标超参数。
4.如权利要求1所述的方法,其特征在于,所述根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数之前,所述方法还包括:
根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用所述每种骨干网络进行参数训练,得到所述每种骨干网络的模型参数;
将所述预训练超参数、所述每种骨干网络的标识,和所述模型参数的对应关系存储至所述网络模型库中。
5.如权利要求4所述的方法,其特征在于,所述根据预设的第二卫星样本数据,以及每种骨干网络的预训练超参数,采用所述每种骨干网络进行参数训练,得到所述每种骨干网络的模型参数之前,所述方法还包括:
根据卫星在轨数据,生成所述第二卫星样本数据。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
根据预设的检查周期,检查所述卫星在轨数据是否发生变化;
若变化,则根据变化后的卫星在轨数据,重新生成第二卫星样本数据;
根据所述重新生成的第二卫星样本数据,对所述每种骨干网络的模型参数进行更新。
7.一种面向软件定义卫星的神经网络模型可复用训练装置,其特征在于,所述装置包括:
请求获取模块,用于获取卫星应用模型的训练请求,所述训练请求包括:目标应用需求的第一卫星样本数据、目标神经网络模型,和所述目标神经网络模型的预设超参数;其中,所述目标应用需求为所述卫星应用模型的应用需求,所述第一卫星样本数据为针对所述目标应用需求提供的用于训练所述卫星应用模型的样本数据,所述目标神经网络模型是用于训练以得到所述卫星应用模型的初始模型,所述目标应用需求包括如下至少一种处理需求:遥感影像处理、空间图像处理、卫星运行控制;
骨干网络提取模块,用于提取所述目标神经网络模型的目标骨干网络;
超参数确定模块,用于根据所述目标骨干网络的标识和所述预设超参数,从预设的网络模型库中所述目标骨干网络对应的预训练超参数中,确定目标预训练超参数;其中,所述网络模型库中包括:至少一种骨干网络对应的预训练超参数;
参数融合模块,用于将目标骨干网络模型参数与预设模型参数进行融合,得到目标模型参数;其中,所述目标骨干网络模型参数为采用所述目标预训练超参数对所述目标骨干网络进行预训练得到的模型参数,所述预设模型参数为所述目标神经网络模型的初始模型参数;
训练模块,根据所述第一卫星样本数据、所述预设超参数,所述目标预训练超参数对应的预训练模型和目标模型参数,对所述目标神经网络模型进行参数训练,得到所述卫星应用模型。
8.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的计算机程序,当电子设备运行时,所述处理器调用存储器存储的计算机程序,以执行如权利要求1至6任一所述的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一所述的面向软件定义卫星的神经网络模型可复用训练方法的步骤。
CN202110222670.8A 2021-02-26 2021-02-26 面向软件定义卫星的神经网络模型可复用训练方法、装置 Active CN112949711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222670.8A CN112949711B (zh) 2021-02-26 2021-02-26 面向软件定义卫星的神经网络模型可复用训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222670.8A CN112949711B (zh) 2021-02-26 2021-02-26 面向软件定义卫星的神经网络模型可复用训练方法、装置

Publications (2)

Publication Number Publication Date
CN112949711A CN112949711A (zh) 2021-06-11
CN112949711B true CN112949711B (zh) 2023-10-27

Family

ID=76246720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222670.8A Active CN112949711B (zh) 2021-02-26 2021-02-26 面向软件定义卫星的神经网络模型可复用训练方法、装置

Country Status (1)

Country Link
CN (1) CN112949711B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090538A (zh) * 2021-11-05 2023-05-09 华为云计算技术有限公司 一种模型权重获取方法以及相关系统
CN115984646B (zh) * 2022-12-19 2023-06-16 中国科学院空天信息创新研究院 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898603A (zh) * 2018-05-29 2018-11-27 北京佳格天地科技有限公司 卫星影像上的地块分割系统及方法
CN110289902A (zh) * 2018-12-29 2019-09-27 中国科学院软件研究所 一种星上软件的更新系统
CN110363286A (zh) * 2019-06-27 2019-10-22 腾讯科技(深圳)有限公司 神经网络模型的生成方法及装置
CN111261146A (zh) * 2020-01-16 2020-06-09 腾讯科技(深圳)有限公司 语音识别及模型训练方法、装置和计算机可读存储介质
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN111967459A (zh) * 2020-10-21 2020-11-20 北京易真学思教育科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN112084435A (zh) * 2020-08-07 2020-12-15 北京三快在线科技有限公司 搜索排序模型训练方法及装置、搜索排序方法及装置
CN112085205A (zh) * 2019-06-14 2020-12-15 第四范式(北京)技术有限公司 用于自动训练机器学习模型的方法和系统
CN112200538A (zh) * 2020-10-10 2021-01-08 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104710A1 (en) * 2018-09-27 2020-04-02 Google Llc Training machine learning models using adaptive transfer learning

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898603A (zh) * 2018-05-29 2018-11-27 北京佳格天地科技有限公司 卫星影像上的地块分割系统及方法
CN110289902A (zh) * 2018-12-29 2019-09-27 中国科学院软件研究所 一种星上软件的更新系统
CN112085205A (zh) * 2019-06-14 2020-12-15 第四范式(北京)技术有限公司 用于自动训练机器学习模型的方法和系统
CN110363286A (zh) * 2019-06-27 2019-10-22 腾讯科技(深圳)有限公司 神经网络模型的生成方法及装置
CN111261146A (zh) * 2020-01-16 2020-06-09 腾讯科技(深圳)有限公司 语音识别及模型训练方法、装置和计算机可读存储介质
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN112084435A (zh) * 2020-08-07 2020-12-15 北京三快在线科技有限公司 搜索排序模型训练方法及装置、搜索排序方法及装置
CN112200538A (zh) * 2020-10-10 2021-01-08 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN111967459A (zh) * 2020-10-21 2020-11-20 北京易真学思教育科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Landslide detection from an open satellite imagery and digital elevation model dataset using attention boosted convolutional neural networks;Shunping Ji等;Landslides;第17卷;1337–1352 *
Pre-Wiring and Pre-Training: What does a neural network need to learn truly general identity rules?;Raquel G. Alhama等;Journal of Artificial Intelligence Research;第61卷;927-946 *
卷积神经网络压缩与加速技术研究进展;尹文枫等;计算机系统应用;第29卷(第09期);16-25 *
基于深度强化学习的软件定义卫星姿态控制算法;许轲等;北京航空航天大学学报;第44卷(第12期);2651-2659 *
软件定义卫星公共服务平台的设计与实现;任勃等;卫星与网络;第05卷;52-55 *

Also Published As

Publication number Publication date
CN112949711A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US20170168885A1 (en) System and Method for Testing Internet of Things Network
CN112949711B (zh) 面向软件定义卫星的神经网络模型可复用训练方法、装置
CN112181758B (zh) 一种基于网络拓扑及实时告警的故障根因定位方法
CN112446637A (zh) 一种建筑施工质量安全在线风险检测方法及系统
CN112633501A (zh) 基于容器化技术的机器学习模型框架的开发方法与系统
KR20190061616A (ko) 컴포넌트 기반 동적 모델 재구성을 활용한 시뮬레이션 모델 최적화 방법 및 장치
CN117422031B (zh) Atpg系统测试向量生成和精简的方法和装置
CN112783508B (zh) 文件的编译方法、装置、设备以及存储介质
CN111090401B (zh) 存储设备性能预测方法及装置
CN114780967B (zh) 基于大数据漏洞挖掘的挖掘评估方法及ai漏洞挖掘系统
CN109581194B (zh) 一种电子系统故障测试策略动态生成方法
US11941923B2 (en) Automation method of AI-based diagnostic technology for equipment application
CN114416596A (zh) 一种测试应用的方法、装置、计算机设备及存储介质
KR102255470B1 (ko) 인공신경망 모델의 검증 방법 및 장치
CN113672514A (zh) 测试方法、装置、服务器及存储介质
KR20220024571A (ko) 기술 유닛의 보안 검사 방법
CN113408562A (zh) 一种模型训练的样本增强方法、装置与系统
US10628620B2 (en) Method and system for transforming mesh for simulating manufacturing processes and products
CN116703161B (zh) 一种人机共融风险的预测方法、装置、终端设备及介质
CN116527411B (zh) 数据安全智能防护模型构建方法、装置及协作平台
CN117114087B (zh) 故障预测方法、计算机设备和可读存储介质
Tominaga et al. A rule-based satellite simulator for use in flight operations planning
Holasova et al. Automated Neural Network Structure Design for Efficient
CN116108331A (zh) 工业设备监测数据预测曲线的生成方法及装置
CN117057240A (zh) 一种基于虚拟仿真的车辆测试方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant