CN114037060A - 预训练模型的生成方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种预训练模型的生成方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：确定与候选模型结构集合对应的性能指标集合，其中，候选模型结构集合是从搜索空间包括的多个模型结构中确定的，搜索空间是利用基于邻域约束条件训练得到的超网络确定的，邻域约束条件用于对超网络包括的模型结构的邻域一致性进行约束；根据与候选模型结构集合对应的性能指标集合，从候选模型结构集合中确定目标模型结构，其中，目标模型结构是满足性能指标条件的模型结构；将目标模型结构确定为预训练模型。

Description

预训练模型的生成方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体地，涉及一种预训练模型的生成方法、装置、电子设备以及存储介质。

背景技术

预训练模型可以指利用数目较多的训练数据对预设模型进行训练得到的与任务无关的模型。针对下游任务，可以利用与下游任务相关的少量的训练数据对预训练模型进行微调，得到用于处理下游任务的模型。例如，下游任务可以包括图像处理任务、音频处理任务或文本处理任务等。

发明内容

本公开提供了一种预训练模型的生成方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种预训练模型的生成方法，包括：确定与候选模型结构集合对应的性能指标集合，其中，上述候选模型结构集合是从搜索空间包括的多个模型结构中确定的，上述搜索空间是利用基于邻域约束条件训练得到的超网络确定的，上述邻域约束条件用于对上述超网络包括的模型结构的邻域一致性进行约束；根据与上述候选模型结构集合对应的性能指标集合，从上述候选模型结构集合中确定目标模型结构，其中，上述目标模型结构是满足性能指标条件的模型结构；以及，将上述目标模型结构确定为上述预训练模型。

根据本公开的另一方面，提供了一种预训练模型的生成装置，包括：第一确定模块，用于确定与候选模型结构集合对应的性能指标集合，其中，上述候选模型结构集合是从搜索空间包括的多个模型结构中确定的，上述搜索空间是利用基于邻域约束条件训练得到的超网络确定的，上述邻域约束条件用于对上述超网络包括的模型结构的邻域一致性进行约束；第二确定模块，用于根据与上述候选模型结构集合对应的性能指标集合，从上述候选模型结构集合中确定目标模型结构，其中，上述目标模型结构是满足性能指标条件的模型结构；以及，第三确定模块，用于将上述目标模型结构确定为上述预训练模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用预训练模型的生成方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的预训练模型的生成方法的流程图；

图3示意性示出了根据本公开实施例的获得训练完成的超网络的流程图；

图4示意性示出了根据本公开实施例的预训练模型的生成过程的原理示意图；

图5示意性示出了根据本公开实施例的目标模型结构的确定过程的示例示意图；

图6示意性示出了根据本公开实施例的预训练模型的生成装置的框图；以及

图7示意性示出了根据本公开实施例的适于实现预训练模型的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

预训练模型可以利用如下两种方式生成。

一种方式在于，利用基于人工设计的模型结构来生成预训练模型。即，通过人工设计的模型结构，得到预训练模型。例如，人工设计的模型结构可以包括基于ResNet(Residual Neural Network，深度残差网络)的模型结构或基于Transfbrmer的模型结构。

另一种方式在于，利用基于自动深度学习(即AutoDL)搜索得到的模型结构来生成预训练模型。即，可以基于自动搜索方法，利用ImageNet数据集，得到基于AutoDL的模型结构。利用基于AutoDL的模型结构，生成预训练模型。

针对上述一种方式，利用基于人工设计的模型结构生成的预训练模型的预测精度不高。针对上述另一种方式，ImgaeNet数据集和实际数据处理任务所利用的训练集之间的数据分布情况存在差异性，因此，利用基于AutoDL的模型结构生成的预训练模型的预测精度也不高。

为此，本公开实施例提出了一种预训练模型的生成方案，即，根据候选模型结构集合的性能指标集合，从候选模型结构集合中确定满足性能指标条件的目标模型结构，将目标模型结构确定为预训练模型，候选模型结构集合是从利用基于邻域约束条件训练得到的超网络构建的搜索空间中确定的，实现了自动搜索获得满足性能指标条件的预训练模型，提高了预训练模型的预测精度。由此，可以使得规模较小的预训练模型可以达到与规模较大的预训练模型同样的预测精度，并且规模较小的预训练模型的训练速度更快。在此基础上，如果将预训练模型应用于硬件上来执行数据处理任务，则可以提高相关产品的核心竞争力。

图1示意性示出了根据本公开实施例的可以应用预训练模型的生成方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用预训练模型的生成方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的内容处理方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，解决了传统物理主机与VPS服务(Virtual Private Server，VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。

需要说明的是，本公开实施例所提供的预训练模型的生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的预训练模型的生成装置一般可以设置于服务器105中。本公开实施例所提供的预训练模型的生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的内容处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

或者，本公开实施例所提供的预训练模型的生成方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的预训练模型的生成装置也可以设置于终端设备101、102、或103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的预训练模型的生成方法的流程图。

如图2所示，该方法200包括操作S210～S230。

在操作S210，确定与候选模型结构集合对应的性能指标集合。候选模型结构集合是从搜索空间包括的多个模型结构中确定的，搜索空间是利用基于邻域约束条件训练得到的超网络确定的，邻域约束条件用于对超网络包括的模型结构的邻域一致性进行约束。

在操作S220，根据与候选模型结构集合对应的性能指标集合，从候选模型结构集合中确定目标模型结构。目标模型结构是满足性能指标条件的模型结构。

在操作S230，将目标模型结构确定为预训练模型。

根据本公开的实施例，初始搜索空间可以指用于提供模型结构的空间。初始搜索空间可以包括一个或多个基于超网络的搜索空间。初始搜索空间可以是全量的搜索空间。

根据本公开的实施例，初始搜索空间可以包括至少一种类型的搜索空间。例如，初始搜索空间可以包括基于ResNet的搜索空间、基于MobileNet的搜索空间、基于Transformer的搜索空间和异构搜索空间等中的至少一项。异构搜索空间可以指包括不同类型搜索空间的搜索空间。

根据本公开的实施例，初始搜索空间可以包括多个模型结构。模型结构可以是用于执行数据处理任务(即下游任务)的模型结构。数据处理任务可以包括图像处理任务、音频处理任务和文本处理任务等中的至少一项。每个模型结构可以包括至少一个模型子结构和不同模型子结构之间的连接关系。每个模型结构可以是基于不同模型子结构之间的连接关系，将至少一个模型子结构进行连接得到的结构。每个模型结构包括的至少一个模型子结构可以是来自至少一个操作层的结构，即，每个模型结构可以是基于不同模型子结构之间的连接关系，将来自至少一个操作层的至少一个模型子结构进行连接得到的结构。例如，至少一个操作层可以包括输入层、卷积层、池化层、全连接层、批量归一化层和非线性层等中的至少一项。至少一个模型子结构可以包括卷积结构(即卷积核)、池化结构(即池化核)、全连接结构和归一化结构等中的至少一项。不同模型子结构的超参数相同或不同。模型子结构的超参数可以包括模型子结构的尺寸、模型子结构的数目和步长等中的至少一项。例如，卷积结构的超参数可以包括卷积结构的尺寸、卷积结构的数目和卷积步长。连接关系可以包括相加和通道合并等中的至少一项。

根据本公开的实施例，初始搜索空间可以是根据搜索空间的生成策略生成的。生成策略可以基于生成需求确定。例如，可以根据生成需求，确定预期的模型子结构的数目、模型子结构的类型和模型子结构之间的连接关系。根据模型子结构的数目和模型子结构的类型，确定至少一个模型子结构。基于模型子结构之间的连接关系，将至少一个模型子结构进行联系，得到至少一个模型结构。根据至少一个模型结构，得到初始搜索空间。

根据本公开的实施例，超网络可以是根据搜索策略从初始搜索空间中确定的包括多个模型结构的网络。搜索策略可以指用于从初始搜索空间中确定超网络的策略。因此，可以认为基于超网络的搜索空间是初始搜索空间的子空间，由此，基于超网络的搜索空间的构成与初始搜索空间相同，即，基于超网络的搜索空间可以包括多个模型结构，每个模型结构。每个模型结构可以包括至少一个模型子结构和不同模型子结构之间的连接关系。基于超网络的搜索空间可以是超网络包括的全部模型结构的搜索空间。在训练完成超网络之后，训练完成的超网络包括的每个模型结构的模型参数被确定，即，基于超网络的搜索空间包括的多个模型结构中的每个模型结构的模型参数被确定。

根据本公开的实施例，基于超网络的搜索空间可以是利用基于邻域约束条件训练得到的超网络确定的。邻域约束条件可以用于对超网络包括的模型结构的邻域一致性进行约束。邻域一致性可以指模型结构的结构和与模型结构相关的邻域模型结构的结构之间满足邻域一致性。邻域一致性可以包括结构相似性和结构差异性。

根据本公开的实施例，候选模型结构集合可以指用于确定目标模型结构的集合。候选模型集合可以是基于筛选策略从搜索空间包括的多个模型结构中确定的。候选模型结构集合可以包括多个模型结构。可以将候选模型结构集合包括的模型结构称为候选模型结构，即，候选模型结构集合可以包括多个候选模型结构。筛选策略可以基于筛选需求确定。例如，可以根据筛选需求，确定预期的模型结构的数目和模型结构的类型。从搜索空间中查找与预期的模型结构的数目和类型要求相匹配的多个模型结构。根据多个模型结构，得到候选模型结构集合。可以基于随机采样策略，从搜索空间中查找与预期的模型结构的数目和类型要求相匹配的多个模型结构。候选模型结构集合包括的候选模型结构的数目可以大于或等于预定数目阈值。例如，预定数目阈值为100万个。

根据本公开的实施例，性能指标集合可以包括多个性能指标。性能指标项具有与性能指标项对应的性能指标。性能指标项可以用于作为评估模型结构的性能的指标。性能指标可以用于作为评估候选模型结构的性能的指标值。至少一个性能指标项可以包括预测精度、运行速度、硬件延迟时长、内存占用率、处理器功耗和运算效率等中的至少一项。相应的，至少一个性能指标可以包括预测精度值、运行速度值、硬件延迟时长值、内存占用率值、处理器功耗值和运算效率值等中的至少一项。

根据本公开的实施例，针对候选模型结构集合，候选模型结构集合包括的多个候选模型结构中的每个候选模型结构均具有与该候选模型结构对应的至少一个性能指标。如果按照性能指标项对性能指标集合进行划分，则性能指标集合可以包括与至少一个性能指标项中的每个性能指标项对应的性能指标集合。可以将与每个性能指标项对应的性能指标集合称为性能指标类集合。每个性能指标类集合包括多个属于同一性能指标项的性能指标。每个性能指标类集合包括的多个性能指标是与多个候选模型结构中的每个候选模型结构对应的性能指标。

根据本公开的实施例，性能指标条件可以用于作为从候选模型结构集合中确定目标模型结构的条件。例如，性能指标可以包括预测精度和运行速度中的至少一项。性能指标条件可以包括精度评估条件和速度评估条件中的至少一项。每个目标模型结构是满足性能指标条件的模型结构可以包括以下至少一项：目标结构可以是预测精度满足精度评估条件的模型结构。目标模型结构可以是运行速度满足速度评估条件的模型结构。

根据本公开的实施例，可以根据搜索策略从初始搜索空间中确定超网络。基于筛选策略从基于超网络的搜索空间包括的多个模型结构中确定候选模型结构集合。针对候选模型结构集合包括的多个候选模型结构中的每个候选模型结构，可以利用性能结构关联关系，确定与候选模型结构对应的至少一个性能指标。性能结构关联关系可以表征模型结构与模型结构的性能指标之间的关联关系。

根据本公开的实施例，在确定与候选模型结构对应的至少一个性能指标之后，可以根据性能指标条件和与多个候选模型结构中的每个候选模型结构的至少一个性能指标，从多个候选模型结构确定满足性能指标条件的目标模型结构。

根据本公开的实施例，根据性能指标条件和与多个候选模型结构中的每个候选模型结构的至少一个性能指标，从多个候选模型结构确定满足性能指标条件的目标模型结构，可以包括：对与至少一个性能指标类集合中的每个性能指标类集合包括的多个性能指标进行排序，得到与每个性能指标类集合对应的排序结果。根据与每个性能指标类集合对应的排序结果，从多个候选模型结构中确定满足性能指标条件的目标模型结构。排序可以包括按照性能指标由小到大排序或按照性能指标由大到小排序。不同性能指标类集合的排序方式可以相同或不同。每个性能指标类集合的排序方式可以根据实际业务需求进行配置，在此不作限定。

根据本公开的实施例，根据与每个性能指标类集合对应的排序结果，从多个候选模型结构中确定满足性能指标条件的目标模型结构，可以包括：可以对多个排序结果进行加权求和，根据加权求和结果，从多个候选模型结构中确定满足性能指标条件的目标模型结构。

例如，性能指标项包括预测精度。性能指标可以指预测精度值。性能指标集合包括的性能指标与候选模型结构集合包括的候选模型结构一一对应。可以对性能指标集合包括的多个性能指标进行排序，得到排序结果。根据排序结果，从多个候选模型结构中确定满足性能指标条件的目标模型结构。例如，按照性能指标由大到小的顺序，对性能指标集合包括的多个性能指标进行排序，将与排序结果中排序最靠前的性能指标对应的候选模型结构确定为目标模型结构。

根据本公开的实施例，根据候选模型结构集合的性能指标集合，从候选模型结构集合中确定满足性能指标条件的目标模型结构，将目标模型结构确定为预训练模型，候选模型结构集合是从利用基于邻域约束条件训练得到的超网络构建的搜索空间中确定的，实现了自动搜索获得满足性能指标条件的预训练模型，提高了预训练模型的预测精度。由此，可以使得规模较小的预训练模型可以达到与规模较大的预训练模型同样的预测精度，并且规模较小的预训练模型的训练速度更快。在此基础上，如果将预训练模型应用于硬件上来执行数据处理任务，则可以提高相关产品的核心竞争力。

根据本公开的实施例，操作S210可以包括如下操作。

利用性能预测器处理所述候选模型结构集合，得到与候选模型结构集合对应的性能指标集合。

根据本公开的实施例，根据本公开的实施例，性能预测器可以用于对模型结构的性能进行预测。性能预测器可以表征模型结构与模型结构的性能之间关系的模型。性能预测器可以是利用机器学习模型或深度学习模型训练得到的模型结构与模型结构的性能之间的模型。例如，机器学习模型可以包括随机森林模型或岭回归模型等。性能预测器也可以是利用统计模型构建得到的模型结构与模型结构的性能之间关系的模型。统计模型可以包括概率分布模型。例如，概率分布模型可以包括高斯分布模型等。

根据本公开的实施例，可以将候选模型集合包括的多个候选模型结构中的每个候选模型结构输入性能预测器，得到与候选模型结构对应的至少一个性能指标。

根据本公开的实施例，上述预训练模型的生成方法还可以包括如下操作。

从搜索空间中确定评估模型结构集合。利用评估模型结构集合，得到性能预测器。

根据本公开的实施例，评估模型结构集合可以包括多个模型结构。可以将评估模型结构集合包括的模型结构称为评估模型结构。评估模型结构可以指基于超网络的搜索空间中具有代表性的模型结构。代表性可以指能够表征搜索空间中的模型结构所具有的特征。评估模型结构的模型参数可以根据超网络中与评估模型结构对应的模型结构的模型参数确定，即，评估模型结构的模型参数可以与超网络中与评估模型结构对应的模型结构的模型参数相一致。评估模型结构可以用于参与构建性能预测器。

根据本公开的实施例，可以基于代表性策略，从搜索空间中确定多个模型结构，根据多个模型结构，得到评估模型结构集合。再基于评测集，利用评估模型结构集合，得到性能预测器。评测集可以包括多个训练样本。

根据本公开的实施例，基于评测集，利用评估模型结构集合，得到性能预测器，可以包括：可以利用评估模型结构集合处理评测集，得到与评估模型结构集合对应的性能指标集合。利用评估模型结构集合、与评估模型结构集合对应的性能指标集合和预定模型，得到性能预测器。

根据本公开的实施例，利用评估模型结构集合、与评估模型结构集合对应的性能指标集合和预定模型，得到性能预测器，可以包括：基于与评估模型结构集合对应的性能指标集合，利用预测方法对初始概率模型的超参数进行更新，得到超参数的预测值。基于超参数的预测值，确定性能预测器。初始概率模型可以是对与初始搜索空间对应的概率分布模型进行初始化得到的概率分布模型。

根据本公开的实施例，利用评估模型结构集合、与评估模型结构集合对应的性能指标集合和预定模型，得到性能预测器，可以包括：利用评估模型结构集合和与评估模型结构集合对应的性能指标集合对机器学习模型或深度学习模型进行训练，得到性能预测器。

根据本公开的实施例，利用评估模型结构集合，得到性能预测器，可以包括如下操作。

利用评估模型结构集合处理评测集，得到与评估模型结构集合对应的性能指标集合。利用评估模型结构集合和与评估模型结构集合对应的性能度评估值集合，得到性能预测器。

根据本公开的实施例，针对评估模型结构集合中的每个评估模型结构，将评测集输入评估模型结构，得到与评估模型结构对应的精度评估值。利用评估模型结构集合、与评估模型结构集合对应的性能指标集合和预定模型，得到性能预测器。预定模型可以包括机器学习模型、深度学习模型或统计模型等。

根据本公开的实施例，利用评估模型结构集合和与评估模型结构集合对应的性能度评估值集合，得到性能预测器，可以包括如下操作。

确定与评估模型结构集合对应的评估模型编码集合。利用与评估模型结构集合对应的评估模型编码集合和性能指标集合，得到性能预测器。

根据本公开的实施例，模型结构可以用模型编码表征，即，可以利用编码生成器处理与评估模型结构集合中的每个评估模型结构，得到与每个评估模型结构对应的评估模型编码。

根据本公开的实施例，从搜索空间中选择评估模型结构集合，可以包括如下操作。

确定与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵。根据与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从搜索空间中选择评估模型结构集合。

根据本公开的实施例，信息熵可以用于表征信息量的度量。可以利用模型结构的信息熵来从搜索空间包括的多个模型结构中确定评估模型结构集合。

根据本公开的实施例，可以确定与搜索空间包括的多个模型结构中的每个模型结构的模型编码。根据概率模型的超参数和每个模型结构的模型编码，确定协方差矩阵。再根据协方差矩阵，确定每个模型结构的信息熵。上述模型结构的信息熵的确定方式仅是示例性实施例，但不限于此，还可以包括本领域已知的确定方式，只要能够实现模型结构的信息熵的确定即可。

根据本公开的实施例，根据与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从搜索空间中确定评估模型结构集合，可以包括：对与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵进行排序。根据排序结果，从搜索空间中确定评估模型结构集合。排序可以包括按照信息熵由小到大的顺序进行排序或按照信息熵由大到小的顺序进行排序。例如，可以按照模型结构的信息熵由大到小的顺序对搜索空间包括的多个模型结构中的每个模型结构进行排序，将排序结果中排序靠前的预定数目的模型结构确定为评估模型结构集合。备选地，可以根据信息熵阈值和与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从搜索空间包括的多个模型结构中确定评估模型结构集合。例如，针对搜索空间包括的多个模型结构中的每个模型结构，在确定模型结构的信息熵大于或等于信息熵阈值的情况下，将模型结构确定为评估模型结构。

根据本公开的实施例，从搜索空间中选择评估模型结构集合，可以包括如下操作。

根据搜索空间包括的多个模型结构，确定与搜索空间对应的至少一个聚类中心。根据与搜索空间对应的至少一个聚类中心，得到评估模型结构集合。

根据本公开的实施例，可以利用聚类算法处理搜索空间包括的多个模型结构中的模型结构，得到与搜索空间对应的至少一个聚类中心。聚类算法可以包括K均值聚类算法、K中心聚类算法、CLARA(Clustering LARge Application)算法或模糊C均值算法。

根据本公开的实施例，可以将与搜索空间对应的至少一个聚类中心中的每个聚类中心确定为评估模型结构。

下面参考图3～图5，结合具体实施例对根据本公开实施例的预训练模型的生成方法做进一步说明。

图3示意性示出了根据本公开实施例的获得训练完成的超网络的流程图。

如图3所示，该方法300包括操作S310～S330。

在操作S301，确定训练模型结构集合。训练模型结构集合包括多个训练模型结构。

在操作S302，确定分别与多个训练模型结构中的每个训练模型结构对应的至少一个邻域模型结构。每个邻域模型结构的结构和与邻域模型结构对应的训练模型结构的结构之间满足结构约束条件。

在操作S303，根据与多个训练模型结构中的每个训练模型结构对应的性能指标和与多个邻域模型结构中的每个邻域模型结构对应的性能指标，确定与训练模型结构集合对应的邻域约束惩罚项。

在操作S304，基于损失函数，利用训练集训练超网络，得到训练完成的超网络。损失函数包括邻域约束惩罚项。

根据本公开的实施例，每个训练模型结构具有与该训练模型结构对应的邻域模型结构。针对模型结构的结构而言，训练模型结构的结构与该训练模型结构的邻域模型结构的结构之间满足结构约束条件。结构约束条件可以包括结构相似性条件和结构差异性条件。

根据本公开的实施例，结构相似性条件可以指训练模型结构的结构和与该训练模型结构对应的邻域结构的结构之间的结构相似率大于或等于相似率阈值。

根据本公开的实施例，结构差异性条件可以指针对训练模型结构，如果该训练模型结构具有至少两个邻域模型结构，至少两个邻域模型结构中的每个邻域模型结构均与其他邻域模型结构不同。其他邻域模型结构可以指至少两个邻域模型结构中除本身以外的邻域模型结构，则与该训练模型结构对应的至少两个结构相似率不同，并且结构相似率大的结构相关性高于结构相似率小的结构相关性。结构相关性可以指该训练模型结构的结构和与该训练模型结构对应的邻域模型结构的结构之间的相关性。

例如，训练模型结构A为包括50个操作层的模型结构。与训练模型结构A对应的邻域模型结构包括两个，分别为包括51个操作层的邻域模型结构B和包括52个操作层的邻域模型结构C。

训练模型结构A的结构与邻域模型结构B的结构之间的结构相似率a1，以及，训练模型结构A的结构与邻域模型结构C的结构之间的结构相似率b1，均大于相似率阈值，并且结构相似率a1大于结构相似率b1。训练模型结构A的结构与邻域模型结构B的结构之间的结构相关性a2大于训练模型结构A的结构与邻域模型结构C的结构之间的结构相关性b2。

根据本公开的实施例，将训练模型结构的结构和与该训练模型结构对应的邻域模型结构的结构之间满足的结构约束性条件反映到模型结构的性能上，便是训练模型结构的性能与该训练模型结构的邻域模型结构的性能之间满足的性能约束条件。性能约束条件可以包括性能一致性条件和性能相关性条件。

根据本公开的实施例，性能一致性条件可以指训练模型结构的性能指标和与该训练模型结构对应的邻域结构的性能指标之间的差值的绝对值小于差值阈值，并且模型结构的复杂度高的性能指标优于模型结构的复杂度低的性能指标。

根据本公开的实施例，性能相关性条件可以指如果该训练模型结构具有至少两个邻域模型结构，至少两个邻域模型结构中的每个邻域模型结构均与其他邻域模型结构不同，则与该训练模型结构对应的任意两个邻域模型结构，第一差值的绝对值小于第二差值的绝对值。第一差值的绝对值可以指该训练模型结构的性能指标与任意两个邻域模型结构中的第一邻域模型结构的性能指标之间的差值的绝对值。第二差值的绝对值可以指该训练模型结构的性能指标与任意两个邻域模型结构中的第二邻域模型结构的性能指标之间的差值的绝对值。第一邻域模型结构的结构与该训练模型结构的结构之间的差异性小于第二邻域模型结构的结构与该训练模型结构的结构之间的差异性。差异性可以用结构相似率表征。差异性越小，结构相似率越大。

例如，训练模型结构A为包括50个操作层的模型结构。与训练模型结构A对应的邻域模型结构包括两个，分别为包括51个操作层的邻域模型结构B和包括52个操作层的邻域模型结构C。

邻域模型结构C的性能指标优于邻域模型结构B的性能指标。邻域模型结构B是第一邻域模型结构。邻域模型结构C是第二邻域模型结构。

根据本公开的实施例，可以根据搜索策略从初始搜索空间中确定包括多个训练模型结构的训练模型结构集合。针对多个训练模型结构中的每个训练模型结构，根据结构约束条件，构建与训练模型结构对应的至少一个邻域模型结构。初始搜索空间可能包括邻域模型结构也可能不包括邻域模型结构。

根据本公开的实施例，在获得多个训练模型结构和与多个训练模型结构中的每个训练模型结构对应的至少一个邻域模型结构之后，可以确定与多个训练模型结构中的每个训练模型结构对应的性能指标以及与每个训练模型结构对应的至少一个邻域模型结构中的每个邻域模型结构对应的性能指标。可以利用性能预测器处理训练模型结构，得到与训练模型结构对应的性能指标。可以利用性能预测器处理邻域模型结构，得到与邻域模型结构对应的性能指标。

根据本公开的实施例，针对多个训练模型结构中的每个训练模型结构，可以基于性能约束条件，根据与训练模型结构对应的性能指标和与训练模型结构对应的至少一个邻域模型结构中的每个邻域模型结构对应的性能指标，确定与训练模型结构对应的邻域约束惩罚项。确定与训练模型结构对应的邻域约束惩罚项可以包括设置与训练模型结构对应的邻域约束惩罚性和不设置与训练模型结构对应的邻域约束惩罚性。不设置与训练模型结构对应的邻域约束惩罚项可以指将与训练模型结构对应的邻域约束惩罚项设置为预定形式。

根据本公开的实施例，在确定与多个训练模型结构中的每个训练模型结构对应的邻域约束惩罚项之后，可以将邻域约束惩罚项添加至损失函数。可以基于损失函数，利用训练集，得到损失函数的输出值，根据损失函数的输出值调整超网络的模型参数，直至满足预定条件，将在满足预定条件的情况下得到的超网络确定为训练完成的超网络。

根据本公开的实施例，操作S303可以包括如下操作。

针对多个训练模型结构中的每个训练模型结构，在确定训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能约束条件的情况下，设置与训练模型结构对应的邻域约束惩罚项。

根据本公开的实施例，针对多个训练模型结构中的每个训练模型结构，如果存在训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能约束条件，则可以设置与训练模型结构对应的邻域约束惩罚项。

例如，性能约束条件包括性能一致性条件和性能相关性条件。如果存在训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能一致性条件，则可以设置与训练模型结构对应的邻域约束惩罚项。

如果存在训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能相关性条件，则可以设置与训练模型结构对应的邻域约束惩罚项。

如果存在训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能一致性条件和性能相关性条件，则可以设置与训练模型结构对应的邻域约束惩罚项。

图4示意性示出了根据本公开实施例的预训练模型的生成过程的原理示意图。

如图4所示，在400中，从基于超网络的搜索空间401中确定评估模型结构集合402。利用评估模型结构402处理评测集403，得到与评估模型结构集合402对应的性能指标集合404。

利用评估模型结构集合402、与评估模型结构集合402对应的性能指标集合404和预定模型405，得到性能预测器406。

从基于超网络的搜索空间4011中确定候选模型结构集合407。利用性能预测器406处理候选模型结构集合407，得到与候选模型结构集合307对应的性能指标集合408。

根据性能指标集合408，从候选模型结构集合407中确定目标模型结构409。将目标模型结构409确定为与芯片对应的预训练模型410。

为了便于理解图4所示的预训练模型的生成过程，下面结合图5对目标模型结构的确定过程进行说明。

图5示意性示出了根据本公开实施例的目标模型结构的确定过程的示例示意图。

如图5所示，在500中，初始搜索空间502可以包括多个模型结构。每个模型结构可以包括至少一个模型子结构501。

基于搜索策略从初始搜索空间502中确定超网络503。基于损失函数，利用训练集训练超网络503，得到训练完成的超网络。损失函数包括邻域约束惩罚项。

从基于超网络503的搜索空间中确定候选模型结构集合504。候选模型结构集合504包括候选模型结构5040、候选模型结构5041、候选模型结构5042和候选模型结构5043。

利用性能预测器处理候选模型结构集合504，得到与候选模型结构集合504对应的性能指标集合。

根据与候选模型结构集合504对应的性能指标集合，从候选模型结构集合504中确定候选模型结构5040为目标模型结构。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他预训练模型的生成方法，只要能够实现提高预训练模型的预测精度即可。

图6示意性示出了根据本公开实施例的预训练模型的生成装置的框图。

如图6所示，预训练模型的生成装置600可以包括第一确定模块610、第二确定模块620和第三确定模块630。

第一确定模块610，用于确定与候选模型结构集合对应的性能指标集合。候选模型结构集合是从搜索空间包括的多个模型结构中确定的，搜索空间是利用基于邻域约束条件训练得到的超网络确定的，邻域约束条件用于对超网络包括的模型结构的邻域一致性进行约束。

第二确定模块620，用于根据与候选模型结构集合对应的性能指标集合，从候选模型结构集合中确定目标模型结构。目标模型结构是满足性能指标条件的模型结构。

第三确定模块630，用于将目标模型结构确定为预训练模型。

根据本公开的实施例，上述预训练模型的生成装置600还可以包括第四确定模块、第五确定模块、第六确定模块和第一获得模块。

第四确定模块，用于确定训练模型结构集合。训练模型结构集合包括多个训练模型结构。

第五确定模块，用于确定分别与多个训练模型结构中的每个训练模型结构对应的至少一个邻域模型结构。每个邻域模型结构的结构和与邻域模型结构对应的训练模型结构的结构之间满足结构约束条件。

第六确定模块，用于根据与多个训练模型结构中的每个训练模型结构对应的性能指标和与多个邻域模型结构中的每个邻域模型结构对应的性能指标，确定与训练模型结构集合对应的邻域约束惩罚项。

第一获得模块，用于基于损失函数，利用训练集训练超网络，得到训练完成的超网络。损失函数包括邻域约束惩罚项。

根据本公开的实施例，第六确定模块可以包括设置子模块。

设置子模块，用于针对多个训练模型结构中的每个训练模型结构，在确定训练模型结构的性能指标和与训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能约束条件的情况下，设置与训练模型结构对应的邻域约束惩罚项。

根据本公开的实施例，第一确定模块610可以包括第一获得子模块。

第一获得子模块，用于利用性能预测器处理候选模型结构集合，得到与候选模型结构集合对应的性能指标集合。

根据本公开的实施例，上述预训练模型的生成装置600还可以包括第七确定模块和第二获得模块。

第七确定模块，用于从搜索空间中确定评估模型结构集合。

第二获得模块，用于利用评估模型结构集合，得到性能预测器。

根据本公开的实施例，第二获得模块可以包括第二获得子模块和第三获得子模块。

第二获得子模块，用于利用评估模型结构集合处理评测集，得到与评估模型结构集合对应的性能指标集合。

第三获得子模块，用于利用评估模型结构集合和与评估模型结构集合对应的性能度评估值集合，得到性能预测器。

根据本公开的实施例，第三获得子模块可以包括确定单元和获得单元。

确定单元，用于确定与评估模型结构集合对应的评估模型编码集合。

获得单元，用于利用与评估模型结构集合对应的评估模型编码集合和性能指标集合，得到性能预测器。

根据本公开的实施例，第七确定模块可以包括第一确定子模块和第二确定子模块。

第一确定子模块，用于确定与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵。

第二确定子模块，用于根据与搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从搜索空间中确定评估模型结构集合。

根据本公开的实施例，第七确定模块可以包括第三确定子模块和第四获得子模块。

第三确定子模块，用于根据搜索空间包括的多个模型结构，确定与搜索空间对应的至少一个聚类中心。

第四获得子模块，用于根据与搜索空间对应的至少一个聚类中心，得到评估模型结构集合。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图7示意性示出了根据本公开实施例的适于实现预训练模型的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如预训练模型的生成方法。例如，在一些实施例中，预训练模型的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的预训练模型的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练模型的生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种预训练模型的生成方法，包括：

确定与候选模型结构集合对应的性能指标集合，其中，所述候选模型结构集合是从搜索空间包括的多个模型结构中确定的，所述搜索空间是利用基于邻域约束条件训练得到的超网络确定的，所述邻域约束条件用于对所述超网络包括的模型结构的邻域一致性进行约束；

根据与所述候选模型结构集合对应的性能指标集合，从所述候选模型结构集合中确定目标模型结构，其中，所述目标模型结构是满足性能指标条件的模型结构；以及

将所述目标模型结构确定为所述预训练模型。

2.根据权利要求1所述的方法，还包括：

确定训练模型结构集合，其中，所述训练模型结构集合包括多个训练模型结构；

确定分别与所述多个训练模型结构中的每个训练模型结构对应的至少一个邻域模型结构，其中，每个所述邻域模型结构的结构和与所述邻域模型结构对应的训练模型结构的结构之间满足结构约束条件；

根据与所述多个训练模型结构中的每个训练模型结构对应的性能指标和与多个所述邻域模型结构中的每个邻域模型结构对应的性能指标，确定与所述训练模型结构集合对应的邻域约束惩罚项；以及

基于损失函数，利用训练集训练超网络，得到训练完成的超网络，其中，所述损失函数包括所述邻域约束惩罚项。

3.根据权利要求2所述的方法，其中，所述根据与所述多个训练模型结构中的每个训练模型结构对应的性能指标和与多个所述邻域模型结构中的每个邻域模型结构对应的性能指标，确定与所述训练模型结构集合对应的邻域约束惩罚项，包括：

针对所述多个训练模型结构中的每个训练模型结构，在确定所述训练模型结构的性能指标和与所述训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能约束条件的情况下，设置与所述训练模型结构对应的邻域约束惩罚项。

4.根据权利要求1～3中任一项所述的方法，其中，所述确定与候选模型结构集合对应的性能指标集合，包括：

利用性能预测器处理所述候选模型结构集合，得到与候选模型结构集合对应的性能指标集合。

5.根据权利要求4所述的方法，还包括：

从所述搜索空间中确定评估模型结构集合；以及

利用所述评估模型结构集合，得到所述性能预测器。

6.根据权利要求5所述的方法，其中，所述利用所述评估模型结构集合，得到所述性能预测器，包括：

利用所述评估模型结构集合处理评测集，得到与所述评估模型结构集合对应的性能指标集合；以及

利用所述评估模型结构集合和与所述评估模型结构集合对应的性能度评估值集合，得到所述性能预测器。

7.根据权利要求6所述的方法，其中，所述利用所述评估模型结构集合和与所述评估模型结构集合对应的性能度评估值集合，得到所述性能预测器，包括：

确定与所述评估模型结构集合对应的评估模型编码集合；以及

利用与所述评估模型结构集合对应的评估模型编码集合和性能指标集合，得到所述性能预测器。

8.根据权利要求5～7中任一项所述的方法，其中，所述从所述搜索空间中确定评估模型结构集合，包括：

确定与所述搜索空间包括的多个模型结构中的每个模型结构对应的信息熵；以及

根据与所述搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从所述搜索空间中确定所述评估模型结构集合。

9.根据权利要求5～7中任一项所述的方法，其中，所述从所述搜索空间中确定评估模型结构集合，包括：

根据所述搜索空间包括的多个模型结构，确定与所述搜索空间对应的至少一个聚类中心；以及

根据与所述搜索空间对应的至少一个聚类中心，得到所述评估模型结构集合。

10.一种预训练模型的生成装置，包括：

第一确定模块，用于确定与候选模型结构集合对应的性能指标集合，其中，所述候选模型结构集合是从搜索空间包括的多个模型结构中确定的，所述搜索空间是利用基于邻域约束条件训练得到的超网络确定的，所述邻域约束条件用于对所述超网络包括的模型结构的邻域一致性进行约束；

第二确定模块，用于根据与所述候选模型结构集合对应的性能指标集合，从所述候选模型结构集合中确定目标模型结构，其中，所述目标模型结构是满足性能指标条件的模型结构；以及

第三确定模块，用于将所述目标模型结构确定为所述预训练模型。

11.根据权利要求10所述的装置，还包括：

第四确定模块，用于确定训练模型结构集合，其中，所述训练模型结构集合包括多个训练模型结构；

第五确定模块，用于确定分别与所述多个训练模型结构中的每个训练模型结构对应的至少一个邻域模型结构，其中，每个所述邻域模型结构的结构和与所述邻域模型结构对应的训练模型结构的结构之间满足结构约束条件；

第六确定模块，用于根据与所述多个训练模型结构中的每个训练模型结构对应的性能指标和与多个所述邻域模型结构中的每个邻域模型结构对应的性能指标，确定与所述训练模型结构集合对应的邻域约束惩罚项；以及

第一获得模块，用于基于损失函数，利用训练集训练超网络，得到训练完成的超网络，其中，所述损失函数包括所述邻域约束惩罚项。

12.根据权利要求11所述的装置，其中，所述第六确定模块，包括：

设置子模块，用于针对所述多个训练模型结构中的每个训练模型结构，在确定所述训练模型结构的性能指标和与所述训练模型结构对应的邻域模型结构的性能指标之间的关系不满足性能约束条件的情况下，设置与所述训练模型结构对应的邻域约束惩罚项。

13.根据权利要求10～12中任一项所述的装置，其中，所述第一确定模块，包括：

第一获得子模块，用于利用性能预测器处理所述候选模型结构集合，得到与候选模型结构集合对应的性能指标集合。

14.根据权利要求13所述的装置，还包括：

第七确定模块，用于从所述搜索空间中确定评估模型结构集合；以及

第二获得模块，用于利用所述评估模型结构集合，得到所述性能预测器。

15.根据权利要求14所述的装置，其中，所述第二获得模块，包括：

第二获得子模块，用于利用所述评估模型结构集合处理评测集，得到与所述评估模型结构集合对应的性能指标集合；以及

第三获得子模块，用于利用所述评估模型结构集合和与所述评估模型结构集合对应的性能度评估值集合，得到所述性能预测器。

16.根据权利要求15所述的装置，其中，所述第三获得子模块，包括：

确定单元，用于确定与所述评估模型结构集合对应的评估模型编码集合；以及

获得单元，用于利用与所述评估模型结构集合对应的评估模型编码集合和性能指标集合，得到所述性能预测器。

17.根据权利要求14～16中任一项所述的装置，其中，所述第七确定模块，包括：

第一确定子模块，用于确定与所述搜索空间包括的多个模型结构中的每个模型结构对应的信息熵；以及

第二确定子模块，用于根据与所述搜索空间包括的多个模型结构中的每个模型结构对应的信息熵，从所述搜索空间中确定所述评估模型结构集合。

18.根据权利要求14～16中任一项所述的装置，其中，所述第七确定模块，包括：

第三确定子模块，用于根据所述搜索空间包括的多个模型结构，确定与所述搜索空间对应的至少一个聚类中心；以及

第四获得子模块，用于根据与所述搜索空间对应的至少一个聚类中心，得到所述评估模型结构集合。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～9中任一项所述的方法。

Images