CN114492742A - 神经网络结构搜索、模型发布方法、电子设备和存储介质 - Google Patents

Abstract

本申请提供了一种神经网络结构搜索、模型发布方法、电子设备和存储介质。方法包括：获取第一应用平台的第一信息，第一信息用于指示第一应用平台的第一算力值；获取第二信息，第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；基于预设的换算规则，根据第一应用平台的第一信息，对第二信息进行换算，得到第三信息；获取目标模型的目标性能参数，根据目标性能参数在第三信息中确定目标模型的计算量；根据目标模型的计算量，在预设的超网络中搜索得到目标模型；得到的目标模型在第一应用平台应用时，能够充分利用第一应用平台的计算能力，且第一应用平台的计算能力能够保证目标模型具有较高的运行效率。

Description

神经网络结构搜索、模型发布方法、电子设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种神经网络结构搜索、模型发布方法、电子设备和存储介质。

背景技术

深度学习模型在很多任务上都取得了非常好的效果，但神经网络结构设计是非常依赖专家经验，人工设计网络结构的时间周期较长，且聘请相应专家成本较高。神经网络结构搜索算法可以让机器代替专家来进行神经网络结构设计，并大大提升模型性能，搜索效率高于人工设计效率。

目前人工设计的网络模型或者神经网络结构搜索算法得到的模型，常常无法充分利用硬件平台的计算能力或者超出硬件平台的计算能力，无法充分利用硬件平台的计算能力时模型的大小会限制到模型的准确性，而超出硬件平台的计算能力时，模型的运行效率无法满足需求。

发明内容

本申请提供了一种神经网络结构搜索、模型发布方法、电子设备和存储介质，旨在使目标模型能够充分利用应用平台的计算能力，且具有较高的运行效率。

第一方面，本申请实施例提供了一种神经网络结构搜索方法，包括：

获取第一应用平台的第一信息，所述第一信息用于指示所述第一应用平台的第一算力值；

获取第二信息，所述第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；

基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息；

获取目标模型的目标性能参数，根据所述目标性能参数在所述第三信息中确定所述目标模型的计算量；

根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

示例性的，所述获取第二信息，包括：获取所述第二应用平台在运行多个不同计算量的模型时的性能参数；根据所述模型的计算量和对应的性能参数，拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。可以通过实测若干不同计算量的模型运行时的性能参数，得到没有实测的计算量的模型运行时的性能参数。

示例性的，在所述拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数之后，所述方法还包括：获取所述第二应用平台在运行测试模型时的性能参数；根据所述测试模型的计算量和对应的性能参数，修正拟合得到的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数；所述将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息，包括：将修正后的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。以提高第二信息的准确性。

示例性的，所述基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息，包括：根据第一比值，对所述第二信息进行换算，得到第三信息，其中，所述第一比值是所述第一信息指示的第一应用平台的第一算力值，与所述第二信息中第二应用平台的第二算力值的比值。所述第三信息可以准确的指示所述第一应用平台在运行不同计算量的模型时的性能参数。

示例性的，所述方法还包括：根据所述第一应用平台的标称算力值与算力利用率的乘积，确定所述第一应用平台的第一算力值，其中，所述标称算力值为所述第一信息指示的第一应用平台的标称算力值，所述算力利用率为所述第一应用平台对应的算力利用率。在第一应用平台没有实测第一算力值时，根据预设的算力利用率确定第一应用平台的第一算力值。

示例性的，所述获取第二信息，包括：基于预设的第二信息与应用平台的对应关系，根据所述第一应用平台的第一信息，确定所述第一应用平台对应的第二信息。可以使得确定的第二信息更准确的体现第一应用平台的计算量和性能参数的对应关系。

示例性的，所述性能参数包括处理时间，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理时间除以所述第一比值；或者所述性能参数包括处理帧率，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理帧率乘以所述第一比值。

示例性的，所述根据所述目标性能参数在所述第三信息中确定所述目标模型的计算量，包括：基于所述第三信息中计算量与性能参数的对应关系，确定所述目标性能参数对应的计算量为所述目标模型的计算量。基于所述第三信息，根据目标模型的目标性能参数确定目标模型的计算量，以便在预设的超网络中搜索得到目标模型。

示例性的，所述根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型，包括：根据所述目标模型的计算量，在预训练的超网络中搜索得到若干模型，所述模型包括预训练权重；根据训练数据集，分别对各所述模型进行训练，得到若干训练后的模型；根据验证数据集，分别确定各所述训练后的模型的模型性能；根据各所述训练后的模型的模型性能，在所述若干模型中确定所述目标模型，或者在所述若干训练后的模型中确定所述目标模型。通过在预训练的超网络中搜索得到目标模型，可以为下游训练任务提供更适合的网络模型以及相应的预训练权重，且预训练权重可以直接获取，可以减少时间和资源的消耗。

第二方面，本申请实施例提供了一种模型发布方法，包括：

根据前述的神经网络结构搜索方法确定目标模型；

根据终端设备的指令将所述目标模型发送到目标设备。可以实现模型的分发。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现上述的神经网络结构搜索方法的步骤，或者上述的模型发布方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的神经网络结构搜索方法的步骤，或者上述的模型发布方法的步骤。

本申请实施例提供了一种神经网络结构搜索、模型发布方法、电子设备和存储介质，方法包括：获取第一应用平台的第一信息，第一信息用于指示第一应用平台的第一算力值；获取第二信息，第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；基于预设的换算规则，根据第一应用平台的第一信息，对第二信息进行换算，得到第三信息；根据目标模型的目标性能参数，在第三信息中确定目标模型的计算量；根据目标模型的计算量，在预设的超网络中搜索得到目标模型。通过根据第一应用平台的第一信息，对第二信息指示的模型的计算量与性能参数的对应关系进行换算，使得第三信息可以准确的指示所述第一应用平台在运行不同计算量的模型时的性能参数；以及基于第三信息，根据目标模型的目标性能参数确定目标模型的计算量，以便在预设的超网络中搜索得到目标模型；得到的目标模型在第一应用平台应用时，能够充分利用第一应用平台的计算能力，且第一应用平台的计算能力能够保证目标模型具有较高的运行效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种神经网络结构搜索方法的流程示意图；

图2是一实施方式中AutoML平台的架构示意图；

图3是一实施方式中神经网络的架构示意图；

图4是一实施方式中神经网络结构搜索方法应用场景的示意图；

图5是一实施方式中第二信息的示意图；

图6是本申请一实施例提供的一种模型发布方法的流程示意图；

图7是本申请实施例提供的一种电子设备的示意性框图；

图8是一实施方式中电子设备与终端设备进行数据交互的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请实施例提供的一种神经网络结构搜索方法的流程示意图。所述神经网络结构搜索方法可以应用在电子设备，如终端设备或服务器中，用于模型等过程；模型可以称为AI(Artificial Intelligence，人工智能)模型；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

神经网络结构搜索(neural architecture search，NAS)能够自动生成较优甚至最优的神经网络结构，一般来说，通过NAS得到的神经网络结构将会运行在一些资源受限的设备上。若NAS得到的神经网络结构的资源需求过大，则目标设备将不能正常运行该神经网络结构，这会导致需要重新进行NAS，进而导致NAS效率不高；若NAS得到的神经网络结构的资源需求过小，则无法充分利用设备的计算能力，会限制到模型的准确性。

在一些实施方式中，神经网络结构搜索方法应用在自动机器学习(automaticmachinelearning，AutoML)平台。

图2为一种AutoML平台的架构示意图。如图2所示，AutoML平台可以为用户提供数据处理及归档服务、模型训练(train)服务、模型评估(evaluate)服务、模型管理服务、模型超参调优(hyper parameter tuning)服务、模型自动生成(AutoNet)服务。其中，AutoNet服务可以为用户自动生成AI模型。

AutoNet服务可以通过AI模型生成系统实现。AI模型生成系统可以使用AI模型搜索算法进行AI模型的搜索，以生成满足用户的任务目标的目标AI模型。例如：可以使用神经网络搜索(neural architecture search，NAS)技术或者高效率神经网络搜索(efficientneural architecture search，ENAS)技术生成目标神经网络模型。NAS和ENAS是神经网络领域的新兴技术，可以应用强化学习、遗传算法等技术，针对特定场景从0搜索生成满足任务目标的目标神经网络模型。即，能够应用特定场景的样本数据，自动搜索完成目标神经网络模型的设计。使用者无需理解神经网络模型的原理，即可完成样本数据的特征提取，神经网络模型创建、优化和性能评估，获得满足其应用场景需求(即任务目标)的目标神经网络模型，降低了神经网络技术的使用门槛。

在一些实施方式中，AI模型生成系统要实现生成一个满足用户需求的AI模型，需要包括以下三个方面：

方面1：搜索空间——包括所有生成AI模型的模块或模块的组合。其中，每个模块用于实现一种操作。多个模块通过某种组合连接形成一个初始候选AI模型，该初始候选AI模型可以包括多个节点，每个节点包括至少一个模块(block)。

以AI模型为神经网络模型为例，神经网络模型是一种模仿生物神经网络(即动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型。图3为神经网络的架构示意图。如图3所示，神经网络的架构主要由神经元以及神经元之间的连接组成。神经元是神经网络最基本的单元，图3中的每个○表示一个神经元。每一个神经元可以和其他一个或多个神经元连接，形成一个网络。也可以说，神经网络是由大量的、简单的神经元广泛地互相连接而形成的复杂网络。

示例性的，神经网络可以包括输入层、输出层和隐藏层。其中，输入层的每个神经元可接收样本数据中各种不同的特征信息。即，输入层只从外部环境接收信息，输入层的每个神经元相当于自变量，不做任何计算，只为下一层传递信息。介于输入层和输出层之间的隐藏层可以有至少一个，即，一个神经网络可以有多层隐藏层，图3是以一层隐藏层为例的神经网络。隐藏层用于分析信息，隐藏层的每个神经元计算时所使用的函数联系上一层变量和下一层变量，使其更配适数据。最后，输出层生成最终结果。例如，在分类神经网络中，输出层的每个神经元对应某一种特定的分类。

目前，常见的隐藏层的操作有：卷积、池化(pooling)、全连接等。用于实现卷积操作的隐藏层可以称为卷积层，卷积层主要用于进行特征提取。常见的卷积操作有3*3卷积，5*5卷积等。用于实现池化操作的隐藏层可以称为池化层，池化层主要用于对特征进行压缩，简化神经网络计算的复杂度。用于实现全连接操作的隐藏层可以称为全连接层，全连接层主要用于连接所有的特征。

在该示例下，上述所说的初始候选AI模型所包括的节点可以相当于神经网络中的一组神经元，每个节点包括至少一个模块，每个模块用于实现一种操作，例如，3*3卷积、5*5卷积、池化、全连接等。

方面2：搜索策略——生成初始候选AI模型的算法。

方面3：性能评估方法——评估候选AI模型性能的方法。这里所说的候选AI模型是指对初始候选AI模型训练后的得到的AI模型。应理解，候选AI模型与初始候选AI模型的结构一致，即候选AI模型可以包括多个节点，每个节点包括至少一个模块。

本申请实施例的神经网络结构搜索方法能够保证搜索得到满足目标设备的资源约束条件的模型，从而可以提高神经网络结构的搜索效率，以及得到的模型能够充分利用设备的计算能力，具有较高的运行效率。

示例性的，如图4所示，神经网络结构搜索方法应用在服务器时的场景示意图。服务器可以从终端设备获取第一应用平台的第一信息、目标模型的目标性能参数，服务器执行神经网络结构搜索方法生成目标模型，还可以将生成的目标模型发送给终端设备，以便终端设备进行模型测试或部署等操作。

如图1所示，本申请实施例的神经网络结构搜索方法包括步骤S110至步骤S150。

S110、获取第一应用平台的第一信息，所述第一信息用于指示所述第一应用平台的第一算力值。

示例性的，所述第一应用平台指的是神经网络结构搜索方法得到的目标模型将实际应用的平台。示例性的，可以将目标模型部署在第一应用平台上，用于对图像、文本、语音中的至少一种进行处理，当然也不限于此；举例而言，第一应用平台可以称为目标应用平台。

示例性的，所述第一应用平台的第一信息包括第一应用平台的型号，架构、核心数、标称算力中的至少一项,和/或第一应用平台的处理器的型号，架构、核心数、标称算力中的至少一项；第一应用平台的第一信息也可以称为第一应用平台的描述信息。其中处理器包括以下至少一种：CPU(Central Processing Unit，中央处理器)、GPU(GraphicsProcessing Unit，图形处理器)、DSP(Digital Signal Processor，数字信号处理器)、NPU(Neural-network Processing Units,嵌入式神经网络处理器)，当然也不限于此。

在一些实施方式中，所述第一信息中包括所述第一算力值，例如所述第一算力值可以为所述标称算力；或者可以根据所述第一信息确定对应的第一算力值，例如第一应用平台包括n个处理器核心，预先得到包括一个相同或相似处理器核心的平台的第一算力值，可以将该平台的第一算力值乘以n，得到所述第一应用平台对应的第一算力值，其中n是不为0的自然数。

示例性的，所述方法还包括：根据所述第一应用平台的标称算力值与算力利用率的乘积，确定所述第一应用平台的第一算力值，其中，所述标称算力值为所述第一信息指示的第一应用平台的标称算力值，所述算力利用率为所述第一应用平台对应的算力利用率。即根据所述第一信息指示的第一应用平台的标称算力值，与所述第一应用平台对应的算力利用率的乘积，确定所述第一信息指示的第一应用平台的第一算力值。可以理解的，所述第一算力值可以为第一应用平台在运行模型时实际能够利用的算力。所述第一应用平台的算力利用率为预设值，或者为经验值。

举例而言，预先获取若干平台在运行模型时算力利用率的分布规律，根据该分布规律确定所述第一应用平台对应的算力利用率，如为20％、25％或者30％。

示例性的，可以根据所述第一应用平台的第一信息获取相同类型或架构的平台在运行模型时的算力利用率，确定所述第一应用平台对应的算力利用率。

举例而言，所述第一算力值的单位是FLOPS(floating point operations persecond，每秒浮点运算次数)，是用于衡量硬件性能的指标。

S120、获取第二信息，所述第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数。

在一些实施方式中，所述第二信息是根据特定模型在特定设备上运行实测得出的实际运行能力得到的，可以用于指示硬件平台实际运行效率和运行特点，为模型选择和搜索提供算力依据。

在一些实施方式中，请参阅图4，第二信息可以是直接从终端设备获取的。提供第二信息的终端设备与提供第一信息的终端设备可以相同也可以不同。示例性的，准备若干不同计算量的模型，分别在所述第二应用平台上运行，得到运行时的性能参数，如处理时间和/或处理帧率，将性能参数和对应的计算量关联，即得到所述第二信息。从终端设备获取的第二信息例如可以存储在服务器本地，以便后续使用。

示例性的，所述若干不同计算量按照预设的flops(floating point operations，浮点运算数)梯度分布，计算量可以用于衡量算法/模型的复杂度。

示例性的，准备若干不同计算量的模型，分别在所述第二应用平台上运行，得到处理若干数据的实际运行时间，得到每帧数据的处理时间，根据每帧数据的处理时间可以得到所述处理帧率。

示例性的，所述第二信息可以以算力表的形式存储，如表1所示：

表1 第二信息

示例性的，准备若干不同计算量的模型，分别在不同的第二应用平台上运行，得到不同第二应用平台对应的第二信息。

在另一些实施方式中，第二信息也可以是根据从终端设备获取的实测数据经过拟合等预设处理得到的。得到的第二信息例如可以存储在服务器本地，以便后续使用。

示例性的，请参阅图5，坐标系中的曲线a(或曲线a’)、曲线b、曲线c表示不同的第二应用平台对应的第二信息。

在一些实施方式中，所述获取第二信息，包括：基于预设的第二信息与应用平台的对应关系，根据所述第一应用平台的第一信息，确定所述第一应用平台对应的第二信息。

示例性的，所述第二信息对应的第二应用平台与所述第一应用平台相同，或者存在预设的关联关系。

示例性的，第二应用平台与所述第一应用平台的关联关系，可以根据平台的型号，架构、核心数、标称算力中的至少一项,和/或平台的处理器的型号，架构、核心数、标称算力中的至少一项确定，例如可以获取应用平台的归类表指示应用平台之间的关联关系，同一类别中的应用平台之间存在关联关系。举例而言，所述第二信息对应的第二应用平台与所述第一应用平台的处理器同属达芬奇架构，只是核心数存在区别，则可以确定该第二应用平台与所述第一应用平台存在预设的关联关系。

举例而言，应用平台之间的关联关系可以用表2表示：

表2 应用平台之间的关联关系

应用平台类别	处理器为CPU	处理器为GPU	处理器为NPU
				应用平台	A、B	C、D、E	F

在一些实施方式中，准备若干模型类型相同，不同计算量的模型，分别在第二应用平台上运行，得到该模型类型对应的第二信息。示例性的，所述获取第二信息，包括：根据目标模型的模型类型，如任务类型和/或结构类型，确定所述目标模型对应的第二信息；其中，所述第二信息对应的模型类型与所述目标模型相同，或者存在预设的关联关系。

示例性的，存在所述预设的关联关系的模型的任务类型相同，和/或结构类型相同。举例而言，所述第二信息对应的模型类型与所述目标模型的任务类型均是分类或检测，和/或结构类型均为SSD结构或RetinaNet结构。

示例性的，所述获取第二信息，包括：根据所述第一应用平台的第一信息，以及目标模型的模型类型，确定所述第二信息。

举例而言，第二信息与第一应用平台的第一信息，以及模型类型的对应关系可以用表3表示：

表3 模型类型与第二信息的对应关系

在一些实施方式中，所述获取第二信息，包括：获取所述第二应用平台在运行多个不同计算量的模型时的性能参数；根据所述模型的计算量和对应的性能参数，拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。

示例性的，所述拟合包括但不限于回归、插值、逼近中的至少一种，可以使得第二信息的数据更多，能够覆盖更多计算量的模型对应的性能参数。因此，可以通过实测若干不同计算量的模型运行时的性能参数，得到没有实测的计算量的模型运行时的性能参数。

示例性的，拟合得到计算量-性能参数曲线，根据该计算量-性能参数曲线可以确定所述连续范围内任意计算量的模型对应的性能参数。举例而言，如图5所示，圆圈表示实测某一第二应用平台得到的若干不同计算量的模型运行时的性能参数，实线曲线a表示拟合得到的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数。

示例性的，可以通过最小二乘法等拟合得到计算量-性能参数曲线，以使所述实测的点与拟合得到的曲线之间的距离之和/平方和最小。举例而言，通过最小二乘法，可以根据多于两个的点拟合确定直线或非直线的曲线。

在一些实施方式中，在所述拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数之后，所述方法还包括：获取所述第二应用平台在运行测试模型时的性能参数；根据所述测试模型的计算量和对应的性能参数，修正拟合得到的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数；所述将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息，包括：将修正后的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息，以提高第二信息的准确性。

请参阅图5，在拟合得到实线曲线a之后，实测新获取的模型在所述第二应用平台上运行时的处理帧率，得到新的实测点，根据该新的实测点，修正该实线曲线a，得到虚线曲线a’。示例性的，所述新获取的模型的计算量可以根据实际应用最广泛的模型的计算量确定，以使修正后的结果能够更准确的体现模型的性能参数与计算量之间的关系。

示例性的，可以对待修正的曲线进行平移和/或旋转，以使平移和/或旋转后的曲线覆盖至少一个实测点，和/或使所有的实测的点与修正后的曲线之间的距离之和/平方和最小，当然也不限于此。

S130、基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息。

受限于实测条件，获取第二信息的第二应用平台是有限的，即有些第二应用平台由于条件限制未能实测。通过基于所述换算规则对第二应用平台的第二信息进行换算，换算结果可以作为所述第一应用平台的第二信息。

在一些实施方式中，所述基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息，包括：根据第一比值，对所述第二信息进行换算，得到第三信息，其中，所述第一比值是所述第一信息指示的第一应用平台的第一算力值，与所述第二信息中第二应用平台的第二算力值的比值；即根据所述第一信息指示的第一应用平台的第一算力值，与所述第二信息中第二应用平台的第二算力值的比值，对所述第二信息进行换算，得到第三信息。

示例性的，当所述第一应用平台与所述第二信息对应的第二应用平台相同，或者存在预设的关联关系，如架构相同时，根据所述第一算力值与所述第二算力值的比值，对所述第二信息进行换算。举例而言，所述第一算力值与所述第二算力值均为标称算力值；或者所述第一算力值为标称算力值与算力利用率的乘积，所述第二算力值为实际测得的实际使用的算力值。

示例性的，所述性能参数包括处理帧率，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理帧率乘以所述第一比值。举例而言，所述第一应用平台具有四个处理器核心，所述第二信息对应的第二应用平台是单个相同的处理器核心，则所述比值是4，根据换算前后的第二信息可以确定同样的模型在两种平台上运行，第一应用平台的处理帧率可以达到单核平台的4倍。

示例性的，所述性能参数包括处理时间，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理时间除以所述第一比值。举例而言，所述第一应用平台具有四个处理器核心，所述第二信息对应的第二应用平台是单个相同的处理器核心，则所述比值是4，根据换算前后的第二信息可以确定同样的模型在两种平台上运行，第一应用平台处理单帧数据的处理时间可以达到单核平台的四分之一。

S140、获取目标模型的目标性能参数，根据所述目标性能参数在第三信息中确定所述目标模型的计算量。

示例性的，可以根据所述目标性能参数，在第三信息中确定所述目标模型的计算量。举例而言，在终端设备的显示装置显示需求获取界面，用户可以在需求获取界面输入目标模型的目标性能参数。可以理解的，目标模型表示用户需要的模型。

在一些实施方式中，需求获取界面可以设置的业务需求包括以下至少一种：应用场景、任务类型、第一应用平台、目标性能参数。从而终端设备的用户可以根据需要设定业务需求，以便服务器执行所述神经网络结构搜索方法，得到符合用户需要的目标模型，生成的目标模型更有针对性。

示例性的，所述根据所述目标性能参数在第三信息中确定所述目标模型的计算量，包括：基于第三信息中计算量与性能参数的对应关系，确定所述目标性能参数对应的计算量为所述目标模型的计算量。

示例性的，基于第三信息，可以确定所述目标性能参数对应的计算量，根据该计算量可以确定所述目标模型的计算量。例如所述目标模型的计算量为第三信息中与所述目标处理帧率对应的计算量，或者所述目标模型的计算量为第三信息中与所述目标处理帧率对应的计算量的±10％或±5％，当然也不限于此。可以理解的，步骤S140确定的目标模型的计算量，可以为一个值也可以为一个范围。

示例性的，基于换算后的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，确定所述目标性能参数对应的计算量。请参阅图5，可以确定目标处理帧率为25时模型的计算量。

示例性的，基于换算后的离散的计算量与性能参数的对应关系，通过插值等方式确定所述目标性能参数对应的计算量。例如确定多个实测的计算量对应的性能参数中，与所述目标性能相邻的性能参数对应的计算量；以及根据与所述目标性能相邻的性能参数对应的计算量确定所述目标性能参数对应的计算量。

S150、根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

示例性的，所述目标模型可以是用于对图像进行分类的神经网络，也可以是用于对图像进行分割的神经网络，或者可以是用于对图像进行检测的神经网络，或者可以是用于对图像进行识别的神经网络，或者可以是用于生成指定图像的神经网络，或者，可以是用于对文本进行翻译的神经网络，或者，可以是用于对文本进行复述的神经网络，或者可以是用于生成指定文本的神经网络，或者可以是用于对语音进行识别的神经网络，或者可以是用于对语音进行翻译的神经网络，或者可以是用于生成指定语音的神经网络等。从另一个维度来说，所述目标模型可以包括但不限于卷积目标模型或循环目标模型等。

示例性的，可以基于AutoML(自动化机器学习技术)系统，根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。举例而言，基于搜索控制网络，在所述超网络对应的网络结构向量空间中搜索得到目标网络结构，根据搜索得到的网络结构得到所述目标模型。其中，搜索控制网络又可称为控制器(controller)，例如可以使用LSTM神经网络设置，当然也不限于此，如也可使用RNN神经网络设置。搜索控制网络用于在网络结构向量空间中确定若干网络单元和所述若干网络单元之间的连接，得到所述网络结构。

其中，超网络(supernet)是由多个网络模型通过权重共享的方式组合而成的网络模型。权重共享(weights sharing)，是将网络结构向量空间中所有网络结构的权重共享，来达到加速搜索的效果。使用权重共享策略将网络结构向量空间中不同的网络结构的权重共享复用，可以提高搜索效率。

在一些实施方式中，所述根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型，包括：根据所述目标模型的计算量，在预训练的超网络中搜索得到若干模型，所述模型包括预训练权重；根据训练数据集，分别对各所述模型进行训练，得到若干训练后的模型；以及在所述若干训练后的模型中确定所述目标模型。

示例性的，在imagenet数据集、coco数据集等数据集上训练超网络，并保存超网络及训练后的权重，得到预训练的超网络；其中，imagenet数据集为主要用来做分类任务的数据集，coco数据集为主要用来做检测任务的数据集。在预训练的超网络中搜索得到的模型包括预训练的权重，可以节省模型的训练时间。举例而言，当需要在新的硬件平台部署新的模型时，超网络可以直接加载保存的预训练的权重，无需额外的训练时间和资源。

示例性的，搜索控制网络根据所述目标模型的计算量，在预训练的超网络中搜索得到若干网络结构，根据各所述网络结构，以及所述超网络中各所述网络结构的权重可以得到所述若干模型。

通过基于训练数据集对各所述模型进行训练，使得训练后的模型能够更好的适应下游任务，降低或避免搜索得到的网络结构在下游任务的表现存在的较大偏差。

可选的，将搜索得到若干网络结构在下游任务的训练数据集上进行快速训练，例如当通常的训练需要训练n个epoch(周期)时，快速训练则仅训练n/m个epoch，快速训练的其他训练参数和训练方式和通常训练保持一致，其中n、m均是不为零的自然数，且n大于m。通过共享超网络的预训练权重，可以降低搜索得到的网络模型的训练计算量，节省时间和资源。

示例性的，可以根据验证数据集，分别确定各所述训练后的模型的模型性能；根据各所述训练后的模型的模型性能，在所述若干模型中确定所述目标模型，或者在所述若干训练后的模型中确定所述目标模型。

举例而言，利用下游任务的验证数据集测试k个模型在快速训练后的表现，可以将其中表现最好的模型确定为所述目标模型，所述目标模型的权重可以为所述超网络的预训练权重，或者为基于所述训练数据集训练后的权重。

本申请实施例提供的神经网络结构搜索方法，包括：获取第一应用平台的第一信息，第一信息用于指示第一应用平台的第一算力值；获取第二信息，第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；基于预设的换算规则，根据第一应用平台的第一信息，对第二信息进行换算，得到第三信息；根据目标模型的目标性能参数，在第三信息中确定目标模型的计算量；根据目标模型的计算量，在预设的超网络中搜索得到目标模型。通过根据第一应用平台的第一信息，对第二信息指示的模型的计算量与性能参数的对应关系进行换算，使得第三信息可以准确的指示所述第一应用平台在运行不同计算量的模型时的性能参数；以及基于第三信息，根据目标模型的目标性能参数确定目标模型的计算量，以便在预设的超网络中搜索得到目标模型；得到的目标模型在第一应用平台应用时，能够充分利用第一应用平台的计算能力，且第一应用平台的计算能力能够保证目标模型具有较高的运行效率。

在一些实施方式中，本申请实施例的神经网络结构搜索方法，通过在预训练的超网络中搜索得到目标模型，可以为下游训练任务提供更适合的网络模型以及相应的预训练权重，且预训练权重可以直接获取，可以减少时间和资源的消耗。

在一些实施方式中，本申请实施例的神经网络结构搜索方法，通过根据所述模型的计算量和对应的性能参数，拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息，基于所述第二信息可以更准确的根据目标模型的目标性能参数确定目标模型的计算量，避免现有的网络模型通常只能覆盖个别计算量使得确定的目标模型不能很好的适用于第一应用平台的缺陷。

示例性的，神经网络结构搜索方法包括：获取所述第二应用平台在运行多个不同计算量的模型时的性能参数；根据所述模型的计算量和对应的性能参数，拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数；还可以根据所述第二应用平台在运行测试模型时的性能参数和测试模型的计算量修正拟合得到的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，将修正后的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。获取第一应用平台的第一信息，根据所述第一信息对所述第二信息进行换算，得到第三信息；以及根据目标模型的目标性能参数，在第三信息中确定所述目标模型的计算量；之后可以根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

示例性的，神经网络结构搜索方法包括以下步骤：

步骤一、准备若干不同计算量，如模型计算量分别为1050000、210000、105000、……、35000flops的模型，分别在所述第二应用平台，如平台C、平台D、平台E上运行，得到至少一种第二应用平台运行这些模型时的性能参数，如表1所示，受限于实测条件，通常只能实测较少数量的模型的性能参数。

步骤二、根据表1所示的计算量和性能参数的对应关系，可以拟合得到如图5所示的计算量-性能参数曲线，该曲线可以指示所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，可以得到没有实测的计算量的模型运行时的性能参数。

步骤三、基于测试模型的测试结果可以对计算量-性能参数曲线进行修正，可以提高第二应用平台上模型的性能参数与计算量之间的关系。所述第二信息例如包括修正后的计算量-性能参数曲线。

通过在不同的第二应用平台上对不同类型的模型进行实测、拟合以及修正，可以得到不同的第二应用平台和/或不同类型的模型对应的第二信息，如表2或表3所示。

步骤四、在从终端设备获取到第一应用平台的第一信息以及目标模型的目标性能参数之后，可以根据第一应用平台的第一信息和/或目标模型的类型，确定第一应用平台对应的第二信息。请参阅表3，当第一信息指示第一应用平台为平台C，且目标模型为SSD结构的检测模型时，则获取第一应用平台对应的第二信息Ⅳ；例如，第二信息Ⅳ为实测模型在第二应用平台上的性能参数得到的，第二应用平台包括平台C、平台D、平台E中至少一种。第二信息Ⅳ例如包括图5中的虚线曲线a’。

步骤五、根据所述第一信息对所述第二信息进行换算，得到第三信息。举例而言，第二信息Ⅳ为实测模型在平台E上的性能参数得到的，平台E的具有一个处理器核心，第一信息指示第一应用平台有四个相同的处理器核心，则可以对所述第二信息Ⅳ进行换算；例如将图5中的虚线实线的纵坐标乘以4，得到第三信息。

步骤六、根据目标模型的目标性能参数，在第三信息中确定所述目标模型的计算量。举例而言，请参阅图5中虚线曲线a’，当目标模型的目标性能参数包括目标处理帧率等于25时，则可以根据第三信息确定目标模型的计算量，约为800000。

步骤七、根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。可以在步骤S150进行神经网络结构搜索时，搜索该计算量的模型。搜索得到的模型例如为多个，可以通过对这些模型进行快速训练，基于验证数据集确定快速训练后各模型的模型性能，选择模型性能较高的模型为所述目标模型。

请结合上述实施例参阅图6，图6是本申请另一实施例提供的一种模型发布方法的流程示意图。所述模型发布方法可以应用在电子设备，如终端设备或服务器中，用于生成模型以及分发模型等过程；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

示例性的，如图4所示为模型发布方法应用在服务器时的场景示意图。服务器可以与终端设备进行数据交互，执行神经网络结构搜索方法生成目标模型，还可以根据终端设备的指令将生成的目标模型发送到目标设备。目标设备可以是所述终端设备，也可以是终端设备之外的其他电子设备。

如图6所示，本申请实施例的模型发布方法包括步骤S210至步骤S220。

S210、根据前述的神经网络结构搜索方法确定目标模型。

具体的，所述根据神经网络结构搜索方法确定目标模型，包括：获取第一应用平台的第一信息，所述第一信息用于指示所述第一应用平台的第一算力值；获取第二信息，所述第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息；获取目标模型的目标性能参数，根据所述目标性能参数在第三信息中确定所述目标模型的计算量；根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

S220、根据终端设备的指令将所述目标模型发送到目标设备。

目标设备可以是所述终端设备，也可以是终端设备之外的其他电子设备。示例性的，服务器可以通过与终端设备的交互，获取终端设备指定的目标设备，所述目标设备为用于部署所述目标模型的电子设备，如手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等，从而服务器可以将所述目标模型部署到所述目标设备，以使目标设备能够应用所述目标模型执行预设任务，如图像分类等。

请结合上述实施例参阅图7，图7是本申请实施例提供的电子设备600的示意性框图。

示例性的，电子设备可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

请参阅图8，电子设备600作为AutoML平台，可以与终端设备700进行数据交互，执行神经网络结构搜索方法生成目标模型，还可以根据终端设备700的指令将生成的目标模型发送到目标设备。目标设备可以是所述终端设备700，也可以是终端设备700之外的其他电子设备。示例性的，电子设备600可以从终端设备700获取第一应用平台的第一信息、目标模型的目标性能参数，电子设备600执行神经网络结构搜索方法生成目标模型，还可以将生成的目标模型发送给终端设备，以便终端设备进行模型测试或部署等操作。

该电子设备600包括处理器601和存储器602。

示例性的，处理器601和存储器602通过总线603连接，该总线603比如为I2C(Inter-integrated Circuit)总线。

具体地，处理器601可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。

具体地，存储器602可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

其中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现前述的神经网络结构搜索方法的步骤。

示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取第一应用平台的第一信息，所述第一信息用于指示所述第一应用平台的第一算力值；

获取第二信息，所述第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；

基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息；

获取目标模型的目标性能参数，根据所述目标性能参数在第三信息中确定所述目标模型的计算量；

根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

在一些实施方式中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现前述的模型发布方法的步骤。

示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：

根据前述的神经网络结构搜索方法确定目标模型；

根据终端设备的指令将所述目标模型发送到目标设备。

本申请实施例提供的电子设备的具体原理和实现方式均与前述实施例的神经网络结构搜索方法类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的神经网络结构搜索方法的步骤。

其中，所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种神经网络结构搜索方法，其特征在于，包括：

获取第一应用平台的第一信息，所述第一信息用于指示所述第一应用平台的第一算力值；

获取第二信息，所述第二信息用于指示第二应用平台在运行不同计算量的模型时的性能参数；

基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息；

获取目标模型的目标性能参数，根据所述目标性能参数在所述第三信息中确定所述目标模型的计算量；

根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型。

2.根据权利要求1所述的神经网络结构搜索方法，其特征在于，所述获取第二信息，包括：

获取所述第二应用平台在运行多个不同计算量的模型时的性能参数；

根据所述模型的计算量和对应的性能参数，拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数，将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。

3.根据权利要求2所述的神经网络结构搜索方法，其特征在于，在所述拟合得到所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数之后，所述方法还包括：

获取所述第二应用平台在运行测试模型时的性能参数；

根据所述测试模型的计算量和对应的性能参数，修正拟合得到的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数；

所述将所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息，包括：将修正后的所述第二应用平台在运行连续范围内任意计算量的模型时的性能参数作为所述第二信息。

4.根据权利要求1所述的神经网络结构搜索方法，其特征在于，所述基于预设的换算规则，根据所述第一应用平台的第一信息，对所述第二信息进行换算，得到第三信息，包括：

根据第一比值，对所述第二信息进行换算，得到第三信息，其中，所述第一比值是所述第一信息指示的第一应用平台的第一算力值，与所述第二信息中第二应用平台的第二算力值的比值。

5.根据权利要求4所述的神经网络结构搜索方法，其特征在于，所述方法还包括：

根据所述第一应用平台的标称算力值与算力利用率的乘积，确定所述第一应用平台的第一算力值，其中，所述标称算力值为所述第一信息指示的第一应用平台的标称算力值，所述算力利用率为所述第一应用平台对应的算力利用率。

6.根据权利要求4所述的神经网络结构搜索方法，其特征在于，所述获取第二信息，包括：

基于预设的第二信息与应用平台的对应关系，根据所述第一应用平台的第一信息，确定所述第一应用平台对应的第二信息。

7.根据权利要求4-6中任一项所述的神经网络结构搜索方法，其特征在于，所述性能参数包括处理时间，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理时间除以所述第一比值；或者

所述性能参数包括处理帧率，所述根据第一比值，对所述第二信息进行换算，包括：将所述第二信息中不同计算量对应的处理帧率乘以所述第一比值。

8.根据权利要求1-6中任一项所述的神经网络结构搜索方法，其特征在于，所述根据所述目标性能参数在所述第三信息中确定所述目标模型的计算量，包括：

基于所述第三信息中计算量与性能参数的对应关系，确定所述目标性能参数对应的计算量为所述目标模型的计算量。

9.根据权利要求1-6中任一项所述的神经网络结构搜索方法，其特征在于，所述根据所述目标模型的计算量，在预设的超网络中搜索得到所述目标模型，包括：

根据所述目标模型的计算量，在预训练的超网络中搜索得到若干模型，所述模型包括预训练权重；

根据训练数据集，分别对各所述模型进行训练，得到若干训练后的模型；

根据验证数据集，分别确定各所述训练后的模型的模型性能；

根据各所述训练后的模型的模型性能，在所述若干模型中确定所述目标模型，或者在所述若干训练后的模型中确定所述目标模型。

10.一种模型发布方法，其特征在于，包括：

根据权利要求1-9中任一项所述的神经网络结构搜索方法确定目标模型；

根据终端设备的指令将所述目标模型发送到目标设备。

11.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现：

如权利要求1-9中任一项所述的神经网络结构搜索方法的步骤；或者

如权利要求10所述的模型发布方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现：

如权利要求1-9中任一项所述的神经网络结构搜索方法的步骤；或者

如权利要求10所述的模型发布方法的步骤。

Images