CN111783951A

CN111783951A - 基于超网络的模型获取方法、装置、设备及存储介质

Info

Publication number: CN111783951A
Application number: CN202010606935.XA
Authority: CN
Inventors: 希滕; 张刚; 温圣召
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2020-10-16
Anticipated expiration: 2040-06-29
Also published as: CN111783951B

Abstract

本申请公开了基于超网络的模型获取方法、装置、设备及存储介质，涉及深度学习、计算机视觉和图像处理。具体实现方案为：获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同；基于至少两个超网络的参数，训练目标子网络，得到损失函数，目标子网络为随机从网络结构的搜索空间中选择的子网络；根据损失函数，更新至少两个超网络的参数；根据更新后的至少两个超网络，确定目标模型。在基于超网络的模型获取过程中通过自监督对超网络的参数的反向传播，来提升目标模型的性能，使得目标模型的精度较高，且处理图像的速度较快；进一步地，目标模型在硬件上的处理速度快就能使用较便宜的芯片，从而节省部署成本。

Description

基于超网络的模型获取方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能技术中的深度学习、计算机视觉和图像处理领域，尤其涉及一种基于超网络的模型获取方法、装置、设备及存储介质。

背景技术

随着深度学习的不断发展，其在众多领域都取得了巨大的成功，且逐渐向全自动机器学习发展。例如，神经网络结构搜索技术(Neural Architecture Search，简称：NAS)作为全自动机器学习的研究热点之一，通过设计高效的搜索方法，自动获取泛化能力强，硬件要求友好的神经网络，大量的解放了相关研究人员的创造力。

传统的NAS方法需要独立采样并评估模型结构的性能，这种方式会造成很大的性能开销。为降低性能开销，基于一步法(oneshot)的超网络训练方法得以研究。其中，超网络可以适用于多种不同的网络结构应用。基于oneshot的超网络训练方法的核心思想是通过参数共享的方式，训练一个网络结构，然后基于训练好的网络结构进行模型结构的自动搜索。

发明内容

本申请提供了一种基于超网络的模型获取方法、装置、设备及存储介质。

根据本申请的第一方面，提供了一种基于超网络的模型获取方法，包括：获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同；基于至少两个超网络的参数，训练目标子网络，得到损失函数，目标子网络为随机从网络结构的搜索空间中选择的子网络；根据损失函数，更新至少两个超网络的参数；根据更新后的至少两个超网络，确定目标模型。

根据本申请的第二方面，提供了一种基于超网络的模型获取装置，包括：

获取模块，用于获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同；

训练模块，用于基于至少两个超网络的参数，训练目标子网络，得到损失函数，目标子网络为随机从网络结构的搜索空间中选择的子网络；

更新模块，用于根据损失函数，更新至少两个超网络的参数；

确定模块，用于根据更新后的至少两个超网络，确定目标模型。

根据第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一项所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行如第一方面中任一项所述的方法。

根据本申请的技术在基于超网络的模型获取过程中通过自监督对超网络的参数的反向传播，来解决通过目前基于oneshot的超网络训练方式得到的超网络的性能与独立网络结构一致性差的问题，提升目标模型的性能，使得目标模型的精度较高，且处理图像的速度较快；进一步地，目标模型在硬件上的处理速度快就能使用较便宜的芯片，从而节省部署成本。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是网络结构的结构示意图；

图3是目标子网络的结构示意图；

图4是根据本申请第二实施例的示意图；

图5是根据本申请第三实施例的示意图；

图6是用来实现本申请实施例的基于超网络的模型获取方法的电子设备的框图；

图7是可以实现本申请实施例的一场景图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

最近几年，深度学习技术在很多方向上都取得了巨大的成功，深度学习技术中，神经网络结构的好坏对目标模型的效果有非常重要的影响。人工设计神经网络结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合，常规的随机搜索几乎不可行，因此NAS成为研究热点。

传统的NAS方法需要独立采样并评估模型结构的性能，这种方式会造成很大的性能开销。为性能开销，基于超网络的模型训练方法通过参数共享的方式，大大加速的模型结构的搜索过程。然而，一致性问题是所有基于超网络的模型训练方案最大的问题，如果不解决一致性问题会导致搜索结果与预期结果存在非常大的性能差异。其中，一致性问题具体为：当将基于超网络的训练方法得到目标模型应用于具体的场景时，经常使得目标模型无法达到该场景对应的独立网络结构的性能，二者存在性能差异，也就是说，目前基于超网络的训练方法得到目标模型的性能较差。

基于超网络的模型训练方案包括基于梯度的超网络训练方案和基于oneshot的超网络训练方案。本申请实施例旨在解决基于oneshot的超网络训练方案的一致性问题。

目前，基于oneshot的超网络训练方案在超网络训练过程中只训练一个网络结构，然后基于训练好的网络结构进行模型结构自动搜索。该方案由于在训练过程中缺乏监督信息，使得基于oneshot的超网络训练方案与单独训练超网络中的某个子网络的性能之间存在很大的性能差异。

针对上述问题，本申请提供一种基于超网络的模型获取方法、装置、设备及存储介质，核心思想是如何使得一致性可以约束超网络的采样或者参数的分布，具体通过在超网络训练过程中自监督对超网络的参数的反向传播(损失函数影响参数分布)，使得基于超网络搜索得到的目标模型，在单独训练时也具有很好的性能，解决一致性问题。

下面采用详细的实施例，来说明本申请实施例如何使得一致性可以约束超网络的采样或者参数的分布。

图1是根据本申请第一实施例的示意图。本实施例提供一种基于超网络的模型获取方法，该方法可以由基于超网络的模型获取装置执行，其中，基于超网络的模型获取装置可以具体为例如台式电脑、平板电脑、笔记本等具备一定算力的客户端或服务器或服务器集群(以下统称为“电子设备”)，或者，基于超网络的模型获取装置可以为电子设备内的芯片，等等。

如图1所示，该基于超网络的模型获取方法包括以下步骤：

S101、获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同。

具体地，对于同一网络结构，采用不同的参数对其进行初始化，可以得到多个超网络。因此，该步骤可以理解为：随机初始化一网络结构，得到至少两个超网络。

S102、基于至少两个超网络的参数，训练目标子网络，得到损失函数，目标子网络为随机从网络结构的搜索空间中选择的子网络。

参考图2，图2是网络结构的结构示意图。可见，图2以包含4个节点的网络结构为例进行示例。在图2中，节点0、节点1、节点2和节点3这四个节点之间的连接关系以及连接系数(或权重)是未知的，具体可通过训练过程确定。其中，图2所示网络结构对应子网络有多个，图3为其中一示例，这里将其作为目标子网络。

使用通过S101获取的至少两个超网络的参数，训练该目标子网络，得到损失函数。

S103、根据损失函数，更新至少两个超网络的参数。

应理解，该步骤是根据当前得到的损失函数，反向更新得到该损失函数的超网络的参数，已达到自监督的目的。将目前人工调参的过程，通过机器自动化实现，从而节省人力成本。

通过该步骤，可不断优化至少两个超网络，使其向目标模型靠拢。

S104、根据更新后的至少两个超网络，确定目标模型。

可以理解，随机初始化网络结构的初始参数不同，得到的超网络之间的性能相差也较大，因此，更新后的至少两个超网络与目标模型的差异也是未知的，需根据实际应用确定。

示例地，目标模型可能为更新后的至少两个超网络中的一个，或者，目标模型也可能是对更新后的至少两个超网络进一步处理后的得到的，具体根据实际情况确定。

本申请实施例中，首先获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同；然后，基于至少两个超网络的参数，训练目标子网络，得到损失函数，其中，目标子网络为随机从网络结构的搜索空间中选择的子网络；进一步地根据损失函数，更新至少两个超网络的参数；最后，根据更新后的至少两个超网络，确定目标模型。本申请实施例在基于超网络的模型获取过程中，通过自监督对超网络的参数的反向传播(损失函数影响参数分布)，来解决通过目前基于oneshot的超网络训练方式得到的超网络的性能与独立网络结构一致性差的问题，提升目标模型的性能，使得目标模型的精度较高，且处理图像的速度较快；进一步地，目前，训练得到的目标模型的核心竞争力是目标模型的精度以及目标模型在硬件上处理图像的速度，目标模型在硬件上处理图像的速度快就可以使用更便宜的芯片，从而节省大量的部署成本。

在上述实施例的基础上，一种实现方式中，上述基于至少两个超网络的参数，训练目标子网络，得到损失函数，可以包括：对于至少两个超网络，基于超网络的参数训练目标子网络，得到至少两个特征和至少两个损失函数；根据至少两个特征，获得至少一个差值损失函数。

示例地，以两个超网络为例，分别将两个超网络定义为超网络A和超网络B，可以基于超网络A的参数训练目标子网络，得到特征和损失函数；基于超网络B的参数训练目标子网络，得到特征和损失函数。具体地，使用训练图片经过基于超网络A的参数提取fc层前的特征层，对于分类任务这里特指软标签(soft label)，用f_A_s表示，其物理意义为基于超网络A的参数训练目标子网络s得到的特征f_A_s及任务损失L_A_s，L为损失(loss)，物理意义为基于超网络A的参数训练目标子网络s得到的损失函数；同理，使用训练图片经过基于超网络B的参数提取fc层前的特征层，对于分类任务这里特指软标签(soft label)，用f_B_s表示，物理意义为基于超网络B的参数训练目标子网络s得到的特征f_B_s，及任务损失L_B_s，L为损失，物理意义为基于超网络B的参数训练目标子网络s得到的损失函数。

以上，得到两个特征和两个损失函数。进一步地，根据这两个特征，获得一个差值损失函数。可选地，确定两个特征之间的距离，得到一个差值损失函数，即计算特征f_B_s与特征f_A_s之间的距离得到差值损失函数，该差值损失函数表示为L_AB_s或L_BA_s。

进一步地，S103、根据损失函数，更新至少两个超网络的参数，可以包括：对于至少两个超网络，根据超网络对应的损失函数和差值损失函数，更新超网络的参数。

一些实施例中，根据超网络对应的损失函数和差值损失函数，更新超网络的参数，可以包括：对超网络对应的损失函数和差值损失函数进行叠加处理，得到叠加后的损失函数；根据叠加后的损失函数，更新超网络的参数。仍以上述示例说明，将L_AB_s与L_A_s叠加，并用叠加后的损失函数更新超网络A的参数；将L_BA_s与L_B_s叠加，并用叠加后的损失函数更新超网络B的参数。

在上述基础上，S104、根据更新后的至少两个超网络，确定目标模型，可以包括：根据更新后的至少两个超网络的平均性能，搜索最优的模型结构为目标模型。根据更新后的至少两个超网络得到一个平均性能的网络结构，并进一步基于该训练好的网络结构进行模型结构的自动搜索，得到目标模型。

为使更新后的超网络性能较优，接下来引入迭代次数。

图4是根据本申请第二实施例的示意图。参考图4，在图1所示流程的基础上，S104之前，还可以包括以下步骤：

S401、确定迭代次数是否达到预设迭代次数。

若迭代次数达到预设迭代次数，则执行S104；若迭代次数未达到预设迭代次数，则重新获取目标子网络，并执行S102。

其中，预设迭代次数的大小是根据实际需要或历史经验设置的，本申请实施例不对其进行限制。

一些实施例中，上述基于超网络的模型获取方法还可以包括：

S402、输出目标模型。

例如，服务器为基于超网络的模型获取方法的执行主体，在经上述步骤获得目标模型后，发送目标模型给客户端，通过客户端的显示屏呈现目标模型给相关人员查看。

另外，在迭代次数达到预设迭代次数后，还可以输出训练好的两个超网络。

进一步地，以下介绍对目标模型的应用。

首先，获取待处理图像；然后，使用目标模型对待处理图像进行处理得到处理结果。也就是将待处理图像作为目标模型的输入，经目标模型处理后输出处理结果。可以理解，待处理图像可以是原始获取的图像，也可以是对原始图像进行一系列预处理后得到的图像，具体视实际情况而定，本申请实施例不对其进行限制。

相比通过传统方式获得的目标模型，本申请实施例获得的目标模型的精度更高，且处理图像的速度更快，从而可提升目标模型的核心竞争力。

图5是根据本申请第三实施例的示意图。该实施例提供一种基于超网络的模型获取装置。如图5所示，该基于超网络的模型获取装置500包括：获取模块501、训练模块502、更新模块503和确定模块504。其中：

获取模块501，用于获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同。

训练模块502，用于基于至少两个超网络的参数，训练目标子网络，得到损失函数，目标子网络为随机从网络结构的搜索空间中选择的子网络。

更新模块503，用于根据损失函数，更新至少两个超网络的参数。

确定模块504，用于根据更新后的至少两个超网络，确定目标模型。

本实施例提供的基于超网络的模型获取装置，可用于执行上述的方法实施例，其实现方式和技术效果类似，本实施例此处不再赘述。

一些实施例中，训练模块502可具体用于：对于至少两个超网络，基于超网络的参数训练目标子网络，得到至少两个特征和至少两个损失函数；根据至少两个特征，获得至少一个差值损失函数。

进一步地，训练模块502在用于根据至少两个特征，获得至少一个差值损失函数时，可具体为：确定至少两个特征之间的距离，得到至少一个差值损失函数。

可选地，更新模块503可具体用于：对于至少两个超网络，根据超网络对应的损失函数和差值损失函数，更新超网络的参数。

更进一步地，更新模块503在用于根据超网络对应的损失函数和差值损失函数，更新超网络的参数时，可具体为：对超网络对应的损失函数和差值损失函数进行叠加处理，得到叠加后的损失函数；根据叠加后的损失函数，更新超网络的参数。

一些实施例中，确定模块504可具体用于：根据更新后的至少两个超网络的平均性能，搜索最优的模型结构为目标模型。

在上述实施例的基础上，可选地，确定模块504还可以用于：在根据更新后的至少两个超网络，确定目标模型之前，确定迭代次数是否达到预设迭代次数；若迭代次数达到预设迭代次数，则执行上述根据更新后的至少两个超网络，确定目标模型。

另外，确定模块504还可以用于：在迭代次数未达到预设迭代次数时，触发训练模块502重新获取目标子网络，并执行上述基于至少两个超网络的参数，训练目标子网络，得到损失函数。

进一步地，基于超网络的模型获取装置500还可以包括：输出模块(未示出)，用于输出目标模型。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是用来实现本申请实施例的基于超网络的模型获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的基于超网络的模型获取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于超网络的模型获取方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于超网络的模型获取方法对应的程序指令/模块(例如，附图5所示的获取模块501、训练模块502、更新模块503和确定模块504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于超网络的模型获取方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用来实现基于超网络的模型获取方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至执行基于超网络的模型获取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用来实现基于超网络的模型获取方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

图7是可以实现本申请实施例的一场景图。如图7所示，服务器702用于执行如上任一方法实施例所述的基于超网络的模型获取方法，服务器702与客户端701进行交互，服务器702在执行完上述基于超网络的模型获取方法之后，输出目标模型给客户端701显示。

在图7中，客户端701以计算机为例说明，但本申请实施例不以此为限制。

根据本申请实施例的技术方案，首先获取至少两个超网络，至少两个超网络对应的网络结构相同，至少两个超网络的参数不同；然后，基于至少两个超网络的参数，训练目标子网络，得到损失函数，其中，目标子网络为随机从网络结构的搜索空间中选择的子网络；进一步地根据损失函数，更新至少两个超网络的参数；最后，根据更新后的至少两个超网络，确定目标模型。本申请实施例在基于超网络的模型获取过程中，通过自监督对超网络的参数的反向传播(损失函数影响参数分布)，来解决通过目前基于oneshot的超网络训练方式得到的超网络的性能与独立网络结构一致性差的问题，提升目标模型的性能，使得目标模型的精度较高，且处理图像的速度较快；进一步地，目前，训练得到的目标模型的核心竞争力是目标模型的精度以及目标模型在硬件上处理图像的速度，目标模型在硬件上处理图像的速度快就可以使用更便宜的芯片，从而节省大量的部署成本。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种基于超网络的模型获取方法，包括：

获取至少两个超网络，所述至少两个超网络对应的网络结构相同，所述至少两个超网络的参数不同；

基于所述至少两个超网络的参数，训练目标子网络，得到损失函数，所述目标子网络为随机从所述网络结构的搜索空间中选择的子网络；

根据所述损失函数，更新所述至少两个超网络的参数；

根据更新后的至少两个超网络，确定目标模型。

2.根据权利要求1所述的方法，其中，所述基于所述至少两个超网络的参数，训练目标子网络，得到损失函数，包括：

对于所述至少两个超网络，基于所述超网络的参数训练所述目标子网络，得到至少两个特征和至少两个损失函数；

根据所述至少两个特征，获得至少一个差值损失函数。

3.根据权利要求2所述的方法，其中，所述根据所述至少两个特征，获得至少一个差值损失函数，包括：

确定所述至少两个特征之间的距离，得到所述至少一个差值损失函数。

4.根据权利要求2所述的方法，其中，所述根据所述损失函数，更新所述至少两个超网络的参数，包括：

对于所述至少两个超网络，根据所述超网络对应的损失函数和差值损失函数，更新所述超网络的参数。

5.根据权利要求4所述的方法，其中，所述根据所述超网络对应的损失函数和差值损失函数，更新所述超网络的参数，包括：

对所述超网络对应的损失函数和差值损失函数进行叠加处理，得到叠加后的损失函数；

根据所述叠加后的损失函数，更新所述超网络的参数。

6.根据权利要求1所述的方法，其中，所述根据更新后的至少两个超网络，确定目标模型，包括：

根据更新后的至少两个超网络的平均性能，搜索最优的模型结构为所述目标模型。

7.根据权利要求1至6中任一项所述的方法，其中，所述根据更新后的至少两个超网络，确定目标模型之前，还包括：

确定迭代次数是否达到预设迭代次数；

若迭代次数达到预设迭代次数，则执行所述根据更新后的至少两个超网络，确定目标模型。

8.根据权利要求7所述的方法，其中，还包括：

若迭代次数未达到预设迭代次数，则重新获取目标子网络，并执行所述基于所述至少两个超网络的参数，训练目标子网络，得到损失函数。

9.根据权利要求1至6中任一项所述的方法，其中，所述根据更新后的至少两个超网络，确定目标模型之后，还包括：

输出所述目标模型。

10.一种基于超网络的模型获取装置，包括：

获取模块，用于获取至少两个超网络，所述至少两个超网络对应的网络结构相同，所述至少两个超网络的参数不同；

训练模块，用于基于所述至少两个超网络的参数，训练目标子网络，得到损失函数，所述目标子网络为随机从所述网络结构的搜索空间中选择的子网络；

更新模块，用于根据所述损失函数，更新所述至少两个超网络的参数；

11.根据权利要求10所述的装置，其中，所述训练模块具体用于：

根据所述至少两个特征，获得至少一个差值损失函数。

12.根据权利要求11所述的装置，其中，所述训练模块在用于根据所述至少两个特征，获得至少一个差值损失函数时，具体为：

13.根据权利要求11所述的装置，其中，所述更新模块具体用于：

14.根据权利要求13所述的装置，其中，所述更新模块在用于根据所述超网络对应的损失函数和差值损失函数，更新所述超网络的参数时，具体为：

根据所述叠加后的损失函数，更新所述超网络的参数。

15.根据权利要求10所述的装置，其中，所述确定模块具体用于：

16.根据权利要求10至15中任一项所述的装置，其中，所述确定模块还用于：

在根据更新后的至少两个超网络，确定目标模型之前，确定迭代次数是否达到预设迭代次数；

17.根据权利要求16所述的装置，其中，所述确定模块还用于：

若迭代次数未达到预设迭代次数，则触发所述训练模块重新获取目标子网络，并执行所述基于所述至少两个超网络的参数，训练目标子网络，得到损失函数。

18.根据权利要求10至15中任一项所述的装置，其中，还包括：

输出模块，用于输出所述目标模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1至9中任一项所述的方法。