CN110956262A

CN110956262A - 超网络训练方法及装置、电子设备、存储介质

Info

Publication number: CN110956262A
Application number: CN201911102261.3A
Authority: CN
Inventors: 初祥祥; 张勃; 许瑞军; 王斌
Original assignee: Beijing Xiaomi Intelligent Technology Co Ltd
Current assignee: Beijing Xiaomi Intelligent Technology Co Ltd
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2020-04-03
Also published as: US20210142166A1; KR20210058619A; JP2021077322A; KR102387020B1; EP3825923A1; JP7073437B2; US11443189B2

Abstract

本公开是关于一种超网络训练方法及装置、电子设备、存储介质。一种超网络训练方法，包括：通过获取多路径神经子网络，对所述多路径神经子网络进行训练，以更新各子结构的权重参数；将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；在超网络收敛时结束训练并得到目标超网络。这样，在单条路径表征能力有限的情况下，本实施例中利用多路径神经子网络训练超网络，有利于提升超网络的表征能力。

Description

超网络训练方法及装置、电子设备、存储介质

技术领域

本公开涉及深度学习技术领域，尤其涉及一种超网络训练方法及装置、电子设备、存储介质。

背景技术

目前，现有神经网络架构搜索(NAS)中，通常采用单路径神经子网络来实现，即从超网络中每一层仅采样一个子模块，并将采样的子模块顺序串联，可以组成一个单路径神经子网络；然后，从超网络中共享各层子模块的参数；之后，对该单路径神经子网络进行单步训练。在该单路径神经子网络训练结束后，将各子模块的参数再共享给超网络。这样，循环“采样-共享参数-单步训练-更新参数”步骤，直到超网络训练收敛。

上述神经网络架构搜索方案中，每次采样训练的单路径神经子网络中，为保证所采样子模块的公平性，每层中只能采样一个子结构，但是这样会限制神经网络的表征能力。

发明内容

本公开提供一种超网络训练方法及装置、电子设备、存储介质，以解决相关技术的不足。

根据本公开实施例的第一方面，提供一种超网络训练方法，所述方法包括：

基于预先构建的初始超网络获取多路径神经子网络；

对所述多路径神经子网络进行训练，以更新各子结构的权重参数；

将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；

判断所述初始超网络是否收敛，若不收敛，则返回执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。

可选地，所述基于预先构建的初始超网络获取多路径神经子网络包括：

针对预先构建的超网络的各层，从所述各层中采样出至少一个子结构，并增加用于对所述至少一个子结构的输出结果进行相加的输出端，得到包含所述至少一个子结构和所述输出端的子结构单元；

按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络；

对所述初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络。

可选地，从所述各层中采样出至少一个子结构的步骤中，采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

可选地，所述对所述多路径神经子网络进行训练，包括：

获取训练集合中第一数量个训练样本；

将所述训练样本依次输入到所述多路径神经子网络，以训练所述多路径神经子网络，直至所述第一数量的训练样本全部使用。

可选地，所述方法还包括：

基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果；

根据所述评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景。

可选地，所述基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果包括：

基于所述目标超网络，获取多个多路径神经子网络；

将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构；

对所述多个多路径神经子网络进行评估，得到各个多路径神经子网络的评估结果。

可选地，所述目标场景包括但不限于以下至少一种：图像分类、目标检测、语义分割、文本转语音、自然语言翻译、语音增强。

根据本公开实施例的第二方面，提供一种超网络训练装置，包括：

子网络获取模块，用于基于预先构建的初始超网络获取多路径神经子网络；

子网络训练模块，用于对所述多路径神经子网络进行训练，以更新各子结构的权重参数；

权重参数同步模块，用于将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；

超网络获取模块，用于判断所述初始超网络是否收敛，在所述初始超网络不收敛时触发所述子网络获取模块，在所述初始超网络收敛时结束训练并得到目标超网络。

可选地，所述子网络获取模块包括：

子结构获取单元，用于针对预先构建的超网络的各层，从所述各层中采样出至少一个子结构，并增加用于对所述至少一个子结构的输出结果进行相加的输出端，得到包含所述至少一个子结构和所述输出端的子结构单元；

子结构串联单元，用于按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络；

参数共享单元，用于对所述初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络。

可选地，所述子结构获取单元用于采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

可选地，所述子网络训练模块包括：

训练样本获取单元，用于获取训练集合中第一数量个训练样本；

子网络训练单元，用于将所述训练样本依次输入到所述多路径神经子网络，以训练所述多路径神经子网络，直至所述第一数量的训练样本全部使用。

可选地，所述装置还包括：

评估结果获取模块，用于基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果；

目标场景确定模块，用于根据所述评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景。

可选地，所述评估结果获取模块包括：

子网络获取单元，用于基于所述目标超网络，获取多个多路径神经子网络；

参数共享单元，用于将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构；

子网络评估单元，用于对所述多个多路径神经子网络进行评估，得到各个多路径神经子网络的评估结果。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为执行所述存储器中的可执行指令以实现上述所述方法的步骤。

根据本公开实施例的第四方面，提供一种可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现上述所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本公开实施例中通过获取多路径神经子网络，然后对所述多路径神经子网络进行训练，以更新各子结构的权重参数；之后将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；最后在超网络收敛时结束训练并得到目标超网络。这样，在一条路径表征能力有限的情况下，本实施例中利用多路径神经子网络训练超网络，有利于提升超网络的表征能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种超网络训练方法的流程图。

图2是根据一示例性实施例示出的一种超网络的结构示意图。

图3是根据一示例性实施例示出的获取多路径神经子网络的流程图。

图4是根据一示例性实施例示出的采样出的子结构的示意图。

图5是根据一示例性实施例示出的参数共享的示意图。

图6是根据一示例性实施例示出的训练多路径神经子网络的流程图。

图7是根据一示例性实施例示出的向超网络同步权重参数的示意图。

图8是根据一示例性实施例示出的对多路径神经子网络评估的流程图。

图9～图13是根据一示例性实施例示出的一种超网络训练装置的框图。

图14是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。

为解决上述技术问题，本公开实施例提供了一种超网络训练方法，图1是根据一示例性实施例示出的一种超网络训练方法的流程图。需要说明的是，该超网络训练方法可以应用到以下目标场景的至少一种：图像分类、目标检测、语义分割、文本转语音、自然语言翻译和语音增强，在此不作限定。参见图1，一种超网络训练方法，包括步骤101～步骤104，其中：

在步骤101中，基于预先构建的初始超网络获取多路径神经子网络。

本实施例中可以预先构建一个超网络，超网络如图2所示。其中超网络是指包含所有搜索网络结构空间的一个网络。该超网络包括多层，每一层包括多个可选取的子结构。参见图2，图2所示超网络仅示出了前四层，其中第二层中包括多个子结构，仅示出了子结构A，子结构B和子结构C。

每个子结构可以包括数种可选的算子，例如，卷积、池化等，每种算子包括一些超参数(例如卷积尺寸、卷积步长)和权重参数。该超网络可以根据相关技术中的构建方法进行构建，在此不再详述。

在构建该超网络后，可利用相关技术中的初始化方法对其权重参数的取值进行初始化，例如零值初始化、随机初始化或者He initialization，在此不作限定。当然，该超网络还可以利用之前训练的权重参数作为本次训练的初始化后的权重参数的取值，这样可以得到一个初始化后的超网络，即初始超网络。

本实施例中，可以基于预先构建的初始超网络获取多路径神经子网络，参见图3，针对预先构建的神经网络超网络的各层，从各层中采样出至少一个子结构，并增加用于对至少一个子结构的输出结果进行相加的输出端，得到包含至少一个子结构和所述输出端的子结构单元(对应图3中步骤301)。其中，为了描述方便，本实施例中将至少一个子结构和输出端作为一个子结构单元进行描述，实际应用中，无需增加一个划分子结构单元的步骤。

需要说明的是，在一次训练过程中，各层采样子结构与其他层采样子结构的过程相互独立，并且同一层中采样各子结构也相互独立。本示例中，采样方法选用伯努利采样，每个子结构被激活或者未被激活的概率是相等的，即在一次采样过程中，一个子结构存在要么被采样，要么未被采样共两种状态，这样可以保证采样到各子结构的公正性，进而保证训练效果的稳定性。

参见图4，例如，从第二层中采样出3个子结构，即子结构A，子结构B和子结构C，并且3个子结构的输出连接至输出端(图4中采用“+”表示输出端)。该输出端可以将3个子结构的输出结果相加，将相加后的结果作为下一层中各子结构的输入数据，这样可以降低各层输入数据的维度，减少计算量。

需要说明的是，本实施例中同一层各子结构所输出数据的维度原则上应该相同，在维度不同时，可以在低维度上补充设定值(如0)的方式，使同层所有子结构具有相同的维度，从而保证相加同层数据的效果。当然，考虑到卷积核可以增加或减少维度的作用，还可以在各子结构上设置1*1卷积核，从而使所有子结构的输出数据维度相同，相应方案落入本公开的保护范围。

然后，按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络(对应图3中步骤302)。实际应用中，可以将各层中的子结构分别连接至上一层子结构单元的输出端，即同一层中各子结构的输入数据相同。可理解的是，由于各层中包括至少一个子结构，因此串联后的子网络从输入端到输出端会存在多条路径，因此称之为多路径神经子网络。

之后，对初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络(对应图3中步骤303)。其中，参数共享是指多路径神经子网络中各子结构的权重参数与超网络中对应子结构的权重参数相同。参见图5，参数共享过程中，将超网络的第二层中子结构A的权重参数共享给多路径神经的第二层中子结构A，将超网络的第二层中子结构B的权重参数共享给多路径神经的第二层中子结构B，将超网络的第二层中子结构C的权重参数共享给多路径神经的第二层中子结构C。重复上述步骤，可以为多路径神经子网络中所有子结构进行权重参数赋值。

在步骤102中，对所述多路径神经子网络进行训练，以更新各子结构的权重参数。

本实施例中，可以预先设置一个训练集合，该训练集合中包括一定数量的训练样本，一定数量可以根据具体场景进行设置，例如数万至数十万，在此不作限定。在一示例中，可以对训练集合内的训练样本进行分组，每个分组内包括第一数量个训练样本，其中第一数量可以为数千个训练样本，有利于降低每次训练所使用的样本量，提升训练效率。实际应用中，使用训练集合中所有样本进行训练完成一个Epoch(可理解为一轮训练)。假设训练集合中20000个训练样本，batch size(可理解为分组大小)取值100，则训练集合具有batch(可理解为分组数量)个数：20000/100＝200个，因此每个Epoch需要完成的batch个数为200个。即每个多路径神经子网络需要训练样本100个，训练200个多路径神经子网络，完成一个Epoch。

本实施例中，可以利用上述训练样本对多路径神经子网络进行训练，例如单步训练。参见图6，可以获取训练集合中第一数量个训练样本(对应图6中步骤601)。然后，将训练样本依次输入到多路径神经子网络，以训练该多路径神经子网络，直至第一数量的训练样本全部使用(对应图6中步骤602)。需要说明的是，训练多路径神经子网络的过程中，训练样本使训练集合中的一部分，即能够使其各子结构中的权重参数变化即可，可以缩短训练时间；并且，训练多路径神经子网络时，无需保证多路径神经子网络收敛，同样有利于缩短训练时间，提升训练效率。

需要说明的是，不同的多路径神经子网络可以采用不同的训练样本进行训练，例如，训练集合可以分为10个分组，每训练一个多路径神经子网络使用一个分组的训练样本，训练次数足够多的情况下，可以使各条路径能够得到充分训练，有利于提升超网络的表征能力。另外，在超网络收敛后，所采样出的单路径神经子网络的表征能力也优于相关技术中的单路径神经子网络。

在步骤103中，将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络。

本实施例中，可以将训练后的多路径神经子网络中各子结构的权重参数同步至初始超网络。可理解的是，该权重参数同步过程可以理解为步骤303中参数共享的逆过程，效果如图7所示。这样，实质上对超网络完成一次权重参数更新，达到间接训练超网络的效果。

在步骤104中，判断所述初始超网络是否收敛，若不收敛，则返回执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。

本实施例中，在每次更新权重参数的取值后，可以判断初始超网络是否收敛，若不收敛，则返回步骤101，即继续执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。例如，可以判断损失函数值是否小于等于设定阈值，若大于，则说明初始超网络不收敛，跳转到步骤101；若小于等于，则说明初始超网络收敛，将当前的初始超网络作为目标超网络。

在一实施例中，在获得目标超网络后，结合应用到的目标场景，一种超网络训练方法还可以包括对多路径神经子网络进行评估的步骤。参见图8，按照图3所示实施例的内容，可以基于目标超网络获取到多个多路径神经子网络，将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构。然后对新获取的多个多路径神经子网络进行评估，得到评估结果(对应图8中步骤801)。然后，根据评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景(对应图8中步骤802)。

需要说明的是，上述目标场景包括但不限于以下至少一种：图像分类、目标检测、语义分割、文本转语音、自然语言翻译、语音增强。技术人员可以根据具体场景设置目标场景。

需要说明的是，考虑到从目标超网络中采样出多路径神经子网络是应用到目标场景，因此在设计评估指标时，可以是一些针对目标场景的相对指标，例如在少量数据集上、低分辨率上训练的模型精度或是训练少量epoch后的模型精度，通过相对指标对应的评估结果，可以确定出任意多个多路径神经子网络的最优多路径神经子网络，然后将其应用于目标场景。换言之，设定条件可以是指多个多路径神经子网络的评述结果的最优值。

至此，本公开实施例中通过获取多路径神经子网络，然后对所述多路径神经子网络进行训练，以更新各子结构的权重参数；之后将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；最后在超网络收敛时结束训练并得到目标超网络。这样，在单条路径表征能力有限的情况下，本实施例中利用多路径神经子网络训练超网络，有利于提升超网络的表征能力。

为了对本公开实施例提供的技术方案进行详细描述，提供下列实施例：

以图像分类为例，假定图像训练集D，可分为N个batch，每个batch M条图像数据，每条图像数据对应一个分类标签，类别有K种。然后，利用该图像训练集以及上述超网络训练方法来训练超网络。经过训练后，可以得到收敛后的超网络。

之后，从该超网络中采样多路径神经子网络，并从超网络中共享各子结构的参数，从而对各多路径神经子网络在图像训练集上的性能指标。

再者，可以根据性能指标从多路径神经子网络中选取适合图像分类任务场景的子网络，作为最终在实际场景中使用的模型。

需要说明的是，在其他图像、语音、自然语言处理的任务中，与图像分类的不同之处在于，其更换了语音训练集和性能指标的评价方法，其余过程和上述图像分类模型获取的方式类似，最终得到在实际场景中使用的图像、语音、自然语言处理的模型，在此不再赘述。

图9是根据一示例性实施例示出的一种超网络训练装置框图。参见图9，一种超网络训练装置，包括：

子网络获取模块901，用于基于预先构建的初始超网络获取多路径神经子网络；

子网络训练模块902，用于对所述多路径神经子网络进行训练，以更新各子结构的权重参数；

权重参数同步模块903，用于将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；

超网络获取模块904，用于判断所述初始超网络是否收敛，在所述初始超网络不收敛时触发所述子网络获取模块，在所述初始超网络收敛时结束训练并得到目标超网络。

图10是根据一示例性实施例示出的一种超网络训练装置框图，在图9所示的一种超网络训练装置的基础上，参见图10，所述子网络获取模块901包括：

子结构获取单元1001，用于针对预先构建的超网络的各层，从所述各层中采样出至少一个子结构，并增加用于对所述至少一个子结构的输出结果进行相加的输出端，得到包含所述至少一个子结构和所述输出端的子结构单元；

子结构串联单元1002，用于按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络；

参数共享单元1003，用于对所述初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络。

在一实施例中，所述子结构获取单元1001用于采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

图11是根据一示例性实施例示出的一种超网络训练装置框图，在图9所示的一种超网络训练装置的基础上，参见图11，所述子网络训练模块902包括：

训练样本获取单元1101，用于获取训练集合中第一数量个训练样本；

子网络训练单元1102，用于将所述训练样本依次输入到所述多路径神经子网络，以训练所述多路径神经子网络，直至所述第一数量的训练样本全部使用。

图12是根据一示例性实施例示出的一种超网络训练装置框图，在图9所示的一种超网络训练装置的基础上，参见图12，所述装置还包括：

评估结果获取模块1201，用于基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果；

目标场景确定模块1202，用于根据所述评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景。

图13是根据一示例性实施例示出的一种超网络训练装置框图，在图12所示的一种超网络训练装置的基础上，评估结果获取模块1201包括：

子网络获取单元1301，用于基于所述目标超网络，获取多个多路径神经子网络；

参数共享单元1302，用于将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构；

子网络评估单元1303，用于对所述多个多路径神经子网络进行评估，得到各个多路径神经子网络的评估结果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

至此，本公开实施例中通过获取多路径神经子网络，然后对所述多路径神经子网络进行训练，以更新各子结构的权重参数；之后将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；最后在超网络收敛时结束训练并得到目标超网络。这样，在一条路径表征能力有限的情况下，本实施例中利用多路径神经子网络训练超网络，有利于提升超网络的表征能力。

图14是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1400可以是智能手机，计算机，数字广播终端，平板设备，医疗设备，健身设备，个人数字助理等。

参照图14，电子设备1400可以包括以下一个或多个组件：处理组件1402，存储器1404，电源组件1406，多媒体组件1408，音频组件1410，输入/输出(I/O)的接口1412，传感器组件1414，通信组件1416，以及图像采集组件1418。

处理组件1402通常电子设备1400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1402可以包括一个或多个处理器1420来执行指令。此外，处理组件1402可以包括一个或多个模块，便于处理组件1402和其他组件之间的交互。例如，处理组件1402可以包括多媒体模块，以方便多媒体组件1408和处理组件1402之间的交互。

存储器1404被配置为存储各种类型的数据以支持在电子设备1400的操作。这些数据的示例包括用于在电子设备1400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1406为电子设备1400的各种组件提供电力。电源组件1406可以包括电源管理系统，一个或多个电源，及其他与为电子设备1400生成、管理和分配电力相关联的组件。

多媒体组件1408包括在所述电子设备1400和目标对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自目标对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件1410被配置为输出和/或输入音频信号。例如，音频组件1410包括一个麦克风(MIC)，当电子设备1400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中，音频组件1410还包括一个扬声器，用于输出音频信号。

I/O接口1412为处理组件1402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。

传感器组件1414包括一个或多个传感器，用于为电子设备1400提供各个方面的状态评估。例如，传感器组件1414可以检测到电子设备1400的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1400的显示屏和小键盘，传感器组件1414还可以检测电子设备1400或一个组件的位置改变，目标对象与电子设备1400接触的存在或不存在，电子设备1400方位或加速/减速和电子设备1400的温度变化。

通信组件1416被配置为便于电子设备1400和其他设备之间有线或无线方式的通信。电子设备1400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种超网络训练方法，其特征在于，所述方法包括：

基于预先构建的初始超网络获取多路径神经子网络；

2.根据权利要求1所述的超网络训练方法，其特征在于，所述基于预先构建的初始超网络获取多路径神经子网络包括：

3.根据权利要求2所述的超网络训练方法，其特征在于，从所述各层中采样出至少一个子结构的步骤中，采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

4.根据权利要求1所述的超网络训练方法，其特征在于，所述对所述多路径神经子网络进行训练，包括：

获取训练集合中第一数量个训练样本；

5.根据权利要求1所述的超网络训练方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的超网络训练方法，其特征在于，所述基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果包括：

基于所述目标超网络，获取多个多路径神经子网络；

7.根据权利要求5所述的超网络训练方法，其特征在于，所述目标场景包括以下至少一种：图像分类、目标检测、语义分割、文本转语音、自然语言翻译、语音增强。

8.一种超网络训练装置，其特征在于，所述装置包括：

9.根据权利要求8所述的超网络训练装置，其特征在于，所述子网络获取模块包括：

10.根据权利要求9所述的超网络训练装置，其特征在于，所述子结构获取单元用于采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

11.根据权利要求8所述的超网络训练装置，其特征在于，所述子网络训练模块包括：

12.根据权利要求8所述的超网络训练装置，其特征在于，所述装置还包括：

13.根据权利要求12所述的超网络训练装置，其特征在于，所述评估结果获取模块包括：

14.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1～7任一项所述方法的步骤。

15.一种可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现权利要求1～7所述方法的步骤。