CN114239800A - 神经网络结构搜索方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种神经网络结构搜索方法、装置、电子设备及存储介质。神经网络结构搜索方法包括：获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络；根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构；基于权重参数对候选网络结构进行性能评估，得到候选网络结构的性能得分；基于性能得分，调整孪生超网络的权重参数，并返回得到候选网络结构的步骤，直至满足预设优化终止条件；根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。本申请实施例提高了结构搜索的准确性。

Description

神经网络结构搜索方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种神经网络结构搜索方法、装置、电子设备及存储介质。

背景技术

随着深度学习技术的不断发展，NAS(Neural Architecture Search，神经网络结构搜索)技术已经成为研究的热点。NAS技术通过在预先定义的搜索空间中进行网络结构的自动搜索，从而得到最佳的神经网络模型结构。

现阶段，神经网络结构搜索通常都是有监督的搜索过程，即在搜索过程中需要依赖外部的基于标签训练得到的网络模型来提供监督信息。由于是基于网络模型提供的监督信息进行搜索的，因此，搜索出的目标网络更倾向于具有与上述网络模型相同的网络结构，这样使得搜索结果存在结构偏差，进而影响搜索准确性。

发明内容

有鉴于此，本申请实施例提供一种神经网络结构搜索方法、装置、电子设备及计算机存储介质，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种神经网络结构搜索方法，包括：

获取基于预设搜索空间构建的孪生超网络，所述孪生超网络包括第一超网络和第二超网络；所述第二超网络与所述第一超网络的网络结构相同，所述第二超网络的网络权重基于所述第一超网络的网络权重得到；

根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构；

基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分；

基于所述性能得分，调整所述孪生超网络的权重参数，并返回所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；

根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

根据本申请实施例的第二方面，提供了一种神经网络结构搜索装置，包括：

孪生超网络获取模块，用于获取基于预设搜索空间构建的孪生超网络，所述孪生超网络包括第一超网络和第二超网络；所述第二超网络与所述第一超网络的网络结构相同，所述第二超网络的网络权重基于所述第一超网络的网络权重得到；

候选网络结构得到模块，用于根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构；

性能评估模块，用于基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分；

权重参数调整模块，用于基于所述性能得分，调整所述孪生超网络的权重参数，并返回所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；

目标网络结构确定模块，用于根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的神经网络结构搜索方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的神经网络结构搜索方法。

根据本申请实施例提供的神经网络结构搜索方法，获取了由两个结构相同的超网络组成的孪生超网络，基于第一超网络的输出向量和第二超网络的输出向量计算损失值，对孪生超网络的权重参数进行优化，从而得到候选网络结构；在得到多个候选网络结构之后，基于各候选网络结构的性能得分，从中确定出目标网络结构。本申请实施例，在获取两个超网络之后，是基于两个超网络的输出向量对超网络进行优化，进而得到候选网络结构的，也就是说，上述优化过程是通过两个结构相同的超网络之间的自监督对比方式进行的，无需依赖基于标签训练得到的外部网络模型提供监督信息，因此，避免了因依赖外部网络模型提供的监督信息而导致搜索结果存在结构偏差的问题，提高了结构搜索的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例一的一种神经网络结构搜索方法的步骤流程图；

图2为本申请实施例提供的超网络的一种结构示意图；

图3为图1所示实施例中的一种场景示例的示意图；

图4为根据本申请实施例二的一种神经网络结构搜索方法的步骤流程图；

图5本申请实施例提供的搜索空间中候选算子间的连接关系示意图；

图6为本申请实施例提供的超网络分块示意图；

图7为本申请实施例提供的孪生超网络模块权重参数优化过程中损失值的计算流程示意图；

图8为根据本申请实施例四的一种神经网络结构搜索装置的结构框图；

图9为根据本申请实施例五的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

实施例一、

参照图1，图1为根据本申请实施例一的一种神经网络结构搜索方法的步骤流程图。

具体地，本实施例提供的神经网络结构搜索方法包括以下步骤：

步骤102，获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络。

其中，第二超网络与第一超网络的网络结构相同，第二超网络的网络权重基于第一超网络的网络权重得到。

在进行网络结构搜索之前，通常会预先设定好多种可用于构建不同网络结构的基本单元，该基本单元也叫候选算子，例如：用于进行卷积操作的卷积候选算子、自注意力候选算子等等，对上述候选算子之间的连接关系进行组合，即得到对应的搜索空间。

本申请实施例中的超网络包含搜索空间中的所有可选神经网络结构，换句话说，超网络是多路径的，其中每条路径对应搜索空间中的一种可选神经网络结构。参见图2，图2为本申请实施例中超网络的一种结构示意图，其中，该超网络包含6个层，每一层包含3个分支(图中的一个圆圈即为一个分支)，一个分支表征一种候选算子，通过在每一层中选择一个分支，与其他层选出的分支相连接、堆叠即可形成一条路径，该路径对应搜索空间中的一种神经网络结构。

在本申请实施例中，构建了两个结构相同的超网络，并且，该两个超网络的网络权重是关联的，具体地：第二超网络的网络权重是基于第一超网络的网络权重得到。例如：第二超网络的网络权重可以与第一超网络的网络权重相同，第二超网络的网络权重也可以是对第一超网络的网络权重进行预设变换得到的，而预设变换则可以根据实际需要设定，例如：滑动平均变换、缩放等等。

步骤104，根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构。

预设损失函数可以为以第一超网络的输出向量、第二超网络的输出向量为自变量的函数。例如：可以直接将第一超网络的输出向量和第二超网络的输出向量间的相似度作为损失函数，也可以对上述相似度进行一定的变换操作，将变换结果作为损失函数，上述相似度越高，则损失函数对应的损失值越小；还可以对第一超网络的输出向量或者第二超网络的输出向量进行变换，再将变换后输出向量之间的相似度作为损失函数，等等。本申请实施例中，对于损失函数的具体形式不做限定。

本步骤中，是基于第一超网络的输出向量、第二超网络的输出向量以及上述损失函数得到损失值，并基于该损失值对第一超网络和第二超网络的权重参数进行优化，从而在第一超网络的多条路径中确定出一条路径，将该条路径对应的神经网络结构作为候选网络结构。

步骤106，基于权重参数对候选网络结构进行性能评估，得到候选网络结构的性能得分。

由于用于进行优化的输入样本和网络结构(超网络中的路径)都是抽样得到的，因此自监督对比优化阶段得到的损失不一定代表网络结构的性能以及网络结构的收敛性。因此，需要对候选网络结构进行性能评估。

性能得分用于表征候选网络结构的性能表现，如准确性、收敛性等等。性能得分越高，则表征候选网络结构的性能表现越好。

在获取到候选网络结构后，需要对每个候选网络结构分别进行性能评估，以便后续基于各候选网络结构的性能得分从中选择一定数量的候选网络结构后，作为最终的目标网络结构。

本申请实施例在对孪生超网络进行优化时，是通过自监督对比的方式进行的，对应地，在性能评估过程中，也可以采用无监督的性能评估方法。常用的无监督性能评估方式，如利用前置任务的准确性对候选网络结构进行性能评估，或者，基于角度度量的收敛度量对候选网络结构进行性能评估，等等。另外，也可以：针对个候选网络结构，分别计算该候选网络结构的输出向量，以及第一超网络中其他网络结构的输出向量，然后，基于候选网络结构的输出向量和其他网络结构的输出向量之间的相似度得到候选网络结构的性能得分，相似度越高，则候选网络结构的性能得分越高，具体地，性能评估的方式可以根据实际需要进行设定，此处不做限定。

步骤108，基于性能得分，调整孪生超网络的权重参数，并返回根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件。

可以基于候选网络结构的性能得分，确定对孪生超网络权重参数的调整方向，之后，再基于进行了权重参数后的孪生超网络，再次执行步骤104-步骤106的优化及性能评估过程，直至满足预设的优化终止条件，至此，可以得到多个候选网络结构，以及各候选网络结构的性能得分。

本步骤中的优化终止条件可以根据实际需要设定，例如：可以当优化次数达到预设次数阈值时，则确定满足优化终止条件；也可以当基于步骤104得到的损失值小于预设损失值阈值时，确定满足优化终止条件，等等。本申请实施例中，对于优化终止条件的具体内容不做限定。

步骤110，根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

具体地，例如可以按照性能得分从高到低的顺序，选择预设数量个候选网络结构作为目标网络结构。

参见图3，图3为本申请实施例一对应的场景示意图，以下，将参考图3所示的示意图，以一个具体场景示例，对本申请实施例进行说明：

获取了包含第一超网络和第二超网络的孪生超网络，其中，第一超网络和第二超网络的结构相同：均具有6个层，每个层具有3个分支，并且，第二超网络的权重参数是基于第一超网络的权重参数得到的；将输入X输入第一超网络，得到第一超网络的输出向量A，将输入X＇输入第二超网络，得到第二超网络的输出向量B，基于A、B以及预设的损失函数得到损失值之后，可以基于损失值对孪生超网络的权重参数进行优化，从而得到候选网络结构；对得到的候选网络结构进行性能评估，得到候选网络结构的性能得分，再次基于性能得分对孪生超网络的权重参数进行调整，从而再次执行上述权重参数优化过程，直至满足优化终止条件，至此，得到4个候选网络结构：a、b、c以及d，以及，各候选网络结构的性能得分：a的性能得分为90分、b的性能得分为85、c的性能得分为80，以及，d的性能得分为75分(本申请实施例中，对于性能得分的具体表示方式不做限定，图3中仅以百分制为例进行说明)；最终，按照性能得分从高到低的顺序，确定其中的a和b为搜索出来的目标网络结构。

本申请实施例中，在获取两个超网络之后，是基于两个超网络的输出向量对超网络进行优化，进而得到候选网络结构的，也就是说，上述优化过程是通过两个结构相同的超网络之间的自监督对比方式进行的，无需依赖基于标签训练得到的外部网络模型提供监督信息，因此，避免了因依赖外部网络模型提供的监督信息而导致搜索结果存在结构偏差的问题，提高了结构搜索的准确性。

本实施例的神经网络结构搜索方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器等。

实施例二、

参照图4，图4为根据本申请实施例二的一种神经网络结构搜索方法的步骤流程图。

具体地，本实施例提供的神经网络结构搜索方法包括以下步骤：

步骤402，获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络。

其中，第二超网络与第一超网络的网络结构相同，第二超网络的网络权重为基于第一超网络的网络权重进行指数滑动平均处理得到的。

进一步地，针对本申请实施例中的搜索空间，其卷积候选算子可以包括：ResNet网络中的残差模块；预设搜索空间的候选算子中还可以包括：由深度可分离卷积模块与NLBlock模块组合而成的自注意力候选算子，或者，由深度可分离卷积模块对BoTBlock模块中的相对位置编码分支进行替换得到的自注意力候选算子。

现阶段，常规的搜索空间中，通常采用BoTBlock模块或者NLBlock作为自注意力候选算子，但是，就BoTBlock模块而言，其计算复杂度较高，主要原因在于其中的相对位置编码分支，该分支是通过与查询相乘来单独计算的；就NLBlock模块而言，其中缺少相对位置编码分支，而位置编码对于自注意力模块的性能至关重要，因此，上述常规搜索空间中，以BoTBlock模块作为自注意力候选算子时，虽然自注意力模块的性能能够得到保障，但是计算复杂度较高；以NLBlock模块作为自注意力候选算子时，虽然计算复杂度较低，但是由于缺乏位置编码分支，因此，性能较差。

而本申请实施例中的搜索空间中，自注意力候选算子是由深度可分离卷积模块与NLBlock模块组合而成的，或者，是由深度可分离卷积模块对BoTBlock模块中的相对位置编码分支进行替换得到的，因此，可以在保证计算性能的基础上，降低计算的复杂度。

另外，就目前的CNN网络和Transfomer网络而言，两者在宏观结构上有很大区别，具体地：CNN网络通常使用不同尺度的多个阶段来处理图片数据，而Transfomer网络则并不改变数据的空间维度。因此，为了能够使得搜索空间能够覆盖上述两种宏观结构差异较大的网络结构，本申请实施例在上述候选算子的基础上，采用如图5所示的纺织状的连接关系，对各候选算子进行连接从而形成搜索空间，其中，图5中的搜索空间共包含L层，每层中的圆圈均表示不同的候选算子，带有箭头的连线表示不同层中候选算子之间的连接关系。该搜索空间能够覆盖多种不同的神经网络结构，例如：ResNet，BoTNet，ViT，DeiT，T2T-ViT等。

步骤404，对第一超网络进行分块，得到多个第一超网络模块；对第二超网络进行分块，得到多个第二超网络模块。

其中，第一超网络模块与第二超网络模块一一对应。

由于搜索空间层数较多，进行整体搜索，搜索量比较大。为了提升搜索效率，可以将搜索空间分解为块，也即对超网络进行分块划分，然后针对划分得到的每个模块分别进行权重参数优化，以及，确定每个模块中的候选子网络结构，从而得到每整个超网络中的候选网络结构，该候选网络结构是由每个模块中的候选子网络结构组合而成的。

以图6为例，将第一超网络分解为两个第一超网络模块，每个第一超网络模块包含3个层；对应地，将第二超网络分解为两个第二超网络模块，每个第二超网络模块也包含3个层。每个第一超网络模块和对应的第二超网络模块组成一个孪生超网络模块。

步骤406，获取优化样本，并对优化样本进行数据增强处理，得到增强样本。

为了降低输入样本自身差异对优化结果的影响，本申请实施例中通过对同一优化样本进行数据增强处理，经过卷积处理从而得到后续分别输入至第一超网络模块和第二超网络模块的输入数据。

本申请实施例中，可以采用现有的任一数据增强方式，对优化样本进行数据增强，此处对于数据增强的具体方式不做限定。

步骤408，对增强样本进行卷积处理，得到第一增强优化样本和第二增强优化样本。

针对各孪生超网络模块中的每条路径(每个神经子网络结构)，其输入均为上一相邻孪生超网络模块的输出。为了可并行对各孪生超网络模块中的权重参数进行优化以提高优化效率，本申请实施例中，针对各孪生超网络模块，在获取到增强样本后，对增强样本进行了卷积处理，以使得增强优化样本可以与该孪生超网络模块上一层级的相邻孪生超网络模块的输出具有相同的尺寸。

步骤410，针对每个第一超网络模块，将第一增强优化样本输入该第一超网络模块，得到第一输出向量；将第二增强优化样本输入对应的第二超网络模块，得到第二输出向量。

步骤412，基于第一输出向量和第二输出向量，采用预设损失函数得到损失值。

预设损失函数可以为以第一输出向量、第二输出向量为自变量的函数。例如：可以直接将第一输出向量和第二输出向量间的相似度作为损失函数，也可以对上述相似度进行一定的变换操作，将变换结果作为损失函数，上述相似度越高，则损失函数对应的损失值越小；还可以对第一输出向量或者第二输出向量进行变换，再将变换后输出向量之间的相似度作为损失函数，等等。本申请实施例中，对于损失函数的具体形式不做限定。

进一步地，在其中一些实施例中，步骤410中的针对每个第一超网络模块，将第一增强优化样本输入该第一超网络模块，得到第一输出向量，可以包括：

针对每个第一超网络模块，按照预设采样策略，对该第一超网络模块进行路径采样，得到多个第一采样子网络；将第一增强优化样本分别输入各第一采样子网络，得到各第一采样子网络的第一输出向量。

对应地，将第二增强优化样本输入对应的第二超网络模块，得到第二输出向量，可以包括：

按照预设采样策略，对与该第一超网络模块对应的第二超网络模块进行路径采样，得到多个第二采样子网络；将第二增强优化样本分别输入各第二采样子网络，得到各第二采样子网络的第二输出向量。

对应地，步骤412可以包括：

计算所有第二输出向量的均值，作为全路径均值；

针对每个第一采样子网络，将该第一采样子网络的第一输出向量与全路径均值作差，作为该第一采样子网络对应的差值；

基于各第一采样子网络分别对应的差值之和，得到损失值。

为便于理解，下面结合图7，对上述步骤406-步骤412进行解释说明：

针对某一具体孪生超网络模块，获取优化样本图片数据之后，对图片数据进行数据增强得到X，进而对X进行卷积处理，得到第一增强优化样本X1和第二增强优化样本X2；将X1输入孪生超网络模块中的第一超网络模块，通过第一采样子网络a1输出a1的第一输出向量Y1；将X2分别输入孪生超网络模块中第二超网络模块的各第二采样子网络b1、b2、b3以及b4，分别输出第二输出向量：y1、y2、y3以及y4，对y1、y2、y3以及y4进行均值计算，得到全路径均值y0，针对a1，将Y1与y0的差值，作为a1对应的差值La1；依次类推，得到其他第一采样子网络a2、a3以及a4(图7中未示出)分别对应的差值La2、La3以及La4(图7中未示出)；再基于La1、La2、La3以及La4之和，得到最终的损失值，例如：直接将La1、La2、La3以及La4之和作为损失值等。

步骤414，根据损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到孪生超网络模块中的候选子网络结构。

本申请实施例在计算损失值时，针对每个第一采样子网络，是基于该第一采样子网络的输出向量与所有的第二采样子网络输出向量均值之间的差值计算损失值的，也就是说，本申请实施例在权重参数优化过程中，形成了所有路径(采用子网络)的共同目标，因此，与每个第一采样子网络只基于与自身对应的第二采样子网络的输出向量的差值计算损失值的优化方案相比，本申请实施例避免了因不同采样子网络仅基于对应的单个采样子网络进行优化而没有共同优化目标，导致的优化过程不稳定，收敛困难的问题，提高了优化过程的稳定性。

步骤416，针对每个候选子网络结构，基于该候选子网络结构对应的孪生超网络模块的权重参数对该候选子网络结构进行性能评估，得到该候选子网络结构的性能得分。

性能得分用于表征候选子网络结构的性能表现，如准确性、收敛性等等。性能得分越高，则表征候选子网络结构的性能表现越好。

进一步地，可以通过如下步骤得到候选子网络结构的性能得分：

获取验证样本，并对验证样本进行数据增强处理，得到增强验证样本；

针对每个候选子网络结构，将增强验证样本输入该候选子网络结构，以使该候选子网络结构基于对应的孪生超网络模块的权重参数，得到候选输出向量；

将同一增强验证样本分别输入该候选子网络结构对应的第二超网络模块中的各第二采样子网络，得到各第二采样子网络的输出向量；

计算各第二采样子网络的输出向量的均值，作为全路径候选均值；

基于候选输出向量与全路径候选均值的差值，得到该候选子网络结构的性能得分。

具体地，例如，可以将上述候选输出向量与全路径候选均值的差值的倒数，确定为候选子网络结构的性能得分，等等。

本申请实施例中，在对各候选子网络结构进行性能评估时，是基于该候选子网络结构的候选输出向量与所有的第二采样子网络输出向量均值之间的差值得到性能得分的，也就是说，本申请实施例在性能评估过程中，形成了所有路径(采用子网络)的共同目标，因此，与每个候选子网络结构只基于与自身对应的第二采样子网络的输出向量的差值得到性能得分的方案相比，本申请实施例得到的性能得分更能表征各候选子网络结构的真实性能状态，也就是说，本申请实施例得到的性能得分更加准确，因此，基于该更为准确的性能得分，确定出的目标网络结构的性能也更高。因此，本申请实施例进一步提升了搜索结果的准确性。

另外，在本申请的其他实施例中，针对每个孪生超网络模块，也可以基于该候选子网络结构的候选输出向量与该孪生超网络模块中包含的所有子网络输出向量均值之间的差值得到性能得分的，这样，由于考虑到了所有的子网络，因此，可以进一步提高性能得分的准确性。

步骤418，将各候选子网络结构的性能得分相加，得到候选网络结构的性能得分。

其中，候选网络结构是由各候选子网络结构组合而成的。

步骤420，确定是否满足预设优化终止条件；若是，执行步骤422；若否，则基于性能得分，调整孪生超网络的权重参数，并返回步骤410。

优化终止条件可以根据实际需要设定，例如：可以当优化次数达到预设次数阈值时，则确定满足优化终止条件；也可以当基于损失值小于预设损失值阈值时，确定满足优化终止条件，等等。本申请实施例中，对于优化终止条件的具体内容不做限定。

步骤422，根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

具体地，例如可以按照性能得分从高到低的顺序，选择预设数量个候选网络结构作为目标网络结构。

本申请实施例中，在获取两个超网络之后，是基于两个超网络的输出向量对超网络进行优化，进而得到候选网络结构的，也就是说，上述优化过程是通过两个结构相同的超网络之间的自监督对比方式进行的，无需依赖基于标签训练得到的外部网络模型提供监督信息，因此，避免了因依赖外部网络模型提供的监督信息而导致搜索结果存在结构偏差的问题，提高了结构搜索的准确性。

同时，本申请实施例中，在进行神经网络结构搜索的过程中，对超网络进行分块划分，然后针对划分得到的每个模块分别搜索，与整个搜索空间相比，分块后的各模块对应的搜索空间层数较少，因此搜索量明显降低，提高了神经网络结构搜索的效率。

另外，一方面：在计算损失值时，本申请实施例针对每个第一采样子网络，是基于该第一采样子网络的输出向量与所有的第二采样子网络输出向量均值之间的差值计算损失值的，避免了因不同采样子网络仅基于对应的单个采样子网络进行优化而没有共同优化目标，导致的优化过程不稳定，收敛困难的问题，提高了优化过程的稳定性；另一方面：性能评估时，是基于该候选子网络结构的候选输出向量与所有的第二采样子网络输出向量均值之间的差值得到性能得分的，因此得到的性能得分更能表征各候选子网络结构的真实性能状态，基于该更为准确的性能得分，确定出的目标网络结构的性能也更高，进一步提升了搜索结果的准确性。

本实施例的神经网络结构搜索方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器等。

实施例三、

参见图8，图8为根据本申请实施例三的一种神经网络结构搜索装置的结构框图。本申请实施例提供的神经网络结构搜索装置包括：

孪生超网络获取模块802，用于获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络；第二超网络与第一超网络的网络结构相同，第二超网络的网络权重基于第一超网络的网络权重得到；

候选网络结构得到模块804，用于根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构；

性能评估模块806，用于基于权重参数对候选网络结构进行性能评估，得到候选网络结构的性能得分；

权重参数调整模块808，用于基于性能得分，调整孪生超网络的权重参数，并返回根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；

目标网络结构确定模块810，用于根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

可选地，在其中一些实施例中，第二超网络的网络权重为基于第一超网络的网络权重进行指数滑动平均处理得到的。

可选地，在其中一些实施例中，候选网络结构得到模块804，具体用于：

对第一超网络进行分块，得到多个第一超网络模块；对第二超网络进行分块，得到多个第二超网络模块；其中，第一超网络模块与第二超网络模块一一对应；

针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到孪生超网络模块中的候选子网络结构；候选网络结构是由各候选子网络结构组合而成的。

可选地，在其中一些实施例中，候选网络结构得到模块804在执行针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到孪生超网络模块中的候选子网络结构的步骤时，具体用于：

获取优化样本，并对优化样本进行数据增强处理，得到增强样本；

对增强样本进行卷积处理，得到第一增强优化样本和第二增强优化样本；

针对每个第一超网络模块，将第一增强优化样本输入该第一超网络模块，得到第一输出向量；将第二增强优化样本输入对应的第二超网络模块，得到第二输出向量；

基于第一输出向量和第二输出向量，采用预设损失函数得到损失值；

根据损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到孪生超网络模块中的候选子网络结构。

可选地，在其中一些实施例中，候选网络结构得到模块804在执行针对每个第一超网络模块，将第一增强优化样本输入该第一超网络模块，得到第一输出向量时，具体用于：

针对每个第一超网络模块，按照预设采样策略，对该第一超网络模块进行路径采样，得到多个第一采样子网络；将第一增强优化样本分别输入各第一采样子网络，得到各第一采样子网络的第一输出向量；

候选网络结构得到模块804在执行将第二增强优化样本输入与该第一超网络模块对应的第二超网络模块，得到第二输出向量的步骤时，具体用于：

按照预设采样策略，对与该第一超网络模块对应的第二超网络模块进行路径采样，得到多个第二采样子网络；将第二增强优化样本分别输入各第二采样子网络，得到各第二采样子网络的第二输出向量；

候选网络结构得到模块804在执行基于第一输出向量和第二输出向量，采用预设损失函数得到损失值的步骤时，具体用于：

计算所有第二输出向量的均值，作为全路径均值；

针对每个第一采样子网络，将该第一采样子网络的第一输出向量与全路径均值作差，作为该第一采样子网络对应的差值；

基于各第一采样子网络分别对应的差值之和，得到损失值。

可选地，在其中一些实施例中，性能评估模块806具体用于：

针对每个候选子网络结构，基于该候选子网络结构对应的孪生超网络模块的权重参数对该候选子网络结构进行性能评估，得到该候选子网络结构的性能得分；

将各候选子网络结构的性能得分相加，得到候选网络结构的性能得分。

可选地，在其中一些实施例中，性能评估模块806在执行针对每个候选子网络结构，基于该候选子网络结构对应的孪生超网络模块的权重参数对该候选子网络结构进行性能评估，得到该候选子网络结构的性能得分的步骤时，具体用于：

获取验证样本，并对验证样本进行数据增强处理，得到增强验证样本；

针对每个候选子网络结构，将增强验证样本输入该候选子网络结构，以使该候选子网络结构基于对应的孪生超网络模块的权重参数，得到候选输出向量；

将增强验证样本分别输入该候选子网络结构对应的第二超网络模块中的各第二采样子网络，得到各第二采样子网络的输出向量；

计算各第二采样子网络的输出向量的均值，作为全路径候选均值；

基于候选输出向量与全路径候选均值的差值，得到该候选子网络结构的性能得分。

可选地，在其中一些实施例中，目标网络结构确定模块810，具体用于：

按照性能得分从高到低的顺序，选择预设数量个候选网络结构作为目标网络结构。

可选地，在其中一些实施例中，预设搜索空间的卷积候选算子包括：ResNet网络中的残差模块；预设搜索空间的候选算子中还包括：由深度可分离卷积模块与NLBlock模块组合而成的自注意力候选算子，和/或，由深度可分离卷积模块对BoTBlock模块中的相对位置编码分支进行替换得到的自注意力候选算子。

本实施例的神经网络结构搜索装置用于实现前述多个方法实施例中相应的神经网络结构搜索方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的神经网络结构搜索装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例四、

参照图9，示出了根据本申请实施例四的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图9所示，该电子设备可以包括：处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。

其中：

处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。

通信接口904，用于与其它电子设备或服务器进行通信。

处理器902，用于执行程序910，具体可以执行上述神经网络结构搜索方法实施例中的相关步骤。

具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。

处理器902可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序910具体可以用于使得处理器902执行以下操作：获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络；第二超网络与第一超网络的网络结构相同，第二超网络的网络权重基于第一超网络的网络权重得到；根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构；基于权重参数对候选网络结构进行性能评估，得到候选网络结构的性能得分；基于性能得分，调整孪生超网络的权重参数，并返回根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

程序910中各步骤的具体实现可以参见上述神经网络结构搜索方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，在获取两个超网络之后，是基于两个超网络的输出向量对超网络进行优化，进而得到候选网络结构的，也就是说，上述优化过程是通过两个结构相同的超网络之间的自监督对比方式进行的，无需依赖基于标签训练得到的外部网络模型提供监督信息，因此，避免了因依赖外部网络模型提供的监督信息而导致搜索结果存在结构偏差的问题，提高了结构搜索的准确性。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一神经网络结构搜索方法对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的神经网络结构搜索方法。此外，当通用计算机访问用于实现在此示出的神经网络结构搜索方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的神经网络结构搜索方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (13)

1.一种神经网络结构搜索方法，包括：

获取基于预设搜索空间构建的孪生超网络，所述孪生超网络包括第一超网络和第二超网络；所述第二超网络与所述第一超网络的网络结构相同，所述第二超网络的网络权重基于所述第一超网络的网络权重得到；

根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构；

基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分；

基于所述性能得分，调整所述孪生超网络的权重参数，并返回所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；

根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

2.根据权利要求1所述的方法，其中，所述第二超网络的网络权重为基于所述第一超网络的网络权重进行指数滑动平均处理得到的。

3.根据权利要求2所述的方法，其中，所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构，包括：

对所述第一超网络进行分块，得到多个第一超网络模块；对所述第二超网络进行分块，得到多个第二超网络模块；其中，所述第一超网络模块与所述第二超网络模块一一对应；

针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构；所述候选网络结构是由各候选子网络结构组合而成的。

4.根据权利要求3所述的方法，其中，所述针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构，包括：

获取优化样本，并对所述优化样本进行数据增强处理，得到增强样本；

对所述增强样本进行卷积处理，得到第一增强优化样本和第二增强优化样本；

针对每个第一超网络模块，将所述第一增强优化样本输入该第一超网络模块，得到第一输出向量；将所述第二增强优化样本输入对应的第二超网络模块，得到第二输出向量；

基于所述第一输出向量和所述第二输出向量，采用预设损失函数得到损失值；

根据所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构。

5.根据权利要求4所述的方法，其中，所述针对每个第一超网络模块，将所述第一增强优化样本输入该第一超网络模块，得到第一输出向量，包括：

针对每个第一超网络模块，按照预设采样策略，对该第一超网络模块进行路径采样，得到多个第一采样子网络；将所述第一增强优化样本分别输入各第一采样子网络，得到各第一采样子网络的第一输出向量；

所述将所述第二增强优化样本输入与该第一超网络模块对应的第二超网络模块，得到第二输出向量，包括：

按照所述预设采样策略，对与该第一超网络模块对应的第二超网络模块进行路径采样，得到多个第二采样子网络；将所述第二增强优化样本分别输入各第二采样子网络，得到各第二采样子网络的第二输出向量；

所述基于所述第一输出向量和所述第二输出向量，采用预设损失函数得到损失值，包括：

计算所有第二输出向量的均值，作为全路径均值；

针对每个第一采样子网络，将该第一采样子网络的第一输出向量与所述全路径均值作差，作为该第一采样子网络对应的差值；

基于各第一采样子网络分别对应的差值之和，得到损失值。

6.根据权利要求5所述的方法，其中，所述基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分，包括：

针对每个候选子网络结构，基于该候选子网络结构对应的孪生超网络模块的权重参数对该候选子网络结构进行性能评估，得到该候选子网络结构的性能得分；

将各候选子网络结构的性能得分相加，得到所述候选网络结构的性能得分。

7.根据权利要求6所述的方法，其中，所述针对每个候选子网络结构，基于该候选子网络结构对应的孪生超网络模块的权重参数对该候选子网络结构进行性能评估，得到该候选子网络结构的性能得分，包括：

获取验证样本，并对所述验证样本进行数据增强处理，得到增强验证样本；

针对每个候选子网络结构，将所述增强验证样本输入该候选子网络结构，以使该候选子网络结构基于对应的孪生超网络模块的权重参数，得到候选输出向量；

将所述增强验证样本分别输入该候选子网络结构对应的第二超网络模块中的各第二采样子网络，得到各第二采样子网络的输出向量；

计算所述各第二采样子网络的输出向量的均值，作为全路径候选均值；

基于所述候选输出向量与所述全路径候选均值的差值，得到该候选子网络结构的性能得分。

8.根据权利要求1-7任一所述的方法，其中，所述根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构，包括：

按照性能得分从高到低的顺序，选择预设数量个候选网络结构作为目标网络结构。

9.根据权利要求1-7任一所述的方法，其中，所述预设搜索空间的卷积候选算子包括：ResNet网络中的残差模块；所述预设搜索空间的候选算子中还包括：由深度可分离卷积模块与NLBlock模块组合而成的自注意力候选算子，和/或，由深度可分离卷积模块对BoTBlock模块中的相对位置编码分支进行替换得到的自注意力候选算子。

10.一种神经网络结构搜索装置，包括：

孪生超网络获取模块，用于获取基于预设搜索空间构建的孪生超网络，所述孪生超网络包括第一超网络和第二超网络；所述第二超网络与所述第一超网络的网络结构相同，所述第二超网络的网络权重基于所述第一超网络的网络权重得到；

候选网络结构得到模块，用于根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构；

性能评估模块，用于基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分；

权重参数调整模块，用于基于所述性能得分，调整所述孪生超网络的权重参数，并返回所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；

目标网络结构确定模块，用于根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。

11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的神经网络结构搜索方法对应的操作。

12.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一所述的神经网络结构搜索方法。

13.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-9中任一所述的神经网络结构搜索方法对应的操作。

Images