CN112052258B - 网络结构搜索方法、装置、存储介质与电子设备 - Google Patents

Abstract

公开了一种网络结构搜索方法、装置、存储介质与电子设备，其方法包括：按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；为每个所述操作组配置第一结构参数；为每个所述操作组中的各个所述操作，配置相同的网络参数；基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。本申请实施例的技术方案，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

Description

网络结构搜索方法、装置、存储介质与电子设备

技术领域

本发明涉及处理器技术领域，具体涉及一种网络结构搜索方法、装置、存储介质与电子设备。

背景技术

人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术学科。AI技术可以应用于机器人、语言识别、图像识别、自然语言处理和专家系统等各种领域中，使用非常方便。

现有的AI技术中，大多需要基于神经网络模型进行深度学习来实现。而神经网络模型的网络结构的搜索是深度学习任务中的首要问题。现有技术中，通常使用进化算法和强化学习去在大的搜索空间中实现网络结构搜索。但是，基于强化学习和进化算法的网络结构搜索一般需要耗费大量的时间和资源。基于此，出现了一种基于梯度的网络结构搜索方法，该搜索方法中，可以人工选择部分结构来组成小的搜索空间，从而可以在很少时间和资源的情况下，得到不逊于基于强化学习和进化算法的网络结构搜索的结果，是一种性能非常好的网络结构搜索方法。

但是，当搜索空间比较大时，基于梯度的网络结构搜索方法会出现梯度过快消失等状况，导致无法进行正常的网络结构搜索。

发明内容

为了解决上述技术问题，提出了本申请的网络结构搜索方法、装置、存储介质与电子设备。

根据本申请的一个方面，提供了一种网络结构搜索方法，包括：

按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

为每个所述操作组配置第一结构参数；

为每个所述操作组中的各个所述操作，配置相同的网络参数；

基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

根据本申请的另一个方面，提供了一种网络结构搜索装置，包括：

分组模块，用于按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

配置模块，用于为每个所述操作组配置第一结构参数；

所述配置模块，还用于为每个所述操作组中的各个所述操作，配置相同的网络参数；

搜索模块，用于基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。

本申请实施例提供的网络结构搜索方法，以网络结构中的每个操作组的第一结构参数和网络参数为网络搜索过程中调节的参数，且每个操作组的网络参数相同，进行网络结构搜索，该搜索过程中，由于操作组的权重大于其内单个操作的权重，可以避免权重过小，导致更新参数时梯度过快消失的情况，因此，本申请实施例的技术方案，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本发明提供的一种网络结构的示意图。

图2-图4为基于梯度的网络结构搜索的过程。

图5为本发明的网络结构搜索方法实施例一的流程图。

图6为本发明的网络结构搜索方法实施例二的流程图。

图7为本发明的网络结构搜索方法实施例三的流程图。

图8为图1所示的网络结构中两个节点之间的操作组及操作的示意图。

图9为本发明的网络结构搜索装置实施例一的结构图。

图10为本发明的网络结构搜索装置实施例二的结构图。

图11图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

图1为本发明提供的一种网络结构的示意图。如图1所示，该网络结构中，包括第一节点0、第二节点1、第三节点2和第四节点3四个节点，每两个节点之间可以包括多种操作。下面以图1所示的网络结构作为搜索空间，介绍基于梯度的网络结构搜索方案。

基于梯度的网络结构搜索中，不仅需要训练结构参数，同时还需要训练网络参数。其中结构参数可以指任意两个节点之间的操作的权重系数。而网络参数可以指的是每种操作本身所包括的结构参数。在网络结构搜索过程中，不能同时对结构参数和网络参数进行训练，而可以采用轮流训练的方式分别对结构参数和网络参数进行训练。如第一轮网络结构搜索训练结构参数，第二轮网络结构搜索训练网络参数，依次类推。或者也可以根据需求，每两轮或者多轮对其中一种参数进行训练，而后续的另外两轮或者对论对另一种参数进行训练，在此不再一一举例赘述。

在每一轮网络结构搜索中包括前向传播和后向传播，前向传播过程中，将训练数据输入至网络结构中，网络结构基于现有的参数输出一个预测结果。然后基于训练数据中的预期结果和网络结构输出的预测结果，计算损失函数。在损失函数不收敛时，在后向传播中参考损失函数调整参数，使得网络结构的预测结构趋向于与预期结果一致。在调整参数时，首先根据链式法则对每一个待调整的参数求偏导得到相应的导数；调整参数时，采用梯度的方式更新参数，更新后的参数＝参数-超级系数*导数，完成一轮搜索，下一步的网络结构搜索，基于前一步调整后参数进行。以此类推，直到损失函数收敛，确定网络结构中的网络参数和结构参数，网络结构搜索终止。其中超级系数为一个基于学习率的系数，在网络结构搜索过程中，可以根据需求定期或者定时修改，如可以搜索预设轮数修改或者搜索预设时间长度修改。

图2-图4为基于梯度的网络结构搜索的过程，一个父网络(supernet)里面包括所有的子网络，如图2所示网络结构中以图1所示的网络结构中，每两个节点中包括三种操作为例。每个子网络都有相应的权重，在训练的过程中权重会根据梯度来改变，如图3所示为训练过程中的一种状态图。其中两个节点间不同的线条表示不同权重的操作。训练结束后会有权重最大的子网络，最后只留下权重最大的子网络，就是搜索出来的网络，如图4所示网络。

在上述基于梯度的网络结构搜索过程中，如果搜索空间较大，节点间的操作较多，导致某些操作的权重非常小，即相应的网络结构的结构参数求导后的导数趋于0，导致更新参数时梯度过快消失，而网络结构搜索并未达到真正的收敛，从而无法进行正常的网络结构搜索。

示例性方法

图5为本发明的网络结构搜索方法实施例一的流程图。如图5所示，本实施例的网络结构搜索方法，具体可以包括如下步骤：

S100、按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个操作组中包括至少一个操作；

本实施例的网络结构搜索方法的执行主体为网络结构搜索装置，该网络结构搜索装置可以为一独立的物理实体，也可以为采用软件集成，使用时运行在计算机上。

本实施例的网络结构中可以包括多个节点，任意具有连接关系的两个节点构成的节点对之间可以包括有多个操作。例如，本实施例中的操作可以空洞卷积操作或者神经网络中其他操作操作组为按照分组策略所得的操作组。本实施例中，可以按照预设的分组策略，将网络结构中每个节点对之间的多个操作分为多个操作组，每个操作组中包括至少一个操作。

S101、为每个操作组配置第一结构参数；

S102、为每个操作组中的各个操作，配置相同的网络参数；

本实施例中，经过对每个节点对中的多个操作分组后，每个节点对之间可以包括多个操作组。每个操作组作为一个独立单元，其内的每个操作配置有相同的网络参数。每个操作组对外，可以配置第一结构参数，以作为该操作组的一个特征信息。

也就是说，经过对节点对之间的操作分组处理后，在不考虑每个操作组内的操作的情况下，网络结构的节点对之间包括多个操作组。每个操作组具有其对应的第一结构参数，该第一结构参数具体可以标识该操作组在对应的节点对之间的权重系数。而每个操作组中的网络参数可以标识该操作组中每个操作本身的参数。

S103、基于网络结构中各节点对之间的操作组的第一结构参数和网络参数，采用训练数据集对网络结构进行基于梯度的网络结构搜索。

本实施例的基于操作组的第一结构参数和网络参数的网络结构搜索，是在采用训练数据集，对网络结构中的各操作组的第一结构参数和网络参数进行训练过程中，基于梯度下降原则，不断地调节网络结构中各节点对之间的操作组的第一结构参数和网络参数，直到搜索收敛，网络结构搜索完毕，确定各节点对之间的操作组的第一结构参数和网络参数。

也就是说，本实施例的网络结构搜索过程，本身也是网络结构中各节点对之间的操作组的第一结构参数和网络参数的训练过程。

本实施例中的搜索过程中，与现有技术相比，为了便于搜索的正常进行，每个操作组中的操作的网络参数都相同。且本实施例中，搜索过程中，调整的不是每个操作的结构参数，而是每个操作组的第一结构参数，且每个操作组的第一结构参数相当于该操作组在对应的节点对之间的权重系数，与操作中的每个操作的权重系数相比，相应的操作组的第一结构参数的值更大，所以，在网络结构搜索过程中，不会存在由于操作组的权重过小，导致更新参数时梯度过快消失的情况，因此，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

具体地，训练过程同理，在每一轮网络结构搜索中也包括前向传播和后向传播，前向传播过程中，将训练数据输入至网络结构中，网络结构基于现有的网络结构中的每一个操作组的第一结构参数和网络参数，输出一个预测结果。然后基于训练数据中的预期结果和网络结构输出的预测结果，计算损失函数。在损失函数不收敛时，各轮交替地在后向传播中参考损失函数调整各操作组的第一结构参数或者网络参数，使得网络结构的预测结构趋向于与预期结果一致。在调整各操作组的第一结构参数或者网络参数时，同理，首先根据链式法则对每一个待调整的参数求偏导得到相应的导数；调整参数时，采用梯度的方式更新参数，更新后的参数＝参数-超级系数*导数，完成一轮搜索，下一步的网络结构搜索，基于前一步调整后参数进行。以此类推，直到损失函数收敛，确定网络结构中的每个操作组的网络参数和第一结构参数，网络结构搜索终止，此时可以确定最终得到的每个操作组的网络参数和第一结构参数对应的网络结构。

需要说明的是，训练之前，需要为每个操作组配置第一结构参数的初始值，具体地，可以随机配置每个操作组对应的第一结构参数的初始值。但是，由于第一结构参数表征的是对应的操作组的权重系数，所以两个节点之间的所有操作组的第一结构参数之和需要等于1，且在参数调整过程中，两个节点之间的所有操作组的第一结构参数之和也需要始终等于1。对于每个操作组中的网络参数可以随机赋予初始值。

本实施例的网络结构搜索方法，通过采用上述实施例的技术方案，以网络结构中的每个操作组的第一结构参数和网络参数为网络搜索过程中调节的参数，且每个操作组的网络参数相同，进行网络结构搜索，该搜索过程中，由于操作组的权重大于其内单个操作的权重，可以避免权重过小，导致更新参数时梯度过快消失的情况，因此，本实施例的技术方案，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

图6为本发明的网络结构搜索方法实施例二的流程图。如图6所示，本实施例的网络结构搜索方法，在上述图5所示的技术方案的基础上，还可以包括如下步骤：

S200、为每个操作组中的各个操作配置第二结构参数；

S201、基于第二结构参数，采用训练数据集对网络结构进行基于梯度的网络结构搜索。

基于上述图5所示实施例的网络结构搜索，可以确定网络结构中每个操作组的网络参数和第一结构参数对应的网络结构，此时虽然已经确定了网络结构中一部分参数，但是还不能获取到最终所需要的目标网络结构。本实施例的网络结构搜索方法，在上述图5所示实施例的技术方案的基础上，继续进行网络结构搜索，以获取目标网络结构。且由于图5所示实施例已经确定网络结构中每个操作组的网络参数和第一结构参数，可以大大简化本实施例中网络结构搜索的搜索空间。

具体地，上述图5中仅搜索并确定网络结构中的每个操作组的第一结构参数，而未考虑到每个操作组内的每个操作的结构参数，本实施例中，便基于上述图5所示实施例的技术方案，进一步训练网络结构中每个操作组内的操作的结构参数。首先，需要为每个操作组中的各个操作配置第二结构参数；然后基于第二结构参数，采用训练数据集进行基于梯度的网络结构搜索。

需要说明的是，搜索过程中，每个操作组的第一结构参数和网络参数时固定的。且每个操作组中所有操作的第二结构参数之和等于该操作组的第一结构参数。若每个操作组的第一结构参数具体标识该操作组在对应的节点对之间的权重系数，则操作组中的每个操作的第二结构参数可以用来标识该操作在对应的节点对之间的权重系数。训练之前，可以随机为每个操作组中的每个操作随机赋予初始值，保证同一个操作组中所有操作的第二结构参数之和等于该操作组的第一结构参数即可。

具体的搜索过程，仍然采用基于梯度的网络结构搜索，详细实现原理可以参考上述实施例的相关记载，在此不再赘述。另外，由于本实施例中已经确定网络结构中的每个操作组的第一结构参数和网络参数，所以本实施例的网络结构搜索空间较小，不会由于操作的权重过小，导致更新参数时梯度过快消失的情况。

本实施例的网络结构搜索方法，最终可以得到每个操作组中每个操作的第二网络结构参数。进一步地，可以对整个网络结构进行筛选，从网络结构的各节点对中获取第二网络结构参数最大，即权重系数最高的操作，作为目标网络结构。

本实施例的网络结构搜索方法，通过采用上述实施例的技术方案，进一步以网络结构中的每个操作组中的每个操作的第二结构参数为网络搜索过程中调节的参数，进行网络结构搜索，该搜索过程中，由于网络结构搜索空间较小，不会由于操作的权重过小，导致更新参数时梯度过快消失的情况，因此，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

图7为本发明的的网络结构搜索方法实施例三的流程图。如图7所示，本实施例的网络结构搜索方法，在上述图5所示的技术方案的基础上，其中步骤S100“按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组”，具体可以包括如下步骤：

S300、获取网络结构中各节点对之间的多个操作中每个操作的特征参数；

S301、根据各节点对之间的每个操作的特征参数，将各节点对之间的多个操作中、特征参数具有共性的操作归为一个操作组，共得到多个操作组。

例如，实际应用中，网络结构中包括的空洞卷积操作较多，此时对应的可以先从网络结构中各节点对之间的所有操作中获取数个空洞卷积操作。具体地，数个的数量可以为一个、两个或者多个。实际应用中，大多数场景中，各节点对之间的所有操作中可以包括多个空洞卷积操作。然后。按照步骤S300，可以计算网络结构中各节点对之间的数个空洞卷积操作中每个空洞卷积操作的空洞比率。

此时对应地，步骤S301，具体可以包括如下两种情况：

第一种情况：按照预设的空洞比率的分级策略，将各节点对之间的数个空洞卷积操作中、空洞比率在同一级别的操作，归为一个操作组；

例如，本实施例的预设的空洞比率的分级策略可以为：设置空洞比率阈值来将数个空洞卷积操作进行分级。例如若仅设置一个空洞比率阈值，此时可以将数个空洞卷积操作中空洞比率大于或者等于该空洞比率阈值的操作分为一个操作组，数个空洞卷积操作中空洞比率小于该空洞比率阈值的操作分为另一操作组。另外，若设置两个空洞比率阈值，第一空洞比率阈值和第二空洞比率阈值，且第二空洞比率阈值大于第一空洞比率阈值时，此时可以根据两个空洞比率阈值将数个操作分为三个操作组。具体地，将数个空洞卷积操作中空洞比率大于或者等于第二空洞比率阈值的操作分为一个操作组，将数个空洞卷积操作中空洞比率大于或者等于第一空洞比率阈值、且小于第二空洞比率阈值的操作分为另一个操作组，将数个空洞卷积操作中空洞比率小于第一空洞比率阈值的操作分为再一个操作组。同理，还可以设置更多数量个空洞比率阈值，以将数个空洞卷积操作分成更多的组，原理同上，在此不再赘述。

第二种情况：将各节点对之间的数个空洞卷积操作中、空洞比率的差值在预设数值范围内的操作，归为一个操作组。

本实施例的预设的空洞比率的分级策略还可以为：按照聚类分组的策略，将数个空洞卷积操作中、空洞比率的差值在预设数值范围内的操作聚为一个操作组。本实施例的预设数值可以根据实际需求来设置。具体分组时，首先计算数个空洞空洞卷积操作中任意两个空洞空洞卷积操作的空洞比率的差值。然后聚类时，先随机取一个空洞卷积操作放至一个操作组中，然后获取与其空洞比率的差值小于预设数值范围内的所有操作，也聚类至该操作。然后再随机取一个未聚类的空洞卷积操作，放至另一个操作组，按照上述方式，继续获取与其空洞比率的差值小于预设数值范围内的所有操作，也聚类至该另一个操作组。以此类推，可以实现对所有的空洞卷积操作进行分组。

另外，需要说明的是，实际应用中，网络结构中各节点对之间的所有操作中除了空洞卷积操作，可能还包括其他操作。同理，对于其他操作，也可以获取其相应的特征参数，然后按照特征参数的共性，将属于同类的操作归为一个操作组。例如，在步骤“从网络结构中各节点对之间的所有操作中获取数个空洞卷积操作”之后，还包括：从网络结构中各节点对之间的所有操作中获取数个空洞卷积操作之外的操作。此时对应地步骤S300可以为根据数个空洞卷积操作之外的操作的类型，确定与数个空洞卷积操作之外的操作相对应的特征参数。即本实施例中，其他操作可以直接根据操作类型，为对应的操作设置特征参数，例如，相同类型的操作，可以设置相同的特征参数，如数字1表示一种类型的操作，数字0表示另一种类型的操作，等等。或者特征参数也可以采用如S_1、S_2、S_3等等，表示相同类型的操作S中的不同操作。这样，同一类型的操作，具有相同或者相似的特征参数，根据特征参数，可以将同一类型的操作归为一个操作组。若是不同类型的操作，需要分成不同的操作组。

例如图8为图1所示的网络结构中两个节点之间的操作组及操作的示意图。例如，该图8可以为图1所示的节点0和3之间的操作组和操作。如图8所示，将两个节点之间的所有操作分成5分操作组，其中α1、α2、α3、α4和α5分别为五个操作组的第一结构参数，即各操作组的权重。其中α2、α3、α4对应的操作组分别为空洞卷积操作的操作组。而α1和α5对应的操作分别为“Op”，指的是其他的操作，比如1*1的卷积操作等；其中β1_1、β1_2、β1_3为α2对应的操作组中各操作的权重，即对应的第二结构参数；β2_1、β2_2、β2_3为α3对应的操作组中各操作的权重，即对应的第二结构参数；β3_1、β3_2以及β3_3为α4对应的操作中各操作的权重，即对应的第二结构参数。图中未示出各操作组的网络参数，每个操作组的网络参数相同。按照上述图5所示实施例进行网络结构搜索时，可以训练得到α1、α2、α3、α4和α5的参数的数值以及网络结构中其他节点对之间的第一结构参数，以及每个操作组中的网络参数。按照上述图6所示实施例进行网络结构搜索时，可以训练得到当前节点对中的β1_1、β1_2、β1_3、β2_1、β2_2、β2_3、β3_1、β3_2和β3_3的参数的数值、以及其他节点对中每个操作组中的第二结构参数。详细可以参考上述实施例的记载，在此不再赘述。本实施例的网络结构搜索方法，通过采用上述实施例的技术方案，实现网络结构中的各节点对之间的数个操作的分组，以便于后续以网络结构中的每个操作组的第一结构参数和网络参数为网络搜索过程中调节的参数，进行网络结构搜索，以保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

示例性装置

图9为本发明的网络结构搜索装置实施例一的结构图，如图9所示，本实施例的网络结构的搜索装置，包括：

分组模块10用于按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个操作组中包括至少一个操作；

配置模块11用于为分组模块10得到的每个操作组配置第一结构参数；

配置模块11还用于为分组模块10得到的每个操作组中的各个操作，配置相同的网络参数；

搜索模块12用于基于配置模块11配置的网络结构中各节点对之间的操作组的第一结构参数和网络参数，采用训练数据集对网络结构进行基于梯度的网络结构搜索。

本实施例的网络结构的搜索装置，通过采用上述模块实现网络结构搜索的实现原理以及技术效果与上述相关方法实施例相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图10为本发明的网络结构搜索装置实施例二的结构图。如图10所示，本实施例的网络结构搜索装置，在上述图9所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。

如图10所示，本实施例的网络结构搜索装置中，分组模块10包括：

获取单元101用于获取网络结构中各节点对之间的多个操作中每个操作的特征参数；

分组单元102用于根据获取单元101获取的各节点对之间的每个操作的特征参数，将各节点对之间的多个操作中、特征参数具有共性的操作归为一个操作组，共得到多个操作组。

进一步可选地，本实施例的网络结构搜索装置中，获取单元101用于计算网络结构中各节点对之间的数个空洞卷积操作中每个空洞卷积操作的空洞比率；

对应地，分组单元102用于：

根据获取单元101获取的信息，按照预设的空洞比率的分级策略，将各节点对之间的数个空洞卷积操作中、空洞比率在同一级别的操作，归为一个操作组；

或者，将各节点对之间的数个空洞卷积操作中、空洞比率的差值在预设数值范围内的操作，归为一个操作组。

进一步可选地，本实施例的网络结构搜索装置中，获取单元101还用于从网络结构中各节点对之间的所有操作中获取数个空洞卷积操作。

进一步可选地，本实施例的网络结构搜索装置中，获取单元101还用于从网络结构中各节点对之间的所有操作中获取数个空洞卷积操作之外的操作。

进一步可选地，本实施例的网络结构搜索装置中，获取单元101还具体用于根据多个空洞卷积操作之外的操作的类型，确定与数个空洞卷积操作之外的操作相对应的特征参数。

进一步可选地，本实施例的网络结构搜索装置中，配置模块11还用于为每个操作组中的各个操作配置第二结构参数；

搜索模块12还用于基于配置模块11配置的第二结构参数，采用训练数据集对网络结构进行基于梯度的网络结构搜索。

本实施例的网络结构的搜索装置，通过采用上述模块实现网络结构搜索的实现原理以及技术效果与上述相关方法实施例相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

示例性电子设备

图11图示了根据本申请实施例的电子设备的框图。

如图11所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的网络结构的搜索方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置113可以是上述的摄像头或麦克风、麦克风阵列等，用于捕捉图像或声源的输入信号。在该电子设备是单机设备时，该输入装置123可以是通信网络连接器，用于从神经网络处理器接收所采集的输入信号。

此外，该输入设备113还可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的输出电压、输出电流信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的网络结构的搜索方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的网络结构的搜索方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种网络结构搜索方法，包括：

按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

为每个所述操作组配置第一结构参数；

为每个所述操作组中的各个所述操作，配置相同的网络参数；

基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

2.根据权利要求1所述的方法，其中，按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，包括：

获取所述网络结构中各所述节点对之间的多个操作中每个操作的特征参数；

根据各所述节点对之间的每个操作的所述特征参数，将各所述节点对之间的所述多个操作中、所述特征参数具有共性的操作归为一个所述操作组，共得到多个所述操作组。

3.根据权利要求2所述的方法，其中，获取所述网络结构中各所述节点对之间的多个操作中每个操作的特征参数，包括：

计算所述网络结构中各所述节点对之间的数个空洞卷积操作中每个所述空洞卷积操作的空洞比率；

根据各所述节点对之间的每个操作的所述特征参数，将各所述节点对之间的所述数个操作中、所述特征参数具有共性的操作归为一个所述操作组，包括：

按照预设的空洞比率的分级策略，将各所述节点对之间的数个所述空洞卷积操作中、所述空洞比率在同一级别的操作，归为一个所述操作组；

或者，将各所述节点对之间的数个所述空洞卷积操作中、所述空洞比率的差值在预设数值范围内的操作，归为一个所述操作组。

4.根据权利要求3所述的方法，其中，计算所述网络结构中各所述节点对之间的多个空洞卷积操作中每个所述空洞卷积操作的空洞比率之前，所述方法还包括：

从所述网络结构中各所述节点对之间的所有操作中获取所述数个空洞卷积操作。

5.根据权利要求4所述的方法，其中，从所述网络结构中各所述节点对之间的所有操作中获取所述多个空洞卷积操作之后，所述方法包括：

从所述网络结构中各所述节点对之间的所有操作中获取所述数个空洞卷积操作之外的操作。

6.根据权利要求5所述的方法，其中，获取所述网络结构中各所述节点对之间的数个操作中每个操作的特征参数，包括：

根据所述多个空洞卷积操作之外的操作的类型，确定与所述数个空洞卷积操作之外的操作相对应的特征参数。

7.根据权利要求1-6任一所述的方法，其中，所述方法还包括：

为每个所述操作组中的各个所述操作配置第二结构参数；

基于所述第二结构参数，采用所述训练数据集对所述网络结构进行基于梯度的网络结构搜索。

8.一种网络结构搜索装置，包括：

分组模块，用于按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

配置模块，用于为每个所述操作组配置第一结构参数；

所述配置模块，还用于为每个所述操作组中的各个所述操作，配置相同的网络参数；

搜索模块，用于基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的网络结构搜索方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-7任一所述的网络结构搜索方法。