CN116051964B - 深度学习网络确定方法、图像分类方法及设备 - Google Patents

Abstract

本申请提供一种深度学习网络确定方法、图像分类方法及设备。本申请的方法，通过根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，可以快速搜索出少量优质的网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，在训练超网络时仅优化已经快速搜索到的优质网络结构，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。

Description

深度学习网络确定方法、图像分类方法及设备

技术领域

本申请涉及计算机技术，尤其涉及一种深度学习网络确定方法、图像分类方法及设备。

背景技术

随着人工智能技术的发展，深度学习网络得到了广泛应用，并且在图像分类和识别、语音识别、自然语言处理等领域都具有优异的表现。深度学习网络的优异表现主要得益于网络结构的设计。以往，深度学习网络结构都是人工设计的，需要大量的经验和精力。

目前网络结构搜索（Neural Architecture Search，简称NAS）的方案，虽然可以自动化搜索所需网络结构，但是需要对搜索空间中数量巨大的网络结构全部进行训练，搜索的效率低。

发明内容

本申请提供一种深度学习网络确定方法、图像分类方法及设备，用以解决现有的网络结构搜索方法搜索效率低的问题。

第一方面，本申请提供一种深度学习网络确定方法，包括：根据待确定的目标深度学习网络的应用需求，确定搜索空间，所述搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从所述搜索空间中搜索出多个优质网络结构；根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

第二方面，本申请提供一种深度学习网络确定方法，应用于端侧设备，包括：获取并显示云服务器提供的任务选项和所述任务选项对应的搜索空间选项；响应于选定任一所述任务选项为目标任务，以及选定任一所述搜索空间选项作为所述目标任务的搜索空间的操作，向所述云服务器发送深度学习网络确定请求，所述深度学习网络确定请求携带所述目标任务和搜索空间；接收所述云服务器发送的带有优化参数的至少一个所述目标深度学习网络，所述目标深度学习网络通过第一方面所述的方法确定；从接收到的至少一个所述目标深度学习网络中选择一个目标深度学习网络，使用所选择的目标深度学习网络执行所述目标任务，得到任务执行结果。

第三方面，本申请提供一种深度学习网络确定方法，包括：根据获取应用于图像分类任务的目标深度学习网络的应用需求，确定图像分类任务的搜索空间所述搜索空间包含待搜索的用于实现图像分类的深度学习网络结构；采用无训练的网络结构搜索方式，从所述搜索空间中搜索出多个优质网络结构；根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为图像分类模型，所述图像分类模型用于对输入图像进行分类预测，得到图像分类结果。

第四方面，本申请提供一种图像分类方法，应用于端侧设备，包括：向云服务器发送图像分类模型的获取请求，所述获取请求携带应用于图像分类任务时给定的搜索空间；接收云服务器发送的图像分类模型，所述图像分类模型是通过第三方面所述的方法确定的；响应于图像分类请求，将待处理的图像输入所述图像分类模型进行图像分类，得到图像分类结果，输出所述图像分类结果。

第五方面，本申请提供一种云服务器，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面或第三方面所述的方法。

第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面或第三方面所述的方法。

本申请提供的深度学习网络确定方法、图像分类方法及设备，通过根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，可以快速搜索出少量优质的网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，在训练超网络时仅优化已经快速搜索到的优质网络结构，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请所适用的一种示例性的深度学习网络搜索的系统架构图；

图2为本申请提供一种深度学习网络确定方法的交互流程图；

图3为本申请一示例性实施例提供的深度学习网络确定方法流程图；

图4为本申请一示例性实施例提供的深度学习网络确定方法的总体架构图；

图5为本申请一示例性实施例提供的无训练的网络结构搜索阶段的流程图；

图6为本申请一示例性实施例提供的无训练的网络结构搜索的架构图；

图7为本申请一示例性实施例提供的超网络训练阶段的流程图；

图8为本申请一示例性实施例提供的超网络训练阶段的架构图；

图9为本申请一示例性实施例提供的深度学习网络确定方法的完整流程图；

图10为本申请另一示例性实施例提供的深度学习网络确定方法的流程图；

图11为本申请一示例性实施例提供的图像分类方法的流程图；

图12为本申请一示例性实施例提供的深度学习网络确定装置的结构示意图；

图13为本申请实施例提供的一种云服务器的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请所涉及的名词进行解释：

网络结构搜索（Neural Architecture Search，简称NAS）：是一种在预设的网络空间中搜索出优质的网络结构，代替人工设计获得优质网络结构的方法。预设的网络空间也称为搜索空间。

单次训练的网络结构搜索策略：也即one-shot NAS方法，通过构建包含搜索空间所包含的网络结构的超网络（或成为主网络），通过对超网络进行一次训练，子网络通过继承主网络的参数，即可获得各个子网络训练好的参数，通过子网络在验证集上的表现筛选出优质的网络结构，就可以提供附带训练参数的网络结构。

无训练的网络结构搜索策略：也即zero-shot NAS方法，这种网络结构搜索方法无需训练，通过一些与网络结构优劣正相关的评价指标筛选网络结构。这种方法由于没有进行训练，只搜索出网络结构，不提供训练好的参数。

视觉转换器（Vision Transformer，简称ViT）：也称为视觉Transformer，一种用于图像分类的深度神经网络模型。

Transformer：是一种采用自注意力机制的深度学习模型，包括编码网络（Encoder）和解码网络（Decoder）。

为了解决现有的深度学习网络结构搜索方法的搜索代价高、效率低的问题，本申请提供一种深度学习网络确定方法，根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，可以快速搜索出少量较优质的网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，在训练超网络时仅优化已经快速搜索到的优质网络结构，可以大大减少待训练的网络结构的数量，从而提升深度学习网络的搜索效率；并且，可以避免优质网络结构与较差的网络结构共享权重，提升训练得到带有优化参数的深度学习网络的精度和性能。

本申请提供的深度学习网络确定方法，可以用于搜索Transformer模型、卷积神经网络（Convolutional Neural Networks，简称CNN）等不同类型的深度学习网络。另外，本申请提供的方法，可以用于搜索执行不同目标任务的深度学习网络，适用于的目标任务包括但不限于图像分类、图像识别、语音识别、自然语言处理等类型的任务。例如，本申请的方法可以搜索获得用于执行图像分类任务的视觉Transformer（ViT）模型，用于执行文本分类、文本摘要（生成）、机器翻译等自然语言处理任务的Transformer模型，用于执行语音识别任务的卷积神经网络CNN等。

图1为本申请所适用的一种示例性的深度学习网络搜索系统架构图，如图1所示，该系统架构具体可包括云服务器和端侧设备。

其中，云服务器具体可为设置在云端的服务器集群。云服务器与各个端侧设备间具有可通信的通信链路，能够实现云服务器与各个端侧设备间的通信连接。云服务器预先针对一个或多个给定的目标任务，获取目标任务对应的搜索空间，进行深度学习网络搜索，以搜索到用于执行目标任务的带有训练好的优化参数的目标深度学习网络。云服务器存储搜索到的用各个目标任务对应的带有训练好的优化参数的目标深度学习网络。

端侧设备具体可以为用于执行目标任务的设备，具体可以是具有网络通信功能、运算功能以及信息显示功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备、服务器等。端侧设备向云服务器请求给定目标任务和搜索空间的目标深度学习网络，云服务器向端侧设备提供用于执行给定目标任务的带有优化参数的目标深度学习网络。端侧设备基于获得的目标深度学习网络执行指定的目标任务。

端侧设备向云服务器提供待确定的目标深度学习网络的应用需求，例如应用的目标任务、搜索空间、对目标深度学习网络的资源限制条件。其中，资源限制条件可以是对目标深度学习网络的参数量、响应时间等的限制条件。

云服务器根据待确定的目标深度学习网络的应用需求，确定搜索空间；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。云服务器向端侧设备发送带有优化参数的目标深度学习网络。端侧设备可以使用带有优化参数的目标深度学习网络执行目标任务，得到任务执行结果。

图2为本申请提供一种深度学习网络确定方法的交互流程图。在一种可能的应用场景中，如图2所示，该深度学习网络确定方法的具体步骤如下：

步骤S201、云服务器向端侧设备提供任务选项和任务选项对应的搜索空间选项。

示例性地，云服务器向端侧设备提供的任务选项可以包括如下至少一类任务：图像分类任务、图像识别任务、语音识别任务、自然语言处理任务。以及各任务选项对应的搜索空间选项。其中一个任务选项可以对应一个或者多个搜索空间选择，以供用户灵活选择使用。另外，云服务器还可以向端侧设备提供任务选项对应的一个或多个资源限制条件，以供用户选择。

步骤S202、端侧设备获取并显示任务选项和任务选项对应的搜索空间选项。

该步骤中，端侧设备将任务选项和任务选项对应的搜索空间选项进行显示，以供用户选定目标任务和目标任务的搜索空间。若云服务器提供了任务选项对应的一个或多个资源限制条件，端侧设备还可以显示任务选项对应的一个或多个资源限制条件，以供用户选择给定的资源限制条件。

步骤S203、响应于选定任一任务选项为目标任务，以及选定任一搜索空间选项作为目标任务的搜索空间的操作，端侧设备向云服务器发送深度学习网络确定请求，深度学习网络确定请求携带目标任务和搜索空间。

用户可以选定任一任务选项为目标任务，并从该目标任务对应的搜索空间选项中，选定任一搜索空间选项作为目标任务的搜索空间。另外，若显示了任务选项对应的一个或多个资源限制条件，用户还可以选择其中一个或多个资源限制条件，以获取与所选择的一个或多个资源限制条件匹配的深度学习网络。

端侧设备向云服务器发送包含用户选定的目标任务和搜索空间的深度学习网络确定请求，以触发云服务器根据用户选定的目标任务和搜索空间，确定用于执行该目标任务的带有优化参数的目标深度学习网络。若用户选择了给定的资源限制条件，该深度学习网络确定请求还可以包含用户选择的给定的资源限制条件。

步骤S204、云服务器接收端侧设备发送的深度学习网络确定请求。

云服务器接收到端侧设备发送的深度学习网络确定请求后，可以从深度学习网络确定请求中获取到目标任务和搜索空间。若深度学习网络确定请求还可以包含给定的资源限制条件，云服务器也可以获取到给定的资源限制条件。

步骤S205、云服务器采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构。

步骤S206、云服务器根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为用于执行给定的目标任务的目标深度学习网络。

云服务器通过步骤S205-S206，根据基于用户的应用需求确定的目标任务和搜索空间，确定用于执行目标任务的带有优化参数的目标深度学习网络。另外，若云服务器从请求中获取到了给定的资源限制条件，云服务器还可以基于用户的应用需求确定的目标任务、搜索空间和给定的资源限制条件，确定用于执行目标任务、且与各给定的资源限制条件匹配的带有优化参数的目标深度学习网络。

步骤S207、云服务器向端侧设备发送带有优化参数的至少一个目标深度学习网络。

步骤S208、端侧设备从接收到的至少一个目标深度学习网络中选择一个目标深度学习网络，使用所选择的目标深度学习网络执行目标任务，得到任务执行结果。

若云服务器向端侧设备返回了多个带有优化参数的目标深度学习网络，端侧设备可以从中选择一个目标深度学习网络，作为用于执行目标任务的任务模型。

在从多个目标深度学习网络中选择目标任务的任务模型时，可以使用少量验证集验证各个目标深度学习网络的性能，选择性能较佳的一个作为目标任务的任务模型。

步骤S209、端侧设备输出任务执行结果。

本实施例中，用户选择的目标任务可以是图像分类任务、图像识别任务、语音识别任务、自然语言处理任务中的任意一种，针对不同类型的目标任务，云服务器可以搜索确定执行对应目标任务的目标深度学习网络，具体实现方式类似，此处不再一一举例。

在本申请的另一种应用场景中，可以预先配置的至少一个目标任务，以及各目标任务对应的搜索空间和至少一个资源限制条件，其中不同目标任务对应的搜索空间可以不同，不同目标任务对应的至少一个资源限制条件也可以不同。云服务器离线地基于各目标任务对应的搜索空间，确定用于执行各目标任务的与各资源限制条件匹配的目标深度学习网络（带有优化参数），并存储用于执行各目标任务的各资源限制条件匹配的目标深度学习网络。在线上使用时，端侧设备向云服务器发送深度学习网络获取请求，深度学习网络获取请求携带给定的目标任务和资源限制条件。云服务器接收端侧设备发送的深度学习网络获取请求，深度学习网络获取请求携带给定的目标任务和资源限制条件，从存储的目标深度学习网络中搜索用于执行目标任务、且与给定资源限制条件匹配的目标深度学习网络，并向端侧设备发送用于执行目标任务、且与给定资源限制条件匹配的目标深度学习网络。

可选地，这一应用场景中，云服务器可以向端侧设备提供已存储的目标深度学习网络的标识信息、适用任务说明、资源限制条件信息、优化参数范围等相关信息。端侧设备展示各个目标深度学习网络的适用任务、资源限制条件信息、优化参数范围等相关信息，以供用户选择。响应于对选定的任一目标深度学习网络的获取请求，端侧设备向云服务器发送对选定的目标深度学习网络的获取请求，该请求携带选定的目标深度学习网络的标识信息。云服务器根据接收到的目标深度学习网络的获取请求，获取请求中携带的目标深度学习网络的标识信息，获取标识信息对应的目标深度学习网络（带有优化参数），并反馈给端侧设备。

示例性地，以图像分类任务场景为例，云服务器预先搜索并存储用于执行图像分类任务的与各个资源限制条件相匹配的带有优化参数的图像分类模型。端侧设备向云服务器发送图像分类模型的获取请求，该获取请求携带给定资源限制条件。云服务器接收该获取请求，从预先搜索并存储的用于执行图像分类任务的各资源限制条件匹配的带有优化参数的图像分类模型中，选择与当前给定资源限制条件匹配的图像分类模型，将与当前给定资源限制条件匹配的带有优化参数的图像分类模型发送给端侧设备。端侧设备接收云服务器发送的图像分类模型，使用该图像分类模型对待处理的图像进行图像分类，得到图像分类结果，输出图像分类结果。

示例性地，以图像识别任务场景为例，云服务器预先搜索并存储用于执行图像识别任务的与各个资源限制条件相匹配的带有优化参数的图像识别模型。端侧设备向云服务器发送图像识别模型的获取请求，该获取请求携带给定资源限制条件。云服务器接收该获取请求，从预先搜索并存储的用于执行图像识别任务的各资源限制条件匹配的带有优化参数的图像识别模型中，选择与当前给定资源限制条件匹配的图像识别模型，将与当前给定资源限制条件匹配的带有优化参数的图像识别模型发送给端侧设备。端侧设备接收云服务器发送的图像识别模型，使用该图像识别模型对待处理的图像进行图像识别，得到图像识别结果，输出图像识别结果。

示例性地，以语音识别任务场景为例，云服务器预先搜索并存储用于执行语音识别任务的与各个资源限制条件相匹配的带有优化参数的语音识别模型。端侧设备向云服务器发送语音识别模型的获取请求，该获取请求携带给定资源限制条件。云服务器接收该获取请求，从预先搜索并存储的用于执行语音识别任务的各资源限制条件匹配的带有优化参数的语音识别模型中，选择与当前给定资源限制条件匹配的语音识别模型，将与当前给定资源限制条件匹配的带有优化参数的语音识别模型发送给端侧设备。端侧设备接收云服务器发送的语音识别模型，使用该语音识别模型对待处理的图像进行语音识别，得到语音识别结果，输出语音识别结果。

示例性地，以自然语言处理任务场景为例，云服务器预先搜索并存储用于执行自然语言处理任务的与各个资源限制条件相匹配的带有优化参数的自然语言处理模型。端侧设备向云服务器发送自然语言处理模型的获取请求，该获取请求携带给定资源限制条件。云服务器接收该获取请求，从预先搜索并存储的用于执行自然语言处理任务的各资源限制条件匹配的带有优化参数的自然语言处理模型中，选择与当前给定资源限制条件匹配的自然语言处理模型，将与当前给定资源限制条件匹配的带有优化参数的自然语言处理模型发送给端侧设备。端侧设备接收云服务器发送的自然语言处理模型，使用该自然语言处理模型对待处理的图像进行自然语言处理，得到自然语言处理结果，输出自然语言处理结果。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图3为本申请一示例性实施例提供的深度学习网络确定方法流程图。本实施例的执行主体为上述深度学习网络搜索系统架构中的云服务器，本实施例提供的方法用于在给定搜索空间中搜索满用于执行目标任务的目标深度学习网络及优化参数。如图3所示，该方法具体步骤如下：

步骤S301、根据待确定的目标深度学习网络的应用需求，确定搜索空间。

本实施例中，云服务器获取根据对目标深度学习网络的应用需求确定的搜索空间。其中，对目标深度学习网络的应用需求包括但不限于：所需完成的目标任务类型，例如图像分类、图像识别、语音识别、文本分类、文本摘要等；所使用的深度学习网络结构的架构类型，例如Transformer模型、卷积神经网络CNN等；所使用的搜索空间。在应用需求不包括搜索空间的情况下，云服务器可以根据目标任务获取配置的默认的搜索空间。

示例性地，目标任务为图像分类任务，目标深度学习网络为图像分类模型，用于执行图像分类任务得到图像分类结果。

示例性地，目标任务为图像识别任务，目标深度学习网络为图像识别模型，用于执行图像识别任务得到图像识别结果。

示例性地，目标任务为语音识别任务，目标深度学习网络为语音识别模型，用于执行语音识别任务得到语音识别结果。

示例性地，目标任务为自然语言处理任务，例如文本分类、基于文本生成摘要（或题目）等。目标深度学习网络为执行相应任务的自然语言处理模型。

步骤S302、采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构。

该步骤中，先使用无训练的网络结构搜索（zero-shot NAS）策略，在不进行模型训练的前提下，在搜索空间中快速搜索出多个优质网络结构，以减少需要训练的网络结构的数量，减少深度学习网络搜索的代价，提升深度学习网络搜索的效率。

步骤S303、根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

在快速搜索出多个优质网络结构之后，使用单次训练的网络结构搜索（one-shotNAS）策略，根据搜索空间构建超网络，该超网络包含搜索空间所包含的待搜索的深度学习网络结构，因此也包含搜索得到的优质网络结构。针对搜索得到的优质网络结构，通过以权重共享的方式训练超网络，得到训练好的优化参数。超网络中的各个优质网络结构通过继承超网络的对应参数，即可得到各个优质网络结构的优化参数。

进一步地，从带有优化参数的多个优质网络结构中，选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

本实施例中，在训练超网络时，在步骤S302搜索到的优质网络结构的基础上，以权重共享的方式，仅在超网络中采样搜索到的优质网络结构进行训练，也即在训练超网络过程中仅关注步骤S302搜索得到的优质网络结构，对这些优质网络结构进行集中优化训练，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。另外，还可以避免训练过程优质网络结构与较差的网络结构共享权重，从而可以提升训练得到优质网络结构的参数的质量，提升训练得到带有优化参数的目标深度学习网络的精度和性能。

在一些对目标深度学习网络的精准度要求较高的场景中，还可以对筛选得到的几个带有优化参数的少数目标深度学习网络，进行额外的训练（可以由云服务器或端侧设备进行），以提升目标深度学习网络的精准度。

本实施例中，根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，可以快速搜索出少量优质的网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，在训练超网络时仅优化已经快速搜索到的优质网络结构，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。并且，还可以避免训练过程优质网络结构与较差的网络结构共享权重，从而可以提升训练得到优质网络结构的参数的质量，提升训练得到带有优化参数的目标深度学习网络的精度和性能。

示例性地，图4为本申请实施例提供的深度学习网络确定方法的总体架构图，如图4所示，本申请提供的深度学习网络确定方法包含两个搜索阶段，第一阶段进行无训练的网络结构搜索（也即Zero-shot 搜索），从总体（原始）的搜索空间中快速搜索得到多个优质网络结构。第二阶段基于单次训练的网络结构搜索策略训练超网络（也即One-shot 训练超网络），得到训练好的包含第一阶段搜索到的优质网络结构的超网络。优质网络结构从训练好的超网络中继承对应部分的参数，可以获得带有训练好的优选参数的优质网络结构。进一步地可以确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

在一可选实施例中，图5为本申请一示例性实施例提供的无训练的网络结构搜索阶段的流程图。如图5所示，上述步骤S302中，采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，具体可以采用如下步骤S3021-S3024实现：

步骤S3021、根据搜索空间构建超网络，初始化超网络的参数。

本实施例中，根据搜索空间构建超网络，并随机初始化超网络的参数。该超网络包含搜索空间所包含的各个待搜索的深度学习网络结构。

示例性地，以待确定的目标深度学习网络为Transformer模型为例，可以设定如下表1所示的三种规格的搜索空间，以满足不同目标任务和资源限制的需求：

表1

在表1中，括号中三元组中的三个值分别表示可变构建因素的最低值、最高值和步长。示例性地，对于搜索空间1，嵌入维度（宽度）最低可取192，最高可取到240，可变化的步长是24，也即嵌入维度的可变值为24的整数倍。

示例性地，基于搜索空间1构建嵌入维度为240，Q-K-V尺寸为256，MLP比率为4，注意力头的数量为4，深度为14的超网络，该超网络可以包含该搜索空间1所包含的网络结构。例如，该超网络中的前12层即为深度为12的网络结构。

步骤S3022、将样本输入超网络进行预测，并根据样本的预测结果和标注信息，计算超网络中各个参数的梯度。

本实施例中，基于无训练的网络结构搜索策略，在搜索空间中快速搜索出多个优质网络结构时，可以使用基于梯度的第一评价指标来衡量网络结构的优劣。

为了提高搜索效率，将样本输入超网络进行目标任务的预测，得到预测结果，根据样本的预测结果和样本的标注信息，计算损失并计算超网络中各个参数的梯度。由于超网络包含了各个深度学习网络架构，通过从超网络中各个参数的梯度中截取出各个深度学习网络架构对应部分的参数的梯度，即可得到各个深度学习网络架构的参数的梯度。相较于现有的无训练的网络结构搜索方法中，分别将样本输入各个深度学习网络结构进行预测，根据各个深度学习网络结构的预测结果和样本的标注信息计算损失和梯度，本实施例的方法可以减少网络推理时间和梯度计算次数，从而可以显著提升搜索效率。

需要说明的是，该步骤中使用小批量（如几十或几百个）的样本数据进行计算，获得超网络中各个参数的梯度。

步骤S3023、根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标。

本实施例中，候选网络结构包含至少一个待搜索的深度学习网络结构。

在一可选实施例中，可以将待搜索的深度学习网络结构均作为候选网络结构。

在另一可选实施例中，若云服务器获取到了给定的至少一个资源限制条件，云服务器可以根据各资源限制条件，分别确定满足不同资源限制条件的深度学习网络结构，作为满足不同资源限制条件的候选网络结构。

示例性地，以表1所示的搜索空间1为例，以限制资源为参数量为例，假设预设的资源限制的跨度为1M，可以确定参数量的多个资源限制条件如下：[5.4，6.4)，[6.4，7.4)，[7.4，8.4)，[8.4，9.4)，[9.4，10.4)，[10.4，10.5)。

该步骤中，可以根据搜索空间中各可变构建因素的最低值、最高值和步长，确定可能的深度学习网络结构，并确定各个深度学习网络结构的资源消耗（如深度学习网络结构的参数量），并确定深度学习网络结构所满足的资源限制条件，从而得到满足不同资源限制条件的候选网络结构。针对任意的资源限制条件，对于满足该资源限制条件的候选网络结构，从超网络的参数的梯度中截取各个候选网络结构对应部分的参数的梯度，得到各个候选网络结构的参数的梯度。进一步地，根据各个候选网络结构的参数的梯度，计算候选网络结构的第一评价指标。

可选地，第一评价指标可以是深度学习网络结构的各参数与梯度乘积的绝对值之和。该步骤中，计算根据超网络中候选网络结构的参数的梯度，计算候选网络结构的各参数与梯度乘积的绝对值之和。

可选地，第一评价指标可以是深度学习网络结构的各参数与梯度乘积之和。该步骤中，根据超网络中候选网络结构的参数的梯度，计算候选网络结构的各参数与梯度乘积之和。

可选地，第一评价指标可以是深度学习网络结构的各参数与梯度的海森矩阵的乘积的相反数之和。该步骤中，根据超网络中候选网络结构的参数的梯度，计算候选网络结构的各参数与梯度的海森矩阵的乘积的相反数之和。

可选地，第一评价指标可以是深度学习网络结构的各参数的梯度的二范数。该步骤中，根据超网络中候选网络结构的参数的梯度，计算候选网络结构的各参数的梯度的二范数。

另外，第一评价指标还可以采用网络架构搜索方法中常用的基于梯度的评价指标替换，此处不做具体限定。

步骤S3024、根据候选网络结构的第一评价指标，选择多个候选网络结构作为优质网络结构。

在计算得到各个候选网络结构的第一评价指标之后，可以按第一评价指标对各个候选网络结构进行排序，并选择第一评价指标较优的预设数量的候选网络结构，作为优质网络结构。

在一可选实施例中，对于任意资源限制条件，根据满足不同资源限制条件的候选网络结构的第一评价指标，从满足该资源限制条件的候选网络结构中筛选出质量较高（第一评价指标较优）的候选网络结构，作为满足该资源限制条件的优质网络结构。

本实施例中，为了计算梯度，需要将一个小批量样本输入超网络执行正向推断，根据正向推断的预测结果和样本的标注信息，计算损失和超网络的参数的梯度，无需各个候选网络结构分别进行正向推断，只经过一次正向推断，从超网络的参数的梯度中可以截取得到各个候选网络结构的参数的梯度，从而基于梯度的第一评价指标筛选出多个优质网络结构，减少网络推理时间和梯度计算次数，从而可以显著提升优质网络结构的搜索效率。

在一种具体使用场景中，对于基于Transformer的深度学习网络结构，由多层网络层（Transformer block）堆叠而成，不同的网络层可以是具有相同的资源消耗（如具有相同的参数量）的不同结构的网络层，这些网络层按照不同顺序排列，形成的具有相同组成部分的不同的深度学习网络结构。这些具有相同组成部分的不同的深度学习网络结构相互称为结构异构体（也称为同分异构体）。也即是结构异构体为多个由相同网络层按照不同排列顺序构建的不同的深度学习网络结构。结构异构体是具有相同资源消耗的不同的深度学习网络结构。

对于这些结构异构体，计算出的基于梯度的第一评价指标也是相同的，无法基于第一评价指标来衡量结构异构体的优劣。对于除基于Transformer的深度学习网络结构之外的其他深度学习网络架构的搜索，也可能存在搜索空间包含结构异构体的情况。

在一可选实施例中，在基于无训练的网络结构搜索策略，在搜索空间中搜索出多个优质网络结构的过程中，在根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标之前，针对搜索空间包含结构异构体的情况，可以计算结构异构体的第二评价指标，该第二评价指标可以衡量结构异构体的优劣，通过第二评价指标对结构异构体进行搜索，确定其中一个较优的结构异构体作为候选网络结构，而其他的结构异构体则被作为低质量的网络结构排除，不作为候选网络结构。

具体地，在根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标之前，将待搜索的深度学习网络结构中非结构异构体的深度学习网络结构作为候选网络结构。对于待搜索的深度学习网络结构中的结构异构体，根据超网络中结构异构体的参数的梯度，计算结构异构体的第二评价指标；根据结构异构体的第二评价指标，筛选出其中一个结构异构体作为候选网络结构。

另外，若搜索空间中包含多组结构异构体，则分别针对各组结构异构体，计算第二评价指标并筛选出高质量的结构异构体作为候选网络结构，排除其他低质量的结构异构体。

进一步地，深度学习网络结构的第二评价指标可以是将深度学习网络结构的各层网络结构的第一平均指标进行归一化处理的结构。具体地，根据超网络中结构异构体的参数的梯度，计算结构异构体的第二评价指标，具体可以采用如下方式实现：

根据超网络中结构异构体的参数的梯度，获取结构异构体中各层网络结构的参数的梯度；根据结构异构体中各层网络结构的参数的梯度，计算各层网络结构的第一评价指标；对各层网络结构的第一评价指标进行归一化处理，并将各层网络结构的第一评价指标的归一化处理结果求和，得到结构异构体的第二评价指标。

示例性地，以第一评价指标为深度学习网络结构的各参数与梯度乘积的绝对值之和为例，深度学习网络架构的第一评价指标可以表示为：

，其中，

表示深度学习网络结构/>

的第一评价指标，/>

表示深度学习网络结构/>

的参数的集合，/>

表示深度学习网络结构/>

的任一参数，/>

表示深度学习网络结构/>

的任一参数/>

的梯度，/>

表示哈达玛积运算。

深度学习网络结构

的第二评价指标可以表示为：

，其中，/>

表示深度学习网络结构/>

的第二评价指标，/>

为深度学习网络结构/>

的层数，/>

表示深度学习网络结构

的第/>

层的参数，/>

表示深度学习网络结构/>

的第/>

层网络结构的第一评价指标，/>

表示超网络的第/>

层的参数，/>

表示超网络的第/>

层的第一评价指标，/>

表示哈达玛积运算。

示例性地，图6为本申请一示例性实施例中无训练的网络结构搜索的架构图，如图6所示，在基于无训练的网络结构搜索的阶段，首先构建具有随机初始化参数的超网络（Supernet），使用小批量样本计算得到超网络中各个参数的梯度。对于总体（原始）的搜索空间中包含的结构异构体，基于按层归一化后的第二评价指标，在结构异构体中筛选出个别的优质的候选网络结构，通过排除低质量的结构异构体，形成一个较小而优的候选网络结构空间。进一步地，基于各个资源限制条件，基于第一评价指标分别筛选出满足不同资源限制条件的较优的深度学习网络结构，作为与各个资源限制条件匹配的优质网络结构。

本实施例中，通过对结构异构体的各层网络结构的第一评价指标进行归一化处理，并将各层网络结构的第一评价指标的归一化处理结果之和，作为结构异构体的第二评价指标，能够准确衡量结构异构体的结构的优劣，从而可以准确搜索到结构异构体中高质量的深度学习网络结构，可以提高深度学习网络结构搜索的精准度。通过排除低质量的结构异构体，可以进一步减少需要训练的网络结构的数量，从而可以进一步提升深度学习网络结构的搜索效率。

在一可选实施例中，图7为本申请一示例性实施例提供的超网络训练阶段的流程图。如图7所示，在前述步骤S303中，根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，得到带有优化参数的超网络，具体可以通过基于单次训练的网络结构搜索策略，使用训练集，迭代进行如下步骤S3031-S3036的多轮训练实现：

步骤S3031、根据优质网络结构的尺寸，采样一个尺寸。

本实施例中，在训练超网络时，可以按照优质网络结构的尺寸进行采样，对任一优质网络结构至少采样一次，以实现针对各个优质网络结构的训练。

具体地，该步骤中可以根据各个优质网络结构的尺寸，对优质网络结构进行分组，使得同一分组中的优质网络结构具有相同的尺寸。示例性地，可以根据优质网络结构的宽度和深度，对优质网络结构进行分组，使得同一分组中的优质网络结构具有相同的宽度和深度。在训练超网络时，可以按照各个分组应的尺寸进行采样，先采样一个尺寸，再从该尺寸对应分组中采样一个优质网络结构进行训练。

步骤S3032、在搜索空间确定的超网络中，采样具有当前采样尺寸的优质网络结构。

在训练超网络过程中，先采样一个尺寸，然后在当前尺寸对应分组中的优质网络结构中采样一个优质网络结构，对超网络中包含的该优质网络结构进行训练，并更新超网络中该优质网络结构部分的参数。

具体地，在超网络中采样一个优质网络结构时，可以将超网络中属于优质网络结构的单元置为可用状态，其他不属于优质网络结构的单元置为不可用状态，使得处于可用状态的单元组成优质网络结构。对于输入超网络的样本数据，会进入可用状态的单元进行处理，而不会进入不可用状态的单元。

其中，通过设置超网络中各个单元的状态来从超网络中采样一个子网络结构的方法，与现有的单次训练的网络结构搜索策略（也即one-shot NAS算法）中的训练超网络（Supernet）时使用的类似处理方法，本实施例此处不再赘述。

步骤S3033、从训练集中采样批量训练数据，使用批量训练数据训练当前采样的优质网络结构，并更新超网络中对应的参数。

该步骤中，可以使用从训练集中采样一个批量的训练数据，使用该批量训练数据对当前采样的超网络中的优质网络结构进行训练。在不同循环中采样得到的批量训练数据不完全相同，基于不同的批量训练数据对超网络中的优质网络结构进行训练。

示例性地，从训练集中采样批量训练数据时，可以通过轮询方式或随机采用的方式获得批量训练数据，另外还可以采用其他模型训练过程中生成批量训练数据的其他方式实现，此处不做具体限定。

步骤S3034、是否满足停止条件。

在进行一轮迭代训练之后，判断当前是否满足停止条件。若不满足停止条件，则循环执行步骤S3031-S3034，直至满足停止条件时，执行步骤S3035。其中，停止条件可以是循环迭代次数达到迭代次数阈值，或者不存在未采样到的优质网络结构等，停止条件可以根据实际应用场景及经验值进行设置和调整，此处不做具体限定。

步骤S3035、直至满足停止条件时，得到带有优化参数的超网络。

步骤S3036、从带有优化参数的超网络中截取优质网络结构的优化参数，选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

本实施例中，基于单次训练的网络结构搜索策略，通过对超网络进行一次训练得到带有优化参数的超网络，从超网络的优化参数中截取各个优质网络结构对应部分的优化参数，即可得到各个优质网络结构的优化参数，使用各个优质网络结构的优化参数初始化优质网络结构，即可得到带有优化参数的优质网络结构。

进一步地，从带有优化参数的优质网络结构中选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

示例性地，在从带有优化参数的优质网络结构中选择目标深度学习网络，可以使用验证集验证各个带有优化参数的优质网络结构的性能，选择性能较佳的一个或者多个作为目标深度学习网络。

示例性地，图8为本申请实施例中超网络训练阶段的架构图，如图8所示，在第二阶段训练超网络的过程中，基于第一阶段搜索得到多个优质网络结构，将优质网络结构按照不同尺寸进行分组，均匀采样尺寸，再采样该尺寸下的优质网络结构；使用从训练集中采样的批量训练数据，训练采样的优质网络结构并更新超网络对应参数，经过多轮迭代训练后得到训练好的包含优质网络结构的超网络。从超网络的优化参数中截取各个优质网络结构对应部分的优化参数，即可得到各个优质网络结构的优化参数，进一步地，使用各个优质网络结构的优化参数初始化优质网络结构，即可得到带有优化参数的优质网络结构。

本实施例中，由于在第一阶段中已经从搜索空间中快速搜索得到了较少数量的优质网络结构，经过第二阶段对超网络的一次性训练，即可得到各个优质网络结构的训练好的优化参数，使用各个优质网络结构的优化参数初始化优质网络结构，即可得到带有优化参数的优质网络结构，仅针对第一阶段搜索得到的少量优质网络结构进行集中优化，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。并且，可以避免优质网络结构与较差的网络结构共享权重，从而可以提升训练得到的优质网络结构的参数的质量，提升训练得到带有优化参数的深度学习网络的精度和性能。

图9为本申请一示例性实施例提供的深度学习网络确定方法的完整流程图，如图9所示，该深度学习网络确定搜索方法的具体步骤如下：

步骤S901、云服务器根据待确定的目标深度学习网络的应用需求，确定目标任务、搜索空间和至少一个资源限制条件。

步骤S902、云服务器采用无训练的网络结构搜索方式，从搜索空间中搜索得到用于执行各目标任务的与各资源限制条件匹配的优质网络结构。

步骤S903、云服务器根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，得到带有优化参数的超网络。

步骤S904、云服务器从带有优化参数的超网络中截取优质网络结构的优化参数，获得带有优化参数的优质网络结构，得到用于执行各目标任务的与各资源限制条件匹配的带有优化参数的目标深度学习网络。

本实施例中步骤S901-S904的具体实现方式与前述步骤S301-S203的实现方式类似，具体参见前述实施例的相关内容，此处不再赘述。

步骤S905、云服务器存储用于执行各目标任务的与各资源限制条件匹配的带有优化参数的目标深度学习网络。

在针对各个目标任务，通过步骤S901-S904搜索得到用于执行该目标任务的与各资源限制条件匹配的带有优化参数的目标深度学习网络之后，云服务器存储用于执行各个目标任务的与各资源限制条件匹配的带有优化参数的目标深度学习网络，以便于基于端侧设备的线上请求，向端侧设备提供用于执行给定目标任务的与给定资源限制条件匹配的目标深度学习网络。

步骤S906、端侧设备向云服务器发送深度学习网络获取的请求，该请求包含给定目标任务和给定资源限制条件。

步骤S907、云服务器接收深度学习网络获取的请求，并获取给定目标任务和给定资源限制条件。

步骤S908、云服务器根据给定目标任务和给定资源限制条件，获取用于执行给定目标任务、且与给定资源限制条件匹配的带有优化参数的目标深度学习网络。

步骤S909、云服务器向端侧设备发送用于执行给定目标任务、且与给定资源限制条件匹配的带有优化参数的目标深度学习网络。

步骤S910、端侧设备接收云服务器发送的目标深度学习网络。

步骤S911、响应于目标任务执行请求，将待处理数据输入目标深度学习网络进行处理，得到目标任务执行结果，输出目标任务执行结果。

本实施例提供了一种深度学习网络确定方法的完整流程的示例，包括线下模型搜索、线上模型提供、任务执行这三个阶段。其中，在线下模型搜索阶段，云服务器搜索并存储用于执行各种目标任务、且满足各资源限制条件的带有优化参数的目标深度学习网络。在线上模型提供阶段，云服务器基于端侧设备的请求，向端侧设备提供用于执行给定目标任务、且与给定资源限制条件匹配的带有优化参数的目标深度学习网络。任务执行阶段，端侧设备使用从云服务器获得的目标深度学习网络执行对应的目标任务，获得目标任务执行结果，并输出目标任务执行结果。

下面以图像分类任务场景为例，对深度学习网络确定方法的应用进行示例性地说明。图10为本申请一示例性实施例提供的深度学习网络确定方法的流程图。如图10所示，将深度学习网络确定方法应用于图像分类场景时，搜索图像分类模型的具体步骤如下：

步骤S1001、根据获取应用于图像分类任务的目标深度学习网络的应用需求，确定图像分类任务的搜索空间，搜索空间包含待搜索的用于实现图像分类的深度学习网络结构。

本实施例中，目标任务为图像分类任务，待确定的目标深度学习网络为图像分类模型。

步骤S1002、采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构。

步骤S1003、根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为图像分类模型，图像分类模型用于对输入图像进行分类预测，得到图像分类结果。

本实施例中步骤S1001-S1003的具体实现方式与前述实施例中步骤S301-S303的实现方式类似，具体实现方式及效果参见前述实施例的相关内容，此处不再赘述。

本实施例中，由于步骤S1002中已经在搜索空间中搜索得到了较少数量的优质网络结构，经过步骤S1003对多个优质网络结构的集中优化训练，即可得到带有优化参数的优质网络结构，从中选择一个或者多个带有优化参数的优质网络结构作为图像分类模型，可以大大提升图像分类模型的确定效率。

图11为本申请一示例性实施例提供的图像分类方法的流程图，本实施例的方法应用于端侧设备。如图11所示，方法具体步骤如下：

步骤S1101、向云服务器发送图像分类模型的获取请求，获取请求携带应用于图像分类任务时给定的搜索空间。云服务器响应于图像分类模型的获取请求，根据搜索空间确定用于执行图像分类任务的带有优化参数的目标深度学习网络，将其中至少一个带有优化参数的优质网络结构，作为图像分类模型，并将图像分类模型发送至端侧设备。其中，用于执行图像分类任务的带有优化参数的目标深度学习网络，是云服务器通过前述任一实施例提供的深度学习网络结构确定方法确定的。

可选地，该获取请求还可以包含一个或者多个给定资源限制条件。对于需要执行图像分类任务的端侧设备，可以根据自身的应用需求及硬件条件，确定给定资源限制条件。端侧设备向云服务器发送携带给定资源限制条件的图像分类模型的获取请求。

云服务器响应于图像分类模型的获取请求，获取用于执行图像分类任务、且与给定资源限制条件相匹配的带有优化参数的目标深度学习网络，作为向端侧设备提供的图像分类模型，将该图像分类模型发送至端侧设备。其中，与给定资源限制条件匹配的图像分类模型，是云服务器通过前述任一实施例提供的深度网络结构确定方法确定的。

步骤S1102、接收云服务器发送的图像分类模型。

步骤S1103、响应于图像分类请求，将待处理的图像输入图像分类模型进行图像分类，得到图像分类结果，输出图像分类结果。

响应于图像分类请求，端侧设备获取用户提供/指定的待处理的图像，将待处理图像输入图像分类模型，通过图像分类模型进行图像分类，得到图像分类结果，并输出图像分类结果。

本实施例提供了云服务器基于深度学习网络结构确定方法确定的目标深度学习网络，应用于图像分类场景时的具体使用流程，能够快速获取到所需使用的图像分类模型，并应用于图像分类。

图12为本申请一示例性实施例提供的深度学习网络确定装置的结构示意图。本申请实施例提供的深度学习网络确定装置可以执行深度学习网络确定方法实施例提供的处理流程。如图12所示，深度学习网络确定装置120包括：预处理模块1201、结构搜索模块1202和模型确定模块1203。

其中，预处理模块1201用于根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构。

结构搜索模块1202用于采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构。

模型确定模块1203用于根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

在一可选实施例中，在实现采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构时，结构搜索模块1202还用于：根据搜索空间构建超网络，初始化超网络的参数；将样本输入超网络进行预测，并根据样本的预测结果和标注信息，计算超网络中各个参数的梯度；根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构，候选网络结构包含至少一个待搜索的深度学习网络结构。

在一可选实施例中，在实现根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构时，结构搜索模块1202还用于：根据给定的至少一个资源限制条件，分别确定满足不同资源限制条件的深度学习网络结构，作为候选网络结构；根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标；根据候选网络结构的第一评价指标，选择确定满足各资源限制条件的优质网络结构。

在一可选实施例中，在实现根据超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标之前，结构搜索模块1202还用于：将待搜索的深度学习网络结构中非结构异构体的深度学习网络结构作为候选网络结构；对于待搜索的深度学习网络结构中的结构异构体，根据超网络中结构异构体的参数的梯度，计算结构异构体的第二评价指标，结构异构体为多个由相同网络层按照不同排列顺序构建的深度学习网络结构；根据结构异构体的第二评价指标，筛选出其中一个结构异构体作为候选网络结构。

在一可选实施例中，在实现根据超网络中结构异构体的参数的梯度，计算结构异构体的第二评价指标时，结构搜索模块1202还用于：根据超网络中结构异构体的参数的梯度，获取结构异构体中各层网络结构的参数的梯度；根据结构异构体中各层网络结构的参数的梯度，计算各层网络结构的第一评价指标；对各层网络结构的第一评价指标进行归一化处理，并将各层网络结构的第一评价指标的归一化处理结果求和，得到结构异构体的第二评价指标。

在一可选实施例中，在实现根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络时，模型确定模块1203还用于：基于单次训练的网络结构搜索策略，使用训练集，迭代进行如下多轮训练：根据优质网络结构的尺寸，采样一个尺寸；在搜索空间确定的超网络中，采样具有当前采样尺寸的优质网络结构，使用从训练集中采样的批量训练数据，训练当前采样的优质网络结构，并更新超网络中对应的参数；直至满足停止条件时，得到带有优化参数的超网络；从带有优化参数的超网络中截取优质网络结构的优化参数，选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

在一可选实施例中，在实现根据待确定的深度学习网络的应用需求，确定搜索空间时，预处理模块1201还用于：向端侧设备提供任务选项和任务选项对应的搜索空间选项；接收端侧设备发送的深度学习网络确定请求，深度学习网络确定请求携带给定的目标任务和搜索空间。在确定目标深度学习网络之后，模型确定模块1203还用于：向端侧设备发送带有优化参数的至少一个目标深度学习网络，目标深度学习网络用于执行目标任务，得到任务执行结果。

在一可选实施例中，在实现根据待确定的深度学习网络的应用需求，确定搜索空间时，预处理模块1201还用于：获取配置的至少一个目标任务，以及各目标任务对应的搜索空间。在基于各目标任务对应的搜索空间，确定目标深度学习网络之后，模型确定模块1203还用于：存储用于执行各目标任务的各资源限制条件匹配的带有优化参数的目标深度学习网络；接收端侧设备发送的深度学习网络获取请求，深度学习网络获取请求携带给定的目标任务和资源限制条件；向端侧设备发送用于执行目标任务、且与给定资源限制条件匹配的带有优化参数的目标深度学习网络。

在一可选实施例中，目标任务为图像分类任务，带有优化参数的目标深度学习网络为图像分类模型，用于执行图像分类任务得到图像分类结果。

在一可选实施例中，目标任务为图像识别任务，带有优化参数的目标深度学习网络为图像识别模型，用于执行图像识别任务得到图像识别结果。

在一可选实施例中，目标任务为语音识别任务，带有优化参数的目标深度学习网络为语音识别模型，用于执行语音识别任务得到语音识别结果。

在一可选实施例中，目标任务为自然语言处理任务，带有优化参数的目标深度学习网络为自然语言处理模型，用于执行自然语言处理任务得到自然语言处理结果。

本申请实施例提供的装置可以具体用于执行上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。

图13为本申请实施例提供的一种云服务器的结构示意图。如图13所示，该云服务器包括：存储器1301和处理器1302。存储器1301，用于存储计算机执行指令，并可被配置为存储其它各种数据以支持在云服务器上的操作。处理器1302，与存储器1301通信连接，用于执行存储器1301存储的计算机执行指令，以实现上述任一方法实施例提供的技术方案，其具体功能和所能实现的技术效果类似，此处不再赘述。

可选的，如图13所示，该云服务器还包括：防火墙1303、负载均衡器1304、通信组件1305、电源组件1306等其它组件。图13中仅示意性给出部分组件，并不意味着云服务器只包括图13所示组件。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例中云服务器或端侧设备所执行的方法流程，具体功能和所能实现的技术效果此处不再赘述。

本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，云服务器的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得云服务器执行上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。

本申请实施例提供一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法实施例中云服务器的技术方案。可选的，该芯片还包括存储模块（如，存储器），存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述任一方法实施例提供的技术方案。

上述存储器可以是对象存储(Object Storage Service，OSS)。上述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如移动热点（WiFi），第二代移动通信系统（2G）、第三代移动通信系统（3G）、第四代移动通信系统（4G）/长期演进（LTE）、第五代移动通信系统（5G）等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、只读光盘存储器（CD-ROM）、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户属性信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。 “多个”的含义是两个以上，除非另有明确具体的限定。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种深度学习网络确定方法，其特征在于，包括：

向端侧设备提供任务选项和所述任务选项对应的搜索空间选项；

接收端侧设备发送的深度学习网络确定请求，所述深度学习网络确定请求携带给定的目标任务和搜索空间，所述搜索空间包含待搜索的深度学习网络结构；

采用无训练的网络结构搜索方式，根据所述搜索空间构建超网络，将样本输入所述超网络进行预测，根据所述样本的预测结果和标注信息，计算所述超网络中各个参数的梯度，根据所述超网络中各个参数的梯度，从所述搜索空间中搜索出多个优质网络结构；

根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络；

向端侧设备发送带有优化参数的至少一个目标深度学习网络，所述目标深度学习网络用于执行所述目标任务，得到任务执行结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述超网络中各个参数的梯度，从所述搜索空间中搜索出多个优质网络结构，包括：

根据所述超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构，所述候选网络结构包含至少一个待搜索的深度学习网络结构。

3.根据权利要求2所述的方法，其特征在于，所述根据所述超网络中候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构，包括：

根据给定的至少一个资源限制条件，分别确定满足不同所述资源限制条件的深度学习网络结构，作为候选网络结构；

根据所述超网络中所述候选网络结构的参数的梯度，计算所述候选网络结构的第一评价指标；

根据所述候选网络结构的第一评价指标，选择确定满足各所述资源限制条件的优质网络结构。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述超网络中所述候选网络结构的参数的梯度，计算候选网络结构的第一评价指标之前，还包括：

将所述待搜索的深度学习网络结构中非结构异构体的深度学习网络结构作为候选网络结构；

对于所述待搜索的深度学习网络结构中的结构异构体，根据所述超网络中所述结构异构体的参数的梯度，计算所述结构异构体的第二评价指标，所述结构异构体为多个由相同网络层按照不同排列顺序构建的深度学习网络结构；

根据所述结构异构体的第二评价指标，筛选出其中一个结构异构体作为候选网络结构。

5.根据权利要求4所述的方法，其特征在于，所述根据所述超网络中所述结构异构体的参数的梯度，计算所述结构异构体的第二评价指标，包括：

根据所述超网络中所述结构异构体的参数的梯度，获取所述结构异构体中各层网络结构的参数的梯度；

根据所述结构异构体中各层网络结构的参数的梯度，计算各层网络结构的第一评价指标；

对所述各层网络结构的第一评价指标进行归一化处理，并将各层网络结构的第一评价指标的归一化处理结果求和，得到所述结构异构体的第二评价指标。

6.根据权利要求1所述的方法，其特征在于，所述根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，包括：

基于单次训练的网络结构搜索策略，使用训练集，迭代进行如下多轮训练：

根据所述优质网络结构的尺寸，采样一个尺寸；

在所述搜索空间确定的超网络中，采样具有当前采样尺寸的所述优质网络结构，使用从所述训练集中采样的批量训练数据，训练当前采样的优质网络结构，并更新所述超网络中对应的参数；

直至满足停止条件时，得到带有优化参数的超网络；

从所述带有优化参数的超网络中截取所述优质网络结构的优化参数，选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。

7.根据权利要求3所述的方法，其特征在于，根据待确定的深度学习网络的应用需求，确定搜索空间，包括：

获取配置的至少一个目标任务，以及各所述目标任务对应的搜索空间；

在基于各所述目标任务对应的搜索空间，确定目标深度学习网络之后，还包括：

存储用于执行各所述目标任务的各所述资源限制条件匹配的带有优化参数的目标深度学习网络；

接收端侧设备发送的深度学习网络获取请求，所述深度学习网络获取请求携带给定的目标任务和资源限制条件；

向所述端侧设备发送用于执行所述目标任务、且与给定资源限制条件匹配的带有优化参数的目标深度学习网络。

8.根据权利要求1或7所述的方法，其特征在于，

所述目标任务为图像分类任务，所述带有优化参数的目标深度学习网络为图像分类模型，用于执行图像分类任务得到图像分类结果；

或者，

所述目标任务为图像识别任务，所述带有优化参数的目标深度学习网络为图像识别模型，用于执行图像识别任务得到图像识别结果；

或者，

所述目标任务为语音识别任务，所述带有优化参数的目标深度学习网络为语音识别模型，用于执行语音识别任务得到语音识别结果；

或者，

所述目标任务为自然语言处理任务，所述带有优化参数的目标深度学习网络为自然语言处理模型，用于执行自然语言处理任务得到自然语言处理结果。

9.一种深度学习网络确定方法，其特征在于，应用于端侧设备，包括：

获取并显示云服务器提供的任务选项和所述任务选项对应的搜索空间选项；

响应于选定任一所述任务选项为目标任务，以及选定任一所述搜索空间选项作为所述目标任务的搜索空间的操作，向所述云服务器发送深度学习网络确定请求，所述深度学习网络确定请求携带所述目标任务和搜索空间；

接收所述云服务器发送的带有优化参数的至少一个所述目标深度学习网络，所述目标深度学习网络通过权利要求1-8中任一种所述的方法确定；

从接收到的至少一个所述目标深度学习网络中选择一个目标深度学习网络，使用所选择的目标深度学习网络执行所述目标任务，得到任务执行结果。

10.一种深度学习网络确定方法，其特征在于，包括：

根据获取应用于图像分类任务的目标深度学习网络的应用需求，确定图像分类任务的搜索空间所述搜索空间包含待搜索的用于实现图像分类的深度学习网络结构；

采用无训练的网络结构搜索方式，根据所述搜索空间构建超网络，将样本输入所述超网络进行预测，根据所述样本的预测结果和标注信息，计算所述超网络中各个参数的梯度，根据所述超网络中各个参数的梯度，从所述搜索空间中搜索出多个优质网络结构；

根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为图像分类模型，所述图像分类模型用于对输入图像进行分类预测，得到图像分类结果。

11.一种图像分类方法，其特征在于，应用于端侧设备，包括：

向云服务器发送图像分类模型的获取请求，所述获取请求携带应用于图像分类任务时给定的搜索空间；

接收云服务器发送的图像分类模型，所述图像分类模型是通过如权利要求10所述的方法确定的；

响应于图像分类请求，将待处理的图像输入所述图像分类模型进行图像分类，得到图像分类结果，输出所述图像分类结果。

12.一种云服务器，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-8、10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8、10中任一项所述的方法。

Images