CN111814966A

CN111814966A - 神经网络架构搜索方法、神经网络应用方法、设备及存储介质

Info

Publication number: CN111814966A
Application number: CN202010857874.4A
Authority: CN
Inventors: 张宏达; 郑斌; 王正国; 孙钢; 王舒颦; 林森; 陈思浩; 毛燕萍; 何韵; 蒋群; 张艺凡
Original assignee: State Grid Zhejiang Electric Power Co Ltd; Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Current assignee: State Grid Zhejiang Electric Power Co Ltd; Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2020-10-23

Abstract

本申请属于深度学习技术领域，具体涉及一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。其中的方法包括：通过强化学习架构搜索方法搜索到第一神经网络模型，对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型。本申请方法中的神经网络架构搜索速度更快，有效解决了网络架构搜索资源消耗太多的问题。通过训练得到的神经网络模型对目标图像进行处理，可执行多种图像处理任务，图像处理时识别精度更高。

Description

神经网络架构搜索方法、神经网络应用方法、设备及存储介质

技术领域

本申请属于深度学习技术领域，具体涉及一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。

背景技术

深度学习极大地推动了计算机视觉的研究进展。深度学习的核心部分是设计和优化深度神经网络，一些流行的模型已经被人为设计，取得了当时的最佳艺术表现。然而，设计神经网络架构需要专业知识和大量的计算资源。神经网络架构搜索（NAS）的出现改变了这种情况，其目标是自动发现强大的网络结构，并在图像识别方面取得了显著的成功。在NAS的早期，研究人员关注于启发式搜索方法，它从一个大的搜索空间抽取架构样本，并执行单独的评估。这样的方法虽然能找到保证找到更优的架构，但是需要消耗太多的资源。大多数搜索方法都存在不稳定的问题，这是由于准确性对随机初始化很敏感，以及搜索架构有时会在其他数据集或任务中产生不满意的性能。除此之外，网络架构搜索算法仅仅局限于搜索图像分类任务，而在实际应用场景中，目标检测，语义分割，行人重识别等任务更加常用。

发明内容

鉴于现有技术的上述缺点、不足，本申请提供一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种神经网络架构搜索方法，该方法包括：

S11、定义搜索空间，所述搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将所述搜索空间作为待搜索网络单元；

S12、将M个所述待搜索网络单元，按照预定义的方式堆叠得到待搜索的神经网络，其中，M的初始取值范围为[4,6]；

S13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，采用强化学习搜索策略和操作级失活对所述待搜索的神经网络进行网络架构搜索，用强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；

S14、增大M的取值，将搜索后的网络单元作为待搜索网络单元；

S15、迭代执行步骤S12-步骤S14，直至迭代次数达到预设值，获取搜索后得到的神经网络模型，作为第一神经网络模型；

S16、对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；

S17、基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型；

S18、采用步骤S11-S17所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；

S19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测、行人重识别、图像分类中的一种或多种。

可选地，所述多种候选操作包括输出0操作、平均池化操作、最大池化操作、跳跃连接操作、深度可分离卷积操作、空洞卷积操作、全连接操作的任意组合。

可选地，网络架构搜索所使用的目标优化函数为：

其中，

是神经网络在验证集上的损失函数，

是神经网络在训练集上的损失函数，α是候选操作的权重，W为神经网络权重，W^*为最优的神经网络权重参数。

可选地，用强化学习代理生成权重参数，包括：

将搜索后的神经网络的精度作为奖励反馈给强化学习代理训练，强化学习控制器学习到策略；

对强化学习控制器学习到的策略采样，将采样的结果作为权重参数。

可选地，S16中预设的跳跃连接数量为3。

第二方面，本申请提出一种神经网络应用方法，该方法包括：

S18、采用上述任一项所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；

S19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测，行人重识别，图像分类中的一种或多种。

可选地，当S19中对目标图像进行的处理为目标检测时，基于所述目标神经网络模型对目标图像进行处理,包括：

S191、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，所述目标神经网络的权重是在数据集ImageNet上训练得到的；

S192、通过所述目标检测网络对目标图像进行目标检测，获取目标检测结果。

可选地，当S19中对目标图像进行的处理为行人重识别时，基于所述目标神经网络模型对目标图像进行处理,包括：

S191’、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，所述目标神经网络的权重是在数据集cifar10和imagenet上训练得到的；

S192’、用基于局部的卷积流程，通过所述行人重识别网络使对目标图像进行识别，获取行人重识别结果。

第三方面，本申请提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

第四方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

本申请的有益效果：本申请提出了一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质，通过强化学习架构搜索方法搜索到第一神经网络模型，基于预设的跳跃连接数量对第一神经网络模型进行网络结构搜索，得到第二神经网络模型；基于预先建立的评估网络的参数对第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型。本申请方法中的神经网络架构搜索速度更快，有效解决了网络架构搜索资源消耗太多的问题。通过多层次的神经网络架构搜索方法获取的目标神经网络模型，可执行多种图像处理任务，基于目标神经网络模型对目标图像进行处理，获取处理结果，识别精度更高。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中神经网络架构搜索方法流程示意图；

图2为本申请另一个实施例可以应用于其中的示例性系统架构图；

图3为本申请再一个实施例中的基于神经网络的图像处理方法流程示意图；

图4为本申请再一个实施例中单元内部结构示意图；

图5为本申请再一个实施例中的搜索网络示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。

下面将参考附图并结合实施例来详细说明本申请。

实施例一

图1示出了本申请一个实施例中的神经网络架构搜索方法流程示意图。如图所示，本实施例的神经网络架构搜索方法，包括：

S11、定义搜索空间，搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将搜索空间作为待搜索网络单元；

S12、将M个待搜索网络单元，按照预定义的方式堆叠得到待搜索的神经网络，其中，M的初始取值范围为[4,6]；

S13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，使用强化学习的搜索策略和操作级失活对待搜索的神经网络进行网络架构搜索，强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；

S16、对第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；

S17、基于预先建立的评估网络的参数对第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型；

在一些实施例中，多种候选操作包括输出0操作、平均池化操作、最大池化操作、跳跃连接操作、深度可分离卷积操作、空洞卷积操作、全连接操作的任意组合。

在一些实施例中，网络架构搜索所使用的目标优化函数为：

其中，

是神经网络在验证集上的损失函数，

在一些实施例中，S12中M的初始取值范围为[4,6]时，S14中M的取值分别范围分别为[10,12]、[15,18]，S15中迭代次数的预设值为3。也即是，每个层次渐进增加数量，具体数值可在范围内选择。

采用上述取值范围内的取值，可以在提升精度的情况下答复降低资源消耗，降低神经网络架构搜索时间。

在一些实施例中，用强化学习代理生成权重参数，包括：

在一些实施例中，S16中预设的跳跃连接数量为3。

本申请方法中的神经网络架构搜索速度更快，有效解决了网络架构搜索资源消耗太多的问题。

基于前述步骤S11-S17给出的内容，进而给出了如下详细操作：

S19、基于目标神经网络模型对目标图像进行处理，获取处理结果；对目标图像进行处理包括目标检测，行人重识别，图像分类中的一种或多种。

在一些实施例中，当S19中对目标图像进行的处理为目标检测时，基于目标神经网络模型对目标图像进行处理,包括：

S191、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，目标神经网络的权重是在数据集imagenet上训练得到的；

S192、通过目标检测网络对目标图像进行目标检测，获取目标检测结果。

在一些实施例中，当S19中对目标图像进行的处理为行人重识别时，基于目标神经网络模型对目标图像进行处理,包括：

S191’、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，目标神经网络的权重是在数据集cifar10和imagenet上训练得到的；

S192’、用基于局部的卷积流程，通过行人重识别网络使对目标图像进行识别，获取行人重识别结果。

图2示出了可以应用本申请的神经网络应用方法的实施例的示例性系统架构100。

如图2所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像采集类应用、图像处理类应用、搜索类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供图像采集服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如根据终端设备101、102、103上传的样本图像(例如，无人车所拍摄的街景图像)进行神经网络架构搜索的服务器。服务器可以对接收到的样本图像等数据进行分析等处理，生成神经网络模型反馈给终端设备。并可将终端设备上传的待识别图像进行处理，将处理结果(例如图像识别结果)反馈给终端设备。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供图像分割服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

通过多层次的神经网络架构搜索方法获取的目标神经网络模型，可执行多种图像处理任务，基于目标神经网络模型对目标图像进行处理，获取处理结果，识别精度更高。

实施例三

图3为本申请再一个实施例中的神经网络应用方法流程示意图，如图3所示，该方法主要包括两个部分：首先在代理的数据集上搜索目标神经网络，然后将搜索到的目标神经网络部属于图像处理任务中，如目标检测、行人重识别。在具体实施本实施例中，又可细分为以下步骤：

步骤（1）：建立一个搜索空间，本实施例中将搜索空间称为单元。由于神经网络的连接符合有向无环图的规定，因此由一个N个节点的有序序列组成的有向无环图表示网络中的一个单元。通常情况下，单元有7个点组成，2个输入节点，4个中间节点，1个输出节点，每条边的候选操作为8个，对应的权重随机初始化。图4为本申请再一个实施例中单元内部结构示意图，如图4所示，在有向无环图中，0、1、2分别为节点，之间的连接线为节点间的候选操作。图4中（a）、（b）、（c）分别是在进行多层次网络搜索时初始阶段、中间过程阶段、最终阶段的单元内部结构示意图。

有向无环图中，每个节点

是一个潜在的表示（例如卷积网络中的特征映射），每个有向边（i，j）与变换

的操作

相关联。搜索空间中可选择的是每条边是否选取，以及每条边上选择什么操作。本实施例中，具体的候选操作是：

None：输出0操作；

Avg_pool_3x3：平均池化操作；

Max_pool_3x3：最大池化操作；

skip_connect：跳跃连接操作；

sep_conv_3x3：深度可分离卷积操作3x3大小；

sep_conv_5x5：深度可分离卷积操作5x5大小；

dil_conv_3x3: 空洞卷积操作3x3大小；

dil_conv_5x5：空洞卷积操作5x5大小。

本实施例中采用的搜索方法是强化学习架构搜索方法，以下针对该搜索方法的原理进行说明。

假设单元有两个输入节点和一个输出节点。对于卷积单元，输入节点定义为前两层的单元输出。对于重复出现的单元，这些单元被定义为当前步骤的输入和上一步骤的状态。单元的输出是通过对所有中间节点应用缩减操作（例如级联）来获得的。

每个中间节点基于其所有前置节点进行计算，如公式（1）所示：

(1)

其中，

、

为节点，

是第i、j节点间的候选运算，i、j为节点的序号。

设O是一组候选运算（例如卷积、最大池、零），其中每个运算表示要应用于

的某个函数

。为了使搜索空间连续，将特定操作的分类选择松弛到所有可能操作的 softmax，参见公式（2）：

（2）

其中，

为一组候选运算的归一化指数函数，α为每条候选边的权重，α越大，候选边越重要。

公式（3）为架构搜索所使用的目标优化函数：

（3）

其中，

是神经网络在验证集上的损失函数，

是神经网络在训练集上的损失函数，α是候选操作的权重，W为神经网络权重，W ^*为最优的神经网络权重参数。

通过损失函数，在求出最优的神经网络权重参数W ^*约束下，求使网络在验证集上损失函数（

）最小的权重α。

步骤（2）：根据建立的搜索空间，建立一个由单元按照固定的设置堆叠而成的超网。图5为本申请另一个实施例中的多层次搜索网络示意图，如图5所示，初始的超网由5个单元（cells）堆叠而成。图4中（a）为初始阶段的单元内部结构示意图。

需要说明的是，这里的超网即是待搜索的神经网络；仅仅是为了描述上的方便，本实施例中将待搜索的神经网络称作了超网。

步骤（3）：利用超网进行搜索，同时，进行操作级失活，均匀采样出一个架构，进行训练，根据训练结果精度，对对应架构的每条边的权重进行一个更新。

针对现有方法使用可微分搜索策略的不稳定性，结合之前提出的步骤，本申请使用强化学习的策略来搜索α权重，根据采样到的架构精度，将精度作为奖励反馈给强化学习代理训练，如式（4）所示，采用强化学习重新生成α值：

（4）

其中，π代表着强化学习控制器学到的策略，θ是控制器的参数，∼表示α根据策略π采样得到。

现有方法中使用可微分搜索策略搜索时，随着搜索进行，生成的网络架构反而越来越差，最终甚至会完全变为跳过连接。这是因为为了支持梯度下降，对于搜索空间做了连续化近似，并始终在优化一组连续可微的框架权重。但是在生成最终框架时，权重轻微的扰动都会让验证集性能大幅下降。而本申请提出的使用强化学习的策略来搜索α权重，可以提升神经网络架构搜索算法的鲁棒性和泛化性，并取得了更强的稳定性和搜索性能。

步骤（4）：根据步骤（3）中求得得权重值进行排序，保留一定比例得候选边，得到下一阶段的新的单元，请参阅图4，图中的（a）、（b）0，1之间由4条候选边减少到了2条候选边。

步骤（5）：根据步骤（4）得到的新的单元，堆叠数量更多的单元形成下个阶段的超网，请继续参阅图5，图中5单元通过增加堆叠的单元数量到11单元。

步骤（6）：重复步骤（4）、（5）到最后阶段，对超网完成训练，请继续参阅图5，得到的超网由17个单元堆叠而成。

在现有的搜索中，网络架构搜索是在8个单元的网络上执行的，而搜索到的体系结构则在20个单元的网络上进行评估。然而，浅层网络和深层网络的行为有很大的区别，这意味着在搜索过程中喜欢的结构不一定是最适合评估的。称之为搜索和评估之间的深度代沟。为了验证这一点，进行了多次搜索，发现的网络结构的单元倾向于保持浅连接而不是深层连接。这是由于浅层网络通常在搜索过程中享受更快的收敛速度，但与深层网络往往表现更好的常识相矛盾（更深的网络代表网络参数容量越大，能学到更多的信息）。因此，本申请采用缩小搜索阶段与评估阶段的深度差距，并采取在搜索过程中逐步增加网络深度的策略，本实施例中采用多层次搜索网络深度，搜索阶段包含3个不同层次的深度。如图5所示，评估网络的深度为20，搜索阶段从第一个层次只有5个单元，最后扩展到17个单元的层次下搜索，逐步与最终评估的网络的层次接近，以减少与评估网络之间的代沟（cell为单元）。搜索结束时，深度足够接近评估中使用的设置。

渐进式的方式，而不是直接将深度增加到目标级别，可以浅层网络中的搜索相对于候选操作减少搜索空间，从而减轻在深层网络搜索的风险。

在评估网络中，使用20个单元效果最佳，过多的单元会导致过拟合，过少欠拟合。

为了解决上面提到的代沟问题，困难来自两个方面。

第一个方面是，网络结构的数量随着深度呈指数增长，这带来时间和记忆上的问题。特别是在超网中，图形处理器（GPU）内存使用量与搜索网络的深度成正比。有限的GPU内存构成了一个主要障碍，而最直接的解决方案是减少每次操作中的每个卷积核的通道数量，但性能略有下降。为了解决这个问题，我们提出了一种搜索空间近似方案，在每个阶段结束时逐步减少候选操作的数量，而这一方案又将前一阶段的核心操作作为选举的关键。

这个解决方案如图4所示，对应步骤（4）中，根据求得的α权重值对边进行排序，将不重要的边删除；同时，对应步骤（5），将超网的深度（单元的数量）增加，在不同阶段使用不同层次的深度。从而达到了增加深度减小和评估网络的代沟，并且不占用非常大的gpu资源，非常有效的解决了上述第一个问题。

第二方面是，现有的搜索算法在搜索更深层次的架构时，搜索方法往往偏向于跳过连接操作，因为这会加速前/后向传播，并且会加快收敛速度。然而，由于这种操作是无参数的，所以它学习视觉表示的能力相对较弱。为此，本申请采用了搜索空间正则化的方案，该方案增加了操作级的丢失，以防止体系结构“过度设置”，并限制保留的跳过连接数，以进一步保持稳定性。

在步骤（3）中，通过搜索空间正则化来解决这个问题。首先，在每个跳跃连接操作之后插入操作级别的失活，这样就可以部分地“切断”跳跃连接的路径，便于算法探索其他操作。但是，如果不断地通过跳跃连接阻塞路径，算法会通过给它们分配低权重来丢弃它们，这对最终性能是有害的。为了解决这一矛盾，在每个搜索阶段的训练过程中逐渐衰减跳跃连接的失活率，或者是丢弃率，从而在开始时阻塞通过跳跃连接的路径，然后在其他带参数的操作被很好地学习之后进行同样的处理，让算法自己来做决定。

尽管使用了失活，跳跃连接作为一种特殊的操作，在评估阶段对识别精度有很大的影响。根据经验，使用完全相同的搜索设置在CIFAR10上执行3次相同的搜索，但是最终阶段之后，最终得到的单元中保留的跳跃连接数从2到4个不等。同时，评估阶段的识别精度也与这个数字高度相关。

因此，在下述步骤（7）中设计了第二个正则化规则，它简单地控制在最终搜索阶段之后保留的跳跃连接的数量为一个常数M。这是通过一个迭代过程来完成的，该过程首先构造单元拓扑。如果跳过连接的数量不完全是M，将搜索此单元拓扑中架构权重最大的M个跳跃连接操作，并将其他节点的权重设置为0，然后使用修改的架构参数重新构建单元。这可能会导致拓扑中的其他跳过连接，因此重复此过程，直到达到所需数量。

步骤（7）：根据超网采样出一个最优网络。具体方法为：对跳跃连接操作进行限制，求出单元内跳跃连接限制数量M下的网络。为了方便描述，将采样出的网络称为子网。优选地，取M=3时得到的子网为最优网络。

步骤（8）：将步骤（7）选出的最优子网络在评估网络的参数设置下（cell数量设置为20）采用验证集进行重新训练，如图5所示。

本实施例中，将选出的最好的子网络在imagenet这一数据集上重新训练，得到了top-1错误率只有24.1的结果。

步骤（9）：将网络架构作为主干网络迁移到目标检测网络、行人重识别、语义分割等任务。

目标检测是计算机视觉的一项基本任务，也是野外场景的一项重要任务。本发明先在imagenet上预先训练网络得到相应的权重，再将预先训练的网络结构附带权重插入到单次目标探测器（SSD）中作为主干网络，一个流行的轻量级目标检测框架。在基准数据集MSCOCO上测试了本发明搜索到的主干网的功能，该数据集包含80个对象类别和超过1.5万个对象实例。本发明用“trainval35K”装置对网络进行训练，即80k训练集和35k验证集的组合。本发明搜索的主干网，仅用1.1B的浮点数实现了28.9%的AP，比SSD300高出了5.7%，浮点数比SSD300少了73倍，甚至比SSD512高出了2.1%。

行人重识别是一项重要的实际视觉任务，由于其在监视和安全领域的广泛应用，一直受到学术界和工业界的广泛关注。除了这些特定于任务的模块外，主干网架构是提升性能的关键因素。本发明在cifar10和imagenet上搜索网络替换之前的主干网络，并测试在基准数据集上的表现。实验使用基于局部的卷积流程（PCB）的流程进行，所有主干网络都在imagenet上进行了预训练。我们将part设为1、3和6（PCB算法中的参数设置，表示将图像均匀分成多少部分），以便进行详尽的比较。在3个数据集（Market-1501、DukeMCMT-Reid、MSMT17）下的结果如表1所示，结果证明了本发明在行人重识别任务上的优势。

表1

表1中，Rank-1为首中准确率，mAp为平均准确率。

本申请提出的神经网络架构搜索方法，能有效解决超网优化和子网重训练优化之间的代沟问题，以及可微分搜索的不稳定性问题。当某个场景需要一个性能较高的神经网络或者使用网络作为特征提取器时，可以使用本发明搜索出一个较好的网络，特征提取精度更高。

本申请提出的神经网络架构搜索方法，可以在cifari10数据上，使用一张v100gpu4小时完成搜索，搜索速度更快。

本申请提出的神经网络架构搜索方法，可以在代理数据集下使用强化学习的策略更加稳定的搜索到一个可以部署到多个不同场景的多任务神经网络架构，比如目标检测，行人重识别，图像分类。比如在手机上需要部署一个目标检测算法，可以在代理数据集上自动搜索一个性能好的网络，作为目标检测算法的主网络，比如单次目标探测器（SingleShot MultiBox Detector），然后应用在手机上。

本实施例使用了多层次搜索方法，在多层次结构上自动搜索一个网络，解决了搜索和评估中在深度上的代沟问题，在不增加计算资源消耗的情况下，搜索出了一个适用于多个不同场景的多任务网络，在多个任务上展现了不错的效果，为人工智能落地提供了一种新的思路。

实施例四和实施例五

第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面及其各种可能的实现方式所述的基于神经网络的图像处理方法。

第四方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面及其各种可能的实现方式所述的基于神经网络的图像处理方法。

本申请中第三方面、第四方面及其各种实现方式的描述，可以参考第一方面、第二方面及其各种实现方式中的详细描述；并且，第三方面、第四方面及其各种实现方式的有益效果，可以参考第一方面、第二方面及其各种实现方式中的有益效果分析，此处不再赘述。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims

1.神经网络架构搜索方法，其特征在于，该方法包括：

S13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，使用强化学习搜索策略和操作级失活对所述待搜索的神经网络进行网络架构搜索，用强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；

2.根据权利要求1所述的神经网络架构搜索方法，其特征在于，所述多种候选操作包括输出0操作、平均池化操作、最大池化操作、跳跃连接操作、深度可分离卷积操作、空洞卷积操作、全连接操作的任意组合。

3.根据权利要求1所述的神经网络架构搜索方法，其特征在于，网络架构搜索所使用的目标优化函数为：

其中，

是神经网络在验证集上的损失函数，

4.根据权利要求1-3中任一所述的神经网络架构搜索方法，其特征在于，用强化学习代理生成权重参数，包括：

5.根据权利要求4所述的神经网络架构搜索方法，其特征在于，S16中预设的跳跃连接数量为3。

6.神经网络应用方法，基于权利要求1至5任一项所述的神经网络架构搜索方法，其特征在于，当S19中对目标图像进行的处理为目标检测时，基于所述目标神经网络模型对目标图像进行处理,包括：

7.神经网络应用方法，基于权利要求1至5任一项所述的神经网络架构搜索方法，其特征在于，当S19中对目标图像进行的处理为行人重识别时，基于所述目标神经网络模型对目标图像进行处理,包括：

S191’、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器作为主干网络，得到目标检测网络；其中，所述目标神经网络的权重是在数据集cifar10和imagenet上训练得到的；

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

9.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。