CN112633471A - 构建神经网络架构搜索框架的方法、系统、设备及介质 - Google Patents

构建神经网络架构搜索框架的方法、系统、设备及介质 Download PDF

Info

Publication number
CN112633471A
CN112633471A CN202011495125.8A CN202011495125A CN112633471A CN 112633471 A CN112633471 A CN 112633471A CN 202011495125 A CN202011495125 A CN 202011495125A CN 112633471 A CN112633471 A CN 112633471A
Authority
CN
China
Prior art keywords
network
super
training
subtask
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011495125.8A
Other languages
English (en)
Other versions
CN112633471B (zh
Inventor
周镇镇
李峰
张潇澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011495125.8A priority Critical patent/CN112633471B/zh
Publication of CN112633471A publication Critical patent/CN112633471A/zh
Priority to PCT/CN2021/122255 priority patent/WO2022127299A1/zh
Priority to US18/022,985 priority patent/US20230385631A1/en
Application granted granted Critical
Publication of CN112633471B publication Critical patent/CN112633471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种构建神经网络架构搜索框架的方法、系统、设备和存储介质，方法包括：根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对初始超网络结构中的超网络进行预训练；利用控制器在预训练后的超网络中采样子网络，并根据任务类型在子网络中设置对应的head网络和neck网络以形成子任务网络；对子任务网络进行训练，并根据训练结果更新初始超网络结构以得到超网络结构；以及基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。

Description

构建神经网络架构搜索框架的方法、系统、设备及介质
技术领域
本发明涉及神经网络领域，更具体地，特别是指一种构建神经网络架构搜索框架的方法、系统、计算机设备及可读介质。
背景技术
随着深度学习技术的不断发展，神经网络的层数不断增加，截止2016年，最深的神经网络已经超过1000层。依靠人工设计神经网络需要经过大量的实验，对从业人员的知识储备和个人经验要求较高，反复的实验过程严重制约着相关人员的工作效率。
在此背景下，自动化深度学习(Auto Deep Learning)技术应运而生，现在主要有基于强化学习的AutoDL、基于进化算法的AutoDL或者基于梯度的方法。基于强化学习的AutoDL主要通过神经网络架构搜索(Neural Network Architecture Search，NAS)框架与环境交互的过程中获得最大的奖励实现，主要代表算法有NASNet、MetaQNN、BlockQNN等；基于进化算法的AutoDL主要是NAS模拟生物遗传和进化的规律，用进化算法实现，主要代表算法有AmoabaNet、NEAT、DeepNEAT、CoDeepNEAT等，基于梯度的方法(Gradient-basedmethod)主要是将搜索过程的目标函数看做是连续空间中优化过程，变成可微函数实现，主要代表算法有DARTS、P-DARTS等。
目前的NAS网络种类繁多，在图像分类、目标检测、图像分割等计算机视觉任务上的算法不断推陈出新，但是不同领域缺乏一种通用的算法，对不同领域的使用者造成困难。其次，目前的NAS方法搜索到的网络架构及其最终训练完的精度效果，受不同数据集影响较大，模型的迁移和泛化比较困难。另外，针对不同任务搜索得到的网络架构无法复用，这无疑是对搜索时间的极大浪费，导致从业人员工作效率大幅降低。
发明内容
有鉴于此，本发明实施例的目的在于提出一种构建神经网络架构搜索框架的方法、系统、计算机设备及计算机可读存储介质，根据不同的任务类型设置不同的子任务网络，对子任务网络进行训练从而使得神经网络架构搜索框架能够适用不同的场景，并且具有较好的数据集间迁移能力；相对于其他神经网络构建方法来说，具有较强的可实现性，训练过程可中断后继续训练，具有较强的容错空间。
基于上述目的，本发明实施例的一方面提供了一种构建神经网络架构搜索框架的方法，包括如下步骤：根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。
在一些实施方式中，所述基于多个子任务网络对所述超网络结构进行验证包括：采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
在一些实施方式中，方法还包括：响应于出现中断，判断是否完成子任务网络的训练；响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
在一些实施方式中，所述对所述子任务网络进行训练包括：检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
本发明实施例的另一方面，还提供了一种构建神经网络架构搜索框架系统，包括：初始模块，配置用于根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；采样模块，配置用于利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；训练模块，配置用于对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及验证模块，配置用于基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到达到一个具有最优验证结果的超网络结构。
在一些实施方式中，所述验证模块配置用于：采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
在一些实施方式中，系统还包括恢复模块，配置用于：响应于出现中断，判断是否完成子任务网络的训练；响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
在一些实施方式中，所述训练模块配置用于：检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：根据不同的任务类型设置不同的子任务网络，对子任务网络进行训练从而使得神经网络架构搜索框架能够适用不同的场景，并且具有较好的数据集间迁移能力；相对于其他神经网络构建方法来说，具有较强的可实现性，训练过程可中断后继续训练，具有较强的容错空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的构建神经网络架构搜索框架的方法的实施例的示意图；
图2为训练超网络的流程图；
图3为生成备选网络的流程图；
图4本发明提供的构建神经网络架构搜索框架的计算机设备的实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种构建神经网络架构搜索框架的方法的实施例。图1示出的是本发明提供的构建神经网络架构搜索框架的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对初始超网络结构中的超网络进行预训练；
S2、利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head(头部)网络和neck(颈部)网络以形成子任务网络；
S3、对子任务网络进行训练，并根据训练结果更新初始超网络结构以得到超网络结构；以及
S4、基于多个子任务网络对超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。
根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对初始超网络结构中的超网络进行预训练。超网络结构的构建可以使用微观搜索方法。具体为：通过搜索得到基本的cell(单元)，通过改变cell的堆叠结构，实现网络的搭建。Cell内部的搜索空间包含6种可选择操作，包括无操作(identity)、卷积(convolution)、可分离卷积(dilated convolution)、平均池化(average pooling)、最大值池化(max pooling)和深度可分离卷积(depthwise-separable conv)。可以采用ImageNet数据集对超网络进行预训练，保存权重作为后续超网络构建时的初始权重。
利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络。对子任务网络进行训练，并根据训练结果更新初始超网络结构以得到超网络结构。
图2示出的是训练超网络的流程图。如图2所示，接收用户填写得到配置信息后，按照配置信息任务类型选择需要的head(头部)和neck(颈部)。根据默认的配置信息生成超网络和采样控制器。采样控制器从超网络中采样一个Cell结构，并与之前选定的head网络拼接形成子任务网络。冻结head网络，子任务网络只做一个epoch的训练，并将cell的参数共享给超网络中对应的参数。记录采样到的子网络和对应的验证集准确率，当采样到指定batch的子网络后，根据子网络和准确率更新采样控制器。对于检测任务，记录验证集的1/loss作为reward更新采样控制器。
所述采样器类通过RNN控制器实现，包含N个节点，每个节点含有4种激活函数，包括tanh/ReLU/identity/sigmoid。其中，第i(i>1)个节点可以和输入或者第i个节点之前的任一节点相连，共i种连接方式，以此类推，N个节点到激活函数的有向图连接方式共4N×N！种。
选择head网络和neck网络的过程可以例如，首先判断任务类型是否为分类，如果是，则设置分类head网络。如果不是，再判断任务类型是否为检测，如果是，则设置检测head网络和neck网络。如果不是，在判断任务类型是否为分割，如果是，则设置分割head网络和neck网络。如果不是，可以进行报错。
不同head网络的构造方法如下：
图像分类任务的head网络，根据用户需要分类的类别数量生成对应的分类器，以cifar10为例，一种可行的图像分类网络示例如图(分类器)所示。其中，dropout层和前两个dense层可省略或者更改参数，在其他数据集上应用时，最后一层dense需要根据用户分类做相应修改。
目标检测任务需要添加neck和head，完成目标定位和输出类别的网络任务。以ImageNet为例，使用特征金字塔(Feature Pyramid Network，FPN)作为neck网络，使用ROIpooling层、区域候选网络(Region Proposal Network，RPN)和ROI head组合作为head网络。在其他实施例中，neck和head也可以使用其他网络实现。
图像分割任务需要添加neck和head，与目标检测不同的是，其head网络应输出图像mask。可选地，使用FPN作为neck网络，使用ROI Align层、RPN和全连接层组合作为segmentation head网络。
对超网络结构进行验证，响应于验证成功，将超网络结构作为最终神经网络架构搜索框架。
在一些实施方式中，所述对所述超网络结构进行验证包括：采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
图3为生成备选网络的流程图。如图3所示，超网络和采样器训练完成后，根据用户设置选择相应任务的head和neck网络。采样器在超网络中采样N个cell结构，每个Cell按照预置的堆叠方式进行堆叠，之后与head/neck网络拼接，生成N个任务网络。将验证集数据分别输入N个任务网络，计算准确度，对检测任务计算loss-1。输出前k个任务网络的结构数组，作为备选网络集。在备选网络生成的过程中，所有参数是固定的，网络不进行训练。
为了避免训练的过程中出现中断从而导致训练需要重新进行的情况，本发明实施例设置了进度保存和进度恢复机制。
进度保存包括：将搜索配置信息、搜索任务信息、结果信息以报告方式输出至结果文件夹；接收模型保存类(e.g.model_saver)的实例，将超网络传入实例中按照设置进行保存；运行完毕后生成的备选网络集传入模型保存类的实例进行保存；当程序异常中断时，调用日志记录和模型保存方法记录进度。
进度恢复包括：根据用户设置，按照给定地址读取超网络，实现超网络训练进度恢复；对已经完成超网络训练的exp，提示恢复超网络还是恢复备选网络集，并恢复对应的网络参数。
在一些实施方式中，方法还包括：响应于出现中断，判断是否完成子任务网络的训练；响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。若未完成超网络训练，则按照配置中的地址读取超网络结构和参数，恢复超网络权重、训练迭代次数。若已完成超网络训练，则按照配置中的地址读取备选网络集数组和相应的性能指标，输出备选网络集。
另外，本发明实施例支持用户对搜索性能需求进行设置，包括：
设置时间限制(maxExecDuration)，用于在固定时间范围内完成搜索网络任务、训练任务、模型缩放任务；
设置参数限制(maxParams)，用于限制输出模型的参数量。
在一些实施方式中，所述对所述子任务网络进行训练包括：检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
本发明实施例还设置了容错机制，包括：
1.尺度校验设置
PreCheck(前校验)：在输入数据前校验数据维度与模型构建的输入维度是否一致；PosCheck(后校验)：在输入数据前选择一例数据样本输入模型，验证输出是否与指定维度一致；SamplerCheck(采样器校验)：在输入数据前校验采样器生成的输出是否在采样空间内。出现以上校验不一致的情况，程序将抛出异常并终止。
2.checkpoint读取
在超网络训练过程中，不断更行model_saver对象，model_saver对象按照用户设定的时间间隔保存checkpoints，以供异常中断时恢复训练。各阶段信息主进程更新logger(e.g.:logger.autonas_log.update(**autonas_prams))对应内容，保护进程按照logger的策略保存日志/打印到屏幕。在超网络训练完毕并搜索出备选网络集后，保存备选网络集以供后续选择最优网络。
本发明实施例中包含的类和各类中的属性(部分)及方法(部分)如下：
StackLSTMCell：实现lstm的基础cell，用于组成采样器；
Sampler：继承自Mutator，用于实现采样器，从超网络中进行采样；
SuperNet：继承自nn.Module，定义了搜索空间规模和节点的可选操作，Reload参数指示是否重载超网络权重；
HeadLib：继承自nn.Module，用于实现面向分类和检测两类不同任务的head网络；
SubNet：依赖SuperNet和HeadLib中的out_node，用于实现cell+head的网络结构；
TaskNet：依赖SuperNet和HeadLib中的out_node，用于实现cell堆叠后+head的网络结构；
Trainer：训练器，包含对超网络的训练方法和对采样器的训练方法定义。
需要特别指出的是，上述构建神经网络架构搜索框架的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于构建神经网络架构搜索框架的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种构建神经网络架构搜索框架的系统，包括：初始模块，配置用于根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；采样模块，配置用于利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；训练模块，配置用于对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及验证模块，配置用于基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到达到一个具有最优验证结果的超网络结构。
在一些实施方式中，所述验证模块配置用于：采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
在一些实施方式中，系统还包括恢复模块，配置用于：响应于出现中断，判断是否完成子任务网络的训练；响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
在一些实施方式中，所述训练模块配置用于：检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对初始超网络结构中的超网络进行预训练；S2、利用控制器在预训练后的超网络中采样子网络，并根据任务类型在子网络中设置对应的head网络和neck网络以形成子任务网络；S3、对子任务网络进行训练，并根据训练结果更新初始超网络结构以得到超网络结构；以及S4、基于多个子任务网络对超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。
在一些实施方式中，所述基于多个子任务网络对所述超网络结构进行验证包括：采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
在一些实施方式中，步骤还包括：响应于出现中断，判断是否完成子任务网络的训练；响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
在一些实施方式中，所述对所述子任务网络进行训练包括：检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
如图4所示，为本发明提供的上述构建神经网络架构搜索框架的计算机设备的一个实施例的硬件结构示意图。
以如图4所示的装置为例，在该装置中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的构建神经网络架构搜索框架的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的构建神经网络架构搜索框架的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据构建神经网络架构搜索框架的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的用户名和密码等信息。输出装置304可包括显示屏等显示设备。
一个或者多个构建神经网络架构搜索框架的方法对应的程序指令/模块存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的构建神经网络架构搜索框架的方法。
执行上述构建神经网络架构搜索框架的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，构建神经网络架构搜索框架的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种构建神经网络架构搜索框架的方法，其特征在于，包括以下步骤：
根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；
利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；
对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及
基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。
2.根据权利要求1所述的方法，其特征在于，所述基于多个子任务网络对所述超网络结构进行验证包括：
采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
3.根据权利要求1所述的方法，其特征在于，还包括：
响应于出现中断，判断是否完成子任务网络的训练；
响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
4.根据权利要求1所述的方法，其特征在于，所述对所述子任务网络进行训练包括：
检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及
响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
5.一种构建神经网络架构搜索框架的系统，其特征在于，包括：
初始模块，配置用于根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；
采样模块，配置用于利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；
训练模块，配置用于对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及
验证模块，配置用于基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。
6.根据权利要求5所述的系统，其特征在于，所述验证模块配置用于：
采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。
7.根据权利要求5所述的系统，其特征在于，还包括恢复模块，配置用于：
响应于出现中断，判断是否完成子任务网络的训练；
响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。
8.根据权利要求5所述的系统，其特征在于，所述训练模块配置用于：
检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及
响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
CN202011495125.8A 2020-12-17 2020-12-17 构建神经网络架构搜索框架的方法、系统、设备及介质 Active CN112633471B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011495125.8A CN112633471B (zh) 2020-12-17 2020-12-17 构建神经网络架构搜索框架的方法、系统、设备及介质
PCT/CN2021/122255 WO2022127299A1 (zh) 2020-12-17 2021-09-30 构建神经网络架构搜索框架的方法、系统、设备及介质
US18/022,985 US20230385631A1 (en) 2020-12-17 2021-09-30 Method and system for constructing neural network architecture search framework, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011495125.8A CN112633471B (zh) 2020-12-17 2020-12-17 构建神经网络架构搜索框架的方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112633471A true CN112633471A (zh) 2021-04-09
CN112633471B CN112633471B (zh) 2023-09-26

Family

ID=75316356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011495125.8A Active CN112633471B (zh) 2020-12-17 2020-12-17 构建神经网络架构搜索框架的方法、系统、设备及介质

Country Status (3)

Country Link
US (1) US20230385631A1 (zh)
CN (1) CN112633471B (zh)
WO (1) WO2022127299A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283426A (zh) * 2021-04-30 2021-08-20 南京大学 基于多目标神经网络搜索的嵌入式目标检测模型生成方法
CN113744729A (zh) * 2021-09-17 2021-12-03 北京达佳互联信息技术有限公司 语音识别模型生成方法、装置、设备以及存储介质
CN114332638A (zh) * 2021-11-03 2022-04-12 中科弘云科技（北京）有限公司 遥感图像目标检测方法、装置、电子设备及介质
CN114528975A (zh) * 2022-01-20 2022-05-24 珠高智能科技(深圳)有限公司 深度学习模型训练方法、系统及介质
WO2022127299A1 (zh) * 2020-12-17 2022-06-23 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039785A1 (en) * 2022-08-18 2024-02-22 Onto Innovation Inc. Substrate defect-detection and comparison
CN115391553B (zh) * 2022-08-23 2023-10-13 西北工业大学 一种自动搜索时序知识图谱补全模型的方法
CN117010447B (zh) * 2023-10-07 2024-01-23 成都理工大学 基于端到端的可微架构搜索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929649A (zh) * 2019-11-24 2020-03-27 华南理工大学 一种面向小目标检测的网络和困难样本挖掘方法
CN111340220A (zh) * 2020-02-25 2020-06-26 北京百度网讯科技有限公司 用于训练预测模型的方法和装置
CN111797983A (zh) * 2020-05-25 2020-10-20 华为技术有限公司 一种神经网络构建方法以及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108635861B (zh) * 2018-05-18 2022-04-22 腾讯科技（深圳）有限公司 控制应用中车辆的方法、装置、设备及存储介质
CN110889487A (zh) * 2018-09-10 2020-03-17 富士通株式会社 神经网络架构搜索装置和方法及计算机可读记录介质
US11900244B1 (en) * 2019-09-30 2024-02-13 Amazon Technologies, Inc. Attention-based deep reinforcement learning for autonomous agents
CN110782034A (zh) * 2019-10-31 2020-02-11 北京小米智能科技有限公司 神经网络的训练方法、装置及存储介质
CN111968635B (zh) * 2020-08-07 2024-03-05 北京小米松果电子有限公司 语音识别的方法、装置及存储介质
CN112633471B (zh) * 2020-12-17 2023-09-26 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929649A (zh) * 2019-11-24 2020-03-27 华南理工大学 一种面向小目标检测的网络和困难样本挖掘方法
CN111340220A (zh) * 2020-02-25 2020-06-26 北京百度网讯科技有限公司 用于训练预测模型的方法和装置
CN111797983A (zh) * 2020-05-25 2020-10-20 华为技术有限公司 一种神经网络构建方法以及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127299A1 (zh) * 2020-12-17 2022-06-23 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质
CN113283426A (zh) * 2021-04-30 2021-08-20 南京大学 基于多目标神经网络搜索的嵌入式目标检测模型生成方法
CN113744729A (zh) * 2021-09-17 2021-12-03 北京达佳互联信息技术有限公司 语音识别模型生成方法、装置、设备以及存储介质
CN114332638A (zh) * 2021-11-03 2022-04-12 中科弘云科技（北京）有限公司 遥感图像目标检测方法、装置、电子设备及介质
CN114528975A (zh) * 2022-01-20 2022-05-24 珠高智能科技(深圳)有限公司 深度学习模型训练方法、系统及介质

Also Published As

Publication number Publication date
WO2022127299A1 (zh) 2022-06-23
US20230385631A1 (en) 2023-11-30
CN112633471B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN112633471A (zh) 构建神经网络架构搜索框架的方法、系统、设备及介质
KR102302609B1 (ko) 신경망 아키텍처 최적화
US11176446B2 (en) Compositional prototypes for scalable neurosynaptic networks
CN109120462B (zh) 机会网络链路的预测方法、装置及可读存储介质
CN110162414A (zh) 基于微服务架构实现人工智能服务的方法及装置
US20220020064A1 (en) Feature processing method and apparatus for artificial intelligence recommendation model, electronic device, and storage medium
US8996341B2 (en) Generating and evaluating expert networks
KR20220051383A (ko) 표적 검출 모델의 자동 모델링 방법 및 장치
Zhou et al. A priori trust inference with context-aware stereotypical deep learning
CN113128143B (zh) Ai处理器的仿真方法、装置、计算机设备及存储介质
CN113011167B (zh) 基于人工智能的作弊识别方法、装置、设备及存储介质
CN113784380B (zh) 一种采用图注意力网络与融合邻域的拓扑预测方法
CN116881916A (zh) 基于异质图神经网络的恶意用户检测方法及装置
Ma et al. Exploiting bias for cooperative planning in multi-agent tree search
CN110457896A (zh) 在线访问的检测方法及检测装置
US20230199530A1 (en) Using machine learning to optimize wireless carrier system testing
CN110275974A (zh) 样本数据集的数据添加方法、装置、终端设备及存储介质
CN114510592B (zh) 图像分类方法、装置、电子设备及存储介质
CN113923007A (zh) 一种安全渗透测试方法、装置、电子设备及存储介质
CN116416486A (zh) 图像识别方法及系统
Gandini et al. A framework for automated detection of power-related software errors in industrial verification processes
Abu-Jamie et al. Classification of Sign-Language Using Deep Learning by ResNet
CN106354809A (zh) 一种图片删除方法及终端设备
CN114721931B (zh) 一种数据处理方法、装置、设备及存储介质
JP7548422B2 (ja) 特徴量算出装置、特徴量算出方法および特徴量算出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant