CN115099393B - 神经网络结构搜索方法及相关装置 - Google Patents

神经网络结构搜索方法及相关装置 Download PDF

Info

Publication number
CN115099393B
CN115099393B CN202211004033.4A CN202211004033A CN115099393B CN 115099393 B CN115099393 B CN 115099393B CN 202211004033 A CN202211004033 A CN 202211004033A CN 115099393 B CN115099393 B CN 115099393B
Authority
CN
China
Prior art keywords
population
model
performance index
neural network
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211004033.4A
Other languages
English (en)
Other versions
CN115099393A (zh
Inventor
董云鹏
吴海华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211004033.4A priority Critical patent/CN115099393B/zh
Publication of CN115099393A publication Critical patent/CN115099393A/zh
Application granted granted Critical
Publication of CN115099393B publication Critical patent/CN115099393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种神经网络结构搜索方法及相关装置。在该神经网络结构搜索方法中，电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。本申请可基于分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群，从而优化搜索空间。

Description

神经网络结构搜索方法及相关装置
技术领域
本申请涉及人工智能领域，尤其涉及一种神经网络结构搜索方法及相关装置。
背景技术
人工智能领域，尤其是计算机视觉领域，针对不同任务需要设计不同的神经网络结构，以满足不同任务的需求。神经网络结构搜索（neural architecture search，NAS）是通过特定的算法搜索出表现优秀的深度学习网络结构。然而，神经网络结构的搜索空间一般十分庞大，需要花费巨量的时间进行神经网络结构搜索。
因此，如何优化搜索空间是一个亟待解决的问题。
发明内容
本申请提供了一种神经网络结构搜索方法及相关装置，能够初始化神经网络结构中进化算法的种群，从而优化搜索空间。
第一方面，本申请提供了一种神经网络结构搜索方法，该方法包括：电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
实施第一方面提供的方法后，电子设备利用搜索空间中各个模型在终端设备上的表现力指标的分布空间中，一个表现力指标不变，另一个表现力指标最优和/或次优的模型，初始化进化算法的种群，从而减少进化算法的迭代次数，进而优化搜索空间。
结合第一方面提供的方法，该电子设备确定初始化后的种群，作为神经网络结构搜索的次优解。
这样，对时间或者资源十分紧张的任务来说，可以通过初始化后的种群，直接得到神经网络结构的次优解，进而减少搜索的时间。
结合第一方面提供的方法，该方法还包括，该电子设备利用训练服务器对初始化后的种群进行代理训练，当针对初始化后的种群的代理训练全部完成时，电子设备利用进化算法更新初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；电子设备获取二维帕累托pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解。第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；最优解是二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。其中，第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，也就是说，第三性能指标可以是第一性能指标或第二性能指标。
这样，因搜索空间十分庞大（如搜索空间中模型的数量十分庞大），初始化后的种群中的模型的数量相较于，电子设备基于搜索空间初始化神经网络结构搜索中进化算法的种群，得到的模型的数量更少。进而，电子设备基于进化算法对初始化后的种群进行更新，获得神经网络结构搜索的最优解过程中，进化算法迭代次数和搜索训练次数更少，从而减少搜索的时间。
结合第一方面提供的方法，各个模型在终端设备上的表现力指标包括各个模型在终端设备上运行的时延Latency和表征各个模型在终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops；各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率（accuracy，Acc）。
第二方面，本申请实提供一种神经网络搜索装置，该神经网络搜索装置可包括：
确定单元，用于确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；
初始化单元，用于利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
其中，该方面中，神经网络结构搜索装置可选的实施方式可参见上述第一方面中的相关内容，此处不再详述。
第三方面，本申请提供一种电子设备，该电子设备包括：一个或多个处理器、一个或多个存储器、显示屏和一个或多个收发器；该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行如第一方面中任一项所描述的方法。
第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如第一方面中任一项所描述的方法。
第五方面，本申请提供一种芯片或芯片系统，该芯片或芯片系统包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行如第一方面中任一项所描述的方法。
附图说明
图1为本申请实施例提供的一种进化算法的方案示意图；
图2为一种神经网络结构搜索方法的示意图；
图3为本申请实施例提供的一种神经网络结构搜索方法100的流程示意图；
图4A和图4B为本申请实施例提供的性能合格的模型的Latency-Gflops的分布空间图；
图5A和图5B为本申请实施例提供的性能合格的模型推到训练服务器上获得训练的Loss，基于各模型的Latency和训练的Loss确定的各模型的Latency-Loss分布空间图；
图6为本申请实施例提供的一种神经网络结构搜索方法200的流程示意图；
图7为本申请实施例提供的一种神经网络结构搜索方法300的流程示意图；
图8为本申请实施例提供的一种神经网络结构搜索方法400的流程示意图；
图9为本申请实施例提供的一种神经网络结构搜索装置的结构示意图；
图10为本申请实施例提供的一种电子设备100的硬件架构示意图；
图11为本申请实施例提供的一种电子设备100的软件架构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
首先，对本申请以下实施例涉及的相关概念进行阐述。
1、神经网络结构搜索（NAS）
NAS通常需要考虑搜索空间的设计、评估指标的设计以及模型训练的设计，等等。其中，搜索空间包含各种可能被设计出的模型，如单个算子（如卷积（conv）、池化（pooling）、数值合并（concat）、通道合并（add）、激活函数（relu）等）、各种由算子简单组合而成的小块（block）、算子连接线等。评估指标的设计用来评估各个模型的性能，或最终的神经网络结构的性能。NAS是通过特定的搜索算法在搜索空间中搜索出性能优秀的深度学习网络结构，目前的搜索算法主要分为两大类，含代理训练的搜索算法和非代理训练的搜索算法。评估指标的设计是依据不同任务的需求，对每个模型的表现力的一种量化手段，评估指标的设计也可称为模型的表现力指标的设计。
2、进化算法
进化算法受生物种群进化启发，通过选择、变异和更新这三种操作实现优化问题的求解。该进化算法从种群（即本申请中的初始化后的种群）中随机选择一个模型，对其进行近邻变异，将变异后的模型更新到种群中，直到种群达到稳定态时，停止更新，得到更新后的种群。
其中，更新的过程是：基于预定的性能指标将变异后的模型与种群中的模型进行对比，留下性能指标更好的模型。
参见图1，图1为本申请实施例提供的一种进化算法的方案示意图，如图1所示，进化算法通过对种群（population）进行选择（selection）、变异（mutate）和更新（update）的操作，获得目标种群。其中，进化算法的流程为：从种群中选择随机的1个网络（random 1net），对该网络进行近邻变异（neighbor mutate），将变异后的网络更新到种群中。一直迭代上述步骤，直到更新后的种群满足终止条件（本申请实施例中的终止条件为达到稳定态）时停止。
示例性的，请参见图2，图2为一种神经网络结构搜索方法的示意图。如图2所示，该神经网络结构搜索方法可包括电子设备、一个或多个终端设备、一个或多个训练服务器。其中，电子设备用于控制一个或多个终端设备以及一个或多个训练服务器辅助完成神经网络结构搜索方法。其中，终端设备用于测试各模型在终端设备上的表现力指标，训练服务器用于对各模型进行代理训练。以下结合图2，对神经网络结构搜索方法进行阐述：
电子设备将搜索空间中的模型推到终端设备上测试，获得各模型在终端设备上的表现力指标，如图2所示的指标1。可选的，该表现力指标可包括第一性能指标和第二性能指标。可选的，各个模型在终端设备上的表现力指标包括各个模型在终端设备上运行的时延Latency和表征各个模型在终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops；电子设备从测试后的各模型中选择表现力指标合格的模型，图2以指标1为各个模型在终端设备上运行的Latency为例；
将选择的模型推到训练服务器，如图2所示的图形处理器（graphics processingunit，GPU）服务器上，进行代理训练，获得各模型在训练服务器上的表现力指标。可选的，各模型在训练服务器上的表现力指标可包括各模型训练的损失（Loss）、准确度（Accuracy），图2以各模型在训练服务器上训练的Loss为例；
利用训练后的模型在终端设备上的表现力指标和在训练服务器上的表现力指标，确定二维帕累托pareto边缘图，如图2中二维帕累托pareto边缘图中，指标1可以是各模型在终端设备上运行的Latency为例，指标2是各模型在训练服务器上训练的Loss；
利用进化算法对训练后的模型进行迭代更新，获得更新后的种群，如图2所示的指标更新后的种群；
针对种群中各模型，再次执行上述所述的推到终端设备测试，以及将表现力指标合格的模型推到训练服务器上进行代理训练的相关操作，并再次基于更新后的表现力指标，确定二维pareto边缘图；若种群未处于稳定态，继续执行利用进化算法对训练后的模型进行迭代更新，获得更新后的种群（即如图2中所示的“未结束，模型继续进化”），直至进化算法的种群处于稳定态，即每次确定的二维pareto边缘图中下边缘的位置不再变化为止。
进而，将处于稳定态的种群中，位于二维pareto边缘图中下边缘的模型集合，推到另一台训练服务器（如图2所示的另一台GPU服务器）上进行全量训练，从全量训练后的模型中选择表现力指标最优的模型，以确定目标神经网络结构。
本申请实施例中的电子设备可以是服务器，也可以是终端设备。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统等，还可以是一个云计算服务中心。本申请实施例在此对服务器的具体类型不做特殊限制。
终端设备可以是搭载iOS®、Android®、鸿蒙®、Microsoft®或者其它操作系统的终端设备，例如手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本，以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该终端设备的具体类型不作特殊限制。
上述图2所示的神经网络结构搜索方法中，搜索空间一般十分庞大，需要花费巨量的时间进行神经网络结构搜索，因此，如何优化搜索空间是一个亟待解决的问题。
本申请实施例提供了一种神经网络结构搜索方法及相关装置。在该神经网络结构搜索方法中，电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。可见，本申请提供的神经网络结构搜索方法初始化进化算法的种群后，可减少进化算法的迭代次数，进而优化搜索空间、减少搜索时间。
一种可选的实施方式中，电子设备可确定初始化后的种群，作为神经网络结构搜索的次优解。从而，进一步的减少搜索时间。
一种可选的实施方式中，神经网络结构搜索方法还包括：电子设备利用训练服务器对初始化后的种群进行代理训练，当针对初始化后的种群的代理训练全部完成时，利用进化算法更新初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；电子设备获取二维pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；最优解是二维pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。从而在减少搜索时间同时，使得搜索结果中模型的性能更佳。
实施本申请提供的神经网络结构搜索方法及相关装置后，具有以下有益效果：
（1）电子设备利用搜索空间中各个模型在终端设备上的表现力指标的分布空间中，一个表现力指标不变，另一个表现力指标最优和/或次优的模型，初始化进化算法的种群，从而减少进化算法的迭代次数，进而优化搜索空间。
（2）电子设备基于初始化后的种群，获取神经网络结构搜索的次优解。这样，可通过初始化后的种群直接得到神经网络结构的次优解，从而减少了搜索时间。
（3）电子设备基于想要获取的神经网络结构搜索的解（最优解或次优解）选择搜索方案，从而提升了神经网络结构搜索方法的灵活性和适用性。
参见图3，图3为本申请实施例提供的一种神经网络结构搜索方法100的流程示意图。如图3所示，该神经网络结构搜索方法100可以包括但不限于以下步骤：
S101、电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；
本申请实施例中，各个模型在终端设备上的表现力指标包括各个模型在终端设备上运行的时延Latency和表征各个模型在终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops。
一种可选的实施方式中，在执行步骤S101之前，电子设备还执行：向终端设备发送搜索空间中的各个模型，并接收终端设备返回的运行各个模型的第一性能指标和第二性能指标。电子设备利用终端设备获取搜索空间中各个模型的第一性能指标和第二性能指标所耗费的时间成本，远远小于电子设备利用训练服务器获取搜索空间中各个模型的第一性能指标和第二性能指标所耗费的时间成本。
S102、电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
例如，在表现力指标为时延和每秒浮点运算次数对应的分布空间中，假设模型1、模型2和模型3的每秒浮点运算次数相同，模型1的时延为5秒、模型2的时延为3秒、模型3的时延为1秒的情况，由于时延越小，性能越好，因此，该三个模型确定的分布空间中模型1、模型2和模型3的每秒浮点运算次数相同的情况下，时延最优的模型是模型3，时延次优的模型是模型2。
示例性的，第一性能指标为Latency，第二性能指标为Gflops。参见图4A和图4B，图4A和图4B为本申请实施例提供的性能合格的模型的Latency-Gflops的分布空间图，图5A和图5B为本申请实施例提供的性能合格的模型推到训练服务器上获得训练的Loss，基于各模型的Latency和训练的Loss确定的各模型的Latency-Loss分布空间图。其中，图4A中上边缘的模型集合是同一Latency下，Gflops最优的模型的集合，该上边缘的模型集合分布在图5A所示的Latency-Loss分布图中的下边缘部分，如两个分布图中深色点表示的模型。图4B中下边缘的模型集合是同一Latency下，Gflops最差的模型的集合，该下边缘的模型集合分布在图5B所示的Latency-Loss分布空间图中的上边缘部分，如两个分布空间图中深色点表示的模型。可见，图4A中上边缘的模型集合更接近最终的二维pareto边缘图中左下角的空间，即最终的pareto结果。
可见，本申请实施例利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合（图4A所示的上边缘的模型集合），初始化神经网络结构搜索中进化算法的种群，能够减少进化算法的迭代次数，进而减少搜索时间。
参见图6，图6为本申请实施例提供的一种神经网络结构搜索方法200的流程示意图。如图6所示，该神经网络结构搜索方法200可以包括但不限于以下步骤：
S201、电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；
步骤S201的相关阐述可参见上述神经网络结构搜索方法100中步骤S101的相关内容，此处不再详述。
S202、电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群；
步骤S202的相关阐述可参见上述神经网络结构搜索方法100中步骤S102的相关内容，此处不再详述。
S203、电子设备利用训练服务器对初始化后的种群进行代理训练，当针对初始化后的种群的代理训练全部完成时，利用进化算法更新初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；
S204、电子设备获取二维pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解。
其中，第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标。一种可选的实施方式中，各个模型在训练服务器上的表现力指标包括其训练的损失Loss、Acc。可选的，模型在终端设备上的表现力指标可包括：功耗和内存消耗。模型在训练服务器上的表现力指标可包括：峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性(Structural Similarity，SSIM)和召回率。
一种可选的实施方式中，在执行在步骤S204之后，电子设备还可以执行：利用训练服务器对最优解进行全量训练，获得训练后的最优解；基于训练后的最优解，选择目标神经网络结构。其中，全量训练是对最优解中各个模型的所有性能指标进行训练，且训练的强度非常大（即训练次数多），基于全量训练得到的模型的各项性能指标都是经过多次训练的。一种可选的实施方式中，电子设备基于目标任务，对比训练后的最优解中的各个模型，从最优解中的各个模型中选择最适合目标任务的模型。这样，电子设备可以基于目标任务，对比训练后的最优解中的各个模型，从中选择更加符合目标任务的目标神经网络结构。
可见，本申请实施例中，电子设备在初始化进化算法的种群后，利用训练服务器对初始化后的种群进行代理训练，当针对初始化后的种群的代理训练全部完成时，利用进化算法更新初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维pareto边缘图。电子设备获取二维pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解。从而在减少搜索时间同时，使得搜索结果中模型的性能更佳。
参见图7，图7为本申请实施例提供的一种神经网络结构搜索方法300的流程示意图。如图7所示，该神经网络结构搜索方法300可以包括但不限于以下步骤：
S301、电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；
步骤S301的相关阐述可参见上述神经网络结构搜索方法100中步骤S101的相关内容，此处不再详述。
S302、电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群；
步骤S302的相关阐述可参见上述神经网络结构搜索方法100中步骤S102的相关内容，此处不再详述。
S303、电子设备确定初始化后的种群，作为神经网络结构搜索的次优解。
本申请实施例中，次优解是相较于上述提到的最优解来进行表述的。
一种可选的实施方式中，在执行步骤S303之后，电子设备还可以执行：利用训练服务器对次优解进行全量训练，获得训练后的模型；基于训练后的模型，选择目标神经网络结构。
其中，全量训练的相关阐述可参见上述神经网络结构搜索方法200中步骤S204的相关内容，此处不再详述。
可见，本申请实施例对于时间或者资源十分紧张的任务来说，可以通过初始化后的种群作为神经网络结构搜索的次优解，进而减少搜索的时间。
参见图8，图8为本申请实施例提供的一种神经网络结构搜索方法400的流程示意图。如图8所示，该神经网络结构搜索方法400可以包括但不限于以下步骤：
S401、电子设备向终端设备发送搜索空间中的各个模型，并接收终端设备返回测试的各个模型的第一性能指标和第二性能指标；
S402、电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间；
步骤S401和S402的相关阐述可参见上述神经网络结构搜索方法100中步骤S101的相关内容，此处不再详述。
S403、电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群；
步骤S403的相关阐述可参见上述神经网络结构搜索方法100中步骤S102的相关内容，此处不再详述。
S404、电子设备判断是获取神经网络结构搜索的最优解，还是获取神经网络结构搜索的次优解；当获取神经网络结构搜索的次优解时，执行步骤S405到S407；当获取神经网络结构搜索的最优解时，执行步骤S408到S416；
可选的，判断是否获取神经网络结构搜索的最优解，是基于目标任务进行的。示例性的，假设神经网络结构搜索的最优解和次优解分别对应的模型的集合中的模型数量为1时。在目标任务中，神经网络结构搜索的次优解对应的模型1可以满足目标任务的需求，神经网络结构搜索的最优解对应的模型2也可以满足目标任务的需求。其中，模型1的性能评分是80分，模型2的性能评分是100分，模型1的获取速度快于模型2的获取速度，模型1的性能低于模型2的性能。再例如，目标任务对模型的性能要求十分高，但目标任务的时间或资源十分充足，那么可获取神经网络结构搜索的最优解；反之，如果目标任务对模型的性能要求十分高，且目标任务的时间或资源十分紧张，那么，获取神经网络结构搜索的次优解即可。
S405、电子设备确定初始化后的种群，作为神经网络结构搜索的次优解；
S406、电子设备利用训练服务器对次优解进行全量训练，获得训练后的各模型；
S407、电子设备基于训练后的各模型，选择目标神经网络结构；
例如，电子设备可从训练后的各模型中，选择性能指标最优的模型，作为神经网络结构的子模型，从而获得目标神经网络结构。
步骤S405到S407的相关阐述可参见上述神经网络结构搜索方法300中步骤S303的相关内容，此处不再详述。
S408、电子设备利用训练服务器对初始化后的种群中每个模型均进行代理训练，获得初始化的二维pareto边缘图；
可选的，训练服务器判断初始后的种群中各模型是否完成了代理训练，若没完成，可继续进行代理训练，直至每个模型均完成了代理训练；继而，电子设备可获得每个模型的第三性能指标；电子设备可利用初始化后的种群中各模型的第一性能指标或第二性能指标，以及第三性能指标，确定初始化的二维pareto边缘图。
S409、电子设备对种群中的各个模型进行突变操作，获得突变后的各个模型，并更新种群；
S410、电子设备向终端设备发送更新后的种群中的各个模型，接收终端设备返回测试的各个模型的第一性能指标和第二性能指标；
S411、电子设备将性能合格的各个模型推到训练服务器上进行代理训练，更新各个模型的第三性能指标；
S412、电子设备利用各模型的第一性能指标或第二性能指标，以及第三性能指标，确定二维pareto边缘图；
S413、电子设备根据该二维pareto边缘图确定种群是否处于稳定态，当种群没有处于稳定态时，执行步骤S409；当种群处于稳定态时，执行步骤S414；
其中，种群是否处于稳定态，可根据每次迭代后的种群中，各模型的第一性能指标或第二性能指标，以及第三性能指标的二维pareto边缘图中，pareto边缘在二维pareto边缘图中的位置是否相同，若相同，则表示当前该种群处于稳定态，否则，处于非稳定态，还需再利用进化算法进行上述步骤S409至S412所述的相关操作。其中，步骤S409至S413的首次迭代中，电子设备可根据步骤S408获得的初始化的二维pareto边缘图与步骤S412获得的二维pareto边缘图进行对比，以确定种群是否处于稳定态。另外，对于步骤S409至S413的后续迭代中，可利用前一次迭代获得的二维pareto边缘图与本次迭代获得的二维pareto边缘图进行对比，确定种群是否处于稳定态。
S414、电子设备获取二维pareto边缘图中pareto边缘的模型集合，作为神经网络结构的最优解；
也就是说，电子设备获取二维pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解。
S415、电子设备利用训练服务器对最优解进行全量训练，获得训练后的各模型；
S416、电子设备基于训练后的各模型，选择目标神经网络结构。
例如，电子设备可从训练后的各模型中，选择性能指标最优的模型，作为神经网络结构的子模型，从而获得目标神经网络结构。
步骤S408到S416的相关阐述可参见上述神经网络结构搜索方法200中步骤S203到S204的相关内容，此处不再详述。
可见，本申请实施例中，可以根据目标任务的不同，选择不同的搜索结果，进而提升神经网络结构搜索方法的灵活性和适用性。
参见图9，图9为本申请实施例提供的一种神经网络结构搜索装置的结构示意图。如图9所示，该神经网络结构搜索装置可以包括但不限于：
确定单元901，用于确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，所述第一性能指标和所述第二性能指标是所述各个模型在终端设备上的表现力指标。初始化单元902，用于利用所述分布中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
一种可选的实施方式中，所述确定单元还用于：确定初始化后的种群，作为神经网络结构搜索的次优解。
一种可选的实施方式中，所述装置还包括处理单元903和获取单元904：
所述处理单元903，用于利用训练服务器对初始化后的种群进行代理训练，当针对所述初始化后的种群的所述代理训练全部完成时，利用所述进化算法更新所述初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和所述第四性能指标的二维帕累托pareto边缘图。所述获取单元904，用于获取所述二维pareto边缘图中第三性能指标不变的情况下，所述第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；所述第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，所述第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；所述最优解是所述二维pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。
一种可选的实施方式中，所述各个模型在终端设备上的表现力指标包括所述各个模型在终端设备上运行的时延Latency和表征所述各个模型在所述终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops；所述各个模型在训练服务器上的包括其训练的损失Loss、Acc。可选的，该神经网络结构搜索装置还可参见上述图3、图6、图7以及图8所示方法中的相关内容，此处不再详述。
本申请提供的神经网络结构搜索方法所应用的电子设备的软硬件架构如下：
本申请实施例提供的电子设备可以是搭载iOS®、Android®、鸿蒙®、Microsoft®或者其它操作系统的终端设备，例如手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本，以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。
参见图10，为本申请实施例提供的一种电子设备100的硬件架构示意图。如图10所示，该电子设备100可以包括但不限于：处理器110，天线1，天线2，用户模块120，移动通信模块130，无线通信模块140，内部存储器121，外部存储器接口122等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器，图像信号处理器(imagesignal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digitalsignal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。一种可选的实施方式中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在本申请实施例中，处理器110可用于进行神经网络结构搜索，具体的可用于确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。关于处理器110所执行的该具体步骤可以参考前文步骤S101-S102的描述，在此暂不赘述。
此外，处理器110还可用于，确定初始化后的种群，作为神经网络结构搜索的次优解。关于处理器110所执行的该具体步骤可以参考前文步骤S303的描述，在此暂不赘述。
此外，处理器110还可用于，基于初始化后的种群获得神经网络结构搜索的最优解。关于处理器110所执行的具体步骤可以参考前文步骤S203-204的描述，在此暂不赘述。
一种可选的实施方式中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integratedcircuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
用户模块120是实现使用者与电子设备进行交互和信息交换的媒介，其具体体现可以包括用于输出的显示屏（Display）以及用于输入的键盘（Keyboard）等等，需要说明的是，此处的键盘既可以为实体键盘，也可以为触屏虚拟键盘，还可以为实体与触屏虚拟相结合的键盘。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块130，无线通信模块140等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块130可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块130可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。一种可选的实施方式中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。一种可选的实施方式中，移动通信模块130的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块140可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块140可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块140经由天线2接收电磁波，将电磁波信号解调以及滤波处理，将处理后的信号发送到处理器110。无线通信模块140还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
一种可选的实施方式中，电子设备100的天线1和移动通信模块130耦合，天线2和无线通信模块140耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
内部存储器121可以包括一个或多个随机存取存储器（random access memory，RAM）和一个或多个非易失性存储器（non-volatile memory，NVM）。
随机存取存储器可以包括静态随机存储器（static random-access memory，SRAM）、动态随机存储器（dynamic random access memory，DRAM）、同步动态随机存储器（synchronous dynamic random access memory, SDRAM）、双倍资料率同步动态随机存取存储器（double data rate synchronous dynamic random access memory, DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM）等；
非易失性存储器可以包括磁盘存储器件、快闪存储器（flash memory）。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元（single-level cell,SLC）、多阶存储单元（multi-level cell,MLC）、三阶储存单元（triple-level cell, TLC）、四阶储存单元（quad-level cell, QLC）等，按照存储规范划分可以包括通用闪存存储（英文：universal flash storage，UFS）、嵌入式多媒体存储卡（embedded multi media Card，eMMC）等。
随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序（例如机器指令），还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。
在本申请实施例中，上述非易失性存储器可用于存储预置声纹模型、预置语音合成模型。注册用户的相关数据，注册用户语音相关数据包括但不限于：注册用户表征，注册用户输入的语音，该语音对应的是合成语音等等。
外部存储器接口122可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口122与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图11为本申请实施例提供的一种电子设备100的软件架构示意图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。一种可选的实施方式中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图11所示，应用程序包可以包括智慧助手，图库，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。其中，智慧助手仅为用于提供神经网络结构搜索功能的应用程序的一个可选名称，在本申请另一些实施例中，用于提供本申请所述的神经网络结构搜索方法的应用程序还可以称为除搜索程序以外的其他名称，例如搜索方法、网络结构搜索等等，本申请对此不作限制。
在本申请实施例中，包含确定分布空间和基于分布空间中最优和/或次优的模型集合，初始化神经网络结构搜索中进化算法的种群流程的NAS模型可以存储在应用程序层中的智慧助手中。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图11所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器等。
硬件抽象层（Hardware Abstraction Layer，HAL），HAL位于内核层和框架层之间，起着承上启下的作用。具体的，HAL定义了一套标准接口，包括：搜索HAL和其他Sensor HAL等等。
内核层是硬件和软件之间的层。内核层至少包含搜索驱动，显示驱动，摄像头驱动，音频驱动，传感器驱动。
在本申请实施例中，智慧助手应用可以通过应用程序框架层提供的接口、搜索HAL向搜索驱动下发网络结构搜索命令，使得搜索驱动控制处理器对搜索空间中的模型（网络结构）进行搜索。
下面结合基于最优解获取目标神经网络结构的场景，示例性说明电子设备软件以及硬件的工作流程。
当处理器110接收到目标神经网络结构搜索的操作，相应的硬件中断被发给内核层的搜索驱动。内核层的搜索驱动将触摸操作加工成原始输入事件。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的操作指令。以该操作指令是唤醒电子设备的智慧助手操作，智慧助手应用调用应用框架层的接口，启动神经网络结构搜索服务为智慧助手应用提供服务。
应理解，本申请提供的上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本申请的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘 SolidState Disk）等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种神经网络结构搜索方法，其特征在于，所述方法包括：
确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，所述第一性能指标和所述第二性能指标是所述各个模型在终端设备上的表现力指标；
利用所述分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定初始化后的种群，作为神经网络结构搜索的次优解。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用训练服务器对初始化后的种群进行代理训练，当针对所述初始化后的种群的所述代理训练全部完成时，利用所述进化算法更新所述初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；
获取所述二维帕累托pareto边缘图中第三性能指标不变的情况下，所述第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；所述第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，所述第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；所述最优解是所述二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述各个模型在终端设备上的表现力指标包括所述各个模型在终端设备上运行的时延Latency和表征所述各个模型在所述终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops。
5.根据权利要求3所述的方法，其特征在于，
所述各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率Acc。
6.一种神经网络结构搜索装置，其特征在于，所述装置包括：
确定单元，用于确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，所述第一性能指标和所述第二性能指标是所述各个模型在终端设备上的表现力指标；
初始化单元，用于利用所述分布中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。
7.根据权利要求6所述的装置，其特征在于，所述确定单元还用于：
确定初始化后的种群，作为神经网络结构搜索的次优解。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括处理单元和获取单元：
所述处理单元，用于利用训练服务器对初始化后的种群进行代理训练，当针对所述初始化后的种群的所述代理训练全部完成时，利用所述进化算法更新所述初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；
所述获取单元，用于获取所述二维帕累托pareto边缘图中第三性能指标不变的情况下，所述第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；所述第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，所述第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；所述最优解是所述二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。
9.根据权利要求6至8任一项所述的装置，其特征在于，
所述各个模型在终端设备上的表现力指标包括所述各个模型在终端设备上运行的时延Latency和表征所述各个模型在所述终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops。
10.根据权利要求8所述的装置，其特征在于，
所述各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率Acc。
11.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器和显示屏；所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-5中的任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-5中的任一项所述的方法。
13.一种芯片或芯片系统，其特征在于，包括处理电路和接口电路，所述接口电路用于接收代码指令并传输至所述处理电路，所述处理电路用于运行所述代码指令以执行如权利要求1-5中任一项所述的方法。
CN202211004033.4A 2022-08-22 2022-08-22 神经网络结构搜索方法及相关装置 Active CN115099393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211004033.4A CN115099393B (zh) 2022-08-22 2022-08-22 神经网络结构搜索方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211004033.4A CN115099393B (zh) 2022-08-22 2022-08-22 神经网络结构搜索方法及相关装置

Publications (2)

Publication Number Publication Date
CN115099393A CN115099393A (zh) 2022-09-23
CN115099393B true CN115099393B (zh) 2023-04-07

Family

ID=83300098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211004033.4A Active CN115099393B (zh) 2022-08-22 2022-08-22 神经网络结构搜索方法及相关装置

Country Status (1)

Country Link
CN (1) CN115099393B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194025A (zh) * 2010-03-08 2011-09-21 利弗莫尔软件技术公司 基于多目标进化算法的工程设计优化中的改进方法和系统
CN108090828A (zh) * 2017-12-20 2018-05-29 东莞理工学院 一种基于遗传算法的汇率分析方法
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及系统
CN111582456A (zh) * 2020-05-11 2020-08-25 北京字节跳动网络技术有限公司 用于生成网络模型信息的方法、装置、设备和介质
CN112100468A (zh) * 2020-09-25 2020-12-18 北京百度网讯科技有限公司 搜索空间的生成方法及装置、电子设备及存储介质
CN113033784A (zh) * 2021-04-18 2021-06-25 沈阳雅译网络技术有限公司 一种针对cpu和gpu设备搜索神经网络结构的方法
CN113128432A (zh) * 2021-04-25 2021-07-16 四川大学 一种基于演化计算的多任务神经网络架构搜索方法
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法
CN113570027A (zh) * 2021-06-24 2021-10-29 华为技术有限公司 用于生成神经网络模型的方法、装置、系统、设备、介质和程序产品
CN113762370A (zh) * 2021-08-30 2021-12-07 东北大学 一种结合高斯随机场的深度网络集合生成方法
WO2022065771A1 (en) * 2020-09-25 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for neural architecture search
CN114580636A (zh) * 2022-05-06 2022-06-03 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于三目标联合优化的神经网络轻量化部署方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531861B2 (en) * 2018-11-06 2022-12-20 Google Llc Neural architecture search with factorized hierarchical search space
US20200349416A1 (en) * 2019-05-05 2020-11-05 Alibaba Group Holding Limited Determining computer-executed ensemble model
CN112445823A (zh) * 2019-09-04 2021-03-05 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
GB2587032B (en) * 2019-09-16 2022-03-16 Samsung Electronics Co Ltd Method for designing accelerator hardware
CN110689127B (zh) * 2019-10-15 2022-05-06 北京小米智能科技有限公司 神经网络结构模型搜索方法、装置及存储介质
CN112784954A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 确定神经网络的方法和装置
CN111401516B (zh) * 2020-02-21 2024-04-26 华为云计算技术有限公司 一种神经网络通道参数的搜索方法及相关设备
US20220027739A1 (en) * 2020-07-22 2022-01-27 International Business Machines Corporation Search space exploration for deep learning
CN112434462A (zh) * 2020-10-21 2021-03-02 华为技术有限公司 一种模型的获取方法及设备
CN112561031A (zh) * 2020-11-17 2021-03-26 中国科学院信息工程研究所 基于人工智能的模型搜索方法、装置及电子设备
CN112381227B (zh) * 2020-11-30 2023-03-24 北京市商汤科技开发有限公司 神经网络生成方法、装置、电子设备及存储介质
CN112464579B (zh) * 2021-02-02 2021-06-01 四川大学 基于进化神经网络结构搜索食管癌病变区域识别建模方法
CN113434750B (zh) * 2021-06-30 2022-09-06 北京市商汤科技开发有限公司 神经网络搜索方法、装置、设备及存储介质
CN114091650A (zh) * 2021-09-01 2022-02-25 广东工业大学 一种深度卷积神经网络架构的搜索方法和应用
CN114373101A (zh) * 2022-01-14 2022-04-19 东北大学 基于进化策略的神经网络架构搜索的图像分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194025A (zh) * 2010-03-08 2011-09-21 利弗莫尔软件技术公司 基于多目标进化算法的工程设计优化中的改进方法和系统
CN108090828A (zh) * 2017-12-20 2018-05-29 东莞理工学院 一种基于遗传算法的汇率分析方法
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及系统
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法
CN111582456A (zh) * 2020-05-11 2020-08-25 北京字节跳动网络技术有限公司 用于生成网络模型信息的方法、装置、设备和介质
CN112100468A (zh) * 2020-09-25 2020-12-18 北京百度网讯科技有限公司 搜索空间的生成方法及装置、电子设备及存储介质
WO2022065771A1 (en) * 2020-09-25 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for neural architecture search
CN113033784A (zh) * 2021-04-18 2021-06-25 沈阳雅译网络技术有限公司 一种针对cpu和gpu设备搜索神经网络结构的方法
CN113128432A (zh) * 2021-04-25 2021-07-16 四川大学 一种基于演化计算的多任务神经网络架构搜索方法
CN113570027A (zh) * 2021-06-24 2021-10-29 华为技术有限公司 用于生成神经网络模型的方法、装置、系统、设备、介质和程序产品
CN113762370A (zh) * 2021-08-30 2021-12-07 东北大学 一种结合高斯随机场的深度网络集合生成方法
CN114580636A (zh) * 2022-05-06 2022-06-03 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于三目标联合优化的神经网络轻量化部署方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Classification Surrogate Model based Evolutionary Algorithm for Neural Network Structure Learning;Wenyue Hu等;《2020 International Joint Conference on Neural Networks (IJCNN)》;20200929;第1-7页 *
基于神经网络模型的时间序列预测框架的构建与应用;杨文栋;《中国博士学位论文全文数据库 基础科学辑》;20220415(第4期);第A002-43页 *
满足帕累托最优的多目标云工作流调度算法;何留杰等;《计算机应用与软件》;20190531;第36卷(第5期);第289-297页 *

Also Published As

Publication number Publication date
CN115099393A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US10165567B2 (en) Adaptive communication method and apparatus
CN107450988B (zh) 资源配置方法及相关产品
US10548178B2 (en) Method and device for establishing communication connection
US20210352677A1 (en) Method to dynamically change the minimum candidate resources ratio in mode 2 resource selection procedure of nr v2x
US20230140279A1 (en) Inter-processor communication method, electronic assembly, and electronic device
CN113065643A (zh) 一种用于执行多任务卷积神经网络预测的装置和方法
CN112445766A (zh) 一种终端碎片整理方法、装置以及终端
CN116842307B (zh) 数据处理方法、装置、设备、芯片及存储介质
CN115099393B (zh) 神经网络结构搜索方法及相关装置
US20230342074A1 (en) Electronic device and method for operation of storage of electronic device
CN115098262B (zh) 一种多神经网络任务处理方法及装置
CN116128571A (zh) 广告曝光量分析方法及相关装置
CN115729684B (zh) 输入输出请求处理方法和电子设备
CN114489471B (zh) 一种输入输出处理方法和电子设备
CN116010297A (zh) 文件系统部署及扩展方法、装置、设备及存储介质
US20170238214A1 (en) Electronic device and method for converting call type thereof
US11194603B2 (en) User equipment, server, control method of the user equipment and control method of the server for performing ahead-of-time (AOT) compilation of an application based on usage frequency
CN113760192A (zh) 数据读取方法、装置、存储介质和程序产品
CN113419702B (zh) 一种数据累加方法、处理器、电子设备及可读介质
US20230118797A1 (en) Data swapping method and electronic device supporting same
CN110750465A (zh) 系统升级的方法、数据处理方法及装置、设备
US20230305999A1 (en) Method for performing integrity check, and electronic device using same
US20220334718A1 (en) Electronic device and operation method thereof
CN115357230A (zh) 用于寄存器溢出的编译方法、电子设备和介质
US20230030132A1 (en) Application optimization method and apparatus supporting the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant