CN114997360A - 神经架构搜索算法的演化参数优化方法、系统及存储介质 - Google Patents

神经架构搜索算法的演化参数优化方法、系统及存储介质 Download PDF

Info

Publication number
CN114997360A
CN114997360A CN202210551112.0A CN202210551112A CN114997360A CN 114997360 A CN114997360 A CN 114997360A CN 202210551112 A CN202210551112 A CN 202210551112A CN 114997360 A CN114997360 A CN 114997360A
Authority
CN
China
Prior art keywords
neural network
neural
architecture
search algorithm
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210551112.0A
Other languages
English (en)
Other versions
CN114997360B (zh
Inventor
孙亚楠
吕泽琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210551112.0A priority Critical patent/CN114997360B/zh
Publication of CN114997360A publication Critical patent/CN114997360A/zh
Application granted granted Critical
Publication of CN114997360B publication Critical patent/CN114997360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种神经架构搜索算法的演化参数优化方法、系统及存储介质，该演化参数优化方法包括获取待识别对象，并确定对待识别对象进行识别的神经网络模型；选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。

Description

神经架构搜索算法的演化参数优化方法、系统及存储介质
技术领域
本发明属于人工智能算法领域，具体涉及一种神经架构搜索算法的演化参数优化方法、系统及存储介质。
背景技术
医学图像处理、语音识别和语义分割等是目前的研究热点，在对这些数据进行识别时，为了提高识别精度，往往需要借助于神经网络模型，而设计性能优异的神经网络架构被看作是一种“黑盒”设计。由于性能优异的网络架构通常较“深”、同一模型在不同应用下所表现的性能不同、并且网络架构参数设计通常依靠经验丰富的专家设置，这导致医学图像处理、语音识别和语义分割等领域所使用的神经网络模型设计十分受限制。
针对这种情况，现有技术中出现了将演化神经架构搜索算法(简称ENAS算法)应用到设计基于神经网络的医学图像、语音识别和语义分割处理模型，以减少对神经网络方面专家的过度依赖，这样相关领域研究人员即使在缺乏网络设计经验的情况下也能设计出性能优异的模型。
虽然ENAS算法在构建神经网络时具有优异的性能，但是其同样面临着一个难题——耗费巨大算力，而影响其算力的最大问题是ENAS算法中所涉及到的演化参数(即“种群大小”和“最大迭代次数”)未知，研究者需要耗费大量的算力去实验以找到较为满意的参数设置。
发明内容
针对现有技术中的上述不足，本发明提供的神经架构搜索算法的演化参数优化方法、系统及存储介质解决了现有神经架构搜索算法构建神经网络架构需要耗费巨大算力的问题。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，提供一种神经架构搜索算法的演化参数优化方法，其包括：
获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
进一步地，期望首达次数理论模型的计算公式为：
Figure BDA0003650749200000021
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；
Figure BDA0003650749200000022
为一次变异操作后所有后代的可能性个数，
Figure BDA0003650749200000023
为组合数；q为变异算子的变异位数；χ*为种群空间χ中的最优子空间；χd为种群空间χ中距离函数值为d的子空间，
Figure BDA0003650749200000024
为种群子空间χd的次级子空间；λ为种群大小；
πt(χ*)为第t代迭代时刻的种群属于最优子空间χ*的概率；π0(χd)为初始时刻种群属于种群子空间χd的概率；
Figure BDA0003650749200000025
为第t代迭代时刻的种群属于次级子空间
Figure BDA0003650749200000031
的概率；W(d,j)为距离函数值为d的神经网络在变异操作后，其子代到距离函数值为j的神经网络的所有可能的新个体数目。
进一步地，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为v×v的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构s*的距离d(s)：
Figure BDA0003650749200000032
其中，s[i]与s*[i]分别为神经网络架构s和最优神经网络架构s*的编码结果中第i位的值；|·|为绝对值符号。
进一步地，πt(χ*)、π0(χd)和
Figure BDA0003650749200000033
的计算公式分别为：
Figure BDA0003650749200000034
Figure BDA0003650749200000035
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；C(d)和C(j)分别为计算个体搜索空间S中距离函数值为d和j的个体数目。
进一步地，新个体数目W(d,j)的计算公式为：
Figure BDA0003650749200000036
Figure BDA0003650749200000037
d2＝d-d1
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；z为变量值，其取值为[0,1,…,min{q,n2}]；d1和d2均为中间变量。
进一步地，神经架构搜索算法为ENAS算法。
进一步地，待识别对象为图像分类、语义分割或图结构数据处理；
当任务为图像分类时，搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，搜索空间为AUTO-DeepLab搜索空间；当任务为图结构数据处理时，搜索空间为GraphNAS搜索空间。
第二方面，提供一种神经架构搜索算法的演化参数的优化系统，其包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
第三方面，提供一种存储介质，存储介质存储有多条指令，指令适于处理器进行加载，以执行神经架构搜索算法的演化参数优化方法的步骤。
本发明的有益效果为：本方案期望首达次数理论模型是基于搜索算法和搜索空间中神经网络架构的参数进行构建，其能够反映出期望首达次数与种群大小及迭代次数之间的非线性关系，再结合控制变量法绘制的关系图，可以找到搜索算法最优的演化参数。
本方案通过该种方式进行种群大小和迭代次数的确定，可以减少对神经网络方面专家的过度依赖，这样相关领域研究人员即使在缺乏网络设计经验的情况下也可以快速地确定出比较优异的演化参数。
后续在神经网络搜索过程中，通过本方案确定的演化参数可以避免现有技术中选取过大种群和迭代次数，增大大量的算力的情况，从而达到节约资源的目的。
另外，本方案的神经架构搜索算法和神经网络架构是基于待识别对象进行的选取，可以使得后续构建的神经网络模型更适合识别对应对象，以保证后续基于演化参数构建的神经网络具有较高的识别精度。
附图说明
图1为神经架构搜索算法的演化参数优化方法的流程图。
图2为ENAS算法的EHT下界与参数n和λ的关系图。
图3为ENAS算法的运行时间下界与参数n和λ的关系图。
图4为一个CNN结构及其编码过程。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了神经架构搜索算法的演化参数优化方法，该方法S包括步骤S1至步骤S5。
在步骤S1中，获取待识别对象，并确定对待识别对象进行识别的神经网络模型；此处选取的神经网络模型可以是众多神经网络中对该对象识别精度比较高的模型，比如，假设待识别对象是医学图像，若是针对这类分割识别时采用卷积神经网络效果比较好，那么此处就可以选取卷积神经网络模型。
本方案根据待识别对象进行神经网络模型的选取，可以保证后面搜索构建的神经网络在应用于该识别对象时的识别精度。
实施时，本方案优选待识别对象为图像分类、语义分割或图结构数据处理；
当任务为图像分类时，如识别数字、猫、狗、飞机等物体，搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，如城市街景语义理解，目标类别分割(比如医学图像)等，搜索空间为AUTO-DeepLab搜索空间；当任务为图结构数据处理时，如推荐系统，知识图谱补全，引用预测等，搜索空间为GraphNAS搜索空间。
在步骤S2中，选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；本方案的神经架构搜索算法优选为ENAS算法。
在步骤S3中，读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型。
在本发明的一个实施例中，期望首达次数理论模型的计算公式为：
Figure BDA0003650749200000061
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；
Figure BDA0003650749200000071
为一次变异操作后所有后代的可能性个数，
Figure BDA0003650749200000072
为组合数；q为变异算子的变异位数；χ*为种群空间χ中的最优子空间；χd为种群空间χ中距离函数值为d的子空间，
Figure BDA0003650749200000073
为种群子空间χd的次级子空间；λ为种群大小；
πt(χ*)为第t代迭代时刻的种群属于最优子空间χ*的概率；π0(χd)为初始时刻种群属于种群子空间χd的概率；
Figure BDA0003650749200000074
为第t代迭代时刻的种群属于次级子空间
Figure BDA0003650749200000075
的概率；W(d,j)为距离函数值为d的神经网络在变异操作后，其子代到距离函数值为j的神经网络的所有可能的新个体数目。
本方案中，种群空间内包含了所有种群的可能性，每一个种群由λ个个体(一个个体为一个神经网络架构)组成，个体组成种群的方式遵循“无序可重复”原则(即组成一个种群的个体中没有重复的)；种群空间χ的大小|χ|由“组合数”
Figure BDA0003650749200000076
来表示。
为了便于对种群空间进行理解，下面结合一个小案例进行说明：
假设种群空间χ大小为5，其所有种群记为X1,X2,X3,X4,X5，并且每个种群中所有个体的最小距离函数值分别为d1＝2,d2＝0,d3＝2,d4＝3,d5＝3，那么根据这些距离函数值，可以将种群空间χ划分成3类子空间{χ*,χ2,χ3}，并有如下包含关系：χ＝χ*∪χ2∪χ3，其中χ*为种群空间χ中的最优子空间。
假设每个种群Xi中距离函数值为di的个体数目分别为λ1＝3,λ2＝1,λ3＝2,λ4＝2,λ5＝1，那么每个非χ*子空间可以进一步划分成次级子空间，即：根据λ1＝3和λ3＝2可以将子空间χ2可以划分成2类次级子空间
Figure BDA0003650749200000077
而根据λ4＝2和λ5＝1同样可以将子空间χ3划分成2类次级子空间
Figure BDA0003650749200000078
种群子空间χd的大小|χd|以及次级子空间
Figure BDA0003650749200000081
的大小
Figure BDA0003650749200000082
可以分别采用如下公式进行计算：
Figure BDA0003650749200000083
函数C(·)表示所有个体搜索空间S中所具有的某个距离函数值的个体数目(式子中，C(d)和C(j)则分别表示计算个体搜索空间S中距离值为d和j的个体数目)，在函数C(·)中，距离函数值d为变量。函数C(·)的计算方法如下：
Figure BDA0003650749200000084
其中
Figure BDA0003650749200000085
均表示“组合数”。
在步骤S4中，根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图：
固定网络节点数n、操作类型数L等参数，将变量值带入期望首达次数理论模型，得到带有种群大小λ一个自变量的运行时间公式(λ·EHT)，并绘制出一个自变量与因变量的关系图。此外，还可以将网络节点数n和操作类型数L等参数作为变量，为了便于观察参数之间是如何互相影响的，可以将这些变量之间的关系可视化(自变量为种群大小、网络节点数等，因变量为EHT)，并得到以下三维关系图，具体可以参考图2和图3。
在步骤S5中，根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
由图2可知，随着神经网络大小的增加，ENAS算法搜索最优网络结构的时间越长；随着种群大小的递增，ENAS算法搜索最优网络结构所需要的代数越少，并逐渐趋于稳定。因此，为了节约计算资源，以个体(网络)大小n＝26为例，本方案给出参数设置说明：
1)若仅考虑设置怎样的种群大小λ最为合适，那么可以从图2中观察得到，当λ在20左右时，EHT值开始趋于稳定不变，因此，于是研究人员可以在实际实验时将参数λ设置为20。
2)若仅考虑设置怎样的算法迭代次数T可以使得算法性能较优并且可以减少实验人员调试该参数T的次数，那么研究人员可以从EHT下界的最小值(即T＝331)开始设置。
3)若要考虑总体运行时间最优，需要观察(λ×EHT下界)关于变量λ的函数，该函数成为凹函数的拐点(即函数关于λ的二阶导数为0时所对应的值)，为此绘制了如图3所示的种群大小、个体大小、以及运行时间的三维关系图，从图3中可看到当n＝26时，(λ×EHT下界)在λ＝20处的二阶导数为0，于是在该实例中，可以将参数值设置为λ＝20和T＝331。
在本发明的一个实施例中，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为v×v的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构s*的距离d(s)：
Figure BDA0003650749200000101
其中，s[i]与s*[i]分别为神经网络架构s和最优神经网络架构s*的编码结果中第i位的值；|·|为绝对值符号。
下面结合一个具体的实例对神经网络架构的距离函数值d的计算进行说明：
对于有v个节点的网络架构，根据其节点连接关系可以形成一个v×v上三角邻接矩阵(可以参考图4中间部分)，其中“1”代表两个节点之间存在连接关系(或者说描述了边之间的关系)，通过该邻接矩阵可以定义n1＝v(v-1)/2表示上三角邻接矩阵中可能的边数，n2＝v-2表示除输入和输出顶点外的中间顶点数，n＝n1+n2表示个体长度。
图4给出了一个节点数v＝7且操作类型数L＝3的卷积神经网络结构的编码过程，并给出该神经网络的编码结果s＝(110011000101000100101|12012)，在此例子中，个体s是一个长为n＝26的字符串。一个个体s(神经网络架构)到最优解s*(最优神经网络架构)的距离d(s)使用汉明距离来计算。
具体来说，将s与s*进行编码之后，这两个参数分别为两个长度相同的字符串，s[i]与s*[i]分别表示两个字符串中第i位的值，那么距离函数d(s)的计算公式为：
Figure BDA0003650749200000102
其实际意义为对比两个字符串，从而给出二者不同位数。例如，有一个个体x＝(1,2,3,1,2),最优解s*＝(1,2,2,1,1)，那么x的距离函数值d(x)＝2。
实施时，本方案优选πt(χ*)、π0(χd)和
Figure BDA0003650749200000103
的计算公式分别为：
Figure BDA0003650749200000104
Figure BDA0003650749200000111
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；C(d)和C(j)分别为计算个体搜索空间S中距离函数值为d和j的个体数目。
新个体数目W(d,j)的计算公式为：
Figure BDA0003650749200000112
Figure BDA0003650749200000113
d2＝d-d1
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；z为变量值，其取值为[0,1,…,min{q,n2}]；d1和d2均为中间变量。
本方案还提供一种神经架构搜索算法的演化参数优化方法的优化系统，其包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
最后，本方案还提供一种存储介质，存储介质存储有多条指令，指令适于处理器进行加载，以执行神经架构搜索算法的演化参数优化方法的步骤。
综上所述，基于本方案得到的演化参数，能够大幅降低搜索神经网络的算力，缩短神经网络架构搜索时间，同时还可以降低研究人员对神经网络知识要求的专业度。

Claims (9)

1.神经架构搜索算法的演化参数优化方法，其特征在于，包括：
获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取对所述神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
根据所述期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
根据所述关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
2.根据权利要求1所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述期望首达次数理论模型的计算公式为：
Figure FDA0003650749190000011
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；
Figure FDA0003650749190000012
为一次变异操作后所有后代的可能性个数，
Figure FDA0003650749190000013
为组合数；q为变异算子的变异位数；χ*为种群空间χ中的最优子空间；χd为种群空间χ中距离函数值为d的子空间，
Figure FDA0003650749190000014
为种群子空间χd的次级子空间；λ为种群大小；
πt(χ*)为第t代迭代时刻的种群属于最优子空间χ*的概率；π0(χd)为初始时刻种群属于种群子空间χd的概率；
Figure FDA0003650749190000015
为第t代迭代时刻的种群属于次级子空间
Figure FDA0003650749190000016
的概率；W(d，j)为距离函数值为d的神经网络在变异操作后，其子代到距离函数值为j的神经网络的所有可能的新个体数目。
3.根据权利要求2所述的神经架构搜索算法的演化参数优化方法，其特征在于，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为v×v的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构s*的距离d(s)：
Figure FDA0003650749190000021
其中，s[i]与s*[i]分别为神经网络架构s和最优神经网络架构s*的编码结果中第i位的值；|·|为绝对值符号。
4.根据权利要求3所述的神经架构搜索算法的演化参数优化方法，其特征在于，πt(χ*)、π0(χd)和
Figure FDA0003650749190000022
的计算公式分别为：
Figure FDA0003650749190000023
Figure FDA0003650749190000024
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；C(d)和C(j)分别为计算个体搜索空间S中距离函数值为d和j的个体数目。
5.根据权利要求2所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述新个体数目W(d，j)的计算公式为：
Figure FDA0003650749190000025
Figure FDA0003650749190000031
其中，L为节点操作种类；n1为上三角邻接矩阵中可能存在的边；n2为输入和输出顶点外的中间顶点数；z为变量值，其取值为[0，1，…，min{q，n2}]；b为变量值，其取值为[0，1，…，min{z，d2}]；d1和d2均为中间变量。
6.根据权利要求1-5任一所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述神经架构搜索算法为ENAS算法。
7.根据权利要求1-5任一所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述待识别对象为图像分类、语义分割或图结构数据处理；
当任务为图像分类时，所述搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，所述搜索空间为AUTO-DeepLab搜索空间；当任务为图结构数据处理时，所述搜索空间为GraphNAS搜索空间。
8.一种权利要求1-7任一所述的神经架构搜索算法的演化参数优化方法的优化系统，其特征在于，包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对所述神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据所述期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据所述关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
9.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-7任一项所述的神经架构搜索算法的演化参数优化方法的步骤。
CN202210551112.0A 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质 Active CN114997360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551112.0A CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551112.0A CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114997360A true CN114997360A (zh) 2022-09-02
CN114997360B CN114997360B (zh) 2024-01-19

Family

ID=83027695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551112.0A Active CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114997360B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611974A (zh) * 2024-01-24 2024-02-27 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701542A (zh) * 2016-01-08 2016-06-22 浙江工业大学 一种基于多局部搜索的神经网络进化方法
CN108320062A (zh) * 2018-03-21 2018-07-24 广东电网有限责任公司电力科学研究院 一种基于多目标种群群搜索算法的联合调度方法及系统
WO2018161468A1 (zh) * 2017-03-10 2018-09-13 东莞理工学院 一种基于拉马克获得性遗传原理的全局优化、搜索和机器学习方法
CN111144555A (zh) * 2019-12-31 2020-05-12 中国人民解放军国防科技大学 基于改进进化算法的循环神经网络架构搜索方法、系统及介质
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
CN112561039A (zh) * 2020-12-26 2021-03-26 上海悠络客电子科技股份有限公司 一种改进的基于超网络的进化神经网络架构搜索方法
WO2021057056A1 (zh) * 2019-09-25 2021-04-01 华为技术有限公司 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701542A (zh) * 2016-01-08 2016-06-22 浙江工业大学 一种基于多局部搜索的神经网络进化方法
WO2018161468A1 (zh) * 2017-03-10 2018-09-13 东莞理工学院 一种基于拉马克获得性遗传原理的全局优化、搜索和机器学习方法
CN108320062A (zh) * 2018-03-21 2018-07-24 广东电网有限责任公司电力科学研究院 一种基于多目标种群群搜索算法的联合调度方法及系统
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
WO2021057056A1 (zh) * 2019-09-25 2021-04-01 华为技术有限公司 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111144555A (zh) * 2019-12-31 2020-05-12 中国人民解放军国防科技大学 基于改进进化算法的循环神经网络架构搜索方法、系统及介质
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112561039A (zh) * 2020-12-26 2021-03-26 上海悠络客电子科技股份有限公司 一种改进的基于超网络的进化神经网络架构搜索方法
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANGNING XIE 等: "BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search", 《ARXIV》, vol. 2021, pages 1 - 14 *
何莉;肖茗方;张威亚;: "采用人群搜索算法的径向基函数神经网络参数整定方法", 华侨大学学报(自然科学版), no. 02 *
尚迪雅;孙华;洪振厚;曾庆亮;: "基于无梯度进化的神经架构搜索算法研究综述", 计算机工程, vol. 46, no. 9 *
胡文玥: "基于演化优化的神经网络结构搜索方法研究", 《知网》, vol. 2022, no. 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611974A (zh) * 2024-01-24 2024-02-27 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统
CN117611974B (zh) * 2024-01-24 2024-04-16 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统

Also Published As

Publication number Publication date
CN114997360B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN111310438B (zh) 基于多粒度融合模型的中文句子语义智能匹配方法及装置
WO2022068196A1 (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN105912611B (zh) 一种基于cnn的快速图像检索方法
CN111275172B (zh) 一种基于搜索空间优化的前馈神经网络结构搜索方法
CN113378913B (zh) 一种基于自监督学习的半监督节点分类方法
CN112507699B (zh) 一种基于图卷积网络的远程监督关系抽取方法
CN109858015B (zh) 一种基于ctw和km算法的语义相似度计算方法及装置
CN113886571A (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
CN111047563B (zh) 一种应用于医学超声图像的神经网络构建方法
CN109857457B (zh) 一种在双曲空间中学习源代码中的函数层次嵌入表示方法
CN109388565B (zh) 基于生成式对抗网络的软件系统性能优化方法
KR20210102039A (ko) 전자 디바이스 및 이의 제어 방법
CN112860904B (zh) 一种融入外部知识的生物医疗关系抽取方法
CN113343100B (zh) 一种基于知识图谱的智慧城市资源推荐方法和系统
CN113821657A (zh) 基于人工智能的图像处理模型训练方法及图像处理方法
CN114298290A (zh) 一种基于自监督学习的神经网络编码方法及编码器
CN116383422B (zh) 一种基于锚点的无监督跨模态哈希检索方法
CN114494753A (zh) 聚类方法、装置、电子设备及计算机可读存储介质
CN114997360A (zh) 神经架构搜索算法的演化参数优化方法、系统及存储介质
US11853858B2 (en) Chart building user interface providing machine learned chart recommendations
CN116796288A (zh) 一种面向工业文档的多模态信息提炼方法和系统
CN111126443A (zh) 基于随机游走的网络表示学习方法
WO2023078009A1 (zh) 一种模型权重获取方法以及相关系统
CN115881211B (zh) 蛋白质序列比对方法、装置、计算机设备以及存储介质
CN113590912B (zh) 融合节点相对位置和绝对度分布的跨社交网络对齐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant