CN114997360B - 神经架构搜索算法的演化参数优化方法、系统及存储介质 - Google Patents

神经架构搜索算法的演化参数优化方法、系统及存储介质 Download PDF

Info

Publication number
CN114997360B
CN114997360B CN202210551112.0A CN202210551112A CN114997360B CN 114997360 B CN114997360 B CN 114997360B CN 202210551112 A CN202210551112 A CN 202210551112A CN 114997360 B CN114997360 B CN 114997360B
Authority
CN
China
Prior art keywords
neural network
architecture
neural
population
search algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210551112.0A
Other languages
English (en)
Other versions
CN114997360A (zh
Inventor
孙亚楠
吕泽琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210551112.0A priority Critical patent/CN114997360B/zh
Publication of CN114997360A publication Critical patent/CN114997360A/zh
Application granted granted Critical
Publication of CN114997360B publication Critical patent/CN114997360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经架构搜索算法的演化参数优化方法、系统及存储介质，该演化参数优化方法包括获取待识别对象，并确定对待识别对象进行识别的神经网络模型；选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。

Description

神经架构搜索算法的演化参数优化方法、系统及存储介质
技术领域
本发明属于人工智能算法领域，具体涉及一种神经架构搜索算法的演化参数优化方法、系统及存储介质。
背景技术
医学图像处理、语音识别和语义分割等是目前的研究热点，在对这些数据进行识别时，为了提高识别精度，往往需要借助于神经网络模型，而设计性能优异的神经网络架构被看作是一种“黑盒”设计。由于性能优异的网络架构通常较“深”、同一模型在不同应用下所表现的性能不同、并且网络架构参数设计通常依靠经验丰富的专家设置，这导致医学图像处理、语音识别和语义分割等领域所使用的神经网络模型设计十分受限制。
针对这种情况，现有技术中出现了将演化神经架构搜索算法（简称ENAS算法）应用到设计基于神经网络的医学图像、语音识别和语义分割处理模型，以减少对神经网络方面专家的过度依赖，这样相关领域研究人员即使在缺乏网络设计经验的情况下也能设计出性能优异的模型。
虽然ENAS算法在构建神经网络时具有优异的性能，但是其同样面临着一个难题——耗费巨大算力，而影响其算力的最大问题是ENAS算法中所涉及到的演化参数（即“种群大小”和“最大迭代次数”）未知，研究者需要耗费大量的算力去实验以找到较为满意的参数设置。
发明内容
针对现有技术中的上述不足，本发明提供的神经架构搜索算法的演化参数优化方法、系统及存储介质解决了现有神经架构搜索算法过度依赖神经网络方面专家经验确定演化参数的问题。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，提供一种神经架构搜索算法的演化参数优化方法，其包括：
获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
进一步地，期望首达次数理论模型的计算公式为：
，/>
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；为一次变异操作后所有后代的可能性个数，/>为组合数；q为变异算子的变异位数；/>为种群空间/>中的最优子空间；/>为种群空间/>中距离函数值为d的子空间，为种群子空间/>的次级子空间；/>为种群大小；
为第t代迭代时刻的种群属于最优子空间/>的概率；/>为初始时刻种群属于种群子空间/>的概率；/>为第/>代迭代时刻的种群属于次级子空间/>的概率；为距离函数值为/>的神经网络在变异操作后，其子代到距离函数值为/>的神经网络的所有可能的新个体数目。
进一步地，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为×/>的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构的距离/>：
其中，与/>分别为神经网络架构s和最优神经网络架构/>的编码结果中第i位的值；/>为绝对值符号。
进一步地，、/>和/>的计算公式分别为：
，/>
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；和/>分别为计算个体搜索空间/>中距离函数值为/>和/>的个体数目。
进一步地，新个体数目的计算公式为：
，d 2=d-d 1
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；z为变量值，其取值为；d 1和d 2均为中间变量。
进一步地，神经架构搜索算法为ENAS算法。
进一步地，待识别对象为图像分类、语义分割或图结构数据处理；
当任务为图像分类时，搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，搜索空间为AUTO-DeepLab搜索空间；当任务为图结构数据处理时，搜索空间为GraphNAS搜索空间。
第二方面，提供一种神经架构搜索算法的演化参数的优化系统，其包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
第三方面，提供一种存储介质，存储介质存储有多条指令，指令适于处理器进行加载，以执行神经架构搜索算法的演化参数优化方法的步骤。
本发明的有益效果为：本方案期望首达次数理论模型是基于搜索算法和搜索空间中神经网络架构的参数进行构建，其能够反映出期望首达次数与种群大小及迭代次数之间的非线性关系，再结合控制变量法绘制的关系图，可以找到搜索算法最优的演化参数。
本方案通过该种方式进行种群大小和迭代次数的确定，可以减少对神经网络方面专家的过度依赖，这样相关领域研究人员即使在缺乏网络设计经验的情况下也可以快速地确定出比较优异的演化参数。
后续在神经网络搜索过程中，通过本方案确定的演化参数可以避免现有技术中选取过大种群和迭代次数，增大大量的算力的情况，从而达到节约资源的目的。
另外，本方案的神经架构搜索算法和神经网络架构是基于待识别对象进行的选取，可以使得后续构建的神经网络模型更适合识别对应对象，以保证后续基于演化参数构建的神经网络具有较高的识别精度。
附图说明
图1为神经架构搜索算法的演化参数优化方法的流程图。
图2为ENAS算法的EHT下界与参数和/>的关系图。
图3为ENAS算法的运行时间下界与参数和/>的关系图。
图4为一个CNN结构及其编码过程。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了神经架构搜索算法的演化参数优化方法，该方法S包括步骤S1至步骤S5。
在步骤S1中，获取待识别对象，并确定对待识别对象进行识别的神经网络模型；此处选取的神经网络模型可以是众多神经网络中对该对象识别精度比较高的模型，比如，假设待识别对象是医学图像，若是针对这类分割识别时采用卷积神经网络效果比较好，那么此处就可以选取卷积神经网络模型。
本方案根据待识别对象进行神经网络模型的选取，可以保证后面搜索构建的神经网络在应用于该识别对象时的识别精度。
实施时，本方案优选待识别对象为图像分类、语义分割或图结构数据处理；
当任务为图像分类时，如识别数字、猫、狗、飞机等物体，搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，如城市街景语义理解，目标类别分割（比如医学图像）等，搜索空间为AUTO-DeepLab搜索空间；当任务为图结构数据处理时，如推荐系统，知识图谱补全，引用预测等，搜索空间为GraphNAS搜索空间。
在步骤S2中，选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；本方案的神经架构搜索算法优选为ENAS算法。
在步骤S3中，读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型。
在本发明的一个实施例中，期望首达次数理论模型的计算公式为：
，/>
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；为一次变异操作后所有后代的可能性个数，/>为组合数；q为变异算子的变异位数；/>为种群空间/>中的最优子空间；/>为种群空间/>中距离函数值为d的子空间，为种群子空间/>的次级子空间；/>为种群大小；
为第t代迭代时刻的种群属于最优子空间/>的概率；/>为初始时刻种群属于种群子空间/>的概率；/>为第/>代迭代时刻的种群属于次级子空间/>的概率；为距离函数值为/>的神经网络在变异操作后，其子代到距离函数值为/>的神经网络的所有可能的新个体数目。
本方案中，种群空间内包含了所有种群的可能性，每一个种群由个个体（一个个体为一个神经网络架构）组成，个体组成种群的方式遵循“无序可重复”原则（即组成一个种群的个体中没有重复的）；种群空间/>的大小/>由“组合数”/>来表示。
为了便于对种群空间进行理解，下面结合一个小案例进行说明：
假设种群空间大小为5，其所有种群记为/>，并且每个种群中所有个体的最小距离函数值分别为/>，那么根据这些距离函数值，可以将种群空间/>划分成3类子空间/>，并有如下包含关系：，其中/>为种群空间/>中的最优子空间。
假设每个种群中距离函数值为/>的个体数目分别为，那么每个非/>子空间可以进一步划分成次级子空间，即：根据/>和/>可以将子空间/>可以划分成2类次级子空间/>，而根据和/>同样可以将子空间/>划分成2类次级子空间/>。
种群子空间的大小/>以及次级子空间/>的大小/>可以分别采用如下公式进行计算：
函数表示所有个体搜索空间/>中所具有的某个距离函数值的个体数目（式子中，/>和/>则分别表示计算个体搜索空间/>中距离值为/>和/>的个体数目），在函数中，距离函数值/>为变量。函数/>的计算方法如下：
其中、/>均表示“组合数”。
在步骤S4中，根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图：
固定网络节点数、操作类型数/>等参数，将变量值带入期望首达次数理论模型，得到带有种群大小/>一个自变量的运行时间公式（/>），并绘制出一个自变量与因变量的关系图。此外，还可以将网络节点数/>和操作类型数/>等参数作为变量，为了便于观察参数之间是如何互相影响的，可以将这些变量之间的关系可视化（自变量为种群大小、网络节点数等，因变量为EHT），并得到以下三维关系图，具体可以参考图2和图3。
在步骤S5中，根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
由图2可知，随着神经网络大小的增加，ENAS算法搜索最优网络结构的时间越长；随着种群大小的递增，ENAS算法搜索最优网络结构所需要的代数越少，并逐渐趋于稳定。因此，为了节约计算资源，以个体（网络）大小=26为例，本方案给出参数设置说明：
1）若仅考虑设置怎样的种群大小最为合适，那么可以从图2中观察得到，当/>在20左右时，EHT值开始趋于稳定不变，因此，于是研究人员可以在实际实验时将参数/>设置为20。
2）若仅考虑设置怎样的算法迭代次数可以使得算法性能较优并且可以减少实验人员调试该参数/>的次数，那么研究人员可以从EHT下界的最小值（即T=331）开始设置。
3）若要考虑总体运行时间最优，需要观察（下界）关于变量/>的函数，该函数成为凹函数的拐点（即函数关于/>的二阶导数为0时所对应的值），为此绘制了如图3所示的种群大小、个体大小、以及运行时间的三维关系图，从图3中可看到当/>时，（下界）在/>处的二阶导数为0，于是在该实例中，可以将参数值设置为/>和/>。
在本发明的一个实施例中，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为×/>的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构的距离/>：
其中，与/>分别为神经网络架构s和最优神经网络架构/>的编码结果中第i位的值；/>为绝对值符号。
下面结合一个具体的实例对神经网络架构的距离函数值d的计算进行说明：
对于有个节点的网络架构，根据其节点连接关系可以形成一个/>×/>上三角邻接矩阵（可以参考图4中间部分），其中“1”代表两个节点之间存在连接关系（或者说描述了边之间的关系），通过该邻接矩阵可以定义/>表示上三角邻接矩阵中可能的边数，/>表示除输入和输出顶点外的中间顶点数，/>表示个体长度。
图4给出了一个节点数v=7且操作类型数L=3的卷积神经网络结构的编码过程，并给出该神经网络的编码结果s=()，在此例子中，个体s是一个长为/>的字符串。一个个体/>（神经网络架构）到最优解/>（最优神经网络架构）的距离/>使用汉明距离来计算。
具体来说，将与/>进行编码之后，这两个参数分别为两个长度相同的字符串，/>与/>分别表示两个字符串中第/>位的值，那么距离函数/>的计算公式为：，其实际意义为对比两个字符串，从而给出二者不同位数。例如，有一个个体/>，那么/>的距离函数值/>。
实施时，本方案优选、/>和/>的计算公式分别为：
，/>
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；和/>分别为计算个体搜索空间/>中距离函数值为/>和/>的个体数目。
新个体数目的计算公式为：
，d 2=d-d 1
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；z为变量值，其取值为；d 1和d 2均为中间变量。
本方案还提供一种神经架构搜索算法的演化参数优化方法的优化系统，其包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
最后，本方案还提供一种存储介质，存储介质存储有多条指令，指令适于处理器进行加载，以执行神经架构搜索算法的演化参数优化方法的步骤。
综上所述，基于本方案得到的演化参数，能够大幅降低搜索神经网络的算力，缩短神经网络架构搜索时间，同时还可以降低研究人员对神经网络知识要求的专业度。

Claims (7)

1.神经架构搜索算法的演化参数优化方法，其特征在于，包括：
获取待识别对象，并确定对待识别对象进行识别的神经网络模型；所述待识别对象为图像分类或语义分割；当任务为图像分类时，搜索空间为Nas-Bench101搜索空间；当任务为语义分割时，搜索空间为AUTO-DeepLab搜索空间；
选取对所述神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
根据所述期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
根据所述关系图，选取神经架构搜索算法最优的种群大小和迭代次数；
所述期望首达次数理论模型的计算公式为：
，/>
其中，EHT为期望首达次数；n为神经网络架构的大小；v为神经网络架构的节点数；为一次变异操作后所有后代的可能性个数，/>为组合数；q为变异算子的变异位数；/>为种群空间/>中的最优子空间；/>为种群空间/>中距离函数值为d的子空间，为种群子空间/>的次级子空间；/>为种群大小；
为第t代迭代时刻的种群属于最优子空间/>的概率；/>为初始时刻种群属于种群子空间/>的概率；/>为第/>代迭代时刻的种群属于次级子空间/>的概率；为距离函数值为/>的神经网络在变异操作后，其子代到距离函数值为/>的神经网络的所有可能的新个体数目。
2.根据权利要求1所述的神经架构搜索算法的演化参数优化方法，其特征在于，神经网络架构的距离函数值d的计算方法包括：
将神经网络架构的节点的连接关系转换为×/>的上三角邻接矩阵；
根据神经网络架构的节点操作种类，确定一串实数编码，并采用上三角邻接矩阵和实数编码构成神经网络架构的编码结果；
采用汉明距离计算神经网络架构s到最优神经网络架构的距离/>：
其中，与/>分别为神经网络架构s和最优神经网络架构/>的编码结果中第i位的值；/>为绝对值符号。
3.根据权利要求2所述的神经架构搜索算法的演化参数优化方法，其特征在于，、/>和/>的计算公式分别为：
，/>
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；和/>分别为计算个体搜索空间/>中距离函数值为/>和/>的个体数目。
4.根据权利要求1所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述新个体数目的计算公式为：
，d 2=d-d 1
其中，L为节点操作种类；n 1为上三角邻接矩阵中可能存在的边；n 2为输入和输出顶点外的中间顶点数；z为变量值，其取值为；/>为变量值，其取值为；d 1和d 2均为中间变量。
5.根据权利要求1-4任一所述的神经架构搜索算法的演化参数优化方法，其特征在于，所述神经架构搜索算法为ENAS算法。
6.一种应用于权利要求1-5任一所述的神经架构搜索算法的演化参数优化方法的优化系统，其特征在于，包括：
筛选模块，用于获取待识别对象，并确定对待识别对象进行识别的神经网络模型；
选取模块，用于选取对所述神经网络模型进行构建的神经架构搜索算法和搜索空间中的神经网络架构；
模型构建模块，用于读取神经网络架构的节点数和节点操作种类，构建神经架构搜索算法搜索神经网络模型的期望首达次数理论模型；
制图模块，用于根据所述期望首达次数理论模型，通过控制变量法绘制种群大小和迭代次数的关系图；
参数选取模块，用于根据所述关系图，选取神经架构搜索算法最优的种群大小和迭代次数。
7.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-5任一项所述的神经架构搜索算法的演化参数优化方法的步骤。
CN202210551112.0A 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质 Active CN114997360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551112.0A CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551112.0A CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114997360A CN114997360A (zh) 2022-09-02
CN114997360B true CN114997360B (zh) 2024-01-19

Family

ID=83027695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551112.0A Active CN114997360B (zh) 2022-05-18 2022-05-18 神经架构搜索算法的演化参数优化方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114997360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611974B (zh) * 2024-01-24 2024-04-16 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701542A (zh) * 2016-01-08 2016-06-22 浙江工业大学 一种基于多局部搜索的神经网络进化方法
CN108320062A (zh) * 2018-03-21 2018-07-24 广东电网有限责任公司电力科学研究院 一种基于多目标种群群搜索算法的联合调度方法及系统
WO2018161468A1 (zh) * 2017-03-10 2018-09-13 东莞理工学院 一种基于拉马克获得性遗传原理的全局优化、搜索和机器学习方法
CN111144555A (zh) * 2019-12-31 2020-05-12 中国人民解放军国防科技大学 基于改进进化算法的循环神经网络架构搜索方法、系统及介质
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
CN112561039A (zh) * 2020-12-26 2021-03-26 上海悠络客电子科技股份有限公司 一种改进的基于超网络的进化神经网络架构搜索方法
WO2021057056A1 (zh) * 2019-09-25 2021-04-01 华为技术有限公司 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701542A (zh) * 2016-01-08 2016-06-22 浙江工业大学 一种基于多局部搜索的神经网络进化方法
WO2018161468A1 (zh) * 2017-03-10 2018-09-13 东莞理工学院 一种基于拉马克获得性遗传原理的全局优化、搜索和机器学习方法
CN108320062A (zh) * 2018-03-21 2018-07-24 广东电网有限责任公司电力科学研究院 一种基于多目标种群群搜索算法的联合调度方法及系统
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
WO2021057056A1 (zh) * 2019-09-25 2021-04-01 华为技术有限公司 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111144555A (zh) * 2019-12-31 2020-05-12 中国人民解放军国防科技大学 基于改进进化算法的循环神经网络架构搜索方法、系统及介质
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112561039A (zh) * 2020-12-26 2021-03-26 上海悠络客电子科技股份有限公司 一种改进的基于超网络的进化神经网络架构搜索方法
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search;Xiangning Xie 等;《arXiv》;第2021年卷;第1-14页 *
基于无梯度进化的神经架构搜索算法研究综述;尚迪雅;孙华;洪振厚;曾庆亮;;计算机工程;第46卷(第9期);全文 *
基于演化优化的神经网络结构搜索方法研究;胡文玥;《知网》;第2022年卷(第4期);全文 *
采用人群搜索算法的径向基函数神经网络参数整定方法;何莉;肖茗方;张威亚;;华侨大学学报(自然科学版)(02);全文 *

Also Published As

Publication number Publication date
CN114997360A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US11256487B2 (en) Vectorized representation method of software source code
CN112507699B (zh) 一种基于图卷积网络的远程监督关系抽取方法
CN109388565B (zh) 基于生成式对抗网络的软件系统性能优化方法
CN109857457B (zh) 一种在双曲空间中学习源代码中的函数层次嵌入表示方法
CN112860904B (zh) 一种融入外部知识的生物医疗关系抽取方法
CN113033786B (zh) 基于时间卷积网络的故障诊断模型构建方法及装置
CN113128622B (zh) 基于语义-标签多粒度注意力的多标签分类方法及系统
CN113010683B (zh) 基于改进图注意力网络的实体关系识别方法及系统
CN114997360B (zh) 神经架构搜索算法的演化参数优化方法、系统及存储介质
CN114327483A (zh) 图张量神经网络模型建立方法及源代码语义识别方法
CN114462623A (zh) 基于边缘计算的数据分析方法、系统及平台
CN116384576A (zh) 风速预测方法、装置、系统及存储介质
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN115599918B (zh) 一种基于图增强的互学习文本分类方法及系统
WO2023078009A1 (zh) 一种模型权重获取方法以及相关系统
CN111126443A (zh) 基于随机游走的网络表示学习方法
CN110866838A (zh) 基于转移概率预处理的网络表示学习算法
CN116108127A (zh) 一种基于异构图交互和掩码多头注意力机制的文档级事件抽取方法
CN113779994B (zh) 一种要素抽取方法、装置、计算机设备和存储介质
CN114298290A (zh) 一种基于自监督学习的神经网络编码方法及编码器
CN116187310A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN114595641A (zh) 组合优化问题的求解方法和系统
CN113077003A (zh) 基于图采样的图注意力网络归纳学习方法
CN111667028A (zh) 一种可靠负样本确定方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant