CN114373101A - 基于进化策略的神经网络架构搜索的图像分类方法 - Google Patents

基于进化策略的神经网络架构搜索的图像分类方法 Download PDF

Info

Publication number
CN114373101A
CN114373101A CN202210042015.9A CN202210042015A CN114373101A CN 114373101 A CN114373101 A CN 114373101A CN 202210042015 A CN202210042015 A CN 202210042015A CN 114373101 A CN114373101 A CN 114373101A
Authority
CN
China
Prior art keywords
network
model
neural network
classification
arc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210042015.9A
Other languages
English (en)
Inventor
马连博
耿小玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210042015.9A priority Critical patent/CN114373101A/zh
Publication of CN114373101A publication Critical patent/CN114373101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于进化策略的神经网络架构搜索的图像分类方法，简化神经网络架构搜索过程，采用基于块和单元的搜索空间以及基于EA的搜索策略构建图像分类任务上的神经网络架构搜索模型；在超网共享参数的基础上，建立分类代理模型来辅助选择性能好的神经网络模型，无需对每个神经网络进行训练，便能实现神经网络模型的选择工作；代理模型的可靠性的评估，保证了模型的分类准确率，从而有利于保留性能更好的输出图像分类架构；既节省了训练模型的时间和资源消耗，又简化了传统的评估和非支配排序选择过程，降低人工干预的基础上，实现复杂图像分类神经网络架构自动化设计以提高图像分类准确率。

Description

基于进化策略的神经网络架构搜索的图像分类方法
技术领域
本发明涉及图像分类技术领域，具体涉及一种基于进化策略的神经网络架构搜索的图像分类方法。
背景技术
随着机器学习的飞速发展，图像分类、人脸识别、语音识别、机器翻译等每一项人工智能应用的背后都离不开AI技术算法模型。在图像分类领域，各种神经网络模型层出不穷，而神经网络结构对最终图像分类的效果起着至关重要的作用。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。因此如何降低传统神经网络结构对人工经验和背景知识的依赖、高效的设计出神经网络结构来解决针对特定场景的图像分类问题，成为近年来学术界和工业界研究的热点。实现这一问题的关键技术是对神经网络结构进行特定图像分类任务的自动化设计。近年来，研究人员提出许多神经网络结构搜索方法来解决图像分类任务中神经网络的结构设计问题。
出于效率原因，大多数现有的针对图像分类的神经体系结构搜索(NAS)算法中的搜索技术主要由可区分的方法主导。目前有一种采用连续进化CARS框架来进行神经网络的结构搜索的方法，该方法设计了一个超网SuperNet包含所有可能搜索到的网络结构并初始化权重参数，采用进化算法EA的方法获得每代的种群个体，对个体进行完全评估后，非支配排序策略(pNSGA-III)选择优秀的架构用于更新超网SuperNet，下一代的个体通过进化算法中的基准操作生成且参数从超网SuperNet中继承，继续评估并更新超网SuperNet，循环直到符合预定要求，输出最后一代个体中适应度值最高的个体做为最终架构对图像进行分类。
而现有技术中，搜索空间中每个单元只接收来自前一个单元的输入和来自前一个单元前面的单元的跳过输入，搜索结构多样性有限；在评估模型时，采用完全评估的方法，在候选结构数量庞大时，对每个结构进行完全评估无疑耗费很大的时间和资源；在前期评估网络结构的性能时，由于超网SuperNet训练不完全，所继承的参数并不是该结构的最优参数，评估结果不准确，影响最后输出结构的性能，在复杂图像分类的应用上，无疑是一缺陷。
发明内容
针对现有技术的不足，本发明提出一种基于进化策略的神经网络架构搜索的图像分类方法，简化神经网络架构搜索。采用基于块和单元的搜索空间以及EA的搜索策略构建图像分类任务上的神经网络架构搜索模型；在超网共享参数的基础上，建立分类代理模型来辅助选择性能好的神经网络模型，无需对每个神经网络进行训练，便能实现神经网络模型的选择工作，既节省了训练模型的时间和资源消耗，又简化了传统的评估和非支配排序选择过程，降低人工干预的基础上，实现复杂图像分类神经网络架构自动化设计提高图像分类准确率。
为实现上述技术效果，本发明提出一种基于进化策略的神经网络架构搜索的图像分类方法，包括：
步骤1：采集不同类型的图像数据构建样本集Q；
步骤2：利用基于进化策略的神经网络架构搜索算法搜索构建图像分类模型，利用样本集训练模型参数；
步骤3：利用训练后的图像分类模型对待分类的图像数据进行分类。
所述步骤2包括：
步骤2.1：初始化超网SuperNet并采样生成N个不同的网络结构作为种群父代；
步骤2.2：构建精英档案Arc-T并对超网SuperNet中的权重参数进行更新；
步骤2.3：利用集成的多层感知机MLP构建代理模型并进行训练；
步骤2.4：将父代中除样本集W外的其他网络结构个体信息作为代理模型的输入，并输出预测的分类结果，利用分类结果对代理模型进行可靠性验证；
步骤2.5：利用进化算法EA操作算子对父代N个网络结构执行交叉或变异操作生成t×N个子代网络结构，其中t是控制扩展比率的超参数；
步骤2.6：从子代网络结构中选择N个网络个体，并通过迭代运算更新精英档案Arc-T，当达到最大迭代次数后停止运算，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型。
所述步骤2.1包括：
步骤2.1.1：利用单元和块初始化超网SuperNet，并随机初始化超网的权重参数；
步骤2.1.2：从超网SuperNet搜索空间中均匀采样生成N个不同的网络结构进行网络架构种群的初始化，其中N个结构作为种群中的父代网络结构个体。
所述步骤2.2包括：
步骤2.2.1：将样本集Q划分为训练集Q1和测试集Q2，利用生成的N个网络结构在测试集Q2上进行评估；
步骤2.2.2：从N个父代个体中选择评估性能前50％的网络结构作为精英子网放到精英档案Arc-T中，并根据性能排序，前50％划分为正样本，其余划分为负样本；
步骤2.2.3：利用精英档案Arc-T中的网络结构个体更新超网SuperNet中的权重参数。
所述步骤2.2.3包括：
步骤S1：从精英档案Arc-T中依次采样网络结构，对采样的结构进行训练，以获取其内部结构中节点对的优化参数；
步骤S2：使用以下公式计算精英档案Arc-T中架构内部的每对节点的连接概率P(nodei,nodej)，并找到具有最大连接概率的一对节点；
Figure BDA0003470631700000031
其中，Nnodes i,j表示在精英档案Arc-T中一对节点nodei、nodej之间的连接数，NArc-T是精英档案Arc-T中的连接总数；
步骤S3：利用步骤S2中最大连接概率的节点对所对应的权重，更新超网SuperNet中的权重。
所述步骤2.3包括：
步骤2.3.1：以一个MLP为基本单位，将η个MLP利用集成方式bagging构建代理模型；
步骤2.3.2：从父代网络结构个体中随机抽取一定比例δ1的网络结构个体构建代理模型的样本集W；
步骤2.3.3：利用样本集W对代理模型进行训练并更新参数，每个MLP在样本上进行独立训练，使用多数投票作为聚合规则来确定代理模型的最终分类结果。
所述步骤2.4包括：
步骤2.4.1：利用父代网络结构个体中除训练样本集W外的其他网络结构构建代理模型可靠性验证的样本集Y，将精英档案Arc-T中的网络结构标签为正样本的标记为样本集Y中的正样本，其余标记为负样本；
步骤2.4.2：将样本集Y输入代理模型中对正负样本进行分类预测，根据预测结果得到样本的预测准确率；
步骤2.4.3：计算代理模型的可靠性值AUC：
Figure BDA0003470631700000032
式中，M、N分别表示样本集Y中的正样本、负样本数：VPositive、VNegative分别表示正样本、负样本的预测准确率；I(.)是一个指标函数，定义为：
Figure BDA0003470631700000041
步骤2.4.4：当AUC≥Th-AUC时，该代理模型可靠；当AUC＜Th-AUC时，当前代理模型不可靠，其中Th-AUC表示设定阈值。
所述步骤2.6包括：
步骤2.6.1：当代理模型可靠时，利用当前代理模型对子代及父代共(t+1)×N个网络结构进行分类，从分类类别为正的网络结构中采样N个结构作为下一代种群中的父代网络结构；当前代理模型不可靠时，将t×N个子代网络结构个体在图像测试集Q2上进行评估，子代及父代共(t+1)×N个网络结构性能评估值排序中前N的个体作为下一代种群中的父代网络结构；
步骤2.6.2：设置迭代次数，重复执行步骤2.2～步骤2.6，当达到最大迭代次数后停止运算，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型。
所述步骤2.2.1中利用生成的N个不同网络结构在测试集Q2上进行评估，具体表述为：将测试集Q2中图片信息作为网络结构输入，将输出结果与预期输出值进行比较，相等则分类正确，不相等则分类错误，最终分类正确的概率作为该网络结构的性能评估值。
本发明的有益效果是：
本发明提出了一种基于进化策略的神经网络架构搜索的图像分类方法，通过多层感知机MLP集成分类代理模型在子代神经网络无训练的情况下对结构进行分类筛选，省去了训练和排序过程，节省了大量计算资源和时间；AUC(Area Under Curve，简称AUC)方法对代理模型的可靠性进行评估，保证了代理模型的分类准确度，从而有利于保留性能更好的输出图像分类架构；搜索空间中块和单元连接方式的多样性和进化算法EA突变算子的多样设计增加了输出神经网络结构的可能性，从而提高了图像分类任务的准确性。
附图说明
图1为本发明中基于进化策略的神经网络架构搜索的图像分类方法流程图；
图2为本发明中神经网络架构搜索处理过程及图像分类原理图；
图3为本发明中搜索空间基础块内构成方式示意图；
图4为本发明中搜索空间基础块间构成方式示意图；
图5为本发明中集成MLP强分类代理模型示意图；
图6为本发明中突变操作示意图。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明。
图像分类的神经网络架构搜索，包括搜索空间设计、搜索策略方法和性能评估方法三个部分：
所述的搜索空间定义了组成神经网络结构的基本操作，通过连接8种不同的操作(none,max_pool_3x3,avg_pool_3x3,skip_connect,sep_conv_3x3,sep_conv_5x5,dil_conv_3x3,dil_conv_5x5)生成8180个不同的有效的神经网络结构单元。结构单元的组合包含了所有可能被生成的每一个架构，决定了哪些架构需要被搜索策略进行搜索和性能评估方法评估，是待搜索网络的候选集合。
所述的搜索策略方法在搜索空间中采样有效的神经网络架构候选者，决定了网络结构的采样方式。本发明采用了基于进化算法的搜索算法，此算法将网络结构搜索和权值优化分为两个不同的部分，通过进化算法对网络结构进行优化，通过反向传播对网络参数进行优化。
所述的性能评估方法对每个神经网络子模型的性能进行测量、评估，面向图像分类数据集，找到针对目标函数最优的网络结构，通常将网络结构在验证集上的准确性作为模型的评估指标，本发明中采用多MLP集成代理模型对候选子结构性能进行分类预测。
本发明提出的一种基于进化策略的神经网络架构搜索的图像分类方法，基于前述神经网络架构搜索方法的实现，如图1～2所示，包括：
步骤1：采集不同类型的图像数据构建样本集Q；本实施例中采集的图像数据有：手写体数据集MNIST(Mixed National Institute of Standards and Technologydatabase，简称MNIST)，彩色图像数据集CIFAR-10(Canadian Institute for AdvancedResearch,10classes，简称CIFAR-10)；
步骤2：构建基于进化策略的神经网络架构搜索模型，利用样本集对模型进行训练；包括：
步骤2.1：初始化超网SuperNet并采样生成N个不同的网络结构作为种群父代；包括：
步骤2.1.1：利用单元和块初始化超网SuperNet，并随机初始化超网的权重参数；
设计一个超网SuperNet来共享不同架构的所有权重参数，使用单元和块初始化超网SuperNet，并随机初始化超网的权重参数。
具体来说，一系列结构的构建基块单元(如图3所示)，以前馈方式连接。本发明设计了两种类型的单元：普通normal单元旨在保留数据(或特征图)的输入大小，衰减reduction单元减少输入空间大小。现有的类似搜索空间中，每个单元只接收来自前一个单元的输入和来自前一个单元前面的单元的跳过输入，本发明中的搜索空间允许每个单元通过两个跳过模式(即图4中Skip1和Skip2)与后续单元紧密相连。
图3中展示了每个(普通normal或衰减reduction)单元是使用三种节点构建的：源节点作为单元格的输入(例如节点0和1)、计算节点(例如，节点2、3、4、5和6)和输出节点(例如节点7)。每个计算节点都由对操作组合(OPs)产生特定的隐状态。例如，节点5的状态可以通过两个操作OP1和OP2的组合来实现。配对组合后，任何未使用的隐状态(例如节点5和6)都将连接到单元格的输出节点(例如节点7)。然后，使用2×R(R/2是计算节点的数量)矩阵结构来编码结构单元，如图3(底部)所示。在此结构中，第一行表示输入图(节点)的索引，第二行表示在相应的输入图上进行的OP对组合。每对列指定一个计算节点，该节点将两个输入图串联在一起。例如，在图3(底部)中的第一对列中，分别在节点0和1上执行OP1和OP4，然后添加OP1和OP4的结果以生成节点2状态。通过重复图3中单元列表中任何单元的上述步骤，将单元组合成由多个单元组成的进化算法EA个体的完整编码决策载体。这种方式也有利于进化算法EA中的变异操作。目的是在这些单元之间找到一条合适的路由路径，以形成最终架构。
步骤2.1.2：从超网SuperNet搜索空间中均匀采样生成N个不同的网络结构进行网络架构种群的初始化，其中N个结构作为种群中的父代网络结构个体；
从超网SuperNet搜索空间中均匀采样生成32个不同的体系结构作为候选结构，8种不同的操作以相同的概率被采样到。其中32为整个过程中被维护的种群个体的数量，32个网络结构为当前种群的父代架构。
步骤2.2：构建精英档案Arc-T并对超网SuperNet中的权重参数进行更新；包括：
步骤2.2.1：将样本集Q划分为训练集Q1和测试集Q2，利用生成的N个网络结构在测试集Q2上进行评估；具体表述为：将测试集Q2中图片信息作为网络结构输入，将输出结果与预期输出值进行比较，相等则分类正确，不相等则分类错误，最终分类正确的概率作为该网络结构的性能评估值；
对32个父代网络结构进行性能评估。评估前32个网络结构的权重参数从超网SuperNet中共享继承。通过参数共享的方式，不再需要独立训练并评估每个子网络的性能，而是只需要训练一个大的超网络，然后通过继承超网络参数的方式快速评估每个子网络的性能，从而可以非常高效的进行模型结构自动搜索，这里将评价指标定为在图像数据集上的分类准确率。超网SuperNet为子网结构提供了可继承的权重参数，从而无需从零开始优化权重。
步骤2.2.2：从N个父代个体中选择评估性能前50％的网络结构作为精英子网放到精英档案Arc-T中，并根据性能排序，前50％划分为正样本，其余划分为负样本；
从父代网络结构个体中选择图像分类评估准确率前16的网络结构放到精英档案Arc-T中。精英档案Arc-T为迄今为止发现的准确率处于前16位的网络结构的编码集合。精英档案中图像分类准确率最高的网络结构为当前性能最高的网络结构。
步骤2.2.3：利用精英档案Arc-T中的网络结构个体更新超网SuperNet中的权重参数；
用精英档案Arc-T中的16个网络结构个体来更新超网SuperNet中的权重参数。本发明设计了一个基于精英档案Arc-T的超网SuperNet自适应更新操作。包括：
步骤S1：从精英档案Arc-T中依次采样网络结构，对采样的结构进行训练，以获取其内部结构中节点对的优化参数；
超网SuperNet自适应更新：精英档案Arc-T旨在跟踪迄今为止的进化搜索过程中获得的性能好的架构。然后，使用从精英档案Arc-T架构中采样的网络对超网SuperNet进行更新，进而从精英档案中获得图像分类所需的神经网络结构。
在每个训练过程中，首先从精英档案Arc-T中取样8个网络结构，然后对8个结构在样本集Q上执行训练步骤，以获取其优化参数；
步骤S2：使用以下公式计算精英档案Arc-T中架构内部的每对节点的连接概率P(nodei,nodej)，并找到具有最大连接概率的一对节点；
Figure BDA0003470631700000071
其中，Nnodes i,j表示在精英档案Arc-T中一对节点nodei、nodej之间的连接数，NArc-T是精英档案Arc-T中的连接总数；
步骤S3：利用步骤S2中最大连接概率的节点对所对应的权重，更新超网SuperNet中的权重；
步骤2.3：利用集成的MLP构建代理模型并进行训练；包括：
步骤2.3.1：以一个MLP为基本单位，将η个MLP利用集成方式bagging构建代理模型；
早期的神经网络结构搜索通过将每个神经网络在图像训练数据上都训练到收敛，然后评估其效果，会耗费大量的算力资源，阻碍了在实际业务中的应用。为了降低在多个目标下训练和评估网络的计算成本，本发明构建了一个在线帕累托Pareto分类代理模型，即种群中网络结构在没有训练的情况下直接预测网络的Pareto支配分类。采用低复杂性MLP，相比复杂的网络代理模型，它不需要太多的训练数据，也不容易产生过度拟合。MLP的集成是通过聚合20个基本MLP(如图5所示)构建的，每个MLP都在样本上独立训练。
步骤2.3.2：从父代网络结构个体中随机抽取一定比例δ1的网络结构个体构建代理模型的样本集W；
用评估后的32个父代网络结构中随机采样16个作为样本来训练分类代理模型。个体中取80％作为训练集，20％作为测试集。
步骤2.3.3：利用样本集W对代理模型进行训练并更新参数，每个MLP在样本上进行独立训练，使用多数投票作为聚合规则来确定代理模型的最终分类结果；
该代理模型为集成MLP，训练后的代理模型可以将网络结构分为两类(第1类正样本/第2类负样本)。在这里，使用多数投票作为聚合规则来确定对新数据的最终分类结果。
步骤2.4：将父代中除样本集W外的其他网络结构个体信息作为代理模型的输入，并输出预测的分类结果，利用分类结果对代理模型进行可靠性验证；包括：
步骤2.4.1：利用父代网络结构个体中除训练样本集W外的其他网络结构构建代理模型可靠性验证的样本集Y，将精英档案Arc-T中的网络结构标签为正样本的标记为样本集Y中的正样本，其余标记为负样本；
步骤2.4.2：将样本集Y输入代理模型中对正负样本进行分类预测，根据预测结果得到样本的预测准确率；
步骤2.4.3：计算代理模型的可靠性值AUC，原则上，较高的AUC表示模型的预测可靠性更好；
Figure BDA0003470631700000081
式中，M、N分别表示样本集Y中的正样本、负样本数：VPositive、VNegative分别表示正样本、负样本的预测准确率；I(.)是一个指标函数，定义为：
Figure BDA0003470631700000082
步骤2.4.4：当AUC≥Th-AUC时，该代理模型可靠；当AUC＜Th-AUC时，当前代理模型不可靠，其中Th-AUC表示设定阈值；
在候选结构不训练的情况下，能够准确的预测任意模型结构性能显得非常重要。基于此，不仅可以深度的分析模型结构的性能优劣，同时还能够预测出满足任意硬件延时约束下的最优的模型结构。Area Under Curve(AUC)测量值用于评估代理模型在测试数据上的可靠性。因为错误的预测会误导进化搜索，有必要检查预测的分类是否可靠。
步骤2.5：利用EA操作算子对父代N个网络结构执行交叉或变异操作生成t×N个子代网络结构，其中t是控制扩展比率的超参数；通过在现有结构上应用交叉或变异产生一组后代结构生成2*32个后代网络结构个体；
根据搜索空间的编码特征，引入了两个突变操作：隐状态突变和操作突变，但这在每次进化突变时，只随机选择其中的一种，图6展示了两种突变操作的示例。
在隐状态突变中，从搜索空间随机选择两个单元(即图4中普通normal单元或衰减reduction单元)，然后随机选择其配对组合之一。随机选择该组合的两个单元之一，选择其中一个隐状态。突变将用单元内的另一个突变算子替换所选的隐状态。
步骤2.6：从子代网络结构中选择N个网络个体，并通过迭代运算更新精英档案Arc-T，当达到最大迭代次数后停止运算，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型；包括：
步骤2.6.1：当代理模型可靠时，利用当前代理模型对子代及父代共(t+1)×N个网络结构进行分类，从分类类别为正的网络结构中采样N个结构作为下一代种群中的父代网络结构；当前代理模型不可靠时，将t×N个子代网络结构个体在图像测试集Q2上进行评估，子代及父代共(t+1)×N个网络结构性能评估值排序中前N的个体作为下一代种群中的父代网络结构；
使用分类代理模型辅助选择，从子代群体中选择下一代种群的父代网络结构。当分类代理模型的AUC可靠(AUC>＝Th-AUC)时，用分类代理模型对子代及父代共(2+1)*32个个体进行分类，从类别为正样本的网络结构中选择32个个体，所选的体系结构构成下一代；如果代理模型的AUC不可靠(AUC<Th-AUC)，则将待选择的个体直接由基于超网SuperNet参数共享在验证集上进行评估，无需训练，然后使用NSGA-II中的非支配排序策略从待选网络结构中选择一组架构。其中Th-AUC为阈值，本专利中取值为0.7。
步骤2.6.2：设置迭代次数为500次，重复执行步骤2.2～步骤2.6，当达到最大迭代次数后停止运算，搜索神经网络架构完成，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型；
步骤3：利用训练后的图像分类模型对待分类的图像数据进行分类。本发明提出的技术方案用MLP集成分类代理模型在子代神经网络无训练的情况下对网络结构进行评估筛选，省去了训练和排序过程，节省了大量计算资源和时间；模型评估指标Area Under Curve(AUC)对分类代理模型的可靠性进行评估，保证了代理模型的分类准确度，从而有利于保留性能更好的输出架构；搜索空间中块和单元连接方式的多样性和EA突变算子的多样设计增加了输出神经网络结构的可能性，有效提高了图像分类任务的准确性。

Claims (9)

1.一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，包括：
步骤1：采集不同类型的图像数据构建样本集Q；
步骤2：利用基于进化策略的神经网络架构搜索算法搜索构建图像分类模型，利用样本集训练模型参数；
步骤3：利用训练后的图像分类模型对待分类的图像数据进行分类。
2.根据权利要求1所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2包括：
步骤2.1：初始化超网SuperNet并采样生成N个不同的网络结构作为种群父代；
步骤2.2：构建精英档案Arc-T并对超网SuperNet中的权重参数进行更新；
步骤2.3：利用集成的多层感知机MLP构建代理模型并进行训练；
步骤2.4：将父代中除样本集W外的其他网络结构个体信息作为代理模型的输入，并输出预测的分类结果，利用分类结果对代理模型进行可靠性验证；
步骤2.5：利用进化算法EA操作算子对父代N个网络结构执行交叉或变异操作生成t×N个子代网络结构，其中t是控制扩展比率的超参数；
步骤2.6：从子代网络结构中选择N个网络个体，并通过迭代运算更新精英档案Arc-T，当达到最大迭代次数后停止运算，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型。
3.根据权利要求2所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.1包括：
步骤2.1.1：利用单元和块初始化超网SuperNet，并随机初始化超网的权重参数；
步骤2.1.2：从超网SuperNet搜索空间中均匀采样生成N个不同的网络结构进行网络架构种群的初始化，其中N个结构作为种群中的父代网络结构个体。
4.根据权利要求2所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.2包括：
步骤2.2.1：将样本集Q划分为训练集Q1和测试集Q2，利用生成的N个网络结构在测试集Q2上进行评估；
步骤2.2.2：从N个父代个体中选择评估性能前50％的网络结构作为精英子网放到精英档案Arc-T中，并根据性能排序，前50％划分为正样本，其余划分为负样本；
步骤2.2.3：利用精英档案Arc-T中的网络结构个体更新超网SuperNet中的权重参数。
5.根据权利要求4所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.2.3包括：
步骤S1：从精英档案Arc-T中依次采样网络结构，对采样的结构进行训练，以获取其内部结构中节点对的优化参数；
步骤S2：使用以下公式计算精英档案Arc-T中架构内部的每对节点的连接概率P(nodei,nodej)，并找到具有最大连接概率的一对节点；
Figure FDA0003470631690000021
其中，Nnodesi,j表示在精英档案Arc-T中一对节点nodei、nodej之间的连接数，NArc-T是精英档案Arc-T中的连接总数；
步骤S3：利用步骤S2中最大连接概率的节点对所对应的权重，更新超网SuperNet中的权重。
6.根据权利要求2所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.3包括：
步骤2.3.1：以一个MLP为基本单位，将η个MLP利用集成方式bagging构建代理模型；
步骤2.3.2：从父代网络结构个体中随机抽取一定比例δ1的网络结构个体构建代理模型的样本集W；
步骤2.3.3：利用样本集W对代理模型进行训练并更新参数，每个MLP在样本上进行独立训练，使用多数投票作为聚合规则来确定代理模型的最终分类结果。
7.根据权利要求2所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.4包括：
步骤2.4.1：利用父代网络结构个体中除训练样本集W外的其他网络结构构建代理模型可靠性验证的样本集Y，将精英档案Arc-T中的网络结构标签为正样本的标记为样本集Y中的正样本，其余标记为负样本；
步骤2.4.2：将样本集Y输入代理模型中对正负样本进行分类预测，根据预测结果得到样本的预测准确率；
步骤2.4.3：计算代理模型的可靠性值AUC：
Figure FDA0003470631690000022
式中，M、N分别表示样本集Y中的正样本、负样本数：VPositive、VNegative分别表示正样本、负样本的预测准确率；I(.)是一个指标函数，定义为：
Figure FDA0003470631690000031
步骤2.4.4：当AUC≥Th-AUC时，该代理模型可靠；当AUC＜Th-AUC时，当前代理模型不可靠，其中Th-AUC表示设定阈值。
8.根据权利要求4所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.6包括：
步骤2.6.1：当代理模型可靠时，利用当前代理模型对子代及父代共(t+1)×N个网络结构进行分类，从分类类别为正的网络结构中采样N个结构作为下一代种群中的父代网络结构；当前代理模型不可靠时，将t×N个子代网络结构个体在图像测试集Q2上进行评估，子代及父代共(t+1)×N个网络结构性能评估值排序中前N的个体作为下一代种群中的父代网络结构；
步骤2.6.2：设置迭代次数，重复执行步骤2.2～步骤2.6，当达到最大迭代次数后停止运算，最后一次迭代精英档案Arc-T中性能最优的网络结构即为图像分类模型。
9.根据权利要求4所述的一种基于进化策略的神经网络架构搜索的图像分类方法，其特征在于，所述步骤2.2.1中利用生成的N个不同网络结构在测试集Q2上进行评估，具体表述为：将测试集Q2中图片信息作为网络结构输入，将输出结果与预期输出值进行比较，相等则分类正确，不相等则分类错误，最终分类正确的概率作为该网络结构的性能评估值。
CN202210042015.9A 2022-01-14 2022-01-14 基于进化策略的神经网络架构搜索的图像分类方法 Pending CN114373101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210042015.9A CN114373101A (zh) 2022-01-14 2022-01-14 基于进化策略的神经网络架构搜索的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210042015.9A CN114373101A (zh) 2022-01-14 2022-01-14 基于进化策略的神经网络架构搜索的图像分类方法

Publications (1)

Publication Number Publication Date
CN114373101A true CN114373101A (zh) 2022-04-19

Family

ID=81143535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210042015.9A Pending CN114373101A (zh) 2022-01-14 2022-01-14 基于进化策略的神经网络架构搜索的图像分类方法

Country Status (1)

Country Link
CN (1) CN114373101A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926698A (zh) * 2022-07-19 2022-08-19 深圳市南方硅谷半导体股份有限公司 基于演化博弈论的神经网络架构搜索的图像分类方法
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN115994575A (zh) * 2023-03-22 2023-04-21 方心科技股份有限公司 一种电力故障诊断神经网络架构设计方法及系统
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116402096A (zh) * 2023-03-24 2023-07-07 曲阜师范大学 一种单目标视觉跟踪神经网络结构的构建方法、装置和设备
CN116451049A (zh) * 2023-04-14 2023-07-18 昆明理工大学 基于代理辅助进化神经网络结构搜索的风电功率预测方法
CN116842999A (zh) * 2023-06-13 2023-10-03 电子科技大学 一种具有cpu硬件优化感知的神经网络设计方法
CN117611974A (zh) * 2024-01-24 2024-02-27 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统
CN118155046A (zh) * 2024-05-09 2024-06-07 东北大学 一种用于图像分类的神经架构加速搜索方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926698A (zh) * 2022-07-19 2022-08-19 深圳市南方硅谷半导体股份有限公司 基于演化博弈论的神经网络架构搜索的图像分类方法
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116188834B (zh) * 2022-12-08 2023-10-20 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN115994575A (zh) * 2023-03-22 2023-04-21 方心科技股份有限公司 一种电力故障诊断神经网络架构设计方法及系统
CN116402096A (zh) * 2023-03-24 2023-07-07 曲阜师范大学 一种单目标视觉跟踪神经网络结构的构建方法、装置和设备
CN116451049A (zh) * 2023-04-14 2023-07-18 昆明理工大学 基于代理辅助进化神经网络结构搜索的风电功率预测方法
CN116842999A (zh) * 2023-06-13 2023-10-03 电子科技大学 一种具有cpu硬件优化感知的神经网络设计方法
CN117611974A (zh) * 2024-01-24 2024-02-27 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统
CN117611974B (zh) * 2024-01-24 2024-04-16 湘潭大学 基于多种群交替进化神经结构搜索的图像识别方法及系统
CN118155046A (zh) * 2024-05-09 2024-06-07 东北大学 一种用于图像分类的神经架构加速搜索方法

Similar Documents

Publication Publication Date Title
CN114373101A (zh) 基于进化策略的神经网络架构搜索的图像分类方法
Li et al. A surrogate-assisted multiswarm optimization algorithm for high-dimensional computationally expensive problems
Han et al. A survey on metaheuristic optimization for random single-hidden layer feedforward neural network
US11562186B2 (en) Capturing network dynamics using dynamic graph representation learning
WO2022083624A1 (zh) 一种模型的获取方法及设备
CN109214599B (zh) 一种对复杂网络进行链路预测的方法
CN108334949A (zh) 一种优化深度卷积神经网络结构的快速进化方法
CN111046664A (zh) 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN111709519B (zh) 一种深度学习并行计算架构方法及其超参数自动配置优化
CN113011487B (zh) 一种基于联合学习与知识迁移的开放集图像分类方法
CN112232577A (zh) 用于多芯智能表的电力负荷概率预测系统与方法
Tirumala Evolving deep neural networks using coevolutionary algorithms with multi-population strategy
CN114118567B (zh) 一种基于双通路融合网络的电力业务带宽预测方法
CN116108384A (zh) 一种神经网络架构搜索方法、装置、电子设备及存储介质
Zebari et al. A Review on Automation Artificial Neural Networks based on Evolutionary Algorithms
CN117035013A (zh) 一种采用脉冲神经网络预测动态网络链路的方法
CN115481727A (zh) 一种基于进化计算的意图识别神经网络生成与优化方法
Pan et al. Neural architecture search based on evolutionary algorithms with fitness approximation
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
Syberfeldt et al. A parallel surrogate-assisted multi-objective evolutionary algorithm for computationally expensive optimization problems
CN112465253B (zh) 一种城市路网中的链路预测方法及装置
CN113111308B (zh) 基于数据驱动遗传编程算法的符号回归方法及系统
CN115620046A (zh) 一种基于半监督性能预测器的多目标神经架构搜索方法
Viswambaran et al. Evolutionary design of long short term memory (lstm) ensemble

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination