CN115879509A - 基于代理辅助进化算法的卷积神经网络结构优化方法 - Google Patents

基于代理辅助进化算法的卷积神经网络结构优化方法 Download PDF

Info

Publication number
CN115879509A
CN115879509A CN202211449687.8A CN202211449687A CN115879509A CN 115879509 A CN115879509 A CN 115879509A CN 202211449687 A CN202211449687 A CN 202211449687A CN 115879509 A CN115879509 A CN 115879509A
Authority
CN
China
Prior art keywords
parameter
neural network
convolutional neural
population
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211449687.8A
Other languages
English (en)
Inventor
王晗丁
刘勇存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202211449687.8A priority Critical patent/CN115879509A/zh
Publication of CN115879509A publication Critical patent/CN115879509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于代理辅助进化算法的卷积神经网络结构优化方法，用于现有技术中存在的网络预测性能提升有限和优化效率较低的技术问题，实现步骤为：获取训练样本集和验证样本集；获取卷积神经网络的结构参数；初始化参数样本集和验证准确率集；基于代理辅助进化算法对结构参数进行优化。本发明采用全局或局部代理辅助的混合进化算法对结构参数进行全局优化，可以兼顾优化过程中的探索与开发，能提高优化的搜索能力，从而搜索到更好的结构参数，进而显著提升优化后的卷积神经网络预测性能，使用代理模型对验证准确率进行预测，替代进化优化过程中评估时所需的大量昂贵耗时的训练和验证，节约大量计算资源以及评估时间，提升优化效率。

Description

基于代理辅助进化算法的卷积神经网络结构优化方法
技术领域
本发明属于智能优化领域，涉及一种卷积神经网络结构优化方法，具体涉及一种基于代理辅助进化算法的卷积神经网络结构优化方法。
背景技术
卷积神经网络(Convolutional Neural Network，CNN)是一种被广泛应用于计算机视觉、自然语言处理、语音识别和语义分析等领域的神经网络模型，它的基本结构由输入层、卷积层、池化层、全连接层及输出层构成。卷积层通过卷积操作提取特征，池化层通过降低特征面的分辨率来获得具有空间不变性的特征，常用的池化方法有最大池化和均值池化，全连接层可以整合具有类别区分性的特征信息。在全连接层中采用神经元随机失活(Dropout)技术，降低网络复杂度，使神经元能够学习到更加鲁棒的特征。然而，卷积神经网络的结构设计是十分重要且困难的，不同的结构参数会对模型的性能产生很大的影响。当基于经验设计或经典的网络结构无法满足任务需求时，网络结构参数的优化研究十分重要。
例如华南理工大学与佛山市顺德致可智能科技有限公司在其申请的专利文献“一种基于PSO的权值直接确定神经网络结构优化方法”(申请号：CN201811024634.5公开号：CN109344961A)中，公开了一种基于PSO的权值直接确定神经网络结构优化方法，该方法将PSO算法应用于优化网络结构，寻找神经网络最佳神经元数目，所训练的网络具有很强的逼近能力，实用价值高。但是，该方法的不足之处是，对神经元数量这个连续型结构参数进行优化，没有对激活函数类型等对网络模型有重要影响的离散型结构参数进行调优，因此最终优化后的网络预测性能提升有限。
又如西北工业大学在其申请的专利文献“基于预测机制和遗传算法融合的深度神经网络结构优化方法”(申请号：CN201910696239.X公开号：CN110490320A)中公开了一种基于预测机制和遗传算法融合的深度神经网络结构优化方法，用于解决现有网络结构搜索方法搜索效率低的技术问题。但是，该方法可以对卷积层的结构进行优化，但不优化全连接层的结构，因此最终优化后的网络预测性能提升有限，并且在遗传算法优化过程中，评估时训练和验证需要耗费大量时间，优化效率较低。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提出了一种基于代理辅助进化算法的卷积神经网络结构优化方法，用于解决现有技术中存在的网络预测性能提升有限和优化效率较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集和验证样本集：
获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集Dtrain，将其余M-V幅图像及其对应的标签组成验证图像样本集Dval，其中，C≥2，M≥50000，V>M/2；
(2)获取卷积神经网络的结构参数：
获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E-1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E-2，z包含的参数数量为R＝2A+B；
(3)初始化参数样本集和验证准确率集：
对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,sn,...,sN}中的每一个参数样本sn作为卷积神经网络模型O的结构参数取值得到卷积神经网络
Figure BDA0003951087420000023
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000021
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000022
的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为sn对应的验证准确率fn，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,fn,...,fN}，其中N≥100，sn表示第n个参数样本，fn表示sn对应的验证准确率，e≥10；
(4)基于代理辅助进化算法对结构参数进行优化：
(4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为Pt，并令t＝1，P1＝S1；
(4b)计算当前种群Pt的多样性指标Rt，并判断Rt<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；
(4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，并将优化后的结构参数
Figure BDA0003951087420000031
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure BDA0003951087420000032
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000033
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000034
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA0003951087420000035
对应的验证准确率f1 t，更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure BDA00039510874200000321
Ft'＝Ft-1∪{f1 t}，并执行步骤(4e)；
(4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，并将优化后的结构参数
Figure BDA0003951087420000037
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure BDA0003951087420000038
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000039
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA00039510874200000310
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA00039510874200000311
对应的验证准确率/>
Figure BDA00039510874200000312
并更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure BDA00039510874200000313
(4e)将从当前种群Pt中选出的验证准确率最高的个体
Figure BDA00039510874200000314
和从参数样本集St中选出的Ncb个离散型参数取值为/>
Figure BDA00039510874200000315
的样本构成样本参数集/>
Figure BDA00039510874200000316
然后判断Ncb≥5×L是否成立，若是，执行步骤(4f)，否则，执行步骤(4g)；
(4f)采用连续代理辅助差分进化算法对连续型结构参数x进行优化，得到优化后的连续型结构参数
Figure BDA00039510874200000317
组合/>
Figure BDA00039510874200000318
和/>
Figure BDA00039510874200000319
得到的/>
Figure BDA00039510874200000320
作为卷积神经网络模型O的结构参数得到卷积神经网络/>
Figure BDA0003951087420000041
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000042
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000043
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA0003951087420000044
对应的验证准确率/>
Figure BDA0003951087420000045
更新参数样本集St和对应的验证准确率集Ft，
Figure BDA0003951087420000046
Figure BDA0003951087420000047
(4g)判断t＝T是否成立，若是，输出参数样本集ST和对应的验证准确率集FT，并从ST中取FT中验证准确率最高的结构参数sbest＝{xbest,zbest}作为卷积神经网络模型O的结构参数，得到最优卷积神经网络
Figure BDA0003951087420000048
否则，令t＝t+1，St＝S't，Ft＝Ft'，并从参数样本集St中选取Ft中验证准确率高的前N个参数样本作为当前种群Pt，并执行步骤(4b)。
本发明与现有技术相比，具有如下优点：
第一，本发明在对卷积神经网络的结构参数进行优化的过程中,根据种群多样性指标选择采用全局代理辅助的混合进化算法对结构参数进行全局优化，或采用局部代理辅助分布估计算法进行局部优化，可以兼顾优化过程中的探索与开发，能提高优化的搜索能力，从而搜索到更好的结构参数，进而显著提升优化后的卷积神经网络预测性能。
第二，本发明采用基于代理辅助进化算法对包括卷积层的卷积核数量、卷积核大小，激活函数类型，全连接层的神经元数量、神经元失活率的结构参数进行优化，对卷积神经网络的结构参数优化更全面，并且优化过程中采用混合算子处理结构参数，可以消除编码时量化误差和精度损失，从而得到的卷积神经网络有更好的网络预测性能。
第三，本发明使用代理模型对验证准确率进行预测，替代进化优化过程中评估时所需的大量昂贵耗时的训练和验证，节约大量计算资源以及评估时间，提升优化效率。
附图说明
图1是本发明的实现流程图。
图2是本发明的基于代理辅助进化算法对结构参数进行优化的流程图。
图3是本发明的采用全局代理辅助混合进化算法对结构参数进行全局优化的流程图。
图4是本发明的采用连续代理辅助差分进化算法对连续型结构参数进行优化流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施例，对本发明作进一步详细描述：
参照附图1，本发明包括如下步骤：
(1)获取训练样本集和验证样本集：
获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集Dtrain，将其余M-V幅图像及其对应的标签组成验证图像样本集Dval，其中，C≥2，M≥50000，V>M/2；
在本实施例中，图像数据集为CIFAR-10数据集中的训练集部分，M＝50000，C＝10，V＝45000，M-V＝5000。
(2)获取卷积神经网络的结构参数：
获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E-1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E-2，z包含的参数数量为R＝2A+B；
在本实施例中，卷积神经网络模型O是LeNet-5，其结构包括两层卷积、两层池化和三层全连接，即A＝2，B＝2，E＝3。卷积神经网络模型O的结构参数s包括2个卷积层卷积核的数量、前2个全连接层神经元的数量和神经元随机失活率组成的6个连续型参数变量
Figure BDA0003951087420000051
L＝6，以及由2个卷积层卷积核的大小、使用的激活函数类型和2个池化层使用的池化函数类型组成的6个离散型参数变量/>
Figure BDA0003951087420000061
R＝6。
(3)初始化参数样本集和验证准确率集：
对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,sn,...,sN}中的每一个参数样本sn作为卷积神经网络模型O的结构参数取值得到卷积神经网络
Figure BDA0003951087420000062
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000063
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000064
的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为sn对应的验证准确率fn，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,fn,...,fN}，其中N≥100，sn表示第n个参数样本，fn表示sn对应的验证准确率，e≥10；
在本实施例中，首先根据实践经验确定卷积神经网络模型O的结构参数s的取值范围，两层卷积的卷积核数量和两层全连接的神经元数量
Figure BDA0003951087420000065
两层全连接的随机失活率/>
Figure BDA0003951087420000066
两层卷积的卷积核大小/>
Figure BDA0003951087420000067
两层卷积的激活函数类型/>
Figure BDA0003951087420000068
其中0表示“relu”函数，1表示“sigmoid”函数，2表示“tanh”函数，两层池化类型/>
Figure BDA0003951087420000069
0表示最大池化，1表示平均池化，采用拉丁超立方采样在参数定义区间内进行均匀随机采样，采样次数N＝100，训练迭代次数e＝10，神经网络迭代训练时，损失函数采用交叉熵损失，优化方法为随机梯度下降，学习率设置为0.01。
(4)参照附图2，基于代理辅助进化算法对结构参数进行优化：
(4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为Pt，并令t＝1，P1＝S1；
在本实施例中，最大迭代次数T＝200，多样性阈值τ＝0.9。
(4b)计算当前种群Pt的多样性指标Rt，并判断Rt<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；
其中，当前种群Pt的多样性指标Rt，其计算公式为：
Figure BDA0003951087420000071
Figure BDA0003951087420000072
其中，DIt、DI1分别表示当前种群Pt、初始种群P1的多样性程度，xnl表示种群Pt中第n个个体第l个连续型参数的值，
Figure BDA0003951087420000073
表示种群Pt中所有个体的第l个连续型参数的平均值，znr表示种群Pt中第n个个体第r个离散型参数的取值，wr表示种群Pt中所有个体第r个离散型参数取值的众数，/>
Figure BDA0003951087420000074
表示异或运算；
(4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，实现步骤参照附图3：
(4c1)将参数样本集和验证准确率集{St,Ft}作为径向基函数网络的输入，使用矩阵最小二乘法，计算径向基函数网络隐藏层和输出层之间的权重和偏置，将此权重偏置下的径向基函数网络模型作为全局代理模型，模型使用的径向基函数和Gower距离计算公式为：
Figure BDA0003951087420000075
Figure BDA0003951087420000076
其中exp表示以自然常数e为底的指数操作，ck表示隐藏层的第k个中心点，σ表示扩展常数，取值为中心点之间距离的平均值的2倍，xl与zr分别表示第l维连续型参数向量和第r维离散型参数向量，
Figure BDA0003951087420000077
和/>
Figure BDA0003951087420000078
分别表示第l维连续型参数向量的取值上下界，cxl与czr分别表示隐藏层的第k个中心点的第l个连续型参数和第r个离散型参数的变量取值；
(4c2)初始化迭代次数为wg,最大迭代次数为Wg，使用当前种群Pt作为算法的初始种群NP，使用全局代理模型预测种群NP中所有个体的适应度值，其中30≤Wg≤100，并令wg＝1；
(4c3)对种群NP中个体的连续型部分进行差分变异、交叉得到子代种群的连续型部分，并对离散型部分进行遗传交叉、变异得到子代种群的离散型部分，组合子代种群的连续型部分和离散型部分得到子代种群NP'；
(4c4)使用全局代理模型预测子代种群NP'中所有个体的适应度值，比较种群NP与子代种群NP'中对应位置个体的预测适应度值大小，保留预测适应度值大的个体到NP中；
(4c5)判断wg＝Wg是否成立，若是，则输出种群NP中最大适应度值对应的个体作为优化后的结构参数
Figure BDA0003951087420000081
否则，令wg＝wg+1，并执行步骤(4c3)。
将优化后的结构参数
Figure BDA0003951087420000082
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure BDA0003951087420000083
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000084
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000085
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA0003951087420000086
对应的验证准确率f1 t，更新参数样本集S't和对应的验证准确率集/>
Figure BDA0003951087420000087
Ft'＝Ft-1∪{f1 t}，并执行步骤(4e)；
在本实施例中，径向基函数网络模型的中心点通过对训练样本进行K均值聚类得到，中心点数量设置为
Figure BDA0003951087420000088
||S||为训练样本的数量，最大迭代次数Wg＝30，差分进化算子采用的是二项式交叉和DE/rand/1的变异算子，交叉概率设置为0.8，缩放因子设置为0.5，遗传算子对离散型部分进行二进制编码，交叉概率设置为0.8，变异概率为0.3。
(4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，实现步骤为：
(4d1)计算参数样本集St中所有样本与当前验证准确率最高的个体
Figure BDA0003951087420000089
的欧氏距离，选出距离最小的u个样本/>
Figure BDA00039510874200000810
对应的验证准确率集合为/>
Figure BDA00039510874200000811
将/>
Figure BDA00039510874200000812
作为径向基函数网络的输入，使用矩阵最小二乘法，计算径向基函数网络隐藏层和输出层之间的权重和偏置，将此权重偏置下的径向基函数网络模型作为局部代理模型；
(4d2)从当前种群Pt中选取验证准确率高的前Nb个参数样本作为优秀参数样本，计算第i个优秀参数样本的验证准确率比值αi，其计算公式为：
Figure BDA0003951087420000091
其中fi为第i个优秀参数样本对应的验证准确率；
(4d3)对连续型参数构建高斯分布，第l维连续型参数的高斯分布期望和标准差分别为μl和σl，其计算公式为：
Figure BDA0003951087420000092
Figure BDA0003951087420000093
其中xnl表示第n个优秀参数样本的第l维连续型参数取值；
(4d4)对离散型参数构建直方图概率分布，第r维离散型参数在其取值集合
Figure BDA0003951087420000094
中取值为/>
Figure BDA0003951087420000095
的概率为prq，其计算公式为：
Figure BDA0003951087420000096
其中znr表示第n个优秀参数样本的第r维离散型参数取值，⊙表示同或运算；
(4d5)随机采样高斯分布得到Ns个连续型参数样本集Xnew，离散型参数在定义的取值集合内依概率选择取值，采样直方图概率分布得到Ns个离散型参数样本集Znew，组合Xnew和Znew中对应位置的样本，得到包含Ns组新的参数样本集Snew，使用局部代理模型预测Snew中每个样本的验证准确率，得到预测验证准确率集合
Figure BDA0003951087420000097
选择/>
Figure BDA0003951087420000098
中最大预测验证准确率对应的结构参数/>
Figure BDA0003951087420000099
作为优化后的结构参数。/>
将优化后的结构参数
Figure BDA0003951087420000101
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure BDA0003951087420000102
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure BDA0003951087420000103
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000104
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA0003951087420000105
对应的验证准确率/>
Figure BDA0003951087420000106
并更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure BDA0003951087420000107
在本实施例中，选出距离最小的样本数量u＝100，径向基函数网络模型的中心点通过对训练样本进行K均值聚类得到，中心点数量设置为
Figure BDA0003951087420000108
选取的优秀参数样本数量Nb＝45，采样的新样本数量Ns＝200。
(4e)将从当前种群Pt中选出的验证准确率最高的个体
Figure BDA0003951087420000109
和从参数样本集St中选出的Ncb个离散型参数取值为/>
Figure BDA00039510874200001010
的样本构成样本参数集/>
Figure BDA00039510874200001011
然后判断Ncb≥5×L是否成立，若是，执行步骤(4f)，否则，执行步骤(4g)；
(4f)采用连续代理辅助差分进化算法对连续型结构参数x进行优化，实现步骤参照附图4：
(4f1)从
Figure BDA00039510874200001012
中截取每个参数样本的连续型参数部分构建连续型参数样本集/>
Figure BDA00039510874200001013
对应的验证准确率集为/>
Figure BDA00039510874200001014
将/>
Figure BDA00039510874200001015
输入高斯过程回归模型，最大化边际似然函数得到模型的最优超参数θ*，取最优超参数下的高斯过程回归模型作为连续代理模型；
(4f2)初始化迭代次数为wl,最大迭代次数为Wl，使用连续型参数样本集
Figure BDA00039510874200001016
作为算法的初始种群NX，使用连续代理模型预测种群NX中每个个体的适应度值，其中30≤Wl≤100，并令wl＝1；
(4f3)对种群NX中个体进行差分变异、交叉，得到子代种群NX'；
(4f4)使用连续代理模型预测子代种群NX'中每个个体的适应度值，比较种群NX与子代种群NX'中对应位置个体的预测适应度值大小，保留预测适应度值大的个体到NX中；
(4f5)判断wl＝Wl是否成立，若是，则输出种群NX中最大适应度值的个体
Figure BDA0003951087420000111
作为优化后的连续型结构参数，否则，令wl＝wl+1，然后执行步骤(4f3)；
得到优化后的连续型结构参数
Figure BDA0003951087420000112
组合/>
Figure BDA0003951087420000113
和/>
Figure BDA0003951087420000114
得到的/>
Figure BDA0003951087420000115
作为卷积神经网络模型O的结构参数得到卷积神经网络/>
Figure BDA0003951087420000116
然后将训练图像样本集Dtrain作为卷积神经网络
Figure BDA0003951087420000117
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure BDA0003951087420000118
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure BDA0003951087420000119
对应的验证准确率/>
Figure BDA00039510874200001110
更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure BDA00039510874200001111
Figure BDA00039510874200001112
在本实施例中，高斯过程回归模型超参数初始值θ＝0.01，最大迭代次数Wl＝30，差分进化算子采用的是二项式交叉和DE/rand/1的变异算子，交叉概率设置为0.8，缩放因子设置为0.5。
(4g)判断t＝T是否成立，若是，输出参数样本集ST和对应的验证准确率集FT，并从ST中取FT中验证准确率最高的结构参数sbest＝{xbest,zbest}作为卷积神经网络模型O的结构参数，得到最优卷积神经网络
Figure BDA00039510874200001113
否则，令t＝t+1，St＝S't，Ft＝Ft'，并从参数样本集St中选取Ft中验证准确率高的前N个参数样本作为当前种群Pt，并执行步骤(4b)；
在本实施例中，得到最优卷积神经网络
Figure BDA00039510874200001114
后，将CIFAR10数据集的训练集输入最优卷积神经网络/>
Figure BDA00039510874200001115
进行迭代训练，迭代训练次数p＝200，损失函数为交叉熵损失，采用随机梯度下降方法优化，学习率在前80次迭代设置为0.01，后120次迭代设置为0.001，并在测试集上进行测试。本发明实施例在CIFAR10测试数据集上，优化后的LeNet-5最终的分类准确率相比于原LeNet-5的分类准确率提高了13.80％。
综上所述，由于本发明采用全局代理辅助的混合进化算法、局部代理辅助的分布估计算法和连续代理辅助差分进化算法对卷积神经网络结构参数进行优化，能够有效地优化卷积神经网络结构，进而提升卷积神经网络的预测准确率，采用混合进化算子可以消除量化误差和精度损失，并且使用代理模型可以节约大量训练与验证的计算资源消耗以及评估时间。
以上描述是本发明的具体实施例，不构成对本发明的任何限制。应当理解的是，对本领域专业技术人员来说，在了解本发明的原理后，根据上述说明对形式、细节和参数等加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，包括如下步骤：
(1)获取训练样本集和验证样本集：
获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集Dtrain，将其余M-V幅图像及其对应的标签组成验证图像样本集Dval，其中，C≥2，M≥50000，V>M/2；
(2)获取卷积神经网络的结构参数：
获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E-1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E-2，z包含的参数数量为R＝2A+B；
(3)初始化参数样本集和验证准确率集：
对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,sn,...,sN}中的每一个参数样本sn作为卷积神经网络模型O的结构参数取值得到卷积神经网络
Figure FDA0003951087410000011
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure FDA0003951087410000012
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure FDA0003951087410000013
的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为sn对应的验证准确率fn，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,fn,...,fN}，其中N≥100，sn表示第n个参数样本，fn表示sn对应的验证准确率，e≥10；
(4)基于代理辅助进化算法对结构参数进行优化：
(4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为Pt，并令t＝1，P1＝S1；
(4b)计算当前种群Pt的多样性指标Rt，并判断Rt<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；
(4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，并将优化后的结构参数
Figure FDA0003951087410000021
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure FDA0003951087410000022
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure FDA0003951087410000023
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure FDA0003951087410000024
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure FDA0003951087410000025
对应的验证准确率f1 t，更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure FDA0003951087410000026
Ft'＝Ft-1∪{f1 t}，并执行步骤(4e)；
(4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，并将优化后的结构参数
Figure FDA0003951087410000027
作为卷积神经网络模型O的结构参数取值得到卷积神经网络/>
Figure FDA0003951087410000028
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure FDA0003951087410000029
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure FDA00039510874100000210
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure FDA00039510874100000211
对应的验证准确率/>
Figure FDA00039510874100000212
并更新参数样本集S't和对应的验证准确率集Ft'，/>
Figure FDA00039510874100000213
Figure FDA00039510874100000214
(4e)将从当前种群Pt中选出的验证准确率最高的个体
Figure FDA00039510874100000215
和从参数样本集St中选出的Ncb个离散型参数取值为/>
Figure FDA00039510874100000216
的样本构成样本参数集/>
Figure FDA00039510874100000217
然后判断Ncb≥5×L是否成立，若是，执行步骤(4f)，否则，执行步骤(4g)；
(4f)采用连续代理辅助差分进化算法对连续型结构参数x进行优化，得到优化后的连续型结构参数
Figure FDA00039510874100000218
组合/>
Figure FDA00039510874100000219
和/>
Figure FDA00039510874100000220
得到的/>
Figure FDA00039510874100000221
作为卷积神经网络模型O的结构参数得到卷积神经网络/>
Figure FDA00039510874100000222
然后将训练图像样本集Dtrain作为卷积神经网络/>
Figure FDA00039510874100000223
的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络/>
Figure FDA0003951087410000031
的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M-V的比值作为/>
Figure FDA0003951087410000032
对应的验证准确率/>
Figure FDA0003951087410000033
更新参数样本集S't和对应的验证准确率集Ft'，
Figure FDA0003951087410000034
Figure FDA0003951087410000035
(4g)判断t＝T是否成立，若是，输出参数样本集ST和对应的验证准确率集FT，并从ST中取FT中验证准确率最高的结构参数sbest＝{xbest,zbest}作为卷积神经网络模型O的结构参数，得到最优卷积神经网络Osbest，否则，令t＝t+1，St＝S't，Ft＝Ft'，并从参数样本集St中选取Ft中验证准确率高的前N个参数样本作为当前种群Pt，并执行步骤(4b)。
2.根据权利要求1所述的基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，步骤(4b)中所述的当前种群Pt的多样性指标Rt，其计算公式为：
Figure FDA0003951087410000036
Figure FDA0003951087410000037
其中，DIt、DI1分别表示当前种群Pt、初始种群P1的多样性程度，xnl表示种群Pt中第n个个体第l个连续型参数的值，
Figure FDA0003951087410000038
表示种群Pt中所有个体的第l个连续型参数的平均值，znr表示种群Pt中第n个个体第r个离散型参数的取值，wr表示种群Pt中所有个体第r个离散型参数取值的众数，/>
Figure FDA0003951087410000039
表示异或运算。
3.根据权利要求1所述的基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，步骤(4c)中所述的采用全局代理辅助混合进化算法对结构参数s进行优化，实现步骤为：
(4c1)将参数样本集和验证准确率集{St,Ft}作为径向基函数网络的输入，使用矩阵最小二乘法，计算径向基函数网络隐藏层和输出层之间的权重和偏置，将此权重偏置下的径向基函数网络模型作为全局代理模型，模型使用的径向基函数和Gower距离计算公式为：
Figure FDA0003951087410000041
/>
Figure FDA0003951087410000042
其中exp表示以自然常数e为底的指数操作，ck表示隐藏层的第k个中心点，σ表示扩展常数，取值为中心点之间距离的平均值的2倍，xl与zr分别表示第l维连续型参数向量和第r维离散型参数向量，
Figure FDA0003951087410000043
和/>
Figure FDA0003951087410000044
分别表示第l维连续型参数向量的取值上下界，cxl与czr分别表示隐藏层的第k个中心点的第l个连续型参数和第r个离散型参数的变量取值；
(4c2)初始化迭代次数为wg,最大迭代次数为Wg，使用当前种群Pt作为算法的初始种群NP，使用全局代理模型预测种群NP中所有个体的适应度值，其中30≤Wg≤100，并令wg＝1；
(4c3)对种群NP中个体的连续型部分进行差分变异、交叉得到子代种群的连续型部分，并对离散型部分进行遗传交叉、变异得到子代种群的离散型部分，组合子代种群的连续型部分和离散型部分得到子代种群NP'；
(4c4)使用全局代理模型预测子代种群NP'中所有个体的适应度值，比较种群NP与子代种群NP'中对应位置个体的预测适应度值大小，保留预测适应度值大的个体到NP中；
(4c5)判断wg＝Wg是否成立，若是，则输出种群NP中最大适应度值对应的个体作为优化后的结构参数
Figure FDA0003951087410000045
否则，令wg＝wg+1，并执行步骤(4c3)。
4.根据权利要求1所述的基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，步骤(4d)中所述的采用局部代理辅助分布估计算法对结构参数s进行优化，实现步骤为：
(4d1)计算参数样本集St中所有样本与当前验证准确率最高的个体
Figure FDA0003951087410000051
的欧氏距离，选出距离最小的u个样本/>
Figure FDA0003951087410000052
对应的验证准确率集合为/>
Figure FDA0003951087410000053
将/>
Figure FDA0003951087410000054
作为径向基函数网络的输入，使用矩阵最小二乘法，计算径向基函数网络隐藏层和输出层之间的权重和偏置，将此权重偏置下的径向基函数网络模型作为局部代理模型；
(4d2)从当前种群Pt中选取验证准确率高的前Nb个参数样本作为优秀参数样本，计算第i个优秀参数样本的验证准确率比值αi，其计算公式为：
Figure FDA0003951087410000055
其中fi为第i个优秀参数样本对应的验证准确率；
(4d3)对连续型参数构建高斯分布，第l维连续型参数的高斯分布期望和标准差分别为μl和σl，其计算公式为：
Figure FDA0003951087410000056
Figure FDA0003951087410000057
其中xnl表示第n个优秀参数样本的第l维连续型参数取值；
(4d4)对离散型参数构建直方图概率分布，第r维离散型参数在其取值集合
Figure FDA0003951087410000058
中取值为/>
Figure FDA0003951087410000059
的概率为prq，其计算公式为：/>
Figure FDA00039510874100000510
其中znr表示第n个优秀参数样本的第r维离散型参数取值，⊙表示同或运算；
(4d5)随机采样高斯分布得到Ns个连续型参数样本集Xnew，离散型参数在定义的取值集合内依概率选择取值，采样直方图概率分布得到Ns个离散型参数样本集Znew，组合Xnew和Znew中对应位置的样本，得到包含Ns组新的参数样本集Snew，使用局部代理模型预测Snew中每个样本的验证准确率，得到预测验证准确率集合
Figure FDA0003951087410000061
选择/>
Figure FDA0003951087410000062
中最大预测验证准确率对应的结构参数/>
Figure FDA0003951087410000063
作为优化后的结构参数。
5.根据权利要求1所述的基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，步骤(4f)中所述的采用连续代理辅助差分进化算法对连续型结构参数x进行优化，实现步骤为：
(4f1)从
Figure FDA0003951087410000064
中截取每个参数样本的连续型参数部分构建连续型参数样本集/>
Figure FDA0003951087410000065
对应的验证准确率集为/>
Figure FDA0003951087410000066
将/>
Figure FDA0003951087410000067
输入高斯过程回归模型，最大化边际似然函数得到模型的最优超参数，取最优超参数下的高斯过程回归模型作为连续代理模型；
(4f2)初始化迭代次数为wl,最大迭代次数为Wl，使用连续型参数样本集
Figure FDA0003951087410000068
作为算法的初始种群NX，使用连续代理模型预测种群NX中每个个体的适应度值，其中30≤Wl≤100，并令wl＝1；
(4f3)对种群NX中个体进行差分变异、交叉，得到子代种群NX'；
(4f4)使用连续代理模型预测子代种群NX'中每个个体的适应度值，比较种群NX与子代种群NX'中对应位置个体的预测适应度值大小，保留预测适应度值大的个体到NX中；
(4f5)判断wl＝Wl是否成立，若是，则输出种群NX中最大适应度值的个体
Figure FDA0003951087410000069
作为优化后的连续型结构参数，否则，令wl＝wl+1，然后执行步骤(4f3)。/>
CN202211449687.8A 2022-11-18 2022-11-18 基于代理辅助进化算法的卷积神经网络结构优化方法 Pending CN115879509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211449687.8A CN115879509A (zh) 2022-11-18 2022-11-18 基于代理辅助进化算法的卷积神经网络结构优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211449687.8A CN115879509A (zh) 2022-11-18 2022-11-18 基于代理辅助进化算法的卷积神经网络结构优化方法

Publications (1)

Publication Number Publication Date
CN115879509A true CN115879509A (zh) 2023-03-31

Family

ID=85760301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211449687.8A Pending CN115879509A (zh) 2022-11-18 2022-11-18 基于代理辅助进化算法的卷积神经网络结构优化方法

Country Status (1)

Country Link
CN (1) CN115879509A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451049A (zh) * 2023-04-14 2023-07-18 昆明理工大学 基于代理辅助进化神经网络结构搜索的风电功率预测方法
CN117522080A (zh) * 2024-01-02 2024-02-06 国网湖北省电力有限公司经济技术研究院 输电工程进度安全与造价的联动优化方法、系统及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451049A (zh) * 2023-04-14 2023-07-18 昆明理工大学 基于代理辅助进化神经网络结构搜索的风电功率预测方法
CN117522080A (zh) * 2024-01-02 2024-02-06 国网湖北省电力有限公司经济技术研究院 输电工程进度安全与造价的联动优化方法、系统及设备
CN117522080B (zh) * 2024-01-02 2024-04-09 国网湖北省电力有限公司经济技术研究院 输电工程进度安全与造价的联动优化方法、系统及设备

Similar Documents

Publication Publication Date Title
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN107622182B (zh) 蛋白质局部结构特征的预测方法及系统
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
CN115879509A (zh) 基于代理辅助进化算法的卷积神经网络结构优化方法
CN109273054B (zh) 基于关系图谱的蛋白质亚细胞区间预测方法
CN113887643B (zh) 一种基于伪标签自训练和源域再训练的新对话意图识别方法
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN113190688A (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN114019370A (zh) 基于灰度图像和轻量级cnn-svm模型的电机故障检测方法
CN116307103A (zh) 一种基于硬参数共享多任务学习的交通事故预测方法
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN110991247B (zh) 一种基于深度学习与nca融合的电子元器件识别方法
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN113066528B (zh) 基于主动半监督图神经网络的蛋白质分类方法
CN114510871A (zh) 基于思维进化和lstm的云服务器性能衰退预测方法
CN111639688B (zh) 一种基于线性核svm的物联网智能模型的局部解释方法
CN110263125B (zh) 一种基于极限学习机的服务发现方法
CN117094835A (zh) 面向社交媒体内容的多目标群体分类方法
CN110866838A (zh) 基于转移概率预处理的网络表示学习算法
CN115641474A (zh) 基于高效学生网络的未知类型缺陷检测方法与装置
CN115083511A (zh) 基于图表示学习与注意力的外围基因调控特征提取方法
Xiong et al. L-RBF: A customer churn prediction model based on lasso+ RBF
Mao et al. An XGBoost-assisted evolutionary algorithm for expensive multiobjective optimization problems
CN117633140B (zh) 一种基于大数据云计算技术的城市地质调查方法
CN116415137B (zh) 基于多模态特征的情绪定量方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination