CN111415009B - 基于遗传算法的卷积变分自编码器网络结构搜索方法 - Google Patents

基于遗传算法的卷积变分自编码器网络结构搜索方法 Download PDF

Info

Publication number
CN111415009B
CN111415009B CN202010194858.1A CN202010194858A CN111415009B CN 111415009 B CN111415009 B CN 111415009B CN 202010194858 A CN202010194858 A CN 202010194858A CN 111415009 B CN111415009 B CN 111415009B
Authority
CN
China
Prior art keywords
network structure
layer
population
blocks
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010194858.1A
Other languages
English (en)
Other versions
CN111415009A (zh
Inventor
孙亚楠
陈相如
彭德中
刘杰
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010194858.1A priority Critical patent/CN111415009B/zh
Publication of CN111415009A publication Critical patent/CN111415009A/zh
Application granted granted Critical
Publication of CN111415009B publication Critical patent/CN111415009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计自动化，并获得比人为设计的网络结构更优的性能。本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。

Description

基于遗传算法的卷积变分自编码器网络结构搜索方法
技术领域
本发明涉及网络结构搜索技术领域，具体涉及基于遗传算法的卷积变分自编码器网络结构搜索方法。
背景技术
当前，随着神经网络的再次复兴与深度学习的日渐成熟，越来越多的传统机器学习邻域开始大量运用深度神经网络来提升算法的性能。其中，变分自编码器(VariationalAuto-Encoder,VAE)作为一种无监督的生成式神经网络模型，对于复杂原始分布的数据具有很强的学习与建模能力，在自然图像，文本以及语音等方面的处理中，都能看到结合变分自编码器的相关应用。随着深度神经网络方法的大范围应用，针对神经网络的结构搜索(Network Architecture Search,NAS)，逐渐成为一个热门的方向。一般而言，传统的网络结构设计主要是依赖相关研究人员自己实际的经验，根据网络具体的效果来对网络的结构进行试错调整，以手动的方式找到一个比较理想的网络结构。这种方式存在以下主要问题：一个是严重依赖实验者本身在深度学习邻域的经验，不利于深度神经网络的大规模推广；二是由于深度神经网络层数多、结构复杂，参数规模大，不能保证设计的网络结构最优性。
为了使得网络的搜索可以更加自动化与智能化，学术界提出了许多针对特定任务的深度神经网络结构自动化算法，这些算法主要分为基于演化计算(EvolutionaryComputation,EC)的方法和基于强化学习(Reinforce Learning,RL)的方法。目前这些方法主要应用在卷积神经网络的结构搜索中，而相关针对卷积变分自编码器(ConvolutionalVariational Auto-Encoder,CVAE)的网络结构搜索研究较少，本发明提出了非对称的卷积变分自编码器网络(AsymmetricConvolutionalVariationalAuto-Encoder,ACVAE)进行网络结构搜索。
发明内容
针对现有技术中的上述不足，本发明提供的基于遗传算法的卷积变分自编码器网络结构搜索方法解决了传统的网络结构根据相关研究人员经验设计而产生的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于遗传算法的卷积变分自编码器网络结构搜索方法，包括以下步骤：
S1、初始化计数值t＝1，根据CVAE编码机制构建ACVAE编码机制；
S2、根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P0，并评估网络结构种群P0的适应度F0；
S3、根据网络结构种群P0的适应度F0，获取网络结构种群P0的排名R0；
S4、根据排名Rt-1，对网络结构种群Pt-1的个体进行Mating pool选择，得到待繁衍的父类Ct-1；
S5、根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot，并评估后代Ot的适应度F0t；
S6、将网络结构种群Pt-1和后代Ot进行并操作，得到合并种群Pt'，将适应度F0和适应度F0t进行并操作，得到合并适应度Ft'；
S7、对合并种群Pt'和合并适应度Ft'施加环境选择，获取网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt；
S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；
S9、在网络结构种群PT-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构。
进一步地，所述步骤S1中ACVAE编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流行的维度估计；
所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层。
进一步地，所述步骤S2中根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P0的具体步骤为：
A1、设置h-块的卷积层数为nhc和池化层数为nhp；其中，nhc∈[1,Nc]，Nc表示最大的卷积层数目，nhp∈[1,Np]，Np表示最大的池化层数目；
A2、随机生成nhc个卷积层和nhp个池化层，并将nhc个卷积层和nhp个池化层串行合并为h-块；
A3、设置μ-块的卷积层数为nμc、池化层数为nμp和全连接层数为nμf；其中，nμc∈[0,Nc-nhc]，nμp∈[0,Np-nhp]，nμf∈[1,Nf]，Nf表示最大全连接层数目；
A4、随机生成nμc个卷积层、nμp个池化层和nμf个全连接层，并将nμc个卷积层、nμp个池化层和nμf个全连接层串行合并为μ-块；
A5、设置σ-块的卷积层数为nσc、池化层数为nσp和全连接层数为nσf；其中，nσc∈[0,Nc-nhc]，nσp∈[0,Np-nhp]，nσf∈[1,Nf]；
A6、随机生成nσc个卷积层、nσp个池化层和nσf个全连接层，并将nσc个卷积层、nσp个池化层和nσf个全连接层串行合并为σ-块；
A7、设置t-块的全连接层数为ntf、卷积层数为ntc和反卷积层数为ntd；其中，ntf∈[1,Nf]，ntc∈[1,Nc]，ntd∈[1,Nd]，Nd表示最大的反卷积层数目；
A8、随机生成ntf个全连接层、ntc个卷积层和ntd个反卷积层，并将ntf个全连接层、ntc个卷积层和ntd个反卷积层串行合并为t-块；
A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；
A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；
A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干ACVAE，将一个ACVAE作为一个个体，并将所有ACVAE组成网络结构种群P0。
进一步地，所述步骤S1-S9中适应度通过以下方法获取：
B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的ACVAE中；
B2、根据ACVAE输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；
所述平均损失值的计算公式具体为：
Figure GDA0002871982130000041
其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，
Figure GDA0002871982130000042
表示第i个图像数据中(m,j,k)位置上的像素，
Figure GDA0002871982130000043
表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，
Figure GDA0002871982130000044
表示ACVAE中第j个神经元对应于第i个图像数据输出均值的平方，
Figure GDA0002871982130000045
表示ACVAE中第j个神经元对应于第i个图像数据输出的方差。
进一步地，所述步骤S4包括以下分步骤：
S4.1、从网络结构种群Pt-1随机选出两个个体；
S4.2、比较两个个体的排名，并将排名靠前的个体放入Mating pool中；
S4.3、判断Mating pool是否被填满，若是，则结束，得到待繁衍的父类Ct-1；否则返回步骤S4.1。
进一步地，所述步骤S5中根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot的具体方法为：
C1、分别抽取父类Ct-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；
C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；
C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；
C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类Ct-1中的个体后，得到后代Ot；
其中，网络结构层为全连接层、卷积层、池化层或反卷积层。
进一步地，所述步骤C4中变异操作为添加层、删除层或修改层。
进一步地，所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入该块中；
所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；
所述修改成的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。
进一步地，所述步骤S7包括以下分步骤：
S7.1、根据合并适应度Ft'，从合并种群Pt'筛选出最好的20％的个体作为优质网络Pt 1；
S7.2、通过二进制竞标赛从合并种群Pt'剩余的个体中选择剩余个体的80％作为普通网络Pt 2；
S7.3、合并优质网络Pt 1和普通网络Pt 2，得到网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt。
本发明的有益效果为：
(1)本发明能够自动化地对ACVAE进行结构搜索，优化得到的结构相比手动设计的VAE网络以及通过如CAE或sCAE的常用自编码器得到的网络，在图像的半监督分类上有更好的性能。
(2)本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。
(3)本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。
(4)本发明设计了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计自动化，并获得比人为设计的网络结构更优的性能。
附图说明
图1为本发明提出的基于遗传算法的卷积变分自编码器网络结构搜索方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种基于遗传算法的卷积变分自编码器网络结构搜索方法，包括以下步骤：
S1、初始化计数值t＝1，根据CVAE编码机制构建ACVAE编码机制；
S2、根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P0，并评估网络结构种群P0的适应度F0；
S3、根据网络结构种群P0的适应度F0，获取网络结构种群P0的排名R0；
S4、根据排名Rt-1，对网络结构种群Pt-1的个体进行Mating pool选择，得到待繁衍的父类Ct-1；
S5、根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot，并评估后代Ot的适应度F0t；
S6、将网络结构种群Pt-1和后代Ot进行并操作，得到合并种群Pt'，将适应度F0和适应度F0t进行并操作，得到合并适应度Ft'；
S7、对合并种群Pt'和合并适应度Ft'施加环境选择，获取网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt；
S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；
S9、在网络结构种群PT-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构。
在本实施例中，网络结构种群排名是将适应度从大到小进行排列。
所述步骤S1中ACVAE编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流行的维度估计；
所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层。
所述步骤S2中根据ACVAE编码机制，生成若干ACVAE，初始化网络结构种群P0的具体步骤为：
A1、设置h-块的卷积层数为nhc和池化层数为nhp；其中，nhc∈[1,Nc]，Nc表示最大的卷积层数目，nhp∈[1,Np]，Np表示最大的池化层数目；
A2、随机生成nhc个卷积层和nhp个池化层，并将nhc个卷积层和nhp个池化层串行合并为h-块；
A3、设置μ-块的卷积层数为nμc、池化层数为nμp和全连接层数为nμf；其中，nμc∈[0,Nc-nhc]，nμp∈[0,Np-nhp]，nμf∈[1,Nf]，Nf表示最大全连接层数目；
A4、随机生成nμc个卷积层、nμp个池化层和nμf个全连接层，并将nμc个卷积层、nμp个池化层和nμf个全连接层串行合并为μ-块；
A5、设置σ-块的卷积层数为nσc、池化层数为nσp和全连接层数为nσf；其中，nσc∈[0,Nc-nhc]，nσp∈[0,Np-nhp]，nσf∈[1,Nf]；
A6、随机生成nσc个卷积层、nσp个池化层和nσf个全连接层，并将nσc个卷积层、nσp个池化层和nσf个全连接层串行合并为σ-块；
A7、设置t-块的全连接层数为ntf、卷积层数为ntc和反卷积层数为ntd；其中，ntf∈[1,Nf]，ntc∈[1,Nc]，ntd∈[1,Nd]，Nd表示最大的反卷积层数目；
A8、随机生成ntf个全连接层、ntc个卷积层和ntd个反卷积层，并将ntf个全连接层、ntc个卷积层和ntd个反卷积层串行合并为t-块；
A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；
A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；
A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干ACVAE，将一个ACVAE作为一个个体，并将所有ACVAE组成网络结构种群P0。
所述步骤S1-S9中适应度通过以下方法获取：
B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的ACVAE中；
B2、根据ACVAE输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；
所述平均损失值的计算公式具体为：
Figure GDA0002871982130000091
其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，
Figure GDA0002871982130000092
表示第i个图像数据中(m,j,k)位置上的像素，
Figure GDA0002871982130000093
表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，
Figure GDA0002871982130000094
表示ACVAE中第j个神经元对应于第i个图像数据输出均值的平方，
Figure GDA0002871982130000101
表示ACVAE中第j个神经元对应于第i个图像数据输出的方差。
所述步骤S4包括以下分步骤：
S4.1、从网络结构种群Pt-1随机选出两个个体；
S4.2、比较两个个体的排名，并将排名靠前的个体放入Mating pool中；
S4.3、判断Mating pool是否被填满，若是，则结束，得到待繁衍的父类Ct-1；否则返回步骤S4.1。
所述步骤S5中根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot的具体方法为：
C1、分别抽取父类Ct-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；
C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；
C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；
C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类Ct-1中的个体后，得到后代Ot；
其中，网络结构层为全连接层、卷积层、池化层或反卷积层。
所述步骤C4中变异操作为添加层、删除层或修改层。
在本实施例中，变异操作时，随机选择添加层、删除层或修改层，变异操作结束后，添加层、删除层和修改层的操作数目相同。
所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入该块中；
所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找该块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；
所述修改成的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。
所述步骤S7包括以下分步骤：
S7.1、根据合并适应度Ft'，从合并种群Pt'筛选出最好的20％的个体作为优质网络Pt 1；
S7.2、通过二进制竞标赛从合并种群Pt'剩余的个体中选择剩余个体的80％作为普通网络Pt 2；
S7.3、合并优质网络Pt 1和普通网络Pt 2，得到网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt。
本发明的有益效果为：
(1)本发明能够自动化地对ACVAE进行结构搜索，优化得到的结构相比手动设计的VAE网络以及通过如CAE或sCAE的常用自编码器得到的网络，在图像的半监督分类上有更好的性能。
(2)本发明提出的ACVAE结构中，每一个块都可以灵活设置，同时其中任意一个块的结构都可以同其它三个块不一样，这种非对称的结构可以允许演化过程中每一个块都可以自由地选择合适的子结构。
(3)本发明针对ACVAE结构设计的变异操作和交叉操作，产生更多有潜力的后代，并且变异操作可以实现在完成种群初始化后个体长度的变化，从而更好地找到网络的最优网络结构与深度。
(4)本发明设计了基于遗传算法的卷积变分自编码器网络结构搜索方法，使整个网络的设计。

Claims (6)

1.一种基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，包括以下步骤：
S1、初始化计数值t＝1，根据卷积变分自编码器编码机制构建非对称卷积变分自编码器编码机制；
S2、根据非对称卷积变分自编码器编码机制，生成若干非对称卷积变分自编码器，初始化网络结构种群P0，并评估网络结构种群P0的适应度F0；
S3、根据网络结构种群P0的适应度F0，获取网络结构种群P0的排名R0；
S4、根据排名Rt-1，对网络结构种群Pt-1的个体进行配对池选择，得到待繁衍的父类Ct-1；
S5、根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot，并评估后代Ot的适应度F0t；
S6、将网络结构种群Pt-1和后代Ot进行并操作，得到合并种群Pt'，将适应度F0和适应度F0t进行并操作，得到合并适应度Ft'；
S7、对合并种群Pt'和合并适应度Ft'施加环境选择，获取网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt；
S8、判断t是否等于搜索次数最大设定值T，若是，则进入步骤S9，否则令t的计数值加一，并返回步骤S4；
S9、在网络结构种群PT-1中选择出最好的个体，并对最好的个体进行解码，得到最优网络结构；
所述步骤S1中非对称卷积变分自编码器编码机制包括：使用可变长度基因编码策略对四个自定义模块进行编码以及对潜在流形的维度估计；
所述四个自定义模块为h-块、μ-块、σ-块和t-块，所述h-块、μ-块、σ-块和t-块均为顺序网络，其均包括若干全连接层、若干卷积层、若干池化层和/或若干反卷积层；
所述步骤S2中根据非对称卷积变分自编码器编码机制，生成若干非对称卷积变分自编码器，初始化网络结构种群P0的具体步骤为：
A1、设置h-块的卷积层数为nhc和池化层数为nhp；其中，nhc∈[1,Nc]，Nc表示最大的卷积层数目，nhp∈[1,Np]，Np表示最大的池化层数目；
A2、随机生成nhc个卷积层和nhp个池化层，并将nhc个卷积层和nhp个池化层串行合并为h-块；
A3、设置μ-块的卷积层数为nμc、池化层数为nμp和全连接层数为nμf；其中，nμc∈[0,Nc-nhc]，nμp∈[0,Np-nhp]，nμf∈[1,Nf]，Nf表示最大全连接层数目；
A4、随机生成nμc个卷积层、nμp个池化层和nμf个全连接层，并将nμc个卷积层、nμp个池化层和nμf个全连接层串行合并为μ-块；
A5、设置σ-块的卷积层数为nσc、池化层数为nσp和全连接层数为nσf；其中，nσc∈[0,Nc-nhc]，nσp∈[0,Np-nhp]，nσf∈[1,Nf]；
A6、随机生成nσc个卷积层、nσp个池化层和nσf个全连接层，并将nσc个卷积层、nσp个池化层和nσf个全连接层串行合并为σ-块；
A7、设置t-块的全连接层数为ntf、卷积层数为ntc和反卷积层数为ntd；其中，ntf∈[1,Nf]，ntc∈[1,Nc]，ntd∈[1,Nd]，Nd表示最大的反卷积层数目；
A8、随机生成ntf个全连接层、ntc个卷积层和ntd个反卷积层，并将ntf个全连接层、ntc个卷积层和ntd个反卷积层串行合并为t-块；
A9、随机打乱h-块、μ-块、σ-块和t-块的内部结构顺序；
A10、确定潜在流形的维数r∈[2,R]，R表示潜在的最大估计维度；
A11、将h-块、μ-块、σ-块、t-块和r进行并操作，获取若干非对称卷积变分自编码器，将一个非对称卷积变分自编码器作为一个个体，并将所有非对称卷积变分自编码器组成网络结构种群P0；
所述步骤S1-S9中适应度通过以下方法获取：
B1、采集b个图像数据作为训练数据，并将训练数据输入解码后的非对称卷积变分自编码器中；
B2、根据非对称卷积变分自编码器输出的均值、方差和重建图像，获取网络结构在训练数据上的平均损失值，并将平均损失值作为网络结构的适应度；
所述平均损失值的计算公式具体为：
Figure FDA0002871982120000031
其中，F表示适应度，i表示图像在训练数据中的索引，i＝1,2,...,b，b表示训练数据中图像数据的总数，m表示图像数据的y轴坐标索引，m＝1,2,...,h，h表示图像数据的高度，l表示图像数据的x轴坐标索引，l＝1,2,...,w，w表示图像数据的宽度，k表示图像数据的通道，k＝1,2,...,c，c表示图像数据的通道总数，j表示网络结构第j个神经元的输出，j＝1,2,...,r，r表示网络结构输出向量的长度，
Figure FDA0002871982120000032
表示第i个图像数据中(m,j,k)位置上的像素，
Figure FDA0002871982120000033
表示第i个图像数据对应重建图像中(m,j,k)位置上的像素，
Figure FDA0002871982120000034
表示非对称卷积变分自编码器中第j个神经元对应于第i个图像数据输出均值的平方，
Figure FDA0002871982120000035
表示非对称卷积变分自编码器中第j个神经元对应于第i个图像数据输出的方差；
网络结构种群P0表示包含若干初始化后的非对称卷积变分自编码器个体的种群；网络结构种群Pt-1表示在个体经过排名过后网络结构种群P0基础上的经过t-1次遗传算法选择后的种群，合并种群Pt'表示网络结构种群Pt-1和后代Ot合并后的种群，网络结构种群Pt表示对合并种群Pt'施加环境选择得到的种群，网络结构种群PT-1表示经过搜索之后所得到的网络结构种群，排名R0表示网络结构种群P0中个体适应度从大到小的排名，排名Rt-1表示网络结构种群Pt-1中个体适应度从大到小的排名，排名Rt表示网络结构种群Pt中个体适应度从大到小的排名，适应度F0表示网络结构种群P0的个体适应度集合，适应度Ft表示网络结构种群Pt的个体适应度集合。
2.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S4包括以下分步骤：
S4.1、从网络结构种群Pt-1随机选出两个个体；
S4.2、比较两个个体的排名，并将排名靠前的个体放入配对池中；
S4.3、判断配对池是否被填满，若是，则结束，得到待繁衍的父类Ct-1；否则返回步骤S4.1。
3.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S5中根据待繁衍的父类Ct-1，通过交叉操作和变异操作产生后代Ot的具体方法为：
C1、分别抽取父类Ct-1中两个个体的h-块、μ-块、σ-块或t-块的网络结构层，并将相同的网络结构层按先后顺序放置于同一表格中；
C2、将两个个体的相同网络结构层从顶部对齐，并将相同顺序位置的网络结构层进行交叉互换，完成两个个体中网络结构层的互换；
C3、分别将两个个体中交叉互换后的网络结构层放回其对应的位置，得到两个新个体，完成交叉操作；
C4、对两个新个体进行变异操作，得到两个后代，遍历所有父类Ct-1中的个体后，得到后代Ot；
其中，网络结构层为全连接层、卷积层、池化层或反卷积层。
4.根据权利要求3所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤C4中变异操作为添加层、删除层或修改层。
5.根据权利要求4所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述添加层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找随机选出的块中数量没有达到上限的网络结构层种类，产生一个该种类的网络结构层，并将其随机插入随机选出的块中；
所述删除层的具体方法为：随机选择个体中的h-块、μ-块、σ-块或t-块，寻找随机选出的块中数量没有低于下限的网络结构层种类，并随机删除一个该种类的网络结构层；
所述修改层的具体方法为：随机选择个体中h-块、μ-块、σ-块或t-块的一个网络结构层，根据网络结构层的种类，使用多项式变异改变其参数数值，且改变后的数值不超出预设范围。
6.根据权利要求1所述的基于遗传算法的卷积变分自编码器网络结构搜索方法，其特征在于，所述步骤S7包括以下分步骤：
S7.1、根据合并适应度Ft'，从合并种群Pt'筛选出最好的20％的个体作为优质网络Pt 1；
S7.2、通过二进制锦标赛从合并种群Pt'剩余的个体中选择剩余个体的80％作为普通网络Pt 2；
S7.3、合并优质网络Pt 1和普通网络Pt 2，得到网络结构种群Pt、与网络结构种群Pt对应的适应度Ft和网络结构种群Pt中个体的排名Rt。
CN202010194858.1A 2020-03-19 2020-03-19 基于遗传算法的卷积变分自编码器网络结构搜索方法 Active CN111415009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194858.1A CN111415009B (zh) 2020-03-19 2020-03-19 基于遗传算法的卷积变分自编码器网络结构搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194858.1A CN111415009B (zh) 2020-03-19 2020-03-19 基于遗传算法的卷积变分自编码器网络结构搜索方法

Publications (2)

Publication Number Publication Date
CN111415009A CN111415009A (zh) 2020-07-14
CN111415009B true CN111415009B (zh) 2021-02-09

Family

ID=71493075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194858.1A Active CN111415009B (zh) 2020-03-19 2020-03-19 基于遗传算法的卷积变分自编码器网络结构搜索方法

Country Status (1)

Country Link
CN (1) CN111415009B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299344A (zh) * 2021-12-31 2022-04-08 江南大学 一种针对图像分类的神经网络结构低成本自动搜索方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064289B (zh) * 2012-12-19 2015-03-11 华南理工大学 一种垃圾发电厂多目标运行优化及协调的控制方法及装置
CN108009520B (zh) * 2017-12-21 2020-09-01 西安格威西联科技有限公司 基于卷积变分自编码器网络的手指静脉识别方法及系统
CN108334949B (zh) * 2018-02-11 2021-04-13 浙江工业大学 一种基于优化深度卷积神经网络结构快速进化的图像分类器构建方法
CN108400940B (zh) * 2018-02-27 2019-11-05 西南交通大学 一种基于分布估计算法的组播虚拟网络功能部署方法
US20190286984A1 (en) * 2018-03-13 2019-09-19 Google Llc Neural architecture search by proxy
CN109063291B (zh) * 2018-07-20 2021-07-13 西安交通大学 机电装备冷却通道结构智能化拓扑优化设计方法
CN109213975B (zh) * 2018-08-23 2022-04-12 重庆邮电大学 一种基于字符层级卷积变分自编码的推特文本表示方法
CN109783655B (zh) * 2018-12-07 2022-12-30 西安电子科技大学 一种跨模态检索方法、装置、计算机设备和存储介质
CN110490320B (zh) * 2019-07-30 2022-08-23 西北工业大学 基于预测机制和遗传算法融合的深度神经网络结构优化方法
CN110572696B (zh) * 2019-08-12 2021-04-20 浙江大学 一种变分自编码器与生成对抗网络结合的视频生成方法

Also Published As

Publication number Publication date
CN111415009A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN109584325B (zh) 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN108399428A (zh) 一种基于迹比准则的三元组损失函数设计方法
CN110837578B (zh) 一种基于图卷积网络的视频片段推荐方法
JP2023523029A (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN110069690A (zh) 一种主题网络爬虫方法、装置及介质
CN111415009B (zh) 基于遗传算法的卷积变分自编码器网络结构搜索方法
CN113807176B (zh) 一种基于多知识融合的小样本视频行为识别方法
CN110909787A (zh) 基于聚类的进化算法进行多目标批调度优化的方法和系统
CN112508181A (zh) 一种基于多通道机制的图池化方法
JP2020087432A (ja) 人工知能ベースの製造部品設計
CN116205311A (zh) 一种基于Shapley值的联邦学习方法
CN113657522B (zh) 一种多视图三维模型聚类方法
CN106484511A (zh) 一种谱姿态迁移方法
CN114581470B (zh) 一种基于植物群落行为的图像边缘检测方法
Verma et al. A novel framework for neural architecture search in the hill climbing domain
CN113343121B (zh) 基于多粒度流行度特征的轻量级图卷积协同过滤推荐方法
CN113516582B (zh) 用于图像风格迁移的网络模型训练方法、装置、计算机设备和存储介质
CN115908600A (zh) 基于先验正则化的大批量图像重建方法
CN107464273A (zh) 图像风格刷的实现方法与装置
CN111310864B (zh) 一种基于分组稀疏的多核学习图像分类方法
CN116340501A (zh) 一种针对知识图谱推荐模型的混合动态负采样方法
Ota et al. Kansei clothing retrieval system using features extracted by autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant