CN109492746A - 基于ga-pso杂交算法的深度信念网络参数优化方法 - Google Patents
基于ga-pso杂交算法的深度信念网络参数优化方法 Download PDFInfo
- Publication number
- CN109492746A CN109492746A CN201610805044.0A CN201610805044A CN109492746A CN 109492746 A CN109492746 A CN 109492746A CN 201610805044 A CN201610805044 A CN 201610805044A CN 109492746 A CN109492746 A CN 109492746A
- Authority
- CN
- China
- Prior art keywords
- individual
- fitness
- fitness value
- optimizing
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 238000009396 hybridization Methods 0.000 title abstract description 3
- 239000002245 particle Substances 0.000 title description 7
- 230000002068 genetic effect Effects 0.000 title 1
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 230000006978 adaptation Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000035772 mutation Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 210000000349 chromosome Anatomy 0.000 description 21
- 230000010429 evolutionary process Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000012804 iterative process Methods 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010064571 Gene mutation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于GA‑PSO杂交算法的深度信念网络参数优化方法，包括以下步骤：1)初始化产生一个种群，包括3N个个体；2)采用适应度函数计算个体的适应度值；3)提取适应度值较优的2N个个体和适应度值较差的N个个体；4)采用GA算法对适应度值较优的2N个个体执行寻优过程，计算寻优后的2N个个体的适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体；5)根据步骤4)中个体适应度值较优的前N个个体和适应度值最优的个体，采用PSO算法对步骤3)中适应度值较差的N个个体执行寻优过程；6)采用适应度函数对步骤4)和步骤5)中寻优后的2N个个体和寻优后的N个个体进行适应度值的计算，确定适应度值最优的个体。
Description
技术领域
本发明涉及一种基于GA-PSO杂交算法的深度信念网络参数优化方法。
背景技术
2006年，Hinton等人提出了一种深度信念网络(Deep Belief Nets,DBN深度信念网络，将神经网络引入深度学习阶段。一个深度信念网络模型由若干个受限玻尔兹曼机堆叠而成，利用原始输入数据训练底层受限玻尔兹曼机，将底层受限玻尔兹曼机抽取的特征作为上层受限玻尔兹曼机的输入参量，由低到高重复上述过程以至全部受限玻尔兹曼机训练完成。由于受限玻尔兹曼机训练过程可通过比散度(Contrastive Divergence,CD)算法快速实现，将其化简为多个受限玻尔兹曼机的训练问题，避免了从整体上训练深度信念网络的高复杂度。Hinton建议，经过这种方式训练以后，可以通过传统的反向传播算法(BackPropagation，BP)对网络进行微调，从而使得模型收敛到局部最优解。上述思想成为至今为止深度学习算法的主要框架，为高效和深层次学习开辟了新的道路。由深度信念网络结构可知，输入层节点个数与输入故障特征维数相对应，输出节点个数与已知故障类别数相对应，但中间隐含层的节点难以确定，目前大多根据经验公式设置隐含层节点个数，主观性较强。与此同时，预训练过程中每个受限玻尔兹曼机模型中的学习率、动量项以及调优过程中两层之间的学习率、动量项也需在利用故障特征集数据训练深度信念网络之前给出。上述参数设定过程中，若依据经验选择多组参数人工输入深度信念网络中，根据分类效果确定最终参数，那将是一个极其耗费时间的任务。
DBN深度信念网络中的参数设置问题可尝试采用参数寻优算法解决。目前，常用的寻优算法主要有GA算法、PSO算法。然而两者中均存在一些缺陷，如：GA算法中经过交叉和变异操作，父代染色体将全部丢失；PSO算法仅具有局部搜索能力，容易陷入局部最优解。上述缺陷最终将影响算法的优化速度。
发明内容
本发明为了解决上述问题，提出了一种基于GA-PSO杂交算法的深度信念网络参数优化方法，能够快速地实现深度信念网络参数的寻优，并且得到高质量的优化参数。
为了实现上述目的，本发明采用如下方案：
一种基于GA-PSO杂交算法的深度信念网络参数优化方法，包括以下步骤：
1)初始化产生一个种群，并设置总寻优次数，所述种群包括3N个个体，所述个体为一组深度信念网络参数；
2)采用适应度函数计算所述每个个体的适应度值，所述适应度值用来表示个体优劣程度；
3)提取步骤2)中适应度值较优的2N个个体和适应度值较差的N个个体；
4)采用GA算法对步骤3)中适应度值较优的2N个个体执行寻优过程，得到寻优后的2N个个体；采用适应度函数计算所述寻优后的2N个个体的适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体；
5)根据步骤4)中个体适应度值较优的前N个个体和适应度值最优的个体分别作为PSO算法中的所有粒子的个体极值和种群的全局极值，然后采用PSO算法对步骤3)中适应度值较差的N个个体执行寻优过程，得到寻优后的N个个体。
6)采用适应度函数计算步骤4)和步骤5)中寻优后的2N个个体和寻优后的N个个体的适应度值，确定适应度值最优的个体，并记录寻优次数，执行完整的一次GA-PSO寻优过程，记为一次寻优；
7)判断步骤6)中得到的寻优次数是否达到总寻优次数，如果没有达到总寻优次数，则继续执行步骤2)至步骤6)，如果达到或超过总寻优迭代次数，则输出步骤6)中确定的适应度值最优的个体，作为最优的深度信念网络参数。
步骤4)中采用GA算法执行寻优过程的具体步骤为：
21)定义步骤3)中适应度值较优的2N个个体为父代个体，并对父代个体按照适应度值进行排序，在相邻两个父代个体之间进行交叉操作，产生子代个体；
22)对步骤21)中的子代个体进行变异操作，得到变异后的子代个体；
23)采用适应度函数计算步骤22)中的变异后的子代个体适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体。
采用GA算法执行寻优过程还包括以下步骤：
31)对步骤21)中的父代个体进行备份；
32)采用适应度函数分别计算步骤31)中备份的父代个体和步骤22)中变异后的子代个体的适应度值，若父代个体的适应度值优于子代个体的适应度值，则保留父代个体，舍弃子代个体；若父代个体的适应度值劣于子代个体的适应度值，则保留子代个体，舍弃父代个体；
33)采用适应度函数计算步骤32)中的个体适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体。
步骤22)中所述变异操作采用自适应阈值函数设定变异阈值。
步骤5)中采用PSO算法执行寻优过程的具体步骤为：
51)初始化个体速度，并将个体转换成个体D维向量，D维代表深度信念网络待优化参数的个数；
52)根据步骤4)中个体适应度值较优的前N个个体、适应度值最优的个体和步骤51)中的个体速度，采用PSO算法对步骤3)中适应度值较差的N个个体执行个体速度和个体D维向量的寻优，得到寻优后的N个个体；
采用自适应变异机制定义所述个体D维向量。
为所述个体速度设置自适应惯性权重。
所述步骤4)中，判断个体的最优适应度是否为零，若为零，则停止寻优，以适应度值为零的个体作为最优的深度信念网络参数；若不为零，则继续执行步骤5)到步骤7)。
所述一组深度信念网络参数至少包括隐含层节点、预训练学习率、预训练动量项、调优学习率和调优动量项中的一种。
所述适应度函数为深度信念网络针对寻优个体集的分类错误率。
本发明的有益效果：
(1)不仅优化预训练的相关参数，还对调优过程中相应的参数进行优化；
(2)对PSO算法进行自适应变异机制和自适应惯性权重的改进，尽量避免了PSO算法容易陷入局部最优解的缺陷；
(3)剔除了GA算法中表现较差的父代染色体，提高了寻优速度；
(4)在每次参数寻优过程中，采用全部训练集数据既作为训练样本又作为测试样本的策略，提高了寻优速度；
(5)GA算法执行完毕后，判断适应度值若为零，则停止寻优，适应度值为零的个体即为最优参数，进一步提高了寻优速度；
(6)对父代个体按照适应度值优劣进行排序，在相连两个父代个体中进行交叉操作，使得深度信念网络参数更优，寻优速度更快。
附图说明
图1为受限玻尔兹曼机结构图；
图2为深度信念网络结构图；
图3为本发明流程示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
一个DBN深度信念网络有若干个RBM受限玻尔兹曼机堆叠而成，如图1所示，RBM受限玻尔兹曼机底层为可见层v＝(v1,v2,…,vn)，用于表示观测数据；上层为隐含层h＝(h1,h2,…,hm)，用于抽象提取输入数据的特征；隐含单元、可见单元中的变量均为二值变量，即j，vi∈{0,1},hj∈{0,1}。wij(i＝1,…,n；j＝1,…,m)为两层之间的连接权值。
本文研究工作中选用的DBN深度信念网络均含有3个隐含层，每个隐含层节点数是一个需要调优的参数。下面以含有3个隐含层的DBN深度信念网络结构为例说明DBN深度信念网络的训练过程，DBN深度信念网络结构如图1所示，为了给出识别样本所属故障类型的概率输出进而达到多分类的目的，在DBN深度信念网络结构的顶层添加了一个Softmax分类器。Softmax分类器实质上是一个多分类逻辑回归模型，它在给出分类结果的同时还会给出结果的概率，适用于非线性多分类问题。
DBN深度信念网络的训练过程包括预训练和调优两个部分。
本发明提出了基于GA-PSO杂交寻优的DBN深度信念网络网络参数优化算法，用于优化DBN深度信念网络网络结构中的各隐含层节点数，预训练过程中的不同RBM模型中的学习率ε＝(ε1,ε2,ε3)、动量项α＝(α1,α2,α3)以及调优过程中不同层之间的学习率动量项
适应度函数的选择：选用DBN深度信念网络针对测试样本的分类错误率作为适应度函数，适应度函数数值越小，说明DBN深度信念网络分类效果越好，寻优过程确定的参数越接近最优参数。
寻优过程中训练集数据划分准则：在每次参数寻优过程中，采用全部训练集数据既作为训练样本又作为测试样本的策略。这是因为：在确定寻优过程中训练集数据划分准则时，传统的方法是将训练集数据划分为多份，每次寻优过程中，依据某一确定的准则选择其中的几份作为训练样本，其余的作为测试样本。然而，经多次试验后发现，DBN网络对训练样本维数较为敏感，若依照上述准则得到优化后的DBN网络，当额外选择原训练集数据之外的多组 数据作为测试样本代入时，DBN网络的分类错误率远高于寻优过程中适应度函数最小值。
如图3所示，本发明提出了一种基于GA-PSO杂交算法的深度信念网络参数寻优方法，其特征在于包括以下步骤：
1)初始化产生一个种群，并设置总寻优次数，所述种群包括3N个个体，所述个体为一组深度信念网络参数；
2)采用适应度函数计算所述每个个体的适应度值，所述适应度值用来表示个体优劣程度；
3)根据步骤2)中所述适应度值，提取适应度值较优的2N个个体和适应度值较差的N个个体；
4)采用GA算法对步骤3)中适应度值较优的2N个个体执行寻优过程，得到寻优后的2N个个体；采用适应度函数计算所述寻优后的2N个个体的适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体；
5)根据步骤4)中个体适应度值较优的前N个个体和适应度值最优的个体，采用PSO算法对步骤3)中适应度值较差的N个个体执行寻优过程，得到寻优后的N个个体。
6)采用适应度函数对步骤4)和步骤5)中寻优后的2N个个体和寻优后的N个个体进行适应度值的计算，确定适应度值最优的个体，并记录寻优次数，执行完整的一次GA-PSO寻优过程，记为一次寻优；
7)判断步骤6)中得到的寻优次数是否达到总寻优次数，如果没有达到总寻优次数，则继续执行步骤2)至步骤6)，如果达到或超过总寻优迭代次数，则输出步骤6)中确定的适应度值最优的个体，作为最优的深度信念网络参数。
GA算法具体操作如下：
(1)选择操作。选择出来参与进化过程的个体数越多，那么整个进化过程的速度将越快。为此，本文GA算法中所涉及到的所有个体均选择出来参与后续的交叉、变异操作。
(2)交叉操作。如果两个表现较好或较为相似的父代个体相结合进行交叉操作，那么产生表现较好的子代个体的概率相对较大。基于上述观点，本发明将GA算法中所有染色体按照适应度值进行排序，相邻的染色体两两配对进行交叉操作。假设相邻的两个父代染色体染色体分别为a＝(a1,…,ak,…,an)、b＝(b1,…,b2,…,bn)，当选择其中的第k个基因进行交叉操作时，具体操作过程如下：
式中，为交叉操作后子代染色体，r1为[0,1]之间的随机数。
(3)变异操作。当变异概率大于给定的变异阈值时，则染色体上具体的基因执行变异操作。在进化过程初期，设定较小的变异阈值可以确保大多数染色体均发生变异操作，从而加快进化的速度；在进化过程后期，设定较大的变异阈值可以减小基因突变的概率，确保种群进化过程的稳定性。因此，本文选用自适应阈值函数以满足上述需求:
Tm＝m/maxgen (2)
式中，m＝1,2,…,maxgen为进化过程发生的次数，maxgen为进化过程发生总的次数。假设第m次进化过程中变异概率大于对应的变异阈值时，若染色体上的第k个基因被设定执行变异操作，具体操作过程如下：
式中，[ykmin,ykmax]为第k个基因对应的上下边界，f(m)＝rand×(1-m/maxgen)2为变异调节因子，r2为[0,1]之间的随机数。
GA算法中存在的主要缺点是无法保存父代染色体。当父代染色体执行完交叉、变异操作后，无论得到的子代染色体的适应度是否优于父代染色体，父代染色体均无法复原。为了加快进化速度、保证适应度较好的父代染色体在进化过程中始终得到保留，在每次执行交叉、变异操作之前，均对父代染色体额外进行备份操作。当进化后的子代染色体适应度劣于对应的父代染色体时，则利用父代染色体替代对应的子代染色体；当进化后的子代染色体优于对应的父代染色体时，则保留子代染色体继续执行后续操作。
PSO算法具体操作如下：
假设在一个D维的搜索空间中，由n个粒子组成的种群X＝(X1,X2,…,Xn)，其中第i个粒子表示为一个D维的向量Xi＝[xi1,xi2,…,xiD]T，表示第i个粒子在D维搜索空间中的位置。第i个粒子的速度为Vi＝[Vi1,Vi2,…,ViD]T，其中个体极值为Pi＝[Pi1,Pi2,…,PiD]T，种群的全局极 值为Pg＝[Pg1,Pg1,…,PgD]T。每次迭代过程中，粒子通过个体极值和全局极值更新自身的速度和位置，具体操作如下：
式中，d＝1,2,…,D为搜索空间维数；k为当前迭代次数；c1和c2为非负的常数，称为加速度因子；r3和r4为[0,1]之间的随机数；ωk为惯性权重，表明了粒子当前速度继承先前的速度的比例。
PSO算法极易陷入局部最优解，本文提出具体的改进措施，在传统PSO算法中额外添加两步操作来尽量避免这一缺陷。额外添加的两步操作的主要内容为：自适应变异机制、自适应惯性权重。
自适应变异机制紧随式(5)之后，具体操作如下：
式中，βid为服从高斯分布的随机项；为步长调节因子，其值根据当前迭代过程中种群全局极值的变化而变化，第k次迭代过程中的表示如下：
式中，tanh()表示双曲正切函数；为第k次迭代过程中的群体全局极值；为折扣因子，用初始群体的全局极值表示。
自适应惯性权重用于式(4)中，具体操作如下：
由上式可知，ωk的变化范围为由1趋向于0.5。自适应惯性权重可以看作一个平衡因子，当迭代过程中群体全局极值没有明显变化时，惯性权重下降较为缓慢以便PSO算法进行全局搜索；当迭代过程中群体全局极值发生明显变化时，惯性权重随之迅速下降以便PSO算法进行局部搜索。
深度信念网络通过模拟人脑多层次的分析方式来提高学习的准确性，相比其他基于浅层 结构的人工神经网络，识别率较高。
实施例一：基于深度信念网络的机械设备故障诊断方法，包括以下步骤：首先建立机械设备故障特征集；然后采用基于GA-PSO杂交算法优化深度信念网络参数；将机械设备故障特征集输入设置好参数的深度信念网络，得到不同的故障类型。
采用本发明的基于GA-PSO杂交算法进行深度信念网络参数的优化，可以快速得设置深度信念网络参数，同时能够保证参数的质量，使得深度信念网络的分类效果较为理想。
实施例二：基于深度信念网络的图像识别方法，包括以下步骤：首先建立以灰度级为特征的像素集；然后采用基于GA-PSO杂交算法优化深度信念网络参数；将像素集输入设置好参数的深度信念网络，将图像中的不同物体识别出来。
采用本发明的基于GA-PSO杂交算法进行深度信念网络参数的优化，可以快速得设置深度信念网络参数，有效将图像中的不同物体识别出来。
实施例三：基于深度信念网络的语音识别方法，包括以下步骤：首先建立语音库；然后采用基于GA-PSO杂交算法优化深度信念网络参数；采用语音库对参数优化后的深度信念网络进行训练；获取语音信息，采用训练后的深度信念网络识别语音信息。
采用本发明的基于GA-PSO杂交算法进行深度信念网络参数的优化，可以快速得设置深度信念网络参数，优化后的深度信念网络用于准确识别语音信息。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于GA-PSO杂交算法的深度信念网络参数优化方法，其特征在于，包括以下步骤：
1)初始化种群，并设置总寻优次数，所述种群包括3N个个体，所述个体为一组深度信念网络参数；
2)采用适应度函数计算所述每个个体的适应度值，所述适应度值用来表示个体优劣程度；
3)提取步骤2)中适应度值较优的2N个个体和适应度值较差的N个个体；
4)采用GA算法对步骤3)中适应度值较优的2N个个体执行寻优过程，得到寻优后的2N个个体；采用适应度函数计算所述寻优后的2N个个体的适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体；
5)根据步骤4)中个体适应度值较优的前N个个体和适应度值最优的个体，采用PSO算法对步骤3)中适应度值较差的N个个体执行寻优过程，得到寻优后的N个个体；
6)采用适应度函数计算步骤4)和步骤5)中寻优后的2N个个体和寻优后的N个个体的适应度值，确定适应度值最优的个体，并记录寻优次数，执行完整的一次GA-PSO寻优过程，记为一次寻优；
7)判断步骤6)中得到的寻优次数是否达到总寻优次数，如果没有达到总寻优次数，则继续执行步骤2)至步骤6)，如果达到或超过总寻优迭代次数，则输出步骤6)中确定的适应度值最优的个体，作为最优的深度信念网络参数。
2.根据权利要求1所述的方法，其特征在于，步骤4)中采用GA算法执行寻优过程的具体步骤为：
21)定义步骤3)中适应度值较优的2N个个体为父代个体，并对父代个体按照适应度值进行排序，在相邻两个父代个体之间进行交叉操作，产生子代个体；
22)对步骤21)中的子代个体进行变异操作，得到变异后的子代个体；
23)采用适应度函数计算步骤22)中的变异后的子代个体适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体。
3.根据权利要求2所述的方法，其特征在于，采用GA算法执行寻优过程还包括以下步骤：
31)对步骤21)中的父代个体进行备份；
32)采用适应度函数分别计算步骤31)中备份的父代个体和步骤22)中变异后的子代个体的适应度值，若父代个体的适应度值优于子代个体的适应度值，则保留父代个体，舍弃子代个体；若父代个体的适应度值劣于子代个体的适应度值，则保留子代个体，舍弃父代个体；
33)采用适应度函数计算步骤32)中的个体适应度值，并输出个体适应度值较优的前N个个体和适应度值最优的个体。
4.根据权利要求2所述的方法，其特征在于，步骤22)中所述变异操作采用自适应阈值函数设定变异阈值。
5.根据权利要求1所述的方法，其特征在于，步骤5)中采用PSO算法执行寻优过程的具体步骤为：
51)初始化个体速度，并将个体转换成个体D维向量，D维代表深度信念网络参数的个数；
52)根据步骤4)中个体适应度值较优的前N个个体、适应度值最优的个体和步骤51)中的个体速度，采用PSO算法对步骤3)中适应度值较差的N个个体执行个体速度和个体D维向量的寻优，得到寻优后的N个个体。
6.根据权利要求5所述的方法，其特征在于，采用自适应变异机制定义所述个体D维向量。
7.根据权利要求5所述的方法，其特征在于，为所述个体速度设置自适应惯性权重。
8.根据权利要求1所述的方法，其特征在于，所述步骤4)中，判断个体的最优适应度是否为零，若为零，则停止寻优，以适应度值为零的个体作为最优的深度信念网络参数；若不为零，则继续执行步骤5)到步骤7)。
9.根据权利要求1所述的方法，其特征在于，所述一组深度信念网络参数至少包括隐含层节点、预训练学习率、预训练动量项、调优学习率和调优动量项中的一种。
10.根据权利要求1-3中任一项所述的方法，其特征在于，所述适应度函数为深度信念网络针对寻优个体集的分类错误率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610805044.0A CN109492746A (zh) | 2016-09-06 | 2016-09-06 | 基于ga-pso杂交算法的深度信念网络参数优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610805044.0A CN109492746A (zh) | 2016-09-06 | 2016-09-06 | 基于ga-pso杂交算法的深度信念网络参数优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109492746A true CN109492746A (zh) | 2019-03-19 |
Family
ID=65687038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610805044.0A Withdrawn CN109492746A (zh) | 2016-09-06 | 2016-09-06 | 基于ga-pso杂交算法的深度信念网络参数优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492746A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110988673A (zh) * | 2019-11-05 | 2020-04-10 | 国网河北省电力有限公司电力科学研究院 | 电机转子故障检测方法、装置及终端设备 |
| CN111653272A (zh) * | 2020-06-01 | 2020-09-11 | 重庆科技学院 | 一种基于深度信念网络的车载语音增强算法 |
| CN113283491A (zh) * | 2021-05-19 | 2021-08-20 | 青岛科技大学 | 一种基于优化深度置信网络的电动汽车交流充电桩的故障诊断方法 |
-
2016
- 2016-09-06 CN CN201610805044.0A patent/CN109492746A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110988673A (zh) * | 2019-11-05 | 2020-04-10 | 国网河北省电力有限公司电力科学研究院 | 电机转子故障检测方法、装置及终端设备 |
| CN111653272A (zh) * | 2020-06-01 | 2020-09-11 | 重庆科技学院 | 一种基于深度信念网络的车载语音增强算法 |
| CN113283491A (zh) * | 2021-05-19 | 2021-08-20 | 青岛科技大学 | 一种基于优化深度置信网络的电动汽车交流充电桩的故障诊断方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860638B (zh) | 基于不平衡数据深度信念网络的并行入侵检测方法和系统 | |
| US11816183B2 (en) | Methods and systems for mining minority-class data samples for training a neural network | |
| CN104751842B (zh) | 深度神经网络的优化方法及系统 | |
| CN106023195A (zh) | 基于自适应遗传算法的bp神经网络图像分割方法及装置 | |
| CN101482926B (zh) | 一种可伸缩的自适应多核分类方法 | |
| CN110473592B (zh) | 一种多视角人类协同致死基因预测方法 | |
| CN111738315A (zh) | 基于对抗融合多源迁移学习的图像分类方法 | |
| CN113657561B (zh) | 一种基于多任务解耦学习的半监督夜间图像分类方法 | |
| CN108446214B (zh) | 基于dbn的测试用例进化生成方法 | |
| CN112232413B (zh) | 基于图神经网络与谱聚类的高维数据特征选择方法 | |
| CN110059852A (zh) | 一种基于改进随机森林算法的股票收益率预测方法 | |
| CN106228183A (zh) | 一种半监督学习分类方法与装置 | |
| CN104809476B (zh) | 一种基于分解的多目标进化模糊规则分类方法 | |
| CN110009030A (zh) | 基于stacking元学习策略的污水处理故障诊断方法 | |
| CN107528824B (zh) | 一种基于二维度稀疏化的深度信念网络入侵检测方法 | |
| CN110363230A (zh) | 基于加权基分类器的stacking集成污水处理故障诊断方法 | |
| CN115186769B (zh) | 一种基于nlp的突变基因分类方法 | |
| CN109214444B (zh) | 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法 | |
| CN112685504A (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
| CN108647772B (zh) | 一种用于边坡监测数据粗差剔除的方法 | |
| CN109492746A (zh) | 基于ga-pso杂交算法的深度信念网络参数优化方法 | |
| Zhang et al. | Evolving neural network classifiers and feature subset using artificial fish swarm | |
| CN107392155A (zh) | 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 | |
| CN107273922A (zh) | 一种面向多源实例迁移学习的样本筛选和权重计算方法 | |
| CN108763418A (zh) | 一种文本的分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190319 |