CN110705704A - 一种基于相关性分析的神经网络自组织遗传进化算法 - Google Patents

一种基于相关性分析的神经网络自组织遗传进化算法 Download PDF

Info

Publication number
CN110705704A
CN110705704A CN201910912280.6A CN201910912280A CN110705704A CN 110705704 A CN110705704 A CN 110705704A CN 201910912280 A CN201910912280 A CN 201910912280A CN 110705704 A CN110705704 A CN 110705704A
Authority
CN
China
Prior art keywords
neural network
connection
individuals
algorithm
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910912280.6A
Other languages
English (en)
Inventor
杨旭
王宇晗
杨敏
陈潇雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Beijing Institute of Technology BIT
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910912280.6A priority Critical patent/CN110705704A/zh
Publication of CN110705704A publication Critical patent/CN110705704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

一种基于相关性分析的神经网络自组织遗传进化算法，构建初始神经网络，初始神经网络只包含输入层和输出层；采用BP算法训练网络，并记录训练日志数据；获取连接相关性，优化神经网络；复杂化神经网络；融合遗传进化算法迭代神经网络，输出最优神经网络模型。本发明输出最优模型的迭代次数优于NEAT输出最优模型的迭代次数，输出最优的神经网络模型之前所进行的BP调节次数少于普通的BP神经网络所需要的调节次数，通过使用不同数据集进行相关实验对算法性能(准确率)进行验证，实验结果表明算法在分类问题方面的表现相对优秀，可以应用于现在人工智能领域分类问题的研究。

Description

一种基于相关性分析的神经网络自组织遗传进化算法
技术领域
本发明属于进化神经网络、相关性分析以及遗传进化算法技术领域，特别涉及一种基于相关性分析的神经网络自组织遗传进化算法。
背景技术
随着学术界和工业界的大力推进，更深层次的神经网络模型——深度学习进入快速前进的轨道，其在传统识别任务上表现出的处理复杂识别任务的能力，也在吸引更多的学者投入到对其理论和应用的研究当中。
神经网络在非线性映射方面表现十分优秀，因此具有很强的拟合能力，同时深度神经网络的假设空间维度非常高，有很强大的表征能力。但神经网络在趋于复杂的过程中，提高其本身性能的同时也往往会产生大量冗余结构。就BP神经网络而言，在训练的过程中容易陷入局部最优，并且会出现泛化能力差的现象，而且神经网络模型的训练时间也会随着参数数量的上升而变长，从而无法保证其准确性和灵活性。就NEAT算法而言，神经网络复杂化过程时间较长，神经网络将长期的处于迭代的初始阶段，因此拥有进化潜力的个体被误删除的现象无法避免。所以探索一种既可以保留神经网络在灵活性上的优势，又可以避免冗余结构存在的算法是十分有必要的。
上述已有的BP神经网络和NEAT算法技术虽然具有训练神经网络得到神经网络结构的效果，然而，在神经网络参数数量不断增加的情况下，灵活性和避免冗余方面性能的改进还存在很大空间。
发明内容
为了克服上述BP神经网络和NEAT算法的技术缺陷，解决其灵活性问题并避免其冗余结构，本发明的目的在于提供一种基于相关性分析的神经网络自组织遗传进化算法。
为了实现上述目的，本发明采用的技术方案是：
一种基于相关性分析的神经网络自组织遗传进化算法，包括如下步骤：
步骤1构建初始神经网络
初始化神经网络是在获取输入和输出神经元个数的前提下，根据算法开始前设定的参数初始化神经网络神经元之间的连接权值和神经元的阈值，此时的神经网络只包含输入层和输出层。
步骤2BP算法训练网络，记录训练日志数据
BP算法训练是指在算法迭代的过程中通过BP算法完成对当前神经网络中权值的训练，优化当前神经网络模型，并且在BP算法对当前神经网络训练的过程中完成对相关日志的记录，记录网络中每一条连接的权值变化的日志数据，其中包括权值变化、连接的输入(对应连接的输入神经元的输出)、连接的输出(对应连接的输出神经元的输出)。
步骤3获取连接相关性，优化神经网络
步骤3.1计算连接相关性
连接相关性是指当前的神经网络中某条连接相对于整个神经网络的重要性和必要性。使用基于皮尔逊相关系数的相关性分析方法，通过整个BP训练过程的训练日志数据来计算连接的相关性，连接i的相关性Fi的计算公式如下所示：
Figure BDA0002215055060000021
其中，Xj代表第j次训练时连接i所连输入神经元的输出值，Yj代表第j次训练时连接i所连输出神经元的输出值，
Figure BDA0002215055060000022
代表在整个BP训练过程中连接i所连输入神经元输出值的平均值，代表在整个BP训练过程中连接i所连输出神经元输出值的平均值，M代表整个BP训练过程中的训练次数；
步骤3.2优化神经网络结构
结构优化是根据设定的策略对神经网络中的每一条连接进行判断，确定其是否为无效连接，然后根据判断结果实现对当前神经网络模型的结构进行优化的过程，根据连接相关性计算第i条连接被删除的概率Pi的公式如下所示：
Figure BDA0002215055060000031
其中Pi表示第i条连接被删除的概率，Fi代表第i条连接的相关性，N代表连接条数；此时连接的相关性越小，被删除的概率就越大，然后使用轮盘赌法随机选择连接并删除，最后验证得到的神经网络中被删除的连接数与删除之前连接总数的百分比，是否达到算法开始前设定的连接删除百分比阈值τ(取值范围0～1)，是则进入下一步，否则重复步骤3.2。
步骤4复杂化神经网络
如果优化后的神经网络模型性能达到输出神经网络模型的要求，并且算法错误率满足开始时设定的条件时，则输出神经网络；否则根据算法参数n将构建的n个神经元逐个添加到神经网络中，构建新添加的神经元与输入神经元和输出神经元之间的全连接，返回步骤2依次执行，重新训练并优化神经网络；
步骤5融合遗传进化算法迭代神经网络，输出最优神经网络模型
步骤5.1对种子网络进行编码
将上述步骤产生的神经网络作为种子网络，采用算法设计的双链DNA对神经网络进行编码的方式，对种子网络进行编码(编码方法和编码过程参考实施例2)，通过对神经网络的编码，将神经网络编码转化为生物学中的个体，然后根据算法开始前设定的种群中个体数量参数完成种群的初始化，根据算法开始前设置的遗传算法迭代次数，迭代执行步骤5.2至步骤5.4，实现种群的遗传算法：
步骤5.2使用特定的遗传操作完成种群的选择
为了保证种群中物种的多样性，以及优良个体的输出，算法采用轮盘选择法与最优个体保留法同时作为选择算子：首先选择当前种群中的一个个体作为最优个体(算法在此个体上的准确率最高)，然后依次验证其他个体是否优于当前最优个体，如果优于当前最优个体则进行替换，最后再将最优个体放入下一代；
同时使用轮盘选择法从剩余个体中挑选个体进入下一代种群，轮盘选择法实现如下：将算法在个体上的准确率与所有个体上准确率之和的比值作为个体被选中的概率，对所有个体被选中的概率序列化，计算所有个体的累计概率，即每个个体与之后所有个体被选中概率的和，然后生成0～1之间的随机数，与第一个累计概率依次向前比较，当第一次小于或等于某累计概率时，则将此累计概率对应的个体选出进入下一代；
步骤5.3使用特定的遗传操作完成种群的交叉
首先选择两个配对的个体DNA，配对DNA的选择首先需要计算每个个体与其他个体之间的匹配程度，个体间的匹配度计算如下所示：
Figure BDA0002215055060000041
其中，
Figure BDA0002215055060000042
表示两个配对的DNA上基因i编码是否相同，对应基因编码相同则为1，否则为0，
Figure BDA0002215055060000043
分别为两个个体的结构编码中第i个基因座上的编码信息，
Figure BDA0002215055060000044
分别为两个个体的权值编码中第i个基因座上的编码信息，ρ表示两个个体之间的匹配度；
然后选择匹配程度最高的两个个体，完成交叉操作产生新个体：对于两个个体的权值编码采用算术交叉方式，对于两个个体的结构编码则采用基于基因选择的交叉方式，两个结构编码中对应位置相同的基因保留且不变，对应位置不同的基因则根据基因所在个体的适应度(算法在个体上的准确率与所有个体上准确率之和的比值)使用轮盘选择法进行选择；
最后从剩余的个体中选择另外两个匹配度最高的两个个体进行同样的交叉操作。
步骤5.4使用特定的遗传操作完成种群的变异
针对个体的权值编码进行高斯变异，针对个体的结构编码，则遍历个体结构编码中的每一个基因座基因，随机生成一个介于0到1之间的浮点数，如果该浮点数小于算法设定的变异概率p则使用相反的字符(0与1互为相反字符)对当前对应的编码进行替换，否则保持不变；
步骤5.5获取最优个体，解码输出其对应的神经网络模型
从种群中选择算法准确率最高的个体作为最优个体，其结构编码中基因是1的位置index代表对应神经网络中连接index保留，基因是0的位置index则代表对应神经网络中连接index不存在，同时利用基因是1的所有index位置，得到权值编码中对应位置的所有权值，作为输出神经网络中连接的权值，然后根据这些解码得到的信息输出神经网络。
至此，经过步骤1到步骤5，完成了基于相关性分析的神经网络自组织遗传进化方法。
所述算法需设定的不同参数包括BP训练网络迭代次数、神经元添加个数、输入神经元个数、输出神经元个数、遗传算法迭代次数、种群中个体数、交叉概率、变异概率和连接删除百分比。
本发明基于相关性分析的神经网络自组织遗传进化算法，与现有BP神经网络算法和NEAT神经网络算法系统与方法相比，具有如下有益效果：
1.在迭代次数方面，同NEAT算法相比较，算法输出最优模型所需要的迭代次数因为其本身构建初始网络的原因大大减少了迭代生成最优神经网络模型的时间，其输出最优模型的迭代次数优于NEAT输出最优模型的迭代次数。
2.在BP调节方面，因为算法构建的神经网络模型经过算法本身的结构优化，所以其在输出最优的神经网络模型之前所进行的BP调节次数少于普通的BP神经网络所需要的调节次数。
3.通过使用不同数据集进行相关实验对算法性能(准确率)进行验证，实验结果表明算法在分类问题方面的表现相对优秀，可以应用于现在人工智能领域分类问题的研究。
附图说明
图1是实施例1中基于相关性分析的神经网络自组织遗传进化算法流程图。
图2是实施例2中基于相关性分析的神经网络自组织遗传进化算法编码方式示意图。
图3是基于相关性分析的神经网络自组织遗传进化算法中的结构优化流程图。
图4是实施例1中基于相关性分析的神经网络自组织遗传进化算法中的神经网络复杂化流程图。
图5是遗传算法基本流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明和详细描述。
实施例1
本实施例详细阐述了本发明基于相关性分析的神经网络自组织遗传进化算法在实现与应用的情况下具体实施时的算法流程。
图1是基于相关性分析的神经网络自组织遗传进化算法的流程图，算法步骤如下：
步骤1构建初始神经网络体。具在本实施例中，首先输入目标问题的数据集，并设置算法参数。
初始化神经网络是在获取输入和输出神经元个数的前提下，根据算法开始前设定的参数初始化神经网络神经元之间的连接权值和神经元的阈值，此时的神经网络只包含输入层和输出层。
步骤2根据参数初始化神经网络，使用BP算法对当前神经网络进行训练，并记录训练数据。
BP算法训练是指在算法迭代的过程中通过BP算法完成对当前神经网络中权值的训练，优化当前神经网络模型，并且在BP算法对当前神经网络训练的过程中完成对相关日志的记录，记录网络中每一条连接的权值变化的日志数据，其中包括权值变化、连接的输入(对应连接的输入神经元的输出)、连接的输出(对应连接的输出神经元的输出)。
BP算法对网络进行训练一方面是为了优化神经网络的连接的权值，提高当前神经网络的准确性；另一方面则是通过BP算法对连接权值的调节获取网络的训练日志数据，为算法的下一步提供数据。
步骤3对训练数据进行分析，获取当前神经网络中每一条连接的相关性；再根据策略完成对当前神经网络结构的优化，并验证当前神经网络模型的准确性。
获取连接有效性是指当前的神经网络中某条连接相对于整个神经网络的重要性和必要性，具体包括：
步骤3.1计算连接相关性
连接相关性是指当前的神经网络中某条连接相对于整个神经网络的重要性和必要性。使用基于皮尔逊相关系数的相关性分析方法，通过整个BP训练过程的训练日志数据来计算连接的相关性，连接i的相关性Fi的计算公式如下所示：
Figure BDA0002215055060000071
其中，Xj代表第j次训练时连接i所连输入神经元的输出值，Yj代表第j次训练时连接i所连输出神经元的输出值，
Figure BDA0002215055060000072
代表在整个BP训练过程中连接i所连输入神经元输出值的平均值，
Figure BDA0002215055060000073
代表在整个BP训练过程中连接i所连输出神经元输出值的平均值，M代表整个BP训练过程中的训练次数。
步骤3.2优化神经网络结构
结合图3，结构优化是根据设定的策略对神经网络中的每一条连接进行判断，确定其是否为无效连接，然后根据判断结果实现对当前神经网络模型的结构进行优化的过程，根据连接相关性计算第i条连接被删除的概率Pi的公式如下所示：
Figure BDA0002215055060000081
其中Pi表示第i条连接被删除的概率，Fi代表第i条连接的相关性，N代表连接条数；此时连接的相关性越小，被删除的概率就越大，然后使用轮盘赌法随机选择连接并删除，最后验证得到的神经网络中被删除的连接数与删除之前连接总数的百分比，是否达到算法开始前设定的连接删除百分比阈值τ(取值范围0～1)，是则进入下一步，否则重复步骤3.2。
步骤4复杂化神经网络，判断当前神经网络模型是否符合算法迭代条件，是则进行下一步，否则根据策略实现对当前神经网络的复杂化并返回继续用BP算法训练，最后输出当前神经网络模型作为种子网络。
具体地，如果优化后的神经网络模型性能达到输出神经网络模型的要求，并且算法错误率满足开始时设定的条件时，则输出神经网络；否则根据算法参数n将构建的n个神经元逐个添加到神经网络中，构建新添加的神经元与输入神经元和输出神经元之间的全连接，返回步骤2依次执行，重新训练并优化神经网络。
图4是算法的神经网络复杂化流程图。考虑到算法迭代时间，建议参数n的取值在[nin,nout]区间中取值，其中nin和nout分别对应输入与输出神经元个数。首先根据算法参数n构建相应数量的神经元，假设n＝10,则添加10个新的神经元，然后将构建的神经元逐个添加到神经网络中，最后构建新添加的神经元与输入神经元和输出神经元之间的全连接。
步骤5融合遗传进化算法迭代神经网络，输出最优神经网络模型，即采用设计的编码方式对种子网络进行编码，完成种群的初始化；使用特定的遗传操作完成种群的迭代；获取最优个体，解码输出其对应的神经网络模型。结合图5，其具体步骤包括：
步骤5.1对种子网络进行编码
将上述步骤产生的神经网络作为种子网络，采用算法设计的双链DNA对神经网络进行编码的方式，对种子网络进行编码(编码方法和编码过程参考实施例2)，通过对神经网络的编码，将神经网络编码转化为生物学中的个体，然后根据算法开始前设定的种群中个体数量参数完成种群的初始化，根据算法开始前设置的遗传算法迭代次数，迭代执行步骤5.2至步骤5.4，实现种群的遗传算法：
步骤5.2使用特定的遗传操作完成种群的选择
为了保证种群中物种的多样性，以及优良个体的输出，算法采用轮盘选择法与最优个体保留法同时作为选择算子：首先选择当前种群中的一个个体作为最优个体(算法在此个体上的准确率最高)，然后依次验证其他个体是否优于当前最优个体，如果优于当前最优个体则进行替换，最后再将最优个体放入下一代；
同时使用轮盘选择法从剩余个体中挑选个体进入下一代种群，轮盘选择法实现如下：将算法在个体上的准确率与所有个体上准确率之和的比值作为个体被选中的概率，对所有个体被选中的概率序列化，计算所有个体的累计概率，即每个个体与之后所有个体被选中概率的和，然后生成0～1之间的随机数，与第一个累计概率依次向前比较，当第一次小于或等于某累计概率时，则将此累计概率对应的个体选出进入下一代；
步骤5.3使用特定的遗传操作完成种群的交叉
首先选择两个配对的个体DNA，配对DNA的选择首先需要计算每个个体与其他个体之间的匹配程度，个体间的匹配度计算如下所示：
Figure BDA0002215055060000091
其中，
Figure BDA0002215055060000092
表示两个配对的DNA上基因i编码是否相同，对应基因编码相同则为1，否则为0，
Figure BDA0002215055060000093
分别为两个个体的结构编码中第i个基因座上的编码信息，
Figure BDA0002215055060000101
分别为两个个体的权值编码中第i个基因座上的编码信息，ρ表示两个个体之间的匹配度；
然后选择匹配程度最高的两个个体，完成交叉操作产生新个体：对于两个个体的权值编码采用算术交叉方式，对于两个个体的结构编码则采用基于基因选择的交叉方式，两个结构编码中对应位置相同的基因保留且不变，对应位置不同的基因则根据基因所在个体的适应度(算法在个体上的准确率与所有个体上准确率之和的比值)使用轮盘选择法进行选择；
最后从剩余的个体中选择另外两个匹配度最高的两个个体进行同样的交叉操作。
步骤5.4使用特定的遗传操作完成种群的变异
针对个体的权值编码进行高斯变异，针对个体的结构编码，则遍历个体结构编码中的每一个基因座基因，随机生成一个介于0到1之间的浮点数，如果该浮点数小于算法设定的变异概率p则使用相反的字符(0与1互为相反字符)对当前对应的编码进行替换，否则保持不变；
步骤5.5获取最优个体，解码输出其对应的神经网络模型
从种群中选择算法准确率最高的个体作为最优个体，其结构编码中基因是1的位置index代表对应神经网络中连接index保留，基因是0的位置index则代表对应神经网络中连接index不存在，同时利用基因是1的所有index位置，得到权值编码中对应位置的所有权值，作为输出神经网络中连接的权值，然后根据这些解码得到的信息输出神经网络。
至此，经过步骤1到步骤5，完成了基于相关性分析的神经网络自组织遗传进化方法。
实施例2
本实施例详细阐述了本发明基于相关性分析的神经网络自组织遗传进化算法在运用遗传算法对种子网络编码的情况下具体实施时的实例。
图2是基于相关性分析的神经网络自组织遗传进化算法编码方式示意图，该图为算法的编码方式针对一个简单的初始神经网络的编码示意图，在神经网络模型中虚线代表神经网络模型在算法的迭代过程中删除的连接，实线表示当前神经网络模型中存在的连接。结构编码是针对神经网络模型结构的编码，结构编码是一种符号编码方式，1和0分别代表连接的建立和断开，编码的长度和算法初始阶段生成神经网络模型到输出迭代模型之前的建立连接的总个数相同，即神经网络的结构编码包含了所有连接的建立和连接的信息，并且每一个基因座对应固定的连接。权值编码是对神经网络模型的权值进行编码的编码方式，权值编码是一种浮点编码方式，其不仅对当前连接的权值进行编码，还会对历史连接(在初始网络迭代阶段删除的连接)的权值进行编码，包含神经网络模型从初始阶段到模型输出这一过程中的全部信息，并且每一个基因座固定对应一个连接的连接权值，权值分别为0.1，4.1，1.6，1.5，0.1，1.9，3.1，8.1，10，1.8，6.1。在图2中每个连接的编号是其对应的基因座编号index，每个连接拥有唯一且固定的index，从0到10。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (8)

1.一种基于相关性分析的神经网络自组织遗传进化算法，其特征在于，包括：
步骤1，构建初始神经网络，初始神经网络只包含输入层和输出层；
步骤2，采用BP算法训练网络，并记录训练日志数据；
步骤3，获取连接相关性，优化神经网络；
步骤4，复杂化神经网络；
步骤5，融合遗传进化算法迭代神经网络，输出最优神经网络模型。
2.根据权利要求1所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述步骤1中，初始神经网络是在获取输入和输出神经元个数的前提下，根据设定的参数初始化神经网络神经元之间的连接权值和神经元的阈值。
3.根据权利要求1所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述步骤2中，在算法迭代的过程中通过BP算法完成对当前神经网络中权值的训练，优化当前神经网络模型，并且在BP算法对当前神经网络训练的过程中完成对相关日志的记录，记录网络中每一条连接的权值变化的日志数据，其中包括权值变化、连接的输入、连接的输出。
4.根据权利要求1所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述步骤3中，具体包括：
步骤3.1，计算连接相关性
连接相关性是指当前神经网络中某条连接相对于整个神经网络的重要性和必要性，使用基于皮尔逊相关系数的相关性分析方法，通过整个BP训练过程的训练日志数据来计算连接的相关性，连接i的相关性Fi的计算公式如下所示：
Figure FDA0002215055050000021
其中，Xj代表第j次训练时连接i所连输入神经元的输出值，Yj代表第j次训练时连接i所连输出神经元的输出值，代表在整个BP训练过程中连接i所连输入神经元输出值的平均值，
Figure FDA0002215055050000023
代表在整个BP训练过程中连接i所连输出神经元输出值的平均值，M代表整个BP训练过程中的训练次数；
步骤3.2，优化神经网络结构
结构优化是根据设定的策略对神经网络中的每一条连接进行判断，确定其是否为无效连接，然后根据判断结果实现对当前神经网络模型的结构进行优化的过程，根据连接相关性计算第i条连接被删除的概率Pi的公式如下所示：
其中Pi表示第i条连接被删除的概率，Fi代表第i条连接的相关性，N代表连接条数；此时连接的相关性越小，被删除的概率就越大，然后使用轮盘赌法随机选择连接并删除，最后验证得到的神经网络中被删除的连接数与删除之前连接总数的百分比，是否达到算法开始前设定的连接删除百分比阈值τ，是则进入下一步，否则重复步骤3.2。
5.根据权利要求4所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述百分比阈值τ取值范围0～1。
6.根据权利要求1所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述步骤4中，如果优化后的神经网络模型性能达到输出神经网络模型的要求，并且算法错误率满足开始时设定的条件，则输出神经网络；否则根据算法参数n将构建的n个神经元逐个添加到神经网络中，构建新添加的神经元与输入神经元和输出神经元之间的全连接，返回步骤2依次执行，重新训练并优化神经网络。
7.根据权利要求1所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述步骤5中，具体包括：
步骤5.1，对种子网络进行编码
将经过步骤1-4产生的神经网络作为种子网络，采用双链DNA对神经网络进行编码的方式，对种子网络进行编码，通过对神经网络的编码，将神经网络编码转化为生物学中的个体，然后根据设定的种群中个体数量参数完成种群的初始化，根据设置的遗传算法迭代次数，迭代执行步骤5.2至步骤5.4，实现种群的遗传算法：
步骤5.2，使用特定的遗传操作完成种群的选择
采用轮盘选择法与最优个体保留法同时作为选择算子：首先选择当前种群中的一个个体作为最优个体，然后依次验证其他个体是否优于当前最优个体，如果优于当前最优个体则进行替换，最后再将最优个体放入下一代；
同时使用轮盘选择法从剩余个体中挑选个体进入下一代种群，轮盘选择法实现如下：将算法在个体上的准确率与所有个体上准确率之和的比值作为个体被选中的概率，对所有个体被选中的概率序列化，计算所有个体的累计概率，即每个个体与之后所有个体被选中概率的和，然后生成0～1之间的随机数，与第一个累计概率依次向前比较，当第一次小于或等于某累计概率时，则将此累计概率对应的个体选出进入下一代；
步骤5.3，使用特定的遗传操作完成种群的交叉
首先选择两个配对的个体DNA，配对DNA的选择首先需要计算每个个体与其他个体之间的匹配程度，个体间的匹配度计算如下所示：
其中，表示两个配对的DNA上基因i编码是否相同，对应基因编码相同则为1，否则为0，
Figure FDA0002215055050000033
分别为两个个体的结构编码中第i个基因座上的编码信息，
Figure FDA0002215055050000041
分别为两个个体的权值编码中第i个基因座上的编码信息，ρ表示两个个体之间的匹配度；
然后选择匹配程度最高的两个个体，完成交叉操作产生新个体：对于两个个体的权值编码采用算术交叉方式，对于两个个体的结构编码则采用基于基因选择的交叉方式，两个结构编码中对应位置相同的基因保留且不变，对应位置不同的基因则根据基因所在个体的适应度使用轮盘选择法进行选择；
最后从剩余的个体中选择另外两个匹配度最高的两个个体进行同样的交叉操作；
步骤5.4，使用特定的遗传操作完成种群的变异
针对个体的权值编码进行高斯变异，针对个体的结构编码，则遍历个体结构编码中的每一个基因座基因，随机生成一个介于0到1之间的浮点数，如果该浮点数小于设定的变异概率p则使用相反的字符对当前对应的编码进行替换，否则保持不变；
步骤5.5，获取最优个体，解码输出其对应的神经网络模型
从种群中选择算法准确率最高的个体作为最优个体，其结构编码中基因是1的位置index代表对应神经网络中连接index保留，基因是0的位置index则代表对应神经网络中连接index不存在，同时利用基因是1的所有index位置，得到权值编码中对应位置的所有权值，作为输出神经网络中连接的权值，然后根据这些解码得到的信息输出神经网络。
8.根据权利要求1-7任一权利要求所述基于相关性分析的神经网络自组织遗传进化算法，其特征在于，所述设定的不同参数包括BP训练网络迭代次数、神经元添加个数、输入神经元个数、输出神经元个数、遗传算法迭代次数、种群中个体数、交叉概率、变异概率和连接删除百分比。
CN201910912280.6A 2019-09-25 2019-09-25 一种基于相关性分析的神经网络自组织遗传进化算法 Pending CN110705704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910912280.6A CN110705704A (zh) 2019-09-25 2019-09-25 一种基于相关性分析的神经网络自组织遗传进化算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910912280.6A CN110705704A (zh) 2019-09-25 2019-09-25 一种基于相关性分析的神经网络自组织遗传进化算法

Publications (1)

Publication Number Publication Date
CN110705704A true CN110705704A (zh) 2020-01-17

Family

ID=69196340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912280.6A Pending CN110705704A (zh) 2019-09-25 2019-09-25 一种基于相关性分析的神经网络自组织遗传进化算法

Country Status (1)

Country Link
CN (1) CN110705704A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898689A (zh) * 2020-08-05 2020-11-06 中南大学 一种基于神经网络架构搜索的图像分类方法
CN112163068A (zh) * 2020-09-25 2021-01-01 山东电力研究院 一种基于自主进化学习器的信息预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898689A (zh) * 2020-08-05 2020-11-06 中南大学 一种基于神经网络架构搜索的图像分类方法
CN111898689B (zh) * 2020-08-05 2023-09-26 中南大学 一种基于神经网络架构搜索的图像分类方法
CN112163068A (zh) * 2020-09-25 2021-01-01 山东电力研究院 一种基于自主进化学习器的信息预测方法及系统

Similar Documents

Publication Publication Date Title
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
Jia et al. A new optimized GA-RBF neural network algorithm
CN110490320B (zh) 基于预测机制和遗传算法融合的深度神经网络结构优化方法
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN107392919A (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN113537365B (zh) 一种基于信息熵动态赋权的多任务学习自适应平衡方法
WO2023116111A1 (zh) 一种磁盘故障预测方法及装置
CN111126549A (zh) 一种基于策略改进樽海鞘智能算法的双星光谱拟合方法
CN110705704A (zh) 一种基于相关性分析的神经网络自组织遗传进化算法
CN106897744A (zh) 一种自适应设置深度置信网络参数的方法及系统
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN112084877A (zh) 基于nsga-net的遥感图像识别方法
CN114819143A (zh) 一种适用于通信网现场维护的模型压缩方法
CN115761735A (zh) 一种基于自适应伪标签纠正的半监督语义分割方法
CN112836794B (zh) 一种图像神经架构的确定方法、装置、设备及存储介质
CN114625882A (zh) 提高图像文本描述独特多样性的网络构建方法
CN113257359A (zh) 一种基于CNN-SVR的CRISPR/Cas9向导RNA编辑效率预测方法
CN111259938B (zh) 基于流形学习和梯度提升模型的图片偏多标签分类方法
CN109862625B (zh) 一种基于深度学习的短波测向灵活组网方法
CN107507210B (zh) 一种基于遗传算法的图像边缘检测方法及装置
CN110212922A (zh) 一种极化码自适应译码方法及系统
CN116312748A (zh) 基于多头注意力机制的增强子-启动子相互作用预测模型构建方法
CN115620046A (zh) 一种基于半监督性能预测器的多目标神经架构搜索方法
CN113539358B (zh) 基于Hilbert编码的增强子-启动子相互作用预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117