CN105279555A - 一种基于进化算法的自适应学习神经网络实现方法 - Google Patents

Abstract

本发明属于神经网络计算技术领域，为一种基于进化算法的自适应学习神经网络实现方法，以某种或者某几种已知的神经网络作为进化算法的最初父代，通过进化算法整合作为所述最初父代的各个神经网络的特点，从而得到最优的输出值，本发明通过对神经网络实现的电路进行二进制编码，将编码所得到的结果作为一个个体的染色体，各个染色体构成生物体的原始种群，即最初父代，本发明突破以往只是利用进化算法对神经网络权值进行寻优的情形，实现利用进化算法对神经网络组织形式、网络间的连接权值和网络计算方法等方式同时进行寻优，增强网络自由度，扩大寻优范围；初始得到一个较为简单的网络，在后天学习中，通过算法加大网络的复杂度。

Description

一种基于进化算法的自适应学习神经网络实现方法

技术领域

本发明属于神经网络计算技术领域，涉及多种可学习神经网络结构的实现与及进化算法在网络计算中的优化，特别涉及一种基于进化算法的自适应学习神经网络实现方法。

背景技术

目前对神经网络的研究大概可分为三种主流结构模式：感知型神经网络(Perceptronneuralnetwork)、反馈型神经网络(Back-propagateneuralnetwork)和深度学习神经网络(DeepLearningneuralnetwork)。每种网络都有其自身的特点，就总体性能上来说深度学习网络在图片识别中的表现性能优于其他两种。

感知型神经网络只有三层结构，第一层通常人为的对目标的特征进行抽象，第二层为计算网络，通过学习算法来改变第一层抽象出的特征的权值来实现对象识别，第三层作为输出层，输出计算结果。其优点是学习算法简单，从硬件上易于实现，但它本身有个先天性的缺陷，即只能实现目标特征可分离的问题，无法实现一些复杂逻辑。第二种是反向传播网络。相比于感知型网络，该结构可以实现更为复杂的算法，网络深度也有所增加。该结构通过输出反向调节前一层的突触权值，使得最后得到一个收敛的结果。然而这种结构存在学习时间对电路参数选择过于敏感的问题，如果参数选择不当，很可能得不到一个稳定的收敛结果。目前这种结构的神经网络已经运用于模式识别、系统仿真、故障智能诊断等方面。第三种是深度学习网络。随着人类对大脑的深入理解，生物学家发现，大脑处理问题的过程是通过层层特征提取，本级的输出结果为对上一级的抽象结果。深度学习的实质，是通过构建具有多个隐藏层的学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：首先，其强调模型结构的深度，通常有5-6层，甚至有更多层的隐藏节点；其次，其明显突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。但就实现结构上来说深度学习网络的复杂度比较高，识别准确度与训练次数有很大关系。

进化算法是通过模仿自然界的选择与遗传的机理来寻找最优解。进化算法有三个基本算子：选择、交叉和变异。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于进化算法的自适应学习神经网络实现方法，通过进化算法来控制某种或者某几种已知的神经网络算法形成的电路，实现在神经网络间的寻优；对于上述算法的硬件验证，本发明利用现场可编程门阵列(FPGA)完成，FPGA内部大部分都包括两种可配置逻辑模单元，一种是具有存储和逻辑运算功能的逻辑片(SLICEM)，另一种是只含有逻辑运算功能的逻辑片(SLICEL)，为了加快开发效率，本发明将使用FPGA模拟器仿真FPGA行为，由于真实的FPGA的运行速率与工作频率有关，但通过模拟器就可以克服这些不良因素。通过模拟器得到最终所需电路的连接方式后，再映射到实际的FPGA硬件上。

为了实现上述目的，本发明采用的技术方案是：

一种基于进化算法的自适应学习神经网络实现方法，以某种或者某几种已知的神经网络作为进化算法的最初父代，通过进化算法整合作为所述最初父代的各个神经网络的特点，从而得到最优的输出值。

其中，所述最初父代的获取方法为：通过对神经网络实现的电路进行二进制编码，将编码所得到的结果作为一个个体的染色体，从而实现了从硬件结构到算法原始数据的抽象，各个染色体构成生物体的原始种群，即最初父代。

进一步地，以每个神经网络的算法分别实现对特定物体的识别，将识别训练完成后得到的信息抽象成为一段二进制编码，将该编码视为生物的基因编码，作为一个个体的染色体。

所述进化算法步骤如下：

步骤1.评估每条染色体所对应个体的适应度；

步骤2.遵照适应度越高，选择概率越大的原则，从种群中选择若干个个体作为父代；

步骤3.抽取父母双方的染色体，进行交叉，产生子代；

步骤4.对子代的染色体进行变异；

步骤5.重复2，3，4步骤，直到新种群的产生，运行N代，从中选出表现最优的输出值。

本发明以训练感知型、反馈型、深度学习三种神经网络作为进化算法的最初父代，对其进行训练，使其具备初步识别图片中特定目标的功能，训练过程在FPGA模拟器上完成，识别完成后得到这三个网络的配置信息，将该配置信息抽象成为一段二进制编码，将该编码视为生物的基因编码，即三个个体的染色体。

所述最初父代的获取基于FPGA实现，包括如下步骤：

步骤1.利用C++编写的vertex7系FPGA模拟器模拟FPGA硬件结构，利用该模拟器分别搭建训练感知型、反馈型、深度学习三种神经网络并且训练，训练最终结果为得到三种神经网络对应的电路配置信息；

具体地，利用C++编写的vertex7系FPGA模拟器模拟FPGA各个功能单元的行为，从而实现对FPGA电路行为的模拟。

步骤2.感知型神经网络分三层，第一层为输入层，第二层为隐藏层，第三层为输出层，层与层之间有一个权值矩阵W1，通过识别图片中的特定物体来训练权值矩阵W1，最终得到一个稳定的输出结果，该训练过程主要通过不断输入图像特征信息，然后不断微调权值信息，最后得到所需要的输出，则完成训练过程，最后提取出训练完成时对应的配置信息；

步骤3.反馈型神经网络前向传播有三层，第一层输入层，第二层为隐藏层，第三层为输出层，在每层网络间有权值矩阵W2，通过输入图像特征训练得到最终的配置信息，该训练过程通过调节反馈的权值来使得得到稳定的输出，最后提取出训练完成时对应的配置信息；

在每层网络间有权值矩阵W2，通过输入图像特征训练得到最终的配置信息，该训练过程通过调节反馈的权值来使得得到稳定的输出，最后提取出训练完成时对应的配置信息；

步骤4.深度学习神经网络采用七层的卷积神经网络，前五层采用局部连接，后两层采用全连的方式，通过层层训练每层的权值信号W3，得到稳定的网络结构，最后提取出训练完成时对应的配置信息。

所述卷积神经网络的训练采用分层训练法，每一层网络单独训练，下一层网络在上一层网络的输出基础上进行训练，最后得到预期的输出结果。

利用得到的三种神经网络的配置信息，通过如下算法求解一个最优的电路结构：

步骤1.将得到的配置信息编码为二进制的基因序列；

步骤2.编码完成后，确定进化算法的适应函数F，用于评价每个个体对当前环境的适应度G，G用于确定哪些个体可以被留下，哪些被淘汰，通过概率来表征个体存在的可能性，从而确定哪些基因可以被遗传给下一代，其中：

$F_j=\frac{1}{min{(Y_i-y)}^2}$

$G=\frac{F_j}{{\mathrm{\Σ}}_{j=1}^3{F}_j}$

Y_i为当前网络的输出值，第i次输入得到的网络输出结果为Y_i，y为预期的输出值，F_j为从y中选择最适合目标预期的一组Y，此时Y_i与输出y的方差最小，j的取值为1或2或3，表示三种网络所对应的输出F，F包含F_j的所有值，为F_j的一组向量，F越大表示其适应环境的能力越强，通过适应度G的大小确定可被遗传给下一代的概率，即G越大，遗传给下一代的概率越大；

步骤3.通过遗传算子确定基因如何遗传给下一代，完成第一代个体的进化；

步骤4.将得到的新的个体重复到步骤2中，重新计算每个个体的适应函数F，同时确定每个个体的适应度G，进化到N代时，停止算法，选出其中表现最优的个体，确定该个体的基因编码，将该编码通过所述FPGA映射成电路。

所述步骤2中设定：如果概率小于0.1则将该个体淘汰；所述步骤4中设定进化到50代时，停止算法。

所述步骤3中遗传算子为交叉和变异，所述交叉采用随机交叉策略，每次交叉的地方都有计算机产生的随机数确定，同时变异也采用随机变异，交叉的概率定为0.7，变异的概率定为0.02。

所述步骤1中，利用C++编写的vertex7系FPGA模拟器模拟FPGA各个功能单元的行为，从而实现对FPGA电路行为的模拟。

与现有技术相比，本发明通过进化算法改变神经网络结构，可同时实现对神经网络的组织形式，连接权重，计算方法等，进行调节，本发明以某种或者某几种已知的神经网络作为进化算法的最初父代，通过进化算法整合三种网络的特点，从而得到最优的输出值。

目前对神经网络的探索基本都集中在对于其中某个特定网络的优化。本发明引入进化算法作为中介，通过进化算法来整合几种网络优点，从而得到一个更优的网络。通过进化算法来整合神经网络的方式可以不用知道网络的具体结构，从而避免人为因素所引入的一些先念影响，让网络往全局最优的方向进化。

利用进化算法整合网络结构的核心问题在于通过何种方式让神经网络和遗传算法联系到一起。本发明通过对神经网络实现的电路进行二进制编码，将编码所得到的结果作为一个个体的染色体，此处编码就实现了从硬件结构到算法原始数据的抽象。本发明中利用了三种典型方法实现神经网络，所以可以得到三组染色体。这三组染色体就构成了生物体的原始种群，即最初父代。之后就可以采用进化算法的一般步骤。

附图说明

图1是本发明实施例中vertex7可编程器件的逻辑片(slice)原理图。

图2是整个实施过程的流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明一种基于进化算法的自适应学习神经网络实现方法，以某种或者某几种已知的神经网络作为进化算法的最初父代，通过进化算法整合作为所述最初父代的各个神经网络的特点，从而得到最优的输出值，其中，所述最初父代的获取方法为：通过对神经网络实现的电路进行二进制编码，将编码所得到的结果作为一个个体的染色体，从而实现了从硬件结构到算法原始数据的抽象，各个染色体构成生物体的原始种群，即最初父代。

本实施例中，以每个神经网络的算法分别实现对特定物体的识别，将识别训练完成后得到的信息抽象成为一段二进制编码，将该编码视为生物的基因编码，作为一个个体的染色体。

之后采用进化算法的一般步骤：

步骤1.评估每条染色体所对应个体的适应度；

步骤2.遵照适应度越高，选择概率越大的原则，从种群中选择若干个个体作为父代；

步骤3.抽取父母双方的染色体，进行交叉，产生子代；

步骤4.对子代的染色体进行变异；

步骤5.重复步骤2，3，4，直到新种群的产生，运行N代，从中选出表现最优的输出值。

本实施例中，以训练感知型、反馈型、深度学习三种神经网络作为进化算法的最初父代，对其进行训练，使其具备初步识别图片中特定目标的功能，训练过程在FPGA模拟器上完成，识别完成后得到这三个网络的配置信息，将该配置信息抽象成为一段二进制编码，将该编码视为生物的基因编码，即三个个体的染色体。利用FPGA实现主要包括如下步骤：

步骤1，模拟vertex7系FPGA的硬件结构，FPGA中逻辑片(slice)的基本结构如图1所示，利用C++实现FPGA的模拟器，即模拟FPGA各个功能单元的行为，从而实现对FPGA电路行为的模拟；

步骤2，由于FPGA实现电路的本质是通过改变比特文件(二进制文件)去得到所需的电路，所以一种电路结构即对应一组二进制信号。在该FPGA模拟器上分别实现感知型、反馈型和深度学习神经网络，并从模拟器中提取出形成网络的配置信息。由此得到三组二进制信号，将这三组二进制信号等效为个体的染色体。

步骤3，在步骤2中得到的染色体上，采用进化算法对电路的编码进行优化，最后选出一个最优的结果。

步骤4，将步骤3中的得到的结果即一组二进制的配置文件，配置到实际的FPGA中，得到可运作的硬件电路。

具体地，为具体对图像中的特定目标进行识别学习，首先需要训练感知型、反馈型、深度学习三种神经网络的网络结构，让这三个网络具有初步识别图片中特定目标的功能。这三个神经网络训练的训练过程均在FPGA模拟器上完成，这样有利于加快模拟速度。识别完成后得到这三个网络的配置信息，即三组基因编码，也可称为三个个体的染色体，再利用进化算法进行相关优化。

具体地，包括以下两大步骤：

步骤一，在FPGA模拟器平台上搭建三种神经网络结构，分别学习识别同一图像中特定物体，并得到相应的三组染色体编码。

1.利用C++编写的vertex7系FPGA模拟器模拟FPGA硬件结构，利用该模拟器分别搭建这三种神经网络并且训练，训练最终结果为得到三种神经网络对应的电路配置信息。

2.感知型神经网络可分三层，第一层为输入层，第二层为隐藏层，第三层为输出层。层与层之间有一个权值矩阵W1，通过识别图片中的特定物体来训练权值矩阵W1，最终得到一个稳定的输出结果。该训练过程主要通过不断输入图像特征信息，然后不断微调权值信息，最后得到想要的输出，则完成训练过程。提取出训练完成时网络对应的配置信息。

3.反馈型神经网络前向传播同样也有三层，但不同的是有一层反馈传播层。同样在每层网络间也有权值矩阵W2，通过输入图像特征训练得到最终的配置信息。本次训练过程与感知型网络训练最大的不同在于，需通过调节反馈的权值来使得最后得到稳定的输出。同样地，需提取出训练完成时网络对应的配置信息。

4.深度学习神经网络包含两种卷积神经网络(ConvolutionalNeuralNetworks)和深度信任神经网络(DeepBeliefNetworks)，由于本发明主要进行图像识别，所以采用卷积神经网络结构。本实施例采用七层的卷积神经网络，前面五层采用局部连接，后面两层采用全连的方式。通过层层训练每层的权值信号W3，得到稳定的网络结构，最后提取出相应的配置信息。对于卷积神经网络的训练采用分层训练法，每一层网络单独训练，下一层网络在上一层网络的输出基础上进行训练，最后得到预期的输出结果。则该网络训练完成。同样地，需提取出训练完成时网络对应的配置信息。

5.通过上述方法得到三种神经网络对应的配置信息后，转入步骤二。

步骤二，利用进化算法求解一个最优的电路结构，使得识别效率达到最高。

1.将步骤一中得到的配置信息，编码为二进制的基因编码。由于FPGA的配置信息本身就为一些二进制信号，所以可以直接利用配置信息作为基因编码，不需要过多复杂的编码过程。

2.编码完成后，确定进化算法的适应函数F，用于评价每个个体对当前环境的适应度G，G用于确定哪些个体可以被留下，哪些被淘汰，通过概率来表征个体存在的可能性，从而确定哪些基因可以被遗传给下一代，其中：

$F_j=\frac{1}{min{(Y_i-y)}^2}$

$G=\frac{F_j}{{\mathrm{\Σ}}_{j=1}^3{F}_j}$

Y_i为当前网络的输出值，第i次输入得到的网络输出结果为Y_i，y为预期的输出值，F_j为从y中选择最适合目标预期的一组Y，此时Y_i与与输出y的方差最小，j的取值为1或2或3，表示三种网络所对应的输出F，F包含F_j的所有值，为F_j的一组向量，函数F越大表示其适应环境的能力越强，G函数公式为“赌轮”算法的一种表达式，通过适应度G的大小确定可被遗传给下一代的概率，其中G为最终的到的遗传概率，即G越大，遗传给下一代的概率越大；在本实施例中设定如果概率小于0.1则将该个体淘汰。

3.通过上面两步已经可以确定哪些基因可以被遗传给下一代。下一步将确定这些基因如何遗传给下一代，即通过遗传算子。遗传算子主要为交叉和变异。此处采用随机交叉策略，每次交叉的地方都由计算机产生的随机数确定，同时变异也采用随机变异。交叉的概率定为0.7，变异的概率定为0.02.下面给出一个交叉和变异的实例：

交叉情况：如有两个体：

S1＝10100011S2＝01001100

如果计算机产生的随机数为4，则在第四个位置发生交叉得到新的序列，新个体为：

S1＝01000011S2＝10101100

变异情况：如有个体S＝10011010，若计算机产生随机数4，则在第四个位置发生变异，从而得到新的个体S＝10001010。

该步骤完成后，则第一代个体的进化完成。

4.将得到的新的个体重复到步骤2中，重新计算每个个体的适应函数，同时确定每个个体的适应度，进化到50代时，停止算法。选出其中表现最优的个体，确定该个体的基因编码。将该编码通过实际的FPGA映射成电路。

上述过程为本发明采用FPGA验证实例，同时可说明通过本发明可得到优化结果。这也说明了将进化算法作为一个对神经网络算法群寻优是确实可行的。此外如果想要得到一个更优的优化结果有两种方法可以对上述结果进行优化：第一，扩大初始个体的数量，本发明只提及了利用三个个体作为初始值，但实际上只要方案可行，可以加入任意大小的初始个体；第二，加大进化的代数N，本发明设定为50代，如果需要更高的精确度，可以设定更多的代数。

综上，本发明首先以某种或者某几种已知的神经网络算法分别实现对特定物体的识别，将识别训练完成后得到上述网络抽象成为一段二进制编码。其后，将该二进制编码视为生物的基因编码。将上述生物基因视为进化算法的初始种群大小，即进化算法的第一代。之后确定相应的适应函数、交叉变异规则、交叉变异概率与及相应的淘汰机制。进化若干代后(进化代数可根据实际精度需求来确定，代数越多则精度越高)停止。从最后一代中选出表现最优的基因。将该基因转译为FPGA的配置信息，利用该信息完成对实际FPGA硬件的配置。

以上仅为本发明较佳实例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1.一种基于进化算法的自适应学习神经网络实现方法，其特征在于：以某种或者某几种已知的神经网络作为进化算法的最初父代，通过进化算法整合作为所述最初父代的各个神经网络的特点，从而得到最优的输出值。

2.根据权利要求1所述基于进化算法的自适应学习神经网络实现方法，其特征在于，所述最初父代的获取方法为：通过对神经网络实现的电路进行二进制编码，将编码所得到的结果作为一个个体的染色体，从而实现了从硬件结构到算法原始数据的抽象，各个染色体构成生物体的原始种群，即最初父代。

3.根据权利要求1所述基于进化算法的自适应学习神经网络实现方法，其特征在于，以每个神经网络的算法分别实现对特定物体的识别，将识别训练完成后得到的信息抽象成为一段二进制编码，将该编码视为生物的基因编码，作为一个个体的染色体。

4.根据权利要求1所述基于进化算法的自适应学习神经网络实现方法，其特征在于，根据最初父代，由初始较为简单的神经网络，逐步增减新的连接方式，得到新的复杂的神经网络。

5.根据权利要求1所述基于进化算法的自适应学习神经网络实现方法，其特征在于，所述进化算法步骤如下：

步骤1.评估每条染色体所对应个体的适应度；

步骤2.遵照适应度越高，选择概率越大的原则，从种群中选择若干个个体作为父代；

步骤3.抽取父母双方的染色体，进行交叉，产生子代；

步骤4.对子代的染色体进行变异；

步骤5.重复2，3，4步骤，直到新种群的产生，运行N代，从中选出表现最优的输出值。

6.根据权利要求1所述基于进化算法的自适应学习神经网络实现方法，其特征在于，以训练感知型、反馈型、深度学习三种神经网络作为进化算法的最初父代，对其进行训练，使其具备初步识别图片中特定目标的功能，训练过程在FPGA模拟器上完成，识别完成后得到这三个网络的配置信息，将该配置信息抽象成为一段二进制编码，将该编码视为生物的基因编码，即三个个体的染色体。

7.根据权利要求6所述基于进化算法的自适应学习神经网络实现方法，其特征在于，所述最初父代的获取基于FPGA实现，包括如下步骤：

步骤1.利用C++编写的vertex7系FPGA模拟器模拟FPGA硬件结构，利用该模拟器分别搭建训练感知型、反馈型、深度学习三种神经网络并且训练，训练最终结果为得到三种神经网络对应的电路配置信息；

步骤2.感知型神经网络分三层，第一层为输入层，第二层为隐藏层，第三层为输出层，层与层之间有一个权值矩阵W1，通过识别图片中的特定物体来训练权值矩阵W1，最终得到一个稳定的输出结果，该训练过程主要通过不断输入图像特征信息，然后不断微调权值信息，最后得到所需要的输出，则完成训练过程，最后提取出训练完成时对应的配置信息；

步骤3.反馈型神经网络前向传播有三层，第一层输入层，第二层为隐藏层，第三层为输出层，在每层网络间有权值矩阵W2，通过输入图像特征训练得到最终的配置信息，该训练过程通过调节反馈的权值来使得得到稳定的输出，最后提取出训练完成时对应的配置信息；

步骤4.深度学习神经网络采用七层的卷积神经网络，前五层采用局部连接，后两层采用全连的方式，通过层层训练每层的权值信号W3，得到稳定的网络结构，最后提取出训练完成时对应的配置信息。

8.根据权利要求7所述基于进化算法的自适应学习神经网络实现方法，其特征在于，所述卷积神经网络的训练采用分层训练法，每一层网络单独训练，下一层网络在上一层网络的输出基础上进行训练，最后得到预期的输出结果。

9.根据权利要求7所述基于进化算法的自适应学习神经网络实现方法，其特征在于，利用得到的三种神经网络的配置信息，通过如下算法求解一个最优的电路结构：

步骤1.将得到的配置信息编码为二进制的基因序列；

步骤2.编码完成后，确定进化算法的适应函数F，用于评价每个个体对当前环境的适应度G，G用于确定哪些个体可以被留下，哪些被淘汰，通过概率来表征个体存在的可能性，从而确定哪些基因可以被遗传给下一代，其中：

$F_j=\frac{1}{min{(Y_i-y)}^2}$

$G=\frac{F_j}{{\mathrm{\Σ}}_{j=1}^3{F}_j}$

Y_i为当前网络的输出值，第i次输入得到的网络输出结果为Y_i，y为预期的输出值，F_j为从y中选择最适合目标预期的一组Y，此时Y_i与输出y的方差最小，j的取值为1或2或3，表示三种网络所对应的输出F，F包含F_j的所有值，为F_j的一组向量，F越大表示其适应环境的能力越强，通过适应度G的大小确定可被遗传给下一代的概率，即G越大，遗传给下一代的概率越大；

步骤3.通过遗传算子确定基因如何遗传给下一代，完成第一代个体的进化；

步骤4.将得到的新的个体重复到步骤2中，重新计算每个个体的适应函数F，同时确定每个个体的适应度G，进化到N代时，停止算法，选出其中表现最优的个体，确定该个体的基因编码，将该编码通过所述FPGA映射成电路。

10.根据权利要求9所述基于进化算法的自适应学习神经网络实现方法，其特征在于，所述步骤2中设定：如果概率小于0.1则将该个体淘汰；所述步骤4中设定进化到50代时，停止算法；所述步骤3中遗传算子为交叉和变异，交叉采用随机交叉策略，每次交叉的地方都由计算机产生的随机数确定，同时变异也采用随机变异，交叉的概率定为0.7，变异的概率定为0.02。