CN109598341A - 一种基于遗传算法的卷积神经网络训练成果检测及可视化方法 - Google Patents

Abstract

本发明公开了一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，属于人工智能技术领域，使用CNN中的卷积核，通过运用遗传算法拟合出神经网络学习到的特征，由数量巨大的CNN的卷积核拟合形成图像，该图像是CNN所认为的最符合当前学习内容的可视化表达；实现输入一个标签，得到一幅由训练好的CNN认为正确的图像,以检测该卷积神经网络的训练成果。本发明可以通过观察可视化的学习结果直观地调整模型参数和神经网络架构，结果直观，可读性强，可以较好的应用于模型参数调整和架构更新指导。

Description

一种基于遗传算法的卷积神经网络训练成果检测及可视化 方法

技术领域

本发明涉及人工智能技术领域，具体地说是一种基于遗传算法的卷积神经网络训练成果检测及可视化方法。

背景技术

随着人工智能技术的不断发展，其应用逐渐覆盖多个领域，为人们的生活和工作带来了很多便利。机器学习是人工智能的核心，是使计算机具有智能的根本途径，而在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。

理解可视化卷积神经网络(Convolutional Neural Network，CNN)学习成果的开山之作是2014年ECCV的经典文献《Visualizing and Understanding ConvolutionalNetworks》，这篇文献告诉我们CNN每一层学到了什么特征，有助于我们打开卷积神经网络这个黑盒子去理解内部的学习对象和特征。

但文献中的方法只是对输入的图像在神经网络每一层得到的feature map进行反卷积，然后得到该层神经网络提取到的特征。这样做只能得到每一步卷积之后的结果，它并不是一个模型整体学习效果的展现，而是产生该效果的原因，即学习内容。单纯去了解学习内容并不能很好地对模型参数调整和架构更新提供指导。

现有技术通过反池化、反激活和反卷积提取每一层学到的特征，属于你想使用训练出的CNN模型。一般来说池化的过程不可逆，为了完成反池化，需要额外记录激活位置坐标，且只能得到近似值；反卷积过程设计矩阵运算，数学原理复杂，且得到的特征图一般不具备语义特征，无法直观的表达出模型需要改进的地方。

发明内容

本发明的技术任务是针对以上不足之处，提供一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，使用该方法，可以通过观察可视化的学习结果直观地调整模型参数和神经网络架构。

本发明解决其技术问题所采用的技术方案是：

一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，使用CNN中的卷积核，通过运用遗传算法拟合出神经网络学习到的特征，由数量巨大的CNN的卷积核拟合形成图像，该图像是CNN所认为的最符合当前学习内容的可视化表达；

实现输入一个标签，得到一幅由训练好的CNN认为正确的图像，以检测该卷积神经网络的训练成果。即根据给定标签，使用训练出的第一层的卷积核拟合出一个能体现CNN学习成果的图像，该图像是CNN所认为的最符合当前学习内容的可视化表达，我们可以通过观察可视化的学习结果来直观地调整模型参数和神经网络架构。

例如已经使用CNN训练出了一个对动物的识别模型，我们想要检验它的学习习效果，可以输入一个标签，如“熊猫”，期望的结果就是由简单的线条、边角拟合出的CNN认为最符合该标签的图像，如果CNN训练效果较好，则拟合出的图像应该完美符合熊猫的特征；若有不符合常理的地方，则证明模型还有可以改进的地方，可以根据具体表现确定修改模型的方向。

卷积神经网络是一种前馈神经网络，由一个或多个卷积层、线性整流层、池化层组成，能够利用输入数据的二维结构，因此在图像和语音识别方面能给出更好的结果，常使用反向传播算法进行训练。

卷积层的参数由若干感受野较小的卷积核组成，每个卷积核通过在整张图上滑动并和对应像素点卷积(翻转卷积核并计算点积)来生成feature map。每个卷积核只针对一种特征有明显的激活。通常上，初始的卷积核都是随机的，训练过程就是更新卷积核的过程。最后，不同的卷积核可以识别不同模式的特征。第一层的卷积层可能只会提取低级的特征，如边缘和角点，然后将feature map输入下一层。随着层数增加，更加复杂的特征也可以被提取出来。

卷积核是卷积操作提取图像特征的时候使用的矩阵。这里提到的卷积和数学上的卷积定义相同。设有二维矩阵A和矩阵B，它们的卷积结果矩阵定义为：

根据卷积的性质和卷积核各自模式的不同，它能针对特定的特征产生较大的响应。因此可用于特征提取和模式识别。

遗传算法是一种模仿自然界生物进化机制的随机全局搜索和优化方法。本质是一种高效并行的全局搜索方法。遗传算法中，每一个个体都有自己独特的染色体，其对应着一个解决方案。足够多的不同个体构成一个种群。

具体的，该卷积神经网络训练成果检测及可视化方法实现的具体步骤如下：

1)、已知给定训练好的卷积神经网络，提取训练好的卷积核；

2)、使用卷积核的ID和数量编码染色体；

3)、随机产生初始种群，世代数＝1；

4)、计算适应值，判断是否满足退出条件，满足退出条件则退出，得到最优可视化组合；

不满足退出条件，世代数大于1，则用适应值高的个体替换最低的个体，进行亲本染色体交叉和/或变异产生新的个体，世代数＝世代数+1，返回计算适应值。

优选的，退出条件包括种群中个体最大适应度超过预先设定值、种群中个体的平均适应度超过预先设定值或世代数超过预先设定值，满足上述三个条件中的任意一个，则退出。

具体的，所述采用遗传算法的具体实现方式为：

1)、对种群初始化，初始化的方式可以是随机的，也可以是给定一个可能含有最优解的空间的种子进行初始化；

2)、使用适应度函数衡量解决方案的优劣，可以采用目标函数，损失函数等；

3)、依据适者生存的原则，选择出合适的个体互相交配，生成下一代；若每一次只选择最好的个体进行交配，会使染色体在几代之后差异性减小，最后陷入局部最优解。

4)、进行基因操作，包括交叉和变异，在交叉和变异之后产生新的个体，再回到步骤2)使用适应度函数进行衡量，若适应度高于种群中已有的个体，则用新的个体替代适应度低的个体；

5)、继续进行新一轮的进化至适应度超过预先设定值，直至满足退出条件。

优选的，所述适应度函数使用Softmax函数。假设种群中的个体数为K，Softmax函数又称归一化函数，它能得到一个归一化到[0,1]区间的k维的向量，k是CNN标签的数量，每一维对应着属于当前标签的概率。我们的目标是使输入的标签所对应的维度数值尽可能的接近1，这样拟合出来的图像即为CNN对于输入标签的学习成果。

优选的，选择过程采用轮盘赌选择法，适应度越高的个体有更高的几率被选择。采用随机普遍选择法，通过一轮的选择得到两个亲本。

进一步的，所述交叉是在亲本的染色体上随机选择一个或多个相同的点，将前后染色体互相对调，形成新的染色体；所述变异是随机时刻在随机的个体上发生的染色体改变。这个机制的存在保证了种群多样性和跳出局部最优解的能力。

进一步的，所述交叉根据交叉点数的不同分为单点交叉和多点交叉。

具体的，染色体的编码为卷积核的编号。

优选的，染色体的编码方式为：假设种群中的个体数为K，CNN训练时的输入图像像素为n*m，卷积核大小为a*b，则每个染色体的长度为ceil(n/a)*ceil(m/b)(此处ceil为取上界)。

本发明的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法和现有技术相比，具有以下有益效果：

该方法通过将CNN可视化问题转化为一个搜索最优解的优化问题，通过使用遗传算法快速使用不同卷积核拟合出最有的图像，用来表达CNN所认可的最符合给定标签的特征，以此完成CNN的可视化，原理简单，可操作性强，结果直观，可读性高。

附图说明

图1是本发明的基于遗传算法的卷积神经网络训练成果检测及可视化方法流程图；

图2是采用遗传算法的实施步骤示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，属于无监督学习，使用CNN中的卷积核，通过运用遗传算法拟合出神经网络学习到的特征，由数量巨大的CNN的卷积核拟合形成图像，该图像是CNN所认为的最符合当前学习内容的可视化表达；实现输入一个标签，得到一幅由训练好的CNN认为正确的图像。

即根据给定标签，使用训练出的第一层的卷积核拟合出一个能体现CNN学习成果的图像，该图像是CNN所认为的最符合当前学习内容的可视化表达，我们可以通过观察可视化的学习结果来直观地调整模型参数和神经网络架构。例如已经使用CNN训练出了一个对动物的识别模型，我们想要检验它的学习习效果，可以输入一个标签，如“熊猫”，期望的结果就是由简单的线条、边角拟合出的CNN认为最符合该标签的图像，如果CNN训练效果较好，则拟合出的图像应该完美符合熊猫的特征；若有不符合常理的地方，则证明模型还有可以改进的地方，可以根据具体表现确定修改模型的方向。

该卷积神经网络训练成果检测及可视化方法实现的具体步骤如下：

1)、已知给定训练好的卷积神经网络，提取训练好的卷积核；

2)、使用卷积核的ID和数量编码染色体；

3)、随机产生初始种群，世代数＝1；

4)、计算适应值，判断是否满足退出条件，满足退出条件则退出，得到最优可视化组合；

不满足退出条件，世代数大于1，则用适应值高的个体替换最低的个体，进行亲本染色体交叉和/或变异产生新的个体，世代数＝世代数+1，返回计算适应值。

其中，退出条件包括种群中个体最大适应度超过预先设定值、种群中个体的平均适应度超过预先设定值或世代数超过预先设定值，满足上述三个条件中的任意一个，则退出。

卷积神经网络是一种前馈神经网络，由一个或多个卷积层、线性整流层、池化层组成，能够利用输入数据的二维结构，因此在图像和语音识别方面能给出更好的结果，常使用反向传播算法进行训练。

卷积层的参数由若干感受野较小的卷积核组成，每个卷积核通过在整张图上滑动并和对应像素点卷积(翻转卷积核并计算点积)来生成feature map。每个卷积核只针对一种特征有明显的激活。通常上，初始的卷积核都是随机的，训练过程就是更新卷积核的过程。最后，不同的卷积核可以识别不同模式的特征。第一层的卷积层可能只会提取低级的特征，如边缘和角点，然后将feature map输入下一层。随着层数增加，更加复杂的特征也可以被提取出来。

卷积核是卷积操作提取图像特征的时候使用的矩阵。这里提到的卷积和数学上的卷积定义相同。设有二维矩阵A和矩阵B，它们的卷积结果矩阵定义为：

根据卷积的性质和卷积核各自模式的不同，它能针对特定的特征产生较大的响应。因此可用于特征提取和模式识别。

遗传算法是一种模仿自然界生物进化机制的随机全局搜索和优化方法。本质是一种高效并行的全局搜索方法。遗传算法中，每一个个体都有自己独特的染色体，其对应着一个解决方案。足够多的不同个体构成一个种群。

所述遗传算法的具体实现方式为：

S1、对种群初始化，初始化的方式可以是随机的，也可以是给定一个可能含有最优解的空间的种子进行初始化。假设种群中的个体数为K，CNN训练时的输入图像像素为n*m，卷积核大小为a*b，则每个染色体的长度为ceil(n/a)*ceil(m/b)(此处ceil为取上界)。染色体的编码为卷积核的编号。因为CNN接受的输入大小值是固定的，因此原先的二维坐标+卷积核编号可以展开成为一维索引+卷积核编号，这样一维的编码可以方便的进行交叉和变异。

S2、使用适应度函数衡量解决方案的优劣，可以采用目标函数，损失函数等。这里适应度函数使用CNN常用的Softmax函数。Softmax函数又称归一化函数，它能得到一个归一化到[0,1]区间的k维的向量，k是CNN标签的数量，每一维对应着属于当前标签的概率。我们的目标是使输入的标签所对应的维度数值尽可能的接近1，这样拟合出来的图像即为CNN对于输入标签的学习成果。

S3、选择。依据适者生存的原则，选择出合适的个体互相交配，生成下一代。若每一次只选择最好的个体进行交配，会使染色体在几代之后差异性减小，陷入局部最优解。选择过程采用轮盘赌选择法(Roulette Wheel Selection method)，适应度越高的个体有更高的几率被选择。通过一轮的选择得到两个亲本，称为随机普遍选择法(StochasticUniversal Selection method)。使用轮盘赌选择法，根据适应度确定K个染色体被选择的概率，

然后选出K对的亲本，每对亲本再随机选择一个交叉位点。

S4、进行基因操作，包括交叉和变异。根据步骤S3选出的K对亲本，

和交叉位点进行交叉，并根据设定好的变异概率的参数对染色体的编码进行随即更改以保证新染色体的多样性，在交叉和变异之后产生新的个体，再回到步骤S2使用适应度函数进行衡量，若适应度高于种群中已有的个体，则用新的个体替代适应度低的个体。

所述交叉是在亲本的染色体上随机选择一个或多个相同的点，将前后染色体互相对调，形成新的染色体，根据交叉点数的不同分为单点交叉和多点交叉。所述变异是随机时刻在随机的个体上发生的染色体改变。这个机制的存在保证了种群多样性和跳出局部最优解的能力。

S5、继续进行新一轮的进化至适应度超过预先设定值，即满足上述的三个退出条件之一。

以往我们是使用CNN的过程是输入一幅图像可以得到一个预测到的分类标签，通过本方法的过程是输入一个标签，得到一幅由训练好的CNN认为正确的图像，通过观察可视化的学习结果来直观地调整模型参数和神经网络架构。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于使用CNN中的卷积核，通过运用遗传算法拟合出神经网络学习到的特征，由数量巨大的CNN的卷积核拟合形成图像，该图像是CNN所认为的最符合当前学习内容的可视化表达；

实现输入一个标签，得到一幅由训练好的CNN认为正确的图像,以检测该卷积神经网络的训练成果。

2.根据权利要求1所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于其具体实施步骤如下：

1)、已知给定训练好的卷积神经网络，提取训练好的卷积核；

2)、使用卷积核的ID和数量编码染色体；

3)、随机产生初始种群，世代数＝1；

4)、计算适应值，判断是否满足退出条件，满足退出条件则退出，得到最优可视化组合；

不满足退出条件，世代数大于1，则用适应值高的个体替换最低的个体，进行亲本染色体交叉和/或变异产生新的个体，世代数＝世代数+1，返回计算适应值。

3.根据权利要求2所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于所述退出条件包括种群中个体最大适应度超过预先设定值、种群中个体的平均适应度超过预先设定值或世代数超过预先设定值。

4.根据权利要求2或3所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于所述采用遗传算法的具体实现方式为：

1)、对种群初始化；

2)、使用适应度函数衡量解决方案的优劣；

3)、依据适者生存的原则，选择出合适的个体互相交配，生成下一代；

4)、进行基因操作，包括交叉和变异，在交叉和变异之后产生新的个体，再回到步骤2)使用适应度函数进行衡量，若适应度高于种群中已有的个体，则用新的个体替代适应度低的个体；

5)、继续进行新一轮的进化至适应度超过预先设定值，即满足退出条件。

5.根据权利要求4所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于所述适应度函数使用Softmax函数。

6.根据权利要求4所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于选择过程采用轮盘赌选择法。

7.根据权利要求4所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于所述交叉是在亲本的染色体上随机选择一个或多个相同的点，将前后染色体互相对调，形成新的染色体；所述变异是随机时刻在随机的个体上发生的染色体改变。

8.根据权利要求7所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于所述交叉根据交叉点数的不同分为单点交叉和多点交叉。

9.根据权利要求2所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于染色体的编码为卷积核的编号。

10.根据权利要求9所述的一种基于遗传算法的卷积神经网络训练成果检测及可视化方法，其特征在于染色体的编码方式为：假设种群中的个体数为K，CNN训练时的输入图像像素为n*m，卷积核大小为a*b，则每个染色体的长度为ceil(n/a)*ceil(m/b)。