CN104732249A - 基于流行学习和混沌粒子群的深度学习图像分类方法 - Google Patents

Abstract

本发明公开了基于流行学习和混沌粒子群的深度学习图像分类方法。对图像样本降维；利用自适应混沌粒子群来训练深度学习分类器，得到最优解相应的参数值和特征子集；完成种群更新和条件判断；根据优化的特征子集合参数组合，利用图像样本集重新训练深度学习分类器；对图像数据进行分类。本发明综合运用流行学习、深度学习、混沌理论和粒子群，研究图像处理的方法和技术，在图像处理的理论方法上实现创新。

Description

基于流行学习和混沌粒子群的深度学习图像分类方法

技术领域

本发明属于图像处理技术领域，涉及基于流行学习和混沌粒子群的深度学习图像分类方法。

背景技术

经过几十年的发展，图像的分类技术已经逐渐形成了较为系统的理论，目前通常采用的是基于内容的医学图像分类技术，图像分类常用的方法主要有支持向量机、最小距离法、贝叶斯算法、神经网络和聚类算法等。

流行学习是一种新的机器学习方法，通过非监督学习方法可有效地发现高维非线性数据集中的维数且进行维数简约，与以往机器学习的不同的地方是，该方法强调整体结构，通过局部结合来发现和重组数据的内在规律。传统的降维的方法主要使用线性的方法，例如主成分分析(PCA)等，该方法简单且容易计算，但实际问题中有用特征往不是特征的线性组合，线性方法不能有效的处理庞大的高维数据，而该发明使用流行学习能较好的处理该类数据。

现今深度学习已经成为大数据和人工智能的热门领域，该方法通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好的建立从底层到高层的映射关系。当前多数图像分类等学习方法为浅层结构算法，其缺点在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习方法可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。

发明内容

本发明的目的在于提供基于流行学习和混沌粒子群的深度学习图像分类方法。

以往的降维方法主要使用线性的方法，例如主成分分析(PCA)等，该方法简单且容易计算，但实际问题中有用特征往不是特征的线性组合，线性方法不能有效的处理庞大的高维数据，而该发明使用的流行学习能较好的处理该类数据。

当前多数图像分类、回归等学习方法为浅层结构算法，其缺点在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习方法可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。

本发明所采用的技术方案是基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于按照以下步骤进行：

步骤1：对图像样本降维；

步骤2：利用自适应混沌粒子群来训练深度学习分类器，得到最优解相应的参数值和特征子集；

步骤3：完成种群更新和条件判断；

步骤4：根据优化的特征子集合参数组合，利用图像样本集重新训练深度学习分类器；

步骤5：对图像数据进行分类。

进一步，所述步骤1中降维采用LLE算法或者主成分分析法。

进一步，所述步骤2中混沌粒子群优化算法为：

步骤1001初始化粒子群；

步骤1002混沌初始化粒子群；

步骤1003计算评价每个粒子的适应度；

如果粒子适应度优于个体极值或全局极值，则相应的更新个体极值和全局极值；

步骤1004对粒子群的位置和速度进行更新；

步骤1005对最优位置进行混沌优化；

步骤1006用性能最好的可行解，更新当前种群粒子的位置；

步骤1006a达到终止条件，若是则执行步骤1007，否则转步骤1003；

步骤1007输出最优位置。

进一步，所述步骤3完成种群更新和条件判断方法为更新粒子的最新速度和位置，对最优位置混沌优化，根据粒子的最新位置得到最优解相应的参数值和特征子集，获得最优的参数值和特征子集来训练深度学习分类器。

进一步，所述步骤4中根据优化的特征子集合参数组合重新训练深度学习分类器的方法为：

根据优化的特征子集和参数组合重新训练深度学习分类器，对数据进行分类；

1)使用自下上升非监督学习，先用无标定数据训练第一层，训练时先学习第一层的参数，这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；

2)自顶向下的监督学习，基于第一步得到的各层参数进一步调整整个多层模型的参数。

本发明的有益效果：

1)本发明综合运用流行学习、深度学习、混沌理论和粒子群，研究图像处理的方法和技术，在图像处理的理论方法上实现创新；

2)通过本发明进行图像的分类处理，挖掘图像内部的有用信息，为部门制定相关政策提供了决策依据与服务。

附图说明

图1基于流行学习和混沌粒子群的深度学习图像分类方法的流程图；

图2构建自适应混沌粒子群的流程图；

图3构建深度学习分类模型的流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明如图1所示，按照以下步骤进行：

步骤一：对图像样本降维；

该步骤采用流行学习进行图像样本降维。

流形学习方法(Manifold Learning)，简称流形学习，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或数据可视化。

流形学习方法是模式识别中的基本方法，分为线性流形学习算法和非线性流形学习算法，非线性流形学习算法包括等距映射(Isomap)，拉普拉斯特征映射(Laplacianeigenmaps，LE)，局部线性嵌入(Locally-linear embedding，LLE)等。而线性方法则是对非线性方法的线性扩展，如主成分分析(Principal component analysis，PCA)，多维尺度变换(Multidimensional scaling，MDS)等。譬如局部线性嵌入(Locally-linear embedding，LLE)相关工作发表在Science(2000)上，是非线性降维的里程碑。

LLE算法可以归结为三步：寻找每个样本点的k个近邻点；由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。

主成分分析法被认为是一种特别成功的特征提取和降维算法。它的原理是，利用对原来的变量进行线性组合而得到新的变量(主成分)，这些变量之间的方差最大。因为数据原来的变量之间有可能差距不大，描述的内容差不多，故效率低下。由于方差在数据中描述的变量之间的差距，故方差最大也就意味着新的变量之间有比较大的差距。这样，就可以以较高的效率描述数据。

步骤二：如图2所示，利用自适应混沌粒子群来训练深度学习分类器，得到最优解相应的参数值和特征子集；

混沌粒子群优化算法的基本思想：在不改变随机性的状态下，引入混沌序列对粒子的速度和位置进行初始化，得到大量的初始群体增加多样性，通过遍历搜寻较优粒子作为初始种群。在混沌初始化的过程中，混沌序列主要是通过当前粒子群的最优位置得到的，在每一步迭代时，用最优位置粒子取代当前种群中的一个粒子位置。在这个搜寻过程中，会产生局部最优解的许多邻域点，使用这种方法快速搜寻到最优解。相关步骤如下所示：

步骤1001初始化粒子群；

对种群惯性权重，学习因子，迭代次数，混沌扰动范围等相关参数赋初值。

步骤1002混沌初始化粒子群；

在这一步中为了使粒子群有较合适的初值，引入了混沌序列。通过将随机向量采用Logisic映射迭代产生N个向量N，每个分量代表对应的N个初始群体的取值范围。取性能较好的M个解作为初始解，同时随机产生M个初始速度。

步骤1003计算评价每个粒子的适应度；

如果粒子适应度优于个体极值或全局极值，则相应的更新个体极值和全局极值。

步骤1004对粒子群的位置和速度进行更新；

根据Logistic混沌映射方程产生混沌变量序列，并将其通过逆映射，返回到原解空间。在原解空间对混沌变量的每个可行解计算其适应度值。

步骤1005对最优位置进行混沌优化；

步骤1006用性能最好的可行解，更新当前种群粒子的位置；

步骤1006a时候达到终止条件，若是则执行步骤1007；否则转步骤1003；

步骤1007输出最优位置。

更新粒子的最新速度和位置，对最优位置混沌优化，根据粒子的最新位置得到最优解相应的参数值和特征子集，并利用选择的最优参数和最优特征子集来训练深度学习分类器。

步骤三：完成种群更新和条件判断；

该步骤的种群更新针对于粒子群算法，更新粒子的最新速度和位置，对最优位置混沌优化，根据粒子的最新位置得到最优解相应的参数值和特征子集，然后用于深度学习分类器的训练。降维是针对于原始数据，对该数据降维后可以往往才可以使用；种群更新是针对粒子群算法，其目的是获得最优的参数值和特征子集来训练深度学习分类器。

步骤90计算适应度值；

该步骤进行种群更新，针对适应度值进行自适应调整策略，更新个体极值和全局极值，调整它们的位置，更新粒子的速度。

步骤90a判断是否满足终止条件，若满足得到最优化的参数组合和特征子集，完成深度学习分类器的训练，否则继续返回步骤二进行迭代计算。

步骤四：根据优化的特征子集合参数组合，利用图像样本集重新训练深度学习分类器；

步骤110最优特征子集，参数设置；

该步骤的种群更新针对于粒子群算法，更新粒子的最新速度和位置，对最优位置混沌优化，根据粒子的最新位置得到最优解相应的参数值和特征子集。

步骤120训练深度学习分类器；

如图3所示，根据优化的特征子集和参数组合重新训练深度学习分类器，对数据进行分类。

深度学习(deep learning)训练过程具体如下：

1)使用自下上升非监督学习(就是从底层开始，一层一层的往顶层训练)

采用无标定数据(有标定数据也可)分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分(这个过程可以看作是特征过程)。

具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层)，由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。

2)自顶向下的监督学习(就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调)

基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于深度学习的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果，所以深度学习的效果好很大程度上归功于第一步的特征学习过程。

步骤五：对图像数据进行分类。

本发明粒子群算法的数学模型：

假设优化一个包含D个变量的连续函数，搜索空间为D维，将第i个粒子的位置表示为X_i＝(X_i1,X_i2,...,X_iD)^T，粒子速率表示为V_i＝(V_i1,V_i2,...,V_iD)^T。找到第n次迭代时第i个粒子的当前最优解整个群体的全局最优解每次迭代，种群中的粒子的位置和速度可以按照以下公式进行更新：

其中，d＝1,2,...,D,i＝1,2,...,N(i表示粒子数，d表示维数)。r₁,r₂是在[0,1]范围内变化的随机数；表示惯性权重；c₁,c₂表示加速系数，分别调节跟踪个体最优和全局最优方向飞行的程度。

本发明采用的是混沌系统中的一种满映射，Logistic映射，方程为：β_i(k+1)＝μβ_ik(1-β_ik)

上式中，μ表示控制参数，β_ik(i＝1,2,...N)是迭代k次的N维混沌向量。

令x_k＝(x_1k,x_2k,...,x_Nk)是当前要进行混沌运算的向量映射到[0,1]区间后的向量，β_k＝(β_1k,β_2k,...,β_Nk)为迭代k次后的混沌向量，则施加了随机扰动后的混沌向量x_k+i可以表示为：x_k+i＝(1-a)x_k+aβ_k,(0<a<1)。

由粒子群优化公式中可以发现，粒子群到达局部最优附近时，主要是通过来决定粒子的更新速度。由于固定参数的粒子群算法的通常小于1，这样会导致粒子的速度越来越小，甚至停止，造成早熟收敛。在此时，要想办法给粒子赋予一个较大的从而使粒子具有较大的速度，避免早熟收敛，跳出局部最优。

令f_i为粒子当前迭代次数时的适应度值，f_g表示的是最优粒子的适应值，f_avg为所有粒子当前适应度值的平均值，f′_avg为优于f_avg的适应值平均值。因此适应值为f_i的粒子自适应调整其惯性权重的具体方法为：

1)当粒子为群体中较优的粒子，此时f_i优于f′_avg，接近全局最优，惯性权重应该较小，以加速像全局最优收敛，根据粒子的适应值调整惯性权重的公式为：

上述式子中，为的最小值。所取适应值越好，相应的惯性权重越小，能够加强局部寻优。

2)当粒子为群体中的一般粒子，此时f_i优于f_avg但次于f′_avg。此时惯性权重的修正公式调整为：

在以上公式中，其中分别表示在迭代寻优开始和结束处的惯性权重的最大值和最小值，所需迭代步数用T来表示，max ST为允许的最大迭代步数。

3)当粒子为群体中较差的粒子，此时f_i次于f_avg，惯性权重的调整公式为：

上述公式中k₁,k₂通常取大于1的常数。

判断粒子是否早熟收敛，可以根据f_avg-f′_avg的值来分析，在粒子趋向早熟收敛状态时，它们的差通常比较小。当粒子群到达局部最优附近时，粒子的更新速度通常越来越小甚至会停止，此时改变惯性权重可以有效的跳出局部最优，以避免早熟收敛。

深度学习(deep learning)训练过程具体如下：

1)使用自下上升非监督学习(就是从底层开始，一层一层的往顶层训练)

采用无标定数据(有标定数据也可)分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分(这个过程可以看作是特征过程)。

具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层)，由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。

2)自顶向下的监督学习(就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调)

基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于深度学习的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果，所以深度学习的效果好很大程度上归功于第一步的特征学习过程。

深度学习主要重点部分是深度可信网络(DBN)的构建，DBN是由多层受限的玻尔兹曼机(RBM)组成的一个神经网络，它既可以被看作一个生成模型，也可以当作判别模型。

DBN在训练模型的过程中主要分为两步：

第1步：分别单独无监督地训练每一层RBM网络，确保特征向量映射到不同特征空间时，都尽可能多地保留特征信息；

第2步：在DBN的最后一层设置BP(Back Propagation)网络，接收RBM的输出特征向量作为它的输入特征向量，有监督地训练实体关系分类器。而且每一层RBM网络只能确保自身层内的权值对该层特征向量映射达到最优，并不是对整个DBN的特征向量映射达到最优，所以反向传播网络还将错误信息自顶向下传播至每一层RBM，微调整个DBN网络。RBM网络训练模型的过程可以看作对一个深层BP网络权值参数的初始化，使DBN克服了BP网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点。上述训练模型中第一步在深度学习的术语叫做预训练，第二步叫做微调。最上面有监督学习的那一层，根据具体的应用领域可以换成任何分类器模型，而不必是BP网络，图3为深度学习模型的流程图。

步骤130 分类结果。

本发明的优点在于：该方法运用流行学习对图像降维，利用深度学习进行图像的分类处理，并用自适应混沌粒子群来训练深度学习分类器；本发明综合运用流行学习、深度学习、混沌理论和粒子群，研究图像处理的方法和技术，在图像处理的理论方法上实现创新；通过本发明进行图像的分类处理，挖掘图像内部的有用信息，为部门制定相关政策提供了决策依据与服务。

Claims (5)

1.基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于：按照以下步骤进行：

步骤1：对图像样本降维；

步骤2：利用自适应混沌粒子群来训练深度学习分类器，得到最优解相应的参数值和特征子集；

步骤3：完成种群更新和条件判断；

步骤4：根据优化的特征子集合参数组合，利用图像样本集重新训练深度学习分类器；

步骤5：对图像数据进行分类。

2.按照权利要求1所述基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于：所述步骤1中降维采用LLE算法或者主成分分析法。

3.按照权利要求1所述基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于：所述步骤2中混沌粒子群优化算法为：

步骤1001初始化粒子群；

步骤1002混沌初始化粒子群；

步骤1003计算评价每个粒子的适应度；

如果粒子适应度优于个体极值或全局极值，则相应的更新个体极值和全局极值；

步骤1004对粒子群的位置和速度进行更新；

步骤1005对最优位置进行混沌优化；

步骤1006用性能最好的可行解，更新当前种群粒子的位置；

步骤1006a达到终止条件，若是则执行步骤1007，否则转步骤1003；

步骤1007输出最优位置。

4.按照权利要求1所述基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于：所述步骤3完成种群更新和条件判断方法为更新粒子的最新速度和位置，对最优位置混沌优化，根据粒子的最新位置得到最优解相应的参数值和特征子集，获得最优的参数值和特征子集来训练深度学习分类器。

5.按照权利要求1所述基于流行学习和混沌粒子群的深度学习图像分类方法，其特征在于：所述步骤4中根据优化的特征子集合参数组合重新训练深度学习分类器的方法为：

根据优化的特征子集和参数组合重新训练深度学习分类器，对数据进行分类；

1)使用自下上升非监督学习，先用无标定数据训练第一层，训练时先学习第一层的参数，这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；

2)自顶向下的监督学习，基于第一步得到的各层参数进一步调整整个多层模型的参数。