CN107273818A

CN107273818A - 遗传算法融合差分进化的选择性集成人脸识别方法

Info

Publication number: CN107273818A
Application number: CN201710380562.7A
Authority: CN
Inventors: 杨新武; 张翱翔; 袁顺
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-05-25
Filing date: 2017-05-25
Publication date: 2017-10-20
Anticipated expiration: 2037-05-25
Also published as: CN107273818B

Abstract

本发明公开了遗传算法融合差分进化的选择性集成人脸识别方法，首先提取人脸图像的HOG特征，之后应用PCA算法对人脸图像进行降维，以此来减少计算复杂度，最后，用降维后的数据，应用GADESEN算法进行分类识别。该方法以支持向量机作为基分类器，从原始的训练集有放回抽取N个样本，按照此方法迭代T次，使用每次产生的样本集训练基分类器模型，对产生的N个基分类器进行实数编码，生成初始种群，在变异操作中采取差分向量来指导变异进而产生优质的个体，交叉操作使用父代个体及变异个体共同产生交叉个体，增加了个体的多样性，采用最优保留策略进行遗传进化。

Description

遗传算法融合差分进化的选择性集成人脸识别方法

技术领域

本发明属于机器学习和模式识别技术领域，是利用遗传算法融合差分进化的方法选择基分类器，构建一个具有较强泛化能力的选择性集成预测方法，以期达到对新的未知样本给出精准预测的目的。

背景技术

过去的几十年中，人脸识别作为生物特征识别的重要研究方向得到了极大的关注。人脸识别的研究经历了单分类器识别、集成分类识别和深度学习识别等过程。在单分类器阶段人们更多的是倾向于优化单分类器的识别性能，寻找性能更好的分类器，但是这种单分类器的识别能力还难以满足人类的需求。随着机器学习研究的发展，人们提出了集成思想的学习器，它是在降低单分类器性能的基础上得到更多的基分类器，从而提高学习的泛化能力，在人脸识别的应用中也体现了很好的应用价值。深度学习是新兴的多层次神经网络学习方法，已在人脸识别和目标检测上取得了令人瞩目的成就，但是深度学习在训练之前需要大量有标签训练样本的参与，人工标注成本高，实验环境要求也高，训练过程需要调节大量参数，计算时间复杂度高。选择性集成学习是对集成学习方法的约简，相对于深度学习简单实用，它使用更少的基分类器不仅可以提高集成的泛化能力而且相较于深度学习降低了计算复杂度，降低了基分类器模型的存储成本。

遗传算法作为选择性集成的一个选择策略，虽然在全局优化上表现出很强的搜索能力，但是遗传算法还存在局部搜索能力低、交叉和变异的过程中过于随机和盲目等问题。这些也是处理组合优化问题时所面临的重要问题。近年来，差分进化作为一种新兴的进化技术被提出，在解决复杂优化问题上体现了很好的应用价值。差分进化在局部搜索和有方向的变异上弥补了遗传算法的不足。为了进一步提高算法的搜索能力，提高选择性集成最终的泛化能力，通过遗传算法融合差分进化完成寻优任务。

发明内容

本发明的目的在于针对已有的Bagging集成人脸识别技术存在的计算复杂度高、模型存储成本高和识别率低的问题，提出一种基于遗传算法融合差分进化的选择性集成学习方法(Selective Ensemble Learning Method based on Genetic AlgorithmfusionDifferential Evolution,GADESEN)应用于人脸识别中。

为达到上述目的，本发明采用的技术方案是利用GADESEN算法的人脸识别的优化算法。首先提取人脸图像的HOG特征，之后应用PCA算法对人脸图像进行降维，以此来减少计算复杂度，最后，用降维后的数据，应用GADESEN算法进行分类识别。

该方法以支持向量机作为基分类器，从原始的训练集有放回抽取N个样本，按照此方法迭代T次，使用每次产生的样本集训练基分类器模型，对产生的N个基分类器进行实数编码，生成初始种群，在变异操作中采取差分向量来指导变异进而产生优质的个体，交叉操作使用父代个体及变异个体共同产生交叉个体，增加了个体的多样性，采用最优保留策略进行遗传进化。

流程图见图1，其具体步骤如下：

Step1对人脸图像进行归一化处理，提取人脸图像的HOG特征，然后再用PCA算法降维。实验中训练集是由人脸图像库中图像样本构成。步骤中的主要参数说明：T表示训练出的基分类器数目，N表示从人脸图像库中有放回抽取的人脸图像数目，S_t表示第t次抽取构成的人脸图像训练集，h_t表示第t个基分类器模型，h_i(x)表示第i个基分类器对一个人脸图像样本x的判断输出，y_j表示第j个人脸图像的真实类别。

Step2 For t＝1:T执行以下几步：

①从原始训练集中有放回抽样出N个样本构成训练集S_t。

②用支持向量机算法在S_t下训练出基分类器模型h_t。

Step3遗传算法融合差分进化，执行以下流程：

①采用实数对基分类器编码，每个基因位取值范围是(0-1)，编码长度为初始的基分类器规模。

②对种群进行初始化操作，随机产生定义域范围内的个体。

③适应度函数采用集成泛化误差。

④选择操作采用轮盘赌的方法从父代个体、交叉个体以及变异个体中选择，适应度高的个体更容易遗传到下一代。

⑤交叉操作采用单点交叉产生新个体，基因位的来源既有父代个体中的基因又有变异个体中的基因。

⑥变异操作是融合差分进化中的变异方法，使用差分向量变异新个体，变异之前采用欧氏距离计算选中个体间的相似性，对相似性高的个体执行传统的变异过程。

⑦停止进化。

其中适应度函数的设计同二进制编码下的SGASEN算法不同，设个体编码为a＝(a₁,a₂,…,a_T)，其中a_i∈(0,1)i∈{1,2,…,T}，设置基分类器选择系数λ，λ取值为1/T，当a_i＞λ时取值为1，否则为0，适应度函数的设计过程如下：

(1)人脸图像样本x的预测输出表示为：

(2)训练集S的集成泛化误差error为：

Step4解码最优个体生成基分类器组合，对测试集预测分类，计算分类错误率。

Step5输出结果。

本发明的有益效果在于：1、减少基分类器数目；2、降低模型存储成本；3、利用本发明算法进行人脸识别可以效提高人脸识别率。

附图说明

图1是算法流程。

具体实施方式

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

差分进化的收敛性分析同遗传算法的分析相似，都是以马尔科夫链为基础，本章从马尔科夫链的定义及其有限性出发，简明介绍其收敛性。

假设随机初始序列{x_n；n≥0}为离散变量上的随机取值，离散值的全部集合记为H_L＝{j}，称H_L为状态空间，如果对任意n≥1，i_k∈H_L(k≤n+1)满足以下公式：

P{x_n+1＝i_n+1|x_n＝i_n,···,x₀＝i₀}＝P{x_n+1＝i_n+1|x_n＝i_n} (1-3)

那么{x_n；n≥0}可称为马尔科夫链。

随机初始序列{x_n；n≥0}的状态空间H_L针对不同的问题其状态可分为有限和无限，至于差分进化算法因其解的范围是在一个封闭的空间中，可认为状态空间是有限的。

设m，n为两个正整数，马尔科夫链{x_n；n≥0}在m时刻状态i经过n步转变到状态j的概率公式为：

P_ij(m,n)＝P{x_m+n＝j|x_m＝i} (1-4)

{x_n；n≥0}是齐次马尔科夫链的前提条件是其转变概率同时间无关，也就是是个恒等式。

差分进化算法的种群所构成的序列是有限空间上的齐次马尔科夫链。

证明：

假设种群规模为M，编码长度为N，差分进化算法采用实数编码，其个体在浮点数空间取值，由于是实数编码导致种群所在状态空间是无限的，所以在实际问题中，往往是把问题构造成有限精度的条件，从无穷空间转变为有限空间，其维数为v，那么种群所在的状态空间大小为v^NM，因此种群序列是在有限的范围内。差分进化算法中的变异、选择、交叉操作均与t无关，且x(t+1)只与当前状态x(t)有关，故{x_t；t≥0}为有限齐次马尔科夫链^[54]。

证毕。

设x_t＝{x₁(t),x₂(t),···,x_n(t)}为差分进化算法在迭代次数为t时的一个种群，x_i(t)为其中的个体，设f是x_t上的适应度函数，n为种群规模，有：

为全局最优适应度值。

定义3设f_t＝max{f(x_i(t))}i＝1,2,···,n，表示序列在时间t状态下的最优适应度值，如果存在

则表示算法收敛。当算法进化到无穷代之后，种群中出现全局最优解的概率趋近于1。

定理2差分进化算法是满足收敛性的。

证明：

设p_i(t)为种群x_i处在状态s_i的概率，记则由马尔科夫链的性质

可知：

而

移项得

从而

而

则有

0≤P_t+1＜P_t (1-12)

所以

又因为

即

差分进化在迭代到一定次数以后，在种群中可以寻找到最优解的概率是趋近于1的。虽然差分进化算法在理论上可以寻找到最优，但是迭代次数难以确定，在实际应用中还存在着不足。

变异操作是新个体产生的有效途径，也是遗传算法产生新个体的常用方法。在变异操作过程中将个体编码中的一些基因值通过某种规则加以变换形成新个体。它决定了遗传算法的局部搜索能力，是进化过程中一个必不可少的操作步骤。一般情况下对实数编码的个体采用以变异概率p随机生成一位或几位基因变异位置，然后在该点随机赋值完成变异操作。采用这种方式的变异操作使得新个体具有更多的盲目性，生成的新个体也未必可以增加种群的多样性。

本方法应用的变异操作是在父代个体间的差分向量的基础上进行的，用差分向量指导变异。首先从父代中随机选择两个不同的个体(x_i,x_j)，其中i≠j，然后按照变异方程产生新个体，变异方程如下：

x_m＝x_best+k(x_i-x_j) (1-16)

其中，x_m为变异产生的新个体，x_best为父代中最优个体，k为差分变异系数，用来控制差分向量(x_i-x_j)对最优个体x_best的影响。该操作在保持种群的多样性上起到了积极的作用。x_i与x_j是随机产生的，如果x_i与x_j比较相似做差分时容易出现零向量，不利于新个体的产生，因此变异操作之前对两个个体相似性检测，相似个体不再使用差分变异，使用传统方法进行变异操作，以此增加多样性。

交叉操作一般是发生在两个父代个体间，按照某些原则把部分基因相互交换，从而产生新个体。在遗传算法中，通常的交叉操作，首先从父代中随机选择两个个体，其次在个体编码串中随机设置一个交叉点，然后在该点交换两个个体的部分基因。新个体继承了父代个体基因，但是并不能有新基因的加入，种群的多样性不能很好的扩展。

专利中的交叉操作是变异操作中产生的变异个体x_m同从父代中随机产生的个体x_i之间进行交叉，产生个体x_t。按照交叉方程进行交叉操作，方程如下：

其中，rand()是由随机数产生函数产生的[0,1]之间的实数，j＝0,1,2,···,D，D是个体编码长度，randr(i)∈{1,2,···,D}是随机产生的整数，为此新个体x_t基因位上既有来自父代个体x_i又有变异个体x_m中的遗传基因。

专利中的选择操作是对变异操作和交叉操作产生的个体以及父代中的全部个体，采用轮盘赌的方法进行选择。轮盘赌的主要思想是个体被选中的概率与它的适应度值成正比。即在选择中，个体i被选中的概率为：

其中，f_i为个体i的适应度值，N为种群中的个体数目。显然随着适应度值的增加，个体被选中的概率也随之增大，从而有利于较优个体的遗传保留。

算法流程

以遗传算法融合差分进化为主要的选择策略研究选择性集成学习，在变异操作中采取差分向量来指导变异进而产生优质的个体，交叉操作使用父代个体及变异个体共同产生交叉个体，增加了个体的多样性。算法的操作流程如下。

Step1确定训练集大小N和迭代次数T。

Step2 For t＝1:T执行以下几步：

①从原始训练集中有放回抽样出N个样本构成训练集S_t。

②用回归分类树算法在S_t下训练出基分类器模型h_t。

Step3遗传算法融合差分进化，执行以下几步：

③采用实数对基分类器编码，每个基因位取值范围是(0-1)，编码长度为初始的基分类器规模。

④对种群进行初始化操作，随机产生定义域范围内的个体。

⑤适应度函数采用集成泛化误差。

⑥选择操作采用轮盘赌的方法从父代个体、交叉个体以及变异个体中选择，适应度高的个体更容易遗传到下一代。

⑦交叉操作采用单点交叉产生新个体，基因位的来源既有父代个体中的基因又有变异个体中的基因。

⑧变异操作是融合差分进化中的变异方法，使用差分向量变异新个体，变异之前采用欧氏距离计算选中个体间的相似性，对相似性高的个体执行传统的变异过程。

⑨停止进化。

其中适应度函数的设计同二进制编码下的SGASEN算法不同，设个体编码为a＝(a₁,a₂,…,a_T)，其中a_i∈(0,1)i∈{1,2,…,T}，设置基分类器选择系数λ，一般情况下取值为1/T，当a_i＞λ时取值为1，否则为0，那么适应度函数的设计过程如下：

(3)样本x的预测结果可表示为：

(4)训练集S的集成泛化误差为：

Step5输出结果。

实验

实验以Matlab 2014b和Visual Studio 2013两个集成开发环境作为开发工具，数据库基本描述见表1-1，在AR、Yale、YaleB人脸数据库上，采用四种不同的特征提取方法，以GADESEN算法为分类器做对比实验。其中使用的特征提取方法有：原始特征(LOC)、原始特征降维(LOC+PCA)、HOG特征(HOG)以及HOG特征降维(HOG+PCA)，实验中GADESEN使用的基分类器为支持向量机。对于每个人脸数据库，图像大小都归一化为32×32，70％的人脸图像作为训练集，30％的人脸图像作为测试集，用以验证方法的有效性。表1-2、1-3、1-4分别给出了四个特征下AR、Yale及YaleB人脸库在不同基分类器规模下的实验结果，表1-5给出了基于HOG特征降维、基分类器规模为60、不同分类器下的实验结果。

表1-1人脸数据集

表1-2AR人脸库上不同特征的实验结果

表1-3Yale人脸库上不同特征的实验结果

表1-4YaleB人脸库上不同特征的实验结果

表1-5不同分类器下的实验结果

由表1-2、1-3、1-4可以得知，HOG特征相比原始特征具有更好的识别效果：AR人脸库平均提高了3个百分点；Yale人脸库平均提高了11个百分点；YaleB人脸库平均提高了8个百分点。降维后的数据对比中，基于HOG特征的降维方法也取得了较好的识别效果。降维的主要作用是减少计算量，同时也能提高识别效果。在本实验中，Yale人脸库上基于HOG特征降维的方法并没有比基于HOG特征的方法识别率高，只是节省了分类识别时间。从表1-5可以得出：集成思想的分类器比单分类器具有更好的分类识别能力，而且GADESEN算法相比Bagging算法提高了识别率，在YaleB数据库中效果更明显。

在人脸库等数据集上的对比验表明，提出的GADESEN算法不降低集成泛化误差的前提下更有利于去搜寻基分类器数目少的个体。从而达到了泛化误差能力强和复杂度低的目的，有效地提高了人脸识别的准确率，减少了基分类器数目，降低了存储成本。

Claims

1.遗传算法融合差分进化的选择性集成人脸识别优化方法，该方法以支持向量机作为基分类器，从原始的训练集有放回抽取N个样本，按照此方法迭代T次，使用每次产生的样本集训练基分类器模型，对产生的N个基分类器进行实数编码，生成初始种群，在变异操作中采取差分向量来指导变异进而产生优质的个体，交叉操作使用父代个体及变异个体共同产生交叉个体，增加了个体的多样性，采用最优保留策略进行遗传进化；

其特征在于：该方法具体步骤如下：

Step1 对人脸图像进行归一化处理，提取人脸图像的HOG特征，然后再用PCA算法降维；实验中训练集是由人脸图像库中图像样本构成；步骤中的主要参数说明：T表示训练出的基分类器数目，N表示从人脸图像库中有放回抽取的人脸图像数目，S_t表示第t次抽取构成的人脸图像训练集，h_t表示第t个基分类器模型，h_i(x)表示第i个基分类器对一个人脸图像样本x的判断输出，y_j表示第j个人脸图像的真实类别；

Step2 For t＝1:T执行以下几步：

①从原始训练集中有放回抽样出N个样本构成训练集S_t；

②用支持向量机算法在S_t下训练出基分类器模型h_t；

Step3 遗传算法融合差分进化，执行以下流程：

①采用实数对基分类器编码，每个基因位取值范围是(0-1)，编码长度为初始的基分类器规模；

②对种群进行初始化操作，随机产生定义域范围内的个体；

③适应度函数采用集成泛化误差；

④选择操作采用轮盘赌的方法从父代个体、交叉个体以及变异个体中选择，适应度高的个体更容易遗传到下一代；

⑤交叉操作采用单点交叉产生新个体，基因位的来源既有父代个体中的基因又有变异个体中的基因；

⑥变异操作是融合差分进化中的变异方法，使用差分向量变异新个体，变异之前采用欧氏距离计算选中个体间的相似性，对相似性高的个体执行传统的变异过程；

⑦停止进化；

其中适应度函数的设计同二进制编码下的SGASEN算法不同，设个体编码为

a＝(a₁,a₂,…,a_T)，

其中a_i∈(0,1)i∈{1,2,…,T}，设置基分类器选择系数λ，λ取值为1/T，当a_i＞λ时取值为1，否则为0，适应度函数的设计过程如下：

(1)人脸图像样本x的预测输出表示为：

<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <msub> <mi>y</mi> <mi>j</mi> </msub> </munder> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>></mo> <mi>&lambda;</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mo>&Element;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

(2)训练集S的集成泛化误差error为：

<mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>H</mi> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> <mo>&NotEqual;</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

Step4 解码最优个体生成基分类器组合，对测试集预测分类，计算分类错误率；

Step5 输出结果。