CN106503661A - 基于烟花深度信念网络的人脸性别识别方法 - Google Patents

Abstract

一种基于烟花深度信念网络的人脸性别识别方法，由原始图像预处理、训练深度信念网络、用烟花算法优化深度信念网络初始参数空间、使用烟花算法优化的深度信念网络进行人脸性别识别组成。本发明采用深度信念网络在无监督阶段学习到人脸图像语义信息更加丰富的特征，在有监督阶段采用烟花算法调节深度信念网络初始参数空间，得到更适合于识别任务的网络模型。本发明具有抗干扰性强、全局最优、识别率高等优点，可用于人脸性别识别以及其它的图像识别和分类。

Description

基于烟花深度信念网络的人脸性别识别方法

技术领域

本发明属于人脸图像性别识别技术领域，具体涉及到采用烟花算法优化深度信念网络初始参数空间确定人脸性别识别的方法。

背景技术

人脸性别识别技术在人机交互、机器视觉、身份验证、安保系统等方面有广泛的应用，近些年来成为研究热点。人脸图像的性别识别系统通常由三部分构成：人脸检测、特征提取和识别。提取人脸图像的底层视觉特征，采用这些特征作为分类器的输入，识别出人脸性别。人脸特征的提取是性别识别的关键，特征选取的好坏将直接影响后续的识别准确度。目前研究中常用的人工提取特征方法有：本征脸法、局部特征法和模型法。而基于人工提取特征的方法试图直接从底层特征来推断出高层次表达类别，实现困难并且会产生语义鸿沟。

蒋雨欣等人提出了一种基于卷积神经网络和单层神经元的人脸性别识别方法，采用卷积层和下采样层连续交替地对输入图像进行卷积和下采样操作，提取到人脸图像的高层特征，然后采用单层神经元重构输入图像的低层特征，最后联合学习到的高层特征和低层特征作为神经网络的输出，进行人脸图像的性别识别。汪济民等人采用卷积神经网络进行人脸性别识别，通过不同的人脸数据库，验证了卷积神经网络对光照、侧脸、遮挡等因素具有比较好的鲁棒性。Levi等人利用卷积神经网络进行人脸性别识别，采用自然环境下的人脸图像数据库作为实验的训练数据和测试数据，实验结果证明利用卷积神经网络进行人脸性别识别取得了较高的识别率。

上述卷积神经网络模型在有监督学习阶段都采用误差反向传播策略微调卷积神经网络的初始参数空间。但是，误差反向传播法容易陷入局部最优。

发明内容

本发明所要解决的技术问题在于克服上述人脸性别识别方法缺点，提供一种全局最优、抗干扰性强、识别率高的基于烟花深度信念网络的人脸性别识别方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

（1）原始图像预处理

将原始彩色图像转化为灰度图像，并分割出人脸部分，转化为一维向量，每一行向量表示一张图像。

（2）训练深度信念网络

设置深度信念网络输入层、隐层和输出层的层数，以及各层节点数，通过贪婪逐层无监督学习，得到深度信念网络初始参数空间：

θ₁=(W,B,C)

式中W为网络的权值，B为隐层的偏置，C为可视层的偏置。

（3）用烟花算法优化深度信念网络初始参数空间

在有监督学习阶段，用烟花算法寻找全局最优点，用共轭梯度法对全局最优点进行局部搜索，用烟花算法和共轭梯度法优化深度信念网络初始参数空间，步骤如下：

1）设置烟花算法有限的最大迭代次数，将其作为烟花算法的终止条件，初始化M个烟花，M为5～20的整数，将深度信念网络初始参数空间θ₁作为其中的一个烟花,其余M-1个初始烟花由如下公式得出：

θ=rand(1,n)×(UB-LB)+ones(1,n)×LB (1)

其中，

式中，n为深度信念网络初始参数空间θ₁的元素数，H为深度信念网络隐层总数，1≤H≤3，D_s为第s个隐层的节点数，D_s为100～500的正整数，D₀为输入图像的像素数，rand(1,n)表示生成一个1×n矩阵，矩阵中每一个元素为(0,1)区间的一个随机实数，ones(1,n)表示生成一个1×n矩阵，矩阵中所有元素全为1，UB为烟花算法搜索空间的上界，UB为1～5的整数，LB为烟花算法搜索空间的下界，LB为-5～-1的整数。

2）使用烟花算法寻找种群最优个体θ^*。

3）使用共轭梯度法继续寻找最优个体θ^*的最优解，如果找到，则更新种群最优个体θ^*，否则保持种群最优个体θ^*，将种群最优个体θ^*作为下一代的烟花，若满足终止条件，则执行步骤4），否则跳转到步骤2）。

4）返回种群最优个体θ^*，作为深度信念网络参数空间。

(4)使用烟花算法优化的深度信念网络进行人脸性别识别

将测试图像输入到经过优化的深度信念网络，第s个隐层第j个节点的特征向量由下式得到：

式中，为第s个隐层第j个节点的偏置，为连接第s-1个隐层第i个节点和第s个隐层第j个节点的权值，为第s-1个隐层第i个节点的特征向量，表示输入图像第i个像素归一化的灰度值，x为深度信念网络输入图像。

输入测试图像，在输出层得到网络预测的男女性别，其性别由下式得到：

式中，为输出层第j个节点的偏置，D_H为第H个隐层的节点数，为连接第H个隐层第i个节点和输出层第j个节点的权值，x为深度信念网络输入图像，为第H个隐层第i个节点的特征向量，J为输入图像的判断性别，当J是1时为男性，J是2时为女性。

在本发明的烟花算法优化深度信念网络初始参数空间步骤(3)中，种群最优个体θ^*用烟花算法按下式确定：

式中，θ_t为烟花种群中第t个个体，N为输入的有限训练图像总数，为第k张输入图像的真实标签，为输出层第j个节点的偏置，D_H为第H个隐层的节点数，为连接第H个隐层第i个节点和输出层第j个节点的权值，x^k是第k张输入图像，为第H个隐层第i个节点的特征向量。

在本发明的训练深度信念网络步骤(2)中，设置深度信念网络输入层和隐层以及输出层的层数最佳为1个输入层、3个隐层、1个输出层，其中输入层节点数为576，第一个隐层节点数为400，第二个隐层节点数为400，第三个隐层节点数为200，输出层节点数为2。

本发明采用深度信念网络在无监督阶段学习到人脸图像语义信息更加丰富的特征，在有监督阶段采用烟花算法调节深度信念网络初始参数空间，得到更适合于识别任务的网络模型。本发明具有抗干扰性强、全局最优、识别率高等优点，可用于人脸性别识别以及其它的图像识别和分类。

附图说明

图1是烟花深度信念网络人脸性别识别流程图。

图2是Extended Cohn-Kanade人脸数据库图像。

图3是Extended Cohn-Kanade人脸数据库预处理后图像。

图4是MORPH人脸数据库图像。

图5是MORPH人脸数据库预处理后图像。

图6是LFW人脸数据库图像。

图7是LFW人脸数据库预处理后图像。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

实施例1

以国际通用的Extended Cohn-Kanade人脸数据库为输入图像，MATLAB2010b为实验平台，进行人脸性别识别为例，如图1所示，其方法如下：

1、原始图像预处理

Extended Cohn-Kanade人脸数据库，训练图像为210张，测试图像为140张，部分图像如图2所示，将图2中原始彩色图像转化为灰度图像，并分割出人脸部分，采用双三次插值法采样人脸图像大小为24×24像素，如图3所示，将每一张分割图像转化为一维向量，每一行向量表示一张图像。

2、训练深度信念网络

设置深度信念网络输入层、隐层和输出层的层数分别为1个输入层、3个隐层和1个输出层，其中，输入层节点数为24×24，3个隐层的节点数分别为400、400、200，输出层节点数为2，即输入图像类别数，通过贪婪逐层无监督学习，得到深度信念网络初始参数空间：

θ₁=(W,B,C)

式中W为网络的权值，B为隐层的偏置，C为可视层的偏置。

3、用烟花算法优化深度信念网络初始参数空间

在有监督学习阶段，用烟花算法寻找全局最优点，用共轭梯度法对全局最优点进行局部搜索，用烟花算法和共轭梯度法优化深度信念网络初始参数空间，步骤如下：

1）设置烟花算法最大迭代次数为500，将其作为烟花算法的终止条件，初始化M个烟花，M取值为10，将深度信念网络初始参数空间θ₁作为其中的一个烟花,其余9个初始烟花由如下公式得出：

θ=rand(1,471802)×(UB-LB)+ones(1,471802)×LB (1)

式中，深度信念网络初始参数空间θ₁的元素数为471802，rand(1,471802)表示生成一个1×471802矩阵，矩阵中每一个元素为(0,1)区间的一个随机实数，ones(1,471802)表示生成一个1×471802矩阵，矩阵中所有元素全为1，UB为烟花算法搜索空间的上界，LB为烟花算法搜索空间的下界，(LB,UB)分别取值(-1,1)、(-2,2)、(-3,3)、(-4,4)、(-5,5)。

2）使用烟花算法寻找种群最优个体θ^*

种群最优个体θ^*用烟花算法按下式确定：

式中，θ_t为烟花种群中第t个个体，为第k张输入图像的真实标签，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x^k是第k张输入图像，为第3个隐层第i个节点的特征向量。

3)使用共轭梯度法继续寻找最优个体θ^*的最优解，如果找到，则更新种群最优个体θ^*，否则保持种群最优个体θ^*，将种群最优个体θ^*作为下一代的烟花，若满足终止条件，则执行步骤4），否则跳转到步骤2）。

4)返回种群最优个体θ^*，作为深度信念网络参数空间。

4、使用烟花算法优化的深度信念网络进行人脸性别识别

将测试图像输入到经过优化的深度信念网络，第s个隐层第j个节点的特征向量由下式得到：

式中，为第s个隐层第j个节点的偏置，D_s为第s个隐层的节点数，为连接第s-1个隐层第i个节点和第s个隐层第j个节点的权值，为第s-1个隐层第i个节点的特征向量，表示输入图像第i个像素归一化的灰度值，x为深度信念网络输入图像。

输入测试图像，在输出层得到网络预测的男女性别，其性别由下式得到：

式中，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x为深度信念网络输入图像，为第3个隐层第i个节点的特征向量，J为输入图像的判断性别，当J是1时为男性，J是2时为女性。

表1.实施例1测试图像性别识别率的测试结果

(LB,UB)	(-1,1)	(-2,2)	(-3,3)	(-4,4)	(-5,5)
						识别率(%)	85.00	86.43	87.14	86.43	85.00

由表1可见，当(LB,UB)取值为(-3,3)时，测试图像的识别率最高。

实施例2

以国际通用的MORPH人脸数据库为输入图像，MATLAB 2010b为实验平台，进行人脸性别识别为例，如图1所示，其方法如下：

1、原始图像预处理

MORPH人脸数据库，训练图像为1400张，测试图像为1000张，部分图像如图4所示，将图4中原始彩色图像转化为灰度图像，并分割出人脸部分，采用双三次插值法采样人脸图像大小为24×24像素，如图5所示，将每一张分割图像转化为一维向量，每一行向量表示一张图像。

2、训练深度信念网络

设置深度信念网络输入层、隐层和输出层的层数分别为1个输入层、3个隐层和1个输出层，其中，输入层节点数为24×24，3个隐层的节点数分别为400、400、200，输出层节点数为2，即输入图像类别数，通过贪婪逐层无监督学习，得到深度信念网络初始参数空间：

θ₁=(W,B,C)

式中W为网络的权值，B为隐层的偏置，C为可视层的偏置；

3、用烟花算法优化深度信念网络初始参数空间

在有监督学习阶段，用烟花算法寻找全局最优点，用共轭梯度法对全局最优点进行局部搜索，用烟花算法和共轭梯度法优化深度信念网络初始参数空间，步骤如下：

1）设置烟花算法最大迭代次数为2000，将其作为烟花算法的终止条件，初始化M个烟花，M取值为5，将深度信念网络初始参数空间θ₁作为其中的一个烟花,其余4个初始烟花由如下公式得出：

θ=rand(1,471802)×(UB-LB)+ones(1,471802)×LB (1)

式中，深度信念网络初始参数空间θ₁的元素数为471802，rand(1,471802)表示生成一个1×471802矩阵，矩阵中每一个元素为(0,1)区间的一个随机实数，ones(1,471802)表示生成一个1×471802矩阵，矩阵中所有元素全为1，UB为烟花算法搜索空间的上界，LB为烟花算法搜索空间的下界，(LB,UB)分别取值(-1,1)、(-2,2)、(-3,3)、(-4,4)、(-5,5)。

2）使用烟花算法寻找种群最优个体θ^*

所述的种群最优个体θ^*用烟花算法按下式确定：

式中，θ_t为烟花种群中第t个个体，为第k张输入图像的真实标签，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x^k是第k张输入图像，为第3个隐层第i个节点的特征向量。

3)使用共轭梯度法继续寻找最优个体θ^*的最优解，如果找到，则更新种群最优个体θ^*，否则保持种群最优个体θ^*，将种群最优个体θ^*作为下一代的烟花，若满足终止条件，则执行步骤4），否则跳转到步骤2）。

4)返回种群最优个体θ^*，作为深度信念网络参数空间。

4、使用烟花算法优化的深度信念网络进行人脸性别识别

将测试图像输入到经过优化的深度信念网络，第s个隐层第j个节点的特征向量由下式得到：

式中，为第s个隐层第j个节点的偏置，D_s为第s个隐层的节点数，为连接第s-1个隐层第i个节点和第s个隐层第j个节点的权值，为第s-1个隐层第i个节点的特征向量，表示输入图像第i个像素归一化的灰度值，x为深度信念网络输入图像。

输入测试图像，在输出层得到网络预测的男女性别，其性别由下式得到：

式中，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x为深度信念网络输入图像，为第3个隐层第i个节点的特征向量，J为输入图像的判断性别，当J是1时为男性，J是2时为女性。

表2.实施例2测试图像性别识别率的测试结果

(LB,UB)	(-1,1)	(-2,2)	(-3,3)	(-4,4)	(-5,5)
						识别率(%)	90.50	93.30	93.80	93.30	93.00

由表2可见，当(LB,UB)取值为(-3,3)时，测试图像的识别率最高。

实施例3

以国际通用的LFW人脸数据库为输入图像，MATLAB 2010b为实验平台，进行人脸性别识别为例，如图1所示，其方法如下：

1、原始图像预处理

LFW人脸数据库，训练图像为400张，测试图像为200张，部分图像如图6所示，将图6中原始彩色图像转化为灰度图像，并分割出人脸部分，采用双三次插值法采样人脸图像大小为24×24像素，如图7所示，将每一张分割图像转化为一维向量，每一行向量表示一张图像。

2、训练深度信念网络

设置深度信念网络输入层、隐层和输出层的层数分别为1个输入层、3个隐层和1个输出层，其中，输入层节点数为24×24，3个隐层的节点数分别为400、400、200，输出层节点数为2，即输入图像类别数，通过贪婪逐层无监督学习，得到深度信念网络初始参数空间：

θ₁=(W,B,C)

式中W为网络的权值，B为隐层的偏置，C为可视层的偏置。

3、用烟花算法优化深度信念网络初始参数空间

在有监督学习阶段，用烟花算法寻找全局最优点，用共轭梯度法对全局最优点进行局部搜索，用烟花算法和共轭梯度法优化深度信念网络初始参数空间，步骤如下：

1）设置烟花算法最大迭代次数为1000，将其作为烟花算法的终止条件，初始化M个烟花，M取值为20，将深度信念网络初始参数空间θ₁作为其中的一个烟花,其余19个初始烟花由如下公式得出：

θ=rand(1,471802)×(UB-LB)+ones(1,471802)×LB (1)

式中，深度信念网络初始参数空间θ₁的元素数为471802，rand(1,471802)表示生成一个1×471802矩阵，矩阵中每一个元素为(0,1)区间的一个随机实数，ones(1,471802)表示生成一个1×471802矩阵，矩阵中所有元素全为1，UB为烟花算法搜索空间的上界，LB为烟花算法搜索空间的下界，(LB,UB)分别取值(-1,1)、(-2,2)、(-3,3)、(-4,4)、(-5,5)。

2）使用烟花算法寻找种群最优个体θ^*

所述的种群最优个体θ^*用烟花算法按下式确定：

式中，θ_t为烟花种群中第t个个体，为第k张输入图像的真实标签，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x^k是第k张输入图像，为第3个隐层第i个节点的特征向量。

3)使用共轭梯度法继续寻找最优个体θ^*的最优解，如果找到，则更新种群最优个体θ^*，否则保持种群最优个体θ^*，将种群最优个体θ^*作为下一代的烟花，若满足终止条件，则执行步骤4），否则跳转到步骤2）。

4)返回种群最优个体θ^*，作为深度信念网络参数空间。

4、使用烟花算法优化的深度信念网络进行人脸性别识别

将测试图像输入到经过优化的深度信念网络，第s个隐层第j个节点的特征向量由下式得到：

式中，为第s个隐层第j个节点的偏置，D_s为第s个隐层的节点数，为连接第s-1个隐层第i个节点和第s个隐层第j个节点的权值，为第s-1个隐层第i个节点的特征向量，表示输入图像第i个像素归一化的灰度值，x为深度信念网络输入图像。

输入测试图像，在输出层得到网络预测的男女性别，其性别由下式得到：

式中，为输出层第j个节点的偏置，为连接第3个隐层第i个节点和输出层第j个节点的权值，x为深度信念网络输入图像，为第3个隐层第i个节点的特征向量，J为输入图像的判断性别，当J是1时为男性，J是2时为女性。

表3.实施例3测试图像性别识别率的测试结果

(LB,UB)	(-1,1)	(-2,2)	(-3,3)	(-4,4)	(-5,5)
						识别率(%)	90.50	92.00	92.50	91.50	90.00

由表3可见，当(LB,UB)取值为(-3,3)时，测试图像的识别率最高。

Claims (3)

1.一种基于烟花深度信念网络的人脸性别识别方法，其特征在于它包括下述步骤：

(1)原始图像预处理

将原始彩色图像转化为灰度图像，并分割出人脸部分，转化为一维向量，每一行向量表示一张图像；

(2)训练深度信念网络

设置深度信念网络输入层、隐层和输出层的层数，以及各层节点数，通过贪婪逐层无监督学习，得到深度信念网络初始参数空间：

θ₁＝(W,B,C)

式中W为网络的权值，B为隐层的偏置，C为可视层的偏置；

(3)用烟花算法优化深度信念网络初始参数空间

在有监督学习阶段，用烟花算法寻找全局最优点，用共轭梯度法对全局最优点进行局部搜索，用烟花算法和共轭梯度法优化深度信念网络初始参数空间，步骤如下：

1)设置烟花算法有限的最大迭代次数，将其作为烟花算法的终止条件，初始化M个烟花，M为5～20的整数，将深度信念网络初始参数空间θ₁作为其中的一个烟花,其余M-1个初始烟花由如下公式得出：

θ＝rand(1,n)×(UB-LB)+ones(1,n)×LB (1)

其中，

$n=\underset{s=1}{\overset{H}{\Σ}}(D_{s-1}{D}_s+D_s)+D_H\×2+2$

式中，n为深度信念网络初始参数空间θ₁的元素数，H为深度信念网络隐层总数，1≤H≤3，D_s为第s个隐层的节点数，D_s为100～500的正整数，D₀为输入图像的像素数，rand(1,n)表示生成一个1×n矩阵，矩阵中每一个元素为(0,1)区间的一个随机实数，ones(1,n)表示生成一个1×n矩阵，矩阵中所有元素全为1，UB为烟花算法搜索空间的上界，UB为1～5的整数，LB为烟花算法搜索空间的下界，LB为-5～-1的整数；

2)使用烟花算法寻找种群最优个体θ^*

3)使用共轭梯度法继续寻找最优个体θ^*的最优解，如果找到，则更新种群最优个体θ^*，否则保持种群最优个体θ^*，将种群最优个体θ^*作为下一代的烟花，若满足终止条件，则执行步骤4)，否则跳转到步骤2)；

4)返回种群最优个体θ^*，作为深度信念网络参数空间；

(4)使用烟花算法优化的深度信念网络进行人脸性别识别

将测试图像输入到经过优化的深度信念网络，第s个隐层第j个节点的特征向量由下式得到：

$h_j^s(x;{\mathrm{\θ}}^{*})=1/(1+e^{-(b_j^s+\underset{i=1}{\overset{D_{s-1}}{\mathrm{\Σ}}}{w}_{ij}^s{h}_i^{s-1}(x;{\mathrm{\θ}}^{*}\left)\right)}),j=1,...,D_s,s=1,...,H---\left(2\right)$

式中，为第s个隐层第j个节点的偏置，为连接第s-1个隐层第i个节点和第s个隐层第j个节点的权值，为第s-1个隐层第i个节点的特征向量，表示输入图像第i个像素归一化的灰度值，x为深度信念网络输入图像；

输入测试图像，在输出层得到网络预测的男女性别，其性别由下式得到：

$J=\underset{j}{\arg }max(b_j^{out}+\underset{i=1}{\overset{D_H}{\Σ}}{w}_{ij}^{out}{h}_i^H(x;{\mathrm{\θ}}^{*}\left)\right),j=1,2---\left(3\right)$

式中，为输出层第j个节点的偏置，D_H为第H个隐层的节点数，为连接第H个隐层第i个节点和输出层第j个节点的权值，x为深度信念网络输入图像，为第H个隐层第i个节点的特征向量，J为输入图像的判断性别，当J是1时为男性，J是2时为女性。

2.根据权利要求1所述的基于烟花深度信念网络的人脸性别识别方法，其特征在于：在烟花算法优化深度信念网络初始参数空间步骤(3)中，所述的种群最优个体θ^*用烟花算法按下式确定：

${\mathrm{\θ}}^{*}=\underset{{\mathrm{\θ}}_t}{\arg }\min \left(-\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{2}{\mathrm{\Σ}}}{y}_j^k\tan 0.5\mathrm{\π}\left(b_j^{out}+\underset{i=1}{\overset{D_H}{\mathrm{\Σ}}}{w}_{ij}^{out}{h}_i^H\left(x^k;{\mathrm{\θ}}_t\right)-1\right)\right)---\left(4\right)$

式中，θ_t为烟花种群中第t个个体，N为输入的有限训练图像总数，为第k张输入图像的真实标签，为输出层第j个节点的偏置，D_H为第H个隐层的节点数，为连接第H个隐层第i个节点和输出层第j个节点的权值，x^k是第k张输入图像，为第H个隐层第i个节点的特征向量。

3.根据权利要求1所述的基于烟花深度信念网络的人脸性别识别方法，其特征在于：在训练深度信念网络步骤(2)中，所述的设置深度信念网络输入层、隐层和输出层的层数分别包括1个输入层、3个隐层、1个输出层；其中输入层节点数为576，第一个隐层节点数为400，第二个隐层节点数为400，第三个隐层节点数为200，输出层节点数为2。