CN107729890B

CN107729890B - 基于lbp和深度学习的人脸识别方法

Info

Publication number: CN107729890B
Application number: CN201711231662.XA
Authority: CN
Inventors: 任红格; 史涛; 王玮; 李福进; 赵传松; 杜建; 宫海洋
Original assignee: North China University of Science and Technology
Current assignee: North China University of Science and Technology
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2020-10-09
Anticipated expiration: 2037-11-30
Also published as: CN107729890A

Abstract

本发明涉及了一种基于井字形LBP和深度学习相结合的人脸识别方法，属于人工智能技术领域，针对传统局部二值模式(LBP)特征提取不充分和分类器拟合的问题，提出一种基于局部纹理特征的井字形局部二值模式(LBP)和深度学习的人脸识别方法，利用改进的LBP算法提取人脸图像局部纹理特征，建立LBP直方图；然后构建基于深度信念网络的深度学习架构，将LBP直方图输入到深度信念网络中，采用无监督逐层训练法和有监督BP算法去训练网络，实现网络的自学习和自优化，得到网络参数；最后，利用DBN分类、识别人脸图像。本发明能够提取到具有区分性的人脸图像纹理特征，验证了该算法在识别率的优越性并且具有较强的鲁棒性。

Description

基于LBP和深度学习的人脸识别方法

技术领域

本发明涉及人工智能技术领域，具体的说，是涉及一种基于LBP和深度学习的人脸识别方法。

背景技术

人脸识别是一种基于人脸面部特征的身份识别技术，受到了来自各个领域的极大的瞩目。近年来，基于深度学习思想的方法得到了极大的发展和应用，在计算机视觉和物体识别等研究领域中取得了突破性的成果，为计算机科学向智能化方向发展提供了算法上的支持。目前深度学习的方法被越来越多的研究者引入到人脸识别相关研究领域中，取得了诸多令人满意的成果。2006年，Hinton提出DBN算法，是一种具有代表性的深度学习方法，其优点是有较强的函数表征能力，已成功应用于手写数字识别、动态人体检测等诸多领域。局部二值模式(LBP)是由Ojala等提出的一种有效纹理描述子，能够刻画出人脸图像的亮点、暗点、边缘等局部微模式及其分布情况，且计算简单、运算速度快，具有光照和旋转不变性。LBP算子在动态纹理识别表情分析、人脸识别等方面得到广泛应用。

申请公布号CN 105550658 A的发明专利公开了一种基于高维LBP与卷积神经网络特征融合的人脸对比方法，该方法比单独使用高维LBP或CNN能够得到更高的准确率，更好的鲁棒性，能够达到实时人脸比对的速率。申请公布号CN 105139426 A的发明专利公开了一种基于非下采样小波变换和LBP的视频运动目标检测方法，具有变换的平移不变性的优点，同时降低了计算的复杂度提高了运算速度。但是，以上专利在识别准确率方面取得的结果尚不尽如人意。

发明内容

针对传统局部二值模式(LBP)特征提取不充分和分类器拟合的问题，本发明提供一种有利于提取人脸图像更有用的纹理信息的基于LBP和深度学习的人脸识别方法。

本发明所采取的技术方案是：

一种基于LBP和深度学习的人脸识别方法，包括如下步骤：

对人脸图像训练样本进行分块处理，采用经典的均匀分块方式，对图像分块太大例如4×4，会包含一些干扰和噪声影响分块效果，对图像分块太小例如16×16，会加大相邻区域的阈值，影响特征表达效果，所以样本分块为8×8。

对人脸图像训练样本进行分块处理，将样本分块为8×8，采用井字形LBP提取每一个子块的井字形LBP直方图，将每个子块的直方图首尾相连形成样本总体直方图；

将训练样本的井字形LBP特征输入到DBN的可视层，训练第一个RBM，将第一个RBM的输出作为第二个RBM的输入训练第二个RBM，重复该过程直到训练完所有的RBM，以获取最优网络参数，用BP算法微调整个网络参数。

所述井字形LBP是在8个采样点的原始LBP基础上拓展为16个采样点的井字形LBP，具有更广的采样范围，能够提取到更有用的人脸图像纹理信息。

计算井字形LBP编码值公式是：

X_i是内层的采样点，Y_i是外层的采样点。

将样本的井字形LBP特征向量输入到DBN的可视层，逐层训练DBN，避免深度网络对于不利信息的处理，最后完成对人脸图像的分类识别。

本发明相对现有技术的有益效果：

本发明基于LBP和深度学习的人脸识别方法，以原始LBP为基础，改进为井字形LBP算法，并与深度学习理论结合在一起，即通过井字形LBP纹理描述子去提取人脸纹理特征，将其作为深度学习的输入，自下向上，层层学习更抽象的人脸特征，在顶层进行分类，可以减少对不利的特征描述的学习，提高特征的可识别性，运用BP算法微调全局，减少网络训练时间。通过实验表明所提算法能有效提高人脸图像关键信息的利用率，其鲁棒性和泛化能力均优于其他算法。

在原始LBP基础上，发明了一种特征提取能力更强、鲁棒性更好的井字形LBP算法；其次将该方法与DBN算法结合，作为输入去训练深度网络结构，减少深度网络对于不利特征的学习，避免冗余信息，减少训练网络时间，并克服DBN不能很好学习人脸局部纹理结构的缺点。

附图说明

图1是本发明基于LBP和深度学习的人脸识别方法的分块人脸图像；

图2是本发明基于LBP和深度学习的人脸识别方法的井字形邻域图；

图3是本发明基于LBP和深度学习的人脸识别方法的井字形LBP算法运算过程示例图；

图4是本发明基于LBP和深度学习的人脸识别方法的人脸图像井字形LBP总直方图；

图5是本发明基于LBP和深度学习的人脸识别方法的DBN的结构示意图；

图6是本发明基于LBP和深度学习的人脸识别方法的人脸识别框图。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明：

一种基于LBP和深度学习的人脸识别方法，包括如下步骤：

对人脸图像训练样本进行分块处理，采用经典的均匀分块方式，对图像分块太大例如4×4，会包含一些干扰和噪声影响分块效果，对图像分块太小例如16×16，会加大相邻区域的阈值，影响特征表达效果，所以本文将样本分块为8×8。

采用井字形LBP提取每一个子块的LBP直方图，将每个子块的直方图首尾相连形成样本总体直方图；

将训练样本的LBP特征输入到DBN的可视层，训练第一个RBM，将第一个RBM的输出作为第二个RBM的输入训练第二个RBM，重复该过程直到训练完所有的RBM，以获取最优网络参数，用BP算法微调整个网络参数。

所述井字形LBP是在8个采样点的原始LBP基础上拓展为16个采样点的井字形LBP，新增加的8个采样点分布在3×3邻域四个角的正上方、正下方、正左方和正右方，这样的分布方式有利于反映像素间的相关性。

计算井字形LBP编码值公式是：

X_i是内层的采样点，Y_i是外层的采样点。

如图1所示，步骤1，将人脸图像分块，然后提取井字形LBP直方图。

先求取井字形LBP值，如图2所示是所提出的井字形邻域16个像素按照采样半径划分为两组内层{x_i}和外层{y_i}(i＝0,1,..,7)，以图像中任意一点为中心，内层是3×3的大小作为窗口，外层是5×5的大小作为窗口，以该窗口中心像素点的灰度值作为阈值，将16个邻域灰度值与中心灰度值作对比，如果邻域灰度值比阈值大，则记为1，否则记为0；然后，顺时针分别将内层8个点和外层8个点的二进制数串连起来分别形成两行二进制编码；最后，分别通过加权求和获得十进制数，再求平均数，该平均数即为此像素点的井字形LBP值。

本发明井字形邻域的16个采样点与3×3邻域采样的原始LBP编码比起来，井字形邻域具有更广的采样范围，更进一步收集到有用信息，提高纹理信息的利用率。井字形邻域与32个采样点的5×5邻域相比，采样点仅为16个。并且在径线上井字形邻域的采样点不重叠，在保证充分采样的基础上避免纹理信息的冗余性。

如图3所示是井字形LBP计算过程，

计算公式如(1)和(2)：

内层的二进制编码：01111010

十进制编码：122

外层的二进制编码：101001010

十进制编码：138

经上述计算可得该像素点的井字形LBP值是130。

计算130的目的是随机假设一个点来说明井字形LBP算法的运算过程。

如图4所示为对图1分块图像进行处理，统计每一块的直方图，然后串联所有子块的井字形LBP直方图制成总直方图，即是空间增强直方图，作为人脸图像的特征向量。

步骤2，将训练样本的井字形LBP特征向量输入到DBN的可视层，训练第一个RBM，将第一个RBM的输出作为第二个RBM的输入训练第二个RBM，重复该过程直到训练完所有的RBM，以获取最优网络参数，用BP算法微调整个网络参数。

深度网络联合分布表示为：

p(H,h⁽¹⁾,h⁽²⁾,…,h^(l))＝P(H|h⁽¹⁾)P(h⁽²⁾|h⁽¹⁾)…P(h^(l-2)|h^(l-1))P(h^(l-1)|h^(l)) (1)

其中，H是井字形LBP纹理特征，h⁽¹⁾,h⁽²⁾,…,h^(l)是深度信念网络通过对输入特征H进行学习而得到的高层表示，因此该特征的完备程度直接影响到深度网络的效果。

如图5所示是DBN算法训练示意图，DBN的训练过程包含预训练和微调相结合的过程。在预训练阶段，DBN采用自底向上的无监督训练方法训练每一层RBM，将输入作为第一层的RBM的可视层，第一层RBM的隐含层作为第二层RBM的可视层，以此类推，无监督的训练整个DBN网络。在微调阶段，采用自顶向下的方式对整个网络进行有监督的微调。

人脸识别的具体步骤如图6所示：

步骤1：预处理人脸图像样本，包括灰度归一化、分块等；

步骤2：运用井字形LBP算法对每一小块人脸图像提取LBP值，进而转化为LBP直方图，通过串连每一块LBP直方图得到总的LBP直方图；

步骤3：将LBP总直方图输入到DBN中训练网络参数，每一层都进行从下到上的无监督预训练和从上到下的有监督微调，同时每一层都加入Dropout技术，逐层训练，最后得到最优参数值；

步骤4：完成网络的训练过程后，将测试样本的LBP总直方图输入到DBN中，通过训练好的网络学习并提取测试样本的抽象特征，最后作为分类器实现分类识别，得到结果。

本发明基于LBP和深度学习的人脸识别方法，针对传统局部二值模式(LBP)特征提取不充分和分类器拟合的问题，提出一种基于局部纹理特征的显著局部二值模式(井字形LBP)和深度学习的人脸识别方法，利用改进的LBP算法提取人脸图像局部纹理特征，建立井字形LBP直方图；然后构建基于深度信念网络的深度学习架构，将井字形LBP直方图输入到深度信念网络中，采用无监督逐层训练法和有监督BP算法去训练网络，实现网络的自学习和自优化，得到网络参数；最后，利用DBN分类、识别人脸图像。本发明能够提取到具有区分性的人脸图像纹理特征，验证了该算法在识别率的优越性并且具有较强的鲁棒性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的结构作任何形式上的限制。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明的技术方案范围内。

Claims

1.一种基于LBP和深度学习的人脸识别方法，其特征在于包括如下步骤：

将训练样本的LBP特征输入到DBN的可视层，训练第一个RBM，将第一个RBM的输出作为第二个RBM的输入训练第二个RBM，重复该过程直到训练完所有的RBM，以获取最优网络参数，用BP算法微调整个网络参数；

所述井字形LBP是在8个采样点的原始LBP基础上拓展为16个采样点的井字形LBP，新增加的8个采样点分布在3×3邻域四个角的正上方、正下方、正左方和正右方。

2.根据权利要求1所述基于LBP和深度学习的人脸识别方法，其特征在于：计算井字形LBP编码值公式是：

X是内层的采样点，Y是外层的采样点。

3.根据权利要求1所述基于LBP和深度学习的人脸识别方法，其特征在于：将样本的井字形LBP特征向量输入到DBN的可视层，逐层训练DBN，避免深度网络对于不利信息的处理，最后完成对人脸图像的分类识别。