CN111339856A - 基于深度学习的复杂光照条件下人脸识别方法和识别系统 - Google Patents

基于深度学习的复杂光照条件下人脸识别方法和识别系统 Download PDF

Info

Publication number
CN111339856A
CN111339856A CN202010095594.4A CN202010095594A CN111339856A CN 111339856 A CN111339856 A CN 111339856A CN 202010095594 A CN202010095594 A CN 202010095594A CN 111339856 A CN111339856 A CN 111339856A
Authority
CN
China
Prior art keywords
image
lbp
images
dbn
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010095594.4A
Other languages
English (en)
Inventor
庄立运
季仁东
居勇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202010095594.4A priority Critical patent/CN111339856A/zh
Publication of CN111339856A publication Critical patent/CN111339856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的复杂光照条件下人脸识别方法和识别系统，其中人脸识别方法将Log‑Gabor滤波器和LBP与深信网络(DBN)相结合构建有效的深层学习网络。首先，对图像进行预处理，有效改善了复杂光照变化对人脸图像的不利影响；其次，利用Log‑Gabor滤波器获得不同尺度和方向的Log‑Gabor特征图像；然后，提取子块图像的LBP特征；最后，形成图像的纹理特征并输入到深层信念网络(DBN)的可视层，通过DBN中的深层学习完成复杂光照条件下图像的分类和识别。该方法可以在复杂光照条件下提取人脸图像深度特征，实现复杂光照条件下图像的分类和识别。

Description

基于深度学习的复杂光照条件下人脸识别方法和识别系统
技术领域
本发明属于人脸识别技术领域，具体涉及一种在复杂光照条件下的人脸识别方法。
背景技术
光照变化或光照不均匀引起的图像质量下降，将对图像理解和分析造成一定困难。实验表明，在人脸识别系统中，光照变化会对识别率产生最大的影响，不同的光照环境会导致人脸图像的类间差异小于类内差异。文献：Hallinan P W.A low-dimensionalrepresentation of human faces for arbitrary lighting conditions[C].Proceedings of International Conference on Computer Vision and PatternRecognition,1994:995-999，通过FERET测试结果可知，图像的光照变化引起识别性能的急剧下降。文献：Xie X,Lam K M.Face recognition under varying illumination basedon a 2D face shape model[J].Pattern Recognition,2005,38(2):221-230的测试表明，虽然现阶段顶级的识别系统对室内合理变化光照，其敏感度大大降低，但其对室外人脸识别的性能还有待进一步提高。室外人脸图像的特点之一是光照变化较为复杂。
近年来，基于深度学习的人脸识别在身份认证领域得到越来越广泛的应用。文献：Singh K,Kapoor R.Image enhancement using exposure based sub image his-togramequalization[J].Pattern Recognition Letters,2014,36:10-14.将具有泛化、自适应和非线性映射功能的BP神经网络应用于的识别中。为了提高BP人脸识别方法的识别效果，文献：Tang J R,Isa N A M.Bi-histogram equalization using modified histogram bins[J].Applied Soft Computing,2017,55:31-43提出了改进的基于BP的人脸识别方法，并加入了图像二值化方法以有效地获得人脸的位置和尺寸大小。然而，BP神经网络具有随机的初始化权值，使得BP神经网络容易陷入局部极小值，因此BP神经网络在识别性能提升方面不明显。为了克服BP神经网络存在问题，文献：Kaur A,Singh C.Contrast enhancementfor cephalometric images using wave-let-based modified adaptive histogramequalization[J].Applied Soft Compu-ting,2017,51:180-191中提出了DBN深度学习算法。该算法通过自下而上自动学习不同层次的抽象特征，最终获得非线性特征，为不依赖于人工选择的特征自动提取过程。然而，如果多层网络的输入是像素级图像，则深度学习方法可能忽略局部特征，难以学习到人脸图像的局部特征。文献：Chang J D,Chen B H,Tsai CS.LBP-based fragile watermarking scheme for image tamper detection andrecovery[C].Proceedings of Next-Generation Electronics,2013:173-176和CVG-UGR-Database.http://decsai.ugr.es/cvg/dbimagenes中，梁和张等提出利用LBP特征作为深层学习网络的输入，其分别提高了LBP算法和深度学习算法的性能。但其尺寸相对较高，过于详细的描述使其对噪声较为敏感。在LBP的基础上，学者们提出了改进的中心对称局部二进制模式(CSLBP)描述子，其维数远低于LBP，且对噪声具有较强的鲁棒性。但是对于光照变化较为剧烈的场景，其结果仍不能满足实际应用的要求。
本发明提出一种复杂光照条件下人脸图像深度特征提取的有效方法。该算法是在将Log-Gabor滤波器和LBP与深信网络(DBN)相结合的基础上一种有效的深层学习网络。首先，对图像进行预处理，有效改善了复杂光照变化对人脸图像的不利影响。其次，利用Log-Gabor滤波器获得不同尺度和方向的Log-Gabor特征图像。然后，提取子块图像的LBP特征。最后，形成纹理特征直方图并输入到深层信念网络(DBN)视觉层，通过DBN中的深层学习完成复杂光照条件下图像的分类和识别。
发明内容
发明目的：针对现有技术中存在的问题，本发明提出了一种基于深度学习的复杂光照条件下人脸识别方法，该方法可以在复杂光照条件下提取人脸图像深度特征，实现复杂光照条件下图像的分类和识别。
技术方案：本发明一方面公开了一种基于深度学习的复杂光照条件下人脸识别方法，包括训练阶段和识别阶段；所述训练阶段的步骤为：
(1)建立训练样本集，所述训练样本集中的图像为人脸图像，并对图像中的人脸标定类别标签label；
(2)对训练样本集中的图像进行预处理，以提升图像的亮度分布均匀性；对预处理后的样本图像进行Log-Gabor滤波，每一个样本图像得到l个不同尺度和m个方向的l*m幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图；链接l*m个LBP图像的n个子块的LBP直方图，得到每个样本图像的l*m*n维LBP纹理特征；所有样本图像的LBP纹理特征组成集合Hog；
(3)建立人脸识别的深度置信网络DBN，所述DBN包括一个可视层和L个隐藏层；可视层和L个隐藏层的联合分布概率为：
P(H,h(1),h(2),...,h(L))＝P(H|h(1))P(h(1)|h(2))...P(h(L-1)|h(L))
其中h(l)为第l个隐藏层，l＝1,2,…,L；H为DBN的可视层，作为第0个隐藏层h(0)；
相邻两个隐藏层满足：
Figure BDA0002385236100000031
Figure BDA0002385236100000032
其中，hi (k)为第k个隐藏层中第i个隐藏单元，
Figure BDA0002385236100000033
为第k+1个隐藏层中第j个隐藏单元，
Figure BDA0002385236100000034
为第k个隐藏层中第i个隐藏单元的偏置量，
Figure BDA0002385236100000035
表示hi (k)和
Figure BDA0002385236100000036
之间的权重；δ(·)为激活函数Sigmoid函数；在DBN中将P(h(l-1)|h(l))视为一个RBM模型；
(4)将训练样本集中每个样本图像的LBP纹理特征和类别标签输入DBN的可视层，对DBN进行训练，优化DBN的参数，得到训练好的人脸识别模型；
所述识别阶段的步骤为：
对待识别的人脸图像进行预处理，以提升图像的亮度分布均匀性；对预处理后的图像进行Log-Gabor滤波，得到l个不同尺度和m个方向的l*m幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图，链接l*m个LBP图像的n个子块的LBP直方图，得到待识别人脸图像的l*m*n维LBP纹理特征；将待识别人脸图像的LBP纹理特征输入训练好的人脸识别模型，得到待识别人脸的识别结果。
步骤(2)中预处理后的图像分割后的子块大小为2×2、2×4、4×2、4×4、8×4、8×8或16×8之一。
步骤(3)中所述DBN包括2个隐藏层。
步骤(4)中对DBN训练的目标是最大化训练集的概率函数，所述训练集的概率函数为：
Figure BDA0002385236100000041
其中w是权重矩阵，Hog是训练集中样本图像的LBP纹理特征组成的集合；p(hog)为集合Hog中LBP纹理特征概率函数值；E[·]为能量函数。
本发明中对DBN采用迭代训练，迭代数3000，学习率为0.001。
所述DBN中每个隐藏层中的隐藏单元数量相同。
对图像进行预处理，以提升图像的亮度分布均匀性，包括：
S1：计算图像中每个像素的自适应因子：
F(x,y)＝Ic(x,y)*GF
Figure BDA0002385236100000042
其中F(x,y)为图像中(x,y)处的自适应因子，Ic(x,y)是图像在(x,y)处的归一化亮度值，0≤Ic(x,y)≤1；*表示卷积运算；GF是具有空间常数的二维高斯滤波器，滤波器模板的尺寸σF＝3×3；
S2：对输入图像的每一个像素进行局部非线性处理，像素(x,y)处理后的像素值Icl(x,y)为：
Figure BDA0002385236100000043
Ic(max)为输入图像像素值的最大值；
S3：对局部非线性处理后的像素变换亮度，像素(x,y)变换后的亮度为：
Figure BDA0002385236100000044
其中，maxIcl和minIcl分别代表Ic(x,y)的最大值和最小值；maxv是最大亮度值，典型值设定为255。
另一方面，本发明公开了实现上述人脸识别方法的识别系统，包括：
图像预处理模块，用于提升图像的亮度分布均匀性；
Log-Gabor滤波模块，用于对预处理后的图像进行Log-Gabor滤波，得到不同尺度和方向的Gabor局部特征图像；
图像分割模块，用于将每个Gabor局部特征图像经过LBP算子得到LBP图像，并将LBP图像分割为n个子块；
LBP纹理特征提取模块，用于提取每个子块的LBP直方图，链接同一原始图像的每个LBP图像中的n个子块的LBP直方图，得到原始图像的LBP纹理特征；
人脸识别模块，用于根据人脸图像的LBP纹理特征来进行人脸识别。
有益效果：与现有技术相比，本发明公开的基于深度学习的复杂光照条件下人脸识别方法，该方法将Log-Gabor滤波器和LBP与深信网络(DBN)相结合构建有效的深层学习网络。首先，对图像进行预处理，有效改善了复杂光照变化对人脸图像的不利影响；其次，利用Log-Gabor滤波器获得不同尺度和方向的Log-Gabor特征图像；然后，提取子块图像的LBP特征。最后，形成图像的纹理特征并输入到深层信念网络(DBN)的可视层，通过DBN中的深层学习完成复杂光照条件下图像的分类和识别。该方法可以在复杂光照条件下提取人脸图像深度特征，实现复杂光照条件下图像的分类和识别。
附图说明
图1为本发明公开的复杂光照条件下人脸识别方法的流程图；
图2为图像预处理的效果对比图；
图3为实施例1中不同分割方法在Extended Yale B+库的识别率曲线图；
图4为实施例1中不同分割方法在CMU-PIE库的识别率曲线图；
图5为实施例1中不同分割方法在ORL库的识别率曲线图；
图6为实施例2中不同隐藏单元数在Extended Yale B+库的识别率曲线图；
图7为实施例2中不同隐藏单元数在CMU-PIE库的识别率曲线图；
图8为实施例2中不同隐藏单元数在ORL库的识别率曲线图；
图9为实施例3中不同算法平均值和标准方差对比图；
图10为实施例4中复杂光照条件下人脸识别系统的组成示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，本发明公开了一种基于深度学习的复杂光照条件下人脸识别方法，包括训练阶段和识别阶段；所述训练阶段的步骤为：
(1)建立训练样本集，所述训练样本集中的图像为人脸图像，并对图像中的人脸标定类别标签label；
(2)对训练样本集中的图像进行预处理，以提升图像的亮度分布均匀性，具体步骤为：
S1：计算图像中每个像素的自适应因子：
F(x,y)＝Ic(x,y)*GF
Figure BDA0002385236100000061
其中F(x,y)为图像中(x,y)处的自适应因子，Ic(x,y)是图像在(x,y)处的归一化亮度值，0≤Ic(x,y)≤1；*表示卷积运算；GF是具有空间常数的二维高斯滤波器，滤波器模板的尺寸σF＝3×3；
S2：对输入图像的每一个像素进行局部非线性处理，像素(x,y)处理后的像素值Icl(x,y)为：
Figure BDA0002385236100000062
Ic(max)为输入图像像素值的最大值；
S3：对局部非线性处理后的像素变换亮度，像素(x,y)变换后的亮度为：
Figure BDA0002385236100000063
其中，maxIcl和minIcl分别代表Ic(x,y)的最大值和最小值；maxv是最大亮度值，典型值设定为255。
图2为预处理效果的示意图，其中图2-(a)为原始人脸图像，图2-(b)为预处理后提升了图像亮度的图像。
对预处理后的图像进行Log-Gabor滤波，得到不同尺度和方向的局部特征图像；本实施例中，每一个样本图像得到4个尺度、6个方向共24幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图，链接24个LBP图像的n个子块的LBP直方图，得到每个样本图像的24*n维LBP纹理特征；所有样本图像的LBP纹理特征组成集合Hog。
(3)建立人脸识别的深度置信网络DBN，所述DBN包括一个可视层和L个隐藏层；可视层和L个隐藏层的联合分布概率为：
P(H,h(1),h(2),.….,h(L))＝P(H|h(1))P(h(1)|h(2))…P(h(L-1)|h(L))
其中h(l)为第l个隐藏层，l＝1,2,…,L；H为DBN的可视层，作为第0个隐藏层h(0)；
本实施例中，DBN包括2个隐藏层，即L＝2。可视层和两个隐藏层的联合分布为：
p(H,h(1),h(2))＝P(H|h(1))P(h(1)|h(2))
相邻两个隐藏层满足：
Figure BDA0002385236100000071
Figure BDA0002385236100000072
其中，hi (k)为第k个隐藏层中第i个隐藏单元，
Figure BDA0002385236100000073
为第k+1个隐藏层中第j个隐藏单元，
Figure BDA0002385236100000074
为第k个隐藏层中第i个隐藏单元的偏置量，
Figure BDA0002385236100000075
表示hi (k)和
Figure BDA0002385236100000076
之间的权重；δ(·)为激活函数Sigmoid函数。在DBN中将P(h(l-1)|h(l))视为一个RBM模型；则由一个可视层和2个隐藏层构成的DBN包括两个RBM。
(4)将训练样本集中每个样本图像的LBP纹理特征和类别标签输入DBN的可视层，对DBN进行训练，优化DBN的参数，得到训练好的人脸识别模型；
对DBN进行训练是为了优化权值Wij，本实施例中，对DBN训练的目标是最大化训练集的概率函数，所述训练集的概率函数为：
Figure BDA0002385236100000081
其中w是权重矩阵，Hog是训练集中样本图像的LBP纹理特征组成的集合；p(hog)为集合Hog中LBP纹理特征概率函数值；E[·]为能量函数。本实施例中，迭代数3000，学习率为0.001。
所述识别阶段的步骤为：
对待识别的人脸图像进行预处理，以提升图像的亮度分布均匀性；对预处理后的图像进行Log-Gabor滤波，得到4个不同尺度和6个方向的24幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图，链接24个LBP图像的n个子块的LBP直方图，得到待识别人脸图像的24*n维LBP纹理特征；将待识别人脸图像的LBP纹理特征输入训练好的人脸识别模型，DBN网络顶层的分类器输出待识别人脸的识别结果。本步骤中提取待识别人脸图像的LBP纹理特征的过程与步骤(2)中提取训练集中训练样本图像的LBP纹理特征相同。
在下述实施例中，将训练样本集分为两部分，一部分作为训练样本来训练DBN网络，另一部分作为测试集来进行识别结果的验证。
实施例1：
本实施例采用Windows 10操作系统，用MATLAB R2016a作为软件平台。计算机的主要配置为Intel(R)Core(TM)i7-4712MQ CPU@3.40GHz(with 32G memory)，带有TITAN GPU(12.00GB memory)。
在步骤(2)和识别阶段要将图像分割为n个子块，来提取LBP纹理特征。如果子块数目太少，则会导致LBP提取的局部特征信息过少，人脸图像的识别率将会受到影响。如果子块数量过多，则LBP提取的大量特征信息使DBN网络输入的训练样本过于稀疏，分类器性能较差，识别率降低。本实施例通过实验发昂奋找出最优的图像分割方法。
在Extended Yale B+库进行实验时，DBN隐含层的隐含单元数设置为200，每幅图像的分割方式分别为2×2、2×4、4×2、4×4、8×4、8×8和16×8。在每种分割方式下进行20次人脸识别实验，训练集和测试集图片的数量分别为20张和5张，均为随机选取。在不同的分割方式下，识别率的平均值如图3所示。
在CMU-PIE库中，DBN隐含层的隐含单位数为250，每幅图像的分割方式分别为2×2、4×2、4×4、8×4和8×8。在每种分割方式下进行20次人脸识别实验，训练集和测试集图片的选取同Extended Yale B+库中实验。图4显示了不同划分方式下的识别率的平均值。
在ORL库上，DBN隐含层的隐含单元数为200，每幅图像的分割方式分别为2×2、2×4、4×2、4×4、8×4和8×8。在每种分割方式下进行20次人脸识别实验，训练集和测试集图片的数量分别为7张和3张，均为随机选取。不同划分方式下的识别率的平均值如图5所示。
分析图3，4，和5可知，不同的图像分割方式，对本发明所公开方法的识别率产生较大的影响。随着图像分割子块数量n的增加，识别率变化趋势为由低变高，然后再由高变低。这种情况与理论分析一致，即存在一种分割方法，可以获得实现最高的识别率。在ExtendedYale B+库的实验表明，当图像分割为8×4时，可以获得最高识别率，即：98.89％。在CMU-PIE库中，最高识别率为95.80％，图像分割大小为4×4。对于ORL库，当图像分割为4×4时，本发明算法可以获得98.36％的最高识别率。
实施例2：
DBN深度网络的隐含层包含过多的隐藏单元，则容易产生过拟合现象，从而导致识别率降低。反之，若DBN网络隐含层中隐含单元过少，则提取出的图像特征较少，同样会导致本发明所提算法识别性能下降。因此，本发明公开的方法为了获得最高的识别率，需要对隐藏单元数进行最优设置。实施例进行了以下实验，从而获得最优的隐藏单元数量。
在Extended Yale B+、CMU-PIE和ORL公共库上进行实验的训练集和测试集选取方式与不同分割方式的实验。在最优分割方法(Extended Yale B+库分割方法为8×4、CMU-PIE库分割方法为4×4和ORL库分割方法为4×4)上进行了所提算法测试实验。隐藏单元数分别设置为100,150,200、250和300。两个隐藏层的隐藏单元数相同。在每个隐藏的单元数量下进行20次识别率测试实验。图6、7和8显示了不同隐藏单元数下的识别率的平均值。
分析图6、7和8可知，隐藏单元的数量对本发明所提算法的识别率有较为明显的影响。随着隐单元数量的增加，识别率的变换趋势为先增大后减小，实验结果与理论分析一致，即存在一个最优隐藏单元数可使本发明所提算法识别性能达到最优。在Extended YaleB+库上，当隐藏单元数为200时，可以获得最高的识别率，即98.89％；在CMU-PIE库上，当隐藏单元的数目为250时，本发明所提算法的识别率为95.80％；在ORL库上，当隐藏单元的数目为200时，可获得最高识别率：98.36％。
实施例3：
本实施例将本发明公开的人脸识别方法的识别率与LBP-DBN、DBN、LBP-SVM和PCA-SVM等算法的识别率进行比较。在Extended Yale B+、CMU-PIE和ORL公共库上进行的训练集和测试集的实验选择与以前的实验选择完全相同。本发明公开的方法和LBP-DBN的实验都处于最优分割方式和最优隐藏单元数的条件下。通过上述比较方法进行20次识别性能实验，得到识别率的平均值和方差如表1和图9所示。
表1不同算法的实验结果
Figure BDA0002385236100000101
如表1所示，对于Extended Yale B+、CMU-PIE和ORL三个公共库，本发明所提算法均可以获得最高的识别率。本发明算法在Extended Yale B+库中的识别率高达98.89％；在CMU-PIE库中可以高达95.85％；同样，在ORL三个公共库也可以得到最高的识别率，即：95.80％。另外，本发明所提算法在三个公共库中，识别结果的方差也最小，表明与其他算法相比，该方法具有更好的鲁棒性，即本发明算法识别率比其他比较算法更稳定，具有更加优越的性能。
实施例4：
本实施是实现上述人脸识别方法的识别系统，如图10所示，包括：
图像预处理模块(Preprocessing)，用于提升图像的亮度分布均匀性；
Log-Gabor滤波模块(Log-Gabor filter)，用于对预处理后的图像进行Log-Gabor滤波，得到不同尺度和方向的Gabor局部特征图像；
图像分割模块(Partition)，用于将每个Gabor局部特征图像经过LBP算子得到LBP图像，并将LBP图像分割为n个子块；
LBP纹理特征提取模块(LBP)，用于提取每个子块的LBP直方图，链接同一原始图像的每个LBP图像中的n个子块的LBP直方图，得到原始图像的LBP纹理特征；
人脸识别模块(DBN)，用于根据人脸图像的LBP纹理特征来进行人脸识别。

Claims (8)

1.基于深度学习的复杂光照条件下人脸识别方法，其特征在于，包括训练阶段和识别阶段；所述训练阶段的步骤为：
(1)建立训练样本集，所述训练样本集中的图像为人脸图像，并对图像中的人脸标定类别标签label；
(2)对训练样本集中的图像进行预处理，以提升图像的亮度分布均匀性；对预处理后的样本图像进行Log-Gabor滤波，每一个样本图像得到l个不同尺度和m个方向的l*m幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图；链接l*m个LBP图像的n个子块的LBP直方图，得到每个样本图像的l*m*n维LBP纹理特征；所有样本图像的LBP纹理特征组成集合Hog；
(3)建立人脸识别的深度置信网络DBN，所述DBN包括一个可视层和L个隐藏层；可视层和L个隐藏层的联合分布概率为：
P(H,h(1),h(2),...,h(L))＝P(H|h(1))P(h(1)|h(2))...P(h(L-1)|h(L))
其中h(l)为第l个隐藏层，l＝1,2,…,L；H为DBN的可视层，作为第0个隐藏层h(0)；
相邻两个隐藏层满足：
Figure FDA0002385236090000016
Figure FDA0002385236090000011
其中，hi (k)为第k个隐藏层中第i个隐藏单元，
Figure FDA0002385236090000012
为第k+1个隐藏层中第j个隐藏单元，
Figure FDA0002385236090000013
为第k个隐藏层中第i个隐藏单元的偏置量，
Figure FDA0002385236090000014
表示hi (k)和
Figure FDA0002385236090000015
之间的权重；δ(·)为激活函数Sigmoid函数；在DBN中将P(h(l-1)|h(l))视为一个RBM模型；
(4)将训练样本集中每个样本图像的LBP纹理特征和类别标签输入DBN的可视层，对DBN进行训练，优化DBN的参数，得到训练好的人脸识别模型；
所述识别阶段的步骤为：
对待识别的人脸图像进行预处理，以提升图像的亮度分布均匀性；对预处理后的图像进行Log-Gabor滤波，得到l个不同尺度和m个方向的l*m幅Gabor局部特征图像；对每个Gabor局部特征图像经过LBP算子得到一个LBP图像；将每一个LBP图像分割为n个子块，计算每个子块的LBP直方图，链接l*m个LBP图像的n个子块的LBP直方图，得到待识别人脸图像的l*m*n维LBP纹理特征；将待识别人脸图像的LBP纹理特征输入训练好的人脸识别模型，得到待识别人脸的识别结果。
2.根据权利要求1所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，步骤(2)中预处理后的图像分割后的子块大小为2×2、2×4、4×2、4×4、8×4、8×8或16×8之一。
3.根据权利要求1所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，步骤(3)中所述DBN包括2个隐藏层。
4.根据权利要求1所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，步骤(4)中对DBN训练的目标是最大化训练集的概率函数，所述训练集的概率函数为：
Figure FDA0002385236090000021
其中w是权重矩阵，Hog是训练集中样本图像的LBP纹理特征组成的集合；p(hog)为集合Hog中LBP纹理特征概率函数值；E[·]为能量函数。
5.根据权利要求4所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，对DBN采用迭代训练，迭代数3000，学习率为0.001。
6.根据权利要求1所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，所述DBN中每个隐藏层中的隐藏单元数量相同。
7.根据权利要求1所述的基于深度学习的复杂光照条件下人脸识别方法，其特征在于，对图像进行预处理，以提升图像的亮度分布均匀性，包括：
S1：计算图像中每个像素的自适应因子：
F(x,y)＝Ic(x,y)*GF
Figure FDA0002385236090000022
其中F(x,y)为图像中(x,y)处的自适应因子，Ic(x,y)是图像在(x,y)处的归一化亮度值，0≤Ic(x,y)≤1；*表示卷积运算；GF是具有空间常数的二维高斯滤波器，滤波器模板的尺寸σF＝3×3；
S2：对输入图像的每一个像素进行局部非线性处理，像素(x,y)处理后的像素值Icl(x,y)为：
Figure FDA0002385236090000031
Ic(max)为输入图像像素值的最大值；
S3：对局部非线性处理后的像素变换亮度，像素(x,y)变换后的亮度为：
Figure FDA0002385236090000032
其中，maxIcl和minIcl分别代表Ic(x,y)的最大值和最小值；maxv是最大亮度值，典型值设定为255。
8.基于深度学习的复杂光照条件下人脸识别系统，其特征在于，包括：
图像预处理模块，用于提升图像的亮度分布均匀性；
Log-Gabor滤波模块，用于对预处理后的图像进行Log-Gabor滤波，得到不同尺度和方向的Gabor局部特征图像；
图像分割模块，用于将每个Gabor局部特征图像经过LBP算子得到LBP图像，并将LBP图像分割为n个子块；
LBP纹理特征提取模块，用于提取每个子块的LBP直方图，链接同一原始图像的每个LBP图像中的n个子块的LBP直方图，得到原始图像的LBP纹理特征；
人脸识别模块，用于根据人脸图像的LBP纹理特征来进行人脸识别。
CN202010095594.4A 2020-02-17 2020-02-17 基于深度学习的复杂光照条件下人脸识别方法和识别系统 Pending CN111339856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010095594.4A CN111339856A (zh) 2020-02-17 2020-02-17 基于深度学习的复杂光照条件下人脸识别方法和识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095594.4A CN111339856A (zh) 2020-02-17 2020-02-17 基于深度学习的复杂光照条件下人脸识别方法和识别系统

Publications (1)

Publication Number Publication Date
CN111339856A true CN111339856A (zh) 2020-06-26

Family

ID=71186324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095594.4A Pending CN111339856A (zh) 2020-02-17 2020-02-17 基于深度学习的复杂光照条件下人脸识别方法和识别系统

Country Status (1)

Country Link
CN (1) CN111339856A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560893A (zh) * 2020-11-13 2021-03-26 贝壳技术有限公司 图片纹理匹配方法、装置、电子介质及存储介质
CN114187641A (zh) * 2021-12-17 2022-03-15 哈尔滨理工大学 一种基于gcslbp与dbn的人脸识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509920A (zh) * 2018-04-04 2018-09-07 南京信息工程大学 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
CN109740578A (zh) * 2019-03-01 2019-05-10 哈尔滨理工大学 一种适用于光照、姿态、表情变化的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509920A (zh) * 2018-04-04 2018-09-07 南京信息工程大学 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
CN109740578A (zh) * 2019-03-01 2019-05-10 哈尔滨理工大学 一种适用于光照、姿态、表情变化的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIYUN ZHUANG 等: "Deep Learning for Face Recognition under Complex Illumination Conditions Based on Log-Gabor and LBP", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560893A (zh) * 2020-11-13 2021-03-26 贝壳技术有限公司 图片纹理匹配方法、装置、电子介质及存储介质
CN114187641A (zh) * 2021-12-17 2022-03-15 哈尔滨理工大学 一种基于gcslbp与dbn的人脸识别方法

Similar Documents

Publication Publication Date Title
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN111310718A (zh) 一种遮挡人脸图像高准确率检测对比方法
CN110322445B (zh) 基于最大化预测和标签间相关性损失函数的语义分割方法
CN110706235B (zh) 一种基于双级级联分割的远红外行人检测方法
CN105718889A (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN109815923B (zh) 基于lbp特征与深度学习的金针菇菇头分选识别方法
CN104143081A (zh) 基于嘴部特征的笑脸识别系统及方法
CN110991389A (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN105046202B (zh) 自适应的人脸识别光照处理方法
CN111339856A (zh) 基于深度学习的复杂光照条件下人脸识别方法和识别系统
CN111027570B (zh) 一种基于细胞神经网络的图像多尺度特征提取方法
CN112464844A (zh) 一种基于深度学习与运动目标检测的人体行为动作识别方法
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
CN110728238A (zh) 一种融合型神经网络的人员再检测方法
CN112101283A (zh) 一种交通标志智能识别方法及系统
Huang et al. A hidden Markov model-based character extraction method
Sowmya et al. Significance of processing chrominance information for scene classification: a review
CN115439405A (zh) 一种钢板表面缺陷的分类方法
Hernandez et al. Classification of color textures with random field models and neural networks
Yahya et al. Image enhancement background for high damage Malay manuscripts using adaptive Threshold Binarization
CN112541859B (zh) 一种光照自适应的人脸图像增强方法
CN109190547B (zh) 快速高效的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626