CN110287780A - 一种光照下人脸图像特征提取方法 - Google Patents

一种光照下人脸图像特征提取方法 Download PDF

Info

Publication number
CN110287780A
CN110287780A CN201910411824.0A CN201910411824A CN110287780A CN 110287780 A CN110287780 A CN 110287780A CN 201910411824 A CN201910411824 A CN 201910411824A CN 110287780 A CN110287780 A CN 110287780A
Authority
CN
China
Prior art keywords
image
feature
hog
histogram
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910411824.0A
Other languages
English (en)
Other versions
CN110287780B (zh
Inventor
高涛
曹金沛
卢玮
王翠翠
陈本豪
李永会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910411824.0A priority Critical patent/CN110287780B/zh
Publication of CN110287780A publication Critical patent/CN110287780A/zh
Application granted granted Critical
Publication of CN110287780B publication Critical patent/CN110287780B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种光照下人脸图像特征提取方法，首先将目标图像模型扩展到5*5内外双层邻域模型；然后引入八个方向Kirsch算子，在5*5的模板窗口上，以xc中心像素点为中心的均分八个方向上利用Kirsch算子分别进行计算内外两层邻域像素点的灰度值加权平均，然后比较关于中心像素对称的邻域加权平均值，并根据规则编码，能够有效降低计算量并减少了提取特征维度，最后，结合CNALBP和HOG算子，通过将邻域扩充并对邻域加权平均更够有效的降低单个像素点易受噪声影响的问题，同时融合了HOG特征的优点，能够提取出更多的纹理信息和多个方向的梯度信息，从而更好地描述复杂光照图像的特征，本方法具有简单、高效等特点。

Description

一种光照下人脸图像特征提取方法
技术领域
本发明属于图像处理技术领域，具体涉及一种光照下人脸图像特征提取方法。
背景技术
目前人脸识别技术已成为计算机视觉领域研究热点，被广泛的应用于面部解锁、边检安防、刑事侦探等领域。在实际应用中，人脸识别技术虽然在特定的场景中取得了良好的效果，但是在受到光照、表情、姿态及遮挡影响而导致识别率急剧下降。在诸多影响因素中，复杂光照对人脸识别的影响尤为显著。
为了解决复杂光照带来的这些局限性，许多方法已经被广泛采用。
第一组方法：提出了一些基于均衡和归一化再处理的方法，如直方图均衡化，同态滤波，对数变换，局部直方图规范和直方图规范。这些方法在简单的光照条件下表现出令人满意的性能，但由于过度简化的再加工，它们在许多实际应用中总是得到较差的结果，特别是在多方向照明的复杂照明条件下。
第二组方法：利用变换空间理论，该方法主要探索某些低维子空间中的图像特征提取，这些子空间对复杂的光照变化具有鲁棒性，在过去几年中表现出优越的性能。在各种变换方法中，主成分分析(PCA)及其变量，即核主成分分析(KPCA)，块PCA，二维PCA，增量PCA是众所周知的方法。此外，考虑到样本的高阶统计特性，提出了独立分量分析、线性判别分析、奇异值分解，然而，上述方法只能在足够的可用训练样本以及昂贵的计算成本的前提下才能很好地工作，这对于实际应用来说确实是一些不可避免的障碍。另外，它们都是整体方法，对复杂的光照和部分遮挡很容易敏感。
发明内容
本发明的目的在于提供一种光照下人脸图像特征提取方法，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种光照下人脸图像特征提取方法，包括以下步骤：
首先将目标图像进行分块，分成半径为2个像素点的5*5像素区域大小的双层邻域结构，然后对分块后的双层邻域结构进行预处理：利用八个方向 Kirsch算子在5*5的模板窗口上，以中心像素点xc为中心的均分八个方向上分别计算分块后的双层邻域结构两层邻域像素点的灰度值加权平均，基于邻域加权平均的局部二值模式比较关于中心像素对称的邻域加权平均值，并按照规则编码计算在任意像素点的特征提取值，提取生成CNALBP直方图特征；同时利用HOG算子提取分块后的双层邻域结构关于HOG的直方图特征，最后，将提取的CNALBP直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征，利用基于卡方距离的KNN算法进行分类，完成图像特征提取。
进一步的，利用Kirsch算子在5*5像素区域的模板窗口上以xc中心像素点为中心的八个方向上，每个方向选取的内、外两层邻域上要进行加权平均，通过获取内、外两层邻域的像素点灰度值加权平均。
进一步的，利用八个方向Kirsch算子进行加权平均；具体计算过程如下公式：
其中mi表示5*5模板上八个均分方向上内外层邻域采样点灰度值的加权平均值，m0,m1,m2,m3,m4,m5,m6,m7分别表示5*5像素区域模板上在以中心像素点 xc为中心的0°,45°,90°,135°,180°,225°,270°,315°八个方向上内外层邻域采样点灰度值的加权平均值，NALBP算子计算公式为：
进一步的，CNALBP算法详细计算过程如下：
其中，s(u)为计算权值系数公式，mi和mi+(N/2)为根据Kirsch算子计算出的关于中心像素点对称的邻域加权平均值。
进一步的，HOG算子利用一个固定大小的滑动窗口将图像划分为具有一定重叠的若干个块block图像，再把图像的每一个块block均匀的等分为相互之间不重叠的小的单元cell，对人脸图像等分后的每一个块block进行操作；在每一个小的单元cell内，计算各个像素点灰度值的大小的梯度方向及幅值，并按照梯度方向划分的若干个区间进行统计得到每个小的单元cell 的直方图，然后级联每个图像块block内的cell直方图，最终形成特征提取图像的HOG直方图特征。
进一步的，利用HOG算子对图像进行HOG特征提取，具体过程如下：
Step1:对输入图像进行灰度化，从而降低色彩信息对图像梯度计算的干扰；
Step2:利用尺寸大小为20*20的滑动窗口将灰度化后的图像划分为若干个块block图像，用以提取人脸图像的HOG直方图特征；
Step3:将20*20大小的block图像均匀的划分成4个大小相同的单元cell, 然后在每个单元cell上，对每个像素点I(x,y)利用公式(5)、(6)来计算水平方向梯度Ix及竖直方向上梯度Iy，从而获取边缘信息；
Ix(x,y)＝I(x+1,y)-I(x-1,y) (5)
Iy(x,y)＝I(x,y+1)-I(x,y-1) (6)
梯度方向a(x,y)及幅值m(x,y)计算如公式(7)、(8)所示
Step4:按照梯度方向0-180范围区间将其均匀的划分为9个方向，每个区间大小为20，然后按照每个单元cell内像素点梯度方向坐落区间对特征数量进行统计，最终将块block图像内每个单元cell级联从而得到块block 图像的特征直方图；
Step5：将块block图像内提取的特征进行标准化，目的时为了降低变化光照、噪声等其他因素的影响；
Step6：将所有块内提取的特征直方图进行连接构成整幅人脸图像的HOG 直方图特征。
进一步的，基于CNALBP特征和HOG特征融合的图像识别过程如下：
Step1：利用CNALBP算子对原始图像提取特征；
Step2：将CNALBP算子提取的纹理特征图像均匀的划分成图像块，并利用直方图对各个图像块进行统计，并按照顺序将各个图像块的统计直方图进行连接，构成整幅图像的直方图特征；
Step3：利用HOG特征提取步骤提取关于HOG的直方图特征；
Step4：将提取的CNALBP直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征；
Step5：利用基于卡方距离的KNN进行匹配识别。
进一步的，内外两层邻域像素点权值系数取2:1。
进一步的，具体的以中心像素点xc为中心的 0°,45°,90°,135°,180°,225°,270°,315°八个方向上分别进行计算内、外两层邻域加权平均值时，利用八个方向Kirsch算子进行加权平均。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种光照下人脸图像特征提取方法，首先将目标图像模型扩展到 5*5像素区域的内外双层邻域模型；然后引入八个方向Kirsch算子，在5*5像素区域的模板窗口上，以xc中心像素点为中心的均分八个方向上利用Kirsch 算子分别进行计算内外两层邻域像素点的灰度值加权平均，然后比较关于中心像素对称的邻域加权平均值，并根据规则编码，能够有效降低计算量并减少了提取特征维度，最后，结合CNALBP和HOG算子，通过将邻域扩充到5*5 像素区域并对邻域加权平均更够有效的降低单个像素点易受噪声影响的问题，同时融合了HOG特征的优点，能够提取出更多的纹理信息和多个方向的梯度信息，从而更好地描述复杂光照图像的特征，本方法具有简单、高效等特点。
进一步的，利用Kirsch算子在5*5的模板窗口上以xc中心像素点为中心的八个方向上，每个方向选取的内、外两层邻域上要进行加权平均，通过获取内、外两层邻域的像素点灰度值加权平均，避免了在每个方向上单个像素点易受噪声影响的问题，提高了抗噪性。
进一步的，采用梯度直方图来反映人脸图像的局部梯度方向及梯度强度的描述算子，通过计算图像的梯度或图像边沿方向的分布来反映目标图像的边缘和形状，是一种高效图像边缘获取算子，对图像的边缘形状信息及边缘梯度方向特别的敏感；HOG算法通过划分cell的方式，进行局部计算更容易表示局部图像像素点之间的关系，在图像识别的过程中更容易进行特征匹配；由于HOG特征的求解实在每个cell上分别进行计算，因此该算法具有良好的光学不变性、几何不变性。
进一步的，将目标图像分成半径为2个像素点的5*5像素区域大小的双层邻域结构，能够充分的提取图像的局部特征。
附图说明
图1为不同方向上内外层邻域区域。
图2为定义的八方向kirsch算子。
图3为NALBP提取特征计算实例。
图4a为NALBP特征处理前原始图像，图4b为原始图像处理后的NALBP 特征图像。
图5为由Kirsch算子计算的八方向邻域平均值。
图6为CNALBP算法的计算实例。
图7为原始图像及其CNALBP特征图像。
图8为原始图像及其CNALBP特征图像。
图9为特征提取过程示意图。
图10为CMUPIE数据集中部分人脸图像。
图11为分块大小与识别率的关系。
图12为FERET数据集人脸图像。
图13为分块大小与识别率之间关系。
图14为Yale B数据集人脸图像。
图15为分块大小与识别率关系。
图16为不同子集下识别率大小。
具体实施方式
下面结合附图对本发明做进一步详细描述：
如图9所示，一种光照下人脸图像特征提取方法，包括以下步骤：
首先将目标图像进行分块，分成半径为2个像素点的5*5像素区域大小的双层邻域结构，然后对分块后的双层邻域结构进行预处理：利用八个方向 Kirsch算子在5*5像素区域的模板窗口上，以中心像素点xc为中心的 0°,45°,90°,135°,180°,225°,270°,315°八个方向上，分别计算分块后的双层邻域结构两层邻域像素点的灰度值加权平均，基于邻域加权平均的局部二值模式 (Neighborhood Weighted Average Local Binary Model，NALBP)，比较关于中心像素对称的邻域加权平均值，并按照规则编码计算在任意像素点的特征提取值，提取生成CNALBP直方图特征；同时利用HOG算子(梯度直方图) 提取分块后的双层邻域结构关于HOG的直方图特征，最后，将提取的CNALBP 直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征，利用基于卡方距离的KNN算法进行分类，完成图像特征提取。
基于邻域加权平均的局部二值模式(Neighborhood Weighted Average LocalBinary Model，NALBP)描述符算子充分考虑了相邻区域像素点灰度值大小之间的强相关性，采用5*5像素区域大小的模板窗口邻域结构对图像纹理特征的描述能力更强，对光照和噪声的鲁棒性更好；模板窗口较小时提取的特征过于精细化，易受噪声的影响，当选择的模板窗口过大时，不能够充分的提取图像的局部特征导致识别率过低；因此本文选取半径为2个像素点的5*5大小的邻域结构；NALBP算子将特征提取区域扩大到半径为2个像素点的区域，通过对与中心像素相邻的内外两层的邻域取加权平均值，避免单个像素点受噪声影响。改进型算法NALBP的计算过程与LBP算法的计算过程除了与中心像素点相邻的区域选择不同外，其他的基本相同。图1表示的是与中心像素点相邻的不同方向上内外层邻域区域。
如上图1所示xc表示在5*5模板窗口上的中心像素点，采样点x1,x2,...,x8分别表示靠近中心像素点xc的内层邻域像素点，采样点y1,y2,...,y16分别表示靠近中心像素点xc的外层邻域像素点。利用Kirsch算子在5*5的模板窗口上以xc中心像素点为中心的八个方向上，每个方向选取的内、外两层邻域上要进行加权平均，通过获取内、外两层邻域的像素点灰度值加权平均，避免了在每个方向上单个像素点易受噪声影响的问题，提高了抗噪性。
通过对协同中心-环绕接收视觉模型分析可知，中心像素的刺激不仅受内层像素点的影响，还受到外层邻域像素点的影响，且随着距离的增大而减弱。因此，内层邻域和外层邻域强度差异对中心像素的影响不同，其重要性也随着尺度的变化而变化。经过验证表明当靠近中心像素点的内外两层邻域像素点权值系数采用2:1时效果较好，因此内外两层邻域像素点权值系数取2:1。在对0°,45°,90°,135°,180°,225°,270°,315°八个方向上分别进行计算内、外两层邻域加权平均值时，利用八个方向Kirsch算子进行加权平均；Kirsch算子定义如图2所示：
具体计算过程如下公式：
其中mi表示5*5模板上八个均分方向上内外层邻域采样点灰度值的加权平均值，m0,m1,m2,m3,m4,m5,m6,m7分别表示5*5模板上在以中心像素点xc为中心的0°,45°,90°,135°,180°,225°,270°,315°八个方向上内外层邻域采样点灰度值的加权平均值，NALBP算子计算公式为：
本申请经过NALBP特征提取后的图像处理结果，如图4a所示，为NALBP 特征处理前原始图像，如图4b为原始图像处理后的NALBP特征图像；
如图3所示为本章节提出算法NALBP提取特征计算实例
本文结合中心对称局部二值模式(CSLBP)及邻域加权平均局部二值模式 (NALBP)的优点，提出了中心对称邻域加权平均局部二值模式(Central Symmetric Local BinaryModel of Average Neighborhood Pixel Point Value， CNALBP)。如图5所示，m0,m1,m2,m3,m4,m5,m6,m7分别由图2所示Kirsch算子计算出的0°,45°,90°,135°,180°,225°,270°,315°八个方向上内外层邻域加权平均值。
CNALBP算法详细计算过程如下：
其中，s(u)为计算权值系数公式，mi和mi+(N/2)为根据Kirsch算子计算出的关于中心像素点对称的邻域加权平均值。
根据上文计算公式分析可知，对一幅图像而言NALBP算子在计算过程中可以产生28种模式，提取直方图特征共256维，而CNALBP算子只需要24种模式，提取直方图特征共16维。将两种算法相比较，CNALBP算子不仅能够有效的降低LBP算子计算量，而且能够显著的降低提取特征维度。
HOG特征提取流程：
HOG算子对一幅人脸图像进行特征提取，利用一个固定大小的滑动窗口将图像划分为具有一定重叠的若干个块block图像，再把图像的每一个块block 均匀的等分为相互之间不重叠的小的单元cell，对人脸图像等分后的每一个块block进行操作；在每一个小的单元cell内，计算各个像素点灰度值的大小的梯度方向及幅值，并按照梯度方向划分的若干个区间进行统计得到每个小的单元cell的直方图，然后级联每个图像块block内的cell直方图，最终形成特征提取图像的HOG直方图特征。
在本部分中，我们以120*120像素区域大小的受光照变化影响的图像进行 HOG特征提取，具体过程如下：
Step1:对输入图像进行灰度化，从而降低色彩信息对图像梯度计算的干扰；
Step2:利用尺寸大小为20*20的滑动窗口将灰度化后的图像划分为若干个块block图像，用以提取人脸图像的HOG直方图特征；
Step3:将20*20大小的block图像均匀的划分成4个大小相同的单元cell, 然后在每个单元cell上，对每个像素点I(x,y)利用公式(5)、(6)来计算水平方向梯度Ix及竖直方向上梯度Iy，从而获取边缘信息；
Ix(x,y)＝I(x+1,y)-I(x-1,y) (5)
Iy(x,y)＝I(x,y+1)-I(x,y-1) (6)
梯度方向a(x,y)及幅值m(x,y)计算如公式(7)、(8)所示
Step4:按照梯度方向0-180范围区间将其均匀的划分为9个方向，每个区间大小为20，然后按照每个单元cell内像素点梯度方向坐落区间对特征数量进行统计，最终将块block图像内每个单元cell级联从而得到块block 图像的特征直方图；
Step5：将块block图像内提取的特征进行标准化，目的时为了降低变化光照、噪声等其他因素的影响；
Step6：将所有块内提取的特征直方图进行连接构成整幅人脸图像的HOG 直方图特征。
梯度直方图(HOG算子)是一种用来反映人脸图像的局部梯度方向及梯度强度的描述算子。该算法的主要思想是通过计算图像的梯度或图像边沿方向的分布来反映目标图像的边缘和形状。该算法具有以下优点：(1)高效的图像边缘获取算子，对图像的边缘形状信息及边缘梯度方向特别的敏感；(2) HOG算法通过划分cell的方式，进行局部计算更容易表示局部图像像素点之间的关系，在图像识别的过程中更容易进行特征匹配；(3)由于HOG特征的求解实在每个cell上分别进行计算，因此该算法具有良好的光学不变性、几何不变性。
融合算法计算流程
图6为CNALBP算子的计算实例；
基于CNALBP特征和HOG特征融合的图像识别过程如下：
Step1：利用CNALBP算子对原始图像提取特征；
Step2：将CNALBP算子提取的纹理特征图像均匀的划分成图像块，并利用直方图对各个图像块进行统计，并按照顺序将各个图像块的统计直方图进行连接，构成整幅图像的直方图特征；
Step3：利用HOG特征提取步骤，提取关于HOG的直方图特征；
Step4：将提取的CNALBP直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征；
Step5：利用基于卡方距离的KNN进行匹配识别。
本申请经过CNALBP特征提取后的图像处理结果，如图7a所示，为CNALBP 原始图像，如图7b为CNALBP特征图像；
实验结果分析
在本部分实验中，为了验证本章节提出算法的有效性，分别在被人脸识别领域广泛应用的CMUPIE、Yale B、FERET数据集上进行实验验证。
CMUPIE人脸数据库
CMU-PIE图像集是由Carnegie Mellon University机器视觉研究所创建的一个人脸图像数据集。该图像集由68个人的41368张人脸面部图像组成，包含在不同视角下获取的不同姿态、表情、光照条件下的人脸面部图像。数据集中每个人脸面部的图像大小为100*112。
如图10所示是CMUPIE人脸数据集的一些图片。
在本部分实验中，选取数据集中是光照影响较为严重的40个人的人脸图像构成实验集数据集，选择每个人脸图像数据集中前1/2作为此次实验的训练样本集，其余的作为实验测试图像集，经过参考文献得知，梯度直方图算子提取的特征，块block设定为20*20,单元cell设定为10*10,角度均分为 12时效果最好。此时为了保证实验的准确性，每个实验分别做20次重复实验取平均值。分块大小对CNALBP-HOG算子提取特征识别率的影响，实验结果如图11所示。
从图可以看出，本文提出的融合特征提取算法CNALBP-HOG、CNALBP及 CSLBP算法在CMUPIE人脸图像库上识别率随着将图像分割块增大而增大，当所分每个图像块达到12*12，此时识别率达到最大，之后随着分块增大识别率降低。对上面图像识别率的趋势分析可以知道，当所分的图像块较小时，提取的图像直方图信息过少，特征过于局部化。当所分图像块较大时，提取的直方图特征无法充分的描述图像的局部纹理信息，因此选择选择合适大小的分块尤为重要。
CMUPIE人脸数据集上算法识别率对比实验
本部分实验是在(1)实验中验证最佳的分块大小条件下，为验证提出算法的有效性，将我们提出的融合特征提取算法CNALBP-HOG同CNALBP、NALBP、 CSLBP及LBP等算做最终识别率的对比试验。
表1 CMUPIE人脸库不同训练样本数下各算法识别率对比
通过分析上面表格1所示，各个算法的最终识别率可知，各个算法的识别率随着训练样本的数目增加而增大。其中，当样本数目较少时，包括我们提出改进融合特征算法，所有算法的最终识别率都比较低。究其根本原因，由于人脸图像受到不同光照的影响，导致提取特征类内差异较大，单个样本特征对图像表征能力较差。通过表4-1可知NALBP比LBP算法的识别率提高 6％，表明了5*5的邻域结构更能充分的反映图像的灰度级变化同时，也证明了对像素点邻域加权平均能够有效的避免噪声的影响。通过实验对比可以知道，在不同光照条件下，本文提出的CNALBP-HOG算法提取特征的最高识别率达到94.2％，比L-PDE算法高2.9％。表明我们提出的融合CNALBP特征和HOG 特征的算法对光照噪声具有更强的鲁棒性。
不同算法识别时间对比实验
表2 CMUPIE人脸库各算法识别时间对比
通过表2可知，相比于其他人脸识别算法，本章节提出算法CNALBP算子在CMUPIE数据集上对人脸识别花费时间最少。同时实验结果表明CNALBP算子不仅花费时间明显少于LBP，而且识别率也得到有效提升。充分的证明了本文提出CNALBP算子，将关于与中心像素点对称的关键像素点相比较能够不仅能够有效的将低计算量，而且避免了单个中心像素点由于受到噪声影响产生突变问题，增强了图像抗噪能力，提高了识别率。虽然本文提出CNALBP 和HOG融合特征识别算法对人脸识别花费时间有所增加，但是相比于WLB算法不仅识别率得到了提生，而且花费时间较少，充分表明了本章节提出的 CNALBP-HOG特征提取算法的有效性。
FERET图像数据库实验
FERET人脸识别库是美国国防部赞助创建的一个包含不同光照、姿态、年龄、表情变化的规模较大的人脸图像数据集，目前也是在图像识别研究领域最为常见的人脸图像数据库。该图像数据集由五个(fa、fb、fc、dup I 和dup II)主要的子图像数据集构成，共有1199个人的14051张人脸图片组成。图12是FERET数据集的一些图片。
在本次实验中，选取受光照、姿态影响的40个人的图像，每个人10幅图像大小为80*80。其中每个人脸图像任意取6幅作为训练图像，其余4幅作为测试图像，在不同图像分块大小下条件下，利用本章节提出的 CNALBP-HOG、CNALBP、NALBP进行对比实验，选出最佳的分块大小。为了实验的可靠性每组实验分别进行十次，取平均值作为最终结果。
接下来在FERET人脸库中，分别随机的选取每个人脸图像的1、3、5、7 幅图像组成训练集，其余人脸图像组成测试集。由图13可知分块大小取10*10 时算法识别率最高。因此在分块大小为10*10条件下，将本文提出的算法 CNALBP-HOG、CNALBP、NALBP与LBP、CSLBP、WLD等算法进行对比实验，进而验证本文提出算法的有效性。
表3 FERET人脸库不同训练样本数下各算法识别率对比
从上面表格实验结果对比可知，本文提出的NALBP算子相比于LBP算子识别率有所提升，表明本文提出的对LBP算子的邻域加权平均对光照噪声有较强的鲁棒性。CNALBP-HOG联合特征提取算子在选练样本数目为7时识别率达到了96.66％，相比于人脸识别中常用到的WLD、LGS等有明显的提升，充分的表明了本文提出算法在光照、姿态变换方面有较强的描述能力，同时也验证了本文提出改进算子的有效性。
Yale B人脸图像数据集
Yale Face Database B包含10个人的面部图像数据集，该数据集是在9 种不同姿态、不同光照条件下拍摄获取的共640张人脸图像，被广泛的应用于人脸图像识别的研究，Yale B部分人脸图像如图14所示。
Yale B数据集是根据相对于相机轴的光照方向被划分为五个子集，分别是S1、S2、S3、S4、S5。由于本部分实验主要针对的是光照条件较差的条件下人脸识别，其中S4与S5的光照较差，因此选用S4与S5进行分块大小与识别率关系的实验。在两个子集中，分别选取每个人的前三分之二作为训练集，其余作为测试集进行验证。为了保证实验结果的准确性，每组实验分别做十次，取平均值作为最终识别率。
从图15可以知道，当图像分块大小取12*12时，本章节提出的CNALBP-HOG，CNALBP,NALBP三种算法识别率最高，因此设定分块大小为12*12条件下，进行本章节提出算法的实验。在每个子集中随机的选择每个人脸的1/2作为训练集，其余作为测试集，为保证实验的准确性，每组实验取十次实验的平均值作为最终结果。其中S1、S2、S3、S4、S5分别是5个子集不同算法的识别率直方图，S6表示各个算法在5个子集中识别率的平均值。
从图16中可以看出，提出的改进融合算法CNALBP-HOG在不同子集上均表现出了优越的性能，尤其是在光照较差的S3、S4、S5三个子集上，提出改进算法相比于原始LBP算子识别率提升较为明显，同时在具有不同光照条件下5个子集上，提出CNALBP-HOG、NALBP算法一直保持较高识别率，充分说明本章节提出改进算法不易受到光照噪声的影响，具有较好的稳定性。在S6 子集上改进融合算法CNALBP-HOG平均识别率稍高于CNALBP算法，说明了提出融合特征具有有效性。

Claims (10)

1.一种光照下人脸图像特征提取方法，其特征在于，包括以下步骤：
首先将目标图像进行分块，分成5*5像素区域大小的双层邻域结构，然后对分块后的双层邻域结构进行预处理：利用八个方向Kirsch算子在5*5像素区域的模板窗口上，以中心像素点xc为中心的均分八个方向上分别计算分块后的双层邻域结构两层邻域像素点的灰度值加权平均，基于邻域加权平均的局部二值模式比较关于中心像素对称的邻域加权平均值，并按照规则编码计算在任意像素点的特征提取值，提取生成CNALBP直方图特征；同时利用HOG算子提取分块后的双层邻域结构关于HOG的直方图特征，最后，将提取的CNALBP直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征，利用基于卡方距离的KNN算法进行分类，完成图像特征提取。
2.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，利用Kirsch算子在5*5像素区域的模板窗口上以xc中心像素点为中心的八个方向上，每个方向选取的内、外两层邻域上要进行加权平均，通过获取内、外两层邻域的像素点灰度值加权平均。
3.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，利用八个方向Kirsch算子进行加权平均；具体计算过程如下公式：
其中mi表示5*5模板上八个均分方向上内外层邻域采样点灰度值的加权平均值，m0,m1,m2,m3,m4,m5,m6,m7分别表示5*5像素区域模板上在以中心像素点xc为中心的0°,45°,90°,135°,180°,225°,270°,315°八个方向上内外层邻域采样点灰度值的加权平均值，NALBP算子计算公式为：
4.根据权利要求3所述的一种光照下人脸图像特征提取方法，其特征在于，CNALBP算法详细计算过程如下：
其中，s(u)为计算权值系数公式，mi和mi+(N2)为根据Kirsch算子计算出的关于中心像素点对称的邻域加权平均值。
5.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，HOG算子利用一个固定大小的滑动窗口将图像划分为具有一定重叠的若干个块block图像，再把图像的每一个块block均匀的等分为相互之间不重叠的小的单元cell，对人脸图像等分后的每一个块block进行操作；在每一个小的单元cell内，计算各个像素点灰度值的大小的梯度方向及幅值，并按照梯度方向划分的若干个区间进行统计得到每个小的单元cell的直方图，然后级联每个图像块block内的cell直方图，最终形成特征提取图像的HOG直方图特征。
6.根据权利要求5所述的一种光照下人脸图像特征提取方法，其特征在于，利用HOG算子对图像进行HOG特征提取，具体过程如下：
Step1:对输入图像进行灰度化，从而降低色彩信息对图像梯度计算的干扰；
Step2:利用尺寸大小为20*20的滑动窗口将灰度化后的图像划分为若干个块block图像，用以提取人脸图像的HOG直方图特征；
Step3:将20*20大小的block图像均匀的划分成4个大小相同的单元cell,然后在每个单元cell上，对每个像素点I(x,y)利用公式(5)、(6)来计算水平方向梯度Ix及竖直方向上梯度Iy，从而获取边缘信息；
Ix(x,y)＝I(x+1,y)-I(x-1,y) (5)
Iy(x,y)＝I(x,y+1)-I(x,y-1) (6)
梯度方向a(x,y)及幅值m(x,y)计算如公式(7)、(8)所示
Step4:按照梯度方向0-180范围区间将其均匀的划分为9个方向，每个区间大小为20，然后按照每个单元cell内像素点梯度方向坐落区间对特征数量进行统计，最终将块block图像内每个单元cell级联从而得到块block图像的特征直方图；
Step5：将块block图像内提取的特征进行标准化，目的时为了降低变化光照、噪声等其他因素的影响；
Step6：将所有块内提取的特征直方图进行连接构成整幅人脸图像的HOG直方图特征。
7.根据权利要求6所述的一种光照下人脸图像特征提取方法，其特征在于，基于CNALBP特征和HOG特征融合的图像识别过程如下：
Step1：利用CNALBP算子对原始图像提取特征；
Step2：将CNALBP算子提取的纹理特征图像均匀的划分成图像块，并利用直方图对各个图像块进行统计，并按照顺序将各个图像块的统计直方图进行连接，构成整幅图像的直方图特征；
Step3：利用HOG特征提取步骤提取关于HOG的直方图特征；
Step4：将提取的CNALBP直方图特征与HOG直方图特征按照一比一的比例进行连接，构成融合特征；
Step5：利用基于卡方距离的KNN进行匹配识别。
8.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，内外两层邻域像素点权值系数取2:1。
9.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，具体的以中心像素点xc为中心的0°,45°,90°,135°,180°,225°,270°,315°八个方向上分别进行计算内、外两层邻域加权平均值时，利用八个方向Kirsch算子进行加权平均。
10.根据权利要求1所述的一种光照下人脸图像特征提取方法，其特征在于，将目标图像分成半径为2个像素点的5*5像素区域大小的双层邻域结构。
CN201910411824.0A 2019-05-17 2019-05-17 一种光照下人脸图像特征提取方法 Expired - Fee Related CN110287780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910411824.0A CN110287780B (zh) 2019-05-17 2019-05-17 一种光照下人脸图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411824.0A CN110287780B (zh) 2019-05-17 2019-05-17 一种光照下人脸图像特征提取方法

Publications (2)

Publication Number Publication Date
CN110287780A true CN110287780A (zh) 2019-09-27
CN110287780B CN110287780B (zh) 2021-08-03

Family

ID=68002044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411824.0A Expired - Fee Related CN110287780B (zh) 2019-05-17 2019-05-17 一种光照下人脸图像特征提取方法

Country Status (1)

Country Link
CN (1) CN110287780B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956090A (zh) * 2019-11-04 2020-04-03 南京邮电大学 一种基于正负光照不变单元融合的人脸特征提取方法
CN113128376A (zh) * 2021-04-02 2021-07-16 西安融智芙科技有限责任公司 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备
CN113554045A (zh) * 2020-04-23 2021-10-26 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN113554038A (zh) * 2021-07-15 2021-10-26 恒银金融科技股份有限公司 一种纸币水印图像lbp特征图的计算方法
CN115546210A (zh) * 2022-11-28 2022-12-30 南京航空航天大学 一种数字图像相关中的局部应变加权平均方法
CN116385414A (zh) * 2023-04-10 2023-07-04 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360349B1 (ko) * 2013-10-18 2014-02-24 브이씨에이 테크놀러지 엘티디 객체의 특징 정보에 기반한 객체 추적 방법 및 장치
CN104504366A (zh) * 2014-11-24 2015-04-08 上海闻泰电子科技有限公司 基于光流特征的笑脸识别系统及方法
CN104778472A (zh) * 2015-04-24 2015-07-15 南京工程学院 人脸表情特征提取方法
US20150235105A1 (en) * 2014-02-14 2015-08-20 Electronics And Telecommunications Research Institute Apparatus and method for rapidly detecting object of interest
CN105117707A (zh) * 2015-08-29 2015-12-02 电子科技大学 一种基于区域图像的人脸表情识别方法
CN106203391A (zh) * 2016-07-25 2016-12-07 上海蓝灯数据科技股份有限公司 基于智能眼镜的人脸识别方法
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法
CN107315990A (zh) * 2017-05-04 2017-11-03 深圳市美好幸福生活安全系统有限公司 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
US20170330068A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding
CN107633226A (zh) * 2017-09-19 2018-01-26 北京师范大学珠海分校 一种人体动作跟踪识别方法及系统
US10002301B1 (en) * 2017-09-19 2018-06-19 King Fahd University Of Petroleum And Minerals System, apparatus, and method for arabic handwriting recognition
CN108573211A (zh) * 2018-03-05 2018-09-25 重庆邮电大学 一种基于局部特征与深度学习的人脸特征提取方法
CN108681737A (zh) * 2018-05-25 2018-10-19 长安大学 一种复杂光照下图像特征提取方法
CN109447978A (zh) * 2018-11-09 2019-03-08 河北工业大学 一种光伏太阳能电池片电致发光图像缺陷分类方法
CN109543656A (zh) * 2018-12-17 2019-03-29 南京邮电大学 一种基于dcs-ldp的人脸特征提取方法
CN109740578A (zh) * 2019-03-01 2019-05-10 哈尔滨理工大学 一种适用于光照、姿态、表情变化的人脸识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360349B1 (ko) * 2013-10-18 2014-02-24 브이씨에이 테크놀러지 엘티디 객체의 특징 정보에 기반한 객체 추적 방법 및 장치
US20150235105A1 (en) * 2014-02-14 2015-08-20 Electronics And Telecommunications Research Institute Apparatus and method for rapidly detecting object of interest
CN104504366A (zh) * 2014-11-24 2015-04-08 上海闻泰电子科技有限公司 基于光流特征的笑脸识别系统及方法
CN104778472A (zh) * 2015-04-24 2015-07-15 南京工程学院 人脸表情特征提取方法
CN105117707A (zh) * 2015-08-29 2015-12-02 电子科技大学 一种基于区域图像的人脸表情识别方法
US20170330068A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding
CN106203391A (zh) * 2016-07-25 2016-12-07 上海蓝灯数据科技股份有限公司 基于智能眼镜的人脸识别方法
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法
CN107315990A (zh) * 2017-05-04 2017-11-03 深圳市美好幸福生活安全系统有限公司 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
CN107633226A (zh) * 2017-09-19 2018-01-26 北京师范大学珠海分校 一种人体动作跟踪识别方法及系统
US10002301B1 (en) * 2017-09-19 2018-06-19 King Fahd University Of Petroleum And Minerals System, apparatus, and method for arabic handwriting recognition
CN108573211A (zh) * 2018-03-05 2018-09-25 重庆邮电大学 一种基于局部特征与深度学习的人脸特征提取方法
CN108681737A (zh) * 2018-05-25 2018-10-19 长安大学 一种复杂光照下图像特征提取方法
CN109447978A (zh) * 2018-11-09 2019-03-08 河北工业大学 一种光伏太阳能电池片电致发光图像缺陷分类方法
CN109543656A (zh) * 2018-12-17 2019-03-29 南京邮电大学 一种基于dcs-ldp的人脸特征提取方法
CN109740578A (zh) * 2019-03-01 2019-05-10 哈尔滨理工大学 一种适用于光照、姿态、表情变化的人脸识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
M. T. TUKHTASINOV 等: ""Face recognition on the base of local directional patterns"", 《2016 DYNAMICS OF SYSTEMS, MECHANISMS AND MACHINES (DYNAMICS), OMSK》 *
TAO GAO 等: ""A novel face feature descriptor using adaptively weighted extended LBP pyramid"", 《OPTIK》 *
万源 等: ""分层CS-LBP和HOG特征融合的人脸识别研究"", 《武汉理工大学学报(交通科学与工程版)》 *
宋克臣 等: ""局部二值模式方法研究与展望"", 《自动化学报》 *
李思: ""复杂光照下图像特征提取技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李照奎 等: ""基于差值局部方向模式的人脸特征表示"", 《软件学报》 *
杨恢先 等: ""基于中心对称梯度幅值相位模式的单样本人脸识别"", 《光电子•激光》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956090A (zh) * 2019-11-04 2020-04-03 南京邮电大学 一种基于正负光照不变单元融合的人脸特征提取方法
CN110956090B (zh) * 2019-11-04 2022-08-30 南京邮电大学 一种基于正负光照不变单元融合的人脸特征提取方法
CN113554045A (zh) * 2020-04-23 2021-10-26 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN113554045B (zh) * 2020-04-23 2024-04-09 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN113128376A (zh) * 2021-04-02 2021-07-16 西安融智芙科技有限责任公司 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备
CN113128376B (zh) * 2021-04-02 2024-05-14 西安融智芙科技有限责任公司 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备
CN113554038A (zh) * 2021-07-15 2021-10-26 恒银金融科技股份有限公司 一种纸币水印图像lbp特征图的计算方法
CN115546210A (zh) * 2022-11-28 2022-12-30 南京航空航天大学 一种数字图像相关中的局部应变加权平均方法
CN116385414A (zh) * 2023-04-10 2023-07-04 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质
CN116385414B (zh) * 2023-04-10 2023-11-07 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质

Also Published As

Publication number Publication date
CN110287780B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110287780A (zh) 一种光照下人脸图像特征提取方法
Meena et al. Local binary patterns and its variants for face recognition
Raposo et al. UBEAR: A dataset of ear images captured on-the-move in uncontrolled conditions
CN106446872A (zh) 一种低照度下的视频人脸检测识别方法
Lakshminarayana et al. A discriminative spatio-temporal mapping of face for liveness detection
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
de Souza et al. On the learning of deep local features for robust face spoofing detection
Gupta et al. Face detection using modified Viola jones algorithm
CN105528584B (zh) 一种正脸图像的检测方法和装置
Yao et al. rPPG-based spoofing detection for face mask attack using efficientnet on weighted spatial-temporal representation
CN110163182A (zh) 一种基于kaze特征的手背静脉识别方法
Thepade et al. Face gender recognition using multi layer perceptron with OTSU segmentation
Benzaoui et al. System for automatic faces detection
RU2610682C1 (ru) Способ распознавания лиц
Lefkovits et al. CNN approaches for dorsal hand vein based identification
Štruc et al. Exploiting representation plurality for robust and efficient face recognition
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
Baruni et al. Age invariant face recognition methods: A review
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
Jemaa et al. Automatic Gabor Features Extraction for Face Recognition using Neural Networks
de Souza et al. Efficient width-extended convolutional neural network for robust face spoofing detection
Song et al. Face anti-spoofing detection using least square weight fusion of channel-based feature classifiers
Ahmad et al. An accurate multi-biometric personal identification model using histogram of oriented gradients (HOG)
CN115294601B (zh) 基于多尺度特征动态融合的行人重识别方法
Senthilkumar et al. Face recognition using hyperspectral imaging and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210803

CF01 Termination of patent right due to non-payment of annual fee