CN108388862B - 基于lbp特征及最近邻分类器的人脸识别方法 - Google Patents

基于lbp特征及最近邻分类器的人脸识别方法 Download PDF

Info

Publication number
CN108388862B
CN108388862B CN201810149688.8A CN201810149688A CN108388862B CN 108388862 B CN108388862 B CN 108388862B CN 201810149688 A CN201810149688 A CN 201810149688A CN 108388862 B CN108388862 B CN 108388862B
Authority
CN
China
Prior art keywords
lbp
face
invariant
symmetric
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810149688.8A
Other languages
English (en)
Other versions
CN108388862A (zh
Inventor
晁晓菲
蔡骋
杨沛
霍迎秋
樊李行
聂亮兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN201810149688.8A priority Critical patent/CN108388862B/zh
Publication of CN108388862A publication Critical patent/CN108388862A/zh
Application granted granted Critical
Publication of CN108388862B publication Critical patent/CN108388862B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于LBP特征及最近邻分类器的人脸识别方法，将人脸图像划分不重叠子区域，提取各个子区域对称不变LBP特征，将对称不变LBP和Uniform LBP进行结合，形成对称不变Uniform LBP，形成区域直方图，再将各区域直方图串联形成增强特征向量，利用卡方距离度量直方图相似度，最后采用最近邻分类器进行人脸识别；本发明所提出的对称不变LBP算子结合Uniform LBP最高识别率达到0.86，平均识别率达到0.82，比现有的几种类LBP算子最高0.81和平均0.78的识别率均有所提高。

Description

基于LBP特征及最近邻分类器的人脸识别方法
技术领域
本发明涉及人脸识别领域，具体涉及一种基于LBP特征及最近邻分类器的人脸识别方法。
背景技术
近年来，人脸识别领域被广泛踏足，随着对其研究的深入和技术的进步，这一技术已经被广泛应用于安全、考勤、网络安全、银行、海关边检、物业管理、智能身份证、门禁、计算机登录系统、国家安全、公共安全、军事安全等领域。
目前人脸识别研究主要从基于整体和基于特征分析这两种研究方法展开。基于整体的方法，从模式的整体属性出发，包括特征脸方法、弹性图匹配方法、隐马尔可夫模型方法、模板匹配法和神经网络方法等。这种方法信息保留较全，除了整体各部分之间的空间关系外，还保留了各部分自身信息。基于特征分析的方法则是从人脸特征点出发，利用人脸描述特征或类别参数一起组建特征向量，利用向量的相似性度量人脸相似性。这种方法着重于局部信息的利用。
这两种方法各有优劣。基于整体的方法利用整体人脸信息进行人脸识别，受噪声干扰较小。基于人脸特征分析的方法则用特征模型描述分类作用大的人脸特征，例如特征点处的形状等。基于整体的方法把整个人脸图像作为识别模式，光照、视角和尺寸等会对人脸识别影响较大，因此，如何有效地去掉这些干扰是算法研究的重点。基于特征部位分析的人脸识别方法的难点在于如何建立有效的模型来描述特征部位，缩小人脸类内距离并提高类间距离。
发明内容
为解决上述问题，本发明提供了一种基于LBP特征及最近邻分类器的人脸识别方法。
为实现上述目的，本发明采取的技术方案为：
基于LBP特征及最近邻分类器的人脸识别方法，其特征在于，将人脸图像划分不重叠子区域，提取各个子区域对称不变LBP特征，形成区域直方图，再将各区域直方图串联形成增强特征向量，利用卡方距离度量直方图相似度，最后采用最近邻分类器进行人脸识别。其中，在镜面对称LBP模式对中取最小值作为镜面对称LBP模式标签。
所述对称不变LBP特征通过以下步骤形成：
设LBP8,1＝b0b1b2b3b4b5b6b7，则其镜面对称
LBP8,1＝b0b7b6b5b4b3b2b1，即，b0和b4位置处于对称轴保持不变，其他位置关于b0和b4轴对称互换；
记
Figure BDA0001574736200000021
为对称不变LBP模式，上标mi表示镜面对称，定义，
Figure BDA0001574736200000022
其中，MIR(LBPP，R，m)函数表示以m与m+P/2位置为对称轴，将周围对称位置的值u(Gj-Gi)互换，取LBPP,R的对称LBP模式；m的取值为按LBP编码顺序首先经过的与中央点y坐标相等的点的次序。
从原始LBP模式中提取其对称LBP模式，按其编码顺序，m＝0，将第m+P/2次序点前后对称互换；得出，
Figure BDA0001574736200000023
模式数量为
Figure BDA0001574736200000024
将对称不变LBP和Uniform LBP进行结合，形成对称不变Uniform LBP，记为
Figure BDA0001574736200000025
定义为：
Figure BDA0001574736200000026
本发明所提出的对称不变LBP算子结合Uniform LBP最高识别率达到0.86，平均识别率达到0.82，比现有的几种类LBP算子最高0.81和平均0.78的识别率均有所提高。
附图说明
图1为采样点示意图。
图2为LBP计算过程。
图3为像素层面对称示意图。
图4为LBP与其镜面对称LBP。
图5为对称不变LBP计算。
图6为Uniform LBP标签映射示意图。
图7为旋转、对称不变LBP标签映射示意图。
图8为5x5划分各区域比重(带误差)直方图。
图9为7x7划分各区域比重(带误差)直方图。
图10为u282_49和miu282_49错误识别统计分析直方图。
图11为三类特征分别结合最近邻分类器进行10次随机置换实验识别率对比。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于LBP特征及最近邻分类器的人脸识别方法，其特征在于，将人脸图像划分不重叠子区域，提取各个子区域对称不变LBP特征，形成区域直方图，再将各区域直方图串联形成增强特征向量，利用卡方距离度量直方图相似度，最后采用最近邻分类器进行人脸识别。
Ojala提出的原始LBP，其基本原理描述如下：设灰度图像某个像素点的灰度值为Gi，以其为中心的半径为R的邻域内等角度分布的P个像素点的灰度值分别为Gj，(j＝0，1，…，p-1)。通过Gj与Gi的大小比较，将结果映射为二值，即0-1，并按照一定顺序编码成为二进制序列，所得的编码值即为I点的LBP值。LBP值描述了周围点和中央点的像素大小关系，保存了图像局部的纹理结构信息。
设以I点为中心，以R为半径的邻域内，取P个采样点，其采样点为Ij(j＝0，1，…，p-1)。定义I点坐标为(xi,yi)，则采样点的坐标(这里三角函数内加上的π/2是为了从中心点正上方的采样点开始编码，而编码顺序只要一致，对分类结果并无影响。方便后续对称不变LBP的提出)为：
Figure BDA0001574736200000041
(8，1)、(8，2)邻域示意如图1：
点的LBP模式定义为：
Figure BDA0001574736200000042
其中，LBPP,R为LBP算子，LBPP,R(xi,yi)表示以I点为中心点，以(P，R)为邻域的LBP模式，函数u(x)定义为：
Figure BDA0001574736200000043
取P＝8，R＝1，LBP模式计算过程如图2所示。
由上述定义容易得知，LBP模式数量为2P。LBPP,R相对于原始3x3的LBP，更能适应不同尺度和频率的纹理特征要求。LBP模式对灰度值的单调变化具有较好的鲁棒性。LBP模式中的每一个二进制位对纹理信息记录具有相等的效用，亦即高二进制位所代表的信息与低二进制位效用相等，只取决于二进制编码开始的顺序。因此，连续的两个LBP模式的二进制位的不同可能代表完全不同的纹理信息。LBP模式十进制值并无实际的数字意义，只代表模式种类分类。这使得LBP算子受噪声的影响较大。
对称不变LBP
在人脸识别领域，基于局部区域LBP特征的算法对正面人脸的识别率较高，而对于不同程度的侧面人脸的识别能力有限。同一个人两个侧向相反的小角度侧脸对称部位具有一定的对称性，正面人脸具有高度对称性。结合LBP特征模式，抽象出像素层面的对称性如图3所示。二者的LBP模式亦呈镜面对称，我们称之为镜面对称LBP模式。图像中这两者表达的信息是对称的，但对于人脸来说这两者表达的是同一个人脸信息。因此，我们将镜面对称LBP模式映射到相同的LBP标签，拟提高对小角度侧脸的识别率。实现方法是在镜面对称LBP模式对中取最小值作为镜面对称LBP模式标签。
如图4所示，设LBP8,1＝b0b1b2b3b4b5b6b7，则其镜面对称LBP8,1＝b0b7b6b5b4b3b2b1，即，b0和b4位置处于对称轴保持不变，其他位置关于b0和b4轴对称互换。
记
Figure BDA0001574736200000051
为对称不变LBP模式，上标mi表示镜面对称。我们定义，
Figure BDA0001574736200000052
其中，MIR(LBPP,R,m)函数表示以m与m+P/2位置为对称轴，将周围对称位置的值u(Gj-Gi)互换，取LBPP,R的对称LBP模式。m的取值为按LBP编码顺序首先经过的与中央点y坐标相等的点的次序。如图5所示，此例中m＝6。
在上述定义采样点坐标公式时提到，LBP模式编码顺序从中心点正上方开始，这样便于从原始LBP模式中提取其对称LBP模式。按其编码顺序，m＝0，将第m+P/2次序点前后对称互换即可。
不难得出，
Figure BDA0001574736200000061
模式数量为
Figure BDA0001574736200000062
类似于旋转不变LBP，对称不变LBP也可和Uniform LBP进行结合，形成对称不变Uniform LBP，记为
Figure BDA0001574736200000063
定义为：
Figure BDA0001574736200000064
当P＝8时，
Figure BDA0001574736200000065
模式数量为35。
直方图
为了引出直方图的概念，定义如下符号：指定X为测量变量(特征值)，X可有b种取值，即X＝{x0,x1,…,xb-1}。设有n个元素的集合A＝{a1,a2,…,an}，aj∈X，它的直方图记为H(x,A)。H(x,A)是一个b维向量，它记录了离散随机变量X各个取值出现的频度。我们仅仅对直方图感兴趣，而忽略离散随机变量X的取值具体是什么，因此，不失一般性，我们可以使用H(A)代替H(x,A)。记集合A的xi元素的数量为Hi(A),0≤i≤b-1，则H(A)＝[H0(A),H1(A),…,Hb-1(A)]，其中，
Figure BDA0001574736200000066
从上述直方图的定义可以看出，在直方图统计区域内，所有直方图标签类别(即变量X的所有取值)以及数量均被记录。如果不考虑集合A(Ai∈X)的取值顺序，则直方图是对集合A的无损重建，因为我们可以从直方图反过来重构集合A。
但是，对于一张人脸图像而言，采用统计学方法对人脸特征信息进行重建会失去人脸图像的空间信息。同上所述，这个统计向量只能在图片描述特征(例如纹理特征、颜色特征)的层次上，描述人脸图像具有哪些特征值，数量分别是多少，无法表达这些特征的顺序，即空间层次信息。因此，对人脸图像作进一步区域划分，在一个可在一定程度上忽略特征值位置信息的区域层次上进行特征提取，构建直方图，从而减少位置信息的丢失，可提高直方图对人脸图像的表达能力。另外，试图建立一个人脸图像的整体特征描述符是不合理的。就纹理特征而言，特别是小而重复的纹理，小范围关系决定了纹理结构，而大范围关系并不包含有效纹理信息。就人脸图像而言，需要将其整体空间结构信息与局部纹理信息结合，才能以更小的信息损失重构人脸图像。相比较于从图像整体入手，使用特征描述局部区域进行人脸分类识别在近年来颇受关注(Gottumukkal et al.2004；Heisele et al,2003；Penevet al.1996)。
人脸图像进行区域划分提取各区域直方图后，将其按一定顺序线性联合组成直方图序列，得到空间增强的全局直方图，用于表征人脸图像。设区域划分为m块，局部区域直方图维度为n，则空间增强直方图维度为m*n。空间增强直方图包含了局部纹理特征和整体空间关系，它从三个层面描述了图片信息：在像素层面，具有直方图标签所代表的LBP模式描述的纹理信息；在局部区域层面，具有局部区域直方图统计信息；在整个人脸图像层面，具有一定空间结构的整体描述信息。
将人脸图像各区域直方图按照从左到右，从上到下的顺序线性连接，采用对称不变LBP描述纹理信息时，人脸图像整体也可看作对称图像，各区域可对称对应。例如3x3划分区域时，区域既可以按1-1，2-2，…，9-9空间位置相互对应，也可以按1-3，2-2，4-6，5-5，7-9，8-8对称位置相互对应。
基于迭代训练的区域权重
对人脸图像进行区域划分后，各个区域所表达的纹理信息和包含的人脸鉴别信息量各不相同。对于人脸，眼睛、眉毛、鼻子、嘴巴和人脸轮廓等构成了人脸信息的绝大部分，单独通过各部位进行人脸识别的能力也不尽相同。例如，眼睛在人进行人脸识别时的作用比其他部位更重要(Zhao et al.2003)。基于此，在计算人脸图像相似度时，需要对各个区域分配不同的权重，提高空间增强直方图的差异区别能力。
直方图距离
利用直方图距离衡量人脸相似程度的基本思想是基于简单的数学上的向量之间的差异来进行图像相似度度量。这种方法对不同分辨率的图像可以进行简单的归一化，计算量小，因而使用比较广泛。一般而言，定义一个距离函数d(x,y)，必须满足如下几个原则：
a)d(x,x)＝0；
b)d(x,y)≥0；
c)d(x,y)＝d(y,x)；
d)d(x,k)+d(k,y)≥d(x,y)。
设A、B均为b维直方图。卡方距离在欧氏距离的基础上，考虑了直方图各维度的相对大小。当某个对应的维度对的值较大时，相对削弱该维度具有的差异性。这对LBP直方图的距离描述更为有效，特别是Uniform LBP直方图中的混合模式类数量一般大于其他类别，这一方法则更为有效。因此，相比于欧氏距离，卡方距离更适合描述直方图距离。此外，根据(Ahonen et al.2006)，卡方距离优于直方图相交距离和似然距离。记卡方距离为Dχ(A,B)，则Dχ(A,B)越大，对象之间的距离越大，相似性越低。Dχ(A,B)定义为：
Figure BDA0001574736200000091
以下实验例中的平台与环境如下：
1)研究平台：windows 8.1，2.2GHz双核四线程，4G内存；
2)集成开发环境：Visual Studio 2013；
3)程序设计语言：C++；
4)第三方函数库：OpenCV 2.4.9(Open Source Computer Vision Library)。
OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。
本实验中，使用到的OpenCV的内容解释如下：
Haar分类器：haarcascade_frontalface_alt2.xml
检测函数：
Figure BDA0001574736200000092
Figure BDA0001574736200000101
人脸数据库选择美国FERET(The Facial Recognition Technology Database)人脸数据库(部分)。该人脸库包含了不同拍摄条件下的多种子集，包括正面人脸、不同表情子集、不同光照条件子集、不同角度侧脸等子集。到1996年6月，该数据库已存储了1199个人的14126幅图像，而且一直在增加当中。
本实验使用到该数据库的子集，由200个人，每人7张，共1400张灰度图像组成，图像颜色深度为8。所有人脸图像均已按人脸对齐，大小一致，均为80x80像素。该人脸库中，每个人分别有两张正脸，三张从左到右不同角度侧脸，一张带表情正脸，一张不同光照条件正脸(本库中有6个人的图像结构不同于此)。
人脸库目录结构如下：FERET/FERET-xxx[001-200]/0x[1-7].tif。“xxx[001-200]”表示从“001”编号至“200”共200个文件夹；“0x[1-7]”表示，该目录下有编号从“01.tif”到“07.tif”共7张图片。
实验流程设计
本实验采用随机置换(Random permutation)的方法，首先，每次从人脸库中每个类别中随机抽取1/3数量的人脸图像作为待识别样本集，剩余2/3的图像作为已知类别的训练样本集。然后，将待识别样本集中的图像输入识别算法程序进行识别，再将识别结果与其真实的类别进行比较。如果相同，则识别成功，该图像识别率为100％；否则识别失败，识别率为0％。再次，求得一次实验中所有的待识别样本集中的图像的识别率的平均值，作为本次实验的识别率。最后，循环进行10次实验，将10次实验的平均值作为该算法在本数据库上的识别率，以保证实验的代表性和结果的可靠性(Beveridge et al.2005；Micheals etal.2001；Phillips et al.2000)。
实验流程
实验分为三部分。
a)读取人脸图像到IplImage*中，对图像进行灰度化预处理(本实验人脸库已经是单通道灰度图像)；
b)通过载入OpenCV训练的Haar分类器，调用cvHaarDetectObjects函数检测人脸，存储人脸范围到CvRect*中(一开始使用的人脸库为LFW，人脸未对齐，所以完成了这一步的设计。FERET子集人脸库人脸已经对齐，略过此步)；
c)对图像进行区域划分，将CvRect*划分区域存入CvSeq*中；
d)通过输入的IplImage*和CvSeq*提取空间增强直方图；
e)存入直方图数据文件；
f)循环a)到e)直到求得人脸库所有图像直方图；
第一部分结束。
第二部分
进行区域权重的训练，同样采用随机置换的方式(下文实验第三部分的迭代)，通过使用划分的单个区域直方图进行识别，得到区域对应的识别率，将所有区域训练完成后按照各区域识别率比例分配权重。本实验中将各类算法组合分为有权重和无权重两种进行实验，因此这一部分对于部分实验可略过。算法过程如下：
a)随机产生待识别样本集，本实验取200*7*1/3≈400幅人脸图像作为待识别样本集A，每人两张。剩余1000张(每人5张)图像作为训练样本集B；
b)从待识别样本集A中取出一个样本，读取其直方图数据文件第i区域到int*中；
c)按照一定距离算法求得样本下区域i与训练集B所有样本下区域i的距离，按照分类算法进行分类；
d)根据该样本真实类别，判断识别分类结果是否正确，并计入结果统计；
e)循环b)到d)直到所有待识别样本分类结束；
f)计算本次实验识别率并记录；
g)循环a)到f)，进行10次随机置换实验，求得平均识别率作为区域i的
识别率；
h)循环a)到g)P次，求得所有区域的区域识别率，按各区域识别率比例分
配权重。
第三部分
根据随机置换方法确定的待分类样本集和训练样本集读取直方图数据文件，按指定算法进行识别，并记录每次实验的识别率。算法过程如下：
a)随机产生待识别样本集，本实验取200*7*1/3≈400幅人脸图像作为待识别样本集A，每人两张。剩余1000张(每人5张)图像作为训练样本集B；
b)从待识别样本集A中取出一个样本，读取其直方图数据文件到int*中；
c)按照一定距离算法和权重(有无权重或有权重之分)求得该样本与训练
集B所有样本的距离，按照分类算法进行分类；
d)根据该样本真实类别，判断识别分类结果是否正确，并计入结果统计；
e)循环b)到d)直到所有待识别样本分类结束；
f)计算本次实验识别率，并记录到统计文件；
g)循环a)到f)，进行10次随机置换实验，求得本实验中的算法在本数据库中的平均识别率；
h)本算法下实验结束。
算法实现细节
1)Uniform LBP的标签映射
Uniform LBP产生的模式种类为P(P–1)+2+1种。这些模式值并不是连续存在的。例如，Uniform模式“00000100”后面的紧接着不是“00000101”(其他模式类别)，而是“00000110”，这要求在程序设计考虑LBP直方图的存储时要进行映射处理。
LBP模式值仅代表LBP模式种类，并没有实际的数字意义。在存储直方图时，我们并不需要存储LBP模式值。而分散的LBP模式值在程序设计中并不好处理。因此，我们可以将其映射到直方图中的连续值标签。
输入i，i∈(0,2P-1)，求得所有LBP模式值，将其按顺序对应到j，j∈(0,P(P-1)+3)。以i为地址，j为地址映射存入映射结构中，后续地址映射则通过映射结构进行LBP模式到直方图标签的映射。过程描述如图6所示。
2)旋转、对称不变LBP的标签映射
旋转、对称不变LBP的标签映射过程是类似的，比Uniform LBP复杂一点。如图7所示，首先需要将原始LBP转化为旋转或对称不变LBP，再按顺序为不重复的旋转或对称不变LBP编号，得到直方图标签。同样，以LBP为地址，Label为地址映射存入映射结构中，后续地址映射则通过映射结构进行LBP模式到直方图标签的映射。
3)对称不变LBP直方图距离表达
在计算直方图距离时，对称不变LBP算法不同于其他算法。该算法在两幅空间增强直方图中，对应的局部区域直方图是按位置镜面对称的。而对称不变LBP算法既可以表达两张对称图像，也可以表达一张自对称图像，如正面人脸。因此，在计算两个图像的直方图距离时，既需要计算按局部区域空间位置对应的全局直方图距离Dc，又需要计算按局部区域镜面对称的全局直方图距离Dm。再比较Dc与Dm大小，取较小者作为两幅直方图的差异距离。
单一变量原则
实验中涉及到的算法组合介绍如下。算法组合包括LBP类型、区域划分、有无权重、直方图距离、分类算法等5个方面的选择组合。LBP类型包括原始LBP、Uniform LBP、旋转不变LBP、旋转不变Uniform LBP、对称不变LBP、对称不变Uniform LBP等6种，其中部分还包括邻域和采样点的选择；区域划分包括3x3、5x5、7x7等3种；权重分为有权重和无权重2种；直方图距离包括欧氏距离、卡方距离和向量余弦(相似度)等3种；分类算法有最近邻分类器和K近邻分类器2种。
实际上并不将所有算法均组合一遍，因为组合数大于6*3*2*3*2＝216种，没有实际必要。实验采用单一变量原则，改变单一变量进行实验对比，使用对比结果作为算法衡量结果。例如，在采用卡方距离和最近邻分类算法时，选用相同区域划分，对比不同LBP类型的优劣；然后择优者改变区域划分，继续寻找最优者进行后续实验。
改变单一变量进行实验的条件是，各变量之间独立不相关。在这些组合算法中，LBP类型是基础，区域划分可能受到LBP类型的影响，特别是对称不变LBP，区域划分越多，空间信息保留越多，衡量图片的对称性的能力更强，它的性能并不独立，因此不能在一次实验中确定其最优选择；有无权重则与其他算法组合无关，优劣更依赖于自身；直方图距离方面，其性能与其自身的特点有关；分类器则与直方图距离类似，在输入的样本特点确定(一致)的情况下，其性能与本身特点有关。
实验结果及分析
识别率计算
记
Figure BDA0001574736200000151
为
Figure BDA0001574736200000152
的识别率，N为待识别样本数，Mi为第i次实验正确识别样本数。则计算公式如下：
Figure BDA0001574736200000161
本实验中，FERET人脸库子集为1400张人脸图像，待识别样本集取400，即N＝400。
实验数据
实验结果数据包含三部分。第一部分，是人脸库所有图像的各类LBP直方图数据文件；第二部分，是识别过程记录，存储了每个算法组合的一次实验的人脸图像分类(匹配对)，用于算法分析；第三部分，是实验目的的最后结果，即各个算法组合在10次随机置换方法下的识别率。
LBP直方图数据文件由程序自动生成建立，存入
FERET_[LBP_type]_[Region_Num]目录下，文件命名规则与人脸
库命名规
则一致。
识别过程记录存入
FERET_experiment/FERET_[LBP_type]_[Region_Num].txt文件。
实验结果由程序自动记录，每次识别率存入
FERET_experiment/accRateLogV3.txt文件中。V3代表第三个版本，前两次实验由于人脸库的原因和程序设计原因导致失败，但数据保留作为参考。随机置换10次实验的平均识别率则由人工计算记录。
数据结果
以下给出部分数据和实验结果。
识别过程记录数据量大，这里列出一例用于实验分析。文件FERET_miu282_49.txt记录了对称不变Uniform LBP取P＝8，R＝2，regions＝49的情况下的一次识别过程。该文件内容结构如下：
“TestImage:1-6------resultImage:1-1…”
Test Image为待识别图像，“1-6”表示第一个类别(人)的第6张图像。resultImage为匹配最近邻图像，“1-1”表示第1个类别(人)的第1张图像。
无权重算法在最近邻分类器下识别率见表1。表中，n进程时间代表同时运行n个进程所消耗的时间。
表1无权重下各算法组合在最近邻分类器下识别率
Figure BDA0001574736200000171
权重训练列出
Figure BDA0001574736200000172
算法下5x5和7x7划分的两组数据，见图8、9。
带权重算法在最近邻分类器和K近邻分类器下识别率见表2和表3：
表2有权重下6种算法组合在最近邻分类器下识别率
Figure BDA0001574736200000181
表3有权重下3算法组合在K近邻分类器下识别率
Figure BDA0001574736200000182
结果分析
实验数据的可靠性
实验采用Colorado State University(CSU)Face Identification EvaluationSystem(Beveridge et al.2005)中提到的置换实验方法。该方法执行的前提是，测试集和训练集的元素可以相互调换。在本实验中，每次测试集都是从人脸库采用随机选择的方式选出，剩余人脸图像作为训练集。二者进行了随机调换。进行10次随机置换，设第i次训练集为Ai＝{a1,a2,…,aN},N＝400(200个人，每人2张图像)，训练集为Bi＝{b1,b2,…,bM},M＝1000(200个人，每人5张)，置换一个样本后，最多可能会导致剩余的N-1个样本识别结果改变。而随机置换后训练集样本Ai仍然等于Ai-1的概率为：
Figure BDA0001574736200000191
所以，随机置换的方式可以保证实验结果的随机性。通过对各个算法识别率数据进行分析，各个算法10次随机置换实验得到的识别率标准差在0.011到0.025范围内。识别率波动较小，期望大致服从正态分布，在95％的置信度下，期望大致处在[u-0.036,u+0.036]范围内。因此，我们认为实验获得的识别率具有代表性和可靠性。
数据分析
1)未正确识别情况
选取文件FERET_u282_49.txt和文件FERET_miu282_49.txt记录的数据进行跟踪对比分析。
以“x-i”表示x类别的第i张图像。库中，“x-1”为正脸，“x-2”为右侧向侧脸，“x-3”为小幅度右侧向侧脸，“x-4”为左侧向侧脸，“x-5”为小幅度左侧向侧脸，“x-6”为不同表情正脸，“x-7”为不同光线条件下正脸。uniform LBP和对称不变Uniform LBP的两次实验识别错误统计直方图如图10所示。
图10显示，对称不变Uniform LBP对侧脸的识别能力有明显提高。但对于表情识别、不同光线条件下的人脸识别能力较Uniform LBP而言并无明显变化。
2)无权重下结果分析
4.1.2节表4-1数据显示，在无权重和最近邻分类器下，
Figure BDA0001574736200000201
算子划分为7x7共49块区域，采用卡方距离描述图像差异效果最好，识别率达到0.783，且其最高识别率0.818也是该条件下所有算法组合中最高识别率。该算法识别400张图片1个进程所消耗时间平均为1820s，3个进程时间平均为2342s(不计算LBP提取时间。这个过程在实验第一步进行，人脸库所有图像提取一类LBP直方图所需时间大致在10s～30s之间，这里不作考虑)。
对称不变UniformLBP在区域划分更多时性能更优，在卡方距离下，7x7划分方式识别率比3x3和5x5划分方式分别提高5.7％和1.6％，但时间成本提高72.5％～369.1％；相比于原始LBP算法的各种组合，5x5划分时，对称不变Uniform LBP识别率提高4.2％，但时间成本降低83.6％；相比于Uniform LBP各类算法组合，7x7划分时，对称不变Uniform LBP识别率提高8.50％，同时时间成本降低37.3％，对称不变Uniform LBP以更小的直方图维度，具备了更强的分类能力。旋转不变LBP识别率很低，从上文识别过程跟踪分析可以看出，人脸图像基本没有倾斜或者旋转，旋转不变LBP算法并不适用于本实验所采用的人脸库。
另外，在该库上，我们并没有得到Uniform LBP对人脸图像的分类能力强于原始LBP的结论。给出三类算法10次随机置换实验识别率对比，如图11所示。
org_82_25表示原始LBP取邻域(8,2)，划分为25块；u2表示Uniform LBP；miu2表示对称不变LBP。
另外，表1数据显示，在三种直方图距离的对比中，卡方距离的分类效果优于欧氏距离和向量余弦描述的相似度。
3)有权重下最近邻分类结果分析
表2显示，带权重时，在最近邻分类算法下，对称不变Uniform LBP在将图片划分为7x7区域时算法平均识别率达到0.829，高于其他算法组合在相同条件下的水平。其最高识别率达到0.86，最低识别率也超过0.8。另外，对称不变Uniform LBP算法下，7x7区域划分的算法效率低于5x5划分方式的一倍，但识别率整体提高2.47％。通过表1与2比较，相同条件下，有权重时，各种算法识别率比无权重时均有明显提高。
4)有权重下K近邻分类结果分析
考虑到本文采用的人脸数据库的情况，每个类别7张人脸图像，对于KNN算法而言，每个类别分布均匀，但元素数量并不多，且每个类别中图像都分为不同条件下的元素，这些条件构成了隐藏的条件集合。例如，不同光照下的图片(本库中，每个类别一张，共200张)可能构成一个隐藏的条件集合。KNN算法下，很可能会导致K个最近邻分布在该集合内。由于具有这样的交错分类的情况，KNN算法优点并不能很好地得到体现。对比表2与表3数据，在本文人脸数据库上，KNN算法并没有比最近邻分类算法获得很好的结果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.基于LBP特征及最近邻分类器的人脸识别方法，其特征在于，将人脸图像划分不重叠子区域，提取各个子区域对称不变LBP特征，形成区域直方图，再将各区域直方图串联形成增强特征向量，利用卡方距离度量直方图相似度，最后采用最近邻分类器进行人脸识别；所述对称不变LBP特征通过以下步骤形成：
设LBP8,1＝b0b1b2b3b4b5b6b7，则其镜面对称LBP8,1＝b0b7b6b5b4b3b2b1，即，b0和b4位置处于对称轴保持不变，其他位置关于b0和b4轴对称互换；
记
Figure FDA0001574736190000011
为对称不变LBP模式，上标mi表示镜面对称，定义，
Figure FDA0001574736190000012
其中，MIR(LBPP,R,m)函数表示以m与m+P/2位置为对称轴，将周围对称位置的值u(Gj-Gi)互换，取LBPP,R的对称LBP模式；m的取值为按LBP编码顺序首先经过的与中央点y坐标相等的点的次序；
从原始LBP模式中提取其对称LBP模式，按其编码顺序，m＝0，将第m+P/2次序点前后对称互换；得出，
Figure FDA0001574736190000013
模式数量为
Figure FDA0001574736190000014
将对称不变LBP和Uniform LBP进行结合，形成对称不变Uniform LBP，记为
Figure FDA0001574736190000015
定义为：
Figure FDA0001574736190000016
2.如权利要求1所述的基于LBP特征及最近邻分类器的人脸识别方法，其特征在于，在镜面对称LBP模式对中取最小值作为镜面对称LBP模式标签。
CN201810149688.8A 2018-02-08 2018-02-08 基于lbp特征及最近邻分类器的人脸识别方法 Expired - Fee Related CN108388862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810149688.8A CN108388862B (zh) 2018-02-08 2018-02-08 基于lbp特征及最近邻分类器的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810149688.8A CN108388862B (zh) 2018-02-08 2018-02-08 基于lbp特征及最近邻分类器的人脸识别方法

Publications (2)

Publication Number Publication Date
CN108388862A CN108388862A (zh) 2018-08-10
CN108388862B true CN108388862B (zh) 2021-09-14

Family

ID=63069564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810149688.8A Expired - Fee Related CN108388862B (zh) 2018-02-08 2018-02-08 基于lbp特征及最近邻分类器的人脸识别方法

Country Status (1)

Country Link
CN (1) CN108388862B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410258B (zh) * 2018-09-26 2021-12-10 重庆邮电大学 基于非局部二值模式的纹理图像特征提取方法
CN109602451B (zh) * 2019-02-16 2021-08-10 河南科技大学第一附属医院（河南省显微外科研究所） 一种医学超声辅助自动诊断系统
CN109885051A (zh) * 2019-02-21 2019-06-14 彭劲松 一种生态环境健康质量评估方法
CN109886192A (zh) * 2019-02-21 2019-06-14 彭劲松 一种生态环境智能监测系统
CN111191658A (zh) * 2019-02-25 2020-05-22 中南大学 基于广义局部二值模式的纹理描述方法及图像分类方法
CN109965851A (zh) * 2019-04-18 2019-07-05 郑州工业应用技术学院 一种基于多生理参数的人体运动性疲劳检测系统
CN110147780B (zh) * 2019-05-28 2021-01-01 山东大学 基于层级地形的实时性野外机器人地形识别方法及系统
CN110598719A (zh) * 2019-09-11 2019-12-20 南京师范大学 一种依据视觉属性描述自动生成人脸图像的方法
CN112199986A (zh) * 2020-08-20 2021-01-08 西安理工大学 一种基于局部二值模式多距离学习的人脸图像识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262729A (zh) * 2011-08-03 2011-11-30 山东志华信息科技股份有限公司 基于集成学习的混合融合人脸识别方法
CN103136536A (zh) * 2011-11-24 2013-06-05 北京三星通信技术研究有限公司 对象检测系统和方法、图像的特征提取方法
CN103761507A (zh) * 2014-01-03 2014-04-30 东南大学 一种基于韦伯法则的局部多值模式的人脸识别方法
CN103778434A (zh) * 2014-01-16 2014-05-07 重庆邮电大学 一种基于多分辨率多阈值局部二值模式的人脸识别方法
CN103971096A (zh) * 2014-05-09 2014-08-06 哈尔滨工程大学 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法
CN104318219A (zh) * 2014-10-31 2015-01-28 上海交通大学 基于局部特征及全局特征结合的人脸识别方法
CN104881676A (zh) * 2015-05-05 2015-09-02 昆明理工大学 一种人脸图像凸凹模式纹理特征提取及识别方法
CN105095880A (zh) * 2015-08-20 2015-11-25 中国民航大学 一种基于lgbp编码的手指多模态特征融合方法
CN105426829A (zh) * 2015-11-10 2016-03-23 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262729A (zh) * 2011-08-03 2011-11-30 山东志华信息科技股份有限公司 基于集成学习的混合融合人脸识别方法
CN103136536A (zh) * 2011-11-24 2013-06-05 北京三星通信技术研究有限公司 对象检测系统和方法、图像的特征提取方法
CN103761507A (zh) * 2014-01-03 2014-04-30 东南大学 一种基于韦伯法则的局部多值模式的人脸识别方法
CN103778434A (zh) * 2014-01-16 2014-05-07 重庆邮电大学 一种基于多分辨率多阈值局部二值模式的人脸识别方法
CN103971096A (zh) * 2014-05-09 2014-08-06 哈尔滨工程大学 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法
CN104318219A (zh) * 2014-10-31 2015-01-28 上海交通大学 基于局部特征及全局特征结合的人脸识别方法
CN104881676A (zh) * 2015-05-05 2015-09-02 昆明理工大学 一种人脸图像凸凹模式纹理特征提取及识别方法
CN105095880A (zh) * 2015-08-20 2015-11-25 中国民航大学 一种基于lgbp编码的手指多模态特征融合方法
CN105426829A (zh) * 2015-11-10 2016-03-23 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cattle Face Recognition Using Local Binary Pattern Descriptor;Cheng Cai 等;《2013 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference》;20140106;第1-4页 *
一个新的基于最近邻分类的人脸识别类器;武坚强等;《嘉应学院学报( 自然科学)》;20150531;第33卷(第5期);第10-14页 *

Also Published As

Publication number Publication date
CN108388862A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108388862B (zh) 基于lbp特征及最近邻分类器的人脸识别方法
Hassaballah et al. Ear recognition using local binary patterns: A comparative experimental study
Liu et al. Local binary features for texture classification: Taxonomy and experimental study
Trefný et al. Extended set of local binary patterns for rapid object detection
Bae et al. Polyp detection via imbalanced learning and discriminative feature learning
CN105469034B (zh) 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
Pontes et al. A flexible hierarchical approach for facial age estimation based on multiple features
Bereta et al. Local descriptors and similarity measures for frontal face recognition: a comparative analysis
Trabelsi et al. Hand vein recognition system with circular difference and statistical directional patterns based on an artificial neural network
Lin et al. Biomedical image classification based on a cascade of an SVM with a reject option and subspace analysis
Jang et al. Face detection using quantum-inspired evolutionary algorithm
CN107045621A (zh) 基于lbp与lda的人脸表情识别方法
Pflug et al. 2D ear classification based on unsupervised clustering
Alpaslan et al. Multi-scale shape index-based local binary patterns for texture classification
Zheng et al. Pedestrian detection based on gradient and texture feature integration
Raja et al. Collaborative representation of blur invariant deep sparse features for periocular recognition from smartphones
Yang et al. Color texture segmentation based on image pixel classification
Talab et al. A Novel Statistical Feature Analysis‐Based Global and Local Method for Face Recognition
Thepade et al. Face gender recognition using multi layer perceptron with OTSU segmentation
Mata-Montero et al. A texture and curvature bimodal leaf recognition model for identification of costa rican plant species
Subudhiray et al. K-nearest neighbor based facial emotion recognition using effective features
de Carvalho Soares et al. Spatial locality weighting of features using saliency map with a bag-of-visual-words approach
Chen et al. Multi-pose face ensemble classification aided by Gabor features and deep belief nets
Nanni et al. An ensemble of visual features for Gaussians of local descriptors and non-binary coding for texture descriptors
Han et al. HEp-2 staining pattern recognition using stacked fisher network for encoding weber local descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210914

Termination date: 20220208

CF01 Termination of patent right due to non-payment of annual fee