CN113807180A - 一种基于lbph与特征点的人脸识别方法 - Google Patents

Abstract

本发明涉及人脸识别技术领域，涉及一种基于LBPH与特征点的人脸识别方法，包括：S1、采集人脸图像，对其进行预处理；S2、使用LBPH方法对S1预处理完的图像提取局部特征；S3、人脸图像模型训练；S4：置信度条件下图像过滤；S5、人脸图像特征点采集和中心点标定；S6、设定整体距离比例，通过加权进行第一次阀值判断；S7、比较局部欧式距离比例，进行第二次阀值判断。本发明利用低置信度削弱姿态对面部特征识别的影响，同时增加特征点验证环节来弥补低置信度下人脸识别准确率的降低，二者结合以获得较为准确的人脸识别结果；在多人识别场合，对指定人群也有较高识别率。

Description

一种基于LBPH与特征点的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于LBPH与特征点的人脸识别方法。

背景技术

人脸识别技术的基本算法包括基于几何特征的方法、基于模板的方法和基于模型的方法。其中，基于模板的人脸识别方法包含基于LBPH(Local Binary PatternsHistograms)的纹理特征提取识别算法。

LBPH是提取局部特征作为判别依据的识别方法，相比于特征脸方法，LBPH的识别率有很大的提升，基于LBPH的脸部特征提取的常规方法是以面部关键点(如眉毛、眼球、鼻子、嘴巴等)为核心，提取周边一定区域的LBPH特征，归一化后将所有关键点的特征组合得到整个面部的LBPH特征。

邓垲镛的《基于LBPH算法的人脸识别算法研究与设计》，通过LBPH算法提取灰度值图像的特征，然后与数据库中已训练好的人脸LBPH特征进行比对，且分类识别，从而识别出被测对象，但该算法缺点主要有两点，第一、通过设置较高的置信度识别被检测对象，准确性虽有提升，但会降低召回率；第二、无法避免人脸不同姿态对面部图像的影响，无法避免采集的面部特征与真实人脸出现过大差异影响人脸识别准确度。

发明内容

本发明所要解决的技术问题是：利用低置信度削弱姿态对面部特征识别的影响，同时增加特征点验证环节来弥补低置信度下人脸识别准确率的降低，二者结合以获得较为准确的人脸识别结果。

本发明所采用的技术方案：一种基于LBPH特征点的人脸识别方法，包括以下步骤：

S1、采集人脸图像，对其进行预处理，S1包括如下步骤：

S11、对人脸图像进行采集，不同人脸不同角度采集多张图像，记为Am[n]，其中，n表示不同角度人脸，n≥1，例如n＝3，则不同人脸图像为Am[1],Am[2],Am[3]；m表示不同人脸，m≥1；同时预先存储的不同人脸标准图像记为Am[0]，即n＝0时表示人脸标准图像；

S12、对采集的人脸图像Am[n]进行裁剪，其中，n≥0，统一resize(200，200)；

S13、对采集的人脸图像Am[n]进行灰度化处理、将图像沿上下中心线平均分割为左右两个区域、对左右两个区域直方图均衡化和归一化处理，然后将一分为二的区域重新合并，并进行双边滤波，去除噪声从而提高图像的质量，处理后的人脸图像记为Bm[n]；

S14、将预处理完的人脸图像Bm[n]存入数据库，其中，n≥0；

S2、使用LBPH方法对S14预处理完的人脸图像Bm[n]提取局部特征，S2步骤如下：

S21、将S14预处理完的人脸图像Bm[n]通过检测窗口划分为16×16的小区域，检测窗口用于LBP(局部二值模式)算子处理；

S22、对于每个小区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；则3×3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值，

其中，(x_c,y_c)是中心像素，亮度是i_c，i_n是相邻像素的亮度，g是一个符号函数：

S23、计算每个小区域的直方图，即每个数字(假定是十进制数LBP值)出现的频率，然后对该直方图进行归一化处理；

S24、将得到的每个小区域的统计直方图进行连接成为一个特征向量，即不同人脸图像的LBP纹理特征向量，记为Cm[n]，n≥0，并将Cm[n]存入数据库；

S3、人脸图像模型训练，S3步骤如下：

S31、从数据库中提取基于步骤S24得到人脸图像的LBP纹理特征向量Cm[n]；

S32、采用opencv人脸检测联级分类器，使用人脸检测器(快速Harr)、人脸检测器(侧视)、眼部检测器(左眼)、眼部检测器(右眼)、嘴部检测器和鼻子检测器对提取的人脸图像的LBP纹理特征向量Cm[n]进行训练，n≥0；

S4：置信度条件下图像过滤；S4步骤如下：

S41、使用步骤S3训练得到的人脸图像模型与摄像头实时采集到的人脸图像A¹m比对；

S42、多人识别场合时，若实时采集到的不同人脸图像设为A¹m与人脸标准图像Am[0]的置信度值超过设定阈值T1(例如T1＝80％)，认为其相似度较高，筛选出符合条件的实时采集到的不同人脸图像设为A²m予以通过并进行后续判断验证，否则，不予通过；

将符合条件的实时采集到的人脸图像A²m存入数据库中，进行下面步骤S5、S6和S7；

从步骤S3的训练完成的图像中，筛选出置信度80％及以上的人脸图像，录入数据库，虽然低置信度一定程度上降低了人脸识别的准确率，但其筛选出的人脸图像降低了不同姿态对人脸识别的影响；

当步骤S41摄像头实时采集到的不同人脸图像A¹m发生倾斜时，需要通过矫正来将人脸位置修正，假设变换角度为θ，利用旋转变换矩阵可以做到对倾斜人脸进行修正，修正公式如下：

式中x、y是未进行矫正前的人脸特征点二维坐标，x′、y′分别是矩阵矫正后的特征点对应的二维坐标，由x′、y′确定的坐标值重新构建成新的人脸图像，即为矫正后的人脸图像，将矫正后的人脸图像覆盖实时采集到的不同人脸图像A¹m；

S5、人脸图像特征点采集和中心点标定，S5步骤如下：

S51、调用opencv中Facemark API，加载lbp人脸检测器用于检测人脸；

S52、加载关键点检测器(lbfmodel.yaml)，此人脸检测器是在几千幅带有关键点标签的人脸图像上训练得到的；

S53、加载数据库中人脸图像，即所述步骤S42中的人脸图像A²m以及对应的标准人脸图像Am[0]；

S54、运行人脸关键点检测器，得到人脸图像A²m和Am[0]的68个人脸特征点坐标；

S55、将人脸图像A²m和Am[0]分为四个关键区域：左眼、右眼、鼻子、嘴巴，取各个区域最左端与最右端特征点的中心点作为该区域的中心点，以嘴巴为例，其最左端特征点坐标为(a1,b1)，最右端特征点坐标(a2,b2)，从而得到嘴巴区域的中心点p(x 4，y 4)为

利用与嘴巴相同的算法，依次可得其他三个区域的中心点：鼻子m(x1，y 1)，左眼n(x 2，y 2)，右眼o(x 3，y 3)；

S6、设定整体距离比例，通过加权进行第一次阀值判断，S6步骤如下：

S61、以鼻宽值为基准，计算出眼睛距离鼻尖、两眼之间、嘴巴到鼻子、眼睛到嘴巴的距离值，并除以鼻宽值得到几何比例；

两眼之间中心点与鼻尖的距离为b，鼻宽为a，以人脸面部黄金比例为基准，

两眼之间的几何比例：

左眼距离鼻尖的几何比例为

右眼距离鼻尖的几何比例为1.513；嘴巴中心点与鼻尖的几何比例：

左眼与嘴巴中心点的几何比例：

右眼与嘴巴中心点的几何比例＝1.45；

则两眼之间的几何比例、左眼与鼻尖的几何比例、右眼与鼻尖的几何比例、嘴巴中心点与鼻尖的几何比例、左眼与嘴巴中心点的几何比例和右眼与嘴巴中心点的几何比例＝1：1.513：1.513：1.428：1.45：1.45，将其归一化后几何比例为0.12：0.18：0.18：0.17：0.175：0.175；

S62、以左右眼之间的欧式距离为基准，计算左右眼间的欧式距离几何比例G1、左眼到鼻尖的欧式距离几何比例G2、右眼到鼻尖的欧式距离几何比例G3、嘴巴到鼻尖的欧式距离几何比例G4、左眼到嘴巴的欧式距离几何比例G5、右眼到嘴巴的欧式距离几何比例G6，初步计算欧氏距离：base基准值＝左右眼之间的欧式距离为

左右眼间的欧式距离几何比例：

左眼到鼻尖的欧式距离几何比例：

右眼到鼻尖的欧式距离几何比例：

嘴巴到鼻尖的欧式距离几何比例：

左眼到嘴巴的欧式距离几何比例：

左眼到嘴巴的欧式距离几何比例：

S63、设置人脸欧式距离几何比例公式：M＝0.12×G1+0.18×G2+0.18×G3+0.17×G4+0.175×G5+0.175×G6；

S64、首先用S63公式M计算出人脸标准图像Am[0]的人脸欧式距离几何比例，记为Mm[0]；

然后将实时采集的人脸图像A²m通过公式M计算得到的M²m，M²m与Mm[0]通过误差计算公式与T2比较：

其中，T2为欧式距离误差阈值，本发明T2＝3％；筛选出符合阈值条件的实时采集的人脸图像A³m，存入数据库；否则，不予通过；

S7、比较局部欧式距离比例，进行第二次阀值判断，S7步骤如下：

S71、将左眼、右眼、鼻子、嘴巴四个局部区域进行自我比对；以嘴巴为例，嘴巴的长轴上的中心点为圆心，连接左端点为半径r做圆构成图像；

通过欧式距离公式计算，采取人脸上区域的特征点到中心点的距离，设某个区域中心点到此区域最左端特征点距离为r，区域上的每个特征点到中心点距离为d，形成相应的距离比例g，g＝d/r，左嘴巴端到中心点系数应为1，允许误差在±3％范围内，依次取出区域上所有特征点与r对比，g1＝d1/rg2＝d2/r....g_i＝di/r,将其所有距离比例求和

其中i是区域上特征点的序号，n为区域上特征点数；

S72、计算人脸标准图像Am[0]所有特征点累计距离比例，记为g_m ¹[0]，计算实时采集的不同人脸图像A³m所有特征点累计距离比例，记为g¹ _m，g¹ _m与g_m ¹[0]通过距离比例误差计算公式与T3比较：

其中，T3为距离比例误差阈值，本发明T3＝3％；筛选出符合阈值条件实时采集的不同人脸图像A⁴m，即最终合格的的人脸图像，否则判断实时采集到的人脸图像A³m为陌生人。

本发明产生的有益效果是：

1、在LBPH算法的基础上进行了人脸特征点验证的双重保险措施，一方面保留了LBPH算法在人脸特征提取时对光照良好的鲁棒性；另一方面利用低置信度削弱姿态对面部特征识别的影响，通过计算人脸面部左右眼睛、嘴巴、鼻子的欧式距离几何比对采集人脸图像进行初步筛选，再以左右眼睛、嘴巴、鼻子四个局部区域自我比对，增加特征点验证环节进行二次阈值判断，弥补低置信度下人脸识别准确率的降低，二者结合以获得较为准确的人脸识别结果；同时在多人识别场合，对指定人群也有较高识别率。

附图说明

图1是本发明的基于LBPH与特征点的人脸识别方法的基本流程图；

图2是本发明的人脸面部黄金比例图；

图3是本发明的人脸局部区域之一嘴巴求累计欧式距离比例示例图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本发明实例提供了一种基于LBPH与特征点的人脸识别方法，如图1所示，

S1、采集人脸图像，对其进行预处理；

S11、对人脸图像进行采集，不同人脸不同角度采集多张图像，记为Am[n](包括Am[1],Am[2]......Am[n])，同时预先存储的不同人脸标准图像记为Am[0]，即n＝0时表示人脸标准图像；

实施例共采集了一个人的三种姿势人脸图像，正脸，左侧脸和右侧脸，每种姿势各100张，一个人共计300张，外加1张标准人脸图像；按性别和年龄段共采集了50人。

S2、使用LBPH方法对S1预处理完的人脸图像提取局部特征；

S3、脸图像模型训练，S3步骤如下：；

S31、从数据库中提取基于步骤S24得到人脸图像LBP纹理特征向量；

S32、采用opencv人脸检测联级分类器，使用人脸检测器(快速Harr)、人脸检测器(侧视)、眼部检测器(左眼)、眼部检测器(右眼)、嘴部检测器和鼻子检测器对提取的人脸图像LBP纹理特征向量进行训练，人脸检测联级分类器设置正样本数(npos)：900，负样本数目(neg)：2000，训练级数(nstages)：15，最小命中率(minhitrate)：0.99，最大虚警(maxfalsealarm)：0.5，宽(w)：200，高(h)：200；

S4：置信度条件下图像过滤；

S42、若实时采集到的人脸图像与预先存储的人脸标准图像的置信度值超过设定阈值80％，认为其相似度较高，筛选出符合条件的人脸图像，予以通过，否则，不予通过；

S5、特征点采集和中心点标定；

S51、调用opencv中Facemark API，加载lbp人脸检测器用于检测人脸；

S54、运行人脸关键点检测器，得到人脸图像A²m的68个人脸特征点坐标；

S56、对人脸标准图像Am[0]进行四个区域的中心点标定。

S6、设定整体距离比例，通过加权进行第一次阀值判断，S6步骤如下：

S61、以鼻宽值为基准，计算出眼睛距离鼻尖、两眼之间、嘴巴到鼻子、眼睛到嘴巴的距离值，并除以鼻宽值得到几何比例；

如图2所述人脸面部黄金比例图，两眼之间中心点与鼻尖的距离为b，鼻宽为a，眼睛到鼻尖的距离可以近似认为是直角三角形，通过勾股定理计算出眼睛中心点到鼻尖的距离，嘴巴中心点与鼻尖的比例近似等于两眼之间中心点与鼻尖的距离除以鼻宽。

S7、比较局部特征，进行第二次阀值判断，S7步骤如下：

S71、将四个局部区域自我比对；以嘴巴为例，嘴巴的长轴上的中心点为圆心，连接左端点为半径做圆构成图像；

如图3为嘴巴局部区域的模型图，嘴巴的长轴上的中心点到最左端特征点的距离为r，嘴巴上的特征点到到圆心距离为d，其中图中任取了两个特征点为示例，取其到中心点的距离分别为d1和d2；即嘴巴区域特征点至中心距离，形成相应的距离比例g，g＝d/r，嘴巴最左端到中心点比例应为1，允许误差在±3％范围内，依次取出区域上所有特征点与r相比,g1＝d1/r、g2＝d2/r....gi＝di/r,将其所有距离比例求和

其中i是区域上特征点的序号，n为区域上特征点数。

S72、计算人脸标准图像Am[0]所有特征点累计距离比例，记为g_m ¹[0]，计算实时采集的不同人脸图像A³m所有特征点累计距离比例，记为g¹ _m，g¹ _m与g_m ¹[0]通过距离比例误差计算公式与T3比较，即

其中，T3为距离比例误差阈值，本发明T3＝3％；筛选出符合阈值条件实时采集的不同人脸图像A⁴m，即最终合格的的人脸图像，否则判断实时采集到的人脸图像A³m为陌生人。

本发明的有益效果：在LBPH算法的基础上进行了人脸特征点验证的双重保险措施，一方面保留了LBPH算法在人脸特征提取时对光照良好的鲁棒性；另一方面利用低置信度削弱姿态对面部特征识别的影响，通过计算人脸面部眼睛、嘴巴、鼻子的欧式距离几何比对采集人脸图像进行初步筛选，再以眼睛、嘴巴、鼻子为椭圆模型进行自我对比，增加特征点验证环节进行二次判断，弥补低置信度下人脸识别准确率的降低，二者结合以获得较为准确的人脸识别结果；同时在多人识别场合，对指定人群也有较高识别率。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于LBPH与特征点的人脸识别方法，其特征在于，包括以下步骤：

S1、采集人脸图像，进行预处理，所述S1包括：

S11、对人脸图像进行采集，不同人脸不同角度采集多张图像，记为Am[n]，其中，n表示不同角度人脸，n≥1，m表示不同人脸，m≥1；同时预先存储的不同人脸标准图像记为Am[0]；

S12、对采集的人脸图像Am[n]进行裁剪，统一resize(200，200)；

S13、对Am[n]进行灰度化处理、将图像沿中心线平均分割为左右两个区域，对左右两个区域直方图均衡化处理、归一化处理，将左右两个区域图像合并后双边滤波，处理后的图像记为为Bm[n]；

S14、将预处理完的人脸图像Bm[n]存入数据库；

S2、使用LBPH方法对人脸图像Bm[n]提取局部特征，所述S2包括：

S21、首先将人脸图像Bm[n]通过检测窗口划分为16×16的小区域；

S22、对于每个小区域中的一个像素，将相邻的8个像素的灰度值与该像素进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；

S23、计算每个小区域的直方图，然后对该直方图进行归一化处理；

S24、将得到的每个小区域的统计直方图进行连接成为一个特征向量，即为不同人脸图像的LBP纹理特征向量，记为Cm[n]，并将Cm[n]存入数据库；

S3、人脸图像模型训练，所述S3包括：

S31、从数据库中提取人脸图像的LBP纹理特征向量Cm[n]；

S32、采用opencv人脸检测联级分类器对提取快速Harr、侧视、左眼、右眼、嘴巴和鼻子的LBP纹理特征向量Cm[n]进行训练；

S4：置信度条件下图像过滤，所述S4包括：

S41、使用所述步骤S3训练得到的人脸图像模型与实时采集的人脸图像A¹m比对；

S42、多人识别场合时，若实时采集到的不同人脸图像A¹m与人脸标准图像Am[0]的置信度值超过设定阈值T1，筛选出符合条件的实时采集到的不同人脸图像A²m予以通过，否则，不予通过；将符合条件的人脸图像A²m存入数据库中，并进行步骤S5、S6、S7；

S5、人脸图像特征点采集和中心点标定，所述S5包括：

S51、调用opencv中FacemarkAPI，加载lbp人脸检测器用于检测人脸；

S52、加载人脸关键点检测器；

S53、加载实时采集到的人脸图像A²m以及Am[0]；

S54、运行人脸关键点检测器，得到人脸图像A²m和Am[0]的68个人脸特征点坐标；

S55、将人脸图像A²m和Am[0]分为四个关键区域：左眼、右眼、鼻子、嘴巴，取各个区域最左端与最右端特征点的中心点作为该区域的中心点，嘴巴最左端特征点坐标为(a1,b1)，最右端特征点坐标(a2,b2)，嘴巴区域的中心点p(x4，y4)为

依次分别得到其他三个区域的中心点：鼻子m(x1，y1)，左眼n(x2，y2)，右眼o(x3，y3)；

S6、设定整体距离比例，通过加权进行第一次阀值判断，所述S6包括：

S61、以鼻宽值为基准，计算出眼睛距离鼻尖、两眼之间、嘴巴到鼻子、眼睛到嘴巴的距离值，除以鼻宽值得到：两眼之间的几何比例、左眼与鼻尖的几何比例、右眼与鼻尖的几何比例、嘴巴中心点与鼻尖的几何比例、左眼与嘴巴中心点的几何比例和右眼与嘴巴中心点的几何比例＝1：1.513：1.513：1.428：1.45：1.45，归一化后的几何比例＝0.12：0.18：0.18：0.17：0.175：0.175；

其中，两眼之间中心点与鼻尖的距离为b，鼻宽为a，以黄金比例人脸为例：

两眼之间的几何比例：

左眼与鼻尖的几何比例：

右眼与鼻尖的几何比例为1.513；嘴巴中心点与鼻尖的几何比例：

左眼与嘴巴中心点的几何比例：

右眼与嘴巴中心点的几何比例＝1.45；

S62、以左右眼之间的欧式距离为基准，计算左右眼间的欧式距离几何比例G1、左眼到鼻尖的欧式距离几何比例G2、右眼到鼻尖的欧式距离几何比例G3、嘴巴到鼻尖的欧式距离几何比例G4、左眼到嘴巴的欧式距离几何比例G5、右眼到嘴巴的欧式距离几何比例G6；

左右眼之间的欧式距离：

左右眼间的欧式距离几何比例：G1＝1；

左眼到鼻尖的欧式距离几何比例：

右眼到鼻尖的欧式距离几何比例：

嘴巴到鼻尖的欧式距离几何比例：

左眼到嘴巴的欧式距离几何比例：

左眼到嘴巴的欧式距离几何比例：

S63、设置人脸欧式距离几何比例公式：M＝0.12×G1+0.18×G2+0.18×G3+0.17×G4+0.175×G5+0.175×G6；

S64、利用人脸欧式距离几何比例公式M计算人脸标准图像Am[0]的人脸欧式距离几何比例得到Mm[0]，计算实时采集的人脸图像A²m通过公式M计算得到M²m，M²m与Mm[0]通过误差计算公式：

其中，T2为欧式距离误差阈值；筛选出符合阈值条件的人脸图像A³m，存入数据库；否则，不予通过；

S7、比较局部欧式距离比例，进行第二次阀值判断。

2.如权利要求1所述的基于LBPH与特征点的人脸识别方法，其特征在于，所述S7包括以下步骤：

S71、将左眼、右眼、鼻子、嘴巴四个局部区域进行自我比对，人脸上某个局部区域中心点到某个局部区域最左端特征点距离为r，某局部区域上的某个特征点到中心点距离为d，计算比例系数g＝d/r，计算某个局部区域上所有特征点累计比例系数

其中i是区域上特征点的序号，n为区域上特征点数；

S72、计算人脸标准图像Am[0]和实时采集的不同人脸图像A³m所有特征点累计距离比例，分别记为g_m ¹[0]和g¹ _m，g¹ _m与g_m ¹[0]通过距离比例误差计算公式：

其中，T3为距离比例误差阈值；筛选出符合阈值条件实时采集的不同人脸图像A⁴m，即最终合格的的人脸图像，否则判断实时采集到的人脸图像A³m为陌生人。

3.如权利要求1所述的基于LBPH与特征点的人脸识别方法，其特征在于，

对所述S41实时采集的人脸图像A¹m进行人脸倾斜修正，包括：假设变换角度为θ，利用旋转变换矩阵对倾斜人脸进行修正，修正公式如下：

式中，x、y是未进行矫正前的人脸特征点二维坐标，x′、y′是矩阵矫正后的特征点对应的二维坐标，由x′、y′确定的坐标值重新构建成新的人脸图像，即为矫正后的人脸图像。

Images