CN107273840A - 一种基于现实世界图像的面部识别方法 - Google Patents

Abstract

本发明公开了一种基于现实世界图像的面部识别方法，所述面部识别方法包括以下步骤：对输入的面部图像进行网格化，使得面部图像特征与基于三角网格的参考面部的对应特征匹配；采用回归树对面部进行若干个面部关键特征点检测，获取位于眼睛、鼻子和嘴的关键特征点；根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进行变形处理；对变形后的面部图像进行对齐处理；通过改进后的稀疏表达的分类方法实现对对齐处理后的面部识别。本发明实现了在任意的环境中捕获面部，自动执行面部对齐，实现了高精度、快速地对待检测面部进行识别。

Description

一种基于现实世界图像的面部识别方法

技术领域

本发明涉及面部识别领域，尤其涉及一种基于现实世界图像的面部识别方法，本方法 能适应现实世界，通过较少训练示例进行高效面部识别。

背景技术

面部识别是成像研究中最突出的领域之一，在现实世界中具有广泛应用。包括：监视、 访问控制、身份认证和照片管理^[1]。面部识别系统不仅能够进行面部验证，例如：将一对 图片分类为相同个体或不同个体；执行面部识别，在不认识的脸上贴标签。尽管如此，当训练示例很少并且捕获条件自由时，面部识别变得非常具有挑战性，面部图像在不同的方向、描述、以及光照条件下呈现多样性。

最初面部识别的方法使用面部个体特征，例如：眼睛、嘴或鼻子，然而由于姿势可变、 以及使用信息量较少导致识别的结果并不好^[2]。

从90年代开始，开始使用面部全局特征，例如：

1、使用主成分分析PCA(Principal Component Analysis)^[3]的特征脸识别方法；

2、从面部图像提取特征，并使用欧几里得距离进行最近邻识别的方法^[4]；

3、基于稀疏表达的分类SRC(Sparse Representation based Classification)的方法^[[5]；

4、基于字典学习的方法来识别面部，将稀疏编码的想法应用于面部识别。该方法更 加具有鲁棒性，并且能够处理面部图像的遮挡和破坏。

上述面部全局特征存在：人为设计的特征时间代价大，劳动成本高，而算法得到的结 果具有不稳定等缺点。

近年来，深度学习方法已经可以适应面部识别问题，并取得了比较好的识别率，并且 明显优于上述面部个体特征和面部全局特征算法。然而，深度学习方法通常需要大量数据 和专门硬件，这难以训练、且不适合嵌入式以及低功率设备。

发明内容

本发明提供了一种基于现实世界图像的面部识别方法，本发明实现了在任意的环境中 捕获面部，自动执行面部对齐，实现了高精度、快速地对待检测面部进行识别，详见下文 描述：

一种基于现实世界图像的面部识别方法，所述面部识别方法包括以下步骤：

对输入的面部图像进行网格化，使得面部图像特征与基于三角网格的参考面部的对 应特征匹配；

采用回归树对面部进行若干个面部关键特征点检测，获取位于眼睛、鼻子和嘴的关 键特征点；

根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进 行变形处理；对变形后的面部图像进行对齐处理；

通过改进后的稀疏表达的分类方法实现对对齐处理后的面部识别。

其中，所述根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进行变形处理的步骤具体为：

将用作参考的面部三角剖分网格进行复制，弯曲面部德洛内三角网格中的每个三角形， 使得每个三角形可以映射到面部三角剖分网格的三角形上；

通过旋转、缩放和平移构成的仿射变换来完成，以便将输入的面部图像上的点映射到 参考面上。

其中，所述对变形后的面部图像进行对齐处理的步骤具体为：

通过处理，使得2眼之间的间距、以及下巴到眼睛的距离是大致相同的。

其中，所述改进后的稀疏表达的分类方法具体为：

其中，D为字典矩阵；b为给定的未知图像；a为权重；W为对角线权重矩阵；λ为参数。

本发明提供的技术方案的有益效果是：

1、本方法不需要对人进行特殊限制，在现实生活中正常获取即可，可以在不受控制 的环境中捕获面部，现实世界的图像在方向、表达和照明条件上千变万化，因而该技术在 现实生活中具有广泛应用；

2、本方法能够自动对齐面部，高精度、快速地对待检测面部进行识别；

3、本方法使用最少的图像进行训练，大大提高了识别速度。

附图说明

图1为一种基于现实世界图像的面部识别方法的流程图；

图2为本发明对户外脸部检测LFW(Labeled Faces in the Wild)数据集上的样本图进 行对齐的示意图；

其中，从左至右分别为：参考面部；三角网格；LFW样本；面部关键特征点；网格变形；对齐后图像。

图3为对照片进行网格扭曲的示意图。

其中，第一列为原始图像；第二列为三角剖分；第三列为弯曲变形。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详 细描述。

实施例1

本发明实施例提供了一种基于现实世界图像的面部识别算法，参见图1和图2，该方 法包括以下步骤：

101：对输入的面部图像进行网格化，使得面部图像特征与基于三角网格的参考面部 的对应特征匹配；

102：采用回归树对面部进行若干个面部关键特征点检测，获取位于眼睛、鼻子和嘴 的关键特征点；

103：根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图

像进行变形处理；对变形后的面部图像进行对齐处理；

104：通过鲁棒稀疏编码RSC(Robust Sparse Coding)^[6]算法的修改版实现对对齐处理 后的面部识别。

其中，上述步骤103中的根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进行变形处理的步骤具体为：

将用作参考的面部三角剖分网格进行复制，弯曲面部德洛内三角网格中的每个三角形， 使得每个三角形可以映射到面部三角剖分网格的三角形上；

通过旋转、缩放和平移构成的仿射变换来完成，以便将输入的面部图像上的点映射到 参考面上。

其中，上述步骤103中的对变形后的面部图像进行对齐处理的步骤具体为：

通过处理，使得2眼之间的间距、以及下巴到眼睛的距离是大致相同的。

具体实现时，本方法还包括：使用人面数据库LFW(Labeled Faces in the Wild)的改进 版LFWa数据集，对每个类别随机选择固定数量的训练图和测试图。

综上所述，本发明实施例通过上述步骤101-步骤104在不受控制的环境中捕获面部，自动执 行面部对齐，实现了高精度、快速地对待检测面部进行识别。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描 述：

201：面部检测；

为了将输入的面部图像中的面部与参考面部(根据实际应用中的需要进行选择，具体 实现时，本发明实施例对此不做限制)进行对齐，将输入的面部图像进行网格化，目的在 于使输入的面部图像变形，以使面部图像特征与基于三角网格的参考面部的对应特征匹配。

具体实现时，本发明实施例使用Viola-Jones方法检测输入的面部图像中的面部^[7]，具 体检测的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

其中，上述对应特征是指：面部中的同一特征，例如：同为眼睛特征等。

202：面部关键特征点检测；

其中，检测关键特征点，即所有面部图像的面部特殊点，对应性应被保留。对于面部 关键特征点检测，使用Dlib^[8]机器学习库中的Kazemi and Sullivan回归树方法。检测到的 68个关键特征点主要位于眼睛、鼻子和嘴。

具体实现时，本发明实施例对上述特征点检测的方法不做限制，对检测的步骤不做赘 述，均为本领域技术人员所公知。

其中，本发明实施例对关键特征点的数量不做限制，可以根据实际应用中的需要进行 设定，本发明实施例仅以68个为例进行说明。

203：面部扭曲；

除了检测到的68个关键特征点，本发明实施例还在面部边界上添加等分点，采用覆 盖整个面部的德洛内三角网格(本领域技术人员所公知的专业术语，在此不做赘述)进行 面部变形。

1、根据面部关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部 图像进行变形处理；

对于每个输入的面部关键特征点，将用作参考的面部三角剖分网格(本领域技术人员 所公知的专业术语，在此不做赘述)进行复制。现在只需要弯曲德洛内三角网格中的每个 三角形，使得每个三角形可以映射到面部三角剖分网格的三角形上。通过旋转、缩放和平 移构成的仿射变换来完成，以便将输入的面部图像上的点[xy]^T映射到参考面上的点[x′y′]^T：

其中，a,b,c,d是旋转缩放参数，t_x,t_y是变换参数。

2、对变形后的面部图像进行对齐处理。

下面就可以对上述变形的面部图像进行对齐处理，该对齐处理通常为通过处理，使得 2眼之间的间距、以及下巴到眼睛的距离是大致相同的。这可以通过以下变换完成：

1、通过旋转，强制让2个眼睛之间水平对齐；

2、重新调整，以获得固定的眼间距、以及眼睛到下巴的距离；

3、将左眼所在的位置固定，左眼对应的横纵坐标为预定义值；

4、裁剪面部图像上有实质意义的部分，即直截取表示人脸的部分，通常大小为30× 30像素。

其中，上述像素的大小根据实际应用中的需要进行设定，本发明实施例对此不做限制。

上述通过德洛内三角网格中的三角形，到面部三角剖分网格的三角形的映射，实现了 面部图像的关键特征点与参考图像的关键特征点重合。通过该种变形帮助输入的面部图像 “正面化”。

上述变形的目标不是获得输入面部图像在视觉上精确的版本，而是为最终的面部识别 做铺垫。值得注意的是，虽然有面部对齐技术，但是实时应用在计算上太昂贵。

本方法通过Python编程语言实现上述步骤201-步骤203的预处理过程，并将预处理 后的面部图像储存。每个图片大约耗时0.1s，缩短了处理流程，为后续的面部识别留下了 充足的时间。具体实现时，还可以采用其他的编程语言，本发明实施例对此不做限制。

通过上述步骤完成了面部对齐的过程，为了更好的实现面部识别，实际操作时，对每 个候选图像都要进行相同的对齐处理。

本发明实施例仅是给出了对齐处理的一个通用的流程，具体实现时还可以根据实际应 用中的需要进行调整，本发明实施例对此不做限制。

204：面部识别。

本发明实施例使用RSC算法的修改版来进行面部识别。RSC算法是SRC算法的改进。SRC方法创建包含所有训练图像的字典矩阵D。对于给定的未知图像b，目标是找到权重a的向量，使得b＝Da。通过使用a的1-范数作为正则化器，将a稀疏化。

RSC与SRC的不同在于使用对角线权重矩阵W来改善对遮挡和照明变化的鲁棒性，以及使用最大似然估计器来解决稀疏编码问题。总之，RSC算法能够解决加权最小绝对 收缩和选择算子LASSO(Least absolute shrinkage and selection operator)问题：

其中，ε是用于表示噪度级的连续参数(具体的取值根据实际应用中的需要进行设定， 本发明实施例对此不做限制)。如果使用l²范数形式代替l¹范数形式，将会出现正则化最小 二乘问题。

当参数λ>0时，有解析解：

a＝(D^TWD+λI)^-1D^TWb (4)

其中，I为单位矩阵，T为转置。

虽然公式(4)需要转置一个#(训练样本)×#(训练样本)的矩阵，但在计算上比“1-正则化版本”高得多。

使用AR数据库^[9]，得到：“1-范数”的识别率是95.0％，耗时2.4秒；“2-范数”的识别率是94.1％，耗时0.6秒。也就是说，使用“2-范数”，在4倍速度下精度损失小于1％。 因此使用修改后的“2-范数”版本的RSC算法，即采用公式(3)进行面部识别。

综上所述，本发明实施例通过上述步骤201-步骤204在任意环境中捕获面部图像，自动执行面部对齐，实现了高精度、快速地对待检测面部的识别，满足了实际应用中 的多种需要。

实施例3

下面结合具体的实验数据、图3、表1-表3对实施例1和2中的方案进行可行性 验证，详见下文描述：

在增强现实AR(Active Record)数据库上，通过修改后的RSC算法可以实现95.0％的识别率。因此对于本实验，将使用更具挑战性的非受限条件下的LFW数据库^[10]，它 由未对齐的现实世界的图像组成。

完整的LFW数据集包含超过13,000图像，都是在无约束环境中的5749个个体。 其中，158个个体每个具有至少10个不同的图像。为了能够将本方法与现有技术进行 比较，使用数据集的LFWa(为本领域技术人员所公知，本发明实施例对此不做赘述) 版本，包括使用商业对齐软件(为本领域技术人员所公知，本发明实施例对此不做赘 述，且对具体的软件类型不做限制)进行预对齐的LFW数据集图像。在图3中可以 看到若干个图像，尽管是预对齐的，但该些图像并不是很适合基于RSC方法的识别。 正如在后续表1中所看到，面部对齐能更有效地提高识别率。

一、评估标准

不失一般性的，采用识别率(Recognition rate)和检索时间(Time for oneimage)来 衡量本方法的检索性能。

二、对比算法

为了证明本方法的有效性，分别对158个类别随机选择7张训练图片和3张测试图片， 并进行以下三个识别实验：

1、在原始LFWa数据库上采用RSC算法；

2、对在LFWa数据库图像上检测到的面部图像采用RSC算法；

3、在对LFWa数据库图像执行对齐步骤之后，采用修改后的RSC算法。

将本方法与最接近的现有技术^[5,10,11]进行比较，仅使用2个训练样本和5个训练样本 来呈现LFWa数据集的基准结果。最后，每个人只用一个特殊的训练图像进行实验。

三、实验结果

LFWa数据库的图像大小都为250×250像素。在第一个实验中，将图像调整大小为50×50像素，除此之外不进行任何其他修正。在第二个实验中，对LFWa数据库的图像进 行面部检测，并将图像的面部区域调整为大小50×50像素。第三个实验，即采用本方法 的实验，最终对齐后的图像大小为30×30像素。结果都总结在表1中。

表1：7张训练图、3张测试图使用LFWa数据库的结果

表1中给出的结果清楚地表明采用本方法进行对齐，对于获得良好识别率是十分重要 的。本方法的识别率比使用原始LFWa数据库图像(实验1)的分数要高近4倍(76.4/19.6)， 同时运行时间也会减半(1.6/3.2)。这证明了：在对现实世界的图像进行面部识别之前，采 用本方法是十分有效果的。

且将本方法与最近的现有技术进行比较，仅使用2个训练样本和5个训练样本来呈现 LFWa数据集的基准结果，表2显示了比较结果。

表2：每个人分别有2或5张训练样本，不同方法在LFWa数据库上的识别率对比

通过表2中的数据可以看出，本方法在识别率上要远远高于其他四种方法，且使用了 较少的识别时间。

最后，每人只用一个特殊的训练图像进行实验。这项设置非常极端，因为每个人的身 份仅由单个图像确定，影响到了算法的鲁棒性。然而，许多现实情况下使用少量训练图片 的事情是不可避免的。该比较的结果呈现于表3中。注意，使用单训练样本的速度是非常快的，因为字典的大小明显降低。

表3：每个人仅使用一张训练样本的情况下，不同方法在LFWa数据库上的识别率对比

对于最近邻，SRC，ESRC和SVDL方法，本方法使用Yang^[11]的结果，对应于使用 2000维的算法，并展现出最佳的性能。PCRC值取自Zhu等人的文章^[12]，将图片调整大 小为80×80像素。对不同的训练图像和测试图像运行10次算法，计算平均值和标准差。

使用具有少量训练样本的LFW数据集，通过表1、表2以及表3的结果显示，本方法比几乎相同时间的其他算法具有更好的识别率。

值得一提的是，深层学习方法表现得更好，在LFW数据集上的识别率大约为96％，如参考文献^[13]所述。然而，这样的方法需要大量的训练数据(300000图像)和强大的硬件来处理所涉及的计算部分。另一方面，本方法可以以非常有效的方式对少于10个的训练 样本进行准确的识别。

参考文献

[1]Michel Owayjan,Amer Dergham,Gerges Haber,Nidal Fakih,AhmadHamoush,and Elie Abdo,“Face recognition security system,”in New Trends inNetworking,Computing,E-learning, Systems Sciences,and Engineering,pp.343–348.Springer,2015.

[2]Woodrow Wilson Bledsoe,“Man-machine facial recognition,”PanoramicResearch Inc., 1966.

[3]Matthew Turk and Alex Pentland,“Eigenfaces for Recognition,”Journal of Cognitive Neuroscience,vol.3,no.1,1991.

[4]Baback Moghaddam,Tony Jebara,and Alex Pentland,“Bayesian facerecognition,”Pattern Recognition,vol.33,pp.1771–1782,2000.

[5]John Wright,Allen Y.Yang,Arvind Ganesh,S.Shankar Sastry,and Yi Ma,“Robust Face Recognition via Sparse Representation,”IEEE Transactions onpattern analysis and machine intelligence,vol.31,no.2,pp.210–227,February2009.

[6]Meng Yang,Jian Yang,and David Zhang,“Robust Sparse Coding for FaceRecognition,” IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pp.625–632,June 2011

[7]Paul Viola and Michael Jones,“Robust real-time object detection,”in IJCV,2001.

[8]Davis E.King,“Dlib-ml:A Machine Learning Toolkit,”Journal ofMachine Learning Research,vol.10,pp.1755–1758,2009.

[9]A.M Martinez and R.Benavente,“The AR Face Database,”Tech.Rep.24,CVC,June 1998.

[10]Lei Zhang,Meng Yang,and Xiangchu Feng,“Sparse representation orcollaborative representation:Which helps face recognition？”in 2011International Conference on Computer Vision.IEEE,2011,pp.471–478.

[11]Meng Yang,Luc Van Gool,and LeiZhang,“Sparse variation dictionarylearning for face recognition with a single training sample per person,”inThe IEEE International Conference on Computer Vision,December 2013.

[12]Pengfei Zhu,Lei Zhang,Qinghua Hu,and Simon C.K.Shiu,“Multi-scalepatch based collaborative representation for face recognition with margindistribution optimization,”ECCV,2012.

[13]Yi Sun,Ding Liang,Xiaogang Wang,and Xiaoou Tang,“DeepID3:FaceRecognition with Very Deep Neural etworks,”February 2015.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号 仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于现实世界图像的面部识别方法，其特征在于，所述面部识别方法包括以下步骤：

对输入的面部图像进行网格化，使得面部图像特征与基于三角网格的参考面部的对应特征匹配；

采用回归树对面部进行若干个面部关键特征点检测，获取位于眼睛、鼻子和嘴的关键特征点；

根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进行变形处理；对变形后的面部图像进行对齐处理；

通过改进后的稀疏表达的分类方法实现对对齐处理后的面部识别。

2.根据权利要求1所述的一种基于现实世界图像的面部识别方法，其特征在于，所述根据关键特征点、结合面部德洛内三角网格、以及面部三角剖分网格对面部图像进行变形处理的步骤具体为：

将用作参考的面部三角剖分网格进行复制，弯曲面部德洛内三角网格中的每个三角形，使得每个三角形可以映射到面部三角剖分网格的三角形上；

通过旋转、缩放和平移构成的仿射变换来完成，以便将输入的面部图像上的点映射到参考面上。

3.根据权利要求1所述的一种基于现实世界图像的面部识别方法，其特征在于，所述对变形后的面部图像进行对齐处理的步骤具体为：

通过处理，使得2眼之间的间距、以及下巴到眼睛的距离是大致相同的。

4.根据权利要求1所述的一种基于现实世界图像的面部识别方法，其特征在于，所述改进后的稀疏表达的分类方法具体为：

<mrow> <msub> <mi>min</mi> <mi>a</mi> </msub> <mo>|</mo> <mo>|</mo> <msup> <mi>W</mi> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mrow> <mo>(</mo> <mi>D</mi> <mi>a</mi> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>a</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>

其中，D为字典矩阵；b为给定的未知图像；a为权重；W为对角线权重矩阵；λ为参数。