CN108090409B - 人脸识别方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种人脸识别方法、装置及存储介质，其方法包括：获取待识别人脸图像，对待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从Gabor特征图像提取特征点；对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。本发明大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率，同时也降低了算法复杂度。

Description

人脸识别方法、装置和存储介质

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置及存储介质。

背景技术

在计算机视觉和模式识别领域，人脸识别有着巨大的市场价值(如监控视频、门禁系统等)，因此受到了学术界和工业界的广泛关注。在人脸识别过程中，同一个人在不同拍摄环境下得到的人脸图像一般存在较大的非线性变化，例如光照变化、表情变化、姿态变化和局部遮挡等。当待识别人脸图像与查询数据库中同身份的人的人脸图像存在较大非线性变化时，要求人脸识别算法对上述非线性变化有比较好的鲁棒性，这样才能够准确地确定待识别人脸图像的身份。另外，在实际应用中，查询数据库中每个人有可能只能获取一张人脸图像，比如电子护照人脸图像、驾驶证人脸图像等，此应用下的人脸识别称为单样本人脸识别。单样本人脸识别比较困难，因为在训练集中每个人只有一张人脸图像，可以利用的信息非常有限，难以预测待识别人脸图像的各种非线性变化。

目前的单样本人脸识别方法可被分为如下的两类：利用了广义训练集的方法和不需要用广义训练集的方法。不需要利用广义训练集的方法一定程度上提高了人脸识别的性能，但是他们没有对单样本组成的训练集引入附加的变化信息，识别能力不足。用到了广义训练集的方法能够从广义训练集中提取人脸变化信息来补偿单样本训练集表达能力不足的缺点，以便处理待识别人脸图像的各种变化，提高识别能力。目前研究人员对此方法进行了一定的研究，并且取得了一定的成果，如Deng等在2012年提出了扩展的稀疏表示分类器(ESRC)，Zhu等在2014年提出了局部广义表示方法(LGR)。但是ESRC用整体人脸图像作为特征向量，鲁棒性能不是非常好，并且需要求解稀疏约束的优化问题，计算复杂度高。LGR通过将整体图像按照行和列均等的划分为多个小块，对每个小块进行编码表示，然后综合各个小块的表示误差推断出最终的人脸身份。其次，ESRC和LGR都是用灰度特征来表示人脸图像，灰度特征对人脸图像的非线性变化(如表情变化、姿态变化)鲁棒性不足，导致识别性能下降。最后，LGR在对各个小块进行单独表示时忽略了各个小块来自于同一个人脸的事实。

因此，当前的人脸识别算法存在诸多不足：如对人脸图像的非线性变换(如表情变化、姿态变化)鲁棒性不好，识别性能低下等缺点。

发明内容

本发明提供一种人脸识别方法、装置及存储介质，旨在提高人脸识别方法的鲁棒性、提高识别性能，降低算法复杂度。

为实现上述目的，本发明提供一种人脸识别方法，包括：

获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；

根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；

对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。

可选地，所述对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别的步骤包括：

初始化第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为一常数；

令t＝t+1；

根据预先建立的类内变化字典和查询字典，计算所述三重局部特征y_jk的表示系数α_jk；

根据预先建立的类内变化字典和查询字典，以及所述三重局部特征y_jk的表示系数α_jk，计算所述三重局部特征y_jk的表示残差e_jk；

计算第j(j＝12...J)个Gabor特征图像的所有三重局部特征的表示残差均值

根据所述表示残差均值

更新所述权重ω_jk；

重复上述过程，直到t大于或等于T，确定待识别人脸图像的身份ID。

可选地，所述获取待识别人脸图像的步骤之前，还包括：

配置基于人脸特征点对人脸图像进行划分的策略。

可选地，所述配置基于人脸特征点对人脸图像进行划分的策略的步骤包括：

对于预设的人脸图像，利用人脸特征点检测器检测得到人脸上的若干个关键特征点，所述若干个关键特征点至少包括5个关键特征点，分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；

在所述人脸图像上采样若干个辅助特征点；

对若干个关键特征点和若干个辅助特征点，以每个特征点为中心，提取分块。

可选地，在所述若干个辅助特征点提取的分块总区域覆盖整个人脸区域。

可选地，所述获取待识别人脸图像的步骤之前，还包括：

基于三重局部特征联合表示建立类内变化字典和查询字典。

可选地，所述基于三重局部特征联合表示建立类内变化字典的步骤包括：

获取预设的标准数据库，所述标准数据库中的每个人的人脸图像集包括：参考图像和变化图像；

对于预设的标准数据库中的每个人的人脸图像集，提取其参考图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取所述参考图像的K个特征点；

对于所述标准数据库中的每个人的人脸图像集，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取每幅变化图像的K个特征点；

对于所述标准数据库中的每个人，基于所述参考图像的Gabor特征图像以及对应的特征点的三重局部特征，所述变化图像的Gabor特征图像以及对应的特征点的三重局部特征，分别构建K×J个类内变化子字典；

将所述类内变化子字典按列排列组成类内变化字典。

可选地，所述基于三重局部特征联合表示建立查询字典的步骤包括：

获取查询数据库，所述查询数据库中每个人包含一幅人脸图像；

对于查询数据库中的每个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取K个特征点；

对于所述查询数据库中的每个人脸图像，基于所述人脸图像的Gabor特征图像以及对应的特征点的三重局部特征，构造K×J个查询字典。

此外，本发明还提出一种人脸识别装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤。

相比现有技术，本发明提出的人脸识别方法、装置及存储介质，通过获取待识别人脸图像，对待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。本发明提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。此外，本发明对属于同一个Gabor特征图像位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似，这样充分利用了这些局部三重特征来自同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率，并降低了算法复杂度。

相对于现有的ESRC和LGR方法，本发明具有如下优点：

本发明提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。

本发明采用联合表示的思想，对属于同一个Gabor特征位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似，这样能够充分利用这些局部三重特征来自于同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

总之，与目前传统的技术方案相比，本发明方法对人脸图像的非线性变化有更好的鲁棒性，进而有更好的识别性能。

附图说明

图1是本发明提出的人脸识别方法第一实施例的流程示意图；

图2是本发明提出的人脸识别方法第二实施例的流程示意图；

图3是本发明实施例中检测得到人脸上的特征点的示意图；

图4是本发明提出的人脸识别方法第三实施例的流程示意图；

图5是本发明实施例涉及的硬件运行环境示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高识别率。此外，本发明对属于同一个Gabor特征图像位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似，这样充分利用了这些局部三重特征来自同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

具体地，请参照图1，图1是本发明提出的人脸识别方法第一实施例的流程示意图。

如图1所示，本发明第一实施例提出一种人脸识别方法，包括：

步骤S101，获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；

本发明基于三重局部特征联合表示的人脸识别方法的实施，需要结合基于人脸特征点对人脸图像进行划分的策略以及类内变化字典和查询字典来实现。

因此，本实施例预先配置有基于人脸特征点对人脸图像进行划分的策略，并预先创建有类内变化字典和查询字典。

其中，基于人脸特征点对人脸图像进行划分的策略，主要原理是检测人脸上的左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点5个关键特征点，并结合若干个辅助采样点，以每个特征点为中心，提取小块。

本发明方案基于人脸特征点对人脸图像进行划分的策略，提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。

首先，获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像，每个Gabor特征提取结果会得到和原图像大小相同的一张特征图像。

步骤S102，根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；

根据预先配置的基于人脸特征点对人脸图像进行划分的策略(本实施例称策略1)提取K个特征点，对第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的小块称为三重局部特征。

步骤S103，对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。

具体地，初始化第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为一常数；

令t＝t+1；

根据预先建立的类内变化字典和查询字典，计算所述三重局部特征y_jk的表示系数α_jk；

根据预先建立的类内变化字典和查询字典，以及所述三重局部特征y_jk的表示系数α_jk，计算所述三重局部特征y_jk的表示残差e_jk；

计算第j(j＝1,2,...,J)个Gabor特征图像的所有三重局部特征的表示残差均值e_j；

根据所述表示残差均值

更新所述权重ω_jk；

重复上述过程，直到t大于或等于T，确定待识别人脸图像的身份ID。

本实施例通过上述方案，通过获取待识别人脸图像，对待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。本发明提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。此外，本发明对属于同一个Gabor特征图像位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似，这样充分利用了这些局部三重特征来自同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

如图2所示，本发明第二实施例提出一种人脸识别方法，基于上述图1所示的实施例，在上述步骤S101：获取待识别人脸图像之前，还包括：

步骤S100，配置基于人脸特征点对人脸图像进行划分的策略。

具体地，所述配置基于人脸特征点对人脸图像进行划分的策略的步骤包括：

对于预设的人脸图像，利用人脸特征点检测器检测得到人脸上的若干个关键特征点，所述若干个关键特征点至少包括5个关键特征点，分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；

在所述人脸图像上采样若干个辅助特征点；

对若干个关键特征点和若干个辅助特征点，以每个特征点为中心，提取分块。

其中，在所述若干个辅助特征点提取的分块总区域大致覆盖整个人脸区域。

以下对本实施例基于人脸特征点对人脸图像进行划分的策略进行详细阐述：

详细步骤为：

①对于输入的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，这个5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点，如图3中深色点所示。

②由于①得到的5个特征点不能完整覆盖整个人脸，故继续在人脸图像上均匀采样S个点，S个点的坐标没有非常严格的规定，只要保证下面步骤③中S个点处提取的小块总区域大致覆盖整个人脸区域即可。比如，假设图像分辨率大小为L×L，每个特征点处小块大小为d×d，那么最终均匀采样S＝(L÷d)×(L÷d)个点，如图3中浅色点所示(图3中L＝80,d＝19，S＝16)。

③对①和②得到的K＝5+S个特征点，以每个特征点为中心，提取大小为d×d的小块。

④最终，对输入人脸图像可得到K个特征点，并且对每个特征点都可得提取d×d的小块。

本实施例通过上述方案，配置基于人脸特征点对人脸图像进行划分的策略，获取待识别人脸图像，对待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；根据配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。本发明提取人脸图像多个尺度多个方向的Gabor特征图像，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。此外，本发明对属于同一个Gabor特征图像位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似，这样充分利用了这些局部三重特征来自同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

如图4所示，本发明第三实施例提出一种人脸识别方法，基于上述图2所示的实施例，在上述步骤S101，获取待识别人脸图像之前，还包括：

步骤S90，基于三重局部特征联合表示建立类内变化字典和查询字典。

具体地，所述基于三重局部特征联合表示建立类内变化字典的步骤包括：

获取预设的标准数据库，所述标准数据库中的每个人的人脸图像集包括：参考图像和变化图像；

对于预设的标准数据库中的每个人的人脸图像集，提取其参考图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取所述参考图像的K个特征点；

对于所述标准数据库中的每个人的人脸图像集，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取每幅变化图像的K个特征点；

对于所述标准数据库中的每个人，基于所述参考图像的Gabor特征图像以及对应的特征点的三重局部特征，所述变化图像的Gabor特征图像以及对应的特征点的三重局部特征，分别构建K×J个类内变化子字典；

将所述类内变化子字典按列排列组成类内变化字典。

其中，所述基于三重局部特征联合表示建立查询字典的步骤包括：

获取查询数据库，所述查询数据库中每个人包含一幅人脸图像；

对于查询数据库中的每个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取K个特征点；

对于所述查询数据库中的每个人脸图像，基于所述人脸图像的Gabor特征图像以及对应的特征点的三重局部特征，构造K×J个查询字典。

本发明方案的实施分为两大阶段：阶段1为训练阶段，即基于三重局部特征联合表示建立类内变化字典和查询字典，阶段2为在线识别阶段，即基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。必须先完成阶段1才能进行阶段2。

以下对本实施例阶段1-基于三重局部特征联合表示建立类内变化字典和查询字典，以及阶段2-基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别进行详细阐述：

训练阶段包括2个子任务：类内变化字典建立和查询字典建立。

子任务1—类内变化字典建立

类内变化字典建立采用学术界标准的人脸数据数据库AR数据库或者multi-PIE数据库，称此数据库为标准数据库。标准数据库是在实验室环境下拍摄得到的，其中包含各种不同的光照变化、表情变化、姿态变化。对于数据库中的每个人的人脸图像集，都存在一张中性表情、标准光照的正脸图像，这个图像被称为参考图像，其他的图像被称为变化图像。

标记Q为标准数据库中人类别个数，标记N为每个人的变化图像个数，类内变化字典的建立步骤为：

①对于标准数据库中的每个人，提取其参考图像的不同尺度不同方向的J个Gabor特征图像(每个Gabor特征提取结果会得到和原图像大小相同的一张特征图像)，并根据策略1提取参考图像的K个特征点。对于第q(q＝1,2,...,Q)个人的第j(j＝1,2,...,J)个Gabor特征图像，第k(k＝1,2,..,K)个特征点处的小块称为三重局部特征，标记为

②对于标准数据库中的每个人，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像(每个Gabor特征提取结果会得到和原图像大小相同的一张特征图像)，并根据策略1提取每幅变化图像的K个特征点。对于第q(q＝1,2,...,Q)个人的第n(n＝1,2...,N)个变换图像的第j(j＝1,2,...,J)个Gabor特征图像，第k(k＝1,2,..,K)个特征点处的小块称为三重局部特征，标记为

③对于标准数据库中的每个人，分别构建K×J个类内变化子字典。对于第q(q＝1,2,...,Q)个人的第j(j＝1,2,...,J)个Gabor特征图像，第k(k＝1,2,..,K)个类内变化子字典记为

构建公式如下：

④将标准数据库中所有Q个人的第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个类内变化子字典按列排列组成类内变化字典D_jk，D_jk的构建公式如下

子任务2—查询字典建立

查询数据库组成了待识别人脸图像的查询范围，本发明查询数据库中每个人只包含一幅人脸图像。

查询字典是依据查询数据库建立，标记C为查询数据库中的人脸图像总数。查询字典建立步骤如下：

①对于查询数据库中的第c(c＝1,2,..,C)个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像(每个Gabor特征提取结果会得到和原图像大小相同的一张特征图像)，并根据策略1提取K个特征点。对于第c(c＝1,2,..,C)个人脸图像的第j(j＝1,2,...,J)个Gabor特征图像,第k(k＝1,2,..,K)个特征点处的小块称为三重局部特征，标记为

②构造K×J个查询字典，对于第j(j＝1,2,...,J)个Gabor特征图像，标记第k(k＝1,2,...,K)个查询字典为G_jk

阶段2—在线识别阶段

此阶段输入一幅待识别人脸图像，输出其身份ID。

对于输入的人脸图像，提取不同尺度不同方向的J个Gabor特征图像(每个Gabor特征提取结果会得到和原图像大小相同的一张特征图像)，并根根据策略1提取K个特征点，对第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的小块称为三重局部特征，标记为y_jk。识别步骤如下：

①初始化第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为某一常数。

②令t＝t+1。

③计算上述三重局部特征y_jk的表示系数α_jk，公式为：

其中：P_jk＝(ω_jk[G_jkD_jk]^T[G_jkD_jk]+(λ+μ)I)^-1，

α_jk,0＝P_jkω_jk[G_jkD_jk]^Ty_jk，

④计算上述三重局部特征y_jk的表示残差e_jk，公式为：

e_jk＝||y_jk-[G_jkD_jk]α_jk||₂；

⑤计算第j(j＝1,2,...,J)个Gabor特征图像的所有K个三重局部特征的表示残差均值

公式为：

⑥更新上述权重ω_jk，公式为：

⑦如果t<T，则返回到步骤②，否则进行到步骤⑧。

⑧按照下面步骤确定待识别人脸图像的身份ID。

I.步骤③中的表示系数α_jk可写为

其中ρ_jk对应于G_jk的表示系数，β_jk对应于D_jk的表示系数。

II.ρ_jk又可以写为

其中

对应于

的表示系数(

的意义参考子任务2步骤①)。

III.根据下面公式求得待识别人脸图像的身份ID。

下面结合具体的实施结果对本发明作进一步的说明，并将本发明与现有技术(ESRC和LGR)做一比较。

为了比较客观公正，本实验中查询字典建立仍然采用标准数据库。本实验基于AR数据库中第二期采集得到数据，标记此数据为ARS2。ARS2中包含100个人，每个人13张人脸图像。

详细实验设置为：

a.类内变化字典建立选取ARS2中的第80-100个人，对于每个人，第1张图像为参考图像，第2-13张图像为变化图像。

b.查询字典建立选取ARS2中第1-80个人的第1张图像。

c.待识别人脸图像选取ARS2中的第1-80个人的部分图像，所有80个人的图像分为4组：第1组为光照组(选取每个人的第5-7张图像)，第2组为表情组(选取每个人的第2-4张图像)，第3组为遮挡组(选取每个人的第8、11张图像)，第4组为光照遮挡组(选取每个人的第9、10、12、13张图像)。

识别精度比较如表1所示，可以看到本发明识别精度远远好于ESRC，同时大幅度好于LGR技术。

表1识别精度(％)比较

相比现有技术，本发明提取人脸图像多个尺度多个方向的Gabor特征，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征内在编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。

此外，本发明对属于同一个Gabor特征位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似。这样充分利用了这些局部三重特征来自同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

相对于ESRC和LGR方法，本发明优点如下：

本发明提取人脸图像多个尺度多个方向的Gabor特征，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。

本发明采用联合表示的思想，对属于同一个Gabor特征位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似。这样能够充分利用这些局部三重特征来自于同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

总之，与目前传统的技术方案相比，本发明方法对人脸图像的非线性变化有更好的鲁棒性，进而有更好的识别性能。

此外，本发明还提出一种人脸识别装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。

具体地，如图5所示，本实施例人脸识别装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图5中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及人脸识别程序。

在图5所示的装置中，网络接口1004主要用于连接网络服务器，与网络服务器进行数据通信；用户接口1003主要用于与用户终端交互，接收用户输入的指令；而处理器1001可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；

根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；

对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

初始化第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为一常数；

令t＝t+1；

根据预先建立的类内变化字典和查询字典，计算所述三重局部特征y_jk的表示系数α_jk；

根据预先建立的类内变化字典和查询字典，以及所述三重局部特征y_jk的表示系数α_jk，计算所述三重局部特征y_jk的表示残差e_jk；

计算第j(j＝1,2,...,J)个Gabor特征图像的所有三重局部特征的表示残差均值

根据所述表示残差均值

更新所述权重ω_jk；

重复上述过程，直到t大于或等于T，确定待识别人脸图像的身份ID。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

配置基于人脸特征点对人脸图像进行划分的策略。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

对于预设的人脸图像，利用人脸特征点检测器检测得到人脸上的若干个关键特征点，所述若干个关键特征点至少包括5个关键特征点，分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；

在所述人脸图像上采样若干个辅助特征点；

对若干个关键特征点和若干个辅助特征点，以每个特征点为中心，提取分块。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

基于三重局部特征联合表示建立类内变化字典和查询字典。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

获取预设的标准数据库，所述标准数据库中的每个人的人脸图像集包括：参考图像和变化图像；

对于预设的标准数据库中的每个人的人脸图像集，提取其参考图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取所述参考图像的K个特征点；

对于所述标准数据库中的每个人的人脸图像集，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取每幅变化图像的K个特征点；

对于所述标准数据库中的每个人，基于所述参考图像的Gabor特征图像以及对应的特征点的三重局部特征，所述变化图像的Gabor特征图像以及对应的特征点的三重局部特征，分别构建K×J个类内变化子字典；

将所述类内变化子字典按列排列组成类内变化字典。

进一步地，处理器1001还可以用于调用存储器1005中存储的人脸识别程序，并执行以下操作：

获取查询数据库，所述查询数据库中每个人包含一幅人脸图像；

对于查询数据库中的每个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取K个特征点；

对于所述查询数据库中的每个人脸图像，基于所述人脸图像的Gabor特征图像以及对应的特征点的三重局部特征，构造K×J个查询字典。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器运行时实现如下操作：

获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；

根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；

对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

初始化第j(j＝1,2,...,J)个Gabor特征图像的第k(k＝1,2,..,K)个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为一常数；

令t＝t+1；

根据预先建立的类内变化字典和查询字典，计算所述三重局部特征y_jk的表示系数α_jk；

根据预先建立的类内变化字典和查询字典，以及所述三重局部特征y_jk的表示系数α_jk，计算所述三重局部特征y_jk的表示残差e_jk；

计算第j(j＝1,2,...,J)个Gabor特征图像的所有三重局部特征的表示残差均值

根据所述表示残差均值

更新所述权重ω_jk；

重复上述过程，直到t大于或等于T，确定待识别人脸图像的身份ID。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

配置基于人脸特征点对人脸图像进行划分的策略。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

对于预设的人脸图像，利用人脸特征点检测器检测得到人脸上的若干个关键特征点，所述若干个关键特征点至少包括5个关键特征点，分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；

在所述人脸图像上采样若干个辅助特征点；

对若干个关键特征点和若干个辅助特征点，以每个特征点为中心，提取分块。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

基于三重局部特征联合表示建立类内变化字典和查询字典。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

获取预设的标准数据库，所述标准数据库中的每个人的人脸图像集包括：参考图像和变化图像；

对于预设的标准数据库中的每个人的人脸图像集，提取其参考图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取所述参考图像的K个特征点；

对于所述标准数据库中的每个人的人脸图像集，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取每幅变化图像的K个特征点；

对于所述标准数据库中的每个人，基于所述参考图像的Gabor特征图像以及对应的特征点的三重局部特征，所述变化图像的Gabor特征图像以及对应的特征点的三重局部特征，分别构建K×J个类内变化子字典；

将所述类内变化子字典按列排列组成类内变化字典。

进一步地，所述计算机程序被所述处理器运行时还实现如下操作：

获取查询数据库，所述查询数据库中每个人包含一幅人脸图像；

对于查询数据库中的每个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取K个特征点；

对于所述查询数据库中的每个人脸图像，基于所述人脸图像的Gabor特征图像以及对应的特征点的三重局部特征，构造K×J个查询字典。

相比现有技术，本发明提取人脸图像多个尺度多个方向的Gabor特征，并基于人脸特征点对Gabor特征图像进行分块，并将此分块作为三重局部特征，此三重局部特征编码了图像的局部方向、局部尺度、局部空间属性，大大增加了对人脸图像非线性变换(如表情变化、姿态变化)的鲁棒性，进而提高了识别率。此外，本发明采用联合表示的思想，对属于同一个Gabor特征位于不同空间的三重局部特征进行联合表示，要求各个局部三重特征的表示系数相似。这样能够充分利用这些局部三重特征来自于同一个人脸的同一个Gabor特征图像的先验知识，可进一步提高识别准确率。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种人脸识别方法，其特征在于，包括：

获取待识别人脸图像，对所述待识别人脸图像，提取不同尺度不同方向的若干个Gabor特征图像；

根据预先配置的基于人脸特征点对人脸图像进行划分的策略，从所述Gabor特征图像提取特征点；

对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别；

所述对提取特征点后的Gabor特征图像，基于三重局部特征联合表示，以及预先建立的类内变化字典和查询字典，进行人脸识别的步骤包括：

①初始化第j个Gabor特征图像的第k个特征点处的三重局部特征y_jk的权重ω_jk为1，初始化当前迭代次数t＝0，初始化最大迭代次数T为一常数，其中j＝1,2,...,J，k＝1,2,..,K；

②令t＝t+1；

③根据预先建立的类内变化字典和查询字典，计算所述三重局部特征y_jk的表示系数α_jk，公式为：

其中：P_jk＝(ω_jk[G_jk D_jk]^T[G_jk D_jk]+(λ+μ)I)^-1，

α_jk,0＝P_jkω_jk[G_jk D_jk]^Ty_jk；其中，G_jk为第j个Gabor特征图像的第k个类内变化子字典，D_jk为第j个Gabor特征图像的第k个查询字典；

④根据预先建立的类内变化字典和查询字典，以及所述三重局部特征y_jk的表示系数α_jk，计算所述三重局部特征y_jk的表示残差e_jk；

⑤计算第j个Gabor特征图像的所有三重局部特征的表示残差均值

j＝1,2,...,J；

⑥根据所述表示残差均值

更新所述权重ω_jk，更新上述权重ω_jk，公式为：

⑦如果t<T，则返回到步骤②，否则，确定待识别人脸图像的身份ID。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别人脸图像的步骤之前，还包括：

配置基于人脸特征点对人脸图像进行划分的策略。

3.根据权利要求2所述的方法，其特征在于，所述配置基于人脸特征点对人脸图像进行划分的策略的步骤包括：

对于预设的人脸图像，利用人脸特征点检测器检测得到人脸上的若干个关键特征点，所述若干个关键特征点至少包括5个关键特征点，分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；

在所述人脸图像上采样若干个辅助特征点；

对若干个关键特征点和若干个辅助特征点，以每个特征点为中心，提取分块。

4.根据权利要求3所述的方法，其特征在于，在所述若干个辅助特征点提取的分块总区域覆盖整个人脸区域。

5.根据权利要求1所述的方法，其特征在于，所述获取待识别人脸图像的步骤之前，还包括：

基于三重局部特征联合表示建立类内变化字典和查询字典。

6.根据权利要求5所述的方法，其特征在于，所述基于三重局部特征联合表示建立类内变化字典的步骤包括：

获取预设的标准数据库，所述标准数据库中的每个人的人脸图像集包括：参考图像和变化图像；

对于预设的标准数据库中的每个人的人脸图像集，提取其参考图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取所述参考图像的K个特征点；

对于所述标准数据库中的每个人的人脸图像集，提取每幅变化图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取每幅变化图像的K个特征点；

对于所述标准数据库中的每个人，基于所述参考图像的Gabor特征图像以及对应的特征点的三重局部特征，所述变化图像的Gabor特征图像以及对应的特征点的三重局部特征，分别构建K×J个类内变化子字典；

将所述类内变化子字典按列排列组成类内变化字典。

7.根据权利要求5所述的方法，其特征在于，所述基于三重局部特征联合表示建立查询字典的步骤包括：

获取查询数据库，所述查询数据库中每个人包含一幅人脸图像；

对于查询数据库中的每个人脸图像，提取每幅图像的不同尺度不同方向的J个Gabor特征图像，并根据预先配置的基于人脸特征点对人脸图像进行划分的策略，提取K个特征点；

对于所述查询数据库中的每个人脸图像，基于所述人脸图像的Gabor特征图像以及对应的特征点的三重局部特征，构造K×J个查询字典。

8.一种人脸识别装置，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1-7中任意一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-7中任一项所述的方法的步骤。

Images