CN105809107A - 基于面部特征点的单样本人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于面部特征点的单样本人脸识别方法及系统，该方法包括：获取待识别人脸图像；采集待识别人脸图像中的特征点，特征点包括关键点和稠密点；提取特征点的特征向量；初始化该特征点的权重及第一投影矩阵；计算该特征向量的加权协同表示，以获取该征向量的表示系数；判断是否更新该特征点的权重及第一投影矩阵；若是，在根据表示系数计算出该特征向量的协同表示误差后，则根据协同表示误差更新该特征点的权重及第一投影矩阵，并返回重新计算该特征向量的加权协同表示；若否，则根据权重、第一投影矩阵及该特征向量确定待识别人脸图像的身份ID。本发明能够增加了算法的鲁棒性，提高了人脸识别率并减小了识别时的计算复杂度。

Description

基于面部特征点的单样本人脸识别方法及系统

技术领域

本发明涉及计算机视觉和模式识别技术领域，尤其涉及一种基于面部特征点的单样本人脸识别方法及系统。

背景技术

作为计算机视觉和模式识别的研究热点，人脸识别由于其非接触性和自然性(如类似于人眼识别人)等优势和巨大的行业价值(如身份鉴别、人机交互等)，受到了学术界和工业界的广泛关注。在人脸识别过程中，同一个人在不同环境下拍摄得到的人脸图像可能存在较大差异，例如，拍照时戴或者不戴饰物(眼镜或者口罩)、不同光照条件、不同表情或不同姿态都可能造成人脸图像之间存在较大的差异。尤其是当待识别人脸图像与查询数据库中的人脸图像存在较大差异时，则只有在人脸识别的算法具有比较好的鲁棒性的前提下，才能够准确的确定待识别人脸图像的身份。另外，在实际应用情况中，有可能只能获取同一个人的一张人脸图像，比如电子护照人脸图像、驾驶证人脸图像等，此情况下的人脸识别称为单样本人脸识别。单样本人脸识别非常困难，因为每个人只可得到一张人脸图像，可以利用的信息非常有限，难以预测待识别人脸图像的变化。

目前的单样本人脸识别方法可被分为如下的两类：利用了广义训练集的方法和不需要用广义训练集的方法。不需要利用广义训练集的方法一定程度上提高了人脸识别的性能，但是他们没有对单样本组成的训练集引入附加的变化信息，识别能力不足。用到了广义训练集的方法能够从广义训练集中提取人脸变化信息来补偿单样本训练集表达能力不足的缺点，以便处理待识别人脸图像的各种变化，提高识别能力。目前研究人员对此方法进行了一定的研究，并且取得了一定的成果，如Deng等在2012年提出了扩展的稀疏表示分类器(ESRC)，Zhu等在2014年提出了局部广义表示方法(LGR)。但是ESRC用整体人脸图像作为特征向量，鲁棒性能不是非常好，并且需要求解稀疏约束的优化问题，计算复杂度高。LGR通过将整体图像按照行和列均等的划分为多个小块，对每个小块进行编码表示，然后综合各个小块的表示误差推断出最终的人脸身份。LGR鲁棒性有所提高，但是其忽略了对人脸某些高鉴别能力的局部部位(如眼睛、鼻子、嘴巴)的利用。另外，LGR识别时涉及多次矩阵求逆运算，导致识别时计算非常耗时。因此，当前的人脸识别算法存在诸多不足：如鲁棒性不好，识别时效率低下等缺点。

发明内容

本发明的主要目的在于提供一种基于面部特征点的单样本人脸识别方法及系统，旨在解决当前的单样本人脸识别算法具有局限性的问题。

为实现上述目的，本发明提供一种基于面部特征点的单样本人脸识别方法，包括：

S10，获取待识别人脸图像；

S20，采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

S30，提取所述特征点的特征向量；

S40，初始化所述特征点的权重及第一投影矩阵；

S50，计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

S60，判断是否更新所述特征点的权重及第一投影矩阵；

S70，若是，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述协同表示误差更新所述特征点的权重及第一投影矩阵，返回步骤S50；

S80，若否，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

优选地，所述获取待识别人脸图像的步骤之前还包括：

创建人脸变化字典；

创建查询字典；

根据所述人脸变换字典及所述查询字典计算第二投影矩阵，所述第二投影矩阵与所述第一投影矩阵关联。

优选地，所述创建所述待识别人脸图像的人脸变化字典的步骤包括：

基于标准的人脸图像数据库创建各人脸图像对应的人脸变化子字典，其中第q个人第k个特征点对应的人脸变化子字典表示为：

其中，第q(q＝1,2,3,4…Q)个人第k(k＝1,2,3,4…K)个特征点的特征向量为第q(q＝1,2,3,4…Q)个人第n(n＝1,2,3,4…N)个变化图像的第k个特征点的特征向量为

将各人脸图像第k个特征点对应的人脸变化子字典按列排列，创建所述人脸变化字典，其中所述人脸变化字典表示为：

D^k＝[D_1k,D_2k,...,D_Qk]

其中，Q表示所述标准数据库中存储的人的个数。

优选地，所述创建查询字典的步骤包括：

计算所述查询字典中每个人脸图像第k个特征点的特征向量，其中第j个人脸图像第k个特征点的特征向量表示为：

将各人脸图像第k个特征点的特征向量按列排列，创建所述第k个特征点的特征向量的查询字典，其中所述查询字典表示为：

G^k＝[g_1k,g_2k,...,g_Jk]

其中，J表示查询数据库中存储的人的个数。

优选地，所述加权协同表示的计算公式为：

其中，y^k为待识别人脸图像的第k(k＝1,2,3...K)个特征点的特征向量，所述特征向量y^k的表示系数为α^k＝ω_kP^k[G^kD^k]^Ty^k，该G^k为第k个特征点的查询字典，该D^k为第k个特征点的人脸变化字典，ω_k为第k个特征点的权重，λ＝0.5。

优选地，所述协同表示误差的计算公式为：

其中，y^k为待识别人脸图像的第k(k＝1,2,3...K)个特征点的特征向量，所述特征向量y^k的表示系数α^k＝ω_kP^k[G^kD^k]^Ty^k，该G^k为第k个特征点的查询字典，该D^k为第k个特征点的人脸变化字典。

优选地，所述待识别人脸图像的身份ID的计算公式为：

其中，ρ^k为所述特征向量y^k与所述第k个查询字典G^k对应的表示系数，β^k为所述特征向量y^k与所述第k个人脸变换字典D^k对应的表示系数，且ρ^k又可表示为ρ^k＝[ρ_1k,ρ_2k,...,ρ_Jk]，其中ρ_jk(j＝1,2,..,J)为所述特征向量y^k为查询数据库中存储的第j个人的人脸图像的第k个特征点的特征向量g_jk对应的表示系数。

优选地，所述关键点包括至少包括左眼中心点、右眼中心点、鼻尖、左嘴角点及右嘴角点这五者中的一者，且所述稠密点不包括所述关键点。

此外，为实现上述目的，本发明还提供一种基于面部特征点的单样本人脸识别系统，包括：

获取模块，用于获取待识别人脸图像；

采集模块，用于采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

提取模块，用于提取所述特征点的特征向量；

初始化模块，用于初始化所述特征点的权重及第一投影矩阵；

计算模块，用于计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

判断模块，用于判断是否更新所述特征点的权重及第一投影矩阵；

更新模块，用于若是，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述协同表示误差更新所述特征点的权重及第一投影矩阵；

确定模块，用于若否，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

优选地，所述系统还包括：

第一创建模块，用于创建人脸变化字典；

第二创建模块，用于创建查询字典；

计算模块，用于根据所述人脸变换字典及所述查询字典计算第二投影矩阵。

本发明通过获取待识别人脸图像，采集待识别人脸图像中的特征点，特征点包括关键点和稠密点，以各特征点为中心提取局部区域并提取特征点的特征向量，初始化特征点的权重及第一投影矩阵，计算特征点的特征向量的加权协同表示，以获取特征点的特征向量的表示系数，在根据表示系数计算出特征点的特征向量的协同表示误差后，根据特征点的特征向量的表示误差更新权重值及第一投影矩阵，并根据权重最终值、第一投影矩阵最终值及特征点的特征向量确定待识别人脸图像的身份ID。由于该待识别人脸图像是基于采集到的特征点进行局部区域划分的，并且包括了具有高鉴别能力的局部区域(如眼睛、鼻子、嘴巴)，从而提高了算法的识别能力。本发明赋给每个特征点一个权重，对每个特征点的特征向量进行局部协同表示，算法自动减少表示残差大的特征点的权重，增加表示残差小的特征点的权重，最后综合各所有特征点的特征向量的表示残差确定待识别人脸图像的身份。因此增加了算法的鲁棒性，提高了基于面部特征点的单样本人脸识别率，并减小了基于面部特征点的单样本人脸识别时的计算复杂度。

附图说明

图1为本发明基于面部特征点的单样本人脸识别的第一实施例的流程示意图；

图2为本发明基于面部特征点的单样本人脸识别方法的第二实施例的流程示意图；

图3为本发明基于面部特征点的单样本人脸识别方法的第三实施例中创建人脸变化字典的细化流程示意图；

图4为本发明基于面部特征点的单样本人脸识别方法的第四实施例中创建查询字典的细化流程示意图；

图5为本发明基于面部特征点的单样本人脸识别系统的第一实施例的功能模块示意图；

图6为本发明基于面部特征点的单样本人脸识别系统的第二实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于上述问题，本发明提供一种基于面部特征点的单样本人脸识别方法。

参照图1，图1为本发明基于面部特征点的单样本人脸识别方法的第一实施例的流程示意图。

在本实施例中，该基于面部特征点的单样本人脸识别方法包括：

步骤S10，获取待识别人脸图像；

在本实施例中，在人脸识别设备或者人脸识别系统输入一张待识别的人脸图像，该待识别的人脸图像可以是标准的人脸图像，如电子护照人脸图像及驾驶证人脸图像，或者是非标准的人脸图像，如不同光照变化的人脸图像、不同表情变化的人脸图像及不同姿态变化的人脸图像。

步骤S20，采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

在获取到所述待识别的人脸图像后，利用人脸特征点检测器检测该待识别的人脸图像，以获取到该待识别的人脸图像上的关键点，该关键点包括5个点，分别为左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点及嘴巴右角点。继续在该待识别的人脸图像上采集除该关键点之外的稠密点，该稠密点有S个点，具体采集方法为：S＝a×a，其中，a＝(L÷d)，该L是图像分辨率，该d是相邻两特征点之间的距离，可以采集得到a行a列个稠密特征点。具体第f(f＝1,2,...,a)行第g列(g＝1,2,...,a)的特征点坐标为最终，可以在该待识别的人脸图像上共采集K＝5+S个特征点。

步骤S30，提取所述特征点的特征向量；

在获取到所述待识别的人脸图像的K个特征点后，提取每个特征点的特征向量。具体提取方法为：以该K个特征点中每一个特征点为中心，提取面积大小为d×d的局部区域，将该d×d的局部区域的像素值按列排列，组成d²维的特征向量，并对该d²维的特征向量按照l₂范数进行归一化。

步骤S40，初始化所述特征点的权重及第一投影矩阵；

标记所述待识别人脸图像的第k(k＝1,2,...,K)个特征点的权重值和第一投影矩阵分别为ω_k和P^k。初始化该权重及第一投影矩阵，即令ω_k＝1且P^k＝P^k1，该P^k1为第二投影矩阵。

步骤S50，计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

标记所述待识别人脸图像的第k(k＝1,2,...,K)个特征点的特征向量为y^k，计算所述第k个特征点的特征向量y^k的加权协同表示，具体的计算公式为：该G^k为第k个特征点的查询字典，该D^k为第k个特征点的人脸变化字典。进一步，可以求得所述第k个特征点的特征向量y^k的表示系数α^k＝ω_kP^k[G^kD^k]^Ty^k。

步骤S60，判断是否更新所述特征点的权重及第一投影矩阵；

在本实施例中，所述特征点权重ω_k和所述第一投影矩阵P^k需要多次迭代更新，标记迭代更新的最大次数为t_max，通常取t_max＝3，即需要对所述特征点权重ω_k和所述第一投影矩阵P^k迭代更新3次。

在获取到当前特征点权重ω_k和所述第一投影矩阵P^k更新的迭代次数后，判断当前更新的迭代次数是否小于或者等于t_max，以判断是否需要继续对所述特征点权重ω_k及第一投影矩阵P^k进行迭代更新。

步骤S70，若是，则根据特征点协同表示误差更新所述特征点的权重及第一投影矩阵；

在本实施实例中，在当前更新的迭代次数是否小于或者等于t_max时，则需要继续对所述特征点权重ω_k及第一投影矩阵P^k进行迭代更新，则具体更新方法为：计算所述待识别人脸图像的第k(k＝1，2，3...K)个特征点的特征向量y^k的协同表示误差计算所有K个特征点的特征向量的平均协同表示误差将所述协同表示误差e_k与所述平均协同表示误差在预设的条件下进行比对，并获取比对结果，根据该比对结果确定所述权重值ω_k和所述第一投影矩阵P^k更新后的值，如下表1所示，其中，γ＝0.5。

表1

该表1中，P^km(m＝1,2,3)为第二投影矩阵。

在将权重值ω_k和所述第一投影矩阵P^k的值更新后，返回步骤S50，再次计算更新后的该特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数，并执行步骤S60，再次判断是否更新所述特征点的权重及第一投影矩阵，直到达到特征点权重ω_k和所述第一投影矩阵迭代更新的最大次数为t_max为止。

步骤S80，若否，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

当确定特征点权重ω_k和所述第一投影矩阵迭代更新的最大次数为t_max后，根据所述权重ω_k，所述第一投影矩阵P^k和所述特征向量y^k，确定所述待识别人脸图像的身份ID。具体方法为：所述特征向量y^k的表示系数α^k＝ω_kP^k[G^kD^k]^Ty^k，并且α^k可写为α^k＝[ρ^k；β^k]，其中ρ^k为所述特征向量y^k与所述第k个查询字典G^k对应的表示系数，β^k为所述特征向量y^k与所述第k个人脸变换字典D^k对应的表示系数。ρ^k又可以写为ρ^k＝[ρ_1k,ρ_2k,...,ρ_Jk]，其中ρ_jk(j＝1,2,..,J)为所述特征向量y^k与查询数据库中存储的第j个人的人脸图像的第k个特征点的特征向量g_jk对应的表示系数。根据如下公式确定待识别人脸图像的身份ID：

下面通过一个具体的实施例来说明上述算法的简便性是如何实现的。

查询字典是基于人脸数据库中的标准数据库建立的，将AR数据库中第一期采集得到数据，标记此数据为ARS1，ARS1中包含100个人，每个人13张人脸图像。其中，人脸变换字典的创建是选取ARS1中的第80-100个人，对于每个人，第1张图像为参考图像，第2-13张图像为变化图像。查询字典的创建是选取ARS1中第1-80个人的第1张图像。

输入待识别人脸图像后，选取ARS1中的第1-80个人的第2-13张图像作为待识别图像。所有80个人的图像分为4组：第1组为光照组(选取每个人的第5-7张图像)，第2组为表情组(选取每个人的第2-4张图像)，第3组为遮挡组(选取每个人的第8、11张图像)，第4组为光照遮挡组(选取每个人的第9、10、12、13张图像)。

现有技术对人脸识别的方法有两个，包括ESRC的人脸识别方法及LGR的人脸识别方法。该ESRC的人脸识别方法与本发明的相同点在于，假设不同身份的人共享了人脸在不同条件下的变化，这种变化称为人脸变化，并从另一个和查询数据库不相关的人脸数据集中构造一个人脸变化字典，用这个人脸变化去弥补单样本人脸识别时查询数据库表示能力不足的缺点；不同点在于，该ESRC的人脸识别方法用整体人脸图像作为特征向量，鲁棒性比较差，并且采用了稀疏表示的算法，计算复杂度高。该LGR的人脸识别方法与本发明的相同点在于，通过将待识别人脸图像划分成多个小区域，每个小区域用类似于协同表示的算法进行协同表示，再根据重建残差推断出最终的该待测人脸图像对应的身份ID；不同点在于，该LGR的人脸识别方法是将该待测人脸图像作为整体图像按照行和列均等的划分为多个小区域，并且忽略了对人脸某些高鉴别能力的局部部位(如眼睛、鼻子、嘴巴)的利用；另外该LGR的人脸识别方法需要多次对矩阵求逆，而矩阵求逆运算复杂度高，则导致了识别时效率低下。在同样的实验条件下，比较本发明与ESRC的人脸识别方法及LGR的人脸识别方法的识别精度，得到的结果如表1所示；比较本发明与LGR的人脸识别方法所花费的识别时间，得到的结果如表2所示，其中，表2表示为同一台计算机上平均一幅人脸图像的识别时间。

表2识别精度比较

表3识别时间(秒)比较

本实施例通过获取待识别人脸图像，采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点，以各所述特征点为中心提取局部区域并提取所述特征点的特征向量，初始化所述特征点的权重及第一投影矩阵，计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，根据所述特征点的特征向量的表示误差更新所述权重值及所述第一投影矩阵，并根据所述权重最终值、所述第一投影矩阵最终值及所述特征点的特征向量确定所述待识别人脸图像的身份ID。由于该待识别人脸图像是基于采集到的特征点进行局部区域划分的，并且包括了具有高鉴别能力的局部区域(如眼睛、鼻子、嘴巴)，从而提高了算法的识别能力。本发明赋给每个特征点一个权重，对每个特征点的特征向量进行局部协同表示，算法自动减少表示残差大的特征点的权重，增加表示残差小的特征点的权重，最后综合各所有特征点的特征向量的表示残差确定待识别人脸图像的身份。因此增加了算法的鲁棒性，提高了人脸识别率，并减小了人脸识别时的计算复杂度。

进一步的，基于第一实施例，提出本发明的第二实施例，在本实施例中，参照图2，所述步骤S10之前还包括：

步骤S90，创建人脸变化字典；

用广义训练集创建人脸变化字典D^k，具体的创建公式为：D^k＝[D_1k,D_2k,...,D_Qk]；其中，k表示第k个特征点，Q表示该广义训练集中存储的人的个数；

在本实施例中，广义训练集可以选用AR数据库或者multi-PIE数据库。该数据库中存储的人脸图像是在实验室环境下拍摄得到的，该数据库中存储的人脸图像中包含各种不同的光照下拍摄的人脸图像、不同表情变化下拍摄的人脸图像及不同姿态变化下拍摄的人脸图像。其中，在该数据库的每个人的人脸图像中存在一张参考图像，即标准光照下中性表情的正脸图像，该数据库中其他的人脸图像被称为变化图像。

标记N为该数据库中每个人的变化图像个数，人脸变化字典的建立步骤为：

对于该数据库中的每一张人脸图像，采集K个特征点并提取每个特征点的特征向量。具体方法为：利用人脸特征点检测器检测该数据库中某个人脸图像，以获取到该数据库中某个人脸图像上的5个关键点，该关键点包括左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点及嘴巴右角点。继续在该待识别的人脸图像上采集除该关键点之外的S个稠密点，该稠密点采集方法为：S＝a×a，其中，a＝(L÷d)，该L是图像分辨率，该d是相邻两特征点之间的距离，可以采集得到a行a列个稠密特征点。具体第f(f＝1,2,...,a)行第g列(g＝1,2,...,a)的特征点坐标为最终，可以在该数据库中的每个人脸图像上共采集K＝5+S个特征点。以该K个特征点中每一个特征点为中心，提取面积大小为d×d的局部区域，将该d×d的局部区域的像素值按列排列，组成d²维的特征向量，并对该d²维的特征向量按照l₂范数进行归一化，得到每个特征点的特征向量。

标记第q(q＝1，2，3，4…Q)个人第k(k＝1，2，3，4…K)个特征点的特征向量为标记第q(q＝1,2,3,4…Q)个人第n(n＝1,2,3,4…N)个变化图像的第k(k＝1,2,3,4…K)个特征点的特征向量为对于该数据库中的每个人，分别构建K个人脸变化子字典，第q(q＝1,2,3,4…Q)个人的第k(k＝1,2,3,4…K)个人脸变化子字典为该D_qk的构建公式为将该数据库中所有Q人的第k(k＝1,2,3,4…K)个类内变化子字典按列排列，组成所述人脸变化字典D^k的构建公式为D^k＝[D_1k,D_2k,...,D_Qk]。

步骤S100，创建查询字典；

根据查询数据库来查询字典，查询数据库为待识别人员组成的数据集，并且数据集中的每个人只包含一幅人脸图像，例如，要识别出A、B这两个人，则先分别收集该A、B两个人的一张人脸图像，组成一个图像集，即查询数据库。查询字典的创建公式为：G^k＝[g_1k,g_2k,...,g_Jk]；其中，J表示查询数据库中存储的人的个数；

查询字典建立步骤为：

对于该查询数据库中的每一张人脸图像，采集K个特征点并提取每个特征点的特征向量。具体方法为：利用人脸特征点检测器检测该查询数据库中某个人脸图像，以获取到该查询数据库中某个人脸图像上的5个关键点，该关键点包括左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点及嘴巴右角点。继续在该待识别的人脸图像上采集除该关键点之外的S个稠密点，该稠密点采集方法为：S＝a×a，其中，a＝(L÷d)，该L是图像分辨率，该d是相邻两特征点之间的距离，可以采集得到a行a列个稠密特征点。具体第f(f＝1，2，...，a)行第g列(g＝1,2,...,a)的特征点坐标为最终，可以在查询数据库中的每个人脸图像上共采集K＝5+S个特征点。以该K个特征点中每一个特征点为中心，提取面积大小为d×d的局部区域，将该d×d的局部区域的像素值按列排列，组成d²维的特征向量，并对该d²维的特征向量按照l₂范数进行归一化，得到每个特征点的特征向量。

标记所述K个特征点中第k个特征点的特征向量为构造K个查询字典，标记第k(k＝1,2,3,4…K)个查询字典为G^k的构造公式为G^k＝[g_1k,g_2k,...,g_Jk]。

步骤S200，根据所述人脸变换字典及所述查询字典计算第二投影矩阵。

根据所述人脸变换字典D^k和所述查询字典G^k计算特征点的第二投影矩阵的具体方法为：根据所述人脸变换字典D^k及所述查询字典G^k计算3*K个第二投影矩阵，分别对应于K个特征点，即每个特征点处有3个第二投影矩阵。第k(k＝1,2,3,4…K)个特征点处的第m(m＝1,2,3)个第二投影矩阵P^km∈R^{(J+QN)×(J+QN)}的计算公式为P^km＝(ω_km[G^kD^k]^T[G^kD^k]+0.005I)^-1，其中I为单位矩阵，ω_k1＝1，ω_k2＝0.1，ω_k3＝0.55。第一投影矩阵P^k与第二投影矩阵P^km阵关联。

需要说明的是，将每个特征点处3个第二投影矩阵计算出来后，保存在数据库中，当更新该待识别人脸图像上特征点的第一投影矩阵时，通过函数关联关系将已存储的某个预选的第二投影矩阵直接赋给待识别人脸图像上特征点的第一投影矩阵，而不用再次重新计算该待识别人脸图像上特征点的第一投影矩阵。

本实施例通过创建人脸变换字典及查询字典，并根据人脸变换字典和查询字典计算特征点的第二投影矩阵。查询字典和人脸变化字典用于第一实施例中对待识别人脸图像进行加权协同表示。由于投影矩阵的计算涉及到非常耗时的矩阵求逆运算，而本实施例中，对于每个特征点：事先离线计算好3个预选的第二投影矩阵，在第一实施例的识别阶段，从这3个预选第二投影矩阵中选出一个直接赋值给待识别人脸图像的特征点的第一投影矩阵，不需要重新计算该特征点的第一投影矩阵，从而大大减少在线识别时的计算复杂度，提高了基于面部特征点的单样本人脸识别的效率。

进一步的，基于第二实施例，提出本发明的第三实施例，在本实施例中，参照图3，所述步骤S90包括：

步骤S91，基于标准的人脸图像数据库创建各人脸图像对应的人脸变化子字典，其中第q人第k个特征点对应的人脸变化子字典表示为：

其中，第q(q＝1,2,3,4…Q)个人第k(k＝1,2,3,4…K)个特征点的特征向量为第q(q＝1,2,3,4…Q)个人第n(n＝1,2,3,4…N)个变化图像的第k个特征点的特征向量为

步骤S92，将各人脸图像第k个特征点对应的人脸变化子字典按列排列，创建所述人脸变化字典，其中所述人脸变化字典表示为：

D^k＝[D_1k,D_2k,...,D_Qk]

其中，Q表示所述标准数据库中存储的人的个数。

进一步的，基于第二实施例，提出本发明的第四实施例，在本实施例中，参照图4，所述步骤S100包括：

步骤S101，计算所述查询字典中每个人脸图像第k个特征点的特征向量，其中第j个人脸图像第k个特征点的特征向量表示为：

$g_{jk}\∈R^{d^2}$

步骤S102，将各人脸图像第k个特征点的特征向量按列排列，创建所述第k个特征点的特征向量的查询字典，其中所述查询字典表示为：

G^k＝[g_1k,g_2k,...,g_Jk]

其中，J表示查询数据库中存储的人的个数。

本发明进一步提供一种基于面部特征点的单样本基于面部特征点的单样本人脸识别系统。

参照图5，图5为本发明基于面部特征点的单样本人脸识别系统第一实施例的功能模块示意图。

在本实施例中，该系统包括：获取模块10、采集模块20、提取模块30、初始化模块40、计算模块50、判断模块60、更新模块70、确定模块80。

所述获取模块10，用于获取待识别人脸图像；

所述采集模块20，用于采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

所述提取模块30，用于提取所述特征点的特征向量；

所述初始化模块40，用于初始化所述特征点的权重及第一投影矩阵；

所述计算模块50，用于计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

所述判断模块60，用于判断是否更新所述特征点的权重及第一投影矩阵；

所述更新模块70，用于若是，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述协同表示误差更新所述特征点的权重及第一投影矩阵；

所述确定模块80，用于若否，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

在具体实现过程中，基于面部特征点的单样本人脸识别系统中的各个模块的功能与图1中各方法步骤中的操作相对应。有关这些操作步骤的具体内容已经在前文做了详细的描述，因此此处不再赘述。

进一步的，基于第一实施例，提出本发明基于面部特征点的单样本人脸识别系统第二实施例，参照图6，在本实施例中，所述系统还包括：第一创建模块90、第二创建模块100、计算模块200。

所述第一创建模块90，用于创建人脸变化字典；

所述第二创建模块100，用于创建查询字典；

所述计算模块200，用于根据所述人脸变换字典及所述查询字典计算第二投影矩阵。

在具体实现过程中，基于面部特征点的单样本人脸识别系统中的各个模块的功能与图2中各方法步骤中的操作相对应。有关这些操作步骤的具体内容已经在前文做了详细的描述，因此此处不再赘述。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于面部特征点的单样本人脸识别方法，其特征在于，所述基于面部特征点的单样本人脸识别方法包括以下步骤：

S10，获取待识别人脸图像；

S20，采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

S30，提取所述特征点的特征向量；

S40，初始化所述特征点的权重及第一投影矩阵；

S50，计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

S60，判断是否更新所述特征点的权重及第一投影矩阵；

S70，若是，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述协同表示误差更新所述特征点的权重及第一投影矩阵，返回步骤S50；

S80，若否，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

2.如权利要求1所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述获取待识别人脸图像的步骤之前还包括：

创建人脸变化字典；

创建查询字典；

根据所述人脸变化字典及所述查询字典计算第二投影矩阵，所述第二投影矩阵与所述第一投影矩阵关联。

3.如权利要求2所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述创建人脸变化字典的步骤包括：

基于标准的人脸图像数据库创建各人脸图像对应的人脸变化子字典，其中第q个人第k个特征点对应的人脸变化子字典表示为：

$D_{qk}=\[v_{1k}^q-r_k^q,v_{2k}^q-r_k^q,...,v_{Nk}^q-r_k^q\]$

其中，第q(q＝1,2,3,4…Q)个人第k(k＝1,2,3,4…K)个特征点的特征向量为第q(q＝1,2,3,4…Q)个人第n(n＝1,2,3,4…N)个变化图像的第k个特征点的特征向量为

将各人脸图像第k个特征点对应的人脸变化子字典按列排列，创建所述人脸变化字典，其中所述人脸变化字典表示为：

D^k＝[D_1k,D_2k,...,D_Qk]

其中，Q表示所述标准数据库中存储的人的个数。

4.如权利要求2所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述创建查询字典的步骤包括：

计算所述查询字典中每个人脸图像第k个特征点的特征向量，其中第j个人脸图像第k个特征点的特征向量表示为：

$g_{jk}\∈R^{d^2}$

将各人脸图像第k个特征点的特征向量按列排列，创建所述第k个特征点的特征向量的查询字典，其中所述查询字典表示为：

G^k＝[g_1k,g_2k,...,g_Jk]

其中，J表示查询数据库中存储的人的个数。

5.如权利要求1或2所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述加权协同表示的计算公式为：

${\min }_{{\mathrm{\α}}^k}{\mathrm{\Σ}}_{k=1}^K\left(\right|\left|\sqrt{{\mathrm{\ω}}_k}\right(y^k-\[G^k{D}^k\]{\mathrm{\α}}^k\left)\right|{|}_2^2+\mathrm{\λ}\left|\right|{\mathrm{\α}}^k\left|{|}_2^2\right)$

其中，y^k为待识别人脸图像的第k(k＝1,2,3...K)个特征点的特征向量，所述特征向量y^k的表示系数为α^k＝ω_kP^k[G^kD^k]^Ty^k，该G^k为第k个特征点的查询字典，该D^k为第k个特征点的人脸变化字典，ω_k为第k个特征点的权重，λ＝0.5。

6.如权利要求1所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述协同表示误差的计算公式为：

$e_k=\left|\right|(y^k-\[G^k{D}^k\]{\mathrm{\α}}^k)|{|}_2^2$

其中，y^k为待识别人脸图像的第k(k＝1,2,3...K)个特征点的特征向量，所述特征向量y^k的表示系数α^k＝ω_kP^k[G^kD^k]^Ty^k，该G^k为第k个特征点的查询字典，该D^k为第k个特征点的人脸变化字典。

7.如权利要求1所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述待识别人脸图像的身份ID的计算公式为：

$ID={\mathrm{argmin}}_j\left\{{\mathrm{\Σ}}_{k=1}^K{\mathrm{\ω}}_k\right||y^k-g_{jk}{\mathrm{\ρ}}_{jk}-D^k{\mathrm{\β}}^k|{|}_2^2/\left|\right|{\mathrm{\ρ}}_{jk};{\mathrm{\β}}^k\left|{|}_2^2\right\}$

其中，ρ^k为所述特征向量y^k与所述第k个查询字典G^k对应的表示系数，β^k为所述特征向量y^k与所述第k个人脸变换字典D^k对应的表示系数，且ρ^k又可表示为ρ^k＝[ρ_1k,ρ_2k,...,ρ_Jk]，其中ρ_jk(j＝1,2,..,J)为所述特征向量y^k为查询数据库中存储的第j个人的人脸图像的第k个特征点的特征向量g_jk对应的表示系数。

8.如权利要求1所述的基于面部特征点的单样本人脸识别方法，其特征在于，所述关键点包括至少包括左眼中心点、右眼中心点、鼻尖、左嘴角点及右嘴角点这五者中的一者，且所述稠密点不包括所述关键点。

9.一种基于面部特征点的单样本人脸识别系统，其特征在于，所述基于面部特征点的单样本人脸识别系统包括：

获取模块，用于获取待识别人脸图像；

采集模块，用于采集所述待识别人脸图像中的特征点，所述特征点包括关键点和稠密点；

提取模块，用于提取所述特征点的特征向量；

初始化模块，用于初始化所述特征点的权重及第一投影矩阵；

计算模块，用于计算所述特征点的特征向量的加权协同表示，以获取所述特征点的特征向量的表示系数；

判断模块，用于判断是否更新所述特征点的权重及第一投影矩阵；

更新模块，用于若是，在根据所述表示系数计算出所述特征点的特征向量的协同表示误差后，则根据所述协同表示误差更新所述特征点的权重及第一投影矩阵；

确定模块，用于若否，则根据所述权重、所述第一投影矩阵及所述特征点的特征向量确定所述待识别人脸图像的身份ID。

10.如权利要求9所述的基于面部特征点的单样本人脸识别系统，其特征在于，所述系统还包括：

第一创建模块，用于创建人脸变化字典；

第二创建模块，用于创建查询字典；

计算模块，用于根据所述人脸变化字典及所述查询字典计算第二投影矩阵。