CN104881657A

CN104881657A - 侧脸识别方法、侧脸构建方法及系统

Info

Publication number: CN104881657A
Application number: CN201510309716.4A
Authority: CN
Inventors: 李聪颖
Original assignee: Weimeng Chuangke Network Technology China Co Ltd
Current assignee: Weimeng Chuangke Network Technology China Co Ltd
Priority date: 2015-06-08
Filing date: 2015-06-08
Publication date: 2015-09-02
Anticipated expiration: 2035-06-08
Also published as: CN104881657B

Abstract

本申请实施例公开了一种侧脸识别方法，包括：根据样本集合中至少两组不同角度脸，得到各组的平均脸；基于各组的平均脸及第一真实脸，得到特征向量；通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；判断第二角度人脸是否与所述识别目标脸相符，若是则得出所述第一真实脸与所述识别目标脸相符。利用本申请中的实施例，利于更加准确的判断第一真实脸是否与所述识别目标脸相符。此外，本申请实施例还公开了一种侧脸构建方法及系统，侧脸识别系统。

Description

侧脸识别方法、侧脸构建方法及系统

技术领域

本申请涉及人脸识别技术领域，特别涉及一种侧脸识别方法、侧脸构建方法及系统。

背景技术

随着人脸识别技术快速发展，人脸识别被应用到包括生活、安全监控等很多方面。

除了正脸识别，还发展出侧脸识别的技术，以应对缺乏正脸、仅拍摄到侧脸的情况。现有技术中一种侧脸识别的方法如图1所示，包括如下步骤：

步骤A1：对包含一定样本的脸部图像(以下将关于脸的图像简称为脸、侧脸、平均脸等)进行PDM求解，得到包括固定点分布模型(Point DistributionModel，PDM)的平均脸。本步骤采用的样本一般包括较大数量的多个人的人脸。相应地，求解得到的包括固定点分布模型的平均脸，可以包括正脸的平均脸。

步骤A2：对所述平均脸通过主成分识别(Principal Component Analysis，PCA)和反向构建，获得与识别目标脸第一角度一致的第一PDM虚拟脸。对所述平均脸进行PCA处理，可以识别平均脸向量中影响侧脸角度的主要成分(一般为向量组)；通过对识别的具有不同角度的主成分进行反向构建，可以进一步得到不同角度的侧脸的PDM虚拟脸。识别目标脸一般为具有一定角度的侧脸，例如这里提到的第一角度。这样，可以从得到的不同角度的侧脸的PDM虚拟脸中得到与目标识别脸角度一致的第一PDM虚拟脸，即第一角度的第一PDM虚拟脸。

步骤A3：利用Delaunay三角剖析与仿射变换将第一真实脸的面部纹理特征匹配至第一PDM虚拟脸，从而获得第一真实脸对应的第一角度人脸。第一真实脸例如是数据库中存有的匹配对象，一般与目标识别脸的角度不同，例如为正脸图像或与目标识别脸角度不同的侧脸，目的是识别该匹配对象是否与拍摄到的目标识别脸是否为同一人。可以对第一真实脸进行Delaunay三角剖析，得到的第一真实脸上划分出的每一小三角形区域的颜色及纹理之类的特征；通过仿射变换，可以将该小三角形区域的颜色及纹理之类的特征复制到所述第一角度的第一PDM虚拟脸的对应位置上，从而使得处理结果的第一PDM虚拟脸具有与第一真实脸颜色、纹理等特征对应相同的且具有一定角度的第一角度人脸。

步骤A4：基于纹理匹配的人脸识别技术判断第一角度人脸是否与识别目标脸相符。在具有了包括与第一真实脸颜色、纹理等特征相同且具有与识别目标脸角度相同的第一角度人脸的基础上，可以通过已有的基于纹理匹配的人脸识别技术识别出第一角度人脸是否与目标识别脸相符。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

现有技术中，训练的对象是包含一定样本的脸，例如400个不同人的脸，这些样本脸一般是多个不同的人的脸；而且，不同人的脸可能脸部的长度特征并不相同，例如胖、瘦、长、短情况不同，具体例如鼻子、眼睛等器官位置和大小等的不同。这样，得到的将是包括固定点分布模型的平均脸，即综合了多个不同样本的人脸之后的平均长度特征的脸。其脸部长度特征也是平均值，例如具有平均的脸部胖、瘦、长、短和平均的眼睛、鼻子等器官的位置和大小。进而，通过PCA和反向构建并将第一真实脸的颜色、纹理等特征通过Delaunay三角剖析与仿射变换到第一PDM虚拟脸上，得到的也是平均脸的第一角度人脸，并不能准确的反映第一真实脸的真实脸部长度特征，即不能准确的反映第一真实脸在第一角度下的第一角度人脸。这样，给判断第一角度人脸是否与识别目标脸相符的也会带来较大的误差。

发明内容

本申请实施例的目的是提供一种侧脸识别方法、侧脸构建方法及系统，以提高侧脸识别的准确度和构建的侧脸的准确度。

为解决上述技术问题，本申请实施例提供一种侧脸识别方法、侧脸构建方法及系统是这样实现的：

一种侧脸识别方法，包括：

根据样本集合中的至少两组不同角度脸，得到各组的平均脸；

基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；

判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

一种侧脸构建方法，包括：

将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

一种侧脸识别系统，包括：

求解单元，用于根据样本集合中的至少两组不同角度脸，得到各组的平均脸；

分析单元，用于基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

反向构建单元，用于通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

匹配单元，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；

判断单元，用于判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

一种侧脸构建系统，包括：

匹配单元，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

由以上本申请实施例提供的技术方案可见，本申请实施例通过上述方式，特别是对各组的平均脸及第一真实脸进行主成分分析，得到影响脸的角度的特征向量中包含有很多第一真实脸的特征，例如第一真实脸的轮廓以及眼睛、鼻子等器官的位置和大小之类的特征；这样，经过主成分分析后，将保留这样的特征，即获得与识别目标脸具有的第一角度相一致的第二虚拟脸的同时，保持与第一真实脸的特征，例如第一真实脸的轮廓以及眼睛、鼻子等器官的位置和大小之类的特征。从而，在后续的判断过程中，利于更加准确的判断第二角度人脸是否与所述识别目标脸相符，进而得到第一真实脸是否与所述识别目标脸相符。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请侧脸识别方法一个实施例的流程图；

图2为本申请侧脸识别方法中固定点分布模型的脸的示意图；

图3a-3c为通过固定增减特征向量中向量的特征值得到的不同角度的脸示意图；

图4为本申请实施例中利用Delaunay三角剖析的具体方式原理图；

图5为本申请实施例中利用Delaunay三角剖析与仿射变换将第一真实脸的面部纹理特征匹配至第二虚拟脸的效果示意图：

图6为本申请实施例中侧脸识别方法一个实施例的流程图；

图7为本申请实施例中侧脸构建方法一个实施例的流程图；

图8为本申请实施例中侧脸构建方法一个实施例的流程图；

图9为本申请实施例中侧脸识别系统一个实施例的模块图；

图10为本申请实施例中侧脸识别系统一个实施例的模块图。

具体实施方式

本申请实施例提供一种侧脸识别方法、侧脸构建方法及系统。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

以下结合附图1说明本申请一种侧脸识别方法的流程：

S100：根据样本集合中的一组正脸和预设数量的组的侧脸，得到各组的平均脸。

所述样本中可以包括一组正脸，并可以包括多组预设不同角度的脸，每一角度的组中包括预设数量的脸。如果仅有正脸，而没有侧脸，则后续进行主成分分析时将无法得到侧脸角度的特征向量，从而无法实现S120中的反向构建。这里，所述预设数量的组的侧脸中，至少包括一组第一预设角度的侧脸；当然，在此之上还可以包括一组第二预设角度的侧脸，一组第三预设角度的侧脸…。

具体的，所述对包含一定样本的脸进行计算，可以是对包含一定样本的脸进行PDM求解；相应地，得到PDM平均脸。

所述样本中可以包括预设不同角度的脸，每一预设角度下包括预设数量的脸。作为一个例子加以说明，例如为7组的情况，选择总量为280张脸的样本。其中，正脸(设为0°)样本为40张，左侧15°(设为-15°)脸样本为40张，左侧30°(设为-30°)脸都样本为40张，左侧45°(设为-45°)脸样本为40张，右侧15°(设为+15°)脸样本为40张，右侧30°(设为+30°)脸都样本为40张，右侧45°(设为+45°)脸样本为40张。

以下以对各组均进行PDM求解处理加以说明。本领域技术人员可以知道，为了能够处理不同的多个角度的目标识别脸，最好在S100中包括多个角度的组的样本分别进行PDM求解，而且包括的角度越多越好。但是，考虑到计算量不至于太大和对最终结果不会产生精确度的影响，或者说是误差控制在可接受范围内以使得侧脸识别的效果达到一个较高比例，可以选择几个典型的角度作为不同的组。例如上面-45°，-30°，-15°，0°，+15°，+30°，+45°这样的7组，每组40个样本。

可以通过对每组角度的脸进行PDM(Point Distribution Model)求解，得到该角度的包括固定点分布模型的平均脸。这里的样本集合后续也称为训练集。

以下以对正脸的一组进行PDM求解进行说明。其它角度的组，求解方式类似，不再赘述。

在PDM求解中，外形相似的物体，例如多张人脸的几何形状可以通过若干关键特征点(landmarks)的坐标依次排列形成一个形状向量来表示。通过PDM求解，可以根据人脸特征而标记出一些特征点的集合。该固定点分布模型的脸可以如图2中所示，诸如包括68个特征点分布的点分布模型。本步骤采用的样本一般包括一定数量的脸。相应地，求解得到的包括固定点分布模型的平均脸，可以包括正脸的平均脸。

具体的，可以采用主动形状模型(Active Shape Model，ASM)来进行PDM求解。ASM是一种基于点分布模型(Point Distribution Model,PDM)的算法。

本步骤中利用ASM算法，具体可以包括：

S101：对于每个样本脸，记录其k个关键特征点(landmarks)。

例如，可以通过设置的程序，使得计算机可以接收用户的点击操作。所述点击操作中的每次点击可以是针对样本脸图像中关键点的点击。通过对多个样本脸的点击操作的记录，可以将点击操作的位置标记为关键特征点。

当然，基于人脸图像中人脸轮廓和五官边缘上图像像素与周边图像像素的颜色(如RGB值)差异，通过图像分析的方式可以识别出每个样本中人脸的边缘及明显五官的边界，并按照预定间隔在识别的轮廓线上标记点，也可以自动完成S101中的记录工作。在此不再赘述。

对于样本，例如图2中的68个关键特征点中的任一关键特征点，可以分别标记其坐标为：P_k＝(x_k,y_k)

其中，P_k表示第k个点的坐标，x_k表示第k个点的横坐标，y_k表示第k个点的纵坐标。

则对于第i个样本脸，其坐标可以记为：其中

S102：基于记录的关键特征点构建每个样本脸的形状向量。

对于n个样本的脸来说，每个样本的形状向量可以构建为如下：

a_{1} = (x_{1}^{i}, y_{1}^{i}, x_{2}^{i}, y_{2}^{i}, \cdot \cdot \cdot, x_{k}^{i}, y_{k}^{i}), i = 1,2, \cdot \cdot \cdot, n

式(1)

其中，n可以表示样本脸的个数。

这样，对于n个样本脸可以构建n个形状向量。

S103：对上述样本脸的形状向量进行归一化处理。

该步骤的目的在于对前面S101中得到的关键特征点进行归一化处理，具体的，可以是对齐操作，从而消除不同样本脸图像中人脸由于不同角度、距离远近或姿态变化等外界因素干扰，从而使得最终建立的点分布模型更加有效。

从这里的描述也可知，归一化处理目的是排除干扰以使结果更准确；也就是说，对于基本对准的样本脸，也可以不需进行归一化处理。这里的S103并不是限定的。

一般地，S103种可以采用Procrustes方法进行归一化处理。通过Procrustes方法，可以将样本脸图片上的关键特征点进行适当平移、旋转、缩放之类的变化，在不改变点分布模型的基础上对齐到同一个点分布模型，从而改变获取的原始数据杂乱无章的状态，减少分形状因素的干扰。

利用Procrustes方法对π＝{a₁,a₂,…,a_n}这样的训练集进行对齐，可以对其中的每个a_i计算的如下参数：旋转角度θ_i，缩放尺度s_i，水平方向平移量垂直方向平移量

令M(s_i,θ_i)[a_i]表示对a_i做旋转角度为θ_i、缩放尺度为s_i的变换。

a_i向a_l对齐的过程即是求解一组值θ_i、s_i、X_xi、X_yi，使得的值最小的过程。

可以设

Z_{i} = a_{i} - M (s_{i}, θ_{i}) [a_{i}] - [X_{x_{i}}, X_{y_{i}}, \cdot \cdot \cdot,]

式(2)

这里，W为对角矩阵，可以通过以下方式得到：

令R_kl表示一副图像中第k个点和第1个点之间的距离，令表示整个训练集中不同图像之间R_kl的方差，通过计算从而可以得到：

式(3)

通过上述Procrustes算法求解变换矩阵，可以得到对齐后的人脸向量。利用该算法，可以进行如下操作：

(A1)将训练集中的所有人脸模型对齐到第1个人脸模型；

(A2)计算平均人脸模型

例如，

\overset{&OverBar;}{α} = \frac{1}{n} Σ_{i = 1}^{n} a_{i}

式(4)

(A3)将所有人脸模型对齐到平均人脸模型

(A4)重复(A2)、(A3)直至结果收敛。

经过上述S101～S103以及(A1)～(A4)的处理，可以求解得到平均脸，即得到平均脸的向量。

如前所述，这里仅以正脸组举例说明。按照上述方式，类似的，可以对不同角度的侧脸组进行相应处理，这里不再赘述。

另外，如前所述，对于基本对准的样本脸，也可以不需进行归一化处理。因此，相应地，经过上述S101～S102和(A2)的处理，可以求解得到平均脸，即得到平均脸的向量。

S110：基于所述各组的平均脸与第一真实脸，得到影响脸的角度的特征向量。

如前所述，S100中可以得到样本脸中各组的平均脸的向量。第一真实脸，可以是数据库中待与拍摄到的目标识别脸进行匹配的脸的图像。一般的，第一真实脸与目标识别脸的角度不同，因此，按照现有技术无法直接进行匹配或者匹配效果不佳。这里，可以将各组的平均脸与第一真实脸一同进行主成分分析，得到影响脸的角度的特征向量。

这里的第一真实脸，为与平均脸向量相同维度的向量。例如，如图2中的68个关键特征点的例子，这里的目标识别脸也具有该68个关键特征点。

本步骤中，可以基于所述各组的平均脸及第一真实脸的PDM脸进行PCA中的算法来识别得到影响脸的角度的特征向量。

主成分分析的原理是将一个高维向量x，通过一个特殊的特征向量矩阵P，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。相应地，通过低维向量和特征向量矩阵P，可以基本重构出所对应的高维向量。在人脸识别中，特征向量矩阵P称为特征脸(eigenface)空间，因此其中的特征向量进行量化后可以看出人脸轮廓。

本步骤中，对所述各组的平均脸及第一真实脸进行主成分分析以得到影响脸的角度的特征向量，具体方式如下：

S111：基于所述各组的平均脸向量和第一真实脸向量计算得到协方差矩阵。

例如通过下式计算：

S = \frac{1}{s} Σ_{i = 1}^{s} {(b_{i} - \overset{&OverBar;}{β})}^{T} \cdot (b_{i} - \overset{&OverBar;}{β}))

式(5)

其中，S代表协方差矩阵。代表各组平均脸与第一真实脸的再次平均得到的平均脸，这里称为二次平均脸。b_i代表各组平均脸和第一真实脸；i＝1,…,s，s代表组的数量与第一真实脸的数量之和。

结合如前所述的例子，如果280张人脸图像分为了7组，将得到7个平均脸(相对于第二平均脸，这7个平均脸可以称为第一平均脸)，分别代表7组中每组的平均脸；如果是1个第一真实脸，则这时，i＝1,…8；b_i代表各组平均脸和第一真实脸。相应地，代表7组平均脸与第一真实脸的再次平均得到的平均脸。

S112：计算协方差矩阵的特征值并将其结果按照从大到小的顺序依次排序。

这样，可以得到λ₁，λ₂，…,λ_q，其中λ_i>0，i＝1,2,…,q。

S113：基于预设值选出所述排序结果中前n个对特征值总值影响最大的特征向量。

可以设置一个比例系数f_v，例如设置为90％，从而根据下式可以得到对人脸整体特征影响最大(影响总和达90％)的前t个特征向量c＝(c₁,c₂,…,c_t)：

\frac{Σ_{i = 1}^{t} λ_{i}}{Σ_{i = 1}^{q} λ_{s}} > f_{v} V_{T}

式(6)

其中，V_T是所有特征值之和，即：

V_T＝∑λ_i 式(7)

t一般明显小于固定点分布模型中关键特征点的数量。相应地，(c₁,c₂,…,c_t)代表了对角度影响最大的特征向量。而且，更重要的是，由于对所述各组平均脸及第一真实脸一同进行主成分分析，因此得到影响脸的角度的特征向量，包含有很多第一真实脸的特征，例如第一真实脸的轮廓以及眼睛、鼻子等器官的位置和大小之类的特征。

例如，比例系数f_v设置为90％时，得到特征向量c＝(c₁,c₂,c₃)。这样，这3个值c₁,c₂,c₃即代表最主要成分的向量。这样保留了90％的脸部特征，也就是说仅仅损失了一些次要信息。

例如，任何一个训练集中的形状向量a_i都可以表示为：

a_{i} \approx \overset{&OverBar;}{α} + Pc

式(8)

其中，P代表特征向量矩阵。该特征向量矩阵的列数可以根据主成分的数量而定，列中每个元素可以理解为原有向量的线性组合。该特征向量矩阵的第一列代表原始空间最重要的变化模式。该特征向量矩阵可以通过对训练集中的向量进行K-L变换(卡洛南-洛伊变换，Karhunen-Loeve)得到，这里不再赘述。

类似的，第一真实脸也可以表现为此形式。

结合本申请实施例，利用这个特征向量矩阵可以通过反向构建的方式得到不同角度的人脸。

相应地，对各组的平均脸及第一真实脸的PDM脸进行主成分分析的过程，包括如下：

S111'：基于各组的平均脸向量和第一真实脸的PDM脸向量计算得到协方差矩阵；

与S111不同的是，本步骤中可以基于第一真实脸的PDM脸向量进行相应的计算。具体计算方式与S111中类似，不再赘述。

S112'：计算协方差矩阵的特征值并将其结果按照从大到小的顺序依次排序；

S113'：基于预设值选出所述排序结果中前n个对特征值总值影响最大的构成特征向量。

上述S112'、S113'分别与前述S112、S113的过程类似，不再赘述。

S120：对S110中得到的所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸。

利用上述式(8)可以将S110中得到的所述特征向量进行反向构建得到高纬向量。以下，将式(8)作一个变形，以更清楚的显示这一点：

b = P^{T} (a_{i} - \overset{&OverBar;}{α})

式(9)

例如，通过调整特征向量b中某个向量对应的特征值，可以反向构建出不同姿势的PDM脸。

具体的，例如：

通过固定增减特征向量c中向量c₁的特征值，可以得到如图3a中的不同角度的脸；

通过固定增减特征向量c中向量c₂的特征值，可以得到如图3b中的不同角度的脸；

通过固定增减特征向量c中向量c₃的特征值，可以得到如图3c中的不同角度的脸。

通过上述结果可知，特征向量c中向量c₁与侧脸不同角度最相关。

这样，本步骤中可以通过以固定的间隔增减特征向量对应的特征值来反向构建PDM脸，从而可以得到与待识别样本最相似姿势的第二虚拟脸。具体的，可以通过比对反向构建的PDM脸中某两个点的距离与目标识别脸的PDM脸中对应两个点的距离各自所占比例来判断反向构建的PDM脸是否与目标识别脸的角度一致。例如，反向构建的PDM脸中第u个点与第v个点之间的距离与第u个点与第w个点之间的距离的比值，与目标识别脸的PDM脸中对应的第u个点与第v个点之间的距离与第u个点与第w个点之间的距离的比值相同，或者在预设比例之内，则可以判断两者角度相同。这里也可以是比较第二PDM脸与目标识别脸PDM脸的对应的欧氏距离，距离最小的，说明该第二PDM脸与目标识别脸的侧脸角度最接近；相应地，可以选择距离最小的第二PDM脸，从而作为后续步骤中纹理匹配的对象。类似的，可以通过比对反向构建的PDM脸中某三个点构成的三角形的面积与目标识别脸的PDM脸中对应三个点构成的三角形的面积来判断反向构建的PDM脸是否与目标识别脸的角度一致。侧脸角度的不同对所述三角形面积的影响明显大于反向构建脸与目标识别脸PDM脸的细节差异。因此，在合理预设范围内的差值可以判断为两者角度相同。还存在其它类似算法，在此不再赘述。

通过上述方式，可以获得与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸。

S130：将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

所述将第一真实脸的面部纹理特征匹配至第二虚拟脸，可以通过Delaunay三角剖析与仿射变换将第一真实脸的面部纹理特征匹配至第二虚拟脸。

图4示出了Delaunay三角剖析的具体方式原理图。例如，可以对第一真实脸标记与S100种样本脸相同的关键特征点，并以标记的关键特征点为基础进行三角剖析。通过三角剖析，可以将整个脸划分为多个互不重叠的三角形区域。可以知道的，第二虚拟脸也存在类似的三角剖析结果。

在三角剖析基础上，可以通过仿射变换将第一真实脸的面部纹理特征匹配至第二虚拟脸。具体的，可以将三角剖析后第一真实脸的每个互不重叠的三角形区域的纹理特征移至第二虚拟脸的对应三角形区域上。

经过上述处理，可以得到与第一真实脸对应的第二角度人脸。该第二角度人脸具有与第一真实脸相同的面部纹理特征，且与识别目标脸具有相同的第一角度，即相同的姿势。

如图5中所示的，例如第一行中的7张不同角度的脸，可以是在初始时仅中间的正脸是第一真实脸，而其它不同角度的脸为该第一真实脸的纹理特征匹配至S120反向构建的多个不同角度的第二虚拟脸上所得的结果。类似的，第二行、第三行、第四行也可以由初始的第一真实脸相应得到不同角度的对应第二虚拟脸。并且，由于S110中利用各组平均脸和第一真实脸共同进行主成分分析得到特征向量，结合S120进行反向构建得到的第二虚拟脸保留了第一真实脸较多特征，因而S130中匹配得到的第二虚拟脸仍然与第一真实脸具有大致相同的轮廓和例如器官位置。

S140：判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

所述判断第二角度人脸是否与所述识别目标脸相符，可以基于纹理匹配的人脸识别技术判断第一角度人脸是否与识别目标脸相符。具体的，可以对目标识别脸及第二角度人脸进行两个维度的纹理比较，如局部的特征匹配与尺度不变特征转换(Scale-invariant feature transform，SIFT)特征点匹配。根据匹配结果计算相似度，并通过合理的阈值来判断第二角度人脸与所述识别目标脸相符是否是同一人，若是则可以得到第一真实脸与所述识别目标脸相符。这里不再赘述。

在S130基础上，由于匹配得到的第二虚拟脸仍然与第一真实脸具有大致相同的轮廓和例如器官位置，因而S140中的判断，可以排除现有技术中仅仅是平均脸而不包括第一真实脸的轮廓与器官位置导致的不利因素，即将比对主要集中在纹理特征的匹配上，因而能够更为准确的得到是否是同一人的判断结果。

以下结合附图6介绍本申请一种侧脸识别方法的实施例，该方法包括：

S600：根据样本集合中的至少两组不同角度脸，得到各组的平均脸；

S610：基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

S620：通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

S630：将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；

S640：判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

与图1实施例的主要区别在于，本实施例中的样本集合可以不必限定必须包括正脸，而是可以包括一定数量的不同角度脸，例如只包括一定数量的不同角度侧脸。由于对一定数量的不同角度脸求解平均脸，同样可以得到PDM平均脸。具体求解方法与图1实施例类似。

优选地，S610具体可以包括：

对所述各组的平均脸及第一真实脸进行主成分分析，得到影响脸的角度的特征向量；或者，对所述各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量。

本步骤具体实现与S110类似。

优选地，S620具体可以包括：

S621：通过调整特征向量中的向量对应的特征值，反向构建出不同姿势的PDM脸；

S622：从所述反向构建出的不同姿势的PDM脸中，选择与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸。

上述具体实现过程与S120中类似。

本申请实施例通过上述方式，特别是对各组的平均脸及第一真实脸进行主成分分析，得到影响脸的角度的特征向量中包含有很多第一真实脸的特征，例如第一真实脸的轮廓以及眼睛、鼻子等器官的位置和大小之类的特征；这样，经过主成分分析后，将保留这样的特征，即获得与识别目标脸具有的第一角度相一致的第二虚拟脸的同时，保持与第一真实脸的特征，例如第一真实脸的轮廓以及眼睛、鼻子等器官的位置和大小之类的特征。从而，在后续的判断过程中，利于更加准确的判断第二角度人脸是否与所述识别目标脸相符。

以下结合附图7介绍本申请一种侧脸构建方法实施例，具体包括：

S700：根据样本集合中的一组正脸和预设数量的组的侧脸，得到各组的平均脸；

S710：基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

S720：通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

S730：将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

优选地，S710具体可以包括：

基于所述各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量。

优选地，S720具体可以包括：

通过调整特征向量中的向量对应的特征值，反向构建出不同姿势的PDM脸；

从所述反向构建出的不同姿势的PDM脸中，选择与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸。

优选地，S730具体可以包括：

通过比对反向构建的PDM脸中某两个点的距离与目标识别脸的PDM脸中对应两个点的距离各自所占比例来判断反向构建的PDM脸是否与目标识别脸的角度一致，若比对后比例相同或者在预设比例内，则判定角度一致。

优选地，S730具体可以包括：

通过比对反向构建的PDM脸中某三个点构成的三角形的面积与目标识别脸的PDM脸中对应三个点构成的三角形的面积来判断反向构建的PDM脸是否与目标识别脸的角度一致，若比对后面积差在预设范围内，则判定角度一致。。

以下结合附图8介绍本申请一种侧脸构建方法实施例，具体包括：

S800：根据样本集合中的至少两组不同角度脸，得到各组的平均脸；

S810：基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

S820：通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

S830：将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

优选地，S810具体可以包括：

优选地，S820具体可以包括：

以下结合附图9介绍本申请一种侧脸识别系统实施例，具体包括：

第一求解单元910，用于根据样本集合中的一组正脸和预设数量的组的侧脸，得到各组的平均脸；

第一分析单元920，用于基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

第一反向构建单元930，用于通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

第一匹配单元940，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；

第一判断单元950，用于判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

优选地，所述第一求解单元910具体可以包括：

第一求解子单元，用于根据样本集合中的一组正脸和预设数量的组的侧脸，得到各组的PDM平均脸。

优选地，所述第一分析单元920具体可以包括：

第一分析子单元，用于基于所述各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量。

优选地，所述第一分析子单元具体可以包括：

第一计算单元，基于平均脸向量和第一真实脸向量计算得到协方差矩阵；

第一排序单元，计算协方差矩阵的特征值并将其结果按照从大到小的顺序依次排序；

第一选择单元，用于基于预设值选出所述排序结果中前n个对特征值总值影响最大的构成特征向量。

优选地，所述第一反向构建单元930具体可以包括：

第一反向构建子单元，通过调整特征向量中的向量对应的特征值，反向构建出不同姿势的PDM脸；

第二选择单元，从所述反向构建出的不同姿势PDM脸中选择与识别目标脸具有的第一角度相一致的第二虚拟脸。

优选地，所述第二选择单元具体可以包括：

第一比对单元，用于比对通过比对反向构建的PDM脸中某两个点的距离与目标识别脸的PDM脸中对应两个点的距离各自所占比例，

第二判断单元，用于根据第一比对单元的比对结果判断反向构建的PDM脸是否与目标识别脸的角度一致。

优选地，所述第二选择单元具体可以包括：

第二比对单元，用于比对反向构建的PDM脸中某三个点构成的三角形的面积与目标识别脸的PDM脸中对应三个点构成的三角形的面积；

第三判断单元，用于根据第二比对单元判断反向构建的PDM脸是否与目标识别脸的角度一致，若是则得出第一真实脸与所述识别目标脸相符。

以下结合附图10介绍本申请一种侧脸识别系统实施例，具体包括：

第二求解单元，用于根据样本集合中的至少两组不同角度脸，得到各组的平均脸；

第二分析单元，用于基于所述各组平均脸及第一真实脸，得到影响脸的角度的特征向量；

第二反向构建单元，用于通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

第二匹配单元，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸；

第二判断单元，用于判断第二角度人脸是否与所述识别目标脸相符，若是则得出第一真实脸与所述识别目标脸相符。

优选地，所述第二分析单元具体可以包括：

第二分析子单元，基于所述各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量。

优选地，所述第二反向构建单元具体可以包括：

第二反向构建子单元，通过调整特征向量中的向量对应的特征值，反向构建出不同姿势的PDM脸；

综上，结合图9和图10对应的实施例，本申请中的一种侧脸识别系统，可以包括如下：

优选地，所述分析单元，具体可以包括：

计算单元，用于基于平均脸向量和第一真实脸向量计算得到协方差矩阵；

排序单元，用于计算协方差矩阵的特征值并将其结果按照从大到小的顺序依次排序；

优选地，所述反向构建单元，具体可以包括：

反向构建子单元，用于通过调整特征向量中的向量对应的特征值，反向构建出不同姿势的PDM脸；

第二选择单元，用于从所述反向构建出的不同姿势的PDM脸中，选择与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸。

以下介绍本申请一种侧脸构建系统实施例，具体包括：

第一求解单元，用于根据样本集合中的一组正脸和预设数量的组的侧脸，得到各组的平均脸；

第一分析单元，用于基于所述各组的平均脸及第一真实脸，得到影响脸的角度的特征向量；

第一反向构建单元，用于通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸；

第一匹配单元，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

优选地，所述第一求解单元具体可以包括：

第一求解子单元，用于根据样本集合中的一组正脸和预设数量的组的侧脸进行PDM计算，得到各组的PDM平均脸。

优选地，所述第一分析单元具体可以包括：

优选地，所述第一分析子单元具体可以包括：

优选地，所述第一反向构建单元具体可以包括：

优选地，所述第二选择单元具体可以包括：

第三判断单元，用于根据第二比对单元判断反向构建的PDM脸是否与目标识别脸的角度一致。

以下介绍本申请一种侧脸构建系统实施例，具体包括：

第二分析单元，用于基于所述各组平均脸及第一真实脸，以得到影响脸的角度的特征向量；

第二匹配单元，用于将第一真实脸的面部纹理特征匹配至第二虚拟脸，获得与第一真实脸对应的第二角度人脸。

优选地，所述第二分析单元具体可以包括：

优选地，所述第二反向构建单元具体可以包括：

综上，结合上述侧脸构建系统的实施例，本申请中的一种侧脸构建系统，可以包括如下：

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(HardwareDescription Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescription Language)、Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit HardwareDescription Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种侧脸识别方法，其特征在于，包括：

判断第二角度人脸是否与所述识别目标脸相符，若是，则得出第一真实脸与所述识别目标脸相符。

2.如权利要求1所述的方法，其特征在于，所述根据样本集合中的至少两组不同角度脸，得到各组的平均脸，具体包括：

对样本集合中的至少两组不同角度脸进行点分布模型PDM求解，得到各组的PDM平均脸。

3.如权利要求1所述的方法，其特征在于，所述基于各组的平均脸及第一真实脸，得到影响脸的角度的特征向量，具体包括：

对所述各组的平均脸及第一真实脸进行主成分分析，得到影响脸的角度的特征向量；

或，

对各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量。

4.如权利要求3所述的方法，其特征在于，

所述对各组的平均脸及第一真实脸进行主成分分析，得到影响脸的角度的特征向量，具体包括：

基于各组的平均脸向量和第一真实脸向量计算得到协方差矩阵；

计算协方差矩阵的特征值并将其结果按照从大到小的顺序依次排序；

基于预设值选出所述排序结果中前n个对特征值总值影响最大的构成特征向量；

所述对各组的平均脸及第一真实脸的PDM脸进行主成分分析，得到影响脸的角度的特征向量，具体包括：

基于各组的平均脸向量和第一真实脸的PDM脸向量计算得到协方差矩阵；

基于预设值选出所述排序结果中前n个对特征值总值影响最大的构成特征向量。

5.如权利要求1所述的方法，其特征在于，所述通过对所述特征向量进行反向构建，获得与识别目标脸具有的第一角度相一致的第二虚拟脸，具体包括：

6.如权利要求5所述的方法，其特征在于，所述从反向构建出的不同姿势的PDM脸中，选择与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸，具体包括：

通过比对反向构建的PDM脸中某两个点的距离与目标识别脸的PDM脸中对应两个点的距离各自所占比例，判断反向构建的PDM脸是否与目标识别脸的角度一致；

或，

通过比对反向构建的PDM脸中某三个点构成的三角形的面积与目标识别脸的PDM脸中对应三个点构成的三角形的面积，判断反向构建的PDM脸是否与目标识别脸的角度一致。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述样本集合中的至少两组不同角度脸，具体包括：

一组正脸和预设数量的组的侧脸。

8.一种侧脸构建方法，其特征在于，包括：

9.一种侧脸识别系统，其特征在于，包括：

判断单元，用于判断第二角度人脸是否与所述识别目标脸相符，若是，则得出第一真实脸与所述识别目标脸相符。

10.如权利要求9所述的系统，其特征在于，所述分析单元，具体包括：

选择单元，用于基于预设值选出所述排序结果中前n个对特征值总值影响最大的构成特征向量。

11.如权利要求9所述的系统，其特征在于，所述反向构建单元，具体包括：

选择单元，用于从所述反向构建出的不同姿势的PDM脸中，选择与识别目标脸具有的第一角度相一致的PDM脸作为第二虚拟脸。

12.一种侧脸构建系统，其特征在于，包括：