CN113343885A - 一种复杂人脸姿态的特征点重建方法 - Google Patents

Abstract

本发明公开了一种复杂人脸姿态的特征点重建方法，包括，获取原始遮挡人脸的图像集标记特征点，进行人脸姿态判断；提取训练样本集上每张图片的梯度直方图特征，形成特征集合；利用多初始化方式提取大量图像样本特征对稀疏矩阵进行学习，得到多姿态特征映射参数；输入人脸图像进行目标检测，提取梯度直方图特征进行参数计算，重建人脸特征。本发明适用于50％以内面部遮挡的问题，在监控摄像头下，一些眼部、嘴部等关键部位的遮挡出现频率较高，人脸遮挡是较为普遍的一个问题，该方法在安防监控、智能家居等摄像头环境中具备较大的应用价值。

Description

一种复杂人脸姿态的特征点重建方法

技术领域

本发明涉及人脸识别的技术领域，尤其涉及一种复杂人脸姿态的特征点重建方法。

背景技术

人脸识别作为人工智能技术快速发展的典型代表，目前在治安、交通、电商等科技领域得到了广泛的应用，诸如人脸搜索、人脸快速通行过闸、刷脸支付等等。在光照、拍摄角度良好情况下，人脸识别算法可以取得非常不错的效果，但在真实的场景中，往往出现光照不足、人脸存在遮挡的情况，人脸拍摄的角度也会对识别的结果造成一定的干扰，对于支付系统而言，识别失败将导致电商交易不成功，降低用户体验；对于闸机识别系统而言，识别错误可能导致通行效率下降；而对于罪犯识别系统而言，识别率不高可能造成犯罪分子逍遥法外。

在人脸识别算法应用过程中,尤其在监控摄像头下，人脸遮挡是较为普遍的一个问题，一些眼部、嘴部等关键部位的遮挡出现频率较高。针对此类问题目前国内外已有针对戴口罩、墨镜等小范围遮挡的特征点重建方法，而对于诸如侧脸、仰视、俯视等复杂姿态的特征点重建的方法少之又少。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：能够应对复杂人脸姿态在一定程度遮挡的人脸特征点重建问题。

为解决上述技术问题，本发明提供如下技术方案：包括，获取原始遮挡人脸的图像集标记特征点，进行人脸姿态判断；提取训练样本集上每张图片的梯度直方图特征，形成特征集合；利用多初始化方式提取大量图像样本特征对稀疏矩阵进行学习，得到多姿态特征映射参数；输入人脸图像进行目标检测，提取梯度直方图特征进行参数计算，重建人脸特征。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：所述图像集包括，侧脸、仰视、俯视图像集。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：所述特征点标记包括，对输入的人脸图像进行标注，标注区域分为正常区域和补充区域；若无遮挡或偏转情况，所述补充区域为空，直接利用标注点对特征点提取；若存在遮挡或偏转情况，采用Criminisi算法从图像已知区域中寻找最优匹配块填补，对填补后的人脸利用标注点提取特征点。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：所述人脸姿态判断包括，当|l₁-θ₁|>0时，即为偏转姿态；当|l₂-θ₂|＜0时，即为仰视姿态；当|l₃-θ₃|>0时，即为俯视姿态；其中，d₁为人脸中心垂线与左眼中心垂线的距离，d₂为人脸中心垂线与右眼中心垂线的距离，两眼连线与人脸中心垂线的交点记为C，d₃为人脸边界中心与C点的距离，d₄为人脸边界中心与嘴部中心点的距离，记

分别设置偏转姿态阈值θ₁、仰视姿态阈值θ₂、俯视姿态阈值θ₃。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：包括，人工标记的准确特征点位置周围对应每张图片提取梯度直方图特征ρ_ij，并形成特征集合S,其中，S＝{S₁、S₂、S₃}，S₁、S₂、S₃分别为侧脸、仰视、俯视人脸的梯度直方图特征集合。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：于：对所述稀疏矩阵进行学习包括，使学习到的稀疏矩阵可对不完整的图像样本进行校正，通过最小化特征稀疏重建误差来获得矩阵D：

s.t.‖D_i‖₀≤T

其中，M为库内局部提取到的人脸特征集合，初始化的次数记为N，δ表示人脸轮廓特征点边界上的纹理特征的稀疏系数，这里稀疏矩阵按列排列，且矩阵列数要大于特征维度，T是系数向量中非零值的个数即稀疏度,使用OMP方法求解,从矩阵D中抽取S_i所对应的3组不同的特征点索引来提取D的子集行来分别构建矩阵D₁、D₂、D₃。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：还包括，针对人脸特征离线学习的轮廓矩阵D₁、D₂、D₃，学习第i种姿态的特征映射参数γ_i,其学习表达式为:

s.t.‖γ_i‖₀≤β_i

其中，即D_i表示第i种姿态的轮廓矩阵，β_i是系数向量中非零值的个数即稀疏度，同样使用OMP方法求解。

作为本发明所述的复杂人脸姿态的特征点重建方法的一种优选方案，其中：所述重建人脸特征包括，求得

确定图像为第i种人脸姿态，从而获得对应姿态的轮廓子集矩阵D_i、获取特征映射参数γ_i；

代入第i种姿态的轮廓稀疏系数γ_i，通过以下公式重建完整的人脸特征：

ρ′＝ρD_iγ_i。

本发明的有益效果：本发明适用于50％以内面部遮挡的问题，在监控摄像头下，一些眼部、嘴部等关键部位的遮挡出现频率较高，人脸遮挡是较为普遍的一个问题，该方法在安防监控、智能家居等摄像头环境中具备较大的应用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例所述的复杂人脸姿态的特征点重建方法的参数学习阶段流程示意图；

图2为本发明一个实施例所述的复杂人脸姿态的特征点重建方法的特征重建及姿态判断阶段流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1和图2，为本发明的第一个实施例，提供了一种复杂人脸姿态的特征点重建方法，其特征在于：包括，

S1：获取原始遮挡人脸的图像集标记特征点，进行人脸姿态判断。其中需要说明的是，图像集包括：

侧脸、仰视、俯视图像集；

进一步的，特征点标记包括：

对输入的人脸图像进行标注，标注区域分为正常区域和补充区域；

若无遮挡或偏转情况，补充区域为空，直接利用标注点对特征点提取；

若存在遮挡或偏转情况，采用Criminisi算法从图像已知区域中寻找最优匹配块填补，对填补后的人脸利用标注点提取特征点。

具体的，人脸姿态判断包括：

当|l₁-θ₁|>0时，即为偏转姿态；

当|l₂-θ₂|＜0时，即为仰视姿态；

当|l₃-θ₃|>0时，即为俯视姿态；

其中，d₁为人脸中心垂线与左眼中心垂线的距离，d₂为人脸中心垂线与右眼中心垂线的距离，两眼连线与人脸中心垂线的交点记为C，d₃为人脸边界中心与C点的距离，d₄为人脸边界中心与嘴部中心点的距离，记

分别设置偏转姿态阈值θ₁、仰视姿态阈值θ₂、俯视姿态阈值θ₃。

S2：提取训练样本集上每张图片的梯度直方图特征，形成特征集合。本步骤需要说明的是：

人工标记的准确特征点位置周围对应每张图片提取梯度直方图特征ρ_ij，并形成特征集合S,其中，S＝{S₁、S₂、S₃}，S₁、S₂、S₃分别为侧脸、仰视、俯视人脸的梯度直方图特征集合。

S3：利用多初始化方式提取大量图像样本特征对稀疏矩阵进行学习，得到多姿态特征映射参数。其中还需要说明的是，对稀疏矩阵进行学习包括：

使学习到的稀疏矩阵可对不完整的图像样本进行校正，通过最小化特征稀疏重建误差来获得矩阵D：

s.t.‖D_i‖₀≤T

其中，M为库内局部提取到的人脸特征集合，初始化的次数记为N，δ表示人脸轮廓特征点边界上的纹理特征的稀疏系数，这里稀疏矩阵按列排列，且矩阵列数要大于特征维度，T是系数向量中非零值的个数即稀疏度,使用OMP方法求解,从矩阵D中抽取S_i所对应的3组不同的特征点索引来提取D的子集行来分别构建矩阵D₁、D₂、D₃。

针对人脸特征离线学习的轮廓矩阵D₁、D₂、D₃，学习第i种姿态的特征映射参数γ_i,其学习表达式为:

s.t.‖γ_i‖₀≤β_i

其中，即D_i表示第i种姿态的轮廓矩阵，β_i是系数向量中非零值的个数即稀疏度，同样使用OMP方法求解。

S4：输入人脸图像进行目标检测，提取梯度直方图特征进行参数计算，重建人脸特征。本步骤还需要说明的是：

获取原始遮挡人脸的图像；

图像做目标检测，排除非人脸图像区域的干扰；

提取梯度直方图特征ρ，并形成特征集合；

求得

确定图像为第i种人脸姿态，从而获得对应姿态的轮廓子集矩阵D_i、获取特征映射参数γ_i；

代入第i种姿态的轮廓稀疏系数γ_i，通过以下公式重建完整的人脸特征：

ρ′＝ρD_iγ_i

实施例2

为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的人脸识别方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的的真是效果。

传统的人脸识别方法无法应用于一定遮挡环境的人脸特征识别，局限性比较大，且识别误差较大，为验证本发明方法相较于传统方法具有较高的识别准确度和较广泛的适用性，本实施例中将采用传统方法和本发明方法分别对仿真平台的样本图像集进行实时测量对比。

测试环境：将样本图像集导入仿真平台模拟运行并模拟大面积(50％以上)遮挡场景，分别利用传统方法的智能识别进行人脸识别测试并获得测试结果数据，采用本发明方法，则开启自动化测试设备并运用MATLB软件实现本发明方法的仿真测试，根据实验结果获得仿真数据，每种方法各测试10000组数据，计算获得每组数据的误差均值，与仿真模拟输入的实际预测值进行对比误差计算。

	前期/％	中期/％	后期/％	平均误差/％
					传统方法	34.276	36.531	38.921	36.576
本发明方法	22.531	21.092	22.197	21.940

参照表1，能够直观的看出本发明方法相较于传统方法具有更小的误差，即较精确的准确度。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种复杂人脸姿态的特征点重建方法，其特征在于：包括，

获取原始遮挡人脸的图像集标记特征点，进行人脸姿态判断；

提取训练样本集上每张图片的梯度直方图特征，形成特征集合；

利用多初始化方式提取大量图像样本特征对稀疏矩阵进行学习，得到多姿态特征映射参数；

输入人脸图像进行目标检测，提取梯度直方图特征进行参数计算，重建人脸特征。

2.根据权利要求1所述的复杂人脸姿态的特征点重建方法，其特征在于：所述图像集包括，侧脸、仰视、俯视图像集。

3.根据权利要求1或2所述的复杂人脸姿态的特征点重建方法，其特征在于：所述特征点标记包括，

对输入的人脸图像进行标注，标注区域分为正常区域和补充区域；

若无遮挡或偏转情况，所述补充区域为空，直接利用标注点对特征点提取；

若存在遮挡或偏转情况，采用Criminisi算法从图像已知区域中寻找最优匹配块填补，对填补后的人脸利用标注点提取特征点。

4.根据权利要求3所述的复杂人脸姿态的特征点重建方法，其特征在于：所述人脸姿态判断包括，

当|l₁-θ₁|>0时，即为偏转姿态；

当|l₂-θ₂|＜0时，即为仰视姿态；

当|l₃-θ₃|>0时，即为俯视姿态；

其中，d₁为人脸中心垂线与左眼中心垂线的距离，d₂为人脸中心垂线与右眼中心垂线的距离，两眼连线与人脸中心垂线的交点记为C，d₃为人脸边界中心与C点的距离，d₄为人脸边界中心与嘴部中心点的距离，记

分别设置偏转姿态阈值θ₁、仰视姿态阈值θ₂、俯视姿态阈值θ₃。

5.根据权利要求4所述的复杂人脸姿态的特征点重建方法，其特征在于：包括，

人工标记的准确特征点位置周围对应每张图片提取梯度直方图特征ρ_ij，并形成特征集合S,其中，S＝{S₁、S₂、S₃}，S₁、S₂、S₃分别为侧脸、仰视、俯视人脸的梯度直方图特征集合。

6.根据权利要求5所述的复杂人脸姿态的特征点重建方法，其特征在于：对所述稀疏矩阵进行学习包括，

使学习到的稀疏矩阵可对不完整的图像样本进行校正，通过最小化特征稀疏重建误差来获得矩阵D：

s.t.‖D_i‖₀≤T

其中，M为库内局部提取到的人脸特征集合，初始化的次数记为N，δ表示人脸轮廓特征点边界上的纹理特征的稀疏系数，这里稀疏矩阵按列排列，且矩阵列数要大于特征维度，T是系数向量中非零值的个数即稀疏度,使用OMP方法求解,从矩阵D中抽取S_i所对应的3组不同的特征点索引来提取D的子集行来分别构建矩阵D₁、D₂、D₃。

7.根据权利要求6所述的复杂人脸姿态的特征点重建方法，其特征在于：还包括，

针对人脸特征离线学习的轮廓矩阵D₁、D₂、D₃，学习第i种姿态的特征映射参数γ_i,其学习表达式为:

s.t.‖γ_i‖₀≤β_i

其中，即D_i表示第i种姿态的轮廓矩阵，β_i是系数向量中非零值的个数即稀疏度，同样使用OMP方法求解。

8.根据权利要求7所述的复杂人脸姿态的特征点重建方法，其特征在于：所述重建人脸特征包括，

求得

确定图像为第i种人脸姿态，从而获得对应姿态的轮廓子集矩阵D_i、获取特征映射参数γ_i；

代入第i种姿态的轮廓稀疏系数γ_i，通过以下公式重建完整的人脸特征：

ρ′＝ρD_iγ_i。

Images