CN105825187B - 一种跨维度人脸地标点定位的方法 - Google Patents

Abstract

本发明公开了一种跨维度人脸地标点定位的方法,包括如下步骤：1)构造基于自旋图特征的三维人脸锚点自动检测算法；2)基于VCP特征进行boosting学习，构造二维人脸锚点自动检测算法；3)定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+三维地标点耦合字典。基于在线LCC对该耦合字典进行学习，从而构造并实现基于在线LCC的三维地标点定位算法；4)考虑二维‑三维耦合人脸之间的类质同象特性，通过锚点计算三维到二维人脸的投影变换矩阵，将该投影变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置。通过跨维度人脸地标点定位算法，能够做到二维‑三维人脸地标点的准确一致性定位。

Description

一种跨维度人脸地标点定位的方法

技术领域

本发明属于计算机视觉领域，涉及跨维度人脸地标点定位的方法。

背景技术

随着计算机视觉的蓬勃发展，人脸识别技术日趋进步与完善，可被用于多个计算机视觉方向，如：网络游戏、视频监控、门禁系统、人机交互等领域。而脸地标点定位方法通常是在人脸检测的基础上进行的，需要精确地得到每一个面部特征的坐标，是人脸识别中非常重要的一环。

在计算机视觉领域，已有的人脸地标点定位方法分为二维人脸地标点定位和三维人脸地标点定位。二维人脸特征点定位其基本思想是通过点分布模型对人脸的形状变化进行统计建模，再利用地标点附近的局部视觉特征确定的最佳定位，该局部视觉特征包括灰度值梯度分布、纹理特征等。三维人脸地标点定位方法可以分为三类：基于启发式规则的定位、基于几何特征的定位以及基于图模型的定位，但传统的三维人脸地标点定位过度依赖局部特征检测，对于局部特征不明显的地标点定位误差较大。

然而现有的人脸地标点定位方法都是针对单一维度人脸的，无法进行跨维度人脸地标点定位。跨维度人脸地标点定位有以下两个难点：一方面，通过手工方式完成跨维度地标点定位工作量太大，且不同维度人脸地标点的一致性也难以保障。另一方面，由于二维人脸仅是三维人脸一个投影，通过二维人脸地标点对三维人脸地标点进行定位是困难的。

发明内容

本发明要克服现有技术的上述缺点，提供一种跨维度人脸地标点定位的方法，以实现跨维度人脸地标点的准确一致性定位。

本发明提供了一种跨维度人脸地标点定位的方法，包括以下步骤：

1)按照金字塔策略提取标定锚点的多尺度的自旋图特征，利用标注数据对三维锚点的自旋图特征进行boosting学习，构造三维锚点的自动检测算法，确定对应的三维锚点坐标位置；

2)基于视觉上下文模式VCP(Visual Context Pattern)特征的boosting学习，构造并实现的二维人脸锚点检测算法，确定对应的二维锚点坐标位置；

3)定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+三维地标点耦合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标编码LCC(Local Coordinate Coding)的三维人脸地标点定位算法；

4)给定新的二维-三维人脸组合，完成三维地标点定位，考虑二维-三维耦合人脸之间的类质同象特性，通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵，将该投影变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地标点定位。

步骤3)中所述的基于在线LCC的三维人脸地标点定位算法具体是：

31)通过标注三维地标点可以将不同的三维人脸进行对齐，从而使不同的三维人脸具有相同数目的顶点，在此基础上，构造三维人脸+三维地标点耦合数据；

32)对于第i个数据样本x_i：x_i＝{x_f(i),x_l(i)}，其中x_f(i)是第i个数据样本的三维人脸，x_l(i)是第i个数据样本的三维地标点，进行LCC耦合字典学习，获得该字典的基如下：

其中字典表示为D＝{D_f,D_l}＝{{d_f(j),d_l(j)}}_j∈[1,K]，其中K表示样本个数，D_f是三维人脸字典，d_f(j)是第j个数据样本的三维人脸字典，D_l是三维地标点字典，d_l(j)是第j个数据样本的三维地标点字典，d_j是第j个数据样本的三维人脸地点字典和三维地标点字典组成的字典，α_i是第i个数据样本字典d_j的系数向量，是第i个数据样本字典到第j个数据样本字典的映射向量，μ是权重系数。由于求解上式的时间开销较大，因此引入在线求解算法取得快速收敛，其迭代策略为：

其中D_t是每次迭代求得到字典表示， 是α_i的转置，A_t和B_t是每次迭代求得的基所对应的系数分布，t表示迭代次数；

33)在获得字典的基之后，对于给定新的三维人脸x_f，可以很方便地获得其三维人脸字典D_f的系数向量α，直接将α应用于三维人脸地标点字典D_l，从而估计给定三维人脸的地标点坐标如下：

x_l＝∑D_lα， 式3

根据估计结果可以在给定三维人脸上进行准确的地标点定位。

步骤4)中所述的跨维度人脸地标点定位算法：

考虑二维‐三维耦合人脸之间的类质同象特性，在获得三维人脸锚点及其对应二维人脸锚点的检测之后，通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下：

其中H是一个2×3矩阵，而我们拥有6组锚点，因此上式可解，进而，将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标：

从而实现跨维度的人脸地标点定位。

本发明的一种跨维度人脸地标点定位的方法：首先进行二维-三维耦合人脸数据之间的类质同象学习，获得三维到二维人脸的投影变换矩阵，然后进行三维人脸地标点定位，进而对所定位的三维人脸地标点进行投影，获取对应二维地标点的位置信息，实现跨维度人脸地标点的准确一致性定位。

现有的人脸地标点定位方法都是针对单一维度人脸的，无法进行跨维度人脸地标点定位。

本发明的优点是：对于给定的二维-三维人脸数据对，能够做到二者地标点的准确一致性定位，且本方法并不过度依赖于局部特征检测，对于局部特征不明显的地标点定位误差较小。

附图说明

图1是本发明方法的训练流程图；

图2是本发明一种跨维度的人脸地标点定位方法的测试流程图；

图3是二维(左)和三维(右)人脸地标点(被圈住的为锚点)。

具体实施方式

下面结合本发明中的附图，对本发明的技术方案进行清晰、完整地描述。

本发明提供了一种跨维度人脸地标点定位方法，图1展示了该方法的整体流程。基于跨维度人脸地标点定位方法具体实施步骤如下：

1.一种跨维度人脸地标点定位的方法，其特征是包括如下步骤：

1)按照金字塔策略提取标定锚点的多尺度的自旋图特征，利用标注数据对三维锚点的自旋图特征进行boosting学习，构造三维锚点的自动检测算法，确定对应的三维锚点坐标位置；

2)基于视觉上下文模式VCP(Visual Context Pattern)特征的boosting学习，构造并实现的二维人脸锚点检测算法，确定对应的二维锚点坐标位置；

3)定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+三维地标点耦合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标编码LCC(Local Coordinate Coding)的三维人脸地标点定位算法；

4)给定新的二维-三维人脸组合，完成三维地标点定位，考虑二维-三维耦合人脸之间的类质同象特性，通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵，将该投影变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地标点定位。

步骤3)中所述的基于在线LCC的三维人脸地标点定位算法：

31)通过标注三维地标点可以将不同的三维人脸进行对齐，从而使不同的三维人脸具有相同数目的顶点，在此基础上，构造三维人脸+三维地标点耦合数据；

32)对于第i个数据样本x_i＝{x_f(i),x_l(i)}，其中x_f(i)是第i个数据样本的三维人脸，x_l(i)是第i个数据样本的三维地标点，进行LCC耦合字典学习，获得该字典的基如下：

其中字典表示为D＝{D_f,D_l}＝{{d_f(j),d_l(j)}}_j∈[1,K]，其中K表示样本个数，D_f是三维人脸字典，d_f(j)是第j个数据样本的三维人脸字典，D_l是三维地标点字典，d_l(j)是第j个数据样本的三维地标点字典，d_j是第j个数据样本的三维人脸地点字典和三维地标点字典组成的字典，α_i是第i个数据样本字典d_j的系数向量，是第i个数据样本字典到第j个数据样本字典的映射向量，μ是权重系数。由于求解上式的时间开销较大，因此引入在线求解算法取得快速收敛，其迭代策略为：

其中D_t是每次迭代求得到字典表示， 是α_i的转置，A_t和B_t是每次迭代求得的基所对应的系数分布，t表示迭代次数；

33)在获得字典的基之后，对于给定新的三维人脸x_f，可以很方便地获得其三维人脸字典D_f的系数向量α，直接将α应用于三维人脸地标点字典D_l，从而估计给定三维人脸的地标点坐标如下：

x_l＝∑D_lα， 式3

根据估计结果可以在给定三维人脸上进行准确的地标点定位。

步骤4)中所述的跨维度人脸地标点定位算法：

考虑二维‐三维耦合人脸之间的类质同象特性，在获得三维人脸锚点及其对应二维人脸锚点的检测之后，通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下：

其中H是一个2×3矩阵，而我们拥有6组锚点，因此上式可解，进而，将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标：

从而实现跨维度的人脸地标点定位。

最后，以上所述仅为本发明较有代表性的实施例。本领域的普通技术人员可在不脱离本发明的发明思想情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求数提到的创新性特征的最大范围。

Claims (3)

1.一种跨维度人脸地标点定位的方法，包括如下步骤：

1)按照金字塔策略提取标定锚点的多尺度的自旋图特征，利用标注数据对三维锚点的自旋图特征进行boosting学习，构造三维锚点的自动检测算法，确定对应的三维锚点坐标位置；

2)基于视觉上下文模式VCP特征的boosting学习，构造并实现的二维人脸锚点检测算法，确定对应的二维锚点坐标位置；

3)定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+三维地标点耦合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标编码LCC的三维人脸地标点定位算法；

4)给定新的二维-三维人脸组合，完成三维地标点定位，考虑二维-三维耦合人脸之间的类质同象特性，通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵，将该投影变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地标点定位。

2.根据权利要求1所述的一种跨维度人脸地标点定位的方法，其特征在于：所述的步骤3)中所述的基于在线局部坐标编码LCC的三维人脸地标点定位算法具体是：

31)通过标注三维地标点可以将不同的三维人脸进行对齐，从而使不同的三维人脸具有相同数目的顶点，在此基础上，构造三维人脸+三维地标点耦合字典；

32)对于第i个数据样本x_i：x_i＝{x_f(i),x_l(i)}，其中x_f(i)是第i个数据样本的三维人脸，x_l(i)是第i个数据样本的三维地标点，进行LCC耦合字典学习，获得该字典的基如下：

其中字典表示为D＝{D_f,D_l}＝{{d_f(j),d_l(j)}}j∈[1,K]，其中K表示样本个数，D_f是三维人脸字典，d_f(j)是第j个数据样本的三维人脸字典，D_l是三维地标点字典，d_l(j)是第j个数据样本的三维地标点字典，d_j是由第j个数据样本的三维人脸字典和三维地标点字典组成的数据样本字典，α_i是第i个数据样本字典的系数向量，是第i个数据样本到数据样本字典d_j的映射向量，μ是权重系数；由于求解上式的时间开销较大，因此引入在线求解算法取得快速收敛，其迭代策略为：

其中D_t是每次迭代求得到字典表示， 是α_i的转置，A_t和B_t是每次迭代求得的基所对应的系数分布，t表示迭代次数；

33)在获得字典的基之后，对于给定新的三维人脸x_f，可以很方便地获得其三维人脸字典D_f的系数向量α，直接将α应用于三维人脸地标点字典D_l，从而估计给定三维人脸的地标点坐标如下：

x_l＝∑D_lα，

式3

根据估计结果可以在给定三维人脸上进行准确的地标点定位。

3.根据权利要求1所述的一种跨维度人脸地标点定位的方法，其特征在于：所述的步骤4)中所述的跨维度人脸地标点定位算法具体是：

考虑二维-三维耦合人脸之间的类质同象特性，在获得三维人脸锚点及其对应二维人脸锚点的检测之后，通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下：

其中H是一个2×3矩阵，而我们拥有6组锚点，因此上式可解，进而，将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标：

从而实现跨维度的人脸地标点定位。