CN105354531A - 一种面部关键点的标注方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，尤其涉及一种面部关键点的标注方法。一种面部关键点的标注方法，该标注方法包括两个过程，分别为训练过程和使用过程，其中，训练过程、使用过程均包括刚体演变和非刚体演变，刚体演变与非刚体演变能够进行多次迭代，步骤S1：通过训练过程的刚体演变消除初始模板与真实坐标之间的仿射变化差异；步骤S2：通过训练过程的非刚体演变对初始模板中每个面部关键点进行独立调节，以提高面部关键点的定位精度；步骤S3：通过使用过程的刚体演变，根据线性回归模型进行面部关键点的预测，推算面部关键点的新位置；步骤S4：在使用过程的非刚体演变中，根据新位置调节面部关键点的坐标，得到预测结果。

Description

一种面部关键点的标注方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种面部关键点的标注方法。

背景技术

面部关键点标注是一种利用算法在人脸图像上标注出眼角、鼻尖、嘴角等关键位置的技术。面部关键点标注技术在人脸识别、情感分析、人脸追踪等领域都有重要的作用。

衡量面部关键点标注技术好坏的指标主要有四个：准确性、鲁棒性、实时性和模型大小。已知的面部关键点标注技术在上述指标都存在可改进的空间。随着iOS、Android等移动平台的广泛使用，基于移动平台实现的人脸识别、疲劳监控等机器视觉应用有着广泛的应用前景。与传统的“PC主机+固定摄像头”框架相比，移动平台的计算性能较弱，所拍摄的图片在光照、姿态和遮挡等方面存在着更复杂的变化。这些情况对面部关键点标注技术的准确性、鲁棒性、实时性和模型大小都提出了更为严峻的要求，现有技术中鲁棒性，实时性都较低，面部关键点定位算法较为复杂。

发明内容

针对现有技术中，面部关键点标注技术所存在的问题，本发明提供了一种面部关键点的标注方法，能够对人脸图像上的关键点进行准确、健壮且实时的标注。

本发明采用如下技术方案：

一种面部关键点的标注方法，所述标注方法包括两个过程，分别为训练过程和使用过程，其中，所述训练过程、所述使用过程均包括刚体演变和非刚体演变，所述刚体演变与非刚体演变能够进行多次迭代，以提高所述面部关键点的预测精度。

本发明将坐标的演化过程分为刚体演化和非刚体演化两个步骤。刚体演化过程只能通过尺度缩放、平移和旋转等仿射变换对所有关键点的初始坐标进行统一调整。非刚体演化过程对每个关键点的新坐标再进行独立调整，使得每个关键点的坐标进一步逼近真实坐标。

刚体演化和非刚体演化相结合是本发明的重要创新，刚体演化将所有特征点看成一个模板，通过对模板进行缩放、平移和旋转，即为仿射变换，使其从整体上逼近关键点的真实坐标。这个做法可以有效避免姿态变化、光照变化和部分遮挡等情况而带来的干扰，避免演化过程陷入局部极值。此外，刚体演化过程只需确定6个仿射变换参数即可实现，大大降低了预测模型的体积。非刚体演化能够克服表情变化和不同人脸上的固有差异，进一步提高关键点坐标的预测精度。

本发明采用了多次迭代，每次迭代都以前次预测结果作为初始值，进一步提高了预测精度。

优选的，所述标注方法具体包括：

步骤S1：通过所述训练过程的刚体演变消除初始模板与真实坐标之间的仿射变化差异；

步骤S2：通过所述训练过程的非刚体演变对初始模板中每个所述面部关键点进行独立调节，以提高所述面部关键点的定位精度；

步骤S3：通过所述使用过程的刚体演变根据线性回归模型进行所述面部关键点的预测，推算所述面部关键点的新位置；

步骤S4：在所述使用过程的非刚体演变中，根据所述新位置调节所述面部关键点的坐标，得到预测结果。

本发明使用机器学习方法，利用从人脸图像上提取的特征，来估计面部关键点的位置。本发明首先从大量训练样本中估计出关键点的坐标均值，坐标均值被当作初始坐标，最终的关键点坐标都通过对初始坐标不断演化获得，这个演化模型利用线性回归算法来求解。

优选的，所述步骤S1具体包括：

步骤S11：将所述初始模板放置在训练图片的中心位置，并解得所述初始模板与所述真实坐标之间的最佳仿射变换参数。

优选的，所述步骤S11中：通过公式解得所述最佳仿射变换参数，所述公式为：

$\arg {\min }_{{\mathrm{\β}}_1,{\mathrm{\β}}_2,\mathrm{...},{\mathrm{\β}}_6}{\mathrm{\Σ}}_{n=1}^k({\left({x_n}^{\left(2\right)}-{\mathrm{\β}}_1{x_n}^{\left(1\right)}-{\mathrm{\β}}_2{y_n}^{\left(1\right)}-{\mathrm{\β}}_3\right)}^2+{\left({y_n}^{\left(2\right)}-{\mathrm{\β}}_4{x_n}^{\left(1\right)}-{\mathrm{\β}}_5{y_n}^{\left(1\right)}-{\mathrm{\β}}_6\right)}^2),$

其中，K为所述面部关键点的数量，集合{(x_n ⁽¹⁾,y_n ⁽¹⁾)}和集合{(x_n ⁽²⁾,y_n ⁽²⁾)}分别为第n个所述面部关键点的初始坐标与所述真实坐标，n为正整数；

以及所述初始坐标与所述真实坐标之间的差异通过参数β₁至β₆决定的仿射变换消除，求解后得出参数β₁至β₆。

优选的，所述步骤S1还包括：

步骤S12：以所述面部关键点的初始位置为中心，并截取纹理区域；

步骤S13：利用方向梯度直方图算子对所述纹理区域进行特征编码，得到长度为Z的浮点编码；

步骤S14：将K个面部关键点的编码按照预定义顺序进行特征编码，得到长度为Z×K的特征编码；

步骤S15：将所述Z×K的特征编码进行归一化操作，得到归一化参数，其中，

所述归一化操作中，分布的均值为0，方差为1。

优选的，所述步骤S1还包括：

步骤S16：于所述步骤S15之后，根据公式进行所述线性回归模型的训练，其中，所述公式为：

其中，β_m ⁱ为第i个样本的第m个最佳参数，为第i个样本归一化后的方向梯度直方图特征编码，r_m和b_m分别为待求解的第m个参数的线性投影向量和偏置值，通过计算得到由r_m和b_m表示的线性回归模型，m和i均为正整数。

优选的，所述步骤S2具体包括：

步骤S21：从所述初始坐标提取方向梯度直方图特征，组成长度为Z×K的特征向量，并进行所述归一化操作；

步骤S22：根据公式进行线性回归模型的非刚体演变训练过程。

优选的，所述非刚体演变训练过程的实施公式为：

其中，Δ_n ⁱ为第i个样本的第int(n/2)个关键点的所述初始坐标与所述真实坐标在X轴或Y轴上的偏移量，为第i个样本归一化后的方向梯度直方图特征编码，r_n和b_n分别为待求解的第n个偏移量的线性投影向量和偏置值，通过计算，得到由r_n和b_n表示的线性回归模型。

本发明利用线性回归算法来学习刚体演化和非刚体演化中的参数。与其他机器学习方法相比，线性回归算法的计算量小，有较好的实时性。

优选的，所述步骤S3具体包括：

步骤S31：将面部图像调节至指定像素，将所述初始模板-置于所述面部图像的人脸正中；

步骤S32：提取所述面部图像的方向梯度直方图，进行矩阵乘和向量加操作，得到仿射变换参数；

步骤S33：根据所述仿射变换参数推算所述面部关键点的新位置。

优选的，所述步骤S4具体包括：

步骤S41：根据所述步骤S33推算的新位置提取对应的方向梯度直方图特征，进行矩阵乘和向量加操作，得到2K个偏移量；

步骤S42：根据所述偏移量调整所述面部关键点的坐标。

优选的，所述标注方法还包括：

步骤S01：于所述步骤S1之前，将所述面部图像归一化到指定像素，标出所述面部关键点的真实坐标；

步骤S02：根据公式求出初始模板。

优选的，所述初始模板的求解公式为S_μ：

$S_{\mathrm{\μ}}=\frac{1}{k}\·{\mathrm{\Σ}}_{i=1}^k{S}_i.$

本发明的有益效果是：

本发明由粗到细地逐步估计关键点位置，避免了局部极值对精度的干扰，使得最终的预测精度和鲁棒性都有很大的提高；线性回归算法的计算高效性和仿射变换仅有的6个参数使得本发明在实时性和模型体积上存在优势。本发明的定位速度可以超过60帧/秒，模型大小可控制在6Mb以内。

附图说明

图1a-1b为本发明面部关键点定位方法的流程图；

图2为本发明面部关键点坐标均值的求解过程；

图3为本发明刚体演化过程示意图；

图4为本发明非刚体演化过程示意图；

图5为本发明迭代过程示意图；

图6为本发明的预测效果示意图。

具体实施方式

需要说明的是，在不冲突的情况下，下述技术方案，技术特征之间可以相互组合。

下面结合附图对本发明的具体实施方式作进一步的说明：

实施例一

本实施例涉及一种利用特征提取+机器学习技术，公开了一种面部关键点标注方法，可以明显提高面部关键点的定位准确性。该方法主要包括以下步骤：a：建立关键点的初始坐标模型；b：根据关键点的真实坐标，求解从初始坐标到真实坐标的最佳二维仿射变换参数；c：根据初始坐标从图像中提取特征，通过训练建立特征到最佳二维仿射变换参数之间的线性映射模型。d：利用已训练的线性映射模型，求解出训练样本对应的仿射参数，并根据求得的参数，计算出初始坐标经过仿射变换后的新坐标。e：根据新坐标从图像中提取特征，通过训练建立特征到真实坐标之间的线性映射模型。f：利用训练得到的模型，预测关键点的新位置。g：步骤b到步骤f为一次迭代，为了提高精度，本实施例包含多次迭代，每次迭代都以前次迭代的结果作为新的初始值。

实施例二

图1a-1b为本发明面部关键点定位方法的流程图，如图1所示，本实施例共包含训练和使用两个过程，在训练过程中，首先需要定义关键点的坐标初始值，这些初始值通过对训练样本的真实坐标求均值获得。图2为本发明面部关键点坐标均值的求解过程，图2显示了均值模板的产生过程，对所有的训练样本，先将人脸区域归一化到128×128像素大小，并标出关键点的真实坐标，而后根据公式(1)求解均值模板S_μ(初始模板)。

$S_{\mathrm{\μ}}=\frac{1}{k}\·{\mathrm{\Σ}}_{i=1}^k{S}_i---\left(1\right)$

得到均值模板后，首先进行刚体演变的训练。

本实施例将均值模板S_μ放置在训练图片的中心位置，利用Procrustesanalyses求解出初始模板和真实位置之间的最佳仿射变换参数，计算过程如公式(2)所示。

$\begin{array}{c}\arg {\min }_{{\mathrm{\β}}_1,{\mathrm{\β}}_2,\mathrm{...},{\mathrm{\β}}_6}{\mathrm{\Σ}}_{n=1}^k({\left({x_n}^{\left(2\right)}-{\mathrm{\β}}_1{x_n}^{\left(1\right)}-{\mathrm{\β}}_2{y_n}^{\left(1\right)}-{\mathrm{\β}}_3\right)}^2+({y_n}^{\left(2\right)}-{\mathrm{\β}}_4{x_n}^{\left(1\right)}-{\mathrm{\β}}_5{y_n}^{\left(1\right)}-\\ {\mathrm{\β}}_6{)}^2)\end{array}---\left(2\right)$

其中，k代表关键点的数量，集合{(x_n ⁽¹⁾,y_n ⁽¹⁾)}和集合{(x_n ⁽²⁾,y_n ⁽²⁾)}分别表示第n个关键点的初始坐标与真实坐标，其中k和n均为正整数。初始模板和真实位置之间的差异通过参数β₁至β₆决定的仿射变换进行消除。公式(2)是一个典型的最小二乘问题，求解完毕后可得到估计出的最佳参数β₁至β₆。

求得参数后，本发明利用线性回归算法学习从图像特征到参数β₁至β₆的映射关系。

首先以关键点的初始位置为中心，截取大小为19×19像素的纹理区域，并利用HOG算子对该区域进行特征编码，得到长度为144的浮点编码，而后将面部k个关键点的编码按照预先定义的顺序进行排列，最终得到长度为144×k的特征编码为了提高稳定性，当所有训练样本对应的特征编码都已获得后，对特征编码集合进行归一化操作，使其分布的均值为0，方差为1，并记录相应的归一化参数，便于预测过程使用。而后根据公式(3)进行线性回归模型的训练。

其中，β_m ⁱ表示第i个样本的第m个最佳参数，表示第i个样本归一化后的HOG特征编码，r_m和b_m分别表示待求解的第m个参数的线性投影向量和偏置值。通过计算，可得到由r_m和b_m表示的线性回归模型。

刚体演变可以消除初始模板与真实坐标之间的仿射变换差异，但不同表情、姿态以及人脸之间的固有差异仍然存在，这些差异需要通过非刚体演变进行消除。

非刚体演变的训练基于刚体演变的预测结果进行。和刚体演变的训练过程相似，非刚体演变的训练也需要从初始点提取方向梯度直方图(HistogramofOrientedGradient,HOG)特征，组成长度为144×k的特征向量，并进行归一化操作。主要的区别在于线性回归模型的训练过程。非刚体演变的训练根据公式(4)实施。

其中，Δ_n ⁱ表示第i个样本的第int(n/2)个关键点的初始坐标与真实坐标在X轴或Y轴上的偏移量，表示第i个样本归一化后的HOG特征编码，r_n和b_n分别表示待求解的第n个偏移量的线性投影向量和偏置值。通过计算，可得到由r_n和b_n表示的线性回归模型。非刚体演化过程可对每个关键点的坐标进行独立调节，进一步提高定位精度。

为了达到最佳预测效果，本发明包含了多次迭代过程，每次迭代过程包含一个刚体演化过程和非刚体演化过程，其训练过程与上述内容相同，唯一不同在迭代过程的初始模板来自前次迭代的预测结果。

图3为本发明刚体演化过程示意图，如图3所示，在预测过程中，本发明利用训练过程得到的线性回归模型进行关键点预测。首先将测试人脸缩放至128×128像素，将均值模板置于人脸正中；而后提取对应的HOG特征，分别与刚体演化训练中得到向量r_m和偏置值b_m进行矩阵乘和向量加操作，得到样本对应的6个仿射变换参数，再根据参数推算关键点的新位置，该过程如图3所示。

图4为本发明非刚体演化过程示意图，如图4所示，在得到刚体演化的预测结果后，根据预测位置提取对应的HOG特征，与非刚体演化训练中得到的向量r_n和偏置b_n进行矩阵乘和向量加操作，得到样本对应的2k个偏移量，再根据偏移量调整关键点的坐标，该过程如图4所示。

图5为本发明迭代过程示意图，最后，按照上述过程依次执行多次迭代，得到最终的预测结果，该过程如图5所示。图6为本发明的预测效果示意图，从图6中可以看出本发明的最终效果。

综上所述，本发明提出一种实时、鲁棒、高精度的面部关键点定位方法，旨在利用特征提取和机器学习相结合的技术对移动平台条件下捕获的人脸图片进行关键点定位。与已知方法相比，本发明对计算性能及图片的成像环境要求不高，且在模型大小上更有优势，因此能够广泛地应用在移动平台上，为人机交互、表情分析、视线控制、疲劳监控等其他机器视觉应用打下坚实的基础。

通过说明和附图，给出了具体实施方式的特定结构的典型实施例，基于本发明精神，还可作其他的转换。尽管上述发明提出了现有的较佳实施例，然而，这些内容并不作为局限。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (11)

1.一种面部关键点的标注方法，其特征在于，所述标注方法包括两个过程，分别为训练过程和使用过程，其中，所述训练过程、所述使用过程均包括刚体演变和非刚体演变，所述刚体演变与非刚体演变能够进行多次迭代，以提高所述面部关键点的预测精度，其中，

所述标注方法具体包括：

步骤S1：通过所述训练过程的刚体演变消除初始模板与真实坐标之间的仿射变化差异；

步骤S2：通过所述训练过程的非刚体演变对初始模板中每个所述面部关键点进行独立调节，以提高所述面部关键点的定位精度；

步骤S3：通过所述使用过程的刚体演变，根据线性回归模型进行所述面部关键点的预测，推算所述面部关键点的新位置；

步骤S4：在所述使用过程的非刚体演变中，根据所述新位置调节所述面部关键点的坐标，得到预测结果。

2.根据权利要求1所述的面部关键点的标注方法，其特征在于，所述步骤S1具体包括：

步骤S11：将所述初始模板放置在训练图片的中心位置，并解得所述初始模板与所述真实坐标之间的最佳仿射变换参数。

3.根据权利要求2所述的面部关键点的标注方法，其特征在于，所述步骤S11中：通过公式解得所述最佳仿射变换参数，所述公式为： $\arg {\min }_{{\mathrm{\β}}_1,{\mathrm{\β}}_2,...,{\mathrm{\β}}_6}{\mathrm{\Σ}}_{n=1}^k({({x_n}^{\left(2\right)}-{\mathrm{\β}}_1{x_n}^{\left(1\right)}-{\mathrm{\β}}_2{y_n}^{\left(1\right)}-{\mathrm{\β}}_3)}^2+{({y_n}^{\left(2\right)}-{\mathrm{\β}}_4{x_n}^{\left(1\right)}-{\mathrm{\β}}_5{y_n}^{\left(1\right)}-{\mathrm{\β}}_6)}^2),$

其中，K为所述面部关键点的数量，集合{(x_n ⁽¹⁾,y_n ⁽¹⁾)}和集合{(x_n ⁽²⁾，y_n ⁽²⁾)}分别为第n个所述面部关键点的初始坐标与所述真实坐标,n为正整数；

以及所述初始坐标与所述真实坐标之间的差异通过参数β₁至β₆决定的仿射变换消除，求解后得出参数β₁至β₆。

4.根据权利要求3所述的面部关键点的标注方法，其特征在于，所述步骤S1还包括：

步骤S12：以所述面部关键点的初始位置为中心，并截取纹理区域；

步骤S13：利用方向梯度直方图算子对所述纹理区域进行特征编码，得到长度为Z的浮点编码；

步骤S14：将K个面部关键点的编码按照预定义顺序进行特征编码，得到长度为Z×K的特征编码；

步骤S15：将所述Z×K的特征编码进行归一化操作，得到归一化参数，其中，

所述归一化操作中，分布的均值为0，方差为1。

5.根据权利要求4所述的面部关键点的标注方法，其特征在于，所述步骤S1还包括：

步骤S16：于所述步骤S15之后，根据公式进行所述线性回归模型的训练，其中，所述公式为：

其中，β_m ⁱ为第i个样本的第m个最佳参数，为第i个样本归一化后的方向梯度直方图特征编码，r_m和b_m分别为待求解的第m个参数的线性投影向量和偏置值，通过计算得到由r_m和b_m表示的线性回归模型，m和i均为正整数。

6.根据权利要求5所述的面部关键点的标注方法，其特征在于，所述步骤S2具体包括：

步骤S21：从所述初始坐标提取方向梯度直方图特征，组成长度为Z×K的特征向量，并进行所述归一化操作；

步骤S22：根据公式进行线性回归模型的非刚体演变训练过程。

7.根据权利要求6所述的面部关键点的标注方法，其特征在于，所述非刚体演变训练过程的实施公式为：

其中，Δ_n ⁱ为第i个样本的第int(n/2)个关键点的所述初始坐标与所述真实坐标在X轴或Y轴上的偏移量，为第i个样本归一化后的方向梯度直方图特征编码，r_n和b_n分别为待求解的第n个偏移量的线性投影向量和偏置值，通过计算，得到由r_n和b_n表示的线性回归模型。

8.根据权利要求7所述的面部关键点的标注方法，其特征在于，所述步骤S3具体包括：

步骤S31：将面部图像调节至指定像素，将所述初始模板置于所述面部图像的人脸正中；

步骤S32：提取所述面部图像的方向梯度直方图，进行矩阵乘和向量加操作，得到仿射变换参数；

步骤S33：根据所述仿射变换参数推算所述面部关键点的新位置。

9.根据权利要求8所述的面部关键点的标注方法，其特征在于，所述步骤S4具体包括：

步骤S41：根据所述步骤S33推算的新位置提取对应的方向梯度直方图特征，进行矩阵乘和向量加操作，得到2K个偏移量；

步骤S42：根据所述偏移量调整所述面部关键点的坐标。

10.根据权利要求9所述的面部关键点的标注方法，其特征在于，所述标注方法还包括：

步骤S01：于所述步骤S1之前，将所述面部图像归一化到指定像素，标出所述面部关键点的真实坐标；

步骤S02：根据公式求出初始模板。

11.根据权利要求10所述的面部关键点的标注方法，其特征在于，所述初始模板的求解公式为s_μ：

$S_{\mathrm{\μ}}=\frac{1}{k}\·{\mathrm{\Σ}}_{i=1}^k{S}_i.$