CN104899563B - 一种二维人脸关键特征点定位方法及系统 - Google Patents

Abstract

本发明适用图像处理技术领域，提供了一种二维人脸关键特征点定位方法及系统，方法包括：接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将二维位置坐标输入到预先建立的特征点维度转换模型；通过特征点维度转换模型计算二维位置坐标对应的人脸关键特征点的三维位置坐标；将三维位置坐标投影到二维人脸图像上，获取三维位置在二维人脸图像上的估计坐标；通过估计坐标和二维位置坐标计算人脸关键特征点的定位精度；当定位精度小于一预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而提高人脸关键特征点的定位精度。

Description

一种二维人脸关键特征点定位方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种二维人脸关键特征点定位方法及系统。

背景技术

目前，在大多数的人机交互应用中，需要对人脸进行定位，进而进行人脸识别、表情分析、年龄估计等进一步的分析应用。定位人脸时需要对图像中的人脸关键特征点位置进行定位，即确定人脸上眼角、眼中心、眉毛、鼻子、嘴角等的位置。

从图像的类型来分，人脸关键特征点定位有基于二维人脸图像(亮度图像)的定位方法和基于三维人脸图像(深度图像)的定位方法。二维人脸图像的像素表示的是亮度，例如普通照相机拍出来的图像就是二维人脸图像，如图1a所示。三维人脸图像的每个像素值表示的则不是亮度，而是物体距离照相机的距离，如图1b所示。

基于二维人脸图像的方法只能根据人脸图像的颜色变化来定位人脸上的关键特征点，对于正面人脸能得到相对比较好的结果，但是如果人脸是侧脸或者低头等大角度姿态，部分人脸信息会被遮挡(例如，侧脸图像只能看到一只眼睛，另一只眼睛被遮挡)，则很难获得高精度的关键特征点定位。此外，不同的人脸型不同，仅靠二维信息很难判断出人的脸型，所有的人脸都使用同样一个人脸模型会导致关键特征点定位难以达到较高的精度。

基于三维人脸图像的人脸关键特征点定位能判断出人脸曲面的变化，精确获得人脸的三维结构，但是三维人脸图像没有二维人脸图像里丰富的纹理信息，精度定位依然存在困难。

发明内容

本发明实施例的目的在于提供一种二维人脸关键特征点定位方法及系统，旨在解决由于现有技术无法提供一种人脸关键特征点定位方法，导致人脸关键特征点定位精确较低的问题。

本发明实施例是这样实现的，一种二维人脸关键特征点定位方法，所述方法包括下述步骤：

a)、接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

b)、通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

c)、将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

d)、通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；

e)、当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点。

本发明实施例的另一目的在于提供一种二维人脸关键特征点定位系统，所述系统包括：

关键点二维坐标获取单元，用于接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

关键点三维坐标计算单元，用于通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

二维估计坐标获取单元，用于将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

定位精度计算单元，用于通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；以及

特征点设置单元，用于当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点。

在本发明实施例中，通过预先建立的特征点维度转换模型计算人脸关键特征点的三维位置坐标，利用该三维位置坐标对人脸关键特征点的二维位置坐标对坐标精确度进行判断，当定位精度小于一预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而结合二维人脸图像和三维人脸图像中的人脸关键特征点确定最终的人脸关键特征点，实现对人脸关键特征点的精确定位。

附图说明

图1a是二维人脸图像的示意图；

图1b是人脸深度图像的示意图；

图2是本发明实施例一提供的二维人脸关键特征点定位方法的实现流程图；

图3是本发明实施例二提供的二维人脸关键特征点定位方法的实现流程图；

图4是本发明实施例三提供的二维人脸关键特征点定位系统的结构图；以及；

图5是本发明实施例四提供的二维人脸关键特征点定位系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图2示出了本发明实施例一提供的二维人脸关键特征点定位方法的实现流程，详述如下：

在步骤S201中，接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将二维位置坐标输入到预先建立的特征点维度转换模型。

在本发明实施例中，首先使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，即人脸关键特征点的初始二维位置坐标，其中，人脸关键特征点获取算法可以是主动形状模型(Active Shape Mode，ASM)，也可以是随机森林分类器等。

在本发明实施例中，需要预先建立特征点维度转换模型，以建立二维人脸图像和其对应的三维人脸图像中的人脸关键特征点之间的对应关系，从而利用三维人脸图像中的人脸关键特征点确定二维人脸图像中的人脸关键特征点的定位精度。在建立特征点维度转换模型时，首先采集多个人脸的二维人脸图像和对应的三维人脸图像(训练样本)，并对应标注出二维人脸图像和对应三维人脸图像中的人脸关键特征点，以二维人脸图像和三维人脸图像中的人脸关键特征点的坐标作为输入，构建出一特征点维度转换模型X＝f(U)，其中，U为二维人脸图像中人脸关键特征点的坐标，X为三维人脸图像中人脸关键特征点的坐标。优选地，X＝f(U)表示为X＝MU，其中，X＝(x₁,y₁,z₁,x₂,y₂,z₂,…,x_n,y_n,z_n)，(x_i,y_i,z_i)^T是第i个关键点的三维坐标，U＝(u₁,v₁,u₂,v₂,…,u_n,v_n)^T，(u_i,v_i)是第i个关键点的二维坐标，M为预设的一3n×2n的矩阵。当然，X＝f(U)除了可以是如前所述的X＝MU线性模型，还可以是其他模型，如支持向量机模型、神经网络模型等。

在本发明实施例中，通过转换矩阵M将人脸关键特征点的三维位置坐标和二维位置坐标结合起来，为实现对人脸关键特征点的精确定位提供了基础。

在步骤S202中，通过特征点维度转换模型计算二维位置坐标对应的人脸关键特征点的三维位置坐标。

在步骤S203中，将三维位置坐标投影到二维人脸图像上，获取三维位置在二维人脸图像上的估计坐标。

在本发明实施例中，将计算得到的三维位置坐标投影到二维人脸图像，具体地，投影时可采用通用的相机成像模型，以简化三维位置坐标到二维人脸图像中二维位置估计坐标的转换，提高定位速度。

在步骤S204中，通过估计坐标和二维位置坐标计算人脸关键特征点的定位精度。

在本发明实施例中，优选地，可通过计算每两个最接近的坐标的距离来计算定位精度，从而简化定位精度计算复杂度，进一步提高定位速度。当然，也可以采用其他方式确定定位精度。

在步骤S205中，当定位精度小于一预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点。

在本发明实施中，可预设一预设阈值，以根据不同应用情景要求，设置对应的定位精度。当定位精度小于该预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而完成二维人脸图像的人脸关键特征点的定位。

在本发明实施例中，利用三维位置坐标对人脸关键特征点的二维位置坐标进行的准确度进行判断，当定位精度小于一预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而结合二维人脸图像和三维人脸图像中的人脸关键特征点确定最终的人脸关键特征点，实现对人脸关键特征点的精确定位。

实施例二：

图3示出了本发明实施例二提供的二维人脸关键特征点定位方法的实现流程，详述如下：

在步骤S301中，接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将二维位置坐标输入到预先建立的特征点维度转换模型。

在步骤S302中，通过特征点维度转换模型计算二维位置坐标对应的人脸关键特征点的三维位置坐标。

在步骤S303中，将三维位置坐标投影到二维人脸图像上，获取三维位置在所述二维人脸图像上的估计坐标。

在步骤S304中，通过估计坐标和二维位置坐标计算人脸关键特征点的定位精度。

在本发明实施例中，步骤S301至S304与实施例一中的步骤S201至204对应相同，在此不再赘述。

在步骤S305中，判断计算得到的定位精度是否小于一预设阈值，是则跳转至步骤S306，否则跳转至步骤S307。

在步骤S306中，当定位精度小于该预设阈值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点。

在步骤S307中，当定位精度不小于该预设阈值时，将估计坐标设置为二维位置坐标输入到预先建立的特征点维度转换模型，并跳转至步骤S302，从而循环执行步骤S302、303、304直至定位精度位于预设范围内，最终实现用户期望的人脸关键特征点的精确定位。

在本发明实施例中，当定位精度不小于一预设阈值(即没有达到用户期望的定位精度)时，将此次估计坐标设置为二维位置坐标输入到前述预先建立的特征点维度转换模型，即：将初始的二维位置坐标对应的三维位置坐标投影到二维人脸图像上，获取三维位置在二维人脸图像上的估计坐标，将该估计坐标作为人脸关键特征点的二维位置坐标，以对人脸关键特征点的位置坐标进行修正，并跳转至步骤S302，进行循环执行步骤S302、303、304直至定位精度位于预设范围内，最终实现用户期望的人脸关键特征点的精确定位。

在本发明实施例中，当定位精度不小于一预设阈值(即没有达到用户期望的定位精度)时，前一次估计坐标(由三维位置坐标获得的估计坐标)被设置为当前次的二维位置坐标，对人脸关键特征点的位置坐标进行修正，进而输入到预先建立的特征点维度转换模型，计算当前次的估计坐标，如果根据当前次的估计坐标和二维位置坐标计算得到的人脸关键特征点的定位精度位于预设范围内，则将当前次的二维位置坐标作为人脸关键特征点。否则，不断对人脸关键特征点的位置坐标进行修正，直至得到用户期望精度的人脸关键特征点。

在本发明实施例中，结合三维位置坐标对人脸关键特征点的二维位置坐标进行的准确度进行判断，当定位精度不小于一预设阈值时，不断利用三维位置坐标对人脸关键特征点的位置坐标进行修正，从而结合二维人脸图像和三维人脸图像中的人脸关键特征点确定最终的人脸关键特征点，实现对人脸关键特征点的精确定位，提高了人脸关键特征点的定位精确度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

实施例三：

图4示出了本发明实施例三提供的二维人脸关键特征点定位系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

关键点二维坐标获取单元41，用于接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

关键点三维坐标计算单元42，用于通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

二维估计坐标获取单元43，用于将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

定位精度计算单元44，用于通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；以及

特征点设置单元45，用于当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点。

在本发明实施例中，二维人脸关键特征点定位系统中各单元的实施方式可参考实施例一中对应各步骤的实施方式，在此不再赘述。

实施例四：

图5示出了本发明实施例四提供的二维人脸关键特征点定位系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

关键点二维坐标获取单元41，用于接收输入的二维人脸图像，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

关键点三维坐标计算单元42，用于通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

二维估计坐标获取单元43，用于将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

定位精度计算单元44，用于通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；以及

特征点设置单元45，用于当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点。

进一步地，该系统还可以包括：

特征点标注单元51，用于采集多个人脸的二维人脸图像和对应的三维人脸图像，并对应标注出所述二维人脸图像和所述三维人脸图像中的人脸关键特征点；

转换模型构建单元52，用于以所述二维人脸图像和所述三维人脸图像中的人脸关键特征点的坐标作为输入，构建出一特征点维度转换模型X＝f(U)，其中，U为所述二维人脸图像中人脸关键特征点的坐标，X为所述三维人脸图像中人脸关键特征点的坐标；

坐标设置单元53，用于当定位精度计算单元44计算的定位精度不小于预设阈值时，将估计坐标设置为二维位置坐标输入到预先建立的特征点维度转换模型，以使得所述关键点三维坐标计算单元42、二维估计坐标获取单元43、定位精度计算单元44连续循环运行，直至定位精度位于预设范围内。

在本发明实施例中，二维人脸关键特征点定位系统中各单元的实施方式可参考实施例一、二中对应各步骤的实施方式，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种二维人脸关键特征点定位方法，其特征在于，所述方法包括下述步骤：

a)、接收输入的二维人脸图像，使用随机森林分类器获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

b)、通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

c)、将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

d)、通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；

e)、当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点；

当所述定位精度不小于所述预设阈值时，将所述估计坐标设置为二维位置坐标输入到所述预先建立的特征点维度转换模型，循环执行步骤b)、c)、d)直至所述定位精度小于所述预设阈值。

2.如权利要求1所述的方法，其特征在于，预先建立特征点维度转换模型包括下述步骤：

采集多个人脸的二维人脸图像和对应的三维人脸图像，并对应标注出所述二维人脸图像和所述三维人脸图像中的人脸关键特征点；

以所述二维人脸图像和所述三维人脸图像中的人脸关键特征点的坐标作为输入，构建出一特征点维度转换模型X＝f(U)，其中，U为所述二维人脸图像中人脸关键特征点的坐标，X为所述三维人脸图像中人脸关键特征点的坐标。

3.如权利要求1所述的方法，其特征在于，预设的人脸关键特征点获取算法为主动形状模型算法或随机森林分类器。

4.一种二维人脸关键特征点定位系统，其特征在于，所述系统包括：

关键点二维坐标获取单元，用于接收输入的二维人脸图像，使用随机森林分类器获取人脸关键特征点的二维位置坐标，将所述二维位置坐标输入到预先建立的特征点维度转换模型；

关键点三维坐标计算单元，用于通过所述特征点维度转换模型计算所述二维位置坐标对应的人脸关键特征点的三维位置坐标；

二维估计坐标获取单元，用于将所述三维位置坐标投影到所述二维人脸图像上，获取所述三维位置在所述二维人脸图像上的估计坐标；

定位精度计算单元，用于通过所述估计坐标和所述二维位置坐标计算所述人脸关键特征点的定位精度；

特征点设置单元，用于当所述定位精度小于一预设阈值时，将所述二维位置坐标在所述二维人脸图像中对应的像素点设置为所述二维人脸图像的人脸关键特征点；以及

坐标设置单元，用于当所述定位精度不小于所述预设阈值时，将所述估计坐标设置为二维位置坐标输入到所述预先建立的特征点维度转换模型，以使得所述关键点三维坐标计算单元、二维估计坐标获取单元、定位精度计算单元连续循环运行，直至所述定位精度小于所述预设阈值。

5.如权利要求4所述的系统，其特征在于，所述系统还包括：

特征点标注单元，用于采集多个人脸的二维人脸图像和对应的三维人脸图像，并对应标注出所述二维人脸图像和所述三维人脸图像中的人脸关键特征点；

转换模型构建单元，用于以所述二维人脸图像和所述三维人脸图像中的人脸关键特征点的坐标作为输入，构建出一特征点维度转换模型X＝f(U)，其中，U为所述二维人脸图像中人脸关键特征点的坐标，X为所述三维人脸图像中人脸关键特征点的坐标。

6.如权利要求4所述的系统，其特征在于，预设的人脸关键特征点获取算法为主动形状模型算法或随机森林分类器。

Images