CN107491767A - 端到端的无约束人脸关键点检测方法 - Google Patents

Abstract

本发明公开了一种端到端的无约束人脸关键点检测方法，属于人脸识别技术领域，本发明预先确定脸部的若干个关键点、确定关键点可见度信息、进行多任务训练来预测关键点的坐标和可见度等步骤，实现了端到端的训练方案，不需要提供例如3D人脸等额外的信息，也不需要像多角度关键点检测方案一样需要先多人脸姿势进行预测，本发明提高了时间效率；本发明能够处理任意角度变化的人脸也能够处理任意遮挡程度情况下的人脸。

Description

端到端的无约束人脸关键点检测方法

技术领域

本发明属于人脸识别技术领域，特别是涉及一种端到端的无约束人脸关键点检测方法。

背景技术

人脸对齐旨在定位人脸中的一些关键位置，例如眼角、嘴角、鼻尖等的坐标信息。自该问题产生以来，不断有各种方法相继提出。但这些方法一直都存在一个共同的问题：无法同时处理大角度和遮挡严重的人脸，为解决这个问题，通常通过引入3D模型或者是多角度模型进行关键点检测，此种方法需要通过模型进行多角度的计算检测，信息量庞大，效率较低。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种端到端的无约束人脸关键点检测方法。

为实现上述目的，本发明提供了一种端到端的无约束人脸关键点检测方法，包括以下步骤：

步骤一、预先确定脸部的若干个关键点，并采集各个关键点的坐标信息y＝(a₀，b₀，...，a_i，b_i，...，a_n，b_n)，其中y为关键点的坐标信息，(a_i，b_i)为第i个关键点的坐标信息；

步骤二、确定关键点可见度信息z＝(z₀，...，z_i，...，z_n)，并定义关键点可见时z_i的数值以及关键点不可见时z_i的数值，z_i为第i个关键点可见度信息；

步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度；

其中N为训练样本数量，y_i为第i个样本的关键点坐标信息，f₁为关键点的回归函数，L₁为关键点回归损失函数；z_i为第i个样本的关键点可见度信息，f₂为关键点可见度的分类函数，L₂为关键点可见度分类损失函数，λ₁为回归函数调整系数，λ₂为可见度分类目标函数调整系数。

较佳的，步骤二中定义关键点可见时z_i＝1；关键点不可见时z_i＝0。

较佳的，步骤一中的坐标信息y为解析后的坐标信息，其中a_i＝a_i＇×z_i+(z_i-n)，b_i＝b_i＇×z_i+(z_i-n)，其中n为自定义常数，a_i＇和b_i＇为第i个关键点的实际坐标信息。

较佳的，步骤三中的关键点回归损失函数如下：

其中f₁＝(f_0x，f_0y，...，f_ix，f_iy，...，f_nx，f_ny)为预测的关键点坐标。

较佳的，步骤三中的关键点回归损失函数如下：

其中f₂＝(f₀，...，fi，...，f_n)为预测的关键点可见度。

本发明的有益效果是：本发明是端到端的训练方案，不需要提供例如3D人脸等额外的信息，也不需要像多角度关键点检测方案一样需要先多人脸姿势进行预测，本发明提高了时间效率；本发明能够处理任意角度变化的人脸也能够处理任意遮挡程度情况下的人脸。

具体实施方式

下面结合实施例对本发明作进一步说明：

一种端到端的无约束人脸关键点检测方法，包括以下步骤：

步骤一、在面部图片上预先对整个面部确定若干个关键点，并采集各个关键点的坐标信息y＝(a₀，b₀，...，a_i，b_i，...，a_n，b_n)，其中y为关键点的坐标信息，(a_i，b_i)为第i个关键点的坐标信息；

步骤二、对于不同角度的面部图片或者佩戴饰品的面部图片，预先设定的关键点有可能被遮蔽，故需要确定关键点可见度信息z＝(z₀，...，z_i，...，z_n)，并定义关键点可见时z_i的数值以及关键点不可见时z_i的数值，z_i为第i个关键点可见度信息，本实施例中关键点可见时z_i＝1；关键点不可见时z_i＝0；

步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度；

其中N为训练样本数量，y_i为第i个样本的关键点坐标信息，f₁为关键点的回归函数，L₁为关键点回归损失函数；z_i为第i个样本的关键点可见度信息，f₂为关键点可见度的分类函数，L₂为关键点可见度分类损失函数，λ₁为回归函数调整系数，λ₂为可见度分类目标函数调整系数。

其中关键点回归损失函数如下：

其中f₁＝(f_0x，f_0y，...，f_ix，f_iy，...，f_nx，f_ny)为预测的关键点坐标。

其中关键点回归损失函数如下：

其中f₂＝(f₀，...，fi_，...，f_n)为预测的关键点可见度。

需要补充的是，为方便处理，步骤一中的坐标信息y为解析后的坐标信息，其中a_i＝a_i＇×z_i+(z_i-n)，b_i＝b_i＇×z_i+(z_i-n)，其中n为自定义常数，本实施例中为配套z的取值，定义n＝1，a_i＇和b_i＇为第i个关键点的实际坐标信息，则y＝(a₀＇×z_i0+(z_i-1)，b_i0＇×(z₀-n1)，...，a_i＇×z_i+(z_i-1)，b_i＇×(z_i-1)，...，a_n＇×z_n+(z_i-1)，b_n＇×(z_in-1))，当关键点可见时z_i＝1，则a_i＝a_i＇，b_i＝b_i＇，当关键点不可见时z_i＝0，则a_i＝-1，b_i＝-1。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种端到端的无约束人脸关键点检测方法，其特征在于包括以下步骤：

步骤一、预先确定脸部的若干个关键点，并采集各个关键点的坐标信息y＝(a₀，b₀，...，a_i，b_i，...，a_n，b_n)，其中y为关键点的坐标信息，(a_i，b_i)为第i个关键点的坐标信息；

步骤二、确定关键点可见度信息z＝(z₀，...，z_i，...，z_n)，并定义关键点可见时z_i的数值以及关键点不可见时z_i的数值，z_i为第i个关键点可见度信息；

步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度；

其中N为训练样本数量，y_i为第i个样本的关键点坐标信息，f₁为关键点的回归函数，L₁为关键点回归损失函数；z_i为第i个样本的关键点可见度信息，f₂为关键点可见度的分类函数，L₂为关键点可见度分类损失函数，λ₁为回归函数调整系数，λ₂为可见度分类目标函数调整系数。

2.如权利要求1所述的端到端的无约束人脸关键点检测方法，其特征是：步骤二中定义关键点可见时z_i＝1；关键点不可见时z_i＝0。

3.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法，其特征是：步骤一中的坐标信息y为解析后的坐标信息，其中a_i＝a_i＇×z_i+(z_i-n)，b_i＝b_i＇×z_i+(z_i-n)，其中n为自定义常数，a_i＇和b_i＇为第i个关键点的实际坐标信息。

4.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法，其特征是：步骤三中的关键点回归损失函数如下：

其中f₁＝(f_0x，f_0y，...，f_ix，f_iy，...，f_nx，f_ny)为预测的关键点坐标。

5.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法，其特征是：步骤三中的关键点回归损失函数如下：

其中f₂＝(f₀，...，fi，...，f_n)为预测的关键点可见度。