CN110826501A - 一种基于稀疏关键点校准的人脸关键点检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于稀疏关键点校准的人脸关键点检测方法及系统，检测方法包括步骤：S1、计算密集关键点在检测模型输入尺寸下的均值人脸；S2、使用现有人脸检测器检测人脸图像的稀疏关键点；S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。本发明对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度。同时减少了关键点检测对于人脸框的依赖，提高了稳定性。

Description

一种基于稀疏关键点校准的人脸关键点检测方法与系统

技术领域

本发明涉及人脸检测领域，具体涉及一种基于稀疏关键点校准的人脸关键点检测方法与系统。

背景技术

随着深度学习技术的发展，以神经网络为代表的算法，在诸多领域取得了前所未有的突破。其中作为计算机视觉中的经典问题，人脸关键点检测，采用无论是基于深度学习的方法，还是传统的方法，都存在一个共同的缺点——过度依赖人脸框。在现有的方法中，一种检测算法往往只对训练时所用的人脸框表现较好，而换一种人脸框时，人脸关键点的检测精度就会下降。哪怕使用同一种标准的人脸框，检测器不稳定带来人脸框的不稳定，也会对人脸关键点检测造成很大干扰，主要表现莫过于关键点抖动。

为了降低关键点抖动影响，现有技术通过平滑滤波减小这种影响，但这也增加了额外的开销，并且无法从根本上解决抖动问题。这是因为本质框的不稳定问题，决定人脸框的角点，往往没有确定性的标志，导致人脸框的标注标准无法有效统一，哪怕就widerface一种数据库而言，相同姿态下的人脸，框的标注标准都会存在差异，而由此学习得到的检测模型，必然会存在一定的不稳定性。这给目前基于人脸框的人脸关键点检测方法，带来了巨大挑战。

因此，如何避免基于人脸框进行的人脸关键点检测方法所带来的检测精度低的问题，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于稀疏关键点校准的人脸关键点检测方法与系统。本发明对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度。同时减少了关键点检测对于人脸框的依赖，提高了稳定性。

为了实现以上目的，本发明采用以下技术方案：

1、一种基于稀疏关键点校准的人脸关键点检测方法，包括步骤：

S1、计算密集关键点在检测模型输入尺寸下的均值人脸；

S2、使用现有人脸检测器检测人脸图像的稀疏关键点；

S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

进一步地，对于视频跟踪模式后续帧人脸关键点检测，所述步骤S2为：

使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

进一步地，步骤S1之前还包括：

基于密集关键点训练生成检测模型，训练样本以所述均值人脸为标准进行一定比例的扰动增强来生成。

进一步地，通过Ordinary Procrustes Analysis求解所述仿射变换矩阵的参数。

进一步地，所述稀疏关键点包括：

左眼中心，右眼中心，左嘴角和右嘴角，其中，视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。

本发明还提出一种基于稀疏关键点校准的人脸关键点检测系统，包括：

均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；

稀疏关键点检测模块，用于使用现有人脸检测器检测人脸图像的稀疏关键点；

仿射变换矩阵计算模块，用于基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

仿射变换模块，用于基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

关键点检测模块，用于基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。。

进一步地，对于视频跟踪模式后续帧人脸关键点检测，所述稀疏关键点检测模块为：

使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

进一步地，所述检测系统还包括：

训练模块，用于基于密集关键点训练生成检测模型，训练样本以所述均值人脸为标准进行一定比例的扰动增强来生成。

进一步地，通过Ordinary Procrustes Analysis求解所述仿射变换矩阵的参数。

进一步地，所述稀疏关键点包括：

左眼中心，右眼中心，左嘴角和右嘴角，其中，视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。

本发明与现有技术相比，具有如下效果：

(1)本发明对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度；

(2)本发明所选取的稀疏关键点，相对人脸框交点来说，有更明确的语义信息，因此，更加统一，即使是不同的数据集，对于这些基准点来说，标注的标准基本是统一的，如眼睛中心、嘴角等。那么对于神经网络来说，有明确语义信息的关键点，也更容易学到统一的特征，相对与人脸框来说，预测相对更加稳定。

(3)本发明减少了关键点检测对于人脸框的依赖，提高了关键点检测的稳定性。

(4)本发明所选取的用于校准的稀疏关键点，并非限定为4个，可以根据需要选择性地增加额外的关键点，如跟踪阶段，我们加入了脸颊的关键点，该关键点由上一帧检测得到的密集关键点得到，这样可以进一步提高检测的稳定性。

附图说明

图1是实施例一提供的一种基于稀疏关键点校准的人脸关键点检测方法流程图；

图2是实施例二提供的一种基于稀疏关键点校准的人脸关键点检测系统结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一

如图1所示，本实施例提出了一种基于稀疏关键点校准的人脸关键点检测方法，包括：

S1、计算密集关键点在检测模型输入尺寸下的均值人脸；

人脸关键点检测包括人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本发明采用深度学习的方法对关键点进行检测，具体的检测方法在此不作限定。

利用检测模型进行关键点检测之前，需要训练生成相应的检测模型。训练样本的制作以所述均值人脸为标准进行一定比例的扰动增强来生成，保证训练样本和预测样本分布的一致性。通常情况下，样本数量越多，分布越均衡，网络训练的效果越好。本发明采集一批密集关键点数据作为关键点检测的训练样本，根据这些人脸关键点数据，以现有关键点的外界矩形框为基准，外扩特定比例，例如0.4，然后作为人脸框。以该人脸框作为标准训练得到关键点检测模型，同时得到关键点检测模型的输入尺寸，如(112x112)。

由于同一人不同仰角度、不同左右摇摆角度下的图像关键点位置不同，不同人不同图像的关键点位置也有差异，因此，本发明在获取到人脸框后，计算得到该人脸框标准下均值人脸，使均值人脸图像同时包含多幅人脸图像的综合信息。此外，人脸在三维空间中的变化分为沿横轴、纵轴和竖轴的平移和旋转，在获取到均值人脸后，对通过几何归一化的方法克服平移和旋转对图像关键点检测的影响，由此生成密集关键点在检测模型输入尺寸下的均值人脸。

S2、使用现有人脸检测器检测人脸图像的稀疏关键点；

本发明基于稀疏关键点校准实现人脸关键点检测，因此，对于输入的人脸图像，本发明首先检测人脸图像的稀疏关键点。人脸图像可以为BGR图像。对稀疏关键点进行检测，本发明不限定稀疏关键点的个数。例如，四个稀疏关键点包括：左眼中心，右眼中心，左嘴角和右嘴角。本发明采用现有人脸检测器进行检测，例如多任务卷积神经网络(Multi-taskconvolutional neural network，Mtcnn)。

S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

本发明基于仿射变换实现基于稀疏关键点的校准。仿射变换就是一种简单的变换，它的变化包括旋转、平移、伸缩，原来的直线仿射变换后还是直线，原来的平行线经过仿射变换之后还是平行线，这就是仿射。仿射变换的矩阵是其次坐标形式的变换矩阵。本发明将稀疏关键点与均值人脸间进行仿射变换，并计算相应的仿射变换矩阵。

计算仿射变换矩阵的核心是仿射变换参数的求解，其实质为一个最小二乘问题，可通过Ordinary Procrustes Analysis求解，即：寻找一个关于平移，旋转，缩放的仿射变换，使得原图中所选取的关键点，经过该变换后，与目标均值人脸中对应关键点的距离最小。

为了在稀疏关键点与均值人脸间进行仿射变换，密集关键点中必须包含对应的稀疏关键点，如眼睛，嘴巴，脸颊的点位，而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。因此，本发明所述的关键点检测方法应用范围广，适用于基本所有的人脸关键点数据库。

S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

基于上述计算的仿射变换矩阵，本发明直接对原始人脸图像中的人脸进行仿射变换，映射到新的人脸图像，并对新的人脸图像按照均值人脸的尺寸进行裁剪，获得最终的目标图像，作为关键点检测模型的输入进行关键点检测。

S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

基于构建好的检测模型，本发明将对用户输入的人脸图像进行仿射变换后的图像输入检测模型，实现对人脸关键点的检测。检测出仿射变换后图像的关键点后，通过逆仿射变换对关键点坐标进行还原，以在原始人脸图像中获得人脸关键点。

视频流由多个帧的图像构成，因此，对视频流中的人脸关键点进行检测需要检测不同帧图像中的人脸关键点。为了优化人脸关键点的检测精度，对于跟踪模式下后续帧的关键点检测，本发明采用上一帧稀疏关键点代替使用现有人脸检测器检测人脸图像的稀疏关键点，以与均值人脸进行仿射变换，并进一步计算仿射变换矩阵。也就是说，上述步骤S2为：

S2、使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

对于视频流，采取跟踪的时候，可以使用上一帧的点位来做仿射变换，获取当前输入目标图像，但对于这种情况，为了更精确，我们使用上一步中的关键点，外加脸颊轮廓点位，来进行仿射变换。视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。这样能使得对于侧脸的情况有更好的效果，以进一步提高稳定性。

实施例二

如图2所示，本实施例提出了一种基于稀疏关键点校准的人脸关键点检测系统，包括：

均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；

人脸关键点检测包括人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本发明采用深度学习的方法对关键点进行检测，具体的检测方法在此不作限定。

利用检测模型进行关键点检测之前，需要训练生成相应的检测模型。训练样本的制作均值人脸为标准进行一定比例的扰动增强来生成，保证训练样本和预测样本分布的一致性。通常情况下，样本数量越多，分布越均衡，网络训练的效果越好。本发明采集一批密集关键点数据作为关键点检测的训练样本，根据这些人脸关键点数据，以现有关键点的外界矩形框为基准，外扩特定比例，例如0.4，然后作为人脸框。以该人脸框作为标准训练得到关键点检测模型，同时得到关键点检测模型的输入尺寸，如(112x112)。

由于同一人不同仰角度、不同左右摇摆角度下的图像关键点位置不同，不同人不同图像的关键点位置也有差异，因此，本发明在获取到人脸框后，计算得到该人脸框标准下均值人脸，使均值人脸图像同时包含多幅人脸图像的综合信息。此外，人脸在三维空间中的变化分为沿横轴、纵轴和竖轴的平移和旋转，在获取到均值人脸后，对通过几何归一化的方法克服平移和旋转对图像关键点检测的影响，由此生成密集关键点在检测模型输入尺寸下的均值人脸。

稀疏关键点检测模块，用于使用现有人脸检测器检测人脸图像的稀疏关键点；

本发明基于稀疏关键点校准实现人脸关键点检测，因此，对于输入的人脸图像，本发明首先检测人脸图像的稀疏关键点。人脸图像可以为BGR图像。对稀疏关键点进行检测，本发明不限定稀疏关键点的个数。例如，四个稀疏关键点包括：左眼中心，右眼中心，左嘴角和右嘴角。本发明采用现有人脸检测器进行检测，例如多任务卷积神经网络(Multi-taskconvolutional neural network，Mtcnn)。

仿射变换矩阵计算模块，用于基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

本发明基于仿射变换实现基于稀疏关键点的校准。仿射变换就是一种简单的变换，它的变化包括旋转、平移、伸缩，原来的直线仿射变换后还是直线，原来的平行线经过仿射变换之后还是平行线，这就是仿射。仿射变换的矩阵是其次坐标形式的变换矩阵。本发明将稀疏关键点与均值人脸间进行仿射变换，并计算相应的仿射变换矩阵。

计算仿射变换矩阵的核心是仿射变换参数的求解，其实质为一个最小二乘问题，可通过Ordinary Procrustes Analysis求解，即：寻找一个关于平移，旋转，缩放的仿射变换，使得原图中所选取的关键点，经过该变换后，与目标均值人脸中对应关键点的距离最小。

为了在稀疏关键点与均值人脸间进行仿射变换，密集关键点中必须包含对应的稀疏关键点，如眼睛，嘴巴，脸颊的点位，而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。因此，本发明所述的关键点检测方法应用范围广，适用于基本所有的人脸关键点数据库。

仿射变换模块，用于基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

基于上述计算的仿射变换矩阵，本发明直接对原始人脸图像中的人脸进行仿射变换，映射到新的人脸图像，并对新的人脸图像按照均值人脸的尺寸进行裁剪，获得最终的目标图像，作为关键点检测模型的输入进行关键点检测。

关键点检测模块，用于基于所述检测模型检测人脸图像的关键点；通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

基于构建好的检测模型，本发明将对用户输入的人脸图像进行仿射变换后的图像输入检测模型，实现对人脸关键点的检测。检测出仿射变换后图像的关键点后，通过逆仿射变换对关键点坐标进行还原，以在原始人脸图像中获得检测出的人脸关键点。

视频流由多个帧的图像构成，因此，对视频流中的人脸关键点进行检测需要检测不同帧图像中的人脸关键点。为了优化人脸关键点的检测精度，对于跟踪模式下后续帧的关键点检测，本发明采用上一帧稀疏关键点代替使用现有人脸检测器检测人脸图像的稀疏关键点，以与均值人脸进行仿射变换，并进一步计算仿射变换矩阵。也就是说，上述稀疏关键点检测模块为：

使用上一帧图像中的稀疏关键点作为人脸图像稀疏关键点。

对于视频流，采取跟踪的时候，可以使用上一帧的点位来做仿射变换，获取当前输入目标图像，但对于这种情况，为了更精确，我们使用上一步中的关键点，外加脸颊轮廓点位，来进行仿射变换。视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。这样能使得对于侧脸的情况有更好的效果，以进一步提高稳定性。

由此可知，本发明提供的一种基于稀疏关键点校准的人脸关键点检测方法与系统，对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度。同时减少了关键点检测对于人脸框的依赖，提高了稳定性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于稀疏关键点校准的人脸关键点检测方法，其特征在于，包括步骤：

S1、计算密集关键点在检测模型输入尺寸下的均值人脸；

S2、使用现有人脸检测器检测人脸图像的稀疏关键点；

S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

2.根据权利要求1所述的人脸关键点检测方法，其特征在于，对于视频跟踪模式后续帧人脸关键点检测，所述步骤S2为：

使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

3.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，步骤S1之前还包括：

基于密集关键点训练生成检测模型，训练样本以所述均值人脸为标准进行一定比例的扰动增强来生成。

4.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，通过OrdinaryProcrustes Analysis求解所述仿射变换矩阵的参数。

5.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，所述稀疏关键点包括：

左眼中心，右眼中心，左嘴角和右嘴角，其中，视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。

6.一种基于稀疏关键点校准的人脸关键点检测系统，其特征在于，包括：

均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；

稀疏关键点检测模块，用于使用现有人脸检测器检测人脸图像的稀疏关键点；

仿射变换矩阵计算模块，用于基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

仿射变换模块，用于基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

关键点检测模块，用于基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

7.根据权利要求6所述的人脸关键点检测系统，其特征在于，对于视频跟踪模式后续帧人脸关键点检测，所述稀疏关键点检测模块为：

使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

8.根据权利要求6或7所述的人脸关键点检测系统，其特征在于，所述检测系统还包括：

训练模块，用于基于密集关键点训练生成检测模型，训练样本以所述均值人脸为标准进行一定比例的扰动增强来生成。

9.根据权利要求6或7所述的人脸关键点检测系统，其特征在于，通过OrdinaryProcrustes Analysis求解所述仿射变换矩阵的参数。

10.根据权利要求6或7所述的人脸关键点检测系统，其特征在于，所述稀疏关键点包括：

左眼中心，右眼中心，左嘴角和右嘴角，其中，视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。

Images