CN108764048B - 人脸关键点检测方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉处理技术领域，并提出了一种人脸关键点检测方法，旨在解决在人脸关键点检测中计算代价较大和计算资源利用率低下的技术问题。为此目的，本发明中的人脸关键点检测方法包括：利用预先构建的人脸关键点识别模型对人脸图像进行识别，得到人脸关键点的位置信息；人脸关键点识别模型的训练过程为：校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位；利用变换矩阵对校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据；回归网络对校正样本数据进行回归计算，检测出人脸关键点位置信息。基于上述步骤，本发明可以快速、准确地检测出人脸图像中人脸关键点信息。

Description

人脸关键点检测方法及装置

技术领域

本发明涉及计算机视觉处理技术领域，特别涉及基于非刚性曲线拟合的损失函数的图像处理与模式识别的技术领域，具体涉及一种人脸关键点检测方法及装置。

背景技术

随着计算机图形视觉技的发展以及人机交互技术的发展，及时识别出监控中的人物的身份信息变得越来越重要。身份识别在自动驾驶、人机交互、智慧城市、智能交通及智能监控等领域都有应用。其中，人物的身份识别主要通过人脸关键点的检测完成。

目前，人脸关键点检测方法，主要分为两大类：基于回归的人脸检测方法和基于卷积神经网络的人脸检测方法。基于回归的人脸检测方法则通过图像特征直接回归出模型参数；其中，回归器根据形状索引特征来更新模型参数，并计算出新的特征用于下一次迭代。基于卷积神经网络的人脸检测方法则将关键点定位看作一个由图像像素映射到关键点坐标的回归过程；其中，使用全局网络由整张图像定位所有关键点，使用局部网络由关键点处的图像块对关键点位置进行调整。

上述人脸检测方法的复杂度非常依赖关键点的数量，在关键点数量较多时计算代价较大；所使用的损失函数直接回归所有关键点的坐标，忽略了不同关键点的语义性，使得计算资源利用率低下。

发明内容

为了解决现有技术中的上述问题，即为了解决在人脸关键点检测中，对关键点数量的依赖所造成的计算代价大，以及损失函数直接回归所有关键点的坐标，忽略了不同关键点的语义性，造成的计算资源利用率低下的问题，本申请提供了一种人脸关键点检测方法及装置，以解决上述问题。

第一方面，本申请提供了一种人脸关键点检测方法，该方法包括如下步骤：获取待识别人脸图像；利用预先构建的人脸关键点识别模型对上述人脸图像进行识别，得到上述人脸图像中人脸关键点的信息；其中，上述人脸关键点识别模型，其模型结构中包括校正网络、变换矩阵和回归网络，其训练过程为：上述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位；其中，上述训练用样本数据为预先标定了人脸框及人脸关键点的人脸图像；利用上述变换矩阵对上述校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据；其中，上述变换矩阵为上述校正网络预测关键点与平均点之间的变换矩阵；上述回归网络对上述校正样本数据进行回归运算，定位出人脸关键点位置，上述回归网络为卷积神经网络。

在一些示例中，“上述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位”的步骤包括：对上述训练用样本数据进行尺度缩放，确定经尺度缩放后包含人脸框的图像为小尺度样本数据；基于所述小尺度样本数据中的关键点数据对所述训练用样本数据进行面内几何变化的变换，确定出粗略关键点的位置；其中，上述面内几何变化为对图像进行面内旋转，平移，缩放操作。

在一些示例中，“基于所述小尺度样本数据中的关键点数据对所述训练用样本数据进行面内几何变化的变换”的步骤包括：通过如下公式对上述小尺度样本数据进行位置变换：

其中，x，y代表训练用样本数据中图片的像素位置，x，y代表位置变换后图片中的像素位置；s代表尺度变化因子，θ代表面内旋转角，h₁h₂分别代表水平和垂直方向的位移。

在一些示例中，“所述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位”的步骤包括：上述校正网络通过如下欧式距离损失函数粗略定位人脸关键点：

其中，p_c和p_f分别为人脸轮廓点和五官点的坐标，

和

为其对应的标注点的坐标，N_c和N_f为轮廓点p_c和五官点p_f的数量。

在一些示例中，“上述回归网络对上述校正样本数据进行回归运算，定位出人脸关键点位置”的步骤包括：连接粗略关键点中各人脸轮廓点，形成人脸轮廓线；利用在损失函数中预设的目标领域，回归计算轮廓点的目标点；其中，上述目标邻域由目标轮廓点与左右相邻点连接所组成的折线决定。

在一些示例中，“利用在损失函数中预设的目标领域，回归计算轮廓点的目标点”的步骤包括：通过如下损失函数公式，回归计算轮廓点的目标点：

其中，

为轮廓点

的目标邻域，由其真实点

与相邻点

和

的连线组成，该连线的点集由Bresenham算法获得，t_ij代表点集里面第j个点，d是距离函数，新的目标轮廓点t_i是点集中与

有最小距离的点。

在一些示例中，“所述回归网络对所述校正样本数据进行回归运算，定位出人脸关键点位置”的步骤进一步包括：上述回归网络通过如下总损失函数对上述校正样本数据进行回归计算，定位出人脸关键点位置：

Loss＝λ*Loss_cf+(1-λ)*Loss_l2

其中，λ为加权参数。

第二方面，本申请还提供了一种存储装置，该存储装置可以是上述实施例中描述的服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述存储装置承载有一个或者多个程序，上述程序适于由处理器加载并执行，当上述一个或者多个程序被该装置执行时可以是实现上述发明内容中的任一方法。

第三方面，本申请还提供了一种处理装置，该处理装置包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；其中，上述程序适于由处理器加载并执行以实现上述发明内容中的任一方法。

本发明提供的人脸关键点检测方法，通过预先构建的人脸关键点识别模型对待识别人脸图像进行识别，检测出人脸中关键点的信息。其有益效果为：在处理复杂姿态变化的人脸关键点时，采用超轻量级的快速校正网络预测出粗略的关键点位置；该关键点位置可以有效捕获出图像中人脸基本的面内几何变换；采用轻量化的回归计算进行关键点定位，从而使用更少的运算量达到更优的结果，保证了关键点检测的高效性和实时性。优化损失函数使得弱语义点的拟合更加灵活，合理地分配网络拟合能力，提升运算性能。

附图说明

图1是本发明实施例中一种能够执行并实现人脸关键点检测方法的应用系统的主要结构示意图；

图2是本发明实施例中一种人脸关键点方法的主要步骤示意图；

图3是本发明实施例中一种人脸关键点识别模型的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的人脸关键点检测方法实施例的示例性系统架构示意图。

如图1所示，系统架构可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如人机交互应用、智能监控、远程授权等应用系统或软件。

终端设备101可以是具有视频获取装置并支持身份或行为验证应用的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；可以理解，终端设备中包括用于影像辨识的视觉传感器，或与视觉传感器连接，从而获得待进行身份识别的人物的人脸图像。

服务器103可以是提供各种服务的服务器，例如对终端设备101上传的视频数据或图像数据进行身份验证或身份识别的处理服务器，或应用平台。处理服务器可以对与其网络连接的各终端设备上传的视频数据或图像数据进行分析等处理，并将处理结果(例如视频中人物的面部关键点信息)反馈给终端设备或第三方使用。

需要说明的是，本申请实施例所提供的人脸关键点检测方法一般由服务器103执行，相应地，可应用本申请所示方法的装置一般设置于服务器103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的人脸关键点检测方法的一个实施例的流程。该人脸关键点检测方法，包括以下步骤：

步骤201，获取待识别人脸图像。

在本实施例中，可以应用人脸关键点检测方法的电子设备(如图1中的服务器)或应用平台，获得待进行身份验证或身份识别的人脸图像。可以从与上述电子设备或应用平台连接的终端设备获得人脸图像；具体地，上述终端设备可以通过与其连接的视觉传感器获得识别区域内人物的人脸图像。上述人脸图像可以是图片，还可以是对视频进行镜头分割，得到与待检测人脸相关的图像帧或图像帧序列。

步骤202，利用预先构建的人脸关键点识别模型对上述人脸图像进行识别，得到上述人脸图像中人脸关键点的信息。

本实施例中，基于步骤201中所获取的人脸图像，上述电子设备或应用平台利用预先构建的人脸关键点识别模型进行识别，检测出上述人脸图像中关键点的位置信息。这里，上述人脸关键点识别模型可以是基于深度卷积神经网络构建的模型，例如可以是Siamese网络模型，利用Siamese网络模型完成待检测人脸图像中人脸的关键点的位置信息的识别。上述人脸关键点识别模型，其输入为包含人脸图像的图片或视频帧，输出为所输入的图片或视频帧所对应的人脸图像中的人脸关键点的信息。上述人脸关键点为标识或用于人脸区别的五官、面部轮廓的点。上述人脸关键点可以分为强语义点和弱语义点，强语义点为人脸结构中的顶点和拐角，如眼角、鼻尖、嘴角等；弱语义点为分布在人脸的强纹理边缘，用来指示人脸结构中弧线的点，如轮廓、鼻梁、眼眶等处的点。

上述预先构建的人脸关键点识别模型的网络结构包括校正网络、变换矩阵和回归网络，其训练过程为：上述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位；其中，上述训练用样本数据为预先标定了人脸框及人脸关键点的人脸图像；利用上述变换矩阵对上述校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据；其中，上述变换矩阵为上述校正网络预测关键点与平均点之间的变换矩阵；上述回归网络对上述校正样本数据进行回归计算，定位出人脸关键点位置，上述回归网络为卷积神经网络。

上述训练用样本数据为预先标定了人脸关键点的图像数据。上述标定了人脸关键点的图像数据可以是预先标定好人脸框，以及人脸框内各关键点坐标的图像数据。

上述校正网络用于对训练用数据进行粗略的定位，对样本数据进行校正，作为第二级训练用样本数据。上述变换矩阵为用最小二乘法估计出校正网络预测点到平均点的相似度变换矩阵，其中平均点为训练样本中所标注各关键点的坐标平均。上述回归网络用于精确定位关键点的神经网络。

具体地，在进行人脸关键点检测中，对待检测的人脸图像，将图像插值到小尺度送入到校正网络进行粗略关键点定位；使用预测点对原图进行相似度变换校正；将变换校正后的图片输入第二级精确定位网络进行定位，从而捕获精确的人脸关键点位置。

在本实施例的一些可选的实现方式中，“上述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位”的步骤包括：对上述训练用样本数据进行尺度缩放，确定经尺度缩放后包含人脸框的图像为小尺度样本数据；基于所述小尺度样本数据中的关键点数据对所述训练用样本数据进行面内几何变化的变换，确定出粗略关键点的位置；其中，上述面内几何变化为对图像进行面内旋转，平移，缩放操作。这里，上述校正网络利用欧式距离损失函数和反向传播算法学习针对小尺度人脸图像的粗略关键点定位，用于对上述训练用样本数据中的人脸关键点的快速校正。

图像中人脸存在的复杂姿态变化可分为面内几何变化和面外旋转变化。面内几何变化有面内旋转(翻滚角变化)、平移和缩放；其变化主要源于人脸检测器的不稳定性以及人脸本身的姿态变化。面外旋转变化可以为俯仰角变化，偏航角变化以及人脸表情的变化。人脸关键点检测器需要从人脸图像中准确地理解上述两种变化并提供人脸关键点坐标，往往要丰富的训练样本。这里，用于快速校正的校正网络通过如下的公式对样本数据进行位置变换：

其中，xy代表输入的训练用样本数据图片中的像素位置，x'y'代表变换后输出图片中的像素位置。s代表尺度变化因子，θ代表小尺度样本中的预测的关键点与尺度缩放前关键点面内旋转角，h₁，h₂分别代表小尺度样本中的预测的关键点与尺度缩放前关键点水平和垂直方向的位移。上述位置变换可以为上述人脸图像中人脸关键点的坐标变换。

在上述实现方式中，用于快速校正的校正网络采用回归网络拟合出粗略的关键点信息用于校正面内几何变化。其中，为降低算法整体的运算量，采用超小尺度的图片(30×30)作为校正网络的输入。在上述小尺度的图片中，人脸五官等细节丢失较多；但整体头部姿态基本可辨识。使得回归网络可以更好地在训练过程中学习到全局姿态信息的提取，从而帮助整体关键点检测框架有效地校正面内姿态变化。上述快速校正有如下公式实现：

其中，I₁代表小尺度输入图片，s₁代表第一阶段预测出的关键点坐标，I₂代表校正后的人脸检测框，T代表相似度变换校正过程。预先对训练用样本中标注的关键点坐标进行了平均，构建了平均脸的关键点坐标。在上述快速校正过程中，用最小二乘法估计出校正网络预测点到平均点的相似度变换矩阵；利用该变换矩阵对图像进行变换。

在人脸关键点误差分布中，最大误差集中于人脸轮廓区域，由于面部轮廓点没有严格语义。因人脸轮廓区域的关键点不会象眼角、鼻尖、嘴角等关键点具有显著语义，在标注时，无法准确判断这些点的正确位置，因此，在人脸轮廓区域标注出的关键点具有随机性。

为了人脸图像中诸如人脸轮廓的弱语义关键点的随机性，通过三维曲面配准中的最近点配准法并结合关键点回归问题确定人脸关键点信息：

Pt＝f(I) (3)

Pt表示根据输入图片I预测的形状向量，f是回归网络的映射。Pt由各关键点的坐标组成Pt＝[p₁,p₂…,p_l]，l是关键点的数量。

在一些具体地实现方式中，使用欧式距离损失回归人脸关键点坐标位置：

分离上述人脸关键点为轮廓点和五官点，将上述公式4改为：

其中，p_c和p_f分别为人脸轮廓点和五官点的坐标，

和

为其对应的标注点的坐标，N_c和N_f为轮廓点p_c和五官点p_f的数量。

在欧式距离损失函数中，距离损失要求所有点接近其真实点，由于轮廓点的平均误差远大于五官点，该损失会被不合理的面部轮廓点损失主导。这里，利用非刚性曲线拟合损失确定上述关键点信息，具体为：

对每个训练用样本数据，通过真实轮廓点计算出真实人脸轮廓曲线。在训练时，不要求轮廓点与真实点接近，而仅要求其与真实人脸轮廓曲线接近。对于每个轮廓点，该损失函数给定一个目标邻域而不是一个目标点，目标邻域由目标轮廓点与左右相邻点连接所组成的折线决定。为保证轮廓点误差在合理范围内取得最小，该损失函数将目标邻域中的最近点作为新的回归目标点。

对于“上述回归网络对所述校正样本数据进行回归计算，定位出人脸关键点位置”的步骤包括：连接粗略关键点中各人脸轮廓点，形成人脸轮廓线；利用在损失函数中预设的目标领域，回归计算轮廓点的目标点；其中，上述目标邻域由目标轮廓点与左右相邻点连接所组成的折线决定。可以通过如下损失函数公式，回归计算轮廓点的目标点：

其中，

为轮廓点

的目标邻域，由其真实点

与相邻点

和

的连线组成，该连线的点集由Bresenham算法获得，t_ij为点集里面第j个点，d是距离函数，新的目标轮廓点t_i是点集中与

有最小距离的点。

上述损失函数为非刚性曲线拟合损失函数，将预测出的轮廓曲线与真实轮廓曲线进行非刚性配准。

在一些优选的实施方式中，结合上述快速校正和非刚性曲线拟合损失，在训练上述人脸关键点识别模型中的损失函数为：

Loss＝λ*Loss_cf+(1-λ)*Loss_l2 (7)

将上述损失函数作为约束函数，利用训练用数据训练初始人脸关键点识别模型得到优化后的人脸关键点识别模型。

作为示例，图3示出了人脸关键点识别模型的结构示意图。如图3所示，将人脸图像输入到用于快速校正的校正网络，获得人脸图像粗略的关键点信息，通过欧氏距离损失函数进行约束，使得将粗略的关键点信息与标注(实际)的关键点信息之间的误差最小。然后利用面内几何变化对上述粗略关键点进行校正，即利用变换矩阵对上述粗略关键点进行矩阵变换。最后，将经变换矩阵变换后的粗略关键点作为校正后的样本数据，输入到回归网络对所述校正样本数据进行回归计算。回归计算中利用非刚性曲线拟合损失函数作为约束函数对上述回归网络进行训练。将训练后得到的人脸关键点识别模型作为检测人脸关键点位置信息的模型。

本申请还提供了一种存储装置，该存储装置可以是上述实施例中描述的服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述存储装置承载有一个或者多个程序，上述程序适于由处理器加载并执行，当上述一个或者多个程序被该装置执行时可以是实现上述实施例中的任一方法。

本申请还提供了一种处理装置，该处理装置包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；其中，上述程序适于由处理器加载并执行以实现上述实施例中的任一方法。

本发明上述实施例所提供的方法通过预先构建的人脸关键点识别模型对人脸图像进行识别，检测出人脸图像的关键点的信息。本发明中，人脸关键点识别模型的对人脸图像进行裁剪，通过校正网络快速定位出粗略关键点，然后利用对定位出的粗略关键点进行坐标变换，并将坐标变换后的图像作为输入数据，经非刚性曲线拟合损失的约束得到图像人脸关键点信息。校正网络结构的设计可以逐级增大每层感受野，直至最后一层卷积层的感受野恰好为原图大小；因此可以适当缩减网络宽度，保证了高效性。非刚性曲线拟合损失提供了更加灵活的轮廓目标点，有效降低了轮廓点的误差值，使得人脸关键点识别模型可以更合理地分配拟合性能，提高关键点定位的准确度。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种人脸关键点检测方法，其特征在于，所述方法包括：

获取待识别人脸图像；

利用预先构建的人脸关键点识别模型对所述人脸图像进行识别，得到所述人脸图像中人脸关键点的信息；

其中，所述人脸关键点识别模型，其模型结构中包括校正网络、变换矩阵和回归网络，其训练过程为：

所述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位；其中，所述训练用样本数据为预先标定了人脸框及人脸关键点的人脸图像；该步骤包括：所述校正网络通过如下欧式距离损失函数粗略定位人脸关键点：

其中，p_c和p_f分别为人脸轮廓点和五官点的坐标，

和

为其对应的标注点的坐标，N_c和N_f为轮廓点p_c和五官点p_f的数量；

利用所述变换矩阵对所述校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据；其中，所述变换矩阵为所述校正网络预测关键点与平均点之间的变换矩阵；

所述回归网络对所述校正样本数据进行回归运算，定位出人脸关键点位置，所述回归网络为卷积神经网络；

“所述回归网络对所述校正样本数据进行回归运算，定位出人脸关键点位置”的步骤包括：连接粗略关键点中各人脸轮廓点，形成人脸轮廓线；利用在损失函数中预设的目标邻域，回归计算轮廓点的目标点；其中，所述目标邻域由目标轮廓点与左右相邻点连接所组成的折线决定；

“利用在损失函数中预设的目标邻域，回归计算轮廓点的目标点”的步骤包括：通过如下损失函数公式，回归计算轮廓点的目标点：

其中，

为轮廓点

的目标邻域，由其真实点

与相邻点

和

的连线组成，该连线的点集由Bresenham算法获得，t_ij代表点集里面第j个点，d是距离函数，新的目标轮廓点t_i是点集中与

有最小距离的点；

“所述回归网络对所述校正样本数据进行回归运算，定位出人脸关键点位置”的步骤进一步包括：所述回归网络通过如下总损失函数对所述校正样本数据进行回归计算，定位出人脸关键点位置：

Loss＝λ*Loss_cf+(1-λ)*Loss_l2

其中，λ为加权参数。

2.根据权利要求1所述的人脸关键点检测方法，其特征在于，“所述校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位”的步骤包括：

对所述训练用样本数据进行尺度缩放，确定经尺度缩放后包含人脸框的图像为小尺度样本数据；

基于所述小尺度样本数据中的关键点数据对所述训练用样本数据进行面内几何变化的变换，确定出粗略关键点的位置；其中，所述面内几何变化为对图像进行面内旋转，平移，缩放操作。

3.根据权利要求2所述的人脸关键点检测方法，其特征在于，“基于所述小尺度样本数据中的关键点数据对所述训练用样本数据进行面内几何变化的变换”的步骤包括：

通过如下公式对所述小尺度样本数据进行位置变换：

其中，x，y为训练用样本数据中图片的像素位置，x'，y'代表位置变换后图片中的像素位置；s代表尺度变化因子，θ代表小尺度样本中的预测的关键点与尺度缩放前关键点面内旋转角，h₁，h₂分别代表小尺度样本中的预测的关键点与尺度缩放前关键点水平和垂直方向的位移。

4.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-3中任一项所述的人脸关键点检测方法。

5.一种处理装置，包括

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-3中任一项所述的人脸关键点检测方法。

Images