CN106529397A - 一种非约束环境中的人脸特征点定位方法及系统 - Google Patents

Abstract

本发明公开了一种非约束环境中的人脸特征点定位方法及系统，所述的方法包括人脸特征点初始化定位和人脸特征点迭代更新定位两个阶段，第一阶段，根据估计的头部姿态和人脸局部子区域的条件概率初始化条件回归森林模型，定位人脸特征点的初始位置；第二阶段，根据初始位置建立人脸误差模型，利用误差模型学习更新迭代森林模型，定位人脸特征点的精确位置。本发明的条件迭代回归森林模型采用级联更新的多概率模型进行迭代回归，减少了非约束环境下的复杂背景、遮挡和多姿态等噪声的影响。

Description

一种非约束环境中的人脸特征点定位方法及系统

技术领域

本发明涉及数字图像处理和模式识别领域，具体涉及一种非约束环境中的人脸特征点定位方法及系统。

背景技术

人脸特征点定位指的是在数字图像或视频中精确定位人脸关键特征点的位置，其一直是计算机视觉领域中研究和分析人脸的关键。从上世纪八十年代开始，国内外已经有许多科研院所致力于特征点定位的研究，如University of Manchester，ETH Zurich，Carnegeie，清华大学、中科院、上海交通大学等，并取得了一定的研究成果。人脸特征点定位方法大致可以分为基于颜色信息的方法、基于先验规则信息的方法、基于几何形状信息的方法和基于统计学习方法。前三类方法在正面人脸图像上已经取得不错的成果，但对非约束环境中的大姿态变化、遮挡等问题的效果不佳。目前，对于一些非约束特征点定位方法的研究主要集中在基于统计学习的方法，主要包括：支持向量机(Support vectormachine,SVM)，随机森林(Random forests,RF)，卷积神经网络(Convolutional Neuralnetwork,CNN)，活动外观模型(Active Appearance model,AAM)和形状表观模型(ActiveShape Model)等。这些算法一定程度上可以减少非约束环境中的弱噪声影响，然而大姿态变化和人脸遮挡等多噪声对定位结果仍有一定的影响，非约束的人脸特征点精确定位仍然是一个难点问题。

发明内容

本发明提供了一种非约束环境中的人脸特征点定位方法及系统，减少了在人脸特征点定位的过程中，非约束环境中的复杂背景、遮挡和多姿态等噪声的影响。

本发明解决上述技术问题的技术方案如下：提供了一种非约束环境中的人脸特征点定位方法，包括：

S1，接收输入的图像，并从所述图像中提取出人脸区域；

S2，将提取的人脸区域分为人脸正子区域类和人脸负子区域类；

S3，针对人脸正子区域类，进行头部姿态分类和人脸局部子区域划分；

S4，在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

S5，基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

为了解决本发明的技术问题，还提供了一种非约束环境中的人脸特征点定位系统，包括：

第一提取模块，用于接收输入的图像，并从所述图像中提取出人脸区域；

划分模块，用于将提取的人脸区域划分为人脸正子区域类和人脸负子区域类；

分类模块，用于针对人脸正子区域类，进行头部姿态分类和人脸局部子区域分类；

初始位置定位模块，用于在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

精确位置定位模块，用于基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

本发明的有益效果为：条件迭代回归森林模型采用级联更新的多概率模型进行迭代回归，能够有效的在非约束环境下，解决人体头部大姿态运动和人脸局部遮挡下等噪声对人脸特征点定位的影响，为非约束环境中的人脸分析和识别提供依据。

附图说明

图1为本发明实施例1的一种非约束环境中的人脸特征点定位方法流程图；

图2为实施例1的整个处理过程图；

图3为实施例1中人脸正/负子区域块分类流程图；

图4为实施例1中基于人脸特征点初始位置得到人脸特征点精确位置的处理流程图；

图5为本发明实施例2的一种非约束环境中的人脸特征点定位系统框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1、一种非约束环境中的人脸特征点定位方法。

参见图1，本实施例提供的方法包括如下步骤：

S1，接收输入的图像，并从所述图像中提取出人脸区域；

S2，将提取的人脸区域分为人脸正子区域类和人脸负子区域类；

S3，针对人脸正子区域类，进行头部姿态分类和人脸局部子区域划分；

S4，在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

S5，基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

下面对上述步骤进行具体的介绍。

参见图2，本实施例提供的在非约束环境下的人脸特征点定位方法主要分为三个过程：一是，人脸正/负子区域分类过程，二是，人脸特征点初始位置定位过程，三是，人脸特征点精确位置定位过程。

参见图3，为人脸正/负子区域分类过程，当接收到输入的人脸图像，从图像中检测出人脸区域。为了减少非约束环境中背景噪声和人脸局部遮挡对人脸特征点定位的影响，将检测出的人脸区域分为两个子区域类，即人脸正子区域类和人脸负子区域类。其中，人脸正子区域类是指去除噪声的人脸区域，对人脸特征点定位有积极的影响；人脸负子区域类指的是背景区域、头发、墨镜等局部遮挡区域。人脸正/负子区域类的分类过程如图2所示，首先，对检测到的人脸区域进行预处理，从人脸区域中随机提取出多个不重叠的人脸区域子块，比如，提取出200个不重叠的人脸区域子块，并针对于每一个人脸区域子块，提取4尺寸和8个方向下的Gabor特征符。然后，根据预先配置的人脸正/负子区域类模型t，通过随机森林离线训练方法对上述人脸区域子块进行分类。当被测子区域P通过模型t，到达其叶子节点lt时，存储在叶子节点的概率密度p(c|l_t(P))预测被测子区域P的类别。最后，分类得到的人脸正子区域块{P|c＝1}用以人脸特征点定位。

针对分类后的人脸正子区域块进行人脸特征点的初始化定位，在本实施例中，人脸特征点的初始化定位主要包括两部分：头部姿态估计(即对头部姿态进行分类)和局部子区域下的初始化定位。

其中，头部姿态估计部分：为了减少头部大姿态变化对人脸特征点定位的影响，将头部姿态在水平和竖直方向上分为若干个不相交的子集，本实施例将头部姿态在水平和竖直方向上分为5个不相交的子集：{(60°，90°],(30°,60°],(-30°，30°],(-60°,-30°],[-90°,-60°]}，共25类姿态。在每一个子集上训练头部姿态的概率模型作为特征点的先验概率，其中，头部姿态的概率模型可表示为多参数的高斯混合模型：

其中，H_i ^m和是子森林b_i的头部姿态概率的均值和协方差矩阵。

局部子区域下的初始化定位主要分为初始化条件回归森林训练和人脸特征点的初始化位置定位两个过程。

对于第一个过程：初始化条件回归森林训练，为了在人脸局部子区域下训练人脸特征定位的初始化随机回归模型，首先将人脸分为嘴巴、鼻子和眼睛三个子区域，这三个局部的子区域可以利用AdaBoost检测器获得。然后在子区域中对分类得到的正子区域块提取复合特征集P_i＝{(X_i；H_i,D_i|a_f)}；其中，X_i＝(x_i1,x_i2,x_i3)是多通道纹理特征，包括Gabor特征、LBP特征以及子块的灰度特征，Hⁱ＝{Yaw,Pitch}表示上述头部姿态类的类别标注，D_i＝(d_ji,E_j)是用于特征点回归的几何特征集。其中，d_ji定义为每个人脸子块到每个特征点的偏移距离，人脸形变模型E_j定义为每个特征点到人脸中心点F的偏移距离。

初始化回归森林中的每一棵树T_t的建立都是在相关特征数据集中随机训练而成的T＝{T_t}，树的生长就是一个由二进制测试分裂子节点到叶子节点的过程。其中，定义二进制测试为：

其中，R₁、R₂是人脸子区域中的两个随机选取的矩形子块，q是人脸子区域块的像素点,X_y(q)是像素y的纹理特征通道。

最大化信息增益选择最佳分裂申请，使得人脸子区域块的特征集P分裂成两个子集P_L和P_R:

其中，τ是预先设定的特征分裂阈值，H(P|H_i,a_f)是定义的类不纯度测试，a_f是子森林。

其中，p(D_i|H_i,a_f,P_n)表示人脸正子区域块P_n在头部姿态H_i的条件下，在子森林a_f中属于人脸特征点的概率。

当信息增益低于预先设定的阈值或者达到树的最大深度时，生成一个叶子节点，初始化条件回归森林的叶子节点存储四个概率模型：人脸子区域的分类模型；头部姿态的估计概率模型；人脸特征点初始位置的回归概率模型；多姿态下的人脸形变模型。

对于人脸特征点的初始化位置定位过程为：为了避免使用人脸的所有子区域块来进行平均投票造成的人脸形变误差，针对嘴巴、鼻子、眼睛的局部子区域来进行局部特征点的关联定位，这三个局部的子区域可利用AdaBoost检测器获得，定义局部子区域的自信度评价函数pf为：

其中，r是人脸子块抽样步长，当pf大于设定的阈值时，局部人脸子块才参与投票，局部子森林的概率为：

l_t,af,Hi(P)为已估计的头部姿态H_i下的子森林a_f中的某一子树T^f的叶子概率模型，其中K_f为子森林中树的数量。当E_j是一个预先的人脸形变模型时，人脸特征点的初始位置概率可由多参数高斯分布模型得到：

其中，分别为第j个特征点初始位置和人脸形变模型E_j的均值和协方差矩阵。

将人脸特征点的初始位置确定了之后，进行人脸特征点的精确定位，人脸特征点的精确定位利用迭代回归森林训练模型得到。

为了训练迭代回归森林模型，在人脸特征点的初始位置周围随机选择多个人脸子区域块，比如，10个人脸子区域块，构建迭代特征集 其中Xi为上述多通道纹理特征。是迭代t-1次的特征点位置，为当前更新特征点位置和上一次迭代t-1的特征点位置的误差偏移模型,是定位的人脸特征点的初始化位置。迭代更新的子树生长如上述过程。

当生成迭代回归森林的叶子节点时，存储迭代回归森林的叶子节点更新为：人脸特征点的误差偏移概率上一次迭代的位置概率迭代更新的叶子分布概率模型可用高斯分布模型表示为其中和分别为误差概率的均值和协方差矩阵。

精确定位过程如图4所示，当收敛到小于迭代收敛阈值ε或者迭代最大次数达到时，比如，已经进行了5次迭代，停止迭代更新，获得叶子节点的特征点概率模型：

其中和分别为迭代更新特征点概率的均值和协方差矩阵。为了减少样本不均衡性的影响，采用条件权重稀疏投票方法用以叶子节点的多概率模型投票。在条件迭代回归森林的每一棵子树中存储了样本的比例因子w_s＝P_S/P，它是样本子集P_S和所有样本集合P的比值。最后，多叶子节点的特征点概率模型由Mean-shift算法聚类获得人脸特征点的精确位置。

实施例2、一种非约束环境中的人脸特征点定位系统。

参见图5，本实施例提供的人脸特征点定位系统包括第一提取模块51、划分模块52、分类模块53、初始位置定位模块54和精确位置定位模块55。

其中，第一提取模块51，用于接收输入的图像，并从所述图像中提取出人脸区域；

划分模块52，用于将提取的人脸区域划分为人脸正子区域类和人脸负子区域类；

分类模块53，用于针对人脸正子区域类，进行头部姿态分类和人脸局部子区域分类；

初始位置定位模块54，用于在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

精确位置定位模块55，用于基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

具体的采用本实施例的非约束环境中的人脸特征点定位系统对人脸特征点进行定位的过程可参见上述实施例1的相关技术特征，在此不再重复说明。

本发明提供的一种非约束环境中的人脸特征点定位方法及系统，整个人脸特征点定位过程主要包括人脸特征点初始化定位和人脸特征点迭代更新定位两个阶段，第一阶段，根据估计的头部姿态和人脸局部子区域的条件概率初始化条件回归森林模型，定位人脸特征点的初始位置；第二阶段，根据初始位置建立人脸误差模型，利用误差模型学习更新迭代森林模型，定位人脸特征点的精确位置。条件迭代回归森林模型采用级联更新的多概率模型进行迭代回归，能够有效的在非约束环境下，解决人体头部大姿态运动和人脸局部遮挡下等噪声对人脸特征点定位的影响，为非约束环境中的人脸分析和识别提供依据。

在本说明书的描述中，参考术语“实施例一”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种非约束环境中的人脸特征点定位方法，其特征在于，包括如下步骤：

S1，接收输入的图像，并从所述图像中提取出人脸区域；

S2，将提取的人脸区域划分为人脸正子区域类和人脸负子区域类；

S3，针对人脸正子区域类，进行头部姿态分类和人脸局部子区域分类；

S4，在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

S5，基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

2.如权利要求1所述的非约束环境中的人脸特征点定位方法，其特征在于，所述步骤S2具体包括：

对检测到的人脸区域进行预处理，从人脸区域中随机提取多个不重叠的子块，并提取每一个子块不同方向下的Gabor特征符；

根据预先配置的人脸正/负子区域类模型，通过森林随机离线训练确定所述多个子块的类别。

3.如权利要求2所述的非约束环境中的人脸特征点定位方法，其特征在于，所述步骤S3中针对人脸正子区域类，进行头部姿态分类具体包括：

将头部姿态在水平和竖直方向上各分为多个不相交的子集，在每一个子集上训练头部姿态的概率模型作为特征点的先验概率，其中，头部姿态的概率模型表示为多参数的高斯混合模型：

$p\left({H_i}^m\right|l_{b_i})=N({H_i}^m;\stackrel{\‾}{{H_i}^m},{\mathrm{\Σ}}_{{H_i}^m});$

其中，H_i ^m和是子森林bi的头部姿态概率的均值和协方差矩阵。

4.如权利3所述的非约束环境中的人脸特征点定位方法，其特征在于，所述步骤S4采用如下方式定位人脸特征点的初始位置：

$p(d_{ji}^1,E_j|H_i,a_f,P)=\frac{1}{T_f}\underset{i}{\Σ}\underset{t=1}{\overset{K_f}{\Σ}}p(d_{ji}^1,E_j|l_t,a_f,H_i\left(P\right));$

l_t,a_f,H_i(P)为已估计的头部姿态H_i下的子森林a_f中的某一子树T_f的叶子概率模型,其中K_f为子森林中树的数量；

当E_j是一个预先的人脸形变模型时，人脸特征点的初始位置概率可由多参数高斯分布模型得到：

$p(d_{ji}^1,E_j|l_t,a_f,H_i\left(P\right))=N(d_{ji}^1,E_j;\stackrel{\‾}{d_{ji}^1,E_j},{\Σ}_{d_{ji}^1,E_j});$

其中，分别为第j个特征点初始位置和人脸形变模型E_j的均值和协方差矩阵。

5.如权利要求4所述的非约束环境中的人脸特征点定位方法，其特征在于，所述步骤S5具体包括：

在初始特征点位置周围随机选择多个人脸子区域块，构建迭代特征集其中Xi为多通道纹理特征；是迭代t-1次的特征点位置，为当前更新特征点位置和上一次迭代t-1的特征点位置的误差偏移模型,是定位的人脸特征点的初始化位置；

当生成迭代回归森林的叶子节点时，存储迭代回归森林的叶子节点更新为：人脸特征点的误差偏移概率上一次迭代的位置概率迭代更新的叶子分布概率模型可用高斯分布模型表示为其中和分别为误差概率的均值和协方差矩阵；

当收敛到小于迭代收敛阈值ε或者迭代最大次数达到时，停止迭代更新，获得叶子节点的特征点概率模型：

$p\left(d_j^t\right|l_{{\mathrm{\Δd}}_j^t}\left(P\right))=N\left(d_j^t\right|{\mathrm{\Δd}}_j^t;\stackrel{\‾}{d_j^t|{\mathrm{\Δd}}_j^t},{\mathrm{\Σ}}_{d_j^t|{\mathrm{\Δd}}_j^t});$

其中和分别为迭代更新特征点概率的均值和协方差矩阵；

多叶子节点的特征点概率模型由Mean-shift算法聚类获得人脸特征点的精确位置。

6.一种非约束环境中的人脸特征点定位系统，其特征在于，包括：

第一提取模块，用于接收输入的图像，并从所述图像中提取出人脸区域；

划分模块，用于将提取的人脸区域划分为人脸正子区域类和人脸负子区域类；

分类模块，用于针对人脸正子区域类，进行头部姿态分类和人脸局部子区域分类；

初始位置定位模块，用于在多类头部姿态和人脸局部子区域的级联条件下，初始化条件迭代回归森林模型定位人脸特征点的初始位置；

精确位置定位模块，用于基于人脸特征点的初始位置，建立人脸误差偏移模型，通过误差模型训练更新迭代回归森林模型，通过迭代后得到人脸特征点的精确位置。

7.如权利要求6所述的非约束环境中的人脸特征点定位系统，其特征在于，所述划分模块具体包括：

第二提取模块，用于对检测到的人脸区域进行预处理，从人脸区域中随机提取多个不重叠的子块，并提取每一个子块不同方向下的Gabor特征符；

类别确定模块，用于根据预先配置的人脸正/负子区域类模型，通过森林随机离线训练确定所述多个子块的类别。