CN105938551A - 一种基于视频数据的人脸特定区域提取方法 - Google Patents

Abstract

本发明中提出的一种基于视频数据的人脸特定区域提取方法，其主要内容包括：视频人脸数据的输入部分；对于视频数据中人脸检测部分；对于检测到的人脸数据中特征点定位部分；对于人脸特征点进行人脸特定区域提取部分；其过程为，先导入各类视频采集设备的数据，利用LBP特征和Haar特征混合特征池，表征人脸特性；利用AdaBoost算法构建分类器；利用Cascade结构进行分类器的级联进行加速。然后根据评价标准保证人脸纹理的质量。再利用训练和定位来进行人脸特征点定位，根据特征点的有效性和对称性进行过滤，保证人脸特征点质量。最后根据人脸图像以及定位到的特征点，按照特定区域规则提取出人脸特定局部纹理。

Description

一种基于视频数据的人脸特定区域提取方法

技术领域

本发明涉及人脸检测以及特征点定位，尤其是指利用图像数据分析对采集到的视频数据提取人脸特定区域纹理。

背景技术

基于视频数据的人脸特定区域提取方法，可以用于人脸局部纹理分析，比如中医的面诊，使诊疗过程简单便捷；另外还可以用于三维人脸建模，比如将特定人脸区域的纹理映射到三维模型中。

现在常用2D-Gabor滤波提取人脸特定区域，但是由于纹理的特征不显著，以及表情和年龄的变化，光线、角度等因素都会干扰特征识别，产生一定的偏差，对提取产生影响。所以针对上述不足，本发明通过对海量人脸数据分析，训练获取人脸检测模型以及基于人脸图像的特征点定位模型；与此同时，通过对应用领域的分析，进一步设定图像以及特征点质量判断的规则，提升了人脸特征点的质量，以此来保证提取出的人脸特定区域的有效性；综合上述方案，提出一种基于视频数据的人脸特定区域提取系统。该系统目的在于提取出人脸图像中的特定区域纹理，可以用于人脸特定区域分析或者利用人脸特定纹理进行三维建模。

发明内容

针对现有人脸特定区域提取容易产生偏差的问题，本发明目的在于提供一种基于视频数据的人脸特定区域提取方法，可以提取出人脸图像中的特定区域纹理。

为解决上述问题，本发明提供一种基于视频数据的人脸特定区域提取方法，其主要内容包括：

(一)视频人脸数据的输入部分；

(二)对于视频数据中人脸检测部分；

(三)对于检测到的人脸数据中特征点定位部分；

(四)对于人脸特征点进行人脸特定区域提取部分；

其中，所述对于视频人脸数据的输入部分(一)包括对各类视频采集设备的数据驶入；

其中，所述对于视频数据中人脸检测部分(二)包括将通过人脸检测算法进行视频当前帧中的人脸检测的模块以及将检测到的人脸图像进行质量评估的模块；

进一步的，所述视频数据中人脸检测部分中的人脸检测模块，利用LBP特征和Haar特征混合特征池，用来表征人脸特性；利用AdaBoost算法构建分类器；利用Cascade结构进行分类器的级联进行加速。

进一步的，Haar特征是最基础的纹理表述特征，其表征的是临近纹理块之间的相互关系，其类别主要分为三类：基于边缘的Haar特征，基于直线的Haar特征以及基于点状的Haar特征。LBP特征是被广泛采用的基于局部纹理模式的特征描述子，其代表的是纹理块中心区域与其8近邻区域的灰度对比模式。常用的LBP都是基于像素之间匹配的，为了适合人脸检测构造特征池的需求，我们将原LBP纹理定义由像素延伸到像素块，每个像素块的取值由该像素块的像素均值表示。

进一步的，Adaboost算法简述如下：

1)初始化所有训练样例的权重，设其值为1/N,其中N是训练样本总数。

2)M＝1....T(循环迭代，直到最大迭代步数或者错误率收敛到阈值一下)

a)训练弱分类器y_m()，使其最小化权重误差函数

${\∈}_m=\underset{n=1}{\overset{N}{\Σ}}{w}_n^{\left(m\right)}I\left(y_m\right(x_n)\≠t_n)$

b)接下来计算该弱分类器的话语权α_m

${\mathrm{\α}}_m=ln\left\{\frac{1-{\∈}_m}{{\∈}_m}\right\}$

c)更新权重

$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\mathrm{\α}}_m{t}_i{y}_m(x_i\left)\right),i=1,2,\mathrm{...},N$

其中Z_m：

$Z_m=\underset{i=1}{\overset{N}{\Σ}}{w}_{mi}\exp (-{\mathrm{\α}}_m{t}_i{y}_m(x_i\left)\right)$

是规范化因子，使所有w的和为1。

3)获取最后的分类器：

$Y_{M\left(x\right)}=sign\left(\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_m{y}_m\right(x\left)\right)$

进一步的，Cascade级联结构的目的是为了加快检测速度。其包括多个串联的Adaboost分类器，其中在前面几个阶段的分类器，包含的弱分类器比较少，计算速度比较快，但是可以过滤掉大部分的非人脸子窗口；后面阶段的分类器，虽然其包含的弱分类器比较多，但是可以到这个阶段的图像子窗口数目已经非常少了，因此也可以很快的得到分类结果；Cascade架构就是通过这种策略来提升检测速度，实现实时人脸检测的目的。

进一步的，在人脸质量判断模块中，我们的评价标准主要分为：

1)检测得到的人脸图像大小

图像分辨率越高，那么获取的图像纹理细节就更加丰富；

S_res＝(width*height)/(wmax*hmax)

其中wmax和hmax为设定最大分辨率图像的高度和宽度；分数值最大为1.

2)检测得到的人脸图像光照均匀程度

将人脸图像十字交叉平均分为4个子图像，对子图像进行均值计算

S＝abs(s₁-s₂)+abs(s₃-s₄)

$S_{ilu\_sym}=\left\{\begin{array}{cc}0,& S>thr\\ 1,& S<=thr\end{array}\right.$

thr为预设的光照均匀度阈值。

3)检测得到的人脸图像光照明暗程度

将人脸图像进行全局均值计算

$S=\underset{i}{\&Sigma;}{\mathrm{pixel}}_i$

$S_{ilu\_abs}=\left\{\begin{array}{cc}0,& S>thr2\\ 1,& thr1<=S<thr2\\ 0,& S<thr1\end{array}\right.$

thr1和thr2为预设的光照明暗度阈值

综合上述三个规则，利用加法准则作为评判函数进行计算：

S＝S_res+S_{ilu_sym}+S_{ilu_abs}

如S低于预订的人脸图像质量阈值S_thr，则过滤该人脸图像；如S高于系统人脸图像对应的分数值，则当前人脸图像替换系统人脸图像。

其中，所述对于检测到的人脸数据中特征点定位部分(三)包括根据人脸图像进行预订的特征点定位的模块以及将定位到的特征点进行质量评估的模块；

进一步的，所述检测到的人脸数据中特征点定位部分中的人脸特征点定位模块，分为训练和定位两个阶段，在训练阶段我们需要根据标注数据获取特征数据集的位置限制条件；在定位阶段我们根据训练中获取的限制信息，对人脸图像数据按照多尺度的方式进行定位计算。

在训练阶段构建形状模型：

1)将训练集中特征点的坐标串成特征向量；

2)对形状进行归一化和对齐；

3)将对齐后的形状特征做PCA处理；

4)为每个特征点构建局部特征，可采用梯度特征、LBP特征等；

在定位阶段搜索特征点在人脸图像中具体位置：

1)通过人脸图像估算眼睛的位置，以此来初始化做简单的尺度和旋转变化；

2)在初始化后的各个特征点附近搜索，匹配每个局部特征点；

3)利用平均人脸模型修正匹配结果；

4)利用多尺度的方式进行算法加速；

进一步的，所述检测到的人脸数据中特征点定位部分中的人脸特征点质量判断模块，

我们的评价标准主要分为：

特征点的有效性：根据特征点集合的位置信息，预设n个特定的位于特征点集合之间的人脸区域，提取其LBP特征作为模板存储，并预设距离阈值Thr_dist作为过滤条件；如有m个提取特征点后的人脸图像，则存储m*n个模板；对于新提取特征点集合的人脸数据，按照预设的区域提取n个LBP特征，并与存储的模板采用欧式距离进行计算；如果距离之和大于Thr_dist，则过滤该特征点集；

特征点的对称性：根据所有特征点的位置信息，找出特征点集合的中心位置，以此作为特征点对称性的参考位置；利用中心位置信息，对所有左右对称的面部特征点，计算其对称分数，如低于预订的对称阈值S_thr，则过滤该特征点集；

$S_{sym}=\underset{i}{\&Sigma;}abs\left(\right(x_{i1}-x_c)-(x_{i2}-x_c\left)\right)$

x_c是中心点的坐标，x_i1，x_i2是对应左右对称点对的坐标。

通过级联方式，利用上述两个规则对计算获取的人脸特征点进行过滤。

其中，所述对于人脸特征点进行人脸特定区域提取部分(四)包括根据人脸图像以及定位到的特征点，按照特定区域规则提取出人脸特定局部纹理。

附图说明

图1是本发明一种基于视频数据的人脸特定区域提取方法的系统流程图。

图2是本发明一种基于视频数据的人脸特定区域提取方法的人脸检测模块示意图。

图3是本发明一种基于视频数据的人脸特定区域提取方法的Cascade级联结构示意图。

图4是本发明一种基于视频数据的人脸特定区域提取方法的人脸检测图像质量判断示意图。

图5是本发明一种基于视频数据的人脸特定区域提取方法的人脸特征点定位示意图。

图6是本发明一种基于视频数据的人脸特定区域提取方法的人脸特征点质量判断示意图。

图7是本发明一种基于视频数据的人脸特定区域提取方法的系统框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于视频数据的人脸特定区域提取方法和装置的系统流程图。如图1所示，本发明提出的一种基于视频数据的人脸特定区域提取方法，其主要内容包括：

(一)视频人脸数据的输入部分，对各类视频采集设备的数据驶入。

(二)对于视频数据中人脸检测部分，包括将通过人脸检测算法进行视频当前帧中的人脸检测的模块以及将检测到的人脸图像进行质量评估的模块；

(三)对于检测到的人脸数据中特征点定位部分，包括根据人脸图像进行预订的特征点定位的模块以及将定位到的特征点进行质量评估的模块；

(四)对于人脸特征点进行人脸特定区域提取部分，包括根据人脸图像以及定位到的特征点，按照特定区域规则提取出人脸特定局部纹理。

图2是本发明一种基于视频数据的人脸特定区域提取方法的人脸检测模块示意图。利用LBP特征和Haar特征混合特征池，用来表征人脸特性；利用AdaBoost算法构建分类器；利用Cascade结构进行分类器的级联进行加速。

其中，Haar特征是最基础的纹理表述特征，其表征的是临近纹理块之间的相互关系，其类别主要分为三类：基于边缘的Haar特征，基于直线的Haar特征以及基于点状的Haar特征。LBP特征是被广泛采用的基于局部纹理模式的特征描述子，其代表的是纹理块中心区域与其8近邻区域的灰度对比模式。常用的LBP都是基于像素之间匹配的，为了适合人脸检测构造特征池的需求，我们将原LBP纹理定义由像素延伸到像素块，每个像素块的取值由该像素块的像素均值表示。

其中，Adaboost算法简述如下：

1)初始化所有训练样例的权重，设其值为1/N,其中N是训练样本总数。

2)M＝1....T(循环迭代，直到最大迭代步数或者错误率收敛到阈值一下)

a)训练弱分类器y_m()，使其最小化权重误差函数

${\&Element;}_m=\underset{n=1}{\overset{N}{\&Sigma;}}{w}_n^{\left(m\right)}I\left(y_m\right(x_n)\&NotEqual;t_n)$

b)接下来计算该弱分类器的话语权α_m

${\mathrm{\&alpha;}}_m=ln\left\{\frac{1-{\&Element;}_m}{{\&Element;}_m}\right\}$

c)更新权重

$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\mathrm{\&alpha;}}_m{t}_i{y}_m(x_i\left)\right),i=1,2,\mathrm{...},N$

其中Z_m：

$Z_m=\underset{i=1}{\overset{N}{\&Sigma;}}{w}_{mi}\exp (-{\mathrm{\&alpha;}}_m{t}_i{y}_m(x_i\left)\right)$

是规范化因子，使所有w的和为1。

3)获取最后的分类器：

$Y_{M\left(x\right)}=sign\left(\underset{m=1}{\overset{M}{\&Sigma;}}{\mathrm{\&alpha;}}_m{y}_m\right(x\left)\right)$

其中，Cascade级联结构的目的是为了加快检测速度。如图3所示，其包括多个串联的Adaboost分类器，其中在前面几个阶段的分类器，包含的弱分类器比较少，计算速度比较快，但是可以过滤掉大部分的非人脸子窗口；后面阶段的分类器，虽然其包含的弱分类器比较多，但是可以到这个阶段的图像子窗口数目已经非常少了，因此也可以很快的得到分类结果；Cascade架构就是通过这种策略来提升检测速度，实现实时人脸检测的目的。

图4是本发明一种基于视频数据的人脸特定区域提取方法的人脸检测图像质量判断示意图。由于我们的人脸图像后续需要作进一步的识别或者建模，因此要保证人脸纹理的质量。在人脸质量判断模块中，我们的评价标准主要分为：

1)检测得到的人脸图像大小

图像分辨率越高，那么获取的图像纹理细节就更加丰富；

S_res＝(width*height)/(wmax*hmax)

其中wmax和hmax为设定最大分辨率图像的高度和宽度；分数值最大为1.

2)检测得到的人脸图像光照均匀程度

将人脸图像十字交叉平均分为4个子图像，对子图像进行均值计算

S＝abs(s₁-s₂)+abs(s₃-s₄)

$S_{ilu\_sym}=\left\{\begin{array}{cc}0,& S>thr\\ 1,& S<=thr\end{array}\right.$

其中，thr为预设的光照均匀度阈值。

3)检测得到的人脸图像光照明暗程度

将人脸图像进行全局均值计算

$S=\underset{i}{\&Sigma;}{\mathrm{pixel}}_i$

$S_{ilu\_abs}=\left\{\begin{array}{cc}0,& S>thr2\\ 1,& thr1<=S<thr2\\ 0,& S<thr1\end{array}\right.$

其中，thr1和thr2为预设的光照明暗度阈值

综合上述三个规则，利用加法准则作为评判函数进行计算：

S＝S_res+S_{ilu_sym}+S_{ilu_abs}

如S低于预订的人脸图像质量阈值S_thr，则过滤该人脸图像；如S高于系统人脸图像对应的分数值，则当前人脸图像替换系统人脸图像。

图4是本发明一种基于视频数据的人脸特定区域提取方法的人脸特征点定位示意图。人脸特征点定位分为训练和定位两个阶段，在训练阶段我们需要根据标注数据获取特征数据集的位置限制条件；在定位阶段我们根据训练中获取的限制信息，对人脸图像数据按照多尺度的方式进行定位计算。

在训练阶段构建形状模型：

1)将训练集中特征点的坐标串成特征向量；

2)对形状进行归一化和对齐；

3)将对齐后的形状特征做PCA处理；

4)为每个特征点构建局部特征，可采用梯度特征、LBP特征等；

在定位阶段搜索特征点在人脸图像中具体位置：

1)通过人脸图像估算眼睛的位置，以此来初始化做简单的尺度和旋转变化；

2)在初始化后的各个特征点附近搜索，匹配每个局部特征点；

3)利用平均人脸模型修正匹配结果；

4)利用多尺度的方式进行算法加速；

图5是本发明一种基于视频数据的人脸特定区域提取方法的人脸特征点质量判断示意图。由于我们的人脸特定区域图像后续需要作进一步的识别或者建模，因此要保证人脸特征点的质量。在人脸特征点判断模块中，我们的评价标准主要分为：

特征点的有效性：根据特征点集合的位置信息，预设n个特定的位于特征点集合之间的人脸区域，提取其LBP特征作为模板存储，并预设距离阈值Thr_dist作为过滤条件；如有m个提取特征点后的人脸图像，则存储m*n个模板；对于新提取特征点集合的人脸数据，按照预设的区域提取n个LBP特征，并与存储的模板采用欧式距离进行计算；如果距离之和大于Thr_dist，则过滤该特征点集；

特征点的对称性：根据所有特征点的位置信息，找出特征点集合的中心位置，以此作为特征点对称性的参考位置；利用中心位置信息，对所有左右对称的面部特征点，计算其对称分数，如低于预订的对称阈值S_thr，则过滤该特征点集；

$S_{sym}=\underset{i}{\&Sigma;}abs\left(\right(x_{i1}-x_c)-(x_{i2}-x_c\left)\right)$

其中x_c是中心点的坐标，x_i1，x_i2是对应左右对称点对的坐标。

通过级联方式，利用上述两个规则对计算获取的人脸特征点进行过滤。

图6是本发明一种基于视频数据的人脸特定区域提取方法的系统框图。包括各个模块在系统中的位置以及其主要功能。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (13)

1.一种基于视频数据的人脸特定区域提取方法，其特征在于，包括视频人脸数据的输入部分(1)；视频数据中人脸检测部分(2)；对于检测到的人脸数据中特征点定位部分(3)；对于人脸特征点进行人脸特定区域提取部分(4)。

2.基于权利要求书1所述的视频人脸数据，其特征在于，所述人脸数据包括但不限于人脸器官尺寸、人脸器官颜色、人脸器官局部特征。

3.基于权利要求书1所述的视频人脸数据的输入部分(1)，其特征在于，包括对各类视频采集设备的数据驶入。

4.基于权利要求书1所述的视频数据中人脸检测部分(2)，其特征在于，包括将通过人脸检测算法进行视频当前帧中的人脸检测的模块以及将检测到的人脸图像进行质量评估的模块。

5.基于权利要求书1所述的检测到的人脸数据中特征点定位部分(3)，其特征在于，包括根据人脸图像进行预订的特征点定位的模块以及将定位到的特征点进行质量评估的模块。

6.基于权利要求书1所述的人脸特征点进行人脸特定区域提取部分(4)，其特征在于，包括根据人脸图像以及定位到的特征点，按照特定区域规则提取出人脸特定局部纹理。

7.基于权利要求书3所述的视频数据中人脸检测的模块，其特征在于，利用LBP特征和Haar特征混合特征池，用来表征人脸特性；利用AdaBoost算法构建分类器；利用Cascade结构进行分类器的级联进行加速。

8.基于权利要求书3所述的将检测到的人脸图像进行质量评估的模块，其特征在于，评价标准主要分为：

1)检测得到的人脸图像大小

图像分辨率越高，那么获取的图像纹理细节就更加丰富；

S_res＝(width*height)/(wmax*hmax)

其中wmax和hmax为设定最大分辨率图像的高度和宽度；分数值最大为1

2)检测得到的人脸图像光照均匀程度

将人脸图像十字交叉平均分为4个子图像，对子图像进行均值计算

S＝abs(s₁-s₂)+abs(s₃-s₄)

其中，thr为预设的光照均匀度阈值

3)检测得到的人脸图像光照明暗程度

将人脸图像进行全局均值计算

其中，thr1和thr2为预设的光照明暗度阈值

综合上述三个规则，利用加法准则作为评判函数进行计算：

S＝S_res+S_{ilu_sym}+S_{ilu_abs}

如S低于预订的人脸图像质量阈值S_thr，则过滤该人脸图像；如S高于系统人脸图像对应的分数值，则当前人脸图像替换系统人脸图像。

9.基于权利要求书4所述的根据人脸图像进行预订的特征点定位的模块，其特征在于，人脸特征点定位分为训练和定位两个阶段，在训练阶段我们需要根据标注数据获取特征数据集的位置限制条件；在定位阶段我们根据训练中获取的限制信息，对人脸图像数据按照多尺度的方式进行定位计算。

在训练阶段构建形状模型：

1)将训练集中特征点的坐标串成特征向量；

2)对形状进行归一化和对齐；

3)将对齐后的形状特征做PCA处理；

4)为每个特征点构建局部特征，可采用梯度特征、LBP特征等；

在定位阶段搜索特征点在人脸图像中具体位置：

1)通过人脸图像估算眼睛的位置，以此来初始化做简单的尺度和旋转变化；

2)在初始化后的各个特征点附近搜索，匹配每个局部特征点；

3)利用平均人脸模型修正匹配结果；

4)利用多尺度的方式进行算法加速。

10.基于权利要求书4所述的将定位到的特征点进行质量评估的模块，其特征在于，我们的评价标准主要分为：

特征点的有效性：根据特征点集合的位置信息，预设n个特定的位于特征点集合之间的人脸区域，提取其LBP特征作为模板存储，并预设距离阈值Thr_dist作为过滤条件；如有m个提取特征点后的人脸图像，则存储m*n个模板；对于新提取特征点集合的人脸数据，按照预设的区域提取n个LBP特征，并与存储的模板采用欧式距离进行计算；如果距离之和大于 Thr_dist，则过滤该特征点集；

特征点的对称性：根据所有特征点的位置信息，找出特征点集合的中心位置，以此作为特征点对称性的参考位置；利用中心位置信息，对所有左右对称的面部特征点，计算其对称分数，如低于预订的对称阈值S_thr，则过滤该特征点集；

其中x_c是中心点的坐标，x_i1，x_i2是对应左右对称点对的坐标

通过级联方式，利用上述两个规则对计算获取的人脸特征点进行过滤。

11.基于权利要求书6所述的LBP特征和Haar特征混合特征池，其特征在于，Haar特征是最基础的纹理表述特征，其类别主要分为三类：基于边缘的Haar特征，基于直线的Haar特征以及基于点状的Haar特征；LBP特征代表的是纹理块中心区域与其8近邻区域的灰度对比模式，为了适合人脸检测构造特征池的需求，我们将原LBP纹理定义由像素延伸到像素块，每个像素块的取值由该像素块的像素均值表示。

12.基于权利要求书6所述的AdaBoost分类器，其特征在于，Adaboost算法简述如下：

(一)初始化所有训练样例的权重，设其值为1/N,其中N是训练样本总数

(二)M＝1....T(循环迭代，直到最大迭代步数或者错误率收敛到阈值一下)

a)训练弱分类器y_m()，使其最小化权重误差函数

b)接下来计算该弱分类器的话语权α_m

c)更新权重

其中Z_m：

是规范化因子，使所有w的和为1

(三)获取最后的分类器：

13.基于权利要求书6所述的Cascade结构，其特征在于，包括多个串联的Adaboost分类器，加快检测速度，前面几个阶段的分类器，包含的弱分类器比较少，后面阶段的分类器，包含的弱分类器比较多。