CN106407958B - 基于双层级联的面部特征检测方法 - Google Patents

Abstract

本发明公开了一种基于双层级联的面部特征检测方法。该方法在第一层级中对于含有人脸的图像设计了一种稀疏特征，通过支持向量机(SVM)学习特征，获得目标候选框；第二层级中使用人脸对齐方法进行局部特征点的定位，特征提取方法采用尺度不变特征(SIFT)，直接使用人脸特征点替换，最后利用线性SVM学习特征，剔除误检窗口，实现面部特征检测，每次的结果再作为样本反馈给SVM进行学习。本发明通过第一层候选窗口的确定，以及每次的结果再作为样本反馈给SVM进行学习，提高检测速度；使用人脸对齐方法，无需对面部的多种姿态建立相应的模型；结合高精度的SIFT特征提取方法，有效地降低了误检率。

Description

基于双层级联的面部特征检测方法

技术领域

本发明涉及人脸检测技术领域，特别是一种基于双层级联的面部特征检测方法。

背景技术

人脸面部特征是指人脸检测中定位的面部关键点，是人脸图像分析的前提与关键。尽管目前有诸多人类自动面部分析技术(比如人脸识别与验证、人脸追踪、面部表情分析、人脸重建和人脸检索等技术)，但由于存在面部的多姿态、光照、遮挡等因素，快速、精确地对自然状态的面部特征检测仍然是一大难题。

当前面部特征检测方法主要分为三类：基于boosting方法；基于深度卷积神经网络的方法；基于可变型模型(DPM)的方法。DPM是一种整体与局部特征结合，并对局部形状结构进行限制的高精度方法，其将人的头部特征用眼睛、鼻子、耳朵和嘴巴等局部区域的纹理特征和相对位置进行表示，然后匹配，但由于现实数据基本没有提供人头部局部区域的位置，方法难以提取精确特征进行训练，因此精度不够理想。之后虽然对其进行了改进，但改进后的DPM需要对目标的不同姿态角度建立相应的模型，再提取这些模板的方向梯度直方图(HOG)特征，采用半监督方法，隐藏变量SVM学习得到分类器，影响检测速度，尤其是在多尺度检测过程中，提取每个检测窗口根模版和部件模版的HoG特征并进行匹配，方法虽提高了检测精度，但相应的也导致了检测速度的下降。

在面部特征检测方面，结合DPM思想，出现将人脸检测、人脸特征点定位和人脸姿态估计整合一起人脸检测方法，方法舍弃DPM根模板，对不同人脸姿态建立模型，通过人脸对齐限制人脸形状，将特征点周围矩形区域作为部件模板，提取HoG特征，采用全监督方式，线性SVM学习，在少量数据集取得良好效果。Chen等实验证明人脸对齐确实能提高人脸检测的精度，采用人脸检测与人脸对齐联合训练的方式，将boosting方法和DPM思想结合一起训练得到高性能分类器，但由于训练需要充分自然状态下具有面部特征点正样本数据，需要筛选样本工作(Chen D，Ren S，Wei Y，et al.Joint Cascade Face Detection andAlignment[M]//Computer Vision–ECCV 2014.2014:109-122.)。总的来说，采用SVM训练得到的人脸检测器检测速度不够理想，需要建立多模型提高检测精度，而Boosting与DPM思想结合需要充足的有特征点的人脸样本。

发明内容

本发明的目的在于提供一种基于双层级联的面部特征检测方法，无需对面部的多种姿态建立相应的模型，从而提高检测速率。

实现本发明目的的技术解决方案为：

一种基于双层级联的面部特征检测方法，包括如下步骤：

第一步，设计一种稀疏特征，计算输入图像的稀疏特征，采用线性SVM学习特征，进行粗略分类，检测含有面部特征的候选区域；

第二步，在第一步检测出的候选区域中，使用已有的人脸数据集学习人脸对齐算法，形成人脸特征点回归器，进行特征点定位，回归不同人脸形状，提供面部眼睛、鼻子和嘴巴的位置，得到每个候选区域内相应的面部特征点；

第三步，采用尺度不变特征进行局部特征提取，直接使用第二步得到的人脸特征点替换SIFT特征点，提取每个特征点周围区域128维描述子向量，利用线性SVM学习特征，对候选区域进行筛选；

第四步，采用线性SVM不断学习特征，逐层训练分类器的方式，首先独立训练第一层级分类器，每次的结果再作为样本反馈给SVM进行学习，然后训练人脸特征点回归器，在此基础上最后训练第二层级分类器，添加难例训练实现人脸定位与收敛，最终确定面部特征区域。

进一步地，第一步所述计算输入图像的稀疏特征，方法如下：

(1.1)输入一张样本图像，归一化图像大小为16×16；

(1.2)计算图像每个像素的梯度幅值，梯度角度，角度通道位置：

其中M为梯度幅值，I_x,I_y分别为像素在x、y方向上的梯度；

θ＝arctanI_x/I_y∈[0,180)

其中θ为梯度角度；

bin≈θ/20

其中bin为角度通道位置；

(1.3)将0～180角度平均分成9个通道，每个通道的初始权重为0，计算每个像素角度通道位置，通道权重为幅值，剩余8个通道权重置为0，使得梯度空间每个像素投影成长度为9的单维向量；

(1.4)按照像素位置，从左到右，从上到下将256个像素的投影向量串联成一个向量，最后进行范式归一化，得到样本特征向量。

进一步地，第四步所述的采用线性SVM不断学习特征方法如下：

假设样本集合

{(X,Y)|(x_i,y_i),i＝1,...,l}

其中x_i∈Rⁿ,y∈{-1,+1}，l是样本总数，设置样本y_iw^Tx_i＞0为分类正确，结果大于1，使用L2范式正则化防止过拟合，结果样本评分分数表达式：

s_i＝w^Tx_i

优化目标函数：

ξ(w；x_i,y_i)＝max(1-y_iw^Tx_i)²

其中，s_i是第i个样本分数，C是惩罚因子，w是需要求解的权重向量，ξ是损失函数，采用对偶坐标下降法求解损失函数的最小值，每次的结果再作为样本反馈给SVM进行学习。

进一步地，第四步所述添加难例训练实现人脸定位与收敛，具体方法如下：

第一层训练中，第k次训练，k＞1,k∈N，将所有正样本于k-1次的训练结果权重求内积，得分小于0的正样本不参与训练；负样本从不包含面部特征的图中随机截取窗口，计算得分大于0即可；第二层训练中，第k次训练，k＞1,k∈N，将k-1次训练用的正样本与k-1训练的结果权重求内积，将得分小于0的正样本直接剔除，不再参与之后训练，然后余下正样本保存给下一次训练使用；负样本是得分大于0的非人脸窗口图片。

本发明与现有技术相比，其显著优点为：(1)第一层级候选窗口的确定，每次的结果再作为样本反馈给SVM进行学习，提高检测速度；(2)使用人脸对齐方法，从而无需对面部的多种姿态建立相应的模型；(3)结合高精度的SIFT特征提取方法，有效地降低了误检率。

附图说明

图1是本发明基于双层级联SVM的面部特征检测方法的流程图。

图2是图像梯度空间图像和稀疏特征的提取示意图，其中(a)是输入图，(b)是输入图像的多尺度梯度幅度图，(c)是输入图像中一个像素提取的向量结果图。

图3是人脸特征点分布图。

具体实施方式

本发明基于双层级联的面部特征检测方法，包括如下步骤：

第一步，设计一种稀疏特征，计算输入图像的稀疏特征，采用线性SVM学习特征，进行粗略分类，检测含有面部特征的候选区域；

所述计算输入图像的稀疏特征，方法如下：

(1.1)输入一张样本图像，归一化图像大小为16×16；

(1.2)计算图像每个像素的梯度幅值，梯度角度，角度通道位置：

其中M为梯度幅值，I_x,I_y分别为像素在x、y方向上的梯度；

θ＝arctanI_x/I_y∈[0,180)

其中θ为梯度角度；

bin≈θ/20

其中bin为角度通道位置；

(1.3)将0～180角度平均分成9个通道，每个通道的初始权重为0，计算每个像素角度通道位置，通道权重为幅值，剩余8个通道权重置为0，使得梯度空间每个像素投影成长度为9的单维向量；

(1.4)按照像素位置，从左到右，从上到下将256个像素的投影向量串联成一个向量，最后进行范式归一化，得到样本特征向量。

第二步，在第一步检测出的候选区域中，使用已有的人脸数据集学习人脸对齐算法，形成人脸特征点回归器，进行特征点定位，回归不同人脸形状，提供面部眼睛、鼻子和嘴巴的位置，得到每个候选区域内相应的面部特征点；

第三步，采用尺度不变特征进行局部特征提取，直接使用第二步得到的人脸特征点替换SIFT特征点，提取每个特征点周围区域128维描述子向量，利用线性SVM学习特征，对候选区域进行筛选；

第四步，采用线性SVM不断学习特征，逐层训练分类器的方式，首先独立训练第一层级分类器，每次的结果再作为样本反馈给SVM进行学习，然后训练人脸特征点回归器，在此基础上最后训练第二层级分类器，添加难例训练实现人脸定位与收敛，最终确定面部特征区域；

所述的采用线性SVM不断学习特征方法如下：

假设样本集合

{(X,Y)|(x_i,y_i),i＝1,...,l}

其中x_i∈Rⁿ,y∈{-1,+1}，l是样本总数，设置样本y_iw^Tx_i＞0为分类正确，结果大于1，使用L2范式正则化防止过拟合，结果样本评分分数表达式：

s_i＝w^Tx_i

优化目标函数：

ξ(w；x_i,y_i)＝max(1-y_iw^Tx_i)²

其中，s_i是第i个样本分数，C是惩罚因子，w是需要求解的权重向量，ξ是损失函数，采用对偶坐标下降法求解损失函数的最小值，每次的结果再作为样本反馈给SVM进行学习。

所述添加难例训练实现人脸定位与收敛，具体方法如下：

第一层训练中，第k次训练，k＞1,k∈N，将所有正样本于k-1次的训练结果权重求内积，得分小于0的正样本不参与训练；负样本从不包含面部特征的图中随机截取窗口，计算得分大于0即可；第二层训练中，第k次训练，k＞1,k∈N，将k-1次训练用的正样本与k-1训练的结果权重求内积，将得分小于0的正样本直接剔除，不再参与之后训练，然后余下正样本保存给下一次训练使用；负样本是得分大于0的非人脸窗口图片。

下面结合附图及具体实施例对本发明作进一步详细描述。

实施例1

结合图1，本发明基于双层级联的面部特征检测方法，步骤如下：

第一层级，对输入图像，提取其稀疏特征，快速的获得人脸候选区域：

假设归一化图像X中某个像素x,y方向梯度为I_x,I_y。像素的梯度幅值，梯度角度，角度通道位置计算公式为：

θ＝arctanI_x/I_y∈[0,180)

bin≈θ/20

其中表示M梯度幅值；θ表示梯度角度，值范围在[0,180)；bin是角度通道位置。特征计算步骤如下：

(1)读入图像，结合图2(a)归一化图像大小为16×16；

(2)计算图像每个像素的I_x,I_y，按上述公式计算像素的梯度幅值与角度；

(3)结合图2(b)梯度空间每个像素投影成长度为9的单维向量，0—180角度均分成9个通道，每个通道初始权重为0，按照上述公式计算每个像素通道，通道权重为幅值，剩余8个通道权重直接置为0；

(4)结合图2(c)按照像素位置从左到右、从上到下将256个像素的投影向量串联成一个向量。

第二层级，本层级中，方法学习人脸局部鲁棒性特征剔除误检窗口。人脸对齐方法回归不同人脸形状，提供人脸眼睛、鼻子和嘴巴的位置，使方法无需对不同姿态建立模型。同时，方法可独立使用已有的人脸对齐数据集学习人脸对齐回归器，提高框架的灵活性。特征提取方法采用SIFT特征，图像归一化大小后，以特征点为中心计算直径为6范围内的特征。

方法不再检测尺度不变形特征点和提取特征点主方向，直接使用人脸特征点替换，然后提取每个特征点周围区域128维描述算子向量，串联成单维向量。结合图3，将人脸的12特征点作为SIFT特征点。

采用线性SVM学习特征，假设样本集合

{(X,Y)|(x_i,y_i),i＝1,...,l}

其中x_i∈Rⁿ，y∈{-1,+1}，l是样本总数，设置样本y_iw^Tx_i＞0为分类正确，并尽可能的大于1，使用L2范式防止过拟合，结果样本评分分数表达式为：

s_i＝w^Tx_i

优化目标函数：

ξ(w；x_i,y_i)＝max(1-y_iw^Tx_i)²

其中，s_i是第i个样本分数，C是惩罚因子，w是需要求解的权重向量，ξ是损失函数，采用对偶坐标下降法求解损失函数的最小值，每次的结果再作为样本反馈给SVM进行学习。

利用难例训练有效促进人脸精确定位，快速收敛。本专利设计了有效的难例处理方式。第一层训练中，第k(k＞1,k∈N)次训练，将所有正样本于k-1次的训练结果权重求内积，得分小于0的正样本不参与训练。负样本从不包含面部特征的图中随机截取窗口，计算得分大于0即可；第二层训练中，第k(k＞1,k∈N)次训练，将将k-1次训练用的正样本与k-1训练的结果权重求内积，将得分小于0的正样本直接剔除，不再参与之后训练，然后余下正样本保存给下一次训练使用。负样本是得分大于0的非人脸窗口图片。

Claims (3)

1.一种基于双层级联的面部特征检测方法，其特征在于，包括如下步骤：

第一步，设计一种稀疏特征，计算输入图像的稀疏特征，采用线性SVM学习特征，进行粗略分类，检测含有面部特征的候选区域；

第二步，在第一步检测出的候选区域中，使用已有的人脸数据集学习人脸对齐算法，形成人脸特征点回归器，进行特征点定位，回归不同人脸形状，提供面部眼睛、鼻子和嘴巴的位置，得到每个候选区域内相应的面部特征点；

第三步，采用尺度不变特征进行局部特征提取，直接使用第二步得到的人脸特征点替换SIFT特征点，提取每个特征点周围区域128维描述子向量，利用线性SVM学习特征，对候选区域进行筛选；

第四步，采用线性SVM不断学习特征，逐层训练分类器的方式，首先独立训练第一层级分类器，每次的结果再作为样本反馈给SVM进行学习，然后训练人脸特征点回归器，在此基础上最后训练第二层级分类器，添加难例训练实现人脸定位与收敛，最终确定面部特征区域；

第一步所述计算输入图像的稀疏特征，方法如下：

(1.1)输入一张样本图像，归一化图像大小为16×16；

(1.2)计算图像每个像素的梯度幅值，梯度角度，角度通道位置：

其中M为梯度幅值，I_x,I_y分别为像素在x、y方向上的梯度；

θ＝arctanI_x/I_y∈[0,180)

其中θ为梯度角度；

bin≈θ/20

其中bin为角度通道位置；

(1.3)将0～180角度平均分成9个通道，每个通道的初始权重为0，计算每个像素角度通道位置，通道权重为幅值，剩余8个通道权重置为0，使得梯度空间每个像素投影成长度为9的单维向量；

(1.4)按照像素位置，从左到右，从上到下将256个像素的投影向量串联成一个向量，最后进行范式归一化，得到样本特征向量。

2.根据权利要求1所述的基于双层级联的面部特征检测方法，其特征在于，第四步所述的采用线性SVM不断学习特征方法如下：

假设样本集合

{(X,Y)|(x_i,y_i),i＝1,...,l}

其中x_i∈Rⁿ，y∈{-1,+1}，l是样本总数，设置样本y_iw^Tx_i＞0为分类正确，结果大于1，使用L2范式正则化防止过拟合，结果样本评分分数表达式：

s_i＝w^Tx_i

优化目标函数：

ξ(w；x_i,y_i)＝max(1-y_iw^Tx_i)²

其中，s_i是第i个样本分数，C是惩罚因子，w是需要求解的权重向量，ξ是损失函数，采用对偶坐标下降法求解损失函数的最小值，每次的结果再作为样本反馈给SVM进行学习。

3.根据权利要求1所述的基于双层级联的面部特征检测方法，其特征在于，第四步所述添加难例训练实现人脸定位与收敛，具体方法如下：

第一层训练中，第k次训练，k＞1,k∈N，将所有正样本于k-1次的训练结果权重求内积，得分小于0的正样本不参与训练；负样本从不包含面部特征的图中随机截取窗口，计算得分大于0即可；第二层训练中，第k次训练，k＞1,k∈N，将k-1次训练用的正样本与k-1训练的结果权重求内积，将得分小于0的正样本直接剔除，不再参与之后训练，然后余下正样本保存给下一次训练使用；负样本是得分大于0的非人脸窗口图片。