CN107784263B - 基于改进加速鲁棒特征的平面旋转人脸检测的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，是一种基于改进加速鲁棒特征的平面旋转人脸检测的方法，包括以下步骤：第一步，采用FAST‑SURF算法提取特征；第二步，采用Adaboost算法对特征点进行分类；第三步，采用Adaboost算法对经分类后的特征点进行迭代、计算得到公共人脸特征分类器；第四步，将特征点与人眼区域相结合，过滤无效特征点，获得有效特征点；第五步，判断有效特征点与公共人脸特征关键点集是否匹配；第六步，检测出旋转人脸区域。本发明利用人眼定位来降低人脸检测的误检率，采用Harrlike特征模板定位人眼区域，有效降低背景及其他非人脸部分对人脸检测的干扰，减少无效特征点数目，提高检测效率。

Description

基于改进加速鲁棒特征的平面旋转人脸检测的方法

技术领域

本发明涉及图像处理技术领域，是一种基于改进加速鲁棒特征的平面旋转人脸检测的方法。

背景技术

人脸检测是一个确定待检测图像中人脸数目、姿态、位置的图像处理过程。它是人脸信息处理的关键一步，在图像搜索、身份认证、金融安全等方面中有着极其重要的应用价值，是模式识别和机器学习等领域研究的热点。在实际应用中，由于采集到的人脸图像存在角度偏转等问题，因此对旋转人脸检测的研究就显得至关重要。目前，人脸检测的研究主要分为三个阶段，第一阶段是基于模板匹配进行人脸检测，包括底层特征分析方法、组群特征方法和变形模板方法；第二阶段是基于统计模型进行人脸检测，主要有主成分分析与特征脸，隐马尔可夫模型和神经网络等；第三阶段是使用多种方法结合进行人脸检测。前两阶段虽然可以实现人脸检测，但检测效果不佳。比如在第一阶段中，通过肤色进行人脸检测的方法虽然可以进行人脸检测，但是基于肤色的人脸检测方法由于依赖于固定的先验模式，因此适应能力比较差，当图像受到光照影响时，对于偏色的环境或偏色人脸检测率低，检测效果较差，有时甚至检测不出人脸。此外，基于肤色的人脸检测方法也易受噪声以及各种遮挡的影响，进而影响最终的检测效果；第二阶段中，基于Adaboost的人脸检测方法，其基本思想是对同一个训练集运用不同的特征，训练出不同的弱分类器，然后将这些弱分类器组合起来构成一个强分类器。该法不易受到颜色的影响，但是误检率高。而在第三阶段中，通过多种方法的结合，可以取长补短，利用不同方法的优点来是使得检测效果达到最佳状态。本发明属于第三类方法，利用FAST算法对SURF算法进行改进，并与Adaboost算法以及人眼定位相结合，从而达到了比目前已有方法更好的检测效果。

SURF算法是Herbert Bay等人在2006年提出的一种高鲁棒性的局部特征点检测算法。其针对SIFT算法计算数据量大，耗时长的缺点加以改进，该算法采用积分图像、Haar小波变换和近似的Hessian矩阵运算来提高时间效率，通过Haar小波变换增加鲁棒性。但其在特征点提取中，SURF检测在平滑区域边缘容易提取大量特征点，增加计算复杂度。

发明内容

本发明提供了一种基于改进加速鲁棒特征的平面旋转人脸检测的方法，克服了上述现有技术之不足，其能有效解决现有技术中识别人脸图像时存在平面角度偏转易造成人脸误检测的问题。

本发明的技术方案是通过以下措施来实现的：基于改进加速鲁棒特征的平面旋转人脸检测的方法，包括以下步骤：

第一步，采用FAST-SURF算法提取特征点，包括以下过程：

(1)采用FAST算法对待检测图像的所有候选点进行检测；通过比较候选点周围的像素值提取所有特征点位置(x，y)集合，采用如下公式对候选点是否为特征点进行判别：

其中，I(x)为圆周上任意一点像素值，I(p)为候选点像素值，ε_d为相差阈值，若圆周上有N个点满足上述公式，则特征点为角点；

(2)采用改进SURF算法对特征点进行描述，之后进入第二步；

第二步，采用Adaboost算法对改进SURF算法提取的特征点进行分类，对特征点分类包括以下过程：

(1)确定样本的权值；

(2)将新的数据集送给下级分类器进行训练；

(3)将每次训练得到的分类器结合起来，形成最终的决策分类器；之后进入第三步；

第三步，采用Adaboost算法对经分类后的特征点进行迭代、计算，得到一个包含公共人脸特征关键点集的公共人脸特征分类器，包括以下过程：

(1)通过迭代算法，计算不同样本的每个关键点欧氏距离，获取每个样本前m个最小距离的关键点；

(2)以关键点的矢量属性作为特征，构成一个满足阈值限定范围的一对多的关键点集；

(3)在训练样本中引入关键点置信权值，若部分样本没有相匹配的关键点时，则该关键点的置信权值按样本数量比例进行减少，之后进入第五步；

第四步，根据第一步提取的特征点，将通过改进SURF算法提取的检测区域的特征点与人眼区域相结合，过滤无效特征点，获得有效特征点，之后进入第五步；

第五步，判断检测区域的有效特征点与训练得到的公共人脸特征关键点集是否匹配，若匹配，则进入第六步；若不匹配，则结束；

第六步，将与公共人脸特征关键点集相匹配的图像所有有效特征点进行集中锁定，从而检测出旋转人脸区域，结束。

下面是对上述发明技术方案的进一步优化或/和改进：

上述第一步中，采用改进SURF算法对特征点的描述包括以下过程：

(1)以特征点为中心，选取中心点邻域范围内20S×20S的区域，将其分为4×4的子区域；

(2)采用SURF算法对子区域中5S×5S大小的空间采样点通过统计其Haar小波响应值来对特征点进行描述，每个像素点的Haar小波在X方向和Y方向的响应值表示为dx，dy，对以特征点为中心计算到的dx，dy进行高斯加权处理；

(3)对于每一个区域，将响应值统计形成4维特征向量：

V＝(∑dx，∑dy，∑|dx|，∑|dy|)，形成一个64维的特征向量。

上述在第一步中，还包括采用高斯归一化算法对经高斯加权处理过的特征点出现过大或者过小的情况进行处理，公式如下：

其中，

是特征点对比度的平均值，C_i是第n个特征点的对比度，C′_i是C_i归一化之后的值，C′_max是归一化之后对比度的最大值，ω_i是特征点权值，ω_i ^con是对比度的最终值。

上述在第一步中，特征点提取时会检测到多个相邻特征点，通过极大值抑制法剔除非局部极值点，通过采用角点响应函数M计算极值点，计算公式如下：

其中式中S_b为较亮点个数，S_d为较暗点个数，t为阈值。

上述在第三步中，在训练样本中引入关键点置信权值，置信权值对特征点的加权计算公式如下：

其中，ω_i是第i个关键点置信加权值，S_i是第i个关键点相似度，S∈(0，1)表示区域存在人脸，1代表存在人脸，0代表不存在人脸；

通过置信权值对关键点的加权计算得到较准确的旋转角度，旋转角度的计算公式如下：

其中，ω_i是第i个关键点置信加权值，θ_i是关键点主方向，θ_m是人脸旋转角度。

上述在第四步中，人眼区域的定位采用Harrlike特征模板进行定位。

本发明通过FAST-SURF算法结合Adaboost算法对图像特征点进行处理，得到公共人脸特征关键点集，通过利用人眼定位来降低人脸检测的误检率，采用Harrlike特征模板定位人眼区域，有效降低背景及其他非人脸部分对人脸检测的干扰，减少了无效特征点数目，提高检测效率。本发明在提高检测率的同时，将公共人脸特征关键点集与通过人眼定位获得的特征点进行匹配，从而确定人脸区域，有效降低了误检率，具有较好鲁棒性。

附图说明

附图1为本发明的流程图。

附图2为本发明的特征点检测r＝3的图像模板图。

附图3为本发明的特征描述子的表示示意图。

附图4为本发明的过滤无效特征点之前的图像效果图。

附图5为本发明的过滤无效特征点之后的图像效果图。

附图6为本发明的检测出人脸区域的结果示意图。

具体实施方式

本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。

下面结合实施例及附图对本发明作进一步描述：

如附图1、2、3、4、5、6所示，基于改进加速鲁棒特征的平面旋转人脸检测的方法，包括以下步骤：

第一步，采用FAST-SURF算法提取特征点，包括以下过程：

(1)采用FAST算法对待检测图像的所有候选点进行检测；通过比较候选点周围的像素值提取所有特征点位置(x，y)集合，采用如下公式对候选点是否为特征点进行判别：

其中，I(x)为圆周上任意一点像素值，I(p)为候选点像素值，ε_d为相差阈值，若圆周上有N个点满足上述公式，则特征点为角点；

(2)采用改进SURF算法对特征点进行描述，之后进入第二步；

第二步，采用Adaboost算法对改进SURF算法提取的特征点进行分类，对特征点分类包括以下过程：

(1)确定样本的权值；

(2)将新的数据集送给下级分类器进行训练；

(3)将每次训练得到的分类器结合起来，形成最终的决策分类器；之后进入第三步；

第三步，采用Adaboost算法对经分类后的特征点进行迭代、计算，得到一个包含公共人脸特征关键点集的公共人脸特征分类器，包括以下过程：

(1)通过迭代算法，计算不同样本的每个关键点欧氏距离，获取每个样本前m个最小距离的关键点；

(2)以关键点的矢量属性作为特征，构成一个满足阈值限定范围的一对多的关键点集；

(3)在训练样本中引入关键点置信权值，若部分样本没有相匹配的关键点时，则该关键点的置信权值按样本数量比例进行减少，之后进入第五步；

第四步，根据第一步提取的特征点，将通过改进SURF算法提取的检测区域的特征点与人眼区域相结合，过滤无效特征点，获得有效特征点，之后进入第五步；

第五步，判断检测区域的有效特征点与训练得到的公共人脸特征关键点集是否匹配，若匹配，则进入第六步；若不匹配，则结束；

第六步，将与公共人脸特征关键点集相匹配的图像所有有效特征点进行集中锁定，从而检测出旋转人脸区域，结束。

在第一步中，FAST算法特征点检测的原理是比较候选点周围的像素值。在如附图2所示的r＝3的图像模板中，比较以0为圆心，r＝3为半径的圆环上的16个领域点，如果候选点周围一圈像素的灰度值与候选点的灰度值差别足够大，则认为该候选点是一个特征点。

这里在第二步中，通过改进SURF特征提取得到的特征分为个体特征点和公共特征点，其中公共特征点要保留，个体特征点要被去掉；由于公共特征点具有一定的规律，因此，通过对特征点进行分类得到公共特征点。本发明利用Adaboost算法对64×64分辨率的正向人脸样本进行训练，这里的Adaboost算法是通过改变数据的分布来实现分类处理，是一种迭代算法。

本发明通过FAST-SURF算法结合Adaboost算法对图像特征点进行处理，得到公共人脸特征关键点集，通过利用人眼定位来降低人脸检测的误检率，采用Harrlike特征模板定位人眼区域，有效降低背景及其他非人脸部分对人脸检测的干扰，减少了无效特征点数目，提高检测效率。本发明在提高检测率的同时，将公共人脸特征关键点集与通过人眼定位获得的特征点进行匹配，从而确定出人脸区域，有效降低了误检率，具有较好鲁棒性

可根据实际需要，对上述基于改进加速鲁棒特征的平面旋转人脸检测的方法作进一步优化或/和改进：

如附图1、2、3、4、5、6所示，第一步中，采用改进SURF算法对特征点的描述包括以下过程：

(1)以特征点为中心，选取中心点邻域范围内20S×20S的区域，将其分为4×4的子区域；

(2)采用SURF算法对子区域中5S×5S大小的空间采样点通过统计其Haar小波响应值来对特征点进行描述，每个像素点的Haar小波在X方向和Y方向的响应值表示为dx，dy，对以特征点为中心计算到的dx，dy进行高斯加权处理；

(3)对于每一个区域，将响应值统计形成4维特征向量：

V＝(∑dx，∑dy，∑|dx|，∑|dy|)，形成一个64维的特征向量。

这里的20S×20S中的S是根据实际处理的图像的大小进行标注单位。这里对以特征点为中心计算到的dx，dy进行高斯加权处理是为了增强特征点的准确性和鲁棒性，这里的Haar小波为现有公知技术。为了保证图像特征的旋转不变性，需要对每个特征点分配一个主要方向，具体步骤可以是：在以特征点为圆心，以6r(r为特征点所在的尺度值)为半径的圆形区域内对图像进行Haar小波响应运算；对计算得到的响应值按距离赋予一定的权值系数，其次将60°范围内的响应相加形成一个新的矢量，将整个圆形区域中的最长矢量的方向为该特征点的主方向。

如附图1、2、3、4、5、6所示，在第二步中，还包括采用高斯归一化算法对经高斯加权处理过的特征点出现过大或者过小的情况进行处理，公式如下：

其中，

是特征点对比度的平均值，C_i是第n个特征点的对比度，C′_i是C_i归一化之后的值，C′_max是归一化之后对比度的最大值，ω_i是特征点权值，ω_i ^con是对比度的最终值。

本发明通过高斯归一化算法能够定位出眼部区域，有效提升检测率。为保证描述子具有亮度和尺度不变性，对描述子进行高斯归一化处理，从而得到最终的SURF特征描述子。

如附图1、2所示，在第一步中，特征点提取时会检测到多个相邻特征点，通过极大值抑制法剔除非局部极值点，通过采用角点响应函数M计算极值点，计算公式如下：

其中式中S_b为较亮点个数，S_d为较暗点个数，t为阈值。

本发明通过极大值抑制法能够实现特征点的检测，初步去除冗余点。

如附图1、2、3、4、5、6所示，在第三步中，在训练样本中引入关键点置信权值，置信权值对特征点的加权计算公式如下：

其中，ω_i是第i个关键点置信加权值，S_i是第i个关键点相似度，S∈(0，1)表示区域存在人脸，1代表存在人脸，0代表不存在人脸：

通过置信权值对关键点的加权计算得到较准确的旋转角度，旋转角度的计算公式如下：

其中，ω_i是第i个关键点置信加权值，θ_i是关键点主方向，θ_m是人脸旋转角度。

本发明通过置信加权方法能够较好的实现旋转人脸检测。通过实验验证得出该关键点置信权值S的阈值在0.6到0.7之间时，会得到很好的人脸检测效果。

本发明采用的Adaboost算法是通过迭代进一步缩小尺度、起点以及主方向的变化区间。在训练集中会出现部分关键点缺失的现象，主要是由于头发及眼睛的遮挡或是光照原因造成的。为了减少由于关键点缺失造成的检测不稳定的情况，在训练中引入关键点置信权值。置信权值是由关键点的匹配率决定的。当有部分样本没有相匹配的关键点时，则该关键点的置信权值按样本数量比例进行减少。关键点置信加权值的最大值为1，最小值为0。如果为0则表示该点并不具有公共特征的性质。

如附图1、2、3、4、5、6所示，在第四步中，人眼区域的定位采用Haxrlike特征模板进行定位。这里的Harrlike特征模板为现有公知技术，这里采用Harrlike特征模板定位人眼区域，有效降低了背景及其他非人脸部分对人脸检测的干扰，减少无效特征点数目，提高检测效率。

以上技术特征构成了本发明的实施例，其具有较强的适应性和实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。

Claims (9)

1.一种基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于包括以下步骤：

第一步，采用FAST-SURF算法提取特征点，包括以下过程：

(1)采用FAST算法对待检测图像的所有候选点进行检测；通过比较候选点周围的像素值提取所有特征点位置(x，y)集合，采用如下公式对候选点是否为特征点进行判别：

其中，I(x)为圆周上任意一点像素值，I(p)为候选点像素值，ε_d为相差阈值，若圆周上有N个点满足上述公式，则特征点为角点；

(2)采用改进SURF算法对特征点进行描述，之后进入第二步；

第二步，采用Adaboost算法对改进SURF算法提取的特征点进行分类，对特征点分类包括以下过程：

(1)确定样本的权值；

(2)将新的数据集送给下级分类器进行训练；

(3)将每次训练得到的分类器结合起来，形成最终的决策分类器；之后进入第三步；第三步，采用Adaboost算法对经分类后的特征点进行迭代、计算，得到一个包含公共人脸特征关键点集的公共人脸特征分类器，包括以下过程：

(1)通过迭代算法，计算不同样本的每个关键点欧氏距离，获取每个样本前m个最小距离的关键点；

(2)以关键点的矢量属性作为特征，构成一个满足阈值限定范围的一对多的关键点集；

(3)在训练样本中引入关键点置信权值，若部分样本没有相匹配的关键点时，则该关键点的置信权值按样本数量比例进行减少，之后进入第五步；

第四步，根据第一步提取的特征点，将通过改进SURF算法提取的检测区域的特征点与人眼区域相结合，过滤无效特征点，获得有效特征点，之后进入第五步；

第五步，判断检测区域的有效特征点与训练得到的公共人脸特征关键点集是否匹配，若匹配，则进入第六步；若不匹配，则结束；

第六步，将与公共人脸特征关键点集相匹配的图像所有有效特征点进行集中锁定，从而检测出旋转人脸区域，结束。

2.根据权利要求1所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第一步中，采用改进SURF算法对特征点的描述包括以下过程：

(1)以特征点为中心，选取中心点邻域范围内20S×20S的区域，将其分为4×4的子区域；

(2)采用SURF算法对子区域中5S×5S大小的空间采样点通过统计其Haar小波响应值来对特征点进行描述，每个像素点的Haar小波在X方向和Y方向的响应值表示为dx，dy，对以特征点为中心计算到的dx，dy进行高斯加权处理；

(3)对于每一个区域，将响应值统计形成4维特征向量：V＝(∑dx，∑dy，∑|dx|，∑|dy|)，形成一个64维的特征向量。

3.根据权利要求2所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第一步中，还包括采用高斯归一化算法对经高斯加权处理过的特征点出现过大或者过小的情况进行处理，公式如下：

其中，

是特征点对比度的平均值，C_i是第n个特征点的对比度，C′_i是C_i归一化之后的值，C′_max是归一化之后对比度的最大值，ω_i是特征点权值，ω_i ^con是对比度的最终值。

4.根据权利要求1或2或3所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第一步中，特征点提取时会检测到多个相邻特征点，通过极大值抑制法剔除非局部极值点，通过采用角点响应函数M计算极值点，计算公式如下：

其中式中S_b为较亮点个数，S_d为较暗点个数，t为阈值。

5.根据权利要求1或2或3所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第三步中，在训练样本中引入关键点置信权值，置信权值对特征点的加权计算公式如下：

其中，ω_i是第i个特征点置信加权值，S_i是第i个特征点相似度，S∈(0，1)表示区域存在人脸，1代表存在人脸，0代表不存在人脸；

通过置信权值对特征点的加权计算得到较准确的旋转角度，旋转角度的计算公式如下：

其中，ω_i是第i个特征点置信加权值，θ_i是特征点主方向，θ_m是人脸旋转角度。

6.根据权利要求4所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第三步中，在训练样本中引入关键点置信权值，置信权值对特征点的加权计算公式如下：

其中，ω_i是第i个关键点置信加权值，S_i是第i个关键点相似度，S∈(0，1)表示区域存在人脸，1代表存在人脸，0代表不存在人脸；

通过置信权值对关键点的加权计算得到较准确的旋转角度，旋转角度的计算公式如下：

其中，ω_i是第i个关键点置信加权值，θ_i是关键点主方向，θ_m是人脸旋转角度。

7.根据权利要求1或2或3所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第四步中，人眼区域的定位采用Harrlike特征模板进行定位。

8.根据权利要求4所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第四步中，人眼区域的定位采用Harrlike特征模板进行定位。

9.根据权利要求5所述的基于改进加速鲁棒特征的平面旋转人脸检测的方法，其特征在于第四步中，人眼区域的定位采用Harrlike特征模板进行定位。

Images