CN101350063A - 人脸特征点定位方法及装置 - Google Patents

Abstract

本发明公开了两种人脸特征点定位方法及分别对应的装置，其中一个装置及方法，采用图像放缩的方式得到特征点的候选区域，并通过采用两级分类器对所述区域进行判定，一方面保持了haar－like特征速度快的优点，即采用较少的运算量就能够排除大多数干扰；另一方面通过采用LBP特征又增强了对细节特征的描述能力，较好的区分出了与特征点区域接近但细节不同的干扰。另一个装置及方法通过采用通过特征放缩方式得到的基于adaboost和haar－like特征的多尺度的第三类分类器对候选特征点区域进行判定，经过合并后处理和图像放缩后，采用基于adaboost和LBP特征的第二类分类器进行判定，由于前后两类分类器可以采用不同的归一化尺度，因而提高LBP特征的表述能力的同时，能够保持haar－like特征的速度。

Description

人脸特征点定位方法及装置

技术领域

本发明涉及图像处理技术，尤指两种人脸特征点定位方法及装置。

背景技术

脸部器官特征点(文中称为人脸特征点)有很多，包括左眼、右眼、嘴巴、鼻子和脸颊轮廓等。人脸特征点定位是人脸识别、人机交互和娱乐等应用的前端步骤，具有重要的实用价值。人脸特征点定位的方法有很多，原来的方法往往基于启发式规则，实现起来很复杂，需要调节很多参数，而且，效果往往无法保证。近年来，基于自适应增强(AdaBoost，Adaptive Boosting)训练算法和微结构特征(haar-like)的方法在物体检测应用很广泛，也有人将其应用于人脸特征点定位。但是，由于haar-like特征的图像表示能力并不是特别强，尤其对于纹理等细节信息，其往往无法用很少的特征表示，从而，无法区分出具有较高迷惑性的干扰，从而造成分类器收敛慢，分类器结构复杂，并且降低分类能力的同时影响了分类速度。

发明内容

有鉴于此，本发明的主要目的在于提供两种人脸特征点定位方法，能够在保证定位速度的同时，提高对特征的描述能力，从而提高分类的能力，并得到满意的检测效果。

本发明的另一目的在于提供两种人脸特征点定位装置，能够在保证定位速度的同时，提高对特征的描述能力，从而提高分类的能力，并得到满意的检测效果。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种人脸特征点定位装置，该装置主要包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第一分类器、第二分类器和后处理模块，其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域；

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

预处理模块，用于根据确定出的特征点搜索范围和可能大小范围，以及特征点区域的最大宽度和最小宽度，将所述特征点区域图像放缩得到一系列不同尺度的图像区域，以得到每个位置的特征区域；

第一分类器，用于对每个位置的特征区域进行分类，将判断出的可能的特征点区域作为第一候选区域输出给第二分类器；

第二分类器，用于对第一候选区域进行分类，将判断出的特征点区域作为第二候选区域输出给后处理模块；

后处理模块，用于对接收到的第二候选区域进行合并处理，得到特征点区域的位置和大小，以定位特征点。

一种人脸特征点定位方法，上述的人脸特征点定位装置，该方法包括：

对采集到的图像区域进行人脸检测，得到人脸区域；根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

根据确定出的特征点搜索范围和可能大小范围，以及特征点区域的最大宽度和最小宽度，将所述特征点区域图像放缩得到一系列不同尺度的图像区域，以得到每个位置的特征区域；

对每个位置的特征区域进行分类，将判断出的可能的特征点区域作为第一候选区域输出给第二分类器；对第一候选区域进行分类，将判断出的特征点区域作为第二候选区域输出给后处理模块；

对第二候选区域进行合并处理，得到特征点区域的位置和大小，以定位特征点。

所述得到每个位置的特征区域的方法为：

假定设定的特征点区域归一化宽度和高度分别为W_LE和H_LE，特征点区域的最小宽度为W_lemin，最大宽度为W_lemax，则把特征点图像区域放缩为最大宽度为

最小宽度为

的一系列图像区域；

假定相邻尺度间的图像比例为S，则得到的一系列宽度为

n＝0，1，2...N的图像为每个位置的特征区域，其中， $N=\mathrm{ROUND}\left(\frac{\log \left(\frac{W_{\mathrm{le}\max }}{W_{\mathrm{le}\min }}\right)}{\log \left(S\right)}\right),$ ROUND()为四舍五入运算，log为取自然对数运算。

该方法之前还包括：预先采用基于AdaBoost训练算法和haar-like特征训练得到所述第一分类器。

该方法之前还包括：预先采用基于AdaBoost训练算法和LBP直方图训练得到所述第二分类器。

一种人脸特征点定位装置，该装置主要包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第三分类器、后处理模块和第二分类器；其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域；

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

预处理模块，根据所述特征点可能大小范围，选择所述大小对应的第三分类器，并在所述搜索范围内确定特征点可能区域；

第三分类器，用于对特征点可能区域进行分类，将判断出的可能的特征点区域作为第三候选区域输出给后处理模块；

后处理模块，用于将所述第三候选区域进行合并操作，将合并后余下的图像区域放缩到第二分类器的归一化尺度；

第二分类器，用于对所述后处理模块输出的图像进行判定，将通过第二分类器的图像区域作为特征点区域，并得到特征点的位置和大小。

一种人脸特征点定位方法，基于上述的人脸特征点定位装置，该方法包括：

对采集到的图像区域进行人脸检测，得到人脸区域；根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

根据得到的特征点可能大小范围，选择对应尺度的第三分类器，对特征点搜索区域内的特征点候选区域进行分类，将判断出的可能的特征点区域作为第三候选区域输出，进而将所述第三候选区域进行合并操作后，放缩得到第二分类器的归一化尺度的图像；

将所述放缩后得到的第二分类器归一化尺度的图像，采用第二分类器进行判定，根据通过第二分类器的特征点区域得到最终的特征点位置和大小。

该方法之前还包括：预先采用adaboost对haar-like特征进行特征选择的训练得到所述第三分类器。

该方法之前还包括：预先采用基于AdaBoost训练算法和LBP直方图训练得到所述第二分类器。

其中，所述第一分类器采用基于自适应增强AdaBoost训练算法和微结构特征haar-like训练得到。

所述第二分类器采用基于AdaBoost训练算法和局部二维模式LBP直方图训练得到。

所述第一分类器和第二分类器均采用基于层次型AdaBoost的分类器结构。

所述第三分类器为采用adaboost对haar-like特征进行特征选择训练后，采用特征方式放缩得到的一系列不同尺度的分类器。

所述人脸特征点包括左眼、右眼、嘴巴、鼻子和脸颊轮廓特征点。

其中，所述确定人脸区域中的特征点搜索范围的方法为：根据多张标定好特征点区域的人脸图像训练样本，采用统计的方式确定人脸特征点区域的搜索范围。

假设人脸区域范围为R_f(x_f，y_f，w_f，h_f)，其中，x_f为人脸区域中心点横坐标，y_f为人脸区域中心点纵坐标，w_f为人脸区域宽度，h_f为人脸区域高度；标定的特征点区域范围为R_le(l_le，t_le，r_le，b_le)，其中，l_le，t_le，r_le，b_le分别为特征点区域左边缘横坐标，上边缘纵坐标，右边缘横坐标，下边缘纵坐标；

所述搜索范围为： $\begin{array}{c}(x_f+R_{\mathrm{lel}}*w_f)\≤x\≤(x_f+R_{\mathrm{ler}}*w_f)\\ (y_f+R_{\mathrm{let}}*h_f)\≤y\≤(y_f+R_{\mathrm{leb}}*h_f)\end{array},$ 其中，x，y分别为所搜范围的横坐标和纵坐标；R_lel，R_ler，R_let和R_leb通过统计得到。

所述得到R_lel，R_ler，R_let和R_leb的方法为：

假设 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f};$

对所述所有标定好的人脸样本计算 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ 对所有样本的该值进行排序，找到排在由小到大第(N_s*R₁)处的值R_lel，其中，N_s为样本数目，R₁为[0，1]间的常数，可以取为0.95；

对所述所有标定好的人脸样本计算 $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ 找到排在由大到小第(N_s*R₁)处的r_ler并设为R_ler；

对所述所有标定好的人脸样本计算 $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ 排在由小到大第(N_s*R₁)处的r_let并设为R_let；

对所述所有标定好的人脸样本计算 $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f},$ 排在由大到小第(N_s*R₁)处的r_leb并设为R_leb。

所述确定人脸区域中的特征点区域可能大小范围的方法为：设 $r_{\mathrm{lew}}=\frac{w_{\mathrm{le}}}{w_f},$ 则以r_lel的处理方式，找到排在所有标定样本由小到大第(N_s*R₁)处的r_lew并设为R_lewmin，和由大到小第(N_s*R₁)处的r_lew并设为R_lewmax。则特征点区域搜索大小范围为：R_lewmin*w_f≤w_le≤R_lewmax*w_f。

由上述技术方案可见，本发明这种通过采用两级分类器，一方面保持了haar-like特征速度快的优点，即采用较少的运算量就能够排除大多数干扰；另一方面，通过采用LBP特征又增强了对细节特征的描述能力，较好的区分出了与特征点区域接近但细节不同的干扰。

进一步地，为了使得LBP特征具有更强的细节描述能力，本发明还提出拉采用adaboost对haar-like特征进行特征选择，训练得到的分类器，由于haar-like具有线性特征放缩特性，因而可以采用特征放缩的方式得到一系列尺度的分类器，从而能够判定不同尺度的图像区域的类别归属。

附图说明

图1是本发明实施例一的人脸特征点定位装置的组成结构示意图；

图2是本发明实施例二的人脸特征点定位装置的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

下面仅以左眼为例说明本发明的实现。其它特征点的定位方法与左眼定位方法类似，本领域技术人员很容易根据本发明提供的方案得以实现，因此不再赘述。

图1是本发明实施例一的人脸特征点定位装置的组成结构示意图，如图1所示，实施例一中的装置主要包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第一分类器、第二分类器和后处理模块，其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域包括位置和大小构成的人脸区域范围。人脸检测模块的具体实现可以采用现有很多方法，属于本领域技术人员公知技术，这里不再赘述。比如中国已公开专利“一种图像检测方法及装置”(公开号为CN101178770)中的方法。

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围。

在本实施例中，以特征点为左眼为例，特征点搜索区域确定模块的实现方法为：可以根据多张标定好左眼区域的人脸图像训练样本，采用统计的方式确定左眼的搜索范围。该左眼搜索范围以人脸区域范围为参考，假定人脸区域范围为R_f(x_f，y_f，w_f，h_f)，其中，x_f为人脸区域中心点横坐标，y_f为人脸区域中心点纵坐标，w_f为人脸区域宽度，h_f为人脸区域高度。假定标定的左眼区域范围为R_le(l_le，t_le，r_le，b_le)，其中，l_le，t_le，r_le，b_le分别为左眼区域左边缘横坐标，上边缘纵坐标，右边缘横坐标，下边缘纵坐标。则统计确定左眼搜索范围的一种实施方案为： $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f}.$ 以 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f}$ 为例，对所有上述标定好的人脸样本计算 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ 对所有样本的该值进行排序，找到排在由小到大第(N_s*R₁)处的值R_lel，其中，N_s为样本数目，R₁为[0，1]间的常数，可以取为0.95。同理对所述所有标定好的人脸样本计算 $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ 找到排在由大到小第(N_s*R₁)处的r_ler并设为R_ler；对所述所有标定好的人脸样本计算 $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ 排在由小到大第(N_s*R₁)处的r_let并设为R_let；对所述所有标定好的人脸样本计算 $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f},$ 排在由大到小第(N_s*R₁)处的r_leb并设为R_leb。则左眼区域搜索范围如公式(1)所示：

(x_f+R_lel*w_f)≤x≤(x_f+R_r*w_f)                   (1)

(y_f+R_let*h_f)≤y≤(y_f+R_leb*h_f)

其中，x，y分别为搜索范围的横坐标和纵坐标。在通过统计得到R_lel，R_ler，R_let和R_leb的过程中，人脸区域可以为根据标定数据得到的人脸区域，也可以为根据人脸检测算法自动得到的人脸区域。一种更优的方式是根据人脸检测算法得到的人脸区域。

另外，由于特征点的局部特征区域的搜索大小范围会影响系统的处理速度，为了在保证不漏检的基础上提高处理速度，需要通过统计确定特征点区域的搜索大小范围(即特征点区域的最大宽度和最小宽度)。任以特征点为左眼为例，设 $r_{\mathrm{lew}}=\frac{w_{\mathrm{le}}}{w_f},$ 则以r_lel的处理方式，找到排在所有标定样本由小到大第(N_s*R₁)处的r_lew并设为R_lewmin，和由大到小第(N_s*R₁)处的r_lew并设为R_lewmax。则左眼区域搜索大小范围为：R_lewmin*w_f≤w_le≤R_lewmax*w_f。

通过特征点搜索区域确定模块确定出人脸区域中的特征点搜索范围和可能大小范围，既减少了搜索区域，提高了定位速度，同时也排除了背景给特征点定位带来的干扰。

预处理模块，用于根据确定出的特征点搜索范围和可能大小范围，以及特征点区域的最大宽度和最小宽度，将所述特征点区域图像放缩得到一系列不同尺度的图像区域，以得到每个位置的特征区域。

以特征点为左眼为例，预处理模块的实现方法为：假定设定的左眼区域归一化宽度和高度分别为W_LE和H_LE，假定得到的左眼区域的最小搜索宽度为W_lemin，最大搜索宽度为W_lemax，假定得到的左眼搜索区域的宽度为W，则把左眼搜索图像区域放缩为最大宽度为

最小宽度为

的一系列图像区域。假定相邻尺度间的图像比例为S，则得到一系列宽度为

n＝0，1，2...N的图像，其中， $N=\mathrm{ROUND}\left(\frac{\log \left(\frac{W_{\mathrm{le}\max }}{W_{\mathrm{le}\min }}\right)}{\log \left(S\right)}\right),$ ROUND()为四舍五入运算，log为取自然对数运算。可以取W_LE＝20，H_LE＝12，S＝1.2。

第一分类器，用于对每个位置的特征区域进行分类，将判断出的可能的特征点区域作为第一候选区域输出给第二分类器，将判断出的非特征点区域丢弃。第一候选区域可能存在对应不同位置的一系列区域。

第一分类器的实现方法为：采用AdaBoost训练算法和haar-like特征训练得到。以特征点为左眼为例，以多张标定好左眼区域的人脸图像为训练样本，假设左眼区域可以以左眼区域中心为中心，左眼区域的左边界到右边界距离为宽度，限定高度与宽度之比为常数HWR，如特征点为眼睛，HWR可以取0.6；割取特征点区域对应的图像并放缩到W_LE*H_LE的固定尺度作为正样本，采集其它不是特征点的图像区域并放缩到W_LE*H_LE尺度作为反样本；其中，W_LE，H_LE分别为左眼区域图像归一化尺度的宽度和高度。采用Haar-like特征，经过AdaBoost特征选择后得到第一分类器，第一分类器具体实现属于本领域技术人员惯用技术手段，这里不再详述。

该分类器需要满足下面条件：对占DetRate比例的正样本的输出为T，对其它正样本输出为F，其中DetRate为控制参数，可以取为0.999；对占FAR比例的反样本的输出为T，其它反样本输出为F，其中FAR为控制参数，可以取为0.0001。基于adaboost和haar-like特征的分类器训练方法请参照相关文献，此处不再赘述。

第二分类器，用于对第一候选区域进行分类，将判断出的特征点区域作为第二候选区域输出给后处理模块，将判断出的非特征点区域丢弃。第二候选区域可能存在对应不同位置的一系列区域。

第二分类器的实现方法为：采用AdaBoost训练算法和LBP直方图特征训练得到。具体实现如下：

将上述所有的正样本作为正样本，经过第一分类器后输出为F的反样本作为新的反样本，提取局部二维模式(LBP，Local Binary Pattern)直方图特征。具体如下：

假定图像中像素坐标为(j，i)的点对应的亮度为l_j，i，以点(j，i)为中心取3×3邻域，则各点像素亮度如下： $\left[\begin{array}{ccc}{l}_{j-1,i-1}& l_{j,i-1}& l_{j+1,i-1}\\ l_{j-1,i}& l_{j,i}& l_{j+1,i}\\ l_{j-1,i+1}& l_{j,i+1}& l_{j+1,i+1}\end{array}\right],$ 定义点(j，i)的LBP特征如公式(2)所示：

$\mathrm{LBP}(j,i)=\underset{0\≤n\≤2;0\≤m\≤2}{\mathrm{\Σ}}B(j,i,n,m)*2^{m*3+n}---\left(2\right)$

其中， $B(j,i,n,m)=\left\{\begin{array}{cc}1& \mathrm{if\; l}(j+n-1,i+m-1)\≥l(j,i)\\ 0& \mathrm{else}\end{array}\right..$

利用公式(2)对割取样本图像中所有像素计算其对应的LBP特征，并进一步计算图像的LBP特征的直方图，方法如下：

$H_l=\underset{j,i}{\mathrm{\Σ}}I(\mathrm{LBP}(j,i)=l),$ l＝0，...，N-1，其中 $I\left(A\right)=\left\{\begin{array}{cccc}1,& A& \mathrm{is}& \mathrm{true}\\ 0,& A& \mathrm{is}& \mathrm{false}\end{array}\right..$ N为LBP的最大取值数。

获取LBP特征的直方图的方法除了上述方法外，更好的方式是采用基于一致性LBP(Uniform LBP)的方法，具体定义请参考相关文献，这里不再赘述。

求得所述正样本和反样本的LBP直方图特征后，采用AdaBoost算法进行特征选择和分类器构造(具体实现属于本领域技术人员惯用技术，这里不再赘述)，得到第二分类器，第二分类器满足对特征点区域的输出为T，对其他经过上述第一分类器判定后输出为T的可能的特征区域的输出为F。

本实施例中通过两级分类器对特征点搜索区域进行分类，采用上述第一分类器对特征点搜索区域图像进行判定，如果输出为错误，则认为不是真实候选，如果第一分类器输出为正确，则进一步采用第二分类器进行判定，如果第二分类器输出为错误，则认为不是真实候选，如果第二分类器输出为正确，则认为是真实候选。这样，既保持了haar-like特征速度快的优点，通过采用LBP特征又增强了特征的描述能力，从而提高了分类能力，具有更好的检测效果。

进一步地，第一分类器和第二分类器都可以采用基于层次型AdaBoost的分类器结构，采用层次型分类器的好处是能够较大程度提高计算速度，具体训练和处理方法请参见相关文献。

后处理模块，用于对接收到的第二候选区域进行合并处理，得到特征点域的位置和大小，以定位特征点。

在得到的一系列第二候选区域中，对每个尺度位置的区域分别进行后处理的方法如下：

按照预设的水平和垂直步长，顺序遍历每个位置，对每个位置的候选特征点图像区域，根据所述候选特征点图像区域的左边缘横坐标x_l，上边缘纵坐标y_t，右边缘横坐标x_r，下边缘纵坐标y_b，得到原始图像中对应的矩形的左边缘横坐标，上边缘纵坐标，右边缘横坐标和下边缘横坐标，分别对应公式(3a)～(3d)：

${x_l}^{\′}=\frac{x_l*W_{\mathrm{le}\max }}{W_{\mathrm{LE}}*S^n}+x_s---\left(3a\right)$ ${y_t}^{\′}=\frac{y_t*W_{\mathrm{le}\max }}{W_{\mathrm{LE}}*S^n}+y_s---\left(3b\right)$

${x_r}^{\′}=\frac{x_r*W_{\mathrm{le}\max }}{W_{\mathrm{LE}}*S^n}+x_s---\left(3c\right)$ ${y_b}^{\′}=\frac{y_b*W_{\mathrm{le}\max }}{W_{\mathrm{LE}}*S^n}+y_s---\left(3d\right)$

其中，x_s＝x_f+R_lel*w_f为特征点搜索区域的左边缘横坐标，y_s＝y_f+R_let*h_f为特征点搜索区域的上边缘纵坐标。

经过上述处理后，可能得到对应同一个特征点位置的多个图像区域，还需要对这些得到的图像区域进行合并处理。对得到的所有输出为T的图像区域在原始图像中的矩形坐标进行合并处理的具体实现，可以采用很多现有技术来实现，比如可以参考中国专利申请“一种图像检测方法及装置”(公开号CN101187984)中的合并人脸矩形框的方法等。

从本发明实施例一的实现可以看出，本发明通过采用两级分类器，一方面保持了haar-like特征速度快的优点，即采用较少的运算量就能够排除大多数干扰；另一方面，通过采用LBP特征又增强了对细节特征的描述能力，较好的区分出了与特征点区域接近但细节不同的干扰。

进一步地，为了使得LBP特征具有更强的细节描述能力，本发明还提出另一种实施方式。图2是本发明实施例二的人脸特征点定位装置的组成结构示意图，如图2所示，包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第三分类器、后处理模块和第二分类器。其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域包括位置和大小的人脸区域范围。

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围。

预处理模块，根据所述特征点可能大小范围，选择所述大小对应的第三分类器，并在所述搜索范围内确定特征点可能区域。

第三分类器，用于对特征点可能区域进行分类，将判断出的可能的特征点区域作为第三候选区域输出给后处理模块，将判断出的非特征点区域丢弃。

为了使得LBP特征具有更强的细节描述能力，LBP特征需要在较高的图像分辨率上处理，而haar-like特征则不需要很高的分辨率，在较低的分辨率上处理能占用更少的内存，同时，运算量也会降低。因而更佳的方法是采用与实施例一的第一分类器不同的第三分类器。

第三分类器为采用adaboost对haar-like特征进行特征选择训练后，采用特征放缩得到的一系列不同尺度的分类器。实施例二中，采用adaboost对haar-like特征进行特征选择，训练得到一个尺度为M_Haar*H_Haar的第三分类器。其中M_Haar和H_Haar为训练时样本的归一化宽度和高度，即首先把正反样本都归一化为宽为M_Haar，高为H_Haar的图像，然后进行训练。得到的分类器能够判定宽为M_Haar，高为H_Haar的图像区域的类别归属。由于haar-like具有线性特征放缩特性，因而可以采用特征放缩的方式得到一系列尺度的分类器，从而能够判定不同尺度的图像区域的类别归属，具体实现可参考中国专利申请“一种图像检测方法及装置”(公开号CN101187984)中对于人脸检测器的处理方法。

第三分类器对特征点搜索区域的处理为：

采用宽度范围在特征点区域的最小宽度W_lemin和特征点区域的最大宽度W_lemax之间的不同尺度的第三分类器，对特征点区域进行检测，得到输出为T的特征点区域范围，并进行合并后处理，得到0，1或大于1个矩形区域作为可能的特征点候选区域即第三特征点区域。

后处理模块，用于将所述第三候选区域进行合并操作，将合并后余下的图像区域放缩到第二分类器的归一化尺度。

第二分类器，用于对所述后处理模块输出的图像进行判定，将通过第二分类器的图像区域作为特征点区域，并得到特征点的位置和大小；将判断出的非特征点区域丢弃。第二分类器采用基于AdaBoost训练算法和局部二维模式LBP直方图训练得到。

第二分类器的训练是：采用第三分类器中的各尺度的分类器对非特征点区域进行判定，将分类器输出为T的样本放缩到尺度M_LBP*H_LBP，并采用得到的放缩为尺度M_LBP*H_LBP的通过第一分类器的非特征点区域样本和放缩为M_LBP*H_LBP尺度的特征点区域样本，采用adaboost分类器算法和LBP直方图特征训练得到第二分类器。则得到一个宽度为M_LBP，高度为H_LBP的分类器，其能够判定宽度为M_LBP，高度为H_LBP的图像区域的归属。M_LBP可以取为60，H_LBP可以取为36。

本发明图1所示装置及方法，采用图像放缩的方式得到特征点的候选区域，并通过采用两级分类器对所述区域进行判定，一方面保持了haar-like特征速度快的优点，即采用较少的运算量就能够排除大多数干扰；另一方面通过采用LBP特征又增强了对细节特征的描述能力，较好的区分出了与特征点区域接近但细节不同的干扰。本发明图2所示装置及方法通过采用通过特征放缩方式得到的基于adaboost和haar-like特征的多尺度的第三类分类器对候选特征点区域进行判定，经过合并后处理和图像放缩后，采用基于adaboost和LBP特征的第二类分类器进行判定，由于前后两类分类器可以采用不同的归一化尺度，因而提高LBP特征的表述能力的同时，能够保持haar-like特征的速度。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种人脸特征点定位装置，其特征在于，该装置主要包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第一分类器、第二分类器和后处理模块，其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域；

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

预处理模块，用于根据确定出的特征点搜索范围和可能大小范围，以及特征点区域的最大宽度和最小宽度，将所述特征点区域图像放缩得到一系列不同尺度的图像区域，以得到每个位置的特征区域；

第一分类器，用于对每个位置的特征区域进行分类，将判断出的可能的特征点区域作为第一候选区域输出给第二分类器；

第二分类器，用于对第一候选区域进行分类，将判断出的特征点区域作为第二候选区域输出给后处理模块；

后处理模块，用于对接收到的第二候选区域进行合并处理，得到特征点区域的位置和大小，以定位特征点。

2.根据权利要求1所述的人脸特征点定位装置，其特征在于，所述第一分类器采用基于自适应增强AdaBoost训练算法和微结构特征haar-like训练得到。

3.根据权利要求1所述的人脸特征点定位装置，其特征在于，所述第二分类器采用基于AdaBoost训练算法和局部二维模式LBP直方图训练得到。

4.根据权利要求2或3所述的人脸特征点定位装置，其特征在于，所述第一分类器和第二分类器均采用基于层次型AdaBoost的分类器结构。

5.根据权利要求4所述的人脸特征点定位装置，其特征在于，所述人脸特征点包括左眼、右眼、嘴巴、鼻子和脸颊轮廓特征点。

6.一种人脸特征点定位方法，其特征在于，基于权利要求1所述的人脸特征点定位装置，该方法包括：

对采集到的图像区域进行人脸检测，得到人脸区域；根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

根据确定出的特征点搜索范围和可能大小范围，以及特征点区域的最大宽度和最小宽度，将所述特征点区域图像放缩得到一系列不同尺度的图像区域，以得到每个位置的特征区域；

对每个位置的特征区域进行分类，将判断出的可能的特征点区域作为第一候选区域输出给第二分类器；对第一候选区域进行分类，将判断出的特征点区域作为第二候选区域输出给后处理模块；

对第二候选区域进行合并处理，得到特征点区域的位置和大小，以定位特征点。

7.根据权利要求6所述的人脸特征点定位方法，其特征在于，所述确定人脸区域中的特征点搜索范围的方法为：根据多张标定好特征点区域的人脸图像训练样本，采用统计的方式确定人脸特征点区域的搜索范围。

8.根据权利要求7所述的人脸特征点定位方法，其特征在于，假设人脸区域范围为R_f(x_f，y_f，w_f，h_f)，其中，x_f为人脸区域中心点横坐标，y_f为人脸区域中心点纵坐标，w_f为人脸区域宽度，h_f为人脸区域高度；标定的特征点区域范围为R_le(l_le，t_le，r_le，b_le)，其中，l_le，t_le，r_le，b_le分别为特征点区域左边缘横坐标，上边缘纵坐标，右边缘横坐标，下边缘纵坐标；

所述搜索范围为： $\begin{array}{c}(x_f+R_{\mathrm{lel}}*w_f)\≤x\≤(x_f+R_{\mathrm{ler}}*w_f)\\ (y_f+R_{\mathrm{let}}*h_f)\≤y\≤(y_f+R_{\mathrm{leb}}*h_f)\end{array},$ 其中，x，y分别为所搜范围的横坐标和纵坐标；R_lel，R_ler，R_let和R_leb通过统计得到。

9.根据权利要求8所述的人脸特征点定位方法，其特征在于，所述得到R_lel，R_ler，R_let和R_leb的方法为：

假设 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f};$

对所述所有标定好的人脸样本计算 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ 对所有样本的该值进行排序，找到排在由小到大第(N_s*R₁)处的值R_lel，其中，N_s为样本数目，R₁为[0，1]间的常数，可以取为0.95；

对所述所有标定好的人脸样本计算 $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ 找到排在由大到小第(N_s*R₁)处的r_ler并设为R_ler；

对所述所有标定好的人脸样本计算 $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ 排在由小到大第(N_s*R₁)处的r_let并设为R_let；

对所述所有标定好的人脸样本计算 $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f},$ 排在由大到小第(N_s*R₁)处的r_leb并设为R_leb。

10.根据权利要求6所述的人脸特征点定位方法，其特征在于，所述确定人脸区域中的特征点区域可能大小范围的方法为：设 $r_{\mathrm{lew}}=\frac{w_{\mathrm{le}}}{w_f},$ 则以r_lel的处理方式，找到排在所有标定样本由小到大第(N_s*R₁)处的r_lew并设为R_lewmin，和由大到小第(N_s*R₁)处的r_lew并设为R_lewmax。则特征点区域搜索大小范围为：R_lewmin*w_f≤w_le≤R_lewmax*w_f。

11.根据权利要求6所述的人脸特征点定位方法，其特征在于，所述得到每个位置的特征区域的方法为：

假定设定的特征点区域归一化宽度和高度分别为W_LE和H_LE，特征点区域的最小宽度为W_lemin，最大宽度为W_lemax，则把特征点图像区域放缩为最大宽度为

最小宽度为

的一系列图像区域；

假定相邻尺度间的图像比例为S，则得到的一系列宽度为

n＝0，1，2...N的图像为每个位置的特征区域，其中， $N=\mathrm{ROUND}\left(\frac{\log \left(\frac{W_{\mathrm{le}\max }}{W_{\mathrm{le}\min }}\right)}{\log \left(S\right)}\right),$ ROUND()为四舍五入运算，log为取自然对数运算。

12.根据权利要求6所述的人脸特征点定位方法，其特征在于，该方法之前还包括：预先采用基于AdaBoost训练算法和haar-like特征训练得到所述第一分类器。

13.根据权利要求6所述的人脸特征点定位方法，其特征在于，该方法之前还包括：预先采用基于AdaBoost训练算法和LBP直方图训练得到所述第二分类器。

14.一种人脸特征点定位装置，其特征在于，该装置主要包括人脸检测模块、特征点搜索区域确定模块、预处理模块、第三分类器、后处理模块和第二分类器；其中，

人脸检测模块，用于对采集到的图像区域进行人脸检测，得到人脸区域；

特征点搜索区域确定模块，用于根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

预处理模块，根据所述特征点可能大小范围，选择所述大小对应的第三分类器，并在所述搜索范围内确定特征点可能区域；

第三分类器，用于对特征点可能区域进行分类，将判断出的可能的特征点区域作为第三候选区域输出给后处理模块；

后处理模块，用于将所述第三候选区域进行合并操作，将合并后余下的图像区域放缩到第二分类器的归一化尺度；

第二分类器，用于对所述后处理模块输出的图像进行判定，将通过第二分类器的图像区域作为特征点区域，并得到特征点的位置和大小。

15.根据权利要求14所述的人脸特征点定位装置，其特征在于，所述第三分类器为采用adaboost对haar-like特征进行特征选择训练后，采用特征方式放缩得到的一系列不同尺度的分类器。

16.根据权利要求14所述的人脸特征点定位装置，其特征在于，所述第二分类器采用基于AdaBoost训练算法和局部二维模式LBP直方图训练得到。

17.根据权利要求14所述的人脸特征点定位装置，其特征在于，所述人脸特征点包括左眼、右眼、嘴巴、鼻子和脸颊轮廓特征点。

18.一种人脸特征点定位方法，其特征在于，基于权利要求14所述的人脸特征点定位装置，该方法包括：

对采集到的图像区域进行人脸检测，得到人脸区域；根据统计得到的特征点在人脸上的位置，确定人脸区域中的特征点搜索范围和可能大小范围；

根据得到的特征点可能大小范围，选择对应尺度的第三分类器，对特征点搜索区域内的特征点候选区域进行分类，将判断出的可能的特征点区域作为第三候选区域输出，进而将所述第三候选区域进行合并操作后，放缩得到第二分类器的归一化尺度的图像；

将所述放缩后得到的第二分类器归一化尺度的图像，采用第二分类器进行判定，根据通过第二分类器的特征点区域得到最终的特征点位置和大小。

19.根据权利要求18所述的人脸特征点定位方法，其特征在于，所述确定人脸区域中的特征点搜索范围的方法为：根据多张标定好特征点区域的人脸图像训练样本，采用统计的方式确定人脸特征点区域的搜索范围。

20.根据权利要求19所述的人脸特征点定位方法，其特征在于，假设人脸区域范围为R_f(x_f，y_f，w_f，h_f)，其中，x_f为人脸区域中心点横坐标，y_f为人脸区域中心点纵坐标，w_f为人脸区域宽度，h_f为人脸区域高度；标定的特征点区域范围为R_le(l_le，t_le，r_le，b_le)，其中，l_le，t_le，r_le，b_le分别为特征点区域左边缘横坐标，上边缘纵坐标，右边缘横坐标，下边缘纵坐标；

所述搜索范围为： $\begin{array}{c}(x_f+R_{\mathrm{lel}}*w_f)\≤x\≤(x_f+R_{\mathrm{ler}}*w_f)\\ (y_f+R_{\mathrm{let}}*h_f)\≤y\≤(y_f+R_{\mathrm{leb}}*h_f)\end{array},$ 其中，x，y分别为所搜范围的横坐标和纵坐标；R_lel，R_ler，R_let和R_leb通过统计得到。

21.根据权利要求20所述的人脸特征点定位方法，其特征在于，所述得到R_lel，R_ler，R_let和R_leb的方法为：

假设 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f};$

对所述所有标定好的人脸样本计算 $r_{\mathrm{lel}}=\frac{l_{\mathrm{le}}-x_f}{w_f},$ 对所有样本的该值进行排序，找到排在由小到大第(N_s*R₁)处的值R_lel，其中，N_s为样本数目，R₁为[0，1]间的常数，可以取为0.95；

对所述所有标定好的人脸样本计算 $r_{\mathrm{ler}}=\frac{r_{\mathrm{le}}-x_f}{w_f},$ 找到排在由大到小第(N_s*R₁)处的r_ler并设为R_ler；

对所述所有标定好的人脸样本计算 $r_{\mathrm{let}}=\frac{t_{\mathrm{le}}-y_f}{h_f},$ 排在由小到大第(N_s*R₁)处的r_let并设为R_let；

对所述所有标定好的人脸样本计算 $r_{\mathrm{leb}}=\frac{b_{\mathrm{le}}-y_f}{h_f},$ 排在由大到小第(N_s*R₁)处的r_leb并设为R_leb。

22.根据权利要求19所述的人脸特征点定位方法，其特征在于，所述确定人脸区域中的特征点区域可能大小范围的方法为：设 $r_{\mathrm{lew}}=\frac{w_{\mathrm{le}}}{w_f},$ 则以r_lel的处理方式，找到排在所有标定样本由小到大第(N_s*R₁)处的r_lew并设为R_lewmin，和由大到小第(N_s*R₁)处的r_lew并设为R_lewmax。则特征点区域搜索大小范围为：R_lewmin*w_f≤w_le≤R_lewmax*w_f。

23.根据权利要求18所述的人脸特征点定位方法，其特征在于，该方法之前还包括：预先采用adaboost对haar-like特征进行特征选择的训练得到所述第三分类器。

24.根据权利要求18所述的人脸特征点定位方法，其特征在于，该方法之前还包括：预先采用基于AdaBoost训练算法和LBP直方图训练得到所述第二分类器。

Images