CN103824090A - 一种自适应的人脸低层特征选择方法及人脸属性识别方法 - Google Patents

Abstract

本发明公开了一种自适应的人脸低层特征选择方法及人脸属性识别方法。本方法为：1）根据待检测的属性，选取一属性标注的人脸图像样本数据库；2）对每一样本进行底层特征提取，即根据待检测属性对人脸图像进行关键点检测，确定目标窗口；用多个矩形区域覆盖该目标窗口；用多种低层的描述子分别对每一矩形区域内进行特征提取，得到该样本的基础特征库；用自适应的提升方法选择基础特征，将所选基础特征组合成长特征作为该样本的底层特征；3）对所有样本的底层特征进行训练，生成一支持向量机的人脸属性识别模型；4）对任一待属性识别的人脸图像，提取其底层特征，利用该人脸属性识别模型得到其人脸属性信息。本发明大大提高了属性识别的准确性。

Description

一种自适应的人脸低层特征选择方法及人脸属性识别方法

技术领域

本发明属于图像处理及人脸识别技术领域，涉及图像特征提取和特征选择，具体涉及一种一种自适应的人脸低层特征选择方法及人脸属性识别方法，可应用于人脸/一般物体属性识别分析。

背景技术

目前人脸识别检测技术在各领域得到广泛应用，成为当前的一项研究热点，比如申请号201210313721.9、名称“人脸识别方法”的专利文献，申请号201210310643.7、名称“一种人脸识别方法及其系统”的专利文献。

人脸表征（face representation），即从原始自然图像中提取可供计算机运算分析的特征向量或特征图，是人脸识别系统中最重要的一环。比如申请号201310115471.2、名称“一种人脸自动标注方法及系统”首先从截取的视频中检测出人脸，获取人脸图片集合，然后过滤出人脸图片集合，同时，获取相邻帧图片的HSV颜色直方图差值，采用空间颜色直方图的镜头边缘检测算法进行镜头分割，对来自相邻帧的人脸，检测第一帧的目标区域内角点，并使用局部匹配的方法将这些角点递延给下一帧，并进行相应的更新，并统计匹配个数，依据匹配个数的阈值，依此进行下去获取人脸序列。然后通过唇动检测模块根据人脸序列中说话人的唇动检测出说话人和未说话人，将说话人、说话内容及说话时间三者融合进行标注；最后，读入每个序列上的人脸，逐个定位，再根据定位结果进行仿射变换，并提取变换后特征点附近固定大小圆形区域内的像素灰度值，作为该人脸特征。申请号201110390185.8的专利文献公开了一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，再进行如下处理：(1)预处理；(2)对经过预处理的图像进行低层特征提取，获得空间显著图和频域显著图；(3)对经过预处理的图像进行高层语义特征提取，获得人脸显著图；(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作，获得综合显著图；(5)根据综合显著图对待处理的源图像进行分割处理，提取出显著区域。

人脸表征算法的好坏，直接决定了生成的人脸特征的描述性、区分性及有效性，进而将影响到最终人脸识别系统的性能。现有的低层特征选择主要通过特征降维或抽取稀疏角点处的特征实现。特征降维，比如PCA（Principal Component Analysis），对图像的对齐和归一化有严格要求；如果图像有旋转变换，PCA甚至可以完全失效。在图像中，有描述性的区域往往在梯度较大的角点处出现，抽取稀疏角点处的特征理论上可以实现图像表征的效果。但这一方法对角点判断的准确性要求很高，故人脸表情、朝向、光照的变化会影响特征的描述能力。

发明内容

本发明针对上述问题，提出了一种基于提升方法的自适应的人脸低层特征选择方法及人脸属性识别方法，可对不同的应用场景自适应的学习出有效的特征，用于特征空间中的人脸表示。

为实现上述目的，本发明采用的技术方案如下：

一种基于提升方法的自适应的人脸低层特征选择方法，其步骤包括：

1）确定分析的目标窗口并对人脸图像进行预处理；

2）根据应用场景的不同，用密集的不同大小并且相互重叠的矩形区域覆盖图像区域；

3）用多种低层的描述子表示每个矩形区域内的图像，构建特征库；

4）对单个特征训练基础分类器，基于自适应的提升方法进行基础特征的选择；

5）组合选取的基础特征，并训练最终的特征分类器，进而的得到人脸低层特征的选择结果。

进一步地，步骤1）首先针对不同的应用场景构建不同的学习数据库，对数据库的样本进行物体检测、关键点检测，以确定分析的目标窗口。

进一步地，步骤1）所述预处理包括对图像进行增强、放缩等处理。

进一步地，步骤3）所述多种低层的描述子包括HOG，ULBP，Gabor，SIFT等；任意一个区域被一个描述子表示成一个基础特征，每个样本所有的基础特征总长可能达到数十万维。

进一步地，步骤4）所述用自适应的提升方法选择基础特征，每一级的提升选出一个基础特征；每一级过程如下：

随机抽取一部分未选择的基础特征；

随机抽取一部分样本，每个样本被抽到的概率和样本的权值相关；

在抽取的样本上训练基础分类器；

比较基础分类器的分类效率，选择效率最高的分类器，它对应的基础特征被选出；

根据选出的分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值；

进一步地，步骤5）连接选出的基础特征连接，组合成长特征；根据不同的应用场景、样本类型（定类变量、定序变量，定距变量）选择不同策略训练分类器（一对一、一对多、树型分类器、OHRank）。

一种人脸属性识别方法，其步骤为：

1）根据待检测的属性，选取一属性标注的人脸图像样本数据库；

2）对于每一样本进行底层特征提取，即

21）根据待检测属性对人脸图像进行关键点检测，确定底层特征提取的目标窗口；

22）用多个不同大小、不同位置的相互重叠的矩形区域覆盖该目标窗口；

23）用多种低层的描述子分别对每一矩形区域内的图像进行特征提取，将每一描述子对每一矩形区域提取的特征记录为一基础特征，得到该样本的基础特征库；

24）用自适应的提升方法选择该基础特征，每一级的提升选出一个基础特征；

25）将所选的基础特征组合成长特征，作为该样本的底层特征；

3）利用机器学习算法对所有样本的所述底层特征进行训练，生成一支持向量机的人脸属性识别模型；

4）对任意一张待属性识别的人脸图像，提取其所述底层特征，利用该人脸属性识别模型得到其人脸属性信息。

与现有技术相比，本发明的积极之处在于：

1）本发明提出一种有效的特征选择方法，从数十万甚至百万的底层弱特征中经过层层迭代筛选，选取其中最有分辨力的组成最终的分类器。更重要的是，该发明将经典算法Adaboost算法用在特征选择的过程中，通过调节那些被错误分类的样本的权重，使得后一步迭代选择的特征更加聚焦在这些错误的样本上，即后一步迭代选出的特征实际上是对前面已选特征的补充。因此，最终选出的特征之间的互补性非常强，带来了非常稳定的分类效果；

2）本发明在特征选择上非常的灵活，可以根据用户不同的实际需求选择不同长度的特征。例如用户如果不考虑计算资源受限而更关心准确度，即可选择一个长的而分辨能力更强的特征；而如果用户需要对计算时间有严格要求，如在手机等移动设备上运算，则可以根据其设备的实际计算能力选择较短的特征。也就是说，本发明非常方便在时间复杂度和计算精度上根据实际情况做出权衡。

附图说明

图1是本发明方法的步骤流程图。

图2是本发明方法中自适应特征选择的流程图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明的基于提升方法的自适应的低层特征选择方法，用于特征空间中的人脸表示，该方法的具体流程如图1所示，包含以下步骤：

a.针对不同的应用场景构建不同的学习数据库。

b.对数据库的已属性标注样本进行物体检测、关键点检测，确定分析的目标窗口（即底层特征提取区域）；对图像进行增强、放缩等预处理。

c.根据应用场景的不同，确定合适的采样方法，即用不同大小、不同位置的密集的相互重叠的矩形区域覆盖目标窗口。

d.用多种低层的描述子（比如HOG，ULBP，Gabor，SIFT）描述每个矩形区域内的图像，构建特征库；任意一个区域被一个描述子表示成一个基础特征，每个样本所有的基础特征总长可能达到数十万维。

e.用自适应的提升方法选择基础特征，每一级的提升选出一个基础特征；图2是进行自适应特征选择的流程图，每一级过程如下：

随机抽取一部分未选择的基础特征；

随机抽取一部分样本，每个样本被抽到的概率和样本的权值相关；

在抽取的样本上训练基础分类器；

比较基础分类器的分类效率，选择效率最高的分类器，它对应的基础特征被选出；

根据选出的分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值；

f.连接选出的基础特征，组合成长特征；基于所提取的特征，对已标注样本进行训练，生成一支持向量机的人脸属性识别模型；用根据不通的应用场景、样本类型（定类变量、定序变量，定距变量）选择不同策略训练分类器（一对一、一对多、树型分类器、OHRank）。

g.对任意一张待属性识别的人脸图像，提取其人脸底层特征利用该人脸属性识别模型得到其人脸属性信息。

提取出人脸属性信息后可以根据人脸属性信息对人脸进行分类，比如不同年龄段、不同性别、不同种族等；本发明在保持判别速效果的情况下实降低了特征维度，提升了分类效率，对光照不均匀、部分遮挡有很好的鲁棒性。

本发明可应用于人脸/一般物体的属性分析，下面以基于人脸的年龄分析为例对本发明做进一步阐述：

步骤S11:首先把年龄分为0～6、6～18、18～40、40～60、>60五档；搜集各个年龄段的人物图片，构建年龄数据库；尽量使每一类的数据分布均匀，覆盖不同性别、种族。

步骤S12：对数据库的图片进行人脸检测、特征点检测；根据脸上5个特征点（左右眼角、鼻尖、左右嘴角）的位置，将人脸矫正到标准大小的X*Y的矩形区域R。对R内的图像进行增强，具体步骤如下：

步骤S121：Gama矫正，V_out=AV_in ^γ，A=1，γ=0.2;

步骤S122：对比度均衡；

步骤S122：用不同通带的DOG（Difference of Gaussian）算子滤波，

${\mathrm{\Γ}}_{{\mathrm{\σ}}_1,{\mathrm{\σ}}_2}\left(x\right)=I*\frac{1}{{\mathrm{\σ}}_1\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_1}^2\right)}-I*\frac{1}{{\mathrm{\σ}}_2\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_2}^2\right)}$

σ₁=0.5，σ₂=1；σ₁=1，σ₂=2；σ₁=2，σ₂=4。

一般来说，σ₁、σ₂取值越小，滤波得到的图像越锐利。

步骤S13：对处理后的图像进行划分。选取不同大小的矩形窗口W_l*_w滑动过R，这些窗口相互重叠，紧密排列。用低层的描述子表示每个窗口内的图像，每个表示把窗口内的图像映射到特征空间的一个基础特征向量。在某些应用场景，还会加入基于几何信息的特征，提取过程如下：

步骤S131：选取目标区域任意两特征点L₁，L_j，计算两点之间的距离l_ij，用两眼间的距离把所有的l_ij归一化的到

遍历i、j，把所有的

连接起来构成特征向量；

步骤S132：基于关键点对目标区域进行Delaunay三角剖分，任取两个剖分得到的三角形，它们的面积分别为S_i和S_j，i>j；令

遍历i、j，把所有的r_ij连接起来构成特征向量。

步骤S14：年龄数据是定序变量，可以在类间定义大小和减法；在特征选择和分类时可以利用树型分类器或OHRank方法。用提升方法对每个分类问题单独进行自适应的特征选择，流程图见图2：

步骤S141：首先给每个样本一个权值，这个权值由样本所在的类的样本总数有关；

提升方法每一级的步骤如下：

步骤S142：从未选择的基础特征中随机抽取N个；

步骤S143：随机抽取M个样本，每个样本被抽到的概率和样本的权值成正比，且同一样本可被重复抽到；

步骤S144：在抽取的样本上用基础特征训练分类器，在年龄分析这个问题里用到了支持向量机；

步骤S145：比较基础分类器的分类效率，选择准确率最高的特征作为这一级的输出；

步骤S146：根据选出的分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值；在所有样本上计算准确率；

步骤S15：重复步骤S14直到准确率满足要求或选出的特征维度总和达到要求；

步骤S16：对每个分类问题，组合选出的特征构得到最终的年龄特征选择结果，训练分类器。

具体实施例：

1）年龄外人脸的其他属性的分析/识别过程

本发明在性别特征选择中的应用：

步骤S11:搜集男性和女性的人脸图片，构建性别数据库；尽量使每一类的数据分布均匀，覆盖不同年龄、种族。

步骤S12：对数据库的图片进行人脸检测、特征点检测；根据脸上5个特征点（左右眼角、鼻尖、左右嘴角）的位置，将人脸矫正到标准大小的X*Y的矩形区域R。对R内的图像进行增强，具体步骤如下：

步骤S121：Gama矫正，V_out=AV_in ^γ，A=1，γ=0.2;

步骤S122：对比度均衡；

步骤S122：用不同通带的DOG（Difference of Gaussian）算子滤波，

${\mathrm{\Γ}}_{{\mathrm{\σ}}_1,{\mathrm{\σ}}_2}\left(x\right)=I*\frac{1}{{\mathrm{\σ}}_1\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_1}^2\right)}-I*\frac{1}{{\mathrm{\σ}}_2\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_2}^2\right)}$

σ₁=0.5，σ₂=1；σ₁=1，σ₂=2；σ₁=2，σ₂=4。

一般来说，σ₁、σ₂取值越小，滤波得到的图像越锐利。

步骤S13：对处理后的图像进行划分。选取不同大小的矩形窗口W_l*_w滑动过R，这些窗口相互重叠，紧密排列。用低层的描述子表示每个窗口内的图像，每个表示把窗口内的图像映射到特征空间的一个基础特征向量。

步骤S14：性别属性是定类变量，可以在类间定义相等或不等；在特征选择和分类时用支持向量机的学习方法。用提升方法进行自适应的特征选择，流程图见图2：

步骤S141：首先给每个样本一个权值，这个权值由样本所在的类的样本总数有关；

提升方法每一级的步骤如下：

步骤S142：从未选择的基础特征中随机抽取N个；

步骤S143：随机抽取M个样本，每个样本被抽到的概率和样本的权值成正比，且同一样本可被重复抽到；

步骤S144：在抽取的样本上用基础特征训练分类器，在性别分类这个问题里用到了支持向量机；

步骤S145：比较基础分类器的分类效率，选择准确率最高的特征作为这一级的输出；

步骤S146：根据选出的分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值；在所有样本上计算准确率；

步骤S15：重复步骤S14直到准确率满足要求或选出的特征维度总和达到要求；

步骤S16：对每个分类问题，组合选出的特征得到最终的性别特征选择结果，训练分类器。

本发明在种族特征选择中的应用：

步骤S11::首先把人分为白种人、黄种人、黑人、印度人四类。搜集每个种族的人脸图片，构建种族数据库；尽量使每一类的数据分布均匀，覆盖不同年龄、性别。

步骤S12：对数据库的图片进行人脸检测、特征点检测；根据脸上5个特征点（左右眼角、鼻尖、左右嘴角）的位置，将人脸矫正到标准大小的X*Y的矩形区域R。对R内的图像进行增强，具体步骤如下：

步骤S121：Gama矫正，V_out=AV_in ^γ，A=1，γ=0.2;

步骤S122：对比度均衡；

步骤S122：用不同通带的DOG（Difference of Gaussian）算子滤波，

${\mathrm{\Γ}}_{{\mathrm{\σ}}_1,{\mathrm{\σ}}_2}\left(x\right)=I*\frac{1}{{\mathrm{\σ}}_1\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_1}^2\right)}-I*\frac{1}{{\mathrm{\σ}}_2\sqrt{2\mathrm{\π}}}{e}^{-\left(x^2\right)/\left(2{{\mathrm{\σ}}_2}^2\right)}$

σ₁=0.5，σ₂=1；σ₁=1，σ₂=2；σ₁=2，σ₂=4。

一般来说，σ₁、σ₂取值越小，滤波得到的图像越锐利。

步骤S13：对处理后的图像进行划分。选取不同大小的矩形窗口W_l*_w滑动过R，这些窗口相互重叠，紧密排列。用低层的描述子表示每个窗口内的图像，每个表示把窗口内的图像映射到特征空间的一个基础特征向量。

步骤S14：种族属性是定类变量，可以在类间定义相等或不等；在特征选择和分类时用支持向量机的学习方法。用提升方法进行自适应的特征选择，流程图见图2：

步骤S141：首先给每个样本一个权值，这个权值由样本所在的类的样本总数有关；

提升方法每一级的步骤如下：

步骤S142：从未选择的基础特征中随机抽取N个；

步骤S143：随机抽取M个样本，每个样本被抽到的概率和样本的权值成正比，且同一样本可被重复抽到；

步骤S144：在抽取的样本上用基础特征训练分类器，在种族分类这个问题里用到了支持向量机；

步骤S145：比较基础分类器的分类效率，选择准确率最高的特征作为这一级的输出；

步骤S146：根据选出的分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值；在所有样本上计算准确率；

步骤S15：重复步骤S14直到准确率满足要求或选出的特征维度总和达到要求；

步骤S16：对每个分类问题，组合选出的特征得到最终的种族特征选择结果，训练分类器。

实验数据如下表：

人脸属性	本专利的准确率	其他方法的准确率
			性别	93.9%	81.2%
年龄	84.6%	78.4%
			种族	93.5%	86.5%
眼镜	96.7%	91.6%
			头部左右偏角	92.8%	83.7%

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。应以权利要求所述为准。应以权利要求所述为准。

Claims (10)

1.一种自适应的人脸低层特征选择方法，其步骤为：

1）根据所选属性对人脸图像进行关键点检测，确定底层特征提取的目标窗口；

2）用多个不同大小、不同位置的相互重叠的矩形区域覆盖该目标窗口；

3）用多种低层的描述子分别对每一矩形区域内的图像进行特征提取，将每一描述子对每一矩形区域提取的特征记录为一基础特征，得到该人脸图像的基础特征库；

4）用自适应的提升方法选择该基础特征，每一级的提升选出一个基础特征；

5）将所选的基础特征组合成长特征，作为该人脸图像所选属性的底层特征。

2.如权利要求1所述的方法，其特征在于所述用自适应的提升方法选择该基础特征的方法为：

21）每次从所述基础特征库中随机抽取一未选择过的基础特征；

22）将一已属性标注样本数据集合A和所抽取的基础特征作为输入，利用机器学习算法训练一基础分类器；

23）利用该基础分类器对另一已属性标注样本数据集合B进行分类；

24）重复步骤21）～23），选择分类效率最高的基础分类器对应的基础特征作为当前级提升所选出的基础特征；并且根据所选出的基础分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值。

3.如权利要求2所述的方法，其特征在于所述样本数据集合A和所述样本数据集合B抽取自同一样本数据库；自适应提升方法的每一级中，所述样本数据集合A中样本被抽到的概率和样本的权值相关。

4.如权利要求1或2或3所述的方法，其特征在于所述多种低层的描述子包括HOG，ULBP，Gabor和SIFT。

5.如权利要求1所述的方法，其特征在于所述属性包括年龄属性、性别属性、种族属性。

6.一种人脸属性识别方法，其步骤为：

1）根据待检测的属性，选取一属性标注的人脸图像样本数据库；

2）对于每一样本进行底层特征提取，即

21）根据待检测属性对人脸图像进行关键点检测，确定底层特征提取的目标窗口；

22）用多个不同大小、不同位置的相互重叠的矩形区域覆盖该目标窗口；

23）用多种低层的描述子分别对每一矩形区域内的图像进行特征提取，将每一描述子对每一矩形区域提取的特征记录为一基础特征，得到该样本的基础特征库；

24）用自适应的提升方法选择该基础特征，每一级的提升选出一个基础特征；

25）将所选的基础特征组合成长特征，作为该样本的底层特征；

3）利用机器学习算法对所有样本的所述底层特征进行训练，生成一支持向量机的人脸属性识别模型；

4）对任意一张待属性识别的人脸图像，提取其所述底层特征，利用该人脸属性识别模型得到其人脸属性信息。

7.如权利要求6所述的方法，其特征在于其特征在于所述用自适应的提升方法选择该基础特征的方法为：

71）每次从所述基础特征库中随机抽取一未选择过的基础特征；

72）将一已属性标注样本数据集合A和所抽取的基础特征作为输入，利用机器学习算法训练一基础分类器；

73）利用该基础分类器对另一已属性标注样本数据集合B进行分类；

74）重复步骤71）～73），选择分类效率最高的基础分类器对应的基础特征作为当前级提升所选出的基础特征；并且根据所选出的基础分类器的分类结果更新所有样本的权值：增加被错误分类的样本的权值，降低被正确分类的样本的权值。

8.如权利要求7所述的方法，其特征在于所述样本数据集合A和所述样本数据集合B抽取自同一样本数据库；自适应提升方法的每一级中，所述样本数据集合A中样本被抽到的概率和样本的权值相关。

9.如权利要求6或7或8所述的方法，其特征在于所述多种低层的描述子包括HOG，ULBP，Gabor和SIFT。

10.如权利要求6所述的方法，其特征在于所述属性包括年龄属性、性别属性、种族属性。

Images