CN103984948B - 一种基于人脸图像融合特征的软双层年龄估计方法 - Google Patents

Abstract

本发明公开了一种基于人脸图像融合特征的软双层年龄估计方法，包括：一、获得待估计人脸图像；二、对图像进行预处理；三、提取融合特征x；四、判断软双层年龄估计方法是否已存在：若是到第六步；若否则转第五步；五、学习软双层年龄估计方法：对训练图像提取融合特征，将训练图像划分为两个阶段，学习得到二元分类器F(x)，在年龄边界设置重叠区域，扩大每个阶段的年龄范围，分别学习得到回归模型Y(x)和A)x)；六、将融合特征x输入软双层年龄估计方法：首先运用二元分类器F(x)，然后根据分类结果选择应用回归模型Y(x)或者A(x)，得到估计年龄值y；七、对估计年龄值进行修正处理。

Description

一种基于人脸图像融合特征的软双层年龄估计方法

技术领域

本发明属于计算机应用技术领域，特别是涉及一种基于人脸图像融合特征的软双层年龄估计方法。

背景技术

现在已经有了越来越多基于年龄的应用，如基于年龄的强制、控制和辅助等方面的应用。随着拍照设备的普及，获取人脸图像越来越方便，人脸图像成为人机交互的一种重要媒介。若能基于人脸图像进行年龄估计，将能扩大基于年龄的应用。基于人脸图像的年龄估计是指应用计算机技术对人脸图像随年龄变化的规律进行建模，从而使机器能够根据面部图像推测出人的大概年龄或所属的年龄范围(年龄段)。本发明主要针对准确的年龄值估计。现在已经有了一些针对基于人脸图像的年龄估计的专利，如专利“基于数字人脸图像的人类年龄自动估计方法”(专利号200910031218)和专利“年龄估计方法、设备和人脸识别系统”(专利号200910131059)都是采用简单的人脸统计降维方法获取人脸特征，不能有效的表达人脸年龄信息，专利“一种基于人脸识别技术的年龄评估方法”(专利号200910032756)则是基于简单假设“长相相似的人在不同年龄段的面部特征也是相似的”，但有很多外在因素如生活、工作环境，影响人脸老化，这个假设在大多数的情况下并不成立。

总的来说，现有技术存在以下缺点：只考虑单种图像特征，没有考虑到人脸随年龄变化不仅包含形状的变化，且包含纹理的变化，且其往往具有局部特性；只采用单层年龄估计方法，没有考虑到人脸随年龄变化大致存在两个阶段。

发明内容

发明目的：本发明针对现有基于人脸图像的年龄估计方法存在的缺点，提供一种基于人脸图像融合特征的软双层年龄估计方法。

为了解决上述缺点，提高基于人脸图像的年龄估计准确度，本发明公开了一种基于人脸图像融合特征的软双层年龄估计方法，包括以下步骤，分别是：

第一步获得待估计或待训练的人脸图像；

第二步对图像进行预处理：首先若是非灰度图像，则转换为灰度图像，然后使用人脸目标检测框架将人脸与背景信息分离，最后将得到的人脸部分保存为大小统一的灰度图像；

第三步提取融合特征：先将人脸图像划分为图像单元，对每个图像单元提取HOG特征和LBP特征，在单元粒度上将两种特征进行连接，最后将所有单元的特征连接，可得融合特征x；

第四步判断软双层年龄估计方法是否已存在：若是则跳转到第六步；若否则转入第五步；

第五步学习软双层年龄估计方法：对训练图像进行图像预处理，提取融合特征，得到训练图像集(X,Y)，采用由粗到细的策略，根据是否大于边界年龄值b，得到数据集(X,Z)，学习得到二元分类器F(x)，在年龄边界设置重叠区域，扩大每个阶段的年龄范围，得到数据集(YX,YYY和(AX,AY)，再分别应用回归方法学习得到未成年人回归模型Y(x)和成年人回归模型A(x)；

第六步将融合特征x输入软双层年龄估计方法，首先运用二元分类器F(x)，然后根据分类结果选择应用回归模型Y(x)或者A(x)，得到估计年龄值y；

第七步对估计年龄值进行处理，首先判断y是否在年龄范围，若否则调整到最近的年龄值；若是则进行四舍五入取整处理，得到最终的年龄估计值y^*。该方法精度高，可自动完成。

本发明步骤二中，图像预处理包括

1、颜色转换：若是非灰度图像，则使用OpenCV中的cvCvtColor函数将图像转换为灰度图像，若原本就是灰度图像则不进行处理。

2、人脸检测：使用OpenCV中的cvHaarDetectObjects函数来进行人脸检测，其中的人脸分类器模型，可以采用已训练好的且是OpenCV自带的保存为haarcascadefrontalfacealt2.xml文件的模型，该人脸分类器模型可以有效应用于正面人脸检测。

3、保存检测到的人脸图像：使用OpenCV中的cvResize函数将检测后的人脸图像统一大小为height*width(如128*128),且采用的是双线性插值方法(CVINTER LINEAR)。

步骤三中，提取人脸图像融合特征包括：

1、划分图像单元：不访假设单元大小为cellSize*cellSize(如16*16)，若图像不能刚好被单元划分，则需要进行插值操作，如使用双线性插值方法。则单元个数cellNum可以根据公式(1)得到，其中height是图像的高度，width是图像的宽度。

2、分别提取单元HOG特征和LBP特征：HOG特征和LBP特征分别是由Dalal和Ojala提出的分别描述形状与纹理的局部特征的著名方法。具体分别参见Dalal,N.,Triggs,B.,2005.Histograms of oriented gradients for human detec-tion,in:Computer Visionand Pattern Recognition,2005.CVPR2005.IEEEComputer Society Conference on,IEEE.pp.886–893.和Ojala,T.,Pietikainen,M.,Maenpaa,T.,2002.Multiresolutiongray-scale and ro-tation invariant texture classification with local binarypatterns.Pattern Analysisand Machine Intelligence,IEEE Transactions on24,971–987.本文分别运用VLFeat库中的vl_hog函数和vl_lbp函数来对图像单元提取HOG特征cx_HOG与ULBP特征cx_LBP。

3、在单元粒度上融合HOG特征和LBP特征：直接将cx_HOG与cx_LBP进行连接得到融合特征cx，可得cx的维度为两种特征的维度和，若cx_HOG的特征维度大小为36，cx_LBP的特征维度大小为58，则cx的特征维度大小为94，至于哪种特征在前，哪种特征在后，则没有什么区别。

4、连接所有单元的特征：由步骤1可得单元个数cellNum，将所有单元的cx连接，可得最终的人脸图像融合特征x，若height＝128，width＝128，cellSize＝16，则运用公式(1)可得cellNum＝64，则可得x的维度大小为6016。

步骤四中，判断是否已学习到软双层年龄估计方法，若是则跳转到步骤六，若否则进入步骤五。

步骤五中，学习软双层年龄估计方法包括：

1、对训练图像进行图像预处理，具体方法如步骤一；

2、对训练图像提取人脸图像融合特征，具体方法如步骤二；

3、学习年龄段分类器：通过步骤1和2可得训练图像集(X,Y)，其中X为所有训练集中人脸图像融合特征的集合，Y为训练图像年龄值的集合。运用公式(2)将训练图像类标进行处理，其中b为边界年龄值，15≤b≤25，z为处理后的类标，可得用于学习年龄段分类器的训练图像集(X,Z)，其中Z为集合X对应的处理后类标集合。最后应用二元分类方法学习得到分类器F(x)，如可以采用支持向量机(support vector machine,简称SVM)方法来得到F(x)。

4、学习各个阶段回归模型：

年龄是有范围的，如不可能小于0岁，且一般不超过100岁，将年龄范围记为[MIN,MAX]，其中MIN为年龄最小值，MAX为年龄最大值。在这里将年龄大致划分为两个阶段，称年龄小于b岁的阶段为未成人阶段，年龄大于b岁的阶段为成年人阶段。

应用公式(3)将训练图像集(X,Y)划分为两个集合，其中v为在年龄边界扩大的年龄范围值大小，0≤v≤5，未成人阶段的年龄上界由b增大到b+v，当其大于年龄最大值MAX时即为MAX，成年人阶段的年龄下界由b减小到b-v，当其小于年龄最小值MIN时即为MIN，即2*v为两个阶段的年龄重叠区域大小。在训练图像集(YX，YY)和(AX,AY)，分别应用回归方法学习得到未成人回归模型Y(x)和成年人回归模型A(x)，其中YY和AY分别为与特征数据集YX和AX对应的年龄值集合，回归方法可以采用支持向量回归(support vector regression,简称SVR)方法。

步骤六中，应用软双层年龄估计方法，即使用公式(4)，包括:

1、应用年龄段分类器，得到第一层分类结果，并给出具体运用哪个回归模型。

2、应用具体的回归模型Y(x)或A(x)，得到年龄估计值y：

步骤七中，年龄值修正处理，即使用公式(5)，将年龄范围记为[MIN,MAX]，其中MIN为最小的年龄值(如0岁)，MAX为最大的年龄值(如100岁)，y^*为修正处理后的年龄值，包括：

1、判断是否在年龄范围[MIN,MAX]内，若是则进入步骤3，若否则进入步骤2；

2、调整年龄值到最近的合适的年龄，结束步骤七；

3、对年龄值进行四舍五入取整。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的的内容将会变得更加清楚。

图1基于人脸图像融合特征的软双层年龄估计方法的流程图。

图2获取软双层年龄估计方法学习数据集的流程图。

图3学习年龄段分类器的流程图。

图4学习两个回归模型的流程图。

图5 FG-NET数据集中5个样本数据的预处理前后图像。

具体实施方式：

图1为本发明所述基于人脸图像融合特征的软双层年龄估计方法的流程图，首先获取待估计人脸图像，其次对图像进行预处理，再次提取人脸图像融合特征，然后判断是否已构建软双层年龄估计方法，若是则应用软双层年龄估计方法，即公式(4),得到年龄值y，最后应用公式(5)对年龄值进行修正处理，得到最终的估计年龄值y^*；若否则如图2、3、4所示，先学习软双层年龄估计方法，再应用软双层年龄估计方法。

具体而言，本发明公开了一种基于人脸图像融合特征的软双层年龄估计方法，其特征在于，包括以下步骤：

步骤一，获得人脸图像；

步骤二，进行图像预处理；

步骤三，提取人脸图像融合特征；

步骤四，判断是否已构建软双层年龄估计方法，若是则跳转到步骤六，若否则进入步骤五；

步骤五，构建软双层年龄估计方法；

步骤六，应用软双层年龄估计方法得到估计年龄值；

步骤七，对估计年龄值进行修正处理，得到最终的年龄估计。

步骤一，获得人脸图像，图像中人脸部分至少占图像区域的30％以上，且人脸图像是正面的，姿态角度小于10度。

步骤二图像预处理包括如下步骤：

如果人脸图像是非灰度图像，则将其转换为灰度图像；

将图像中的人脸与背景分离开来；

将人脸部分保存为统一大小的灰度图像。

步骤三提取人脸图像融合特征包括如下步骤：

将人脸图像划分为一组单元；

对每个单元提取HOG特征与LBP特征；

在单元粒度上连接HOG特征与LBP特征得到单元粒度的融合特征cx；

将所有单元的融合特征cx连接成整个人脸图像的融合特征x。

图2为本发明获取软双层年龄估计方法学习数据集的流程图，对训练图像集进行：图像预处理、提取人脸图像融合特征，得到学习软双层年龄估计方法的数据集(X,Y)。

具体而言，步骤五中构建软双层年龄估计方法，包括如下步骤：

根据步骤一对所有训练图像进行处理；

根据步骤二、三得到所有训练图像的融合特征，形成训练图像集(X,Y)，其中X为所有训练图像中人脸图像融合特征的集合，Y为训练图像对应年龄值的集合；

图3为本发明学习年龄段分类器的流程图，首先应用公式得到用于学习年龄段分类器的数据集(X,Z)，然后应用二元分类方法得到分类器F(x)。

具体而言，对训练图像年龄值进行处理，其中b为边界年龄值，z为处理后的类标，值为1或-1，得到用于学习年龄段分类器的训练图像集(X,Z)，类标处理公式为；

采用二元分类方法，学习得到年龄段分类器F(x)；

图4为本发明学习两个回归模型的流程图，首先应用公式得到数据集(YX,YY)和(AX,AY)，然后应用回归方法分别得到回归模型Y(x)和A(x)。

根据以下公式将训练图像集(X,Y)划分为两个集合，

初始时将年龄划分为两个阶段，将年龄小于b的阶段做为未成人阶段，大于b的的阶段做为成年人阶段，v为在年龄边界扩大的年龄范围值大小，即未成人阶段的年龄上界由b增大到b+v，成年人阶段的年龄下界由b减小到b-v，且2*v为两个阶段的年龄重叠区域大小；

对训练图像集(YX,YY)和(AX,AY)，分别应用回归方法学习得到未成年人回归模型Y(x)和成年人回归模型A(x)，其中YY与AY分别为与集合YX和集合AX对应的年龄值集合。

步骤六中，应用软双层年龄估计方法包括如下步骤：

应用分类器F(x)得到待估计人脸图像所属的年龄段；

根据以下公式将人脸图像融合特征输入对应的回归模型，得到估计年龄值y；

步骤七中，根据以下公式对估计年龄值y进行修正处理得到最终的年龄估计y^*：

其中MIN为最小的年龄值，MAX为最大的年龄值。

实施例

下面通过FG-NET数据集上开展实验，来对本文的方法做具体的说明。

FG-NET数据集是一个公开的用于年龄估计问题的人脸图像数据集。它包含82个人的1002张或是彩色或是灰度图像。年龄范围为0岁到69岁。为了对本发明进行详细的描述，首先将图像随机划分为两个部分：一个部分包含802张图像(称为训练数据集G₁)用于学习软双层年龄估计模型，一部分包含200张图像用于测试软双层年龄估计模型(称为测试数据集G₂)。

如图1所示，第一步输入待估计人脸图像，即从G₂中选择一张人脸图像g，第二步，对g进行图像预处理：首先判断g是否为灰度图像，若否则通过cvCvtColor函数将其转化为灰度图像，然后使用人脸检测cvHaarDetectObjects函数，将背景与人脸分割开来，并应用cvResize函数将其保存成大小为128*128的人脸图像g′，如图5所示，上下排分别为预处理前后的图像。第三步，对g‘提取融合特征，首先将g‘划分为单元大小为16*16的图像单元，根据公式(1)计算可得，单元个数为64个，其次分别对每个单元使用VLFeat库中的函数vl_hog函数和vl_lbp函数,获得单元HOG特征x_HOG和单元LBP特征x_LBP，可得x_HOG的维度为36维，x_LBP的维度为58维，然后通过在单元粒度上连接x_HOG和x_LBP，获得单元融合特征cx,其维度为94维，最后将所有单元的融合特征进行连接，可得整个人脸图像的融合特征x，第四步判断是否已构建软双层年龄估计模型，若是则跳转到第六步，若否则转入第五步。第五步，如图2所示,对训练数据集G₁中的所有图像，进行图像预处理，即第二步，提取融合特征，即第三步，所有的融合特征与对应的图像年龄值构成用于学习软双层年龄估计模型的数据集(X₁，Y₁)，然后如图3所示，首先对(X₁,Y₁)中的每个数据运用公式(2)，采用的边界年龄值为18岁，即b＝18，可以获得数据集(X₁,Z₁)，最后运用liblinear库中的SVM函数学习得到二元分类器F(x)。最后是如图4所示，首先对(X₁,Y₁)运用公式(3)，其中v取值为5,获得用于学习未成年人回归模型的数据(AX₁,AY₁)和用于学习成年人回归模型的数据(YX₁，YY₁),然后分别运用liblinear库中的函数SVR学习得到成得未成年人回归模型A(x)和成年人回归模型Y(x),完成了软双层年龄估计模型的学习。第六步，应用软双层年龄估计模型，即将第三步提取的融合特征x代入公式(4)，即可得到估计年龄值y，第七步，年龄值修正，应用公式(5)可得最终的年龄估计值y^*，根据所有数据来源于FG-NET数据集，知道年龄范围为[0,69]，即公式(5)中的MIN＝0，MAX＝69。

平均绝对误差(MAE)是一种用于评价基于人脸图像的年龄估计问题的指标，它的计算如下面的公式所示，其中y′表示真实的年龄值，y^*表示应用本发明的方法获得的年龄估计值，N表示测试数据的大小，如在这个具体的例子中N＝200。

可以得到该例子的平均绝对误差为5.83岁。

具体的测试数据集中5个数据的实验结果为：图5中第一张人脸图像真实的年龄值为5岁，估计的年龄值为4岁，第二张人脸图像真实的年龄值为8岁，估计的年龄值为11岁，第三张人脸图像真实的年龄值为10岁，估计的年龄值为12岁，第四张人脸图像真实的年龄值为14岁，估计的年龄值为14岁，第五张人脸图像真实的年龄值为16岁，估计的年龄值为22岁。

本发明提供了一种基于人脸图像融合特征的软双层年龄模型思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确说明的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于人脸图像融合特征的软双层年龄估计方法，其特征在于，包括以下步骤：

步骤一，获得人脸图像；

步骤二，进行图像预处理；

步骤三，提取人脸图像融合特征；

步骤四，判断是否已构建软双层年龄估计方法，若是则跳转到步骤六，若否则进入步骤五；

步骤五，构建软双层年龄估计方法；

步骤六，应用软双层年龄估计方法得到估计年龄值；

步骤七，对估计年龄值进行修正处理，得到最终的年龄估计；

步骤一，获得人脸图像包括如下步骤：图像中人脸部分至少占图像区域的30％以上，且人脸图像是正面的，姿态角度小于10度；

步骤二图像预处理包括如下步骤：

如果人脸图像是非灰度图像，则将其转换为灰度图像；

将图像中的人脸与背景分离开来；

将人脸部分保存为统一大小的灰度图像；

步骤三提取人脸图像融合特征包括如下步骤：

将人脸图像划分为一组单元；

对每个单元提取HOG特征与LBP特征；

在单元粒度上连接HOG特征与LBP特征得到单元粒度的融合特征cx；

将所有单元的融合特征cx连接成整个人脸图像的融合特征x；

步骤五中构建软双层年龄估计方法，包括如下步骤：

根据步骤一对所有训练图像进行处理；

根据步骤二、三得到所有训练图像的融合特征，形成训练图像集(X,Y)，其中X为所有训练图像中人脸图像融合特征的集合，Y为训练图像对应年龄值的集合；

对训练图像年龄值进行处理，其中b为边界年龄值，15≤b≤25，z为处理后的类标，z值为1或-1，得到用于学习年龄段分类器的训练图像集(X,Z)，类标处理公式为；

$z\left(y\right)=\left\{\begin{array}{cc}1,& y\≤b\\ -1,& y>b\end{array}\right.,$

采用二元分类方法，学习得到年龄段分类器F(x)；

根据以下公式将训练图像集(X,Y)划分为两个集合，

$x\&Element;\left\{\begin{array}{cc}YX,& y<b+v\\ AX,& y\&GreaterEqual;b-v\end{array}\right.,$

初始时将年龄划分为两个阶段，将年龄小于b的阶段做为未成人阶段，大于b的阶段做为成年人阶段，v为在年龄边界扩大的年龄范围值大小，0≤v≤5，即未成人阶段的年龄上界由b增大到b+v，成年人阶段的年龄下界由b减小到b-v，且2*v为两个阶段的年龄重叠区域大小；

对训练图像集(YX,YY)和(AX,AY)，分别应用回归方法学习得到未成年人回归模型Y(x)和成年人回归模型A(x)，其中YY与AY分别为与集合YX和集合AX对应的年龄值集合。

2.根据权利要求1所述的一种基于人脸图像融合特征的软双层年龄估计方法，其特征在于，步骤六中，应用软双层年龄估计方法包括如下步骤：

应用分类器F(x)得到待估计人脸图像所属的年龄段；

根据以下公式将人脸图像融合特征输入对应的回归模型，得到估计年龄值y；

$y=\left\{\begin{array}{cc}Y\left(x\right),& F\left(x\right)=1\\ A\left(x\right),& F\left(x\right)=-1\end{array}\right..$

3.根据权利要求2所述的一种基于人脸图像融合特征的软双层年龄估计方法，其特征在于，步骤七中，根据以下公式对估计年龄值y进行修正处理得到最终的年龄估计y^*：

其中MIN为最小的年龄值，MAX为最大的年龄值。