CN105426872B - 一种基于相关高斯过程回归的面部年龄估计方法 - Google Patents

Abstract

本发明提出了一种基于相关高斯过程回归的面部年龄估计方法。该方法首先提取面部图像的形状特征，并对光照归一化和形状归一化后图像提取容貌特征；接着，根据所有图像对应的标定年龄建立性别差异化的从面部特征到目标年龄的高斯过程回归模型，并求解回归参数；最后，在给定待估计面部年龄图像时，提取面部形状和容貌特征并利用已学习的高斯过程回归模型估计对应年龄。

Description

一种基于相关高斯过程回归的面部年龄估计方法

技术领域

本发明属于计算机视觉技术领域，涉及面部年龄估计技术，主要应用于基于年龄的登陆控制，年龄差异化广告以及年龄相关的人机交互技术等领域。

背景技术

面部年龄估计技术是指通过计算机算法对人脸面部特征进行分析后，自动估计人体年龄的技术。通常，计算机通过摄像头采集人脸图像(照片)，并对面部特征进行提取和分析，自动估计该图像对应的年龄。由于该技术在年龄相关的人际交互、基于年龄的登陆控制和年龄差异化广告方面都有非常广泛的应用，因此它引起了计算机视觉领域学者的广泛兴趣和关注。目前已有的人脸面部年龄估计算法可以分为3大类：(1)通用年龄估计方法，(2)性别差异化年龄估计方法，和(3)个性化年龄估计算法。

通用估计方法作为最常见的一种年龄估计方法，其基本原理是假设所有人的面部特征和对应年龄之间存在通用(共同)的映射关系，该映射关系可以通过线性或非线性回归拟合实现。该类方法的优点是模型简单，不受训练样本数多少的影响。而其缺点在于估计的准确性一般，原因在于每个个体面部特征与真实年龄之间的映射关系存在一定差异，只通过一个通用模型无法覆盖上述所有差异性。参见文献：A.Lanitis,C.J.Taylor,andT.F.Cootes,Automatic Interpretation and Coding of Face Images using FlexibleModels,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.19,no.7,pp.743–756,1997。

发明内容

本发明提供一种基于高斯过程回归的性别差异化面部年龄估计方法，首先提取面部图像的形状特征，并对光照归一化和形状归一化后图像提取容貌特征；接着，根据所有图像对应的标定年龄建立性别差异化的从面部特征到目标年龄的高斯过程回归模型，并求解回归参数；最后，在给定待估计面部年龄图像时，提取面部形状和容貌特征并利用已学习的高斯过程回归模型估计对应年龄。示意图参见图1。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：面部特征点。人为定义人面部的一些特殊点，例如嘴角点，眼角点等，见图2。

定义2：FaceTracker。一种用于跟踪定位面部特征点的方法。

定义3：仿射变换。在几何上定义为两个向量空间之间，由旋转、缩放和平移组成的变换。仿射变换是由于拍摄刚性物体的位置、距离和角度所不同引起的同一物体在不同图像中呈现的外观不一致，见图4。假设对原始图像进行平移量为(t_x为水平方向的平移量，t_y为水平方向的平移量),旋转角度为和缩放倍数为的仿射变换，则变换后图像任意一点与原图像对应点之间的关系可表示为：

上式的等价表示为：

这里β₁＝scosθ,β₂＝ssinθ,β₃＝st_xcosθ+st_ysinθ,β₄＝-st_xsinθ+st_ycosθ，也可等价为：

一旦β₁,β₂,β₃,β₄这4个参数确定，对应的具体的仿射变换也即确定。

定义4：三角面片法。根据人脸特征点，由每三个特征点定义一个三角面片，这样人脸可以看成是由若干三角面片组成的图像，见图6。

定义5：梯度位置方向直方图(Gradient Location-Orientation Histogram，GLOH)特征。是一种描述图像局部梯度方向分布的视觉特征，通常包含子区域个数、大小、子区域半径取值和梯度方向区间划分数目几个参数。

定义6：线性主成分分析方法。将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。又称主分量分析。

定义7：回归函数。由未知参数构成的与输入变量有关的函数，用于估计输出值。

定义8：高斯过程先验。对于任意函数h(x)，对x的任意观测值x₁,…,x_N，对应的函数值构成向量[h(x₁),…,h(x_N)]都满足多维高斯分布，则函数h(x)满足高斯过程先验。

定义9：高斯过程回归。已知N个输入观测向量f₁,f₂,…f_N和其对应的输出观测值y₁,y₂,…y_N，高斯过程回归假设输入与输出之间存在下述关系：

y_n＝h(f_n)+ε_n

h(·)为回归函数，ε_n为噪声，同时假设由f₁,f₂,…f_N处的函数值构成的向量h＝[h(f₁),…,h(f_N)]满足零均值的多维高斯分布，

其中K为高斯分布的协方差，K的第m行n列元素为：

D为观测向量f_n的维数，为f_m的第i个元素，为f_n的第i个元素，参数为θ_g＝{θ₀,θ₁,θ₂,η₁,…,η_D}。

定义10：正态分布。假设任意D维随机向量x，对应的多维正态分布的形式为：

这里μ为正态分布的均值，Σ为正态分布的协方差。

定义11：核函数。在机器学习中，核函数通常用于计算在变换后特征空间中两个向量的内积，它避免了在高维空间或者无限维数空间的计算。常用的核函数包括：

线性核函数：k(f,f′)＝f^Tf′，

RBF核函数：k(f，f′)＝exp(-τ‖f-f′‖²)，

其中f,f′为两个原空特征间中的输入特征，τ为高斯核函数的参数。

定义12：对数似然函数。似然函数是一种关于统计模型参数的函数，似然函数的对数即对数似然函数。

定义13：导数。当函数y＝f(x)的自变量x在一点x₀上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限如果存在，即为在x₀处的导数，记作f′(x₀)。

定义14：梯度。当函数y＝f(x)的自变量x的维数为D时候，梯度定义为 为函数f(x)关于变量x_d的偏导数。

定义14：梯度法。梯度下降法是一个最优化算法，为求解函数f(x)取极值时，自变量的取值可以迭代求解，即：

直到梯度值为零，得到解。

本发明详细技术方案如下：

一种基于相关高斯过程回归的面部年龄估计方法，包括以下步骤：

步骤1：采集不同人的包含不同年龄的面部图像N幅，其中男性的面部图像数量为N₁，女性的面部图像数量为N₂，因此N＝N₁+N₂，示例图片见图2；

步骤2：对所有的面部图像利用FaceTracker方法跟踪面部特征点，共得到K个面部特征点(K＝68)，包含：嘴角点，眼角点等，详见图3。对于任意第n幅面部图像，我们用向量记录所有特征点的位置，其中表示第n幅面部图像的第k个特征点的位置坐标，由横坐标x_nk和纵坐标y_nk两维构成；

步骤3：由于每一幅图像拍摄状态不同，造成拍摄到的人脸面部大小、位置和旋转角度不同，为了消除不同图像对应面部特征点之间的仿射变换，我们以第1幅图像为基准，对图片库中所有图像的特征点位置进行仿射变换，让变换后的特征点位置与第1幅基准图像的面部特征点位置尽量接近，若令s₁表示第1幅图像的所有面部特征点坐标，s_n表示任意第n幅面部图像的特征点，与基准图像之间的仿射变换参数β₁,β₂,β₃,β₄应满足：

令β＝{β₁,β₂,β₃,β₄}表示仿射变换参数集合，上式等价于：

这里，s₁＝(x₁₁,x₁₂,…,x_1K)^T＝(x₁₁,y₁₁,x₁₂,y₁₂,…,x_1K,y_1K)^T，矩阵X_n的的大小为2K×4，具体的表达式为：

可以得到β的最小二乘解为：

β＝(X_n ^TX_n)^-1X_n ^Ts₁，

利用求得的仿射变换参数β，得到与第1幅基准图像对齐以后的特征点位置坐标

将作为任意第n幅图像的面部形状特征，按照上述方法对图像库中每一面部图像做上述变换，可得到所有N幅图像的面部形状特征，即：

步骤4：将所有图像对应的面部形状(见图6)归一化为基准图像面部形状(即第1幅图像对应的面部形状)，并利用三角面片方法对面部容貌进行变换，具体方法以任意第n幅图像为例，任意三个面部特征点x_ni,x_nj,x_nk构成的三角面片(见图4)中任意一个位置x处，它在基准形状中由相应的三个面部特征点构成的三角面片中的位置变为x′，

x′＝(x_1i,y_1i)^T+α[(x_1j,y_1j)^T-(x_1i,y_1i)^T]+γ[(x_1k,y_1k)^T-(x_1i,y_1i)^T]，

其中α和γ的取值分别为：

这样将x′位置处的灰度置为原图像位置x处的灰度值。对所有三角面片中的所有点进行上述变换，可以得到基准图像面部形状相同的面部形状归一化图像，按照上述方法对图像库中每一面部图像做上述变换，可得到所有N幅图像归一化的面部容貌图像I₁,I₂,…,I_N；

需要注意的是变换后的图像通常存在没有赋值的像素点，需要利用双三次插值方法在已有像素点的基础上进行插值；

步骤5：计算面部形状归一化图像的平均背景光照。具体做法是：首先计算所有图像的灰度平均值图像；之后，计算灰度平均图像上每一个三角面片的灰度均值，将三角面片的灰度均值作为三角面片中心点的灰度值；最后，根据三角面片中心的灰度值进行线性插值，得到与原图像大小相同的背景光照图像I₀；

步骤6：对图片库中所有面部图像进行光照归一化，以任意第n幅面部形状归一化图像为例，具体做法是：首先计算第n幅图像每一个三角面片的灰度均值，并将此灰度均值作为三角面片中心点的灰度值，接着利用已有三角面片中心点的灰度值进行线性插值，得到第n幅图像估计的背景光照图像I′_n，光照归一化图像由下式得到，

已有N幅图像对应的形状和光照归一化图像为参见图7。

步骤7：对形状和光照归一化后的每一图像提取梯度位置方向直方图(GLOH)特征。所有图像需要缩放到大小为66×66像素，同时将图像或分为36个大小为11×11像素的小区域，在每个小区域内，使用三个半径长度(2，3，5)和8个梯度方向计算直方图，得到136维的局部直方图特征；最后将36个区域的局部直方图特征级联在一起，得到每幅图像的GLOH特征为4896维；记所有N幅图像的GLOH特征为：

步骤8：对N幅图像的面部形状特征和GLOH特征利用线性主成分分析方法进行降维，分别降到40维和60维，两种特征降维后级联在一起，构成每一幅面部图像的最终特征表示对于N幅图像，我们可以得到f₁,f₂,…,f_N共N个特征向量。

步骤9：将步骤8中得到的所有图像的特征和其对应的标定年龄，根据对应人的性别分为两组，第1组为男性，第2组为女性，令表示所有男性的面部特征，任意列向量为男性中第n个人的面部特征，令表示上述男性面部图像对应的标定年龄。类似地，定义表示所有女性的面部特征，任意列向量为女性中第n个人的面部特征，同时令表示上述女性面部图像对应的标定年龄。

步骤10：在分组数据的基础上，假设对于男性或女性，其面部特征和对应年龄之间存在以下卷积高斯过程回归关系：

g表征回归模型是针对男性(g＝1)或女性(g＝2)，和为男性或女性的第n个样本对应的面部特征和年龄，h_g(·)是性别差异化回归函数，为随机噪声变量，服从均值为0方差为的高斯分布，为隐含输出。定义隐含变量为隐含输出变量，其中z(·)为卷积函数，其表达式一般为：

tanh为双曲正切函数，由参数φ＝{a,b,c}决定。

步骤11：假设步骤10中的回归函数输出值满足高斯过程先验，即：

其中为男性或女性的面部特征集合，为零向量，K_g为大小N_g×N_g的协方差矩阵，其第m行n列的元素表示回归函数在和处，即和的协方差

为的第i个元素，为的第i个元素，参数为θ_g＝{θ₀,θ₁,θ₂,η₁,…,η_D}。

步骤12：根据步骤10中隐含变量和回归函数之间的关系，可以得到上式中p(z_g|h_g)的表达式为再根据步骤11中对回归函数输出值的高斯过程先验假设，得到男性或女性面部特征F_g已知条件下隐含变量向量的分布函数：

令根据正态分布的表达式并对上式取对得到

步骤13：是卷积函数的反函数在的输出值，即与年龄相关的对数似然函数lnp(y_g|F_g)的表达式为，

其中z′(·)表示卷积函数z(·)的导数。该对数似然函数是关于参数θ_g,σ_g和φ的函数，定义

步骤14：，为了寻找使得对数似然函数取最大值时的参数θ_g,σ_g和φ，利用梯度法求解，梯度法中需要对对数似然函数关于各个参数求偏导数，得到以下结果：

其中，是向量θ_g中的第j个元素，φ_j是参数向量φ的第j元素。

步骤15：给定待估计年龄的人脸图像，按照步骤3,4,5,6,7,8中的方法提取面部特征f_*。这里假设待估计人脸图像的性别已知，可得到所有隐含变和z_*的联合分布函数如下:

其中根据上式，可以求得p(z_*|F_g,z_g,f_*)服从高斯分布，均值μ_*与方差如下表示

将μ_*作为对待估计人脸特征f_*的隐含输出z_*的估计值，由于z_*＝z(y_*)，最后得到待估计人脸的年龄估计值y_*为：

本发明的创新之处在于：

假设男性和女性有不同的容貌特征和衰老过程，提出性别差异化年龄估计概念。根据上述假设建立针对男性和女性年龄估计的卷积高斯过程回归模型，建立从面部特征到年龄之间的映射关系。由于上述创新，使得本专利提出的面部年龄估计方法有较理想的估计准确性。

附图说明

图1是一种基于相关回归的面部年龄估计算法示意图。

图2是不同人的不同年龄的面部图像。第一行为一男性的面部年龄图像，第二行为一女性的面部年龄图像。

图3是68个面部特征点定义。

图4是仿射变换示意图。

图5是三角面片变换法。

图6是面部特征点构成的三角面片。

图7：形状和光照归一化后的面部图像(对应图2)。

具体实施方式

实现语言：Matlab,C/C++

硬件平台：Intel core2E7400+4G DDR RAM

软件平台：Matlab2012a,VisualStdio2010

采用本发明的方法，首先在VisualStdio2010平台上利用Facetracker工具包提取面部图像的特征点，并记录每一幅图像对应的特征点位置。接着根据专利内容利用C++或matlab编程实现算法，进行面部特征提取和从面部特征到年龄的两层回归关系建立。最后根据已学到的回归关系，对待估计样本利用上述代码估计其对应的年龄。

本专利的测试数据库分别为FG-NET和Morph 2人脸库。FG-NET库中共有1002幅带有标记年龄的彩色人脸图像。所有图像来自82个人，每个人大约12幅图像，同一个人的面部图像对应的年龄跨度较大。Morph 2人脸库包含上万张带年龄和性别标定的彩色人脸图像，该专利实验选取了1303幅图像做训练。需要说明的是Morph 2库中的每个人人脸图像年龄跨度较小。

综上所述，本发明提出的一种基于高斯过程回归的性别差异化面部年龄估计算法，充分利用了男性和女性面部特征及其衰老过程的差异性，建立了性别差异化回归模型，有效克服了面部年龄特征由于性别差异造成的不一致性对估计结果的影响，该算法在已有年龄估计数据库FG-NET和Morph 2测试，平均估计误差为5.13和6.09，是目前公开报道的性能一流的年龄估计算法。该专利可应用于基于年龄的登陆控制，年龄差异化广告以及年龄相关的人机交互技术等领域。

Claims (4)

1.一种基于高斯过程回归的性别差异化面部年龄估计方法，包括以下步骤：

步骤1：采集不同人的包含不同年龄的面部图像N幅，其中男性的面部图像数量为N₁，女性的面部图像数量为N₂，因此N＝N₁+N₂；

步骤2：对所有的面部图像利用FaceTracker方法跟踪面部特征点，共得到K个面部特征点；对于任意第n幅面部图像，用向量记录所有特征点的位置，其中表示第n幅面部图像的第k个特征点的位置坐标，由横坐标x_nk和纵坐标y_nk两维构成；

步骤3：由于每一幅图像拍摄状态不同，造成拍摄到的人脸面部大小、位置和旋转角度不同，为了消除不同图像对应面部特征点之间的仿射变换，以第1幅图像为基准，对图片库中所有图像的特征点位置进行仿射变换，让变换后的特征点位置与第1幅基准图像的面部特征点位置尽量接近，对图像库中每一面部图像做上述变换，可得到所有N幅图像的面部形状特征，即：

步骤4：将所有图像对应的面部形状归一化为基准图像面部形状，并利用三角面片方法对面部容貌进行变换；

步骤5：计算面部形状归一化图像的平均背景光照；

首先计算各图像的灰度平均值图像；之后，计算灰度平均图像上每一个三角面片的灰度均值，将三角面片的灰度均值作为三角面片中心点的灰度值；最后，根据三角面片中心的灰度值进行线性插值，得到与原图像大小相同的背景光照图像I₀；

步骤6：对图片库中所有面部图像进行光照归一化；

首先计算第n幅图像每一个三角面片的灰度均值，并将此灰度均值作为三角面片中心点的灰度值，接着利用已有三角面片中心点的灰度值进行线性插值，得到第n幅图像估计的背景光照图像I′_n，光照归一化图像由下式得到，

已有N幅图像对应的形状和光照归一化图像为

步骤7：对形状和光照归一化后的每一图像提取GLOH特征；

将所有图像缩放到大小为66×66像素，同时将图像分为36个大小为11×11像素的小区域，在每个小区域内，使用半径为2，3，5三个长度和8个梯度方向计算直方图，得到136维的局部直方图特征；最后将36个区域的局部直方图特征级联在一起，得到每幅图像的GLOH特征为4896维；记所有N幅图像的GLOH特征为：

步骤8：对N幅图像的面部形状特征和GLOH特征利用线性主成分分析方法进行降维，分别降到40维和60维，两种特征降维后级联在一起，构成每一幅面部图像的最终特征表示对于N幅图像，得到f₁,f₂,…,f_N共N个特征向量；

步骤9：将步骤8中得到的所有图像的特征和其对应的标定年龄，根据对应人的性别分为两组，第1组为男性，第2组为女性，令表示所有男性的面部特征，任意列向量为男性中第n个人的面部特征，令表示上述男性面部图像对应的标定年龄；定义表示所有女性的面部特征，任意列向量为女性中第n个人的面部特征，同时令表示上述女性面部图像对应的标定年龄；

步骤10：在分组数据的基础上，假设对于男性或女性，其面部特征和对应年龄之间存在以下卷积高斯过程回归关系：

g表征回归模型是针对男性(g＝1)或女性(g＝2)，和为男性或女性的第n个样本对应的面部特征和年龄，h_g(·)是性别差异化回归函数，为随机噪声变量，服从均值为0方差为的高斯分布，为隐含输出；定义隐含变量为隐含输出变量，其中z(·)为卷积函数，其表达式为：

tanh为双曲正切函数，由参数φ＝{a,b,c}决定；

步骤11：步骤10中的回归函数输出值满足高斯过程先验，即：

其中为男性或女性的面部特征集合，为零向量，K_g为大小N_g×N_g的协方差矩阵，其第m行n列的元素表示回归函数在和处，即和的协方差

为的第i个元素，为的第i个元素，参数为θ_g＝{θ₀,θ₁,θ₂,η₁,…,η_D}；

步骤12：根据步骤10中隐含变量和回归函数之间的关系，可以得到 再根据步骤11中对回归函数输出值的高斯过程先验假设，得到男性或女性面部特征F_g已知条件下隐含变量向量的分布函数：

令根据正态分布的表达式并对上式取对得到

步骤13：是卷积函数的反函数在的输出值，即与年龄相关的对数似然函数lnp(y_g|F_g)的表达式为，

其中z′(·)表示卷积函数z(·)的导数；该对数似然函数是关于参数θ_g,σ_g和φ的函数，定义

步骤14：为了寻找使得对数似然函数取最大值时的参数θ_g,σ_g和φ，利用梯度法求解，梯度法中需要对对数似然函数关于各个参数求偏导数，得到以下结果：

其中，是向量θ_g中的第j个元素，φ_j是参数向量φ的第j元素；

步骤15：给定待估计年龄的人脸图像，按照步骤3,4,5,6,7,8中的方法提取面部特征f_*；这里假设待估计人脸图像的性别已知，可得到所有隐含变量和z_*的联合分布函数如下：

其中根据上式，可以求得p(z_*|F_g,z_g,f_*)服从高斯分布，均值μ_*与方差如下表示：

将μ_*作为对待估计人脸特征f_*的隐含输出z_*的估计值，由于z_*＝z(y_*)，最后得到待估计人脸的年龄估计值y_*为：

2.如权利要求1所述的一种基于高斯过程回归的性别差异化面部年龄估计方法，其特征在于步骤3的具体方法为令s₁表示第1幅图像的所有面部特征点坐标，s_n表示任意第n幅面部图像的特征点，与基准图像之间的仿射变换参数β₁,β₂,β₃,β₄应满足：

令β＝{β₁,β₂,β₃,β₄}表示仿射变换参数集合，上式等价于：

这里，s₁＝(x₁₁,x₁₂,…,x_1K)^T＝(x₁₁,y₁₁,x₁₂,y₁₂,…,x_1K,y_1K)^T，矩阵X_n的的大小为2K×4，具体的表达式为：

可以得到β的最小二乘解为：

β＝(X_n ^TX_n)^-1X_n ^Ts₁，

利用求得的仿射变换参数β，得到与第1幅基准图像对齐以后的特征点位置坐标

将作为任意第n幅图像的面部形状特征，按照上述方法对图像库中每一面部图像做上述变换，可得到所有N幅图像的面部形状特征，即：

3.如权利要求1所述的一种基于高斯过程回归的性别差异化面部年龄估计方法，其特征在于所述步骤4的具体方法为任意三个面部特征点x_ni,x_nj,x_nk构成的三角面片中任意一个位置x处，它在基准形状中由相应的三个面部特征点构成的三角面片中的位置变为x’，

x’＝(x_1i,y_1i)^T+α[(x_1j,y_1j)^T-(x_1i,y_1i)^T]+γ[(x_1k,y_1k)^T-(x_1i,y_1i)^T]，

其中α和γ的取值分别为：

这样将x’位置处的灰度置为原图像位置x处的灰度值；对所有三角面片中的所有点进行上述变换，可以得到基准图像面部形状相同的面部形状归一化图像，按照上述方法对图像库中每一面部图像做上述变换，可得到所有N幅图像归一化的面部容貌图像I₁,I₂,…,I_N；

如果变换后的图像存在没有赋值的像素点，利用双三次插值方法在已有像素点的基础上进行插值。

4.如权利要求1所述的一种基于高斯过程回归的性别差异化面部年龄估计方法，其特征在于所述步骤2中面部特征点个数K＝68。