CN106778558A - 一种基于深度分类网络的面部年龄估计方法 - Google Patents

Abstract

本发明提出了一种基于深度分类网络的年龄估计方法，属于计算机视觉和机器学习领域。该方法的主要思想是通过深度分类网络建立输入面部图像特征和年龄之间的映射关系。首先，对面部图像进行归一化并提取面部特征；接着，建立5层的深度分类模型，拟合输入图像特征和年龄之间的映射关系；之后，利用梯度下降法优化深度分类模型的参数；最后，对于待估计面部图像，利用学习好的深度模型估计年龄。

Description

一种基于深度分类网络的面部年龄估计方法

技术领域

本发明属于计算机视觉技术领域，涉及面部年龄估计技术，主要应用于基于年龄的登陆控制，年龄差异化广告以及年龄相关的人机交互技术等领域。

背景技术

面部年龄估计技术是指通过计算机算法对人脸面部特征进行分析后，自动估计人体年龄的技术。通常，计算机通过摄像头采集人脸图像(照片)，并对面部特征进行提取和分析，自动估计该图像对应的年龄。由于该技术在年龄相关的人际交互、基于年龄的登陆控制和年龄差异化广告方面都有非常广泛的应用，因此它引起了计算机视觉领域学者的广泛兴趣和关注。目前已有的人脸面部年龄估计算法可以分为2大类：(1)基于浅层模型的年龄估计方法，和(2)基于深度网络的年龄估计算法。

基于浅层模型的年龄估计方法作为最常见的一种年龄估计方法，其基本原理是假设所有人的面部特征和对应年龄之间存在通用(共同)的映射关系，该映射关系可以通过线性或非线性回归拟合实现。同时这类方法假设映射函数只有单层，即直接从输入图像特征映射到年龄。其优点在于模型简单，不受训练样本数多少的影响。而其缺点在于估计的准确性较差，原因是单层模型很难准确描述面部特征和年龄之间的复杂关系，同时需要进行降维前处理，降维与估计模型分离造成特征提取的结果并不是最适合于后续年龄估计模型的。参见文献：A.Lanitis,C.J.Taylor,and T.F.Cootes,Automatic Interpretation andCoding of Face Images using Flexible Models,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.19,no.7,pp.743–756,1997。

基于深度网络的年龄估计方法是近年来该领域研究的热点，其基本原理是利用卷积神经网络学习适合于年龄估计的特征，并在深度网络的最后一层设计softmax函数或其它单层函数将学到的特征回归到对应的年龄。该类方法的优点在于准确性高，并且是端到端的模型，不需要对图像进行复杂的归一化矫正。其缺点在于需要在GPU服务器上进行运算，硬件配置较高，并且训练时间过长。参考文献Z.Niu,M.Zhou,L.Wang,X.Gao,and G.Hua,Ordinal Regression with Multiple Output CNN for Age Estimation,The Conferenceon computer vision and pattern recognition,2016。

本专利针对上述两类方法的缺陷，提出了一种新的基于栈式自编码的深度分类网络，并用于年龄估计，取得了令人满意的估计结果。

发明内容

本发明提供一种基于深度分类网络的面部年龄估计算法，首先对面部图像进行简单的矫正并归一化到40*40像素。接着，根据所有图像对应的标定年龄建立深度分类网络模拟从面部特征到目标年龄的分类模型，并求解网络参数；最后在给定待估计面部年龄图像时，对面部图像进行年龄分类，分类的间隙为1岁，算法示意图参见图2。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：面部特征点。人为定义人面部的一些特殊点，例如嘴角点，眼角点等。

定义2：seataFace。一种用于跟踪定位面部特征点的C++软件包。

定义3：归一化。利用面部特征点的相对位置以消除尺度，旋转变化对图像影响的方法。

定义4：softmax回归。在多类分类问题中对于任意输入x，其属于第k类(共K类)的概率为该表达式为

定义5：前向传播。通过输入和当前网络参数计算从输入层到输出层逐层计算每一层节点单元对应值的方法。

定义6：后向传播算法。是一种监督学习算法，常被用来训练多层神经网络。一般包含两个阶段：(1)前向传播阶段将训练输入送入网络以获得激励响应；(2)反向传播阶段将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。

定义7：导数。当函数y＝f(x)的自变量x在一点x₀上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限如果存在，即为在x₀处的导数，记作f′(x₀)。

定义8：梯度。当函数y＝f(x)的自变量x的维数为D时候，梯度定义为 为函数f(x)关于变量x_d的偏导数。

定义9：梯度法。梯度下降法是一个最优化算法，为求解函数f(x)取极值时，自变量的取值可以迭代求解，即：

直到梯度值为零，得到解。

定义10：S形函数。S形函数(sigmoid function)一般可以表示为σ(·)，其表达式为

本发明详细技术方案如下：一种基于深度分类网络的面部年龄估计方法，包括以下步骤：

步骤1：采集不同人的包含不同年龄的面部图像N幅，并标定对应的实际年龄；

步骤2：对所有的面部图像利用SeataFace跟踪面部特征点，共得到M个面部特征点，M＝5，包含：2个嘴角点，2个瞳孔中心和1个鼻尖点；

步骤3：根据步骤2中的特征点定位结果对图像进行归一化；

步骤4：将所有面部图像的灰度值向量化为1600维的向量，同时限制取值范围在0.1到0.9之间。限制方法如下：计算所有输入图像灰度值的均值μ和标准差σ，利用3σ将灰度值范围压缩到[-1,1]；设任意第n幅输入图像对应的灰度向量为进行灰度值压缩后变为

最后将的数值范围压缩到[0.1,0.9]得到输入特征：

步骤5：设置年龄对应的类别数目为100，即每1岁对应1个类别；

步骤6：建立深度回归网络，该网络的输入为1600维图像特征，包含输入层和输出层网络共5层；将第一层的节点的值赋为输入特征其中s_l表示图像特征的维数,即：之后进行逐层映射得到：

表示第l层的第j个单元的响应值，表示第l+1层的第i个单元的输入，和表示连接深度神经网络第l层的所有s_l个单元和第l+1层的第i个单元之间的参数；具体来讲，表示连接第l层的第j个单元和第l+1层第i个单元之间的参数，为与第l+1层的隐单元i相关的偏差项，s_l+1为第l+1层隐单元的数目；第l+1层的第i个单元是否被激活，由S形函数的输出决定，即：

上式可表示为：

根据上述原理可以计算出第1层到第4层的所有节点，输出层有K＝100个输出函数h₁(·)，...，h_K(·)，分别对应100个年龄类别，其中h_k(·)输出某个输入样本属于第k个类别的概率

其中k＝1，...，K，网络参数 表示类别k的输出函数h_k(·)中的参数向量，表示K个类别输出函数的参数向量，对样本x_n的年龄估计值为argmax_kh_k(x_n)，即样本的估计年龄为所属类别概率最大值时对应的类别标号；

步骤7：通过步骤6中的深度分类网络，建立关于网络参数θ的目标函数：

1(y_n＝k)为指示函数，当条件y_n＝k满足时，1(y_n＝k)＝1，否则为0，λ表示约束项‖θ‖²的强度；将每一个标定年龄y_n转化为二值向量t_n，若y_n＝k则对应二值向量为t_n的第k个元素t_nk为1其余元素为0，N表示训练样本的数目，由此目标函数的等价形式可写为：

步骤8：根据步骤6中的深度分类网络，当输入为x_n时利用前向传播算法计算

步骤9：计算第4层的每一个单元i的误差项；

其中t_nk表示t_n的第k个元素，t_n表示标定年龄y_n转化为二值向量t_n，w_ki是softmax回归中第k个回归函数的权向量w_k的第i个元素；之后，利用后向传播算法，计算1,2,3层的误差项

步骤10：求解网络参数θ的目标函数关于softmax回归参数的梯度

同时求解网络参数θ的目标函数关于网络参数的偏导数

有上述目标函数关于参数的梯度和偏导数，求出目标函数关于深度分类网络参数θ的梯度向量：

从而利用该深度分类网络进行目标面部年龄估计。

进一步的，所述步骤6中提到的深度分类网络，每一层的单元数目分别为s₁＝1600，s₂＝300，s₃＝250和s₄＝200，输出层只有100个单元，即：s₅＝100。

进一步的，所述步骤7：为了求得最佳的深度分类网络参数θ，我们需要先初始化参数，再利用梯度下降法进行优化，具体包含下面两个步骤：

(a)网络参数初始化；首先随机初始化当初始化第1层和2层之间的参数时，利用梯度下降法优化参数使得仅利用2层网络的输出重构原始输入特征，并使重构误差最小；当修正第2和3层之间参数时，利用梯度下降法优化参数把第2层的输出作为输入，仅利用第3层网络的输出就可以重构原始输入特征，并使得重构误差最小；对于第3和4层之间的参数，我们利用前3层的输出作为输入，优化参数并使得特征重构误差最小；对于softmax回归模型额参数初始化，需要将第4层的输出作为softmax回归的输入，在估计误差最小的情况下得到参w₁，...，w_K的初始值；

(b)梯度下降法；根据初始化值，更新参数向量θ，即：

其中上标[t]和[t+1]表示第t次和t+1次迭代；当θ满足收敛条件时停止迭代。

本发明的创新之处在于：

利用深度分类网络学习年龄类别与输入图像特征之间的关系，精确模拟了二者之间的复杂非线性关系。由于上述创新，使得本专利提出的面部年龄估计算法有较理想的估计准确性。

附图说明

图1是不同人的不同年龄的面部图像。

图2是深度分类网络示意图。

具体实施方式

实现语言：Matlab,C/C++

硬件平台：Intel core2 E7400+4G DDR RAM

软件平台：Matlab2015a,VisualStdio2010

采用本发明的方法，首先在VisualStdio2010平台上利用SeatFace工具包提取面部图像的特征点，并记录每一幅图像对应的特征点位置。接着根据专利内容利用C++或matlab编程实现算法，进行面部特征提取并逐层回归到年龄类别。最后根据已学到的深度分类网络，对待估计样本利用上述代码估计其对应的年龄。

该方法一种基于深度分类网络的面部年龄估计方法，包括以下步骤：

步骤1：采集不同人的包含不同年龄的面部图像N幅，并标定对应的实际年龄；

步骤2：对所有的面部图像利用SeataFace跟踪面部特征点，共得到M个面部特征点，M＝5，包含：2个嘴角点，2个瞳孔中心和1个鼻尖点；

步骤3：根据步骤2中的特征点定位结果对图像进行归一化；

步骤4：将所有面部图像的灰度值向量化为1600维的向量，同时限制取值范围在0.1到0.9之间。限制方法如下：计算所有输入图像灰度值的均值μ和标准差σ，利用3σ将灰度值范围压缩到[-1,1]；设任意第n幅输入图像对应的灰度向量为进行灰度值压缩后变为

最后将的数值范围压缩到[0.1,0.9]得到输入特征：

步骤5：设置年龄对应的类别数目为100，即每1岁对应1个类别；

步骤6：建立深度回归网络，该网络的输入为1600维图像特征，包含输入层和输出层网络共5层；将第一层的节点的值赋为输入特征其中s_l表示图像特征的维数,即：之后进行逐层映射得到：

表示第l层的第j个单元的响应值，表示第l+1层的第i个单元的输入，和表示连接深度神经网络第l层的所有s_l个单元和第l+1层的第i个单元之间的参数；具体来讲，表示连接第l层的第j个单元和第l+1层第i个单元之间的参数，为与第l+1层的隐单元i相关的偏差项，s_l+1为第l+1层隐单元的数目；第l+1层的第i个单元是否被激活，由S形函数的输出决定，即：

上式可表示为：

根据上述原理可以计算出第1层到第4层的所有节点，输出层有K＝100个输出函数h₁(·)，...，h_K(·)，分别对应100个年龄类别，其中h_k(·)输出某个输入样本属于第k个类别的概率

其中k＝1，...，K，网络参数 表示类别k的输出函数h_k(·)中的参数向量，表示K个类别输出函数的参数向量，对样本x_n的年龄估计值为argmax_kh_k(x_n)，即样本的估计年龄为所属类别概率最大值时对应的类别标号；

所述步骤6中的深度分类网络，每一层的单元数目分别为s₁＝1600，s₂＝300，s₃＝250和s₄＝200，输出层只有100个单元，即：s₅＝100。

步骤7：通过步骤6中的深度分类网络，建立关于网络参数θ的目标函数：

1(y_n＝k)为指示函数，当条件y_n＝k满足时，1(y_n＝k)＝1，否则为0，λ表示约束项‖θ‖²的强度；将每一个标定年龄y_n转化为二值向量t_n，若y_n＝k则对应二值向量为t_n的第k个元素t_nk为1其余元素为0，N表示训练样本的数目，由此目标函数的等价形式可写为：

所述步骤7：为了求得最佳的深度分类网络参数θ，我们需要先初始化参数，再利用梯度下降法进行优化，具体包含下面两个步骤：

(a)网络参数初始化；首先随机初始化当初始化第1层和2层之间的参数时，利用梯度下降法优化参数使得仅利用2层网络的输出重构原始输入特征，并使重构误差最小；当修正第2和3层之间参数时，利用梯度下降法优化参数把第2层的输出作为输入，仅利用第3层网络的输出就可以重构原始输入特征，并使得重构误差最小；对于第3和4层之间的参数，我们利用前3层的输出作为输入，优化参数并使得特征重构误差最小；对于softmax回归模型额参数初始化，需要将第4层的输出作为softmax回归的输入，在估计误差最小的情况下得到参w₁，...，w_K的初始值；

(b)梯度下降法；根据初始化值，更新参数向量θ，即：

其中上标[t]和[t+1]表示第t次和t+1次迭代；当θ满足收敛条件时停止迭代。

步骤8：根据步骤6中的深度分类网络，当输入为x_n时利用前向传播算法计算

步骤9：计算第4层的每一个单元i的误差项；

其中t_nk表示t_n的第k个元素，t_n表示标定年龄y_n转化为二值向量t_n，w_ki是softmax回归中第k个回归函数的权向量w_k的第i个元素；之后，利用后向传播算法，计算1,2,3层的误差项

步骤10：求解网络参数θ的目标函数关于softmax回归参数的梯度

同时求解网络参数θ的目标函数关于网络参数的偏导数

有上述目标函数关于参数的梯度和偏导数，求出目标函数关于深度分类网络参数θ的梯度向量：

从而利用该深度分类网络进行目标面部年龄估计。

Claims (3)

1.一种基于深度分类网络的面部年龄估计方法，包括以下步骤：

步骤1：采集不同人的包含不同年龄的面部图像N幅，并标定对应的实际年龄；

步骤2：对所有的面部图像利用SeataFace跟踪面部特征点，共得到M个面部特征点，M＝5，包含：2个嘴角点，2个瞳孔中心和1个鼻尖点；

步骤3：根据步骤2中的特征点定位结果对图像进行归一化；

步骤4：将所有面部图像的灰度值向量化为1600维的向量，同时限制取值范围在0.1到0.9之间。限制方法如下：计算所有输入图像灰度值的均值μ和标准差σ，利用3σ将灰度值范围压缩到[-1,1]；设任意第n幅输入图像对应的灰度向量为进行灰度值压缩后变为

${\tilde{x}}_n=\frac{\max \left(\min \left({\hat{x}}_n-\mathrm{\μ},3\mathrm{\σ}\right),-3\mathrm{\σ}\right)}{3\mathrm{\σ}}$

最后将的数值范围压缩到[0.1,0.9]得到输入特征：

$x_n=({\tilde{x}}_n+1)*0.4+0.1;$

步骤5：设置年龄对应的类别数目为100，即每1岁对应1个类别；

步骤6：建立深度回归网络，该网络的输入为1600维图像特征，包含输入层和输出层网络共5层；将第一层的节点的值赋为输入特征其中s_l表示图像特征的维数,即：之后进行逐层映射得到：

$z_{ni}^{(l+1)}=w_{i1}^{\left(l\right)}{a}_{n1}^{\left(l\right)}+w_{i2}^{\left(l\right)}{a}_{n2}^{\left(l\right)}...+w_{{\mathrm{is}}_l}^{\left(l\right)}{a}_{{\mathrm{ns}}_l}^{\left(l\right)}+b_i^{\left(l\right)},i=1,\mathrm{...},s_{l+1},l=1,2,3$

表示第l层的第j个单元的响应值，表示第l+1层的第i个单元的输入，和表示连接深度神经网络第l层的所有s_l个单元和第l+1层的第i个单元之间的参数；具体来讲，表示连接第l层的第j个单元和第l+1层第i个单元之间的参数，为与第l+1层的隐单元i相关的偏差项，s_l+1为第l+1层隐单元的数目；第l+1层的第i个单元是否被激活，由S形函数的输出决定，即：

$a_{ni}^{\left(l+1\right)}=\mathrm{\σ}\left(z_{ni}^{\left(l+1\right)}\right),i=1,\mathrm{...},s_{l+1},l=1,2,3$

上式可表示为：

$a_{ni}^{\left(l+1\right)}=\mathrm{\σ}\left(w_{i1}^{\left(l\right)}{a}_{n1}^{\left(l\right)}+w_{i2}^{\left(l\right)}{a}_{n2}^{\left(l\right)}\mathrm{...}+w_{{\mathrm{is}}_l}^{\left(l\right)}{a}_{{\mathrm{ns}}_l}^{\left(l\right)}+b_i^{\left(l\right)}\right),i=1,\mathrm{...},s_{l+1},l=1,2,3$

根据上述原理可以计算出第1层到第4层的所有节点，输出层有K＝100个输出函数h₁(·),...,h_K(·)，分别对应100个年龄类别，其中h_k(·)输出某个输入样本属于第k个类别的概率

$h_k\left(x_n\right)=p(y_n=k|x_n,\mathrm{\θ})=\frac{e^{w_k^T{a}_n^{\left(4\right)}}}{{\mathrm{\Σ}}_{j=1}^K{e}^{w_j^T{a}_n^{\left(4\right)}}}$

其中k＝1,…,K，网络参数 表示类别k的输出函数h_k(·)中的参数向量，表示K个类别输出函数的参数向量，对样本x_n的年龄估计值为argmax_kh_k(x_n)，即样本的估计年龄为所属类别概率最大值时对应的类别标号；

步骤7：通过步骤6中的深度分类网络，建立关于网络参数θ的目标函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}1(y_n=k){\mathrm{logh}}_k\left(x_n\right)+\frac{\mathrm{\λ}}{2}\left|\right|\mathrm{\θ}|{|}^2$

1(y_n＝k)为指示函数，当条件y_n＝k满足时，1(y_n＝k)＝1，否则为0，λ表示约束项‖θ‖²的强度；将每一个标定年龄y_n转化为二值向量t_n，若y_n＝k则对应二值向量为t_n的第k个元素t_nk为1其余元素为0，N表示训练样本的数目，由此目标函数的等价形式可写为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}\{t_{nk}{\mathrm{logh}}_k\left(x_n\right)+(1-t_{nk})log(1-h_k(x_n\left)\right)\}+\frac{\mathrm{\λ}}{2}\left|\right|\mathrm{\θ}|{|}^2$

步骤8：根据步骤6中的深度分类网络，当输入为x_n时利用前向传播算法计算i＝1,…,s_l+1,l＝1,2,3；

步骤9：计算第4层的每一个单元i的误差项；

${\mathrm{\δ}}_{ni}^{\left(4\right)}=\underset{k=1}{\overset{K}{\Σ}}\left(h_k\right(x_n)-t_{nk})w_{ki},i=1,\mathrm{...},s_4$

其中t_nk表示t_n的第k个元素，t_n表示标定年龄y_n转化为二值向量t_n，w_ki是softmax回归中第k个回归函数的权向量w_k的第i个元素；之后，利用后向传播算法，计算1,2,3层的误差项

${\mathrm{\δ}}_{nj}^{\left(l\right)}=\left(\underset{i=1}{\overset{s_{l+1}}{\Σ}}{w}_{ji}^{\left(l\right)}{\mathrm{\δ}}_{ni}^{(l+1)}\right){\mathrm{\σ}}^{\′}\left(z_{nj}^l\right),l=1,2,3$

步骤10：求解网络参数θ的目标函数关于softmax回归参数的梯度

$\frac{\∂J}{\∂w_k}=\underset{n=1}{\overset{N}{\Σ}}\left(h_k\right(x_n)-t_{nk})a_n^{\left(4\right)}$

同时求解网络参数θ的目标函数关于网络参数的偏导数

$\frac{\∂J}{\∂w_{ij}^{\left(l\right)}}=\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}{a}_{nj}^{\left(l\right)}{\mathrm{\δ}}_{ni}^{(l+1)}+{\mathrm{\λw}}_{ij}^{\left(l\right)}$

$\frac{\∂J}{\∂b_i^{\left(l\right)}}=\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}{\mathrm{\δ}}_{ni}^{(l+1)}$

有上述目标函数关于参数的梯度和偏导数，求出目标函数关于深度分类网络参数θ的梯度向量：

${\▿}_{\mathrm{\θ}}J\left(\mathrm{\θ}\right)=={({\frac{\∂J}{\∂w_1}}^T,\mathrm{...},{\frac{\∂J}{\∂w_K}}^T,\frac{\∂J}{\∂w_{ij}^{\left(l\right)}},\frac{\∂J}{\∂b_i^{\left(l\right)}},i=1,\mathrm{...},s_{l+1},j=1,\mathrm{...},s_l,l=1,2,3)}^T$

从而利用该深度分类网络进行目标面部年龄估计。

2.如权利要求1所述的一种基于深度分类网络的面部年龄估计方法，其特征在于所述步骤6中提到的深度分类网络，每一层的单元数目分别为s₁＝1600，s₂＝300，s₃＝250和s₄＝200，输出层只有100个单元，即：s₅＝100。

3.如权利要求1所述的一种基于深度分类网络的面部年龄估计方法，其特征在于所述步骤7：为了求得最佳的深度分类网络参数θ，我们需要先初始化参数，再利用梯度下降法进行优化，具体包含下面两个步骤：

(a)网络参数初始化；首先随机初始化当初始化第1层和2层之间的参数时，利用梯度下降法优化参数使得仅利用2层网络的输出重构原始输入特征，并使重构误差最小；当修正第2和3层之间参数时，利用梯度下降法优化参数把第2层的输出作为输入，仅利用第3层网络的输出就可以重构原始输入特征，并使得重构误差最小；对于第3和4层之间的参数，我们利用前3层的输出作为输入，优化参数并使得特征重构误差最小；对于softmax回归模型额参数初始化，需要将第4层的输出作为softmax回归的输入，在估计误差最小的情况下得到参w₁,...,w_K的初始值；

(b)梯度下降法；根据初始化值，更新参数向量θ，即：

${\mathrm{\θ}}^{\[t+1\]}={\mathrm{\θ}}^{\[t\]}-\mathrm{\α}{\▿}_{\mathrm{\θ}}^{\[t\]}J\left(\mathrm{\θ}\right)$

其中上标[t]和[t+1]表示第t次和t+1次迭代；当θ满足收敛条件时停止迭代。