CN106228139A - 一种基于卷积网络的表观年龄预测算法及其系统 - Google Patents

Abstract

本发明公开了一种基于卷积网络的表观年龄预测算法及其系统，首先对数据集进行预处理，然后选择一个预训练好的卷积网络作为初始网络，在划分后的传统的年龄数据集上对卷积网络进行训练，得到多个新的卷积网络，之后再用表观年龄数据集对这些新的卷积网络进行训练，得到多个训练后的卷积网络。最终使用集成方法来对这些网络进行集成，得到最终训练好的表观年龄预测模型。基于此模型，本发明还公开了一种基于卷积网络的表观年龄预测的系统，该系统使用表观年龄预测模型进行预测，得到最终的预测年龄。本发明可以快速、有效地训练出用于表观年龄预测的模型，而且预测的准确度很高，在常见的表观年龄数据集上取得了很好的效果。

Description

一种基于卷积网络的表观年龄预测算法及其系统

技术领域

本发明涉及模式识别和机器学习，特别涉及一种基于卷积网络的表观年龄预测算法及其系统。

背景技术

人脸包含着丰富多彩的生物信息，年龄作为其中重要的一项，在安全控制、人脸识别和人机交互领等领域有着广泛的应用，所以对于人脸年龄的预测是一项充满挑战的任务。在实际生活中，我们往往更加关注的是这个人看上去有多大，而不是真正的关心这个人实际上的年龄有多大，即所谓的表观年龄预测。在人脸表观年龄的预测中，每一个人脸图像都是有多个人进行标注的，基于年龄缓慢增长的特性，每个人标注的年龄一定是有差异的，所以我们可以对于多个人标注的表观年龄计算均值和标准差，来描述该人脸图像的表观年龄和不确定性。对于给定的均值和标准差，如图1所示，我们可以生成高斯年龄标记分布，以此来结合卷积网络学习算法和标记分布学习算法(X.Geng.Label DistributionLearning.IEEE Transactions on Knowledge and Data Engineering,2016.)来训练表观年龄预测模型。该方法相对于传统的单标记或者多标记方法能够充分利用标准差所带来的不确定性和标记之间的排序信息来学习模型。

发明内容

发明目的：该发明能够充分利用标准差所带来的不确定性和标记之间的排序信息来对人脸表观年龄进行预测。

技术方案：本发明提出一种基于卷积网络的表观年龄预测算法，包括步骤：

步骤1，建立表观年龄预测模型；具体如下：

(1)对训练数据集进行预处理；选择一个预训练好的卷积网络作为初始网络；将预处理后的训练数据集划分成若干份，在每份训练数据集上分别对预训练好的卷积网络进行训练，使得损失函数最小，得到若干卷积网络；所述损失函数是评价预测的年龄标记分布和真实年龄标记分布的距离；

(2)将(1)得到若干卷积网络与初始网络分别在预处理后的表观年龄数据集上进行再训练得到若干训练好的表观年龄预测卷积网络；传统年龄数据集用是每个人的真实年龄进行标注的，而表观年龄是用多个人根据自己的判断在人脸图像上进行标注后取平均得到的；(3)对训练好的若干表观年龄预测网络通过集成得到最终的表观年龄预测模型；

步骤2，对待预测的人脸图像进行预处理，使用步骤1训练好的表观年龄预测模型，对预处理后的图像进行表观年龄预测，得到待预测的人脸图像所对应的表观年龄。

所述(1)对于训练数据集的预处理主要包括两个方面，第一方面对训练数据集中的图片进行预处理，包括人脸检测、脸部关键点检测和校准，并最终缩放到224*224像素的大小；另一方面对每张图片由多个人进行年龄标注的，计算出这些人标注的年龄均值和标准差，对于仅有真实年龄的就用真实年龄作为均值，标准差设定为一个常数值，以此来生成高斯年龄标记分布。

所述损失函数为：

Loss＝-∑_id_iln p_i

其中d_i表示第i个样本的真实年龄分布，p_i表示当前卷积网络对第i个样本的预测年龄分布；

为了提高性能，对于任意的标记对(r，s)，我们设计如下的Rank损失：

$Loss=\underset{i=1}{\overset{N}{\Σ}}\underset{pair=(r,s)}{\overset{(C,C)}{\Σ}}max(0,\mathrm{\δ}(p_{i,r},p_{i,s}\left)\right)$

其中，N表示训练样本个数；C表示标记数量；任意的标记对是指预测出来的年龄分布于真实年龄分布中任意的两个值；且

$\mathrm{\δ}(p_{i,r},p_{i,s})=\left\{\begin{array}{ccc}{p}_{i,r}-p_{i,s},& if& d_{i,s}-d_{i,r}>0\\ p_{i,s}-p_{i,r},& if& d_{i,r}-d_{i,s}>0\\ 0,& if& d_{i,s}-d_{i,r}=0\end{array}\right..$

所述基于距离的投票集成方法如下：

将训练好的若干表观年龄预测网络及初始表观年龄预测网络去学习图片的年龄分布并取平均后得到年龄分布x，对应的表观年龄标记为t；对于第n张训练图片得到一个90维的年龄分布记为x_n，其对应的表观年龄标记为age_n；那么对于测试图片经过以上处理后得到一个90维的年龄分布x^*，计算其对应的年龄预测值age^*：

${\mathrm{age}}^{*}=\underset{n=1}{\overset{N}{\Σ}}{\mathrm{age}}_n*Dis\tan ce(x^{*},x_n)$

其中Distance(x^*，x_n)是一个距离函数，其公式为：

$\mathrm{Dis}\tan \mathrm{ce}(x^{*},x_n)=\exp (-\mathrm{\α}{\left|\right|x^{*}-x_2\left|\right|}_2^2)$

其中α是一个通过十倍交叉验证得到的设定参数。

2、一种表观年龄预测系统，包括人脸图像预处理模块、表观年龄预测模型训练模块和表观年龄预测模块；

所述人脸图像预处理模块对训练数据集中的图片进行预处理，包括人脸检测、脸部关键点检测和校准；同时对每张图片用一个年龄分布进行标注；

所述表观年龄预测模型训练模块训练表观年龄预测模型；

所述表观年龄预测模块对待预测的人脸图像进行预处理，使用所述表观年龄预测模型训练模块训练的表观年龄预测模型对预处理后的图像进行表观年龄预测，最终得到待预测的人脸图像所对应的表观年龄。

有益效果：本发明可以快速、有效地训练出用于表观年龄预测的模型，而且预测的准确度很高，在常见的表观年龄数据集上取得了很好的效果。

附图说明

图1是表观年龄标记分布；

图2是数据集预处理；

图3是基于卷积网络的表观年龄预测模型训练过程；

图4是基于卷积网络的表观年龄预测系统流程；

图5是基于卷积网络的表观年龄预测系统预测结果比较。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

基于卷积网络的表观年龄预测算法包括如下步骤：

步骤S1，获得用于训练模型的训练集IMDB-WIKI(R.Rothe,R.Timofte,andL.Gool.Dex:Deep expectation ofapparent age from a single image.InProceedings ofthe IEEE InternationalConferenceonComputerVisionWorkshops,pages10–15,2015.)和ChaLearn Looking at People 2016-Track 1:Age Estimation(S.Escalera,M.Torres,P.Pardo,B.Martnez,X.Bar′o,H.J.Escalante,I.Guyon,G.Tzimiropoulos,C.Corneanu,M.Oliu,M.A.Bagheri,and M.Valstar.ChaLearn lookingat people and faces oftheworld:Face analysisworkshopandchallenge2016.IEEEConferenceonComputerVisionandPatternRecognition,ChaLearnLookingatPeopleandFacesoftheWorldworkshop,2016.)，并对其中的人脸图片进行预处理；如图2所示，主要分为两个方面：第一个方面是对人脸图片进行人脸检测、脸部关键点检测(Y.Sun,X.Wang,andX.Tang.Deepconvolutionalnetworkcascadefor facialpoint detection.In Proceedings of the IEEE Conference on Computer Vision andPatternRecognition,pages3476–3483,2013.)和基于脸部关键点的校准，并最终缩放到224*224像素的大小，以此得到经过预处理后的图片；另一方面，我们需要对数据集中的真实标记进行预处理来得到年龄标记分布。在传统的年龄预测数据集中，我们用每张图片的真实年龄作为均值，标准差设定为3来生成高斯年龄标记分布；在表观年龄数据集中，每张图片都是由多个人进行年龄标注的，我们可以计算出这些人标注的年龄均值和标准差，以此来生成高斯年龄标记分布。

步骤S2，如图3所示，我们选择一个预训练好的VGGFace网络(O.M.Parkhi,A.Vedaldi,andA.Zisserman.Deep face recognition.In Proceedings ofthe BritishMachine Vision,volume 1,page6,2015.)作为初始网络，将该网络的最后一个全连接层重新初始化为一个有90维输出的全连接层，之后再紧接一个Softmax层对90维的输出进行归一化处理，我们将该层的输出作为预测的年龄标记分布(90维离散值)。在本发明中，假设年龄是1到90岁，故将预训练好的VGGFace网络的最后一个全连接层重新初始化为一个有90维输出的全连接层。最后我们使用公式(1)或者公式(2)所示的损失函数作为评价预测的年龄标记分布和真实年龄标记分布的距离的损失函数，其中d_i表示第i个样本的真实年龄分布，p_i表示当前卷积网络对第i个样本的预测年龄分布。我们可以将其作为训练网络的损失函数层来对网络进行反向传播训练。通过对年龄分布进行预测学习，我们可以充分利用表观年龄数据集中的标准差信息以及标记之间的排序信息，以此学习得到的卷积网络能够获得更加良好的效果。

Loss＝-Σ_id_i ln p_i 公式(1)

为了进一步提高系统的性能，我们用N表示训练样本个数，C表示标记数量，d_i表示第i个样本的真实年龄分布，p_i表示当前卷积网络对第i个样本的预测年龄分布，对于任意的标记对(r，s)，可以设计如下的Rank损失：

其中，

任意的标记对是指预测出来的年龄分布于真实年龄分布中任意的两个值。比如我们的分布是90维的，第一维和第二维就可以组成一个标记对。

然后将经过步骤S1预处理好的IMDB-WIKI数据集随机划分成三份(每份大约8万张图片)，在每份IMDB-WIKI数据集上对选择的网络进行再训练，由此可以得到三个卷积网络。

步骤S3，我们选择训练好的三个卷积网络和之前那个未在IMDB-WIKI数据集上训练过的初始网络，使用同样的损失函数和训练方法，分别在经过步骤S1预处理的表观年龄数据集上训练，由此可以得到四个训练好的表观年龄预测网络。

步骤S4，我们设计了一种基于距离的投票集成方法，我们使用学习好的4个卷积网络去学习一张图片的年龄分布，总共可以得到4个90维的年龄分布。然后我们将这4个年龄分布相加之后取平均便可以得到一个90维的年龄分布，我们将这个年龄分布记为x。对于训练集中每一张图片，我们都可以得到其对应的一个年龄分布，其中对于第n张训练图片，我们可以得到一个90维的年龄分布记为x_n，其对应的表观年龄标记为age_n。现在假设一张测试图片经过以上处理后得到一个90维的年龄分布x^*，我们使用公式(4)去计算其对应的年龄预测值age^*：

其中Distance(x^*，x_n)是一个距离函数，其公式为：

其中α是一个通过十倍交叉验证得到的设定参数，一般设定为1000。

使用该集成方法，我们可以得到最终用于预测的表观年龄预测模型。

步骤S5，如图4所示，对于待预测的人脸图像，我们首先对图像进行步骤S1中的预处理，然后使用之前训练好的表观年龄预测模型，对处理好的图像进行表观年龄预测，最终通过我们的集成算法得到该人脸图像所对应的表观年龄。

本发明还提出了一种基于卷积网络的表观年龄预测的系统，包括人脸图像预处理模块、表观年龄预测模型训练模块和基于卷积网络的表观年龄预测模块；

其中，在人脸图像预处理模块中，一方面对数据集中的图片进行预处理，主要包括人脸检测、脸部关键点检测和校准；另一方面对每张图片用一个年龄分布来标注，在传统的年龄预测数据集中，我们用每张图片的真实年龄作为均值，标准差设定为3来生成高斯年龄标记分布；在表观年龄数据集中，每张图片都是由多个人进行年龄标注的，我们可以计算出这些人标注的年龄均值和标准差，以此来生成高斯年龄标记分布；在表观年龄预测模型训练模块中，我们选择一个预训练好的卷积网络(VGGFace)作为初始网络，对IMDB-WIKI数据集进行步骤1)预处理后，随机提取24万张图片并将其划分成三份(每份8万张图片)，在每份IMDB-WIKI数据集上分别对选择的卷积网络进行训练，由此可以得到三个卷积网络。接着，我们用这三个卷积网络和一个没有在IMDB-WIKI数据集上进行训练的初始网络，分别在预处理好的表观年龄数据集上进行再训练，由此可以获得四个训练好的表观年龄预测网络。最终我们使用集成方法来对四个网络进行集成，得到最终的表观年龄预测模型。在基于卷积网络的表观年龄预测模块中，对于待预测的人脸图像，我们首先对图像进行预处理，然后使用之前训练好的表观年龄预测模型，对处理好的图像进行表观年龄预测，最终通过我们的集成算法得到该人脸图像所对应的表观年龄。

本发明设计的系统可以快速、有效地训练出用于表观年龄预测的模型，而且预测的准确度很高，在常见的表观年龄数据集MORPH II上预测绝对误差是2.2432，在ChaLearnLAP and FoW:Age Estimation@CVPR2016数据集上预测错误率为0.3214。图5展示了基于卷积网络的表观年龄预测系统预测结果和真实结果之间的比较。

Claims (5)

1.一种基于卷积网络的表观年龄预测算法，其特征在于：包括步骤：

步骤1，建立表观年龄预测模型；具体如下：

(1)对训练数据集进行预处理得到表观年龄数据集；表观年龄是用多个人根据自己的判断在人脸图像上进行标注后取平均得到的；选择一个预训练好的卷积网络作为初始网络；将预处理后的训练数据集划分成若干份，在每份训练数据集上分别对预训练好的卷积网络进行训练，使得损失函数最小，得到若干卷积网络；所述损失函数是评价预测的年龄标记分布和真实年龄标记分布的距离；

(2)将(1)得到若干卷积网络与初始网络分别在预处理后的表观年龄数据集上进行再训练得到若干训练好的表观年龄预测卷积网络；

(3)对训练好的若干表观年龄预测网络通过集成得到最终的表观年龄预测模型；

步骤2，对待预测的人脸图像进行预处理，使用步骤1训练好的表观年龄预测模型，对预处理后的图像进行表观年龄预测，得到待预测的人脸图像所对应的表观年龄。

2.根据权利要求1所述的表观年龄预测算法，其特征在于：所述(1)对于训练数据集的预处理主要包括两个方面，第一方面对训练数据集中的图片进行预处理，包括人脸检测、脸部关键点检测和校准，并最终缩放到224*224像素的大小；另一方面对每张图片由多个人进行年龄标注的，计算出这些人标注的年龄均值和标准差，对于仅有真实年龄的就用真实年龄作为均值，标准差设定为一个常数值，以此来生成高斯年龄标记分布。

3.根据权利要求1所述的表观年龄预测算法，其特征在于：所述损失函数为：

Loss＝-Σ_id_iln p_i

其中d_i表示第i个样本的真实年龄分布，p_i表示当前卷积网络对第i个样本的预测年龄分布；

为了提高性能，对于任意的标记对(r，s)，设计如下的Rank损失：

$Loss=\underset{i=1}{\overset{N}{\Σ}}\underset{pair=(r,s)}{\overset{(C,C)}{\Σ}}\max (0,\mathrm{\δ}(p_{i,r}{p}_{i,s}\left)\right)$

其中，N表示训练样本个数；C表示标记数量；任意的标记对是指预测出来的年龄分布于真实年龄分布中任意的两个值；且

$\mathrm{\δ}(p_{i,r},p_{i,s})=\left\{\begin{array}{c}{p}_{i,r}-p_{i,s}if{d}_{i,s}-d_{i,r}>0\\ p_{i,s}-p_{i,r},if{d}_{i,r}-d_{i,s}>0\\ 0,if{d}_{i,s}-d_{i,r}=0\end{array}\right..$

4.根据权利要求1所述的表观年龄预测算法，其特征在于：所述基于距离的投票集成方法如下：

将训练好的若干表观年龄预测网络及初始表观年龄预测网络去学习图片的年龄分布并取平均后得到年龄分布x，对应的表观年龄标记为t；对于第n张训练图片得到一个90维的年龄分布记为x_n，其对应的表观年龄标记为age_n；那么对于测试图片经过以上处理后得到一个90维的年龄分布x^*，计算其对应的年龄预测值age^*：

$age*=\underset{n=1}{\overset{N}{\Σ}}{\mathrm{age}}_n*Dis\tan ce(x*,x_n)$

其中Distance(x^*，x_n)是一个距离函数，其公式为：

$Dis\tan ce(x*,x_n)=\exp (-\mathrm{\α}||x*-x_n|{|}_2^2)$

其中α是一个通过十倍交叉验证得到的设定参数。

5.一种用于实现权利要求1所述的表观年龄预测算法的系统，其特征在于，包括人脸图像预处理模块、表观年龄预测模型训练模块和表观年龄预测模块；

所述人脸图像预处理模块对训练数据集中的图片进行预处理，包括人脸检测、脸部关键点检测和校准；同时对每张图片用一个年龄分布进行标注；

所述表观年龄预测模型训练模块训练表观年龄预测模型；

所述表观年龄预测模块对待预测的人脸图像进行预处理，使用所述表观年龄预测模型训练模块训练的表观年龄预测模型对预处理后的图像进行表观年龄预测，最终得到待预测的人脸图像所对应的表观年龄。