CN106503623A - 基于卷积神经网络的人脸图像年龄估算方法 - Google Patents

Abstract

本发明公开了图像识别领域中基于卷积神经网络(CNN)的人脸图像年龄估算方法。在传统的年龄识别技术中，一个训练样本只对应一个年龄标签，忽略了相邻年龄之间的关系。本发明基于卷积神经网络，每个样本对应多个年龄标签，使得训练得到的年龄估算模型更加精准。本发明包含以下步骤：首先是对输入图像进行人脸检测、人脸关键点检测、人脸对齐、图像裁剪等；然后是对年龄老化过程进行建模，计算各个表观年龄的概率，储存成年龄分布表；接下来是利用已对齐的人脸图像结合年龄分布表以及目标函数来训练CNN网络；最后，就可以利用训练好的CNN网络，对输入的人脸图像进行年龄估算。

Description

基于卷积神经网络的人脸图像年龄估算方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于卷积神经网络的人脸图像年龄估算方法。

背景技术

在传统的年龄识别技术中，训练过程中样本与年龄标签往往是一对一的关系，即一个样本只对应一个年龄标签。这样的训练过程假设了不同年龄的样本之间是相互独立的，从而忽略了相邻年龄之间的关系。

其实，人的老化过程受到各种因素的影响，如基因、居住环境、工作环境等等，每个人的老化速率也不一样，这样会使得同一岁数的人有些显得比较年轻，有些显得比较年老。另一方面，人老化过程也是一个缓慢的过程，年龄相近的人看起来年龄十分相似。由此可知，一个人的表观年龄具有一定的随机性，但是也和真实年龄具有一定的相关性。这就导致传统年龄识别技术的识别结果存在较大误差。

发明内容

本发明针对现有技术存在的上述问题，提出一种基于卷积神经网络的人脸图像年龄估算方法，提高了人脸图像年龄识别结果的准确率。

本发明基于卷积神经网络的人脸图像年龄估算方法，包括模型训练和年龄判断两部分；

模型训练：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，通过年龄分布函数来对年龄老化过程进行建模，分别积分计算出各真实年龄人脸图像对应的表观年龄的概率值，得到年龄分布表；

步骤A3，利用步骤A1中生成的新样本，结合年龄分布表及设定的目标函数，进行卷积神经网络年龄估算模型的训练，生成训练好的卷积神经网络年龄估算模型；

年龄判断：

步骤B1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤B2，利用步骤A3训练好的卷积神经网络年龄估算模型对包含人脸图像的新图片进行年龄估算，输出估算结果。

优选的，步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；

步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。

优选的，步骤A2具体包括以下内容：

步骤A21,通过年龄分布函数来对人脸图像表观年龄的随机性进行建模；

所述年龄分布函数为高斯分布函数，对于真实年龄为l_c的人脸图像，其表观年龄对应的高斯分布概率密度函数为：

其中x为自变量，σ为高斯分布的标准差；

步骤A22,将自变量x与表观年龄进行对应，表观年龄l_i对应自变量x的取值区间为[l_i-0.5,l_i+0.5]，表观年龄l_max对应自变量x的取值区间为[l_max-0.5,+∞]，表观年龄l_min对应自变量x的取值区间为[-∞,l_min+0.5],其中l_max和l_min分别为设定的最大年龄和最小年龄，l_i、l_max、l_min的取值范围均是包括0在内的自然数。

步骤A23,对步骤A22中各表观年龄l_i对应的自变量x的区间进行积分计算，算出真实年龄l_c在年龄分布函数中各表观年龄l_i的积分P(l_c，l_i)，其中l_i∈{l_min，…，l_max},l_c∈{l_min，…，l_max},得到真实年龄为l_c的人脸图像的表观年龄分布概率，依据各真实年龄及其对应的表观年龄分布构造年龄分布表。

优选的，步骤A23中真实年龄l_c在年龄分布函数中各表观年龄l_i的积分P(l_c，l_i)的计算方法如下：

其中P(l_c，l_i)表示年龄为l_c的人脸图像表现为年龄l_i的概率。

优选的，步骤A3具体包括以下内容：

步骤A31，从步骤A1生成的新样本中随机挑选出m张图像，输入到卷积神经网络；

步骤A32，卷积神经网络前向传递，得到特征层输出x_c；

步骤A33，结合年龄分布表及卷积神经网络输出层的目标函数，计算训练损失；所述卷积神经网络输出层的目标函数为

其中输出层结点个数为k+1个，每个节点对应一个年龄；c为新样本的序号，i和j为输出层节点序号，θ为输出层参数，T为转置符，m为新样本总数，x_c是第c个新样本的特征向量，P(l_c，l_i)的数值可通过在线查询年龄分布表获得。

步骤A34，判断训练损失是否收敛，若收敛则停止训练，得到卷积神经网络年龄估算模型；否则进入步骤A35；

步骤A35，采用随机梯度下降法更新网络参数，然后返回步骤A31；其中卷积神经网络输出层参数梯度为：

其中1{v＝i}是指示函数，表示当v＝i时，1{v＝i}＝1；否则1{v＝i}＝0；v表示的是theta参数矩阵中的第v列向量；网络其余参数的梯度可根据反向传播算法计算。

优选的，步骤B1具体包括以下内容：

步骤B11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤B12；

步骤B12，对所输入的图片进行人脸关键点检测，得到两个关键点；

步骤B13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤B14，将步骤B13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。

优选的，步骤A12或B12中所述的两个关键点为两眼中心点和上嘴唇中心点。

优选的，步骤A14或B14中所述的预设尺寸的分辨率为224*224。

优选的，步骤B2具体包括以下内容：

步骤B21，将处理后的图像输入到卷积神经网络，进行前向传递，算出各个年龄的概率值p(i)；

步骤B22，根据年龄及其对应的预测概率值求数学期望值，得到最终的估算年龄其中a(i)表示第i个输出节点所代表的年龄。

本发明通过年龄分布表，进行卷积神经网络年龄估算模型的训练，并将该模型用于人脸图像的年龄估算，提高了人脸图像年龄识别结果的准确率。

附图说明

图1为本发明的步骤A1流程示意图；

图2为本发明的步骤A2流程示意图；

图3为本发明的步骤A3流程示意图；

图4为本发明的步骤B1流程示意图；

图5为本发明的步骤B2流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的基于卷积神经网络的人脸图像年龄估算方法，主要通过对人脸表观年龄的随机性建模，使得每个真实年龄对应一个表观年龄分布，进而实现每个真实年龄对应基于高斯分布加权的多个表观年龄标签，并采用卷积神经网络的方法，训练得到年龄估算模型。

本发明包括模型训练和年龄判断两部分；

模型训练：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，通过年龄分布函数来对年龄老化过程进行建模，分别积分计算出各真实年龄人脸图像对应的表观年龄的概率值，得到年龄分布表；

步骤A3，利用步骤A1中生成的新样本，结合年龄分布表及设定的目标函数，进行卷积神经网络年龄估算模型的训练，生成训练好的卷积神经网络年龄估算模型。

年龄判断：

步骤B1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤B2，利用步骤A3训练好的卷积神经网络年龄估算模型对包含人脸图像的新图片进行年龄估算，输出估算结果。

如图1所示，本实施例中步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两眼中心和上嘴唇中心两个关键点；

步骤A13，按照上述关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本；所述的预设尺寸分辨率为224*224；

如图2所示，本实施例中步骤A2具体包括以下内容：

步骤A21,通过年龄分布函数对人脸图像表观年龄的随机性进行建模，表观年龄分布服从高斯分布函数，对于真实年龄为l_c的人脸图像，其表观年龄对应的高斯分布概率密度函数如公式(1)所示：

其中x为自变量，σ为高斯分布的标准差；

步骤A22,因上述自变量x是连续的，而年龄估算中把年龄作为有限的离散整数，故在此需要对表观年龄区间进行适当划分；按照就近原则，将自变量x与表观年龄进行对应，表观年龄l_i对应自变量x的取值区间为[l_i-0.5,l_i+0.5]，表观年龄l_max对应自变量x的取值区间为[l_max-0.5,+∞]，表观年龄l_min对应自变量x的取值区间为[-∞,l_min+0.5],其中l_max和l_min分别为设定的最大年龄和最小年龄，l_i、l_max、l_min的取值范围均是包括0在内的自然数；

本实施例中取l_min＝0，l_max＝100；并对l_c和l_i进行初始化赋值，l_c＝l_min，l_i＝l_min；

步骤A23,对步骤A22中各表观年龄l_i对应的自变量x的区间进行积分计算，算出真实年龄l_c在年龄分布函数中各表观年龄l_i的积分P(l_c，l_i)，其中l_i∈{l_min，…，l_max},l_c∈{l_min，…，l_max},得到真实年龄为l_c的人脸图像的表观年龄分布概率，依据各真实年龄及其对应的表观年龄分布构造年龄分布表。

本实施例中步骤A23的具体执行方法包括如下步骤：

步骤A231，计算年龄分布P(l_c，l_i)；

若l_i＝l_min，则

若l_min＜l_i＜l_max，则

若l_i＝l_max，则

其中P(l_c，l_i)表示年龄为l_c的人脸图像表现为年龄l_i的概率，具体如公式(2)所示：

步骤A232，对应于每个真实年龄l_c，l_i的取值都从l_min到l_max，若l_i≥l_max，跳到步骤A233；否则l_i＝l_i+1，返回至步骤A24；

步骤A233，l_c的取值范围也是从l_min到l_max，若l_c≥l_max，则计算完成，将所有的P(l_c，l_i)值存储为年龄分布表；否则l_c＝l_c+1，l_i＝l_min,再返回至步骤A231。

如图3所示，本实施例中步骤A3具体包括以下内容：

步骤A31：从步骤A1生成的新样本中随机挑选出m张图像，输入到卷积神经网络；

步骤A32：卷积神经网络前向传递，得到特征层输出x_c；

步骤A33：结合年龄分布表及卷积神经网络输出层的目标函数计算训练损失；

所述卷积神经网络输出层的目标函数为改进后的softmax函数，此处命名为softsoftmax函数，依据该目标函数构建的输出层命名为soft softmax层；

soft softmax函数具体如公式(3)所示：

其中输出层结点个数为k+1个，每个节点对应一个年龄；c为新样本的序号，i和j为输出层节点序号；θ为soft softmax层参数，T为转置符，m为新样本总数，x_c是第c个新样本的特征向量，P(l_c，l_i)的数值可通过在线查询年龄分布表获得；

步骤A34：判断训练损失是否收敛，若收敛则停止训练，得到卷积神经网络年龄估算模型；否则进入步骤A35；

步骤A35：采用随机梯度下降法(Stochastic Gradient Descent,SGD)更新网络参数，并返回到步骤A31；其中soft softmax层参数梯度如公式(4)所示：

其中1{v＝i}是指示函数，表示当v＝i时，1{v＝i}＝1；否则1{v＝i}＝0；v表示的是theta参数矩阵中的第v列向量。网络其余参数的梯度可根据反向传播算法计算。

如图4所示,本实施例中步骤B1具体包括以下内容：

步骤B11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤B12；

步骤B12，对所输入的图片进行人脸关键点检测，得到两眼中心和上嘴唇中心两个关键点；

步骤B13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤B14，将步骤B13中对齐后的图片按照预设尺寸(如224*224)裁剪生成包含人脸图像的新图片。

在本实施例中，如图5所示步骤B2具体包括以下内容：

步骤B21，将处理后的图像输入到卷积神经网络，进行前向传递，算出各个年龄的概率p(i)；

步骤B22，根据年龄及其对应的预测概率值求数学期望值，得到最终的估算年龄其中，a(i)表示第i个输出节点所代表的年龄。

本实施例中，步骤A12和步骤B12中对所输入的图片进行人脸关键点检测，可以为人脸任意两个关键点，均能满足人脸图像方向对齐和比例缩放的要求。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的人脸图像年龄估算方法，其特征在于，包括模型训练和年龄判断两部分；

模型训练：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，通过年龄分布函数来对年龄老化过程进行建模，分别积分计算出各真实年龄人脸图像对应的表观年龄的概率值，得到年龄分布表；

步骤A3，利用步骤A1中生成的新样本，结合年龄分布表及设定的目标函数，进行卷积神经网络年龄估算模型的训练，生成训练好的卷积神经网络年龄估算模型；

年龄判断：

步骤B1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤B2，利用步骤A3训练好的卷积神经网络年龄估算模型对包含人脸图像的新图片进行年龄估算，输出估算结果。

2.根据权利要求1所述的方法，其特征在于，步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；

步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。

3.根据权利要求1所述的方法，其特征在于，步骤A2具体包括以下内容：

步骤A21,通过年龄分布函数来对人脸图像表观年龄的随机性进行建模；

所述年龄分布函数为高斯分布函数，对于真实年龄为l_c的人脸图像，其表观年龄对应的高斯分布概率密度函数为：

$\begin{array}{cc}p\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{{(x-l_c)}^2}{2{\mathrm{\σ}}^2}}& x\∈(-\mathrm{\∞},+\mathrm{\∞})\end{array}$

其中x为自变量，σ为高斯分布的标准差；

步骤A22,将自变量x与表观年龄进行对应，表观年龄l_i对应自变量x的取值区间为[l_i-0.5,l_i+0.5]，表观年龄l_max对应自变量x的取值区间为[l_max-0.5,+∞]，表观年龄l_min对应自变量x的取值区间为[-∞,l_min+0.5],其中l_max和l_min分别为设定的最大年龄和最小年龄，l_i、l_max、l_min的取值范围均是包括0在内的自然数；

步骤A23,对步骤A22中各表观年龄l_i对应的自变量x的区间进行积分计算，算出真实年龄l_c在年龄分布函数中各表观年龄l_i的积分P(l_c，l_i)，其中l_i∈{l_min，…，l_max},l_c∈{l_min，…，l_max},得到真实年龄为l_c的人脸图像的表观年龄分布概率，依据各真实年龄及其对应的表观年龄分布构造年龄分布表。

4.根据权利要求3所述的方法，其特征在于，步骤A23中真实年龄为l_c的人脸图像在年龄分布函数中各表观年龄l_i的积分P(l_c，l_i)的计算方法如下：

$P(l_c,l_i)=\left\{\begin{array}{cc}{\&Integral;}_{-\mathrm{\&infin;}}^{l_i+0.5}\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{{(x-l_c)}^2}{2{\mathrm{\&sigma;}}^2}}dx& l_i=l_{\min }\\ {\&Integral;}_{l_i-0.5}^{l_i+0.5}\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{{(x-l_c)}^2}{2{\mathrm{\&sigma;}}^2}}dx& l_{\min }<l_i<l_{\max }\\ {\&Integral;}_{l_i-0.5}^{+\mathrm{\&infin;}}\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{{(x-l_c)}^2}{2{\mathrm{\&sigma;}}^2}}dx& l_i=l_{\max }\end{array}\right.$

其中P(l_c，l_i)表示年龄为l_c的人脸图像表现为年龄l_i的概率。

5.根据权利要求1所述的方法，其特征在于，步骤A3具体包括以下内容：

步骤A31，从步骤A1生成的新样本中随机挑选出m张图像，输入到卷积神经网络；

步骤A32，卷积神经网络前向传递，得到特征层输出x_c；

步骤A33，结合年龄分布表及卷积神经网络输出层的目标函数，计算训练损失；所述卷积神经网络输出层的目标函数为

$J\left(\mathrm{\&theta;}\right)=-\frac{1}{m}\&lsqb;\underset{c=0}{\overset{m-1}{\&Sigma;}}{\&Sigma;}_{i=0}^{k}P(l_c,l_i)log\left(\frac{e^{{\mathrm{\&theta;}}_i^T{x}_c}}{{\&Sigma;}_{j=0}^k{e}^{{\mathrm{\&theta;}}_j^T{x}_c}}\right)\&rsqb;$

其中输出层结点个数为k+1个，每个节点对应一个年龄；c为新样本的序号，i和j为输出层节点序号，θ为输出层参数，T为转置符，m为新样本总数，x_c是第c个新样本的特征向量，P(l_c，l_i)的数值可通过在线查询年龄分布表获得；

步骤A34，判断训练损失是否收敛，若收敛则停止训练，得到卷积神经网络年龄估算模型；否则进入步骤A35；

步骤A35，采用随机梯度下降法更新网络参数，然后返回步骤A31；其中卷积神经网络输出层的参数梯度为：

${\&dtri;}_{{\mathrm{\&theta;}}_v}J\left(\mathrm{\&theta;}\right)=-\frac{1}{m}\&lsqb;{\&Sigma;}_{c=0}^{m-1}{\&Sigma;}_{i=0}^{k}P(l_c,l_i)x_c\left(1\right\{v=i\}-\frac{e^{{\mathrm{\&theta;}}_v^T{x}_c}}{{\&Sigma;}_{j=0}^k{e}^{{\mathrm{\&theta;}}_j^T{x}_c}})\&rsqb;$

其中1{v＝i}是指示函数，表示当v＝i时，1{v＝i}＝1；否则1{v＝i}＝0；v表示的是theta参数矩阵中的第v列向量；网络其余参数的梯度可根据反向传播算法计算。

6.根据权利要求1所述的方法，其特征在于，步骤B1具体包括以下内容：

步骤B11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤B12；

步骤B12，对所输入的图片进行人脸关键点检测，得到两个关键点；

步骤B13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤B14，将步骤B13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。

7.根据权利要求2或6所述的方法，其特征在于，所述的两个关键点为两眼中心点和上嘴唇中心点。

8.根据权利要求2或6所述的方法，其特征在于，所述的预设尺寸的分辨率为224*224。

9.根据权利要求1所述的方法，其特征在于，步骤B2具体包括以下内容：

步骤B21，将步骤B14得到的新图片输入到卷积神经网络，进行前向传递，算出各个表观年龄的概率值p(i)；

步骤B22，根据各表观年龄及其对应的概率值求数学期望值，得到最终的估算年龄其中a(i)表示第i个输出节点所代表的年龄。