CN108446676A - 基于有序编码及多层随机投影的人脸图像年龄判别方法 - Google Patents

Abstract

本发明公开了一种基于有序编码及多层随机投影的人脸图像年龄判别方法，属于人脸识别技术领域。本发明的方法采用双通道网络输入两张不同的照片分别经过多层ELM进行随机特征映射，并且通过高斯标签分布的分类模型输出编码，采用梯度下降法直接调节模型参数。本发明借用多层ELM以解决CNN复杂的参数修改问题，并且减少算法的过拟合现象。并且采用LDL编码进行输出，充分考虑到不同年龄的可能性，使算法更加合理和准确。此外，相比传统的单通道网络，双通道网络将不同年龄段的信息有序结合起来，克服了算法训练的随机性问题，提高了算法的泛化性能。

Description

基于有序编码及多层随机投影的人脸图像年龄判别方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于有序编码及多层随机投影的人脸图像年龄的识别方法。

背景技术

人脸是一个丰富的信息源，从人脸中可以很容易地获取诸如身份、性别、态度等大量相关信息。所以与人脸相关的信息处理技术已经成为计算机视觉、人机交互和模式识别等领域中的重要研究课题。人脸显示出的年龄信息是人类身份识别的重要依据，因此，人脸年龄估计引来了越来越多的研究和关注。基于人脸图像的年龄判别是指应用计算机技术对人脸图像随年龄变化的规律进行建模，从而使机器能够根据面部图像推测出人的大概年龄或所属的年龄范围。然而，人脸的年龄估计通常比较难以准确区分。

目前，人脸图像的年龄判别方法主要是基于卷积神经网络(ConvolutionalNeural Network，CNN)模型的学习框架，而CNN存在复杂的参数修改问题。CNN在初始时需要设置权值，在梯度回传时需要一层一层地调权，经过多次迭代，才能达到较好的效果。然而过多的参数个数会显著地提升运算时间，降低算法总体效率；同时过多的层数也伴随着严重的梯度消失问题。如果使用的数据很少，极有可能出现过拟合现象。

对于年龄估计问题，目前通常采取0/1编码来估计年龄。0/1编码在神经网络中被广泛用于编码单个类，编码只用单个1，其余的全为0，例如[0，...，1,0,0，0，...0]。如果将每个年龄作为一个等级，年龄也可以用这种方式编码。比如我们将年龄分为100类，分别对应1岁-100岁，则35岁这一类的编码第35位为1，其余全为0。然而，这种编码方式是在相等的情况下对相互之间的距离进行编码，而不是相互之间的相互关系。通常较难分辨出相邻年龄与非相邻年龄之间的差异。此外，在已有的年龄判别的框架中，通常都是单一通道的判别模型，单一通道仅仅使用了传统的映射方法和平方误差作为学习框架，这种学习框架缺陷较多，例如仅仅使用平方误差，学习易陷入局部最小化；对映射方法要求较高和对小型年龄训练集容易产生过拟合问题。

发明内容

发明目的：针对现有技术的不足，本发明提出一种基于有序编码及多层随机投影的人脸图像年龄判别方法，首次使用多层ELM模型构建人脸图像年龄判别网络，并采用LDL输出编码，具有训练速度快、判别准确的优点。

技术方案：本发明所述的一种基于有序编码及多层随机投影的人脸图像年龄判别方法，利用基于多层ELM模型的双通道网络对人脸图像年龄进行判别，所述判别方法包括训练阶段和估计阶段，在训练阶段，针对每个通道网络，使用多层ELM模型对输入的人脸图像进行特征映射，并对输出采用LDL进行输出编码，然后用平方损失函数来衡量预测输出编码与真实年龄之间的差异，通过梯度下降法来最小化该平方损失函数的值；最后通过对比损失函数融合两个通道网络，共同调节两个网络的参数，以达到较好的学习效果。在估计阶段：任选一个通道输入待评估的人脸图像，对输入的图像经过ELM的非线性特征映射和输出预测的LDL编码后，将LDL编码向量最大的分量所对应的年龄作为该待评估人脸图像的年龄估计结果。

上述双通道网络中各参数设计如下：每个通道网络包括一个K层ELM分类器，该K层ELM分类器包括输入层、K层隐藏层、输出层，其中输入层有N个神经元，隐藏层有Q个神经元，输出层仅有1个神经元p，则多个隐藏层的第q个神经元有N个权值，表示为W_q，1,W_q，2,···W_q,N；输出层神经元p有Q个权值，表示为W_p，1,W_p，2,···W_p,Q；输入样本记为x，激活函数采用Sigmoid函数，形式为f(x)＝1/(1+e^-x)。

ELM计算过程如下：

(11)随机初始化ELM神经网络：对ELM分类器各层的权值置一个较小的非零随机数作为初值，但设置W_q,N+1＝-θ_q，W_p,Q+1＝-θ_p，其中θ_q为隐藏层神经元的阈值，θ_p为输出层神经元的阈值；

(12)输入一个样本x＝(X₁,X₂,···,X_N,1)，以及对应的期望输出y；

(13)计算各个层的输出：对于第一层隐藏层第q个神经元的输出有：其中X_i+1＝1,W_q,N+1＝-θ_q；对于第M层隐藏层第q个神经元的输出有：其中对于输出层神经元p的输出Y，有：其中

对ELM的输出进行LDL编码，采用高斯分布函数作为处理得到描述不同年龄的分布标准，函数如下：

其中，Y为通过多层ELM的输出，σ代表标签标准偏差，j为不同年龄的分布。

上述平方损失函数的形式为：其中y为图像实际年龄，E(j)为根据LDL编码的各个年龄的描述度得到的数学期望，计算公式为：

j_k为LDL编码后的年龄实例标签，P(j_k)为各年龄标签的描述度。

上述对比损失函数的形式为：其中，CoS_fg表示比较两张人脸图像的真实年龄关系，给定一对人脸图像(x_f,x_g)与他们的真实年龄标签(r_f,r_g)，则：

p_fg为年龄映射到的后验概率，其中y_f和y_g表示图像x_f和x_g通过网络学习得到的年龄。

有益效果：与现有技术相比，本发明具有以下有益效果：

1、本发明提出了一个全新的年龄判别网络模型，首次使用多层ELM模型构建人脸图像年龄判别的网络，克服了CNN复杂的参数修改问题，不需要多次迭代和多次参数寻优，使算法更具有了普遍性，降低了训练的随机性，并降低了过拟合现象，减少了训练时间，提高模型训练速度。

2、本发明使用LDL编码，通过高斯标签分配的分类模型输出编码，考虑图片的不同年龄的可能性，使算法更加合理和准确。

3、本发明使用双通道，融合了两个ELM神经网络，增加了ELM网络的层数，同时不需要两个通道中的人脸图片之间有关系，可以使用两张无关的人脸图片作为双通道训练网络的输入，不同时期不同人的照片也可以输入。双通道模型克服了算法训练的随机性问题，提高了算法泛化性能。

附图说明

图1是基于有序编码及多层随机投影的人脸年龄判别算法模型图；

图2是多层ELM模型图；

图3是ELM算法模型图；

图4是采用高斯分布的年龄编码样例图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，本发明提出一种全新的双通道网络模型框架，每个通道网络均采用较简单有效的多层ELM进行特征的映射，并通过LDL有序编码，充分利用到不同年龄的概率，接着通过平方损失衡量学得的年龄估计器对真实年龄的拟合回归能力，最后通过对比损失函数共同调节两个网络，以达到较好的学习效果。通常地，利用一种学习模型来完成分类/评估任务包括两个阶段：训练阶段和实际分类/评估阶段，训练阶段利用样本输入对学习模型进行迭代训练，在此过程中根据损失函数调整参数；然后在分类/评估阶段利用训练好的模型对待分类/评估的样本进行实际分类/评估。对本发明而言，训练阶段：对输入的归一化后的每一张人脸图像，经过多层ELM的特征映射，并对输出采用LDL进行输出编码，然后用平方损失来衡量预测输出编码与真实标签之间的差异大小，通过学习使得模型的拟合回归尽可能的好；最后融合两个网络，通过对比损失函数，共同调节两个网络，以达到较好的学习效果。估计阶段：任选一个通道输入图片，对输入的待估计人脸图像经过ELM的非线性特征映射和输出预测的LDL编码后，把LDL编码向量最大的分量所对应的年龄作为该待评估人脸的年龄估计。以下详述具体实现过程。

S1、利用多层ELM对人脸图像进行训练，得出初步年龄判断结果。

超限学习机(Extreme Learning Machine，ELM)是当下一种新兴的机器学习算法，随着人工智能的兴起，已然成为当下的热门研究领域之一。ELM是一种具有快速训练训练集的单层前馈网络，在网络中只有三个层：输入层、隐藏层和输出层。相比传统的神经网络模型，ELM中隐藏的神经元输入权值和结点个数随机赋值且不需要迭代调整，最后通过损失函数调整输出权值达到训练网络的目的，具有高准确度的泛化能力，尽可能少的人工干预，快到秒级的学习速度等优点。根据ELM学习理论：给定任何连续目标函数或可分类目标，只要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层节点就能任意逼近目标连续函数或对分类目标加以分类。据此，本发明提出使用多层ELM训练人脸图像，采用多层ELM模型对输入的归一化后的图像进行年龄分类。ELM中随着单隐层随机节点数量增多，隐层随机节点涵盖了几乎所有非线性阶段连续函数，但使用多层ELM而不是使用单层ELM的重要原因就是多隐层的网络结构对数据有更好的表示能力，通过逐层的特征提取将数据表示得更加抽象，从而提高分类的准确率。图2是多层ELM模型示意图，多层ELM模型的“多层”指具有多个隐藏层，每个隐藏层都可以作为下个隐藏层的输入层，且学习不需要调整隐藏层权值和节点个数，隐藏层权值为初始训练时随机赋值，节点个数随机设置。输入层为网络接受大量非线形输入信息，输入的信息称为输入向量，是原始输入数据；每个隐藏层就是一个特征代表层，隐藏层进行特征映射，主要功能为数据处理；输出层为输出向量，负责输出网络映射学习结果。

ELM常通过随机生成隐层节点，作为不需要调整隐层神经元的常用方法。除此外还有核方法、奇异值分解(SVD)和局部感受域等方法可生成隐层节点。

多层ELM与ELM的区别只是有多个隐藏层，并且将每个隐藏层作为下个隐藏层的输入层，故接下来对ELM计算方法作简单介绍，ELM算法模型如图3所示。

ELM的特征映射可以表示为：

h(x)＝[G(a₁,b₁,X),...,G(a_l,b_l,X),...,G(a_L,b_L,X)] (1)

其中h(x)是所有节点通过一层隐层映射后的输出，为向量形式；G为激活函数，L为隐层的随机节点个数，a_l为为第l个隐层节点的输入权值，为向量形式，b_l为第l个隐层节点的偏置，X为输入向量。

将G激活函数表示为：G(a_l,b_l,X)＝G(A)＝G(a_lX+b_l)，则ELM输出为：

其中β_l为第l个隐层节点输出的权值。

本发明中计算多层ELM过程为：建立一个K层ELM分类器，对给定样本集，通过训练建立映射关系，采用Sigmoid函数f(x)＝1/(1+e^-x)为激活函数。该K层ELM分类器包括输入层、K层隐藏层、输出层，其中输入层有N个神经元，隐藏层有Q个神经元，输出层仅有1个神经元p。对于多隐藏层的第q个神经元，则有N个权值W_q，1,W_q，2,···W_q,N，另外取多—个W_q,N+1用于表示隐藏层神经元的阈值θ_q；对于输出层神经元p，则有Q个权值W_p，1,W_p，2,···W_p,Q，另外取多—个W_p,Q+1用于表示输出层神经元的阈值θ_p。并且在输入样本时，取x＝(X₁,X₂,···,X_N,1)。

(11)随机初始化一个ELM神经网络；对各层的权值置一个较小的非零随机数作为初值，但其中W_q,N+1＝-θ_q，W_p,Q+1＝-θ_p；

(12)输入一个样本x＝(X₁,X₂,···,X_N,1)，以及对应的期望输出y；

(13)计算各个层的输出：对于第一层隐藏层第q个神经元的输出有：其中X_i+1＝1,W_q,N+1＝-θ_q；对于第M层隐藏层第q个神经元的输出有：其中D_i ^M-1＝1,W_q,N+1＝-θ_q；对于输出层神经元p的输出Y，有：其中

S2、将多层ELM的输出通过LDL有序编码，将有序信息添加到神经网络的训练过程中，充分考虑到图片不同年龄的可能性。

对于多层ELM的输出，本发明采用标签分布学习(Label Distribution Learning，LDL)对年龄进行编码。其原理为：根据年龄相仿的人脸图像较为相似的特点，将单一的标签转化为一个标签分布向量，并将此向量作为训练集中的类别信息。LDL有序编码一般的思想是通过每个标签的描述度来表示一个实例的标签。一个样本对应一个标签分布，例如在一个样本为a的标签分布中，给每一类别b定义一个实数该实数指的是类别b对于样本a的描述度。标签分布中，各个类别描述度之和为1，即

本发明采用高斯分布函数作为处理得到描述不同年龄的分布标准，函数如下：

其中，Y为通过多层ELM的输出，σ代表标签标准偏差，j为不同年龄的分布，即为如图4所示的函数图像的横坐标。

在训练阶段，取一些年龄作为一个实例的标签，如j₁,j₂,…,j_n。在训练过程中通过函数公式，计算得到各个年龄所对应的值，作为各个年龄的描述度。注意，在本发明中，年龄j_n被认为是一个离散的类别标签，而高斯分布都是由连续的密度函数定义的。直接让可能会导致因此，需要一个标准化过程使来确保至于取哪些年龄或者如何划分年龄段作为一个实例的标签，视样本实际情况而定。

在估计阶段，把LDL编码向量最大的分量所对应的年龄作为该待估计人脸图像的年龄估计结果。比如图4，此时该人脸年龄估计为21岁。

采用LDL对多层ELM网络的输出进行输出编码模型，基于标签分配的年龄编码模拟相邻的年龄模式，能够实现更强大的实时年龄估计。标签分布覆盖了一定数量的邻近年龄，并且每个年龄拥有描述相应人脸图像程度的概率，因此，每幅图像不仅有助于学习其年龄，而且有助于学习邻近年龄。以这种方式，每个年龄段的训练图像增多，而实际上并没有增加训练图像的总数量。

S3、对单通道的评估结果进行损失函数计算，以调整多层ELM的输出权值。

对采用LDL编码的某一测试样本x，本发明采用平方损失函数(Square loss)来衡量输出编码结果与标签真实值之间的差异大小，以进一步调整参数。平方损失函数的形式为：

其中y为图像实际年龄，E(j)为根据LDL编码的各个年龄的描述度得到的数学期望，计算公式为：j_k为LDL编码后的年龄实例标签，P(j_k)为各年龄标签的分布度。

平方损失函数公式4表示的是预估年龄和实际年龄标签之间的误差值，本发明通过梯度下降法来最小化这个损失函数的值，得以进一步调整多层ELM的输出权值，以达到训练网络的效果。训练多层ELM过程为：

(31)计算输出层学习误差d：d＝E(j)(1-E(j))(E(j)-y)；

(32)修正输出层权值W_p,q和阈值θ_p，其中W_p,q(t+1)表示第t+1次修改的权值W_p,q；η为学习速率，即步长，η∈[0.1,0.4]；α为权值修正常数，α∈[0.7,0.9]；ΔW_p,q(t)＝W_p,q(t)-W_p,q(t-1)。

(33)当求出了输出层权值之后，可按给定指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回步骤(13)继续往后执行。

这个学习过程，对于任一给定的样本(X₁,X₂,···,X_N,1)和期望输出y_j＝(Y₁,Y₂,···,Y_M)都要执行，直到满足所有输入输出要求为止；如果未满足所有输入输出要求，则进行下一次迭代。

S4、当双通道中每个通道网络分别通过平方损失函数训练好后，然后再通过对比损失函数融合这两个网络，进一步调整多层ELM的输出权值，降低训练的随机性。这样能够提高算法的泛化性能，使算法更具有普遍性。

对比损失函数的形式为：

其中CoS_fg表示的是比较两张人脸图像的真实年龄关系，其定义如下：给定一对人脸图像(x_f,x_g)与他们的真实年龄标签(r_f,r_g)，则：

p_fg为计算后得到的后验概率p_fg＝P(r_f＞r_g)，定义使用逻辑函数，E(f)和E(g)表示图像x_f和x_g通过网络学习得到的年龄，函数形式为：

同样地，通过梯度下降法来最小化对比损失函数的值，以达到显示算法结果的合理性效果。此时网络调节过程为：

(41)修正输出层权值W_p,q和阈值θ_p，

其中W_p,q(t+1)表示第t+1次修改的权值W_p,q；η为学习速率，即步长，η∈[0.1,0.4]；

(42)当求出了输出层权值之后，可按给定指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回步骤(13)重新计算各层输出，再经过LDL编码后，直接执行步骤(41)，即跳过单通道平方损失函数的权值调整过程。

这个学习过程，对于任一给定的两个样本进行执行，直到满足对比损失函数为止；如果未满足要求，则进行下一次迭代。

Claims (8)

1.一种基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述方法利用基于多层ELM模型的双通道网络对人脸图像年龄进行判别，包括训练阶段和估计阶段，

在训练阶段，针对每个通道网络，使用多层ELM神经网络模型对输入的人脸图像进行特征映射，并对输出采用LDL进行输出编码，然后用平方损失函数来衡量预测输出编码与真实年龄之间的差异，通过梯度下降法来最小化该平方损失函数的值；最后通过对比损失函数融合两个通道网络，共同调节两个网络的参数；

在估计阶段：任选一个通道网络输入待评估的人脸图像，对输入的图像经过ELM的特征映射和输出LDL编码后，将LDL编码向量最大的分量所对应的年龄作为该待评估人脸图像的年龄估计结果。

2.根据权利要求1所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述双通道网络结构如下：每个通道网络包括一个K层ELM分类器，该K层ELM分类器包括输入层、K层隐藏层、输出层，其中输入层有N个神经元，隐藏层有Q个神经元，输出层仅有1个神经元p，则多个隐藏层的第q个神经元有N个权值，表示为W_q，1,W_q，2,…W_q,N；输出层神经元p有Q个权值，表示为W_p，1,W_p，2,…W_p,Q；输入样本记为x，激活函数采用Sigmoid函数，形式为f(x)＝1/(1+e^-x)。

3.根据权利要求2所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述ELM分类器的计算过程包括以下步骤：

(11)随机初始化ELM神经网络：对ELM分类器各层的权值置一个较小的非零随机数作为初值，但设置W_q,N+1＝-θ_q，W_p,Q+1＝-θ_p，其中θ_q为隐藏层神经元的阈值，θ_p为输出层神经元的阈值；

(12)输入一个样本x＝(X₁,X₂,…,X_N,1)，以及对应的期望输出y；

(13)计算各个层的输出：对于第一层隐藏层第q个神经元的输出有：其中X_i+1＝1,W_q,N+1＝-θ_q；对于第M层隐藏层第q个神经元的输出有：其中W_q,N+1＝-θ_q；对于输出层神经元p的输出Y，有：其中W_j,Q+1＝-θ_p。

4.根据权利要求3所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述LDL编码采用高斯分布函数作为处理得到描述不同年龄的分布标准，函数如下：

其中，Y为通过多层ELM分类器的输出，σ代表标签标准偏差，j为不同年龄的分布。

5.根据权利要求4所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述平方损失函数的形式为：其中y为图像实际年龄，E(j)为根据LDL编码的各个年龄的描述度得到的数学期望，计算公式为：j_k为LDL编码后的年龄实例标签，P(j_k)为各年龄标签的描述度。

6.根据权利要求5所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述梯度下降法最小化该平方损失函数的值包括以下步骤：

(31)计算输出层学习误差d：d＝E(j)(1-E(j))(E(j)-y)；

(32)修正输出层权值W_p,q和阈值θ_p，其中W_p,q(t+1)表示第t+1次修改的权值W_p,q；η为学习速率，即步长，η∈[0.1,0.4]；α为权值修正常数，α∈[0.7,0.9]；ΔW_p,q(t)＝W_p,q(t)-W_p,q(t-1)。

(33)当求出了输出层权值之后，按给定指标判别是否满足要求，如果满足要求，则算法结束；如果未满足要求，则返回至重新计算各个层的输出。

7.根据权利要求1所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述对比损失函数的形式为：

其中，CoS_fg表示比较两张人脸图像的真实年龄关系，给定一对人脸图像(x_f,x_g)与他们的真实年龄标签(r_f,r_g)，则：

p_fg为年龄映射到的后验概率，其中y_f和y_g表示图像x_f和x_g通过网络学习得到的年龄。

8.根据权利要求7所述的基于有序编码及多层随机投影的人脸图像年龄判别方法，其特征在于，所述通过对比损失函数融合两个通道网络包括以下步骤：

(41)修正输出层权值W_p,q和阈值θ_p，其中W_p,q(t+1)表示第t+1次修改的权值W_p,q；η为学习速率，即步长，η∈[0.1,0.4]；

(42)当求出了输出层权值之后，按给定指标判别是否满足要求，如果满足要求，则算法结束；如果未满足要求，则返回重新计算各层输出，再经过LDL编码后，继续执行步骤(41)。