CN110458084A - 一种基于倒置残差网络的人脸年龄估计方法 - Google Patents

Abstract

本发明公开了一种基于倒置残差网络的人脸年龄估计方法，包括以下步骤：步骤1：对人脸数据集进行人脸检测、人脸对齐等预处理；步骤2：将数据集划分为训练集和测试集；步骤3：对训练集进行数据增强操作，作为训练样本的输入；步骤4：建立一个基于倒置残差的网络模型；步骤5：将数据增强后的训练样本作为模型的输入，利用反向传播最小化损失函数，训练得到最终的基于倒置残差网络的目标训练模型；步骤6：用测试集测试步骤5得到的目标训练模型，得出被测人脸图像的年龄估计。本发明摒弃了传统深度学习网络模型，采用了基于倒置残差的网络模型进行人脸年龄估计，在不降低年龄估计精度的前提下，大大减少了网络模型的参数，显著提高了其性能。

Description

一种基于倒置残差网络的人脸年龄估计方法

技术领域

本发明涉及图像识别和深度学习技术领域，尤其涉及一种基于倒置残差网络的人脸年龄估计方法。

背景技术

人脸图像包含很多信息，如身份、表情、姿态、性别和年龄，其中年龄是人的重要生物特征，可以应用于多种场景：如基于年龄的人机交互系统，根据用户的不同年龄，提供不同的人机交互界面，更好地为用户服务；基于年龄的访问控制，如禁止未成年人访问色情网站、购买烟酒等；电子商务中的个性营销，针对不同年龄段的用户采用不同的营销手段。

目前的人脸年龄分类方法主要有两类：一是基于传统的机器学习的方法；二是基于深度学习的方法。

近年来，随着深度学习的不断发展，很多研究者将其运用到计算机视觉领域并取得了很好的结果。随着网络结构的不断改进和优化，使其运用领域不断扩大，其中包括人脸年龄分类场景。传统机器学习方法主要是通过人工设计算子提取人脸特征，然后通过分类器分类，从而实现人脸年龄估计。这种方法主要的问题在于人工设计算子具有局限性、鲁棒性较差，导致年龄估计精度较低。基于卷积神经网络的人脸年龄估计问题主要是随着网络的加深出现了梯度爆炸和梯度消失，传统的解决方法是初始化和正则化，但该方法又出现了网络性能退化问题。基于残差网络的人脸年龄估计方法能够很好地解决退化问题，使得网络性能提升，可仍然存在网络模型复杂导致网络参数过多，模型的实时性较差，过度依赖设备，在移动端效果较差的问题。而本发明能够解决上面问题。

发明内容

发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种基于倒置残差网络的人脸年龄估计方法，以有效解决模型训练过程中的梯度消失问题，同时丰富特征的表征能力，从而提升模型预估精度。

技术方案：一种基于倒置残差网络的人脸年龄估计方法，包括以下步骤：

步骤1：人脸图像数据集预处理；主要包括：采用MTCNN网络进行人脸检测与人脸对齐，并将人脸图像缩放到相同尺寸。

步骤2：将步骤1得到的数据集按比例划分为候选训练集与测试集；

步骤3：对候选训练集图像进行数据增强操作；主要包括：将每一幅图像随机裁剪出多张相同尺寸的图像，并将裁剪出的图像进行随机翻转、改变亮度值和对比度，数据增强后的图像构成训练集。

步骤4：建立一个基于倒置残差的人脸年龄估计网络模型，具体包括如下内容：

步骤4-1：建立一个卷积层，卷积层后连接激活函数，优选的采用修正线性单元ReLU：

f(z)＝max(0，z)

其中，z是ReLU的输入；

步骤4-2：在步骤4-1后连接一个池化层；

步骤4-3：在步骤4-2后级联多个倒置残差模块，模块的输入通道数为M，输出通道数为N，级联模块的数量在4-12之间，通过训练级联不同数目倒置残差模块的网络模型，选择出最优的模块级联数量；

建立所述倒置残差模块的步骤如下：

步骤4-3-1：将通道数为M的输入特征图先进行1x1卷积，其中引入一个t>1的扩展因子，使得特征图的通道数扩展为tM，1x1卷积后连接一个如步骤4-1所述的激活函数ReLU；

步骤4-3-2：将4-3-1输出的特征图进行卷积核大小为3x 3的深度可分离卷积，深度可分离卷积由一个核大小为3x 3、通道为1的深度卷积和一个核大小为1x 1，通道数为tM的点卷积构成，输出一个通道数为N的特征图。之后连接一个如步骤4-1所述的激活函数ReLU；

步骤4-3-3：将步骤4-3-1中输入的特征图与步骤4-3-2输出的特征图相加，如下公式所示：

y＝F(x，{w_i})+x

其中，x表示反向残差块的输入特征向量，y表示反向残差块的输出特征向量，F(x，{w_i})表示学习到的残差特征，w_i表示可学习参数，i表示经过的网络层数。

步骤4-4：在步骤4-3后连接1个全连接层；

步骤4-5：在步骤4-4后连接输出层；所述输出层的维度为K，输出层采用softmax函数生成年龄1至K对应的预测概率，sofxmax函数定义为：

其中，j表示预测年龄，1≤j≤K，K表示可预测的年龄最大值，p_j表示预测年龄为j的概率，y表示步骤4-4的输出向量，w_k和w_j表示分类器的可学习参数，T表示转置；

步骤5：将经过步骤3处理后的训练集输入到步骤4建立的网络进行训练，利用反向求导更新模型参数，从而最小化损失函数值；具体包括如下内容：

步骤5-1：随机初始化模型参数，设定训练轮次；

步骤5-2：将训练样本输入到人脸年龄估计网络模型中学习，更新模型参数，计算损失函数值，当损失值趋于稳定，则满足收敛条件，执行步骤5-3，否则继续执行步骤5-2；

步骤5-3：如果满足收敛条件但未达到所设定的训练轮次，则提前终止网络的训练，执行步骤5-4；否则直接执行步骤5-4；

步骤5-4：得到训练模型。

步骤6：采用步骤2的测试集评估步骤5得到的训练模型，得出样本的年龄估计。

进一步的，步骤5-2中，所述损失函数表示如下：

Loss＝-∑_jp′_jlog(p_j)

其中，Loss为损失值，p′_j为训练集中样本图像标签年龄为j的概率，其值为0或1。

进一步的，当两次损失值之差小于0.01时，满足收敛条件。

和现有技术相比，本发明摒弃了传统深度学习网络模型，采用了基于倒置残差的网络模型进行人脸年龄估计，能够显著减少网络的参数，增加网络的非线性，提升特征提取能力。本发明通过残差模块将新特征和原特征融合，使得新特征中包含原特征信息，可以有效解决模型训练过程中的梯度消失问题，同时丰富特征的表征能力，从而提升模型预估精度。本发明在人脸年龄估计任务中，显著提高精度和速度，能够较好的运用到实际场景中。

附图说明

图1为本发明的一种基于倒置残差网络的人脸年龄估计方法的流程图；

图2为本发明实施例的图像裁剪示例图；

图3为本发明实施例的倒置残差模块框图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明的一种基于倒置残差网络的人脸年龄估计方法，包括如下步骤：

首先对输入的人脸图像进行预处理，将数据集划分为训练集和测试集后，对训练集做数据增强操作，以提高模型的泛化能力，然后构建基于倒置残差的网络模型，缩减模型大小且提高模型精度，再进行网络模型的训练，保存模型用于年龄估计，最后用测试集评估模型性能，得出样本人脸年龄估计。

步骤1：针对输入的人脸图像，进行人脸图像数据集预处理，主要操作包括：采用MTCNN(多任务级联卷积神经网络)网络进行人脸检测与人脸对齐，并将人脸图像缩放到相同尺寸。本实施例中，将人脸图像统一缩放到256x256。

步骤2：将步骤1得到的数据集按比例划分为候选训练集与测试集。

本实施例中取10000张带有正确年龄标签的人脸图像作为数据集。为保证训练集充分性和所述测试集的合理性，本实施例将训练集与测试集的图像数量按4：1的比例进行划分。

步骤3：对步骤2中得到的候选训练集图像进行数据增强操作，以提高模型的泛化能力。主要操作包括：将每一幅图像随机裁剪出多张相同尺寸的图像，并将裁剪出的图像进行随机翻转、改变亮度值和对比度，数据增强后的图像构成训练集。

如图2所示，本实施列中将每一幅图像随机裁剪出10幅尺寸为227x227大小的图像。

步骤4：构建基于倒置残差的人脸年龄估计网络模型，缩减模型大小且提高模型精度，具体包括如下内容：

步骤4-1：建立一个卷积层，卷积层后连接激活函数。

本实施例中卷积核大小为7x7、通道数为96，步长4，填充数为0，选择的激活函数为线性修正单元(ReLU)，其数学表达式如下所示：

f(z)＝max(0，z)

其中，z是ReLU的输入。

步骤4-2：在步骤4-1后连接一个池化层。

本实施例中采用最大池化，核大小为3x3，步长为2。

步骤4-3：在步骤4-2后级联多个倒置残差模块，模块的输入通道数为M，其输出通道数为N，级联模块的数量在4-12之间，通过训练级联不同数目倒置残差模块的网络模型，选择出最优的级联模块数量。

本实施例中级联4个倒置残差模块，输入通道数M分别为96，256，384，384，其对应的输出通道N分别为256、384、384、512。

如图3所示，建立倒置残差模块操作步骤如下：

步骤4-3-1：将通道数为M的输入特征图先进行1x1卷积，其中引入一个t>1的扩展因子，使得特征图的通道数扩展为tM，1x1卷积后连接一个如步骤4-1所述的激活函数ReLU。

本实施例中选定扩展因子t＝6，目的是增加特征图所包含的模式种类，提高特征图的特征丰富度。

步骤4-3-2：将4-3-1输出的特征图进行卷积核大小为3x 3的深度可分离卷积，深度可分离卷积由一个核大小为3 x 3、通道为1的深度卷积和一个核大小为1 x 1，通道数为tM的点卷积构成，输出一个通道数为N的特征图。之后连接一个如步骤4-1所述的激活函数ReLU。

步骤4-3-3：将步骤4-3-1中输入的特征图与步骤4-3-2输出的特征图相加，如下公式所示：

y＝F(x，{w_i})+x

其中，x表示反向残差块的输入特征向量，y表示反向残差块的输出特征向量，F(x，{w_i})表示学习到的残差特征，w_i表示可学习参数，i表示经过的网络层数，该残差模块的层数为3。

在这三层卷积中，中间卷积通道数较多，两边卷积通道数较少的结构构成倒置残差模块。

步骤4-4：在步骤4-3后连接1个全连接层，本实施例中全连接层的维数为1024。

步骤4-5：在步骤4-4后连接输出层。

本实施例估计的年龄范围为1-100，即输出层的维度为100，输出层采用softmax函数生成年龄1-100对应的预测概率，sofxmax函数定义为：

其中，p_j表示输入人脸样本预测为年龄j的概率，y表示步骤4-4的输出向量，w_k和w_j表示分类器的可学习参数，K＝100，T表示转置。

步骤5：将经过步骤3处理后的训练集输入到步骤4建立的网络进行训练，利用反向求导更新模型参数，从而最小化损失函数值，保存模型用于年龄估计。具体步骤如下：

步骤5-1：随机初始化模型参数，本例设定训练轮次为20；

步骤5-2：将训练样本输入到网络模型中学习，更新模型参数，计算损失函数值：

Loss＝-Σ_jp′_jlog(p_j)

其中，p′_j为训练集中样本图像标签年龄为j的概率，其值为0或1，p_j是由步骤4-5得到的预测年龄为j的概率；

当损失值趋于稳定，本实施例中取两次损失值之差小于0.01，则满足收敛条件，执行步骤5-3，否则继续执行步骤5-2；

步骤5-3：如果满足收敛条件但未达到所设定的训练轮次，则提前终止网络的训练，执行步骤5-4；否则直接执行步骤5-4；

步骤5-4：得到训练模型。

步骤6：用步骤2得到的测试集评估步骤5得到的训练模型，得出样本的年龄估计。

本实施例中将步骤2中得到的测试集图像裁剪为227x227大小。

综上，本发明首先将经过卷积操作得到的特征图扩张通道，使得特征模式增多，然后输入到深度可分离卷积层得到新的特征图。深度可分离卷积对比一般的卷积，其目的在于：①减少网络的参数；②增加网络的非线性，提升特征提取能力。然后通过残差模块将新特征和原特征融合，使得新特征中包含原特征信息，可以有效解决模型训练过程中的梯度消失问题，同时丰富特征的表征能力，从而提升模型预估精度。通过上述改进，本发明在人脸年龄估计任务中，可显著提高精度和速度，能够较好地运用到实际场景中。

Claims (6)

1.一种基于倒置残差网络的人脸年龄估计方法，其特征在于，包括以下步骤：

步骤1：人脸图像数据集预处理；

步骤2：将步骤1得到的数据集按比例划分为候选训练集与测试集；

步骤3：对候选训练集图像进行数据增强操作；

步骤4：建立一个基于倒置残差的人脸年龄估计网络模型，具体包括如下内容：

步骤4-1：建立一个卷积层，卷积层后连接激活函数；

步骤4-2：在步骤4-1后连接一个池化层；

步骤4-3：在步骤4-2后级联多个倒置残差模块，模块的输入通道数为M，输出通道数为N，级联模块的数量在4-12之间，通过训练级联不同数目倒置残差模块的网络模型，选择出最优的模块级联数量；

步骤4-4：在步骤4-3后连接1个全连接层；

步骤4-5：在步骤4-4后连接输出层；所述输出层的维度为K，输出层采用softmax函数生成年龄1至K对应的预测概率，sofxmax函数定义为：

其中，j表示预测年龄，1≤j≤K，K表示可预测的年龄最大值，p_j表示预测年龄为j的概率，y表示步骤4-4的输出向量，w_k和w_j表示分类器的可学习参数，T表示转置；

步骤5：将经过步骤3处理后的训练集输入到步骤4建立的网络进行训练，利用反向求导更新模型参数，从而最小化损失函数值；

步骤6：采用步骤2的测试集评估步骤5得到的训练模型，得出样本的年龄估计。

2.根据权利要求1所述的基于倒置残差网络的人脸年龄估计方法，其特征在于，步骤1中，所述预处理包括：采用MTCNN网络进行人脸检测与人脸对齐，并将人脸图像缩放到相同尺寸。

3.根据权利要求1所述的基于倒置残差网络的人脸年龄估计方法，其特征在于，步骤3中，所述数据增强操作包括：将每一幅图像随机裁剪出多张相同尺寸的图像，并将裁剪出的图像进行随机翻转、改变亮度值和对比度，数据增强后的图像构成训练集。

4.根据权利要求1所述的基于倒置残差网络的人脸年龄估计方法，其特征在于，步骤4-3中，建立所述倒置残差模块的步骤如下：

步骤4-3-1：将通道数为M的输入特征图先进行1x1卷积，其中引入一个t>1的扩展因子，使得特征图的通道数扩展为tM，1x1卷积后连接一个激活函数；

步骤4-3-2：将4-3-1输出的特征图进行卷积核大小为3x3的深度可分离卷积，深度可分离卷积由一个核大小为3x3、通道为1的深度卷积和一个核大小为1x1，通道数为tM的点卷积构成，输出一个通道数为N的特征图。之后连接一个激活函数；

步骤4-3-3：将步骤4-3-1中输入的特征图与步骤4-3-2输出的特征图相加，如下公式所示：

y＝F(x，{w_i})+x

其中，x表示反向残差块的输入特征向量，y表示反向残差块的输出特征向量，F(x，{w_i})表示学习到的残差特征，w_i表示可学习参数，i表示经过的网络层数。

5.根据权利要求1所述的基于倒置残差网络的人脸年龄估计方法，其特征在于，步骤5具体包括如下内容：

步骤5-1：随机初始化模型参数，设定训练轮次；

步骤5-2：将步骤3得到的训练样本输入到人脸年龄估计网络模型中学习，更新模型参数，计算损失函数值，当损失值趋于稳定，则满足收敛条件，执行步骤5-3，否则继续执行步骤5-2；

步骤5-3：如果满足收敛条件但未达到所设定的训练轮次，则提前终止网络的训练，执行步骤5-4；否则直接执行步骤5-4；

步骤5-4：得到训练模型。

6.根据权利要求5所述的基于倒置残差网络的人脸年龄分类方法，其特征在于，所述损失函数表示如下：

Loss＝-∑_jp′_jlog(p_j)

其中，Loss为损失值，p′_j为训练集中样本图像标签年龄为j的概率，其值为0或1。