CN115828175A - 一种用于更新深度回归林叶节点的重采样方法 - Google Patents

Abstract

在本发明公开了一种用于更新深度回归林叶节点的重采样方法，属于图像处理领域，针对于目前对年龄估计问题具有较高预测能力的深度回归森林模型，我们提出了一种新的样本重采样方法，通过根据训练数据分布特性，为不同类别赋予不同的权重值及逆行重采样得到较为均衡的批量样本，用于更新深度回归森林中叶节点上分布的均值与方差，保证模型能够兼顾学习不同样本数量的类别的样本特征。此外，本发明能够结合大部分损失函数及不同用来提取特征的深度神经网络，显著提高模型性能。

Description

一种用于更新深度回归林叶节点的重采样方法

技术领域

本发明属于机器学习领域，主要用来提升深度回归森林模型的性能；主要应用于不平衡数据集的回归预测问题。

背景技术

年龄估计(Age Estimation)，即针对于提供的一张人脸图像，能够自动识别出图中人物的年龄。近年来，面部年龄的自动估计在许多现实场景中都存在着需求与挑战：在具有刷脸支付功能的自动贩卖机上增加年龄识别功能，可以有效评估当前购物者的年龄，从而防止向未成年人出售酒精或香烟；年龄估计服务于刑事调查，根据从不同来源收集到的年龄信息确定被告；由于自动化的年龄估计，商业用户可根据年龄组对客户不同的偏好和期望进行管理，监控市场趋势，定制产品和个性化服务以满足公众需求；在身份识别中，年龄估计可用于在当前图像中识别出失踪的老人；当年龄估计与虹膜识别、人脸识别、手部识别、指纹识别或任何其他生物特征一起应用时，可以提高生物识别系统的性能。年龄估计的其他主要应用领域包括视频监控、人机交互、执法、推荐系统娱乐、社交媒体分析、人口数据收集、医学、智能监控、精准广告和心理学。

使用算法进行年龄估计是一个较为困难的任务：由于年龄依赖于精确的特征，估计准确的年龄值存在着很大的挑战。除了头骨形状、五官位置等影响年龄的基本特征外，由于胡须、眼镜等原因而产生的伪装等因素为面部年龄自动估计增加了所面临的障碍；皮肤感染、化妆、饮食、成年期的皮肤质地变化和童年期的面部形状变化也掩盖了面部年龄；微笑、皱眉、大笑、哭泣等复杂的面部表情会在额头、脸颊、眼周区、嘴巴或鼻子等部位产生皱纹，从而影响准确的年龄估计。真实世界中的姿态、遮挡、光照、颜色模式和等环境问题也会影响年龄估计任务，即便是人类对年龄进行观察估计，依然会有较大的偏差。

同时，真实世界中的人脸数据集往往会展示出不均衡的分布，其中少部分类别包含着绝大多数的样本点，剩余类别包含的样本点数目很少，形成一种长尾分布(Long-tailed Distribution)的现象。针对于这种不平衡数据集的训练会使得用于估计年龄的算法产生倾向性，在数据较多的类别上保持稳定的预测高准确率，而在数据较少的类别上的预测效果较差。

将年龄值的增长考虑成为一个有序数列不断连续性变化的过程，深度回归森林(Deep Regression Forests,DRFs)基于随机森林(Random Forest,RF)这一机器学习的经典算法，将年龄估计视作一个回归问题。理想状态下，DRFs中每棵树的叶节点都对应着数据集中紧凑而均匀的子集，因此将每个叶节点上的概率密度分布都视为高斯分布。DRFs中每棵树的预测结果由叶节点上分布的均值进行加权和计算得出，其中权重为样本到达每个叶节点的概率。当DRFs方法运用到不均衡的数据集中，在训练中随样本进行更新的叶节点的密度分布极大地影响了最后结果的预测，树的不同叶节点密度分布的均值会更多地集中在数据较多的类别所对应的标签范围内，从而不利于对数据较少的类别的预测。参考文献：W.Shen,Y.Guo,Y.Wang,K.Zhao,B.Wang and A.Yuille.(2018,June).Deep RegressionForests for Age Estimation.In Conference on Computer Vision and PatternRecognition(pp.2304-2313).为了提升DRFs模型的预测性能，一种常用于处理数据集不平衡问题的方法，即重采样(Resampling)引起了我们的关注，该方法对数据重新进行采样，通过减少头部样本数目或者增加尾部样本数目的方式，来直接改变原始数据的分布，强制样本数据的分布由不平衡转为平衡。通过这样方式得到的批量样本不再表现出不平衡的特征，从而使得更新后的叶节点在各个类别都有代表的均值，有利于尾部数据的预测。本发明从不平衡数据集的角度来考虑解决年龄估计问题的算法，将基于样本的重采样方法引入深度回归森林模型中，解决了现有方法存在的问题，提高了模型的整体预测性能。

发明内容

本发明是一种解决数据集分布不均衡问题的样本重采样方法，根据训练数据集中不同类别的样本数量，通过在深度回归森林模型中使用重采样后得到的批量样本来更新叶节点上的密度分布，进而得到更为均衡的叶节点分布结果，使得模型对尾部类别的数据的预测更为准确，提升模型在不均衡数据集下的整体性能。

该方法首先构造了以深度残差卷积神经网络为骨干，深度回归森林网络为分类器的深度学习模型，使用AgeDB数据集为实验数据来源。将数据集划分为训练集、测试集和验证集，保证训练集上的样本分布不均衡，且测试集与验证集的数据分布相近；我们在训练集上训练模型，在每完成一次迭代后，用验证集进行验证，选择性能最好模型的参数和网络结构进行保存，最后在测试集上测试模型的预测准确率。本方法着重于在模型训练过程中引入样本重采样方法对叶节点的均值进行更新，从而提升模型性能。本方法从样本分布的角度出发，主要做了以下的工作：1)构建在深度残差卷积神经网络的基础上加入深度回归森林的模型；2)分析不平衡数据集的特征，确定样本的分布类型，并根据每一类样本的数目对不平衡数据集进行划分；3)根据划分得到的三个子集的样本数目，重新分配权重，构建用于更新叶节点均值的非均匀概率采样所得到的批量样本，避免了更新叶节点所用样本仍具有不均衡分布的情况；4)在预处理后的不均衡数据集AgeDB上进行训练，使用MAE评估模型在测试集上的性能，并与未使用重采样方法更新叶节点上密度分布的方法进行比较。通过上述工作，验证了本发明可以根据不均衡样本的分布状态，得到针对性的权重进行重采样以更新参数，进一步提高模型在数据不均衡环境下的性能，并且在不同深度神经网络框架下都有提升的效果，是一种应用性强的样本重采样方法。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：残差卷积神经网络(ResNet)。通过在卷积网络中加入“残差连接”，解决了深层网络在训练中出现的退化现象，极大地增加了神经网络可训练的深度，相比于传统的卷积神经网络，残差网络具有更好训练，更易优化的优点。在本发明中，我们所用的残差卷积神经网络是ResNet50网络。

定义2：VGG网络。VGG网络证明了增加网络的深度能够在一定程度上影响网络最终的性能，相比于之前的AlexNet网络，VGG的网络深度更深，参数量更多，效果和可移植性更好，由于其规律的设计、简洁可堆叠的卷积块，在很多数据集中都有很好的表现。在本发明中，我们所用的VGG网络是VGG16网络，同时使用了VGG16网络的预训练模型VGG-Face，此人脸识别模型同样基于VGG16架构。

定义3：最大池化和平均池化。最大池化和平均池化是两种实现图像平滑的方法。具体来说，两种操作均是先将输入图像按照规则划分为若干个子区域，最大池化是选择该子区域中所有像素点的最大值作为该池化层的输出：

平均池化是将该子区域中所有像素点的平均值作为该池化层的输出：

其中x_ab是位于(a，b)的像素点的值，R为该子区域包含的像素点数目。

定义4：ReLU激活函数。又称修正线性单元,是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数，表达式为f(x)＝max(0，x)。

定义5：批量归一化。批量归一化(Batch Normalization)可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失现象。其具体操作是对小批量图像，计算不同样本在相同通道上的均值和方差，并对数据进行归一化处理，同时引入两个可学习的参数来放大归一化后不同样本的差异，该方法已被证明能够有效提升深度神经网络模型的性能。

定义6：平均绝对值误差。平均绝对值误差(MAE)在本方法中被用于衡量模型的预测准确性。具体来说就是，首先计算模型对每个测试样本的预测值和其真实值之间的误差的绝对值，在对所有测试样本的绝对值误差取平均；表达式如下：

其中N表示测试样本数量，

表示模型预测值，y_i表示真实值，即样本标签；当MAE平均绝对值误差越小，说明模型性能越好。

定义7：L1损失函数。损失函数是用来度量模型预测值和真实值的函数，通过计算二者损失，再将损失进行反向传播，更新模型网络参数，从而减小真实值和预测值的差距。本方法中使用了的损失函数为L1损失，其计算公式如下

其中m为单次批量中的样本数量，y_i为真实值，f(x_i)为模型预测值。

本发明技术方案为一种用于更新深度回归林叶节点的重采样方法，该方法包括：

步骤1：对实验数据集进行预处理；

获取真实世界物体图像，其中部分类别获取的图像较多，其余类别图像较少，构成不均衡的图像数据分布；并将这些真实图像按照其中物体的类别进行标注，对图片进行缩放与裁剪，同时保证每张实验图像的尺寸相同。

步骤2：构建深度神经网络特征提取模块；

本方法采用的深度神经网络特征提取模块分别由深度残差卷积神经网络ResNet50和VGG16深度神经网络来进行构造。对于ResNet50，它的第一层为卷积神经网络层，第二层到第五层为残差网络层，最后一层为平均池化层；对于VGG16，它的前十三层为卷积神经网络层，最后三层为全连接层；针对于输入的图像x∈R^N×W×C，特征提取模型的输出结果为图像的特征表示z∈R^d。卷积神经网络层结构参见图1，残差块结构参见图2，深度残差卷积神经网络ResNet50参见图3，VGG16深度神经网络参见图4，

步骤3：构建深度神经网络预测模块；

本方法采用的深度神经网络预测模块由深度回归森林来进行构造。本方法使用的深度回归森林由五棵树组成，每棵树的深度为六，其中不同叶节点

上高斯分布π_l(y)的均值与方差由K-Means算法对数据集样本

进行聚类得到；以Θ为参数的中间内部节点的划分函数由sigmoid函数σ(·)来实现：

其中f为步骤2所构建的特征提取模块，

建立了f中的特征与树的内部节点之间的对应关系，因此基于样本x落入叶节点l的概率P(l|x；Θ)，树T对样本x的预测结果为：

深度回归森林网络参见图5；

步骤4：分析计算得到不均衡样本重采样的权重；

该步骤是本方法的关键。通过分析数据集得到各类别样本的分布状态近似呈现高斯分布，即X～N(μ，σ²)：

传统方法对重采样权重的定义往往与样本分布函数的倒数相关，但由于年龄数据集包含的年龄类别较多、不平衡状态较为严重，头部数据与尾部数据的差别可能很大，对每个类别都生成一个权重进行后续重采样无法得到每个类别上的精确结果，因此我们分组来考虑对应的情况。依照各类别的样本数量，将所有的类别分为三组，其中样本数量较多的类别可以分为一组，定义为Many组；样本数量处于中等水平的类别分为一组，定义为Medium组；样本数量较少的类别分为一组，定义为Few组；上述的分组操作充分利用了数据集的分布规律，在此基础上，我们进一步针对每个分组中的类别的样本，分别计算其对应的重采样权重：我们希望模型更多关注于样本数较少的类别，即Few组的学习，同时又不会忽略样本数量较多的类别，即Many组的学习。

现假设数据集中共有N个类别{C₁，C₂，...，C_N-1C_N}，每个类别所对应的样本数目为n_i，现在根据类别样本数量阈值p和q(p＜q)对数据集样本进行划分，假设这N个类别中有a个类别被分至Many组，b个类别被分至Medium组，c个类别被分至Few组，并且三个组别内不同类别的样本数之和分别为n_a，n_b和n_c。我们直接根据整体数据的分布情况，设定重采样中的采样权重，使得每个类别中样本被采样得到的概率与所在组包含的总样本数直接相关：

步骤5：使用均衡分布的批量样本更新叶节点均值；

根据步骤4得到的三组类别的采样权重，对初始不均衡的数据集进行重采样，得到各类别分布较为均衡的批量样本，专用于在训练过程中更新叶节点上高斯分布的均值μ_l和方差∑_l：

其中ζ_l(π；x_i，y_i)与样本x到达叶节点l的概率相关。

步骤6：训练深度神经网络模型；

根据步骤2、3构造深度神经网络模型，使用L1损失作为目标函数对模型进行训练，采用Adam动量优化器完成梯度更新；设定批量大小，将所有训练样本按批量大小划分，再送入神经网络模型中得到各样本预测值，训练每个epoch后，利用步骤4、5的重采样策略得到的均衡批量样本对叶节点均值进行更新，通过反向传播更新网络参数，直到训练结束。

步骤7：使用MAE评估模型性能；

采用步骤3、4、5、6训练模型，保持模型参数和网络结构；利用模型的特征提取模块和预测头对分布不均衡的测试集的图像进行特征表示和预测，然后采用MAE评估模型的特征表示的有效性和预测准确性。

本文的创新之处在于：

(1)本发明基于数据集的不平衡分布建立了一种更新深度回归森林叶节点分布的重采样方法。通过识别数据集样本的分布状态，对数据集样本类别进行分组，得到对应的不同权重进行重采样，从而对影响预测结果的叶节点分布进行更新，使叶节点的均值尽可能跨越所有样本类别，进一步提升了模型在训练数据不均衡情况下的性能。

(2)经实验证明，本方法改善了深度神经网络模型在不均衡数据集上的预测准确率，在相同的神经网络框架下，本方法预测准确率在MAE评价指标下比直接用不均衡分布的批量样本更新叶节点分布的方法在VGG16和ResNet50框架上分别相对提升了13.47％和9.05％，测试结果参见表1。

附图说明

图1为本发明方法的卷积网络块结构图

图2为本发明方法的残差卷积神经网络块结构图

图3为本发明方法的残差卷积神经网络ResNet50结构图

图4为本发明方法的深度神经网络VGG16结构图

图5为本发明方法的深度回归森林网络结构图

具体实施方式

步骤1：对数据集进行预处理；

下载AgeDB数据集(https://ibug.doc.ic.ac.uk/resources/agedb/)，AgeDB是用于人脸年龄估计任务的数据集，其数据分布贴近现实世界中的人口年龄分布，人脸年龄估计一般属于回归任务，因此在使用该数据集前，本方法首先对数据集进行了预处理，因为年龄为整数，故可以将标签离散化，分为0岁到101岁共102个组(类别)，通过预处理后发现年龄较小(一般小于20岁)或年龄较大(一般大于80岁)的类别中样本数量偏少，而处在中年类别的样本数量较多，数据集样本不均衡。我们将该数据划分为训练集，测试集和验证集；其中训练集包括12200张人脸图像及其对应的年龄标签，测试集和验证集则分别包含2100张分布平衡的人脸图像及其对应的标签，以便之后的模型训练和测试任务。

步骤2：构建深度神经网络特征提取模块；

本方法采用的深度神经网络特征提取模块分别由深度残差卷积神经网络ResNet50和VGG16深度神经网络来进行构造。对于ResNet50，它的第一层为卷积神经网络层，第二层到第五层为残差网络层，最后一层为平均池化层；对于VGG16，它的前十三层为卷积神经网络层，最后三层为全连接层；针对于输入的图像x∈R^N×W×C，特征提取模型的输出结果为图像的特征表示z∈R^d。卷积神经网络层结构参见图1，残差块结构参见图2，深度残差卷积神经网络ResNet50参见图3，VGG16深度神经网络参见图4，

步骤3：构建深度神经网络预测模块；

本方法采用的深度神经网络预测模块由深度回归森林来进行构造。本方法使用的深度回归森林由五棵树组成，每棵树的深度为六，其中不同叶节点

上高斯分布π_l(y)的均值由K-Means算法对数据集样本

进行聚类得到；以Θ为参数的中间内部节点的划分函数由sigmoid函数σ(·)来实现：

其中f为步骤2所构建的特征提取模块，

建立了f中的特征与树的内部节点之间的对应关系，因此基于样本x落入叶节点l的概率P(l|x；Θ)，树T对样本x的预测结果为：

深度回归森林网络参见图5；

步骤4：分析计算得到不均衡样本重采样的权重；

该步骤是本方法的关键。通过分析数据集得到各类别样本的分布状态近似呈现高斯分布，即X～N(μ，σ²)：

传统方法对重采样权重的定义往往与样本分布函数的倒数相关，但由于年龄数据集包含的年龄类别较多、不平衡状态较为严重，头部数据与尾部数据的差别可能很大，对每个类别都生成一个权重进行后续重采样无法得到每个类别上的精确结果，因此我们分组来考虑对应的情况。依照各类别的样本数量，将所有的类别分为三组，其中样本数量较多的类别可以分为一组，定义为Many组；样本数量处于中等水平的类别分为一组，定义为Medium组；样本数量较少的类别分为一组，定义为Few组；上述的分组操作充分利用了数据集的分布规律，在此基础上，我们进一步针对每个分组中的类别的样本，分别计算其对应的重采样权重：我们希望模型更多关注于样本数较少的类别，即Few组的学习，同时又不会忽略样本数量较多的类别，即Many组的学习。

现假设数据集中共有N个类别{C₁，C₂，...，C_N-1C_N}，每个类别所对应的样本数目为n_i，现在根据类别样本数量阈值p和q(p＜q)对数据集样本进行划分，假设这N个类别中有a个类别被分至Many组，b个类别被分至Medium组，c个类别被分至Few组，并且三个组别内不同类别的样本数之和分别为n_a，n_b和n_c。我们直接根据整体数据的分布情况，设定重采样中的采样权重，使得每个类别中样本被采样得到的概率与所在组包含的总样本数直接相关：

步骤5：使用均衡分布的批量样本更新叶节点均值；

根据步骤4得到的三组类别的采样权重，对初始不均衡的数据集进行重采样，得到各类别分布较为均衡的批量样本，专用于在训练过程中更新叶节点上高斯分布的均值μ_l和方差∑_l：

其中ζ_l(π；x_i，y_i)与样本x到达叶节点l的概率相关。

步骤6：训练深度神经网络模型；

根据步骤2、3构造深度神经网络模型，使用L1损失作为目标函数对模型进行训练，采用Adam动量优化器完成梯度更新；设定批量大小，将所有训练样本按批量大小划分，再送入神经网络模型中得到各样本预测值，训练每个epoch后，利用步骤4、5的重采样策略得到的均衡批量样本对叶节点均值进行更新，通过反向传播更新网络参数，直到训练结束。此外，本方法还在训练过程中引入验证集，每遍历一遍整个训练数据集后，在验证集上使用MAE评价指标评估当前模型的性能，选取MAE值最小的模型，保存其参数和网络结构。

步骤7：使用MAE评估模型性能；

采用步骤3、4、5、6训练模型，保持模型参数和网络结构；利用模型的特征提取模块和预测头对分布不均衡的测试集的图像进行特征表示和预测，然后采用MAE评估模型的特征表示的有效性和预测准确性。测试结果参见表1。从表1可见，无论使用哪种深度神经网络来提取特征，本发明提出的样本重采样方法都能进一步降低模型在测试集上的MAE指标，提升模型在测试集上的准确性。

图像大小：224*224

学习率：0.001

训练批次大小M：256

迭代次数：90

表一为本发明方法的实验结果。其中ALL表示在整个测试集上的MAE指标，Many，Medium和Few分别表示在三个分组上的MAE指标。

Claims (1)

1.一种用于更新深度回归林叶节点的重采样方法，该方法包括：

步骤1：对实验数据集进行预处理；

获取真实世界物体图像，其中部分类别获取的图像较多，其余类别图像较少，构成不均衡的图像数据分布；并将这些真实图像按照其中物体的类别进行标注，对图片进行缩放与裁剪，同时保证每张实验图像的尺寸相同；

步骤2：构建深度神经网络特征提取模块；

本方法采用的深度神经网络特征提取模块分别由深度残差卷积神经网络ResNet50和VGG16深度神经网络来进行构造；对于ResNet50，它的第一层为卷积神经网络层，第二层到第五层为残差网络层，最后一层为平均池化层；对于VGG16，它的前十三层为卷积神经网络层，最后三层为全连接层；针对于输入的图像x∈R^N×W×C，特征提取模型的输出结果为图像的特征表示z∈R^d；

步骤3：构建深度神经网络预测模块；

本方法采用的深度神经网络预测模块由深度回归森林来进行构造；本方法使用的深度回归森林由五棵树组成，每棵树的深度为六，其中不同叶节点

上高斯分布π_l(y)的均值与方差由K-Means算法对数据集样本

进行聚类得到；以Θ为参数的中间内部节点的划分函数由sigmoid函数σ(·)来实现：

其中f为步骤2所构建的特征提取模块，

建立了f中的特征与树的内部节点之间的对应关系，因此基于样本x落入叶节点l的概率P(l|x；Θ)，树T对样本x的预测结果为：

深度回归森林网络参见图5；

步骤4：分析计算得到不均衡样本重采样的权重；

该步骤是本方法的关键；通过分析数据集得到各类别样本的分布状态近似呈现高斯分布，即X～N(μ，σ²)：

传统方法对重采样权重的定义往往与样本分布函数的倒数相关，但由于年龄数据集包含的年龄类别较多、不平衡状态较为严重，头部数据与尾部数据的差别可能很大，对每个类别都生成一个权重进行后续重采样无法得到每个类别上的精确结果，因此分组来考虑对应的情况；依照各类别的样本数量，将所有的类别分为三组，其中样本数量较多的类别可以分为一组，定义为Many组；样本数量处于中等水平的类别分为一组，定义为Medium组；样本数量较少的类别分为一组，定义为Few组；上述的分组操作充分利用了数据集的分布规律，在此基础上，进一步针对每个分组中的类别的样本，分别计算其对应的重采样权重：希望模型更多关注于样本数较少的类别，即Few组的学习，同时又不会忽略样本数量较多的类别，即Many组的学习；

现假设数据集中共有N个类别{C₁，C₂，...，C_N-1C_N}，每个类别所对应的样本数目为n_i，现在根据类别样本数量阈值p和q(p＜q)对数据集样本进行划分，假设这N个类别中有a个类别被分至Many组，b个类别被分至Medium组，c个类别被分至Few组，并且三个组别内不同类别的样本数之和分别为n_a，n_b和n_c；直接根据整体数据的分布情况，设定重采样中的采样权重，使得每个类别中样本被采样得到的概率与所在组包含的总样本数直接相关：

步骤5：使用均衡分布的批量样本更新叶节点均值；

根据步骤4得到的三组类别的采样权重，对初始不均衡的数据集进行重采样，得到各类别分布较为均衡的批量样本，专用于在训练过程中更新叶节点上高斯分布的均值μ_l和方差∑_l：

其中ζ_l(π；x_i，y_i)与样本x到达叶节点l的概率相关；

步骤6：训练深度神经网络模型；

根据步骤2、3构造深度神经网络模型，使用L1损失作为目标函数对模型进行训练，采用Adam动量优化器完成梯度更新；设定批量大小，将所有训练样本按批量大小划分，再送入神经网络模型中得到各样本预测值，训练每个epoch后，利用步骤4、5的重采样策略得到的均衡批量样本对叶节点均值进行更新，通过反向传播更新网络参数，直到训练结束；

步骤7：使用MAE评估模型性能；

采用步骤3、4、5、6训练模型，保持模型参数和网络结构；利用模型的特征提取模块和预测头对分布不均衡的测试集的图像进行特征表示和预测，然后采用MAE评估模型的特征表示的有效性和预测准确性。

Images