CN109389037B - 一种基于深度森林和迁移学习的情感分类方法 - Google Patents

Abstract

本发明提供了一种基于深度森林和迁移学习的情感分类方法，首先选取源域数据集和训练目标域数据集；再使用深度卷积神经网络对源域数据集进行训练，得到并保存训练好的特征提取模型；对训练目标域数据进行预处理，所述预处理包括通道转换及尺寸裁剪；利用所述特征提取模型对预处理后的训练目标域数据集进行特征提取，得到样本特征；将样本特征作为深度森林分类模型的输入，对深度森林分类模型进行训练；当深度森林模型分类模型训练完成后，利用训练后的深度森林分类模型对实际需要处理的人脸情感图像进行分类，得到所述人脸情感图像的分类结果。本发明的有益效果是：提高了分类效率，降低了分类成本以及对训练样本的需求量。

Description

一种基于深度森林和迁移学习的情感分类方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度森林和迁移学习的情感分类方法。

背景技术

随着科技的发展和社会的进步，计算机技术和人工智能技术的水平越来越高，社会的自动化程度也不断提高，人们对人机交互的需求越来越强烈。在人们面对面的交流过程中，面部表情和其他肢体动作能够传达非语言的信息，这些信息能够作为语言的辅助帮助听者推断出说话人的意图。而人脸表情是一种能够表达人类认知、情绪和状态的手段，它包含了众多的个体行为信息，是个体特征的一种复杂表达集合，而这些特征往往与人的精神状态、情感状态、健康状态等其他因素有着极为密切的关联。实现计算机准确高效地对人脸表情进行识别，将对于实现自然和谐的人机交互系统有着极大的推进作用。由于人脸表情识别表现出的重要的理论研究价值和实际应用价值，它已经成为一个热门的研究课题。

近年来，在现代社交媒体的影响下，每天都产生数百万张图片在网络上发布，人们也倾向于通过自拍图片进行分享的方式来表达自己的生活事件以及心理感受。海量图片数据的产生，极大地方便了数据挖掘和分析，同时人工智能领域最火热的机器学习算法在图像分类领域，已经达到非常成熟的水平。然而，传统的机器学习严重依赖于大量的数据，但这不仅是普通的获取数据，而是需要大量的已标记数据对模型进行训练。因此，对模型进行训练时，带标记样本数据的数量与质量直接决定了模型训练的优劣。并且，作为训练样本集的数据，需要在我们直接从所获的海量数据中进行筛选与预处理，并人工加以标注。不可避免的数据标注会消耗大量的人力、物力与财力，目前为止，尚未提出一种行之有效的方式进行替代或解决人工标记，因此给我们对人脸表情甚至图像分类领域带来了困难。此外，一些组织和个人由于缺乏高性能的运算设备，在面对大数据以及复杂模型进行训练时受阻，诸多学者在构思充分的前提下却望而止步。还有，传统的机器学习方法也难以根据人们繁杂多样的需求构造出统一普适化的模型。简单来说就是：(1)由于传统的机器学习算法严重依赖于大量的训练样本，如果缺少足够的训练样本，将严重影响分类精度和速度。(2)上述算法中参数多，调参过程繁琐，很难将各个参数调到恰当的数值。(3)上述分类方法只能针对于特定的任务建立特定的模型，难以在相似任务之间进行通用。因此，亟需一种方法来解决上述问题。

发明内容

为了解决上述问题，本发明提供了一种基于深度森林和迁移学习的情感分类方法，将迁移学习与深度学习相结合，并利用深度森林算法进行人脸情感分类。

本发明通过设计一个基于深度森林和迁移学习的人脸情感分类框架，通过使用多层卷积神经网络在源域数据集上进行训练，得到训练好的模型，之后用来在目标域上进行特征提取。之后再将提取到的特征输入到深度森林分类器中，提高了分类效率、降低了分类成本以及对训练样本的需求量。一种基于深度森林和迁移学习的情感分类方法，主要包括以下步骤：

S101：选取源域数据集和训练目标域数据集；源域数据集为带标签样本的人脸数据集或者情感数据集，训练目标域数据集为人脸情感图像集；

S102：使用深度卷积神经网络对源域数据集进行训练，得到训练好的特征提取模型，并将所述特征提取模型进行保存；

S103：对训练目标域数据进行预处理，所述预处理包括通道转换及尺寸裁剪；

S104：利用所述特征提取模型对预处理后的训练目标域数据进行特征提取，得到样本特征；

S105：将样本特征作为深度森林分类模型的输入，对深度森林分类模型进行训练；

S106：当深度森林模型分类模型训练完成后，利用训练后的深度森林分类模型对实际需要处理的人脸情感图像进行分类，得到所述人脸情感图像的分类结果。

进一步地，在步骤S102中，深度卷积神经网络选取于VGG16模型的前13层，VGG16模型的前13层为卷积层，用于图像特征提取。

进一步地，在步骤S105中，所述深度森林分类模型采用级联结构进行连接，每一层所包含的森林则为决策树的集成；深度森林分类模型自动确定深度森林级联的层数，其自动确定深度森林级联的层数的方法为：每个森林通过k折交叉验证生成类向量，即每个样本数据作为k-1次的训练样本，产生k-1个类向量，并根据训练目标域数据集中带标记的人脸情感图像得到验证数据，当拓展产生新的一层森林时，整个深度森林框架的性能会根据验证数据进行评估，如果整个深度森林框架的性能没有明显改善，则深度森林的层数不再增加，即深度森林的层数被确定。

进一步地，在深度森林分类模型的训练过程中，每层使用Q个随机森林和P个完全随机树森林，第一层将产生(Q+P)×C个特征，产生的特征向量将与原始特征向量连接并输入到下一级，其中，C为类别个数；之后的每一层与此类似，直至倒数第二层。

进一步地，所述随机森林是指：利用多棵决策树对样本数据进行训练并预测的一种分类器，每棵树的产生方法：在整个特征空间中随机选择

个特征作为候选特征，其中，d为输入特征的个数，然后选择具有最佳Gini值的特征作为节点的分裂特征；所述完全随机树森林是指：利用多棵决策树对样本进行训练并预测的一种分类器，所述完全随机树森林中每棵树的产生方法：在整个特征空间中随机选择1个特征作为节点的分裂特征。

进一步地，在步骤S106中，取所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值作为所述深度森林分类模型输出的分类结果所对应的类别：Fin(c)＝Max_y{Ave._m[c₁₁,c₁₂,...,c_1y,c₂₁,c₂₂,...,c_2y,...c_m1,c_m2,...,c_my]}，其中，m为深度森林每层包含森林的个数，y为该数据集的类别的个数，c为单个森林的输出类概率，Fin(c)为所述深度森林分类模型输出的分类结果，Max_y为所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值，Ave._m为所述深度森林分类模型中最后一层所有森林输出类概率的平均值。

本发明提供的技术方案带来的有益效果是：

(1)传统的机器学习分类方法需要大量的带标签数据，而本发明通过使用迁移学习的方法，对训练样本数量要求较低，少量的训练样本就可以实现高精度的情感分类；

(2)传统的机器学习分类方法，如果在大的数据集上进行运算或者对深层复杂的模型进行训练，需要很高的设备要求，而本发明通过使用迁移学习的方法，对计算设备要求较低，在普通的计算机上就能实现；

(3)传统的机器学习分类方法根据不同的任务分别构造不同的模型，效率低且代价高，而本发明通过迁移训练好的模型能够在多种分类任务中实现通用；

(4)传统的情感分类方法采用的分类器大多需要复杂的人为调参且容易产生过拟合现象，而本发明采用的深度森林分类器调参数极少且对参数不敏感，不需要过多的人为调参且更具有鲁棒性，此外本发明采用的深度森林分类器通过交叉验证决定层数，因此避免了过拟合现象的发生。

最终提高了分类效率、降低了分类成本以及对训练样本的需求量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于深度森林和迁移学习的情感分类方法的流程图；

图2是本发明实施例中人脸情感分类框架示意图；

图3是本发明实施例中卷积层的工作原理图；

图4是本发明实施例中所述深度森林分类模型图解的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于深度森林和迁移学习的情感分类方法。

请参考图1和图2，图1是本发明实施例中一种基于深度森林和迁移学习的情感分类方法的流程图，图2是本发明实施例中人脸情感分类框架示意图，一种基于深度森林和迁移学习的情感分类方法，具体包括如下步骤：

S101：选取源域数据集和训练目标域数据集；源域数据集为带标签样本的人脸数据集或者情感数据集，训练目标域数据集为人脸情感图像集；

S102：使用深度卷积神经网络对源域数据集进行训练，得到训练好的特征提取模型，并将所述特征提取模型进行保存；深度卷积神经网络选取于VGG16模型的前13层，即深度卷积神经网络是从VGG16模型中迁移出来的，VGG16模型包括13个卷积层以及3个全连接层，13个卷积层用于图像特征提取，全连接层用于特征融合以及分类；卷积层的工作原理如下：以图3中较大网格表示的一幅图片为例，图3中各小方格代表组成图像的像素单元，有颜色填充的网格表示一个卷积核，卷积核的大小为3*3；假设我们做步长为1的卷积操作，表示卷积核每次向右移动一个像素(当移动到边界时回到最左端并向下移动一个单位)，卷积核每个单元内有权重，图3中的卷积核内有9个权重，在卷积核移动的过程中将图片上的像素和卷积核的对应权重相乘，最后将所有乘积相加得到一个输出，图3所示图片经过卷积后形成一个6*4的图；因此，卷积层可以通过对图像像素扫描的方式实现图像特征的提取，多层的卷积网络有利于提取更具有辨别性的特征；

S103：对训练目标域数据进行预处理，所述预处理包括通道转换及尺寸裁剪；

S104：利用所述特征提取模型对预处理后的训练目标域数据进行特征提取，得到样本特征；样本特征是由在源域数据集中训练好的VGG16模型的13层卷积层进行图像特征提取得到；

S105：将样本特征作为深度森林分类模型的输入，对深度森林分类模型进行训练；

所述深度森林分类模型采用级联结构进行连接，每一层所包含的森林则为决策树的集成；深度森林分类模型自动确定深度森林级联的层数，其自动确定深度森林级联的层数的方法为：每个森林通过k折交叉验证生成类向量，即每个样本数据作为k-1次的训练样本，产生k-1个类向量，并根据训练目标域数据集中带标记的人脸情感图像得到验证数据，当拓展产生新的一层森林时，整个深度森林框架的性能会根据验证数据进行评估，如果整个深度森林框架的性能没有明显改善，则深度森林的层数不再增加，即深度森林的层数被确定；

在深度森林分类模型的训练过程中，每层使用Q个随机森林和P个完全随机树森林，第一层将产生(Q+P)×C个特征，产生的特征向量将与原始特征向量连接并输入到下一级，其中，C为类别个数；之后的每一层与此类似，直至倒数第二层；其中，所述深度森林是指：一种基于决策树的深度学习模型，通过对决策树集成形成的随机森林和完全随机树森林进行再集成并前后串联起来达到表征学习的效果，每层森林之间采用级联的构架，所述决策树是指：一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别，决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系；所述随机森林是指：利用多棵决策树对样本数据进行训练并预测的一种分类器，每棵树的产生方法：在整个特征空间中随机选择

个特征作为候选特征，其中，d为输入特征的个数，然后选择具有最佳Gini值的特征作为节点的分裂特征；所述完全随机树森林是指：利用多棵决策树对样本进行训练并预测的一种分类器，所述完全随机树森林中每棵树的产生方法：在整个特征空间中随机选择1个特征作为节点的分裂特征；所述Gini值是指：基尼系数，在决策树之CART算法中用Gini指数来衡量数据的不纯度或者不确定性，同时用Gini指数来决定类别变量的最优二分值的切分问题；

S106：当深度森林模型分类模型训练完成后，利用训练后的深度森林分类模型对实际需要处理的人脸情感图像进行分类，得到所述人脸情感图像的分类结果；其中，取所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值作为所述深度森林分类模型输出的分类结果所对应的类别：Fin(c)＝Max_y{Ave._m[c₁₁,c₁₂,...,c_1y,c₂₁,c₂₂,...,c_2y,...c_m1,c_m2,...,c_my]}，其中，m为深度森林每层包含森林的个数，y为该数据集的类别的个数，c为单个森林的输出类概率，Fin(c)为所述深度森林分类模型输出的分类结果，Max_y为所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值，Ave._m为所述深度森林分类模型中最后一层所有森林输出类概率的平均值。

请参考图4，图4是本发明实施例中所述深度森林分类模型图解的示意图，输入特征向量到所述深度森林分类模型中，所述深度森林分类模型采用级联结构进行连接，每一层所包含的森林则为决策树的集成；模型自动确定深度森林级联的层数，自动确定的方法为：每个森林通过k折交叉验证生成，即每个样本作为k-1次的训练样本；当产生新的一层时，整个深度森林的性能将会在整个验证集上进行评估，如果没有明显的效果增益，训练将被终止，层数即被确定，这种自我调节能力解决了训练过程中超参数调节困难的问题，降低了过拟合的风险，使深度森林分类模型可以更好的适用于小规模训练样本的数据集的分类中；所述深度森林分类模型中，每层使用Q个随机森林和P个完全随机树森林，第一层将产生(Q+P)×C个特征，产生的特征向量将与原始特征向量连接并输入到下一级，其中，C为分类预期类别个数；最后，取所述深度森林分类模型中最后一层森林的结果的平均值中的最大值作为所述深度森林分类模型输出的分类结果所对应的类别：Fin(c)＝Max_y{Ave._m[c₁₁,c₁₂,...,c_1y,c₂₁,c₂₂,...,c_2y,...c_m1,c_m2,...,c_my]}，其中，m为深度森林每层包含森林的个数，y为该数据集的类别的个数，c为单个森林的输出类概率，Fin(c)为所述深度森林分类模型输出的分类结果，Max_y为所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值，Ave._m为所述深度森林分类模型中最后一层所有森林输出类概率的平均值。

本发明的有益效果是：通过迁移出VGG16模型中的深度卷积神经网络，能够解决训练样本不足、模型难以在不同任务之间通用、设备要求高、分类耗时等问题；深层卷积神经网络作为特征提取算法，能高效地提取有用的样本特征；采用深度森林算法作为分类器，提高了分类精度，避免了调参困难、过拟合等现象；最终提高了分类效率、降低了分类成本以及对训练样本的需求量。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度森林和迁移学习的情感分类方法，其特征在于：包括以下步骤：

S101：选取源域数据集和训练目标域数据集；源域数据集为带标签样本的人脸数据集或者情感数据集，训练目标域数据集为人脸情感图像集；

S102：使用深度卷积神经网络对源域数据集进行训练，得到训练好的特征提取模型，并将所述特征提取模型进行保存；

S103：对训练目标域数据进行预处理，所述预处理包括通道转换及尺寸裁剪；

S104：利用所述特征提取模型对预处理后的训练目标域数据进行特征提取，得到样本特征；

S105：将样本特征作为深度森林分类模型的输入，对深度森林分类模型进行训练；

S106：当深度森林模型分类模型训练完成后，利用训练后的深度森林分类模型对实际需要处理的人脸情感图像进行分类，得到所述人脸情感图像的分类结果。

2.如权利要求1所述的一种基于深度森林和迁移学习的情感分类方法，其特征在于：在步骤S102中，深度卷积神经网络选取于VGG16模型的前13层，VGG16模型的前13层为卷积层，用于图像特征提取。

3.如权利要求1所述的一种基于深度森林和迁移学习的情感分类方法，其特征在于：在步骤S105中，所述深度森林分类模型采用级联结构进行连接，每一层所包含的森林则为决策树的集成；深度森林分类模型自动确定深度森林级联的层数，其自动确定深度森林级联的层数的方法为：每个森林通过k折交叉验证生成类向量，即每个样本数据作为k-1次的训练样本，产生k-1个类向量，并根据训练目标域数据集中的人脸情感图像得到验证数据，当拓展产生新的一层森林时，整个深度森林框架的性能会根据验证数据进行评估，如果整个深度森林框架的性能没有明显改善，则深度森林的层数不再增加，即深度森林的层数被确定。

4.如权利要求3所述的一种基于深度森林和迁移学习的情感分类方法，其特征在于：在深度森林分类模型的训练过程中，每层使用Q个随机森林和P个完全随机树森林，第一层将产生(Q+P)×C个特征，产生的特征向量将与原始特征向量连接并输入到下一级，其中，C为类别个数；之后的每一层与此类似，直至倒数第二层。

5.如权利要求4所述的一种基于深度森林和迁移学习的情感分类方法，其特征在于：所述随机森林是指：利用多棵决策树对样本数据进行训练并预测的一种分类器，所述随机森林中每棵树的产生方法为：在整个特征空间中随机选择

个特征作为候选特征，其中，d为输入特征的个数，然后选择具有最佳Gini值的特征作为节点的分裂特征；所述完全随机树森林是指：利用多棵决策树对样本进行训练并预测的一种分类器，所述完全随机树森林中每棵树的产生方法为：在整个特征空间中随机选择1个特征作为节点的分裂特征。

6.如权利要求1所述的一种基于深度森林和迁移学习的情感分类方法，其特征在于：在步骤S106中，取所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值作为所述深度森林分类模型输出的分类结果所对应的类别：Fin(c)＝Max_y{Ave._m[c₁₁,c₁₂,...,c_1y,c₂₁,c₂₂,...,c_2y,...c_m1,c_m2,...,c_my]}，其中，m为深度森林每层包含森林的个数，y为该数据集的类别的个数，c为单个森林的输出类概率，Fin(c)为所述深度森林分类模型输出的分类结果，Max_y为所述深度森林分类模型中最后一层所有森林输出类概率的平均值中的最大值，Ave_.m为所述深度森林分类模型中最后一层所有森林输出类概率的平均值。

Images