CN109543749A - 基于深度学习的绘画情感分析方法 - Google Patents

Abstract

本发明提供的基于深度学习的绘画情感分析方法包括：构建绘画图像数据集；预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果；对构建的绘画图像数据集进行扩充；基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练；利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析，有效解决了数据集不是足够大时可能出现的过拟合的问题。

Description

基于深度学习的绘画情感分析方法

技术领域

本发明属于图像情感计算技术领域，具体地说，涉及一种基于深度学习的绘画情感分析方法。

背景技术

随着互联网时代的发展，越来越多的人们习惯于用图片甚至是视频等手段记录下他们的日常生活并利用微信、微博等社交媒体分享出来，公众对视觉内容情感表达的强烈需求，使得对图像、视频情感层面的分析变得越来越迫切。情感计算的概念被麻省理工学院媒体实验室Picard教授提出，Picard教授指出：给出情感计算的定义即与情感相关、来源于情感或者能够对情感施加影响的计算，情感计算的思想是要使得计算机能够观察、理解和表达各类情感特征等，最终像人一样能随意的表达和交流。

图像情感计算需要心理学、艺术学、计算机视觉、模式识别、人工智能等领域的共同支持，交叉学科带来的挑战使得图像情感分析极具挑战。目前还缺乏对绘画艺术作品比较系统的情感语义研究，而作为人类的精神追求，艺术常常以丰富的情感、风格迥异的绘画技法，影响观赏者对图像的情感体验。

发明内容

针对现有技术的上述缺陷，本发明提供一种基于深度学习的绘画情感分析方法。

本发明公开的基于深度学习的绘画情感分析方法，包括：

S1、构建绘画图像数据集：采用公共数据集和自建数据集构建绘画图像数据集，构建的绘画图像数据集中包含非绘画图像、绘画图像、积极情绪的图像和消极情绪的图像；

S2、预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；除最后一层外，全部参数保持不变，替换的最后一层网络权重初始化为[-0.07，0.07]的均匀分布，偏置则全部初始化为0，初始学习率设置为0.001，每10轮缩小10倍，采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果；

S3、对构建的绘画图像数据集进行扩充：采用过采样方式对构建的绘画图像数据集中的图片进行图片增广以扩充数据，随机裁剪但保留原图片至少70％区域，左右翻转，配合增加或减小最大50％亮度、饱和度的变化进行数据扩充；

S4、基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练；

S5、利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析。

如上所述的方法，其中，S5步骤的实现过程为：

将输入设置为448×448的绘画图像，经过训练好的卷积神经网络VGG16模型之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合。

本发明提供的技术方案，一方面，通过分析不同的过采样方式对CNN模型性能的影响，提出一种在图像情感识别上更为有效的过采样方式，有效解决了在训练CNN模型时因数据量不足引起的过拟合问题；另一方面，提出了一种相关任务的预训练策略，缓解了迁移学习过程中模型受先验知识的干扰，对少数民族绘画的情感分类任务有明显的提升；再一方面，提出了一个可视化的方法，对于指导绘画艺术有一定的促进作用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于深度学习的绘画情感分析方法的流程图；

图2是本发明应用实施例民族艺术绘画图像数据集示例图；

图3A是本发明应用实施例部分过采样方式原图示例图；

图3B是本发明应用实施例部分过采样方式随机裁剪示例图；

图3C是本发明应用实施例部分过采样方式改变亮度示例图；

图3D是本发明应用实施例部分过采样方式改变色相示例图；

图4是本发明应用实施例相关任务的预训练策略图；

图5是本发明应用实施例可视化结构图；

图6是本发明应用实施例可视化结果图。

具体实施方式

以下将配合实施例及附图来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它是近年发展起来，并引起广泛重视的一种高效识别方法，在众多科学领域，尤其是在语音识别、人脸识别、通用物体识别、运动分析等领域均有重要突破。

本发明的目的是提供一种预训练策略和可视化框架，更加详细的指导绘画图像的情感预测，解决现有技术中严重依托数据量的问题，同时表征神经网络的学习情况，解决神经网络被视作“黑盒子”的问题。图1为本发明提供的基于深度学习的绘画情感分析方法的流程图。如图1所示，本发明的基于深度学习的绘画情感分析方法可以包括以下步骤(S1～S5)：

S1、构建绘画图像数据集：采用公共数据集和自建数据集构建绘画图像数据集，构建的绘画图像数据集中包含非绘画图像、绘画图像、积极情绪的图像和消极情绪的图像。

S2、预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；除最后一层外，全部参数保持不变，替换的最后一层网络权重初始化为[-0.07，0.07]的均匀分布，偏置则全部初始化为0，初始学习率设置为0.001，每10轮缩小10倍，采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果。

S3、对构建的绘画图像数据集进行扩充：采用过采样方式对构建的绘画图像数据集中的图片进行图片增广以扩充数据，随机裁剪但保留原图片至少70％区域，左右翻转，配合增加或减小最大50％亮度、饱和度的变化进行数据扩充。

S4、基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练。

S5、利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析。

如上所述的方法，其中，S5步骤的实现过程为：

将输入设置为448×448的绘画图像，经过训练好的卷积神经网络VGG16模型之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合。

本发明实施例提供的技术方案，采用卷积神经网络作为实验模型，针对绘画的艺术情感进行分析和讨论。通过将艺术图片分为积极的情绪和消极的情绪两类，采用微调这种迁移学习的策略，解决数据集不是足够大时可能出现的过拟合的问题。

为了使得模型具有更好的泛化能力，往往采用适当的方式进行数据集扩充以增强模型的学习能力，本发明针对艺术绘画和普通图像的情感分类任务，通过分析几种常用数据集扩充方式对于图像情感问题中网络性能的提升，包括裁剪、翻转以及图像的色相、亮度、饱和度以及对比度，然后选取合理的组合进行过采样，避免了盲目的凭借直觉进行随意的修改数据。为了验证本发明技术方案模型的性能的有效性，在公共数据集Twitter ImageDataset上进行了与现有技术最先进水平方案的比较，并取得了3.4％的性能提升。

最后，为了研究卷积神经网络对于不同计算机视觉任务的影响，即在不同计算机视觉任务中的普适性，发明人经过大量实验分析，提出了一种相关任务的预训练策略以提升模型性能，提升模型对绘画的情感分类问题的预测，不仅如此，本发明的技术方案还使用了可视化的分析，体现了模型学习情况的可解释性。

下面给出的是本发明基于深度学习的绘画情感分析方法结合云南省丰富的民族绘画资源的一个应用实施例。

第一部分：

本发明实施例的完整步骤如下：

步骤1：构建民族艺术绘画图像数据集：该数据集的图片通过扫描画册中实验环境需要的绘画作品而得，如《新中国美术60年》等，利用云南民族绘画情感标注系统标注，最终收集到包含云南重彩画、云南版画、云南油画以及水彩和水粉画等1566张民族艺术绘画，其中包含1149幅积极情绪和417幅消极情绪的图像，图片示例如图2；

步骤2：采用迁移学习的方法，使用MXNet作为实验框架，使用ILSVRC2012挑战赛上预训练好的卷积神经网络VGG16，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪。除最后一层外，全部参数保持不变，替换的最后一层网络权重初始化为[-0.07，0.07]的均匀分布，偏置则全部初始化为0，初始学习率设置为0.001，每10轮缩小10倍，采用5折交叉验证将数据集分为训练集和验证集，使用小批量随机梯度下降的方式训练，批量设置为64，5次实验后的均值作为模型的最终结果，并在公共数据集Twitter Image Dataset上验证了模型的性能；

步骤3：采用几种常见的扩充数据集方式对卷积神经网络进行训练，包括图像的裁剪、翻转以及图像的色相、亮度、饱和度以及对比度，裁剪时采取随机裁剪的方式但保留原图像至少70％的区域，同时高和宽的比例控制在[0.75，1.25]之间，翻转则是让每张图像以0.5的概率左右翻转，对于绘画图像的色相、亮度、饱和度以及对比度四个维度，每个维度做随机-50％～50％的增量，部分过采样示例如图3A-图3D，同样的，在Twitter ImageDataset上也进行了类似实验并进行了对比，最终选取对模型性能无副作用的过采样方式扩充数据，即裁剪+翻转的组合,配合增加或减小最大50％亮度、饱和度的变化进行过采样；

步骤4：将训练好的模型在Twitter Image Dataset上进行预训练，然后再将此模型用于民族绘画的情感分类问题上，以此模拟人类由浅入深的学习方式，图4表示了相关任务的预训练策略具体框架；

步骤5：改变微调的MXNet模型结构，用于提供模型学习情况的可解释性。将本实施例的方案的网络结构的前13个卷积层保留下来，除去Flatten以及后面的全连接网络，替换为三个卷积层：Conv14通道数4096、卷积核7×7，Conv15通道数4096、卷积核1×1，Conv16通道数2、卷积核1×1，卷积层之间保持原来0.5概率的Dropout不变，采用非线性函数ReLU(Rectified Linear Unit)作为激活函数，损失函数采用Softmax交叉熵损失，可视化网络结构如图5。按照步骤3的过采样方式、步骤4的相关任务的预训练策略重新训练该网络，将输入设置为448×448的图像，经过该网络之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合。部分结果见图6。

第二部分：

首先，针对基于眼部干扰消除的视频放大方法。针对云南省民族艺术绘画的情感分类问题，即绘画情感有大众化情感表示，设置了一系列实验并进行最终的性能分析，对比了几种常用的过采样方式对卷积神经网络在图像情感任务上性能的影响，包括民族艺术绘画图像数据和普通图片数据。为了验证本文方法的有效性，在Twitter Image Dataset上与目前最先进水平进行了性能比较，实验证明所采用模型的有效性。此外，发明人提出了一种相关任务的预训练策略，以提升模型在民族艺术绘画上的性能，并通过可视化的结构分析了模型学习的具体情况，对于指导绘画艺术有一定的促进作用。

第三部分：

本应用实施例采用对数据集进行整体准确率判定的方式来评价模型的最终性能，所有实验均进行5次得出平均值作为实验结果。

未采用过采样方式微调模型VGG16的结果见表1第二行。

表1微调模型VGG在民族绘画数据集上的性能

按照第一部分步骤2，发明人对比了通过对数据集进行裁剪、翻转，改变图像的色相、亮度、饱和度以及对比度这几种扩充数据集的方式在图像情感分类任务中对模型性能的影响。将未过采样训练模型的结果作为baseline，结果见表2。通过表2可以看出，采用裁剪+翻转的组合、亮度以及饱和度三种方式可以有效的提升卷积神经网络模型的性能，不仅仅精度提升，标准差也在合适的范围内，而适当的改变亮度对于网络性能的提升最为明显，对于色相以及对比度两项，会对模型的性能造成不好的效果。基于此，本应用实施例采用裁剪+翻转的组合，配合增加或减小最大50％亮度、饱和度的变化进行过采样微调MXNet，结果见表1第3行。

表2几种过采样方式在民族绘画数据集上的性能

为了验证模型在普通图像的情感分类任务是否遵循这一原则，同时也为了验证本方法模型的有效性，发明人在公开数据集Twitter Image Dataset上进行了实验，该数据集由普通图片构成，由亚马逊人工标注平台经5人标注，有3-agree、4-agree以及5-agree三个数据集，子集3-agree包含1269是经三人意见一致则视为该类别图片，4-agree则是由四人意见一致标记出的图片包含1115张图片，类似地，5-agree是由五人意见一致标记出的图片包含882张图片，依次是包含关系，数据标签也越来越准确。为了保证数据标签的准确性，发明人仅在5-agree数据集上进行了实验，以裁剪+翻转过采样的方式作为baseline，在此基础上分别对原图像亮度、色相、饱和度以及对比度随机增加或者减少0-50％，实验结果见表3。

表3几种过采样方式在TwitterImage Dataset数据集上的性能

通过实验发现，除了对图像进行色相的改变之外，其他扩充数据的方式均提升了模型对于图像情感识别任务的性能，这也证明了绘画图像的情感分类任务和普通图像的情感分类任务具有相似性，但不像普通的图像分类问题那样能照搬相同的训练策略。

为了验证这种扩充数据集方式的有效性，发明人对原图像进行裁剪、翻转，对原图像颜色的亮度、饱和度以及对比度进行改变，在Twitter Image Dataset上进行了测试，均采用5折交叉验证的方式将数据集分为训练集和测试集，并与目前最先进水平技术方案的结果进行对比，实验结果见表4。表中数据可以看出，本文模型的性能要优于前两者水平，当采用有效的过采样方式时，模型在图像情感分类任务上得到进一步提升，取得了超出目前最先进水平3.4％的提升。同时也说明，尽管某些过采样的方式被很多卷积神经网络模型证明是非常有效的，但针对不同的计算机视觉任务，还是需要有不同的过采样策略。

表4 TwitterImage数据集上的平均分类性能和标准差

为了尽可能的使预训练好的卷积神经网络模型不过多的将学习经验带入到解决新的复杂问题当中，本实施例中采用了相关任务的预训练策略，图3表示了具体方法。先对微调的MXNet模型在Twitter Image Dataset上进行训练，为进行实验结果的最终比较，分两组进行，第一组不使用过采样扩充数据集，第二组采用上述实验的过采样方法，即采用随机裁剪、翻转以及最大50％的增量改变图像亮度、饱和度以及对比度来扩充数据集进行过采样。两组实验采用相同的参数设置，批量设为64，采用随机梯度下降训练模型，引入动量法并初始化动量参数为0.9初始学习率设为0.01，每经过10次变为原来的0.1，总共训练50轮。将得到的模型再用于民族绘画情感识别任务，使用5折交叉验证将少数民族绘画数据集划分为训练集和测试集，对于第一组，不采用数据扩充，对于第二组，采用裁剪、翻转以及最大50％的增量改变图像亮度以及饱和度来扩充数据集进行过采样，同样保持两组实验参数不变，批量设为64，采用随机梯度下降训练模型，动量法初始化动量参数为0.9，初始学习率设为0.01，每经过15次变为原来的0.1，5折交叉验证结果的均值作为当次实验的结果，5次实验后的均值作为模型的最终结果，实验结果见表5，表1中微调MXNet的实验结果作为baseline。实验数据表明，这种策略对模型性能的提升要高于扩充数据集进行过采样训练模型的手段，同时，这种策略可以很好的结合过采样的方式，共同提升卷积神经网络的在具体任务上的性能。

表5相关任务预训练策略结果

预测任务的可视化。按照第一部分步骤5，得到一个全卷积网络，将输入设置为448×448的图像，经过该网络之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合，部分结果见图6。

从结果可以看出，模型能够对这些图像做出基本的判断，如图6第1、2、4幅画中对于面部把控和第1、2、5幅画中对于整体姿态的把控都基本符合尝试，而在绘画图像的情感预测任务上还达不到像素级别的分类，预测块以预测的区域的形式对原图像进行预测而不是单独的对每个像素进行识别，因为在训练过程中，由于找不到像素级别的标记，只能对原图像作为简单的二值分类任务进行预测，之后再将模型的输出采用邻近插值的方式变换原图大小。因此，模型基本还是从整体上对图像进行预测而不是像素级别的预测，这也解释了预测图从整体上的把控是比较符合预期这一结论。图中结果也可以看出模型对于细粒度的把控是远远不到位的，但也展示了模型学习的基本情况。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改，并能够在本发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (2)

1.一种基于深度学习的绘画情感分析方法，其特征在于，包括：

S1、构建绘画图像数据集：采用公共数据集和自建数据集构建绘画图像数据集，构建的绘画图像数据集中包含非绘画图像、绘画图像、积极情绪的图像和消极情绪的图像；

S2、预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；除最后一层外，全部参数保持不变，替换的最后一层网络权重初始化为[-0.07，0.07]的均匀分布，偏置则全部初始化为0，初始学习率设置为0.001，每10轮缩小10倍，采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果；

S3、对构建的绘画图像数据集进行扩充：采用过采样方式对构建的绘画图像数据集中的图片进行图片增广以扩充数据，随机裁剪但保留原图片至少70％区域，左右翻转，配合增加或减小最大50％亮度、饱和度的变化进行数据扩充；

S4、基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练；

S5、利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析。

2.如权利要求1所述的方法，其特征在于，S5步骤的实现过程为：

将输入设置为448×448的绘画图像，经过训练好的卷积神经网络VGG16模型之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合。