CN109086868B - 一种抽象图像情感识别方法 - Google Patents

Abstract

本发明公开一种抽象图像情感识别方法，包括以下步骤：使用自然图像数据集对卷积神经网络进行预训练；对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，计算抽象图像情感识别数据集中每个样本与自然图像情感识别数据集中各个样本的风格差异；选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型。相较于现有技术，本发明提高了识别准确率。

Description

一种抽象图像情感识别方法

技术领域

本发明涉及人工智能领域，具体涉及抽象图像情感识别方法。

背景技术

通过计算机自动识别绘画的情感语义具有重要的意义：一方面，博物馆不仅能够有效地管理海量的数据，也能减少领域专家的介入，从而节省人力物力；另一方面，用户能够快速地检索相关绘画作品，并将相同情感的作品联系起来，方便解读绘画的含义。与传统绘画不同的是，抽象艺术家直接用颜色，形状和纹理等视觉元素以“非具象”的方式表达情感：“艺术家试图在作品中仅表达内在真理，因此放弃对外部形式的所有考虑”。而如何弥合底层视觉元素与高层情感语义之间的鸿沟，成为抽象图像情感识别的一个研究难题。

传统的抽象图像情感识别方法大多将艺术理论和计算机视觉技术结合起来，使用人工设计的特征配合统计机器学习方法来识别抽象图像唤起的情感反应。但是与自然图像不同的是，由于抽象图像数据集的标注需要聘请高水平专家，以及设计专业的标注工具，从而导致了数据集中可用于训练的样本数量不足以充分训练深层的深度学习模型。且小样本数据集会导致深度学习模型出现严重的过拟合问题。

解决小样本数据集下深度学习对学习任务的过拟合问题是计算机视觉领域的一个研究热点。将从一项任务学到的知识应用于其他相关任务的迁移学习技术已被证明是有效的。在深度学习中，精调(Finetune)预先在ImageNet或Places等大规模自然图像数据集上训练的深度网络是学习特定的深度特征和缓解数据集小样本问题的常用策略，通常被认为是迁移学习技术在深度学习中的简单应用。然而，大规模自然图像数据集与抽象图像情感识别数据集的样本分布存在显著的不同，使用抽象图像情感识别数据集简单地精调预先在大规模自然图像数据集上训练的深度网络会导致负迁移问题，影响识别准确率。

鉴于此，确有必要对现有的抽象图像情感识别方法进行改进，以解决上述问题。

发明内容

本发明的主要目的在于提供一种抽象图像情感识别方法，以提高抽象图像情感识别的准确率。

为了实现上述目的，本发明提供一种抽象图像情感识别方法，包括以下步骤：

S1：使用自然图像数据集对卷积神经网络进行预训练；

S2：使用预训练后的卷积神经网络对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，并计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本的风格差异；

S3：根据所述抽象图像情感识别数据集中的风格特征，按风格差异递增的顺序动态地选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型。

进一步的，步骤S1具体包括如下步骤：

S11：构建卷积神经网络，并随机初始化网络参数，所述卷积神经网络包括若干层卷积模块和全连接层，每一层所述卷积模块由一层卷积层构成或者由一层卷积层和一层池化层组成。

S12：输入自然图像数据集至所述卷积神经网络进行前向传播，使用交叉熵损失函数计算预测标签与真实标签的概率分布的差异；

S13：使用Adam优化方法优化交叉熵损失函数，更新网络参数。

进一步的，所述卷积模块的层数为5层，所述全连接层的层数为3层。

进一步的，步骤S2具体包括如下步骤：

S21：将自然图像情感识别数据集和抽象图像情感识别数据集输入到预训练后的卷积神经网络中进行前向传播，得到对应所述自然图像情感识别数据集和所述抽象图像情感识别数据集的每个样本在所述卷积神经网络前L层卷积模块的输出集合F(F＝{F¹，F²，…F^L}),其中

为第l层卷积模块输出的特征图集合，D^l为特征图的个数，M^l＝(W^l×H^l)，W^l为特征图的宽度，H^l为特征图的高度；

S22：计算特征图集合F^l的Gram矩阵：

其中

为第l层特征图集合中第i个特征图与第j个特征图的内积，k为对应特征图的第k个元素，

S23：计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本间的风格差异，其公式如下：

其中

为所述抽象图像情感识别数据集的第m个样本，

为所述自然图像情感识别数据集的第n个样本。

进一步的，步骤S3具体包括如下步骤：

S31：为每个所述抽象图像情感识别数据集中的样本选取

个风格差异最小的所述自然图像情感识别数据集的样本；

S32：去除冗余样本，得到选择后的自然图像情感识别数据集子集；

S33：冻结步骤S21中预训练后的卷积神经网络前L层的卷积模块参数，以迁移自然图像分类任务的底层通用视觉特征的提取能力；

S34：将所述自然图像情感识别数据集子集输入至冻结后的所述卷积神经网络，在最后一层卷积模块之后构建全连接神经网络，形成自然图像情感识别模型。

S35：将抽象图像情感识别数据集输入至所述自然图像情感识别模型，共享卷积模块参数，以迁移自然图像情感识别任务的高层情感语义特征的提取能力，在最后一层卷积模块之后构建全连接神经网络，形成抽象图像情感识别模型；

S36：使用Adam优化方法对所述卷积神经网络的损失函数进行优化，以得到最终的抽象图像情感识别模型。

进一步的，所步骤S34和S35中的所述全连接神经网络由若干层随机权重初始化的全连接层组成。

进一步的，步骤S36具体包括以下步骤：

S361：对所述自然图像情感识别模型进行前向传播，得到第i个样本在第r次迭代时，第c个类别的预测概率

S362：对所述抽象图像情感识别模型进行前向传播，得到第i个样本在第r次迭代时，第c个类别的预测概率

S363：使用Adam优化方法对所述卷积神经网络的损失函数L进行优化，其公式如下：

L＝λL_t+(1-λ)L_s (5)

其中L_t和L_s分别为抽象图像情感识别任务和自然图像情感识别任务的交叉熵损失函数，N^t、C^t和

分别为所述抽象图像情感识别数据集的样本总数、类别总数和第i个样本的真实标签，N^s、C^s和

分别为所述自然图像情感识别数据集的样本总数、类别总数和第i个样本的真实标签，

的运算规则是：1{值为真的表达式}＝1，1{值为假的表达式}＝0，λ为系数；

S364：计算所述抽象图像情感识别数据集的信息熵，其公式如下：

其中

为所述抽象图像情感识别数据集中第i个样本在第r次迭代时的信息熵；

S365：根据信息熵增加与所述抽象图像情感识别数据集对应的所述自然图像情感识别数据集样本的数量，其公式如下：

其中

为所述抽象图像情感识别数据集中第i个样本的真实标签，

为第i个样本的预测标签，δ为预设阈值，σ₀和σ₁为预设的样本增加量；

S366：去除冗余样本，得到新的自然图像情感识别数据集子集

S367：循环进入步骤S361，直至迭代次数r达到预设迭代次数，此时停止选择样本。

进一步的，还包括步骤：

S368：利用选择后的自然图像情感识别数据集子集和抽象图像情感识别数据集继续使用Adam优化方法对步骤S363中的损失函数L进行优化，调整参数，直至得到最终的抽象图像情感识别模型。

进一步的，所述全连接神经网络由分别含有1024、1024、8个神经元的三层全连接层组成。

进一步的，所述自然图像情感识别数据集包括23308张图像，8个情感类别；所述抽象图像情感识别数据集包括210张抽象图像，8个情感类别。

本发明的有益效果包括：本发明通过迁移学习的方法，将大规模自然图像分类任务的底层通用视觉特征的学习能力和自然图像情感识别任务的高层情感语义特征的学习能力迁移到抽象图像情感识别任务中，从而解决抽象图像情感识别任务的小样本问题；另外，本发明通过提取自然图像情感识别数据集与抽象图像情感识别数据集的风格特征，并计算两种数据集之间风格特征的风格差异，从自然图像情感识别数据集选择一个与抽象图像情感识别数据集风格特征相似的子集进行迁移学习，从而缓解了负迁移的问题，提高了抽象图像情感识别的准确率。

附图说明

图1是本发明一较佳实施例的抽象图像情感识别方法的流程示意图。

图2是本发明一较佳实施例的预训练时的卷积神经网络的结构示意图。

图3是本发明一较佳实施例的两层迁移卷积神经网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述。

本发明提供了一种抽象图像情感识别方法，用以提高抽象图像情感识别的准确率。

如图1所示，为本发明的一较佳实施例，在本实施例中，所述抽象图像情感识别方法具体包括以下步骤：

S1：使用自然图像数据集对卷积神经网络进行预训练；

S2：使用预训练后的卷积神经网络对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，并计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本的风格差异；

S3：根据所述抽象图像情感识别数据集中的风格特征，按风格差异递增的顺序动态地选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型。

进一步的，步骤S1具体包括如下步骤：

S11：构建卷积神经网络，并随机初始化网络参数，所述卷积神经网络包括若干层卷积模块和全连接层，每一层所述卷积模块由一层卷积层构成或者由一层卷积层和一层池化层组成；

S12：输入自然图像数据集至所述卷积神经网络进行前向传播，使用交叉熵损失函数计算预测标签与真实标签的概率分布的差异，具体的，所述自然图像数据集为ImageNet2012数据集，包括一百二十万张图像以及1000个情感类别；

S13：使用Adam优化方法优化交叉熵损失函数，更新网络参数。

具体来讲，如图2所示，步骤S11中的所述卷积神经网络由5层卷积模块和3层全连接层组成，其中卷积模块1，2，5分别由一层卷积层和一层池化层组成，卷积模块3，4均由一层卷积层构成。

进一步的，步骤S2具体包括如下步骤：

S21：将自然图像情感识别数据集和抽象图像情感识别数据集输入到预训练后的卷积神经网络中进行前向传播，得到对应所述自然图像情感识别数据集和所述抽象图像情感识别数据集的每个样本在卷积神经网络前L层卷积模块的输出集合F(F＝{F¹，F²，…F^L}),其中

为第l层卷积模块输出的特征图集合，D^l为特征图的个数，M^l＝(W^l×H^l)，W^l为特征图的宽度，H^l为特征图的高度；

S22：计算特征图集合F^l的Gram矩阵：

其中

为第l层特征图集合中第i个特征图与第j个特征图的内积，k为对应特征图的第k个元素，

具体的，G¹∈r^256×256，G²∈R^384×384；

S23：计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中的各个样本间的风格差异，其公式如下：

其中，

为所述抽象图像情感识别数据集中的第m个样本，

为所述自然图像情感识别数据集的第n个样本。

具体来讲，步骤S21中，当L为2时，得到每个样本在卷积神经网络前2层卷积模块输出的特征图集合为F(F＝{F¹，F²})，其中

较佳的，F¹∈R^256×729，F²∈R^384×169。

所述自然图像情感识别数据集包括23308张图像，8个情感类别(愉悦、愤怒、敬畏、满足、厌恶、兴奋、恐惧、悲伤)，所述抽象图像情感识别数据集包括210张抽象图像，8个情感类别(愉悦、愤怒、敬畏、满足、厌恶、兴奋、恐惧、悲伤)。

进一步的，步骤S3具体包括如下步骤：

S31：为每个所述抽象图像情感识别数据集中的样本选取

个风格差异最小的所述自然图像情感识别数据集的样本；具体的，所述

S32；去除冗余样本，得到选择后的自然图像情感识别数据集子集；

S33；冻结预训练后的卷积神经网络前L层的卷积模块参数，以迁移自然图像分类任务的底层通用视觉特征的提取能力；

S34；将所述自然图像情感识别数据集输入至冻结后的所述卷积神经网络，在其最后一层卷积模块之后构建全连接神经网络，形成自然图像情感识别模型；所述全连接神经网络由若干层随机权重初始化的全连接层组成，具体的，所述全连接神经网络由分别含有1024、1024、8个神经元的三层全连接层组成；

S35：将所述抽象图像情感识别数据集输入至所述自然图像情感识别模型，共享卷积模块参数，以迁移自然图像情感识别任务的高层情感语义特征的提取能力，并在其最后一层卷积模块之后构建全连接神经网络，形成抽象图像情感识别模型；所述全连接神经网络由若干层随机权重初始化的全连接层组成，具体的，所述全连接神经网络由分别含有1024、1024、8个神经元的三层全连接层组成；

S36：使用Adam优化方法对卷积神经网络的损失函数进行优化，以得到最终的抽象图像情感识别模型。

进一步的，步骤S36具体包括以下步骤：

S361：对所述自然图像情感识别模型进行前向传播，得到第i个样本在第r次迭代时，第c个类别的预测概率

S362：对所述抽象图像情感识别模型进行前向传播，得到第i个样本在第r次迭代时，第c个类别的预测概率

S363：使用Adam优化方法对卷积神经网络的损失函数L进行优化，其公式如下：

L＝λL_t+(1-λ)L_s (5)

其中，L_t和L_s分别为抽象图像情感识别任务和自然图像情感识别任务的交叉熵损失函数，N^t、C^t和

分别为抽象图像情感识别数据集样本总数、类别总数和第i个样本的真实标签，N^s、C^s和

分别为自然图像情感识别数据集样本总数、类别总数和第i个样本的真实标签，

的运算规则是：1{值为真的表达式}＝1，1{值为假的表达式}＝0，λ为系数，具体的，

S364：计算所述抽象图像情感识别数据的信息熵，其公式如下：

其中，

为所述抽象图像情感识别数据集中第i个样本在第r次迭代时的信息熵；

S365：根据信息熵增加所述抽象图像情感数据集对应的所述自然图像情感识别数据集样本的数量，其公式如下：

其中，

为所述抽象图像情感识别数据集中第i个样本的真实标签，

为第i个样本的预测标签，δ为预设阈值，σ₀和σ₁为预设的样本增加量，具体的，δ＝0.1，

S366：去除冗余样本，得到新的自然图像情感识别数据集子集

S367：循环进入步骤S361，直至迭代次数r达到预设迭代次数，此时停止选择样本。该步骤中的“循环进入步骤S361”实质是从步骤S361到S366都要进行循环，具体的，当r＝5时停止选择样本。

进一步的，步骤S36还包括：

S368：继续使用Adam优化方法对步骤S363中的损失函数L进行优化，调整参数，直至得到最终的抽象图像情感识别模型。

综上所述，一方面，本发明通过迁移学习的方法，将大规模自然图像分类任务的底层通用视觉特征的学习能力和自然图像情感识别任务的高层情感语义特征的学习能力迁移到抽象图像情感识别任务中，从而解决抽象图像情感识别任务的小样本问题。

另一方面，本发明通过提取图像情感识别数据集与抽象图像情感识别数据集的风格特征，并计算两种数据集之间风格特征的风格差异，从自然图像情感识别数据集选择一个与抽象图像情感识别数据集的风格特征相似的子集进行迁移学习，从而缓解了负迁移的问题，提高了识别准确率。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种抽象图像情感识别方法，其特征在于：包括以下步骤：

S1：使用自然图像数据集对卷积神经网络进行预训练；

S2：使用预训练后的卷积神经网络对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，并计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本的风格差异；

S3：根据所述抽象图像情感识别数据集中的风格特征，按风格差异递增的顺序动态地选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型；

步骤S3具体包括如下步骤：

S31：为每个所述抽象图像情感识别数据集中的样本选取

个风格差异最小的所述自然图像情感识别数据集的样本；

S32：去除冗余样本，得到选择后的自然图像情感识别数据集子集；

S33：冻结步骤S21中预训练后的卷积神经网络前L层的卷积模块参数，以迁移自然图像分类任务的底层通用视觉特征的提取能力；

S34：将所述自然图像情感识别数据集子集输入至冻结后的所述卷积神经网络，在最后一层卷积模块之后构建全连接神经网络，形成自然图像情感识别模型；

S35：将所述抽象图像情感识别数据集输入至所述自然图像情感识别模型，共享卷积模块参数，以迁移自然图像情感识别任务的高层情感语义特征的提取能力，在最后一层卷积模块之后构建全连接神经网络，形成抽象图像情感识别模型；

S36：使用Adam优化方法对所述卷积神经网络的损失函数进行优化，以得到最终的抽象图像情感识别模型。

2.如权利要求1所述的抽象图像情感识别方法，其特征在于：步骤S1具体包括如下步骤：

S11：构建卷积神经网络，并随机初始化网络参数，所述卷积神经网络包括若干层卷积模块和全连接层，每一层所述卷积模块由一层卷积层构成或者由一层卷积层和一层池化层组成；

S12：输入自然图像数据集至所述卷积神经网络进行前向传播，使用交叉熵损失函数计算预测标签与真实标签的概率分布的差异；

S13：使用Adam优化方法优化交叉熵损失函数，更新网络参数。

3.如权利要求2所述的抽象图像情感识别方法，其特征在于：所述卷积模块的层数为5层，所述全连接层的层数为3层。

4.如权利要求2所述的抽象图像情感识别方法，其特征在于，步骤S2具体包括如下步骤：

S21：将自然图像情感识别数据集和抽象图像情感识别数据集输入到预训练后的卷积神经网络中进行前向传播，得到对应所述自然图像情感识别数据集和所述抽象图像情感识别数据集的每个样本在所述卷积神经网络前L层卷积模块的输出集合F＝{F¹,F²,…F^L}，其中

0＜l≤L，为第l层卷积模块输出的特征图集合，D^l为特征图的个数，M^l＝(W^l×H^l)，W^l为特征图的宽度，H^l为特征图的高度；

S22：计算特征图集合F^l的Gram矩阵：

其中，

为第l层特征图集合中第i个特征图与第j个特征图的内积，k为对应特征图的第k个元素，

S23：计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本间的风格差异，其公式如下：

其中，

为所述抽象图像情感识别数据集的第m个样本，

为所述自然图像情感识别数据集的第n个样本；

为抽象图像情感识别数据集的第l层特征图集合中第i个特征图与第j个特征图的内积，

为自然图像情感识别数据集的第l层特征图集合中第i个特征图与第j个特征图的内积。

5.如权利要求1所述的抽象图像情感识别方法，其特征在于：步骤S34和S35中的所述全连接神经网络由若干层随机权重初始化的全连接层组成。

6.如权利要求1所述的抽象图像情感识别方法，其特征在于：步骤S36具体包括以下步骤：

S361：对所述自然图像情感识别模型进行前向传播，得到第i个样本在r第次迭代时，第c个类别的预测概率

S362：对所述抽象图像情感识别模型进行前向传播，得到第i个样本在第r次迭代时，第c个类别的预测概率

S363：使用Adam优化方法对所述卷积神经网络的损失函数L进行优化，其公式如下：

L＝λL_t+(1-λ)L_s (5)

其中L_t和L_s分别为抽象图像情感识别任务和自然图像情感识别任务的交叉熵损失函数，N^t、C^t和

分别为所述抽象图像情感识别数据集的样本总数、类别总数和第i个样本的真实标签，N^t、C^s和

分别为所述自然图像情感识别数据集的样本总数、类别总数和第i个样本的真实标签，

的运算规则是：1{值为真的表达式}＝1，1{值为假的表达式}＝0，λ为系数；

S364：计算所述抽象图像情感识别数据集的信息熵，其公式如下：

其中

为所述抽象图像情感识别数据集中第i个样本在第r次迭代时的信息熵；

S365：根据信息熵增加与所述抽象图像情感识别数据集对应的所述自然图像情感识别数据集样本的数量，其公式如下：

其中，

为所述抽象图像情感识别数据集中第i个样本的真实标签，

为第i个样本的预测标签，δ为预设阈值，σ₀和σ₁为预设的样本增加量；

S366：去除冗余样本，得到新的自然图像情感识别数据集子集；

S367：循环进入步骤S361，直至迭代次数r达到预设迭代次数，此时停止选择样本。

7.如权利要求6所述的抽象图像情感识别方法，其特征在于，还包括步骤：

S368：利用选择后的自然图像情感识别数据集子集和抽象图像情感识别数据集继续使用Adam优化方法对步骤S363中的损失函数L进行优化，调整参数，直至得到最终的抽象图像情感识别模型。

8.如权利要求5所述的抽象图像情感识别方法，其特征在于：所述全连接神经网络由分别含有1024、1024、8个神经元的三层全连接层组成。

9.如权利要求1所述的抽象图像情感识别方法，其特征在于：所述自然图像情感识别数据集包括23308张图像，8个情感类别；所述抽象图像情感识别数据集包括210张抽象图像，8个情感类别。

Images