CN111612090B - 基于内容颜色交叉相关的图像情感分类方法 - Google Patents

Abstract

本发明公开了一种基于内容颜色交叉相关的图像情感分类方法，包括：利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征；对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征；将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果。该方法可以更好的进行情感分类，在观点挖掘，推荐系统，人机交互等领域和场景下有很多实际应用。

Description

基于内容颜色交叉相关的图像情感分类方法

技术领域

本发明涉及深度学习，计算机视觉以及情感分类领域，尤其涉及一种基于内容颜色交叉相关的图像情感分类方法。

背景技术

图像情感识别是计算机视觉领域一个特别重要的组成部分和研究领域。它的任务是对给定的图片进行情感分析，这在很多领域有着广泛的应用场景，比如观点挖掘，在线教育，推荐系统，在线社交等。

目前，关于图像情感分类的方法主要有以下方法：

1)基于手工特征的传统方法。

基于手工特征的传统方法主要通过人工设计一些与情感可能相关的特征，并在图片中提取这些特征，进而进行情感分类。常用的一些特征包括颜色特征，形状特征，纹理特征等。

2)基于深度学习的方法。

不同于基于手工特征的方法，近年来基于深度学习的方法一般通过使用在大规模图像分类数据集上(比如ImageNet)预训练好的卷积神经网络(CNN)来提取图像的特征，比如VGG，ResNet等网络。然后利用提取的特征进行图像情感

分类。

在实际场景应用中以及数据集中可以发现，颜色和内容似乎都对图像情感分类有着非常重要的影响。目前基于手工特征的浅度学习方法逐渐被深度学习方法(例如CNN)所替代，因为CNN网络被证实可以更有效地提取图像相关特征。然而，已有的方法大多都是直接使用在大规模图像分类数据集上预训练好的CNN来提取特征。由于预训练数据集的原因，这样的网络往往擅长对图像的内容特征进行提取，而忽略了颜色对图像情感分类的重要性，更没有考虑到内容和颜色之间的互影响性。

发明内容

本发明的目的是提供一种基于内容颜色交叉相关的图像情感分类方法，可以更好的进行情感分类，在观点挖掘，推荐系统，人机交互等领域和场景下有很多实际应用。

本发明的目的是通过以下技术方案实现的：

一种基于内容颜色交叉相关的图像情感分类方法，包括：

利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征；

对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征；

将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果。

由上述本发明提供的技术方案可以看出，通过卷积神经网络和颜色直方图，可以分别简单地提取出图像的内容特征与颜色特征。另外，通过交叉相关的方法，可以对内容特征与颜色特征进行优化再建模，相互进行信息增强，进而获得比较好的内容特征表征与颜色特征表征。最后通过加权和的方式将内容特征和颜色特征进行融合可以帮助模型更好地进行图像情感分类，并且可以增强图像分类的准确率与鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于内容颜色交叉相关的图像情感分类方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于内容颜色交叉相关的图像情感分类方法，如图1所示，其主要包括：

步骤1、利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征。

本发明实施例中，所述图像情感分类是指对于待分类图像I，预测对应的情感类别标签y＝[0,0,…,1,…,0]；标签y为向量，其长度为q，第k位为1，其它位都为0，表示待分类图像I的情感类别为k。

示例性的，如果采用二分类，则情感类别可以包括：positive(积极)，negative(消极)；如果采用把分类，则情感类别可以包括：amusement，excitement(兴奋)，contentment(满足)，awe(惊叹)，disgust(反感)，anger(愤怒)，fear(害怕)，sad(悲伤)。

1、提取内容特征。

本发明实施例中，使用训练过的卷积神经网络提取待分类图像I的内容特征s，示例性的，卷积神经网络可以采用ResNet50网络，将最后一个池化层(pooling layer)的结果作为内容特征s，形式化为：

本领域技术人员可以理解，内容特征就是指与图像内容(图像中的物体)有关。例如，卷积神经网络(CNN)可以提取出一幅图像中的内容特征，例如，老虎、或者小孩等。而老虎和小孩带来的情感则是不同的，老虎一般给人一种凶恶的不好的感觉，而小孩则会给人一种积极的可爱的感觉。

2、提取颜色特征。

受很多艺术家在图片中喜欢用颜色来表达自己的情感启发。通过调研发现，早期的心理学对此做了很多研究，列举部分调研发现：1)通过对四种主要颜色(红，黄，绿，蓝)对视觉情感的影响，发现长波颜色(红，黄)比短波颜色(绿，蓝)更容易激起人的注意力，带来积极影响。2)通过色彩亮度对图片情感影响的研究，发现两者之间的联系非常强，并且是高度重要的。

因此，本发明实施例中用颜色直方图提取图片中每个像素在R,G,B三个通道的亮度值分布，作为颜色特征，并在后续步骤中对这个特征进行进一步处理和增强。

本发明实施例中，使用颜色直方图提取待分类图像I的颜色特征h，示例性的，可以采用RGB空间作为图像的颜色特征空间，形式化为：

h＝ColorHistogram(I)

其中，ColorHistogram表示颜色直方图；

包括R,G,B三个颜色通道，分别代表图像中对应颜色通道的所有像素的亮度值的归一化的加权和；

本发明实施例中，进一步将颜色特征向量h转化为颜色特征矩阵H，以此来丰富颜色表征的情感信息，并为后续过程做准备，形式化表示为：

其中，

代表颜色嵌入矩阵，d是每种颜色通道(R,G,B)对应的维度，

表示元素级相乘。

步骤2、对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征。

在深度学习大流行之前，研究人员一般很简单地利用颜色直方图来提取颜色特征或者提取比如形状，纹理等手工设计的特征来进行情感分析。在最近几年，深度学习流行后，因为效果好，而且可以自动提取特征，因而一般都采用卷积神经网络(CNN)来提取图片特征。由于一般采用的卷积神经网络都是在物体分类识别数据集上预训练的，所以对内容特征提取的效果很好，比如可以认识到一张图像中是一个老虎，还是一个小朋友，但是由于颜色标签的缺少，很难捕获到颜色特征。

本发明实施例中的工作则是意识到了颜色和内容对图片情感都有很重要的影响，并且两者之间可能会相互影响，我们想利用这种关系进一步对两个特征进行相互增强，进而进行更好的情感分类。

本发明实施例中，通过序列卷积，使用颜色特征对内容特征进行信息增强，以及通过注意力机制，使用内容特征对颜色特征进行信息增强，优选实施方式如下：

1)通过序列卷积，使用颜色特征对内容特征进行信息增强，表示为：

其中，H为颜色特征h转化得到的颜色特征矩阵，通过平均池化avg(averagepooling)获得的结果记为

s为内容特征，N为向量

的长度，

为通过序列卷积操作后得到的内容特征，也即增强的内容特征，

为

中的第i个元素，s_i+j为s中的第i+j个元素，

为

中的第j个元素。

2)通过注意力机制，使用内容特征对颜色特征进行信息增强，表示为：

f(s,H_n)＝tanh(W_hH_n+W_ss)

其中，H为颜色特征h转化得到的颜色特征矩阵，H_n、H_m为H中的第n、第m个元素；α_n为通过注意力机制计算后的第n个向量的注意力权重，W_h和W_s为可训练的权重参数，s为内容特征；f(s,H_n)表示计算H中每个元素对s的重要性。

步骤3、将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果。

本发明实施例中，对于增强的内容特征

与增强的颜色特征

分别利用两个不同的多层感知器(MLP)，计算在所有情感类别上的概率分布：

示例性的，每个MLP含有两个带有Relu激活函数的隐层，和一个softmax输出层。

本领域技术人员可以理解，MLP的训练方式可通过常规深度学习的方式实现，故不再赘述。

本发明实例中，为了让模型的预测能力更具鲁棒性，对由增强的内容特征和情感特征分别计算得到的概率p^s、p^h进行融合，得到最终的概率分布向量p^c，可以形式化表示为：

p^c＝λ*p^s+(1-λ)*p^h

其中，λ∈[0,1]为超参数，其最优值由实验决定。

将最终的概率分布向量p^c中概率最高的标签，作为情感分类结果。

本发明实施例上述方案，针对一幅待分类的图像，通过卷积神经网络和颜色直方图，可以分别简单地提取出图像的内容特征与颜色特征。另外，通过交叉相关的方法，可以对内容特征与颜色特征进行优化再建模，相互进行信息增强，进而获得比较好的内容特征表征与颜色特征表征。最后通过加权和的方式将内容特征和颜色特征进行融合可以帮助模型更好地进行图像情感分类，并且可以增强图像分类的准确性与鲁棒性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于内容颜色交叉相关的图像情感分类方法，其特征在于，包括：

利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征；

对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征；

将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果；

所述利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征包括：

使用训练过的卷积神经网络提取待分类图像I的内容特征s，形式化为：

s＝ResNet(I)

其中，ResNet为训练过的卷积神经网络；

使用颜色直方图提取待分类图像I的颜色特征h，形式化为：

h＝ColorHistogram(I)

其中，ColorHistogram表示颜色直方图；

包括R，G，B三个颜色通道，分别代表图像中对应颜色通道的所有像素的亮度值的归一化的加权和；

再将颜色特征h转化为颜色特征矩阵H：

其中，

代表颜色嵌入矩阵，d是每种颜色通道对应的维度，

表示元素级相乘；

所述对提取的内容特征和颜色特征进行交叉相关，包括：通过序列卷积，使用颜色特征对内容特征进行信息增强，以及通过注意力机制，使用内容特征对颜色特征进行信息增强；

获得增强的内容特征的方式包括：

通过序列卷积，使用颜色特征对内容特征进行信息增强，表示为：

其中，H为颜色特征h转化得到的颜色特征矩阵，通过平均池化avg获得的结果记为

s为内容特征，N为向量

的长度，

为通过序列卷积操作后得到的内容特征，也即增强的内容特征，

为

中的第i个元素，s_i+j为s中的第i+j个元素，

为

中的第j个元素；

获得增强的颜色特征的方式包括：

通过注意力机制，使用内容特征对颜色特征进行信息增强，表示为：

f(s，H_n)＝tanh(W_hH_n+W_ss)

其中，H为颜色特征h转化得到的颜色特征矩阵，H_n、H_m为H中的第n、第m个元素；α_n为通过注意力机制计算后的第n个向量的注意力权重，W_h和W_s为可训练的权重参数，s为内容特征，f(s，H_n)表示计算H中每个元素对s的重要性。

2.根据权利要求1所述的一种基于内容颜色交叉相关的图像情感分类方法，其特征在于，所述图像情感分类是指对于待分类图像I，预测对应的情感类别标签y＝[0，0，...，1，...，0]；标签y为向量，其长度为q，第k位为1，其它位都为0，表示待分类图像I的情感类别为k。

3.根据权利要求1所述的一种基于内容颜色交叉相关的图像情感分类方法，其特征在于，所述将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，包括：

对于增强的内容特征

与增强的颜色特征

分别利用两个不同的多层感知器MLP，计算在所有情感类别上的概率分布：

将计算得到的概率分布进行融合：

p^c＝λ*p^s+(1-λ)*p^h

其中，λ∈[0，1]为超参数。

4.根据权利要求3所述的一种基于内容颜色交叉相关的图像情感分类方法，其特征在于，每个多层感知机包括：两个带有Relu激活函数的隐层，和一个softmax输出层。

Images