CN114201960A - 一种基于情感属性挖掘的图像情感分析方法 - Google Patents

Abstract

本发明属于图像内容分析领域，公开了一种基于情感属性挖掘的图像情感分析方法，利用用户元数据信息挖掘，构建语义覆盖面大、情感可判别能力强的情感属性子集，并采用融合神经网络和矩阵分解模型预测标签矩阵，提升图像情感分析结果的准确性与稳定性。根据用户标签元信息和情感属性的特点，融合四种情感属性特性并优化概念选择模型完成情感属性子集选择；利用卷积神经网络提取视觉特征并通过视觉内容一致性优化；构建引入外界知识库指导的邻接图并通过语义关联性优化；将图像视觉特征和标签语义特征映射到潜在共享空间中，实现预测标签矩阵的重构；最后，利用训练好的重构模型来重构预测标签矩阵，并使用线性分类器进行最终的情感识别。

Description

一种基于情感属性挖掘的图像情感分析方法

技术领域

本发明涉及图像内容分析领域，尤其涉及一种基于情感属性挖掘的图像情感分析方法。

背景技术

情感一直以来都是人们适应生存的心理工具，随着信息科学技术与数字媒体科技的蓬勃发展，每天有数以万计的电子信息数据在互联网上传播，越来越多的人会在互联网上通过各种形式表达个人意见与情感倾向，图像逐渐成为互联网用户进行自我情感表达的重要媒介。对图像内容进行分析使抽象的事物具象化，这不仅能作为以用户情感为导向的图像检索和推荐系统的辅助动力；还可以结合大数据与反馈机制，为产品设计在作品创作方面提供辅助决策的方案；更能进行自动化的具体实时的舆情分析以及自动甄别有问题的信息。因此，如何进行图像情感分析已在近年来成为学术界和工业界共同关注的研究热点问题。

虽然目前图像情感识别研究的成果颇为丰富，但仍存在不少技术上的弊端：

其一，多数研究采用经验学习方法，需要大量的、多样的训练数据，存在效率低、过程不可解释、小规模任务上效果差等问题；其二，缺少能够有效地减小图像特征与情感语义之间语义鸿沟的中层语义表示，难以处理图像情感语义映射关系之间的复杂性，在细粒度层次的情感识别任务上表现并不优越；其三，多数研究使用监督学习的方法，需要手动对数据进行标注，数据集获取的工程量巨大；其四，使用互联网用户图像及用户标签的研究中，用户提供的标签信息通常不能满足对视觉内容描述的高质量标准，存在一定的错误和缺失。

发明内容

针对现有图像情感内容分析技术上存在的上述缺陷，本发明提出一种基于情感属性挖掘的图像情感分析方法。该方法定义情感属性为一组在图像情感传递中有贡献作用的视觉概念，利用用户元数据信息挖掘，构建了一个概念选择模型，通过带约束的二次线性优化方法实现从用户生成的标签集合中选择情感属性，进一步采用融合神经网络获取视觉因子矩阵和语义因子矩阵，结合矩阵分解模型构建潜在共享空间，从而重构预测标签矩阵，该方法能够有效提升图像情感分析结果的准确性与稳定性。

为达到上述目标，本发明采用如下技术方案：

一种基于情感属性挖掘的图像情感分析方法，包括以下步骤：

步骤1：根据用户标签和情感属性的特点，构建一个融合了四种情感属性特性的概念选择模型，训练该模型完成情感属性子集选择。

步骤2：利用卷积神经网络提取视觉特征，通过转换矩阵映射到潜在共享空间获取了视觉因子矩阵，并通过视觉内容一致性进行了优化。

步骤3：构建引入外界知识库指导的邻接图，利用图卷积网络获取了语义因子矩阵，并通过语义关联性进行了优化。

步骤4：通过非线性度量方式探索视觉因子矩阵与语义因子矩阵之间的相关性，构建预测标签矩阵的重构模型并训练该模型。

步骤5：采用训练好的重构模型来进行预测标签矩阵的重构，并使用线性分类器进行最终的情感识别。

优选地，所述步骤1中构建融合了四种情感属性特性的概念选择模型并获得情感属性子集的方法，定义情感属性为一组在图像认知层语义部分对情感传递有明显贡献的视觉语义概念，四种情感属性特性为语义可建模性、情感可判别性、语义覆盖性和有限性，其具体定义和计算方式为：

1)语义可建模性，利用信息熵的计算方式，将簇内差异性作为每个簇的概率权重，加以簇间差异性对概念的图像簇信息熵进行放大，计算语义可建模性，具体计算规则如下：

其中，ic_k为概念c的第k个图像簇，p(ic_k)为簇内图像数量与整个代表图像数量之比，intra_ds(IC)为簇内差异，inter_ds(IC)为簇间差异；

2)情感可判别性，利用贝叶斯定理分析每个概念与情感之间的关系，获得概念在每类情感图像中的分布，计算情感可判别性，具体计算规则如下：

其中，p(c|e)为情感类别e下概念c的条件概率，p(e)为情感类别的先验概率，通过所属类别e的图像个数和总图像数量之比计算，p(e|c)为概念c对情感e的区分能力；

3)语义覆盖性，基于互信息计算语义覆盖性，具体计算规则如下：

其中c_i和c_j分别为概念空间和所选情感属性集合的第i和第j个概念；

4)有限性，通过集合大小的倒数计算有限性，具体计算规则如下：

5)把目标函数转化成带有约束项的最大优化问题，并通过矩阵形式变形成二次规划问题，其主要计算规则如下：

min_ss^TAs,s.t.0≤s≤1,1^Ts＝m

其中，U_s为对角矩阵，其元素u_ii＝SM(c_i)，W_s为对角矩阵，其元素w_ii＝DE(c_i)，V_s为对称矩阵，其元素v_ij＝SC(c_i,c_j)，s_i∈{1,0}表示概念c_i是否被选择作为情感属性进入Θ，A＝-{αU_s+βW_s+(1-α-β)(D^V-V_s)}，D^V为对角矩阵，其元素

1为全1向量，α，β为分配权重。

优选地，所述步骤2中的基于卷积神经网络的视觉因子矩阵学习方法，基于K最近邻方法，构造视觉相似图Q^U，并基于局部几何结构约束了视觉内容，其主要计算规则如下：

其中，σ为带宽参数，

为一个对角矩阵，

为视觉内容一致性约束项。

优选地，所述步骤3具体包含：

1)对统计邻接图A^S和知识邻接图A^K进行矩阵归一化分别得到

和

结合后获得用户标签的邻接图A，并通过阈值τ_r来抑制多余的边界生成，具体计算规则如下：

其中，η是分配权重，i，j为标签索引，归一化操作为

2)基于K最近邻方法，构造语义相似图Q^V，并基于局部几何结构约束了语义内容，其主要计算规则如下：

其中，

是一个对角矩阵，

为视觉内容一致性约束项。

优选地，通过非线性度量方式探索图像和标签信息构成的因子矩阵之间的相关性的预测标签矩阵重构方法，所述步骤4具体包含：

1)融合在稀疏噪声约束、视觉因子矩阵获取和语义因子矩阵获取三部分，计算损失函数，其主要计算规则如下：

其中，α₁，β₁，β₂，λ₁，λ₂是分配权重，P为预测标签矩阵，G为用户标签矩阵，W_U为视觉转换矩阵，S为视觉特征矩阵，V为语义因子矩阵，W_V为语义转换矩阵；

2)通过引入辅助矩阵

转化并简化目标函数，其主要计算规则如下：

其中，P^*＝2U^TV-1，

sgn(·)函数对正值输出+1，负值输出-1。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1、本发明基于多特性建模，使情感特征集合兼具语义可建模、情感可判别、语义覆盖大、数目有限的优点；

2、本发明基于用户元数据信息进行情感挖掘，解决了目前针对图像情感分析定义的中层语义概念所存在的弊端，得到的中层语义概念语义覆盖面大、情感可判别能力强；

3、本发明利用用户生成的图像及关联标签进行预测，降低了计算机视觉中监督学习方法获取数据的代价；

4、本发明提出了基于图卷积网络的语义因子矩阵的学习方法，通过引入外界知识库指导邻接图的构建，削弱了标签之间的噪声关联信息带来的负面影响，得到准确性更高的预测标签矩阵；

5、本发明通过融合神经网络和矩阵分解模型最大限度发挥了矩阵分解算法的灵活性，有效提升了图像情感分析结果的准确性与稳定性。

附图说明

图1是本发明提供的一种基于情感属性挖掘的图像情感分析方法的流程图。

图2是本发明提供的一种融合神经网络与矩阵分解模型预测标签矩阵的框架图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明作进一步的详细说明。

实施例一

一种基于情感属性挖掘的图像情感分析方法，利用用户元数据信息挖掘构建了一个概念选择模型实现情感属性的选择，进一步提出融合神经网络与矩阵分解模型实现基于用户标注的图像标签预测，操作步骤如下：

步骤1：根据用户标签和情感属性的特点，构建一个融合了四种情感属性特性的概念选择模型，训练该模型完成情感属性子集选择；

步骤2：利用卷积神经网络提取视觉特征，通过转换矩阵映射到潜在共享空间获取了视觉因子矩阵，并通过视觉内容一致性进行了优化；

步骤3：构建引入外界知识库指导的邻接图，利用图卷积网络获取了语义因子矩阵，并通过语义关联性进行了优化；

步骤4：通过非线性度量方式探索视觉因子矩阵与语义因子矩阵之间的相关性，构建预测标签矩阵的重构模型；

步骤5：采用训练好的重构模型来进行预测标签矩阵的重构，并使用线性分类器进行最终的情感识别。

本实施例基于情感属性挖掘的图像情感分析方法，定义情感属性的概念，利用用户信息挖掘，构建了一个概念选择模型，实现选择情感属性，进一步采用融合神经网络获取视觉因子矩阵和语义因子矩阵，结合矩阵分解模型，重构预测标签矩阵，本实施例方法能够有效提升图像情感分析结果的准确性与稳定性。

实施例二：

本实施例与上述实施例基本相同，特别之处在于：

在本实施例中，所述步骤1中构建融合了四种情感属性特性的概念选择模型并获得情感属性子集的方法，定义情感属性为一组在图像认知层语义部分对情感传递有明显贡献的视觉语义概念，四种情感属性特性为语义可建模性、情感可判别性、语义覆盖性和有限性，其具体定义和计算方式为：

1)语义可建模性，利用信息熵的计算方式，将簇内差异性作为每个簇的概率权重，加以簇间差异性对概念的图像簇信息熵进行放大，计算语义可建模性，具体计算规则如下：

其中，ic_k为概念c的第k个图像簇，p(ic_k)为簇内图像数量与整个代表图像数量之比，intra_ds(IC)为簇内差异，inter_ds(IC)为簇间差异；

2)情感可判别性，利用贝叶斯定理分析每个概念与情感之间的关系，获得概念在每类情感图像中的分布，计算情感可判别性，具体计算规则如下：

其中，p(c|e)为情感类别e下概念c的条件概率，p(e)为情感类别的先验概率，通过所属类别e的图像个数和总图像数量之比计算，p(e|c)为概念c对情感e的区分能力；

3)语义覆盖性，基于互信息计算语义覆盖性，具体计算规则如下：

其中c_i和c_j分别为概念空间和所选情感属性集合的第i和第j个概念；

4)有限性，通过集合大小的倒数计算有限性，具体计算规则如下：

5)把目标函数转化成带有约束项的最大优化问题，并通过矩阵形式变形成二次规划问题，其主要计算规则如下：

min_ss^TAs,s.t.0≤s≤1,1^Ts＝m

其中，U_s为对角矩阵，其元素u_ii＝SM(c_i)，W_s为对角矩阵，其元素w_ii＝DE(c_i)，V_s为对称矩阵，其元素v_ij＝SC(c_i,c_j)，s_i∈{1,0}表示概念c_i是否被选择作为情感属性进入Θ，A＝-{αU_s+βW_s+(1-α-β)(D^V-V_s)}，D^V为对角矩阵，其元素

1为全1向量，α，β为分配权重。

在本实施例中，所述步骤2中的基于卷积神经网络的视觉因子矩阵学习方法，基于K最近邻方法，构造视觉相似图Q^U，并基于局部几何结构约束了视觉内容，其主要计算规则如下：

其中，σ为带宽参数，

为一个对角矩阵，

为视觉内容一致性约束项。

在本实施例中，所述步骤3具体包含：

1)对统计邻接图A^S和知识邻接图A^K进行矩阵归一化分别得到

和

结合后获得用户标签的邻接图A，并通过阈值τ_r来抑制多余的边界生成，具体计算规则如下：

其中，η是分配权重，i，j为标签索引，归一化操作为

2)基于K最近邻方法，构造语义相似图Q^V，并基于局部几何结构约束了语义内容，其主要计算规则如下：

其中，

是一个对角矩阵，

为视觉内容一致性约束项。

在本实施例中，通过非线性度量方式探索图像和标签信息构成的因子矩阵之间的相关性的预测标签矩阵重构方法，所述步骤4具体包含：

1)融合在稀疏噪声约束、视觉因子矩阵获取和语义因子矩阵获取三部分，计算损失函数，其主要计算规则如下：

其中，α₁，β₁，β₂，λ₁，λ₂是分配权重，P为预测标签矩阵，G为用户标签矩阵，W_U为视觉转换矩阵，S为视觉特征矩阵，V为语义因子矩阵，W_V为语义转换矩阵；

2)通过引入辅助矩阵

转化并简化目标函数，其主要计算规则如下：

其中，P^*＝2U^TV-1，

sgn(·)函数对正值输出+1，负值输出-1。

本实施例基于情感属性挖掘的图像情感分析方法，定义情感属性为一组在图像情感传递中有贡献作用的视觉概念，利用用户元数据信息挖掘，构建了一个概念选择模型，通过带约束的二次线性优化方法实现从用户生成的标签集合中选择情感属性，进一步采用融合神经网络获取视觉因子矩阵和语义因子矩阵，结合矩阵分解模型构建潜在共享空间，从而重构预测标签矩阵，该方法能够有效提升图像情感分析结果的准确性与稳定性。

实施例三：

本实施例与上述实施例基本相同，特别之处在于：

图1展示了本发明公开的一种基于情感属性挖掘的图像情感分析方法的流程图，如图1所示，该方法包括以下步骤：

步骤1：根据用户标签和情感属性的特点，构建一个融合了四种情感属性特性的概念选择模型，训练该模型完成情感属性子集选择，具体包含以下步骤：

1)通过每个概念的关联图像簇的簇内视觉差异和簇间视觉差异，计算语义可建模性，具体步骤如下：

1-1)对于概念集合C中的每个概念c，通过图像的关联标签特征集合

计算c与第i_image张图像的语义相似度。计算概念c与第i_image张图像的语义相似度得分

计算公式如下：

其中，d(·)计算输入向量之间的余弦相似度，

是第t_image张图像的关联标签集合。根据计算得到的语义相似度得分，选取语义相似度最高的前K张图像，作为每个概念的代表图像集合。

1-2)预先定义图像簇个数为k_c，基于图像特征之间的相似度通过K-means聚类得到包含k_c个图像簇的图像集合IC，舍弃包含图像个数低于阈值的图像簇，最终得到每个概念的图像集合包含的图像簇个数为|IC|，通过每个簇中图像之间的视觉特征距离计算每个图像簇的簇内视觉差异intra_ds(ic_k)，计算过程如下：

其中，ic_k为概念c的第k个图像簇，

计算簇内第i_image个和第j_image个图像特征的余弦距离。

1-3)通过对簇内图像特征进行平均池化操作得到

它是第k个图像簇中所有视觉特征的平均向量，计算图像簇集合中两两簇的平均视觉特征的余弦距离获得簇间差异inter_ds(IC)。计算过程如下：

1-4)基于信息熵的计算方式，将簇内差异性作为每个簇的概率权重，加以簇间差异性对概念的图像簇信息熵进行放大，计算最终的语义可建模性，计算过程如下：

其中，p(ic_k)为簇内图像数量与整个代表图像数量之比。

1-5)计算所选概念的语义可建模性总和，得到情感属性集合的语义可建模性结果，计算过程如下：

2)利用贝叶斯定理分析每个概念与情感之间的关系，获得概念在每类情感图像中的分布，计算情感可判别性，具体步骤如下：

2-1)计算在情感类别e下概念c的条件概率p(c|e)，计算过程如下：

其中，

表示属于情感类别e的图像数目，

表示关联用户标签具有概念c且属于情感类别e的图像总数。

2-2)计算每个概念的分布p(c)，计算过程如下：

2-3)基于贝叶斯定理，计算已知存在概念c的情况下，此图像的情感分类为e的概率p(e|c)，计算过程如下：

其中，情感类别的先验概率p(e)为所属类别e的图像个数和总图像数量之比，p(e|c)代表了概念c对情感e的区分能力。

2-4)基于信息熵，计算最终的情感可判别性得分ED(c)，计算过程如下：

2-5)计算所选概念的情感可判别性得分总和，得到情感属性集合的情感可判别性得分，计算过程如下：

3)基于互信息计算语义覆盖性。为了避免重复和相近标签对图像情感分析产生冗余特征，并且使情感属性集合能够尽可能覆盖整个语义概念空间，所选情感属性中的概念在语义上应具有较低的关联性，即语义覆盖性。计算过程如下：

其中c_i和c_j分别为概念空间和所选情感属性集合的第i和第j个概念。

4)计算有限性。为了避免给情感识别任务造成维度灾难，需要限定情感属性的数目，有限性得分通过集合大小来表示，集合所包含的概念数目越多，其有限性得分越低。情感属性集合的有限性得分L(Θ)计算过程如下：

5)融合四种情感属性特性计算式，将概念选择模型的优化目标转化为二次规划问题，求解此二次规划问题，得到情感属性子集，具体步骤如下：

5-1)添加权重项融合四种情感属性特性计算式，得到的结果是概念选择模型的优化目标，结果如下：

max_Θ{αSM(Θ)+βDE(Θ)+γSC(Θ；C)+(1-α-β-γ)L(Θ)}

其中α，β，γ为用来平衡四种特性的权重分配参数。

5-2)通过将目标情感属性子集大小|Θ|固定为常量m，把目标函数转化成带有约束项的最大优化问题。定义对角矩阵U_s和元素u_ii＝SM(c_i)，对角矩阵W_s和元素w_ii＝DE(c_i)，对称矩阵V_s和元素v_ij＝SC(c_i,c_j)，以及向量s，其中，s_i∈{1,0}表示概念c_i是否被选择作为情感属性进入Θ，根据以上定义，将优化问题转为下式：

5-3)通过将优化问题转化为矩阵形式，获得一个二次规划问题，具体结果如下：

min_ss^TAs,s.t.0≤s≤1,1^Ts＝m

其中A＝-{αU_s+βW_s+(1-α-β)(D^V-V_s)}，D^V为对角矩阵，其元素

1为全1向量。

5-4)求解此二次规划问题，得到向量s，选取所对应s得分最高的m个概念组成情感属性子集。

步骤2：利用卷积神经网络提取视觉特征，通过转换矩阵映射到潜在共享空间获取了视觉因子矩阵，并通过视觉内容一致性进行了优化，图2展示了本发明提供的融合神经网络与矩阵分解模型预测标签矩阵的框架图，其中视觉特征部分展示了本发明提供的基于卷积神经网络的视觉因子矩阵学习方法的流程。

下面结合图2做更为具体的说明：

1)对于输入图像矩阵X，利用卷积神经网络模型f(·)，得到视觉特征矩阵S＝f(X)，利用视觉转换矩阵W_U，将视觉特征矩阵S映射到潜在共享空间获得视觉因子矩阵U，计算方式如下：

U＝W_US

2)优化视觉因子矩阵，通过视觉内容一致性约束了视觉因子向量。

2-1)基于K最近邻方法，构造视觉相似图Q^U，计算过程如下：

其中，σ为带宽参数。

2-2)优化视觉因子矩阵，基于局部几何结构约束，计算视觉内容一致性约束项，计算过程如下：

其中，

是一个对角矩阵，

将上式转化为矩阵形式，可得式：

其中，

是视觉相似图的图拉普拉斯矩阵，定义为

D表示

的度矩阵。

步骤3：构建引入外界知识库指导的邻接图，利用图卷积网络获取了语义因子矩阵，并通过语义关联性进行了优化，图2展示了本发明提供的融合神经网络与矩阵分解模型预测标签矩阵的框架图，其中语义特征部分展示了本发明提供的基于图卷积网络的语义因子矩阵学习方法的流程。

下面结合图2做更为具体的说明：

1)结合统计邻接图和知识邻接图，构建引入外界知识库指导的邻接图，具体步骤如下：

1-1)计算给定图像数据集中用户标签的共现信息来构建统计邻接图

使用阈值τ_s对噪声边缘进行过滤，构建统计邻接图，构建过程如下：

其中，P(c_j|c_i)为给定标签c_i时标签c_j出现的条件概率。对统计邻接图中的元素进行调整，避免图卷积网络产生的过度平滑问题，计算过程如下：

其中，ρ是分配权重。

1-2)通过提取ConceptNet中的关联知识来构建知识邻接图

构建过程如下：

其中，R_ij代表两个标签所位于ConceptNet的单词顶点之间构成的关联关系，w为关联权重。

1-3)对统计邻接图A^S和知识邻接图A^K进行矩阵归一化分别得到

和

归一化操作为

对统计邻接图和知识邻接图基于权重η进行加和，得到用户标签的邻接图A，计算过程如下：

通过阈值τ_r来抑制多余的边界生成，计算过程如下：

1-4)将上述获得用户标签的邻接图A与标签特征矩阵T作为GCN模型的输入，经过多层图卷积操作获得最终的标签语义特征矩阵

其计算形式如下：

其中，θ_g为图卷积网络参数，h(·)为图卷积操作。

2)通过一个语义转换矩阵W_V将图卷积网络的输出节点特征Z映射到潜在共享空间获得语义因子矩阵V：

V＝W_VZ^T

3)优化语义因子矩阵，通过语义关联性约束了语义因子向量，具体步骤如下：

3-1)基于K最近邻方法，构造语义相似图Q^V，其表现形式为：

其中，σ为带宽参数。

3-2)基于局部几何结构约束，计算语义内容一致性约束项，计算过程如下：

其中，

是一个对角矩阵，

将上式转化为矩阵形式，可得式：

其中，

是语义相似图的图拉普拉斯矩阵，定义为

D表示

的度矩阵。

步骤4：通过非线性度量方式探索视觉因子矩阵与语义因子矩阵之间的相关性，构建预测标签矩阵的重构模型并训练该模型。具体地，通过视觉内容一致性约束和语义关联性约束对重构模型进行优化，图2的融合部分展示了本发明提供的基于矩阵分解模型的预测标签矩阵重构技术的流程图。

下面结合图2做更为具体的说明：

1)构建模型的目标函数，该模型通过两个因子矩阵重构出原始矩阵，目标函数如下：

其中P是预测标签矩阵。

2)通过损失函数

优化模型，具体步骤如下：

2-1)通过给定的用户标签矩阵G经过噪声标签矩阵E相减，获得预测标签矩阵P＝G-E，优化的计算过程如下：

2-2)融合在稀疏噪声约束、视觉因子矩阵获取和语义因子矩阵获取三部分，计算损失函数，计算过程如下：

其中，α₁，β₁，β₂，λ₁，λ₂是分配权重。

2-3)使用迭代优化算法，通过更新一个变量并固定其他变量来实现每个变量的梯度更新。对于视觉特征到潜在共享空间的视觉转换矩阵W_U，计算每次更新的梯度的过程如下：

其中，η为学习率。对于语义特征到潜在共享空间的语义转换矩阵W_V，计算每次更新的梯度的过程如下：

通过两个更新的梯度结果，对P值进行更新。

2-4)通过引入辅助矩阵

转化目标函数来求得上述问题的闭式解，转化过程如下：

其中P^*＝2U^TV-1，

通过数学推导简化目标函数，简化过程如下：

其中，sgn(·)函数对正值输出+1，负值输出-1。

3)训练重构模型，基于训练好的模型可得预测标签矩阵P，并以得分前5的元素所对应的标签作为每个图像样本的预测标签。

步骤5：对于测试样本，采用训练好的重构模型来进行预测标签矩阵的重构，并使用线性分类器进行最终的情感识别。

上述实施例基于情感属性挖掘的图像情感分析方法，利用用户元数据信息挖掘，构建语义覆盖面大、情感可判别能力强的情感属性子集，并采用融合神经网络和矩阵分解模型预测标签矩阵，提升图像情感分析结果的准确性与稳定性。根据用户标签元信息和情感属性的特点，融合四种情感属性特性并优化概念选择模型完成情感属性子集选择；利用卷积神经网络提取视觉特征并通过视觉内容一致性优化；构建引入外界知识库指导的邻接图并通过语义关联性优化；将图像视觉特征和标签语义特征映射到潜在共享空间中，实现预测标签矩阵的重构；最后，利用训练好的重构模型来重构预测标签矩阵，并使用线性分类器进行最终的情感识别。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (5)

1.一种基于情感属性挖掘的图像情感分析方法，利用用户元数据信息挖掘构建了一个概念选择模型实现情感属性的选择，进一步提出融合神经网络与矩阵分解模型实现基于用户标注的图像标签预测，其特征在于，操作步骤如下：

步骤1：根据用户标签和情感属性的特点，构建一个融合了四种情感属性特性的概念选择模型，训练该模型完成情感属性子集选择；

步骤2：利用卷积神经网络提取视觉特征，通过转换矩阵映射到潜在共享空间获取了视觉因子矩阵，并通过视觉内容一致性进行了优化；

步骤3：构建引入外界知识库指导的邻接图，利用图卷积网络获取了语义因子矩阵，并通过语义关联性进行了优化；

步骤4：通过非线性度量方式探索视觉因子矩阵与语义因子矩阵之间的相关性，构建预测标签矩阵的重构模型；

步骤5：采用训练好的重构模型来进行预测标签矩阵的重构，并使用线性分类器进行最终的情感识别。

2.根据权利要求1所述的一种基于情感属性挖掘的图像情感分析方法，其特征在于，所述步骤1中构建融合了四种情感属性特性的概念选择模型并获得情感属性子集的方法，定义情感属性为一组在图像认知层语义部分对情感传递有明显贡献的视觉语义概念，四种情感属性特性为语义可建模性、情感可判别性、语义覆盖性和有限性，其具体定义和计算方式为∶

1)语义可建模性，利用信息熵的计算方式，将簇内差异性作为每个簇的概率权重，加以簇间差异性对概念的图像簇信息熵进行放大，计算语义可建模性，具体计算规则如下：

其中，ic_k为概念c的第k个图像簇，p(ic_k)为簇内图像数量与整个代表图像数量之比，intra_ds(IC)为簇内差异，inter_ds(IC)为簇间差异；

2)情感可判别性，利用贝叶斯定理分析每个概念与情感之间的关系，获得概念在每类情感图像中的分布，计算情感可判别性，具体计算规则如下：

其中，p(c|e)为情感类别e下概念c的条件概率，p(e)为情感类别的先验概率，通过所属类别e的图像个数和总图像数量之比计算，p(e|c)为概念c对情感e的区分能力；

3)语义覆盖性，基于互信息计算语义覆盖性，具体计算规则如下：

其中c_i和c_j分别为概念空间和所选情感属性集合的第i和第j个概念；

4)有限性，通过集合大小的倒数计算有限性，具体计算规则如下：

5)把目标函数转化成带有约束项的最大优化问题，并通过矩阵形式变形成二次规划问题，其主要计算规则如下：

min_ss^TAs，s.t.0≤s≤1，1^Ts＝m

其中，U_s为对角矩阵，其元素u_ii＝SM(c_i)，W_s为对角矩阵，其元素w_ii＝DE(c_i)，V_s为对称矩阵，其元素v_ij＝SC(c_i,c_j)，s_i∈{1,0}表示概念c_i是否被选择作为情感属性进入Θ，A＝-{αU_s+βW_s+(1-α-β)(D^V-V_s)}，D^V为对角矩阵，其元素

1为全1向量，α，β为分配权重。

3.根据权利要求1所述的一种基于情感属性挖掘的图像情感分析方法，其特征在于，所述步骤2中的基于卷积神经网络的视觉因子矩阵学习方法，基于K最近邻方法，构造视觉相似图Q^U，并基于局部几何结构约束了视觉内容，其主要计算规则如下：

其中，σ为带宽参数，

为一个对角矩阵，

为视觉内容一致性约束项。

4.根据权利要求1所述的一种基于情感属性挖掘的图像情感分析方法，其特征在于，所述步骤3具体包含：

1)对统计邻接图A^S和知识邻接图A^K进行矩阵归一化分别得到

和

结合后获得用户标签的邻接图A，并通过阈值τ_r来抑制多余的边界生成，具体计算规则如下：

其中，η是分配权重，i，j为标签索引，归一化操作为

2)基于K最近邻方法，构造语义相似图Q^V，并基于局部几何结构约束了语义内容，其主要计算规则如下：

其中，

是一个对角矩阵，

为视觉内容一致性约束项。

5.根据权利要求1所述的一种基于情感属性挖掘的图像情感分析方法，其特征在于，通过非线性度量方式探索图像和标签信息构成的因子矩阵之间的相关性的预测标签矩阵重构方法，所述步骤4具体包含：

1)融合在稀疏噪声约束、视觉因子矩阵获取和语义因子矩阵获取三部分，计算损失函数，其主要计算规则如下：

其中，α₁，β₁，β₂，λ₁，λ₂是分配权重，P为预测标签矩阵，G为用户标签矩阵，W_U为视觉转换矩阵，S为视觉特征矩阵，V为语义因子矩阵，W_V为语义转换矩阵；

2)通过引入辅助矩阵

转化并简化目标函数，其主要计算规则如下：

其中，P^*＝2U^TV-1，

sgn(·)函数对正值输出+1，负值输出-1。

Images