CN111859925B - 一种基于概率情感词典的情感分析系统及方法 - Google Patents

Abstract

本发明公开一种基于概率情感词典的情感分析系统及方法，属于计算机自然语言处理技术领域。本发明在基于文本构建情感词典的基础上，提出基于文本、图片、视频构建的情感词典。采用深度置信网络的方式提取图片上的人脸表情特征来构建图像情感词典；采用卷积神经网络对视频的情感特征提取，构建视频情感词典；采用OpenSMILE进行情感特征提取，构建音频情感词典。对于缺失单一模态的情况，通过另外两种模态的信息特征拟合出缺失模态的特征，还增加反语判断机制，提高情感分析的准确度并解决在分析过程中某一模态缺失导致分析结果不准确这一问题。

Description

一种基于概率情感词典的情感分析系统及方法

技术领域

本发明涉及计算机自然语言处理技术领域，尤其涉及一种基于概率情感词典的情感分析系统及方法。

背景技术

情感分析是自然语言处理中常见的场景，主要根据大数据来定性定量分析人类情感，是大数据智能的重要体现。情感分析广泛应用在舆情监控、客服监控、电商评价等多个领域。例如各种微博评论、视频网站评价以及电商商品评论等，对于相关部门和人员能够更好了解用户情感需求具有关键性作用。通过对信息数据的情感分析，可以挖掘出项目产品在各个维度的优劣，从而明确如何改进项目产品。比如对视频网站的视频评价分析，可以分析用户喜好程度、视频类型以及受众群众等多个维度的用户情感指数，从而从各个维度上改进视频网站的视频上架和视频推广。目前，情感分析的方法可以采用基于情感词典的传统方法，先对文本进行分词和停用词处理等预处理，再利用先构建好的情感词典(一般由正面词、负面词、否定词以及程度副词等部分构建)，对文本进行字符串匹配，将向量词组匹配到具体的词典中输出权值，最后计算总的权值从而分析出目标信息的情感是正面还是负面，同时具体分析出情感达到正面或者负面的那一种程度。也可以采用基于深度学习的情感分类，首先对文本进行分词、停用词、简繁转换等预处理，然后将分词结果转化为词向量，然后利用相关神经网络进行特征值提取进行特征提取，最后通过全连接层和Softmax输出每个分类的概率，从而得到情感分类。

但是，情感分析仍然存在局限性。数据信息拥有视频、图片以及文本等多种数据形式，然而大部分的情感分析方法以及目标都是针对文本进行情感分析。因此，现在很多的对数据信息进行情感分析的方法只是将数据中的文本提炼出来对其进行情感分析，都无法适用于多模态数据信息。这导致针对数据的情感分析，无法结合数据中的图片、视频以及音频等相关因素数据信息进行分析。并且在直接影响了情感分析的准确性。

发明内容

针对上述现有技术的不足，本发明提供一种基于概率情感词典的情感分析系统及方法

为解决上述技术问题，本发明所采取的技术方案是：

一种基于概率情感词典的情感分析系统，包括：

包括数据层、业务层、接口层和用户层；

所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集，以及用户待分析的视频数据；

所述业务层对数据存储层的数据进行训练和分析，包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块；所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储；所述音频特征提取模块提取从视频中拆分出来的音频特征并存储；所述文本特征提取模块提取文本信息的特征并存储；

所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口；所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储；所述情感分解结果可视化接口将分析结果传输至用户层。

另一方面，本发明还提供采用上述的基于概率情感词典的情感分析系统进行情感分析的方法，包括如下两个阶段：

第一阶段：多模态情感词典的构建，包括如下步骤：

步骤1：采用已知情感词典库，调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典；

步骤2：导入已经进行过情感标注的图片训练集，提取图片像素点，统计图片像素值；并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取，将提取的特征与已经标注的情感相结合，构建图片的情感词典；

步骤3：导入已进行情感标注的视频训练集并将其拆分成音频与视频图像，采用音频特征提取软件提取音频特征，并将提取的特征与已经标注的情感相结合，构建音频的情感词典；

步骤4：将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别，将行为识别提取的特征向量与已经标注的情感相结合，构建视频图像的情感词典；

第二阶段：多模态情感分析，包括如下步骤：

S1：导入数据，分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储；

S2：将拆分后的文本数据，进行分词处理，并将分词后的文本数据进行存储；

S3：将拆分后的图片数据，导入深度置信网络中进行特征提取，将提取出的图片特征进行存储；

S4：将拆分后的视频数据即音频数据和视频图像数据，分别导入音频特征提取软件和3DCNN中进行特征提取，分别将提取的音频与视频图像特征进行存储；

S5：若数据信息文本、音频和图像三模态中某一模态的源数据缺失，为了防止因缺失某种模态导致最终情感值出现过大偏差，将未缺失的另外两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据，将补全后的文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

S6：若数据信息无缺失模态，依次假定三模态中某一模态缺失，按照S5对数据模态特征进行补全处理，并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析，将文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

S7：构建系统对数据信息的反语判别机制，将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比，若两者情感正负值不同，视为反语，并将源数据该模态的情感值取相反数值进行标识存储；若源数据中的同类模态缺失，则无法进行判断；

S8：将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值，分析出多模态信息的整体情感为积极或者为消极。

所述图像包括图片及视频中分解出的视频图像；

所述融合共同分析为将对抗网络中生成的情感特征填补在相同位置数据所对应的情感特征中进行分析；

所述情感正负值即判断目标情感为积极则情感值为正；判断目标情感为消极则情感值为负；

所述计算权值为通过与情感词典不同特征的情感值进行匹配得到每一个部分特征的情感值，将这些情感值进行叠加的计算整体权值得出单一模态的情感值。

所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下：

根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元，假设一个拥有M个像素的图片，设置第一个深度置信网络可见层有M个神经元，隐层有M/2个神经元，先将M个像素的图片输入到第一个RBM中训练，训练好之后得到隐层M/2个神经元的输出，等于提取了M/2个特征；把这个值保存下来之后输入第二个RBM，以此类推，根据构建RBM的个数将图片不断地进行特征提取，最终由多个RBM构成的深度置信网络输出总体结果，实现对图片的特征提取。

所述音频特征提取软件为opensmile，通过配置config文件，提取所需的音频特征。

所述将两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据的过程如下：

构建对抗生成网络中的生成模型以及判别模型，首先对两个模型网络进行训练，利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练，使其能够分辨生成模型生成的数据的真伪；

将需要进行情感分析的目标数据导入生成网络中进行训练，若数据未缺失模态，则人为去除需要生成的单一模态后进行导入；若数据缺失某一种模态则直接导入；

输入噪音比较大的随机数据进入生成模型中，根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据；

通过判别模型对生成的特征数据进行判别，当判别结果为造假信息时，生成数据重回生成模型中更新参数重新生成一组特征数据；

不断循环上述方法，更新生成数据直至判别模型无法分辨其真假，输出对抗生成网络生成的特征数据。

采用上述技术方案所产生的有益效果在于：

1、本发明基于文本、图片、视频构建了多模态情感词典，弥补了传统语义量化研究中的精确数学量刻画词义方法中情感分析效果差的缺点；

2、本发明在构建图像情感词典的研究中，采用深度置信网络的方式提取图片上的人脸表情特征来构建图像情感词典；在构建视频情感词典的研究中，采用卷积神经网络对视频的情感特征提取，构建视频情感词典；在构建音频情感词典的研究中，采用OpenSMILE进行情感特征提取。分别针对不同的模态利用适当的方式对特征进行提取，可以提高提取特征的精准度进而提高最终情感分析的准确度。

3、本发明对于缺失单一模态的情况，通过另外两种模态的信息特征拟合出缺失模态的特征，提高对视频情感分析的准确度并解决在分析视频过程中某一模态缺失导致分析结果不准确这一问题。

4、本发明还增加反语判断机制，进一步增强情感分析的准确性。

附图说明

图1为本发明实施例中基于概率情感词典的情感分析系统的结构图；

图2为本发明实施例中情感分析方法的流程图；

图3为本发明实施例中拟合缺失模态的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，一种基于概率情感词典的情感分析系统，如图1所示，包括：

包括数据层、业务层、接口层和用户层；

所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集，以及用户待分析的视频数据；

所述业务层对数据存储层的数据进行训练和分析，包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块；所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储；所述音频特征提取模块提取从视频中拆分出来的音频特征并存储；所述文本特征提取模块提取文本信息的特征并存储；

所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口；所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储；所述情感分解结果可视化接口将分析结果传输至用户层。

另一方面，本发明还提供采用上述的基于概率情感词典的情感分析系统进行情感分析的方法，其流程如图2所示，包括如下两个阶段：

第一阶段：多模态情感词典的构建，包括如下步骤：

步骤1：采用已知情感词典库，调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典，本实施例中使用已知的中文情感分析库；

步骤2：导入已经进行过情感标注的图片训练集，提取图片像素点，统计图片像素值；并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取，将提取的特征与已经标注的情感相结合，构建图片的情感词典；本实施例中选用的图片训练集为CSDN中现存的数据集，其中包含500个图片，分别为250个情感积极的图片和250个情感消极的图片。

步骤3：导入已进行情感标注的视频训练集并将其拆分成音频与视频图像，采用音频特征提取软件提取音频特征，并将提取的特征与已经标注的情感相结合，构建音频的情感词典；本实施例中选用视频训练集为卡内基梅隆大学的公开数据集CMU-MOSI。

步骤4：将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别，将行为识别提取的特征向量与已经标注的情感相结合，构建视频图像的情感词典；

第二阶段：多模态情感分析，包括如下步骤：

S1：导入数据，分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储；

S2：将拆分后的文本数据，进行分词处理，并将分词后的文本数据进行存储；

S3：将拆分后的图片数据，导入深度置信网络中进行特征提取，将提取出的图片特征进行存储；

S4：将拆分后的视频数据即音频数据和视频图像数据，分别导入音频特征提取软件和3DCNN中进行特征提取，分别将提取的音频与视频图像特征进行存储；

S5：若数据信息文本、音频和图像三模态中某一模态的源数据缺失，为了防止因缺失某种模态导致最终情感值出现过大偏差，将未缺失的另外两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据，将补全后的文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

S6：若数据信息无缺失模态，依次假定三模态中某一模态缺失，按照S5对数据模态特征进行补全处理，并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析，将文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

S7：构建系统对数据信息的反语判别机制，将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比，若两者情感正负值不同，视为反语，并将源数据该模态的情感值取相反数值进行标识存储；若源数据中的同类模态缺失，则无法进行判断；

S8：将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值，分析出多模态信息的整体情感为积极或者为消极。

S9：结果根据源数据信息的多种模态情感值得出的最终结果，当情感值为正数时，源数据信息情感走向为积极；当情感值为负数时，源数据信息情感走向为消极。

所述图像包括图片及视频中分解出的视频图像；

所述融合共同分析为将对抗网络中生成的情感特征填补在相同位置数据所对应的情感特征中进行分析；

所述情感正负值即判断目标情感为积极则情感值为正；判断目标情感为消极则情感值为负；

所述计算权值为通过与情感词典不同特征的情感值进行匹配得到每一个部分特征的情感值，将这些情感值进行叠加的计算整体权值得出单一模态的情感值。

所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下：

根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元，假设一个拥有M个像素的图片，设置第一个深度置信网络可见层有M个神经元，隐层有M/2个神经元，先将M个像素的图片输入到第一个RBM中训练，训练好之后得到隐层M/2个神经元的输出，等于提取了M/2个特征；把这个值保存下来之后输入第二个RBM，以此类推，根据构建RBM的个数将图片不断地进行特征提取，最终由多个RBM构成的深度置信网络输出总体结果，实现对图片的特征提取。

所述音频特征提取软件为opensmile，通过配置config文件，提取所需的音频特征。

所述将两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据的流程如图3所示，过程如下：

构建对抗生成网络中的生成模型以及判别模型，首先对两个模型网络进行训练，利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练，使其能够分辨生成模型生成的数据的真伪；

将需要进行情感分析的目标数据导入生成网络中进行训练，若数据未缺失模态，则人为去除需要生成的单一模态后进行导入；若数据缺失某一种模态则直接导入；

输入噪音比较大的随机数据进入生成模型中，根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据；

通过判别模型对生成的特征数据进行判别，当判别结果为造假信息时，生成数据重回生成模型中更新参数重新生成一组特征数据；

不断循环上述方法，更新生成数据直至判别模型无法分辨其真假，输出对抗生成网络生成的特征数据。

Claims (4)

1.一种基于概率情感词典的情感分析系统进行情感分析的方法，其特征在于，包括两个阶段：

第一阶段：多模态情感词典的构建，包括如下步骤：

步骤1：采用已知情感词典库，调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典；

步骤2：导入已经进行过情感标注的图片训练集，提取图片像素点，统计图片像素值；并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取，将提取的特征与已经标注的情感相结合，构建图片的情感词典；

步骤3：导入已进行情感标注的视频训练集并将其拆分成音频与视频图像，采用音频特征提取软件提取音频特征，并将提取的特征与已经标注的情感相结合，构建音频的情感词典；

步骤4：将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别，将行为识别提取的特征向量与已经标注的情感相结合，构建视频图像的情感词典；

第二阶段：多模态情感分析，包括如下步骤：

S1：导入数据，分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储；

S2：将拆分后的文本数据，进行分词处理，并将分词后的文本数据进行存储；

S3：将拆分后的图片数据，导入深度置信网络中进行特征提取，将提取出的图片特征进行存储；

S4：将拆分后的视频数据即音频数据和视频图像数据，分别导入音频特征提取软件和3DCNN中进行特征提取，分别将提取的音频与视频图像特征进行存储；

S5：若数据信息文本、音频和图像三模态中某一模态的源数据缺失，为了防止因缺失某种模态导致最终情感值出现过大偏差，将未缺失的另外两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据，将补全后的文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

将两种模态放入对抗生成网络中，输出对抗生成网络生成的情感特征数据的过程如下：

构建对抗生成网络中的生成模型以及判别模型，首先对两个模型网络进行训练，利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练，使其能够分辨生成模型生成的数据的真伪；

将需要进行情感分析的目标数据导入生成网络中进行训练，若数据未缺失模态，则人为去除需要生成的单一模态后进行导入；若数据缺失某一种模态则直接导入；

输入噪音比较大的随机数据进入生成模型中，根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据；

通过判别模型对生成的特征数据进行判别，当判别结果为造假信息时，生成数据重回生成模型中更新参数重新生成一组特征数据；

不断循环上述方法，更新生成数据直至判别模型无法分辨其真假，输出对抗生成网络生成的特征数据；

S6：若数据信息无缺失模态，依次假定三模态中某一模态缺失，按照S5对数据模态特征进行补全处理，并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析，将文本、音频、图像的特征信息与情感词典进行匹配，计算权值；

S7：构建系统对数据信息的反语判别机制，将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比，若两者情感正负值不同，视为反语，并将源数据该模态的情感值取相反数值进行标识存储；若源数据中的同类模态缺失，则无法进行判断；

S8：将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值，分析出多模态信息的整体情感为积极或者为消极。

2.根据权利要求1所述的基于概率情感词典的情感分析系统进行情感分析的方法，其特征在于，所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下：

根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元，假设一个拥有M个像素的图片，设置第一个深度置信网络可见层有M个神经元，隐层有M/2个神经元，先将M个像素的图片输入到第一个RBM中训练，训练好之后得到隐层M/2个神经元的输出，等于提取了M/2个特征；把这个值保存下来之后输入第二个RBM，以此类推，根据构建RBM的个数将图片不断地进行特征提取，最终由多个RBM构成的深度置信网络输出总体结果，实现对图片的特征提取。

3.根据权利要求1所述的基于概率情感词典的情感分析系统进行情感分析的方法，其特征在于，所述音频特征提取软件为opensmile，通过配置config文件，提取所需的音频特征。

4.一种执行权利要求1所述的情感分析的方法的基于概率情感词典的情感分析系统，其特征在于，包括数据层、业务层、接口层和用户层；

所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集，以及用户待分析的视频数据；

所述业务层对数据存储层的数据进行训练和分析，包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块；所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储；所述音频特征提取模块提取从视频中拆分出来的音频特征并存储；所述文本特征提取模块提取文本信息的特征并存储；

所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口；所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储；所述情感分解结果可视化接口将分析结果传输至用户层。