CN111859925B - 一种基于概率情感词典的情感分析系统及方法 - Google Patents
一种基于概率情感词典的情感分析系统及方法 Download PDFInfo
- Publication number
- CN111859925B CN111859925B CN202010781151.0A CN202010781151A CN111859925B CN 111859925 B CN111859925 B CN 111859925B CN 202010781151 A CN202010781151 A CN 202010781151A CN 111859925 B CN111859925 B CN 111859925B
- Authority
- CN
- China
- Prior art keywords
- emotion
- data
- video
- audio
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 217
- 238000004458 analytical method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 30
- 210000002569 neuron Anatomy 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000008485 antagonism Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 230000001172 regenerating effect Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims 1
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 230000008921 facial expression Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种基于概率情感词典的情感分析系统及方法,属于计算机自然语言处理技术领域。本发明在基于文本构建情感词典的基础上,提出基于文本、图片、视频构建的情感词典。采用深度置信网络的方式提取图片上的人脸表情特征来构建图像情感词典;采用卷积神经网络对视频的情感特征提取,构建视频情感词典;采用OpenSMILE进行情感特征提取,构建音频情感词典。对于缺失单一模态的情况,通过另外两种模态的信息特征拟合出缺失模态的特征,还增加反语判断机制,提高情感分析的准确度并解决在分析过程中某一模态缺失导致分析结果不准确这一问题。
Description
技术领域
本发明涉及计算机自然语言处理技术领域,尤其涉及一种基于概率情感词典的情感分析系统及方法。
背景技术
情感分析是自然语言处理中常见的场景,主要根据大数据来定性定量分析人类情感,是大数据智能的重要体现。情感分析广泛应用在舆情监控、客服监控、电商评价等多个领域。例如各种微博评论、视频网站评价以及电商商品评论等,对于相关部门和人员能够更好了解用户情感需求具有关键性作用。通过对信息数据的情感分析,可以挖掘出项目产品在各个维度的优劣,从而明确如何改进项目产品。比如对视频网站的视频评价分析,可以分析用户喜好程度、视频类型以及受众群众等多个维度的用户情感指数,从而从各个维度上改进视频网站的视频上架和视频推广。目前,情感分析的方法可以采用基于情感词典的传统方法,先对文本进行分词和停用词处理等预处理,再利用先构建好的情感词典(一般由正面词、负面词、否定词以及程度副词等部分构建),对文本进行字符串匹配,将向量词组匹配到具体的词典中输出权值,最后计算总的权值从而分析出目标信息的情感是正面还是负面,同时具体分析出情感达到正面或者负面的那一种程度。也可以采用基于深度学习的情感分类,首先对文本进行分词、停用词、简繁转换等预处理,然后将分词结果转化为词向量,然后利用相关神经网络进行特征值提取进行特征提取,最后通过全连接层和Softmax输出每个分类的概率,从而得到情感分类。
但是,情感分析仍然存在局限性。数据信息拥有视频、图片以及文本等多种数据形式,然而大部分的情感分析方法以及目标都是针对文本进行情感分析。因此,现在很多的对数据信息进行情感分析的方法只是将数据中的文本提炼出来对其进行情感分析,都无法适用于多模态数据信息。这导致针对数据的情感分析,无法结合数据中的图片、视频以及音频等相关因素数据信息进行分析。并且在直接影响了情感分析的准确性。
发明内容
针对上述现有技术的不足,本发明提供一种基于概率情感词典的情感分析系统及方法
为解决上述技术问题,本发明所采取的技术方案是:
一种基于概率情感词典的情感分析系统,包括:
包括数据层、业务层、接口层和用户层;
所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集,以及用户待分析的视频数据;
所述业务层对数据存储层的数据进行训练和分析,包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块;所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储;所述音频特征提取模块提取从视频中拆分出来的音频特征并存储;所述文本特征提取模块提取文本信息的特征并存储;
所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口;所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储;所述情感分解结果可视化接口将分析结果传输至用户层。
另一方面,本发明还提供采用上述的基于概率情感词典的情感分析系统进行情感分析的方法,包括如下两个阶段:
第一阶段:多模态情感词典的构建,包括如下步骤:
步骤1:采用已知情感词典库,调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典;
步骤2:导入已经进行过情感标注的图片训练集,提取图片像素点,统计图片像素值;并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取,将提取的特征与已经标注的情感相结合,构建图片的情感词典;
步骤3:导入已进行情感标注的视频训练集并将其拆分成音频与视频图像,采用音频特征提取软件提取音频特征,并将提取的特征与已经标注的情感相结合,构建音频的情感词典;
步骤4:将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别,将行为识别提取的特征向量与已经标注的情感相结合,构建视频图像的情感词典;
第二阶段:多模态情感分析,包括如下步骤:
S1:导入数据,分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储;
S2:将拆分后的文本数据,进行分词处理,并将分词后的文本数据进行存储;
S3:将拆分后的图片数据,导入深度置信网络中进行特征提取,将提取出的图片特征进行存储;
S4:将拆分后的视频数据即音频数据和视频图像数据,分别导入音频特征提取软件和3DCNN中进行特征提取,分别将提取的音频与视频图像特征进行存储;
S5:若数据信息文本、音频和图像三模态中某一模态的源数据缺失,为了防止因缺失某种模态导致最终情感值出现过大偏差,将未缺失的另外两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据,将补全后的文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
S6:若数据信息无缺失模态,依次假定三模态中某一模态缺失,按照S5对数据模态特征进行补全处理,并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析,将文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
S7:构建系统对数据信息的反语判别机制,将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比,若两者情感正负值不同,视为反语,并将源数据该模态的情感值取相反数值进行标识存储;若源数据中的同类模态缺失,则无法进行判断;
S8:将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值,分析出多模态信息的整体情感为积极或者为消极。
所述图像包括图片及视频中分解出的视频图像;
所述融合共同分析为将对抗网络中生成的情感特征填补在相同位置数据所对应的情感特征中进行分析;
所述情感正负值即判断目标情感为积极则情感值为正;判断目标情感为消极则情感值为负;
所述计算权值为通过与情感词典不同特征的情感值进行匹配得到每一个部分特征的情感值,将这些情感值进行叠加的计算整体权值得出单一模态的情感值。
所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下:
根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元,假设一个拥有M个像素的图片,设置第一个深度置信网络可见层有M个神经元,隐层有M/2个神经元,先将M个像素的图片输入到第一个RBM中训练,训练好之后得到隐层M/2个神经元的输出,等于提取了M/2个特征;把这个值保存下来之后输入第二个RBM,以此类推,根据构建RBM的个数将图片不断地进行特征提取,最终由多个RBM构成的深度置信网络输出总体结果,实现对图片的特征提取。
所述音频特征提取软件为opensmile,通过配置config文件,提取所需的音频特征。
所述将两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据的过程如下:
构建对抗生成网络中的生成模型以及判别模型,首先对两个模型网络进行训练,利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练,使其能够分辨生成模型生成的数据的真伪;
将需要进行情感分析的目标数据导入生成网络中进行训练,若数据未缺失模态,则人为去除需要生成的单一模态后进行导入;若数据缺失某一种模态则直接导入;
输入噪音比较大的随机数据进入生成模型中,根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据;
通过判别模型对生成的特征数据进行判别,当判别结果为造假信息时,生成数据重回生成模型中更新参数重新生成一组特征数据;
不断循环上述方法,更新生成数据直至判别模型无法分辨其真假,输出对抗生成网络生成的特征数据。
采用上述技术方案所产生的有益效果在于:
1、本发明基于文本、图片、视频构建了多模态情感词典,弥补了传统语义量化研究中的精确数学量刻画词义方法中情感分析效果差的缺点;
2、本发明在构建图像情感词典的研究中,采用深度置信网络的方式提取图片上的人脸表情特征来构建图像情感词典;在构建视频情感词典的研究中,采用卷积神经网络对视频的情感特征提取,构建视频情感词典;在构建音频情感词典的研究中,采用OpenSMILE进行情感特征提取。分别针对不同的模态利用适当的方式对特征进行提取,可以提高提取特征的精准度进而提高最终情感分析的准确度。
3、本发明对于缺失单一模态的情况,通过另外两种模态的信息特征拟合出缺失模态的特征,提高对视频情感分析的准确度并解决在分析视频过程中某一模态缺失导致分析结果不准确这一问题。
4、本发明还增加反语判断机制,进一步增强情感分析的准确性。
附图说明
图1为本发明实施例中基于概率情感词典的情感分析系统的结构图;
图2为本发明实施例中情感分析方法的流程图;
图3为本发明实施例中拟合缺失模态的流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例中,一种基于概率情感词典的情感分析系统,如图1所示,包括:
包括数据层、业务层、接口层和用户层;
所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集,以及用户待分析的视频数据;
所述业务层对数据存储层的数据进行训练和分析,包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块;所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储;所述音频特征提取模块提取从视频中拆分出来的音频特征并存储;所述文本特征提取模块提取文本信息的特征并存储;
所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口;所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储;所述情感分解结果可视化接口将分析结果传输至用户层。
另一方面,本发明还提供采用上述的基于概率情感词典的情感分析系统进行情感分析的方法,其流程如图2所示,包括如下两个阶段:
第一阶段:多模态情感词典的构建,包括如下步骤:
步骤1:采用已知情感词典库,调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典,本实施例中使用已知的中文情感分析库;
步骤2:导入已经进行过情感标注的图片训练集,提取图片像素点,统计图片像素值;并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取,将提取的特征与已经标注的情感相结合,构建图片的情感词典;本实施例中选用的图片训练集为CSDN中现存的数据集,其中包含500个图片,分别为250个情感积极的图片和250个情感消极的图片。
步骤3:导入已进行情感标注的视频训练集并将其拆分成音频与视频图像,采用音频特征提取软件提取音频特征,并将提取的特征与已经标注的情感相结合,构建音频的情感词典;本实施例中选用视频训练集为卡内基梅隆大学的公开数据集CMU-MOSI。
步骤4:将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别,将行为识别提取的特征向量与已经标注的情感相结合,构建视频图像的情感词典;
第二阶段:多模态情感分析,包括如下步骤:
S1:导入数据,分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储;
S2:将拆分后的文本数据,进行分词处理,并将分词后的文本数据进行存储;
S3:将拆分后的图片数据,导入深度置信网络中进行特征提取,将提取出的图片特征进行存储;
S4:将拆分后的视频数据即音频数据和视频图像数据,分别导入音频特征提取软件和3DCNN中进行特征提取,分别将提取的音频与视频图像特征进行存储;
S5:若数据信息文本、音频和图像三模态中某一模态的源数据缺失,为了防止因缺失某种模态导致最终情感值出现过大偏差,将未缺失的另外两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据,将补全后的文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
S6:若数据信息无缺失模态,依次假定三模态中某一模态缺失,按照S5对数据模态特征进行补全处理,并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析,将文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
S7:构建系统对数据信息的反语判别机制,将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比,若两者情感正负值不同,视为反语,并将源数据该模态的情感值取相反数值进行标识存储;若源数据中的同类模态缺失,则无法进行判断;
S8:将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值,分析出多模态信息的整体情感为积极或者为消极。
S9:结果根据源数据信息的多种模态情感值得出的最终结果,当情感值为正数时,源数据信息情感走向为积极;当情感值为负数时,源数据信息情感走向为消极。
所述图像包括图片及视频中分解出的视频图像;
所述融合共同分析为将对抗网络中生成的情感特征填补在相同位置数据所对应的情感特征中进行分析;
所述情感正负值即判断目标情感为积极则情感值为正;判断目标情感为消极则情感值为负;
所述计算权值为通过与情感词典不同特征的情感值进行匹配得到每一个部分特征的情感值,将这些情感值进行叠加的计算整体权值得出单一模态的情感值。
所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下:
根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元,假设一个拥有M个像素的图片,设置第一个深度置信网络可见层有M个神经元,隐层有M/2个神经元,先将M个像素的图片输入到第一个RBM中训练,训练好之后得到隐层M/2个神经元的输出,等于提取了M/2个特征;把这个值保存下来之后输入第二个RBM,以此类推,根据构建RBM的个数将图片不断地进行特征提取,最终由多个RBM构成的深度置信网络输出总体结果,实现对图片的特征提取。
所述音频特征提取软件为opensmile,通过配置config文件,提取所需的音频特征。
所述将两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据的流程如图3所示,过程如下:
构建对抗生成网络中的生成模型以及判别模型,首先对两个模型网络进行训练,利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练,使其能够分辨生成模型生成的数据的真伪;
将需要进行情感分析的目标数据导入生成网络中进行训练,若数据未缺失模态,则人为去除需要生成的单一模态后进行导入;若数据缺失某一种模态则直接导入;
输入噪音比较大的随机数据进入生成模型中,根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据;
通过判别模型对生成的特征数据进行判别,当判别结果为造假信息时,生成数据重回生成模型中更新参数重新生成一组特征数据;
不断循环上述方法,更新生成数据直至判别模型无法分辨其真假,输出对抗生成网络生成的特征数据。
Claims (4)
1.一种基于概率情感词典的情感分析系统进行情感分析的方法,其特征在于,包括两个阶段:
第一阶段:多模态情感词典的构建,包括如下步骤:
步骤1:采用已知情感词典库,调用已有的第三方网站的文本情感词典库构建本系统的文本情感词典;
步骤2:导入已经进行过情感标注的图片训练集,提取图片像素点,统计图片像素值;并构建受限玻尔兹曼机RBM神经网络对图片进行特征提取,将提取的特征与已经标注的情感相结合,构建图片的情感词典;
步骤3:导入已进行情感标注的视频训练集并将其拆分成音频与视频图像,采用音频特征提取软件提取音频特征,并将提取的特征与已经标注的情感相结合,构建音频的情感词典;
步骤4:将步骤3中拆分后的图像导入到3D卷积神经网络3DCNN中进行行为识别,将行为识别提取的特征向量与已经标注的情感相结合,构建视频图像的情感词典;
第二阶段:多模态情感分析,包括如下步骤:
S1:导入数据,分析数据的模态构造并对数据的不同模态即文本、视频和图片进行拆分存储;
S2:将拆分后的文本数据,进行分词处理,并将分词后的文本数据进行存储;
S3:将拆分后的图片数据,导入深度置信网络中进行特征提取,将提取出的图片特征进行存储;
S4:将拆分后的视频数据即音频数据和视频图像数据,分别导入音频特征提取软件和3DCNN中进行特征提取,分别将提取的音频与视频图像特征进行存储;
S5:若数据信息文本、音频和图像三模态中某一模态的源数据缺失,为了防止因缺失某种模态导致最终情感值出现过大偏差,将未缺失的另外两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据,将补全后的文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
将两种模态放入对抗生成网络中,输出对抗生成网络生成的情感特征数据的过程如下:
构建对抗生成网络中的生成模型以及判别模型,首先对两个模型网络进行训练,利用已进行情感标注的具有完整三模态的训练集数据对判别模型进行训练,使其能够分辨生成模型生成的数据的真伪;
将需要进行情感分析的目标数据导入生成网络中进行训练,若数据未缺失模态,则人为去除需要生成的单一模态后进行导入;若数据缺失某一种模态则直接导入;
输入噪音比较大的随机数据进入生成模型中,根据导入的两种模态的情感特征随机生成一组缺失模态的特征数据;
通过判别模型对生成的特征数据进行判别,当判别结果为造假信息时,生成数据重回生成模型中更新参数重新生成一组特征数据;
不断循环上述方法,更新生成数据直至判别模型无法分辨其真假,输出对抗生成网络生成的特征数据;
S6:若数据信息无缺失模态,依次假定三模态中某一模态缺失,按照S5对数据模态特征进行补全处理,并将对抗生成网络生成的情感特征与假定缺失的同种类情感特征进行融合共同分析,将文本、音频、图像的特征信息与情感词典进行匹配,计算权值;
S7:构建系统对数据信息的反语判别机制,将通过对抗生成网络生成的情感特征数据与源数据中的同类模态情感特征进行对比,若两者情感正负值不同,视为反语,并将源数据该模态的情感值取相反数值进行标识存储;若源数据中的同类模态缺失,则无法进行判断;
S8:将S5或S6中计算得出的文本情感值、音频情感值以及图像情感值综合计算三者平均值得出数据信息整体情感值,分析出多模态信息的整体情感为积极或者为消极。
2.根据权利要求1所述的基于概率情感词典的情感分析系统进行情感分析的方法,其特征在于,所述构建受限玻尔兹曼机RBM神经网络对图片进行特征提取的过程如下:
根据图片的像素点值设置深度置信网络中RBM的可见层神经元和隐层神经元,假设一个拥有M个像素的图片,设置第一个深度置信网络可见层有M个神经元,隐层有M/2个神经元,先将M个像素的图片输入到第一个RBM中训练,训练好之后得到隐层M/2个神经元的输出,等于提取了M/2个特征;把这个值保存下来之后输入第二个RBM,以此类推,根据构建RBM的个数将图片不断地进行特征提取,最终由多个RBM构成的深度置信网络输出总体结果,实现对图片的特征提取。
3.根据权利要求1所述的基于概率情感词典的情感分析系统进行情感分析的方法,其特征在于,所述音频特征提取软件为opensmile,通过配置config文件,提取所需的音频特征。
4.一种执行权利要求1所述的情感分析的方法的基于概率情感词典的情感分析系统,其特征在于,包括数据层、业务层、接口层和用户层;
所述数据层存储对于情感分析算法中所需要使用的不同模态下已标注过情感标签的训练集,以及用户待分析的视频数据;
所述业务层对数据存储层的数据进行训练和分析,包括图像特征提取模块、音频特征提取模块、文本特征提取模块和多模态情感分析模块;所述图像特征提取模块提取图片及从视频中拆分出来的视频图像的特征并存储;所述音频特征提取模块提取从视频中拆分出来的音频特征并存储;所述文本特征提取模块提取文本信息的特征并存储;
所述接口层包括待分析视频输入接口、情感分析结果可视化接口、应用系统调用接口和web应用调用接口;所述待分析视频输入接口将用户层的待分析视频传输至数据存储层进行存储;所述情感分解结果可视化接口将分析结果传输至用户层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010781151.0A CN111859925B (zh) | 2020-08-06 | 2020-08-06 | 一种基于概率情感词典的情感分析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010781151.0A CN111859925B (zh) | 2020-08-06 | 2020-08-06 | 一种基于概率情感词典的情感分析系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111859925A CN111859925A (zh) | 2020-10-30 |
CN111859925B true CN111859925B (zh) | 2023-08-08 |
Family
ID=72972218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010781151.0A Active CN111859925B (zh) | 2020-08-06 | 2020-08-06 | 一种基于概率情感词典的情感分析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111859925B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112364168A (zh) * | 2020-11-24 | 2021-02-12 | 中国电子科技集团公司电子科学研究院 | 一种基于多属性信息融合的舆情分类方法 |
CN113177163B (zh) * | 2021-04-28 | 2022-08-02 | 烟台中科网络技术研究所 | 用于社交动态信息情感分析的方法、系统和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020437A (zh) * | 2019-04-11 | 2019-07-16 | 江南大学 | 一种视频和弹幕相结合的情感分析及可视化方法 |
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN110674339A (zh) * | 2019-09-18 | 2020-01-10 | 北京工业大学 | 一种基于多模态融合的中文歌曲情感分类方法 |
CN110852215A (zh) * | 2019-10-30 | 2020-02-28 | 国网江苏省电力有限公司电力科学研究院 | 一种多模态情感识别方法、系统及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150286710A1 (en) * | 2014-04-03 | 2015-10-08 | Adobe Systems Incorporated | Contextualized sentiment text analysis vocabulary generation |
-
2020
- 2020-08-06 CN CN202010781151.0A patent/CN111859925B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN110020437A (zh) * | 2019-04-11 | 2019-07-16 | 江南大学 | 一种视频和弹幕相结合的情感分析及可视化方法 |
CN110674339A (zh) * | 2019-09-18 | 2020-01-10 | 北京工业大学 | 一种基于多模态融合的中文歌曲情感分类方法 |
CN110852215A (zh) * | 2019-10-30 | 2020-02-28 | 国网江苏省电力有限公司电力科学研究院 | 一种多模态情感识别方法、系统及存储介质 |
Non-Patent Citations (1)
Title |
---|
多模态情感识别研究进展;何俊等;《计算机应用研究》;第35卷(第11期);第3201-3205页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111859925A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
Nguyen et al. | A multimodal convolutional neuro-fuzzy network for emotion understanding of movie clips | |
CN110019812B (zh) | 一种用户自生产内容检测方法和系统 | |
CN113051916B (zh) | 一种社交网络中基于情感偏移感知的交互式微博文本情感挖掘方法 | |
CN112533051B (zh) | 弹幕信息显示方法、装置、计算机设备和存储介质 | |
CN112164391A (zh) | 语句处理方法、装置、电子设备及存储介质 | |
US10977448B2 (en) | Determining personality profiles based on online social speech | |
CN111046133A (zh) | 基于图谱化知识库的问答方法、设备、存储介质及装置 | |
CN111931795B (zh) | 基于子空间稀疏特征融合的多模态情感识别方法及系统 | |
CN107818084B (zh) | 一种融合点评配图的情感分析方法 | |
US11544510B2 (en) | System and method for multi-modal image classification | |
CN110598019B (zh) | 重复图像识别方法及装置 | |
CN111400607A (zh) | 搜索内容输出方法、装置、计算机设备及可读存储介质 | |
CN112651940B (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
CN111859925B (zh) | 一种基于概率情感词典的情感分析系统及方法 | |
CN113094478B (zh) | 表情回复方法、装置、设备及存储介质 | |
CN116415017B (zh) | 基于人工智能的广告敏感内容审核方法及系统 | |
CN114662497A (zh) | 一种基于协同神经网络的虚假新闻检测方法 | |
CN113761253A (zh) | 视频标签确定方法、装置、设备及存储介质 | |
CN116468460A (zh) | 基于人工智能的消费金融客户画像识别系统及其方法 | |
CN115269781A (zh) | 模态关联度预测方法、装置、设备、存储介质及程序产品 | |
CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
CN113204643B (zh) | 一种实体对齐方法、装置、设备及介质 | |
Biswas et al. | A new ontology-based multimodal classification system for social media images of personality traits | |
CN111159377B (zh) | 属性召回模型训练方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |