CN110738220B - 句子的情感极性分析方法、装置及存储介质 - Google Patents

句子的情感极性分析方法、装置及存储介质 Download PDF

Info

Publication number
CN110738220B
CN110738220B CN201810707323.2A CN201810707323A CN110738220B CN 110738220 B CN110738220 B CN 110738220B CN 201810707323 A CN201810707323 A CN 201810707323A CN 110738220 B CN110738220 B CN 110738220B
Authority
CN
China
Prior art keywords
model
word
sentence
emotion
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810707323.2A
Other languages
English (en)
Other versions
CN110738220A (zh
Inventor
崔路男
尹存祥
吴伟佳
韦庭
潘旭
雍倩
李云聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810707323.2A priority Critical patent/CN110738220B/zh
Publication of CN110738220A publication Critical patent/CN110738220A/zh
Application granted granted Critical
Publication of CN110738220B publication Critical patent/CN110738220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种句子的情感极性分析方法、装置和计算机可读存储介质。其中，句子的情感极性分析方法包括：利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。本发明实施例中，通过多模型深度融合的句子极性分析法进行深层次语义分析，极性判断准确率高。

Description

句子的情感极性分析方法、装置及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种句子的情感极性分析方法、装置及计算机可读存储介质。
背景技术
舆情分析是根据特定问题的需要，对针对这个问题的舆情进行深层次的思维加工和分析研究，得到相关结论的过程。在舆情分析中，通常比较关心一些新闻或者微博表达出的情感，通过情感判断用户对产品的情感倾向，而对较长文本的情感判断是以句子情感极性判断为基础的。因而如何准确判断句子的情感倾向是一个亟待解决的重要问题。
现有技术的情感极性分析方法通常是基于情感词典简单地匹配，对于中性的句子判断错误率过大。另外，现有技术通常是基于情感词典进行简单的匹配和权重的累加，再加上一些简单的机器学习模型，比如fasttext(快速文本分类器)模型，对于判断深层次语义的句子情感判断不准确，无法满足任务需求。再者，现有技术对于较长的句子极性判断准确率不足。
发明内容
本发明实施例提供一种句子的情感极性分析方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种句子的情感极性分析方法，包括：
利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。
结合第一方面，本发明在第一方面的第一种实施方式中，在利用机器学习模型对句子的情感极性进行分析之前，还包括：
利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息、词向量和实体识别程序中至少一种；
使用所述情感词典训练所述机器学习模型。
结合第一方面的第一种实施方式，本发明在第一方面的第二种实施方式中，所述决策树模型包括梯度提升决策树模型，使用所述情感词典训练所述机器学习模型，包括：
针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
结合第一方面的第一种实施方式或第一方面的第二种实施方式，本发明在第一方面的第三种实施方式中，所述分类器模型包括快速文本分类器模型，使用所述情感词典训练所述机器学习模型，还包括：
针对句子的N-Gram特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
结合第一方面的第一种实施方式，本发明在第一方面的第四种实施方式中，使用所述情感词典训练所述机器学习模型，还包括：
针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
结合第一方面的第四种实施方式，本发明在第一方面的第五种实施方式中，使用所述情感词典训练所述卷积神经网络模型，包括：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
结合第一方面的第一种实施方式或第一方面的第二种实施方式，本发明在第一方面的第六种实施方式中，使用所述情感词典训练所述机器学习模型，还包括：
在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
第二方面，本发明实施例提供了一种句子的情感极性分析装置，包括：
极性分析单元，用于利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
结果拟合单元，用于利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。
结合第二方面，本发明在第二方面的第一种实施方式中，所述装置还包括：
情感词扩容单元，用于：利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息、词向量和实体识别程序中至少一种；
模型训练单元，用于：
使用所述情感词典训练所述机器学习模型。
结合第二方面的第一种实施方式，本发明在第二方面的第二种实施方式中，所述决策树模型包括梯度提升决策树模型，所述模型训练单元包括第一子单元，所述第一子单元用于：
针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
结合第二方面的第一种实施方式或第二方面的第二种实施方式，本发明在第二方面的第三种实施方式中，所述分类器模型包括快速文本分类器模型，所述模型训练单元包括第二子单元，所述第二子单元用于：
针对句子的N-Gram特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
结合第二方面的第一种实施方式，本发明在第二方面的第四种实施方式中，所述模型训练单元包括第三子单元，所述第三子单元用于：
针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
结合第二方面的第四种实施方式，本发明在第二方面的第五种实施方式中，所述第三子单元还用于：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
结合第二方面的第一种实施方式或第二方面的第二种实施方式，本发明在第二方面的第六种实施方式中，所述模型训练单元包括第四子单元，所述第四子单元用于：
在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
第三方面，本发明实施例提供了一种句子的情感极性分析装置，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述第一方面中的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法
上述技术方案具有如下优点或有益效果：通过多模型深度融合的句子极性分析法进行深层次语义分析，极性判断准确率高。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为根据本发明一个实施例的句子的情感极性分析方法的流程图；
图2为根据本发明另一实施例的句子的情感极性分析方法的流程图；
图3为根据本发明另一实施例的句子的情感极性分析装置的结构示意图；
图4为根据本发明另一实施例的句子的情感极性分析装置的结构示意图；
图5为根据本发明另一实施例的句子的情感极性分析装置的结构示意图；
图6为根据本发明另一实施例的句子的情感极性分析装置的结构示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1为根据本发明一个实施例的句子的情感极性分析方法的流程图。如图1所示，本发明实施例的句子的情感极性分析方法可以包括：
S110：利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
S120：利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。
情感极性(也可以称为情感倾向)分析包括对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。情感极性分析可以被看作是这样一个任务：“对于给定的一段带有观点的评论性文本，标记出它是整体正面评价或者整体负面评价”。通俗来说也就是标记某一段评论性文字所代表的倾向性情感是正面还是负面，对所表达的主题是喜爱还是讨厌，是赞同还是反对，是褒义还是贬义等等。例如，“太糟糕了”的情感极性为负面；“如此而已”的情感极性为中性；“非常好”的情感极性为正面。
本发明实施例提供了一种基于多种模型深度融合判断句子情感极性的方法。该方法用到了多种模型，包括机器学习模型和深度学习模型，对不同的特征进行提取建模，并利用逻辑回归模型拟合通过多种模型分析得到结果向量，最终得到句子的情感极性。
本发明实施例的句子的情感极性分析方法很好地解决了复杂句子情感判断不准确的问题，尤其是针对微博等开放性数据情感判断不准确的问题，可以较好地判断出句子的负面、中性和正面情感倾向，也为解决其他有关NLP(Natural Language Processing，自然语言处理)的问题提供了基础。
在一种可能的实现方式中，在利用机器学习模型对句子的情感极性进行分析之前，还包括：利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息、词向量和实体识别程序中至少一种；使用所述情感词典训练所述机器学习模型。
建立情感词典是为句子的情感极性分析做提前准备，其目的是在文档中找同义词。将预先准备的文档输入词语分析模型，其中文档中包括带有情感极性标注的句子，输出为更多的具有确定情感倾向的同义词，用于建立情感词典。具体可通过PMI(PointwiseMutual Information，点间互信息)挖掘、word2vec词向量模型和BILSTM(Bi-directionalLong Short-Term Memory，双向长短期记忆网络)+CRF(conditional random field，条件随机场)实体识别程序中的至少一种模型对情感词进行扩容，增加情感词数量和范围，这对情感极性判断极为重要。
点间互信息主要用于计算词语间的语义相似度，基本思想是统计两个词语在文本中同时出现的概率，如果概率越大，其相关性就越紧密，关联度越高。情感倾向点互信息算法(Semantic Orientation Pointwise Mutual Information，简称SO-PMI)是将PMI方法引入计算词语的情感倾向(Semantic Orientation，简称SO)中，从而达到捕获情感词的目地。
基于点间互信息，SO-PMI算法的基本思想是：首先分别选用一组褒义词跟一组贬义词作为基准词，假设分别用Pwords与Nwords来表示这两组词语。这些情感词必须是倾向性非常明显，而且极具领域代表性的词语。例如，一个词语word1跟Pwords的点间互信息，减去word1跟Nwords的点间互信息，会得到一个差值，可以根据该差值判断词语word1的情感倾向。
Word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。词向量具有良好的语义特性，是表示词语特征的常用方式。词向量每一维的值代表一个具有一定的语义和语法上解释的特征。所以，可以将词向量的每一维称为一个词语特征。
LSTM(Long Short-Term Memory，长短期记忆网络)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。长短期记忆网络是RNN(Recurrent Neural Network，循环神经网络)中一个特殊的类型。设计LSTM主要是为了避免前面提到的长时期依赖(long-term dependency)的问题。它的本质就是能够记住很长时期内的信息。
Bi-LSTM的基本原理是输入层的数据会经过向前和向后两个方向推算，最后输出的隐含状态再进行concat(连接)，再作为下一层的输入，其原理和LSTM是类似的，就是多了双向计算和concat过程。
CRF是一种机器学习模型。它是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字。CRF在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：
·分词(标注字的词位信息，由字构词)；
·词性标注(标注分词的词性，例如：名词，动词，助词)；
·命名实体识别(识别人名，地名，机构名，商品名等具有一定内在规律的实体名词)。
实体识别程序本质上的功能是文本序列标注，就是指从文本中识别出命名性指称项，为关系抽取等任务做铺垫。狭义上，是识别出例如人名、地名和组织机构名这几类命名实体。
在序列标记任务中，可以在给定的时间内访问过去和未来的输入特征，因此可以利用双向LSTM网络(BILSTM)。这样做，可以有效利用过去的特征(通过前向状态)和未来的特征(通过后向状态)。在特定的时间范围内，使用反向传播时间训练双向LSTM网络。
将双向LSTM网络和CRF网络结合起来，形成LSTM+CRF实体识别程序的网络模型。该网络模型可以通过LSTM层有效地使用过去的输入特征，并通过CRF层使用句子级别的标签信息。通过BILSTM+CRF实体识别程序对情感词进行扩容。
在一种可能的实现方式中，步骤S110中的机器学习模型中的决策树模型包括梯度提升决策树模型，使用所述情感词典训练所述机器学习模型，包括：针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
在一种可能的实现方式中，步骤S110中的机器学习模型中的分类器模型，包括快速文本分类器模型。使用所述情感词典训练所述机器学习模型，还包括：针对句子的N-Gram(汉语语言模型)特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
在一种可能的实现方式中，使用所述情感词典训练所述机器学习模型，还包括：针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
在一种可能的实现方式中，使用所述情感词典训练所述卷积神经网络模型，包括：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
在一种可能的实现方式中，使用所述情感词典训练所述机器学习模型，还包括：在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
图2为根据本发明另一实施例的句子的情感极性分析方法的流程图。如图2所示，本发明实施例的句子的情感极性分析方法可以包括步骤S210、步骤S220、步骤S230、步骤S240和步骤S120。
S210：针对句子的词性特征和/或词性交叉特征构建并训练所述梯度提升决策树模型，利用所述梯度提升决策树模型对文本中的句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量。
具体地，可利用机器学习模型GBDT(Gradient Boosting Decision Tree，梯度提升决策树)训练情感词典的特征，另外提取句子词性特征和交叉特征，训练出的树模型对于句中的情感词较为敏感。
GBDT是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。可使用GBDT来自动发现有效的特征、特征组合，将这些有效的特征、特征组合作为模型中的特征，以提高预估的准确性。
在步骤S210中，梯度提升决策树模型的输入为需要判断情感极性的句子的词性特征和交叉特征，输出是表示句子情感极性概率大小的结果向量。其中，交叉特征是指两个词性不同的词组合在一起产生的语义特征，比如：动词前面有程度副词的情况，示例句子为“非常努力。”再如：情感词前面有程度副词的情况，示例句子为“很高兴。”
S220：针对句子的N-Gram特征构建并训练所述快速文本分类器模型，利用所述快速文本分类器模型对文本中的句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量。
具体地，可利用fasttext模型对句子的Bi-Gram(二元N-Gram)信息进行建模，训练fasttext模型。
fasttext是一个词向量与文本分类工具，可以用于文本分类和句子分类。不管是文本分类还是句子分类，fastText常用的特征是词袋模型。但词袋模型不能考虑词之间的顺序，因此fastText还加入了N-gram特征。
N-Gram是大词汇连续语音识别中常用的一种语言模型，对中文而言，称之为汉语语言模型(CLM,Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息，它基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。
例如：“我爱她”这句话中的词袋模型特征是“我”，“爱”,“她”。这些特征和句子“她爱我”的特征是一样的。如果加入Bi-Gram，第一句话的特征还有“我-爱”和“爱-她”，这两句话“我爱她”和“她爱我”就能区别开来了。在fastText中也使用向量表征单词N-Gram来将局部词序考虑在内，这对很多文本分类问题来说十分重要。
S230：针对句子的语义特征构建并训练所述卷积神经网络模型，利用所述卷积神经网络模型对文本中的句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量。
其中，卷积神经网络模型可采用TextCNN模型，TextCNN是利用卷积神经网络(Convolutional Neural Network，简称CNN)对文本进行分类的算法。利用深度学习模型提取深层次语义特征，具体可包括：对TextCNN模型进行改进，增加预训练词向量通道和动态调整词向量通道变为双通道TextCNN模型，丰富句子的语义信息。
其中，“增加预训练词向量通道”是指用word2vec模型训练的向量作为输入，增加了先验特征，因此丰富了句子的语义信息。“双通道TextCNN模型”是指在原有通道基础上“增加预训练词向量通道”。“动态调整词向量通道“是指在模型训练过程中词向量改变、优化，最终输出优化好的表示句子情感极性概率大小的结果向量。
S240：在所述循环神经网络模型中采用注意力机制，针对句子的语义特征构建并训练所述循环神经网络模型，利用所述循环神经网络模型对文本中的句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量。
具体地，利用深度学习模型提取深层次语义特征，还可包括：增加RNN+Attention(注意力)模型对较长句子进行建模，可以学习出上下文依赖的情感信息。
在步骤S220、步骤S230和步骤S240中，模型的输入为需要判断情感极性的句子，输出是表示句子情感极性概率大小的结果向量。
最后执行步骤S120：利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。
综合所有模型的结果向量特征表示，用逻辑回归模型拟合得到最终结果，可以较为准确的判断含有深层次语义句子的情感倾向。
逻辑回归是一种有监督的统计学习方法，主要用于对样本进行分类。它将特征空间映射成一种可能性，逻辑回归方法主要用于研究某些事发生的概率。这里的逻辑回归模型是一个三分类模型。将步骤S210、步骤S220、步骤S230和步骤S240得到的结果向量输入，得到句子的情感倾向：分为正面，负面，中性三种。另一种实施方式，也可将步骤S210、步骤S220、步骤S230和步骤S240得到的结果向量中的至少两个输入，得到句子的情感倾向。
上述技术方案具有如下优点或有益效果：通过多模型深度融合的句子极性分析法进行深层次语义分析，极性判断准确率高。
图3为根据本发明另一实施例的句子的情感极性分析装置的结构示意图。如图3所示，句子的情感极性分析装置可以包括：
极性分析单元100，用于利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
结果拟合单元200，用于利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性。
图4为根据本发明另一实施例的句子的情感极性分析装置的结构示意图。如图4所示，所述装置还包括：
情感词扩容单元102，用于：利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息、词向量和实体识别程序中至少一种；
模型训练单元104，用于：
使用所述情感词典训练所述机器学习模型。
图5为根据本发明另一实施例的句子的情感极性分析装置的结构示意图。如图5所示，所述决策树模型包括梯度提升决策树模型，所述模型训练单元104包括第一子单元1041，所述第一子单元1041用于：
针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
在本发明一个优选实施方式中，所述分类器模型包括快速文本分类器模型，所述模型训练单元104包括第二子单元1042，所述第二子单元1042用于：
针对句子的N-Gram特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
在本发明一个优选实施方式中，所述模型训练单元104包括第三子单元1043，所述第三子单元1043用于：
针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
在本发明一个优选实施方式中，所述第三子单元1043还用于：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
在本发明一个优选实施方式中，所述模型训练单元104包括第四子单元1044，所述第四子单元1044用于：
在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
上述整个装置的输入为：文本中的句子。
上述整个装置的输出为：句子的情感倾向，分为正面，负面，中性三种。
本发明实施例的装置中各模块的功能可以参见上述方法的相关描述，在此不再赘述。
图6为根据本发明另一实施例的句子的情感极性分析装置的结构示意图。如图6所示，所述装置包括：
一个或多个处理器310；
存储装置320，配置为存储一个或多个程序；
通信接口330，配置为使所述处理器310和存储装置320与外部设备进行通信；
当所述一个或多个程序被所述一个或多个处理器310执行时，使得所述一个或多个处理器310实现前述任一种句子的情感极性分析方法。
根据本发明另一实施例，提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现前述任一种句子的情感极性分析方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种句子的情感极性分析方法，其特征在于，包括：
利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性；
在利用机器学习模型对句子的情感极性进行分析之前，所述方法还包括：
利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息；
使用所述情感词典训练所述机器学习模型；
其中，利用词语分析模型对情感词进行扩容，包括：基于给定词语与褒义基准词组的点间互信息和所述给定词语与贬义基准词组的点间互信息之间的差值，利用所述差值计算所述给定词语的情感倾向，基于所述情感倾向对所述情感词进行扩容。
2.根据权利要求1所述的方法，其特征在于，所述词语分析模型还包括词向量和实体识别程序中至少一种。
3.根据权利要求2所述的方法，其特征在于，所述决策树模型包括梯度提升决策树模型，使用所述情感词典训练所述机器学习模型，包括：
针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
4.根据权利要求2或3所述的方法，其特征在于，所述分类器模型包括快速文本分类器模型，使用所述情感词典训练所述机器学习模型，还包括：
针对句子的N-Gram特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
5.根据权利要求2所述的方法，其特征在于，使用所述情感词典训练所述机器学习模型，还包括：
针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，使用所述情感词典训练所述卷积神经网络模型，包括：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
7.根据权利要求2或3所述的方法，其特征在于，使用所述情感词典训练所述机器学习模型，还包括：
在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
8.一种句子的情感极性分析装置，其特征在于，包括：
极性分析单元，用于利用机器学习模型对句子的情感极性进行分析，得到表示所述句子的情感极性的结果向量，所述机器学习模型包括决策树模型、分类器模型、卷积神经网络模型和循环神经网络模型中至少两种；
结果拟合单元，用于利用逻辑回归模型拟合所述结果向量，得到所述句子的情感极性；
情感词扩容单元，用于：利用词语分析模型对情感词进行扩容以建立情感词典，所述词语分析模型包括点间互信息、词向量和实体识别程序中至少一种；
模型训练单元，用于：使用所述情感词典训练所述机器学习模型；
其中，利用词语分析模型对情感词进行扩容，包括：基于给定词语与褒义基准词组的点间互信息和所述给定词语与贬义基准词组的点间互信息之间的差值，利用所述差值计算所述给定词语的情感倾向，基于所述情感倾向对所述情感词进行扩容。
9.根据权利要求8所述的装置，其特征在于，所述词语分析模型还包括词向量和实体识别程序中至少一种。
10.根据权利要求9所述的装置，其特征在于，所述决策树模型包括梯度提升决策树模型，所述模型训练单元包括第一子单元，所述第一子单元用于：
针对句子的词性特征和/或词性交叉特征构建所述梯度提升决策树模型，并使用所述情感词典训练所述梯度提升决策树模型。
11.根据权利要求9或10所述的装置，其特征在于，所述分类器模型包括快速文本分类器模型，所述模型训练单元包括第二子单元，所述第二子单元用于：
针对句子的N-Gram特征构建所述快速文本分类器模型，并使用所述情感词典训练所述快速文本分类器模型。
12.根据权利要求9所述的装置，其特征在于，所述模型训练单元包括第三子单元，所述第三子单元用于：
针对句子的语义特征构建所述卷积神经网络模型，并使用所述情感词典训练所述卷积神经网络模型。
13.根据权利要求12所述的装置，其特征在于，所述第三子单元还用于：将用词向量模型训练的词向量作为输入，增加预训练词向量通道。
14.根据权利要求9或10所述的装置，其特征在于，所述模型训练单元包括第四子单元，所述第四子单元用于：
在所述循环神经网络模型中采用注意力机制，针对句子的语义特征，对长句子构建所述循环神经网络模型，并使用所述情感词典训练所述循环神经网络模型。
15.一种句子的情感极性分析装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201810707323.2A 2018-07-02 2018-07-02 句子的情感极性分析方法、装置及存储介质 Active CN110738220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810707323.2A CN110738220B (zh) 2018-07-02 2018-07-02 句子的情感极性分析方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810707323.2A CN110738220B (zh) 2018-07-02 2018-07-02 句子的情感极性分析方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110738220A CN110738220A (zh) 2020-01-31
CN110738220B true CN110738220B (zh) 2022-09-30

Family

ID=69233342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810707323.2A Active CN110738220B (zh) 2018-07-02 2018-07-02 句子的情感极性分析方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110738220B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424279A (zh) * 2013-08-30 2015-03-18 腾讯科技（深圳）有限公司 一种文本的相关性计算方法和装置
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424279A (zh) * 2013-08-30 2015-03-18 腾讯科技（深圳）有限公司 一种文本的相关性计算方法和装置
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN110738220A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
Ghosh et al. Fracking sarcasm using neural network
US10049103B2 (en) Author personality trait recognition from short texts with a deep compositional learning approach
Montejo-Ráez et al. Ranked wordnet graph for sentiment polarity classification in twitter
US9740677B2 (en) Methods and systems for analyzing communication situation based on dialogue act information
Saha et al. BERT-caps: A transformer-based capsule network for tweet act classification
WO2019100350A1 (en) Providing a summary of a multimedia document in a session
Mukherjee et al. Detecting sarcasm in customer tweets: an NLP based approach
US20160210279A1 (en) Methods and systems for analyzing communication situation based on emotion information
CN111680159A (zh) 数据处理方法、装置及电子设备
KR20190063978A (ko) 비정형 데이터의 카테고리 자동분류 방법
Arumugam et al. Hands-On Natural Language Processing with Python: A practical guide to applying deep learning architectures to your NLP applications
CN110232127B (zh) 文本分类方法及装置
Kumar et al. Analysis of users’ sentiments from kannada web documents
Najafi et al. Text-to-Text Transformer in Authorship Verification Via Stylistic and Semantical Analysis.
Ahanin et al. A multi-label emoji classification method using balanced pointwise mutual information-based feature selection
CN114491018A (zh) 敏感信息检测模型的构建方法、敏感信息检测方法及装置
Akter et al. Deep learning approach for classifying the aggressive comments on social media: Machine translated data vs real life data
Ruposh et al. A computational approach of recognizing emotion from Bengali texts
Anbukkarasi et al. Deep learning-based hate speech detection in code-mixed Tamil text
CN110874408B (zh) 模型训练方法、文本识别方法、装置及计算设备
Ilavarasan A Survey on Sarcasm detection and challenges
CN115878752A (zh) 文本情感的分析方法、装置、设备、介质及程序产品
Bhan et al. Sarcasmometer using sentiment analysis and topic modeling
CN115248846B (zh) 文本识别方法、设备、介质
CN111813927A (zh) 一种基于主题模型和lstm的句子相似度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant