CN110516245A - 细粒度情感分析方法、装置、计算机设备及存储介质 - Google Patents

细粒度情感分析方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110516245A
CN110516245A CN201910796626.0A CN201910796626A CN110516245A CN 110516245 A CN110516245 A CN 110516245A CN 201910796626 A CN201910796626 A CN 201910796626A CN 110516245 A CN110516245 A CN 110516245A
Authority
CN
China
Prior art keywords
sentiment analysis
comment
sequence
fine granularity
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910796626.0A
Other languages
English (en)
Inventor
吴泽宏
柯宗庆
黄佐华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bluedon Information Security Technologies Co Ltd
Original Assignee
Bluedon Information Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bluedon Information Security Technologies Co Ltd filed Critical Bluedon Information Security Technologies Co Ltd
Priority to CN201910796626.0A priority Critical patent/CN110516245A/zh
Publication of CN110516245A publication Critical patent/CN110516245A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种细粒度情感分析方法、装置、计算机设备及存储介质，该方法包括：获取源领域数据集和目标领域数据集，源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；搭建情感分析初始模型；将源领域数据集的评论文本序列和评论标签序列进行向量化；将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；利用情感分析预训练模型在目标领域数据集上进行训练，微调情感分析预训练模型的参数，得到细粒度情感分析模型；对待分析文本进行处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。本发明可以克服中文细粒度情感分析数据集缺乏的困难。

Description

细粒度情感分析方法、装置、计算机设备及存储介质
技术领域
本发明涉及一种细粒度情感分析方法、装置、计算机设备及存储介质，属于情感分析、深度学习及迁移学习领域。
背景技术
情感分析(Sentiment Analysis)，又可称为意见挖掘(Opinion Mining)、意见倾向性分析(Opinion Analysis)等，是一门结合自然语言处理、数据挖掘、心理学、语言学等的交叉学科，对带有主观情感极性的信息进行判别和挖掘。情感分析按照粒度可以分为粗粒度及细粒度两大类。其中，粗粒度一般包含文档级和句子级。文档级别的情感分析是将文档作为一个整体的研究对象，分析其整体表现的情感极性，属于正向的、负向的还是中性的。句子级的情感分析比文档级的要更具体、细致，句子级情感分析在判别一个句子的情感极性之前，首先要判断该句子是属于主观句还是客观句。主观句是用户情感表达的直接句子，而客观句是陈述客观对象的句子，不含有情感极性，故其不应作为情感分析的句子。
粗粒度的情感分析虽然能够快速挖掘正负类观点，但在粗粒度范畴下忽略了对更具体方面、属性的考虑，导致情感极性判定不准确情况，也无法知道用户发表观点的主因。细粒度就是为了研究客体更具体化属性的情感分析而提出来的。细粒度的情感分析能深入地挖掘评论者对评论对象不同属性(aspect)的态度，能够表现出更具体、更多的信息，这种细粒度的评价对象也可能成为属性。例如对于餐厅点评，用户可以对餐厅的服务态度、菜品、上菜速度等多种属性进行评论，商家可以从评论的具体属性中发现用户对商家各方面的评价，从中可以发现自己的优势以及缺点，为进一步的推广、宣传以及提升自身竞争力提供有说服力的数据。细粒度情感分析固然有重要意义，但其数据集的获取和算法上更加棘手，体现在需要对每一条评论不同的属性进行合理的打标签以及对于属性的提取。
粗粒度情感分析的研究已经称为研究的热点，2016年，Wang等在细粒度情感分析中，利用注意力机制来提取评论对象的属性，然后利用长短时记忆网络(Long-Short TermMemory Network，LSTM)进行情感分析，其提出的基于词嵌入及注意力机制的模型获得较好的效果。Kai等基于语法解析树提出了一种树形LSTM，将语义信息与句法依存关系、短语构成等信息结合起来，完成短语级别情感分析。Tang等基于神经网络不能确定对某个细粒度属性更重要的上下文信息的缺点，提出了记忆网络，利用记忆网络捕捉不同上下文对于不同细粒度属性的重要性。中文的细粒度情感分析一直是一个棘手的问题，一方面是因为当前没有一个权威、公开的中文细粒度情感分析数据集，使得相关的研究非常少；另一方面是细粒度情感分析的关键是从文本中识别细粒度的属性。
发明内容
有鉴于此，本发明提供了一种细粒度情感分析方法、装置、计算机设备及存储介质，其使用的源领域数据集包括评论标签，可以为细粒度情感分析学习提供了天然的大量样本，从而克服中文细粒度情感分析数据集缺乏的困难。
本发明的第一个目的在于提供一种细粒度情感分析方法。
本发明的第二个目的在于提供一种细粒度情感分析装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种细粒度情感分析方法，所述方法包括：
获取源领域数据集和目标领域数据集；其中，所述数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建情感分析初始模型；
将源领域数据集的评论文本序列和评论标签序列进行向量化；
将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；
利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
进一步的，所述情感分析初始模型包括双向长短期记忆网络层、注意力机制层和全连接层；
所述将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型，具体包括：
将向量化后的评论文本序列输入双向长短期记忆网络层，经特征映射后得到序列规律信息；
将向量化后的评论文本序列、向量化后的评论标签序列和序列规律信息输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列；
将输出序列输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
进一步的，所述对序列规律信息的各个元素进行加权，得到输出序列，如下：
S＝α1h1，α2h2，...，αnhn
其中，S为输出序列，(h1，h2，...，hn)为序列规律信息；(α1，α2，...，αn)为权重，其计算公式如下：
其中，1≤i≤n，1≤j≤n；wi为向量化后的评论文本序列；score为得分函数，其计算公式如下：
score(T，wi)＝vTtanh(WhT+WTwi+b)
其中，vT、Wh、WT为待学习的参数矩阵，b为注意力机制层的偏置值；Ti为向量化后的评论标签序列，1≤i≤n。
进一步的，所述将输出序列输入全连接层，输出预测结果，具体包括：
在全连接层中，输出序列经过一个ReLu层的映射，如下：
S′＝ReLu(WS+b)
其中，S为输出序列，S′为经过一个ReLu层映射得到的序列，W为待学习的参数矩阵，b为ReLu层的偏置值；
在全连接层最后的输出层中利用softmax函数进行映射，得到预测结果，如下：
其中，W′为待学习的参数矩阵，b′为全连接层最后的输出层的偏置值。
进一步的，所述获取源领域数据集，具体包括：
从互联网上爬取带有评论标签的评论文本；
对评论文本和评论标签进行分词、去停用词处理，在处理后以评论文本、评论标签、评论分数的三元组格式进行存储，得到源领域数据集。
进一步的，所述从互联网上爬取带有评论标签的评论文本，具体为：采用Scrapy分布式爬虫框架从互联网上爬取带有评论标签的评论文本；
对评论文本和评论标签进行分词，具体为：采用开源的结巴分词工具对评论文本和评论标签进行分词；其中，评论标签分词后最大的长度为2。
进一步的，所述将源领域数据集的评论文本序列和评论标签序列进行向量化，具体为：
采用词向量工具word2vec将源领域数据集的评论文本序列和评论标签序列映射到维度为300的词向量空间中。
本发明的第二个目的可以通过采取如下技术方案达到：
一种细粒度情感分析装置，所述装置包括：
获取模块，用于获取源领域数据集和目标领域数据集；其中，所述源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建模块，用于搭建情感分析初始模型；
向量化模块，用于将源领域数据集的评论文本序列和评论标签序列进行向量化；
预训练模块，用于将向量化后的评论文本向量和评论标签向量输入情感分析初始模型进行训练，得到情感分析预训练模型；
微调训练模块，用于利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
细粒度分析模块，用于对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的细粒度情感分析方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的细粒度情感分析方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明使用源领域数据集中，每条数据为评论文本、评论标签、评论分数的三元组格式数据，评论标签不仅包含评论的关键信息，而且还包含情感倾向信息等优点，评论标签也可以看成是细粒度中的一种属性，即能代表评论者对评论对象进行评论的细粒度属性，因此为细粒度情感分析学习提供了天然的大量样本；此外，本发明基于迁移学习的思想，首先利用情感分析初始模型在源领域数据集上进行预训练，得到一个情感分析预训练模型，然后利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型，能够克服中文细粒度情感分析数据集缺乏的困难。
2、本发明通过搭建以评论标签作为注意力源结合长短期记忆(Long Short-TermMemory，简称LSTM)网络深度学习模型，将评论标签通过注意力机制层后，为经过长短期记忆网络层特征映射后的评论文本每一个向量添加权值，对于关键的词赋予较大的权重，对于影响较小的词赋予较小的权重，从而能让模型准确定位细粒度属性及其情感极性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的细粒度情感分析方法的思路流程图。
图2为本发明实施例1的细粒度情感分析方法的完整流程图。
图3为本发明实施例1的源领域数据集获取的流程图。
图4为本发明实施例1的情感分析初始模型的结构图。
图5为本发明实施例1的对情感分析初始模型进行训练的流程图。
图6为本发明实施例1的Tag-Att模型与基模型在训练过程中的准确率对比曲线图。
图7为本发明实施例1的Tag-Att模型与基模型在训练过程中的精确率对比曲线图。
图8为本发明实施例1的Tag-Att模型与基模型在训练过程中的召回率对比曲线图。
图9为本发明实施例1的Tag-Att模型与基模型在训练过程中的F1值对比曲线图。
图10为本发明实施例1的Tag-Att模型与基模型在训练过程中损失函数值变化图。
图11为本发明实施例2的细粒度情感分析装置的结构框图。
图12为本发明实施例2的预训练模块的结构框图。
图13为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和图2所示，本实施例提供了一种细粒度情感分析方法，该方法包括以下步骤：
S201、获取源领域数据集和目标领域数据集。
在该步骤201中，源领域数据集的获取如图3所示，具体包括：
S2011、从互联网上爬取带有评论标签的评论文本。
具体地，采用爬虫方式从互联网上的点评网站爬取带有评论标签的评论文本，爬虫方式优选采用Scrapy分布式爬虫框架，本实施例的点评网站可以是猫眼、豆瓣等电影点评网站，也可以是大众、美团等美食点评网站。
本实施例所利用的评论标签不仅包含评论的关键信息，而且还包含情感倾向信息等优点；此外，评论标签也可以看成是细粒度中的一种属性，即能代表评论者对评论对象进行评论的细粒度属性，因此为细粒度情感分析学习提供了天然的大量样本。
S2012、对评论文本和评论标签进行分词、去停用词处理，在处理后以评论文本、评论标签、评论分数的三元组格式进行存储，得到源领域数据集。
其中，对评论文本和评论标签进行分词采用开源的结巴(jieba)分词工具实现，评论标签分词后最大的长度为2。
每条评论文本对应一个评论标签以及评论分数，评论序列和评论标签序列分别以(w1，w2，...，wn)、(T1，T2，...，Tm)表示，因此源领域数据集的每条数据为评论文本、评论标签、评论分数的三元组格式数据。
在该步骤201中，目标领域数据集可以采用2018年AI Challenge比赛中《细粒度用户评论情感分析》所公开的数据集，利用其中的正负类样本，所用的数据格式与源领域数据集的数据格式相同，该数据集相比源领域数据集较小，源领域数据集和目标领域数据集均作为后续步骤使用的训练集。
S202、搭建情感分析初始模型。
该步骤S202搭建的情感分析初始模型为以评论标签作为注意力源结合长短期记忆网络深度学习模型，记为Tag-Att模型，其结构如图4所示，包括双向长短期记忆网络层、注意力机制层和全连接层。
S203、将源领域数据集的评论文本序列和评论标签序列进行向量化。
该步骤S203采用词向量工具word2vec实现，具体地，采用词向量工具word2vec将源领域数据集的评论文本序列和评论标签序列映射到维度为300的词向量空间中。
S204、将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型。
该步骤S204如图5所示，具体包括：
S2041、将向量化后的评论文本序列(w1，w2，...，wn)输入双向长短期记忆网络层，经特征映射后得到(h1，h2，...，hn)，即为双向长短期记忆网络层发现的序列规律信息。
S2042、将向量化后的评论文本序列(w1，w2，...，wn)、向量化后的评论标签序列(T1，T2，...，Tm)平均值和序列规律信息(h1，h2，...，hn)输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列S。
对序列规律信息的各个元素进行加权，得到输出序列，如下：
S＝α1h1，α2h2，…，αnhn
其中，(α1，α2，...，αn)为权重，其计算公式如下：
其中，1≤i≤n，1≤j≤n；wi为向量化后的评论文本序列；score为得分函数，其计算公式如下：
score(T，wi)＝vT tanh(WhT+WTwi+b)
其中，vT、Wh、WT为待学习的参数矩阵，b为注意力机制层的偏置值，它也是一个待学习的参数；即向量化后的评论标签序列平均值，1≤i≤n。
该步骤S2042的目的是为评论序列的各元素分配不同的权重，对于关键的词赋予较大的权重，对于影响较小的词赋予较小的权重。
S2043、将输出序列S输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
其中，将输出序列S输入全连接层，输出预测结果，具体包括：
1)在全连接层中，输出序列经过一个ReLu层的映射，如下：
S′＝ReLu(WS+b)
其中，S为输出序列，S′为经过一个ReLu层映射得到的序列，W为待学习的参数矩阵，b为ReLu层的偏置值，它也是一个待学习的参数；
2)在全连接层最后的输出层中利用softmax函数进行映射，得到预测结果，如下：
其中，W′为待学习的参数矩阵，b′为全连接层最后的输出层的偏置值，它也是一个待学习的参数。
在输出预测结果后，对情感分析初始模型的参数进行优化，得到情感分析预训练模型，此时的情感分析预训练模型是一个粗粒度情感分析模型；其中，情感分析初始模型的参数包括双向长短期记忆网络层、注意力机制层和全连接层的所有待学习参数(包含参数矩阵)，对这些参数进行优化，优化目标是最小化交叉熵损失，并经反向传播算法对参数进行更新。
交叉熵损失定义为：
其中，n是训练样本的个数，C是分类类别的个数，yi，c是给定的样本的真实值，是模型预测对应样本的预测值。
误差传递默认采用反向传播算法，下面以全连接层的神经网络为例提供反向传播得公式。假设模型训练第k轮的输出为实际值为yk＝(y1，y2，...，yn)，输出层使用Sigmoid激活函数f，第j个输出层神经元的输入值为βj，偏置为θj，则计算公式为：
由上面得损失函数可得训练第K轮得损失为：
假设隐藏层到输出层的连接权重若为ωhj(h为第h个隐藏层，j为第j个输出层)，反向传播算法基于梯度下降(gradient descent)优化策略，以目标的负梯度方向对参数进行调整。若学习率为η，由上面的误差公式可得：
由第j个输出层神经元的输入值为βj，再得：
假设第h个隐层的输出为bh，又由βj的属性可得：
由以上格式及Sigmoid函数得性质可得
则权重更新公式为：
Δωhj＝ηgjbh
类似可以求得其他参数及其他网络层参数。
S205、利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型。
具体地，将情感分析预训练模型学习到的参数(即双向长短期记忆网络层、注意力机制层和全连接层的参数)进行迁移，在目标领域数据集上进行训练，这部分参数在目标领域数据集训练过程中将会被微调或冻结，训练过程同步骤S204，同样输出预测结果，并对情感分析预训练模型的参数进行优化，使粗粒度情感分析模型变为细粒度情感分析模型；其中，情感分析预训练模型的参数包括双向长短期记忆网络层和注意力机制层的所有待学习参数(包含参数矩阵)，对这些参数进行优化，优化目标是最小化交叉熵损失，并经反向传播算法对参数进行更新。
下面具体分析本实施例的Tag-Att模型的性能，评价指标包括准确率、召回率、精确率及F1值。为了进行合适的对比，同时实现了基于注意力机制的双向长短期记忆神经网络细粒度情感分析模型，记为A-Att-LSTM，并以A-Att-LSTM作为基模型进行实验对比。
实验中的准确率、精确率、召回率、F1值等指标分别在图6～图9中示出，首先观察A-Att-LSTM模型。从图中各项指标可以发现，A-Att-LSTM模型的准确率、召回率、F1值等指标随着训练步数的增加而呈现上胜的趋势，且在600步的时候基本达到收敛，而精确率却随着训练步数的增加而出现下降。Tag-Att模型，其在准确率、召回率、F1值等指标上刚开始训练时的值都非常高，可以任务其在预训练模型中学习到非常适用于细粒度任务的特征。学习特征的关键在于其注意力层，因为细粒度任务需要识别属性特征，而在Tag-Att模型中的注意力层，本实施例引入了评论标签，使得Tag-Att模型对属性特征的学习与识别的能力更强。所以，Tag-Att模型在刚开始训练与收敛后的这几种指标都获得最好效果。但在精确率上直到收敛后与A-Att-LSTM模型的表现一致。
图10示出的是损失函数值变化，图中可以发现，基模型A-Att-LSTM的变化不是很大，只表现小幅度的下降。Tag-Att模型刚开始的损失值比基模型稍低，最后稳定收敛时的损失值最低，与准曲率、F1值等各项指标的变化趋势一致。显然Tag-Att模型在Loss函数曲线的表现上比基模型更理想。
最后在测试集上测试其性能，结果如下表1所示。A-Att-LSTM模型各项指标得分都在0.62～0.65之间，Tag-Att模型取得最好的效果，各项指标均取得0.71以上的结果。这表明Tag-Att模型非常适用于细粒度的迁移学习方法，这跟其注意力机制层密切相关。因为在情感分析预训练模型中，本实施例已经将类似于细粒度属性的评论标签添加到网络中进行学习，与第二步训练的微调过程非常相似。所以，在情感分析预训练模型中已经学习到比较多的特征向量。
表1测试集上各指标的性能
模型 准确率 精确率 召回率 F1值
A-Att-LSTM 0.6281 0.6257 0.6472 0.6353
Tag-Att 0.7264 0.7110 0.7680 0.7384
上述步骤S201～S205为离线阶段，即训练阶段，步骤S206为在线阶段，即应用阶段。可以理解，上述步骤S201～S205在一台计算机设备(如服务器、计算机等)完成，可以在该计算机设备上进入步骤S206的应用阶段，也可以将该台计算机设备训练得到的细粒度情感分析模型分享给其他的计算机设备，在其他的计算机设备上进入步骤S206的应用阶段。
S206、对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图11所示，本实施例提供了一种细粒度情感分析装置，该装置包括获取模块1101、搭建模块1102、向量化模块1103、预训练模块1104、微调训练模块1105和细粒度分析模块1106，各个模块的具体功能如下：
所述获取模块1101，用于获取源领域数据集和目标领域数据集；其中，所述数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据。
所述搭建模块1102，用于搭建情感分析初始模型。
所述向量化模块1103，用于将源领域数据集的评论文本序列和评论标签序列进行向量化。
所述预训练模块1104，用于将向量化后的评论文本向量和评论标签向量输入情感分析初始模型进行训练，得到情感分析预训练模型。
所述微调训练模块1105，用于利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型。
所述细粒度分析模块1106，用于将待分析文本输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
进一步地，所述情感分析初始模型包括双向长短期记忆网络层、注意力机制层和全连接层；
所述预训练模块1104如图12所示，具体包括：
第一输入单元11041，用于将向量化后的评论文本序列输入双向长短期记忆网络层，经特征映射后得到序列规律信息。
第二输入单元11042，用于将向量化后的评论文本序列、向量化后的评论标签序列平均值和序列规律信息输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列。
第三输入单元11043，用于将输出序列输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
本实施例中各个模块的具体实现可以参见上述实施例1的细粒度情感分析方法，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以是计算机，如图13所示，其包括通过系统总线1301连接的处理器1302、存储器、输入装置1303、显示器1304和网络接口1305，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1306和内存储器1307，该非易失性存储介质1306存储有操作系统、计算机程序和数据库，该内存储器1307为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1302执行存储器存储的计算机程序时，实现上述实施例1的细粒度情感分析方法，如下：
获取源领域数据集和目标领域数据集；其中，所述源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建情感分析初始模型；
将源领域数据集的评论文本序列和评论标签序列进行向量化；
将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；
利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
进一步地，所述情感分析初始模型包括双向长短期记忆网络层、注意力机制层和全连接层；
所述将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型，具体包括：
将向量化后的评论文本序列输入双向长短期记忆网络层，经特征映射后得到序列规律信息；
将向量化后的评论文本序列、向量化后的评论标签序列平均值和序列规律信息输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列；
将输出序列输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的细粒度情感分析方法，如下：
获取源领域数据集和目标领域数据集；其中，所述源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建情感分析初始模型；
将源领域数据集的评论文本序列和评论标签序列进行向量化；
将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；
利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
进一步地，所述情感分析初始模型包括双向长短期记忆网络层、注意力机制层和全连接层；
所述将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型，具体包括：
将向量化后的评论文本序列输入双向长短期记忆网络层，经特征映射后得到序列规律信息；
将向量化后的评论文本序列、向量化后的评论标签序列平均值和序列规律信息输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列；
将输出序列输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、U盘、移动硬盘等介质。
综上所述，本发明使用源领域数据集中，每条数据为评论文本、评论标签、评论分数的三元组格式数据，评论标签不仅包含评论的关键信息，而且还包含情感倾向信息等优点，评论标签也可以看成是细粒度中的一种属性，即能代表评论者对评论对象进行评论的细粒度属性，因此为细粒度情感分析学习提供了天然的大量样本；此外，本发明基于迁移学习的思想，首先利用情感分析初始模型在源领域数据集上进行预训练，得到一个情感分析预训练模型，然后利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型，能够克服中文细粒度情感分析数据集缺乏的困难。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种细粒度情感分析方法，其特征在于，所述方法包括：
获取源领域数据集和目标领域数据集；其中，所述源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建情感分析初始模型；
将源领域数据集的评论文本序列和评论标签序列进行向量化；
将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；
利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
2.根据权利要求1所述的细粒度情感分析方法，其特征在于，所述情感分析初始模型包括双向长短期记忆网络层、注意力机制层和全连接层；
所述将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型，具体包括：
将向量化后的评论文本序列输入双向长短期记忆网络层，经特征映射后得到序列规律信息；
将向量化后的评论文本序列、向量化后的评论标签序列平均值和序列规律信息输入注意力机制层，对序列规律信息的各个元素进行加权，得到输出序列；
将输出序列输入全连接层，输出预测结果，并对情感分析初始模型的参数进行优化，得到情感分析预训练模型。
3.根据权利要求2所述的细粒度情感分析方法，其特征在于，所述对序列规律信息的各个元素进行加权，得到输出序列，如下：
S＝α1h1，α2h2，...，αnhn
其中，S为输出序列，(h1，h2，...，hn)为序列规律信息；(α1，α2，...，αn)为权重，其计算公式如下：
其中，1≤i≤n，1≤j≤n；wi为向量化后的评论文本序列；score为得分函数，其计算公式如下：
score(T，wi)＝vTtanh(WhT+WTwi+b)
其中，vT、Wh、WT为待学习的参数矩阵，b为注意力机制层的偏置值；Ti为向量化后的评论标签序列，1≤i≤n。
4.根据权利要求2所述的细粒度情感分析方法，其特征在于，所述将输出序列输入全连接层，输出预测结果，具体包括：
在全连接层中，输出序列经过一个ReLu层的映射，如下：
S′＝ReLu(WS+b)
其中，S为输出序列，S′为经过一个ReLu层映射得到的序列，W为待学习的参数矩阵，b为ReLu层的偏置值；
在全连接层最后的输出层中利用softmax函数进行映射，得到预测结果，如下：
其中，W′为待学习的参数矩阵，b′为全连接层最后的输出层的偏置值。
5.根据权利要求1-4任一项所述的细粒度情感分析方法，其特征在于，所述获取源领域数据集，具体包括：
从互联网上爬取带有评论标签的评论文本；
对评论文本和评论标签进行分词、去停用词处理，在处理后以评论文本、评论标签、评论分数的三元组格式进行存储，得到源领域数据集。
6.根据权利要求5所述的细粒度情感分析方法，其特征在于，所述从互联网上爬取带有评论标签的评论文本，具体为：采用Scrapy分布式爬虫框架从互联网上爬取带有评论标签的评论文本；
对评论文本和评论标签进行分词，具体为：采用开源的结巴分词工具对评论文本和评论标签进行分词；其中，评论标签分词后最大的长度为2。
7.根据权利要求1-4任一项所述的细粒度情感分析方法，其特征在于，所述将源领域数据集的评论文本序列和评论标签序列进行向量化，具体为：
采用词向量工具word2vec将源领域数据集的评论文本序列和评论标签序列映射到维度为300的词向量空间中。
8.一种细粒度情感分析装置，其特征在于，所述装置包括：
获取模块，用于获取源领域数据集和目标领域数据集；其中，所述源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；
搭建模块，用于搭建情感分析初始模型；
向量化模块，用于将源领域数据集的评论文本序列和评论标签序列进行向量化；
预训练模块，用于将向量化后的评论文本向量和评论标签向量输入情感分析初始模型进行训练，得到情感分析预训练模型；
微调训练模块，用于利用情感分析预训练模型在目标领域数据集上进行微调训练，得到细粒度情感分析模型；
细粒度分析模块，用于对待分析文本进行分词、去停用词处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的细粒度情感分析方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的细粒度情感分析方法。
CN201910796626.0A 2019-08-27 2019-08-27 细粒度情感分析方法、装置、计算机设备及存储介质 Pending CN110516245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910796626.0A CN110516245A (zh) 2019-08-27 2019-08-27 细粒度情感分析方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910796626.0A CN110516245A (zh) 2019-08-27 2019-08-27 细粒度情感分析方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN110516245A true CN110516245A (zh) 2019-11-29

Family

ID=68628171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910796626.0A Pending CN110516245A (zh) 2019-08-27 2019-08-27 细粒度情感分析方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110516245A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291803A (zh) * 2020-01-21 2020-06-16 中国科学技术大学 一种图像分级粒度迁移方法、系统、设备和介质
CN111444728A (zh) * 2020-04-20 2020-07-24 复旦大学 一种端到端的基于方面的情感分析方法
CN112001165A (zh) * 2020-06-05 2020-11-27 浙江工商大学 基于用户苛刻程度进行细粒度文本情感分析的方法
CN112232073A (zh) * 2020-11-06 2021-01-15 山西三友和智慧信息技术股份有限公司 一种基于Bi-LSTM神经网络的文本规范性检测系统及检测方法
CN112559743A (zh) * 2020-12-09 2021-03-26 深圳市网联安瑞网络科技有限公司 一种政企网络支持度的计算方法、装置、设备及存储介质
CN112800184A (zh) * 2021-01-13 2021-05-14 华东师范大学 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN112860841A (zh) * 2021-01-21 2021-05-28 平安科技（深圳）有限公司 一种文本情感分析方法、装置、设备及存储介质
CN113032550A (zh) * 2021-03-29 2021-06-25 同济大学 一种基于预训练语言模型的观点摘要评价系统
CN113111269A (zh) * 2021-05-10 2021-07-13 网易（杭州）网络有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113204645A (zh) * 2021-04-01 2021-08-03 武汉大学 一种基于知识引导的方面级情感分析模型训练方法
CN113221551A (zh) * 2021-05-28 2021-08-06 复旦大学 一种基于序列生成的细粒度情感分析方法
JP2022517845A (ja) * 2019-12-02 2022-03-10 ▲広▼州大学 言語間遷移を支援する細粒度感情解析方法
CN114237460A (zh) * 2021-10-14 2022-03-25 北京淘友天下科技发展有限公司 标签显示方法、装置、终端、存储介质及计算机程序产品
CN114610905A (zh) * 2022-03-23 2022-06-10 腾讯科技（深圳）有限公司 一种数据处理方法及相关装置
CN114896987A (zh) * 2022-06-24 2022-08-12 浙江君同智能科技有限责任公司 基于半监督预训练模型的细粒度情感分析方法和装置
CN115563987A (zh) * 2022-10-17 2023-01-03 北京中科智加科技有限公司 一种评论文本分析处理方法
CN115563972A (zh) * 2022-10-17 2023-01-03 北京中科智加科技有限公司 一种结构化的六联情感分析模型的训练方法
US11875131B2 (en) 2020-09-16 2024-01-16 International Business Machines Corporation Zero-shot cross-lingual transfer learning

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022517845A (ja) * 2019-12-02 2022-03-10 ▲広▼州大学 言語間遷移を支援する細粒度感情解析方法
JP7253848B2 (ja) 2019-12-02 2023-04-07 ▲広▼州大学 言語間遷移を支援する細粒度感情解析方法
CN111291803A (zh) * 2020-01-21 2020-06-16 中国科学技术大学 一种图像分级粒度迁移方法、系统、设备和介质
CN111291803B (zh) * 2020-01-21 2022-07-29 中国科学技术大学 一种图像分级粒度迁移方法、系统、设备和介质
CN111444728A (zh) * 2020-04-20 2020-07-24 复旦大学 一种端到端的基于方面的情感分析方法
CN112001165A (zh) * 2020-06-05 2020-11-27 浙江工商大学 基于用户苛刻程度进行细粒度文本情感分析的方法
CN112001165B (zh) * 2020-06-05 2023-09-08 浙江工商大学 基于用户苛刻程度进行细粒度文本情感分析的方法
US11875131B2 (en) 2020-09-16 2024-01-16 International Business Machines Corporation Zero-shot cross-lingual transfer learning
CN112232073A (zh) * 2020-11-06 2021-01-15 山西三友和智慧信息技术股份有限公司 一种基于Bi-LSTM神经网络的文本规范性检测系统及检测方法
CN112559743A (zh) * 2020-12-09 2021-03-26 深圳市网联安瑞网络科技有限公司 一种政企网络支持度的计算方法、装置、设备及存储介质
CN112559743B (zh) * 2020-12-09 2024-02-13 深圳市网联安瑞网络科技有限公司 一种政企网络支持度的计算方法、装置、设备及存储介质
CN112800184A (zh) * 2021-01-13 2021-05-14 华东师范大学 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN112860841A (zh) * 2021-01-21 2021-05-28 平安科技（深圳）有限公司 一种文本情感分析方法、装置、设备及存储介质
CN112860841B (zh) * 2021-01-21 2023-10-24 平安科技（深圳）有限公司 一种文本情感分析方法、装置、设备及存储介质
CN113032550A (zh) * 2021-03-29 2021-06-25 同济大学 一种基于预训练语言模型的观点摘要评价系统
CN113204645A (zh) * 2021-04-01 2021-08-03 武汉大学 一种基于知识引导的方面级情感分析模型训练方法
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113111269A (zh) * 2021-05-10 2021-07-13 网易（杭州）网络有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN113221551A (zh) * 2021-05-28 2021-08-06 复旦大学 一种基于序列生成的细粒度情感分析方法
CN114237460A (zh) * 2021-10-14 2022-03-25 北京淘友天下科技发展有限公司 标签显示方法、装置、终端、存储介质及计算机程序产品
CN114237460B (zh) * 2021-10-14 2024-01-30 北京淘友天下科技发展有限公司 标签显示方法、装置、终端、存储介质及计算机程序产品
CN114610905A (zh) * 2022-03-23 2022-06-10 腾讯科技（深圳）有限公司 一种数据处理方法及相关装置
CN114610905B (zh) * 2022-03-23 2024-04-26 腾讯科技（深圳）有限公司 一种数据处理方法及相关装置
CN114896987A (zh) * 2022-06-24 2022-08-12 浙江君同智能科技有限责任公司 基于半监督预训练模型的细粒度情感分析方法和装置
CN115563972A (zh) * 2022-10-17 2023-01-03 北京中科智加科技有限公司 一种结构化的六联情感分析模型的训练方法
CN115563987A (zh) * 2022-10-17 2023-01-03 北京中科智加科技有限公司 一种评论文本分析处理方法

Similar Documents

Publication Publication Date Title
CN110516245A (zh) 细粒度情感分析方法、装置、计算机设备及存储介质
White et al. Inference is everything: Recasting semantic resources into a unified evaluation framework
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
CN108021616B (zh) 一种基于循环神经网络的社区问答专家推荐方法
Chen et al. A thorough examination of the cnn/daily mail reading comprehension task
CN110222163B (zh) 一种融合cnn与双向lstm的智能问答方法及系统
CN110287494A (zh) 一种基于深度学习bert算法的短文本相似匹配的方法
CN111415740A (zh) 问诊信息的处理方法、装置、存储介质及计算机设备
CN108549658B (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN109960786A (zh) 基于融合策略的中文词语相似度计算方法
CN107590133A (zh) 基于语义的招聘职位与求职简历匹配的方法及系统
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN111898374B (zh) 文本识别方法、装置、存储介质和电子设备
EP3940582A1 (en) Method for disambiguating between authors with same name on basis of network representation and semantic representation
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
Schwab et al. Ant colony algorithm for the unsupervised word sense disambiguation of texts: Comparison and evaluation
CN110795565A (zh) 基于语义识别的别名挖掘方法、装置、介质及电子设备
Dai et al. A survey on dialog management: Recent advances and challenges
Sadr et al. Unified topic-based semantic models: A study in computing the semantic relatedness of geographic terms
CN109271636A (zh) 词嵌入模型的训练方法及装置
CN114722176A (zh) 一种智能答疑的方法、装置、介质及电子设备
Jeon et al. Dropout prediction over weeks in MOOCs via interpretable multi-layer representation learning
CN110334362A (zh) 一种基于医学神经机器翻译的解决产生未翻译单词的方法
CN113569018A (zh) 问答对挖掘方法及装置
Singh et al. Encoder-decoder architectures for generating questions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination