CN111353042B - 一种基于深度多任务学习的细粒度文本观点分析方法 - Google Patents

一种基于深度多任务学习的细粒度文本观点分析方法 Download PDF

Info

Publication number
CN111353042B
CN111353042B CN202010125042.3A CN202010125042A CN111353042B CN 111353042 B CN111353042 B CN 111353042B CN 202010125042 A CN202010125042 A CN 202010125042A CN 111353042 B CN111353042 B CN 111353042B
Authority
CN
China
Prior art keywords
word
emotion
sequence
text
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010125042.3A
Other languages
English (en)
Other versions
CN111353042A (zh
Inventor
王乾宇
蔡铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010125042.3A priority Critical patent/CN111353042B/zh
Publication of CN111353042A publication Critical patent/CN111353042A/zh
Application granted granted Critical
Publication of CN111353042B publication Critical patent/CN111353042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于深度多任务学习的细粒度文本观点分析方法，该方法基于深度神经网络BERT，通过多任务学习的方法，提取文本中被评论的方面词，并判断该方面词的情感极性。首先利用分词工具将文本分为一串词序列；将词序列输入BERT网络，获得BERT每一层的隐藏层输出；将BERT中间层的隐藏层输出输入到一个全连接网络加条件随机场的神经网络中，通过序列标注的方法得到文本中方面词的结果；将BERT最高层的隐藏层输出输入到一个三元分类器中，得到文本中每一个词的情感极性；将方面词结果和情感极性判别结果组合，得到最终文本的细粒度情感分析结果。这种方法不仅能够同时获取文本中方面词和对应的情感极性结果，而且使情感分析的准确率大大提升。

Description

一种基于深度多任务学习的细粒度文本观点分析方法
技术领域
本发明属于文本分析领域，尤其涉及一种基于深度多任务学习的细粒度文本观点分析方法。
背景技术
随着互联网用户的不断增加，用户所创造的内容数据呈爆炸增长。在用户生成的内容数据中，文本数据占大量比例，这些文本数据中所蕴藏的用户情感信息是十分重要的。如何从文本数据中挖掘情感至关重要，情感分析技术也就应运而生。
情感分析技术是自然语言处理(Natural Language Processing，NLP)中一个重要方向，分为文档级情感分析、句子级情感分析和方面级情感分析。文档级和句子级针对整篇文档或整句话判断单一的情感极性，而方面级情感分析则用于解决细粒度的情感分析问题，对于每一条文本数据，识别其中的方面词并判断评论者对该方面的情感。
例如对于饭店的评论“Great food but the service was dreadful！”中，细粒度情感分析能够识别用户对方面词“food”的情感是正向的，而对于方面词“service”的评价却是负向的。细粒度情感分析在实际生产生活中有着重要作用。例如，通过对商品评论的细粒度情感分析，消费者可以准确了解商品各方面的评价来选择是否购买商品，同时生产厂家可以针对性地改良产品。细粒度情感分析方法的研究能够使我们从海量的数据中更加准确地挖掘用户所表达的情感，有着非常重要的研究意义和价值。
现有的细粒度情感分析研究主要分为两阶段的任务进行。其中，第一阶段为方面词抽取任务。第二阶段为情感极性判别任务，即根据第一阶段取到的方面词，判断该方面词的情感极性。然而，这种流水线式的方法存在一定的问题。一方面而言，这种方法会造成链式错误，即当第一阶段的方面词抽取出现错误时，第二阶段会对错误的方面词进行情感判断，从而导致情感极性判别结果也出现错误。另一方面，这种方法忽略了两任务之间的信息传递。
基于以上背景，本发明提出一种基于深度多任务学习的细粒度情感分析方法。通过将BERT模型用于多任务学习，避免了链式冲突，更好地利用了多任务之间的信息交互和信息共享，使情感分析的准确率大大提升。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于深度多任务学习的细粒度文本观点分析方法。
本发明的目的是通过以下技术方案来实现的：一种基于深度多任务学习的细粒度文本观点分析方法，包括如下步骤：
(1)输入文本序列，方面词及对应的情感极性；
(2)首先利用分词工具将步骤(1)输入的文本序列按照分词规范重新组合成具有独立含义的词序列，在词序列的开头和结尾分别添加“[CLS]”和“[SEP]”标志位；然后根据预先设定的最大句子长度，在未达到最大长度的词序列末尾作0填充，得到预处理后的词序列S；
(3)通过序列标注的方式对预处理后的词序列S中每一个词作标注表示方面词位置；所述序列标注具体为标注方面词的开始位置、方面词的中间位置和非方面词位置；并对预处理后的词序列S中每一个词标注情感极性，方面词的情感极性包括正向情感、负向情感和中性情感，非方面词作特殊标注；
(4)将步骤(2)预处理后的词序列S输入细粒度文本观点分析模型结合步骤(3)标注的方面词位置和情感极性进行训练；所述细粒度文本观点分析模型包括BERT模型、方面词抽取网络和情感极性判别网络；所述细粒度文本观点分析模型的损失函数为方面词抽取网络的损失函数与情感极性判别网络的损失函数之和；其中，所述方面词抽取网络的损失函数为最大似然函数；所述情感极性判别网络的损失函数为交叉熵损失函数，且在步骤(3)中作特殊标注的非方面词的情感极性不计入该损失函数；
(5)将待测文本序列经过步骤(2)预处理得到词序列，输入步骤(4)训练得到的细粒度文本观点分析模型，得到待测文本序列的方面词以及每个词对应的情感极性；当方面词为多个词的组合时，取第一个词的情感极性为整个方面词的情感极性。
进一步地，所述步骤(4)中所述BERT模型的输入为预处理后的词序列S，BERT模型每一层的隐藏层输出为H＝[H1,H2,…,Hm,…,Ht]；其中，Hm为第m层隐藏层输出；Ht为第t层隐藏层输出。
进一步地，所述BERT模型为BERT-base模型，模型层数为t＝12，中间层m的取值为9。
进一步地，所述方面词抽取网络由全连接网络和条件随机场组成；所述全连接网络的输入为BERT模型的第m层隐藏层输出Hm，输出为隐藏层输出P；隐藏层输出P的维度为最大句子长度*3；所述条件随机场的输入为隐藏层输出P，输出为每个词的序列标注，用于表示方面词位置。
进一步地，所述情感极性判别网络为由全连接网络和非线性激活函数构成的三元分类器；所述由全连接网络和非线性激活函数构成的三元分类器的输入为BERT模型的第t层隐藏层输出Ht，输出为每一个词的情感极性判断结果。
本发明的有益效果是：可以同时获得文本的方面词和该方面词对应的情感极性。此外，通过多任务学习的方法，使两个任务在训练过程中实现信息交互和共享，并且使用BERT模型提高该方法的文本特征提取能力，相比流水线式的方法有更准确的细粒度情感分析结果。
附图说明
图1是基于深度多任务学习的细粒度文本观点分析方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明选用英文公开数据集SemEval-2014 Task4作为训练语料，其中包括餐馆和笔记本电脑两个领域的用户评论数据，每条评论都标注了方面词和对应的情感极性。如图1所示，本发明提供一种基于深度多任务学习的细粒度文本观点分析方法，包括如下步骤：
(1)输入文本序列，方面词及对应的情感极性；
(2)首先利用bert模型自带的分词工具将步骤(1)输入的文本序列按照分词规范重新组合成具有独立含义的词序列S＝[s1,s2,…,sn]；在词序列S的开头和结尾分别添加“[CLS]”和“[SEP]”标志位，使其满足BERT(Bidirectional Encoder Representationsfrom Transformers)模型的输入要求；然后根据预先设定的最大句子长度，在未达到最大长度的词序列S末尾作0填充，得到预处理后的词序列S；
(3)通过序列标注的方式用B、I、O对预处理后的词序列S中每一个词作标注表示方面词位置其中，B代表方面词的开始位置，I代表方面词的中间位置，O代表非方面词位置；并对预处理后的词序列S中每一个词标注情感极性；方面词的情感极性包括POS，NEG，NEU三类；其中，POS代表正向情感，NEG代表负向情感，NEU代表中性情感；非方面词作特殊标注“-”，在模型训练中这些位置不会用于计算情感极性判别的损失函数。
(4)将步骤(2)预处理后的词序列S输入细粒度文本观点分析模型结合步骤(3)标注的方面词位置和情感极性进行训练；所述细粒度文本观点分析模型能够同时实现方面词抽取任务(即序列标注任务)和情感极性判别任务(即分类任务)。所述细粒度文本观点分析模型包括BERT模型、方面词抽取网络和情感极性判别网络。其中，所述方面词抽取网络的损失函数为最大似然函数lossasp；所述情感极性判别网络的损失函数为交叉熵损失函数，且在步骤(3)中作特殊标注的非方面词的情感极性输出结果不计入该损失函数losssen，具体为：
Figure BDA0002394158030000031
其中，
Figure BDA0002394158030000032
为步骤(3)标注的情感极性，/>
Figure BDA0002394158030000033
为情感极性判别网络输出的结果，j表示第j个情感类别，i表示第i个方面词；所述细粒度文本观点分析模型的损失函数loss为方面词抽取网络的损失函数lossasp与情感极性判别网络的损失函数losssen之和。
本实施例模型训练参数设置如下，学习率设置为5e-5，优化器设置为BertAdam，模型参数初始化方法为xavier_uniform，最大句子长度设置为80；为了避免过拟合，损失函数中加入L2正则项，设置正则项系数λ＝0.01，在全连接网络和分类器网络中加入dropout，概率设置为0.1。将模型进行多轮训练，当损失函数结果不再下降时，将模型保存。
所述BERT模型的输入为预处理后的词序列S，BERT模型每一层的隐藏层输出为H＝[H1,H2,…,Hm,…,Ht]；其中，Hm为第m层隐藏层输出，用于方面词抽取；Ht为第t层隐藏层输出，用于情感极性判别。选取BERT模型隐藏层输出时，本实施例选用BERT-base模型，该模型的总层数为t＝12，用于方面词抽取的中间层层数m的取值为9；这种方法既能够使BERT模型更好地抽取文本特征，第m层和第t层之间也能够实现方面词抽取任务向情感极性分析任务的信息传递，使模型能够取得最好的效果。
所述方面词抽取网络由全连接网络和条件随机场组成；所述全连接网络的输入为BERT模型的第m层隐藏层输出Hm，输出为隐藏层输出P，其维度为最大句子长度*3；所述条件随机场的输入为全连接网络隐藏层输出P，输出为每个词的序列标注标签，用于表示方面词位置。
所述情感极性判别网络为由全连接网络和非线性激活函数构成的三元分类器；所述由全连接网络和非线性激活函数构成的三元分类器的输入为BERT模型的第t层隐藏层输出Ht，输出为每一个词的情感极性判断结果。
(5)将待测文本序列经过步骤(2)预处理得到词序列，输入步骤(4)训练得到的细粒度文本观点分析模型，得到待测文本序列的方面词以及每个词对应的情感极性；当方面词为多个词的组合时，取第一个词的情感极性为整个方面词的情感极性。
例如，对句子“Great food but the service was dreadful！”进行细粒度文本观点分析；得到的模型预测结果为方面词“food”的情感极性为正向，方面词“service”对应的情感极性为负向。句子经预处理之后的结果，方面词标注结果，情感极性标注结果以及模型预测结果如表格1所示。
表1：方面词、情感极性标注以及模型预测结果
例句 [CLS] great food but the service was dreadful ！ [SEP]
方面词标注 O O B O O B O O O O
模型预测方面词 O O B O O B O O O O
情感极性标注 - - POS - - NEG - - - -
模型预测情感极性 NEG POS POS NEG NEG NEG NEG NEG POS NEG

Claims (2)

1.一种基于深度多任务学习的细粒度文本观点分析方法，其特征在于，包括如下步骤：
(1)输入文本序列，方面词及对应的情感极性；
(2)首先利用分词工具将步骤(1)输入的文本序列按照分词规范重新组合成具有独立含义的词序列，在词序列的开头和结尾分别添加“[CLS]”和“[SEP]”标志位；然后根据预先设定的最大句子长度，在未达到最大长度的词序列末尾作0填充，得到预处理后的词序列S；
(3)通过序列标注的方式对预处理后的词序列S中每一个词作标注表示方面词位置；所述序列标注具体为标注方面词的开始位置、方面词的中间位置和非方面词位置；并对预处理后的词序列S中每一个词标注情感极性，方面词的情感极性包括正向情感、负向情感和中性情感，非方面词作特殊标注；
(4)将步骤(2)预处理后的词序列S输入细粒度文本观点分析模型结合步骤(3)标注的方面词位置和情感极性进行训练；所述细粒度文本观点分析模型包括BERT模型、方面词抽取网络和情感极性判别网络；所述细粒度文本观点分析模型的损失函数为方面词抽取网络的损失函数与情感极性判别网络的损失函数之和；其中，所述方面词抽取网络的损失函数为最大似然函数；所述情感极性判别网络的损失函数为交叉熵损失函数，且在步骤(3)中作特殊标注的非方面词的情感极性不计入该损失函数；
(5)将待测文本序列经过步骤(2)预处理得到词序列，输入步骤(4)训练得到的细粒度文本观点分析模型，得到待测文本序列的方面词以及每个词对应的情感极性；当方面词为多个词的组合时，取第一个词的情感极性为整个方面词的情感极性；
所述步骤(4)中所述BERT模型的输入为预处理后的词序列S，BERT模型每一层的隐藏层输出为H＝[H1,H2,…,Hm,…,Ht]；其中，Hm为第m层隐藏层输出；Ht为第t层隐藏层输出；
所述方面词抽取网络由全连接网络和条件随机场组成；所述全连接网络的输入为BERT模型的第m层隐藏层输出Hm，输出为隐藏层输出P；隐藏层输出P的维度为最大句子长度*3；所述条件随机场的输入为隐藏层输出P，输出为每个词的序列标注，用于表示方面词位置；
所述情感极性判别网络为由全连接网络和非线性激活函数构成的三元分类器；所述由全连接网络和非线性激活函数构成的三元分类器的输入为BERT模型的第t层隐藏层输出Ht，输出为每一个词的情感极性判断结果。
2.根据权利要求1所述基于深度多任务学习的细粒度文本观点分析方法，其特征在于，所述BERT模型为BERT-base模型，模型层数为t＝12，中间层m的取值为9。
CN202010125042.3A 2020-02-27 2020-02-27 一种基于深度多任务学习的细粒度文本观点分析方法 Active CN111353042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125042.3A CN111353042B (zh) 2020-02-27 2020-02-27 一种基于深度多任务学习的细粒度文本观点分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125042.3A CN111353042B (zh) 2020-02-27 2020-02-27 一种基于深度多任务学习的细粒度文本观点分析方法

Publications (2)

Publication Number Publication Date
CN111353042A CN111353042A (zh) 2020-06-30
CN111353042B true CN111353042B (zh) 2023-06-30

Family

ID=71194150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125042.3A Active CN111353042B (zh) 2020-02-27 2020-02-27 一种基于深度多任务学习的细粒度文本观点分析方法

Country Status (1)

Country Link
CN (1) CN111353042B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882000A (zh) * 2020-08-04 2020-11-03 天津大学 一种应用于小样本细粒度学习的网络结构及方法
CN112148878A (zh) * 2020-09-23 2020-12-29 网易（杭州）网络有限公司 情感数据处理方法及装置
CN112597306A (zh) * 2020-12-24 2021-04-02 电子科技大学 一种基于bert的旅游评论意见挖掘方法
CN112667816B (zh) * 2020-12-31 2022-07-05 华中师范大学 一种基于深度学习的方面级情感分析方法及系统
CN112765351A (zh) * 2021-01-18 2021-05-07 上海交通大学宁波人工智能研究院 一种融合深度学习的学生文本反馈细粒度分析装置与方法
CN112818698B (zh) * 2021-02-03 2022-07-15 北京航空航天大学 一种基于双通道模型的细粒度的用户评论情感分析方法
CN112836052B (zh) * 2021-02-19 2023-04-07 中国第一汽车股份有限公司 一种汽车评论文本观点挖掘方法、设备及存储介质
CN113221551B (zh) * 2021-05-28 2022-07-29 复旦大学 一种基于序列生成的细粒度情感分析方法
CN113656583B (zh) * 2021-08-18 2023-08-08 中国平安人寿保险股份有限公司 细粒度情感分析方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740154A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 一种基于多任务学习的在线评论细粒度情感分析方法
CN110222188A (zh) * 2019-06-18 2019-09-10 深圳司南数据服务有限公司 一种多任务学习的公司公告处理方法及服务端
CN110334210A (zh) * 2019-05-30 2019-10-15 哈尔滨理工大学 一种基于bert与lstm、cnn融合的中文情感分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130018882A1 (en) * 2011-07-13 2013-01-17 Brad Martin Listermann Method and System for Sharing Life Experience Information
US10642939B2 (en) * 2018-02-24 2020-05-05 Twenty Lane Media, LLC Systems and methods for generating jokes
US11017180B2 (en) * 2018-04-18 2021-05-25 HelpShift, Inc. System and methods for processing and interpreting text messages
CN110609899B (zh) * 2019-08-29 2022-04-19 成都信息工程大学 一种基于改进bert模型的特定目标情感分类方法
CN110728153A (zh) * 2019-10-15 2020-01-24 天津理工大学 基于模型融合的多类别情感分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740154A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 一种基于多任务学习的在线评论细粒度情感分析方法
CN110334210A (zh) * 2019-05-30 2019-10-15 哈尔滨理工大学 一种基于bert与lstm、cnn融合的中文情感分析方法
CN110222188A (zh) * 2019-06-18 2019-09-10 深圳司南数据服务有限公司 一种多任务学习的公司公告处理方法及服务端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SentiBERT：结合情感信息的预训练语言模型;杨晨;宋晓宁;宋威;;计算机科学与探索(第09期);全文 *

Also Published As

Publication number Publication date
CN111353042A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111353042B (zh) 一种基于深度多任务学习的细粒度文本观点分析方法
CN109933664B (zh) 一种基于情感词嵌入的细粒度情绪分析改进方法
CN108763326B (zh) 一种基于特征多样化的卷积神经网络的情感分析模型构建方法
CN106776581B (zh) 基于深度学习的主观性文本情感分析方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
Valakunde et al. Multi-aspect and multi-class based document sentiment analysis of educational data catering accreditation process
Maharjan et al. A multi-task approach to predict likability of books
CN107729309A (zh) 一种基于深度学习的中文语义分析的方法及装置
CN111160037A (zh) 一种支持跨语言迁移的细粒度情感分析方法
CN110489553B (zh) 一种基于多源信息融合的情感分类方法
CN109522412B (zh) 文本情感分析方法、装置及介质
CN111666480A (zh) 一种基于滚动式协同训练的虚假评论识别方法
Suleiman et al. Comparative study of word embeddings models and their usage in Arabic language applications
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
CN112905739B (zh) 虚假评论检测模型训练方法、检测方法及电子设备
CN110472245B (zh) 一种基于层次化卷积神经网络的多标记情绪强度预测方法
Gosai et al. A review on a emotion detection and recognization from text using natural language processing
CN112561718A (zh) 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法
CN113220768A (zh) 基于深度学习的简历信息结构化方法及系统
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN112364646A (zh) 一种考虑修饰词的句子评论情感极性分析方法
Khamphakdee et al. Sentiment analysis for Thai language in hotel domain using machine learning algorithms
Fasha et al. Opinion mining using sentiment analysis: a case study of readers’ response on long Litt Woon’s the way through the woods in goodreads
Park et al. Impact of word embedding methods on performance of sentiment analysis with machine learning techniques
CN101876974B (zh) 文本情感极性分类系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant