CN113377908A - 基于可学习多单词对打分器的方面级情感三元组抽取方法 - Google Patents

基于可学习多单词对打分器的方面级情感三元组抽取方法 Download PDF

Info

Publication number
CN113377908A
CN113377908A CN202110638892.8A CN202110638892A CN113377908A CN 113377908 A CN113377908 A CN 113377908A CN 202110638892 A CN202110638892 A CN 202110638892A CN 113377908 A CN113377908 A CN 113377908A
Authority
CN
China
Prior art keywords
word
emotion
learnable
scorer
word pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110638892.8A
Other languages
English (en)
Other versions
CN113377908B (zh
Inventor
雷印杰
苟延杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110638892.8A priority Critical patent/CN113377908B/zh
Publication of CN113377908A publication Critical patent/CN113377908A/zh
Application granted granted Critical
Publication of CN113377908B publication Critical patent/CN113377908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供基于可学习多单词对打分器的方面级情感三元组抽取方法，属于自然语言处理领域，通过将将句子评论中的单词(字)转换编码，得到词向量表征；将编码后的词向量表征使用点乘注意力机制对编码后的词向量进行加权；再输出一个二维的多通道单词对的特征图；将该二维的多通道单词对的特征图送入一卷积编码‑解码框架，输出二维的标注矩阵；对该标注矩阵进行解码，输出最终的情感三元组集合；使用损失函数训练模型；保存训练模型，即可应用于方面级情感三元组抽取。本发明是基于端到端的解决方案，使用可学习多单词对打分器更高效地建模句中方面词及情感词间的全局关系，以生成更有效的特征并抽取情感三元组。

Description

基于可学习多单词对打分器的方面级情感三元组抽取方法
技术领域
本发明涉及自然语言处理领域，特别涉及基于可学习多单词对打分器的方面级情感三元组抽取方法。
背景技术
方面级情感三元组抽取任务通常用于细粒度地抽取评论句子中包含的三元组<方面词，观点，情感>，在这里，方面词指评价的对象，观点是评论对象时用到的描述词，情感是指对象在上下文中的整体情感，一般包括正向，中性，负向。其目的是从句子中获得全面的信息用于细粒度情感分析，可以广泛应用于电商评论挖掘、社会计算等领域。
由于深度学习强大的建模能力，基于深度学习方法的模型一般被用来对该任务进行建模。具体讲，基于深度学习的方面级情感三元组抽取通常有两种解决方案：(1)流水线式：这种方法一般先在第一个阶段对句子中的方面词和观点词分别抽取；在第二阶段，再对抽取得到的多个方面词及情感词进行组合判断对应的情感分类并组成三元组。然而，流水线式的方法存在错误传播的问题，会导致模型性能无法达到最优。(2)端到端式：这种方法通过设计更符合该任务的标注方案，从而使得可以端到端优化模型，从理论上解决了流水线式错误传播的问题。然而，现有端到端的解决方法无法像流水线式方法那样显示地全局组合方面词和观点词。
发明内容
本发明的主要目的在于提供一种基于可学习多单词对打分器的方面级情感三元组抽取方法，可以有效弥补背景技术中提出的不足。
为实现上述目的，本发明采取的技术方案为：
基于可学习多单词对打分器的方面级情感三元组抽取方法，包括以下步骤：
S1、将句子评论中的单词(字)转换为词向量序列，并经过一长短期记忆循环网络编码器对词向量序列进行编码，得到编码后的词向量表征；
S2、将编码后的词向量表征使用点乘注意力机制对编码后的词向量进行加权；
S3、使用一可学习的多单词对打分器对每个单词对进行打分，输出一个二维的多通道单词对的特征图；
S4、将该二维的多通道单词对的特征图送入一卷积编码-解码框架，输出二维的标注矩阵；
S5、对该标注矩阵进行解码，输出最终的情感三元组集合；
S6、使用损失函数训练模型；
S7、保存训练模型，即可应用于方面级情感三元组抽取。
优选的，所述S1、S2中的所有操作还可使用预训练神经网络在一步内完成。
优选的，所述S2中加权后的每个词向量都可以对其上下文进行进一步感知。
与现有技术相比，本发明具有如下有益效果：
1.能够在兼顾模型对三元组元素的全局组合性和局部一致性的同时，避免错误传播问题。
2.效果高，在基于长短期记忆循环网络编码器的模型中，在四个数据集RES14、LAP14、RES15和RES16上，模型可以达到68.86、52.13、56.81和67.52的F1值。在基于预训练网络(BERT)的模型中，在四个数据集RES14、LAP14、RES15和RES16上，模型可以达到71.20、58.36、60.47和69.13的F1值。
附图说明
图1为本发明的流程示意图；
图2为本发明的模型结构示意图；
图3为本发明使用的卷积编解码器结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-3所示:基于可学习多单词对打分器的方面级情感三元组抽取方法，系统架构主要包括以下步骤：
S1、将句子评论中的单词(字)转换为词向量序列，并经过一长短期记忆循环网络编码器对词向量序列进行编码，得到编码后的词向量表征；
S2、将编码后的词向量表征使用点乘注意力机制对编码后的词向量进行加权，使每个词向量都能对其上下文进行进一步感知；
上述两步中的所有操作也可使用预训练神经网络(如BERT)在一步内完成；
S3、使用一可学习的多单词对打分器对每个单词对进行打分，输出一个二维的多通道单词对的特征图；
S4、将该二维的多通道单词对的特征图送入一卷积编码-解码框架，输出二维的标注矩阵；
S5、对该标注矩阵进行解码，输出最终的情感三元组集合；
S6、使用损失函数训练模型；
S7、保存训练模型，即可应用于方面级情感三元组抽取。
在本实施例中，步骤S2使用点乘注意力机制对编码后的词向量进行加权，使每个词向量都能对其上下文进行进一步感知，可以形式化如下：
Ae＝softmax(HHT),
H′＝(1+Ae)H,
其中，H是经过LSTM编码得到的向量，Ae是其本身经过点乘注意力后的注意力权重，H′是该步骤得到的注意力加权后的词向量表征。
在本实施例中，步骤S4使用一可学习的多单词对打分器对每个单词对进行打分，具体实现细节如下：
A＝[A1；...；Ah],
Figure BDA0003106334810000041
其中，A表示得到的h通道的特征图。该特征图由h个一通道特征图组成，每个特征图都由全连接层将映射到H′映射到不同子空间后进行点乘注意力以建模三元组元素间的全局联系。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于可学习多单词对打分器的方面级情感三元组抽取方法，其特征在于：包括以下步骤：
S1、将句子评论中的单词(字)转换为词向量序列，并经过一长短期记忆循环网络编码器对词向量序列进行编码，得到编码后的词向量表征；
S2、将编码后的词向量表征使用点乘注意力机制对编码后的词向量进行加权；
S3、使用一可学习的多单词对打分器对每个单词对进行打分，输出一个二维的多通道单词对的特征图；
S4、将该二维的多通道单词对的特征图送入一卷积编码-解码框架，输出二维的标注矩阵；
S5、对该标注矩阵进行解码，输出最终的情感三元组集合；
S6、使用损失函数训练模型；
S7、保存训练模型，即可应用于方面级情感三元组抽取。
2.根据权利要求1所述的基于可学习多单词对打分器的方面级情感三元组抽取方法，其特征在于：所述S1、S2中的所有操作也可使用预训练神经网络在一步内完成。
3.根据权利要求1所述的基于可学习多单词对打分器的方面级情感三元组抽取方法，其特征在于：所述S2中加权后的每个词向量都可以对其上下文进行进一步感知。
CN202110638892.8A 2021-06-08 2021-06-08 基于可学习多单词对打分器的方面级情感三元组抽取方法 Active CN113377908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110638892.8A CN113377908B (zh) 2021-06-08 2021-06-08 基于可学习多单词对打分器的方面级情感三元组抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638892.8A CN113377908B (zh) 2021-06-08 2021-06-08 基于可学习多单词对打分器的方面级情感三元组抽取方法

Publications (2)

Publication Number Publication Date
CN113377908A true CN113377908A (zh) 2021-09-10
CN113377908B CN113377908B (zh) 2022-06-28

Family

ID=77572813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638892.8A Active CN113377908B (zh) 2021-06-08 2021-06-08 基于可学习多单词对打分器的方面级情感三元组抽取方法

Country Status (1)

Country Link
CN (1) CN113377908B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881042A (zh) * 2022-06-02 2022-08-09 电子科技大学 基于图卷积网络融合句法依存与词性的中文情感分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197903A1 (en) * 2011-01-31 2012-08-02 Yue Lu Objective-function based sentiment
CN109543180A (zh) * 2018-11-08 2019-03-29 中山大学 一种基于注意力机制的文本情感分析方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和系统
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN111260437A (zh) * 2020-01-14 2020-06-09 北京邮电大学 一种基于商品方面级情感挖掘和模糊决策的产品推荐方法
CN111400496A (zh) * 2020-03-18 2020-07-10 江苏海洋大学 一种面向用户行为分析的大众口碑情感分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197903A1 (en) * 2011-01-31 2012-08-02 Yue Lu Objective-function based sentiment
CN109543180A (zh) * 2018-11-08 2019-03-29 中山大学 一种基于注意力机制的文本情感分析方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和系统
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN111260437A (zh) * 2020-01-14 2020-06-09 北京邮电大学 一种基于商品方面级情感挖掘和模糊决策的产品推荐方法
CN111400496A (zh) * 2020-03-18 2020-07-10 江苏海洋大学 一种面向用户行为分析的大众口碑情感分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANSAR, WAZIB 等: "An Efficient Methodology for Aspect-based Sentiment Analysis Using BERT through Refined Aspect Extraction", 《JOURNAL OF INTELLIGENT & FUZZY SYSTEMS》 *
杨玉亭 等: "面向上下文注意力联合学习网络的方面级情感分类模型", 《模式识别与人工智能》 *
王毅: "基于深度神经网络的方面级情感分析算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
邵兴林: "基于深度学习的细粒度情感分析", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881042A (zh) * 2022-06-02 2022-08-09 电子科技大学 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN114881042B (zh) * 2022-06-02 2023-05-02 电子科技大学 基于图卷积网络融合句法依存与词性的中文情感分析方法

Also Published As

Publication number Publication date
CN113377908B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN109213975B (zh) 一种基于字符层级卷积变分自编码的推特文本表示方法
CN113158665A (zh) 一种基于文本摘要生成与双向语料改善对话文本生成的方法
WO2021098689A1 (zh) 自然场景的文本识别方法、存储装置和计算机设备
CN113221571B (zh) 基于实体相关注意力机制的实体关系联合抽取方法
CN113051929A (zh) 一种基于细粒度语义信息增强的实体关系抽取的方法
CN109508457B (zh) 一种基于机器阅读到序列模型的迁移学习方法
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN112349294B (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN113140023A (zh) 一种基于空间注意力的文本到图像生成方法及系统
CN113377908B (zh) 基于可学习多单词对打分器的方面级情感三元组抽取方法
CN116029305A (zh) 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质
CN113836319B (zh) 融合实体邻居的知识补全方法及系统
CN114492459A (zh) 基于知识图谱与交互图卷积的评论情感分析方法及系统
Chaudhary et al. Bilingual machine translation using RNN based deep learning
CN114896969A (zh) 一种基于深度学习的方面词提取方法
CN114611529B (zh) 意图识别方法和装置、电子设备及存储介质
CN115496134A (zh) 基于多模态特征融合的交通场景视频描述生成方法和装置
CN112580370B (zh) 一种融合语义知识的蒙汉神经机器翻译方法
CN115545038A (zh) 一种优化网格标签的方面情感分析方法
CN115659242A (zh) 一种基于模态增强卷积图的多模态情感分类方法
CN115995029A (zh) 一种基于双向连接的图像情感分析方法
CN114297408A (zh) 一种基于级联二进制标注框架的关系三元组抽取方法
CN113961691A (zh) 基于图神经网络的动态推理对话生成方法
CN118138825A (zh) 一种基于双编码器的视频描述生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant