CN113486673B - 基于目标语义与位置融合的方面意见词抽取方法 - Google Patents

基于目标语义与位置融合的方面意见词抽取方法 Download PDF

Info

Publication number
CN113486673B
CN113486673B CN202110861377.6A CN202110861377A CN113486673B CN 113486673 B CN113486673 B CN 113486673B CN 202110861377 A CN202110861377 A CN 202110861377A CN 113486673 B CN113486673 B CN 113486673B
Authority
CN
China
Prior art keywords
lstm
target
word
information
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110861377.6A
Other languages
English (en)
Other versions
CN113486673A (zh
Inventor
刘德喜
廖黾
万常选
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huashu Cloud Computing Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110861377.6A priority Critical patent/CN113486673B/zh
Publication of CN113486673A publication Critical patent/CN113486673A/zh
Application granted granted Critical
Publication of CN113486673B publication Critical patent/CN113486673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及自然语言处理技术领域，且公开了基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，输入层，在观察数据集时，部分句子的方面目标或方面意见词处于句子初始位置或者结束位置，在模型训练过程中方面目标或候选方面意见词缺失左侧信息或右侧信息，使上下文语义信息不完整。该基于目标语义与位置融合的方面意见词抽取方法，具备以位置和注意力信息作为切入点，将上下文信息、方面目标语义信息、相对位置信息以及注意力机制的结合，以及关注到整个句子的全局信息，获取方面目标与方面意见词之间的相对位置信息的优点。

Description

基于目标语义与位置融合的方面意见词抽取方法
技术领域
本发明涉及自然语言处理技术领域，具体为基于目标语义与位置融合的方面意见词抽取方法。
背景技术
文本情感分析旨在自动地从非结构化的评论文本中抽取有用的观点信息，挖掘出的信息可以运用于电商平台、网络舆情、企业制造、公共服务中，帮助企业、机构、政府了解大众的看法，完善产品、系统和服务，同时也为大众提供一些可信性参考，早期抽取方面意见词主要基于规则的方法，通过人为构造一些词性规则与句法规则来实现对方面意见词的抽取，近年来，深度神经网络被应用到这项任务中，不需要太多的领域知识即可得到很好的效果，但仍存在改进和提升的空间，例如融合方面目标信息的神经序列化标注模型(Target-oriented Opinion Words Extraction with Target-fused Neural SequenceLabeling，IOG)，可以将方面目标信息分别编码到候选意见词的上下文中，然后结合方面目标信息与上下文信息，在解码器中抽取相应的意见词。
目前，传统的方面意见词的抽取方法，虽然可以将方面目标信息分别编码到候选意见词的上下文中，然后结合方面目标信息与上下文信息并从中抽取相应的意见词，但是无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于目标语义与位置融合的方面意见词抽取方法，具备以位置和注意力信息作为切入点，将上下文信息、方面目标语义信息、相对位置信息以及注意力机制的结合，以及关注到整个句子全局信息，获取方面目标与方面意见词之间的相对位置信息等优点，解决了无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息的问题。
(二)技术方案
为实现上述的目的，本发明提供如下技术方案：基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，包括以下步骤；
步骤一：输入层，AP-IOG模型在句子的开头和结尾分别补上头尾标识符；
步骤二：Inward-LSTM层，使用Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，把方面目标词作为LSTM的最后一个输入单元，能够更好的利用方面目标的语义信息；
步骤三：Outward-LSTM层，使用Outward-LSTM将方面目标传递给上下文，确保针对不同的目标，每个单词具有不同的表示形式；
步骤四：AP Global-LSTM层，使用AP Global-LSTM能获取整个句子的语义信息，而且更好地注意到句子中的方面目标信息以及附近候选意见词的信息，完善句子的语义信息；
步骤五：融合层，将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使输入层具有更丰富的信息；
步骤六：解码层，使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题。
优选的，所述输入层表示如下：
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd。
优选的，所述Inward-LSTM层表示如下：
Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure GDA0003855102690000031
和下文表示
Figure GDA0003855102690000032
如式(1)和(2)所示；
Figure GDA0003855102690000033
Figure GDA0003855102690000034
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000035
和
Figure GDA0003855102690000036
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，如下式(3)所示；
Figure GDA0003855102690000041
经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure GDA0003855102690000042
优选的，所述Outward-LSTM层表示如下：
Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM，前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，即左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure GDA0003855102690000043
和下文表示
Figure GDA0003855102690000044
如式(4)和(5)，对重复计算的方面目标隐藏状态进行平均，如式(6)，可以获得方面目标融合的上下文表示形式为
Figure GDA0003855102690000045
Figure GDA0003855102690000046
Figure GDA0003855102690000047
Figure GDA0003855102690000048
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000049
和
Figure GDA00038551026900000410
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当从目标开始LSTM时，目标的信息融合到句子中的每个单词中。
优选的，所述AP Global-LSTM层使用Bi-LSTM编码获取全局信息，使用位置注意力增强机制获取局部信息和相对位置信息，以完善句子的语义信息。
优选的，所述Bi-LSTM表示如下：
使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure GDA0003855102690000051
如式(7)-(9)所示；
Figure GDA0003855102690000052
Figure GDA0003855102690000053
Figure GDA0003855102690000054
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000055
和
Figure GDA0003855102690000056
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态。
优选的，所述位置注意力增强机制表示如下：
1)注意力机制：
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到，通过Self-Attention得到权重求和的表示
Figure GDA0003855102690000057
如式(10)所示；
Figure GDA0003855102690000058
2)位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}，检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0,l+1≤i≤r-1 (11)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure GDA0003855102690000061
③通过查找位置嵌入表
Figure GDA0003855102690000062
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure GDA0003855102690000063
如式(13)所示；
Figure GDA0003855102690000064
优选的，所述AP Global-LSTM层表示如下：
在AP Global-LSTM中，通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式
Figure GDA0003855102690000065
如式(14)所示；
Figure GDA0003855102690000066
优选的，所述融合层表示如下：
将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中
Figure GDA0003855102690000067
为拼接操作：
Figure GDA0003855102690000068
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
优选的，所述解码层表示如下：
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax计算概率，计算公式如式(16)所示。
p(yi|ri)＝soft max(Wsri+bs),1≤i≤n (16)
使用负对数似然L(S)作为损失函数，计算公式如式(17)所示；
Figure GDA0003855102690000071
(三)有益效果
与现有技术相比，本发明提供了基于目标语义与位置融合的方面意见词抽取方法，具备以下有益效果：
IOG使用内外LSTM模型向量相加的方式包含方面目标信息，而后使用Bi-LSTM了解句子的全局含义，显著改善了针对方面目标的意见词抽取性能，但IOG仍比AP-IOG低3个百分点，这说明，拼接向量可以充分独立地利用上下文传递给方面目标的信息以及方面目标传递给上下文的信息，训练效果更佳，位置注意力机制可以在全局层帮助模型更好的注意到局部信息，也使得较长数据可以更加关注到方面目标词周边的词，增加头尾标识符的处理可以使得方面目标信息的上下文不会存在无特征向量的状况，从而得到更好的模型效果，解决了无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息的问题。
附图说明
图1为本发明提出的基于目标语义与位置融合的方面意见词抽取方法的模型网络框架图；
图2为本发明提出的基于目标语义与位置融合的方面意见词抽取方法中方面目标隐藏状态平均算法图；
图3为本发明提出的基于目标语义与位置融合的方面意见词抽取方法中上下文中单词和方面目标之间的位置关系。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
参照附图1-3,基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，包括；
输入层
在观察数据集时发现，部分句子的方面目标或方面意见词处于句子初始位置或者结束位置，在模型训练过程中方面目标或候选方面意见词缺失左侧信息或右侧信息，导致上下文语义信息不完整，降低模型准确率，因此，AP-IOG模型在句子的开头和结尾分别补上头标识符[SEP]和尾标识符[CLS]，如表1所示；
Figure GDA0003855102690000091
表1数据标注示例
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd，如前所述，TOWE的核心挑战是学习方面目标融合的上下文表示，显然，不同的方面目标在句子中的位置不同，语境也不同，因此，我们首先将句子分为三个部分：上文{w1,w2...,wl}，方面目标词{wl+1,...,wr-1}和下文{wr,...,wn}。
向内LSTM(Inward-LSTM)
使用向内LSTM(Inward-LSTM)的简单策略，遵循TD-LSTM的设计，将方面目标词融入编码中，融入方面目标词，能够更充分利用方面目标的语义信息，因此Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure GDA0003855102690000101
和下文表示
Figure GDA0003855102690000102
如式(1)和(2)所示；
Figure GDA0003855102690000103
Figure GDA0003855102690000104
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000105
和
Figure GDA0003855102690000106
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态；
显而易见，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此本文对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，方面目标隐藏状态平均算法图如图2和式(3)所示；
Figure GDA0003855102690000107
最终经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure GDA0003855102690000108
向外LSTM(Outward-LSTM)
Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，但方面目标信息不会传递到上下文中，例如，在“The decoration is festive and beautiful.”这句话中，方面目标是“decoration”，Inward-LSTM从句子的首尾单词“The”和“beautiful”向方面目标“decoration”进行建模，但“The”和“beautiful”的编码却不没有依赖“decoration”的信息，为了解决这个问题，使用向外LSTM(Outward-LSTM)，Outward-LSTM的想法是将方面目标传递给上下文，如图1所示，Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM；
前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，这意味着左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure GDA0003855102690000111
和下文表示
Figure GDA0003855102690000112
如式(4)和(5)所示，我们对重复计算的方面目标隐藏状态进行平均，如式(6)所示，可以获得方面目标融合的上下文表示形式为
Figure GDA0003855102690000113
Figure GDA0003855102690000114
Figure GDA0003855102690000115
Figure GDA0003855102690000116
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000117
和
Figure GDA0003855102690000118
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当我们从目标开始LSTM时，目标的信息就会融合到句子中的每个单词中；
此外，Outward-LSTM确保针对不同的目标，每个单词具有不同的表示形式，例如“The atmosphere is aspiring，and the decoration is festive”，对于方面目标“atmosphere”或“decoration”，“festive”的方面目标融合表示形式有所不同，生成方面目标融合的上下文。
位置注意力增强的全局LSTM(AP Global-LSTM)
要抽取面向方面目标的方面意见词，仅单独考虑每一侧的上下文是不够的。Inward-LSTM和Outward-LSTM中的上文和下文是分开编码的，在检测上下文中的方面意见词时，理解整个句子的全局含义很重要，因此，我们使用AP Global-LSTM以进一步改进；
(1)Bi-LSTM
在AP Global-LSTM中，我们首先使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure GDA0003855102690000121
如公式(7)至(9)所示；
Figure GDA0003855102690000122
Figure GDA0003855102690000123
Figure GDA0003855102690000124
其中，xi表示模型在i时刻的输入数据；
Figure GDA0003855102690000125
和
Figure GDA0003855102690000126
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态；
(2)Self-Attention
在AP Global-LSTM建模过程中，为了更好地注意到整体句子中更重要的局部信息，本文使用Self-Attention机制；
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到。通过Self-Attention得到权重求和的表示
Figure GDA0003855102690000127
如式(10)所示；
Figure GDA0003855102690000131
(3)位置注意力增强机制
使用Self-Attention可以获得整个句子的局部信息，在TOWE任务中，上下文中的单词和方面目标词之间的相对位置包含着很重要的特征信息，方面目标附近的词更有可能表达对方面目标的情感，即为方面意见词，并且随着相对距离的增大影响越小，因此位置注意力增强机制，不仅仅能够注意到整个句子的局部信息，同时更多的关注方面目标词周围的词，使其具有更多的信息传入到方面目标词中。
如图3所示，对于该上下文中涉及的第一个方面目标“atmosphere”的情感由相对位置2的“aspiring”表达，而不是相对位置8的“festive”表达，因此“atmosphere”方面目标相对应的方面意见词为“aspiring”，第二个方面目标“decoration”对应的方面意见词为相对位置2的“festive”。
本文对位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}。检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0,l+1≤i≤r-1 (11)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure GDA0003855102690000141
③通过查找位置嵌入表
Figure GDA0003855102690000142
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure GDA0003855102690000143
如式(13)所示；
Figure GDA0003855102690000144
在AP Global-LSTM中，为了更好地注意到句子中的方面目标信息以及附近候选意见词的信息，从而完善句子的语义信息，本文通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式
Figure GDA0003855102690000145
如式(14)所示；
Figure GDA0003855102690000146
融合层：AP-IOG
本文将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，如图1所示，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中
Figure GDA0003855102690000147
为拼接操作：
Figure GDA0003855102690000148
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
解码器和训练
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax来计算概率，计算公式如式(16)所示；
p(yi|ri)＝soft max(Wsri+bs),1≤i≤n (16)
贪婪解码只是简单地选择具有最高逐点概率的标签，它不考虑标签之间的依赖关系，但运行速度更快，使用负对数似然L(S)作为损失函数，计算公式如式(17)所示；
Figure GDA0003855102690000151
综上所述，IOG使用内外LSTM模型向量相加的方式包含方面目标信息，而后使用Bi-LSTM了解句子的全局含义，显著改善了针对方面目标的意见词抽取性能，但IOG仍比AP-IOG低3个百分点，这说明，拼接向量可以充分独立地利用上下文传递给方面目标的信息以及方面目标传递给上下文的信息，训练效果更佳，位置注意力机制可以在全局层帮助模型更好的注意到局部信息，也使得较长数据可以更加关注到方面目标词周边的词，增加头尾标识符的处理可以使得方面目标信息的上下文不会存在无特征向量的状况，从而得到更好的模型效果，结果如表2；
Figure GDA0003855102690000152
Figure GDA0003855102690000161
由表2可以看出，总体上本发明提出的AP-IOG模型在各个评测指标上都显著优于其它模型，F1值在四个数据集上比IOG模型分别高出了2.23个百分点、2.10个百分点、2.75个百分点以及3.55个百分点。
需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，其特征在于，包括以下步骤；
步骤一：输入层，AP-IOG模型在句子的开头和结尾分别补上头尾标识符；
步骤二：Inward-LSTM层，使用Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，把方面目标词作为LSTM的最后一个输入单元，能够更好的利用方面目标的语义信息；
步骤三：Outward-LSTM层，使用Outward-LSTM将方面目标传递给上下文，确保针对不同的目标，每个单词具有不同的表示形式；
步骤四：AP Global-LSTM层，使用AP Global-LSTM能获取整个句子的语义信息，而且更好地注意到句子中的方面目标信息以及附近候选意见词的信息，完善句子的语义信息，所述AP Global-LSTM层使用Bi-LSTM编码获取全局信息，使用位置注意力增强机制获取局部信息和相对位置信息，以完善句子的语义信息；
所述位置注意力增强机制表示如下：
1)注意力机制：
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到，通过Self-Attention得到权重求和的表示
Figure FDA0003855102680000011
如式(10)所示；
Figure FDA0003855102680000021
2)位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}，检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0,l+1≤i≤r-1 (11)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure FDA0003855102680000022
③通过查找位置嵌入表
Figure FDA0003855102680000023
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure FDA0003855102680000024
如式(13)所示；
Figure FDA0003855102680000025
所述AP Global-LSTM层表示如下：
在AP Global-LSTM中，通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式
Figure FDA0003855102680000026
如式(14)所示；
Figure FDA0003855102680000031
步骤五：融合层，将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使输入层具有更丰富的信息；
步骤六：解码层，使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题。
2.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述输入层表示如下：
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd。
3.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述Inward-LSTM层表示如下：
Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure FDA0003855102680000032
和下文表示
Figure FDA0003855102680000033
如式(1)和(2)所示；
Figure FDA0003855102680000034
Figure FDA0003855102680000035
其中，xi表示模型在i时刻的输入数据；
Figure FDA0003855102680000041
和
Figure FDA0003855102680000042
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，如下式(3)所示；
Figure FDA0003855102680000043
经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure FDA0003855102680000044
4.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述Outward-LSTM层表示如下：
Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM，前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，即左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure FDA0003855102680000045
和下文表示
Figure FDA0003855102680000046
如式(4)和(5)，对重复计算的方面目标隐藏状态进行平均，如式(6)，获得方面目标融合的上下文表示形式为
Figure FDA0003855102680000047
Figure FDA0003855102680000048
Figure FDA0003855102680000049
Figure FDA0003855102680000051
其中，xi表示模型在i时刻的输入数据；
Figure FDA0003855102680000052
和
Figure FDA0003855102680000053
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当从目标开始LSTM时，目标的信息融合到句子中的每个单词中。
5.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述Bi-LSTM表示如下：
使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure FDA0003855102680000054
如式(7)-(9)所示；
Figure FDA0003855102680000055
Figure FDA0003855102680000056
Figure FDA0003855102680000057
其中，xi表示模型在i时刻的输入数据；
Figure FDA0003855102680000058
和
Figure FDA0003855102680000059
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态。
6.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述融合层表示如下：
将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中
Figure FDA00038551026800000510
为拼接操作：
Figure FDA00038551026800000511
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
7.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法，其特征在于，所述解码层表示如下：
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax计算概率，计算公式如式(16)所示；
p(yi|ri)＝soft max(Wsri+bs),1≤i≤n (16)
使用负对数似然L(S)作为损失函数，计算公式如式(17)所示；
Figure FDA0003855102680000061
CN202110861377.6A 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法 Active CN113486673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110861377.6A CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110861377.6A CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Publications (2)

Publication Number Publication Date
CN113486673A CN113486673A (zh) 2021-10-08
CN113486673B true CN113486673B (zh) 2022-10-25

Family

ID=77943370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110861377.6A Active CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Country Status (1)

Country Link
CN (1) CN113486673B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112883738A (zh) * 2021-03-23 2021-06-01 西南交通大学 基于神经网络和自注意力机制的医学实体关系抽取方法
CN113177120A (zh) * 2021-05-11 2021-07-27 中国人民解放军国防科技大学 一种基于中文文本分类的情报快速整编方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128579B2 (en) * 2016-09-29 2021-09-21 Admithub Pbc Systems and processes for operating and training a text-based chatbot

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112883738A (zh) * 2021-03-23 2021-06-01 西南交通大学 基于神经网络和自注意力机制的医学实体关系抽取方法
CN113177120A (zh) * 2021-05-11 2021-07-27 中国人民解放军国防科技大学 一种基于中文文本分类的情报快速整编方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Joint Opinion Target and Target-oriented Opinion Words Extraction by BERT and IOT Model;Zhu Yuanfa 等;《2020 2nd Symposium on Signal Processing Systems》;20200731;120-125 *
Opinion transmission network for jointly improving aspect-oriented opinion words extraction and sentiment classification;Ying Chengcan 等;《CCF International Conference on Natural Language Processing and Chinese Computing》;20201031;629-640 *
基于语义约束LDA的商品特征和情感词提取;刘德喜 等;《软件学报》;20161129;第28卷(第3期);676-693 *
面向知识图谱的知识推理研究进展;官赛萍 等;《软件学报》;20180208;第29卷(第10期);2966-2994 *

Also Published As

Publication number Publication date
CN113486673A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110427623B (zh) 半结构化文档知识抽取方法、装置、电子设备及存储介质
CN112612871B (zh) 一种基于序列生成模型的多事件检测方法
CN111723575A (zh) 识别文本的方法、装置、电子设备及介质
KR20190019661A (ko) 언어 분석기별 정답 레이블 분포를 이용한 자연어 이해 방법
CN109977220B (zh) 一种基于关键句和关键字的反向生成摘要的方法
CN114818668B (zh) 一种语音转写文本的人名纠错方法、装置和计算机设备
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN113128203A (zh) 基于注意力机制的关系抽取方法、系统、设备及存储介质
CN113553850A (zh) 一种基于有序结构编码指针网络解码的实体关系抽取方法
CN111738006A (zh) 基于商品评论命名实体识别的问题生成方法
CN113609824A (zh) 基于文本编辑和语法纠错的多轮对话改写方法及系统
CN112100384A (zh) 一种数据观点抽取方法、装置、设备及存储介质
CN114692568A (zh) 一种基于深度学习的序列标注方法及应用
CN114281982B (zh) 一种多模态融合技术的图书宣传摘要生成方法和系统
CN115658898A (zh) 一种中英文本实体关系抽取方法、系统及设备
Sharma et al. Automated image caption generation framework using adaptive attention and bi-LSTM
CN117852543A (zh) 一种基于双粒度图的文档级实体关系抽取方法
CN114973286A (zh) 文档要素抽取方法、装置、设备及存储介质
CN114358006A (zh) 基于知识图谱的文本内容摘要生成方法
CN113486673B (zh) 基于目标语义与位置融合的方面意见词抽取方法
CN116386895B (zh) 基于异构图神经网络的流行病舆情实体识别方法与装置
CN114970537B (zh) 基于多层标注策略的跨境民族文化实体关系抽取方法及装置
JP6334587B2 (ja) 単語抽出装置、方法、及びプログラム
CN116384403A (zh) 一种基于场景图的多模态社交媒体命名实体识别方法
CN115688703A (zh) 一种特定领域文本纠错方法、存储介质和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240814

Address after: Room 1607, No. 2 Huansheng Street, Nansha District, Guangzhou City, Guangdong Province, 511466

Patentee after: Guangzhou Huashu Cloud Computing Co.,Ltd.

Country or region after: China

Address before: 330013 mailuyuan campus, Jiangxi University of Finance and economics, 665 Yuping West Street, Changbei national economic and Technological Development Zone, Nanchang City, Jiangxi Province

Patentee before: Liu Dexi

Country or region before: China

TR01 Transfer of patent right