CN113486673A - 基于目标语义与位置融合的方面意见词抽取方法 - Google Patents

基于目标语义与位置融合的方面意见词抽取方法 Download PDF

Info

Publication number
CN113486673A
CN113486673A CN202110861377.6A CN202110861377A CN113486673A CN 113486673 A CN113486673 A CN 113486673A CN 202110861377 A CN202110861377 A CN 202110861377A CN 113486673 A CN113486673 A CN 113486673A
Authority
CN
China
Prior art keywords
lstm
target
information
word
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110861377.6A
Other languages
English (en)
Other versions
CN113486673B (zh
Inventor
刘德喜
廖黾
万常选
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110861377.6A priority Critical patent/CN113486673B/zh
Publication of CN113486673A publication Critical patent/CN113486673A/zh
Application granted granted Critical
Publication of CN113486673B publication Critical patent/CN113486673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及自然语言处理技术领域，且公开了基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，输入层，在观察数据集时，部分句子的方面目标或方面意见词处于句子初始位置或者结束位置，在模型训练过程中方面目标或候选方面意见词缺失左侧信息或右侧信息，使上下文语义信息不完整。该基于目标语义与位置融合的方面意见词抽取方法，具备以位置和注意力信息作为切入点，将上下文信息、方面目标语义信息、相对位置信息以及注意力机制的结合，以及关注到整个句子的全局信息，获取方面目标与方面意见词之间的相对位置信息的优点。

Description

基于目标语义与位置融合的方面意见词抽取方法
技术领域
本发明涉及自然语言处理技术领域，具体为基于目标语义与位置融合的方面意见词抽取方法。
背景技术
文本情感分析旨在自动地从非结构化的评论文本中抽取有用的观点信息，挖掘出的信息可以运用于电商平台、网络舆情、企业制造、公共服务中，帮助企业、机构、政府了解大众的看法，完善产品、系统和服务，同时也为大众提供一些可信性参考，早期抽取方面意见词主要基于规则的方法，通过人为构造一些词性规则与句法规则来实现对方面意见词的抽取，近年来，深度神经网络被应用到这项任务中，不需要太多的领域知识即可得到很好的效果，但仍存在改进和提升的空间，例如融合方面目标信息的神经序列化标注模型(Target-oriented Opinion Words Extraction with Target-fused Neural SequenceLabeling，IOG)，可以将方面目标信息分别编码到候选意见词的上下文中，然后结合方面目标信息与上下文信息，在解码器中抽取相应的意见词。
目前，传统的方面意见词的抽取方法，虽然可以将方面目标信息分别编码到候选意见词的上下文中，然后结合方面目标信息与上下文信息并从中抽取相应的意见词，但是无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于目标语义与位置融合的方面意见词抽取方法，具备以位置和注意力信息作为切入点，将上下文信息、方面目标语义信息、相对位置信息以及注意力机制的结合，以及关注到整个句子全局信息，获取方面目标与方面意见词之间的相对位置信息等优点，解决了无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息的问题。
(二)技术方案
为实现上述的目的，本发明提供如下技术方案：基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，包括以下步骤；
步骤一：输入层，AP-IOG模型在句子的开头和结尾分别补上头尾标识符；
步骤二：Inward-LSTM层，使用Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，把方面目标词作为LSTM的最后一个输入单元，能够更好的利用方面目标的语义信息；
步骤三：Outward-LSTM层，使用Outward-LSTM将方面目标传递给上下文，确保针对不同的目标，每个单词具有不同的表示形式；
步骤四：AP Global-LSTM层，使用AP Global-LSTM能获取整个句子的语义信息，而且更好地注意到句子中的方面目标信息以及附近候选意见词的信息，完善句子的语义信息；
步骤五：融合层，将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接可以使各个不同类型的特征向量充分发挥其作用，使输入层具有更丰富的信息；
步骤六：解码层，使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题。
优选的，所述输入层表示如下：
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd。
优选的，所述Inward-LSTM层表示如下：
Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure BDA0003185775530000031
和下文表示
Figure BDA0003185775530000032
如式(1)和(2)所示；
Figure BDA0003185775530000033
Figure BDA0003185775530000034
其中，xi表示模型在i时刻的输入数据；
Figure BDA0003185775530000035
和
Figure BDA0003185775530000036
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，如下式(3)所示；
Figure BDA0003185775530000037
经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure BDA0003185775530000038
优选的，所述Outward-LSTM层表示如下：
Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM，前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，即左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure BDA0003185775530000041
和下文表示
Figure BDA0003185775530000042
如式(4)和(5)，对重复计算的方面目标隐藏状态进行平均，如式(6)，可以获得方面目标融合的上下文表示形式为
Figure BDA0003185775530000043
Figure BDA0003185775530000044
Figure BDA0003185775530000045
Figure BDA0003185775530000046
其中，xi表示模型在i时刻的输入数据；
Figure BDA0003185775530000047
和
Figure BDA0003185775530000048
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当从目标开始LSTM时，目标的信息融合到句子中的每个单词中。
优选的，所述AP Global-LSTM层使用Bi-LSTM编码获取全局信息，使用位置注意力增强机制获取局部信息和相对位置信息，以完善句子的语义信息。
优选的，所述Bi-LSTM表示如下：
使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure BDA0003185775530000049
如式(7)-(9)所示；
Figure BDA00031857755300000410
Figure BDA00031857755300000411
Figure BDA00031857755300000412
其中，xi表示模型在i时刻的输入数据；
Figure BDA00031857755300000413
和
Figure BDA00031857755300000414
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态。
优选的，所述位置注意力增强机制表示如下：
1)注意力机制：
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到，通过Self-Attention得到权重求和的表示HAG，如式(10)所示。
Figure BDA0003185775530000051
2)位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}，检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0，l+1≤i≤r-1 (II)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure BDA0003185775530000052
③通过查找位置嵌入表
Figure BDA0003185775530000053
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure BDA0003185775530000054
如式(13)所示；
Figure BDA0003185775530000055
优选的，所述AP Global-LSTM层表示如下：
在AP Global-LSTM中，通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式HAPG，如式(14)所示；
Figure BDA0003185775530000061
优选的，所述融合层表示如下：
将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中⊕为拼接操作：
Figure BDA0003185775530000062
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
优选的，所述解码层表示如下：
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax计算概率，计算公式如式(16)所示。
p(yi|ri)＝soft max(W，ri+bi)，1≤i≤n (16)
使用负对数似然(L(S))作为损失函数，计算公式如式(17)所示；
Figure BDA0003185775530000063
(三)有益效果
与现有技术相比，本发明提供了基于目标语义与位置融合的方面意见词抽取方法，具备以下有益效果：
IOG使用内外LSTM模型向量相加的方式包含方面目标信息，而后使用Bi-LSTM了解句子的全局含义，显著改善了针对方面目标的意见词抽取性能，但IOG仍比AP-IOG低3个百分点，这说明，拼接向量可以充分独立地利用上下文传递给方面目标的信息以及方面目标传递给上下文的信息，训练效果更佳，位置注意力机制可以在全局层帮助模型更好的注意到局部信息，也使得较长数据可以更加关注到方面目标词周边的词，增加头尾标识符的处理可以使得方面目标信息的上下文不会存在无特征向量的状况，从而得到更好的模型效果，解决了无法充分独立地利用上下文信息和方面目标信息，并且忽略了方面意见词与方面目标之间的位置信息的问题。
附图说明
图1为本发明提出的基于目标语义与位置融合的方面意见词抽取方法的模型网络框架图；
图2为本发明提出的基于目标语义与位置融合的方面意见词抽取方法中方面目标隐藏状态平均算法图；
图3为本发明提出的基于目标语义与位置融合的方面意见词抽取方法中上下文中单词和方面目标之间的位置关系。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
参照附图1-3,基于目标语义与位置融合的方面意见词抽取方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，包括；
输入层
在观察数据集时发现，部分句子的方面目标或方面意见词处于句子初始位置或者结束位置，在模型训练过程中方面目标或候选方面意见词缺失左侧信息或右侧信息，导致上下文语义信息不完整，降低模型准确率，因此，AP-IOG模型在句子的开头和结尾分别补上头标识符[SEP]和尾标识符[CLS]，如表1所示；
Figure BDA0003185775530000081
表1数据标注示例
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd，如前所述，TOWE的核心挑战是学习方面目标融合的上下文表示，显然，不同的方面目标在句子中的位置不同，语境也不同，因此，我们首先将句子分为三个部分：上文{w1,w2...,wl}，方面目标词{wl+1,...,wr-1}和下文{wr,...,wn}。
向内LSTM(Inward-LSTM)
使用向内LSTM(Inward-LSTM)的简单策略，遵循TD-LSTM的设计，将方面目标词融入编码中，融入方面目标词，能够更充分利用方面目标的语义信息，因此Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure BDA0003185775530000091
和下文表示
Figure BDA0003185775530000092
如式(1)和(2)所示；
Figure BDA0003185775530000093
Figure BDA0003185775530000094
其中，xi表示模型在i时刻的输入数据；
Figure BDA0003185775530000095
和
Figure BDA0003185775530000096
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态；
显而易见，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此本文对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，方面目标隐藏状态平均算法图如图2和式(3)所示；
Figure BDA0003185775530000097
最终经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure BDA0003185775530000098
向外LSTM(Outward-LSTM)
Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，但方面目标信息不会传递到上下文中，例如，在“The decoration is festive and beautiful.”这句话中，方面目标是“decoration”，Inward-LSTM从句子的首尾单词“The”和“beautiful”向方面目标“decoration”进行建模，但“The”和“beautiful”的编码却不没有依赖“decoration”的信息，为了解决这个问题，使用向外LSTM(Outward-LSTM)，Outward-LSTM的想法是将方面目标传递给上下文，如图1所示，Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM；
前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，这意味着左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure BDA0003185775530000101
和下文表示
Figure BDA0003185775530000102
如式(4)和(5)所示，我们对重复计算的方面目标隐藏状态进行平均，如式(6)所示，可以获得方面目标融合的上下文表示形式为
Figure BDA0003185775530000103
Figure BDA0003185775530000104
Figure BDA0003185775530000105
Figure BDA0003185775530000106
其中，xi表示模型在i时刻的输入数据；
Figure BDA0003185775530000107
和
Figure BDA0003185775530000108
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当我们从目标开始LSTM时，目标的信息就会融合到句子中的每个单词中；
此外，Outward-LSTM确保针对不同的目标，每个单词具有不同的表示形式，例如“The atmosphere is aspiring，and the decoration is festive”，对于方面目标“atmosphere”或“decoration”，“festive”的方面目标融合表示形式有所不同，生成方面目标融合的上下文。
位置注意力增强的全局LSTM(AP Global-LSTM)
要抽取面向方面目标的方面意见词，仅单独考虑每一侧的上下文是不够的。Inward-LSTM和Outward-LSTM中的上文和下文是分开编码的，在检测上下文中的方面意见词时，理解整个句子的全局含义很重要，因此，我们使用AP Global-LSTM以进一步改进；
(1)Bi-LSTM
在AP Global-LSTM中，我们首先使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure BDA0003185775530000111
如公式(7)至(9)所示；
Figure BDA0003185775530000112
Figure BDA0003185775530000113
Figure BDA0003185775530000114
其中，xi表示模型在i时刻的输入数据；
Figure BDA0003185775530000115
和
Figure BDA0003185775530000116
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态；
(2)Self-Attention
在AP Global-LSTM建模过程中，为了更好地注意到整体句子中更重要的局部信息，本文使用Self-Attention机制；
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到。通过Self-Attention得到权重求和的表示HAG，如式(10)所示；
Figure BDA0003185775530000117
(3)位置注意力增强机制
使用Self-Attention可以获得整个句子的局部信息，在TOWE任务中，上下文中的单词和方面目标词之间的相对位置包含着很重要的特征信息，方面目标附近的词更有可能表达对方面目标的情感，即为方面意见词，并且随着相对距离的增大影响越小，因此位置注意力增强机制，不仅仅能够注意到整个句子的局部信息，同时更多的关注方面目标词周围的词，使其具有更多的信息传入到方面目标词中。
如图3所示，对于该上下文中涉及的第一个方面目标“atmosphere”的情感由相对位置2的“aspiring”表达，而不是相对位置8的“festive”表达，因此“atmosphere”方面目标相对应的方面意见词为“aspiring”，第二个方面目标“decoration”对应的方面意见词为相对位置2的“festive”。
本文对位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}。检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0，l+1≤i≤r-1 (II)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure BDA0003185775530000121
③通过查找位置嵌入表
Figure BDA0003185775530000122
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure BDA0003185775530000123
如式(13)所示；
Figure BDA0003185775530000124
在AP Global-LSTM中，为了更好地注意到句子中的方面目标信息以及附近候选意见词的信息，从而完善句子的语义信息，本文通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式HAPG，如式(14)所示；
Figure BDA0003185775530000131
融合层：AP-IOG
本文将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接可以使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，如图1所示，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中⊕为拼接操作：
Figure BDA0003185775530000132
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
解码器和训练
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax来计算概率，计算公式如式(16)所示；
p(yi|ri)＝soft max(W，ri+bi)，1≤i≤n (16)
贪婪解码只是简单地选择具有最高逐点概率的标签，它不考虑标签之间的依赖关系，但运行速度更快，使用负对数似然(L(S))作为损失函数，计算公式如式(17)所示；
Figure BDA0003185775530000133
综上所述，IOG使用内外LSTM模型向量相加的方式包含方面目标信息，而后使用Bi-LSTM了解句子的全局含义，显著改善了针对方面目标的意见词抽取性能，但IOG仍比AP-IOG低3个百分点，这说明，拼接向量可以充分独立地利用上下文传递给方面目标的信息以及方面目标传递给上下文的信息，训练效果更佳，位置注意力机制可以在全局层帮助模型更好的注意到局部信息，也使得较长数据可以更加关注到方面目标词周边的词，增加头尾标识符的处理可以使得方面目标信息的上下文不会存在无特征向量的状况，从而得到更好的模型效果，结果如表2；
Figure BDA0003185775530000141
由表2可以看出，总体上本发明提出的AP-IOG模型在各个评测指标上都显著优于其它模型，F1值在四个数据集上比IOG模型分别高出了2.23个百分点、2.10个百分点、2.75个百分点以及3.55个百分点。
需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于目标语义与位置融合的方面意见词抽取方法方法，将方面目标信息合并到上下文中并学习融合方面目标的上下文表示，构造新的序列标注模型，其特征在于，包括以下步骤；
步骤一：输入层，AP-IOG模型在句子的开头和结尾分别补上头尾标识符；
步骤二：Inward-LSTM层，使用Inward-LSTM将包含候选意见词的上下文信息传递给方面目标，把方面目标词作为LSTM的最后一个输入单元，能够更好的利用方面目标的语义信息；
步骤三：Outward-LSTM层，使用Outward-LSTM将方面目标传递给上下文，确保针对不同的目标，每个单词具有不同的表示形式；
步骤四：AP Global-LSTM层，使用AP Global-LSTM能获取整个句子的语义信息，而且更好地注意到句子中的方面目标信息以及附近候选意见词的信息，完善句子的语义信息；
步骤五：融合层，将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接可以使各个不同类型的特征向量充分发挥其作用，使输入层具有更丰富的信息；
步骤六：解码层，使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题。
2.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述输入层表示如下：
使用嵌入查找表L∈Rd×|V|生成每个单词的输入向量，其中d是嵌入向量的维度，|V|是{w1,w2,....,wn}词汇量，嵌入查找表将{w1,w2,....,wn}映射到向量序列s＝{x1,x2,...,xn}，作为词的表示形式，其中xi∈Rd。
3.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述Inward-LSTM层表示如下：
Inward-LSTM分别从句子的两端到中间方面目标{wl+1,...,wr-1}处运行两个LSTM，分别为前向LSTM和后向LSTM，前向LSTM是从第一个单词到方面目标的右侧编码xr-1，后向LSTM是从最后一个单词到方面目标的左侧编码xl+1，这是将上下文信息传递给方面目标的过程，Inward-LSTM获得上文表示
Figure FDA0003185775520000027
和下文表示
Figure FDA0003185775520000028
如式(1)和(2)所示；
Figure FDA0003185775520000021
Figure FDA0003185775520000022
其中，xi表示模型在i时刻的输入数据；
Figure FDA0003185775520000023
和
Figure FDA0003185775520000024
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，方面目标词{wl+1,...,wr-1}的编码在前向LSTM和后向LSTM中分别计算了两次，因此对方面目标单词的两个表示形式求平均得到方面目标单词的最终表示形式hI，如下式(3)所示；
Figure FDA0003185775520000025
经过Inward-LSTM建模后，获得方面目标融合的上下文表示形式为
Figure FDA0003185775520000026
4.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述Outward-LSTM层表示如下：
Outward-LSTM以方面目标词{wl+1,...,wr-1}为原点运行两个LSTM，并朝句子的两端延伸，分别为前向LSTM和后向LSTM，前向LSTM是从方面目标的右侧wr-1到句子的第一个单词编码，后向LSTM是从方面目标的左侧wl+1到句子的最后一个单词编码，即左LSTM是后向LSTM，右LSTM是前向LSTM，Outward-LSTM获得上文表示
Figure FDA0003185775520000031
和下文表示
Figure FDA0003185775520000032
如式(4)和(5)，对重复计算的方面目标隐藏状态进行平均，如式(6)，可以获得方面目标融合的上下文表示形式为
Figure FDA0003185775520000033
Figure FDA0003185775520000034
Figure FDA0003185775520000035
Figure FDA0003185775520000036
其中，xi表示模型在i时刻的输入数据；
Figure FDA0003185775520000037
和
Figure FDA0003185775520000038
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态，当从目标开始LSTM时，目标的信息融合到句子中的每个单词中。
5.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述AP Global-LSTM层使用Bi-LSTM编码获取全局信息，使用位置注意力增强机制获取局部信息和相对位置信息，以完善句子的语义信息。
6.根据权利要求5所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述Bi-LSTM表示如下：
使用Bi-LSTM建模整个句子以获取整个句子的全局信息，并获得全局上下文表示形式
Figure FDA0003185775520000039
如式(7)-(9)所示；
Figure FDA00031857755200000310
Figure FDA00031857755200000311
Figure FDA00031857755200000312
其中，xi表示模型在i时刻的输入数据；
Figure FDA00031857755200000313
和
Figure FDA00031857755200000314
分别代表前向LSTM与后向LSTM在i时刻的隐藏状态。
7.根据权利要求5所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述位置注意力增强机制表示如下：
1)注意力机制：
Self-Attention是输入句子Source内部元素之间的Attention机制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG经过不同的线性变换得到，通过Self-Attention得到权重求和的表示HAG，如式(10)所示；
Figure FDA0003185775520000041
2)位置信息的处理方法为：
①给定一个句子s＝{w1,w2,....,wn}，其中包含方面目标词{wl+1,...,wr-1}，检索到方面目标所在的位置[l+1,r-1]，设置该方面目标的相对位置li为0，如式(11)所示；
li＝0，l+1≤i≤r-1 (11)
②以方面目标为中心，在方面目标的两侧设置两个工作指针，分别依次计算方面目标左侧单词和方面目标左侧wl+1之间的相对位置，右侧单词和方面目标右侧wr-1之间的相对位置的值，记相对位置为li，其计算公式如式(12)所示；
Figure FDA0003185775520000042
③通过查找位置嵌入表
Figure FDA0003185775520000044
中获得位置嵌入，其中dp是嵌入维度，dp与词嵌入维度d一致，L是最大位置索引，获取每个位置向量hPOS；
将每一个词的全局上下文信息与该词的位置向量进行叉乘，得到每个词的联合特征
Figure FDA0003185775520000043
如式(13)所示；
Figure FDA0003185775520000051
8.根据权利要求5所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述AP Global-LSTM层表示如下：
在AP Global-LSTM中，通过将基于位置注意力增强的句子表示和Bi-LSTM的句子表示相加，获得位置注意力增强的全局上下文表示形式HAPG，如式(14)所示；
Figure FDA0003185775520000052
9.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述融合层表示如下：
将Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起来，向量拼接使各个不同类型的特征向量充分发挥其作用，使得输入层具有更丰富的信息，每个单词的最终目标语义与位置融合的上下文表示r如式(15)所示，其中
Figure FDA0003185775520000053
为拼接操作：
Figure FDA0003185775520000054
最终表示r是将方面目标信息和基于位置注意力增强机制的全局上下文信息的融合，随后传递给解码器进行序列标记。
10.根据权利要求1所述的基于目标语义与位置融合的方面意见词抽取方法方法，其特征在于，所述解码层表示如下：
使用贪婪解码作为解码器，贪婪解码被独立地描述为每个位置的三类分类问题，使用softmax计算概率，计算公式如式(16)所示；
p(yi|ri)＝softmax(Wsr1+bs),1≤i≤n (16)
使用负对数似然(L(S))作为损失函数，计算公式如式(17)所示；
Figure FDA0003185775520000055
CN202110861377.6A 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法 Active CN113486673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110861377.6A CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110861377.6A CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Publications (2)

Publication Number Publication Date
CN113486673A true CN113486673A (zh) 2021-10-08
CN113486673B CN113486673B (zh) 2022-10-25

Family

ID=77943370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110861377.6A Active CN113486673B (zh) 2021-07-29 2021-07-29 基于目标语义与位置融合的方面意见词抽取方法

Country Status (1)

Country Link
CN (1) CN113486673B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180131645A1 (en) * 2016-09-29 2018-05-10 Admit Hub, Inc. Systems and processes for operating and training a text-based chatbot
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112883738A (zh) * 2021-03-23 2021-06-01 西南交通大学 基于神经网络和自注意力机制的医学实体关系抽取方法
CN113177120A (zh) * 2021-05-11 2021-07-27 中国人民解放军国防科技大学 一种基于中文文本分类的情报快速整编方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180131645A1 (en) * 2016-09-29 2018-05-10 Admit Hub, Inc. Systems and processes for operating and training a text-based chatbot
CN109635694A (zh) * 2018-12-03 2019-04-16 广东工业大学 一种行人检测方法、装置、设备及计算机可读存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112883738A (zh) * 2021-03-23 2021-06-01 西南交通大学 基于神经网络和自注意力机制的医学实体关系抽取方法
CN113177120A (zh) * 2021-05-11 2021-07-27 中国人民解放军国防科技大学 一种基于中文文本分类的情报快速整编方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YING CHENGCAN 等: "Opinion transmission network for jointly improving aspect-oriented opinion words extraction and sentiment classification", 《CCF INTERNATIONAL CONFERENCE ON NATURAL LANGUAGE PROCESSING AND CHINESE COMPUTING》 *
ZHU YUANFA 等: "Joint Opinion Target and Target-oriented Opinion Words Extraction by BERT and IOT Model", 《2020 2ND SYMPOSIUM ON SIGNAL PROCESSING SYSTEMS》 *
刘德喜 等: "基于语义约束LDA的商品特征和情感词提取", 《软件学报》 *
官赛萍 等: "面向知识图谱的知识推理研究进展", 《软件学报》 *

Also Published As

Publication number Publication date
CN113486673B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110825881B (zh) 一种建立电力知识图谱的方法
CN111488726B (zh) 基于指针网络的非结构文本抽取多任务联合训练方法
CN104050160B (zh) 一种机器与人工翻译相融合的口语翻译方法和装置
CN112612871B (zh) 一种基于序列生成模型的多事件检测方法
CN110782892B (zh) 语音文本纠错方法
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN114943230A (zh) 一种融合常识知识的中文特定领域实体链接方法
CN115310448A (zh) 一种基于bert和字词向量结合的中文命名实体识别方法
CN109800435A (zh) 一种语言模型的训练方法及装置
CN115438674A (zh) 实体数据处理、实体链接方法、装置和计算机设备
CN114692568A (zh) 一种基于深度学习的序列标注方法及应用
CN114281982B (zh) 一种多模态融合技术的图书宣传摘要生成方法和系统
CN115545033A (zh) 融合词汇类别表征的中文领域文本命名实体识别方法
CN106897274B (zh) 一种跨语种的点评复述方法
CN113010690B (zh) 一种基于文本信息增强实体嵌入的方法
CN114048314A (zh) 一种自然语言隐写分析方法
CN117576399A (zh) 一种可泛化的指代表达式图像分割方法
CN116386895B (zh) 基于异构图神经网络的流行病舆情实体识别方法与装置
CN114970537B (zh) 基于多层标注策略的跨境民族文化实体关系抽取方法及装置
CN117251562A (zh) 一种基于事实一致性增强的文本摘要生成方法
CN113486673B (zh) 基于目标语义与位置融合的方面意见词抽取方法
CN114880994B (zh) 一种直白文本到反讽文本的文本风格转换方法及装置
CN114358006A (zh) 基于知识图谱的文本内容摘要生成方法
CN115600561A (zh) 融合规则与小样本的网页结构化方法、设备和存储介质
CN114239548A (zh) 一种融合依存句法和指针生成网络的三元组抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant