CN116644757A - 一种融合句法和语义表示的属性抽取方法 - Google Patents

Abstract

本发明提供了一种融合句法和语义表示的属性抽取方法，属于文本情感分析技术领域；解决了目前基于句法的属性抽取方法得到的评论文本表示不准确、效率低、模型的属性抽取性能低的问题，包括如下步骤：采用混合预训练模型实现句子嵌入表示；采用双向长短期记忆模型获得单词隐式表示；构建句法图卷积神经网络实现异构句法树编码；构建语义图卷积神经网络实现语义图编码；采用相互的双仿射变换构建新的句法树编码和语义图编码；采用融合门构建最终句子表示；构建句法感知指针神经网络，预测属性的开始位置和结束位置；构建条件随机场，实现单词标签预测；构建相应的损失函数，实现模型训练；本发明应用于文本属性抽取。

Description

一种融合句法和语义表示的属性抽取方法

技术领域

本发明提供了一种融合句法和语义表示的属性抽取方法，属于文本情感分析技术领域。

背景技术

移动互联网的迅猛发展促使社交媒体爆发出令人炫目的能量，其传播的信息不断地渗透和改变着人们生活。在社交媒体平台上，人们可以自由地发表他们的观点和看法，并且这些信息会在社交媒体内快速传播和碰撞，给人们的生活带来巨大的影响。例如，用户决策会受到他人发表评论的影响；商家销售行为会受到用户群体评价的影响；政府行为也会受到媒体舆论的影响等。因此，从海量用户评论信息中对情感对象、观点文本以及情感极性的高效识别与分析，已成为网络舆情监测与治理的核心问题。

属性抽取(也称为方面抽取)是指从人们发表的意见中抽取实体方面，其是属性级情感分析的重要子任务之一。传统属性抽取方法主要依靠人工制定的词汇和句法特征来提升属性抽取性能。而这类方法一般都比较耗时且依赖于句子的语法精准度。深度学习正是解决该问题的高效途径之一。这是因为目前研究已经证实深度学习模型不需手工预定义特征，其能够从海量数据中自动学习复杂特征。

近来，深度学习已经被广泛应用在属性抽取任务中。根据神经网络模块内容，基于深度学习的属性抽取方法主要分为：(1)采用卷积神经网络来进行序列标注。卷积神经网络可以获得句子序列表示的局部特征，并通过与其它多样化的嵌入表示、语言模式以及控制模块进行融合，进而获得较全面的句子表示。(2)采用长短期记忆网络获得隐式表示。该网络不仅可以捕获句子序列信息，而且能够捕获句子依存句法结构信息以及句子成分格信息。(3)采用注意力机制突出与属性最相关的背景表示。属性抽取模型囊括自注意力机制和线性注意力机制。(4)采用预训练的通用嵌入表示(如BERT)以及为属性抽取任务定制的嵌入表示，如融入特定领域知识的单词嵌入表示、针对属性的二义性的属性分解表示、融入依存背景的单词嵌入表示以及基于微调技术的情景化嵌入表示。(5)采用序列到序列学习模型、终身学习模型、对比学习和主动学习等其他网络模块进行属性抽取。

尽管句法结构特征可能提供潜在的属性位置信息以及属性与观点之间的相关关系，但是上述大部分工作都没有考虑在属性抽取任务中融入句法结构信息，如依存结构和成分结构，只有少数工作考虑了依存树和成分树结构信息，例如采用从上到下和从下到上的长短期记忆模型来捕获依存句法树结构特征；采用成分格的跨度标注来实现词语级属性抽取；利用句法依存结构获取单词的依存背景，为词嵌入表示加入位置依赖信息。但是，这些工作存在如下不足：(1)只关注单一的句法结构信息，忽略了依存树与成分树的融合效果。异质句法结构能够从不同方面提供句法结构信息，并且二者的融合将会提供互补的优势。依存树结构能够帮助属性抽取获取属性与观点之间的关系；成分树可以帮助属性抽取获取属性的边界值以及属性在句子中的跨度。(2)忽略了依存句法树中边标签和成分句法树中节点标签对属性抽取性能的影响。句法树中的不同标签信息能够为属性抽取任务提供不同程度的贡献度，进而能够精准地获取属性信息。(3)忽略了词间的语义深层潜在关系以及指针网络的边界纠错功能。这是由于网络评论的非正式表达和复杂性可能导致基于句法结构的方法的性能降低。尽管少数工作采用指针网络实现边界纠错，但是需要在基准模型获取候选属性集合的基础上进行二次矫正，并不能实现与基准模型同步纠错。

因此，有必要找到一种高效的基于句法标签信息的成分句法和依存句法的评论文本表示方法，并同时通过注意力机制和图卷积网络建立评论信息的丰富语义关系，构建一种基于句法和语义表示的融合机制，进而通过指针网络和随机场构建属性抽取方法。

发明内容

本发明为了解决目前基于句法的属性抽取方法得到的评论文本表示不准确、效率低、模型的属性抽取性能低的问题，提出了一种融合句法和语义表示的属性抽取方法。

为了解决上述技术问题，本发明采用的技术方案为：一种融合句法和语义表示的属性抽取方法，基于社交媒体评论信息，包括如下步骤：

步骤1：采用混合预训练模型实现社交媒体评论信息的句子嵌入表示；

步骤2：采用双向长短期记忆模型获得社交媒体评论句子中每个单词隐式表示；

步骤3：构建句法图卷积神经网络实现异构句法树编码；

步骤4：构建语义图卷积神经网络实现语义图编码；

步骤5：采用相互的双仿射变换构建新的句法树编码和语义图编码；

步骤6：采用融合门构建最终社交媒体评论信息的句子表示；

步骤7：构建句法感知指针神经网络，预测属性的开始位置和结束位置；

步骤8：构建条件随机场，实现单词标签预测；

步骤9：构建相应的损失函数，实现模型训练。

所述步骤1具体包括以下步骤：

步骤1.1：采用预训练的通用领域嵌入方法获取社交媒体评论信息中单词的通用嵌入表示；

步骤1.2：采用特定领域嵌入方法在特定数据集上进行训练，获得单词的特定嵌入表示；

步骤1.3：将上述单词的通用嵌入表示和特定嵌入表示进行拼接，获得单词的最终嵌入表示，继而组成句子嵌入表示。

所述步骤2具体包括以下步骤：

步骤2.1：采用双向长短期记忆模型获得社交媒体评论句子中每个单词的前向隐式向量和后向隐式向量；

步骤2.2：将单词的前向隐式向量和后向隐式向量进行拼接，获得单词的全面的隐式向量，继而获得融合词序信息的社交媒体评论信息的句子表示。

所述步骤3具体包括以下步骤：

步骤3.1：采用成分句法分析和图卷积神经网络构建成分句法树编码；

首先，针对评论句子，采用成分句法分析构建成分句法树；

其次将成分句法树转化为无向图，其中图中节点为成分句法树中的非叶子节点，图中的边为成分树中的边，并且边的方向是双向的；

然后，采用跨边界桥接操作来获得每个节点的表示，且每个节点的标签为成分树中对应的标签；

随后，采用图卷积神经网络来获得节点表示，其中该步骤将节点的成分标签融入到节点表示中；

最后，采用跨度边界反向桥接来获取每个单词的成分表示；

步骤3.2：采用依存句法分析和图卷积神经网络来构建依存句法树编码；

首先，针对社交媒体评论句子，采用依存句法分析构建依存句法树；

其次将依存句法树转化为无向图，其中图中节点为依存句法树中的节点，图中边为句法树中的边，并且边的方向是双向的；

最后，采用图卷积神经网络来获得节点表示，其中该步骤将节点之间边的依存标签融入到节点表示中，并且节点表示即为每个单词的依存表示；

步骤3.3：采用门控机制实现单词的成分表示和依存表示的融合，获得单词的全面表示，该步骤采用门控权重来调节成分表示和依存表示的贡献度。

所述步骤4具体包括以下步骤：

步骤4.1：采用自注意力机制构建句子的语义图，其中图中节点为单词，边为单词之间的潜在语义关系；将注意力分数矩阵作为图的邻接矩阵；

步骤4.2：采用图卷积神经网络来获得节点表示，并实现句子的语义图编码。

所述步骤5具体包括以下步骤：

步骤5.1：基于句法树编码，采用双仿射变换机制获取语义图编码中的相关特征，从而构建新的句法树编码；

步骤5.2：基于语义图编码，采用双仿射变换机制获取句法树编码中的相关特征，从而构建新的语义图编码。

所述步骤6具体包括以下步骤：

步骤6.1：采用句法树编码表示和语义图编码表示构建融合门权重；

步骤6.2：采用融合门实现句法树编码表示和语义图编码表示的融合，构建最终句子表示。

本发明相对于现有技术具备的有益效果为：

1.本发明提出的融合句法和语义表示的属性抽取方法，基于社交媒体评论，采用句法图卷积神经网络和语义图卷积神经网络获得不同视角的评论表示，然后采用双仿射变换和融合门控机制获得全面的评论表示，并通过句法感知指针神经网络和条件随机场来实现属性抽取。

2.本发明设计的句法图卷积神经网络，将标签信息融入到句法编码表示中，构建成分句法编码表示和依存句法编码表示，最后采用融合门控机制实现成分句法编码和依存句法编码的充分融合，获得全面的评论句法编码表示。

3.本发明设计的语义图卷积神经网络，采用注意力机制获取单词之间潜在语义关系，并利用相应的注意力分数矩阵构建相应的图邻接矩阵，然后采用图卷积神经网络捕获单词之间深层潜在语义关系，从而获得全面的评论语义编码表示。

4.本发明设计的句法感知指针神经网络，以评论的句法信息和语义信息为载体，实现属性的开始位置和结束位置的预测，进而与条件随机场共同实现属性抽取的性能提升。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明方法的框架结构示意图；

图2为句法图卷积神经网络部分的结构示意图。

具体实施方式

目前基于句法的属性抽取方法只关注单一句法结构信息，却忽略了词间语义深层潜在关系、句法结构中的标签信息以及指针网络在边界纠错的功能。因此，提出一种融合句法和语义表示的属性抽取方法，首先采用通用领域嵌入表示和特定领域嵌入表示获得评论的初始表示信息，然后利用双向长短期记忆模型捕获评论句子的词序信息和依赖信息，随后采用句法图卷积网络捕获词间内在逻辑关系以及长距离的依存关系，然后采用语义图卷积神经网络来捕获词间语义深层潜在关系，通过双仿射变换和融合门机制实现句法和语义信息的深层融合，最后通过句法感知的指针网络和条件随机场进行序列表示和边界调整。本方法是一个增量式框架，包含嵌入表示、双向长短时记忆模型、句法图卷积神经网络、语义图卷积神经网络、双仿射变换、融合门机制、句法感知指针网络以及条件随机场。图1展示了相应的框架图。

本发明的融合句法和语义表示的属性抽取方法是基于双通道图卷积神经网络，即句法图卷积神经网络和语义图卷积神经网络，具体的操作是：

步骤1：采用双嵌入表示方法实现社交媒体评论句子中单词向量嵌入表示：

首先，采用如BERT或Glove等通用领域嵌入方法实现词嵌入表示E^g，从而实现不同词通常拥有不同含义，其中单词x_i的通用领域向量表示为

其次，采用fastText在特定领域数据集上进行训练，获取特定领域词嵌入表示E^s，从而实现同一词在不同背景下拥有不同含义，其中单词x_i的特定领域向量表示为

最后，通过拼接和/>获得单词向量表示w_i，即句子评论表示SC＝(w₁，w₂，…，w_n)。

步骤2：采用双向长短期记忆模型Bi-LSTM获得单词隐式表示：

首先，采用Bi-LSTM获得每个单词x_i的前向隐式向量和后向隐式向量/>

其中为x_i的前向LSTM的隐式向量，/>为x_i的后向LSTM的隐式向量。

然后，将前向隐式向量和后向隐式向量/>进行拼接，获得单词x_i的最终向量表示/>因此句子表示定义为H＝(h₁，h₂，…，h_n)。

步骤3：采用句法图卷积神经网络实现异质句法结构边标签形式化以及异构句法树编码，如图2所示，其中句法图卷积神经网络包括成分句法树编码、依存句法树编码以及异构句法表示融合三个部分：

步骤3.1：采用成分句法分析和图卷积神经网络构建成分句法树编码：

首先，将句子评论进行成分句法分析，获得相应的成分句法树；

然后，将成分句法树转化为图G^c＝(U^c，E^c)，其中U^c是节点集合(句法树中的非叶子节点)，E^c是边集合(边是双向)。如果节点u和节点v之间有边，那么否则u_u表示节点u的成分标签，如S，NP和VP等。/>表示节点标签u_u的向量表示。

随后，采用图卷积神经网络获得节点表示

其中是通过采用跨边界桥接操作获得节点v的初始节点表示，并且跨边界桥接操作定义为短语开始词表示和结束词表示之和，即/>W^c1，W^c2和b^c分别是学习的权重和偏差。α_uv是邻居成分连接强度分布：

其中该分布α_uv不仅能够编码句法边和标签信息，并且能够全面反映邻居之间的连接强度。

最后，通过采用跨度边界反向桥接来获取每个单词的节点表示即

步骤3.2：采用依存句法分析和图卷积神经网络来构建依存句法树编码：

首先，将句子评论进行依存句法分析，获得相应的依存句法树；

然后，将依存句法树可以转化为图G^d＝(U^d，E^d),其中U^d是节点集合(依存句法树中所有节点)，E^d是边集合。表示依存弧存在情况。/>表示x_i和x_j之间的边标签，该边是双向的。此外，添加“self”标签作为自循环边/>和“none”标签表示节点间没有边。/>为边/>的向量表示。

最后，采用图卷积神经网络获得节点表示

其中W^d1，W^d2和b^d分别是学习的权重和偏差。β_ij为邻居依存连接强度分布：

其中 定义为/>该定义是为了能够以统一方式来指导依存弧和相应的标签内容。

步骤3.3：采用门控机制实现异构句法表示融合：

为了获得全面句子表示，采用融合门来协调成分节点表示和依存节点表示的贡献,进而获得句子表示：

其中W^g1，W^g2和b^g分别是学习的权重和偏差，σ为激活函数。

步骤4：采用语义图卷积神经网络实现语义图编码，进而获得句子的语义特征，其中语义图卷积神经网络包括语义图构建和图卷积神经网络两个部分：

步骤4.1：采用自注意力机制构建句子的语义图：

基于句子隐式表示H，采用自注意力机制构建句子语义图G^s＝(U^s，E^s)，其中U^s是节点集合(单词集合)，E^s是边集合。为节点i和节点j之间的语义关系表示。随后将注意力分数矩阵A^s作为语义图G^s的邻接矩阵，其公式化如下：

其中Q和K为句子隐式表示H，W^Q和W^K是可学习的权重矩阵，dim为输入的维度值。

步骤4.2：采用图卷积神经网络来获得语义图节点表示

其中，W^s和b^s分别是学习的权重和偏差，h_j为句子隐式表示。最后，句子的语义图编码表示

步骤5：采用相互的双仿射变换进行句法树编码H^g和语义图编码H^s之间信息传递，获得新的句法树编码表示H^g′和语义图编码表示H^s′：

步骤5.1：基于句法树编码H^g，采用双仿射变换机制获取语义图编码中的相关特征，从而构建新的句法树编码H^g′：

H^g′＝softmax(H^gW₁(H^s)^T)H^s；

其中W₁为学习权重参数。

步骤5.2：基于语义图编码H^s，采用双仿射变换机制获取句法树中的相关特征，从而构建新的语义图编码H^s′：

H^s′＝softmax(H^sW₂(H^g)^T)H^g；

其中W₂为学习权重参数。

步骤6：采用融合门构建最终句子表示H^o。

步骤6.1：采用句法树编码表示H^g′和语义图编码表示H^s′构建融合门权重f_i：

其中W^o1，W^o2和b^o1分别是学习的权重和偏差，σ为激活函数。

步骤6.2：采用融合门权重实现句法树编码表示H^g′和语义图编码表示H^s′的融合，构建最终句子表示

步骤7：构建句法感知指针神经网络，预测属性的开始位置和结束位置。具体地，采用句法感知指针神经网络来解码句子表示H^o，从全局范围来考虑属性的开始位置和结束位置。属性开始位置概率p_s(x_i)和结束位置概率p_e(x_i)为：

其中W^o和b^o分别为权重和偏差。

步骤8：构建条件随机场，实现单词标签预测。具体地，将融合语义特征和句法结构特征的句子表示H^o传入CRF层，实现单词标签预测。CRF的条件概率p(y|H^o；W，b)计算如下：

其中W和b分别为权重和偏差，Y(H^o)为标签集合。最后，根据最高的条件概率值来获得最优标签结果y^*，如下：

步骤9：构建相应的损失函数，实现模型训练。具体地，该模型训练损失函数由标签预测损失函数L_A和边界预测损失函数L_B构成，即L＝L_A+L_B，二者定义如下：

L_A＝∑_jlog p(y|H^o；W，b)；

其中N_B为真实属性数量，和/>为预测属性开始和结束位置。

社交媒体文本中属性存在形式多样，这对现有属性抽取方法是个挑战，这是由于属性可能包含多个字，且属性可以表示任何一种事物。本发明采用句法结构和语义关系构建双通道的图卷积神经网络，从而捕获局部和全局的词关系，然后通过双仿射变换和融合门机制获得全面的句子表示，随后通过构建句法感知的指针网络和条件随机场，建立句法和语义感知的属性边界识别机制，实现融合句法和语义表示的属性抽取方法。

本发明提出的融合句法和语义表示的属性抽取方法，基于社交媒体评论，首先采用通用领域嵌入表示和特定领域嵌入表示获得评论的初始表示信息，然后利用双向长短期记忆模型捕获评论句子的词序信息和依赖信息，随后采用句法图卷积神经网络捕获评论的成分句法和依存句法结构信息，并采用语义图卷积神经网络捕获评论单词之间的深层潜在语义关系，然后采用相互的双仿射变换模型获得评论的句法编码信息和语义编码信息的交互信息，实现新的句法编码信息和语义编码信息，并采用融合门控机制获得全面的评论表示，最后通过采用句法感知指针神经网络和条件随机场实现评论中属性的精准定位。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种融合句法和语义表示的属性抽取方法，基于社交媒体评论信息，其特征在于：包括如下步骤：

步骤1：采用混合预训练模型实现社交媒体评论信息的句子嵌入表示；

步骤2：采用双向长短期记忆模型获得社交媒体评论句子中每个单词隐式表示；

步骤3：构建句法图卷积神经网络实现异构句法树编码；

步骤4：构建语义图卷积神经网络实现语义图编码；

步骤5：采用相互的双仿射变换构建新的句法树编码和语义图编码；

步骤6：采用融合门构建最终社交媒体评论信息的句子表示；

步骤7：构建句法感知指针神经网络，预测属性的开始位置和结束位置；

步骤8：构建条件随机场，实现单词标签预测；

步骤9：构建相应的损失函数，实现模型训练。

2.根据权利要求1所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤1具体包括以下步骤：

步骤1.1：采用预训练的通用领域嵌入方法获取社交媒体评论信息中单词的通用嵌入表示；

步骤1.2：采用特定领域嵌入方法在特定数据集上进行训练，获得单词的特定嵌入表示；

步骤1.3：将上述单词的通用嵌入表示和特定嵌入表示进行拼接，获得单词的最终嵌入表示，继而组成句子嵌入表示。

3.根据权利要求2所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤2具体包括以下步骤：

步骤2.1：采用双向长短期记忆模型获得社交媒体评论句子中每个单词的前向隐式向量和后向隐式向量；

步骤2.2：将单词的前向隐式向量和后向隐式向量进行拼接，获得单词的全面的隐式向量，继而获得融合词序信息的社交媒体评论信息的句子表示。

4.根据权利要求3所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤3具体包括以下步骤：

步骤3.1：采用成分句法分析和图卷积神经网络构建成分句法树编码；

首先，针对评论句子，采用成分句法分析构建成分句法树；

其次将成分句法树转化为无向图，其中图中节点为成分句法树中的非叶子节点，图中的边为成分树中的边，并且边的方向是双向的；

然后，采用跨边界桥接操作来获得每个节点的表示，且每个节点的标签为成分树中对应的标签；

随后，采用图卷积神经网络来获得节点表示，其中该步骤将节点的成分标签融入到节点表示中；

最后，采用跨度边界反向桥接来获取每个单词的成分表示；

步骤3.2：采用依存句法分析和图卷积神经网络来构建依存句法树编码；

首先，针对社交媒体评论句子，采用依存句法分析构建依存句法树；

其次将依存句法树转化为无向图，其中图中节点为依存句法树中的节点，图中边为句法树中的边，并且边的方向是双向的；

最后，采用图卷积神经网络来获得节点表示，其中该步骤将节点之间边的依存标签融入到节点表示中，并且节点表示即为每个单词的依存表示；

步骤3.3：采用门控机制实现单词的成分表示和依存表示的融合，获得单词的全面表示，该步骤采用门控权重来调节成分表示和依存表示的贡献度。

5.根据权利要求4所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤4具体包括以下步骤：

步骤4.1：采用自注意力机制构建句子的语义图，其中图中节点为单词，边为单词之间的潜在语义关系；将注意力分数矩阵作为图的邻接矩阵；

步骤4.2：采用图卷积神经网络来获得节点表示，并实现句子的语义图编码。

6.根据权利要求5所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤5具体包括以下步骤：

步骤5.1：基于句法树编码，采用双仿射变换机制获取语义图编码中的相关特征，从而构建新的句法树编码；

步骤5.2：基于语义图编码，采用双仿射变换机制获取句法树编码中的相关特征，从而构建新的语义图编码。

7.根据权利要求6所述的一种融合句法和语义表示的属性抽取方法，其特征在于：所述步骤6具体包括以下步骤：

步骤6.1：采用句法树编码表示和语义图编码表示构建融合门权重；

步骤6.2：采用融合门实现句法树编码表示和语义图编码表示的融合，构建最终句子表示。