CN113849637A - 一种低噪声干扰的有监督关系抽取方法及装置 - Google Patents

一种低噪声干扰的有监督关系抽取方法及装置 Download PDF

Info

Publication number
CN113849637A
CN113849637A CN202110985570.0A CN202110985570A CN113849637A CN 113849637 A CN113849637 A CN 113849637A CN 202110985570 A CN202110985570 A CN 202110985570A CN 113849637 A CN113849637 A CN 113849637A
Authority
CN
China
Prior art keywords
coding sequence
vector
information
softmax
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110985570.0A
Other languages
English (en)
Inventor
于洪涛
胡新棒
李邵梅
张建朋
李继中
黄瑞阳
高超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110985570.0A priority Critical patent/CN113849637A/zh
Publication of CN113849637A publication Critical patent/CN113849637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种低噪声干扰的有监督关系抽取方法及装置。该方法包括：将待处理的语料转换为向量化的形式，得到编码序列；将所述编码序列送入MogrifierBiGRU‑GateAttention‑softmax中的第二层MogrifierBiGRU，得到融入上下文信息的编码序列；将所述融入上下文信息的编码序列送入MogrifierBiGRU‑GateAttention‑softmax中的第三层GateAttention，剔除任务无关信息，并聚合筛选结果，得到句向量；将所述句向量送入softmax，得到关系抽取结果。本发明改进了现有的BiGRU编码器以提高其特征抽取能力，设计了门控注意力层，并提出了两种门控策略去除句中任务无关词，能够在上下文信息建模的同时，减少噪声干扰。此外，无需语言工具进行数据预处理，减少了误差传播的影响。

Description

一种低噪声干扰的有监督关系抽取方法及装置
技术领域
本发明涉及关系抽取技术领域，尤其涉及一种基于MogrifierBiGRU-GateAttention-softmax的低噪声干扰的有监督关系抽取方法及装置。
背景技术
随着信息技术的发展，可获取的文本数据急速增长，如何高效处理这些非结构化、半结构化的数据，从中抽取关键信息，进而转换为易于分析、推理的结构化数据，是当下自然语言处理中知识抽取的重要研究内容。作为知识抽取中的主要任务之一，关系抽取(relation extraction,RE)旨在获取实体对之后，抽取实体对间存在的语义关系，构建实体、关系、实体三元组。
关系抽取是知识补全、信息检索、知识问答、知识推理等下游任务的重要基础，因而分析现有关系抽取方法存在的不足，提高抽取模型的效果，具有重要现实意义。
传统的有监督关系抽取方法可分为基于规则、基于特征向量和基于核函数三类，由于这些方法存在需要投入大量人工进行规则设计与特征选择、依赖语言工具抽取特征以及误差传播等问题，改进空间较小。而基于深度学习的关系抽取方法具有人工投入成本低、对语言工具依赖较小等优势，成为当下的主流。
现有基于深度学习的有监督关系抽取方法大多将其转换为分类问题，依据所采用的特征提取模型可大致分为基于卷积神经网络(convolutional neural network,CNN)、基于循环神经网络(recurrent neural network,RNN)、和基于图神经网络(graph neuralnetwork，GNN)三类。
基于CNN的模型利用“单词的局部上下文可以表达词义”的分布假设，来抽取局部特征，但由于感受野限制，此类模型无法获取长距离依赖。
不同于CNN模型，基于RNN的模型在时序序列特征提取方面具有天然优势，并且，通过捕捉上下文信息对实体等关键词进行词义消歧，可以缓解因一词多义对关系分类产生的影响，但当序列较长时，此类模型中前期信息会随着序列长度的增加而逐渐衰减，易导致部分长距离依赖损失。
不同于CNN与RNN的链式结构，基于GNN的模型可以建模图结构数据，通过依存分析树、最短依存路径等，抽取隐含的结构信息，但此类方法依赖语言工具对数据进行预处理。
此外，由语言学知识可知，在一个句子中，决定关系抽取结果的通常是实体对和少数动词，所以对句中无关信息的剔除也是关系抽取中的研究内容。现有对无关信息的处理方法中，根据统计规律将句子分段进而对关系分类影响较大的部分进行重点关注的方法与基于注意力机制的方法通常无法完全剔除无关信息的干扰，而利用分词信息或最短依赖路径的方法可能受语言工具预处理错误、训练集与测试集语法结构差异的影响，存在误差传播等问题。
发明内容
为了解决当前关系抽取方法面临的特征提取能力不强、无关信息剔除不彻底的问题，本发明提供一种能够有效提高特征抽取能力和抗噪声干扰能力的基于MogrifierBiGRU-GateAttention-sofimax的低噪声干扰的有监督关系抽取方法及装置。
一方面，本发明提供一种低噪声干扰的有监督关系抽取方法，包括：
步骤1：将待处理的语料转换为向量化的形式，得到编码序列；
步骤2：将所述编码序列送入MogrifierBiGRU-GateAttention-softmax中的第二层MogrifierBiGRU，得到融入上下文信息的编码序列；
步骤3：将所述融入上下文信息的编码序列送入MogrifierBiGRU-GateAttention-softmax中的第三层GateAttention，剔除任务无关信息，并聚合筛选结果，得到句向量；
步骤4：将所述句向量送入softmax，得到关系抽取结果。
进一步地，步骤1具体为：使用词向量表对长度为n、头尾实体长度均为1、分别位于时刻i、j的输入文本进行编码，得到编码序列
Figure BDA0003230575340000021
其中，xk为位于时刻k的嵌入维度为dx的预训练词向量，且k∈(1，2，…，n)；
Figure BDA0003230575340000022
分别为头尾实体起止指示符对应的词向量，维度为dx。
进一步地，所述步骤2具体包括：
步骤2.1：根据当前时刻t的输入xt、上一时刻隐状态ht-1，按照公式(1)至公式(8)计算当前时刻t的隐状态ht：
xt′＝2σ(Qht-1)⊙xt (1)
ht-1′＝2σ(Rxt′)⊙ht-1 (2)
xt″＝2σ(Qht-1′)xt′ (3)
ht-1″＝2σ(Rxt″)ht-1′ (4)
zt＝σ(Wzxt″+Uzht-1″+bz) (5)
rt＝σ(Wrxt″+Urht-1 ″+br) (6)
Figure BDA0003230575340000031
Figure BDA0003230575340000032
其中，⊙为矩阵点乘，σ为sigmoid函数，tanh为激活函数，Q、R、Wz、Wr、Wh、Uz、Ur、Uh为权重矩阵，bz、br、bh为偏置，xt′、ht-1′、xt″、ht-1″为中间状态，zt为更新门，rt为重置门，
Figure BDA0003230575340000033
为当前记忆内容；
步骤2.2：按照公式(9)将正向、反向的隐状态进行拼接得到当前时刻t在上下文语境中的编码
Figure BDA0003230575340000034
进而得到整个文本的上下文编码
Figure BDA0003230575340000035
Figure BDA0003230575340000036
进一步地，所述步骤3具体包括：
步骤3.1：通过公式(10)至公式(12)对实体信息进行融合，得到实体向量e：
Figure BDA0003230575340000037
Figure BDA0003230575340000041
Figure BDA0003230575340000042
其中Ww为权重矩阵，bw为偏置，i为实体在句中时刻，ri为贡献度指标，weighti为归一化后的贡献度指标，j为变量；
步骤3.2：利用所述实体向量e对X(2)中除实体外任意时刻k的编码进行评分，得到其评分relak，relak表示对应词与关系的相关程度：
p＝gelu(e) (13)
Figure BDA0003230575340000043
Figure BDA0003230575340000044
其中，p为非线性变换后的实体向量，T表示转置，sk为相关性度量，n为句子长度，m为变量；
步骤3.3：通过评分向量rela＝[rela1，…，relan]对输入语句中的任务无关信息进行过滤。
进一步地，所述步骤3.3具体为：
步骤3.3.1：通过评分向量rela＝[rela1，…，relan]使用阈值策略或者截断策略对输入语句中的任务无关信息进行过滤；其中：
a)阈值策略为：
Figure BDA0003230575340000045
b)截断策略为：
Figure BDA0003230575340000046
其中，max(rela，β)为选出向量rela中前β个最大数值，
Figure BDA0003230575340000047
为在阈值策略或截断策略下处理得到的相关性度量；
步骤3.3.2：通过公式(18)和公式(19)，获取剔除无关信息后的文本编码X(3)，即筛选结果：
Figure BDA0003230575340000051
Figure BDA0003230575340000052
其中，时刻i对应词为实体。
进一步地，步骤3具体还包括：
步骤3.4：通过公式(20)至公式(23)得到句向量S：
H＝gelu(X(3)) (20)
α＝softmax(WαH) (21)
Figure BDA0003230575340000053
Figure BDA0003230575340000054
其中，T表示转置，X(3)表示剔除任务无关信息后的文本编码，即筛选结果；H为非线性变换后的文本编码，Wα为权重矩阵，α为权重向量，
Figure BDA0003230575340000055
为候选状态。
进一步地，所述步骤4具体为：使用线性变换与softmax函数对句向量进行分类，得到关系抽取结果。
进一步地，在步骤4之后，还包括：使用标注数据集对按照步骤1至步骤4的方法进行执行所得到的有监督关系抽取模型进行训练和超参数调整；其中，所述标注数据集是指通过对训练语料中存在关系的实体对进行关系标注后所得到的数据集。
进一步地，在对有监督关系抽取模型进行训练时，采用adadelta优化器训练模型参数，并使用L2正则化防止模型过拟合。
另一方面，本发明提供一种低噪声干扰的有监督关系抽取装置，包括：
嵌入模块，用于将待处理的语料转换为向量化的形式，得到编码序列；
上下文特征编码模块，用于将送入MogrifierBiGRU-GateAttention-softmax中第二层MogrifierBiGRU的编码序列融入上下文信息，得到融入上下文信息的编码序列；
信息筛选模块，用于将送入MogrifierBiGRU-GateAttention-softmax中第三层GateAttention的融入上下文信息的编码序列进行过滤，剔除任务无关信息，并聚合筛选结果，得到句向量；
关系分类模块，用于将送入softmax的句向量进行分类，得到关系抽取结果。
本发明的有益效果：
本发明的一种低噪声干扰的有监督关系抽取方法及装置，改进了现有的BiGRU编码器以提高其特征抽取能力，设计了门控注意力层，通过MogrifierBiGRU捕获上下文信息，有效地表征了语境中的词义。与使用LSTM、CNN等特征提取器相比，在不适用附加信息的情况下，拥有更强的信息捕捉能力。此外，提出的两种门控策略去除句中任务无关词，能有效地对任务无关信息进行过滤，在上下文信息建模的同时，减少了噪声对关系抽取结果的干扰。并且，无需语言工具进行数据预处理，减少了误差传播的影响。
附图说明
图1为本发明实施例提供的一种低噪声干扰的有监督关系抽取方法的流程示意图；
图2为本发明实施例提供的MogrifierBiGRU-GateAttention-softmax的结构示意图；
图3为本发明实施例提供的MogrifierBiGRU单元的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明实施例提供一种低噪声干扰的有监督关系抽取方法，MogrifierBiGRU-GateAttention-softmax的结构参考图2所示，所述方法包括以下步骤：
S101：将待处理的语料转换为向量化的形式，得到编码序列；
S102：将所述编码序列送入MogrifierBiGRU-GateAttention-softmax中的第二层MogrifierBiGRU，得到融入上下文信息的编码序列；
S103：将所述融入上下文信息的编码序列送入MogrifierBiGRU-GateAttention-softmax中的第三层GateAttention，剔除任务无关信息，并聚合筛选结果，得到句向量；
S104：将所述句向量送入softmax，得到关系抽取结果。
本发明实施例提供的一种低噪声干扰的有监督关系抽取方法，通过MogrifierBiGRU捕获上下文信息，有效地表征了语境中的词义。与使用LSTM、CNN等特征提取器相比，在不适用附加信息的情况下，本发明拥有更强的信息捕捉能力。
实施例2
在上述实施例的基础上，本发明实施例提供又一种低噪声干扰的有监督关系抽取方法，包括以下步骤：
S201：构建训练用的标注数据集；
具体地，本步骤包括以下子步骤：首先，获取训练语料；其次，找出句中所有实体；最后，对存在关系的实体对进行关系标注，从而得到标注数据集。
S202：按照与实施例1所述的步骤S101至步骤S104大致相同的步骤构建得到基于MogrifierBiGRU-GateAttention-softmax的有监督关系抽取模型；在实施例1的基础上，本实施例中，本步骤具体包括如下子步骤：
S2021：使用词向量表对长度为n、头尾实体长度均为1、分别位于时刻i、j的输入文本进行编码，得到编码序列
Figure BDA0003230575340000071
其中，xk为位于时刻k的嵌入维度为dx的预训练词向量，且k∈(1，2，…，n)；
Figure BDA0003230575340000072
分别为头尾实体起止指示符对应的词向量，维度为dx。
S2022：如图3所示，根据当前时刻t的输入xt、上一时刻隐状态ht-1，按照公式(1)至公式(8)计算当前时刻t的隐状态ht：
xt′＝2σ(Qht-1)⊙xt (1)
ht-1′＝2σ(Rxt′)⊙ht-1 (2)
xt″＝2σ(Qht-1′)xt′ (3)
ht-1″＝2σ(Rxt″)ht-1′ (4)
zt＝σ(Wzxt″+Uzht-1″+bx) (5)
rt＝σ(Wrxt″+Urht-1″+br) (6)
Figure BDA0003230575340000081
Figure BDA0003230575340000082
其中，⊙为矩阵点乘，σ为sigmoid函数，tanh为激活函数，Q、R、Wz、Wr、Wh、Uz、Ur、Uh为权重矩阵，bz、br、bh为偏置，xt′、ht-1′、xt″、ht-1″为中间状态，zt为更新门，rt为重置门，
Figure BDA0003230575340000083
为当前记忆内容。
S2023：按照公式(9)将正向、反向的隐状态进行拼接得到当前时刻t在上下文语境中的编码
Figure BDA0003230575340000084
进而得到整个文本的上下文编码
Figure BDA0003230575340000085
Figure BDA0003230575340000086
S2024：通过公式(10)至公式(12)对实体信息进行融合，得到实体向量e：
Figure BDA0003230575340000087
Figure BDA0003230575340000088
Figure BDA0003230575340000089
其中Ww为权重矩阵，bw为偏置，i为实体在句中时刻，ri为贡献度指标，weighti为归一化后的贡献度指标，j为变量。
S2025：利用所述实体向量e对X(2)中除实体外任意时刻k的编码进行评分，得到其评分relak，relak表示对应词与关系的相关程度：
p＝gelu(e) (13)
Figure BDA0003230575340000091
Figure BDA0003230575340000092
其中，p为非线性变换后的实体向量，T表示转置，sk为相关性度量，n为句子长度，m为变量。
S2026：通过评分向量rela＝[rela1，…，relan]对输入语句中的任务无关信息进行过滤；
作为一种可实施方式，本步骤具体包括以下子步骤：
步骤A1：通过评分向量rela＝[rela1，…，relan]使用阈值策略或者截断策略对输入语句中的任务无关信息进行过滤；其中：
a)阈值策略为：
Figure BDA0003230575340000093
具体地，当且仅当句中各词与关系的相关程度相同时，relak均为1，因而一般设置β∈(0，1.13)。
b)截断策略为：
Figure BDA0003230575340000094
其中，max(rela，β)为选出向量rela中前β个最大数值，
Figure BDA0003230575340000095
为在阈值策略或截断策略下处理得到的相关性度量；
具体地，β的大小用于控制无关信息过滤的强度。
在阈值策略中，当且仅当句中各词与关系的相关程度相同时，relak均为1，因而在阈值策略中，一般设置β∈(0，1.13)。
在截断策略中，β为正整数，为减少运算，在截断策略中，一般设定β∈{1，2，...7}。
步骤A2：通过公式(18)和公式(19)，获取剔除无关信息后的文本编码X(3)，即筛选结果：
Figure BDA0003230575340000101
Figure BDA0003230575340000102
其中，时刻i对应词为实体。
S2027：通过公式(20)至公式(23)得到句向量S：
H＝gelu(X(3)) (20)
α＝softmax(WαH) (21)
Figure BDA0003230575340000103
Figure BDA0003230575340000104
其中，T表示转置，X(3)表示剔除任务无关信息后的文本编码，即筛选结果；H为非线性变换后的文本编码，Wα为权重矩阵，α为权重向量，
Figure BDA0003230575340000105
为候选状态。
S2028：使用线性变换与softmax函数对句向量进行分类，得到关系抽取结果。
S203：使用标注数据集，对按照步骤S101至步骤S104的方法进行执行所得到的有监督关系抽取模型(或者对步骤S201构建得到的有监督关系抽取模型)进行训练和超参数调整；其中，所述标注数据集是指步骤S201中通过对训练语料中存在关系的实体对进行关系标注后所得到的数据集。
作为一种可实施方式，在对有监督关系抽取模型进行训练时，采用adadelta优化器训练模型参数，并使用L2正则化防止模型过拟合。模型使用负对数似然函数作为损失函数，其具体如公式(24)和公式(25)所示：
Figure BDA0003230575340000111
Figure BDA0003230575340000112
其中Wy为权重矩阵，by为偏置，tk为真实类别标签，yk为预测类别标签，N为关系类别数。
S204：将待识别语料送入步骤S203中训练好的模型中，得到关系分类结果。
实施例3
对应上述的一种低噪声干扰的有监督关系抽取方法，本发明实施例还提供一种低噪声干扰的有监督关系抽取装置，包括：
嵌入模块，用于将待处理的语料转换为向量化的形式，得到编码序列；
上下文特征编码模块，用于将送入MogrifierBiGRU-GateAttention-softmax中第二层MogrifierBiGRU的编码序列融入上下文信息，得到融入上下文信息的编码序列；
信息筛选模块，用于将送入MogrifierBiGRU-GateAttention-sofimax中第三层GateAttention的融入上下文信息的编码序列进行过滤，剔除任务无关信息，并聚合筛选结果，得到句向量；
关系分类模块，用于将送入softmax的句向量进行分类，得到关系抽取结果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种低噪声干扰的有监督关系抽取方法，其特征在于，包括：
步骤1：将待处理的语料转换为向量化的形式，得到编码序列；
步骤2：将所述编码序列送入MogrifierBiGRU-GateAttention-softmax中的第二层MogrifierBiGRU，得到融入上下文信息的编码序列；
步骤3：将所述融入上下文信息的编码序列送入MogrifierBiGRU-GateAttention-softmax中的第三层GateAttention，剔除任务无关信息，并聚合筛选结果，得到句向量；
步骤4：将所述句向量送入softmax，得到关系抽取结果。
2.根据权利要求1所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，步骤1具体为：使用词向量表对长度为n、头尾实体长度均为1、分别位于时刻i、j的输入文本进行编码，得到编码序列
Figure FDA0003230575330000011
其中，xk为位于时刻k的嵌入维度为dx的预训练词向量，且k∈(1，2，…，n)；
Figure FDA0003230575330000012
分别为头尾实体起止指示符对应的词向量，维度为dx。
3.根据权利要求1所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，所述步骤2具体包括：
步骤2.1：根据当前时刻t的输入xt、上一时刻隐状态ht-1，按照公式(1)至公式(8)计算当前时刻t的隐状态ht：
xt′＝2σ(Qht-1)⊙xt (1)
ht-1′＝2σ(Rxt′)⊙ht-1 (2)
xt″＝2σ(Qht-1′)xt′ (3)
ht-1″＝2σ(Rxt″)ht-1′ (4)
zt＝σ(Wzxt″+Uzht-1″+bz) (5)
rt＝σ(Wrxt″+Urht-1″+br) (6)
Figure FDA0003230575330000021
Figure FDA0003230575330000022
其中，⊙为矩阵点乘，σ为sigmoid函数，tanh为激活函数，Q、R、Wz、Wr、Wh、Uz、Ur、Uh为权重矩阵，bz、br、bh为偏置，xt′、ht-1′、xt″、ht-1″为中间状态，zt为更新门，rt为重置门，
Figure FDA0003230575330000023
为当前记忆内容；
步骤2.2：按照公式(9)将正向、反向的隐状态进行拼接得到当前时刻t在上下文语境中的编码
Figure FDA0003230575330000024
进而得到整个文本的上下文编码
Figure FDA0003230575330000025
Figure FDA0003230575330000026
4.根据权利要求1所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，所述步骤3具体包括：
步骤3.1：通过公式(10)至公式(12)对实体信息进行融合，得到实体向量e：
Figure FDA0003230575330000027
Figure FDA0003230575330000028
Figure FDA0003230575330000029
其中Ww为权重矩阵，bw为偏置，i为实体在句中时刻，ri为贡献度指标，weighti为归一化后的贡献度指标，j为变量；
步骤3.2：利用所述实体向量e对X(2)中除实体外任意时刻k的编码进行评分，得到其评分relak，relak表示对应词与关系的相关程度：
p＝gelu(e) (13)
Figure FDA00032305753300000210
Figure FDA0003230575330000031
其中，p为非线性变换后的实体向量，T表示转置，sk为相关性度量，n为句子长度，m为变量；
步骤3.3：通过评分向量rela＝[rela1，…，relan]对输入语句中的任务无关信息进行过滤。
5.根据权利要求4所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，所述步骤3.3具体为：
步骤3.3.1：通过评分向量rela＝[rela1，…，relan]使用阈值策略或者截断策略对输入语句中的任务无关信息进行过滤；其中：
a)阈值策略为：
Figure FDA0003230575330000032
b)截断策略为：
Figure FDA0003230575330000033
其中，max(rela，β)为选出向量rela中前β个最大数值，
Figure FDA0003230575330000034
为在阈值策略或截断策略下处理得到的相关性度量；
步骤3.3.2：通过公式(18)和公式(19)，获取剔除无关信息后的文本编码X(3)，即筛选结果：
Figure FDA0003230575330000035
Figure FDA0003230575330000036
其中，时刻i对应词为实体。
6.根据权利要求4所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，步骤3具体还包括：
步骤3.4：通过公式(20)至公式(23)得到句向量S：
H＝gelu(X(3)) (20)
α＝softmax(WαH) (21)
Figure FDA0003230575330000041
Figure FDA0003230575330000042
其中，T表示转置，X(3)表示剔除任务无关信息后的文本编码，即筛选结果；H为非线性变换后的文本编码，Wα为权重矩阵，α为权重向量，
Figure FDA0003230575330000043
为候选状态。
7.根据权利要求1所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，所述步骤4具体为：使用线性变换与softmax函数对句向量进行分类，得到关系抽取结果。
8.根据权利要求1所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，在步骤4之后，还包括：使用标注数据集对按照步骤1至步骤4的方法进行执行所得到的有监督关系抽取模型进行训练和超参数调整；其中，所述标注数据集是指通过对训练语料中存在关系的实体对进行关系标注后所得到的数据集。
9.根据权利要求8所述的一种低噪声干扰的有监督关系抽取方法，其特征在于，在对有监督关系抽取模型进行训练时，采用adadelta优化器训练模型参数，并使用L2正则化防止模型过拟合。
10.一种低噪声干扰的有监督关系抽取装置，其特征在于，包括：
嵌入模块，用于将待处理的语料转换为向量化的形式，得到编码序列；
上下文特征编码模块，用于将送入MogrifierBiGRU-GateAttention-softmax中第二层MogrifierBiGRU的编码序列融入上下文信息，得到融入上下文信息的编码序列；
信息筛选模块，用于将送入MogrifierBiGRU-GateAttention-softmax中第三层GateAttention的融入上下文信息的编码序列进行过滤，剔除任务无关信息，并聚合筛选结果，得到句向量；
关系分类模块，用于将送入softmax的句向量进行分类，得到关系抽取结果。
CN202110985570.0A 2021-08-26 2021-08-26 一种低噪声干扰的有监督关系抽取方法及装置 Pending CN113849637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110985570.0A CN113849637A (zh) 2021-08-26 2021-08-26 一种低噪声干扰的有监督关系抽取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110985570.0A CN113849637A (zh) 2021-08-26 2021-08-26 一种低噪声干扰的有监督关系抽取方法及装置

Publications (1)

Publication Number Publication Date
CN113849637A true CN113849637A (zh) 2021-12-28

Family

ID=78976413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110985570.0A Pending CN113849637A (zh) 2021-08-26 2021-08-26 一种低噪声干扰的有监督关系抽取方法及装置

Country Status (1)

Country Link
CN (1) CN113849637A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270165A (zh) * 2022-09-28 2022-11-01 南通佳茂霖智能科技有限公司 一种工程勘测的信息管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270165A (zh) * 2022-09-28 2022-11-01 南通佳茂霖智能科技有限公司 一种工程勘测的信息管理方法
CN115270165B (zh) * 2022-09-28 2022-12-13 南通佳茂霖智能科技有限公司 一种工程勘测的信息管理方法

Similar Documents

Publication Publication Date Title
CN106980683B (zh) 基于深度学习的博客文本摘要生成方法
CN110209806B (zh) 文本分类方法、文本分类装置及计算机可读存储介质
CN111738004A (zh) 一种命名实体识别模型的训练方法及命名实体识别的方法
CN106599032B (zh) 一种结合稀疏编码和结构感知机的文本事件抽取方法
CN113011533A (zh) 文本分类方法、装置、计算机设备和存储介质
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
CN111897908A (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN106569998A (zh) 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
CN106886580A (zh) 一种基于深度学习的图片情感极性分析方法
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN112749562A (zh) 命名实体识别方法、装置、存储介质及电子设备
CN113343690B (zh) 一种文本可读性自动评估方法及装置
Bokka et al. Deep Learning for Natural Language Processing: Solve your natural language processing problems with smart deep neural networks
Sartakhti et al. Persian language model based on BiLSTM model on COVID-19 corpus
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN111753058A (zh) 一种文本观点挖掘方法及系统
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
González-Gallardo et al. Sentence boundary detection for French with subword-level information vectors and convolutional neural networks
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN116383387A (zh) 一种基于事理逻辑的联合事件抽取方法
CN114254645A (zh) 一种人工智能辅助写作系统
CN111241271B (zh) 文本情感分类方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination