CN109783799A - 一种基于语义依存图的关系提取方法 - Google Patents
一种基于语义依存图的关系提取方法 Download PDFInfo
- Publication number
- CN109783799A CN109783799A CN201811522442.7A CN201811522442A CN109783799A CN 109783799 A CN109783799 A CN 109783799A CN 201811522442 A CN201811522442 A CN 201811522442A CN 109783799 A CN109783799 A CN 109783799A
- Authority
- CN
- China
- Prior art keywords
- shortest path
- network
- relationship
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于语义依存图的关系提取方法。本发明包括如下步骤:步骤(1)训练双向循环卷积注意神经网络;步骤(2)读取语句数据;步骤(3)将数据输入训练好的深度神经网络,输出数据与各个关系的相关度。本发明通过引入语义依存图的信息来降低噪声数据和增强数据特征信息的方法。通过从语义依存图中提出来的实体对之间的最短路径中提取句子的特征信息。本发明通过引入语义依存图和双向循环卷积注意网络进行关系提取,通过语义依存的分析并提取的实体间最短路径,可以有效的降低远程监督学习带来的噪声数据影响,从而提高了关系提取的准确率。
Description
技术领域
本发明涉及关系提取方法,具体来讲是一种基于语义依存图的关系提取方法,属于自然语言处理技术领域。
背景技术
在自然语言处理技术领域中,最重要的任务是分析人类话语并能理解。在这个大领域中有一项十分重要的任务是如何构建知识图谱。在建立知识图谱中,如果通过人类一句话一句话的进行分析并提取实体与关系,这是十分浪费人力的。因此,我们需要通过引入深度神经网络训练模型,让模型自动提取出句子中实体的关系。目前,主要的关系提取方法有无监督学习,监督学习和远程监督学习。由于,无监督学习效果一般,监督学习效果好,但是需要大量的训练数据,标记训练数据是一项浪费资源的工作。我们采用远程监督学习,但是,在该方法中会引入大量的噪声数据,因此,我们需要改进方法降低噪声数据对模型的影响。
发明内容
本发明针对使用远程监督学习方式进行关系提取中的噪声问题,公开一种通过引入语义依存图的信息来降低噪声数据和增强数据特征信息的方法。
为实现以上的技术目的,本发明将采用以下的技术方案:
步骤(1)训练双向循环卷积注意神经网络;
步骤(2)读取语句数据;
步骤(3)将数据输入训练好的深度神经网络,输出数据与各个关系的相关度;
步骤(1)包括如下步骤:
步骤A对输入数据进行语义分析,提取实体对的最短路径,并编码整理序列化;所述的最短路径包含词和依赖关系边;
步骤B构建双向循环卷积注意神经网络,确定双向循环卷积注意神经网络每一层的输入输出的向量维度、计算方式、训练方式;
步骤C特征提取,将处理好的数据和对应的结果标签输入到双向循环卷积注意神经网络中,提取出每个组的特征;
步骤D对于步骤C中的每个组,计算组的特征与结果候选集中每个关系的相关度,将相关度最大的作为该组提取的结果;
步骤E利用交叉熵损失函数计算结果与标签的误差,并调整双向循环卷积注意神经网络中的参数。
步骤A具体为:首先,将训练数据按照标签分组;其次,使用NLP分析工具将自然语言句子进行语义依存分析,得到相应的语义依存图;根据自然语言句子中的实体对和得到的语义依存图,使用改进后的最短路径迪杰斯特拉算法,提取出多条实体对之间的最短路径;
所述的改进后的最短路径迪杰斯特拉算法,具体是在原算法基础上加入一个PATH数据表记录每个图中节点在最短路径中的前一跳是哪个节点。
步骤B中,所述的双向循环卷积注意神经网络由BCNN网络架构改进实现,首先由一个双向循环网络对最短路径进行编码,每条最短路径循环次数限制为15次;再使用卷积网络与池化层提取编码后的最短路径的特征,卷积网络中采用200个过滤器;然后用注意力网络计算每条最短路径在当前组中的权重。
所述的双向循环卷积注意神经网络采用远程监督学习训练,网络自底向上的流程包括:
第一层:对每条最短路径中的词和依赖关系边,分别使用双向循环卷积注意神经网络进行编码,编码的过程为:
it=σ(wi·xt+ut·ht-1+bi)
gt=tanh(wc·xt+uc·ht-1+bc)
ft=σ(wf·xt+uf·ht-1+bf)
ot=σ(wo·xt+uo·ht-1+bo)
其中,w表示模型中的参数,x表示输入的词特征或者依赖关系边特征,u表示模型中的参数,b表示模型中的参数,h表示循环中的前一时刻的输出,σ表示sigmod函数,表示相乘;
得到前向和后向中每个词的编码信息hwi和每条依赖关系边的编码信息hei;
第二层:将前向和后向的编码信息按照依存单元进行组合,依存单元形式为<词,依赖关系边,词>;从而得到以下forward集合和backward集合,其中forward集合表示前向,backward集合表示后向:
第三层:使用卷积网络和池化层提取前向和后向的依存单元信息,然后将两个信息相连得到最短路径的特征信息;
第四层:使用注意力模型对一个组中所有最短路径特征信息融合得到组的特征;采取计算注意力方法,根据句子最短路径特征计算每条最短路径在该组中的权重,公式为:
S=∑αiGi
fi=GiAr
其中,S表示组的特征信息,α表示每条最短路径的权重,G表示最短路径特征信息,f表示最短路径和标签关系的相关度,i表示第i条最短路径,k表示列举改组中的所有最短路径。
步骤E中双向循环卷积注意神经网络的调优,具体实现如下:
采用自顶向下的远程监督学习方式进行调优,即使用标签的样本数据进行训练,误差自顶向下进行传输,对网络进行调优,包括:根据交叉熵损失函数的结果,利用反向传播算法重新调整双向循环卷积注意神经网络参数,最终达到全局网络最优,交叉熵损失函数为:
其中,θ是模型中的参数,r表示关系信息,G表示最短路径信息,i表示组中最短路径下标。
本发明由于采取以上技术方案,具有如下优点:
本发明通过引入语义依存图和双向循环卷积注意网络进行关系提取,通过语义依存的分析并提取的实体间最短路径,可以有效的降低远程监督学习带来的噪声数据影响,从而提高了关系提取的准确率。
附图说明
图1是本发明的神经网络模型流程示例图;
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示,一种基于语义依存图的关系提取方法,按照如下步骤进行:
步骤(1)训练双向循环卷积注意神经网络;
步骤(2)读取语句数据;
步骤(3)将数据输入训练好的深度神经网络,输出特征与各个关系的相关度
其中训练双向循环卷积注意神经网络的步骤如下:
将训练数据集中的数据按照实体对和标记关系进行分组。
将每一组句子,分别使用NLP工具进行语义分析得到相应的语义依存图。
根据句子中的实体对和得到的语义依存图,使用改进后的最短路径迪杰斯特拉算法,提取出多条实体对之间的最短路径;算法改进所做的是加入一个PATH数据记录每个图中节点在最短路径中的前一跳是哪个节点。
将得到的最短路径分别输入到双向循环卷积注意神经网络中,初始化BP神经网络参数,训练双向循环卷积注意神经网络。
以下是对本发明一种基于语义依存的关系提取方法神经网络模型的详细说明,模型图如图1。
第一层是双向循环神经网络(BiLSTM),该网络的作用是对最短路径中的单词特征信息和依存关系边特征信息进行编码,其中前向和后向,单词和依存关系边要进行组合分开进行。因此,可以得到四组特征信息。
将前向的单词特征信息和依存关系边特征信息,按照依存单元的形式进行组合。可以得到前向依存单元组和后向依存单元组。依存单元的形式为:<单词,依存关系边,单词>。
第二层是卷积池化神经网络(CNN),该网络的作用是提取依存单元的特征信息,网络中的窗口大小为1,过滤器组数为200个,再通过一个池化层得到前向的特征信息和后向的特征信息,最后将两者相连。
第三层是一个注意力神经网络,该网络的作用是计算该组中每个句子和标签关系的相关程度,也就是该句子在组中的权重大小。
根据得到的权重大小,将组中的句子进行加权求和,得到该组的特征信息。
根据得到的组特征信息,计算它与每个关系的相关程度,最后去相关程度最高的关系,作为当次计算的结果。
根据得到的结果,使用交叉熵目标函数对bp网络中的参数进行调整,实验的迭代次数为50次。
使用模型过程为,输入一组相同实体对的句子,先进行NLP工具分析语义信息,得到语义依存图。再从中抽取出实体对之间的最短路径,并输入到双向循环卷积注意网络中,网络输出组中句子所表达的关系。
Claims (5)
1.一种基于语义依存图的关系提取方法,其特征在于包括如下步骤:
步骤(1)训练双向循环卷积注意神经网络;
步骤(2)读取语句数据;
步骤(3)将数据输入训练好的深度神经网络,输出数据与各个关系的相关度;
步骤(1)包括如下步骤:
步骤A对输入数据进行语义分析,提取实体对的最短路径,并编码整理序列化;所述的最短路径包含词和依赖关系边;
步骤B构建双向循环卷积注意神经网络,确定双向循环卷积注意神经网络每一层的输入输出的向量维度、计算方式、训练方式;
步骤C特征提取,将处理好的数据和对应的结果标签输入到双向循环卷积注意神经网络中,提取出每个组的特征;
步骤D对于步骤C中的每个组,计算组的特征与结果候选集中每个关系的相关度,将相关度最大的作为该组提取的结果;
步骤E利用交叉熵损失函数计算结果与标签的误差,并调整双向循环卷积注意神经网络中的参数。
2.根据权利要求1所述的基于语义依存图的关系提取方法,其特征在于,步骤A具体为:首先,将训练数据按照标签分组;其次,使用NLP分析工具将自然语言句子进行语义依存分析,得到相应的语义依存图;根据自然语言句子中的实体对和得到的语义依存图,使用改进后的最短路径迪杰斯特拉算法,提取出多条实体对之间的最短路径;
所述的改进后的最短路径迪杰斯特拉算法,具体是在原算法基础上加入一个PATH数据表记录每个图中节点在最短路径中的前一跳是哪个节点。
3.根据权利要求2所述的基于语义依存图的关系提取方法,其特征在于步骤B中,所述的双向循环卷积注意神经网络由BCNN网络架构改进实现,首先由一个双向循环网络对最短路径进行编码,每条最短路径循环次数限制为15次;再使用卷积网络与池化层提取编码后的最短路径的特征,卷积网络中采用200个过滤器;然后用注意力网络计算每条最短路径在当前组中的权重。
4.根据权利要求3所述的基于语义依存图的关系提取方法,其特征在于双向循环卷积注意神经网络采用远程监督学习训练,网络自底向上的流程包括:
第一层:对每条最短路径中的词和依赖关系边,分别使用双向循环卷积注意神经网络进行编码,编码的过程为:
it=σ(wi·xt+ut·ht-1+bi)
gt=tanh(wc·xt+uc·ht-1+bc)
ft=σ(wf·xt+uf·ht-1+bf)
ot=σ(wo·xt+uo·ht-1+bo)
其中,w表示模型中的参数,x表示输入的词特征或者依赖关系边特征,u表示模型中的参数,b表示模型中的参数,h表示循环中的前一时刻的输出,σ表示sigmod函数,表示相乘;
得到前向和后向中每个词的编码信息hwi和每条依赖关系边的编码信息hei;
第二层:将前向和后向的编码信息按照依存单元进行组合,依存单元形式为<词,依赖关系边,词>;从而得到以下forward集合和backward集合,其中forward集合表示前向,backward集合表示后向:
第三层:使用卷积网络和池化层提取前向和后向的依存单元信息,然后将两个信息相连得到最短路径的特征信息;
第四层:使用注意力模型对一个组中所有最短路径特征信息融合得到组的特征;采取计算注意力方法,根据句子最短路径特征计算每条最短路径在该组中的权重,公式为:
S=∑αiGi
fi=GiAr
其中,S表示组的特征信息,α表示每条最短路径的权重,G表示最短路径特征信息,f表示最短路径和标签关系的相关度,i表示第i条最短路径,k表示列举改组中的所有最短路径。
5.根据权利要求5所述的基于语义依存图的关系提取方法,其特征在于步骤E中双向循环卷积注意神经网络的调优,具体实现如下:
采用自顶向下的远程监督学习方式进行调优,即使用标签的样本数据进行训练,误差自顶向下进行传输,对网络进行调优,包括:根据交叉熵损失函数的结果,利用反向传播算法重新调整双向循环卷积注意神经网络参数,最终达到全局网络最优,交叉熵损失函数为:
其中,θ是模型中的参数,r表示关系信息,G表示最短路径信息,i表示组中最短路径下标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811522442.7A CN109783799B (zh) | 2018-12-13 | 2018-12-13 | 一种基于语义依存图的关系提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811522442.7A CN109783799B (zh) | 2018-12-13 | 2018-12-13 | 一种基于语义依存图的关系提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109783799A true CN109783799A (zh) | 2019-05-21 |
CN109783799B CN109783799B (zh) | 2020-05-05 |
Family
ID=66495877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811522442.7A Active CN109783799B (zh) | 2018-12-13 | 2018-12-13 | 一种基于语义依存图的关系提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109783799B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555084A (zh) * | 2019-08-26 | 2019-12-10 | 电子科技大学 | 基于pcnn和多层注意力的远程监督关系分类方法 |
CN110633467A (zh) * | 2019-08-29 | 2019-12-31 | 中国人民解放军国防科技大学 | 一种基于改进特征融合的语义关系抽取方法 |
CN110674642A (zh) * | 2019-08-29 | 2020-01-10 | 中国人民解放军国防科技大学 | 一种用于含噪稀疏文本的语义关系抽取方法 |
CN113035193A (zh) * | 2021-03-01 | 2021-06-25 | 上海匠芯知音信息科技有限公司 | 一种员工管理系统及应用 |
CN113591478A (zh) * | 2021-06-08 | 2021-11-02 | 电子科技大学 | 一种基于深度强化学习的远程监督文本实体关系抽取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021557A (zh) * | 2017-12-25 | 2018-05-11 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于深度学习的不规则实体识别方法 |
CN108536754A (zh) * | 2018-03-14 | 2018-09-14 | 四川大学 | 基于blstm和注意力机制的电子病历实体关系抽取方法 |
-
2018
- 2018-12-13 CN CN201811522442.7A patent/CN109783799B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021557A (zh) * | 2017-12-25 | 2018-05-11 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于深度学习的不规则实体识别方法 |
CN108536754A (zh) * | 2018-03-14 | 2018-09-14 | 四川大学 | 基于blstm和注意力机制的电子病历实体关系抽取方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555084A (zh) * | 2019-08-26 | 2019-12-10 | 电子科技大学 | 基于pcnn和多层注意力的远程监督关系分类方法 |
CN110555084B (zh) * | 2019-08-26 | 2023-01-24 | 电子科技大学 | 基于pcnn和多层注意力的远程监督关系分类方法 |
CN110633467A (zh) * | 2019-08-29 | 2019-12-31 | 中国人民解放军国防科技大学 | 一种基于改进特征融合的语义关系抽取方法 |
CN110674642A (zh) * | 2019-08-29 | 2020-01-10 | 中国人民解放军国防科技大学 | 一种用于含噪稀疏文本的语义关系抽取方法 |
CN110633467B (zh) * | 2019-08-29 | 2023-04-07 | 中国人民解放军国防科技大学 | 一种基于改进特征融合的语义关系抽取方法 |
CN110674642B (zh) * | 2019-08-29 | 2023-04-18 | 中国人民解放军国防科技大学 | 一种用于含噪稀疏文本的语义关系抽取方法 |
CN113035193A (zh) * | 2021-03-01 | 2021-06-25 | 上海匠芯知音信息科技有限公司 | 一种员工管理系统及应用 |
CN113035193B (zh) * | 2021-03-01 | 2024-04-12 | 上海匠芯知音信息科技有限公司 | 一种员工管理系统及应用 |
CN113591478A (zh) * | 2021-06-08 | 2021-11-02 | 电子科技大学 | 一种基于深度强化学习的远程监督文本实体关系抽取方法 |
CN113591478B (zh) * | 2021-06-08 | 2023-04-18 | 电子科技大学 | 一种基于深度强化学习的远程监督文本实体关系抽取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109783799B (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783799A (zh) | 一种基于语义依存图的关系提取方法 | |
CN111274398B (zh) | 一种方面级用户产品评论情感分析方法及系统 | |
Ding et al. | Autospeech: Neural architecture search for speaker recognition | |
CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
CN109410917A (zh) | 基于改进型胶囊网络的语音数据分类方法 | |
US11651578B2 (en) | End-to-end modelling method and system | |
CN110597998A (zh) | 一种结合句法分析的军事想定实体关系抽取方法及装置 | |
CN111461025B (zh) | 一种自主进化的零样本学习的信号识别方法 | |
CN113761893B (zh) | 一种基于模式预训练的关系抽取方法 | |
CN112487812A (zh) | 一种基于边界识别的嵌套实体识别方法及系统 | |
CN109255381A (zh) | 一种基于二阶vlad稀疏自适应深度网络的图像分类方法 | |
CN111428481A (zh) | 一种基于深度学习的实体关系抽取方法 | |
CN114238652A (zh) | 一种用于端到端场景的工业故障知识图谱建立方法 | |
CN115270718A (zh) | 一种疾病编码的自动编目方法及系统 | |
Tang et al. | Mkq-bert: Quantized bert with 4-bits weights and activations | |
CN116796810A (zh) | 一种基于知识蒸馏的深度神经网络模型压缩方法及装置 | |
Fourie et al. | Towards automated grape vine pruning: Learning by example using recurrent graph neural networks | |
CN114691848A (zh) | 关系三元组联合提取方法及自动问答系统构建方法 | |
CN114694255A (zh) | 基于通道注意力与时间卷积网络的句子级唇语识别方法 | |
CN113656569A (zh) | 一种基于上下文信息推理的生成式对话方法 | |
CN114117029A (zh) | 一种基于多层次信息增强的解决方案推荐方法及系统 | |
CN116860943A (zh) | 对话风格感知与主题引导的多轮对话方法及系统 | |
CN114898775B (zh) | 一种基于跨层交叉融合的语音情绪识别方法及系统 | |
CN116090468A (zh) | 一种基于层叠式指针网络的实体关系联合抽取方法及系统 | |
CN116187400A (zh) | 一种基于对抗训练增强的主动学习方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |