CN116680392A - 一种关系三元组的抽取方法和装置 - Google Patents

一种关系三元组的抽取方法和装置 Download PDF

Info

Publication number
CN116680392A
CN116680392A CN202310655855.7A CN202310655855A CN116680392A CN 116680392 A CN116680392 A CN 116680392A CN 202310655855 A CN202310655855 A CN 202310655855A CN 116680392 A CN116680392 A CN 116680392A
Authority
CN
China
Prior art keywords
relation
triplet
model
reverse
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310655855.7A
Other languages
English (en)
Inventor
杨毅
康志恒
李宗尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202310655855.7A priority Critical patent/CN116680392A/zh
Publication of CN116680392A publication Critical patent/CN116680392A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种关系三元组的抽取方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。该实施方式能够解决抽取结果不够准确的技术问题。

Description

一种关系三元组的抽取方法和装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种关系三元组的抽取方法和装置。
背景技术
当前，关系三元组抽取技术很多，主要分为以下两种：
1)将关系三元组抽取转化成序列标注任务，对文本句子中每个词进行标注，然后分类，这种方法可以从句子中抽取出关系三元组。但由于一个词只对应一个标签，若一个词参与多个关系三元组的组成，这种抽取方法不能将所有关系三元组抽取出来。
2)将预定义的语义关系看作函数，将头实体映射到尾实体，从而抽取出关系三元组。此方法是将抽取出的头实体依据关系直接去找对应的尾实体，若两个实体的语义关系相差较大，头实体很难找到对应的尾实体。并且利用头实体去找特定关系下对应的尾实体，这是一种单向模型，只能学习到头实体到尾实体的单向依赖，可能会造成预测结果的不准确，此种方法没有考虑到抽取的方向性约束。
发明内容
有鉴于此，本发明实施例提供一种关系三元组的抽取方法和装置，以解决抽取结果不够准确的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种关系三元组的抽取方法，包括：
采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；
采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
可选地，所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。
可选地，采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型，包括：
将训练文本输入到文本编码器，从而输出所述训练文本的编码向量；
将各个训练文本对应的关系三元组输入到关系知识表示模型，从而输出各个关系三元组的知识表示；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组；同时，将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组；
对所述正向关系三元组和所述反向关系三元组取交集，得到所述训练文本对应的预测关系三元组，同时以所述训练文本对应的训练关系三元组为目标，进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
可选地，所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组，包括：
将所述训练文本的编码向量输入到正向头实体识别模型，从而输出正向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向注意力机制模型，从而输出正向关系语义表示；
将所述正向头实体、所述编码向量和所述正向语义表示输入到正向融合模型，从而融合得到正向融合向量；
将所述正向融合向量输入正向尾实体识别模型，以抽取出正向尾实体，从而抽取出正向关系三元组。
可选地，所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组，包括：
将所述训练文本的编码向量输入到反向头实体识别模型，从而输出反向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向注意力机制模型，从而输出反向关系语义表示；
将所述反向头实体、所述编码向量和所述反向语义表示输入到反向融合模型，从而融合得到反向融合向量；
将所述反向融合向量输入反向尾实体识别模型，以抽取出反向尾实体，从而抽取出反向关系三元组。
可选地，所述文本编码器为预训练语言模型，所述正向头实体识别模型、所述正向融合模型、所述正向尾实体识别模型、所述反向头实体识别模型、所述反向融合模型、所述反向尾实体识别模型均为全连接神经网络，所述正向注意力机制模型和所述反向注意力机制模型均为注意力机制网络。
可选地，所述关系知识表示模型用于根据各个训练文本对应的关系三元组构建知识图谱，采用知识嵌入算法对所述知识图谱进行学习，从而得到各个关系三元组的知识表示。
另外，根据本发明实施例的另一个方面，提供了一种关系三元组的抽取装置，包括：
训练模块，用于采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；
抽取模块，用于采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
可选地，所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。
可选地，所述训练模块还用于：
将训练文本输入到文本编码器，从而输出所述训练文本的编码向量；
将各个训练文本对应的关系三元组输入到关系知识表示模型，从而输出各个关系三元组的知识表示；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组；同时，将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组；
对所述正向关系三元组和所述反向关系三元组取交集，得到所述训练文本对应的预测关系三元组，同时以所述训练文本对应的训练关系三元组为目标，进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
可选地，所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型；
所述训练模块还用于：
将所述训练文本的编码向量输入到正向头实体识别模型，从而输出正向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向注意力机制模型，从而输出正向关系语义表示；
将所述正向头实体、所述编码向量和所述正向语义表示输入到正向融合模型，从而融合得到正向融合向量；
将所述正向融合向量输入正向尾实体识别模型，以抽取出正向尾实体，从而抽取出正向关系三元组。
可选地，所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型；
所述训练模块还用于：
将所述训练文本的编码向量输入到反向头实体识别模型，从而输出反向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向注意力机制模型，从而输出反向关系语义表示；
将所述反向头实体、所述编码向量和所述反向语义表示输入到反向融合模型，从而融合得到反向融合向量；
将所述反向融合向量输入反向尾实体识别模型，以抽取出反向尾实体，从而抽取出反向关系三元组。
可选地，所述文本编码器为预训练语言模型，所述正向头实体识别模型、所述正向融合模型、所述正向尾实体识别模型、所述反向头实体识别模型、所述反向融合模型、所述反向尾实体识别模型均为全连接神经网络，所述正向注意力机制模型和所述反向注意力机制模型均为注意力机制网络。
可选地，所述关系知识表示模型用于根据各个训练文本对应的关系三元组构建知识图谱，采用知识嵌入算法对所述知识图谱进行学习，从而得到各个关系三元组的知识表示。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为通过采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练的技术手段，所以克服了现有技术中抽取结果不够准确的技术问题。本发明实施例基于双向抽取和知识引导注意力机制构建关系三元组抽取模型，双向抽取可以学习关系三元组抽取的双向依赖，捕获两个关系三元组，通过对两个关系三元组求交集可以使模型预测结果更加准确，过滤掉预测的低置信度关系三元组；而且将知识信息引用到关系三元组抽取中，可以更加准确地预测出对应的另一个实体。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是根据本发明实施例的关系三元组的抽取方法的流程图；
图2是根据本发明实施例的关系三元组抽取模型的结构示意图；
图3是根据本发明实施例的双向关系三元组抽取模型的结构示意图；
图4是根据本发明一个可参考实施例的关系三元组的抽取方法的流程图；
图5是根据本发明实施例的文本编码器的示意图；
图6是根据本发明实施例的获取关系三元组的知识表示的流程图；
图7是根据本发明实施例的头实体识别机制的示意图；
图8是根据本发明实施例的知识引导注意力机制的示意图；
图9是根据本发明实施例的关系三元组的抽取装置的示意图；
图10是本发明实施例可以应用于其中的示例性系统架构图；
图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
随着互联网的高度普及和大数据的快速发展，互联网文本信息呈指数增长，这些海量的文本信息通常是无结构化或者半结构化的，它们通常数量庞大、内容复杂、结果混乱，其中蕴含着大量有价值的信息。关系三元组就是其中一种有价值的结构化数据，也称知识事实，它是由实体对及实体对之间的关系构成的，表示为<实体，关系，实体>。实体是文本数据中的特定名词和有含义的数量短语，如人物、职业、国家等概念性词语。实体对指的是主体和客体，也称为头实体和尾实体，而关系指的是两个实体之间的语义联系。例如：三元组<张三，出生于，上海>，‘张三’是头实体，‘上海’是尾实体，‘出生于’是连接‘张三’和‘上海’的一种语义关系，这个三元组表示的是张三出生于上海这个城市，体现了一种知识事实。可以看出，关系三元组是一个知识事实的固定表示形式。
关系三元组抽取是从文本中抽取出所有关系三元组，它可以用于构建知识图谱、扩展知识库、生成文本摘要、智能问答、推荐系统和文本分类等多个领域。而知识图谱的构建需要大量的关系三元组，因此关系三元组抽取有较大的应用价值。
当前的关系三元组抽取技术主要分为传统关系三元组抽取方法和实体关系联合抽取方法的方法。
(一)传统关系三元组抽取方法是一种流水线式的方法，它将关系三元组抽取分解为两个子任务，先从文本中抽取出实体对，再对实体对进行关系分类(语义关系是预定义的)。早期的传统关系三元组抽取方法是用规则从文本中识别关系三元组，先将实体用自然语言处理工具或者人工标注出来，再定义关系类别的模板进行文本匹配。后来的传统关系三元组抽取是一种基于统计机器学习的方法，它是利用SVM、核方法和句法生成树等模型，从文本中抽取出关系三元组。
(二)实体关系联合抽取分为基于特征工程的联合抽取方法和基于深度学习的联合抽取方法，它是利用特征工程和深度学习的方法联合建模两个抽取子任务，从而抽取出整个关系三元组，可以学习两个子任务之间的关联。
但是，现有技术仍然存在以下技术问题
1)关系三元组重叠问题
在现实文本句子中，通常可能包含多个关系三元组，这些三元组可能会共享一个实体、实体对和关系，也就是这些三元组可能存在某个组成部分的重叠，从而造成关系三元组重叠问题。按照以往的序列标注端到端的方法，句子中的一个字只对应着一个标签，这种方法不能将文本句子中的所有关系三元组抽取出来，不适用于解决关系三元组重叠问题。按照重叠模式的不同，关系三元组重叠问题分为单实体重叠问题、实体对重叠问题和关系重叠问题。
2)抽取的方向性问题
现有关系三元组抽取方法都是无向或者单向的抽取方法，这些方法都没有考虑到抽取的方向性问题，可能会造成抽取的不准确。例如先抽取实体对再进行关系分类的传统关系三元组抽取方法是一种无向抽取模型，而将关系建模成函数，将头实体映射到对应的尾实体，即从抽取出头实体，再抽取特定关系下对应的尾实体，抽取方向是从头实体到尾实体，这种抽取方法是一种单向抽取模型。对于无向或者单向抽取方法，它们缺少方向性的约束，可能会造成抽取结果的不准确。
3)实体对之间相互预测的问题
现有的方法是先抽取出关系三元组的一个实体，再根据特定关系去预测对应的另一个实体，这里的预测可能只用到了句子的语义信息。如果关系三元组中两个实体的语义关系不明显，一个实体就很难去找到对应的另一个实体。
图1是根据本发明实施例的关系三元组的抽取方法的流程图。作为本发明的一个实施例，如图1所示，所述关系三元组的抽取方法可以包括：
步骤101，采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
所述基于双向抽取和知识引导注意力机制的关系三元组抽取模型是一种端到端的双向抽取模型，如图2所示，所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。
正向关系三元组抽取模型是先抽取出头实体再找到特定关系对应下的尾实体，而反向关系三元组抽取模型是先抽取出尾实体再预测特定关系对应的头实体，若存在相应的实体，则可以确定一个关系三元组。两种抽取方向可以得到两个预测关系三元组集合，对两种关系三元组集合求交集得到最后的关系三元组预测结果，从而可以提升预测结果的准确性，减少无效关系三元组的预测。因此，本发明实施例能够解决关系三元组重叠问题、抽取的方向性问题和实体对之间相互预测的问题。
可选地，步骤101可以包括：将训练文本输入到文本编码器，从而输出所述训练文本的编码向量；将各个训练文本对应的关系三元组输入到关系知识表示模型，从而输出各个关系三元组的知识表示；将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组；同时，将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组；对所述正向关系三元组和所述反向关系三元组取交集，得到所述训练文本对应的预测关系三元组，同时以所述训练文本对应的训练关系三元组为目标，进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。首先，从训练集中获取训练文本(每个训练文本标注有关系三元组)并将训练文本输入到文本编码器，文本编码器对训练样本进行编码，从而输出编码向量，同时将各个训练文本对应的所有关系三元组输入到关系知识表示模型，关系知识表示模型构建一个领域的知识图谱，并采用知识嵌入算法(TransE)对知识图谱进行学习，从而得到各个关系三元组的知识表示。双向关系三元组抽取任务由正向关系三元组抽取任务和反向关系三元组抽取任务组成，两个任务是并行和互补的，相互约束，可以学习关系三元组抽取的双向特征。
可选地，所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型。将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组，包括：将所述训练文本的编码向量输入到正向头实体识别模型，从而输出正向头实体；将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向注意力机制模型，从而输出正向关系语义表示；将所述正向头实体、所述编码向量和所述正向语义表示输入到正向融合模型，从而融合得到正向融合向量；将所述正向融合向量输入正向尾实体识别模型，以抽取出正向尾实体，从而抽取出正向关系三元组。首先，根据训练文本的编码向量识别出头实体，同时将训练文本的编码向量和各个关系三元组的知识表示输入到正向注意力机制模型，通过注意力机制获取不同关系知识表示和文本编码表示的细粒度正向关系语义表示，然后将其与识别出的头实体、知识表示进行融合，根据融合结果去识别对应的尾实体，若存在对应尾实体则可以确定一个正向关系三元组。
可选地，所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型。将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组，包括：将所述训练文本的编码向量输入到反向头实体识别模型，从而输出反向头实体；将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向注意力机制模型，从而输出反向关系语义表示；将所述反向头实体、所述编码向量和所述反向语义表示输入到反向融合模型，从而融合得到反向融合向量；将所述反向融合向量输入反向尾实体识别模型，以抽取出反向尾实体，从而抽取出反向关系三元组。首先，根据训练文本的编码向量识别出尾实体，同时将训练文本的编码向量和各个关系三元组的知识表示输入到正向注意力机制模型，通过注意力机制获取不同关系知识表示和文本编码表示的细粒度反向关系语义表示，然后将其与识别出的尾实体、知识表示进行融合，根据融合结果去识别对应的头实体，若存在对应头实体则可以确定一个反向关系三元组。
可选地，所述文本编码器为预训练语言模型(BERT)，所述正向头实体识别模型、所述正向融合模型、所述正向尾实体识别模型、所述反向头实体识别模型、所述反向融合模型、所述反向尾实体识别模型均为全连接神经网络，所述正向注意力机制模型和所述反向注意力机制模型均为注意力机制网络。
步骤102，采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
训练好关系三元组抽取模型后，将目标文本输入到训练好的关系三元组抽取模型中，从而输出该目标文本中的各个关系三元组。
根据上面所述的各种实施例，可以看出本发明实施例通过采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练的技术手段，解决了现有技术中抽取结果不够准确的技术问题。本发明实施例基于双向抽取和知识引导注意力机制构建关系三元组抽取模型，双向抽取可以学习关系三元组抽取的双向依赖，捕获两个关系三元组，通过对两个关系三元组求交集可以使模型预测结果更加准确，过滤掉预测的低置信度关系三元组；而且将知识信息引用到关系三元组抽取中，可以更加准确地预测出对应的另一个实体。
图4是根据本发明一个可参考实施例的关系三元组的抽取方法的流程图。作为本发明的又一个实施例，如图4所示，所述关系三元组的抽取方法可以包括：
步骤401，获取数据集，所述数据集包括大量的文本。
步骤402，标注出所述数据集中各个文本的关系三元组。
可以采用NLP工具、规则或者人工标注等方式进行文本数据标注，标注出所述数据集中各个文本的关系三元组。
步骤403，将数据集划分为训练集、验证集和测试集。
步骤404，搭建基于双向抽取和知识引导注意力机制的关系三元组抽取模型。
所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型；所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型。
(1)模型输入
关系三元组抽取模型的输入是单个的文本句子，文本句子中包含了关系三元组，关系三元组抽取的目的就是将文本中包含的关系三元组抽取出来，例如表1。
表1数据样本举例
例句 关系三元组
张阿三出生于中国。 (张阿三，出生地，中国)
(2)文本编码
如图5所示，使用预训练语言模型BERT对输入的文本进行编码表示，从而得到文本的编码向量。BERT采用的是Transformer结构进行深度双向预训练，BERT版本可以为BERT-Base-Cased，文本的编码向量表示由如下公式获得：
h0＝Et+Ep (1)
hi＝Trm(hi-1)，i∈[1，n] (2)
其中，Et表示文本的词向量，Ep表示文本中词的位置向量。
需要说明的是，由于模型输入是单个的文本句子，所以不需要段嵌入向量。Trm()是Transformer结构，hi表示第i个隐藏层，n表示Transformer的数量。
(3)双向关系三元组抽取模型
双向关系三元组抽取任务由正向关系三元组抽取任务和反向关系三元组抽取任务组成，两个任务是并行和互补的，相互约束，可以学习关系三元组抽取的双向特征。
1)获取关系三元组的知识表示
如图6所示，利用训练集中的所有关系三元组构建一个领域知识图谱，使用知识嵌入算法(TransE)获取关系三元组的知识表示{r1，r2，...，rj...，rz}，TransE可以对知识图谱中的所有关系三元组进行知识表示学习。
2)正向关系三元组抽取
首先，根据文本的编码向量识别出头实体，同时将文本的编码向量和各个关系三元组的知识表示输入到正向注意力机制模型，通过注意力机制获取不同关系知识表示和文本编码表示的细粒度正向关系语义表示，然后将其与识别出的头实体、知识表示进行融合，根据融合结果去识别对应的尾实体，若存在对应尾实体则可以确定一个正向关系三元组。
a.头实体识别
根据文本的编码向量，先识别出所有可能组成关系三元组的头实体。假设sub_s和sub_e分别表示头实体的开始和结束标签，只要从文本中找到头实体的开始字或者结束字就可以确定一个实体。基于这个策略，将文本的BERT编码表示输入到全连接神经网络(即正向头实体识别模型)中，从而得到了文本中所有字是否为头实体的开始或者结束的概率：
pi，sub_s＝Sigmoid(Wsub_sxi+bsub_s) (3)
pi，sub_e＝Sigmoid(Wsub_exi+bsub_e) (4)
其中，Wsub_s、Wsub_e、bsub_s和bsub_e表示全连接神经网络的参数，xi表示文本中第i个字的编码向量，pi，sub_s和pi，sub_e分别表示第i个词为头实体头部或者尾部的概率值，若概率值大于一定的阈值，当前词就被标记为1，意味着当前词是头实体的开始或者结束，否则就被标注为0，如图7所示。可选地，本发明实施例采用的激活函数是Sigmoid，用于二进制0/1分类。
本发明实施例还需要对抽取出的头实体进行表示，然后用于相应尾实体的解码。这里用S表示抽取出的所有头实体，S＝{s1，s2，...，sk，...，sm}，sk表示第k个被抽取出的头实体，m是抽取出的头实体的数量。每个抽取出的头实体用它的第一个符号(token)和最后一个token的BERT编码向量的平均值来进行表示：
其中，表示文本中第k个头实体的第一个token的BERT编码向量，/>表示文本中第k个头实体最后一个token的BERT编码向量avg()是取平均操作。
b.知识引导注意力机制
获取头实体之后，需要在所有预定义的关系下去识别相应的尾实体。考虑到是在不同关系下去识别相应尾实体，文本中每个词发挥的作用是不一样的，所以使用注意力机制，将获取的所有关系的知识表示和文本的编码向量进行注意力(attention)，从而获取基于知识关系的细粒度关系语义表示，知识引导注意力机制如图8所示：
hg＝avg{x1，x2，…，xl} (6)
eij＝vT tanh(Wrrj+Wghg+Wxxi) (7)
aij＝softmax(eij) (8)
其中，xi表示文本中第i个词的编码向量，l表示文本的长度，rj表示关系三元组的知识表示，Wr、Wg、Wx表示注意力网络的参数。
公式(7)是关系引导注意力机制的关键，这里是将语义型关系、整个文本表示和文本中每个词表示输入到多层感知机中，从而得到注意力分数eij。将注意力分数eij进行softmax归一化得到权重系数aij，将aij和文本中的词进行加权平均，就得到了特定关系下的细粒度关系语义表示cj。因此，不同的关系会得到一个不同的关系语义表示。
c.融合
正向融合模型(全连接神经网络)将得到的头实体表示、关系三元组的知识表示和文本的编码向量进行融合。本发明实施例是将头实体表示和语义型关系表示分别结合到句子中的每个词表示中之后，再将得到的两种表示进行融合，这样句子中的每个词就包含了头实体和语义型关系的特征信息。具体的融合过程如下公式所示：
其中，W1、W2表示全连接神经网络的参数，表示头实体向量和第i个词的编码向量的融合向量，/>表示细粒度关系语义表示和词编码向量的融合向量。再将这两个融合向量进行相加，从而得到了第k个头实体和第j个关系下的第i个词的编码向量。
d.尾实体识别
尾实体的识别和头实体识别一样，将融合表示输入到正向尾实体识别模型(全连接神经网络)中，用于计算当前字是否为尾实体的开始或者结束的概率：
pi，obj_s＝Sigmoid(Wobj-sHi，j，k+bobj-s)(13
pi，obj-e＝Sigmoid(Wobj_eHi，j，k+bobj_e)(14
其中，公式采用的是Sigmoid激活函数，Wobj_s、Wobj_e、bobj_s和bobj-e表示全连接神经网络的参数。识别出了尾实体的开始和结束位置，也就抽取出了相应的尾实体。
3)反向关系三元组抽取
反向关系三元组抽取和正向关系三元组抽取方向不同，反向关系三元组抽取是先抽取出所有可能组成关系三元组的尾实体，根据知识引导注意力机制获取细粒度关系语义表示，从而预测出对应的头实体。反向关系三元组抽取与正向关系三元组抽取类似，不再赘述。
(4)模型输出
通过双向关系三元组抽取模块的正向关系三元组抽取和反向关系三元组抽取可以得到两个不同的关系三元组预测集合T和T′，对两个集合取交集就得到了最后的预测关系三元：
Tfinal＝T&T′(15)
其中，&表示取交集操作，Tfinal表示最后的预测关系三元组。
步骤405，将搭建好的关系三元组抽取模型在训练集上进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
步骤406，在验证集上验证模型效果，根据验证集的预测效果选择最优的训练模型。
步骤407，使用最优的训练模型在测试集上进行关系三元组抽取，从而得到关系三元组预测集合。
步骤408，采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
本发明实施例基于双向抽取和知识引导注意力机制使得关系三元组抽取模型的预测结果更加准确：
1)双向抽取
本发明实施例考虑到关系三元组抽取的方向性，采用了双向抽取的方法获取关系三元组。双向抽取可以学习关系三元组抽取的双向依赖，捕获关系三元组抽取的双向特征。双向关系三元组抽取任务由正向关系三元组抽取任务和反向关系三元组抽取任务组成，两个任务是并行和互补的，是一种基于多任务学习的方法。由于正向和反向关系三元组抽取的难度不同，它们相互约束，可以获取到不同关系三元组，对两个关系三元组求交集可以使模型预测结果更加准确，过滤掉预测的低置信度关系三元组。
2)知识引导注意力机制
本发明实施例将知识信息引用到关系三元组抽取中。由于关系三元组抽取任务的特殊性，训练集中包含大量的关系三元组，将这些关系三元组构建一个知识图谱，这对应着一种领域知识，应用知识嵌入算法(TransE)到知识图谱上，可以学习到关系的知识表示，从而引入一种先验知识到关系三元组抽取模型中。关系的知识表示可以引导一个实体在此关系下找到对应的另一个实体，因为关系的知识表示学习到了实体对之间的联系。并且由于考虑到不同关系下句子中的每个词发挥的作用不同，本发明实施例基于所有关系的知识表示，提出了知识引导注意力机制，将文本句子的每个词和不同关系计算注意力分数，去获取基于知识关系引导的细粒度句子语义表示，这样可以更加准确地预测出对应的另一个实体。不同关系的知识表示起着引导的作用，它可以引导头实体去找到对应的尾实体，从而解决实体对之间相互预测困难的问题。
另外，在本发明一个可参考实施例中关系三元组的抽取方法的具体实施内容，在上面所述关系三元组的抽取方法中已经详细说明了，故在此重复内容不再说明。
图9是根据本发明实施例的关系三元组的抽取装置的示意图。如图9所示，所述关系三元组的抽取装置900包括训练模块901和抽取模块902；其中，训练模块901用于采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；抽取模块902用于采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
可选地，所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。
可选地，所述训练模块901还用于：
将训练文本输入到文本编码器，从而输出所述训练文本的编码向量；
将各个训练文本对应的关系三元组输入到关系知识表示模型，从而输出各个关系三元组的知识表示；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组；同时，将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组；
对所述正向关系三元组和所述反向关系三元组取交集，得到所述训练文本对应的预测关系三元组，同时以所述训练文本对应的训练关系三元组为目标，进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
可选地，所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型；
所述训练模块901还用于：
将所述训练文本的编码向量输入到正向头实体识别模型，从而输出正向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向注意力机制模型，从而输出正向关系语义表示；
将所述正向头实体、所述编码向量和所述正向语义表示输入到正向融合模型，从而融合得到正向融合向量；
将所述正向融合向量输入正向尾实体识别模型，以抽取出正向尾实体，从而抽取出正向关系三元组。
可选地，所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型；
所述训练模块901还用于：
将所述训练文本的编码向量输入到反向头实体识别模型，从而输出反向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向注意力机制模型，从而输出反向关系语义表示；
将所述反向头实体、所述编码向量和所述反向语义表示输入到反向融合模型，从而融合得到反向融合向量；
将所述反向融合向量输入反向尾实体识别模型，以抽取出反向尾实体，从而抽取出反向关系三元组。
可选地，所述文本编码器为预训练语言模型，所述正向头实体识别模型、所述正向融合模型、所述正向尾实体识别模型、所述反向头实体识别模型、所述反向融合模型、所述反向尾实体识别模型均为全连接神经网络，所述正向注意力机制模型和所述反向注意力机制模型均为注意力机制网络。
可选地，所述关系知识表示模型用于根据各个训练文本对应的关系三元组构建知识图谱，采用知识嵌入算法对所述知识图谱进行学习，从而得到各个关系三元组的知识表示。
需要说明的是，在本发明所述关系三元组的抽取装置的具体实施内容，在上面所述关系三元组的抽取方法中已经详细说明了，故在此重复内容不再说明。
图10示出了可以应用本发明实施例的关系三元组的抽取方法或关系三元组的抽取装置的示例性系统架构1000。
如图10所示，系统架构1000可以包括终端设备1001、1002、1003，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备1001、1002、1003可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器1005可以是提供各种服务的服务器，例如对用户利用终端设备1001、1002、1003所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，本发明实施例所提供的关系三元组的抽取方法一般由服务器1005执行，相应地，所述关系三元组的抽取装置一般设置在服务器1005中。
应该理解，图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图11，其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括训练模块和抽取模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
作为另一方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
根据本发明实施例的技术方案，因为通过采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练的技术手段，所以克服了现有技术中抽取结果不够准确的技术问题。本发明实施例基于双向抽取和知识引导注意力机制构建关系三元组抽取模型，双向抽取可以学习关系三元组抽取的双向依赖，捕获两个关系三元组，通过对两个关系三元组求交集可以使模型预测结果更加准确，过滤掉预测的低置信度关系三元组；而且将知识信息引用到关系三元组抽取中，可以更加准确地预测出对应的另一个实体。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种关系三元组的抽取方法，其特征在于，包括：
采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；
采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
2.根据权利要求1所述的方法，其特征在于，所述关系三元组抽取模型包括依次串联的文本编码器和双向关系三元组抽取模型，所述双向关系三元组抽取模型包括关系知识表示模型、并联的正向关系三元组抽取模型和反向关系三元组抽取模型；其中，所述文本编码器用于对所述训练文本进行编码，所述关系知识表示模型用于对所述训练文本对应的关系三元组进行知识表示，所述正向关系三元组抽取模型用于抽取正向关系三元组，所述反向关系三元组抽取模型用于抽取反向关系三元组。
3.根据权利要求2所述的方法，其特征在于，采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型，包括：
将训练文本输入到文本编码器，从而输出所述训练文本的编码向量；
将各个训练文本对应的关系三元组输入到关系知识表示模型，从而输出各个关系三元组的知识表示；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组；同时，将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组；
对所述正向关系三元组和所述反向关系三元组取交集，得到所述训练文本对应的预测关系三元组，同时以所述训练文本对应的训练关系三元组为目标，进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型。
4.根据权利要求3所述的方法，其特征在于，所述正向关系三元组抽取模型包括正向头实体识别模型、正向注意力机制模型、正向融合模型和正向尾实体识别模型；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向关系三元组抽取模型中，从而抽取出正向关系三元组，包括：
将所述训练文本的编码向量输入到正向头实体识别模型，从而输出正向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到正向注意力机制模型，从而输出正向关系语义表示；
将所述正向头实体、所述编码向量和所述正向语义表示输入到正向融合模型，从而融合得到正向融合向量；
将所述正向融合向量输入正向尾实体识别模型，以抽取出正向尾实体，从而抽取出正向关系三元组。
5.根据权利要求3所述的方法，其特征在于，所述反向关系三元组抽取模型包括反向尾实体识别模型、反向注意力机制模型、反向融合模型和反向头实体识别模型；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向关系三元组抽取模型中，从而抽取出反向关系三元组，包括：
将所述训练文本的编码向量输入到反向头实体识别模型，从而输出反向头实体；
将所述训练文本的编码向量和所述各个关系三元组的知识表示输入到反向注意力机制模型，从而输出反向关系语义表示；
将所述反向头实体、所述编码向量和所述反向语义表示输入到反向融合模型，从而融合得到反向融合向量；
将所述反向融合向量输入反向尾实体识别模型，以抽取出反向尾实体，从而抽取出反向关系三元组。
6.根据权利要求4或5所述的方法，其特征在于，所述文本编码器为预训练语言模型，所述正向头实体识别模型、所述正向融合模型、所述正向尾实体识别模型、所述反向头实体识别模型、所述反向融合模型、所述反向尾实体识别模型均为全连接神经网络，所述正向注意力机制模型和所述反向注意力机制模型均为注意力机制网络。
7.根据权利要求3所述的方法，其特征在于，所述关系知识表示模型用于根据各个训练文本对应的关系三元组构建知识图谱，采用知识嵌入算法对所述知识图谱进行学习，从而得到各个关系三元组的知识表示。
8.一种关系三元组的抽取装置，其特征在于，包括：
训练模块，用于采用训练文本对基于双向抽取和知识引导注意力机制的关系三元组抽取模型进行有监督训练，以更新模型参数，从而得到训练好的关系三元组抽取模型；
抽取模块，用于采用所述训练好的关系三元组抽取模型抽取出目标文本中的各个关系三元组。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310655855.7A 2023-06-05 2023-06-05 一种关系三元组的抽取方法和装置 Pending CN116680392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310655855.7A CN116680392A (zh) 2023-06-05 2023-06-05 一种关系三元组的抽取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310655855.7A CN116680392A (zh) 2023-06-05 2023-06-05 一种关系三元组的抽取方法和装置

Publications (1)

Publication Number Publication Date
CN116680392A true CN116680392A (zh) 2023-09-01

Family

ID=87778638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310655855.7A Pending CN116680392A (zh) 2023-06-05 2023-06-05 一种关系三元组的抽取方法和装置

Country Status (1)

Country Link
CN (1) CN116680392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151222A (zh) * 2023-09-15 2023-12-01 大连理工大学 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151222A (zh) * 2023-09-15 2023-12-01 大连理工大学 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质
CN117151222B (zh) * 2023-09-15 2024-05-24 大连理工大学 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11501182B2 (en) Method and apparatus for generating model
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
US11288593B2 (en) Method, apparatus and device for extracting information
CN110705301B (zh) 实体关系抽取方法及装置、存储介质、电子设备
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
CN111898369B (zh) 文章标题生成方法、模型的训练方法、装置和电子设备
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN111666500A (zh) 文本分类模型的训练方法及相关设备
CN116661805B (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN117033571A (zh) 知识问答系统构建方法及系统
CN113707299A (zh) 基于问诊会话的辅助诊断方法、装置及计算机设备
CN113761190A (zh) 文本识别方法、装置、计算机可读介质及电子设备
CN113505601A (zh) 一种正负样本对构造方法、装置、计算机设备及存储介质
CN116680392A (zh) 一种关系三元组的抽取方法和装置
CN116975288A (zh) 文本处理方法及文本处理模型训练方法
CN111145914A (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN113821587B (zh) 文本相关性确定方法、模型训练方法、装置及存储介质
CN112307179A (zh) 文本匹配方法、装置、设备及存储介质
CN114372454A (zh) 文本信息抽取方法、模型训练方法、装置及存储介质
CN115081452B (zh) 一种实体关系的抽取方法
CN116663539A (zh) 基于RoBERTa和指针网络的中文实体与关系联合抽取方法及系统
CN115827865A (zh) 一种融合多特征图注意力机制的不良文本分类方法及系统
CN115098687A (zh) 面向电力sdh光传输系统调度运行的告警排查方法及装置
CN113657092A (zh) 识别标签的方法、装置、设备以及介质
CN111414439B (zh) 复杂尾实体拆分链接方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination