CN113792122A - 实体关系的抽取方法及装置、电子设备、存储介质 - Google Patents
实体关系的抽取方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113792122A CN113792122A CN202111153354.6A CN202111153354A CN113792122A CN 113792122 A CN113792122 A CN 113792122A CN 202111153354 A CN202111153354 A CN 202111153354A CN 113792122 A CN113792122 A CN 113792122A
- Authority
- CN
- China
- Prior art keywords
- neural network
- text
- model
- target
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 140
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 238000007477 logistic regression Methods 0.000 claims description 13
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- OVMJVEMNBCGDGM-UHFFFAOYSA-N iron silver Chemical compound [Fe].[Ag] OVMJVEMNBCGDGM-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种实体关系的抽取方法及装置、电子设备、存储介质，可应用于金融领域或其他领域，其中，所述方法包括：获取目标文本；将所述目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到所述目标文本对应的编码；将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据；其中，所述目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到；所述文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
Description
技术领域
本申请涉及数据抽取技术领域，特别涉及一种实体关系的抽取方法及装置、电子设备、存储介质。
背景技术
现在为了便于对数据进行关联，也便于直观的获取数据之间的管理关系，现今通常会利用数据库中的数据构建成相应的知识图谱。在利用已有的数据构建相应的知识图谱时，需要从数据中提取出实体以及实体间的关系，在基于实体以及实体间的关系，构建出知识图谱。
现有从文本数据中提取出实体间的关系以及实体的方式，主要是通过命名实体的方式抽取实体，并且通过指定的关系从文本数据中提取出实体间的关系。
但是这种方式，分别是对实体与实体间的关系进行抽取，没有充分利用实体识别与关系抽取的相关性，所以抽取到的结果的准确性较低。
发明内容
基于上述现有技术的不足，本申请提供了一种实体关系的抽取方法及装置、电子设备、存储介质，以解决现有的实体关系抽取方式的准确性较低的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请第一方面提供了一种实体关系的抽取方法，包括：
获取目标文本；
将所述目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到所述目标文本对应的编码；
将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据；其中，所述目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到；所述文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
可选地，在上述的实体关系的抽取方法中，所述目标神经网络模型包括第一神经网络模型以及第二神经网络模型，所述将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据，包括：
将所述目标文本对应编码输入所述第一神经网络模型中，通过所述第一神经网络模型对所述目标文本对应的编码进行处理，得到所述目标文本中的各类关系数据；其中，所述第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到；
将所述目标文本中的各类关系数据输入所述第二神经网络模型中，通过所述第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据；其中，所述第二神经网络模型预先利用所述文本样本及其对应的实体标注进行训练得到。
可选地，在上述的实体关系的抽取方法中，所述第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，所述第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。
可选地，在上述的实体关系的抽取方法中，所述第一神经网络模型的训练方法，包括：
基于先验知识确定出数据结构模式schema；
获取满足所述数据结构模式schema的多个所述文本样本；
基于所述数据结构模式schema，标注各个所述文本样本对应的关系标注；
分别将各个所述文本样本输入第一初始模型中，通过所述第一初始模型对所述文本样本进行处理，得到当前所述文本样本对应的预测关系数据；
基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测关系数据的对比结果，判断当前所述第一初始模型的输出结果准确率是否满足第一预设要求；
若判断出当前所述第一初始模型的输出结果准确率不满足第一预设要求，则对当前所述第一初始模型进行调参，并针对调参后的所述第一初始模型，返回执行所述分别将各个所述文本样本输入第一初始模型中；
若判断出当前所述第一初始模型的输出结果准确率满足第一预设要求，则将当前所述第一初始模型确定为训练好后的第一神经网络模型。
可选地，在上述的实体关系的抽取方法中，所述第二神经网络模型的训练方法，包括：
获取各个所述文本样本及其对应的实体标注；
分别将各个所述文本样本输入所述第一神经网络模型，得到所述文本样本中的各类关系数据；
分别将各个所述文本样本中的各类关系数据输入第二初始模型中，通过所述第二初始模型对所述文本样本中的各类关系数据进行处理，得到当前所述文本样本对应的预测实体数据；
基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测实体数据的对比结果，判断当前所述第二初始模型的输出结果准确率是否满足第二预设要求；
若判断出当前所述第二初始模型的输出结果准确率不满足第二预设要求，则对当前所述第二初始模型进行调参，并针对调参后的所述第二初始模型，返回执行所述分别将各个所述文本样本中的各类关系数据输入第二初始模型中；
若判断出当前所述第二初始模型的输出结果准确率满足第二预设要求，则将当前所述第二初始模型确定为训练好后的第二神经网络模型。
本申请第二方面提供了一种实体关系的抽取装置，包括：
第一获取单元，用于获取目标文本；
编码单元，用于将所述目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到所述目标文本对应的编码；
抽取单元，用于将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据；其中，所述目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到；所述文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
可选地，在上述的实体关系的抽取装置中，所述目标神经网络模型包括第一神经网络模型以及第二神经网络模型，所述抽取单元，包括：
第一抽取单元，用于将所述目标文本对应编码输入所述第一神经网络模型中，通过所述第一神经网络模型对所述目标文本对应的编码进行处理，得到所述目标文本中的各类关系数据；其中，所述第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到；
第二抽取单元，用于将所述目标文本中的各类关系数据输入所述第二神经网络模型中，通过所述第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据；其中，所述第二神经网络模型预先利用所述文本样本及其对应的实体标注进行训练得到。
可选地，在上述的实体关系的抽取装置中，所述第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，所述第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。
可选地，在上述的实体关系的抽取装置中，还包括：
模式确定单元，用于基于先验知识确定出数据结构模式schema；
第二获取单元，用于获取满足所述数据结构模式schema的多个所述文本样本；
标注单元，用于基于所述数据结构模式schema，标注各个所述文本样本对应的关系标注；
第一输入单元，用于分别将各个所述文本样本输入第一初始模型中，通过所述第一初始模型对所述文本样本进行处理，得到当前所述文本样本对应的预测关系数据；
第一判断单元，用于基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测关系数据的对比结果，判断当前所述第一初始模型的输出结果准确率是否满足第一预设要求；
第一调参单元，用于若判断出当前所述第一初始模型的输出结果准确率不满足第一预设要求，则对当前所述第一初始模型进行调参，并针对调参后的所述第一初始模型，返回执行所述分别将各个所述文本样本输入第一初始模型中；
第一模型确定单元，用于若判断出当前所述第一初始模型的输出结果准确率满足第一预设要求，则将当前所述第一初始模型确定为训练好后的第一神经网络模型。
可选地，在上述的实体关系的抽取装置中，还包括：
第三获取单元，用于获取各个所述文本样本及其对应的实体标注；
第二输入单元，用于分别将各个所述文本样本输入所述第一神经网络模型，得到所述文本样本中的各类关系数据；
第三输入单元，用于分别将各个所述文本样本中的各类关系数据输入第二初始模型中，通过所述第二初始模型对所述文本样本中的各类关系数据进行处理，得到当前所述文本样本对应的预测实体数据；
第二判断单元，用于基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测实体数据的对比结果，判断当前所述第二初始模型的输出结果准确率是否满足第二预设要求；
第二调参单元，用于若判断出当前所述第二初始模型的输出结果准确率不满足第二预设要求，则对当前所述第二初始模型进行调参，并针对调参后的所述第二初始模型，返回执行所述分别将各个所述文本样本中的各类关系数据输入第二初始模型中；
第二模型确定单元，用于若判断出当前所述第二初始模型的输出结果准确率满足第二预设要求，则将当前所述第二初始模型确定为训练好后的第二神经网络模型。
本申请第三方面提供了一种电子设备，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的实体关系的抽取方法。
本申请第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的实体关系的抽取方法。
本申请提供的一种实体关系的抽取方法，预先确定出数据结构模式schema，然后基于数据结构模式schema标注多个文本样本的关系标注和实体标注，然后利用多个文本样本的关系标注和实体标注训练目标神经网络模型。在获取到目标文本时，先将目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到目标文本对应的编码。然后将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型是先抽取出目标文本中的各类关系数据，然后再基于目标文本的关系数据，抽取出目标文本中的各个实体数据，不再将实体与关系分别进行抽取，充分地考虑到了实体关系与实体间的关联关系，从而有效地保证了抽取结果的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种实体关系的抽取方法的流程图；
图2为本申请实施例提供的一种提取关系数据及实体数据的方法的流程图；
图3为本申请实施例提供的一个实体关系的抽取示例的示意图；
图4为本申请实施例提供的一种第一神经网络模型的训练方法的流程图；
图5为本申请实施例提供的一种第二神经网络模型的训练方法的流程图；
图6为本申请实施例提供的一种实体关系的抽取装置的结构示意图；
图7为本申请实施例提供的一种抽取单元的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明提供的一种实体关系的抽取方法、装置、电子设备及计算机存储介质可用于金融领域或其他领域，，例如，数据处理领域。上述仅为示例，并不对本发明提供的一种实体关系的抽取方法、装置、电子设备及计算机存储介质的应用领域进行限定。
本申请实施例提供了一种实体关系的抽取方法，如图1所示，包括以下步骤：
S101、获取目标文本。
其中，目标文本指的是待处理的文本。在本申请实施例中，目标文本主要为半结构化或者非结构化文本。
可选地，可以从数据库中获取目标文本，或者是由用户进行上传，又或者是通过其他方式获取到目标文本。
S102、将目标文本输入预训练语言表征模型Bert中，通过预训练语言表征模型Bert对目标文本进行处理，得到目标文本对应的编码。
具体的，将目标文本输入预训练语言表征模型(Bidirectional EncoderRepresentation from Transformers，Bert)中，通过预训练语言表征模型Bert对目标文本进行编码，得到目标文本对应的编码，即得到目标文本对应的特征向量。
S103、将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型抽取出目标文本中的各类关系数据，并基于目标文本的关系数据，抽取出目标文本中的各个实体数据。
本申请实施例中，目标神经网络模型为多层级结构的模型，所以将目标文本对应编码输入预先训练好的目标神经网络模型中，目标神经网络模型将会先抽取目标文本中的各类关系数据，然后在进一步基于得到关系数据与实体数据的关系，从目标文本中抽取出各个实体数据。
需要说明的是，由于属性也属于一种实体，所以本申请实施例中的实体数据包括有非属性实体和属性实体两种，从而与关系数据一同构成三元组，进而可以利用获得的三元组构建目标文本对应的知识图谱。
其中，目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到。文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。其中，数据结构模式schema中规定了应用场景中的文本所包括关系以及实体范围等，所以根据数据结构模式schema可以标注文本样本对应的关系标注和实体标注。
可选地，本申请另一实施例中，目标神经网络模型具体可以包括第一神经网络模型以及第二神经网络模型，即目标神经网络模型由第一神经网络模型以及第二神经网络模型。通过第一神经网络模型提取实体间的关系，通过第二神经网络模型基于提取的关系提取实体。
可选地，第一神经网络模型和第二神经网络模型均可以采用组合的多层级模型。其中，第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成。并且，由于第一神经网络模型的输入是由预训练语言表征模型Bert获取的，所以第一神经网络模型也可以认为是由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，即第一神经网络模型为“Bert+Bi-LSTM+Softmax”。需要说明的是，此时第一神经网络模型的输入为目标文本。
第二神经网络模型可以由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成，即第二神经网络模型为“Bert+Bi-LSTM+CRF+Softmax”。
可选地，在本申请实施例中，步骤S103的一种具体实施方式，如图2所示，包括以下步骤：
S201、将目标文本对应编码输入所述第一神经网络模型中，通过第一神经网络模型对目标文本对应的编码进行处理，得到目标文本中的各类关系数据。
其中，第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到。
S202、将目标文本中的各类关系数据输入第二神经网络模型中，通过第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据。
其中，第二神经网络模型预先利用文本样本及其对应的实体标注进行训练得到。
所以在本申请实施例中先通过第一神经网络模型提取出目标文本中的各类关系数据，然后在通过第二升级网络模型基于提取到的关系数据提取出实体。例如，如图3所示，目标为文本为：中银铁通卡有金卡、银卡两种，主要应用于铁路窗口、网站、自助设备等聚到刷卡购物及铁路指定区段自动键盘设备上刷卡进站乘车。先通过预训练语言表征模型Bert和第一神经网络模型提取出关系数据，即通过“Bert+Bi-LSTM+Softmax”，然后再通过第二神经网络模型“Bert+Bi-LSTM+CRF+Softmax”基于关系数据提取出实体。
可选地，在本申请实施例中提供了一种第一神经网络模型的训练方法，如图4所示，包括：
S401、基于先验知识确定出数据结构模式schema。
S402、获取满足数据结构模式schema的多个文本样本。
S403、基于数据结构模式schema，标注各个文本样本对应的关系标注。
具体的，数据结构模式schema中设置了数据包含的关系的范围，所以可以基于数据结构模式schema，标注各个文本样本对应的关系标注。
可选地，由于在后续训练第二神经网络模型时，需要用到文本样本对应的实体标注，所以在执行步骤S403的同时，也可以基于数据结构模式schema，标注各个文本样本对应的实体标注。
S404、分别将各个文本样本输入第一初始模型中，通过第一初始模型对文本样本进行处理，得到当前文本样本对应的预测关系数据。
S405、基于文本样本对应的关系标注以及当前文本样本对应的预测关系数据的对比结果，计算当前第一初始模型的输出结果准确率。
S406、判断当前第一初始模型的输出结果准确率是否满足第一预设要求。
具体的，第一预设要求可以为一个预设阈值。
其中，若判断出当前第一初始模型的输出结果准确率不满足第一预设要求，则说明模型还需要继续训练，所以此时执行步骤S407。若判断出当前第一初始模型的输出结果准确率满足第一预设要求，则说明模型已满足要求，此时执行步骤S408。
S407、对当前第一初始模型进行调参。
可选地，可以基于第一初始模型对应的损失函数对第一初始模型进行调参，即调整第一初始模型中的参数。
需要说明的是，在执行步骤S407之后，需要针对调参后的第一初始模型，返回执行步骤S404。
S408、将当前第一初始模型确定为训练好后的第一神经网络模型。
相应的，在本申请实施例中提供了一种第二神经网络模型的训练方法，如图5所示，包括：
S501、获取各个文本样本及其对应的实体标注。
可选地，文本样本对应的实体标注可以是在标注关系标注的同时进行标注的。当然，也可以是在需要训练第二神经网络模型时再进行标注。
S502、分别将各个文本样本输入所述第一神经网络模型，得到文本样本中的各类关系数据。
S503、分别将各个文本样本中的各类关系数据输入第二初始模型中，通过第二初始模型对所述文本样本中的各类关系数据进行处理，得到当前文本样本对应的预测实体数据。
S504、基于文本样本对应的关系标注以及当前文本样本对应的预测实体数据的对比结果，计算当前第二初始模型的输出结果准确率。
S505、判断当前第二初始模型的输出结果准确率是否满足第二预设要求。
具体的，第二预设要求具体也可以是一个预设的阈值。
其中，若判断出当前第二初始模型的输出结果准确率不满足第二预设要求，则说明模型还未满足要求，需要进行训练，所以此时执行步骤S506。若判断出当前第二初始模型的输出结果准确率满足第二预设要求，则执行步骤S507。
S506、对当前第二初始模型进行调参。
可选地，可以基于第二初始模型对应的损失函数对第二初始模型进行调整，以使得第二初始模型更快的收敛。
需要说明的是，在执行步骤S506之后，需要针对调参后的第二初始模型，返回执行步骤S503。
S507、将当前第二初始模型确定为训练好后的第二神经网络模型。
本申请实施例提供的一种实体关系的抽取方法，预先确定出数据结构模式schema，然后基于数据结构模式schema标注多个文本样本的关系标注和实体标注，然后利用多个文本样本的关系标注和实体标注训练目标神经网络模型。在获取到目标文本时，先将目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到目标文本对应的编码。然后将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型是先抽取出目标文本中的各类关系数据，然后再基于目标文本的关系数据，抽取出目标文本中的各个实体数据，不再将实体与关系分别进行抽取，充分地考虑到了实体关系与实体间的关联关系，从而有效地保证了抽取结果的准确性。
本申请另一实施例提供了一种实体关系的抽取装置，如图6所示，包括：
第一获取单元601，用于获取目标文本。
编码单元602，用于将目标文本输入预训练语言表征模型Bert中，通过预训练语言表征模型Bert对目标文本进行处理，得到目标文本对应的编码。
抽取单元603，用于将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型抽取出目标文本中的各类关系数据，并基于目标文本的关系数据，抽取出目标文本中的各个实体数据。
其中，目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到。文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
可选地，在本申请另一实施例中，目标神经网络模型包括第一神经网络模型以及第二神经网络模型。本申请实施例中的抽取单元，如图7所示，包括：
第一抽取单元701，用于将目标文本对应编码输入第一神经网络模型中，通过第一神经网络模型对目标文本对应的编码进行处理，得到目标文本中的各类关系数据。
其中，第一神经网络模型预先利用文本样本及其对应的关系标注进行训练得到。
第二抽取单元702，用于将目标文本中的各类关系数据输入第二神经网络模型中，通过第二神经网络模型对目标文本中的关系数据进行处理，得到目标文本中的各个实体数据。
其中，第二神经网络模型预先利用文本样本及其对应的实体标注进行训练得到。
可选地，在本申请另一实施例提供的实体关系的抽取装置中，第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。
可选地，在本申请另一实施例提供的实体关系的抽取装置中，还包括：
模式确定单元，用于基于先验知识确定出数据结构模式schema。
第二获取单元，用于获取满足数据结构模式schema的多个文本样本。
标注单元，用于基于数据结构模式schema，标注各个文本样本对应的关系标注。
第一输入单元，用于分别将各个文本样本输入第一初始模型中，通过第一初始模型对文本样本进行处理，得到当前文本样本对应的预测关系数据。
第一判断单元，用于基于文本样本对应的关系标注以及当前文本样本对应的预测关系数据的对比结果，判断当前第一初始模型的输出结果准确率是否满足第一预设要求。
第一调参单元，用于若判断出当前第一初始模型的输出结果准确率不满足第一预设要求，则对当前第一初始模型进行调参，并针对调参后的第一初始模型，返回执行分别将各个文本样本输入第一初始模型中。
第一模型确定单元，用于若判断出当前第一初始模型的输出结果准确率满足第一预设要求，则将当前第一初始模型确定为训练好后的第一神经网络模型。
可选地，在本申请另一实施例提供的实体关系的抽取装置中，还包括：
第三获取单元，用于获取各个文本样本及其对应的实体标注。
第二输入单元，用于分别将各个文本样本输入第一神经网络模型，得到文本样本中的各类关系数据。
第三输入单元，用于分别将各个文本样本中的各类关系数据输入第二初始模型中，通过第二初始模型对文本样本中的各类关系数据进行处理，得到当前文本样本对应的预测实体数据。
第二判断单元，用于基于文本样本对应的关系标注以及当前文本样本对应的预测实体数据的对比结果，判断当前第二初始模型的输出结果准确率是否满足第二预设要求。
第二调参单元，用于若判断出当前第二初始模型的输出结果准确率不满足第二预设要求，则对当前第二初始模型进行调参，并针对调参后的第二初始模型，返回执行分别将各个文本样本中的各类关系数据输入第二初始模型中。
第二模型确定单元，用于若判断出当前第二初始模型的输出结果准确率满足第二预设要求，则将当前第二初始模型确定为训练好后的第二神经网络模型。
需要说明的是，本申请上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤的实施方式，此处不再赘述。
本申请另一实施例提供了一种电子设备，如图8所示，包括：
存储器801和处理器802。
其中，存储器801用于存储程序。
所述处理器802用于执行存储器801存储的程序，并且该程序被执行时，具体用于实现如上述任意一个实施例提供的实体关系的抽取方法。
本申请另一实施例提供了一种计算机存储介质，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的实体关系的抽取方法。
计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，本申请提供的实体关系的抽取方法及装置、电子设备、存储介质，可用于金融领域或其他领域。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的实体关系的抽取方法及装置、电子设备、存储介质的应用领域进行限定。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种实体关系的抽取方法，其特征在于，包括：
获取目标文本；
将所述目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到所述目标文本对应的编码；
将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据；其中，所述目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到；所述文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
2.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括第一神经网络模型以及第二神经网络模型，所述将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据，包括：
将所述目标文本对应编码输入所述第一神经网络模型中，通过所述第一神经网络模型对所述目标文本对应的编码进行处理，得到所述目标文本中的各类关系数据；其中，所述第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到；
将所述目标文本中的各类关系数据输入所述第二神经网络模型中，通过所述第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据；其中，所述第二神经网络模型预先利用所述文本样本及其对应的实体标注进行训练得到。
3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，所述第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。
4.根据要求2所述的方法，其特征在于，所述第一神经网络模型的训练方法，包括：
基于先验知识确定出数据结构模式schema；
获取满足所述数据结构模式schema的多个所述文本样本；
基于所述数据结构模式schema，标注各个所述文本样本对应的关系标注；
分别将各个所述文本样本输入第一初始模型中，通过所述第一初始模型对所述文本样本进行处理，得到当前所述文本样本对应的预测关系数据；
基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测关系数据的对比结果，判断当前所述第一初始模型的输出结果准确率是否满足第一预设要求；
若判断出当前所述第一初始模型的输出结果准确率不满足第一预设要求，则对当前所述第一初始模型进行调参，并针对调参后的所述第一初始模型，返回执行所述分别将各个所述文本样本输入第一初始模型中；
若判断出当前所述第一初始模型的输出结果准确率满足第一预设要求，则将当前所述第一初始模型确定为训练好后的第一神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述第二神经网络模型的训练方法，包括：
获取各个所述文本样本及其对应的实体标注；
分别将各个所述文本样本输入所述第一神经网络模型，得到所述文本样本中的各类关系数据；
分别将各个所述文本样本中的各类关系数据输入第二初始模型中，通过所述第二初始模型对所述文本样本中的各类关系数据进行处理，得到当前所述文本样本对应的预测实体数据；
基于所述文本样本对应的关系标注以及当前所述文本样本对应的预测实体数据的对比结果，判断当前所述第二初始模型的输出结果准确率是否满足第二预设要求；
若判断出当前所述第二初始模型的输出结果准确率不满足第二预设要求，则对当前所述第二初始模型进行调参，并针对调参后的所述第二初始模型，返回执行所述分别将各个所述文本样本中的各类关系数据输入第二初始模型中；
若判断出当前所述第二初始模型的输出结果准确率满足第二预设要求，则将当前所述第二初始模型确定为训练好后的第二神经网络模型。
6.一种实体关系的抽取装置，其特征在于，包括：
第一获取单元，用于获取目标文本；
编码单元，用于将所述目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到所述目标文本对应的编码；
抽取单元，用于将所述目标文本对应编码输入预先训练好的目标神经网络模型中，通过所述目标神经网络模型抽取出所述目标文本中的各类关系数据，并基于所述目标文本的关系数据，抽取出所述目标文本中的各个实体数据；其中，所述目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到；所述文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。
7.根据权利要求6所述的装置，其特征在于，所述目标神经网络模型包括第一神经网络模型以及第二神经网络模型，所述抽取单元，包括：
第一抽取单元，用于将所述目标文本对应编码输入所述第一神经网络模型中，通过所述第一神经网络模型对所述目标文本对应的编码进行处理，得到所述目标文本中的各类关系数据；其中，所述第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到；
第二抽取单元，用于将所述目标文本中的各类关系数据输入所述第二神经网络模型中，通过所述第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据；其中，所述第二神经网络模型预先利用所述文本样本及其对应的实体标注进行训练得到。
8.根据权利要求7所述的装置，其特征在于，所述第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，所述第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如权利要求1至5任意一项所述的实体关系的抽取方法。
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如权利要求1至5任意一项所述的实体关系的抽取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153354.6A CN113792122A (zh) | 2021-09-29 | 2021-09-29 | 实体关系的抽取方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153354.6A CN113792122A (zh) | 2021-09-29 | 2021-09-29 | 实体关系的抽取方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113792122A true CN113792122A (zh) | 2021-12-14 |
Family
ID=78877795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111153354.6A Pending CN113792122A (zh) | 2021-09-29 | 2021-09-29 | 实体关系的抽取方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792122A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880551A (zh) * | 2022-04-12 | 2022-08-09 | 北京三快在线科技有限公司 | 上下位关系获取方法、装置、电子设备及存储介质 |
| CN115204120A (zh) * | 2022-07-25 | 2022-10-18 | 平安科技（深圳）有限公司 | 保险领域三元组抽取方法、装置、电子设备及存储介质 |
| CN116205221A (zh) * | 2023-05-05 | 2023-06-02 | 北京睿企信息科技有限公司 | 实体识别和文本分类的方法、存储介质和计算机设备 |
| CN117495538A (zh) * | 2023-10-30 | 2024-02-02 | 北京融和云链科技有限公司 | 订单融资的风险性评估方法和模型训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199519A (zh) * | 2020-11-18 | 2021-01-08 | 北京观微科技有限公司 | 一种基于Bert的实体关系流水线抽取方法和系统 |
| CN112364650A (zh) * | 2020-09-30 | 2021-02-12 | 深圳市罗湖区人民医院 | 一种实体关系联合抽取方法、终端以及存储介质 |
| CN113128227A (zh) * | 2020-01-14 | 2021-07-16 | 普天信息技术有限公司 | 实体抽取方法及装置 |
| CN113221567A (zh) * | 2021-05-10 | 2021-08-06 | 北京航天情报与信息研究所 | 司法领域命名实体及关系联合抽取方法 |
-
2021
- 2021-09-29 CN CN202111153354.6A patent/CN113792122A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128227A (zh) * | 2020-01-14 | 2021-07-16 | 普天信息技术有限公司 | 实体抽取方法及装置 |
| CN112364650A (zh) * | 2020-09-30 | 2021-02-12 | 深圳市罗湖区人民医院 | 一种实体关系联合抽取方法、终端以及存储介质 |
| CN112199519A (zh) * | 2020-11-18 | 2021-01-08 | 北京观微科技有限公司 | 一种基于Bert的实体关系流水线抽取方法和系统 |
| CN113221567A (zh) * | 2021-05-10 | 2021-08-06 | 北京航天情报与信息研究所 | 司法领域命名实体及关系联合抽取方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880551A (zh) * | 2022-04-12 | 2022-08-09 | 北京三快在线科技有限公司 | 上下位关系获取方法、装置、电子设备及存储介质 |
| CN114880551B (zh) * | 2022-04-12 | 2023-05-02 | 北京三快在线科技有限公司 | 上下位关系获取方法、装置、电子设备及存储介质 |
| CN115204120A (zh) * | 2022-07-25 | 2022-10-18 | 平安科技（深圳）有限公司 | 保险领域三元组抽取方法、装置、电子设备及存储介质 |
| CN115204120B (zh) * | 2022-07-25 | 2023-05-30 | 平安科技（深圳）有限公司 | 保险领域三元组抽取方法、装置、电子设备及存储介质 |
| CN116205221A (zh) * | 2023-05-05 | 2023-06-02 | 北京睿企信息科技有限公司 | 实体识别和文本分类的方法、存储介质和计算机设备 |
| CN117495538A (zh) * | 2023-10-30 | 2024-02-02 | 北京融和云链科技有限公司 | 订单融资的风险性评估方法和模型训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113792122A (zh) | 实体关系的抽取方法及装置、电子设备、存储介质 | |
| CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
| CN111047429A (zh) | 一种概率预测方法及装置 | |
| CN116089584A (zh) | 事件抽取的方法、装置、电子设备和介质 | |
| CN110020196B (zh) | 一种基于不同数据源的用户分析方法和装置及计算设备 | |
| CN117688155A (zh) | 业务问题的回复方法、装置、存储介质以及电子设备 | |
| CN113269355A (zh) | 一种用户贷款预测方法、装置及存储介质 | |
| CN116596657A (zh) | 贷款风险评估方法、装置、存储介质及电子设备 | |
| CN116738293A (zh) | 一种业务评价处理方法、装置及电子设备 | |
| CN114741592B (zh) | 一种基于多模型融合的产品推荐方法、设备及介质 | |
| CN111159397B (zh) | 文本分类方法和装置、服务器 | |
| CN111783453B (zh) | 文本的情感信息处理方法及装置 | |
| CN115168575A (zh) | 应用于审计领域的主语补全方法及相关设备 | |
| CN114677176A (zh) | 兴趣内容的推荐方法及装置、电子设备、存储介质 | |
| CN113220947A (zh) | 对事件特征进行编码的方法和装置 | |
| CN115329183A (zh) | 数据处理方法、装置、存储介质及设备 | |
| CN113408263A (zh) | 刑期预测方法、装置、存储介质及电子设备 | |
| CN111143552B (zh) | 文本信息的类别预测方法和装置、服务器 | |
| CN118247021B (zh) | 基于用户画像的商品推荐方法及系统 | |
| CN115795289B (zh) | 特征识别方法、装置、电子设备及存储介质 | |
| CN118094016B (zh) | 推荐方法、装置、设备、计算机可读存储介质及程序产品 | |
| CN117708340B (zh) | 标签文本的确定方法、模型训练及调整方法、设备和介质 | |
| CN113794900B (zh) | 视频处理方法和装置 | |
| CN113077272B (zh) | 通信业务营销案优化方法和装置 | |
| CN117951364A (zh) | 信息推荐模型的训练、信息推荐方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |