CN117610562B - 一种结合组合范畴语法和多任务学习的关系抽取方法 - Google Patents

一种结合组合范畴语法和多任务学习的关系抽取方法 Download PDF

Info

Publication number
CN117610562B
CN117610562B CN202410090092.0A CN202410090092A CN117610562B CN 117610562 B CN117610562 B CN 117610562B CN 202410090092 A CN202410090092 A CN 202410090092A CN 117610562 B CN117610562 B CN 117610562B
Authority
CN
China
Prior art keywords
text
entity
representing
relation
relation extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410090092.0A
Other languages
English (en)
Other versions
CN117610562A (zh
Inventor
宋彦
田元贺
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202410090092.0A priority Critical patent/CN117610562B/zh
Publication of CN117610562A publication Critical patent/CN117610562A/zh
Application granted granted Critical
Publication of CN117610562B publication Critical patent/CN117610562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及关系抽取技术领域，公开了一种结合组合范畴语法和多任务学习的关系抽取方法，在给定文本以及两个实体的条件下，识别出关系标签；包括：利用编码器提取文本的文本特征：对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签；对实体和处理后的文本特征应用注意力机制，得到强化实体表示；将强化实体表示输入到分类器，得到关系标签。本发明利用组合范畴语法为文本理解提供句法和语义知识，提升了对实体之间的关系检测能力；通过多任务学习的机制，从词汇范畴标签的解码过程中学习组合范畴语法信息，从而指导注意力机制区分关系抽取中的重要词汇，强化对文本和实体的表示学习，进一步提升了关系抽取的质量。

Description

一种结合组合范畴语法和多任务学习的关系抽取方法
技术领域
本发明涉及关系抽取技术领域，具体涉及一种结合组合范畴语法和多任务学习的关系抽取方法。
背景技术
关系抽取指的是标注两个给定实体之间的关系。
现有技术往往利用句法信息促进关系抽取过程，主要关注词语之间的依赖关系，对其他类型的句法结构的关注有限，使得模型在关系抽取任务中的表现还有待进一步提升。
本发明提出一种结合组合范畴语法和多任务学习的关系抽取方法，使用组合范畴语法词汇范畴标签生成器来注释输入文本的词汇范畴标签，并且通过一个多任务学习机制，从人工标注的关系抽取和自动注释的词汇范畴标签中学习，进一步提升模型关系抽取的质量。
发明内容
为解决上述技术问题，本发明提供一种结合组合范畴语法和多任务学习的关系抽取方法，利用组合范畴语法为文本理解提供句法和语义知识，来引导注意力机制改进关系抽取，并利用多任务学习机制使得关系抽取模型在推理中高效运行。
为解决上述技术问题，本发明采用如下技术方案：
一种结合组合范畴语法和多任务学习的关系抽取方法，将给定文本以及两个实体输入到完成训练的关系抽取模型，识别出关系标签；实体和实体统称为实体；关系抽取模型的训练过程具体包括以下步骤：
步骤一，利用编码器提取文本的文本特征：
；
其中，为编码器，表示文本第个词的文本特征，表示文本中词的总数量；
步骤二，对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签，具体包括以下步骤：
S21，通过多层感知机神经网络处理，得到处理后的文本特征：；其中，表示多层感知机神经网络；
S22，通过可训练矩阵和偏置向量，将映射到词汇范畴标签解码输出空间，得到含有组合范畴语法信息的特征向量：；
S23，将输入到分类器，预测得到词汇范畴标签：；表示分类器；
S24，通过比较预测的词汇范畴标签和对应的真实标签，计算词汇范畴标签预测损失：；表示交叉熵损失，表示批处理；
步骤三，对实体和处理后的文本特征应用注意力机制，得到强化实体表示；
步骤四，将实体的强化实体表示统一记为强化实体表示，将强化实体表示输入到分类器，得到关系标签：；
步骤五，计算关系预测损失：，表示真实标签；
通过词汇范畴标签预测损失和关系预测损失计算总体损失：；
基于总体损失和反向传播算法不断更新关系抽取模型的参数，直至关系抽取模型收敛或者达到设定的停止条件。
进一步地，步骤三具体包括以下步骤：
S31，将处理后的文本特征映射到注意力语义空间，得到键向量和值向量：
；
；
和为注意力机制中的可学习矩阵；
S32，通过最大池化处理实体，得到实体表示特征：
其中，表示第个实体，，表示最大池化；
S33，计算注意力权重：
；
S34，将注意力权重应用到值向量，计算加权和向量：
；
S35，通过串联操作对加权和向量和实体表示特征进行连接，得到强化实体表示：
；
其中，表示串联操作。
与现有技术相比，本发明的有益技术效果是：
本发明利用组合范畴语法为文本理解提供句法和语义知识，提升了对实体之间的关系检测能力；通过多任务学习的机制，从词汇范畴标签的解码过程中学习组合范畴语法信息，从而指导注意力机制区分关系抽取中的重要词汇，强化对文本和实体的表示学习，进一步提升模型关系抽取的质量。
附图说明
图1为本发明所采用的关系抽取模型结构示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本发明的关系抽取模型结构如图1所示，本发明的任务是在给定文本，和实体的条件下，识别出关系标签，其中表示文本中第个词，文本一共有个词。
对于上述任务，本发明利用编码器得到文本特征，并通过词汇范畴标签解码过程来学习和利用组合范畴语法信息，然后利用组合范畴语法信息来指导关系抽取模型通过注意机制加强对文本和实体的表示学习，提升关系抽取模型性能。
下面对本发明的技术方案进行详细介绍。
步骤一，利用编码器提取文本的文本特征：
；
其中，表示编码器，具体采用BERT模型，统称为文本特征，表示输入文本中第个词的文本特征。
步骤二，对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签，具体包括以下步骤：
S21，通过多层感知机神经网络处理，得到处理后的文本特征：
；
其中，表示多层感知机神经网络。
S22，通过一个可训练矩阵和偏置向量将映射到词汇范畴标签解码输出空间，得到：
。
S23，将输入分类器，得到预测的词汇范畴标签：
。
S24，通过比较预测的词汇范畴标签和对应的真实标签，计算词汇范畴标签预测损失：；表示交叉熵损失，表示批处理。
步骤三，应用注意力机制对实体和处理后的文本特征进行处理，来加强关系的预测。
步骤三具体包括以下步骤：
S31，注意力机制中有两个可学习矩阵和，能将映射到注意力语义空间，得到相对应的键向量和值向量：
；
。
S32，通过最大池化处理实体，得到实体表示特征，公式如下：
；
其中，表示第个实体，，表示最大池化。
S33，通过以下公式计算注意力权重：
。
S34，将注意力权重应用到相应的值向量，计算加权和向量：
。
S35，然后将加权和向量和实体表示特征连接起来，得到强化实体表示：
；
其中，表示串联操作。
步骤四，将得到的所有的强化实体表示，输入到分类器进行标签预测，生成实体和实体之间的关系标签：
；
其中表示分类器。
步骤五，计算关系预测损失：，表示真实标签；
通过词汇范畴标签预测损失和关系预测损失计算总体损失：；
基于总体损失和反向传播算法不断更新关系抽取模型的参数，直至关系抽取模型收敛或者达到设定的停止条件。
将给定文本以及两个实体输入到完成训练的关系抽取模型，能够识别出实体的关系标签。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种结合组合范畴语法和多任务学习的关系抽取方法，将给定文本以及两个实体输入到完成训练的关系抽取模型，识别出关系标签；实体和实体统称为实体；关系抽取模型的训练过程具体包括以下步骤：
步骤一，利用编码器提取文本的文本特征：
；
其中，为编码器，表示文本第个词的文本特征，表示文本中词的总数量；
步骤二，对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签，具体包括以下步骤：
S21，通过多层感知机神经网络处理，得到处理后的文本特征：；其中，表示多层感知机神经网络；
S22，通过可训练矩阵和偏置向量，将映射到词汇范畴标签解码输出空间，得到含有组合范畴语法信息的特征向量：；
S23，将输入到分类器，预测得到词汇范畴标签：；表示分类器；
S24，通过比较预测的词汇范畴标签和对应的真实标签，计算词汇范畴标签预测损失：；表示交叉熵损失，表示批处理；
步骤三，对实体和处理后的文本特征应用注意力机制，得到强化实体表示；
步骤四，将实体的强化实体表示统一记为强化实体表示，将强化实体表示输入到分类器，得到关系标签：；
步骤五，计算关系预测损失：，表示真实标签；
通过词汇范畴标签预测损失和关系预测损失计算总体损失：；
基于总体损失和反向传播算法不断更新关系抽取模型的参数，直至关系抽取模型收敛或者达到设定的停止条件。
2.根据权利要求1所述的结合组合范畴语法和多任务学习的关系抽取方法，其特征在于，步骤三具体包括以下步骤：
S31，将处理后的文本特征映射到注意力语义空间，得到键向量和值向量：
；
；
和为注意力机制中的可学习矩阵；
S32，通过最大池化处理实体，得到实体表示特征：
其中，表示第个实体，，表示最大池化；
S33，计算注意力权重：
；
S34，将注意力权重应用到值向量，计算加权和向量：
；
S35，通过串联操作对加权和向量和实体表示特征进行连接，得到强化实体表示：
；
其中，表示串联操作。
CN202410090092.0A 2024-01-23 2024-01-23 一种结合组合范畴语法和多任务学习的关系抽取方法 Active CN117610562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410090092.0A CN117610562B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法和多任务学习的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410090092.0A CN117610562B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法和多任务学习的关系抽取方法

Publications (2)

Publication Number Publication Date
CN117610562A CN117610562A (zh) 2024-02-27
CN117610562B true CN117610562B (zh) 2024-07-05

Family

ID=89958270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410090092.0A Active CN117610562B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法和多任务学习的关系抽取方法

Country Status (1)

Country Link
CN (1) CN117610562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992615B (zh) * 2024-04-03 2024-06-18 中国科学技术大学 一种基于组合范畴语法与大模型记忆插件的情绪识别方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783615B2 (en) * 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
EP3671542A1 (en) * 2018-12-18 2020-06-24 Visteon Global Technologies, Inc. Method for multilane detection using a convolutional neural network
US10607042B1 (en) * 2019-02-12 2020-03-31 Live Objects, Inc. Dynamically trained models of named entity recognition over unstructured data
CN110717045A (zh) * 2019-10-15 2020-01-21 同方知网(北京)技术有限公司 一种基于信访信件概况的信件要素自动提取方法
WO2021157897A1 (en) * 2020-02-03 2021-08-12 Samsung Electronics Co., Ltd. A system and method for efficient multi-relational entity understanding and retrieval
WO2021184311A1 (zh) * 2020-03-19 2021-09-23 中山大学 一种自动生成可推理问答的方法和装置
EP4176449A1 (en) * 2020-07-06 2023-05-10 Harrison-AI Pty Ltd Method and system for automated generation of text captions from medical images
US11568138B2 (en) * 2020-08-25 2023-01-31 Beijing Wodong Tianjun Information Technology Co., Ltd. System for entity and evidence-guided relation prediction and method of using the same
CN112163425B (zh) * 2020-09-25 2023-06-20 大连民族大学 基于多特征信息增强的文本实体关系抽取方法
CN112347268B (zh) * 2020-11-06 2024-03-19 华中科技大学 一种文本增强的知识图谱联合表示学习方法及装置
US11907666B2 (en) * 2020-11-16 2024-02-20 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for utility-preserving deep reinforcement learning-based text anonymization
CN113626610A (zh) * 2021-08-10 2021-11-09 南方电网数字电网研究院有限公司 知识图谱嵌入方法、装置、计算机设备和存储介质
CN113849657A (zh) * 2021-08-11 2021-12-28 杭州云嘉健康管理有限公司 一种智慧监管黑匣子的结构化资料处理方法
US20230073154A1 (en) * 2021-09-07 2023-03-09 Nvidia Corporation Semantic rearrangement of unknown objects from natural language commands
WO2023096895A1 (en) * 2021-11-24 2023-06-01 Covera Health Multi-task adapters and task similarity for efficient extraction of pathologies from medical reports
CN114186568B (zh) * 2021-12-16 2022-08-02 北京邮电大学 一种基于关系编码和层次注意力机制的图像段落描述方法
CN114239574A (zh) * 2021-12-20 2022-03-25 淄博矿业集团有限责任公司 一种基于实体和关系联合学习的矿工违规行为知识抽取方法
CN114580380B (zh) * 2022-03-07 2022-08-05 中国人民解放军国防科技大学 基于主题的社交媒体主题标签生成方法
CN114743020B (zh) * 2022-04-02 2024-05-14 华南理工大学 一种结合标签语义嵌入和注意力融合的食物识别方法
CN114997141A (zh) * 2022-05-27 2022-09-02 苏州思萃人工智能研究所有限公司 一种从文本中进行关系抽取的方法、关系抽取模型及介质
WO2024000966A1 (zh) * 2022-06-29 2024-01-04 苏州思萃人工智能研究所有限公司 用于自然语言模型的优化方法
CN114970857A (zh) * 2022-06-29 2022-08-30 苏州思萃人工智能研究所有限公司 一种用于关系抽取模型的优化方法
US20240005690A1 (en) * 2022-07-01 2024-01-04 Ancestry.Com Operations Inc. Generating article polygons within newspaper images for extracting actionable data
CN115906818A (zh) * 2022-12-20 2023-04-04 科大讯飞股份有限公司 语法知识预测方法、装置、电子设备和存储介质
CN116842944A (zh) * 2023-07-06 2023-10-03 阿维塔科技(重庆)有限公司 一种基于词增强的实体关系抽取方法及装置

Also Published As

Publication number Publication date
CN117610562A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN109902145B (zh) 一种基于注意力机制的实体关系联合抽取方法和系统
Chang et al. Chinese named entity recognition method based on BERT
Liu et al. GCDT: A global context enhanced deep transition architecture for sequence labeling
CN109657239B (zh) 基于注意力机制和语言模型学习的中文命名实体识别方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111460807B (zh) 序列标注方法、装置、计算机设备和存储介质
CN110929030A (zh) 一种文本摘要和情感分类联合训练方法
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN114003698B (zh) 一种文本检索方法、系统、设备及存储介质
CN112541356B (zh) 一种生物医学命名实体识别的方法和系统
CN110619034A (zh) 基于Transformer模型的文本关键词生成方法
CN111506732B (zh) 一种文本多层次标签分类方法
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN117610562B (zh) 一种结合组合范畴语法和多任务学习的关系抽取方法
CN112380863A (zh) 一种基于多头自注意力机制的序列标注方法
CN111368542A (zh) 一种基于递归神经网络的文本语言关联抽取方法和系统
CN115658890A (zh) 基于主题增强的情感共注意力bert模型的中文评论分类方法
CN116383387A (zh) 一种基于事理逻辑的联合事件抽取方法
CN115169349A (zh) 基于albert的中文电子简历命名实体识别方法
CN114398488A (zh) 一种基于注意力机制的bilstm多标签文本分类方法
CN113076718B (zh) 一种商品属性抽取方法及其系统
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN114239575B (zh) 语句分析模型的构建方法、语句分析方法、装置、介质和计算设备
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant