CN117252264A - 一种结合语言模型与图神经网络的关系抽取方法 - Google Patents

一种结合语言模型与图神经网络的关系抽取方法 Download PDF

Info

Publication number
CN117252264A
CN117252264A CN202311542253.7A CN202311542253A CN117252264A CN 117252264 A CN117252264 A CN 117252264A CN 202311542253 A CN202311542253 A CN 202311542253A CN 117252264 A CN117252264 A CN 117252264A
Authority
CN
China
Prior art keywords
embedding
output
sentence
entity
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311542253.7A
Other languages
English (en)
Other versions
CN117252264B (zh
Inventor
张鑫
闵万里
丁鑫
田钿
朱锦雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202311542253.7A priority Critical patent/CN117252264B/zh
Publication of CN117252264A publication Critical patent/CN117252264A/zh
Application granted granted Critical
Publication of CN117252264B publication Critical patent/CN117252264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

一种结合语言模型与图神经网络的关系抽取方法，涉及知识图谱领域，将文本转化为图结构，采用剪枝策略对生成的图进行剪枝，并利用图神经网络对图中的节点和边进行表示学习。同时，也利用预训练的语言模型（如ROBERTA）对加强实体标注的文本信息进行建模，以获取更丰富的语义信息。通过结合语言模型和图神经网络的优势，能够充分利用文本的结构信息和语义信息，从而提高关系抽取的准确性和效果。

Description

一种结合语言模型与图神经网络的关系抽取方法
技术领域
本专利涉及知识图谱领域，具体涉及一种结合语言模型与图神经网络的关系抽取方法。
背景技术
在当前的技术背景下，关系抽取技术可以被划分为两种主流方法：基于语言模型的方法和基于图神经网络的方法。
语言模型：基于语言模型（如ROBERTA）的关系抽取技术是近年来在自然语言处理领域取得重要进展的技术之一,通过大规模无监督学习从大量文本中学习语言的表示，它可以学习文本中的语义信息。在关系抽取中，语言模型被用作特征提取器，将文本序列作为输入，通过多层的自注意力机制和前馈神经网络，将每个词语编码为上下文相关的向量表示。这些向量表示能够捕捉到词语之间的语义关系和上下文信息。通过语言模型能够学习到丰富的语义表示，能够更好地捕捉实体之间的关系。其次，语言模型是预训练的，可以在大规模无监督数据上进行训练，从而提高模型的泛化能力。此外，语言模型还可以通过微调在特定任务上进行优化，使得关系抽取技术更加适应不同的应用场景。
图神经网络：基于图神经网络的关系抽取技术是一种利用图结构和神经网络相结合的方法，用于从文本中提取实体之间的关系。通过将文本中的实体和实体之间的关系建模为图的节点和边，利用图神经网络来学习节点和边的表示，从而实现关系抽取。基于图神经网络的关系抽取技术能够充分利用实体之间的关系信息，包括共现关系、依存关系等，从而更好地捕捉实体之间的关系。其次，图神经网络能够对节点和边进行灵活的表示学习，适应不同类型的关系抽取任务。此外，图神经网络还能够处理多实体关系抽取和跨句子关系抽取等复杂任务。
传统语言模型在处理文本时无法直接考虑文本的结构信息，如实体之间的关系、依存关系等。这限制了传统语言模型在关系抽取任务中的应用。另一方面，图神经网络虽然能够有效地处理图结构数据，但无法直接对原始文本信息进行建模。
发明内容
本发明为了克服以上技术的不足，提供了一种结合语言模型和图神经网络的优势，能够充分利用文本的结构信息和语义信息，从而提高关系抽取的准确性和效果的方法。
本发明克服其技术问题所采用的技术方案是：
一种结合语言模型与图神经网络的关系抽取方法，包括如下步骤：
(a)将句子处理成文本信息和文本图结构；
(b)基于剪枝策略进行图神经网络建模，得到图神经网络输出的特征；
(c)基于实体嵌入进行语言模型建模，得到语言模型输出的特征；
(d)将图神经网络输出的特征与语言模型输出的特征/>合并操作得到关系抽取结果/>。
进一步的，步骤(a)包括如下步骤：
(a-1)将句子标识为：，其中实体一和实体二为句子中有关系的实体，实体一和实体二的关系是什么？为提示信息，将标识后的句子作为处理后的文本信息；
(a-2)将句子每个单词作为一个节点，根据各个节点的依存关系构建边，得到构建文本图结构，通过Spacy库对句子进行句法依存树的构建，得到句子的句法依存树。
进一步的，步骤(b)包括如下步骤：
(b-1)将句法依存树进行剪枝操作，保留句法依存树中的实体信息集与实体信息相关联的结点，得到剪枝后的句法依存树，/>，其中/>及/>为剪枝后的句法依存树/>中的两个实体节点，/>为剪枝后的句法依存树/>中第/>个节点，，/>为剪枝后的句法依存树/>中节点数量，/>，/>为向量空间，/>为节点的嵌入特征维度；
(b-2)将剪枝后的句法依存树输入到图注意力网络中，输出得到特征/>，，其中/>及/>为图注意力网络提取后的两个实体节点的特征信息，/>为图注意力网络提取后的第/>个节点的特征信息。
进一步的，步骤(c)包括如下步骤：
(c-1) 在处理后的文本信息前添加开始符[CLS]，在处理后的文本信息后添加结束符[SEP]，得到句子S：；
(c-2)将句子S输入到RoBERTa模型中，得到词向量矩阵嵌入，，其中/>及/>为句子S中的两个实体嵌入，/>为句子S中第/>个单词的嵌入，/>，/>为句子S中单词的数量，句子S中的单词包括符合/>，，/>为向量空间；
(c-3)构建注意力向量矩阵嵌入，/>，其中/>及为句子S中的两个实体的注意力嵌入，/>为句子S中第/>个单词的注意力嵌入，/>，/>；
(c-4)构建实体一向量矩阵的位置嵌入，/>，其中有实体一的位置的值为1，其余位置的值为0，/>；
(c-5)构建实体二向量矩阵的位置嵌入，/>，其中有实体二的位置的值为1，其余位置的值为0，/>；
(c-6)构建提示信息向量矩阵的位置嵌入，/>，其中有提示信息的位置的值为1，其余位置的值为0，/>；
(c-7)将词向量矩阵嵌入和注意力向量矩阵嵌入/>输入到RoBERTa模型中，输出得到输出特征向量/>，/>，/>为RoBERTa模型的嵌入维度，通过公式计算得到包含位置的嵌入/>，/>为矩阵转置，通过公式计算得到包含位置的嵌入/>，通过公式/>计算得到包含位置的嵌入/>；
(c-8)通过公式计算得到语言模型输出的特征/>，式中为矩阵的合并运算。
进一步的，步骤(d)包括如下步骤：
(d-1)建立融合模块，该融合模块由自注意力单元、交叉注意力单元、正则化单元、融合单元构成；
(d-2)将图神经网络输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中为softmax函数，/>，/>，/>，/>为矩阵转置，/>为矩阵向量的嵌入维度，/>、/>、/>均为权重矩阵；
(d-3)将语言模型输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中，/>，/>，/>、/>、/>均为权重矩阵；
(d-4)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>；
(d-5)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>；
(d-6)将输入到融合模块的正则化单元中，通过公式计算得到输出/>，式中/>为Layer Normalization 函数；
(d-7)将输入到融合模块的正则化单元中，通过公式计算得到输出/>；
(d-8)将输出和输出/>输入到融合模块的融合单元中通过公式计算得到关系抽取结果/>，式中/>为softmax函数，/>为linear函数，/>为concat函数，/>，/>为关系抽取的类别数。
本发明的有益效果是：将文本转化为图结构，采用剪枝策略对生成的图进行剪枝，并利用图神经网络对图中的节点和边进行表示学习。同时，也利用预训练的语言模型（如ROBERTA）对加强实体标注的文本信息进行建模，以获取更丰富的语义信息。通过结合语言模型和图神经网络的优势，能够充分利用文本的结构信息和语义信息，从而提高关系抽取的准确性和效果。
附图说明
图1为本发明的方法流程图；
图2为本发明的融合模块的结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种结合语言模型与图神经网络的关系抽取方法，包括如下步骤：
(a)将句子处理成文本信息和文本图结构。
(b)基于剪枝策略进行图神经网络建模，得到图神经网络输出的特征。
(c)基于实体嵌入进行语言模型建模，得到语言模型输出的特征。
(d)将图神经网络输出的特征与语言模型输出的特征/>合并操作得到关系抽取结果/>。
将文本转化为图结构，采用剪枝策略对生成的图进行剪枝，并利用图神经网络对图中的节点和边进行表示学习。同时，也利用预训练的语言模型（如ROBERTA）对加强实体标注的文本信息进行建模，以获取更丰富的语义信息。通过结合语言模型和图神经网络的优势，能够充分利用文本的结构信息和语义信息，从而提高关系抽取的准确性和效果。解决了无法同时考虑文本信息和文本图结构的问题。
在本发明的一个实施例中，步骤(a)包括如下步骤：
(a-1)将句子标识为：...#实体一#...@实体二@...。$实体一和实体二的关系是什么？$，其中实体一和实体二为句子中有关系的实体，实体一和实体二的关系是什么？为提示信息，将标识后的句子作为处理后的文本信息；
(a-2)文本图结构为图神经网络模型的输入部分，因此将句子每个单词作为一个节点，根据各个节点的依存关系构建边，得到构建文本图结构，通过Spacy库对句子进行句法依存树的构建，得到句子的句法依存树。
根据步骤(a)所得的句法依存树进行剪枝，保留其中的实体信息以及和实体信息相关联的结点，得到剪枝后的句法依存树。具体的，在本发明的一个实施例中，步骤(b)包括如下步骤：
(b-1)将句法依存树进行剪枝操作，保留句法依存树中的实体信息集与实体信息相关联的结点，得到剪枝后的句法依存树，/>，其中/>及/>为剪枝后的句法依存树/>中的两个实体节点，/>为剪枝后的句法依存树/>中第/>个节点，，/>为剪枝后的句法依存树/>中节点数量，/>，/>为向量空间，/>为节点的嵌入特征维度。
(b-2)将剪枝后的句法依存树输入到图注意力网络中，输出得到特征/>，，其中/>及/>为图注意力网络提取后的两个实体节点的特征信息，/>为图注意力网络提取后的第/>个节点的特征信息。
在本发明的一个实施例中，步骤(c)包括如下步骤：
(c-1) 在处理后的文本信息前添加开始符[CLS]，在处理后的文本信息后添加结束符[SEP]，得到句子S：。
(c-2)将句子S输入到RoBERTa模型中，得到词向量矩阵嵌入，，其中/>及/>为句子S中的两个实体嵌入，/>为句子S中第/>个单词的嵌入，/>，/>为句子S中单词的数量，句子S中的单词包括符合/>，，/>为向量空间。
(c-3)构建注意力向量矩阵嵌入，/>，其中/>及为句子S中的两个实体的注意力嵌入，/>为句子S中第/>个单词的注意力嵌入，/>，/>。
(c-4)构建实体一向量矩阵的位置嵌入，/>，其中有实体一的位置的值为1，其余位置的值为0，/>。
(c-5)构建实体二向量矩阵的位置嵌入，/>，其中有实体二的位置的值为1，其余位置的值为0，/>。
(c-6)构建提示信息向量矩阵的位置嵌入，/>，其中有提示信息的位置的值为1，其余位置的值为0，/>。
(c-7)将词向量矩阵嵌入和注意力向量矩阵嵌入/>输入到RoBERTa模型中，输出得到输出特征向量/>，特征向量/>包含了整个句子的信息，/>，/>为RoBERTa模型的嵌入维度，通过公式/>计算得到包含位置的嵌入/>，/>为矩阵转置，通过公式/>计算得到包含位置的嵌入/>，通过公式计算得到包含位置的嵌入/>。
(c-8)通过公式计算得到语言模型输出的特征/>，式中为矩阵的合并运算。
将图神经网络和语言模型的输出进行融合,通过注意力机制将两个模型的输出进行加权融合，以获得更好的融合表示，具体的，在本发明的一个实施例中，步骤(d)包括如下步骤：
(d-1)建立融合模块，该融合模块由自注意力单元、交叉注意力单元、正则化单元、融合单元构成。
(d-2)将图神经网络输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中为softmax函数，/>，/>，/>，/>为矩阵转置，/>为矩阵向量的嵌入维度，/>、/>、/>均为权重矩阵。
(d-3)将语言模型输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中，/>，/>，/>、/>、/>均为权重矩阵。
(d-4)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>。
(d-5)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>。
(d-6)将输入到融合模块的正则化单元中，通过公式计算得到输出/>，式中/>为Layer Normalization 函数。
(d-7)将输入到融合模块的正则化单元中，通过公式计算得到输出/>。
(d-8)将输出和输出/>输入到融合模块的融合单元中通过公式计算得到关系抽取结果/>，式中/>为softmax函数，/>为linear函数，/>为concat函数，/>，/>为关系抽取的类别数。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合语言模型与图神经网络的关系抽取方法，其特征在于，包括如下步骤：
(a)将句子处理成文本信息和文本图结构；
(b)基于剪枝策略进行图神经网络建模，得到图神经网络输出的特征；
(c)基于实体嵌入进行语言模型建模，得到语言模型输出的特征；
(d)将图神经网络输出的特征与语言模型输出的特征/>合并操作得到关系抽取结果/>。
2.根据权利要求1所述的结合语言模型与图神经网络的关系抽取方法，其特征在于，步骤(a)包括如下步骤：
(a-1)将句子标识为：，其中实体一和实体二为句子中有关系的实体，实体一和实体二的关系是什么？为提示信息，将标识后的句子作为处理后的文本信息；
(a-2)将句子每个单词作为一个节点，根据各个节点的依存关系构建边，得到构建文本图结构，通过Spacy库对句子进行句法依存树的构建，得到句子的句法依存树。
3.根据权利要求2所述的结合语言模型与图神经网络的关系抽取方法，其特征在于，步骤(b)包括如下步骤：
(b-1)将句法依存树进行剪枝操作，保留句法依存树中的实体信息集与实体信息相关联的结点，得到剪枝后的句法依存树，/>，其中/>及/>为剪枝后的句法依存树/>中的两个实体节点，/>为剪枝后的句法依存树/>中第/>个节点，/>，为剪枝后的句法依存树/>中节点数量，/>，/>为向量空间，/>为节点的嵌入特征维度；
(b-2)将剪枝后的句法依存树输入到图注意力网络中，输出得到特征/>，，其中/>及/>为图注意力网络提取后的两个实体节点的特征信息，/>为图注意力网络提取后的第/>个节点的特征信息。
4.根据权利要求2所述的结合语言模型与图神经网络的关系抽取方法，其特征在于，步骤(c)包括如下步骤：
(c-1) 在处理后的文本信息前添加开始符[CLS]，在处理后的文本信息后添加结束符[SEP]，得到句子S：；
(c-2)将句子S输入到RoBERTa模型中，得到词向量矩阵嵌入，，其中/>及/>为句子S中的两个实体嵌入，/>为句子S中第/>个单词的嵌入，/>，/>为句子S中单词的数量，句子S中的单词包括符合/>，，/>为向量空间；
(c-3)构建注意力向量矩阵嵌入，/>，其中/>及/>为句子S中的两个实体的注意力嵌入，/>为句子S中第/>个单词的注意力嵌入，/>，；
(c-4)构建实体一向量矩阵的位置嵌入，/>，其中有实体一的位置的值为1，其余位置的值为0，/>；
(c-5)构建实体二向量矩阵的位置嵌入，/>，其中有实体二的位置的值为1，其余位置的值为0，/>；
(c-6)构建提示信息向量矩阵的位置嵌入，/>，其中有提示信息的位置的值为1，其余位置的值为0，/>；
(c-7)将词向量矩阵嵌入和注意力向量矩阵嵌入/>输入到RoBERTa模型中，输出得到输出特征向量/>，/>，/>为RoBERTa模型的嵌入维度，通过公式计算得到包含位置的嵌入/>，/>为矩阵转置，通过公式计算得到包含位置的嵌入/>，通过公式/>计算得到包含位置的嵌入/>；
(c-8)通过公式计算得到语言模型输出的特征/>，式中为矩阵的合并运算。
5.根据权利要求1所述的结合语言模型与图神经网络的关系抽取方法，其特征在于，步骤(d)包括如下步骤：
(d-1)建立融合模块，该融合模块由自注意力单元、交叉注意力单元、正则化单元、融合单元构成；
(d-2)将图神经网络输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中为softmax函数，/>，/>，/>，/>为矩阵转置，/>为矩阵向量的嵌入维度，/>、/>、/>均为权重矩阵；
(d-3)将语言模型输出的特征输入到融合模块的自注意力单元中，通过公式计算得到自注意力单元的输出/>，式中，/>，/>，/>、/>、/>均为权重矩阵；
(d-4)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>；
(d-5)将输入到融合模块的交叉注意力单元中，通过公式计算得到交叉注意力单元的输出/>，式中/>，/>，/>；
(d-6)将输入到融合模块的正则化单元中，通过公式计算得到输出/>，式中/>为Layer Normalization 函数；
(d-7)将输入到融合模块的正则化单元中，通过公式计算得到输出/>；
(d-8)将输出和输出/>输入到融合模块的融合单元中通过公式计算得到关系抽取结果/>，式中/>为softmax函数，/>为linear函数，/>为concat函数，/>，/>为关系抽取的类别数。
CN202311542253.7A 2023-11-20 2023-11-20 一种结合语言模型与图神经网络的关系抽取方法 Active CN117252264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311542253.7A CN117252264B (zh) 2023-11-20 2023-11-20 一种结合语言模型与图神经网络的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311542253.7A CN117252264B (zh) 2023-11-20 2023-11-20 一种结合语言模型与图神经网络的关系抽取方法

Publications (2)

Publication Number Publication Date
CN117252264A true CN117252264A (zh) 2023-12-19
CN117252264B CN117252264B (zh) 2024-02-02

Family

ID=89137322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311542253.7A Active CN117252264B (zh) 2023-11-20 2023-11-20 一种结合语言模型与图神经网络的关系抽取方法

Country Status (1)

Country Link
CN (1) CN117252264B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118171727A (zh) * 2024-05-16 2024-06-11 神思电子技术股份有限公司 三元组的生成方法、装置、设备、介质及程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580328A (zh) * 2020-12-11 2021-03-30 上海明略人工智能(集团)有限公司 事件信息的抽取方法及装置、存储介质、电子设备
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN114547298A (zh) * 2022-02-14 2022-05-27 大连理工大学 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质
CN114637827A (zh) * 2021-12-04 2022-06-17 电子科技大学长三角研究院(湖州) 一种基于图神经网络的碳交易文本事件抽取方法
CN114722820A (zh) * 2022-03-21 2022-07-08 河海大学 基于门控机制和图注意力网络的中文实体关系抽取方法
CN115422945A (zh) * 2022-09-19 2022-12-02 福州大学 一种融合情感挖掘的谣言检测方法及系统
CN115858788A (zh) * 2022-12-19 2023-03-28 福州大学 基于双重图卷积神经网络的视角级文本情感分类系统
CN116011429A (zh) * 2023-01-12 2023-04-25 山东师范大学 基于图神经网络的情感三元组提取方法及系统
CN116521882A (zh) * 2023-05-30 2023-08-01 中国人民解放军战略支援部队信息工程大学 基于知识图谱的领域长文本分类方法及系统
CN116881434A (zh) * 2023-07-12 2023-10-13 电子科技大学 一种基于混合剪枝与注意力图卷积网络的实体关系抽取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580328A (zh) * 2020-12-11 2021-03-30 上海明略人工智能(集团)有限公司 事件信息的抽取方法及装置、存储介质、电子设备
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN114637827A (zh) * 2021-12-04 2022-06-17 电子科技大学长三角研究院(湖州) 一种基于图神经网络的碳交易文本事件抽取方法
CN114547298A (zh) * 2022-02-14 2022-05-27 大连理工大学 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质
CN114722820A (zh) * 2022-03-21 2022-07-08 河海大学 基于门控机制和图注意力网络的中文实体关系抽取方法
CN115422945A (zh) * 2022-09-19 2022-12-02 福州大学 一种融合情感挖掘的谣言检测方法及系统
CN115858788A (zh) * 2022-12-19 2023-03-28 福州大学 基于双重图卷积神经网络的视角级文本情感分类系统
CN116011429A (zh) * 2023-01-12 2023-04-25 山东师范大学 基于图神经网络的情感三元组提取方法及系统
CN116521882A (zh) * 2023-05-30 2023-08-01 中国人民解放军战略支援部队信息工程大学 基于知识图谱的领域长文本分类方法及系统
CN116881434A (zh) * 2023-07-12 2023-10-13 电子科技大学 一种基于混合剪枝与注意力图卷积网络的实体关系抽取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUANG, XIAOFENG.ET: "RECA: Relation Extraction Based on Cross-Attention Neural Network", 《ELECTRONICS》 *
吴海鹏等: "基于双向注意力机制的多模态关系抽取方法研究", 《计算机工程》 *
张翠;周茂杰;杨志清;: "融合句法依存树注意力的关系抽取研究", 广东通信技术, no. 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118171727A (zh) * 2024-05-16 2024-06-11 神思电子技术股份有限公司 三元组的生成方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
CN117252264B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN111144131B (zh) 一种基于预训练语言模型的网络谣言检测方法
CN111241294B (zh) 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN106484674B (zh) 一种基于深度学习的中文电子病历概念抽取方法
CN107729311B (zh) 一种融合文本语气的中文文本特征提取方法
CN112883738A (zh) 基于神经网络和自注意力机制的医学实体关系抽取方法
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
CN111061843A (zh) 一种知识图谱引导的假新闻检测方法
CN110033008B (zh) 一种基于模态变换与文本归纳的图像描述生成方法
CN117252264B (zh) 一种结合语言模型与图神经网络的关系抽取方法
CN110765775A (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN110083710A (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
CN115422939B (zh) 一种基于大数据的细粒度商品命名实体识别方法
CN111966812A (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112434686B (zh) 针对ocr图片的端到端含错文本分类识别仪
CN112800184B (zh) 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN114969304A (zh) 基于要素图注意力的案件舆情多文档生成式摘要方法
CN117236335B (zh) 基于提示学习的两阶段命名实体识别方法
CN112287240A (zh) 基于双嵌入多层卷积神经网络的案件微博评价对象抽取方法及装置
CN115906816A (zh) 一种基于Bert的双通道Attention模型的文本情感分析方法
CN112528989B (zh) 一种图像语义细粒度的描述生成方法
CN114116974A (zh) 一种基于注意力机制的情感原因提取方法
CN117668292A (zh) 一种跨模态敏感信息识别方法
CN113449517B (zh) 基于bert门控多窗口注意力网络模型的实体关系抽取方法
CN113901172B (zh) 基于关键词结构编码的涉案微博评价对象抽取方法
CN112464673B (zh) 融合义原信息的语言含义理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant