CN115270809A - 基于多模态语义融合的中文关系抽取方法及系统 - Google Patents

基于多模态语义融合的中文关系抽取方法及系统 Download PDF

Info

Publication number
CN115270809A
CN115270809A CN202210844389.2A CN202210844389A CN115270809A CN 115270809 A CN115270809 A CN 115270809A CN 202210844389 A CN202210844389 A CN 202210844389A CN 115270809 A CN115270809 A CN 115270809A
Authority
CN
China
Prior art keywords
chinese
semantics
semantic
features
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210844389.2A
Other languages
English (en)
Inventor
刘嵩
巩京昊
来庆涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210844389.2A priority Critical patent/CN115270809A/zh
Publication of CN115270809A publication Critical patent/CN115270809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种基于多模态语义融合的中文关系抽取方法及系统，涉及信息抽取技术领域，该方法包括：获取中文句子，以及该中文句子对应的实体；提取中文句子中每个中文字符的文本语义、形状语义和结构语义；通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；根据多模态语义特征，确定实体之间的中文关系。这样，利用中文字符的形状语义和结构语义来丰富中文句子的语境信息，可以在中文关系抽取中减少中文歧义性的影响，提高中文关系抽取效果。

Description

基于多模态语义融合的中文关系抽取方法及系统
技术领域
本申请涉及信息抽取技术领域，尤其涉及一种基于多模态语义融合的中文关系抽取方法及系统。
背景技术
本部分的陈述仅仅是提供了与本申请相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
随着移动互联网、智能手机以及社交网络的发展，出现了海量的中文文本信息。从海量中文文本中抽取有用的知识是一项费时费力的任务，所以有效的中文关系抽取方法就显得尤为重要。
传统的中文关系抽取采用模式匹配的方法，其效率不高，耗用时间长。之后，出现以机器学习和深度学习技术为代表的关系抽取方法，如支持向量机，卷积神经网络，循环神经网络，图神经网络，注意力机制等。但是，由于中文结构复杂，具有歧义性，相同的实体在不同语境下具有不同的关系信息，因此现有的中文关系抽取方法受中文歧义性影响较大，难以准确地抽取实体之间的关系。特别是，汉字由象形文字演变而来，其象形结构本身包含部分语义信息，而现有的关系抽取方法并没有充分使用汉字的象形文字语义来辅助抽取实体之间的关系。
发明内容
为了解决上述问题，本申请提供一种基于多模态语义融合的中文关系抽取方法及系统，通过提取中文句子的形状语义和结构语义，并将其与文本语义融合进行中文关系抽取，以丰富中文句子的语境信息，提高中文关系抽取效果。
为了实现上述目的，本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种基于多模态语义融合的中文关系抽取方法，包括：
获取中文句子，以及该中文句子对应的实体；
提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义；
通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；
根据所述多模态语义特征，确定实体之间的中文关系。
在一种可能的实施方式中，通过以下方式提取中文句子中每个中文字符的文本语义：对所述中文句子进行处理，得到中文字符向量；计算每个中文字符与实体之间的相对距离，得到位置向量；将所述中文字符向量和位置向量进行拼接，并输入至MG-Lattice模型中提取文本语义。
在一种可能的实施方式中，MG-Lattice模型在提取文本语义时，还以中文字符作为关键词，搜索相关词，通过查找预训练的词语向量表得到相关词的词语向量；将词语向量与中文字符向量一起输入至MG-Lattice模型中提取文本语义。
在一种可能的实施方式中，获取所述中文句子中每个中文字符的多种字体图像，根据多种所述字体图像提取中文句子中每个中文字符的形状语义和结构语义。
在一种可能的实施方式中，将中文字符的每种字体图像视为一个通道，每个中文字符具有多通道的图像表示，经过卷积神经网络提取图像特征，并输入至双向长短期记忆模型中提取形状语义。
在一种可能的实施方式中，针对每一个中文字符，分别将各字体图像输入至主邻域聚合网络中，读出为一个字体单向量，将各字体单向量拼接起来得到该中文字符对应的单向量表示；按照中文句子中的中文字符的顺序，将单向量表示输入到双向长短期记忆模型中提取结构语义。
在一种可能的实施方式中，在对形状语义和结构语义进行编码之前，还包括：计算形状语义的相关性概率，当形状语义的相关性概率不小于预设阈值时，对形状语义进行编码；或者，计算结构语义的相关性概率，当结构语义的相关性概率不小于预设阈值时，对结构语义进行编码。
第二方面，本申请实施例提供一种基于多模态语义融合的中文关系抽取系统，包括：
获取模块，用于获取中文句子，以及该中文句子对应的实体；
语义提取模块，用于提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义；
特征融合模块，用于通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；
中文关系确定模块，用于根据所述多模态语义特征，确定实体之间的中文关系。
第三方面，本申请实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于多模态语义融合的中文关系抽取方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于多模态语义融合的中文关系抽取方法的步骤。
本申请提供了一种基于多模态语义融合的中文关系抽取方法及系统，该方法通过提取中文句子中每个中文字符的文本语义、形状语义和结构语义；通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的形状语义和结构语义进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；根据所述多模态语义特征，确定实体之间的中文关系。这样，利用中文象形语义(形状语义和结构语义) 来丰富中文句子的语境信息，可以在中文关系抽取中减少中文歧义性的影响，提高中文关系抽取效果。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本申请实施例所提供的基于多模态语义融合的中文关系抽取方法的流程示意图之一；
图2是本发明实施例所提供的基于多模态语义融合的中文关系抽取方法的流程示意图之二；
图3是本申请实施例所提供的主辅融合模块结构图；
图4是本申请实施例所提供的中文字符处理示例图；
图5是本申请实施例所提供的形状语义提取模块结构图；
图6是本申请实施例所提供的结构语义提取模块结构图；
图7是本申请实施例所提供的基于多模态语义融合的中文关系抽取系统的结构示意图；
图8是本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图与实施例对本申请作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
目前的中文关系抽取方法受中文歧义性影响较大，而且现存的中文关系抽取方法忽视了对中文象形语义的利用，其次，缺少有效的多模态语义融合方法来融合象形语义与文本语义。本实施例提供一种基于多模态语义融合的中文关系抽取方法及系统，通过提取中文句子的形状语义和结构语义，并将其与文本语义融合进行中文关系抽取，以丰富中文句子的语境信息，提高中文关系抽取效果。
请参阅图1和图2，如图1中所示，本实施例所提供的基于多模态语义融合的中文关系抽取方法，具体包括以下步骤：
S101：获取中文句子，以及该中文句子对应的实体。
在具体实施中，给定一个中文句子Sen＝{sen1,...,senn}(seni表示一个中文字符)和对应的实体，这里，n为中文字符的数量。举例而言，中文句子“北京属于中国”，对应的实体为“北京”和“中国”，“属于”是两个实体之间的关系。
S102：提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义。
在具体实施中，分别从中文句子中提取出每个中文字符对应的文本语义、形状语义和结构语义。如图2中所示，利用MG-Lattice模型提取中文句子的文本语义，利用形状语义抽取模块提取中文句子的形状语义，利用结构语义抽取模块提取中文句子的结构语义。
S103：通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征。
在具体实施中，基于启发式思考，文本语义在语义提取过程中考虑了预训练信息，相比于形状语义和结构语义包含更多的语义特征。因此，使用文本语义作为主要特征，以形状语义和结构语义作为辅助特征，在融合时通过辅助特征优化文本语义的特征分布。目前，Transformer网络在许多任务中展示了强大的学习语义分布的能力。在本实施例中，引入并改进了Transformer网络来完成多模态语义特征融合。如图3中所示，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征。
S104：根据所述多模态语义特征，确定实体之间的中文关系。
在具体实施中，根据融合后的多模态语义特征，确定实体之间的中文关系。这样，利用中文象形语义(形状语义和结构语义)来丰富中文句子的语境信息，可以在中文关系抽取中减少中文歧义性的影响，提高中文关系抽取效果。
本申请实施例中，作为一可选实施方式，通过以下方式提取中文句子中每个中文字符的文本语义：对所述中文句子进行处理，得到中文字符向量；计算每个中文字符与实体之间的相对距离，得到位置向量；将所述中文字符向量和位置向量进行拼接，并输入至MG-Lattice模型中提取文本语义。
在具体实施中，为了能够得到多粒度的词嵌入，本实施例采用字符集嵌入和单词嵌入两种方式。首先读取预训练的单词向量，进而通过word2vec得到每个中文字符映射的中文字符向量。此外，还考虑中文字符与实体间的位置信息，进而可以更好的表示中文的语义表示。例如，给定两个实体e1和e2。我们通过下式来获得相对距离
Figure RE-GDA0003856589400000061
和
Figure RE-GDA0003856589400000062
Figure RE-GDA0003856589400000063
其中，
Figure RE-GDA0003856589400000071
和
Figure RE-GDA0003856589400000072
是实体e1的开始位置和结束位置。计算
Figure RE-GDA0003856589400000073
的方法与
Figure RE-GDA0003856589400000074
相同。之后，使用一层多层感知机(MLP)将位置
Figure RE-GDA0003856589400000075
和
Figure RE-GDA0003856589400000076
映射为dp维向量。拼接中文字符向量与位置向量并将其输入MG-Lattice模型中提取文本语义特征。为了减轻中文歧义对中文关系抽取的影响，MG-Lattice模型在提取文本语义时，还以中文字符作为关键词，在HowNet中搜索所有相关词，进而通过查找预训练的词语向量表得到词语向量。然后，将多粒度词语向量与中文字符向量一起输入 MG-Lattice模型中提取字符级语义信息。此外，MG-Lattice模型在信息传播过程中还使用注意力机制聚合对中文歧义词的语义。这里，我们使用下式来定义文本语义抽取模块的语义提取过程：
T＝TextSemanticsExtrationModule(Sen)；
其中，文本语义
Figure RE-GDA0003856589400000077
经过数千年的演变，汉字已经从纯象形文字演变成了简体文字，每一次汉字变化都不可避免地在一定程度上损失掉部分象形文字信息。汉字的不同字体中包含的象形语义不尽相同，尤其是类似于甲骨文的字体，包含的象形语义更具体。因此，作为一可选实施方式，获取所述中文句子中每个中文字符的多种字体图像，根据多种所述字体图像提取中文句子中每个中文字符的形状语义和结构语义。
在具体实施中，使用六种汉字字体(金文、隶文、篆书、繁体中文、简体中文和草书)来生成字体图像，生成的字体图像如图4中(a)部分所示。
接下来，将这些字体图像输入形状语义提取模块来提取形状语义。将中文字符的每种字体图像视为一个通道，每个中文字符具有多通道的图像表示，经过卷积神经网络提取图像特征，并输入至双向长短期记忆模型中提取形状语义。
在具体实施中，如图5中所示，根据给定的句子Sen，将得到的每个汉字的每种字体图像视为一个通道，因此，每个汉字具有一个六通道的图片表示。接下来，使用CNN提取中文的图像信息，使用卷积核大小为2的最大池化层来选择图像特征。然后，使用两个全连接层并将其输出输入双向长短期记忆模型(Bi-directional Long Short-Term Memory，BiLSTM)，提取中文形状语义信息。下式定义了该模块的提取流程：
I＝ShapeSemanticsExtrationModule(Sen)
其中，形状语义
Figure RE-GDA0003856589400000081
与形状语义相比，汉字的象形文字信息更多地存在于其拓扑结构中(如中文的偏旁、部首和造字结构)。而且，拓扑结构语义可以理解为一种全局语义特征，可以更好地反映汉字的整体结构语义。然而，手工标记汉字的拓扑结构将消耗巨大的人力和时间成本。因此，提取中文的结构信息非常具有挑战性。
为了自动化生成汉字的拓扑结构图，采用超像素分割算法和K最近邻 (k-NearestNeighbork，NN)分类算法来提取汉字的结构。为了摒弃掉无用的超像素点(防止无用点建立的边连接引入汉字结构噪声)，只保留超像素值大于或等于0.5的超像素点，汉字的超像素图片如图4中(b)部分所示。最后，根据超像素点之间距离的远近，使用KNN聚类k近邻超像素点并建立连接边，当生成的连接边权重大于或等于0.5时，即保留该连接边，生成的汉字结构如图4 中(c)部分所示。
不同汉字的拓扑结构有一定的相似之处，即部分拓扑结构包含一定语义信息。针对结构语义提取，使用图神经网络提取汉字的结构语义。但是传统的图神经网络存在过平滑的缺点，导致对提取的中文结构区分能力不强。因此，引入当前对处理过平滑问题处理较强的图神经网络PNA来提取汉字的结构特征。主邻域聚合(PNA，Principal NeighbourhoodAggregation)网络使用四种聚合器(平均值聚合器、最大值聚合器、最小值聚合器和标准差聚合器)与一个基于度的缩放器相结合，能够解决过平滑问题。将d定义为节点的度，γ是一个变量参数，下式定义了基于度的缩放器的数学形式：
Figure RE-GDA0003856589400000082
式中，
Figure RE-GDA0003856589400000083
ψ(d,γ)是在d＞0条件下的单射函数。聚合邻接节点信息的方法如图6右侧部分所示。
PNA聚合邻接节点信息如下式所示：
Figure RE-GDA0003856589400000091
式中，Is表示不进行缩放，
Figure RE-GDA0003856589400000092
定义了张量相乘操作，
Figure RE-GDA00038565894000000910
定义了张量相乘操作。进一步，通过下式来定义PNA提取汉字结构信息的过程：
Figure RE-GDA0003856589400000093
式中，l是PNA的当前层，
Figure RE-GDA0003856589400000094
是一层MLP。如图6中左边部分所示，不同中文字体的结构差异较大。因此，使用6个PNA分别处理6个汉字字体图，并通过读出操作将一个汉字的六种字体图读出为一个字体单向量。然后，将6个已读出的字体单向量拼接起来，进而得到每个汉字的结构信息的单向量表示。最后，根据句子中汉字的顺序，将这些单个向量输入到BiLSTM中提取中文结构语义。下式定义了该模块的提取流程：
S＝StructureSemanticsExtractionModule(Sen)
式中，结构语义
Figure RE-GDA0003856589400000095
多模态语义融合模型具体通过以下方式融合多模态语义特征：
采用NI层图像编码器的对形状语义进行编码，其形式化定义如下式所示：
Figure RE-GDA0003856589400000096
式中，
Figure RE-GDA0003856589400000097
设置NI＝6，
Figure RE-GDA0003856589400000098
是图像编码器的隐藏层输出。与图像编码器类似，结构图编码器可以被定义为下式：
Figure RE-GDA0003856589400000099
式中，
Figure RE-GDA0003856589400000101
设置NG＝6，
Figure RE-GDA0003856589400000102
是结构图编码器的隐藏层输出。然后拼接两种特征来得到辅助特征
Figure RE-GDA0003856589400000103
这里，向量a1由
Figure RE-GDA0003856589400000104
和
Figure RE-GDA0003856589400000105
拼接得到，同样的，向量an由
Figure RE-GDA0003856589400000106
和
Figure RE-GDA0003856589400000107
拼接得到。
作为一可选实施方式，在对形状语义和结构语义进行编码之前，还包括：计算形状语义的相关性概率，当形状语义的相关性概率不小于预设阈值时，对形状语义进行编码；或者，计算结构语义的相关性概率，当结构语义的相关性概率不小于预设阈值时，对结构语义进行编码。
在具体实施中，不同于文本语义包含丰富的语义信息，形状语义和结构语义包含的语义信息较少。因此，本实施例动态选取对后续融合有用的形状语义和结构语义。此外，在不同的汉语句子中，字形对关系的影响主要存在于少数几个中文字符中，并不是句子中所有汉字的象形信息对关系都有促进作用。因此，提出在训练模型过程中动态地选择部分有用的象形语义信息作为辅助信息来优化文本语义信息分布，并设计相应的动态语义信息选择器，如下式所示：
P(c)＝Sigmoid(Wxglyph+bglyph)；
其中，xglyph在结构语义中表示结构语义向量，在形状语义中表示形状语义向量；bglyph表示对应的结构语义和形状语义中的相应的偏置；W表示权重。
通过一层MLP和sigmoid函数来计算出每个汉字形状的相关性概率，和结构语义的相关性概率，当相关性概率大于或等于0.5时，该结构或形状语义会被输入到融合模块，否则，被舍弃。
传统的Transformer网络中的解码器并不适合用于主辅特征融合。因此，本实施例通过主辅注意力机制设计了新的解码器，进而来融合这三种模态特征。首先，将文本语义特征输入解码器，通过多头自注意力和归一化处理，得到可进行融合的主要特征Q。为了进一步优化Q的特征分布，采用细粒度注意力机制并通过融合辅助特征来进行微调。形式化定义注意力矩阵M，Mij表示Q中第 i个特征向量与A中第j个特征向量的相关程度，Mij的计算方法如下式中所示：
Mij＝QAT；
然后，使用Softmax函数来对M中的每一行进行归一化操作，如下式所示：
Figure RE-GDA0003856589400000111
进一步，通过以下公式获得细粒度注意力的输出：
Fg＝MA；
其中，
Figure RE-GDA0003856589400000112
接下来，使用一个单层MLP来优化主要特征分布，计算方法如下所示：
Fi＝Tanh((Fgi+Qi)Wf+bf)；
其中，
Figure RE-GDA0003856589400000113
Wf和bf是可训练的参数。最终，通过归一化和前馈网络来得到融合后的语义特征
Figure RE-GDA0003856589400000114
这样，基于主辅注意力的Transformer网络可以更好地融合中文文本语义和象形语义，编解码器的设计增强了不同模态语义的交互性，使得模型能够进一步提取关系语义。
在融合时，将文本语义视为主要特征，象形语义视为辅助特征。首先，使用两个独立的encoder来分别提取形状和结构语义信息。之后，通过拼接得到中文象形语义。为了有效融合中文的文本语义和象形语义，在decoder中使用主辅注意力机制来融合两种模态语义。基于主辅注意力机制，通过象形语义来得到细粒度注意力矩阵，进而通过细粒度象形语义来优化文本语义的特征分布，提高其表达能力。
在学习到融合后的特征FD后，通过注意力机制来聚合句子语境信息，其聚合公式如下两式所示：
α＝Softmax(wTTanh(FD))；
fD *＝FDαT；
其中，w是可训练的参数，α是注意力系数。最后，我们通过一层MLP和 softmax来进行关系分类，下式定义了其计算方法：
Figure RE-GDA0003856589400000121
其中，Wr和br是可训练的参数，y是每种关系类型的预测概率。这里，本实施例所使用的数据集中共存在9种关系类型，包括“Located”，“Part-Whole”，“Family”，“Social”，“Use”，“Create”，“General-Special”，“Ownership”，“Near”和“Other”。通过计算得到的概率值来确定实体之间的中文关系。
为了优化模型参数，使用交叉熵损失函数计算loss,并使用Adam优化器通过反向传播优化模型参数。
请参阅图7，本申请实施例还提供一种基于多模态语义融合的中文关系抽取系统，所述中文关系抽取系统700，包括：
获取模块710，用于获取中文句子，以及该中文句子对应的实体；
语义提取模块720，用于提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义；
特征融合模块730，用于通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；
中文关系确定模块740，用于根据所述多模态语义特征，确定实体之间的中文关系。
本实施例提供的基于多模态语义融合的中文关系抽取系统用于实现前述的基于多模态语义融合的中文关系抽取方法，因此基于多模态语义融合的中文关系抽取系统的具体实施方式可见前文中的基于多模态语义融合的中文关系抽取方法的实施例部分，在此不再进行赘述。
请参阅图8，图8是本申请实施例的一种计算机设备的示意图。如图8中所示，所述计算机设备800包括处理器810、存储器820和总线830。
所述存储器820存储有所述处理器810可执行的机器可读指令，当计算机设备800运行时，所述处理器810与所述存储器820之间通过总线830通信，所述机器可读指令被所述处理器810执行时，可以执行如上述图1所示方法实施例中的基于多模态语义融合的中文关系抽取方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的基于多模态语义融合的中文关系抽取方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多模态语义融合的中文关系抽取方法，其特征在于，包括：
获取中文句子，以及该中文句子对应的实体；
提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义；
通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；
根据所述多模态语义特征，确定实体之间的中文关系。
2.如权利要求1所述的基于多模态语义融合的中文关系抽取方法，其特征在于，通过以下方式提取中文句子中每个中文字符的文本语义：对所述中文句子进行处理，得到中文字符向量；计算每个中文字符与实体之间的相对距离，得到位置向量；将所述中文字符向量和位置向量进行拼接，并输入至MG-Lattice模型中提取文本语义。
3.如权利要求2所述的基于多模态语义融合的中文关系抽取方法，其特征在于，MG-Lattice模型在提取文本语义时，还以中文字符作为关键词，搜索相关词，通过查找预训练的词语向量表得到相关词的词语向量；将词语向量与中文字符向量一起输入至MG-Lattice模型中提取文本语义。
4.如权利要求1所述的基于多模态语义融合的中文关系抽取方法，其特征在于，获取所述中文句子中每个中文字符的多种字体图像，根据多种所述字体图像提取中文句子中每个中文字符的形状语义和结构语义。
5.如权利要求4所述的基于多模态语义融合的中文关系抽取方法，其特征在于，将中文字符的每种字体图像视为一个通道，每个中文字符具有多通道的图像表示，经过卷积神经网络提取图像特征，并输入至双向长短期记忆模型中提取形状语义。
6.如权利要求4所述的基于多模态语义融合的中文关系抽取方法，其特征在于，针对每一个中文字符，分别将各字体图像输入至主邻域聚合网络中，读出为一个字体单向量，将各字体单向量拼接起来得到该中文字符对应的单向量表示；按照中文句子中的中文字符的顺序，将单向量表示输入到双向长短期记忆模型中提取结构语义。
7.如权利要求1所述的基于多模态语义融合的中文关系抽取方法，其特征在于，在对形状语义和结构语义进行编码之前，还包括：计算形状语义的相关性概率，当形状语义的相关性概率不小于预设阈值时，对形状语义进行编码；或者，计算结构语义的相关性概率，当结构语义的相关性概率不小于预设阈值时，对结构语义进行编码。
8.一种基于多模态语义融合的中文关系抽取系统，其特征在于，包括：
获取模块，用于获取中文句子，以及该中文句子对应的实体；
语义提取模块，用于提取所述中文句子中每个中文字符的文本语义、形状语义和结构语义；
特征融合模块，用于通过改进的Transformer网络构建多模态语义融合模型，分别对形状语义和结构语义进行编码，将编码后的语义特征进行拼接得到辅助特征，并将文本语义作为主要特征，根据主要特征和辅助特征之间的相关系数，优化主要特征的特征分布，进而得到融合后的多模态语义特征；
中文关系确定模块，用于根据所述多模态语义特征，确定实体之间的中文关系。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的基于多模态语义融合的中文关系抽取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于多模态语义融合的中文关系抽取方法的步骤。
CN202210844389.2A 2022-07-18 2022-07-18 基于多模态语义融合的中文关系抽取方法及系统 Pending CN115270809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844389.2A CN115270809A (zh) 2022-07-18 2022-07-18 基于多模态语义融合的中文关系抽取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844389.2A CN115270809A (zh) 2022-07-18 2022-07-18 基于多模态语义融合的中文关系抽取方法及系统

Publications (1)

Publication Number Publication Date
CN115270809A true CN115270809A (zh) 2022-11-01

Family

ID=83768641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844389.2A Pending CN115270809A (zh) 2022-07-18 2022-07-18 基于多模态语义融合的中文关系抽取方法及系统

Country Status (1)

Country Link
CN (1) CN115270809A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486420A (zh) * 2023-04-12 2023-07-25 北京百度网讯科技有限公司 文档图像的实体抽取方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486420A (zh) * 2023-04-12 2023-07-25 北京百度网讯科技有限公司 文档图像的实体抽取方法、装置及存储介质
CN116486420B (zh) * 2023-04-12 2024-01-12 北京百度网讯科技有限公司 文档图像的实体抽取方法、装置及存储介质

Similar Documents

Publication Publication Date Title
EP3660733B1 (en) Method and system for information extraction from document images using conversational interface and database querying
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与系统
CN111709243B (zh) 一种基于深度学习的知识抽取方法与装置
CN110210043B (zh) 文本翻译方法、装置、电子设备及可读存储介质
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
WO2021204014A1 (zh) 一种模型训练的方法及相关装置
CN106776548A (zh) 一种文本的相似度计算的方法和装置
CN114757182A (zh) 一种改进训练方式的bert短文本情感分析方法
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN113051368B (zh) 双塔模型训练方法、检索方法、装置及电子设备
CN113032541B (zh) 一种基于bert并融合句群检索的答案抽取方法
CN112861524A (zh) 一种基于深度学习的多层次中文细粒度情感分析方法
CN114791958B (zh) 一种基于变分自编码器的零样本跨模态检索方法
CN113553848A (zh) 长文本分类方法、系统、电子设备、计算机可读存储介质
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN112200664A (zh) 基于ernie模型和dcnn模型的还款预测方法
CN112329482A (zh) 机器翻译方法、装置、电子设备和可读存储介质
CN114973229B (zh) 文本识别模型训练、文本识别方法、装置、设备及介质
CN114757184B (zh) 实现航空领域知识问答的方法和系统
CN114298055B (zh) 基于多级语义匹配的检索方法、装置、计算机设备和存储介质
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN115270809A (zh) 基于多模态语义融合的中文关系抽取方法及系统
CN115374325A (zh) 网站分类方法、装置、分类设备及存储介质
CN112084788B (zh) 一种影像字幕隐式情感倾向自动标注方法及系统
US20230394240A1 (en) Method and apparatus for named entity recognition, and non-transitory computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination