CN113626608A - 增强语义的关系抽取方法、装置、计算机设备及存储介质 - Google Patents

增强语义的关系抽取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113626608A
CN113626608A CN202111188258.5A CN202111188258A CN113626608A CN 113626608 A CN113626608 A CN 113626608A CN 202111188258 A CN202111188258 A CN 202111188258A CN 113626608 A CN113626608 A CN 113626608A
Authority
CN
China
Prior art keywords
vector
vector matrix
word
information
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111188258.5A
Other languages
English (en)
Other versions
CN113626608B (zh
Inventor
陈永红
张日
张军涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN202111188258.5A priority Critical patent/CN113626608B/zh
Priority to PCT/CN2021/124642 priority patent/WO2023060633A1/zh
Publication of CN113626608A publication Critical patent/CN113626608A/zh
Application granted granted Critical
Publication of CN113626608B publication Critical patent/CN113626608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了增强语义的关系抽取方法、装置、计算机设备及存储介质。该方法包括：将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；将第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；将第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵。本发明在transformer模型的不同阶段加入了不同的学习任务，使得transformer模型的输出蕴含了词性信息、实体类别信息、句子结构信息和词语间依存关系，具有在关系抽取任务上取得的效果更好的优点。

Description

增强语义的关系抽取方法、装置、计算机设备及存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种增强语义的关系抽取方法、装置、计算机设备及存储介质。
背景技术
在关系抽取任务中，现有的方法大多都是直接使用实体对的embedding（用一个低维的向量表示一个物体）信息结合句子的embedding信息做分类，这些embedding信息非常有限，忽略了实体对本身的所属类型信息、句子的词性信息以及依存关系树的结构信息，这些信息对于实体对的关系指向有着很重要的作用，但仅仅依靠模型很难学习到。
发明内容
本发明的目的是提供一种增强语义的关系抽取方法、装置、计算机设备及存储介质，旨在解决现有关系抽取任务中的参数学习不足，导致关系抽取的效果还有待提高的问题。
为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种增强语义的关系抽取方法，其包括：
将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；
将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；
将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵；
将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
另外，本发明要解决的技术问题是还在于提供一种增强语义的关系抽取装置，其特征在于，包括：
词性分类单元，用于将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；
实体分类单元，用于将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；
依存关系解析单元，用于将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵；
卷积单元，用于将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的增强语义的关系抽取方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的增强语义的关系抽取方法。
本发明实施例公开了一种增强语义的关系抽取方法、装置、计算机设备及存储介质。该方法包括：将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；将第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；将第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵。本发明实施例在transformer模型的不同阶段加入了不同的学习任务，使得transformer模型的输出蕴含了词性信息、实体类别信息、句子结构信息和词语间依存关系，具有在关系抽取任务上取得的效果更好的优点。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的增强语义的关系抽取的流程示意图；
图2为本发明实施例提供的增强语义的关系抽取的子流程示意图；
图3为本发明实施例提供的增强语义的关系抽取的又一子流程示意图；
图4为本发明实施例提供的增强语义的关系抽取的又一子流程示意图；
图5为本发明实施例提供的增强语义的关系装置的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的增强语义的关系抽取方法的流程示意图；
如图1所示，该方法包括步骤S101~S104。
S101、将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵。
该步骤中，在transformer模型的最底层学习句子的词性信息，专注于句子最细粒度结构信息的学习，能有效提高transformer模型对全局信息的抽取。
S102、将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵。
该步骤中，在transformer模型的中间层学习句子中实体的类别信息，实体的类别信息对于解析出实体关系有着很大的促进作用。
S103、将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵。
该步骤中，在transformer模型的最高层学习句子的结构信息以及词语间的依存关系，还能帮助句子对无关信息做进一步的过滤，获取更精准的上下文信息。
S104、将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
该步骤中采用CNN卷积神经网络对经过不同层学习后的句子的向量做卷积，实现局部和全局相结合，能更好的提取实体间的关系。
本实施例在transformer模型的不同阶段加入了不同的学习任务，使得transformer模型的输出蕴含了词性信息、实体类别信息、句子结构信息和词语间依存关系，具有在关系抽取任务上取得的效果更好的优点。
在一实施例中，如图2所示，所述步骤S101包括：
S201、根据所述句子的原向量矩阵对句子进行分词得到每个词语的词性向量信息；
S202、对每个词语进行词性分类得到每个词语的词性类别信息；
S203、根据所述每个词语的词性向量信息和每个词语的词性类别信息得到包含有词性信息的第一向量矩阵。
本实施例中，句子中每个词语都有词性，比如名词、动词、形容词、副词等，词语之间的词性也有着相互影响的关系，如名词前面一般接形容词、动词前面一般是副词等等；在transformer模型的最底层中，对句子进行分词后，输出每个词语的词性向量信息，同时根据预先设置的多分类任务对每个词语进行词性分类，给每个词语打上词性的标签，举例来说，如句子：people have travelled into space,but not the deep ocean；词语{people，travelled，space}的标签为{NNS，VBN，NNP}；最终得到包含有词性信息的第一向量矩阵并作为后续transformer模型的中间层的输入。
具体的，所述步骤S202中预测每个词语的词性类别的计算公式为：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 685048DEST_PATH_IMAGE002
为第i个词性类别，
Figure DEST_PATH_IMAGE003
为第i个词语为第i个词性类别的概率，
Figure 245343DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
为线性分类器的参数，
Figure 813727DEST_PATH_IMAGE006
为原向量矩阵中第i个词语的词性向量信息。
将
Figure DEST_PATH_IMAGE007
、
Figure 826683DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
的带入上述公式，计算并得到第i个词语为各种词性类别的概率，选取最高概率值对应的词性类别作为第i个词语的词性类别。
在一实施例中，所述步骤S102包括：
根据所述第一向量矩阵对句子进行实体抽取并得到多个实体对；
按如下公式计算实体对的实体类别：
Figure 568243DEST_PATH_IMAGE010
；
其中，
Figure DEST_PATH_IMAGE011
为第i个实体类别，
Figure 983043DEST_PATH_IMAGE012
为第i个实体对为第i个实体类别的概率，
Figure 456750DEST_PATH_IMAGE013
和
Figure 222581DEST_PATH_IMAGE014
为线性分类器的参数，
Figure 502252DEST_PATH_IMAGE015
为第一向量矩阵中第i个实体对的向量信息；
根据所述实体对的实体类别得到包含实体类别信息的第二向量矩阵。
本实施例在transformer模型的中间层中，经过该层多头的self-attention（自注意力机制），将句子中两个实体单独抽出来做一个实体分类，判断其是否是人名、地名、机构名或者其他实体类别。以前述句子：people have travelled into space,but not thedeep ocean为例；实体对{people，space}的实体类型为{Group，Location}；具体的判断方式按上述实体对的实体类别的计算公式，将
Figure 240401DEST_PATH_IMAGE015
、
Figure 885009DEST_PATH_IMAGE013
和
Figure 341398DEST_PATH_IMAGE014
带入该计算公式，计算并得到第i个词语为各种实体类别的概率，选取最高概率值对应的实体类别作为第i个词语的实体类别。最终得到包含有实体类别信息的第二向量矩阵并作为后续transformer模型的最高层的输入。
在一实施例中，如图3所示，所述步骤S103包括：
S301、根据所述第二向量矩阵对句子结构进行解析，得到每个词语对应的语法关系；
S302、根据所述第二向量矩阵对词语间的依存关系进行解析，得到词语间的最小依存路径；
S303、根据所述每个词语对应的语法关系和词语间的最小依存路径，得到包含有句子结构信息和词语间依存关系的第三向量矩阵。
本实施例中，在transformer模型的最高层中，使用Bi-affine方法（双仿射注意力机制）学习对句子的依存关系树进行学习，使transformer模型能很好的学习到句子的结构信息以及词语间的依存关系，以前述句子：people have travelled into space,but notthe deep ocean为例，两个实体间的最小依存路径为{people←travelled→into→space}，获取了更多相关的信息，而后半句“but not the deep ocean”，则对于关系的解析帮助较小。由此可见，关系依存树的建立能帮助句子对无关信息做进一步的过滤，获取更精准的上下文信息。
所述步骤S301中每个词语对应的语法关系的计算公式为：
Figure DEST_PATH_IMAGE016
；
其中，
Figure 628023DEST_PATH_IMAGE017
为第i个语法关系，
Figure DEST_PATH_IMAGE018
为第i个词语为第i个语法关系的概率，
Figure 548575DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE020
为线性分类器的参数，
Figure 895242DEST_PATH_IMAGE021
为第二向量矩阵中第i个词语的向量信息，
Figure DEST_PATH_IMAGE022
为
Figure 104507DEST_PATH_IMAGE023
经过Bi-affine操作后的向量信息。
将
Figure DEST_PATH_IMAGE024
、
Figure 194823DEST_PATH_IMAGE025
和
Figure DEST_PATH_IMAGE026
带入上述语法关系的计算公式，计算并得到第i个词语为各种语法关系的概率，选取最高概率值对应的语法关系作为第i个词语的语法关系。
所述步骤S302中，按如下公式计算所述第二向量矩阵中每个词语的依存路径中的父节点：
Figure 438722DEST_PATH_IMAGE027
；
其中，
Figure DEST_PATH_IMAGE028
为第i个父节点，
Figure 487450DEST_PATH_IMAGE029
为第i个词语为第i个父节点的概率，
Figure DEST_PATH_IMAGE030
和
Figure 449589DEST_PATH_IMAGE031
和为线性分类器的参数，
Figure DEST_PATH_IMAGE032
为第三向量矩阵中第i个词语的向量信息，
Figure 835875DEST_PATH_IMAGE033
为
Figure DEST_PATH_IMAGE034
经过Bi-affine操作后的向量信息。
将
Figure 199860DEST_PATH_IMAGE035
、
Figure 91593DEST_PATH_IMAGE033
、
Figure DEST_PATH_IMAGE036
和
Figure 337766DEST_PATH_IMAGE037
带入上述计算公式，计算并得到第i个词语的依存路径中的各个父节点的概率，选取最高概率值对应的父节点作为第i个词语的父节点。最终得到包含有句子结构信息和词语间依存关系的第三向量矩阵作为transformer模型的最终输出。
transformer模型的每一层的结构都是由多头self-attention（自注意机制）组成，self-attention在学习词语之间的权重时与词间距离无关，每一个词语都能获取到句子全局的信息。
在一实施例中，如图4所示，所述步骤S104包括：
S401、将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接；
S402、对拼接后的向量进行卷积操作后输入最大值池化层进行池化；
S403、将池化后的向量输入softmax函数，输出句子的关系预测值。
本实施例中，按如下公式将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接：
Figure DEST_PATH_IMAGE038
；
Figure 769885DEST_PATH_IMAGE039
；
其中，
Figure DEST_PATH_IMAGE040
为第i个词向量的和其对应词位置向量的拼接向量，
Figure 457218DEST_PATH_IMAGE040
为第三向量矩阵中第i词语的词向量，
Figure 785431DEST_PATH_IMAGE041
表示原向量矩阵中第i个词语的词位置向量，
Figure 925426DEST_PATH_IMAGE042
表示对两个向量进行拼接，
Figure 630076DEST_PATH_IMAGE043
为整个句子的拼接向量，len为句子的长度。
拼接后的向量增加句子的空间位置信息，对拼接后的向量进行CNN卷积，CNN卷积操作使用卷积核对滑动窗口内的信息进行融合，即只对相邻词语的信息做聚合，局部和全局相结合，能更好的提取实体间的关系；卷积操作后输入最大值池化层进行池化，将池化后的向量输入softmax函数，输出句子的关系预测值。
本发明实施例还提供一种增强语义的关系抽取装置，该增强语义的关系抽取装置用于执行前述增强语义的关系抽取法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的增强语义的关系抽取装置的示意性框图。
如图5所示，增强语义的关系抽取装置500，包括：词性分类单元501、实体分类单元502、依存关系解析单元503以及卷积单元504。
词性分类单元501，用于将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；
实体分类单元502，用于将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；
依存关系解析单元503，用于将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵；
卷积单元504，用于将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
该装置在transformer模型的不同阶段加入了不同的学习任务，使得transformer模型的输出蕴含了词性信息、实体类别信息句子结构信息和词语间依存关系，具有在关系抽取任务上取得的效果更好的优点。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述增强语义的关系抽取装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备600是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备600包括通过系统总线601连接的处理器602、存储器和网络接口605，其中，存储器可以包括非易失性存储介质603和内存储器604。
该非易失性存储介质603可存储操作系统6031和计算机程序6032。该计算机程序6032被执行时，可使得处理器602执行增强语义的关系抽取方法。
该处理器602用于提供计算和控制能力，支撑整个计算机设备600的运行。
该内存储器604为非易失性存储介质603中的计算机程序6032的运行提供环境，该计算机程序6032被处理器602执行时，可使得处理器602执行增强语义的关系抽取方法。
该网络接口605用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备600的限定，具体的计算机设备600可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器602可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器602还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的增强语义的关系抽取方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种增强语义的关系抽取方法，其特征在于，包括：
将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；
将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；
将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵；
将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
2.根据权利要求1所述的增强语义的关系抽取方法，其特征在于，所述将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵，包括：
根据所述句子的原向量矩阵对句子进行分词得到每个词语的词性向量信息；
对每个词语进行词性分类得到每个词语的词性类别信息；
根据所述每个词语的词性向量信息和每个词语的词性类别信息得到包含有词性信息的第一向量矩阵。
3.根据权利要求2所述的增强语义的关系抽取方法，其特征在于，所述对每个词语进行词性分类得到每个词语的词性类别信息，包括：
按如下公式预测每个词语的词性类别：
Figure 597331DEST_PATH_IMAGE001
；
其中，
Figure 893183DEST_PATH_IMAGE002
为第i个词性类别，
Figure 254895DEST_PATH_IMAGE003
为第i个词语为第i个词性类别的概率，
Figure 497657DEST_PATH_IMAGE004
和
Figure 690741DEST_PATH_IMAGE005
为线性分类器的参数，
Figure 95178DEST_PATH_IMAGE006
为原向量矩阵中第i个词语的词性向量信息。
4.根据权利要求1所述的增强语义的关系抽取方法，其特征在于，所述将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵，包括：
根据所述第一向量矩阵对句子进行实体抽取并得到多个实体对；
按如下公式计算每一实体对的实体类别：
Figure 209764DEST_PATH_IMAGE007
；
其中，
Figure 787376DEST_PATH_IMAGE008
为第i个实体类别，
Figure 38229DEST_PATH_IMAGE009
为第i个实体对为第i个实体类别的概率，
Figure 879146DEST_PATH_IMAGE010
和
Figure 481028DEST_PATH_IMAGE011
为线性分类器的参数，
Figure 862331DEST_PATH_IMAGE012
为第一向量矩阵中第i个实体对的向量信息；
根据所述实体对的实体类别得到包含实体类别信息的第二向量矩阵。
5.根据权利要求1所述的增强语义的关系抽取方法，其特征在于，所述将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵，包括：
根据所述第二向量矩阵对句子结构进行解析，得到每个词语对应的语法关系；
根据所述第二向量矩阵对词语间的依存关系进行解析，得到词语间的最小依存路径；
根据所述每个词语对应的语法关系和词语间的最小依存路径，得到包含有句子结构信息和词语间依存关系的第三向量矩阵。
6.根据权利要求5所述的增强语义的关系抽取方法，其特征在于，所述根据所述第二向量矩阵对句子结构进行解析，得到每个词语对应的语法关系，包括：
按如下公式计算所述第二向量矩阵中每个词语的语法关系：
Figure 233270DEST_PATH_IMAGE013
；
其中，
Figure 245088DEST_PATH_IMAGE014
为第i个语法关系，
Figure 68687DEST_PATH_IMAGE015
为第i个词语为第i个语法关系的概率，
Figure 191364DEST_PATH_IMAGE016
和
Figure 213547DEST_PATH_IMAGE017
为线性分类器的参数，
Figure 396267DEST_PATH_IMAGE018
为第二向量矩阵中第i个词语的向量信息，
Figure 707162DEST_PATH_IMAGE019
为
Figure 633530DEST_PATH_IMAGE020
经过Bi-affine操作后的向量信息；
按如下公式计算所述第二向量矩阵中每个词语的依存路径中的父节点：
Figure 510219DEST_PATH_IMAGE021
；
其中，
Figure 129419DEST_PATH_IMAGE022
为第i个父节点，
Figure 662032DEST_PATH_IMAGE023
为第i个词语为第i个父节点的概率，
Figure 392090DEST_PATH_IMAGE024
和
Figure 123286DEST_PATH_IMAGE025
和为线性分类器的参数，
Figure 913387DEST_PATH_IMAGE026
为第三向量矩阵中第i个词语的向量信息，
Figure 198875DEST_PATH_IMAGE027
为
Figure 467046DEST_PATH_IMAGE028
经过Bi-affine操作后的向量信息。
7.根据权利要求1所述的增强语义的关系抽取方法，其特征在于，所述将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值，包括：
将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接；
对拼接后的向量进行卷积操作后输入最大值池化层进行池化；
将池化后的向量输入softmax函数，输出句子的关系预测值。
8.一种增强语义的关系抽取装置，其特征在于，包括：
词性分类单元，用于将句子的原向量矩阵输入transformer模型的最底层中进行词性分类，输出包含有词性信息的第一向量矩阵；
实体分类单元，用于将所述第一向量矩阵输入transformer模型的中间层进行实体分类，输出包含有实体类别信息的第二向量矩阵；
依存关系解析单元，用于将所述第二向量矩阵输入transformer模型的最高层进行依存关系解析，输出包含有句子结构信息和词语间依存关系的第三向量矩阵；
卷积单元，用于将所述第三向量矩阵中的词向量和该词向量对应在所述原向量矩阵中的词位置向量进行拼接，对拼接后的向量进行卷积并输出句子的关系预测值。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的增强语义的关系抽取的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的增强语义的关系抽取的方法。
CN202111188258.5A 2021-10-12 2021-10-12 增强语义的关系抽取方法、装置、计算机设备及存储介质 Active CN113626608B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111188258.5A CN113626608B (zh) 2021-10-12 2021-10-12 增强语义的关系抽取方法、装置、计算机设备及存储介质
PCT/CN2021/124642 WO2023060633A1 (zh) 2021-10-12 2021-10-19 增强语义的关系抽取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188258.5A CN113626608B (zh) 2021-10-12 2021-10-12 增强语义的关系抽取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113626608A true CN113626608A (zh) 2021-11-09
CN113626608B CN113626608B (zh) 2022-02-15

Family

ID=78391160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188258.5A Active CN113626608B (zh) 2021-10-12 2021-10-12 增强语义的关系抽取方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN113626608B (zh)
WO (1) WO2023060633A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405326B (zh) * 2023-06-07 2023-10-20 厦门瞳景智能科技有限公司 基于区块链的信息安全管理方法及其系统
CN117521656B (zh) * 2023-11-30 2024-05-07 成都信息工程大学 一种面向中文文本的端到端中文实体关系联合抽取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1081609A2 (en) * 1999-09-03 2001-03-07 Cognos Incorporated Metadata model
CN111581361A (zh) * 2020-04-22 2020-08-25 腾讯科技（深圳）有限公司 一种意图识别方法及装置
CN112084793A (zh) * 2020-09-14 2020-12-15 深圳前海微众银行股份有限公司 基于依存句法的语义识别方法、设备和可读存储介质
WO2021072852A1 (zh) * 2019-10-16 2021-04-22 平安科技（深圳）有限公司 序列标注方法、系统和计算机设备
CN113221539A (zh) * 2021-07-08 2021-08-06 华东交通大学 一种集成句法信息的嵌套命名实体识别方法与系统
CN113239186A (zh) * 2021-02-26 2021-08-10 中国科学院电子学研究所苏州研究院 一种基于多依存关系表示机制的图卷积网络关系抽取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027309B (zh) * 2019-12-05 2023-05-23 电子科技大学广东电子信息工程研究院 一种基于双向长短期记忆网络的实体属性值的抽取方法
CN111291161A (zh) * 2020-02-20 2020-06-16 平安科技（深圳）有限公司 法律案件知识图谱查询方法、装置、设备及存储介质
CN111898364B (zh) * 2020-07-30 2023-09-26 平安科技（深圳）有限公司 神经网络关系抽取方法、计算机设备及可读存储介质
CN112989796B (zh) * 2021-03-10 2023-09-22 北京大学 一种基于句法指导的文本命名实体信息识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1081609A2 (en) * 1999-09-03 2001-03-07 Cognos Incorporated Metadata model
WO2021072852A1 (zh) * 2019-10-16 2021-04-22 平安科技（深圳）有限公司 序列标注方法、系统和计算机设备
CN111581361A (zh) * 2020-04-22 2020-08-25 腾讯科技（深圳）有限公司 一种意图识别方法及装置
CN112084793A (zh) * 2020-09-14 2020-12-15 深圳前海微众银行股份有限公司 基于依存句法的语义识别方法、设备和可读存储介质
CN113239186A (zh) * 2021-02-26 2021-08-10 中国科学院电子学研究所苏州研究院 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN113221539A (zh) * 2021-07-08 2021-08-06 华东交通大学 一种集成句法信息的嵌套命名实体识别方法与系统

Also Published As

Publication number Publication date
CN113626608B (zh) 2022-02-15
WO2023060633A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
WO2021072852A1 (zh) 序列标注方法、系统和计算机设备
JP5901001B1 (ja) 音響言語モデルトレーニングのための方法およびデバイス
CN108875059B (zh) 用于生成文档标签的方法、装置、电子设备和存储介质
CN113626608B (zh) 增强语义的关系抽取方法、装置、计算机设备及存储介质
CN111680159A (zh) 数据处理方法、装置及电子设备
WO2023045605A1 (zh) 数据处理方法、装置、计算机设备及存储介质
CN111967264B (zh) 一种命名实体识别方法
WO2021143206A1 (zh) 单语句自然语言处理方法、装置、计算机设备及可读存储介质
CN111507088A (zh) 语句补全方法、设备及可读存储介质
CN111767714B (zh) 一种文本通顺度确定方法、装置、设备及介质
CN111611393A (zh) 一种文本分类方法、装置及设备
CN115577678A (zh) 文档级事件因果关系识别方法、系统、介质、设备及终端
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质
CN111291551A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
Wang et al. Data augmentation for internet of things dialog system
CN112599211A (zh) 一种医疗实体关系抽取方法及装置
WO2023103914A1 (zh) 文本情感分析方法、装置及计算机可读存储介质
CN113836308B (zh) 网络大数据长文本多标签分类方法、系统、设备及介质
US20130339003A1 (en) Assisted Free Form Decision Definition Using Rules Vocabulary
CN114491030A (zh) 技能标签的抽取、候选短语分类模型的训练方法及装置
CN114490946A (zh) 基于Xlnet模型的类案检索方法、系统及设备
KR102215259B1 (ko) 주제별 단어 또는 문서의 관계성 분석 방법 및 이를 구현하는 장치
CN111967253A (zh) 一种实体消歧方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant