CN112560490A - 知识图谱关系抽取方法、装置、电子设备及存储介质 - Google Patents
知识图谱关系抽取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112560490A CN112560490A CN202011423929.7A CN202011423929A CN112560490A CN 112560490 A CN112560490 A CN 112560490A CN 202011423929 A CN202011423929 A CN 202011423929A CN 112560490 A CN112560490 A CN 112560490A
- Authority
- CN
- China
- Prior art keywords
- sentence
- representation
- current
- relation
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种知识图谱关系抽取方法、装置、电子设备及存储介质，其中，该方法包括：通过获取至少一个句子集合；其中，句子集合包括多个相同实体的句子；将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示；基于至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。由此，本申请通过将句子层次化模型得到的每个句子的最终表示与动态注意力机制结合得到句子集合的关系分类策略，来调整句子集合在不同关系层次的表示，不仅避免了现有技术中需要训练大量的关系分类器，还解决了远程监督带来噪声问题和长尾关系问题。
Description
技术领域
本申请涉及信息技术领域，具体涉及一种知识图谱关系抽取方法、装置、电子设备及存储介质。
背景技术
知识图谱(knowledge bases)为真实世界的事实提供了有效的结构化信息，被很多自然语言处理(NLP)任务，比如，网页搜索和知识问答用作关键资源，用作关键资源。由于真实世界中的事实可以说是无穷无尽的，并且每天都在不断增长，因此，现阶段的知识图谱处于快速增长模式。
在实现本公开的过程中，发明人发现：对于知识图谱中的某些句子，当其仅包含了两个实体，但语义上并没有表示出它们之间的特定关系，这样的句子也被当作训练的实例的话，就会产生错误的标签，即噪声数据，对知识图谱模型有着负面的影响。因此，如何解决日渐增多的信息给知识图谱带来的噪声问题是一个亟待解决的技术问题。
发明内容
本申请实施例提供了一种知识图谱关系抽取方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种知识图谱关系抽取方法，所述方法包括：
获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
第二方面，本申请实施例提供了一种知识图谱关系抽取装置，所述装置包括：
获取模块，用于获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
模型模块，用于将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
获得模块，用于将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由处理器加载并执行本申请实施例第二方面提供的方法步骤。
第四方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由处理器加载并执行本申请实施例第三方面提供的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，通过获取至少一个句子集合；其中，句子集合包括多个相同实体的句子；将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示；基于至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。由此，本申请通过将句子层次化模型得到的每个句子的最终表示与动态注意力机制结合得到句子集合的关系分类策略，来调整句子集合在不同关系层次的表示，不仅避免了现有技术中需要训练大量的关系分类器，还解决了远程监督带来噪声问题和长尾关系问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为现有技术提中的树结构图；
图1b为本申请实施例提供的树结构图；
图2为本申请实施例提供的一种知识图谱关系抽取方法的流程示意图
图3为本申请实施例提供的另一种知识图谱关系抽取方法的流程示意图；
图4为本申请实施例提供的句子层次化模型和动态注意力机制结构图；
图5为本申请实施例提供的再一种知识图谱关系抽取方法的流程示意图又一种提高雷达系统激光测距能力的流程示意图；
图6为本申请实施例提供的句子集合的关系分类策略；
图7为本申请实施例提供的一种提高雷达系统激光测距能力的装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1a示例性示出了现有技术中的知识图谱的树结构图。如图1a所示，现有技术中句子的关系三元组通常被组织成平层分类的树状结构关系，例如，图1a中句子1的词语被分为同一层级的多个节点，节点1：/人/个人/国籍；节点2：/人/个人/儿童；…；节点n：/位置/国家/首都。
知识图谱的关系抽取旨在抽取给定句子中的两个实体之间的关系，例如，从自然语言文本中的目标实体对之间抽取实体对之间存在的语义关系。它对于许多自然语言处理(Natural Language Processing，NLP)任务有着很重要的作用。关系抽取输出的一般是一个包括主体、关系、客体的关系三元组，其表示主体和客体之间存在特定的语义关系，例如，假设句子1可以是：中国的首都是北京，从中可以抽取出的关系三元组<中国,首都,北京>。
图1b示例性示出了本申请实施例提供的知识图谱关系的树结构图。如图1b所示，本申请实施例采用层次结构进行关系分类，将远程监督下的关系抽取任务转化为分层关系分类任务。由于在高维度的关系训练样例比较多、便于分类，而低维度的关系训练样例较少、比较难分类。因此，本申请实施例优先进行上层关系的关系分类，然后利用树结构的上层关系的分类效果来促进下层关系的分类效果。
其中，远程监督(Distant Supervision)可以通过将语料库与外部知识图谱对齐来自动构建大量的训练标注数据，这类数据构造方法的具体实现步骤是：从知识图谱中抽取存在关系的实体对；从非结构化文本中抽取含有实体对的句子作为训练样例；把现有知识图谱中的关系三元组<e1,r,e2>作为种子，匹配同时含有e1和e2的文本，得到的文本用作关系r的标注数据。通过远程监督构建的大量标注数据可以训练出一个效果不错的关系抽取器，减少模型对人工标注数据的依赖，增强模型跨领域适应能力。
虽然现在的利用远程监督进行关系抽取方法已经取得了较好的结果，但是对齐过程中产生的错误标签的问题一直存在困扰。这是因为Distant Supervision的提出主要基于以下假设：两个实体如果在知识库中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系。而对于某些句子，它仅仅包含了两个实体，但语义上并没有表示出它们之间的特定关系，这样的句子也被当作训练的实例的话，就是错误的标签，即噪声数据，对模型有着负面的影响。例如，三元组<沃伦巴菲特，出生于，奥马哈>，可能对齐到“沃伦巴菲特1930年出生于奥马哈”，也可能对齐到“沃伦巴菲特对奥马哈有着很大的影响”。其中前一句是需要的标注数据，后一句则是噪声数据(并不表示“出生于”这种关系)。
接下来结合图1b介绍的知识图谱关系的树结构图，来介绍本申请实施例提供的知识图谱关系抽取方法。在一个实施例中，图2所示，提供了一种知识图谱关系抽取方法流程图。如图2所示，该知识图谱关系抽取方法包括如下步骤：
S201，获取至少一个句子集合。
其中，句子集合包括多个相同实体的句子。
具体地，本申请实施例可以将包含相同实体的句子做成一个句子集合，例如，将包含同一个实体对的句子集合组成一个包，每个包含有m个句子(m为大于1的整数)，每个句子有n个词语(n为大于1的整数)。对于一个包和它的实体对可以从树结构的根结点出发，自上而下的走到叶节点，走过的路径即为这个包的关系。
S202，将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示。
其中，本申请实施例中将一个句子集合输入句子层次化模型的目的是为每一关系的层次都输出一个表示，具体可以理解为：包的层次表示方法目的是为每一关系的层次都输出一个表示。
S203，将至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。
其中，动态注意力机制用于表示每个句子的层次表示在对应的句子集合中的权重。
具体地，为了避免为树结构中的每一层都训练一个分类器，本申请实施例提出了自上而下的关系分类策略，根据本申请实施例中的关系分类策略可以仅训练一个分类器，以实现达到缩小训练模型规模的目的。
进一步地，本申请实施例可以基于关系分类策略得到的标注数据对句子层次化模型进行训练，得到优化的关系抽取模型。
在本申请实施例中，通过获取至少一个句子集合；其中，句子集合包括多个相同实体的句子；将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示；基于至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。由此，本申请通过将句子层次化模型得到的每个句子的最终表示与动态注意力机制结合得到句子集合的关系分类策略，来调整句子集合在不同关系层次的表示，不仅避免了现有技术中需要训练大量的关系分类器，还解决了远程监督带来噪声问题和长尾关系问题。
在一些实施方式中，本申请实施例中的句子层次化模型可以包括：词向量层、嵌入层、以及分段卷积神经网络层。
在一个实施例中，图3所示，提供了一种知识图谱关系抽取方法流程图。如图3所示，该知识图谱关系抽取方法可以包括如下步骤：
S301，获取至少一个句子集合。
具体地，S301与S201一致，此处不再赘述。
S302，将当前句子集合中的每个句子输入词向量层输出当前句子中的多个词向量。
其中，本申请实施例可以将当前句子集合中的每个句子输入词向量层输出当前句子的预设维度的多个词向量。
如图4所示，将句子1输入输入层得到n个词向量，其中，每个词向量可以对应50维度或其他预设的维度。
可能地，本申请实施例可以采用Word2vec工具对包中句子进行文本信息处理，生成词向量vword2vec。
可能地，本申请实施例可以采用Glove工具对包中句子进行文本信息处理，生成词向量vglove。
可能地，本申请实施例可以采用BERT工具对包中句子进行文本信息处理，生成词向量vbert。
S303，将当前句子的预设维度的词向量输入嵌入层输出当前句子的嵌入式表示。
如图4所示，将每个句子的预设维度的词向量输入实体感知的嵌入层得到每个句子中的头实体、头实体的位置表示、尾实体、以及尾实体的位置表示；基于头实体和头实体的位置表示确定每个句子中头实体感知的嵌入式表示；基于尾实体和尾实体的位置表示确定每个句子中尾实体感知的嵌入式表示；将每个句子中头实体感知的嵌入式表示和每个句子中尾实体感知的嵌入式表示插入对应的句子中，得到每个句子的嵌入式表示。
具体地，本申请实施例将当前句子中的头实体以及头实体的位置信息结合一起，形成头实体感知的嵌入式表示X(h)，将尾实体以及尾实体的位置信息结合一起，形成尾实体感知的嵌入式表示X(t)。
优选地，本申请实施例还可以利用一个选择机制来得到词语的最后表示，其公式如下：
α＝sigmoid(W(s)X(h)+b(s))
X＝α·X(h)+(1-α)·X(t)
其中，sigmoid表示第一激活函数中W(s)表示系数矩阵，b(s)是误差矩阵，α表示头实体感知的嵌入式表示X(h)在句子中的比重。
S304，将当前句子的嵌入式表示输入分段卷积神经网络层输出当前句子的最终表示。
其中，本申请实施例中的分段卷积神经网络可以包括卷积层和分段最大池化层。
具体地，如图4所示，将当前句子的嵌入式表示输入卷积层输出当前句子的高纬度特征表示；其中，高维度特征表示用于表示当前句子的嵌入式经卷积层中的卷积核处理后得到的当前句子的高维度特征。基于当前句子的高纬度特征表示、当前句子的头实体的位置嵌入式表示、以及尾实体的位置嵌入式表示利用分段最大池化层将所述当前句子切分为三段，确定所述当前句子中每段的最大值。将当前句子中每段的最大值进行串联，得到每个句子的最终表示。
S305，将至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。
在一个实施例中，图5所示，提供了一种知识图谱关系抽取方法流程图。如图5所示，该知识图谱关系抽取方法可以包括如下步骤：
S501，获取至少一个句子集合。
具体地，S501与S201一致，此处不再赘述。
S502，将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示。
具体地，S502与S202一致，此处不再赘述。
S503，将至少一个句子集合中每个句子的最终表示与动态注意力机制结合，得到句子集合对应的关系三元组的标签。
S504，在句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配的情况下，得到至少一个句子集合的关系分类策略。
进一步地，在句子集合对应的关系三元组的标签与预设的关系三元组的标签不匹配的情况下，调整动态注意力机制结合中每个句子的最终表示在对应的句子集合中的权重，直到句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配，得到至少一个句子集合的关系分类策略。
具体地，为了解决噪声问题，本申请实施例设计了一个分层定义的动态注意力机制，其目的是根据关系的不同层次来动态的选择句子的权重，提高正确的句子的权重，降低带噪声的句子的权重。具体计算包在关系r下的表示
的公式如下所示：
其中ui指的是句子的嵌入式表示，而
是包Uh，t在关系r下第j层的表示，βj指的是关系r下第j层关系的权重，计算方法如下所示：
其中
表示句子和关系r第j层的关联程度，A表示转置查询矩阵，
表示关系r的第j层的分值。
如图6所示，假设句子的嵌入式表示为lj，本申请实施例可以通过将lj和
进行串联，并通过两层的向前的线性网络得到隐藏层表示sj，再通过第j+1层关系的嵌入式和隐藏层表示做乘法，得到第j+1层的概率分布。具体公式如下所示：
其中，ReLU为向前的线性网络，softmax为第二激活函数；Cj为第j层嵌入式表示，Wl 1表示第一系数矩阵，Wl 2表示第二系数矩阵，θ表示句子层次化模型中的各项参数的集合。
需要说明的是，上述实施例提供的知识图谱关系抽取装置在执行知识图谱关系抽取方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的知识图谱关系抽取装置与知识图谱关系抽取方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
图7是本申请一示例性实施例提供的知识图谱关系抽取装置的结构示意图。该知识图谱关系抽取装置可以设置于终端设备、服务器等电子设备中，执行本申请上述任一实施例的知识图谱关系抽取方法。如图7所示，该知识图谱关系抽取装置包括：
获取模块71，用于获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
模型模块72，用于将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
获得模块73，用于将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
在本申请实施例中，通过获取至少一个句子集合；其中，句子集合包括多个相同实体的句子；将至少一个句子集合输入句子层次化模型输出至少一个句子集合中每个句子的最终表示；基于至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得至少一个句子集合的关系分类策略。由此，本申请通过将句子层次化模型得到的每个句子的最终表示与动态注意力机制结合得到句子集合的关系分类策略，来调整句子集合在不同关系层次的表示，不仅避免了现有技术中需要训练大量的关系分类器，还解决了远程监督带来噪声问题和长尾关系问题。
在一些可能的实施例中，所述句子层次化模型包括：词向量层、嵌入层、以及分段卷积神经网络层；
所述模型模块，包括：
词向量单元，用于将当前句子集合中的每个句子输入所述词向量层输出所述当前句子中的多个词向量；
嵌入单元，用于将所述当前句子中的多个词向量输入所述嵌入层输出所述当前句子的嵌入式表示；
分段卷积神经网络单元，用于将所述当前句子的嵌入式表示输入所述分段卷积神经网络层输出所述当前句子的最终表示。
在一些可能的实施例中，所述词向量单元，具体用于：将所述当前句子集合中的每个句子输入所述词向量层输出所述当前句子的预设维度的多个词向量。
在一些可能的实施例中，所述嵌入单元，具体用于：
将所述每个句子中的多个词向量输入所述实体感知的嵌入层得到所述每个句子中的头实体、头实体的位置表示、尾实体、以及尾实体的位置表示；
基于所述头实体和所述头实体的位置表示确定所述每个句子中头实体感知的嵌入式表示；
基于所述尾实体和所述尾实体的位置表示确定所述每个句子中尾实体感知的嵌入式表示；
将所述每个句子中头实体感知的嵌入式表示和所述每个句子中尾实体感知的嵌入式表示插入对应的句子中，得到所述每个句子的嵌入式表示。
在一些可能的实施例中，所述分段卷积神经网络包括卷积层和分段最大池化层；
所述分段卷积神经网络单元，具体用于：
将当前句子的嵌入式表示输入所述卷积层输出所述当前句子的高纬度特征表示；其中，所述高维度特征表示用于表示所述当前句子的嵌入式经所述卷积层中的卷积核处理后得到的所述当前句子的高维度特征；
基于所述当前句子的高纬度特征表示、所述当前句子的头实体的位置嵌入式表示、以及所述尾实体的位置嵌入式表示利用所述分段最大池化层将所述当前句子切分为三段，确定所述当前句子中每段的最大值；
将所述当前句子中每段的最大值进行串联，得到所述当前句子的最终表示。
在一些可能的实施例中，所述获得模块，包括：
第一得到单元，用于将所述至少一个句子集合中每个句子的层次表示与所述动态注意力机制结合，得到所述句子集合对应的关系三元组的标签；其中，所述关系三元组包括：主体、关系、以及客体；
第二得到单元，用于在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配的情况下，得到所述至少一个句子集合的关系分类策略。
在一些可能的实施例中，所述获得模块，还包括：
第三得到单元，用于在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签不匹配的情况下，调整所述动态注意力机制结合中每个句子的最终表示在对应的句子集合中的权重，直到所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配，得到所述至少一个句子集合的关系分类策略。
请参见图8，为本申请实施例提供了一种电子设备的结构示意图。如图8所示，所述电子设备80可以包括：至少一个处理器81，至少一个网络接口84，用户接口83，存储器85，至少一个通信总线82。
其中，通信总线82用于实现这些组件之间的连接通信。
其中，用户接口83可以包括显示屏(Display)、摄像头(Camera)，可选用户接口83还可以包括标准的有线接口、无线接口。
其中，网络接口84可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器81可以包括一个或者多个处理核心。处理器81利用各种借口和线路连接整个电子设备80内的各个部分，通过运行或执行存储在存储器85内的指令、程序、代码集或指令集，以及调用存储在存储器85内的数据，执行电子设备80的各种功能和处理数据。可选的，处理器81可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器81可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器81中，单独通过一块芯片进行实现。
其中，存储器85可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器85包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器85可用于存储指令、程序、代码、代码集或指令集。存储器85可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器85可选的还可以是至少一个位于远离前述处理器81的存储装置。如图8所示，作为一种计算机存储介质的存储器85中可以包括操作系统、网络通信模块、用户接口模块以及知识图谱关系抽取应用程序。
在图8所示的电子设备80中，用户接口83主要用于为用户提供输入的接口，获取用户输入的数据；而处理器81可以用于调用存储器85中存储的知识图谱关系抽取应用程序，并具体执行以下操作：
获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
在一种可能的实施例中，所述句子层次化模型包括：词向量层、嵌入层、以及分段卷积神经网络层；
所述处理器81在执行将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示，具体执行：
将当前句子集合中的每个句子输入所述词向量层输出所述当前句子中的多个词向量；
将所述当前句子中的多个词向量输入所述嵌入层输出所述当前句子的嵌入式表示；
将所述当前句子的嵌入式表示输入所述分段卷积神经网络层输出所述当前句子的最终表示。
在一种可能的实施例中，所述处理器81在执行将当前句子集合中的每个句子输入所述词向量层输出所述当前句子中的多个词向量时，具体执行：将所述当前句子集合中的每个句子输入所述词向量层输出所述当前句子的预设维度的多个词向量。
在一种可能的实施例中，所述处理器81在执行将所述当前句子中的多个词向量输入所述嵌入层输出所述当前句子的嵌入式表示时，具体执行：
将所述每个句子中的多个词向量输入所述实体感知的嵌入层得到所述每个句子中的头实体、头实体的位置表示、尾实体、以及尾实体的位置表示；
基于所述头实体和所述头实体的位置表示确定所述每个句子中头实体感知的嵌入式表示；
基于所述尾实体和所述尾实体的位置表示确定所述每个句子中尾实体感知的嵌入式表示；
将所述每个句子中头实体感知的嵌入式表示和所述每个句子中尾实体感知的嵌入式表示插入对应的句子中，得到所述每个句子的嵌入式表示。
在一种可能的实施例中，所述分段卷积神经网络包括卷积层和分段最大池化层；
所述处理器81在执行所述将所述当前句子的嵌入式表示输入所述分段卷积神经网络层输出所述当前句子的最终表示时，具体执行：
将当前句子的嵌入式表示输入所述卷积层输出所述当前句子的高纬度特征表示；其中，所述高维度特征表示用于表示所述当前句子的嵌入式经所述卷积层中的卷积核处理后得到的所述当前句子的高维度特征；
基于所述当前句子的高纬度特征表示、所述当前句子的头实体的位置嵌入式表示、以及所述尾实体的位置嵌入式表示利用所述分段最大池化层将所述当前句子切分为三段，确定所述当前句子中每段的最大值；
将所述当前句子中每段的最大值进行串联，得到所述当前句子的最终表示。
在一种可能的实施例中，所述处理器81在执行将所述至少一个句子集合中每个句子的层次表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略时，具体执行：
将所述至少一个句子集合中每个句子的层次表示与所述动态注意力机制结合，得到所述句子集合对应的关系三元组的标签；其中，所述关系三元组包括：主体、关系、以及客体；
在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配的情况下，得到所述至少一个句子集合的关系分类策略。
在一种可能的实施例中，所述处理器81在执行将所述至少一个句子集合中每个句子的层次表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略时，还可以执行：
在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签不匹配的情况下，调整所述动态注意力机制结合中每个句子的最终表示在对应的句子集合中的权重，直到所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配，得到所述至少一个句子集合的关系分类策略。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述图2、图3、以及图5所示实施例中的一个或多个步骤。上述知识图谱关系抽取装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(Digital VersatileDisc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：制度存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本申请的优选实施例方式进行描述，并非对本申请的范围进行限定，在不脱离本申请的设计精神的前提下，本领域普通技术人员对本申请的技术方案作出的各种变形及改进，均应落入本申请的权利要求书确定的保护范围内。
Claims (10)
1.一种知识图谱关系抽取方法，其特征在于，所述方法包括：
获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
2.如权利要求1所述的方法，其特征在于，所述句子层次化模型包括：词向量层、嵌入层、以及分段卷积神经网络层；
所述将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示，包括：
将当前句子集合中的每个句子输入所述词向量层输出所述当前句子中的多个词向量；
将所述当前句子中的多个词向量输入所述嵌入层输出所述当前句子的嵌入式表示；
将所述当前句子的嵌入式表示输入所述分段卷积神经网络层输出所述当前句子的最终表示。
3.如权利要求2所述的方法，其特征在于，所述将当前句子集合中的每个句子输入所述词向量层输出所述当前句子中的多个词向量，包括：将所述当前句子集合中的每个句子输入所述词向量层输出所述当前句子的预设维度的多个词向量。
4.如权利要求2所述的方法，其特征在于，所述将所述当前句子中的多个词向量输入所述嵌入层输出所述当前句子的嵌入式表示，包括：
将所述每个句子中的多个词向量输入所述实体感知的嵌入层得到所述每个句子中的头实体、头实体的位置表示、尾实体、以及尾实体的位置表示；
基于所述头实体和所述头实体的位置表示确定所述每个句子中头实体感知的嵌入式表示；
基于所述尾实体和所述尾实体的位置表示确定所述每个句子中尾实体感知的嵌入式表示；
将所述每个句子中头实体感知的嵌入式表示和所述每个句子中尾实体感知的嵌入式表示插入对应的句子中，得到所述每个句子的嵌入式表示。
5.如权利要求2所述的方法，其特征在于，所述分段卷积神经网络包括卷积层和分段最大池化层；
所述将所述当前句子的嵌入式表示输入所述分段卷积神经网络层输出所述当前句子的最终表示，包括：
将当前句子的嵌入式表示输入所述卷积层输出所述当前句子的高纬度特征表示；其中，所述高维度特征表示用于表示所述当前句子的嵌入式经所述卷积层中的卷积核处理后得到的所述当前句子的高维度特征；
基于所述当前句子的高纬度特征表示、所述当前句子的头实体的位置嵌入式表示、以及所述尾实体的位置嵌入式表示利用所述分段最大池化层将所述当前句子切分为三段，确定所述当前句子中每段的最大值；
将所述当前句子中每段的最大值进行串联，得到所述当前句子的最终表示。
6.如权利要求1-5任一所述的方法，其特征在于，所述将所述至少一个句子集合中每个句子的层次表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略，包括：
将所述至少一个句子集合中每个句子的层次表示与所述动态注意力机制结合，得到所述句子集合对应的关系三元组的标签；其中，所述关系三元组包括：主体、关系、以及客体；
在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配的情况下，得到所述至少一个句子集合的关系分类策略。
7.如权利要求6所述的方法，其特征在于，所述将所述至少一个句子集合中每个句子的层次表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略，还包括：
在所述句子集合对应的关系三元组的标签与预设的关系三元组的标签不匹配的情况下，调整所述动态注意力机制结合中每个句子的最终表示在对应的句子集合中的权重，直到所述句子集合对应的关系三元组的标签与预设的关系三元组的标签匹配，得到所述至少一个句子集合的关系分类策略。
8.一种知识图谱关系抽取装置，其特征在于，所述装置包括：
获取模块，用于获取至少一个句子集合；其中，所述句子集合包括多个相同实体的句子；
模型模块，用于将所述至少一个句子集合输入句子层次化模型输出所述至少一个句子集合中每个句子的最终表示；
获得模块，用于将所述至少一个句子集合中每个句子的最终表示与动态注意力机制结合，获得所述至少一个句子集合的关系分类策略；其中，所述动态注意力机制用于表示所述每个句子的层次表示在对应的句子集合中的权重。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1-7任一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423929.7A CN112560490A (zh) | 2020-12-08 | 2020-12-08 | 知识图谱关系抽取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423929.7A CN112560490A (zh) | 2020-12-08 | 2020-12-08 | 知识图谱关系抽取方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560490A true CN112560490A (zh) | 2021-03-26 |
Family
ID=75059629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011423929.7A Pending CN112560490A (zh) | 2020-12-08 | 2020-12-08 | 知识图谱关系抽取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560490A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434698A (zh) * | 2021-06-30 | 2021-09-24 | 华中科技大学 | 基于全层级注意力的关系抽取模型建立方法及其应用 |
| CN113486180A (zh) * | 2021-07-14 | 2021-10-08 | 吉林大学 | 一种基于关系层级交互的远程监督关系抽取方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799577A (zh) * | 2012-08-17 | 2012-11-28 | 苏州大学 | 一种中文实体间语义关系抽取方法 |
| CN109635124A (zh) * | 2018-11-30 | 2019-04-16 | 北京大学 | 一种结合背景知识的远程监督关系抽取方法 |
| CN109902171A (zh) * | 2019-01-30 | 2019-06-18 | 中国地质大学（武汉） | 基于分层知识图谱注意力模型的文本关系抽取方法及系统 |
| CN110532553A (zh) * | 2019-08-21 | 2019-12-03 | 河海大学 | 一种水利空间关系词识别与提取的方法 |
| CN111125367A (zh) * | 2019-12-26 | 2020-05-08 | 华南理工大学 | 一种基于多层次注意力机制的多种人物关系抽取方法 |
| CN111881683A (zh) * | 2020-06-28 | 2020-11-03 | 吉林大学 | 关系三元组的生成方法、装置、存储介质和电子设备 |
-
2020
- 2020-12-08 CN CN202011423929.7A patent/CN112560490A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799577A (zh) * | 2012-08-17 | 2012-11-28 | 苏州大学 | 一种中文实体间语义关系抽取方法 |
| CN109635124A (zh) * | 2018-11-30 | 2019-04-16 | 北京大学 | 一种结合背景知识的远程监督关系抽取方法 |
| CN109902171A (zh) * | 2019-01-30 | 2019-06-18 | 中国地质大学（武汉） | 基于分层知识图谱注意力模型的文本关系抽取方法及系统 |
| CN110532553A (zh) * | 2019-08-21 | 2019-12-03 | 河海大学 | 一种水利空间关系词识别与提取的方法 |
| CN111125367A (zh) * | 2019-12-26 | 2020-05-08 | 华南理工大学 | 一种基于多层次注意力机制的多种人物关系抽取方法 |
| CN111881683A (zh) * | 2020-06-28 | 2020-11-03 | 吉林大学 | 关系三元组的生成方法、装置、存储介质和电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434698A (zh) * | 2021-06-30 | 2021-09-24 | 华中科技大学 | 基于全层级注意力的关系抽取模型建立方法及其应用 |
| CN113434698B (zh) * | 2021-06-30 | 2022-08-02 | 华中科技大学 | 基于全层级注意力的关系抽取模型建立方法及其应用 |
| CN113486180A (zh) * | 2021-07-14 | 2021-10-08 | 吉林大学 | 一种基于关系层级交互的远程监督关系抽取方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3926531B1 (en) | Method and system for visio-linguistic understanding using contextual language model reasoners | |
| US11227118B2 (en) | Methods, devices, and systems for constructing intelligent knowledge base | |
| US11782928B2 (en) | Computerized information extraction from tables | |
| WO2023108993A1 (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
| CN110442725B (zh) | 实体关系抽取方法及装置 | |
| CN109684476B (zh) | 一种文本分类方法、文本分类装置及终端设备 | |
| CN112836487B (zh) | 一种自动评论方法、装置、计算机设备及存储介质 | |
| CN109918506A (zh) | 一种文本分类方法及装置 | |
| US12032605B2 (en) | Searchable data structure for electronic documents | |
| CN110619051A (zh) | 问题语句分类方法、装置、电子设备及存储介质 | |
| CN117390497B (zh) | 基于大语言模型的类目预测方法、装置和设备 | |
| WO2024098623A1 (zh) | 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统 | |
| CN112560490A (zh) | 知识图谱关系抽取方法、装置、电子设备及存储介质 | |
| CN116821781A (zh) | 分类模型的训练方法、文本分析方法及相关设备 | |
| CN113849653A (zh) | 一种文本分类方法及装置 | |
| KR20190055499A (ko) | 텍스트 데이터를 표현하는 가상 핑거프린트를 생성 및 활용하기 위한 기법 | |
| CN117216194B (zh) | 文博领域知识问答方法及装置、设备和介质 | |
| CN110457325A (zh) | 用于输出信息的方法和装置 | |
| CN113688232A (zh) | 招标文本分类方法、装置、存储介质及终端 | |
| CN113743079A (zh) | 一种基于共现实体交互图的文本相似度计算方法及装置 | |
| CN111368553B (zh) | 智能词云图数据处理方法、装置、设备及存储介质 | |
| CN117407523A (zh) | 句子情感分析方法、装置、计算机设备以及存储介质 | |
| CN115618043B (zh) | 文本操作图互检方法及模型训练方法、装置、设备、介质 | |
| CN114579876A (zh) | 虚假信息检测方法、装置、设备及介质 | |
| CN114840680A (zh) | 一种实体关系联合抽取方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |