CN112347263A - 一种知识图谱构建方法 - Google Patents

一种知识图谱构建方法 Download PDF

Info

Publication number
CN112347263A
CN112347263A CN201910721967.1A CN201910721967A CN112347263A CN 112347263 A CN112347263 A CN 112347263A CN 201910721967 A CN201910721967 A CN 201910721967A CN 112347263 A CN112347263 A CN 112347263A
Authority
CN
China
Prior art keywords
feature
entity
vector
sentence
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910721967.1A
Other languages
English (en)
Other versions
CN112347263B (zh
Inventor
陈成才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoi Robot Technology Co Ltd filed Critical Shanghai Xiaoi Robot Technology Co Ltd
Priority to CN201910721967.1A priority Critical patent/CN112347263B/zh
Publication of CN112347263A publication Critical patent/CN112347263A/zh
Application granted granted Critical
Publication of CN112347263B publication Critical patent/CN112347263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种知识图谱构建方法，包括：对待处理的句子进行分词，得到多个单独词；识别所述多个单独词中的实体，得到两个一组的实体对；对于每个所述实体对，获取所述句子的句向量，所述句向量包括多个所述单独词的词‑位置向量；根据所述句向量提取所述句子多个方面的表示特征；根据所述多个方面的表示特征得到一个融合特征；根据所述融合特征预测所述实体对的实体关系；根据所述实体对和对应的实体关系构建知识图谱。本发明充分体现了词组与实体对之间的关联性，并从多个方面、多角度地挖掘句子的特征，能够更加全面、准确地进行实体关系预测，进而可以更加完备地构建知识图谱。

Description

一种知识图谱构建方法
技术领域
本发明涉及自然语言处理领域，特别涉及一种知识图谱的构建方法。
背景技术
随着信息时代的飞速发展，在互联网上拥有的信息资源越来越丰富，信息数据规模越来越巨大，表现形式也越来越多样。但是，对于海量的信息数据资源来说，其中的绝大部分都只能被人类所理解，机器对于这些信息的理解仍十分困难，特别是数量庞大的文本数据，自然语言理解也一直是非常热门的研究领域。
为了能够帮助机器更好地理解文本数据，知识图谱技术应运而生。知识图谱本质上是一种语义网络，由代表实体(Entity)的结点和代表实体之间关系的边构成。知识图谱从“关系”出发，具有更全面的实体覆盖率和更复杂的语义关系网，在智能搜索、智能问答等领域具有很好的应用前景。但是，在现有的知识图谱构建过程中，实体之间的关系大多需要人工构建或者依赖固定的逻辑，工作量巨大且难以普遍适用，而且对于实体来说，表示的角度比较单一化，使得最后建立的关系不够准确，进而影响了实际的构建效果。
发明内容
为了解决上述问题，本发明提出一种知识图谱的构建方法，以解决实体关系建立复杂且不够准确的问题。具体内容包括：
一种知识图谱构建方法，包括以下步骤：
对待处理的句子进行分词，得到多个单独词；
识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
对于每个所述实体对，获取所述句子的句向量，所述句向量包括多个所述单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词与所述实体对的相对位置向量；
根据所述句向量提取所述句子多个方面的表示特征；
根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
根据所述融合特征预测所述实体对的实体关系；
根据所述实体对和对应的实体关系构建知识图谱。
可选地，在所述根据所述多个方面的表示特征得到一个融合特征之后，所述根据所述融合特征预测所述实体对的实体关系之前，还包括步骤：
对所述融合特征进行特征筛选，屏蔽其中的噪声特征。
可选地，所述对所述融合特征进行特征筛选，屏蔽其中的噪声特征包括：
对所述融合特征中包括的所述特征向量进行全局平均池化，得到所述特征向量分别对应的聚合信息；
利用两个全连接网络对所述聚合信息进行筛选，得到所述特征向量对应的筛选参数；
根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则将所述噪声特征屏蔽，更新所述特征向量；
根据所述更新后的特征向量，更新所述融合特征。
本发明还提供了一种知识图谱构建装置，具体包括：
句子分词模块，所述句子分词模块用于对待处理的句子进行分词，得到多个单独词；
实体识别模块，所述实体识别模块用于识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
向量表示模块，所述向量表示模块用于获取所述句子的句向量，所述句向量包括所述多个单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量以及所述单独词对于所述实体对的相对位置向量；
特征提取模块，所述特征提取模块用于根据所述句向量提取所述句子多个方面的表示特征；
特征融合模块，所述特征融合模块用于根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
关系预测模块，所述关系预测模块用于根据所述融合特征预测所述实体对的实体关系；
图谱构建模块，所述图谱构建模块用于根据所述实体对和对应的实体关系构建知识图谱。
本发明还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任意一种知识图谱构建方法的步骤。
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任意一种知识图谱构建方法的步骤。
本发明将句子中单词与实体对之间的相对位置引入实体关系提取的过程，充分体现了词组与实体对之间的关联性，并从多个方面、多角度地挖掘句子与句子中实体关系之间的特征，通过融合手段，能够更加全面地对实体对之间的实体关系进行预测，进而可以更加完备地构建知识图谱。
在此基础上，本发明的知识图谱构建方法还能够对提取的表示特征进行特征筛选，将其中的噪声杂质屏蔽，使得用于实体关系预测的特征更具有针对性，使得实体关系抽取的结果更加准确。
因此，本发明能够更全面、准确地进行知识图谱的构建，方法简单、效率高，具备一定的实用价值。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本发明实施例一中知识图谱构建方法的流程示意图；
图2为本发明实施例一中获取句向量的流程示意图；
图3为本发明实施例一中实体关系预测的流程示意图；
图4为本发明实施例二中知识图谱构建方法的流程示意图；
图5为本发明实施例二中特征筛选的流程示意图；
图6为本发明实施例三中知识图谱构建方法的流程示意图；
图7为本发明实施例四中知识图谱构建装置的结构示意图；
图8为本发明实施例四中向量表示模块的结构示意图；
图9为本发明实施例四中相对位置向量计算单元的结构示意图；
图10为本发明实施例四中又一相对位置向量计算单元的结构示意图；
图11为本发明实施例四中特征融合模块的结构示意图；
图12为本发明实施例四中关系预测模块的结构示意图；
图13为本发明实施例五中知识图谱构建装置的结构示意图；
图14为本发明实施例五中特征筛选模块的结构示意图；
图15为本发明实施例六中的电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
在本实施例当中，如图1所示，提供了一种知识图谱的构建方法，包括以下步骤：
步骤S100：对待处理的句子进行分词，得到多个单独词；
步骤S200：识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
步骤S300：对于每个所述实体对，获取所述句子的句向量，所述句向量包括多个所述单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词与所述实体对的相对位置向量；
步骤S400：根据所述句向量提取所述句子多个方面的表示特征；
步骤S500：根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
步骤S600：根据所述融合特征预测所述实体对的实体关系；
步骤S700：根据所述实体对和对应的实体关系构建知识图谱。
在进行知识图谱构建时，首先需要确定图谱中存在的实体以及实体间的实体关系。因而在本实施例的第一步亦即步骤S100中，需要先对待处理的句子进行分词处理，根据文本内容得到多个单独词，以便进行其中实体的识别。本领域的研究人员应当知晓，在步骤S100中所述的待处理的句子亦可理解为具有一定长度的文本，其来源在此不作限制，例如新闻文本、用户输入文本、由语音输入识别的转换的文本等任何符合知识图谱内容的文本源均可。
实体对与实体关系是构建知识图谱的重要元素，因而实体关系抽取是构建知识图谱中的重要环节。在自然语言处理中，实体往往指代的是在文本中具有特定含义或者具有很强指代性的名词，例如人名、地名、机构名称、时间、专用名词等。在步骤S100中对待处理的句子文本进行分词之后，从分词得到的数个单独词中找出具有上述特征的、代表实体的词语，并两两组成实体对，预测判断这实体对之间的实体关系、进而进一步构建完善知识图谱即是本发明的主要内容。
本实施例中，进行实体识别的方法可以采用基于规则的方法，或者基于模型的方法(例如基于隐马尔科夫模型、条件随机场或循环神经网络模型)等不同手段，在此对于如何进行实体识别不做限制，只要能够从分词结果中提取出实体词语即可。
步骤S200中，从待处理句子中识别、匹配得到的实体对可能具有多对，每一对实体对之间都具有相应的实体关系，以用于知识图谱的构建和完善，实体关系预测则分别针对每一对实体对进行。
在针对某一实体对之间的实体关系预测时，首先要将整个待处理的句子文本进行向量表示，以便之后的运算。传统的句向量模型是根据句子中包含的词语的词向量，直接将词语的词向量连接组成，但是仅根据词语自身的词向量并不能准确地表示词语之间的关系，对于实体关系的判断作用很小。因此，本申请在词向量之外引入了词语相对实体对的相对位置向量，从而能够体现出每个单独词与两个实体之间的关联程度，使得单独词的向量表示不再孤立，能够更好地体现词语之间的联系。将词语之间的相对位置特征引入实体关系预测无疑能够提高预测的准确性。
本实施例的步骤S300中，如图2所示，具体还可以包括：
步骤S310：计算所述句子中所述单独词的词向量；
步骤S320：计算所述句子中所述单独词分别与所述实体对中两个实体的相对位置向量；
步骤S330：根据所述词向量和所述相对位置向量得到所述单独词的词-位置向量；
步骤S340：根据所述句子中包括的所述多个单独词的词-位置向量得到所述句子的句向量。
所述句子的句向量v可以是经由句子包含单独词的词-位置向量依次拼接组成的矩阵。句子中第i个单独词的词-位置向量vi由它的词向量WFi和与实体对的相对位置向量PFi连接组成。
在计算句子中单独词的词向量WFi时，可以根据预设的词向量模型，例如skip-gram模型来训练词向量。在词向量模型中，所有的词向量均被编码在预设的词向量矩阵
Figure BDA0002157532680000081
中，其中的dw表示词向量的维度，V则为该词向量矩阵对应的固定大小的词表。
在计算句子中单独词的相对位置向量PFi时，相对位置向量PFi可以包括该单独词与实体对中两个实体分别的相对距离关系。即，对于实体对中的第一实体e1和第二实体e2，分别计算所述单独词相对于所述第一实体e1以及所述单独词相对于第二实体e2的相对距离。
例如，在句子“Robert Downey Jr.is the actor of Iron Man”中，有两个实体“Robert Downey Jr.(e1)”与“Iron Man(e2)”，对于单独词“actor”来说，它与实体e1和e2的相对距离分别为3和-2。
当一个句子较长时，距离实体对中某一实体较远的词语有较大概率与要预测的实体关系无关。因此，在实际计算过程中，可以对相对距离设定有效的阈值范围，即预设最小距离emin和最大距离emax的取值，将超出阈值范围的相对距离视作无效距离，降低与实体之间关系不大的词语在表示句子特征中的影响。
在计算单独词相对于某一实体的相对距离之后，可以判断所述相对距离是否在预设的最小距离emin与最大距离emax的范围之内，若所述相对距离小于所述最小距离emin，则以所述最小距离emin替换所述相对距离；若所述相对距离大于所述最大距离emax，则以所述最大距离emax替换所述相对距离。
在确定了相对距离之后，可以根据位置向量矩阵
Figure BDA0002157532680000091
将所述相对距离转换为向量表示，其中的dp表示一个相对位置向量的维度，P为固定大小的相对距离集合。该位置向量矩阵Vp一般是一个随机初始化的矩阵，通过查找的方式将相对距离转换为对应的实值向量表示。
得到词向量WFi和相对位置向量PFi之后，可以通过将它们前后连接，得到句子中第i个单独词的词-位置向量vi，本发明对如何连接词向量和相对位置向量不做限制。vi的维度为(dw+2dp)。
此外，在步骤S300之前，可以对待处理的句子进行预处理操作，将语气词、助词、停用词等无用词滤除，再进行句向量的计算。
得到句子的句向量后，在步骤S400中，可以根据所述句向量提取所述句子多个方面的表示特征。传统的特征提取通常只关注句子或实体的一个方面，缺乏多角度、多方面的特征分析。在本实施例中，将自注意力机制与多头机制相结合来实现对句子和实体的不同方面的表示，在多头机制中，每一“头”即表示一种方面，各“头”之间的运算参数相互独立，通过多头来自动学习实体对中两个实体之间不同方面的关系特征，从而使得到的句子特征更加充分和全面。
在本实施例中，所述根据所述句向量提取所述句子多个方面的表示特征包括：
根据所述句向量，按照下述公式计算预设次数的所述表示特征，
Figure BDA0002157532680000101
其中，hi为第i个方面的所述表示特征，i的取值范围为[1,l]，l为所述预设次数，v为所述句向量，dv为构成所述句向量的所述单独词的数目，
Figure BDA0002157532680000102
Figure BDA0002157532680000103
和
Figure BDA0002157532680000104
分别表示第i次计算时的不同的参数矩阵且分别通过神经网络训练获得。
Figure BDA0002157532680000105
和
Figure BDA0002157532680000106
的维度均为
Figure BDA0002157532680000107
Figure BDA0002157532680000108
和
Figure BDA0002157532680000109
的训练方法是本领域技术人员所熟知的常规方法，本发明在此不再赘述。
上述方式的优势在于其能够将单个序列中不同位置的元素联系起来，可以很灵活地表现长距离依赖和本地依赖的情况，进而很好地描述词语间的关系，提高实体关系预测的准确性。
在本实施例中，预设次数的取值可以在5～12之间，例如5、6、8、9、12等。若预设次数的取值过小，则不能很好地体现出多方面特征的效果，而预设次数的取值太大时，则会产生不必要的冗余，增加计算负担，因而选取5～12种不同角度的特征表示，在后续计算中可以取得更好的应用效果。
在步骤S500中，根据步骤S400中获取的多个方面的表示特征得到一个融合特征。本实施例中，对多个方面的特征进行空间表示融合，可以采用多通道卷积神经网络进行特征级融合。在文本处理领域，卷积神经网络在使用时在大多情况下建立在单一通道之上，但本实施例中，由于对待处理句子的文本特征进行了多个方面的表示，采用了多通道的卷积神经网络，将多个不同方面的表示特征利用卷积融合得到新的融合特征，以聚合多种角度的特征表示。
可选地，将每个方面的所述表示特征分别放入卷积神经网络的一个单独通道；对于每一所述单独通道，通过下述公式计算所述融合特征中的特征向量，
cj＝f(wf·h(i：i+n-1)+bf)
其中，j的取值范围为[1,m]，cj表示所述融合特征中的第j项特征向量，m为卷积核的个数，f为非线性函数，wf为参数矩阵，bf为偏置参数，h(i：i+n-1)由hi、hi+1、…、hi+n-1依次连接组成，n为卷积窗口的长度，hi表示第i个方面的所述表示特征；
最后，根据计算得到的所述m个特征向量生成所述融合特征，融合特征c＝[c1，c2，…，cm]。
得到融合特征后，进行步骤S600：根据所述融合特征预测所述实体对的实体关系。本实施例中，如图3所示，步骤S600具体还包括：
步骤S610：获取所述融合特征包括的每一所述特征向量的突出特征，所述突出特征包括所述特征向量中元素的最大值和平均值；
步骤S620：根据所述突出特征，获取高层特征集合；
步骤S630：根据所述高层特征集合，利用全连接网络预测所述实体对的关系概率向量；
步骤S640：将所述关系概率向量中最大的元素对应的关系作为所述实体对的实体关系输出。
在步骤S610中，可以对融合特征中各特征向量进行最大池化和平均池化操作，得到突出特征，如下式所示：
Figure BDA0002157532680000121
其中cj表示所述融合特征中的第j项特征向量，取特征向量cj中各元素的最大值和平均值，连接组成突出特征向量
Figure BDA0002157532680000122
在步骤S620中，将各特征向量的突出特征连接组成高层特征集合，如下式所示：
Figure BDA0002157532680000123
其中，
Figure BDA0002157532680000124
表示融合特征c中的m个特征向量所对应的突出特征，q表示该高层特征集合。
在步骤S630中，根据所述高层特征集合，利用全连接网络得到所述实体对的关系概率向量包括：
根据下述公式计算所述关系概率向量，
Figure BDA0002157532680000126
其中，y为所述关系概率向量，wp为所述全连接网络的参数矩阵，r为符合伯努利分布的遮蔽向量，q为所述高层特征集合，bp为偏置参数，符号
Figure BDA0002157532680000125
表示的是两个矩阵逐元素相乘的操作。
关系概率向量中每一个元素代表了实体对之间某一种实体关系可能性的概率，其中每一坐标确定的元素预设了一种实体关系。通过上述公式可以学习得到每种可能的实体关系具体的概率值。
这里在前向传播的过程中，采用了dropout算法代替普通的向前传播的计算方式，dropout不会对代价函数进行修改，而是对深度网络本身进行调整，通过遮蔽向量r随机屏蔽掉部分神经元，因而能够有效地提升算法的泛化能力。
在步骤S640中，将关系概率向量中概率最高的元素代表的实体关系输出，作为该实体对实体关系的预测结果。
得到实体关系后，在步骤S700中，可以进一步通过该实体对以及实体关系进行知识图谱的构建、更新，完善知识图谱的内容。
在进行知识图谱构建时，在获取得到实体和关系之后，可以通过实体链接将抽取的实体与知识库中的正确实体对象。此外，在进行实体链接时可以判断当前的知识图谱中是否存在同名的实体、同名实体是否具有不同的含义，以及是否包括有其它命名但表达含义相同的实体，并消除存在的矛盾和歧义。
在进行知识图谱中的知识加工时，可以对图谱中存在的知识进行质量评估，舍弃置信度较低的知识，提高知识库的质量。
当在实体识别和关系预测过程中发现了新的实体组合，或者建立了新的实体关系时，可以对知识图谱进行更新。如果待更新的实体体现了新的概念，可以将新的实体和实体关系以同样的方式建立到知识图谱中；如果是由于数据源的区别，使得旧有的实体对之间预测得到了新的实体关系，可以对数据源的可靠性进行评估，考虑数据的一致性，并将在各数据源中出现频率较高的事实、属性和关系添加到知识图谱中。
实施例二
在本实施例中，提供了一种知识图谱构建方法，包括：
步骤S1000：对待处理的句子进行分词，得到多个单独词；
步骤S2000：识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
步骤S3000：对于每个所述实体对，获取所述句子的句向量，所述句向量包括多个所述单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词与所述实体对的相对位置向量；
步骤S4000：根据所述句向量提取所述句子多个方面的表示特征；
步骤S5000：根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
步骤S6000：对所述融合特征进行特征筛选，屏蔽其中的噪声特征。
步骤S7000：根据所述融合特征预测所述实体对的实体关系；
步骤S8000：根据所述实体对和对应的实体关系构建知识图谱。
本实施例与实施例一的区别在于，如图4所示，在步骤S5000和步骤S7000之间，还包括步骤S6000：对所述融合特征进行特征筛选，屏蔽其中的噪声特征。其余的步骤则可参考实施例一，本实施例中不再赘述。
步骤S5000得到的融合特征并不一定都对实体关系预测具有价值，通常情况下，其中也会包括一些噪声向量，而一般在进行步骤S7000的实体关系预测时，并不会进行特征筛选，这就可能因噪声的存在而产生的错误的特征值，影响实体关系预测的结果。考虑到以上问题，在本实施例中，可对融合特征进行筛选，将其中的噪声特征屏蔽，同时不会引入新的空间维度参数。
如图5所示，本实施例的步骤S6000中，进行特征筛选、屏蔽噪声特征的步骤具体包括：
步骤S6100：对所述融合特征中包括的所述特征向量进行全局平均池化，得到所述特征向量分别对应的聚合信息；
步骤S6200：利用两个全连接网络对所述聚合信息进行筛选，得到所述特征向量对应的筛选参数；
步骤S6300：根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则进行步骤S6400：将所述噪声特征屏蔽，更新所述特征向量；
步骤S6500：根据所述更新后的特征向量，更新所述融合特征。
在步骤S6100中，由于融合特征中各特征向量对于实体关系抽取的重要性具有差异，因而可以采用全局平均池化的方式，将全局的特征信息聚合到一层聚合信息中，如下述公式所示，
Figure BDA0002157532680000151
其中，zj为特征向量cj对应的池化后的聚合信息，M×N为向量cj的维度。
在步骤S6200中，为了限制模型的复杂度，同时将非线性矩阵引入计算，本实施例中可以通过两个全连接网络来获取特征向量对应的筛选参数，判断该特征向量是否为噪声特征。为了充分利用聚合信息，并获得全局的特征依赖分布，在进行特征筛选时，需要选择一种灵活、非互斥的门限机制，以获取判断该特征向量是否为噪声的筛选参数。因此，在步骤S6200中，可以分别采用ReLu函数和softsign函数作为两个全连接网络的激活函数，如下述公式所示：
sj＝softsign(W2ReLu(W1zj))
其中，zj为特征向量cj对应的筛选参数，w1、W2分别为两个全连接网络的参数矩阵。采用softsign函数作为激活函数不仅能够适合各种情况的特征分布，又允许强调足够多种类的类型特征，可以将特征的筛选参数映射到-1至+1之间。
步骤S6300中，所述根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则在步骤S6400中，将所述噪声特征屏蔽，更新所述特征向量包括：
根据下述公式进行所述筛选参数的判断与屏蔽，
Figure BDA0002157532680000161
其中，所述cj表示第j项所述特征向量，所述xj为所述cj对应的所述更新后的特征向量，所述sj为所述cj对应的所述筛选参数。
筛选过程的最终输出是通过屏蔽转换的，将被softsign函数映射为负数的特征向量转换为0向量，以达到屏蔽噪声的目的。若筛选参数sj＝0，则无论哪种情况，最终xj均会被转换为0向量，故本发明在此处不做限制。
之后，在步骤S6500中，用更新后的特征向量xj更新原本的融合特征，得到新的融合特征
Figure BDA0002157532680000171
用于后续步骤S7000中的实体关系预测。这样一来，更新后的融合特征中，噪声特征已经被屏蔽，剩余的有价值的特征参数更加具有针对性，不仅降低了计算压力，也使得结果受到的干扰更少，提高了准确性。
实施例三
在本实施例中，提供了一种知识图谱构建方法，如图6所示，包括以下步骤：
步骤S1：对待处理的句子进行分词，得到多个单独词。例如在句子“Robert DowneyJr.is the actor of Iron Man”中，分词得到的结果为“Robert Downey Jr.”、“is”、“the”、“actor”、“of”和“Iron Man”。
步骤S2：识别所述多个单独词中的实体，将所述实体两个一组组成实体对。实体识别可以采用基于规则的方法，或者基于模型的方法，在此不作限制。在上述例子中，经过实体识别可以找到句子中存在的两个实体“Robert Downey Jr.”和“Iron Man”。
步骤S3：对于每个实体对，计算所述多个单独词分别与所述实体对中两个实体的相对位置向量PF。对于实体对中的第一实体e1和第二实体e2，分别计算所述单独词相对于所述第一实体e1以及所述单独词相对于第二实体e2的相对距离。例如，单独词“actor”与两个实体“Robert Downey Jr.”和“Iron Man”的相对距离分别为-3和2。
在本方案中，预设了最小距离emin和最大距离emax的取值，在计算单独词相对于某一实体的相对距离之后，判断所述相对距离是否在预设的最小距离emin与最大距离emax的范围之内，若所述相对距离小于所述最小距离emin，则以所述最小距离emin替换所述相对距离；若所述相对距离大于所述最大距离emax，则以所述最大距离emax替换所述相对距离。例如，预设的有效距离范围为-7～7，那么当句子中某一单词与某一实体的距离为9时，则以7代替，同样的，如果相对距离为-9，则以-7代替。
得到相对距离之后，根据随机初始化的位置向量矩阵
Figure BDA0002157532680000181
将所述相对距离转换为向量表示，其中的dp表示一个相对位置向量的维度，P为固定大小的相对距离集合。
步骤S4：计算所述多个单独词的词向量WF。根据预设的词向量模型训练词向量。所述词向量模型中，词向量均被编码在预设的词向量矩阵
Figure BDA0002157532680000182
中，其中的dw表示词向量的维度，V则为该词向量矩阵对应的固定大小的词表。
步骤S5：根据所述词向量WF和所述相对位置向量PF得到所述单独词的词-位置向量。对于所述句子中第i个单独词，它的词-位置向量vi由它的词向量WFi和与实体对的相对位置向量PFi连接组成。每个单独词的词-位置向量的维度均为(dw+2dp)。
步骤S6：根据所述句子中包括的所述多个单独词的词-位置向量得到所述句子的句向量v。所述句子的句向量v可以经由句子包含单独词的词-位置向量依次拼接组成。因此，句向量v的维度为(dw+2dp)×dv，dv为构成所述句向量的所述单独词的数目。
步骤S7：根据所述句向量，按照下述公式计算预设次数的所述表示特征，
Figure BDA0002157532680000191
其中，hi为第i个方面的所述表示特征，i的取值范围为[1,l]，l为所述预设次数，v为所述句向量，dv为构成所述句向量的所述单独词的数目，
Figure BDA0002157532680000192
Figure BDA0002157532680000193
和
Figure BDA0002157532680000194
分别表示第i次计算时的不同的参数矩阵且分别通过神经网络训练获得。
Figure BDA0002157532680000195
和
Figure BDA0002157532680000196
的维度为
Figure BDA0002157532680000197
根据多次试验的结果，所述预设次数的取值在5～12之间时能够取得较好的效能，既不会因为表示角度太少而失去意义，也不会因为角度过多造成冗余，影响后续的计算。
步骤S8：将每个方面的所述表示特征分别放入卷积神经网络的一个单独通道；对于每一所述单独通道，通过下述公式计算所述融合特征中的特征向量，
cj＝f(wf·h(i：i+n-1)+bf)
其中，j的取值范围为[1,m]，cj表示所述融合特征中的第j项特征向量，m为卷积核的个数，f为非线性函数，wf为参数矩阵，bf为偏置参数，h(i：i+n-1)由hi、hi+1、…、hi+n-1依次连接组成，n为卷积窗口的长度，hi表示第i个方面的所述表示特征。
步骤S9：根据计算得到的所述m个特征向量生成所述融合特征，融合特征c＝[c1，c2，…，cm]。
步骤S10：对所述融合特征中包括的所述特征向量c进行全局平均池化，得到所述特征向量cj分别对应的聚合信息zj。
聚合信息zj根据下述公式进行计算，
Figure BDA0002157532680000201
其中，M×N为向量cj的维度。
步骤S11：利用两个全连接网络对所述聚合信息z进行筛选，得到所述特征向量cj对应的筛选参数sj。
分别采用ReLu函数和softsign函数作为两个全连接网络的激活函数，如下述公式所示：
sj＝softsign(W2ReLu(W1zj))
其中，W1、W2分别为两个全连接网络的参数矩阵。
步骤S11：根据所述筛选参数sj判断所述特征向量cj是否为噪声特征；
步骤S12：将所述噪声特征屏蔽，将特征向量cj更新为新的特征向量xi。可以按照下述公式进行所述筛选参数的判断与屏蔽，
Figure BDA0002157532680000211
步骤S13：根据所述更新后的特征向量xj，将所述融合特征c更新为新的融合特征
Figure BDA0002157532680000212
步骤S14：获取所述融合特征
Figure BDA0002157532680000213
包括的每一所述特征向量xj的突出特征
Figure BDA0002157532680000214
所述突出特征
Figure BDA0002157532680000215
包括所述特征向量xj中元素的最大值和平均值，如下述公式所示：
Figure BDA0002157532680000216
步骤S15：根据所述突出特征
Figure BDA0002157532680000217
按照如下公式获取高层特征集合q，
Figure BDA0002157532680000218
步骤S16：根据所述高层特征集合q，利用全连接网络预测所述实体对的关系概率向量y，如下述公式所示：
Figure BDA00021575326800002110
其中，wp为所述全连接网络的参数矩阵，r为符合伯努利分布的遮蔽向量，bp为偏置参数，符号
Figure BDA0002157532680000219
表示的是两个矩阵逐元素相乘的操作。
关系概率向量中每一个元素代表了实体对之间某一种实体关系可能性的概率，其中每一坐标确定的元素预设了一种实体关系。例如，该关系概率向量y＝(P(生日)，P(年龄)，P(职业)…)，其中每一个元素都代表了第一实体和第二实体之间某种关系的概率。
步骤S17：将所述关系概率向量y中最大的元素ymax对应的关系作为所述实体对的实体关系输出。在前述的例子中，若实体对“Robert Downey Jr.”和“Iron Man”预测得到的关系概率向量中，表示“扮演者”这一关系的概率最大，那么“扮演者”即可作为该实体对的实体关系输出，进而用于知识图谱的构建。
步骤S18：根据所述实体对和对应的实体关系构建知识图谱。
在上述步骤中，首先在描述句向量时引入了句子中单独词相对于实体对的相对位置向量，体现了句子中词语与实体对中实体关系的贡献；其次，采用多头的自注意力机制提取句子特征，从多个角度、多个方面对句子进行挖掘与描述，并将其融合，在进行实体关系预测时更加全面、有效；之后，在得到融合特征以后，对特征中含有的噪声进行筛选与屏蔽，去掉了噪声特征的干扰，提高了实体关系预测的准确性。进一步地，利用更全面、更准确的实体关系来构建、完善知识图谱，能够使得到的知识图谱更加精准、完备。
实施例四
在本实施例中，如图7所示，提供了一种知识图谱的构建装置，具体包括：
句子分词模块10，所述句子分词模块10用于对待处理的句子进行分词，得到多个单独词；
实体识别模块20，所述实体识别模块20用于识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
向量表示模块30，所述向量表示模块30用于获取所述句子的句向量，所述句向量包括所述多个单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词对于所述实体对的相对位置向量；
特征提取模块40，所述特征提取模块40用于根据所述句向量提取所述句子多个方面的表示特征；
特征融合模块50，所述特征融合模块50用于根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
关系预测模块60，所述关系预测模块60用于根据所述融合特征预测所述实体对的实体关系；
图谱构建模块70，所述图谱构建模块70用于根据所述实体对和对应的实体关系构建知识图谱。
上述的知识图谱构建装置中，特征提取模块40区别于传统的特征提取方法，引入了多个方面的表示特征，从多个角度对实体关系进行描述，更加全面、完备和准确。
在本实施例中，所述实体对包括第一实体和第二实体，如图8所示，所述向量表示模块30可以包括：
词向量计算单元31，用于计算所述句子中所述单独词的词向量；
相对位置向量计算单元32，用于计算所述句子中所述单独词分别与所述实体对中两个实体的相对位置向量；
词-位置向量组合单元33，用于根据所述词向量和所述相对位置向量得到所述单独词的词-位置向量；
句向量组合单元34，用于根据所述句子中包括的所述多个单独词的词-位置向量得到所述句子的句向量。
其中，如图9所示，本实施例中所述相对位置向量计算单元32还可以包括：
相对距离计算子单元321，用于分别计算所述单独词相对于所述第一实体以及所述单独词相对于第二实体的相对距离；
向量转换子单元322，用于根据预设的位置向量矩阵将所述相对距离转换为向量表示。
在本实施例中，相对距离计算子单元321通过计算句子中单独词与实体之间的相对距离，使得单独词的向量表示不再孤立，更好地体现词语之间的联系，进而关系预测模块60能够更加准确地预测实体之间的关系。
如图10所示，所述相对位置向量计算单元32还可以包括，阈值判断子单元323，所述阈值判断子单元323用于根据预设的最小距离与最大距离，判断所述相对距离计算子单元321计算的相对距离是否超出所述最小距离与最大距离的范围，若所述相对距离小于所述最小距离，则以所述最小距离替换所述相对距离；若所述相对距离大于所述最大距离，则以所述最大距离替换所述相对距离。
阈值判断子单元323能够将与实体之间超出预设距离的单独词的影响降低，降低了与实体之间关系不大的词语在表示句子特征中的影响。
本实例中，所述特征提取模块40还可以根据所述句向量，按照下述公式计算预设次数的所述表示特征，
Figure BDA0002157532680000251
其中，hi为第i个方面的所述表示特征，i的取值范围为[1,l]，l为所述预设次数，v为所述句向量，dv为构成所述句向量的所述单独词的数目，
Figure BDA0002157532680000252
Figure BDA0002157532680000253
和
Figure BDA0002157532680000254
分别表示第i次计算时的不同的参数矩阵且分别通过神经网络训练获得。
特征提取模块40将自注意力机制与多头机制相结合来实现对句子和实体的不同方面的表示，通过多头来自动学习实体对中两个实体之间不同方面的关系特征，从而使得到的句子特征更加充分和全面。
如图11所示，在本实施例中，所述特征融合模块50可以包括通道分配单元51、卷积计算单元52、特征融合单元53，其中：
所述通道分配单元51用于将每个方面的所述表示特征分别放入卷积神经网络的一个单独通道；
所述卷积计算单元52用于对于每一所述单独通道，通过下述公式计算所述融合特征中的特征向量，
cj＝f(wf·h(i：i+n-1)+bf)
其中，j的取值范围为[1,m]，cj表示所述融合特征中的第j项特征向量，m为卷积核的个数，f为非线性函数，wf为参数矩阵，bf为偏置参数，h(i：i+n-1)由hi、hi+1、…、hi+n-1依次连接组成，n为卷积窗口的长度，hi表示第i个方面的所述表示特征；
所述特征融合单元53用于根据计算得到的所述m个特征向量生成所述融合特征。
特征融合模块50能够将多个不同方面的表示特征利用卷积融合得到新的融合特征，聚合多种角度的特征表示。
如图12所示，所述关系预测模块60还可以具体包括：
突出特征提取单元61，用于获取所述融合特征包括的每一所述特征向量的突出特征，所述突出特征包括所述特征向量中元素的最大值和平均值；
高层特征集合获取单元62，用于根据所述突出特征，获取高层特征集合；
关系概率预测单元63，用于根据所述高层特征集合，利用全连接网络预测所述实体对的关系概率向量；
实体关系提取单元64，用于将所述关系概率向量中最大的元素对应的关系作为所述实体对的实体关系输出。
其中，所述关系概率预测单元63根据所述高层特征集合，利用全连接网络预测所述实体对的关系概率向量的方式为：根据下述公式计算所述关系概率向量，
Figure BDA0002157532680000261
其中，y为所述关系概率向量，wp为所述全连接网络的参数矩阵，r为符合伯努利分布的遮蔽向量，q为所述高层特征集合，bp为偏置参数。
关系概率向量中每一个元素代表了实体对之间某一种实体关系可能性的概率，其中每一坐标确定的元素预设了一种实体关系。通过上述公式可以学习得到每种可能的实体关系具体的概率值。
关系概率预测单元63在前向传播的过程中，采用了dropout算法代替普通的向前传播的计算方式，dropout不会对代价函数进行修改，而是对深度网络本身进行调整，通过遮蔽向量r随机屏蔽掉部分神经元，因而能够有效地提升算法的泛化能力。
实施例五
在本实例中，还提供了一种知识图谱构建装置，如图13所示，包括：
句子分词模块100，所述句子分词模块100用于对待处理的句子进行分词，得到多个单独词；
实体识别模块200，所述实体识别模块200用于识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
向量表示模块300，所述向量表示模块300用于获取所述句子的句向量，所述句向量包括所述多个单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词对于所述实体对的相对位置向量；
特征提取模块400，所述特征提取模块400用于根据所述句向量提取所述句子多个方面的表示特征；
特征融合模块500，所述特征融合模块500用于根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
特征筛选模块600，所述特征筛选模块600用于对所述融合特征进行特征筛选，屏蔽其中的噪声特征
关系预测模块700，所述关系预测模块700用于根据所述融合特征预测所述实体对的实体关系；
图谱构建模块800，所述图谱构建模块800用于根据所述实体对和对应的实体关系构建知识图谱。
本实施例与实施例四的区别在于，还包括特征筛选模块80，用于对所述融合特征进行特征筛选，屏蔽其中的噪声特征。
如图14所示，在本实施例中，所述特征筛选模块80可以包括：
信息聚合单元610，用于对所述融合特征中包括的所述特征向量进行全局平均池化，得到所述特征向量分别对应的聚合信息；
信息筛选单元620，用于利用两个全连接网络对所述聚合信息进行筛选，得到所述特征向量对应的筛选参数；
噪声判断单元630，用于根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则噪声屏蔽单元640将所述噪声特征屏蔽，并更新所述特征向量；
特征更新单元650，用于根据所述更新后的特征向量，更新所述融合特征。
所述噪声屏蔽单元640将所述噪声特征屏蔽，并更新所述特征向量的方式包括：
根据下述公式进行所述筛选参数的判断与屏蔽，
Figure BDA0002157532680000291
其中，所述cj表示第j项所述特征向量，所述xj为所述cj对应的所述更新后的特征向量，所述sj为所述cj对应的所述筛选参数。
这样一来，更新后的融合特征中，噪声特征已经被屏蔽，剩余的有价值的特征参数更加具有针对性，不仅降低了计算压力，也使得结果受到的干扰更少，提高了准确性。
实施例六
在本实施例中，提供了一种电子设备90，将实施例四或实施例五中的知识图谱构建装置作为一个软件模块和/或硬件模块而集成到电子设备90中，换言之，该电子设备90可以包括该知识图谱构建装置。例如，该知识图谱构建装置可以是该电子设备90的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该知识图谱构建装置同样可以是该电子设备90的众多硬件模块之一。
该知识图谱构建装置与该电子设备90也可以是分立的设备(例如，服务器)，并且该知识图谱构建装置可以通过有线和/或无线网络连接到该电子设备90，并且按照约定的数据格式来传输交互信息。
图15所示为本实施例提供的电子设备90的结构示意图。如图15所示，该电子设备90包括：一个或多个处理器91和存储器92；以及存储在存储器92中的计算机程序指令，计算机程序指令在被处理器91运行时使得处理器91执行如上述实施例一、实施例二或实施例三的知识图谱构建方法。
处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。
存储器92可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器91可以运行所述程序指令，以实现上文所述的本申请的各个实施例的知识图谱构建方法中的步骤以及/或者其他期望的功能。
在一个示例中，电子设备90还可以包括：输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(图15中未示出)互连。
该输出装置94可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图15中仅示出了该电子设备90中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的知识图谱构建方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述知识图谱构建方法部分中描述的根据本申请各种实施例的知识图谱构建方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要指出的是，在本申请的装置和设备中，各部件是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种知识图谱构建方法，其特征在于，包括以下步骤：
对待处理的句子进行分词，得到多个单独词；
识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
对于每个所述实体对，获取所述句子的句向量，所述句向量包括多个所述单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词与所述实体对的相对位置向量；
根据所述句向量提取所述句子多个方面的表示特征；
根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
根据所述融合特征预测所述实体对的实体关系；
根据所述实体对和对应的实体关系构建知识图谱。
2.如权利要求1所述的知识图谱构建方法，其特征在于，所述实体对包括第一实体和第二实体，获取所述单独词与所述实体对的相对位置向量的步骤包括：
分别计算所述单独词相对于所述第一实体以及所述单独词相对于第二实体的相对距离；
根据预设的位置向量矩阵将所述相对距离转换为向量表示。
3.如权利要求2所述的知识图谱构建方法，其特征在于，所述分别计算所述单独词相对于所述第一实体以及所述单独词相对于第二实体的相对距离之后，所述根据预设的位置向量矩阵将所述相对距离转换为向量表示之前，还包括步骤：
判断所述相对距离是否在预设的最小距离与最大距离的范围之内，若所述相对距离小于所述最小距离，则以所述最小距离替换所述相对距离；若所述相对距离大于所述最大距离，则以所述最大距离替换所述相对距离。
4.如权利要求1所述的知识图谱构建方法，其特征在于，所述根据所述句向量提取所述句子多个方面的表示特征包括：
根据所述句向量，按照下述公式计算预设次数的所述表示特征，
Figure FDA0002157532670000021
其中，hi为第i个方面的所述表示特征，i的取值范围为[1,l]，l为所述预设次数，v为所述句向量，dv为构成所述句向量的所述单独词的数目，
Figure FDA0002157532670000022
和
Figure FDA0002157532670000023
分别表示第i次计算时的不同的参数矩阵且分别通过神经网络训练获得。
5.如权利要求1所述的知识图谱构建方法，其特征在于，所述根据所述多个方面的表示特征得到一个融合特征包括：
将每个方面的所述表示特征分别放入卷积神经网络的一个单独通道；
对于每一所述单独通道，通过下述公式计算所述融合特征中的特征向量，
cj＝f(wf·h(i：i+n-1)+bf)
其中，j的取值范围为[1，m]，cj表示所述融合特征中的第j项特征向量，m为卷积核的个数，f为非线性函数，wf为参数矩阵，bf为偏置参数，h(i：i+n-1)由hi、hi+1、…、hi+n-1依次连接组成，n为卷积窗口的长度，hi表示第i个方面的所述表示特征；
根据计算得到的所述m个特征向量生成所述融合特征。
6.如权利要求1所述的知识图谱构建方法，其特征在于，在所述根据所述多个方面的表示特征得到一个融合特征之后，所述根据所述融合特征预测所述实体对的实体关系之前，还包括步骤：
对所述融合特征进行特征筛选，屏蔽其中的噪声特征。
7.如权利要求6所述的知识图谱构建方法，其特征在于，所述对所述融合特征进行特征筛选，屏蔽其中的噪声特征包括：
对所述融合特征中包括的所述特征向量进行全局平均池化，得到所述特征向量分别对应的聚合信息；
利用两个全连接网络对所述聚合信息进行筛选，得到所述特征向量对应的筛选参数；
根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则将所述噪声特征屏蔽，更新所述特征向量；
根据所述更新后的特征向量，更新所述融合特征。
8.如权利要求7所述的知识图谱构建方法，其特征在于，所述根据所述筛选参数判断所述特征向量是否为噪声特征，若是，则将所述噪声特征屏蔽，更新所述特征向量包括：
根据下述公式进行所述筛选参数的判断与屏蔽，
Figure FDA0002157532670000041
其中，所述cj表示第j项所述特征向量，所述xj为所述cj对应的所述更新后的特征向量，所述sj为所述cj对应的所述筛选参数。
9.如权利要求1所述的知识图谱构建方法，其特征在于，所述根据所述融合特征预测所述实体对的实体关系包括：
获取所述融合特征包括的每一所述特征向量的突出特征，所述突出特征包括所述特征向量中元素的最大值和平均值；
根据所述突出特征，获取高层特征集合；
根据所述高层特征集合，利用全连接网络预测所述实体对的关系概率向量；
将所述关系概率向量中最大的元素对应的关系作为所述实体对的实体关系输出。
10.如权利要求9所述的知识图谱构建方法，其特征在于，所述根据所述高层特征集合，利用全连接网络得到所述实体对的关系概率向量包括：
根据下述公式计算所述关系概率向量，
Figure FDA0002157532670000051
其中，y为所述关系概率向量，wp为所述全连接网络的参数矩阵，r为符合伯努利分布的遮蔽向量，q为所述高层特征集合，bp为偏置参数。
11.一种知识图谱构建装置，其特征在于，包括：
句子分词模块，所述句子分词模块用于对待处理的句子进行分词，得到多个单独词；
实体识别模块，所述实体识别模块用于识别所述多个单独词中的实体，将所述实体两个一组组成实体对；
向量表示模块，所述向量表示模块用于获取所述句子的句向量，所述句向量包括所述多个单独词的词-位置向量，所述单独词的词-位置向量包括所述单独词的词向量，以及所述单独词对于所述实体对的相对位置向量；
特征提取模块，所述特征提取模块用于根据所述句向量提取所述句子多个方面的表示特征；
特征融合模块，所述特征融合模块用于根据所述多个方面的表示特征得到一个融合特征，所述融合特征包括不少于一个特征向量；
关系预测模块，所述关系预测模块用于根据所述融合特征预测所述实体对的实体关系；
图谱构建模块，所述图谱构建模块用于根据所述实体对和对应的实体关系构建知识图谱。
12.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至10任一项所述方法的步骤。
13.一种电子设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至10任一项所述方法的步骤。
CN201910721967.1A 2019-08-06 2019-08-06 一种知识图谱构建方法 Active CN112347263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910721967.1A CN112347263B (zh) 2019-08-06 2019-08-06 一种知识图谱构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910721967.1A CN112347263B (zh) 2019-08-06 2019-08-06 一种知识图谱构建方法

Publications (2)

Publication Number Publication Date
CN112347263A true CN112347263A (zh) 2021-02-09
CN112347263B CN112347263B (zh) 2023-04-14

Family

ID=74367105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910721967.1A Active CN112347263B (zh) 2019-08-06 2019-08-06 一种知识图谱构建方法

Country Status (1)

Country Link
CN (1) CN112347263B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及系统
CN108694469A (zh) * 2018-06-08 2018-10-23 哈尔滨工程大学 一种基于知识图谱的关系预测方法
CN108875051A (zh) * 2018-06-28 2018-11-23 中译语通科技股份有限公司 面向海量非结构化文本的知识图谱自动构建方法及系统
CN109241536A (zh) * 2018-09-21 2019-01-18 浙江大学 一种基于深度学习自注意力机制的句子排序方法
CN110083770A (zh) * 2019-04-29 2019-08-02 苏州市职业大学 一种基于特征层面更深的自注意力网络的序列推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及系统
CN108694469A (zh) * 2018-06-08 2018-10-23 哈尔滨工程大学 一种基于知识图谱的关系预测方法
CN108875051A (zh) * 2018-06-28 2018-11-23 中译语通科技股份有限公司 面向海量非结构化文本的知识图谱自动构建方法及系统
CN109241536A (zh) * 2018-09-21 2019-01-18 浙江大学 一种基于深度学习自注意力机制的句子排序方法
CN110083770A (zh) * 2019-04-29 2019-08-02 苏州市职业大学 一种基于特征层面更深的自注意力网络的序列推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIASHU LIU ET AL: ""SENet for Weakly-Supervised Relation Extraction"", 《PROCEEDINGS OF THE 2018 2ND INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND ARTIFICIAL INTELLIGENCE》 *

Also Published As

Publication number Publication date
CN112347263B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
US20170278510A1 (en) Electronic device, method and training method for natural language processing
CN110909725A (zh) 识别文本的方法、装置、设备及存储介质
US20160267359A1 (en) Image object category recognition method and device
CN113641820A (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
CN111177386B (zh) 一种提案分类方法及系统
CN108664512B (zh) 文本对象分类方法及装置
CN115311463B (zh) 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN113377356B (zh) 一种用户界面原型代码的生成方法、装置、设备及介质
CN113886571A (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
CN112926337B (zh) 一种结合重构句法信息的端到端方面级情感分析方法
CN112418320B (zh) 一种企业关联关系识别方法、装置及存储介质
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN114372475A (zh) 一种基于RoBERTa模型的网络舆情情感分析方法及系统
CN115391570A (zh) 一种基于方面的情感知识图谱构建方法及装置
CN114444515A (zh) 一种基于实体语义融合的关系抽取方法
CN114528368A (zh) 基于预训练语言模型与文本特征融合的空间关系抽取方法
WO2021004118A1 (zh) 一种相关值确定方法及装置
CN108959375A (zh) 一种基于规则与深度学习的知识抽取方法
CN117668292A (zh) 一种跨模态敏感信息识别方法
CN112347263B (zh) 一种知识图谱构建方法
CN112347265B (zh) 一种知识图谱构建方法
CN109657710B (zh) 数据筛选方法、装置、服务器及存储介质
CN116757195A (zh) 一种基于提示学习的隐性情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant