CN111597352B - 结合本体概念和实例的网络空间知识图谱推理方法和装置 - Google Patents

结合本体概念和实例的网络空间知识图谱推理方法和装置 Download PDF

Info

Publication number
CN111597352B
CN111597352B CN202010424098.9A CN202010424098A CN111597352B CN 111597352 B CN111597352 B CN 111597352B CN 202010424098 A CN202010424098 A CN 202010424098A CN 111597352 B CN111597352 B CN 111597352B
Authority
CN
China
Prior art keywords
ontology
triplet
convolutional neural
neural network
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010424098.9A
Other languages
English (en)
Other versions
CN111597352A (zh
Inventor
丁兆云
周鋆
潘永淇
朱席席
张维明
朱承
刘斌
黄松平
吕国栋
朱先强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010424098.9A priority Critical patent/CN111597352B/zh
Publication of CN111597352A publication Critical patent/CN111597352A/zh
Application granted granted Critical
Publication of CN111597352B publication Critical patent/CN111597352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Devices For Executing Special Programs (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种结合本体概念和实例的网络空间知识图谱推理方法和装置。所述方法包括：将网络空间的本体概念映射至本体图；从节点对应的语料库提取实例层的实体，根据本体边和实体，构建第二三元组；构建用于网络空间知识图谱推理的卷积神经网络模型，根据第一三元组和第二三元组，确定卷积神经网络模型的统一能量函数；根据统一能量函数，构建用于训练卷积神经网络模型的得分函数；根据得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。采用本方法能够提高推理的准确性。

Description

结合本体概念和实例的网络空间知识图谱推理方法和装置
技术领域
本申请涉及知识图谱技术领域，特别是涉及一种结合本体概念和实例的网络空间知识图谱推理方法和装置。
背景技术
网络空间已经成为与陆、海、空和太空并列的第五空间，无论是国家安全和利益，还是企业内部安全都日益与网络空间息息相关。
传统的翻译类知识图谱表达模型尽管利用向量计算解决了大规模知识图谱推理的时间性能问题，但是，这类模型在推理预测中表现的准确率欠佳，比如TransE算法在典型几种知识图谱上的Hits@10(正确答案排在前10比例)均低于50％，网络空间防御策略必须具备较高的准确率，因此，传统的知识图谱推理模型不能够较好地适用于网络空间知识推理。
另一方面，网络空间知识图谱为领域知识图谱，采用“自顶向下”式的构建方法；同时，网络空间防御策略的推理必须具备高准确性，而传统知识图谱表示模型在推理预测中表现的准确率欠佳。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决传统知识图谱表示模型在推理预测中准确率不高问题的结合本体概念和实例的网络空间知识图谱推理方法和装置。
一种结合本体概念和实例的网络空间知识图谱推理方法，所述方法包括：
将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；
从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；
根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；
根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；
根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
在其中一个实施例中，还包括：采用预先设置的损失函数训练预先设置的推理模型，根据推理模型确定所述第二三元组的关系是否成立。
在其中一个实施例中，还包括：获取预先设置的损失函数为：
Figure BDA0002496845310000021
其中，γ表示正确三元组和错误三元组之间的最小距离，S表示训练样本集，S′表示错误样本集，d(h+l,t)表示正确三元组中向量h+l,t之间的向量距离，d′(h′+l,t′)表示错误三元组中向量h′+l,t′的向量距离，[·]+表示取正数部分；根据所述损失函数，采用梯度下降方式训练预先设置的推理模型。
在其中一个实施例中，还包括：根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数为：
E＝EI+EO
其中，E表示统一能量函数，EI表示实例层对应的实例能量函数，EO表示本体概念对应的本体能量函数；
所述实例能量函数表示为：
EI＝‖hI+r-tI‖
其中，hI表示头实体在实例层的向量表示，tI表示尾实体在实例层的向量表示，r表示所述本体边对应的关系；
所述本体能量函数表示为：
EO＝EOO+EIO+EOI
其中，EOO表示本体概念中头实体和尾实体的向量表示能量函数，EIO表示头实体在实例层的向量表示与尾实体在本体概念的向量表示间的能量函数，EOI表示尾实体在实例层的向量表示与头实体在本体概念的向量表示间的能量函数；
其中：
EOO＝‖hO+r-tO‖
EIO＝‖hI+r-tO‖
EOI＝‖hO+r-tI‖
其中，hO表示头实体在本体概念的向量表示，tO表示尾实体在本体概念的向量表示。
在其中一个实施例中，还包括：构建用于网络空间知识图谱推理的卷积神经网络模型；所述卷积神经网络模型依次包括：第一卷积层、第一池化层、第二卷积层、第二池化层以及输出层。
在其中一个实施例中，还包括：所述第一卷积层和所述第二卷积层的结构为：
Figure BDA0002496845310000031
其中，
Figure BDA0002496845310000032
第l个卷积层的输出，
Figure BDA0002496845310000033
表示l个卷积层的输入窗口处理得到的输入向量，
Figure BDA0002496845310000034
表示偏置W(l)表示窗口处理后输入向量的卷积核，σ表示非线性激活函数；
所述第一池化层为最大池化层，所述第二池化层为平均池化层。
在其中一个实施例中，还包括：根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数为：
Figure BDA0002496845310000035
其中，E′表示错误的三元组对应的能量函数。
一种结合本体概念和实例的网络空间知识图谱推理装置，所述装置包括：
联合嵌入模块，用于将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
推理模块，用于构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；
从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；
根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；
根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；
根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；
从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；
根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；
根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；
根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
上述结合本体概念和实例的网络空间知识图谱推理方法和装置，通过将本体概念和实例层在同一表示空间中进行联合嵌入，然后实现本体层与实例层的训练，由于训练数据包含本体概念，因此，推测更加准确。
附图说明
图1为一个实施例中结合本体概念和实例的网络空间知识图谱推理方法的流程示意图；
图2为一个实施例中结合本体概念和实例的网络空间知识图谱推理装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种结合本体概念和实例的网络空间知识图谱推理方法，包括以下步骤：
步骤102，将网络空间的本体概念映射至本体图。
本体是是图谱上层的概念，一般而言本体没有实际含义，例如：对于书籍的分类，可以分为化学、物理等，化学、物理就是一个本体概念，然而在物理的领域内，牛顿力学、电磁学、热力学就是知识图谱中的实例层的实体。
本体图由第一三元组表示，第一三元组由本体概念以及本体概念之间表示关系的本体边组成。具体的，可以采用随机游走构建本体图。随机游走也称之为随机漫步，在本体概念投影时，通过可以随机游走形成加权边。
值得说明的是，本体图中包含多个节点，每个节点表示的是一个本体概念，节点与节点之间存在连接关系，及上文所指的本体边，一般而言，由于本体概念是由领域专家构建，因此各个节点之间的本体边可以采用标签进行标记。
本体映射至本体图具体可以采用嵌入的方式，即将本体在表示空间中进行表示，通常，表示空间分为以下四种：
一、实值点空间，主要包括向量空间、矩阵空间和张量空间等。
二、复杂空间，主要用复数的形式来表示知识，例如三元组中的头实体可以表示为h＝Re(h)+i Im(h)，或者是更高维度的复杂空间，如h＝a+b i+c j+d k。
三、高斯空间，将实体和关系投射的满足高斯分布的表示空间。
四、其他一些不常用知识表示空间，如流形空间等。
本实施例中，可以采用实值点空间来表示本体，因此本体图中的节点可以采用三元组进行表示，“第一”和“第二”仅为了对两个三元组进行区分，没有实际含义。
具体的，第一三元组中的元素均为实值点空间中的向量表示。
步骤104，从节点对应的语料库提取实例层的实体，根据本体边和实体，构建第二三元组。
值得说明的是，第一三元组和第二三元组中的关系是相同的。
步骤106，构建用于网络空间知识图谱推理的卷积神经网络模型，根据第一三元组和所述第二三元组，确定卷积神经网络模型的统一能量函数。
能量函数是将系统内元素之间相异程度作为系统元素之间的能量，根据能量函数，在能量函数的建模上，可以对能量函数包含的信息进行编码，从而构建适用卷积神经网络模型。
步骤108，根据统一能量函数，构建用于训练卷积神经网络模型的得分函数。
步骤110，根据得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型。
步骤112，根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
上述结合本体概念和实例的网络空间知识图谱推理方法中，通过将本体概念和实例层在同一表示空间中进行联合嵌入，然后实现本体层与实例层的训练，由于训练数据包含本体概念，因此，推测更加准确。
在其中一个实施例中，在步骤104之后，还需要采用预先设置的损失函数训练预先设置的推理模型，根据推理模型确定第二三元组的关系是否成立。
具体的，推理模型基于如下假设：如果三元组(h，l，t)成立，那么在知识表示空间中，t和h+l的向量越接近，否则就越远离。
根据上述推理模型的假设，在其中一个实施例中，构建的损失函数如下：
Figure BDA0002496845310000071
其中，γ表示正确三元组和错误三元组之间的最小距离，S表示训练样本集，S′表示错误样本集，d(h+l,t)表示正确三元组中向量h+l,t之间的向量距离，d′(h′+l,t′)表示错误三元组中向量h′+l,t′的向量距离，[·]+表示取正数部分；根据损失函数，采用梯度下降方式训练预先设置的推理模型。本实施例中，加入错误样本集可以加快训练收敛的速度。
对于步骤106，在其中一个实施例中，在本体概念知识和实例层知识的统一表示空间中，构建卷积神经网络模型用于知识图谱关系的推理。知识图谱本体中的关系和实例层中的关系是一致的，因为实例层的关系是直接继承了本体中关于概念之间关系的定义，因此，在本体层知识表示矩阵和实例层知识表示矩阵中，关系的向量表示应当是一致的。定义神经网络的能量函数为：
E＝EI+EO
其中，E表示统一能量函数，EI表示实例层对应的实例能量函数，EO表示本体概念对应的本体能量函数；
实例能量函数表示为：
EI＝‖hI+r-tI‖
其中，hI表示头实体在实例层的向量表示，tI表示尾实体在实例层的向量表示，r表示所述本体边对应的关系；
本体能量函数表示为：
EO＝EOO+EIO+EOI
其中，EOO表示本体概念中头实体和尾实体的向量表示能量函数，EIO表示头实体在实例层的向量表示与尾实体在本体概念的向量表示间的能量函数，EOI表示尾实体在实例层的向量表示与头实体在本体概念的向量表示间的能量函数；
其中：
EOO＝‖hO+r-tO‖
EIO＝‖hI+r-tO‖
EOI＝‖hO+r-tI‖
其中，hO表示头实体在本体概念的向量表示，tO表示尾实体在本体概念的向量表示。
在能量函数建模基础上，采用卷积神经网络(CNN)编码模型对上述信息进行编码。
在其中一个实施例中，构建用于网络空间知识图谱推理的卷积神经网络模型；卷积神经网络模型依次包括：第一卷积层、第一池化层、第二卷积层、第二池化层以及输出层。
具体的，第一卷积层和第二卷积层的结构为：
Figure BDA0002496845310000081
其中，
Figure BDA0002496845310000082
第l个卷积层的输出，
Figure BDA0002496845310000083
表示l个卷积层的输入窗口处理得到的输入向量，
Figure BDA0002496845310000084
表示偏置W(l)表示窗口处理后输入向量的卷积核，σ表示非线性激活函数。
第一池化层为最大池化层，第二池化层为平均池化层。
对于第一个池化层，使用大小为n个非重叠窗口分割卷积层的输出向量。在每个窗口中，取每个特征映射的最大值来组成一个新的向量，定义最大池化来确定在一个大小为n的窗口内每个输入向量的最重要的特征值：
Figure BDA0002496845310000085
最大池化可以缩小n倍的特征表示的大小，因此，可以降低复杂性的CNN编码器和参数学习的成本。
另一方面，本体描述通常是复杂的、分层的(概念分层)，以至于描述中不同层次的概念可能具有不同的局部信息，仅仅使用最大池化会导致巨大的信息损失，因此，最后一个池化层，在激活之前使用平均池化而不是最大池化来构建实体表示：
Figure BDA0002496845310000091
所有包含不同局部信息的m个输入向量应该对最终的实体嵌入有贡献，并且可以在反向传播时进行更新。
基于上述处理，在其中一个实施例中，根据统一能量函数，构建用于训练所述卷积神经网络模型的得分函数为：
Figure BDA0002496845310000092
其中，E′表示错误的三元组对应的能量函数。
本实施例中，加入错误的三元组对应的能量函数同样可以加快训练的收敛速度。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种结合本体概念和实例的网络空间知识图谱推理装置，包括：联合嵌入模块202和推理模块204，其中：
联合嵌入模块202，用于将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
推理模块204，用于构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
在其中一个实施例中，联合嵌入模块202还用于采用预先设置的损失函数训练预先设置的推理模型，根据推理模型确定所述第二三元组的关系是否成立。
在其中一个实施例中，联合嵌入模块202还用于获取预先设置的损失函数为：
Figure BDA0002496845310000101
其中，γ表示正确三元组和错误三元组之间的最小距离，S表示训练样本集，S′表示错误样本集，d(h+l,t)表示正确三元组中向量h+l,t之间的向量距离，d′(h′+l,t′)表示错误三元组中向量h′+l,t′的向量距离，[·]+表示取正数部分；根据所述损失函数，采用梯度下降方式训练预先设置的推理模型。
在其中一个实施例中，推理模块204还用于根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数为：
E＝EI+EO
其中，E表示统一能量函数，EI表示实例层对应的实例能量函数，EO表示本体概念对应的本体能量函数；
所述实例能量函数表示为：
EI＝‖hI+r-tI‖
其中，hI表示头实体在实例层的向量表示，tI表示尾实体在实例层的向量表示，r表示所述本体边对应的关系；
所述本体能量函数表示为：
EO＝EOO+EIO+EOI
其中，EOO表示本体概念中头实体和尾实体的向量表示能量函数，EIO表示头实体在实例层的向量表示与尾实体在本体概念的向量表示间的能量函数，EOI表示尾实体在实例层的向量表示与头实体在本体概念的向量表示间的能量函数；
其中：
EOO＝‖hO+r-tO‖
EIO＝‖hI+r-tO‖
EOI＝‖hO+r-tI‖
其中，hO表示头实体在本体概念的向量表示，tO表示尾实体在本体概念的向量表示。
在其中一个实施例中，推理模块204还用于构建用于网络空间知识图谱推理的卷积神经网络模型；所述卷积神经网络模型依次包括：第一卷积层、第一池化层、第二卷积层、第二池化层以及输出层。
在其中一个实施例中，所述第一卷积层和所述第二卷积层的结构为：
Figure BDA0002496845310000111
其中，
Figure BDA0002496845310000112
第l个卷积层的输出，
Figure BDA0002496845310000113
表示l个卷积层的输入窗口处理得到的输入向量，
Figure BDA0002496845310000114
表示偏置W(l)表示窗口处理后输入向量的卷积核，σ表示非线性激活函数；
所述第一池化层为最大池化层，所述第二池化层为平均池化层。
在其中一个实施例中，推理模块204还用于根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数为：
Figure BDA0002496845310000115
其中，E′表示错误的三元组对应的能量函数。
关于结合本体概念和实例的网络空间知识图谱推理装置的具体限定可以参见上文中对于结合本体概念和实例的网络空间知识图谱推理方法的限定，在此不再赘述。上述结合本体概念和实例的网络空间知识图谱推理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种结合本体概念和实例的网络空间知识图谱推理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种结合本体概念和实例的网络空间知识图谱推理方法，所述方法包括：
将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；所述本体图中包含多个节点，每个节点表示一个本体概念；
从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；
根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；
根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；
根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
2.根据权利要求1所述的方法，其特征在于，从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组之后，包括：
采用预先设置的损失函数训练预先设置的推理模型，根据推理模型确定所述第二三元组的关系是否成立。
3.根据权利要求2所述的方法，其特征在于，所述采用预先设置的损失函数训练预先设置的推理模型，包括：
获取预先设置的损失函数为：
Figure FDA0004147828430000011
其中，γ表示正确三元组和错误三元组之间的最小距离，S表示训练样本集，S′表示错误样本集，d(h+l,t)表示正确三元组中向量h+l,t之间的向量距离，d′(h′+l,t′)表示错误三元组中向量h′+l,t′的向量距离，[·]+表示取正数部分；
根据所述损失函数，采用梯度下降方式训练预先设置的推理模型。
4.根据权利要求1至3任意一项所述的方法，其特征在于，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数，包括：
根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数为：
E＝EI+EO
其中，E表示统一能量函数，EI表示实例层对应的实例能量函数，EO表示本体概念对应的本体能量函数；
所述实例能量函数表示为：
EI＝‖hI+r-tI‖
其中，hI表示头实体在实例层的向量表示，tI表示尾实体在实例层的向量表示，r表示所述本体边对应的关系；
所述本体能量函数表示为：
EO＝EOO+EIO+EOI
其中，EOO表示本体概念中头实体和尾实体的向量表示能量函数，EIO表示头实体在实例层的向量表示与尾实体在本体概念的向量表示间的能量函数，EOI表示尾实体在实例层的向量表示与头实体在本体概念的向量表示间的能量函数；
其中：
EOO＝‖hO+r-tO‖
EIO＝‖hI+r-tO‖
EOI＝‖hO+r-tI‖
其中，hO表示头实体在本体概念的向量表示，tO表示尾实体在本体概念的向量表示。
5.根据权利要求4所述的方法，其特征在于，构建用于网络空间知识图谱推理的卷积神经网络模型，包括：
构建用于网络空间知识图谱推理的卷积神经网络模型；所述卷积神经网络模型依次包括：第一卷积层、第一池化层、第二卷积层、第二池化层以及输出层。
6.根据权利要求5所述的方法，其特征在于，所述第一卷积层和所述第二卷积层的结构为：
Figure FDA0004147828430000021
其中，
Figure FDA0004147828430000031
第l个卷积层的输出，
Figure FDA0004147828430000032
表示l个卷积层的输入窗口处理得到的输入向量，
Figure FDA0004147828430000033
表示偏置,W(l)表示窗口处理后输入向量的卷积核，σ表示非线性激活函数；
所述第一池化层为最大池化层，所述第二池化层为平均池化层。
7.根据权利要求4至6任一项所述的方法，其特征在于，根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数，包括：
根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数为：
Figure FDA0004147828430000034
其中，E′表示错误的三元组对应的能量函数。
8.一种结合本体概念和实例的网络空间知识图谱推理装置，其特征在于，所述装置包括：
联合嵌入模块，用于将网络空间的本体概念映射至本体图；所述本体图由第一三元组表示，所述第一三元组由所述本体概念以及本体概念之间表示关系的本体边组成；所述本体图中包含多个节点，每个节点表示一个本体概念；从所述节点对应的语料库提取实例层的实体，根据所述本体边和所述实体，构建第二三元组；所述第二三元组包括由实体以及连接实体的所述本体边组成；
推理模块，用于构建用于网络空间知识图谱推理的卷积神经网络模型，根据所述第一三元组和所述第二三元组，确定所述卷积神经网络模型的统一能量函数；根据所述统一能量函数，构建用于训练所述卷积神经网络模型的得分函数；根据所述得分函数的最小化目标，反向训练得到训练好的卷积神经网络模型；根据训练好的卷积神经网络模型，进行网络空间知识图谱推理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010424098.9A 2020-05-18 2020-05-18 结合本体概念和实例的网络空间知识图谱推理方法和装置 Active CN111597352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424098.9A CN111597352B (zh) 2020-05-18 2020-05-18 结合本体概念和实例的网络空间知识图谱推理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424098.9A CN111597352B (zh) 2020-05-18 2020-05-18 结合本体概念和实例的网络空间知识图谱推理方法和装置

Publications (2)

Publication Number Publication Date
CN111597352A CN111597352A (zh) 2020-08-28
CN111597352B true CN111597352B (zh) 2023-05-09

Family

ID=72191104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424098.9A Active CN111597352B (zh) 2020-05-18 2020-05-18 结合本体概念和实例的网络空间知识图谱推理方法和装置

Country Status (1)

Country Link
CN (1) CN111597352B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287114A (zh) * 2020-09-28 2021-01-29 珠海大横琴科技发展有限公司 一种知识图谱服务处理方法和装置
CN112487201B (zh) * 2020-11-26 2022-05-10 西北工业大学 一种使用共享参数卷积神经网络的知识图谱表示方法
EP4030349A1 (en) * 2021-01-18 2022-07-20 Siemens Aktiengesellschaft Neuromorphic hardware for processing a knowledge graph represented by observed triple statements and method for training a learning component

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976805A (zh) * 2019-03-31 2019-07-05 东南大学 一种基于本体的事件驱动架构模式识别方法
CN110717049A (zh) * 2019-08-29 2020-01-21 四川大学 一种面向文本数据的威胁情报知识图谱构建方法
CN110998567A (zh) * 2017-07-31 2020-04-10 微软技术许可有限责任公司 用于对话语义分析的知识图谱
CN111026880A (zh) * 2019-12-08 2020-04-17 大连理工大学 基于联合学习的司法知识图谱构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303535A1 (en) * 2018-04-03 2019-10-03 International Business Machines Corporation Interpretable bio-medical link prediction using deep neural representation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998567A (zh) * 2017-07-31 2020-04-10 微软技术许可有限责任公司 用于对话语义分析的知识图谱
CN109976805A (zh) * 2019-03-31 2019-07-05 东南大学 一种基于本体的事件驱动架构模式识别方法
CN110717049A (zh) * 2019-08-29 2020-01-21 四川大学 一种面向文本数据的威胁情报知识图谱构建方法
CN111026880A (zh) * 2019-12-08 2020-04-17 大连理工大学 基于联合学习的司法知识图谱构建方法

Also Published As

Publication number Publication date
CN111597352A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
US20210399743A1 (en) Fault tolerant and error correction decoding method and apparatus for quantum circuit, and chip
CN111597352B (zh) 结合本体概念和实例的网络空间知识图谱推理方法和装置
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
CN110929047A (zh) 关注邻居实体的知识图谱推理方法和装置
CN106599900A (zh) 一种识别图像中的字符串的方法和装置
CN110162783B (zh) 用于语言处理的循环神经网络中隐状态的生成方法和装置
CN111930932B (zh) 网络空间安全领域知识图谱表示学习方法和装置
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
US20220374606A1 (en) Systems and methods for utility-preserving deep reinforcement learning-based text anonymization
CN113435581B (zh) 数据处理方法、量子计算机、装置及存储介质
CN112633482A (zh) 一种高效宽度图卷积神经网络模型及其训练方法
CN114742210A (zh) 混合神经网络训练方法、交通流预测方法、设备和介质
CN113392229A (zh) 供应链关系构建和预测方法、装置、设备、存储介质
CN113626610A (zh) 知识图谱嵌入方法、装置、计算机设备和存储介质
CN115409111A (zh) 命名实体识别模型的训练方法和命名实体识别方法
Jedoui et al. Deep Bayesian active learning for multiple correct outputs
Abbott et al. Approximating Bayesian inference with a sparse distributed memory system
CN112651492A (zh) 一种自连接宽度图卷积神经网络模型及其训练方法
CN116992035B (zh) 一种提案智能分类的方法、装置、计算机设备和介质
Karpov et al. Elimination of negative circuits in certain neural network structures to achieve stable solutions
Narayanan et al. Overview of Recent Advancements in Deep Learning and Artificial Intelligence
beim Graben et al. Universal neural field computation
US20240028039A1 (en) Method and system for reinforcement learning and dual channel action embedding based robotic navigation
CN117475022A (zh) 基于细胞病理学图像生成的异常筛查数据增强方法、系统
Xue et al. Branch and Bound for Sigmoid-Like Neural Network Verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ding Zhaoyun

Inventor after: Zhu Xianqiang

Inventor after: Zhou Jun

Inventor after: Pan Yongqi

Inventor after: Zhu Xixi

Inventor after: Zhang Weiming

Inventor after: Zhu Cheng

Inventor after: Liu Bin

Inventor after: Huang Songping

Inventor after: Lv Guodong

Inventor before: Ding Zhaoyun

Inventor before: Zhu Xianqiang

Inventor before: Zhou Jun

Inventor before: Pan Yongqi

Inventor before: Zhu Xixi

Inventor before: Zhang Weiming

Inventor before: Zhu Cheng

Inventor before: Liu Bin

Inventor before: Huang Songping

Inventor before: Lv Guodong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant