CN112200321B - 基于知识联邦和图网络的推理方法、系统、设备及介质 - Google Patents

基于知识联邦和图网络的推理方法、系统、设备及介质 Download PDF

Info

Publication number
CN112200321B
CN112200321B CN202011397854.XA CN202011397854A CN112200321B CN 112200321 B CN112200321 B CN 112200321B CN 202011397854 A CN202011397854 A CN 202011397854A CN 112200321 B CN112200321 B CN 112200321B
Authority
CN
China
Prior art keywords
knowledge
graph
low
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011397854.XA
Other languages
English (en)
Other versions
CN112200321A (zh
Inventor
虞晓阳
孟丹
李宏宇
李晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TONGDUN TECHNOLOGY Co.,Ltd.
Original Assignee
Tongdun Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongdun Holdings Co Ltd filed Critical Tongdun Holdings Co Ltd
Priority to CN202011397854.XA priority Critical patent/CN112200321B/zh
Publication of CN112200321A publication Critical patent/CN112200321A/zh
Application granted granted Critical
Publication of CN112200321B publication Critical patent/CN112200321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉基于知识联邦和图网络的推理方法、系统、设备及介质，属于机器学习技术领域，该方法包括：各参与方服务器对本地的实体数据构建知识图谱；根据知识图谱的初始节点特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；将各低维知识向量发送至可信第三方服务器；可信第三方服务器对接收到的低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引融合后的特征表示进行推理，得到推理结果。该方法能够基于各参与方服务器的实体数据进行协同建模并进行知识推理，达到提高推理准确性的有益效果，而且，在训练过程和推理过程中，保证了各参与方服务器本地的数据安全及隐私。

Description

基于知识联邦和图网络的推理方法、系统、设备及介质
技术领域
本申请涉及机器学习技术领域，特别是涉及基于知识联邦和图网络的推理方法、系统、设备及介质。
背景技术
我们身处信息时代，每天都会产生大量的各种各样的数据，包括数字、文字、图像、符号等等，这些数据经过筛选、分析、归纳、总结等过程，能够提炼出各种有用的知识。这些知识组合构建形成知识图谱，进而可以用于构建机器的先验知识，用于像智能搜索、深度问答、智能决策等场景任务推理。
目前知识推理算法都是基于单一完整图谱的理想状态进行算法设计，但在实际应用场景中，构成知识图谱的知识往往散落在不同的机构或个人手中，形成一个个数据孤岛。如果仅基于自身数据构建来构建图谱，由于数据量原因，推理准确率往往较低。同时，出于自身利益和数据合规性的考虑，各机构难以直接通过数据共享的形式，将数据集中起来形成完整的知识图谱，进而进行推理。
因此，针对知识推理过程中的数据孤岛和由此带来的推理准确率低的问题，亟待本领域技术人员解决。
发明内容
本申请实施例提供了一种基于知识联邦和图网络的推理方法、系统、设备及介质，以至少解决相关技术中如何提高推理准确率的问题。
第一方面，本申请实施例提供了一种基于知识联邦和图网络的知识推理方法，应用于多个参与方服务器，所述方法包括：各所述参与方服务器对本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型（GraphAttention Networks，以下可以简称GATs），生成低维知识向量；将各所述低维知识向量发送至可信第三方服务器，其中，所述可信第三方服务器对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引所述融合后的特征表示进行推理，得到推理结果。
在其中一些实施例中，所述的根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量包括：
各所述参与方服务器通过所述预先训练的图神经网络模型对所述结构信息
Figure 893324DEST_PATH_IMAGE001
进 行图表示学习：
Figure 179949DEST_PATH_IMAGE002
其中，
Figure 287451DEST_PATH_IMAGE003
为节点i的初始特征，
Figure 165277DEST_PATH_IMAGE004
为节点j的初始特征，
Figure 46645DEST_PATH_IMAGE005
为任意注意力机制函数；
若节点i和节点j具有连边，则采用
Figure 418852DEST_PATH_IMAGE006
激励函数计算
Figure 69276DEST_PATH_IMAGE001
，并展开为：
Figure 852425DEST_PATH_IMAGE007
计算所述节点j对所述节点i的影响因子
Figure 17827DEST_PATH_IMAGE008
：
Figure 52779DEST_PATH_IMAGE009
计算所述低维知识向量
Figure 197190DEST_PATH_IMAGE010
：
Figure 26606DEST_PATH_IMAGE011
其中
Figure 7200DEST_PATH_IMAGE012
和W为预先训练的图神经网络模型的参数，
Figure 845843DEST_PATH_IMAGE013
，表示将
Figure 80646DEST_PATH_IMAGE014
维向量 映射到新的
Figure 674439DEST_PATH_IMAGE015
维向量；
Figure 752116DEST_PATH_IMAGE016
，是权重向量；
Figure 768352DEST_PATH_IMAGE012
为权重向量的转置；K为多头注意力机制 中的多头数目；
Figure 247874DEST_PATH_IMAGE017
为激励函数。
在其中一些实施例中，所述的对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示包括：
任意参与方服务器A的低维知识向量
Figure 809306DEST_PATH_IMAGE018
：
Figure 374279DEST_PATH_IMAGE019
任意参与方服务器B的低维知识向量
Figure 351463DEST_PATH_IMAGE020
：
Figure 560858DEST_PATH_IMAGE021
其中，
Figure 902978DEST_PATH_IMAGE022
为所述参与方服务器A中的节点i的低维知识向量，
Figure 751985DEST_PATH_IMAGE023
为所述参与方 服务器B中的节点i的低维知识向量，N为节点数量，C为分类类别数量；
对所述低维知识向量
Figure 595176DEST_PATH_IMAGE024
和所述低维知识向量
Figure 49291DEST_PATH_IMAGE025
进行融合，得到融合后的特征表 示
Figure 410915DEST_PATH_IMAGE026
：
Figure 340693DEST_PATH_IMAGE027
其中，
Figure 862942DEST_PATH_IMAGE028
为预先训练的融合模型的参数，是各所述参与方服务器低维知识向量经变 换拼接后对应的权重系数。
在其中一些实施例中，所述预先训练的图神经网络模型及所述预先训练的融合模型通过各所述参与方服务器和所述可信第三方服务器联邦训练得到。
在其中一些实施例中，所述预先训练的图神经网络模型及所述预先训练的融合模型通过各所述参与方服务器和所述可信第三方服务器联邦训练得到包括：
各所述参与方服务器对本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预设的图神经网络模型，生成低维知识向量；将所述低维知识向量发送至可信第三方服务器；
接收所述可信第三方服务器发送的梯度信息，其中，所述可信第三方服务器对接收到的所述低维知识向量利用预设的融合模型进行融合，得到融合后的特征表示；基于所述融合后的特征表示，计算交叉熵损失；通过反向传播，计算并更新所述融合模型的参数，并计算得到各所述参与方服务器的所述低维知识向量的梯度信息；
各所述参与方服务器根据各自接收的所述梯度信息，通过反向传播，计算并更新所述图神经网络模型的参数；将更新后的参数传递到所述可信第三方服务器，其中，所述可信第三方服务器接收到所述更新后的参数之后进行平均计算，并将计算后的参数回传给各所述参与方服务器以更新所述图神经网络模型的参数；
迭代更新所述图神经网络模型及所述融合模型的参数直到所述交叉熵损失收敛，得到所述预先训练的图神经网络模型及所述预先训练的融合模型。
在其中一些实施例中，所述知识推理请求包括节点分类请求，所述的针对知识推理请求，索引所述融合后的特征表示进行推理，得到推理结果包括：针对所述节点分类请求，获取节点的所述融合后的特征表示的矩阵；对所述融合后的特征表示的矩阵每行取最大值对应的索引，得到节点的目标类别，作为推理结果。
在其中一些实施例中，所述基于知识联邦和图网络的知识推理方法应用于可信第三方服务器，该方法包括：接收多个参与方服务器发送的低维知识向量，其中，各所述参与方服务器利用本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；
对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引所述融合后的特征表示进行推理，得到推理结果。
第二方面，本申请实施例提供了一种基于知识联邦和图网络的知识推理系统，包括可信第三方服务器和多个参与方服务器，其中，
各所述参与方服务器，利用本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；将各所述低维知识向量发送至可信第三方服务器；
所述可信第三方服务器，对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引所述融合后的特征表示进行推理，得到推理结果。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的基于知识联邦和图网络的知识推理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于知识联邦和图网络的知识推理方法。
根据上述内容，本申请实施例的基于知识联邦和图网络的知识推理方法包括：各参与方服务器对本地的实体数据构建知识图谱；根据知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；将各低维知识向量发送至可信第三方服务器；可信第三方服务器对接收到的低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引融合后的特征表示进行推理，得到推理结果。该方法将各参与方服务器通过可信第三方服务器连接起来形成知识联邦，能够基于各参与方服务器的实体数据进行建模并协同进行知识推理，达到提高推理准确性的有益效果，而且，在训练过程和推理过程中，各参与方服务器仅向可信第三方服务器传输抽象后的低维知识向量和模型的训练中间参数，而不会传输各参与方服务器的本地数据，保证了各参与方服务器本地数据的安全及隐私。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于知识联邦和图网络的知识推理系统的结构示意图；
图2是根据本申请实施例的基于知识联邦和图网络的知识推理方法的流程图；
图3a是根据本申请实施例的知识抽象表示阶段的表达示意图，图3b是根据本申请实施例的知识联邦融合阶段的表达示意图；
图4是根据本申请实施例的训练图神经网络模型的代码示意图；
图5是根据本申请实施例的电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请所涉及的知识联邦旨在确保各个参与方服务器的数据不离开本地的情况下，各参与方服务器交换数据中的“知识”，从而建立一个充分利用各个参与方服务器中数据的模型，达到“数据可用不可见，知识共创可共享”的目的。本申请实施例提供的基于知识联邦和图网络的知识推理方法，可以通过知识的表示学习，在不泄漏各参与方服务器中本地数据的前提下，对多个参与方服务器中的知识进行抽象，并完成联邦融合，最终完成协同知识推理。
具体的，各参与方服务器对本地的实体数据构建知识图谱，基于知识图谱的节点初始特征及结构信息和相同的图神经网络模型，对知识进行抽象并映射到一个新的低维特征空间，生成低维知识向量，且上传到可信第三方服务器；可信第三方服务器对所有参与方服务器上传的抽象知识利用融合模型进行联邦融合；针对不同问题领域的任务进行建模并协同完成知识推理。
图1是根据本申请实施例的基于知识联邦和图网络的知识推理系统的结构示意图，如图1所示，该系统包括：可信第三方服务器和多个参与方服务器，其中，可信第三方服务器的数量不做限制，参与方服务器的数量为至少两个，且各参与方服务器均连接于该可信第三方服务器。
图2是根据本申请实施例的基于知识联邦和图网络的知识推理方法的流程图，如图2所示，该方法包括以下步骤：
S100：各参与方服务器对本地的实体数据构建知识图谱；
S200：根据知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；
S300：将各低维知识向量发送至可信第三方服务器；
S400：可信第三方服务器对接收到的低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；
S500：针对知识推理请求，索引融合后的特征表示进行推理，得到推理结果。
需要说明的是，上述图网络即图神经网络模型。上述方法将各参与方服务器通过可信第三方服务器连接起来形成知识联邦，能够基于各参与方服务器的实体数据进行建模并协同进行知识推理，达到提高推理准确性的有益效果，而且，在训练过程和推理过程中，各参与方服务器仅向可信第三方服务器传输抽象后的低维知识向量和模型训练的中间参数，不会传输各参与方服务器的本地数据，保证了各参与方服务器本地数据的安全及隐私。
上述知识推理请求包括节点分类任务，因此以节点分类任务为例，以下对建模过程（即图神经网络模型和融合模型的训练过程）进行说明。需要说明的是，本申请实施例中，各参与方服务器上的图神经网络模型和可信第三方服务器上的融合模型在初始化之后一起迭代训练，从而构成一个整体意义上的模型，由于该整体意义上的模型可以基于各参与方服务器的数据进行学习，相比较于基于单个参与方服务器的数据训练的模型，利用本申请所述的整体意义上的模型进行知识推理时，得到的推理结果准确性更高。
步骤一：知识抽象表示：
各个机构组织（例如包括参与方A的服务器和参与方B的服务器）在日常运营过程 中会产生各种各样的本地的实体数据（包括节点特征），那么可以对这些实体数据组合以构 建知识图谱
Figure 46929DEST_PATH_IMAGE029
，其中V为节点集合，E为边集合；再通过图神经网络模型将图节点特 征及相关结构信息抽象表示为低维知识向量。图3a是根据本申请实施例的知识抽象表示阶 段的表达示意图，如图3a所示：
节点初始特征集合h：
Figure 996431DEST_PATH_IMAGE030
，
其中，
Figure 882347DEST_PATH_IMAGE031
为节点i的初始特征，是具有F维的矩阵，F为节点的特征数量，N为节点数 量。
结构信息即节点i和节点j的边
Figure 942707DEST_PATH_IMAGE032
：
Figure 479737DEST_PATH_IMAGE033
通过图神经网络模型，各参与方服务器对知识图谱的结构信息
Figure 396877DEST_PATH_IMAGE032
进行图表示学 习：
Figure 645456DEST_PATH_IMAGE002
其中，
Figure 634140DEST_PATH_IMAGE004
为节点j的初始特征，
Figure 448512DEST_PATH_IMAGE005
为任意注意力机制（attention）函数，这里采用加 性attention；
若节点i和节点j具有连边，则计算
Figure 5396DEST_PATH_IMAGE001
，采用
Figure 351058DEST_PATH_IMAGE006
激励函数，将上述
Figure 815537DEST_PATH_IMAGE001
展 开为：
Figure 687678DEST_PATH_IMAGE007
其中，
Figure 274517DEST_PATH_IMAGE012
和W为GATs模型初始化训练参数，
Figure 294426DEST_PATH_IMAGE013
，表示将
Figure 77443DEST_PATH_IMAGE034
维向量映射到新 的
Figure 335249DEST_PATH_IMAGE015
维向量；
Figure 358569DEST_PATH_IMAGE016
，是权重向量；
Figure 803456DEST_PATH_IMAGE012
为权重向量的转置；
计算所述节点j对所述节点i的影响因子
Figure 891629DEST_PATH_IMAGE035
：
Figure 128576DEST_PATH_IMAGE009
计算所述低维知识向量
Figure 932583DEST_PATH_IMAGE010
：
Figure 927084DEST_PATH_IMAGE011
其中，K为多头注意力机制（Multi-Head Attention）中的多头数目，
Figure 848642DEST_PATH_IMAGE017
为激励函 数，可以采用ELU(Exponential Linear Units)；
得到的
Figure 549881DEST_PATH_IMAGE036
即为抽象后节点i的低维知识向量，包含了元素特征及与其相关邻居信 息。各个参与方服务器依据自身知识，经过知识编码，形成对相同实体的各自低维知识向 量。图3a示出了参与方A的服务器中所生成的一个低维知识向量
Figure 649424DEST_PATH_IMAGE037
，省略了其他低维知 识向量
Figure 131221DEST_PATH_IMAGE038
和
Figure 482568DEST_PATH_IMAGE039
等等，对参与方B的服务器中低维知识向量的表示同理，此处不做赘 述。上述各参与方服务器采用相同GATs，能够共享模型参数。
步骤二：知识联邦融合：
可信第三方服务器接收各参与方服务器发送的抽象知识（即低维知识向量），经融合模型进行联邦融合，得到综合后的特征表示，图3b 是根据本申请实施例的知识联邦融合阶段的表达示意图，请参阅图3b 所示：
（1）互操作步骤：
相同实体的各自低维向量进行减或乘操作，生成更丰富的特征表示；
（2）知识融合步骤：
融合方式多样，可以将低维知识向量简单平均或基于Attention加权和等等，例如，：
可信第三方服务器接收任意参与方服务器A的低维知识向量
Figure 913681DEST_PATH_IMAGE018
：
Figure 325071DEST_PATH_IMAGE019
可信第三方服务器接收任意参与方服务器B的低维知识向量
Figure 356480DEST_PATH_IMAGE040
：
Figure 245939DEST_PATH_IMAGE021
其中，
Figure 984088DEST_PATH_IMAGE022
为参与方服务器A中的节点i的低维知识向量，
Figure 504779DEST_PATH_IMAGE041
为参与方服务器B 中的节点i的低维知识向量，N为节点数量，C为分类类别数量；
对低维知识向量
Figure 898851DEST_PATH_IMAGE042
和低维知识向量
Figure 451056DEST_PATH_IMAGE043
进行融合，得到融合后的特征表示
Figure 43711DEST_PATH_IMAGE026
：
Figure 796903DEST_PATH_IMAGE027
其中，
Figure 288059DEST_PATH_IMAGE028
为初始化训练参数，是各参与方服务器低维知识向量经变换拼接后对应的 权重系数。
作为一个示例，本方案采用一维卷积Conv1D学习得到各参与方服务器低维知识向 量经变换拼接后对应的权重系数
Figure 519320DEST_PATH_IMAGE044
，实现加权求和。
对上述
Figure 966482DEST_PATH_IMAGE045
的表达公式，利用Conv1D计算、分解和展开：
（1）将
Figure 15209DEST_PATH_IMAGE046
（此处的
Figure 118294DEST_PATH_IMAGE026
是中间变量）拼接形成
Figure 527148DEST_PATH_IMAGE047
矩阵，其中，K为拼接个数，例如K=4；
（2）初始化Conv1D参数，包括
Figure 828816DEST_PATH_IMAGE048
和
Figure 658232DEST_PATH_IMAGE049
；
（3）
Figure 638826DEST_PATH_IMAGE050
，其中
Figure 8628DEST_PATH_IMAGE051
，此处，括号中的
Figure 633644DEST_PATH_IMAGE026
是中间变量，
Figure 509327DEST_PATH_IMAGE052
是中间变量。
（4）上述的
Figure 587005DEST_PATH_IMAGE053
即为Conv1D模型参数W和b。
上述内容中，中间变量
Figure 26076DEST_PATH_IMAGE054
为N*K*C矩阵，
Figure 630233DEST_PATH_IMAGE052
是其中i,k,j对应元素；最终得到的
Figure 801451DEST_PATH_IMAGE026
为N*C矩阵，
Figure 740326DEST_PATH_IMAGE055
是
Figure 655193DEST_PATH_IMAGE054
矩阵里面的对应元素值。
可信第三方服务器基于上述步骤得到的融合后的特征表示
Figure 51539DEST_PATH_IMAGE026
，计算交叉熵损失， 反向传播，更新融合模型参数，并计算得到
Figure 783872DEST_PATH_IMAGE056
的梯度信息，对应地传递给相应的参与 方服务器；各参与方服务器根据各自接收的梯度信息，反向传播，计算更新GATs模型参数， 把更新后的GATs模型参数传递到可信第三方服务器；可信第三方服务器接收到各参与方服 务器传递的模型参数，进行平均计算，并回传给各参与方服务器以更新GATs模型参数。
对上述步骤一至步骤二，不断迭代，直到Cross-Entropy Loss收敛，得到最终的各 参与方服务器共享的GATs模型参数，以及可信第三方服务器中的联邦融合模型参数
Figure 570562DEST_PATH_IMAGE057
，从 而完成GATs模型及融合模型的训练，得到上文所述的预先训练的图神经网络模型及预先训 练的融合模型。
基于上述内容，本申请实施例的基于知识联邦和图网络的知识推理方法包括：各参与方服务器对本地的实体数据构建知识图谱；根据知识图谱的初始节点特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；将各低维知识向量发送至可信第三方服务器，可信第三方服务器对接收到的所有的低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示；针对知识推理请求，索引融合后的特征表示进行推理，得到推理结果。需要说明的是，此处的实体数据是推理阶段的待推理数据，可以是参与方服务器在训练阶段所使用的实体数据，也可以是参与方服务器新获得的实体数据。
可选的，根据知识图谱的初始节点特征及结构信息和预先训练的图神经网络模型，生成低维知识向量包括：
各参与方服务器通过预先训练的图神经网络模型对结构信息
Figure 164485DEST_PATH_IMAGE001
进行图表示学 习：
Figure 415338DEST_PATH_IMAGE002
其中，
Figure 193938DEST_PATH_IMAGE003
为节点i的初始特征，
Figure 592559DEST_PATH_IMAGE004
为节点j的初始特征，
Figure 114807DEST_PATH_IMAGE005
为任意注意力机制函数；
若节点i和节点j具有连边，则采用
Figure 220166DEST_PATH_IMAGE006
激励函数计算
Figure 543569DEST_PATH_IMAGE001
，并展开为：
Figure 39272DEST_PATH_IMAGE007
计算所述节点j对所述节点i的影响因子
Figure 489845DEST_PATH_IMAGE008
：
Figure 449711DEST_PATH_IMAGE009
计算所述低维知识向量
Figure 570114DEST_PATH_IMAGE010
：
Figure 694059DEST_PATH_IMAGE011
其中
Figure 558110DEST_PATH_IMAGE012
和W为预先训练的图神经网络模型的参数，
Figure 372482DEST_PATH_IMAGE013
，表示将
Figure 53999DEST_PATH_IMAGE014
维向量 映射到新的
Figure 524294DEST_PATH_IMAGE015
维向量；
Figure 306218DEST_PATH_IMAGE016
，是权重向量；
Figure 443938DEST_PATH_IMAGE012
为权重向量的转置；K为多头注意力机制 中的多头数目；
Figure 968460DEST_PATH_IMAGE017
为激励函数。
可选的，对接收到的所有的低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示：
任意参与方服务器A的低维知识向量
Figure 50686DEST_PATH_IMAGE018
：
Figure 256539DEST_PATH_IMAGE019
任意参与方服务器B的低维知识向量
Figure 124132DEST_PATH_IMAGE020
：
Figure 553976DEST_PATH_IMAGE021
其中，
Figure 264443DEST_PATH_IMAGE022
为所述参与方服务器A中的节点i的低维知识向量，
Figure 133042DEST_PATH_IMAGE023
为所述参与方 服务器B中的节点i的低维知识向量，N为节点数量，C为分类类别数量；
对所述低维知识向量
Figure 979776DEST_PATH_IMAGE024
和所述低维知识向量
Figure 846100DEST_PATH_IMAGE025
进行融合，得到融合后的特征表 示
Figure 152186DEST_PATH_IMAGE026
：
Figure 699842DEST_PATH_IMAGE027
其中，
Figure 463398DEST_PATH_IMAGE028
为预先训练的融合模型的参数，是各所述参与方服务器低维知识向量经变 换拼接后对应的权重系数。
因此，可以根据不同的任务，选择不同的推理方式。例如，对于节点分类任务，在得到融合后的特征表示之后，可以通过softmax得到最终的节点类别。
通过上述方法进行节点分类，最终得到的分类结果的准确性较高，因为，本实施例的基于知识联邦和图网络的知识推理方法和系统将各参与方服务器通过可信第三方服务器连接起来形成知识联邦，能够基于各参与方服务器的实体数据进行建模并协同进行知识推理，达到提高推理准确性的有益效果。而且，在训练过程和推理过程中，各参与方服务器仅向可信第三方服务器传输抽象后的低维知识向量和模型训练的中间参数，而不会传输各参与方服务器的本地数据，保证了各参与方服务器本地数据的安全及隐私。
另外，任意参与方服务器或可信第三方服务器均可作为推理请求的接收方，例如，当可信第三方服务器接收到推理请求时，可以索引融合后的特征表示进行推理，得到推理结果。再例如，当参与方服务器接收到推理请求时，将该推理请求转发给可信第三方服务器，可信第三方服务器索引融合后的特征表示进行推理，得到推理结果，然后反馈推理结果给参与方服务器；或者，当可信第三方服务器得到融合后的特征表示后，同步给每个（或指定的）参与方服务器，那么当该参与方服务器接收到推理请求时，可以在本地进行索引，从而得到推理结果。可根据实际应用场景来选择具体的实施方式，此处不做限定。
为了更清楚的说明本申请的内容，以下举例，针对开源的Cora数据集进行节点分类任务。
引文网络Cora数据集，包含2708个节点，5429条边，构成具有节点属性的图，具体请见表1：
表1：Cora数据集的节点属性
Figure 562941DEST_PATH_IMAGE058
Cora数据集分拆：
原始图：
Figure 982421DEST_PATH_IMAGE059
，其中V为节点集合，E为边集合；
分拆保持节点不变，对包含的边进行随机抽样以形成不同子图：
Figure 209135DEST_PATH_IMAGE060
假设有参与方服务器A和参与方服务器B，交集分拆：
Figure 827198DEST_PATH_IMAGE061
形成图：
Figure 707429DEST_PATH_IMAGE062
,
Figure 738839DEST_PATH_IMAGE063
集中化图：
Figure 690614DEST_PATH_IMAGE064
基于上述内容，图4是根据本申请实施例的训练图神经网络模型的代码示意图，请 参阅图4中的代码内容，对参与方服务器A输入
Figure 209189DEST_PATH_IMAGE065
以及节点初始特征
Figure 791480DEST_PATH_IMAGE066
，对参与方服务器B输入
Figure 44607DEST_PATH_IMAGE067
以及节点初始特 征
Figure 534494DEST_PATH_IMAGE066
。最终输出各参与方服务器共享的GATs模型参数以及 在可信第三方服务器中进行联邦融合的融合模型参数
Figure 330412DEST_PATH_IMAGE068
，得到训练完成的GATs模型及融合 模型。
具体的，GATs模型及融合模型的训练步骤包括：
1.参与方服务器A和参与方服务器B通过预设的GATs模型得到低维知识向量
Figure 693391DEST_PATH_IMAGE056
，并上传到可信第三方服务器；
2.可信第三方服务器接收到低维知识向量
Figure 105918DEST_PATH_IMAGE056
后，进行互操作，得到
Figure 602759DEST_PATH_IMAGE069
3.经过一维卷积Conv1D（即预设的融合模型）计算得到融合后的特征表示
Figure 112237DEST_PATH_IMAGE070
，计算 交叉熵损失（Cross-Entropy Loss）；
4.在可信第三方服务器中反向传播，更新融合模型参数，并计算得到
Figure 36331DEST_PATH_IMAGE056
的梯 度信息，对应传递给相应的参与方服务器；
5.各参与方服务器根据各自接收的梯度信息，反向传播，计算更新GATs模型参数，把更新后的GATs模型参数传递到可信第三方服务器；
6.可信第三方服务器接收到各参与方服务器传递的模型参数，进行平均计算，并回传给各参与方服务器以更新GATs模型参数。
7.上述步骤1-步骤6，不断迭代，直到Cross-Entropy Loss收敛，得到最终的各参 与方服务器共享的GAT模型参数以及可信第三方服务器上的联邦融合模型参数
Figure 201733DEST_PATH_IMAGE071
，得到训 练完成的GATs模型及融合模型。
当接收到推理请求时，该推理请求例如为节点分类请求，以下为推理过程：
①据上述步骤1-步骤3得到融合后的特征表示
Figure 345007DEST_PATH_IMAGE072
矩阵，需要说明的是， 该推理过程中步骤1中的GATs模型和步骤3中的融合模型均为训练完成的模型；
②对
Figure 849938DEST_PATH_IMAGE073
矩阵每行取最大值对应的索引，推理结果为N个节点的目标类 别。
采用本实施例的协同推理方法进行节点分类的结果与采用单个参与方或集中化方式进行节点分类的结果对比如表2所示：
表2：多种方式进行节点分类的结果对比
Figure 741671DEST_PATH_IMAGE074
表2中，两个参与方服务器为参与方服务器A和参与方服务器B；“0.2”和“0.5”分别表示从原始Cora数据集随机抽样边的比例；
单节点A：表示只使用
Figure 191107DEST_PATH_IMAGE065
，经GATs模型，得到低维知识向量，然后推理得 到测试集结果；
单节点B：表示只使用
Figure 29750DEST_PATH_IMAGE075
，经GATs模型，得到低维知识向量，然后推理得 到测试集结果；
集中化：表示只使用
Figure 451504DEST_PATH_IMAGE076
Figure 327187DEST_PATH_IMAGE077
，经GATs模型，得 到低维知识向量，然后推理得到测试集结果；
本申请实施例的联邦协同/conv1d：表示在不泄漏各参与方服务器本地数据的前 提下，使用
Figure 404864DEST_PATH_IMAGE065
，
Figure 578357DEST_PATH_IMAGE075
，各自经GATs、联邦融合、得到融合后的特征表示
Figure 916934DEST_PATH_IMAGE070
， 然后推理得到测试集结果。
需要说明的是：
单节点A意味着参与方服务器A的GATs模型仅基于本地数据进行学习，单节点B意味着参与方服务器B的GATs模型仅基于本地数据进行学习，所以得到的GATs模型准确性低，因此基于该GATs模型进行推理的准确率低；
集中化意味着将参与方服务器A和参与方服务器B中的数据集中到一起形成数据集，因此基于该原始的数据集进行学习的GATs模型准确性最高，所以基于该GATs模型进行推理的准确性最高，但是这会对各参与方服务器的本地数据造成泄密；
而本申请实施例的联邦协同/conv1d将各参与方服务器通过可信第三方服务器连接起来形成知识联邦，能够基于各参与方服务器的实体数据进行建模并协同进行知识推理，因此可以达到接近集中化推理的准确率的效果，而且，在训练过程和推理过程中，各参与方服务器仅向可信第三方服务器传输抽象后的低维知识向量和模型训练的中间结果，而不会传输各参与方服务器的本地数据，保证了各参与方服务器本地数据的安全及隐私。
具体由表2可知，对于不同采样比例，联邦协同的推理结果都比单节点分类的准确率高，而且接近集中化分类的准确率，表明联邦协同在不泄漏彼此数据的情况下，很好的利用了多个参与方服务器的本地知识来共同完成节点分类。
因此，本申请实施例的基于知识联邦和图网络的知识推理方法和系统具有以下优势：
（1）将各参与方服务器通过可信第三方服务器连接起来形成知识联邦，协同进行知识推理；
（2）在训练与推理的过程中，各参与方服务器只向可信第三方服务器传输抽象后的低维知识向量和模型训练的中间结果，保证各参与方服务器本地数据的安全及隐私；
（3）协同分类的准确率远超单节点分类的准确率，接近集中化分类的准确率，有效的保证了推理的准确性。
本申请实施例还提供一种电子设备，图5是根据本申请实施例的电子设备的结构框图，如图5所示，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接。
处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及，即实现本发明各种实施例的基于知识联邦和图网络的知识推理方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收实体数据、编码数据、压缩数据和特征数据等。输出装置640可包括显示屏等显示装备。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（RandomAccess Memory， RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台电子设备（可以是手机，个人计算机，服务端，或者网络设备等）执行本发明各种实施例的基于知识联邦和图网络的知识推理方法。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于知识联邦和图网络的知识推理方法，其特征在于，应用于多个参与方服务器，所述方法包括：
各所述参与方服务器对本地的实体数据构建知识图谱；
根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量，所述图神经网络模型为带有注意力机制的GATs模型；
将各所述低维知识向量发送至可信第三方服务器，其中，所述可信第三方服务器对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示，所述图神经网络模型和所述融合模型构成一个整体的模型；
针对节点分类请求，获取节点的所述融合后的特征表示的矩阵；
对所述融合后的特征表示的矩阵每行取最大值对应的索引，得到节点的目标类别，作为推理结果。
2.根据权利要求1所述的基于知识联邦和图网络的知识推理方法，其特征在于，所述的根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量包括：
各所述参与方服务器通过所述预先训练的图神经网络模型对所述结构信息
Figure DEST_PATH_IMAGE002AAAA
进行图 表示学习：
Figure DEST_PATH_IMAGE004AA
其中，
Figure DEST_PATH_IMAGE006AA
为节点i的初始特征，
Figure DEST_PATH_IMAGE008AA
为节点j的初始特征，
Figure DEST_PATH_IMAGE010AA
为任意注意力机制函数；
若节点i和节点j具有连边，则采用
Figure DEST_PATH_IMAGE012AA
激励函数计算
Figure DEST_PATH_IMAGE002AAAAA
，并展开为：
Figure DEST_PATH_IMAGE014AA
计算所述节点j对所述节点i的影响因子
Figure DEST_PATH_IMAGE016AA
：
Figure DEST_PATH_IMAGE018AA
计算所述低维知识向量
Figure DEST_PATH_IMAGE020AA
：
Figure DEST_PATH_IMAGE022AA
其中
Figure DEST_PATH_IMAGE024AAAA
和W为预先训练的图神经网络模型的参数，
Figure DEST_PATH_IMAGE026AA
，表示将
Figure DEST_PATH_IMAGE028AA
维向量映射 到新的
Figure DEST_PATH_IMAGE030AA
维向量；
Figure DEST_PATH_IMAGE032AA
，是权重向量；
Figure DEST_PATH_IMAGE024AAAAA
为权重向量的转置；K为多头注意力机制中的 多头数目；
Figure DEST_PATH_IMAGE034AA
为激励函数。
3.根据权利要求1所述的基于知识联邦和图网络的知识推理方法，其特征在于，所述的对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示包括：
任意参与方服务器A的低维知识向量
Figure DEST_PATH_IMAGE036AA
：
Figure DEST_PATH_IMAGE038AA
任意参与方服务器B的低维知识向量
Figure DEST_PATH_IMAGE040AA
：
Figure DEST_PATH_IMAGE042AA
其中，
Figure DEST_PATH_IMAGE044A
为所述参与方服务器A中的节点i的低维知识向量，
Figure DEST_PATH_IMAGE046A
为所述参与方服务 器B中的节点i的低维知识向量，N为节点数量，C为分类类别数量；
对所述低维知识向量
Figure DEST_PATH_IMAGE048A
和所述低维知识向量
Figure DEST_PATH_IMAGE050A
进行融合，得到融合后的特征表示
Figure DEST_PATH_IMAGE052A
：
Figure DEST_PATH_IMAGE054A
其中，
Figure DEST_PATH_IMAGE056A
为预先训练的融合模型的参数，是各所述参与方服务器低维知识向量经变换拼 接后对应的权重系数。
4.根据权利要求1所述的基于知识联邦和图网络的知识推理方法，其特征在于，所述预先训练的图神经网络模型及所述预先训练的融合模型通过各所述参与方服务器和所述可信第三方服务器联邦训练得到。
5.根据权利要求4所述的基于知识联邦和图网络的知识推理方法，其特征在于，所述预先训练的图神经网络模型及所述预先训练的融合模型通过各所述参与方服务器和所述可信第三方服务器联邦训练得到包括：
各所述参与方服务器对本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预设的图神经网络模型，生成低维知识向量；将所述低维知识向量发送至可信第三方服务器；
接收所述可信第三方服务器发送的梯度信息，其中，所述可信第三方服务器对接收到的所述低维知识向量利用预设的融合模型进行融合，得到融合后的特征表示；基于所述融合后的特征表示，计算交叉熵损失；通过反向传播，计算并更新所述融合模型的参数，并计算得到各所述参与方服务器的所述低维知识向量的梯度信息；
各所述参与方服务器根据各自接收的所述梯度信息，通过反向传播，计算并更新所述图神经网络模型的参数；将更新后的参数传递到所述可信第三方服务器，其中，所述可信第三方服务器接收到所述更新后的参数之后进行平均计算，并将计算后的参数回传给各所述参与方服务器以更新所述图神经网络模型的参数；
迭代更新所述图神经网络模型及所述融合模型的参数直到所述交叉熵损失收敛，得到所述预先训练的图神经网络模型及所述预先训练的融合模型。
6.一种基于知识联邦和图网络的知识推理方法，其特征在于，应用于可信第三方服务器，所述方法包括：
接收多个参与方服务器发送的低维知识向量，其中，各所述参与方服务器利用本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量，所述图神经网络模型为带有注意力机制的GATs模型；
对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示，所述图神经网络模型和所述融合模型构成一个整体的模型；
针对节点分类请求，获取节点的所述融合后的特征表示的矩阵；
对所述融合后的特征表示的矩阵每行取最大值对应的索引，得到节点的目标类别，作为推理结果。
7.一种基于知识联邦和图网络的知识推理系统，其特征在于，包括可信第三方服务器和多个参与方服务器，其中，
各所述参与方服务器，利用本地的实体数据构建知识图谱；根据所述知识图谱的节点初始特征及结构信息和预先训练的图神经网络模型，生成低维知识向量；将各所述低维知识向量发送至可信第三方服务器，所述图神经网络模型为带有注意力机制的GATs模型；
所述可信第三方服务器，对接收到的所述低维知识向量利用预先训练的融合模型进行融合，得到融合后的特征表示，所述图神经网络模型和所述融合模型构成一个整体的模型；
针对节点分类请求，获取节点的所述融合后的特征表示的矩阵；
对所述融合后的特征表示的矩阵每行取最大值对应的索引，得到节点的目标类别，作为推理结果。
8.一种电子设备，包括处理器和存储有计算机程序的存储介质，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于知识联邦和图网络的知识推理方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述基于知识联邦和图网络的知识推理方法。
CN202011397854.XA 2020-12-04 2020-12-04 基于知识联邦和图网络的推理方法、系统、设备及介质 Active CN112200321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011397854.XA CN112200321B (zh) 2020-12-04 2020-12-04 基于知识联邦和图网络的推理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011397854.XA CN112200321B (zh) 2020-12-04 2020-12-04 基于知识联邦和图网络的推理方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112200321A CN112200321A (zh) 2021-01-08
CN112200321B true CN112200321B (zh) 2021-04-06

Family

ID=74033802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011397854.XA Active CN112200321B (zh) 2020-12-04 2020-12-04 基于知识联邦和图网络的推理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112200321B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112865116B (zh) * 2021-01-11 2022-04-12 广西大学 一种平行联邦图神经网络的十三区图无功优化方法
CN113157938B (zh) * 2021-03-25 2022-05-17 支付宝(杭州)信息技术有限公司 保护隐私数据的多个知识图谱联合处理的方法和装置
CN113408747A (zh) * 2021-06-28 2021-09-17 淮安集略科技有限公司 模型参数更新方法、装置、计算机可读介质及电子设备
CN113468382B (zh) * 2021-07-01 2024-04-02 同盾控股有限公司 基于知识联邦的多方环路检测方法、装置及相关设备
CN113378243B (zh) * 2021-07-14 2023-09-29 南京信息工程大学 一种基于多头注意力机制的个性化联邦学习方法
CN113656802B (zh) * 2021-07-19 2024-05-14 同盾科技有限公司 基于知识联邦无向图联邦环检测方法、系统、设备和介质
CN113810302B (zh) * 2021-09-18 2023-11-14 深圳市奥拓普科技有限公司 一种通讯控制的方法和通讯传输系统
CN113886598A (zh) * 2021-09-27 2022-01-04 浙江大学 一种基于联邦学习的知识图谱表示方法
CN114153982B (zh) * 2021-11-09 2024-04-02 浙江师范大学 联邦教育知识图谱补全方法、设备及介质
CN114912637B (zh) * 2022-05-21 2023-08-29 重庆大学 人机物知识图谱制造产线运维决策方法及系统、存储介质
CN117648981A (zh) * 2022-08-11 2024-03-05 华为技术有限公司 一种推理方法及相关装置
CN116821375B (zh) * 2023-08-29 2023-12-22 之江实验室 一种跨机构医学知识图谱表示学习方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275959A (zh) * 2019-05-22 2019-09-24 广东工业大学 一种面向大规模知识库的快速学习方法
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN111368021A (zh) * 2020-02-25 2020-07-03 同盾控股有限公司 基于知识网络的智能决策方法及装置、终端、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275959A (zh) * 2019-05-22 2019-09-24 广东工业大学 一种面向大规模知识库的快速学习方法
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN111368021A (zh) * 2020-02-25 2020-07-03 同盾控股有限公司 基于知识网络的智能决策方法及装置、终端、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GRAPH ATTENTION NETWORKS;Petar Velickowic等;《ICLR 2018》;20180228;第1-12页 *

Also Published As

Publication number Publication date
CN112200321A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200321B (zh) 基于知识联邦和图网络的推理方法、系统、设备及介质
CN112085159B (zh) 一种用户标签数据预测系统、方法、装置及电子设备
CN111881350B (zh) 一种基于混合图结构化建模的推荐方法与系统
CN112035746A (zh) 一种基于时空序列图卷积网络的会话推荐方法
CN113221183B (zh) 实现隐私保护的多方协同更新模型的方法、装置及系统
CN111611472A (zh) 一种基于图卷积神经网络的捆绑推荐方法及系统
CN113505882A (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN113609398A (zh) 一种基于异构图神经网络的社交推荐方法
CN115270001B (zh) 基于云端协同学习的隐私保护推荐方法及系统
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
CN114676849A (zh) 基于联邦学习进行模型参数更新的方法及系统
CN112016698A (zh) 因子分解机模型构建方法、设备及可读存储介质
CN113610610B (zh) 基于图神经网络和评论相似度的会话推荐方法和系统
CN114579852A (zh) 一种基于图卷积网络与注意力机制的推荐方法
CN114742239A (zh) 基于联邦学习的金融保险理赔风险模型训练方法及装置
CN113515519A (zh) 图结构估计模型的训练方法、装置、设备及存储介质
CN110473108A (zh) 基于区块链的合约生成方法和装置
CN116401372A (zh) 知识图谱表示学习方法、装置、电子设备及可读存储介质
CN115545833A (zh) 一种基于用户社交信息的推荐方法及系统
CN115238134A (zh) 用于生成图数据结构的图向量表示的方法及装置
Ortiz On sparse discretization for graphical games
Zhou et al. Hgena: A hyperbolic graph embedding approach for network alignment
CN113572679B (zh) 账户亲密度的生成方法、装置、电子设备和存储介质
CN116028719B (zh) 对象推荐方法及装置、跨域联邦商品推荐方法及装置
CN114912146B (zh) 一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210918

Address after: Room 209, building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: TONGDUN TECHNOLOGY Co.,Ltd.

Address before: Room 704, building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: TONGDUN HOLDINGS Co.,Ltd.