CN113642697A - 一种分布式多层级图网络训练方法及系统 - Google Patents

一种分布式多层级图网络训练方法及系统 Download PDF

Info

Publication number
CN113642697A
CN113642697A CN202010344124.7A CN202010344124A CN113642697A CN 113642697 A CN113642697 A CN 113642697A CN 202010344124 A CN202010344124 A CN 202010344124A CN 113642697 A CN113642697 A CN 113642697A
Authority
CN
China
Prior art keywords
network
layer
graph
result matrix
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010344124.7A
Other languages
English (en)
Other versions
CN113642697B (zh
Inventor
盛益强
李昊天
党寿江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Xinrand Network Technology Co ltd
Original Assignee
Zhengzhou Xinrand Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Xinrand Network Technology Co ltd filed Critical Zhengzhou Xinrand Network Technology Co ltd
Priority to CN202010344124.7A priority Critical patent/CN113642697B/zh
Publication of CN113642697A publication Critical patent/CN113642697A/zh
Application granted granted Critical
Publication of CN113642697B publication Critical patent/CN113642697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种分布式多层级图网络训练方法及系统，该方法包括：运用图分割算法，将图数据划分为多层级网络；通过对底层子网络进行图网络计算，得到结果矩阵并上传至上一层的管理节点，通过对管理节点进行改进Paxos一致性算法的处理，实现该层共享结果矩阵；对共享结果矩阵进行信息融合，得到融合后的结果矩阵并上传，直到顶层的根节点得到融合后的结果矩阵；再从根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到底层，重复上述步骤直至达到预设的训练次数，得到训练好的多层级网络；将训练好的多层级网络连接输出层，得到训练好的图网络模型。

Description

一种分布式多层级图网络训练方法及系统
技术领域
本发明涉及分布式机器学习方法，具体涉及一种分布式多层级图网络训练方法及系统。
背景技术
随着互联网和大数据的研究应用日益广泛，深度学习方法在语音识别、图像识别、机器翻译等领域取得了可观的成果，同时对于语音、图像等具有欧几里得结构的结构化数据的分布式计算技术也较为成熟。但是在图结构的数据分析和处理上，由于图结构本身复杂的非欧几何性质，且具有数据关联性强，难以分割、不易并行计算的特性，大规模图神经网络的训练面临着巨大的挑战。
现有的分布式神经网络训练方法主要是通过借助参数服务器进行上传和下发训练参数。由于图像语音等数据具有平移不变性等特征，数据之间可以共享训练参数，因此参数服务器主要存储共有的训练参数，并在下发的时候统一下发到各个训练节点，参数服务器的容量、功耗等并没有成为训练的瓶颈。但是在大规模图网络训练过程中，由于图不具有平移不变性，采用参数服务器的方法，会导致海量的训练参数数据集中到参数服务器上，且参数的下发过程并不能简单地进行广播下发，从而极大地加重了参数服务器的负担，严重拖延了训练速度和训练精度。
传统的Paxos算法是解决分布式一致性问题的最重要、最基本的算法，该算法包含提议者、接收者、学习者等多个角色，通过提议者两次发布提议，广播到全部接收者，并收到半数以上接收者同意方可完成共识。借助这种算法，可以在分布式训练中去中心化地共享参数，但传统Paxos需要两个回合的选举和一致性验证，需要收集所有主机的消息，因此运行速度较慢，在对训练速度有严重依赖的复杂图网络训练中，成为主要瓶颈。因此在分布式训练中对Paxos算法进行改进，提高其运算速率，是研究的重点和难点。
发明内容
本专利要解决的技术问题主要包含两个方面，其一是对于大规模图网络，由于图结构本身的非欧几里得特性难以实现分布式训练。其次是现有的分布式训练方法多采用参数服务器的中心化方法，对于图结构的训练会导致参数服务器数据严重膨胀，影响训练效果，因此需要采用去中心化的训练方法。
现有技术中大规模图网络训练方法存在效率低下的问题，特别是存在中心化训练方法的参数服务器负载过高和去中心化训练方法的算法复杂度高的问题。
本发明的目的在于克服上述现有技术缺陷，提出了一种基于改进Paxos一致性算法的分布式多层级图网络训练方法。
为了实现上述目的，本发明提出了一种分布式多层级图网络训练方法，所述方法包括：
步骤1)运用图分割算法，基于图数据的各个节点按照连接关系的强弱，将图数据划分为多层级网络，其中底层为原始数据；每个层包括多个子网络，每个子网络的管理节点位于该子网络的相邻上一层；
步骤2)对所述多层级网络的底层进行图网络计算，将底层的每个子网络的结果矩阵上传至该子网络的管理节点；
步骤3)对接收到结果矩阵的每个管理节点进行改进Paxos一致性算法的处理，使管理节点所属子网络内的相关节点共享结果矩阵；
步骤4)对该层每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；
步骤5)将该层每个融合后的结果矩阵分别上传给各自的管理节点；返回步骤3)，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；
步骤6)从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；
步骤7)将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，转入步骤2)，直至达到预设的训练次数，得到训练好的多层级网络；
步骤8)将训练好的多层级网络连接输出层，得到训练好的图网络模型。
作为上述方法的一种改进，所述步骤1)中的连接关系通过采用0-1表示法或者加权图表示法表示。
作为上述方法的一种改进，所述步骤1)中的图分割算法为KL算法、谱划分算法或模块度划分算法。
作为上述方法的一种改进，所述步骤1)中的所述多层级网络的层数为2-5层。
作为上述方法的一种改进，所述步骤2)具体为：
所述多层级网络的最下层级的每个子网络同时进行图网络计算，分别得到对应的结果矩阵，并将各自的结果矩阵上传至对应的管理节点；其中结果矩阵P表示为：
P＝D-1/2AD1/2HW
其中，A为邻接矩阵，D为对角行和矩阵，第一次训练H为原始数据矩阵，第二次及以后训练H为特征矩阵，W为参数矩阵。
作为上述方法的一种改进，所述步骤3)具体包括：
将收到下层级子网络结果矩阵的管理节点和该管理节点所在子网络的其他节点构成一个Paxos一致性区域；
同一个Paxos一致性区域内的每个节点都将自己所拥有的结果矩阵，发布到该Paxos一致性区域内；
该区域内的每个节点均收集与自己具有强相关关系的节点发布的结果矩阵。
作为上述方法的一种改进，所述步骤4)具体包括：
根据节点连接关系的强弱，将该节点收集到的多个结果矩阵通过采用加权平均算法或矩阵加权相乘方法，构成一个融合后的结果矩阵。
本发明还提出了一种分布式多层级图网络训练系统，其特征在于，所述系统包括：图网络训练模块和图网络模型生成模块；其中，
所述图网络训练模块，用于运用图分割算法，基于图数据的各个节点按照连接关系的强弱，将图数据划分为多层级网络，其中底层为原始数据；每个层包括多个子网络，每个子网络的管理节点位于该子网络的相邻上一层；对所述多层级网络的底层进行图网络计算，将底层的每个子网络的结果矩阵上传至该子网络的管理节点；对接收到结果矩阵的每个管理节点进行改进Paxos一致性算法的处理，使管理节点所属子网络内的相关节点共享结果矩阵；对该层每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；将该层每个融合后的结果矩阵分别上传给各自的管理节点；循环处理，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，循环处理，直至达到预设的训练次数，得到训练好的多层级网络；
所述图网络模型生成模块，用于将训练好的多层级网络连接输出层，得到训练好的图网络模型。
与现有技术相比，本发明的优势在于：
1、本发明能够降低Paxos一致性复杂度，加快训练时间；
2、考虑了图网络的拓扑结构，实现图网络的分布式训练，提高了训练效率。
附图说明
图1是本发明的基于改进Paxos一致性算法的分布式多层级图网络训练方法的流程图；
图2是多层级图网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
一种分布式多层级图网络训练方法，包括：
步骤1)、将图的各个节点按照连接关系强弱，运用图分割算法，划分为多层级网络，上级网络管理下级网络；
步骤2)、将步骤1)中得到的多层级网络中最下级网络进行并行图网络计算，并将结果矩阵传给上级管理网络；
步骤3)、将步骤2)中得到结果矩阵的上级管理网络进行改进Paxos一致性算法，进行节点数据共享；
步骤4)、将步骤3)中涉及的上级管理网络所在层的每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；
步骤5)、将步骤4)中每个融合后的结果矩阵分别上传给各自的管理节点；返回步骤3)，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；
步骤6)、从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；
步骤7)、将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，转入步骤2)，直至达到预设的训练次数，得到训练好的多层级网络；
步骤8)、将步骤7)中训练好的多层级网络连接输出层，得到训练好的图网络模型。
上述技术方案中，所述步骤1)进一步包括：所述连接关系强弱可以采用0-1表示法或者加权图表示法。
上述技术方案中，所述步骤1)进一步包括，所述图分割算法包括但不限KL算法、谱划分算法、模块度划分算法等。
上述技术方案中，所述步骤1)进一步包括，所述多层级网络的层数在2-5层，上级网络管理下级网络的模式采用上级网络的任一节点管理下级网络的若干子节点，除最上层节点外，任一节点只受唯一的上级网络节点管理。
上述技术方案中，所述步骤2)进一步包括，所述最下级网络为原始数据网络，即真实的图网络，所述并行算法是指，属于相同上级节点的网络构成一个子网路，不同子网络同时运行。
上述技术方案中，所述步骤2)进一步包括，所述结果矩阵是通过一层图网络计算得出，公式为结果矩阵P＝D-1/2AD1/2HW其中A为邻接矩阵，D为对角行和矩阵，H为原始数据的特征矩阵，W为参数矩阵。需要说明的是，H在第一轮为原始数据矩阵，第二轮以后则是特征矩阵。
上述技术方案中，所述步骤3)进一步包括，所述的改进Paxos一致性算法，包含以下几个子步骤：
i)收到下级网络结果矩阵的节点，和所有与它拥有相同上级节点的同级子节点构成一个Paxos一致性区域。
ii)同一区域内的每个节点都同时扮演者Paxos算法中所述的提议者和接受者的角色，并将自己所拥有的结果矩阵，发布到区域内，等待一段时间后，区域内的各个节点将收集到自己所需的全部结果矩阵。
iii)上述所述的自己所需的结果矩阵是指，在一个区域内和当前节点拥有强相关关系的节点的结果矩阵，与传统Paxos算法所不同的是，并不需要所有节点共享相同数据。
上述技术方案中，在所述的步骤4)中，所述的信息融合，是指采用加权平均，矩阵加权相乘等方法，按照节点连接关系的强弱，将多个结果矩阵融合成一个结果矩阵。
上述技术方案中，在所述的步骤7)中，所述的预设的训练次数，是指对于N层的图网络训练模型，需要重复步骤2)到步骤7)N次。
现结合附图以及一个具体问题场景对本发明作进一步的描述。
具体场景是指，在城市交通网络中，通过全市所有道路摄像头的采集，得到各个摄像头所在区域的流量情况，需要解决的问题是根据历史摄像头数据，预测未来各个区域的流量情况。将这个问题抽象成图模型，则摄像头为点，任意两摄像头距离倒数为边权值，每个摄像头的历史流量数据为点的特征数据。从而构成了图网络所需的基本原始数据。特别的，采用美国加州的交通数据集PeMS来进行说明
如图1所示，本发明的基于改进Paxos一致性算法的分布式多层级图网络训练方法，所述方法包括：
步骤101)、将图的各个节点按照连接关系强弱，运用图分割算法，划分为多层级网络，上级网络管理下级网络。
具体地，所述连接关系强弱可以采用0-1表示法将边的权值分类为0和1，或者采用加权图表示法，直接用边权值作为连接关系的强弱表示。然后运用KL算法、谱划分算法、模块度划分算法等主流图分割算法，将原始图分割成各个区域，使得区域内部连接关系更为紧密，区域之间连接关系更为稀疏。按照图2所示的结构示意图，搭建层状网络，层数为2-5层，上层网络节点管理下层节点，其中最下层为数据层，即原始图数据。从下往上第二层每个节点分别管理下层一个区域的节点。除了最上层的根节点外，其他所有节点有且只有唯一的直接上层管理节点。
步骤102)、将步骤101)中得到的多层级网络中最下层网络进行并行图网络计算，并将结果矩阵传给上级管理网络；
具体地，最下层网络在步骤101)中被划分为多个区域，且每个区域由唯一上层节点管理，按照不同的区域独立并行地进行图网络训练，根据公式得到结果矩阵
P＝D-1/2AD1/2HW
其中A为邻接矩阵，D为对角行和矩阵，第一次训练H为原始数据矩阵，第二次及以后训练H为特征矩阵，W为参数矩阵。将结果矩阵数值上传到管理节点。
步骤103)、将步骤102)中得到结果矩阵的上级管理网络通过改进Paxos一致性算法，进行节点数据共享；
具体地，获得结果矩阵的各个节点，和所有与他拥有相同上级节点的同级子节点构成一个Paxos一致性区域。同一区域内的每个节点都同时扮演者Paxos算法中所述的提议者和接受者的角色，并将自己所拥有的结果矩阵，发布到区域内，等待一段时间后，区域内的各个节点将收集到自己所需的全部结果矩阵。上述所述的自己所需的结果矩阵是指，在一个区域内和当前节点拥有强相关关系的节点的结果矩阵，当节点收集完自己所需的全部矩阵后，则不再扮演接收者的角色，可以直接独立进行后续步骤。
步骤104)、将步骤103)中已共享数据的节点独立并发地进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵。
具体地，获得自己所需全部结果矩阵的各个节点，可以采用加权平均，矩阵加权相乘等方法，按照节点连接关系的强弱，并发地将多个结果矩阵融合成一个结果矩阵。其中节点连接关系强弱是由各个节点所管理区域间的连接关系强弱所决定。
步骤105)、将步骤104)每个融合后的结果矩阵分别上传给各自的管理节点；返回步骤103)，直到所述多层级网络顶层的根节点得到融合后的结果矩阵。
步骤106)、从所述多层级网络顶层的根节点开始，将步骤105)融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练。
步骤107)、将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，转入步骤102)，直至达到预设的训练次数，得到训练好的多层级网络。
具体地，是指对于本实施中的PEMS数据集采用2层图网络训练，则重复步骤102)到步骤107)2次。
步骤108)、将步骤107)中训练好的多层级网络连接输出层，得到训练好的图网络模型。
具体地，将本实施中第2次步骤107)得到的根节点的融合后的结果矩阵，连接到输出层上，从而实现图网络的训练。
实施例2
本实施例提供了一种分布式多层级图网络训练系统，包括：图网络训练模块和图网络模型生成模块；其中，
图网络训练模块，用于运用图分割算法，基于图数据的各个节点按照连接关系的强弱，将图数据划分为多层级网络，其中底层为原始数据；每个层包括多个子网络，每个子网络的管理节点位于该子网络的相邻上一层；对所述多层级网络的底层进行图网络计算，将底层的每个子网络的结果矩阵上传至该子网络的管理节点；对接收到结果矩阵的每个管理节点进行改进Paxos一致性算法的处理，使管理节点所属子网络内的相关节点共享结果矩阵；对该层每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；将该层每个融合后的结果矩阵分别上传给各自的管理节点；循环处理，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，循环处理，直至达到预设的训练次数，得到训练好的多层级网络；
图网络模型生成模块，用于将训练好的多层级网络连接输出层，得到训练好的图网络模型。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种分布式多层级图网络训练方法，所述方法包括：
步骤1)运用图分割算法，基于图数据的各个节点按照连接关系的强弱，将图数据划分为多层级网络，其中底层为原始数据；每个层包括多个子网络，每个子网络的管理节点位于该子网络的相邻上一层；
步骤2)对所述多层级网络的底层进行图网络计算，将底层的每个子网络的结果矩阵上传至该子网络的管理节点；
步骤3)对接收到结果矩阵的每个管理节点进行改进Paxos一致性算法的处理，使管理节点所属子网络内的相关节点共享结果矩阵；
步骤4)对该层每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；
步骤5)将该层每个融合后的结果矩阵分别上传给各自的管理节点；返回步骤3)，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；
步骤6)从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；
步骤7)将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，转入步骤2)，直至达到预设的训练次数，得到训练好的多层级网络；
步骤8)将训练好的多层级网络连接输出层，得到训练好的图网络模型。
2.根据权利要求1所述的分布式多层级图网络训练方法，其特征在于，所述步骤1)中的连接关系通过采用0-1表示法或者加权图表示法表示。
3.根据权利要求2所述的分布式多层级图网络训练方法，其特征在于，所述步骤1)中的图分割算法为KL算法、谱划分算法或模块度划分算法。
4.根据权利要求3所述的分布式多层级图网络训练方法，其特征在于，所述步骤1)中的所述多层级网络的层数为2-5层。
5.根据权利要求4所述的分布式多层级图网络训练方法，其特征在于，所述步骤2)具体为：
所述多层级网络的最下层级的每个子网络同时进行图网络计算，分别得到对应的结果矩阵，并将各自的结果矩阵上传至对应的管理节点；其中结果矩阵P表示为：
P＝D-1/2AD1/2HW
其中，A为邻接矩阵，D为对角行和矩阵，第一次训练H为原始数据矩阵，第二次及以后训练H为特征矩阵，W为参数矩阵。
6.根据权利要求1所述的分布式多层级图网络训练方法，其特征在于，所述步骤3)具体包括：
将收到下层级子网络结果矩阵的管理节点和该管理节点所在子网络的其他节点构成一个Paxos一致性区域；
同一个Paxos一致性区域内的每个节点都将自己所拥有的结果矩阵，发布到该Paxos一致性区域内；
该区域内的每个节点均收集与自己具有强相关关系的节点发布的结果矩阵。
7.根据权利要求1所述的基于改进Paxos一致性算法的分布式多层级图网络训练方法，其特征在于，所述步骤4)具体包括：
根据节点连接关系的强弱，将该节点收集到的多个结果矩阵通过采用加权平均算法或矩阵加权相乘方法，构成一个融合后的结果矩阵。
8.一种分布式多层级图网络训练系统，其特征在于，所述系统包括：图网络训练模块和图网络模型生成模块；其中，
所述图网络训练模块，用于运用图分割算法，基于图数据的各个节点按照连接关系的强弱，将图数据划分为多层级网络，其中底层为原始数据；每个层包括多个子网络，每个子网络的管理节点位于该子网络的相邻上一层；对所述多层级网络的底层进行图网络计算，将底层的每个子网络的结果矩阵上传至该子网络的管理节点；对接收到结果矩阵的每个管理节点进行改进Paxos一致性算法的处理，使管理节点所属子网络内的相关节点共享结果矩阵；对该层每个子网络内获得的共享结果矩阵进行信息融合，使得该层每个子网络均得到各自融合后的结果矩阵；将该层每个融合后的结果矩阵分别上传给各自的管理节点；循环处理，直到所述多层级网络顶层的根节点得到融合后的结果矩阵；从所述多层级网络顶层的根节点开始，将融合后的顶层结果矩阵逐层下发，直到底层，完成一次图网络训练；将根节点的融合后的结果矩阵作为下一次训练的特征矩阵输入到所述多层级网络的底层，循环处理，直至达到预设的训练次数，得到训练好的多层级网络；
所述图网络模型生成模块，用于将训练好的多层级网络连接输出层，得到训练好的图网络模型。
CN202010344124.7A 2020-04-27 2020-04-27 一种分布式多层级图网络训练方法及系统 Active CN113642697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010344124.7A CN113642697B (zh) 2020-04-27 2020-04-27 一种分布式多层级图网络训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010344124.7A CN113642697B (zh) 2020-04-27 2020-04-27 一种分布式多层级图网络训练方法及系统

Publications (2)

Publication Number Publication Date
CN113642697A true CN113642697A (zh) 2021-11-12
CN113642697B CN113642697B (zh) 2024-02-20

Family

ID=78415078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010344124.7A Active CN113642697B (zh) 2020-04-27 2020-04-27 一种分布式多层级图网络训练方法及系统

Country Status (1)

Country Link
CN (1) CN113642697B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845525A (zh) * 2016-12-28 2017-06-13 上海电机学院 一种基于底层融合特征的深度置信网络图像分类协议
CN107526785A (zh) * 2017-07-31 2017-12-29 广州市香港科大霍英东研究院 文本分类方法及装置
CN107657204A (zh) * 2016-07-25 2018-02-02 中国科学院声学研究所 深层网络模型的构建方法及人脸表情识别方法和系统
CN110059631A (zh) * 2019-04-19 2019-07-26 中铁第一勘察设计院集团有限公司 接触网非接触式监测缺陷识别方法
CN110135273A (zh) * 2019-04-19 2019-08-16 中铁第一勘察设计院集团有限公司 接触网视频图像云端智能监测与故障识别方法
CN110602167A (zh) * 2019-08-09 2019-12-20 南京泛函智能技术研究院有限公司 一种无线自组网络环境下的分布式数据存储系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657204A (zh) * 2016-07-25 2018-02-02 中国科学院声学研究所 深层网络模型的构建方法及人脸表情识别方法和系统
CN106845525A (zh) * 2016-12-28 2017-06-13 上海电机学院 一种基于底层融合特征的深度置信网络图像分类协议
CN107526785A (zh) * 2017-07-31 2017-12-29 广州市香港科大霍英东研究院 文本分类方法及装置
CN110059631A (zh) * 2019-04-19 2019-07-26 中铁第一勘察设计院集团有限公司 接触网非接触式监测缺陷识别方法
CN110135273A (zh) * 2019-04-19 2019-08-16 中铁第一勘察设计院集团有限公司 接触网视频图像云端智能监测与故障识别方法
CN110602167A (zh) * 2019-08-09 2019-12-20 南京泛函智能技术研究院有限公司 一种无线自组网络环境下的分布式数据存储系统

Also Published As

Publication number Publication date
CN113642697B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN114417417B (zh) 一种基于联邦学习的工业物联网隐私保护系统及方法
Jin et al. Automated dilated spatio-temporal synchronous graph modeling for traffic prediction
CN112364913A (zh) 一种基于核心数据集的联邦学习通信量优化方法及系统
CN115392481A (zh) 一种基于响应时间实时均衡的联邦学习高效通信方法
CN113191530B (zh) 一种具有隐私保护的区块链节点可靠性预测方法及系统
CN112311608B (zh) 一种多层异质网络空间节点表征方法
Gou et al. Clustered hierarchical distributed federated learning
CN115115021A (zh) 基于模型参数异步更新的个性化联邦学习方法
CN113642697B (zh) 一种分布式多层级图网络训练方法及系统
CN113541986B (zh) 5g切片的故障预测方法、装置及计算设备
CN116502709A (zh) 一种异质性联邦学习方法和装置
CN114599043A (zh) 一种基于深度强化学习的空天地一体化网络资源分配方法
WO2022186808A1 (en) Method for solving virtual network embedding problem in 5g and beyond networks with deep information maximization using multiple physical network structure
Yang et al. FedDD: Federated double distillation in IoV
Wu et al. Agglomerative federated learning: Empowering larger model training via end-edge-cloud collaboration
Cao et al. Layered model aggregation based federated learning in mobile edge networks
CN101741749A (zh) 基于免疫克隆的多目标组播路由优化方法
CN115640846A (zh) 一种基于区块链的面向数据不平衡问题的联邦学习方法
CN114997422A (zh) 一种异构通信网络的分组式联邦学习方法
CN109120438B (zh) 一种机会网络下的数据协同传输方法及系统
CN113962748A (zh) 基于元路径的全貌信息表示异质电商平台用户对齐方法
CN113347384B (zh) 一种基于时序表征学习的视频会议流量预测方法及系统
CN115906946B (zh) 一种多视图双曲-双曲图表示学习方法
Kong et al. Fast Non-dominated Sorting Genetic Algorithm with Three Crossover Individuals for Network Topology Optimization in Industrial Internet of Things
CN116628358B (zh) 基于多视图Graph Transformer的社交机器人检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant