CN113392280A - 一种面向跨区域的多主模型分布式图计算方法 - Google Patents

一种面向跨区域的多主模型分布式图计算方法 Download PDF

Info

Publication number
CN113392280A
CN113392280A CN202110648556.1A CN202110648556A CN113392280A CN 113392280 A CN113392280 A CN 113392280A CN 202110648556 A CN202110648556 A CN 202110648556A CN 113392280 A CN113392280 A CN 113392280A
Authority
CN
China
Prior art keywords
vertex
graph
message
cross
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110648556.1A
Other languages
English (en)
Other versions
CN113392280B (zh
Inventor
姚烽
张岩峰
巩树凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202110648556.1A priority Critical patent/CN113392280B/zh
Publication of CN113392280A publication Critical patent/CN113392280A/zh
Application granted granted Critical
Publication of CN113392280B publication Critical patent/CN113392280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种面向跨区域的多主模型分布式图计算方法，涉及图计算技术领域。该方法首先以跨区域图计算系统包括的多个数据中心中的所有计算节点为顶点构成一个完整的图数据集；确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点；然后建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新；并基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新。同时，为图计算模型和多主计算模型中所有顶点的消息发送设置消息缓存区来减少发送消息量。该方法保证了各数据中心的数据隐私，消除了全局同步限制，使得各数据中心拥有较高的自治性。

Description

一种面向跨区域的多主模型分布式图计算方法
技术领域
本发明涉及图计算技术领域，尤其涉及一种面向跨区域的多主模型分布式图计算方法。
背景技术
图计算是一种新兴的大数据挖掘技术，在各行各业中被广泛应用，例如社交网络关系挖掘、web链接搜索、蛋白质相互作用功能检测、道路交通网络导航分析等。随着全球化网络的普及和在线应用的不断涌现，使得图计算应用被部署到全球各个地区的数据中心之中，并以地理分布的方式生成数据。例如，社交网络每天产生大量的文本、语音、视频数据，为减少成本，这些数据被存储在数据源就近所在区域的数据中心中；蜂窝网络在地理分布的基站收集数据；在物联网中不同地区不同设备或传感器所发送的信息数据等。
分析这些跨区域的数据集时，由于海量数据规模庞大的原因，很难将这些数据迁移到一个中心位置进行分析。另一种替代方案，实现跨区域图计算系统，需要通过不断在数据中心之间交互信息，协调性地进行计算分析。而实际应用中使用的图算法，比如用来确定图网络中的个体顺序的PageRank网页排序算法、以及用来挖掘相近数据顶点的单源最短路径算法等，通常需要数次迭代计算后达到收敛状态得到最终的分析结果。各个数据中心负责局部的子图计算，通过数据中心间图数据结构中的关联关系进行数据中心间的信息交互。
在现实生活中跨区域图计算有很多实际应用场景。例如在金融行业，通过对不同地区多家银行的账户转账数据(转账关系图)进行联合分析，可以对欺诈行为进行检测；在医疗行业，多家医疗机构共享病例信息(患者关系图)进行联合病情诊断；搜索引擎为不同区域的用户提供不同地理区域上的搜索服务(网页链接图)。
对于跨区域图计算系统，其应解决以下三个方面的问题：1.各地区数据中心间使用广域网(WAN)，其带宽成本昂贵，传输大量数据可能产生高额的成本。2.多数跨区域数据应用中数据具有敏感性。例如金融业的银行数据、医疗业患者病例数据等敏感信息。3.各数据中心数据管理的自治性。各个数据中心中的数据应该不受其他数据中心干扰，拥有自己相对独立的操作。
发表在会议HotCloud 2018中的“Monarch:gaining command on geo-distributed graph analytics”设计了基于跨地理分布的分布式图计算系统Monarch。图算法的迭代处理的风格是跨区域图计算的关键，在跨区域计算中，使用广域网的通信费用十分高昂，其方法的主要思想是利用图并行计算模型的特征来减少广域网的使用。即减少跨区域图计算系统的通信开销。在图并行计算过程中，通常是以迭代的方式进行的。在每次迭代中，每个顶点以相同的方法被执行，并且与邻居顶点进行交互，在交互过程中会产生大量的通信。为了减少每次迭代上产生的通信开销，Monarch首先将每个数据中心中的子图数据作为一个完整的图，在该图上进行并行计算，得到收敛结果。然后做一个全局的同步，通过每个数据中心子图的边界顶点将顶点状态发送给其他数据中心，进行整体图数据的同步。在同步之后，每个数据中心中由于边界顶点上接收到同步消息更新了部分顶点的状态，导致全局图处于一个不一致的状态。这时，数据中心的子图上部分顶点的结果可能不再有效，需要重置子图上的部分顶点状态，并重新启动数据中心上的局部计算。这样，将传统的每次迭代就需要进行全局同步减少成为当子图收敛才进行全局同步，大大减少了全局同步时期的数据交互。从而减少了数据中心间的通信，来解决广域网上高昂的通信成本。
发表在会议SIGIR 2020的“Efficient Graph Query Processing over Geo-Distributed Datacenters”pp.619-628为进一步减少跨区域图计算中数据中心之间的通信开销，提出了基于元图的跨区域图计算系统GeoGraph。其优化思路为：首先根据数据中心间网络传输时间的长短，将较“近”的数据中心划分到同个簇。每个簇中的数据中心之间的传输速率会小于簇之间的数据中心。然后在每个簇中，将簇中所有数据中心子图上，找出跨数据中心的边，即组成边的两个顶点分布在簇中不同的数据中心中。然后由这些边界顶点和边组成一个元图。该元图反应了簇中数据中心中子图的关联关系。之后，在每个簇中，找出一个主数据中心，存储该元图。然后在各个簇之间定义整体图的元图。该元图的顶点和边由各个簇之间的边界顶点和边组成。在整体数据中心中选取一个用于存储簇元图。以上步骤为离线步骤。接下来是在线图计算。首先，每个簇中的数据中心计算存储在自身的子图数据。然后将本地计算结果传送到主数据中心，主数据中心根据元图去收集更新。然后主数据中心将收集到的更新发送给存储簇元图的数据中心，由该数据中心收集所有簇的更新信息并进行全局更新。之后全局更新状态将会被簇上主数据中心传递给簇中的主数据中心，然后再传递给本地数据中心。在各个数据中心中进行状态更新。
发表在会议HotCloud 2018中的“Monarch:gaining command on geo-distributed graph analytics”通过优化图算法迭代处理特点来减少数据中心间的通信开销。采用局部收敛再进行全局同步的方案来减少迭代间的全局同步。但是子图上的计算结果并不能直接表示整个图数据的收敛结果。因此，当进行全局同步的时候，边界顶点状态更新，子图中其余顶点和边界顶点状态不一致，从而导致结果错误。只能对错误顶点进行重新计算，进而产生了大量的冗余计算。此外，部分图算法例如PageRank算法，使用此策略将不能得到正确收敛结果。
发表在会议SIGIR 2020的“Efficient Graph Query Processing over Geo-Distributed Datacenters”pp.619-628设计了GeoGraph跨区域图计算系统，其认为影响跨区域图计算的关键是全局同步引起的通信开销。因此通过数据中心将划分为簇和使用元图来细化全局同步的粒度，分层同步，进而减少通信开销。虽然相比于Monarch可以进一步减少通信量，并减少冗余计算。但是元图的构建将数据中心的部分数据暴露给了其他数据中心，可能导致敏感信息的泄露。
此外，以上两种跨区域图计算的策略均没有打破全局同步的约束。GeoGraph在簇内没有同步约束，但是在簇间依旧需要同步消息。而同步消息需要所有数据中心协同完成，期间由于数据倾斜或者数据中心硬件差异等问题造成部分数据中心忙等现象。而在跨区域数据分布中，由于各个数据中心的数据规模差异较大，网络带宽受地域影响，也大相径庭。因此，在各个数据中心计算负载极度倾斜的情况下，采用同步策略只能使得同步开销更加严重。其次，数据中心间强制协同处理也不符合跨区域独立处理，区域自治性的思想。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向跨区域的多主模型分布式图计算方法，在跨区域图计算应用中，设计一种图计算模型以及边界顶点的计算模式来降低通信开销，以避免高额的通信费用和传输缓慢造成的跨区域图计算系统性能影响。同时，在不泄露本地结构数据的情况下消除同步机制，使得各个数据中心间独立处理并拥有自治性，从而使得跨区域图计算系统满足实际应用中的限制和需求。
为解决上述技术问题，本发明所采取的技术方案是：一种面向跨区域的多主模型分布式图计算方法，具体包括：
构建跨区域图计算系统的图数据集；
确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点；
建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新；
基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新。
进一步地，所述构建跨区域图计算系统的图数据集的具体方法为：
以跨区域图计算系统包括的多个数据中心中的所有计算节点为顶点构成一个完整的图数据集Graph＝(V,E)，其中V，E分别代表图中顶点集和边集，图中所有顶点的初始状态量为
Figure BDA0003110169700000031
顶点初始传递消息值为
Figure BDA0003110169700000032
其中，
Figure BDA0003110169700000033
表示顶点v的初始状态，
Figure BDA0003110169700000034
表示顶点v发送给其邻居顶点的初始消息值；每个数据中心中多个计算节点构成一个子图，两个数据中心间拥有连边的顶点为边界顶点。
进一步地，所述确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点的具体方法为：
在图数据集的边界上选取顶点度数大于设定阈值的边界顶点作为主顶点；
在与主顶点相连接的非本地邻居顶点所在数据中心上创建主顶点的副本顶点，副本顶点上只保存所在数据中心的子图所包含的顶点和相应的连边。
进一步地，所述建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新的具体方法为：
非边界顶点或没有副本的边界顶点首先收集来自其入边邻居顶点的消息，通过满足消息聚合条件的聚合方式将所有入边邻居的消息与该顶点状态值进行聚合更新该顶点状态值；
非边界顶点或没有副本的边界顶点对收集到的所有入边邻居的消息，使用满足消息传递条件的非聚合操作计算，作为该顶点待传递的消息值，发送给其出边邻居顶点；这些发送到出边邻居的消息将用于出边邻居自身的状态值更新；
所述消息聚合条件为：消息聚合操作满足对部分消息的优先聚合并且不强制消息聚合的顺序；
所述消息传递条件为：用于发送给出边邻居的消息的计算操作，优先应用于部分消息。
进一步地，所述基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新的具体方法为：
主顶点收集来自其入边邻居顶点发送过来的两类消息，其中，一类是与主顶点同数据中心的本地邻居顶点发送的消息Mlocal，另一类是其副本顶点收集的副本顶点所在数据中心的本地邻居顶点的消息Mremote；
将两类入边邻居顶点发送的消息Mlocal、Mremote和该主顶点的状态值使用满足消息聚合条件的聚合方式进行聚合后更新该主顶点状态值；
再将消息Mlocal和Mremote使用满足消息传递条件的非聚合操作进行计算，作为主顶点待发送的消息发送给本地出边邻居；
同时将消息Mlocal发送给副本顶点，同步副本顶点状态，并由副本顶点将消息Mlocal发送给副本顶点的本地邻居顶点用以更新本地邻居顶点的状态值；
副本顶点与其对应的主顶点执行相同的状态更新计算。
进一步地，所述方法在多主计算模型上取消掉主顶点发送给其所在数据中心其他副本顶点的消息发送，以消除多主计算模型上的环路结构。
进一步地，所述方法为图计算模型和多主计算模型中所有顶点的消息发送设置消息缓存区，使用聚合函数将加入缓存区的消息进行聚合来减少发送消息量。
进一步地，所述方法还根据终止条件判断跨区域图计算系统中的图计算是否完成，当满足终止条件时停止所有数据中心的计算，跨区域图计算系统发起终止指令；
所述终止条件包括以下两种：
1)设置状态终止阈值，每个数据中心计算当前顶点状态的改变量，然后由一个数据中心统计所有数据中心上顶点状态的改变量，当图数据集中所有顶点的状态改变量总和小于设置阈值后，终止跨区域图计算系统执行；
2)设置系统执行时间，当超过执行时间后终止跨区域图计算系统执行。
进一步地，所述方法还在跨区域图计算系统发起终止指令后，各数据中心记录保存本地子图的计算结果，并将计算过程中记录的性能参数写入日志。
采用上述技术方案所产生的有益效果在于：本发明提供的一种面向跨区域的多主模型分布式图计算方法，设计了图计算模型和针对边界顶点的多主计算模型，保证了各数据中心的数据隐私，只有部分边界顶点暴露给其他数据中心。同时消除了全局同步限制，使得各数据中心拥有较高的自治性。顶点状态是对所有消息的累积，这意味着传递的消息可以在任意时刻，不分先后被更新，各计算节点可以无协同地进行计算和发送消息。在条件规定下，可以消除全局同步限制，大大提升了系统执行效率，同时实现了各数据中心上的自治性。其次，各数据中心上只在边界上暴露部分数据进行数据交互，子图内部对外不可见，具有良好的保密功能。此外，多主计算模型较传统图计算模型，通过副本点之间通信代替点对点通信减少了通信开销，同时主顶点和副本顶点拥有相同计算通信权限，相较于传统副本机制主顶点负责计算，副本顶点只负责通信，无需额外考虑副本点之间状态一致性问题，减少了状态同步开销，同时提高了系统计算的并行性。
附图说明
图1为本发明实施例提供的一种面向跨区域的多主模型分布式图计算方法的流程图；
图2为本发明实施例提供的消除环路结构的多主计算模型示意图；
图3为本发明实施例提供的不同图处理方法的执行时间对比图；
图4为本发明实施例提供的不同图处理方法的通信开销对比图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以某跨区域图计算系统为例，采用本发明的面向跨区域的多主模型分布式图计算方法对该跨区域图计算系统进行分布式图计算。
该跨区域图计算系统使用了阿里云ECS集群ecs.c5.large(2vCPU，4GiB内存)：一共设有8台相同配置的机器作为数据中心，分别部署于中国青岛、新加坡、澳大利亚悉尼、日本东京、美国硅谷、德国法兰克福、英国伦敦和阿拉伯联合酋长国迪拜，网络带宽100Mbps。
本实施例中，一种面向跨区域的多主模型分布式图计算方法，如图1所示，包括以下步骤：
步骤1、构建跨区域图计算系统的图数据集；
跨区域图计算系统包括多个数据中心，每个数据中心包括多个计算节点，本发明以跨区域图计算系统包括的多个数据中心中的所有计算节点为顶点构成一个完整的图数据集Graph＝(V,E)，其中V，E分别代表图中顶点集和边集，图中所有顶点的初始状态量为
Figure BDA0003110169700000061
顶点初始传递消息值为
Figure BDA0003110169700000062
其中，
Figure BDA0003110169700000063
表示顶点v的初始状态，
Figure BDA0003110169700000064
表示顶点v发送给其邻居顶点的初始消息值；每个数据中心中多个计算节点构成一个子图，两个数据中心间拥有连边的顶点为边界顶点；
步骤2：确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点；
在图数据集的边界上选取顶点度数大于设定阈值的边界顶点作为主顶点，用户可以根据图结构的不同自定义阈值大小，然后在与主顶点相连接的非本地邻居顶点所在数据中心上创建主顶点的副本顶点，副本顶点上只保存所在数据中心的子图所包含的顶点和相应的连边；
步骤3：建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新；
在图计算中，图算法在每次迭代中，以顶点作为计算中心。首先从顶点入边上收集入边邻居发送过来的消息，然后聚合这些消息应用于更新自身状态值，最后将计算的本地消息通过出边发送给出边邻居。以经典的网页排序算法PageRank为例，PageRank通过为每个顶点设置分数R值来定义网页的重要程度，顶点v当前R值的计算如下：
Figure BDA0003110169700000065
其中，d为阻尼系数，Nu为顶点u的出度，(u,v)表示从网页u到网页v的链接，顶点v的R值计算过程为：v从其入边邻居u处收集消息值
Figure BDA0003110169700000066
然后聚合所有入边邻居顶点的R值，将这些R值用于计算更新自身状态
Figure BDA0003110169700000067
之后将更新的状态值
Figure BDA0003110169700000068
作为消息由出边发送给其出边邻居顶点。针对上述传统图计算过程，给出本发明以下消息聚合条件和消息传递条件进行顶点状态更新执行的充分条件，下述步骤将在满足该条件下进行：
消息聚合条件为：消息聚合操作满足对部分消息的优先聚合并且不强制消息聚合的顺序；
消息传递条件为：用于发送给出边邻居的消息的计算操作，优先应用于部分消息；
对于PageRank算法，首先对于所有的入边邻居顶点集合，使用累加的形式进行消息聚合，同时可以优先累加部分邻居顶点消息，并且累加顺序没有要求，因此满足消息聚合条件。其次，对于PageRank的更新函数
Figure BDA0003110169700000071
其中，d为阻尼系数，N(u)为顶点u的出度，
Figure BDA0003110169700000072
指顶点u在k轮迭代时的顶点状态值。函数变量只有顶点u自身参数且只乘以阻尼系数d，同时，对所有入边邻居顶点的更新函数使用累加操作进行聚合，根据乘法分配律，
Figure BDA0003110169700000073
因此，顶点状态的更新满足消息传递条件。
在以上描述的传统图计算过程中，将执行操作归纳为两部分：聚合操作和非聚合计算操作。为取消传统图计算过程的全局同步机制，本发明基于以上两种操作设计实现了不同于传统图计算模型的计算方法，具体为：
非边界顶点或没有副本的边界顶点收集来自其入边邻居的消息m，通过满足消息聚合条件的聚合方式(聚合方式例如累加、求最大值/最小值等操作)将所有入边邻居的消息与该顶点状态值进行聚合后更新该顶点状态值；再对收集到的所有入边邻居的消息，使用满足消息传递条件的非聚合操作计算，作为该顶点待传递的消息值，通过该顶点的出边发送给出边邻居顶点；这些发送到出边邻居的消息将用于出边邻居自身的状态值更新；
本实施例以delta-based PageRank为例进行说明，delta-based PageRank是PageRank的一种变形算法，但最终计算结果相同。给定一个跨区域的图数据集Graph＝(V,E)，图中所有顶点状态值初始化X0＝0，消息传递值m0＝1-d，d为阻尼系数。则对于任意顶点v，v从其入边邻居u处收集第k轮更新消息值
Figure BDA0003110169700000074
然后与当前顶点状态值相加：
Figure BDA0003110169700000075
更新顶点v的顶点状态值；之后将收集到的
Figure BDA0003110169700000076
使用非聚合操作计算：
Figure BDA0003110169700000077
生成顶点v待传递的消息值，发送给其邻居顶点；这里发送的消息值分为本地消息传输和跨区域消息传输。如果顶点与其发送的邻居顶点处在同一个数据中心，则为本地消息传输。本地消息传输通过局域网或基于内存获得消息，速度较快。如果顶点与其发送消息的邻居处于跨区域数据组中心，则消息传输需要经过广域网，传输速度较慢且费用高昂。
此步骤应用于图数据集中所有数据中心各本地顶点(即非边界顶点)间的计算以及图边界上非副本顶点的计算。
步骤4：基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新；
主顶点收集来自其入边邻居顶点发送过来的两类消息，其中，一类是与主顶点同数据中心的本地邻居顶点发送的消息Mlocal，另一类是其副本顶点收集的副本顶点所在数据中心的本地邻居顶点的消息Mremote；将两类邻居顶点发送的消息Mlocal、Mremote和该主顶点的状态值使用满足消息聚合条件的聚合方式进行聚合后更新主顶点状态值；然后再将消息Mlocal和Mremote使用满足消息传递条件的非聚合操作进行计算，作为主顶点待发送的消息发送给本地出边邻居；同时将消息Mlocal发送给副本顶点，同步副本顶点状态并由副本顶点将消息Mlocal发送给副本顶点的本地邻居顶点用以更新本地邻居顶点的状态值；在边界顶点上，无论主顶点还是副本顶点都拥有相同的计算和通信权限，因此副本顶点和主顶点执行相同的计算；
本实施例同样使用delta-based PageRank为例说明多主模型的执行过程。对于任意设置副本点的主顶点w，w从其本地入边邻居顶点和其副本顶点处分别收集消息值
Figure BDA0003110169700000081
然后加到自身状态：
Figure BDA0003110169700000082
更新主顶点w的状态值。然后将收集到的消息
Figure BDA0003110169700000083
使用非聚合操作计算：
Figure BDA0003110169700000084
生成主顶点w待传递的状态值，发送给本地邻居顶点。同时将
Figure BDA0003110169700000085
发送给其副本顶点w’，主顶点w通过以上操作完成了一轮迭代计算。同样，副本顶点执行与主顶点相同的计算。
步骤5：消除多主计算模型上的环路结构；
在多主计算模型上取消掉主顶点发送给其所在数据中心其他副本顶点的消息发送，以消除多主计算模型上的环路结构；
为了保证边界顶点上的主顶点及其副本顶点能拥有相同的状态量，更新顶点自身状态时的消息集合M，由所有入边邻居顶点发送来的消息m聚合而来，必须保证一致并且来自所有邻居顶点上的消息m唯一；如图2所示，当本地主顶点与其他远程副本顶点形成环时将不能保证收集到的消息m唯一。因此，在多主计算模型上取消掉本地主顶点发送给本地其他副本顶点的消息发送以消除多主计算模型上的环路结构。
步骤6：设定顶点远程消息延迟发送；
为了降低通信开销，为图计算模型和多主计算模型中所有顶点的消息发送设置消息缓存区，利用图计算模型和多主计算模型中发送消息聚合的特性，在缓存区中，使用聚合函数将加入缓存区的消息进行聚合来减少发送消息量；
步骤7：检测跨区域图计算系统执行是否终止；
根据终止条件判断跨区域图计算系统中的图计算是否完成，当满足终止条件时停止所有数据中心的计算，跨区域图计算系统发起终止指令；
所述终止条件包括以下两种：
1)设置状态终止阈值，每个数据中心计算当前顶点状态的改变量，然后由一个数据中心统计所有数据中心上顶点状态的改变量，当图数据集中所有顶点的状态改变量总和小于设置阈值后，终止跨区域图计算系统执行；
2)设置合理的系统执行时间，当超过执行时间后终止跨区域图计算系统执行；
步骤8：记录计算结果；
在跨区域图计算系统发起终止指令后，各数据中心记录保存本地子图的计算结果，并将计算过程中记录的性能参数写入日志。
本实施例还分别使用全局同步的传统图处理方法和Monarch跨区域图处理方法对该跨区域图计算系统的执行时间和通信开销进行了相关实验，对比结果如图3、4所示。相较于全局同步的传统图处理方法和Monarch跨区域图处理方法，本发明方法彻底消除了同步限制，提升了系统执行效率。从图3可以看出，本发明方法的执行时间相较于全局同步的传统图处理方法执行时间减少了30％，比Monarch跨区域图处理方法减少了64％。在通信开销方面，根据本发明所设计的计算模型的计算特性设置的消息缓存区以及边界副本顶点无需一致性同步开销，大大减少了数据中心之间的通信量。从图4可以看出，本发明方法对比全局同步的传统图处理方法通信量减少了47％，比Monarch跨区域图处理方法的通信量减少了20％。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (9)

1.一种面向跨区域的多主模型分布式图计算方法，其特征在于：
构建跨区域图计算系统的图数据集；
确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点；
建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新；
基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新。
2.根据权利要求1所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述构建跨区域图计算系统的图数据集的具体方法为：
以跨区域图计算系统包括的多个数据中心中的所有计算节点为顶点构成一个完整的图数据集Graph＝(V,E)，其中V，E分别代表图中顶点集和边集，图中所有顶点的初始状态量为
Figure FDA0003110169690000011
顶点初始传递消息值为
Figure FDA0003110169690000012
其中，
Figure FDA0003110169690000013
表示顶点v的初始状态，
Figure FDA0003110169690000014
表示顶点v发送给其邻居顶点的初始消息值；每个数据中心中多个计算节点构成一个子图，两个数据中心间拥有连边的顶点为边界顶点。
3.根据权利要求2所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点的具体方法为：
在图数据集的边界上选取顶点度数大于设定阈值的边界顶点作为主顶点；
在与主顶点相连接的非本地邻居顶点所在数据中心上创建主顶点的副本顶点，副本顶点上只保存所在数据中心的子图所包含的顶点和相应的连边。
4.根据权利要求3所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新的具体方法为：
非边界顶点或没有副本的边界顶点首先收集来自其入边邻居顶点的消息，通过满足消息聚合条件的聚合方式将所有入边邻居的消息与该顶点状态值进行聚合后更新该顶点状态值；
非边界顶点或没有副本的边界顶点对收集到的所有入边邻居的消息，使用满足消息传递条件的非聚合操作计算，作为该顶点待传递的消息值，发送给其出边邻居顶点；这些发送到出边邻居的消息将用于出边邻居自身的状态值更新；
所述消息聚合条件为：消息聚合操作满足对部分消息的优先聚合并且不强制消息聚合的顺序；
所述消息传递条件为：用于发送给出边邻居的消息的计算操作，优先应用于部分消息。
5.根据权利要求4所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新的具体方法为：
主顶点收集来自其入边邻居顶点发送过来的两类消息，其中，一类是与主顶点同数据中心的本地邻居顶点发送的消息Mlocal，另一类是其副本顶点收集的副本顶点所在数据中心的本地邻居顶点的消息Mremote；
将两类入边邻居顶点发送的消息Mlocal、Mremote和该主顶点的状态值使用满足消息聚合条件的聚合方式进行聚合后更新该主顶点状态值；
再将消息Mlocal和Mremote使用满足消息传递条件的非聚合操作进行计算，作为主顶点待发送的消息发送给本地出边邻居；
同时将消息Mlocal发送给副本顶点，同步副本顶点状态，并由副本顶点将消息Mlocal发送给副本顶点的本地邻居顶点用以更新本地邻居顶点的状态值；
副本顶点与其对应的主顶点执行相同的状态更新计算。
6.根据权利要求5所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述方法在多主计算模型上取消掉主顶点发送给其所在数据中心其他副本顶点的消息发送，以消除多主计算模型上的环路结构。
7.根据权利要求6所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述方法为图计算模型和多主计算模型中所有顶点的消息发送设置消息缓存区，使用聚合函数将加入缓存区的消息进行聚合来减少发送消息量。
8.根据权利要求1所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述方法还根据终止条件判断跨区域图计算系统中的图计算是否完成，当满足终止条件时停止所有数据中心的计算，跨区域图计算系统发起终止指令；
所述终止条件包括以下两种：
1)设置状态终止阈值，每个数据中心计算当前顶点状态的改变量，然后由一个数据中心统计所有数据中心上顶点状态的改变量，当图数据集中所有顶点的状态改变量总和小于设置阈值后，终止跨区域图计算系统执行；
2)设置系统执行时间，当超过执行时间后终止跨区域图计算系统执行。
9.根据权利要求8所述的一种面向跨区域的多主模型分布式图计算方法，其特征在于：所述方法还在跨区域图计算系统发起终止指令后，各数据中心记录保存本地子图的计算结果，并将计算过程中记录的性能参数写入日志。
CN202110648556.1A 2021-06-10 2021-06-10 一种面向跨区域的多主模型分布式图计算方法 Active CN113392280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110648556.1A CN113392280B (zh) 2021-06-10 2021-06-10 一种面向跨区域的多主模型分布式图计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110648556.1A CN113392280B (zh) 2021-06-10 2021-06-10 一种面向跨区域的多主模型分布式图计算方法

Publications (2)

Publication Number Publication Date
CN113392280A true CN113392280A (zh) 2021-09-14
CN113392280B CN113392280B (zh) 2023-08-04

Family

ID=77620270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110648556.1A Active CN113392280B (zh) 2021-06-10 2021-06-10 一种面向跨区域的多主模型分布式图计算方法

Country Status (1)

Country Link
CN (1) CN113392280B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567634A (zh) * 2022-03-07 2022-05-31 华中科技大学 面向后e级图计算的方法、系统、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293777A1 (en) * 2017-04-08 2018-10-11 Intel Corporation Sub-graph in frequency domain and dynamic selection of convolution implementation on a gpu
CN109388733A (zh) * 2018-08-13 2019-02-26 国网浙江省电力有限公司 一种面向图数据处理引擎的优化方法
CN109416928A (zh) * 2016-06-07 2019-03-01 伊路米纳有限公司 用于进行二级和/或三级处理的生物信息学系统、设备和方法
CN109427033A (zh) * 2017-08-22 2019-03-05 英特尔公司 用于在机器学习环境下实现智能数据压缩的高效存储器布局
CN109993683A (zh) * 2017-12-29 2019-07-09 英特尔公司 任意神经网络的机器学习稀疏计算机制、用于训练机制的算术计算微架构以及稀疏性
CN110780947A (zh) * 2019-10-21 2020-02-11 深圳大学 用于社交图数据的PageRank并行计算加速方法
US20210089040A1 (en) * 2016-02-29 2021-03-25 AI Incorporated Obstacle recognition method for autonomous robots
US20210150770A1 (en) * 2019-11-15 2021-05-20 Intel Corporation Systolic arithmetic on sparse data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089040A1 (en) * 2016-02-29 2021-03-25 AI Incorporated Obstacle recognition method for autonomous robots
CN109416928A (zh) * 2016-06-07 2019-03-01 伊路米纳有限公司 用于进行二级和/或三级处理的生物信息学系统、设备和方法
US20180293777A1 (en) * 2017-04-08 2018-10-11 Intel Corporation Sub-graph in frequency domain and dynamic selection of convolution implementation on a gpu
CN109427033A (zh) * 2017-08-22 2019-03-05 英特尔公司 用于在机器学习环境下实现智能数据压缩的高效存储器布局
CN109993683A (zh) * 2017-12-29 2019-07-09 英特尔公司 任意神经网络的机器学习稀疏计算机制、用于训练机制的算术计算微架构以及稀疏性
CN109388733A (zh) * 2018-08-13 2019-02-26 国网浙江省电力有限公司 一种面向图数据处理引擎的优化方法
CN110780947A (zh) * 2019-10-21 2020-02-11 深圳大学 用于社交图数据的PageRank并行计算加速方法
US20210150770A1 (en) * 2019-11-15 2021-05-20 Intel Corporation Systolic arithmetic on sparse data

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTONIO PASTOR等: "a model-based approach to multi-domain monitoring data aggregation", JOURNAL OF ICT STANDARDIZATION, pages 291 - 310 *
刘璇等: "科研合作网络形成机理——基于随机指数图模型的分析", 系统管理学报, vol. 28, no. 3, pages 520 - 527 *
李超;董新华;陈建峡;: "Spark环境下基于子图的异步迭代更新方法", 计算机工程与应用, vol. 56, no. 07, pages 67 - 73 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567634A (zh) * 2022-03-07 2022-05-31 华中科技大学 面向后e级图计算的方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
CN113392280B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
Huang et al. An AUV-assisted data gathering scheme based on clustering and matrix completion for smart ocean
Wang et al. Resource-efficient federated learning with hierarchical aggregation in edge computing
Manias et al. Making a case for federated learning in the internet of vehicles and intelligent transportation systems
CN109033234B (zh) 一种基于状态更新传播的流式图计算方法及系统
CN114116198A (zh) 一种移动车辆的异步联邦学习方法、系统、设备及终端
CN104995870A (zh) 多目标服务器布局确定
CN107104824A (zh) 一种网络拓扑确定方法和装置
Yan et al. Effective data transmission strategy based on node socialization in opportunistic social networks
Zhou et al. Cost-aware partitioning for efficient large graph processing in geo-distributed datacenters
CN113835899A (zh) 针对分布式图学习的数据融合方法及装置
Baratz et al. Establishing virtual circuits in large computer networks
CN113190939B (zh) 基于多边形系数的大型稀疏复杂网络拓扑分析和简化方法
Arkian et al. FcVcA: A fuzzy clustering-based vehicular cloud architecture
Hosseinalipour et al. Power-aware allocation of graph jobs in geo-distributed cloud networks
CN113992259A (zh) 一种时隙资源拓展图的构建方法
Wang et al. An improved routing algorithm based on social link awareness in delay tolerant networks
CN113392280B (zh) 一种面向跨区域的多主模型分布式图计算方法
CN114727353A (zh) 基于遗传算法的移动机会传感器网络自适应信息传输方法
CN112838954B (zh) 一种基于空天地一体化信息网络的虚拟网络映射方法、装置、设备及存储介质
Lu et al. Geographic information and node selfish-based routing algorithm for delay tolerant networks
Jošilo et al. Distributed algorithms for content placement in hierarchical cache networks
CN115587222B (zh) 分布式图计算方法、系统及设备
WO2017113865A1 (zh) 一种大数据增量计算方法和装置
CN114979134B (zh) 边缘计算环境中服务迁移的路径选择方法
CN111369052B (zh) 简化路网ksp优化算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant