CN110264467A - 基于顶点切割的动态幂律图实时重划分方法 - Google Patents
基于顶点切割的动态幂律图实时重划分方法 Download PDFInfo
- Publication number
- CN110264467A CN110264467A CN201910559823.0A CN201910559823A CN110264467A CN 110264467 A CN110264467 A CN 110264467A CN 201910559823 A CN201910559823 A CN 201910559823A CN 110264467 A CN110264467 A CN 110264467A
- Authority
- CN
- China
- Prior art keywords
- vertex
- edge
- graph
- computer
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 17
- 238000000638 solvent extraction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了基于顶点切割的动态幂律图实时重划分方法。本发明能够在Powergraph和GrapH等分布式图处理系统中对动态幂律图进行基于顶点切割的实时重划分,从而提升分布式图处理系统计算动态幂律图的效率。本发明实现的步骤包括:对动态幂律图进行初始划分;实时分配每条新边;构造边集合;转移边集合;完成了动态幂律图的重划分。本发明能够处理真实世界中的动态幂律图中持续产生的新边,通过构造并转移边集合实时降低了各计算机之间的通信量,且重划分中的转移代价较低,重划分效率较高。
Description
技术领域
本发明属于计算机科学技术领域,更进一步涉及图数据处理技术领域中的一种基于顶点切割的动态幂律图实时重划分方法。该方法能够在Powergraph和GrapH等分布式图处理系统中对动态幂律图进行基于顶点切割的实时重划分,从而提升分布式图处理系统计算动态幂律图的效率。
背景技术
在图数据处理技术领域中,很多分布式图处理系统通过图划分技术将大规模的图划分成多个规模几乎相同的子图,将它们分配到不同的计算机中并行计算。最初Google的Pregel和CMU的GraphLab使用基于边切割的图划分技术,使各子图之间被切割的边的数量达到最少。实际上,真实世界中的图大多数是幂律图,幂律图中存在大量邻居较少的顶点和少量邻居较多的超级顶点。这些超级顶点导致了计算机的负载不均衡,从而降低了图计算的效率。为了高效地处理幂律图,CMU的Powergraph采用基于顶点切割的图划分技术,将顶点复制到多个计算机中分摊计算量,从而使各个计算机负载均衡。然而Powergraph等基于顶点切割的分布式图处理系统都只提供了静态划分算法,忽视了真实世界中幂律图的实时动态性,例如:社交网络中实时增加的好友关系,学术网络中增加的作者合作关系。幂律图中动态增加的新边增大了计算机之间的通信量,从而降低了图计算的性能,这就涉及到了动态幂律图的重划分问题。
华中科技大学在其申请的专利文献“一种基于顶点切割与社区聚集的大规模图划分方法”(申请号201310686371.5,公开号CN 103699606 A)中公开了一种基于顶点切割与社区聚集的幂律图划分方法。该方法首先将影响任务完成时间较大的一些顶点进行切割,然后利用基于标签传播的社区聚集算法迭代地将切割之后的图进行标签传播,将图的各个顶点的标签确定,得到各个顶点所在社区,最后用传统的多层k-way图划分算法进行划分。但是,该方法仍然存在的不足之处是,它忽略了真实世界的幂律图的动态性,无法处理幂律图中动态产生的新边,导致分区之间的通信量随着幂律图的动态变化而快速增加,从而降低了图计算的效率。
Dinesh Kumar等人在其发表的论文“GraphSteal:Dynamic Re-partitioning forEfficient Graph Processing in Heterogeneous Clusters”(2017IEEE 10thInternational Conference on Cloud Computing(CLOUD).IEEE,2017:439-446)中公开了一种用于异构集群的幂律图动态重划分方法。该方法首先在分布式图处理系统中将执行时间低于平均值的计算节点归类为快节点,将执行时间高于平均值的计算节点归类为慢节点。然后使用重划分器将慢节点中的边转移到快节点中,来平衡各个计算节点之间的计算负载。但是,该方法仍然存在的不足之处是,它在重划分时没有考虑各计算节点之间的通信量,导致重划分的转移代价较高,各计算节点之间的通信量较高,从而降低了图计算的效率。
发明内容
本发明的目的在于针对上述已有技术的不足,提出了一种基于顶点切割的动态幂律图实时重划分方法。该方法可以解决包括动态学术网络关系图和动态社交网络关系图在内的大规模动态幂律图划分问题。
实现本发明目的的思路是,由于真实世界中的动态幂律图持续生成新边,导致分布式图处理系统中越来越多的顶点被切割,从而增加了计算机之间的通信量,因此需要实时重划分技术来减少动态幂律图中被切割的顶点。动态幂律图中的新边只对它相邻的顶点和边产生影响,因此在新边所在的局部进行实时重划分,通过转移边集合来减少被切割的顶点,从而降低计算机间的通信量,提升图计算的效率。
本发明的具体步骤如下:
(1)对动态幂律图进行初始划分:
(1a)将一个持续产生新边的动态幂律图上传到由k个计算机组成的分布式图处理系统中,通过该系统内部的图划分技术,将持续产生新边的动态幂律图划分为h个子图,得到顶点允许被复制到多个子图中的初始划分后的动态幂律图,其中h与k的取值相等,且k与h均为不小于2的整数;
(1b)将每个子图加载到一个对应的计算机中;
(2)实时分配每条新边:
(2a)若初始划分后的动态幂律图产生的新边所连接的两个顶点同时被复制到多个子图中,每个子图对应一个计算机,则将该新边分配到其中负载最小的计算机包含的子图中;
(2b)若初始划分后的动态幂律图产生的新边所连接的两个顶点不在同一个子图中,则利用启发式公式,得到一个待接收新边的计算机,复制该新边所连接的不在待接收新边的计算机的顶点,并将该新边和被复制的顶点分配到待接收新边的计算机包含的子图中;
(2c)若初始划分后的动态幂律图产生的新边所连接的一个顶点被复制到多个子图中,每个子图对应一个计算机,另一个顶点是新顶点,则将该新边和新顶点分配到其中负载最小的计算机包含的子图中;
(2d)若初始划分后的动态幂律图产生的新边所连接的两个顶点均为新顶点,则将该新边和两个新顶点分配到所有计算机中负载最小的计算机包含的子图中;
(3)构造边集合:
(3a)每条新边被分配到对应子图后,将所有该新边连接的顶点所在的子图放入一个集合中;
(3b)从集合中选择一个未选过的子图,在该子图对应的计算机中建立一个空的顶点集合;
(3c)将新边连接的被复制的顶点和该顶点的相邻顶点加入到顶点集合中,分别统计顶点集合中复制到其他各个子图的顶点数,以每个子图中包含的顶点集合中的顶点数作为元素组成一个数组,将数组中顶点集合所在的计算机包含的子图和负载超过阈值的计算机包含的子图对应的元素设置为0;
(3d)从数组中选取一个最大值元素,在顶点集合中移除没有被复制到最大值元素对应的子图中的顶点;
(3e)统计顶点集合中的内部点割数,所述内部点割数指的是在子图中有相邻顶点不在顶点集合中的顶点总数;
(3f)建立一个空的边集合,将所有连接顶点集合中的顶点的边加入到边集合中,用数组中元素的最大值减去内部点割数,得到了边集合的增益值;
(3g)判断边集合的增益值是否大于0,若是,则将该增益值保存到边集合中,否则,清空边集合;
(3h)判断是否选完集合中所有的子图,若是,则执行步骤(4),否则,执行步骤(3b);
(4)转移边集合:
(4a)将每条被分配的新边对应的所有边集合,按照增益值降序排列成一个队列;
(4b)从队列的头部选取一个边集合;
(4c)将所选边集合中的所有边转移到边集合增益值对应的计算机包含的子图中;
(4d)在所选边集合所在的计算机包含的子图中删除没有相邻顶点的所有顶点;
(4e)判断队列是否为空,若是,则执行步骤(5),否则,执行步骤(4b);
(5)完成了动态幂律图的重划分。
本发明与现有技术相比具有以下优点:
第一,由于本发明实时分配每条新边,用于实时处理动态幂律图中持续产生的新边,克服了现有技术忽略了真实世界的幂律图的动态性,无法处理幂律图中动态产生的新边,导致各计算机之间的通信量随着幂律图的动态变化而增加的问题,使得本发明具有能够处理真实世界中的动态幂律图中持续产生的新边,实时降低了各计算机之间的通信量的优点。
第二,由于本发明通过构造边集合并转移边集合,降低了分布式图处理系统中各个计算机间的通信量,克服了现有技术中在重划分时没有考虑各计算机之间的通信量,导致重划分的转移代价较高,各计算机之间的通信量较高的问题,使得本发明具有转移代价较低,各计算机之间的通信量较低,重划分效率较高的优点。
附图说明
图1为本发明的流程图;
图2为本发明实施例中动态幂律图的顶点度分布图;
图3为本发明步骤3的流程图;
图4为本发明步骤3的第3步中构造数组的示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的描述。
参照图1,对本发明的具体步骤做进一步的描述。
步骤1,对动态幂律图进行初始划分。
将一个持续产生新边的动态幂律图上传到由k个计算机组成的分布式图处理系统中,通过该系统内部的图划分技术,将持续产生新边的动态幂律图划分为h个子图,得到顶点允许被复制到多个子图中的初始划分后的动态幂律图,其中h与k的取值相等,且k与h均为不小于2的整数。
将每个子图加载到一个对应的计算机中。
参照图2和本发明的实施例,对本发明的动态幂律图做进一步的描述。
本发明实施例的动态幂律图采用的是安然电子邮件通信网络,动态幂律图中每个顶点表示一个电子邮件地址,每条边表示两个电子邮件地址之间互相发过邮件,各电子邮件地址之间会持续生成新的收发邮件关系。图2中的横坐标表示顶点的度,其中度表示邻居顶点的数量,纵坐标表示顶点的数量,图2中的每一个点表示安然电子邮件通信网络中拥有相应的度的顶点数。由图2可见,随着顶点度的变大,顶点的数量越来越少。幂律图中存在大量度较小的顶点和少量度较大的顶点,因此,安然电子邮件通信网络是一个持续生成新边的动态幂律图。
步骤2,实时分配每条新边。
若初始划分后的动态幂律图产生的新边所连接的两个顶点同时被复制到多个子图中,每个子图对应一个计算机,则将该新边分配到其中负载最小的计算机包含的子图中。
所述的负载是指计算机包含的子图中边的总数。
若初始划分后的动态幂律图产生的新边所连接的两个顶点不在同一个子图中,则利用启发式公式,得到一个待接收新边的计算机,复制该新边所连接的不在待接收新边的计算机的顶点,并将该新边和被复制的顶点分配到待接收新边的计算机包含的子图中。
所述的启发式公式如下:
其中,表示使公式取最大值时对应的计算机包含的子图中所有边组成的集合P,且P对应的计算机中至少包含一个新边连接的顶点,将最大值时对应的计算机作为待接收新边的计算机,|·|表示取绝对值操作,N(vi)表示新边连接的一个顶点vi的所有相邻顶点组成的集合,∩表示交集操作,V(P)表示集合P中所有边连接的顶点组成的集合,M表示当前所有计算机的负载的最大值,I表示当前所有计算机中的负载的最小值,vj表示新边连接的另一个顶点,∈表示属于符号,表示不属于符号,N(vj)表示新边连接的顶点vj的所有相邻顶点组成的集合。|N(vi)∩V(P)|表示复制到P对应的计算机中的vi的相邻顶点的数量,数量越多表示新边越有可能在重划分时被转移到P对应的计算机,|N(vj)∩V(P)|同理。的值越高表示P的负载越低,为了维持所有计算机的负载平衡,新边更有可能被分配到负载低的计算机。
若初始划分后的动态幂律图产生的新边所连接的一个顶点被复制到多个子图中,每个子图对应一个计算机,另一个顶点是新顶点,则将该新边和新顶点分配到其中负载最小的计算机包含的子图中。
所述的负载是指计算机包含的子图中边的总数。
若初始划分后的动态幂律图产生的新边所连接的两个顶点均为新顶点,则将该新边和两个新顶点分配到所有计算机中负载最小的计算机包含的子图中。
所述的负载是指计算机包含的子图中边的总数。
步骤3,构造边集合。
参照图3和图4,对本发明的步骤3做进一步的描述。
第1步,每条新边被分配到对应子图后,将所有该新边连接的顶点所在的子图放入一个集合中。
第2步,从集合中选择一个未选过的子图,在该子图对应的计算机中建立一个空的顶点集合。
第3步,将新边连接的被复制的顶点和该顶点的相邻顶点加入到顶点集合中,分别统计顶点集合中复制到其他各个子图的顶点数,以每个子图中包含的顶点集合中的顶点数作为元素组成一个数组,将数组中顶点集合所在的计算机包含的子图和负载超过阈值的计算机包含的子图对应的元素设置为0。
所述的负载是指计算机包含的子图中边的总数。
所述的阈值是指分布式图处理系统中的所有计算机负载的平均值。
参照图4对本发明第3步中构造数组做进一步描述。
图4是构造数组的示意图,图4中S1、S2、S3和S4分别表示4个子图,子图S2中的连接顶点3和顶点4的边为被分配的新边,在第2步中被选择的子图是S1,将S1中新边连接的顶点3和该顶点的邻居顶点1、顶点2、顶点5、顶点6、顶点9、顶点10加入到顶点集合中,统计顶点集合中被复制到子图S2,S3和S4中的顶点数,以每个子图中包含的顶点集合中的顶点数作为元素组成一个数组,将数组中顶点集合所在的计算机包含的子图和负载超过阈值的计算机包含的子图对应的元素设置为0,得到数组[0,3,1,2]。
第4步,从数组中选取一个最大值元素,在顶点集合中移除没有被复制到最大值元素对应的子图中的顶点。
第5步,统计顶点集合中的内部点割数,所述内部点割数指的是在子图中有相邻顶点不在顶点集合中的顶点总数。
第6步,建立一个空的边集合,将所有连接顶点集合中的顶点的边加入到边集合中,用数组中元素的最大值减去内部点割数,得到了边集合的增益值,增益值的含义是将边集合转移到数组中元素的最大值对应的子图后,减少了的顶点数。
第7步,判断边集合的增益值是否大于0,若是,则将该增益值保存到边集合中,否则,清空边集合。
第8步,判断是否选完集合中所有的子图,若是,则执行步骤4,否则,执行本步骤的第2步。
步骤4,转移边集合。
第1步,将每条被分配的新边对应的所有边集合,按照增益值降序排列成一个队列。
第2步,从队列的头部选取一个边集合。
第3步,将所选边集合中的所有边转移到边集合增益值对应的计算机包含的子图中。
第4步,在所选边集合所在的计算机包含的子图中删除没有相邻顶点的所有顶点。
第5步,判断队列是否为空,若是,则执行步骤5,否则,执行本步骤的第2步。
步骤5,完成了动态幂律图的重划分。
为了体现实时重划分的效果,当本发明实施例中的安然电子邮件通信网络中边的数量增长了一倍时,对重划分后的安然电子邮件通信网络在分布式图处理系统Powergraph中进行三角计数测试。测试结果表明本发明在重划分中仅转移了4.1%的边,将安然电子邮件通信网络在三角计数中增加的运行时间缩短了46.2%,并将各计算机间增加的总通信量减少了40.3%。
Claims (4)
1.一种基于顶点切割的动态幂律图实时重划分方法,其特征在于,实时分配每条新边,构造边集合,将边集合转移到待接收该边集合的计算机,该方法的步骤如下:
(1)对动态幂律图进行初始划分:
(1a)将一个持续产生新边的动态幂律图上传到由k个计算机组成的分布式图处理系统中,通过该系统内部的图划分技术,将持续产生新边的动态幂律图划分为h个子图,得到顶点允许被复制到多个子图中的初始划分后的动态幂律图,其中h与k的取值相等,且k与h均为不小于2的整数;
(1b)将每个子图加载到一个对应的计算机中;
(2)实时分配每条新边:
(2a)若初始划分后的动态幂律图产生的新边所连接的两个顶点同时被复制到多个子图中,每个子图对应一个计算机,则将该新边分配到其中负载最小的计算机包含的子图中;
(2b)若初始划分后的动态幂律图产生的新边所连接的两个顶点不在同一个子图中,则利用启发式公式,得到一个待接收新边的计算机,复制该新边所连接的不在待接收新边的计算机的顶点,并将该新边和被复制的顶点分配到待接收新边的计算机包含的子图中;
(2c)若初始划分后的动态幂律图产生的新边所连接的一个顶点被复制到多个子图中,每个子图对应一个计算机,另一个顶点是新顶点,则将该新边和新顶点分配到其中负载最小的计算机包含的子图中;
(2d)若初始划分后的动态幂律图产生的新边所连接的两个顶点均为新顶点,则将该新边和两个新顶点分配到所有计算机中负载最小的计算机包含的子图中;
(3)构造边集合:
(3a)每条新边被分配到对应子图后,将所有该新边连接的顶点所在的子图放入一个集合中;
(3b)从集合中选择一个未选过的子图,在该子图对应的计算机中建立一个空的顶点集合;
(3c)将新边连接的被复制的顶点和该顶点的相邻顶点加入到顶点集合中,分别统计顶点集合中复制到其他各个子图的顶点数,以每个子图中包含的顶点集合中的顶点数作为元素组成一个数组,将数组中顶点集合所在的计算机包含的子图和负载超过阈值的计算机包含的子图对应的元素设置为0;
(3d)从数组中选取一个最大值元素,在顶点集合中移除没有被复制到最大值元素对应的子图中的顶点;
(3e)统计顶点集合中的内部点割数,所述内部点割数指的是在子图中有相邻顶点不在顶点集合中的顶点总数;
(3f)建立一个空的边集合,将所有连接顶点集合中的顶点的边加入到边集合中,用数组中元素的最大值减去内部点割数,得到了边集合的增益值;
(3g)判断边集合的增益值是否大于0,若是,则将该增益值保存到边集合中,否则,清空边集合;
(3h)判断是否选完集合中所有的子图,若是,则执行步骤(4),否则,执行步骤(3b);
(4)转移边集合:
(4a)将每条被分配的新边对应的所有边集合,按照增益值降序排列成一个队列;
(4b)从队列的头部选取一个边集合;
(4c)将所选边集合中的所有边转移到边集合增益值对应的计算机包含的子图中;
(4d)在所选边集合所在的计算机包含的子图中删除没有相邻顶点的所有顶点;
(4e)判断队列是否为空,若是,则执行步骤(5),否则,执行步骤(4b);
(5)完成了动态幂律图的重划分。
2.根据权利要求1所述的基于顶点切割的动态幂律图实时重划分方法,其特征在于:步骤(2a)、步骤(2c)、步骤(2d)、步骤(3c)中所述的负载是指计算机包含的子图中边的总数。
3.根据权利要求1所述的基于顶点切割的动态幂律图实时重划分方法,其特征在于:步骤(2b)中所述的启发式公式如下:
其中,表示使公式取最大值时对应的计算机包含的子图中所有边组成的集合P,且P对应的计算机中至少包含一个新边连接的顶点,将最大值时对应的计算机作为待接收新边的计算机,|·|表示取绝对值操作,N(vi)表示新边连接的一个顶点vi的所有相邻顶点组成的集合,∩表示交集操作,V(P)表示集合P中所有边连接的顶点组成的集合,M表示当前所有计算机的负载的最大值,I表示当前所有计算机中的负载的最小值,vj表示新边连接的另一个顶点,∈表示属于符号,表示不属于符号,N(vj)表示新边连接的顶点vj的所有相邻顶点组成的集合。
4.根据权利要求1所述的基于顶点切割的动态幂律图实时重划分方法,其特征在于:步骤(3d)中所述的阈值是指分布式图处理系统中的所有计算机负载的平均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559823.0A CN110264467B (zh) | 2019-06-26 | 2019-06-26 | 基于顶点切割的动态幂律图实时重划分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559823.0A CN110264467B (zh) | 2019-06-26 | 2019-06-26 | 基于顶点切割的动态幂律图实时重划分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110264467A true CN110264467A (zh) | 2019-09-20 |
CN110264467B CN110264467B (zh) | 2022-12-06 |
Family
ID=67921813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910559823.0A Active CN110264467B (zh) | 2019-06-26 | 2019-06-26 | 基于顶点切割的动态幂律图实时重划分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110264467B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382320A (zh) * | 2020-03-18 | 2020-07-07 | 军事科学院系统工程研究院系统总体研究所 | 一种面向知识图谱的大规模数据增量处理方法 |
CN115587222A (zh) * | 2022-12-12 | 2023-01-10 | 阿里巴巴(中国)有限公司 | 分布式图计算方法、系统及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024368A1 (zh) * | 2013-08-22 | 2015-02-26 | 浪潮电子信息产业股份有限公司 | 一种面向构件的混合型云操作系统体系结构及其通信方法 |
US20180024869A1 (en) * | 2016-07-22 | 2018-01-25 | Board Of Regents, The University Of Texas System | Guided load balancing of graph processing workloads on heterogeneous clusters |
CN109033191A (zh) * | 2018-06-28 | 2018-12-18 | 山东科技大学 | 一种面向大规模幂律分布图的分割方法 |
-
2019
- 2019-06-26 CN CN201910559823.0A patent/CN110264467B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024368A1 (zh) * | 2013-08-22 | 2015-02-26 | 浪潮电子信息产业股份有限公司 | 一种面向构件的混合型云操作系统体系结构及其通信方法 |
US20180024869A1 (en) * | 2016-07-22 | 2018-01-25 | Board Of Regents, The University Of Texas System | Guided load balancing of graph processing workloads on heterogeneous clusters |
CN109033191A (zh) * | 2018-06-28 | 2018-12-18 | 山东科技大学 | 一种面向大规模幂律分布图的分割方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382320A (zh) * | 2020-03-18 | 2020-07-07 | 军事科学院系统工程研究院系统总体研究所 | 一种面向知识图谱的大规模数据增量处理方法 |
CN115587222A (zh) * | 2022-12-12 | 2023-01-10 | 阿里巴巴(中国)有限公司 | 分布式图计算方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110264467B (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110134636B (zh) | 模型训练方法、服务器和计算机可读存储介质 | |
Khorasani et al. | Scalable simd-efficient graph processing on gpus | |
CN103699606B (zh) | 一种基于顶点切割与社区聚集的大规模图划分方法 | |
CN105117292B (zh) | 随机扩散动态负载均衡方法 | |
CN110264467B (zh) | 基于顶点切割的动态幂律图实时重划分方法 | |
CN102737126A (zh) | 云计算环境下的分类规则挖掘方法 | |
CN112100450A (zh) | 一种图计算数据分割方法、终端设备及存储介质 | |
CN111553834A (zh) | 基于fpga的并发图数据预处理方法 | |
Wu et al. | Hierarchical task mapping for parallel applications on supercomputers | |
CN115168281A (zh) | 一种基于禁忌搜索算法的神经网络片上映射方法和装置 | |
Sun et al. | Application research based on improved genetic algorithm in cloud task scheduling | |
AU2017288044B2 (en) | Method and system for flexible, high performance structured data processing | |
CN108960335A (zh) | 一种基于大规模网络进行高效聚类方法 | |
CN114567634A (zh) | 面向后e级图计算的方法、系统、存储介质及电子设备 | |
CN106970779B (zh) | 一种面向内存计算的流式平衡图划分方法 | |
CN116501828B (zh) | 基于非结构化数据集的服务器无感知向量查询方法和系统 | |
WO2017113865A1 (zh) | 一种大数据增量计算方法和装置 | |
CN111580950A (zh) | 一种提升云可靠性的自适应反馈资源调度方法 | |
Wang et al. | A BSP-based parallel iterative processing system with multiple partition strategies for big graphs | |
WO2023184834A1 (zh) | 全局高度数顶点集合通信的优化方法及应用 | |
CN115344607A (zh) | 一种面向图数据的批量流式边点混合切分方法 | |
CN114035906A (zh) | 虚拟机迁移方法、装置、电子设备及存储介质 | |
CN109003222B (zh) | 一种异步高能效图计算加速器 | |
CN109947530B (zh) | 一种针对云平台的多维度虚拟机映射方法 | |
Li et al. | Data & computation-intensive service re-scheduling in edge networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |