CN113377523A - 一种异构感知的流式图划分方法 - Google Patents

一种异构感知的流式图划分方法 Download PDF

Info

Publication number
CN113377523A
CN113377523A CN202110041187.XA CN202110041187A CN113377523A CN 113377523 A CN113377523 A CN 113377523A CN 202110041187 A CN202110041187 A CN 202110041187A CN 113377523 A CN113377523 A CN 113377523A
Authority
CN
China
Prior art keywords
node
point
communication
worker
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110041187.XA
Other languages
English (en)
Inventor
李琪
李虎雄
英昌甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shaoxing
Original Assignee
University of Shaoxing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shaoxing filed Critical University of Shaoxing
Priority to CN202110041187.XA priority Critical patent/CN113377523A/zh
Publication of CN113377523A publication Critical patent/CN113377523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及计算机领域，具体涉及一种异构感知的流式图划分方法，该方法采用线性权重贪婪流算法将顶点放置入分区中，在顶点分配过程中，不仅考虑了计算节点的运算力、网络通信的带宽，而且也考虑了以InfiniBand为代表的现代高速网络组建的多核集群中存在着核之间共享资源竞争的问题，通过对异构环境进行形式化建模，实现了利用底层体系结构指导大规模动态图的划分，提升了异构环境下分布式图计算的效率；考虑到划分过程中，集群中的“主节点”存在着大量的查找添加等操作，还提出基于邻边结构的缓存数据管理方式，可以有效的提升缓存中邻点的操作效率，在有效利用内存空间的前提下提升图划分算法的性能。

Description

一种异构感知的流式图划分方法
技术领域：
本发明涉及计算机领域，具体涉及一种异构感知的流式图划分方法。
背景技术：
复杂网络的研究已经广泛地应用到生物、计算机等各个学科领域，如今,网络规模十分巨大,如何对这些大规模图数据进行有效率的挖掘计算,是研究复杂网络的首要任务。并行计算技术是现在最成熟、应用最广、最可行的计算加速技术之一，而图划分技术是提高并行计算性能的有效手段，图划分问题的研究是随着实际应用的需求而驱动。从20世纪90年代初期至今,国内外研究者不断对图划分及其相关问题进行深入研究,提出了许多性能较好的图划分算法。目前图划分研究主要分为3大类:离线划分,流式划分以及动态重划分，随着图数据规模的不断增大，传统的图划分算法在划分效率上明显的降低。
传统图划分方法都是以最小割边数为优化目标,而很少考虑到集群的结构对分布式图性计算性能的影响,都是以假定集群的同质为先决条件，而集群环境的异构在当前的云计算中是普遍存在的，在构建图划分模型时应考虑到一些对分布式图计算的影响因素。目前传统图划分方法的目标是如何实现最小割的数量，但是仅关注最小化割边数的图划分不足以实现可伸缩的性能,因为基于最小割边数的解决方案无法保证割边是如何跨节点分布。它们最终可能被分配到通信成本高的节点之间,导致通信量的加大,尤其在高速网络环境下,会进一步加剧多核计算节点的内存子系统的争用。
近年来,也出现了针对集群的异构作业处理的研究：Chen研究了MapReduce框架中集群的异质性,改进Hadoop上的应用程序,但没有考虑图应用的异构性；Wang等人提出了一种考虑云环境下网络带宽差异的多级图划分框架；Catalyurek等人考虑到集群中节点计算能力的差别,设计了动态负载均衡图划分算法；Dathathri和Xue试图通过避免在具有较高网络通信成本的分区之间切割任何边来解决这种通信异构问题,然而,这些图划分方法都是建立在现有的静态图划分算法之上,具有很差的可扩展性,且只能够处理静态小规模图,无法处理大规模动态图。
事实上，现实世界的网络本质上是动态的，即随着时间的推移，节点或连边随着时间的推移不断的被添加或删除。尽管Moulitsas等人提出了一种轻量级的架构感知图划分,但是该划分可能导致动态图计算的次优性能；Zheng和Busse等人已经发现,现代多核计算机的存储子系统(例如,末级缓存、内存控制器和前端总线)上共享硬件资源的争夺会极大地影响分布式工作负载的性能，具体来说,他们主要研究了MPI工作负载的争用问题。
流式划分由于高效的划分管理，近年来得到了不断的发展，流式图划分就是将图中顶点按照某种规则排序(如广度优先，深度优先等)，根据此时的划分状态及当前点的邻居点，依次分配队列中的顶点。不同的流式划分方法分配队列中的顶点所采用的启发式规则不同，流式划分依据不完整的局部信息，随着已分配完成的顶点数量增多，计算当前点可利用的信息量也在不断的增加。线性权重贪婪流算法(简称“LDG”)是现有启发式流算法性能最好的一种算法，但仍然存在两个问题：(1)原方法没有考虑到集群计算环境的异构性，当集群存在异构时,已有流式划分方法所优化的目标可能会导致并行计算性能的下降,因此已有流式划分不适用异构集群环境下任务分配的方法；(2)划分过程中的邻点缓存数据结构不利于查找,对于查找(主要指查找当前顶点已分配完成的邻居点及邻居点所在的子区信息)效率低下。
鉴于已有关于图划分的工作重点往往是最小化割边数,而很少考虑到集群体系结构对分布式图计算效率的影响,包括节点计算力和网络通信的异构,以及高速网络下多核节点内的共享资源争用。本发明针对异构并行环境下的图划分难题,改进分布式图计算应用程序的通信模式到底层硬件拓扑的映射，旨在避免分布式图计算的异构和争用问题，本案由此而生。
发明内容：
本发明提出一种异构感知的流式图划分方法，能够根据实际集群体系结构具体硬件配置，产生合理的划分策略，以提升异构环境下分布式图计算效率；同时，还设计了邻边缓存结构来提高划分过程中的操作效率，以提升流式图划分方法的性能。
为了实现上述发明目的，本发明所采用的技术方案为：
一种异构感知的流式图划分方法，内容包括：采用线性权重贪婪流算法将顶点放置入分区中，在顶点分配过程中要考虑网络通信成本、节点的计算能力以及共享资源竞争，根据下式进行形式化建模，并计算式(1)目标函数最大值，最大值所对应的i取值就为当前顶点所属的分区：
Figure BDA0002895416610000031
上式中，w(e)表示边(u,v)的权重：对于无权重网络，w(e)为Si与Sj之间的总割边数；对于有权重网络，w(e)为Si与Sj之间边的总权重；c(Si,Sj)为通信的带宽；Si表示核i，Sj表示核j，k表示划分的数量，V表示整个网络的顶点，E表示整个网络的边，e表示某条边，u和v分别表示边的两端点，Cbi表示节点Workeri的计算能力，Cbx表示节点Workerx的计算能力，w(Si)表示核内所有边的权重，i和j分别表示为当前顶点所属的分区和分配到其他的分区，x表示分区，ind表示将当前顶点放置的分区。
进一步，所述节点的计算能力评价采用如下方式：以浮点运算作为评价指标，节点Workeri随机生成两个浮点数并对这两个浮点数进行相乘，重复106次操作，记录总响应时间并计算一次浮点运算的操作时间，用符号TexTimei表示，由于TexTimei是一个非常小的浮点数，选择浮点计算时间最长的某个节点Workermax的浮点计算时间TexTimemax，令节点计算能力Cbi根据下式计算：
Figure BDA0002895416610000041
进一步，所述网络的通信成本采用如下方式评价：用Mb(i，j)表示计算节点Workeri和Workerj之间的通信成本，假定任何一对计算节点之间的往返通信成本是相同的，即Mb(i，j)＝Mb(j，i)，记录一个数据块从节点Workeri到节点Workerj的时间来测量其通信能力，采用全双工通信，对通信带宽进行标准化；如果某节点对之间的通信带宽最大，用TcTimemax表示，则集群中其它节点对Workeri和Workerj之间的通信成本Mb(i，j)用以下公式求出：
Figure BDA0002895416610000042
上式中，TcTime(i，j)表示节点对(i，j)之间的通信带宽。
进一步，所述建模时要考虑共享资源竞争的程度，合理构建通信成本，避免将邻点分配到竞争较大的两核中；考虑到多核计算节点内的核与核之间的通信会影响分布式图计算的性能，节点内两核之间的通信成本c(Si，Sj)按下式计算：
Figure BDA0002895416610000043
上式中，Si和Sj代表了两个核；intera_worker(Si，Sj)表示Si和Sj之间实际的通信成本，其值等于Mb(Si，Sj)；interamax_worker(Si，Sj)表示所有计算节点之间通信成本的最大值；intermax_socket(Si，Sj)表示节点内部所有插槽与插槽之间通信成本的最大值；α和β是介于0到1之间的参数，表示竞争程度；当集群环境为高速网络时，若两核处于同一插槽时，α和β都不为零；若两核位于不同的插槽时，β为零，α不为零；若两核分别位于不同的节点，β和α都设为零。
进一步，当网络带宽低时，节点内部的共享资源竞争可忽略不计，此时将α＝0，β＝0，图划分的优化目标是尽量将两邻居点分配到同一计算节点中；当网络带宽高时，由于采用RDMA技术，节点之间的通信不涉及共享内存的复制操作，参数值设置为α∈(0,1],β∈(0,1]。
进一步，所述流式图划分过程中，采用邻边结构的缓存数据管理方式，即：分配当前的顶点后，将此点的分区信息作为值，邻点作为键并保存入动态缓存中，后续顶点的分配只需查找此点为键的字典条目，通过键查找到值，值对应着此点已经分配完成的所有邻点分区信息，通过值可以直接计算出此点所属的分区，按照上述规则依次分配后续的顶点，直到所有顶点分配完毕。
进一步，对于动态缓存中的数据进行添加操作或删除操作，其中，添加操作方式如下：当前顶点分配完毕，要将此点的邻居点作为键，当前顶点的分区信息作为值以字典条目的形式保存在缓存中，如果动态缓存中已经存在此点的某一邻居点为键的条目，则直接在其值域追加该顶点的分区信息，如果不存在，则新建条目；删除操作方式如下：当前顶点分配完毕，动态缓存中以此点为键的条目已变成冗余数据则直接将其删除。
本发明所提出的异构感知的流式图划分算法，不仅考虑了计算节点的运算力、网络通信的带宽，而且也考虑了以InfiniBand为代表的现代高速网络组建的多核集群中存在着核之间共享资源竞争的问题，通过对异构环境进行形式化建模，实现了利用底层体系结构指导大规模动态图的划分，提升了异构环境下分布式图计算的效率；考虑到划分过程中，集群中的“主节点”存在着大量的查找添加等操作，还提出基于邻边结构的缓存数据管理方式，可以有效的提升缓存中邻点的操作效率，在有效利用内存空间的前提下提升图划分算法的性能，通过实验对比验证了本发明方法在异构环境下具有突出的适用性和优越性，对比结果显示本发明所提出的异构环境感知图划分方法能够有效的“平衡”集群的工作负载，显著提高作业执行时间。
以下通过附图和具体实施方式对本发明做进一步阐述。
附图说明：
图1为示例图G(V,E)划分为3个子区(S1,S2,S3)的结构示意图；
图2为采用本实施例邻边结构缓存数据从时刻T到时刻T+5对图1中的G进行流划分过程中动态缓存区中数据变化情况。
具体实施方式：
本实施例公开一种异构感知的流式图划分方法，该方法是将线性权重贪婪流算法(LDG)应用在异构并行环境中，主要考虑到该算法比较简单且易于实现，在现有一系列流式算法中划分效果优异。本发明考虑到集群环境的异构性，通过启发式方法将当前顶点放置入分区中，在顶点分配过程中将非均匀的网络通信成本、节点的计算能力以及内存子系统的共享资源竞争考虑在内进行形式化建模，并计算式(1)目标函数最大值，最大值所对应的i取值就为当前顶点所属的分区：
Figure BDA0002895416610000061
上式中，w(e)表示边(u,v)的权重：对于无权重网络，w(e)为Si与Sj之间的总割边数；对于有权重网络，w(e)为Si与Sj之间边的总权重；c(Si,Sj)为通信的带宽；Si表示核i，Sj表示核j，k表示划分的数量，V表示整个网络的顶点，E表示整个网络的边，e表示某条边，u和v分别表示边的两端点，Cbi表示节点Workeri的计算能力，Cbx表示节点Workerx的计算能力，w(Si)表示核内所有边的权重，i和j分别表示为当前顶点所属的分区和分配到其他的分区，x表示分区，ind表示将当前顶点放置的分区。
上述公式的前半部分为计算当前点分配到其中任意一个核(Si)与其它核(Sj)之间总通信量的倒数；而后半部分为惩罚函数，用于惩罚负载过多的子区。
本发明在形式化建模过程中之所以必须考虑节点的计算能力，是因为处理器性能的强弱是影响计算能力的一个重要因素，对于由不同计算能力的节点所组成的集群，如果负载相同，必然造成计算能力低的节点处理时间较长，计算能力强的物理节点处理时间较短，整个分布式计算任务时间是由计算时间最慢的节点所决定，严重影响了整个分布式计算任务的效率。而理想的情况是集群节点能够同时完成任务，所以需要按照节点的计算能力分配任务量，任务量与计算能力成正比。为了量化节点的计算能力，本发明用符号Cbi表示节点Workeri的计算能力，以浮点运算作为节点计算能力的指标，具体操作为：节点Workeri随机生成两个浮点数并对这两个浮点数进行相乘，重复106次操作，记录总响应时间并计算一次浮点运算的操作(符号表示为TexTimei)时间。然而，TexTimei是一个非常小的浮点数，为了便于计算，我们对TexTimei进行标准化：如果某个节点Workermax的浮点计算的时间最长(符号表示为TexTimemax)，那么可以根据以下公式计算得出集群中任意一个就是计算节点Workeri的计算能力，计算值越大表明该节点的计算能力越强。
Figure BDA0002895416610000071
本发明在形式化建模过程中还必须考虑异构网络环境下的通信带宽问题：通信带宽是指物理节点之间网络传输数据的速率，具体是指单位时间内通过其链路层的数据量。本实施例使用64位数据作为通信单元，在异构环境中，不可避免的会出现网络带宽的不同。传输相同的数据量，带宽低的网络传输的时间较长，反之，带宽高的网络传输时间较短。通信成本与通信带宽相反，成本越高带宽越低。本发明在异构感知划分方法中，综合考虑了通信代价及割边数，虽然割边数有所提高，但总的通信成本却降低了，明显提高了通信效率，因此，异构网络环境下应该考虑带宽的不同，对于低带宽网络之间的两节点应减少分配相关联的任务量。
为了量化集群中节点之间的通信成本，本发明用符号Mb(i,j)表示计算节点Workeri和Workerj之间的通信成本。假定任何一对计算节点之间的往返通信成本是相同的，即Mb(i,j)＝Mb(j,i)，本发明记录一个数据块从节点Workeri到节点Workerj的时间来测量其通信能力。具体实验中采用的是全双工通信，对通信带宽进行标准化：如果某节点对之间的通信带宽最大，用TcTimemax表示，则集群中其它节点对Workeri和Workerj之间的通信成本Mb(i,j)用以下公式求出：
Figure BDA0002895416610000081
上式中，TcTime(i，j)表示节点对(i，j)之间的通信带宽。
本发明在形式化建模过程中还考虑了共享资源竞争的程度，合理构建通信成本，避免将邻点分配到竞争较大的两核中。对于通过高速网络(如:InfiniBand)连接的集群，网络上的数据传输速度几乎与将数据从内存移动到CPU一样快。启用RDMA技术的网络允许计算节点从另一个计算节点的内存中直接读取数据，而不涉及任何节点的处理器、缓存或操作系统，从而实现真正的零拷贝数据通信。但是当多核计算节点内部的核与核之间进行通信时，需要在最后一级共享缓存(Last Level cache,LLC)拷贝多次数据。鉴于此，在高速网络环境下，多核计算节点内的核与核之间的通信会影响分布式图计算的性能。
研究表明，通信的两核所处的位置不同，导致共享及竞争的资源也不同，所以模型的建立应该考虑共享资源竞争的程度，合理构建通信成本，避免将邻点分配到竞争较大的两核中。节点内两核之间的通信成本c(Si，Sj)按下式计算：
Figure BDA0002895416610000091
上式中，Si和Sj代表了两个核(或者代表两个插槽，或者代表两个计算节点，但是当在高速网络下的多核计算节点内存在共享资源竞争时，Si和Sj为核)；intera_worker(Si，Sj)表示Si和Sj之间实际的通信成本，其值等于Mb(Si，Sj)；interamax_worker(Si，Sj)表示所有计算节点之间通信成本的最大值；intermax_socket(Si，Sj)表示节点内部所有插槽与插槽之间通信成本的最大值。其中，α和β是介于0到1之间的参数，表示竞争程度；当集群环境为高速网络时，若两核处于同一插槽时，此时竞争最大，α和β都不为零，目的增加其通信成本；若两核位于不同的插槽时，此时竞争相对小一些，β为零，α不为零；若两核分别位于不同的节点，此时不存在竞争，只考虑通信异构性，β和α都设为零。
通过对分区之间通信成本的研究，我们知道α∈[0，1]，β∈[0，1]。当网络的带宽很低时，节点内部的共享资源竞争可以忽略不计，这时影响分布式图计算性能的主要是节点的计算能力与节点之间的通信能力，在此环境下参数设置为α＝0，β＝0，图划分的优化目标是尽量将两邻居点分配到同一计算节点中；当网络带宽很高时，由于采用RDMA技术，节点之间的通信不涉及共享内存的复制等操作，影响分布式图计算性能的主要因素是节点的计算能力与资源竞争，参数值设置为α∈(0,1]，β∈(0,1]。考虑到资源争用和通信异构性的影响是高度依赖于应用程序和硬件的，用户需要在实际计算环境中对目标应用程序进行具体分析，以确定参数数值的理想情况，在本实施例中，α与β的值都设置为1。
通过对现有流式算法过程的分析可以发现，输入图是以邻接矩阵的形式载入内存，基于邻点结构的流算法分配当前的顶点，由于从邻接矩阵中只能得出此点的邻居点，无法判断出哪些邻居点已经分配完成，所以要在动态缓存中寻找，由邻接矩阵与动态缓存内容共同确认已经分配完成的邻居点。这种邻点缓存数据结构不利于查找，对于查找(主要指查找当前顶点已分配完成的邻居点及邻居点所在的子区信息)效率较低。因此，本发明设计了邻边缓存结构来提高查找效率，即：分配当前的顶点后，将此点的分区信息作为值，邻点作为键并保存入动态缓存中，后续顶点的分配只需查找此点为键的字典条目，通过键查找到值，值对应着此点已经分配完成的所有邻点分区信息，通过值可以直接计算出此点所属的分区，按照上述规则依次分配后续的顶点，直到所有顶点分配完毕。为了更直观的展示，图1给出了示例图G(V,E)划分为3个子区(S1,S2,S3)的结构示意，采用本实施例邻边结构缓存数据从时刻T到时刻T+5对图G进行流划分过程中动态缓存区中数据变化如图2所示，在T时刻处理ID为1的顶点(v1)，分配完成之后，将此点的分区信息作为值，邻点做为键(v2:S1,v3:S1)保存入动态缓存中。在T+1时刻，计算顶点v3，由于在动态缓存中已经保存了点v3的邻点分区情况(v3:S1)，所以根据此信息直接计算出此点所属的分区,按照同样的规则分配后续的顶点，直到所有的顶点分配完成，算法结束。基于上述过程分析可知，当分配当前点的所属子区时，基于现有技术的邻点结构流式划分每次需要多次查找其已经分配完成的邻居点，而基于本发明邻边结构的流式划分只需查找一次，明显提高了划分效率。
在本发明方法的执行过程中，对于动态缓存中的数据，本发明提供了两种操作策略，分别是添加操作及删除操作。添加操作appenddate(N(v),P(v))：每次点v分配完毕，要将此点的邻居点N(v)作为键，点v的分区信息P(v)作为值以字典条目的形式保存在缓存中。如果动态缓存中已经存在点v的某一邻居点v1为键的条目，则直接在其值域追加点v的分区信息P(v)，如果不存在，则新建条目item(v1)。
删除操作deletedate(item(v))：每次点v分配完毕，动态缓存中以此点为键的条目已变成冗余数据则直接将其删除。例如图2中在T+1时刻，处理完ID为3的顶点之后，动态缓存中以此点为键的条目(v3:S1)对于后续顶点的计算已无价值，所以将其删除，主要是为了提升内存空间的利用率。
以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (7)

1.一种异构感知的流式图划分方法，其特征在于，内容包括：采用线性权重贪婪流算法将顶点放置入分区中，在顶点分配过程中要考虑网络通信成本、节点的计算能力以及共享资源竞争，根据下式进行形式化建模，并计算式(1)目标函数最大值，最大值所对应的i取值就为当前顶点所属的分区：
Figure FDA0002895416600000011
上式中，w(e)表示边(u,v)的权重：对于无权重网络，w(e)为Si与Sj之间的总割边数；对于有权重网络，w(e)为Si与Sj之间边的总权重；c(Si,Sj)为通信成本；Si表示核i，Sj表示核j，k表示划分的数量，V表示整个网络的顶点，E表示整个网络的边，e表示某条边，u和v分别表示边的两端点，Cbi表示节点Workeri的计算能力，Cbx表示节点Workerx的计算能力，w(Si)表示核内所有边的权重，i和j分别表示为当前顶点所属的分区和分配到其他的分区，x表示分区，ind表示将当前顶点放置的分区。
2.根据权利要求1所述的一种异构感知的流式图划分方法，其特征在于：所述节点的计算能力评价采用如下方式：以浮点运算作为评价指标，节点Workeri随机生成两个浮点数并对这两个浮点数进行相乘，重复106次操作，记录总响应时间并计算一次浮点运算的操作时间，用符号TexTimei表示，由于TexTimei是一个非常小的浮点数，选择浮点计算时间最长的某个节点Workermax的浮点计算时间TexTimemax，令节点计算能力Cbi根据下式计算：
Figure FDA0002895416600000012
3.根据权利要求1所述的一种异构感知的流式图划分方法，其特征在于：所述网络的通信成本采用如下方式评价：用Mb(i,j)表示计算节点Workeri和Workerj之间的通信成本，假定任何一对计算节点之间的往返通信成本是相同的,即Mb(i,j)＝Mb(j,i)，记录一个数据块从节点Workeri到节点Workerj的时间来测量其通信能力，采用全双工通信，对通信带宽进行标准化；如果某节点对之间的通信带宽最大，用TcTimemax表示，则集群中其它节点对Workeri和Workerj之间的通信成本Mb(i,j)用以下公式求出：
Figure FDA0002895416600000021
上式中，TcTime(i，j)表示节点对(i，j)之间的通信带宽。
4.根据权利要求3所述的一种异构感知的流式图划分方法，其特征在于：所述建模时要考虑共享资源竞争的程度，合理构建通信成本，避免将邻点分配到竞争较大的两核中；考虑到多核计算节点内的核与核之间的通信会影响分布式图计算的性能，节点内两核之间的通信成本c(Si,Sj)按下式计算：
Figure FDA0002895416600000022
上式中，Si和Sj代表了两个核；intera_worker(Si,Sj)表示Si和Sj之间实际的通信成本，其值等于Mb(Si,Sj)；interamax_worker(Si,Sj)表示所有计算节点之间通信成本的最大值；intermax_socket(Si,Sj)表示节点内部所有插槽与插槽之间通信成本的最大值；α和β是介于0到1之间的参数，表示竞争程度；当集群环境为高速网络时，若两核处于同一插槽时，α和β都不为零；若两核位于不同的插槽时，β为零，α不为零；若两核分别位于不同的节点，β和α都设为零。
5.根据权利要求4所述的一种异构感知的流式图划分方法，其特征在于：当网络带宽低时，节点内部的共享资源竞争可忽略不计，此时将α＝0，β＝0，图划分的优化目标是尽量将两邻居点分配到同一计算节点中；当网络带宽高时，由于采用RDMA技术，节点之间的通信不涉及共享内存的复制操作，参数值设置为α∈(0,1],β∈(0,1]。
6.根据权利要求1所述的一种异构感知的流式图划分方法，其特征在于：所述流式图划分过程中，采用邻边结构的缓存数据管理方式，即：分配当前的顶点后，将此点的分区信息作为值，邻点作为键并保存入动态缓存中，后续顶点的分配只需查找此点为键的字典条目，通过键查找到值，值对应着此点已经分配完成的所有邻点分区信息，通过值可以直接计算出此点所属的分区，按照上述规则依次分配后续的顶点，直到所有顶点分配完毕。
7.根据权利要求6所述的一种异构感知的流式图划分方法，其特征在于：对于动态缓存中的数据进行添加操作或删除操作，其中，添加操作方式如下：当前顶点分配完毕，要将此点的邻居点作为键，当前顶点的分区信息作为值以字典条目的形式保存在缓存中，如果动态缓存中已经存在此点的某一邻居点为键的条目，则直接在其值域追加该顶点的分区信息，如果不存在，则新建条目；删除操作方式如下：当前顶点分配完毕，动态缓存中以此点为键的条目已变成冗余数据则直接将其删除。
CN202110041187.XA 2021-01-13 2021-01-13 一种异构感知的流式图划分方法 Pending CN113377523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041187.XA CN113377523A (zh) 2021-01-13 2021-01-13 一种异构感知的流式图划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041187.XA CN113377523A (zh) 2021-01-13 2021-01-13 一种异构感知的流式图划分方法

Publications (1)

Publication Number Publication Date
CN113377523A true CN113377523A (zh) 2021-09-10

Family

ID=77569555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041187.XA Pending CN113377523A (zh) 2021-01-13 2021-01-13 一种异构感知的流式图划分方法

Country Status (1)

Country Link
CN (1) CN113377523A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302573A (zh) * 2023-05-23 2023-06-23 北京云道智造科技有限公司 一种并行计算中的核心分配方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957962A (zh) * 2017-12-19 2018-04-24 重庆大学 一种面向大图计算高效图划分方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957962A (zh) * 2017-12-19 2018-04-24 重庆大学 一种面向大图计算高效图划分方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李琪: "分布式图计算中的图划分问题研究", 重庆大学, vol. 2020, no. 12, pages 3 - 3 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302573A (zh) * 2023-05-23 2023-06-23 北京云道智造科技有限公司 一种并行计算中的核心分配方法及装置
CN116302573B (zh) * 2023-05-23 2023-08-18 北京云道智造科技有限公司 一种并行计算中的核心分配方法及装置

Similar Documents

Publication Publication Date Title
Iranmanesh et al. DCHG-TS: a deadline-constrained and cost-effective hybrid genetic algorithm for scientific workflow scheduling in cloud computing
CN104104621B (zh) 一种基于非线性降维的虚拟网络资源动态自适应调节方法
Wang et al. A new algorithm for grid independent task schedule: genetic simulated annealing
CN103188346A (zh) 支持分布式决策的大规模高并发访问i/o服务器负载均衡系统
Labouseur et al. Scalable and Robust Management of Dynamic Graph Data.
Wu et al. Hierarchical task mapping for parallel applications on supercomputers
US20230281157A1 (en) Post-exascale graph computing method, system, storage medium and electronic device thereof
Li et al. Group reassignment for dynamic edge partitioning
CN109636709B (zh) 一种适用于异构平台的图计算方法
CN113377523A (zh) 一种异构感知的流式图划分方法
CN107257356B (zh) 一种基于超图分割的社交用户数据优化放置方法
US10628279B2 (en) Memory management in multi-processor environments based on memory efficiency
Li et al. New improvement of the Hadoop relevant data locality scheduling algorithm based on LATE
Wang et al. Improved intermediate data management for mapreduce frameworks
Mirsadeghi et al. PTRAM: A parallel topology-and routing-aware mapping framework for large-scale HPC systems
Wang et al. A BSP-based parallel iterative processing system with multiple partition strategies for big graphs
Fu et al. Imrp: a predictive partition method for data skew alleviation in spark streaming environment
CN109254844A (zh) 一种大规模图的三角形计算方法
Chen et al. Load balancing in mapreduce based on data locality
Irandoost et al. Learning automata-based algorithms for MapReduce data skewness handling
Hamid et al. A Multi-core architecture for a hybrid information system
Zhong et al. HaSGP: an effective graph partition method for heterogeneous-aware
Shi et al. Smart shuffling in MapReduce: a solution to balance network traffic and workloads
Zhang et al. Speeding up vm startup by cooperative vm image caching
Li et al. Cluster load based content distribution and speculative execution for geographically distributed cloud environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination