CN109522102B - 一种基于i/o调度的多任务外存模式图处理方法 - Google Patents

Abstract

本发明公开了一种基于I/O调度的多任务外存模式图处理方法，包括：将图数据进行流式分区得到图分区，将图分区均衡地置于多个外存设备中，基于I/O调度从多个外存设备中选取目标外存设备，并将目标外存设备中图处理任务尚未访问的图分区作为指定分区；根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将指定分区从外存设备映射到内存中，并更新指定分区的同步字段；否则，直接通过指定分区映射到内存的地址信息进行图分区数据的访问。本发明通过I/O调度，选择任务数最少的外存设备访问，以此控制访问外存图分区数据的顺序，平衡I/O压力；通过设置同步字段实现图分区数据的共享，减少相同图分区的重复加载，以此减少I/O总带宽量，提升I/O效率。

Description

一种基于I/O调度的多任务外存模式图处理方法

技术领域

本发明属于外存模式图处理领域，更具体地，涉及一种基于I/O调度的多任务外存模式图处理方法。

背景技术

随着社会信息化程度的不断提高，图数据规模正在以爆炸式速度不断增长。为了更好的执行大规模图数据的分析处理，近年来产生了一批专门的图处理系统，其中，外存模式图处理系统将图数据存储在廉价易扩展的外存储器中，通过优化对外存图数据的访问速度提升图算法执行效率，在单机环境中可以有效地处理具有数十亿条边规模大小的图计算问题。

当越来越多的图处理任务执行在相同的图处理平台上时，不可避免的会产生时间上的重叠，即任务级并行。随着图数据规模的不断增大，图算法的执行时间会越来越长，并行化程度会越来越高。目前国际知名的外存模式图处理系统有GraphChi、X-Stream以及GridGraph等，它们采用顺序化访问方式优化外存I/O，通过定义特定的图数据访问顺序减少外存设备的随机访问开销，提高图算法执行效率。然而在多任务场景下，这些图处理系统并不适用，这是由于每个图算法的I/O特性不同，具有不同的外存图数据访问速度，因此，并行执行多个图处理任务时将影响甚至破坏现有的外存I/O优化方法，造成严重的外存随机访问开销。另外，多个图算法分别向外存发起I/O请求，会竞争有限的I/O带宽，I/O冲突严重。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术中外存模式图处理系统外存随机访问开销严重，I/O冲突严重的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于I/O调度的多任务外存模式图处理方法，所述方法包括以下步骤：

S1.将图数据进行流式分区，得到n个图分区，每个图分区对应的边集中具有相同的边数目，并初始化每个图分区的同步字段；

S2.将n个图分区均衡地置于N个外存设备中，更新每个图分区的部分同步字段，n为N的整数倍；

S3.基于I/O调度从N个外存设备中选取访问图处理任务数最少的外存设备作为目标外存设备，并将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区；

S4.根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将所述指定分区从外存设备映射到内存中，并更新所述指定分区的部分同步字段；否则，直接通过所述指定分区映射到内存的地址信息进行图分区数据的访问。

具体地，所述图分区的同步字段为unit_num+mmap_addr+edge_num+fd，其中，unit_num为访问图分区的任务总数，初始化为0；mmap_addr为图分区在内存中的映射首地址，初始化为空；edge_num为图分区映射到内存中的边数目，初始化为0；fd为图分区对应的文件描述符，初始化为空。

具体地，步骤S2具体如下：

当图分区置于N个外存设备中的一个后，在外存设备中创建图分区文件，为图分区文件分配一个同步字段，edge_num字段更新为图分区边数。

具体地，步骤S3具体如下：

1)统计各外存设备正在执行的图处理任务数量n_i，i＝1,2,...,N；

2)确定各外存设备当前被内存访问的图分区集合s_i；

3)根据值n_i的大小对外存设备进行升序排序，将对应的外存设备id加入集合U中；

4)依次判断集合U中各外存设备当前被访问的图分区集合s_i是否包含图处理任务尚未访问的图分区，若是，进入步骤5)，否则，进入步骤6)；

5)将外存设备i选为目标外存设备，进入步骤7)；

6)按集合U中外存设备顺序判断各外存设备不在内存的图分区是否包含尚未访问的分区，若是，将外存设备i选为目标外存设备，进入步骤7)，否则，结束；

7)将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区，进入步骤S4。

具体地，步骤S4如下：

当指定分区的字段unit_num＝0，说明指定分区未被图处理任务映射到内存中，将指定分区从外存设备映射到内存中，字段mmap_addr更新为在内存中的映射首地址，字段unit_num更新为unit_num+1，字段fd更新为图分区文件的文件描述符；

否则，说明指定分区已经被图处理任务映射到内存中，则直接通过分区文件映射到内存的地址信息进行图分区数据的访问，即直接通过所述图分区的字段mmap_addr进行图分区的访问。

为实现上述目的，第二方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面所述的图处理方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1.本发明通过流式图分区，将图数据根据并行任务数、内存配置等因素分成边集大小相等的图分区，使多个图处理任务能够同时访问多个图分区，而不会因为内存不足导致频繁的页面换入换出，系统性能提高。

2.本发明采用多个外存设备，将图数据均匀分布到各个外存设备中，并赋予每个图分区文件一个同步字段，以保证负载均衡，保证顺序访问的性能，提升I/O顺序带宽利用率。

3.本发明通过I/O基于多外设重编排的I/O调度，统计各个外存设备的图处理任务数，选择任务数最少的外存设备访问，以此控制并行图算法执行过程中访问外存图分区数据的顺序，将图任务均匀的分布到多个外存设备中去，平衡I/O压力，提升I/O带宽利用率。

4.本发明通过基于图数据共享的图数据访问模型，通过设置同步字段实现图分区数据的共享，优先访问已经加载进内存的图分区数据，减少相同图分区的重复加载，以此减少I/O总带宽量，提升I/O效率。

附图说明

图1为本发明实施例提供的一种基于I/O调度的多任务外存模式图处理方法流程图；

图2为本发明实施例提供的图数据流式图分区示意图；

图3为本发明实施例提供的图分区的同步字段示意图；

图4为本发明实施例提供的基于多外设重编排的I/O调度示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的一种基于I/O调度的多任务外存模式图处理方法流程图。如图1所示，所述方法包括以下步骤：

S1.将图数据进行流式分区，每个图分区对应的边集中具有相同的边数目，得到n个图分区，并初始化每个图分区的同步字段；

S2.将n个图分区均衡地置于N个外存设备中，更新每个图分区的部分同步字段，其中，n为N的整数倍；

S3.基于I/O调度从N个外存设备中选取访问图处理任务数最少的外存设备作为目标外存设备，并将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区；

S4.根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将所述指定分区从外存设备映射到内存中，并更新所述指定分区的部分同步字段；否则，直接通过所述指定分区映射到内存的地址信息进行图分区数据的访问。

步骤S1.将图数据进行流式分区，每个图分区对应的边集中具有相同的边数目，得到n个图分区，并初始化每个图分区的同步字段。

图2为本发明实施例提供的图数据流式图分区示意图。如图2所示，将图数据划分为n个分区，并为每个图分区分配图分区编号partition_id，每个分区包含一个节点集和边集，节点集中所有节点id处于连续范围，互不相交，所有节点集的并集等于整个图的节点集。边集包含所有源节点在对应节点集中的边数据。在进行图数据分区处理时，根据系统内存配置与并行图处理任务数决定每个图分区对应的节点集与边集的大小上限，即确保内存能够同时容纳并行图处理任务数的图分区。

根据图的总边数与边集的大小上限确定图分区的个数n，使图分区的个数为外存设备的整数倍。基于负载均衡思想，且自然图的边数量远远超出节点数量，故本发明在进行图划分时使每个图分区对应的边集具有相同的边数目。

图3为本发明实施例提供的图分区的同步字段示意图。如图3所示，图分区的同步字段为unit_num+mmap_addr+edge_num+fd。

图分区的同步字段中各字段的含义和初值如下：

unit_num为访问所述分区文件的任务总数，初始化为0；

mmap_addr为图分区在内存中的映射首地址，初始化为空；

edge_num为图分区映射到内存中的边数目，初始化为0；

fd为所述图分区对应的文件描述符，初始化为空。

S2.将n个图分区均衡地置于N个外存设备中，更新每个图分区的部分同步字段，其中，n为N的整数倍。

基于负载均衡思想，将图分区数据以图分区文件的形式均衡的存储到每个外存设备中。假设系统外设数量为N，本发明根据图分区编号partition_id与外存设备数量的关系决定每个图分区文件的存在位置，存放位置disk_id＝partition_id％N，partition_id取值分为0,2,…,n-1，％为取余操作，disk_id为外存设备编号。

当图分区置于N个外存设备中的一个后，在外存设备中创建图分区文件，为图分区文件分配一个同步字段，edge_num字段更新为图分区边数。

步骤S3.基于I/O调度从N个外存设备中选取访问图处理任务数最少的外存设备作为目标外存设备，并将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区。

图4为本发明实施例提供的基于多外设重编排的I/O调度示意图。如图4所示，系统有2个外存设备：外存设备1和外存设备2，当前调度的图处理任务为A。采用I/O调度算法，通过统计当前访问每个外存设备的图处理任务总数，选取访问图处理任务数最少的外存设备作为目标，以此将I/O压力均衡分散到所有外存中。步骤S3具体如下：

1)统计每个外存设备正在执行的图处理任务数量n_i，i＝1,2,...,N；

当图处理任务需要访问外设的时候，统计每个外设的任务数量，可以得知每个外设工作情况，选择其中最空闲的那个作为目标外设，这样做可以将任务均匀的分配到各个外设中去，充分利用外设带宽。I/O调度算法主要是为了防止并行的多个图计算任务集中访问少部分外设，形成竞争，同时不被访问的外设又十分空闲的情况，如此能充分利用外设的I/O带宽。

根据并行图处理任务间同步信息以及图分区文件与系统内外存设备的映射信息统计访问所有外存设备的并行任务总数n₁,n₂,...,n_N。如图4所示，外存设备1有5个任务，外存设备2有3个任务，即n₁＝5，n₂＝3。

2)确定各外存设备当前被内存访问的图分区集合s_i；

根据并行图任务间同步信息(unit_num字段)以及图分区文件与系统内外存设备的映射信息确定系统内所有外存设备当前被访问的图分区集合s₁,s₂,...s_N，记录图分区文件对应的编号(partition_id)。如图4所示，外存设备1中，图分区1、5、9在内存中，则s₁＝{1,5,9}，s₂＝{2,4,8}。

3)根据值n_i的大小对外存设备进行升序排序，将对应的外存设备id加入集合U中。

如图4所示，U＝{2,1}，集合U中的磁盘对应的访问任务数依次递增。

4)依次判断集合U中各外存设备当前被访问的图分区集合s_i是否包含图处理任务A尚未访问的分区，若是，进入步骤5)，否则，进入步骤6)；

如图4所示，已知U＝{2,1}，故按顺序先访问外存设备2，再访问外存1，即按s₂,s₁的顺序访问对应集合内编号对应的图分区，看是否有集合包含图处理任务A尚未访问的图分区，若是，进入步骤5)，否则，进入步骤6)。

5)将外存设备i选为目标外存设备，进入步骤7)；

如图分区集合s₂存在图处理任务A尚未访问的图分区，将外存设备2选为目标外存设备。

6)按集合U中外存设备顺序判断各个外存设备不在内存的图分区是否包含尚未访问的分区，若是，将外存设备i选为目标外存设备，进入步骤7)，否则，结束；

如在s₂,s₁图分区集合中未找到需要的图分区，则需要在外存设备剩下图分区中寻找，如外存设备2则在图分区6、10、12中寻找，依然按照U＝{2，1}的顺序进行，若找到，则将当前外存设备确定为目标外存设备，否则，说明所有图分区都被图处理任务A访问过，结束。

7)将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区，进入步骤S4。

将目标外存设备中图处理任务A尚未访问的图分区作为指定分区。

步骤S4.根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将所述指定分区从外存设备映射到内存中，并更新所述指定分区的部分同步字段；否则，直接通过所述指定分区映射到内存的地址信息进行图分区数据的访问。

当指定图分区的字段unit_num＝0，说明所述分区文件没有被系统内的图处理任务访问，即需要当前图处理任务通过系统调用mmap函数映射所述图数据分区到内存中，字段mmap_addr更新为在内存中的映射首地址，字段unit_num更新为unit_num+1，fd字段更新为所述图分区文件的文件描述符；否则，表明所述图数据分区已经被其他图任务映射到内存中，则直接通过所述分区文件映射到内存的地址信息进行图分区数据的访问，即直接通过所述图分区的字段mmap_addr进行图分区的访问。

当一个图算法需要图分区时，首先访问所述分区的同步字段信息，若unit_num字段大于0，表示所述分区已经在内存中，可以直接通过mmap_addr字段的首地址访问。举例说明，在并行执行图计算时，会出现任务A使用的图分区a，任务B同样需要的图分区a，此时若是任务A读取了a分区，进行计算，任务B同样读取了所述分区，就造成了同一图分区在短时间内被读取两次，若任务A、任务B可以共享图分区，则只需要读取一次，减少了I/O负担。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种基于I/O调度的多任务外存模式图处理方法，其特征在于，所述方法包括以下步骤：

S1.将图数据进行流式分区，得到n个图分区，每个图分区对应的边集中具有相同的边数目，并初始化每个图分区的同步字段；

S2.将n个图分区均衡地置于N个外存设备中，更新每个图分区的部分同步字段，n为N的整数倍；

S3.基于I/O调度从N个外存设备中选取访问图处理任务数最少的外存设备作为目标外存设备，并将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区；

S4.根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将所述指定分区从外存设备映射到内存中，并更新所述指定分区的部分同步字段；否则，直接通过所述指定分区映射到内存的地址信息进行图分区数据的访问。

2.如权利要求1所述的图处理方法，其特征在于，所述图分区的同步字段为unit_num+mmap_addr+edge_num+fd，其中，unit_num为访问图分区的任务总数，初始化为0；mmap_addr为图分区在内存中的映射首地址，初始化为空；edge_num为图分区映射到内存中的边数目，初始化为0；fd为图分区对应的文件描述符，初始化为空。

3.如权利要求2所述的图处理方法，其特征在于，步骤S2具体如下：

当图分区置于N个外存设备中的一个后，在外存设备中创建图分区文件，为图分区文件分配一个同步字段，edge_num字段更新为图分区边数。

4.如权利要求1所述的图处理方法，其特征在于，步骤S3具体如下：

1)统计各外存设备正在执行的图处理任务数量n_i，i＝1,2,...,N；

2)确定各外存设备当前被内存访问的图分区集合s_i；

3)根据值n_i的大小对外存设备进行升序排序，将对应的外存设备id加入集合U中；

4)依次判断集合U中各外存设备当前被访问的图分区集合s_i是否包含图处理任务尚未访问的图分区，若是，进入步骤5)，否则，进入步骤6)；

5)将外存设备i选为目标外存设备，进入步骤7)；

6)按集合U中外存设备顺序判断各外存设备不在内存的图分区是否包含尚未访问的分区，若是，将外存设备i选为目标外存设备，进入步骤7)，否则，结束；

7)将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区，进入步骤S4。

5.如权利要求2所述的图处理方法，其特征在于，步骤S4如下：

当指定分区的字段unit_num＝0，说明指定分区未被图处理任务映射到内存中，将指定分区从外存设备映射到内存中，字段mmap_addr更新为在内存中的映射首地址，字段unit_num更新为unit_num+1，字段fd更新为图分区文件的文件描述符；

否则，说明指定分区已经被图处理任务映射到内存中，则直接通过分区文件映射到内存的地址信息进行图分区数据的访问，即直接通过所述图分区的字段mmap_addr进行图分区的访问。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的图处理方法。

Images