CN112988064B - 一种面向并发多任务的磁盘图处理方法 - Google Patents

一种面向并发多任务的磁盘图处理方法 Download PDF

Info

Publication number
CN112988064B
CN112988064B CN202110175548.XA CN202110175548A CN112988064B CN 112988064 B CN112988064 B CN 112988064B CN 202110175548 A CN202110175548 A CN 202110175548A CN 112988064 B CN112988064 B CN 112988064B
Authority
CN
China
Prior art keywords
vertex
graph
edge data
edge
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110175548.XA
Other languages
English (en)
Other versions
CN112988064A (zh
Inventor
王芳
冯丹
徐湘灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110175548.XA priority Critical patent/CN112988064B/zh
Publication of CN112988064A publication Critical patent/CN112988064A/zh
Application granted granted Critical
Publication of CN112988064B publication Critical patent/CN112988064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种面向并发多任务的磁盘图处理方法，属于计算机大数据处理技术领域，包括：将输入图数据转换的边数据块和顶点值集存储至磁盘中；执行多个图任务时，将顶点值集加载至内存中，且在内存中采用一进一出方式加载边数据块；基于多个图任务并发访问的边数据块和顶点值集，利用任务更新函数，更新目的顶点值；当访问的所有边数据块的目的顶点值均更新，且满足收敛条件时，输出最终的顶点值；否则，在内存中循环加载边数据块，并更新目的顶点值；本发明可以降低磁盘的I/O访问开销。

Description

一种面向并发多任务的磁盘图处理方法
技术领域
本发明属于计算机大数据处理技术领域，更具体地，涉及一种面向并发多任务的磁盘图处理方法。
背景技术
随着现实世界对图计算的需求越来越高，许多场景下都要求图计算系统能够同时并发的出力多个图计算任务。然而，现有的面向并发多任务的图计算系统通常依赖于一个大规模的分布式系统或基于单机的共享内存系统。这些系统在大规模图数据上处理并发图任务时会面临高昂的硬件成本和通信开销，或较差的可扩展性等问题。而并发图任务在执行时所产生的大量中间结果会进一步加剧这些问题。在这种情况下，采用具有较高性价比和较好可扩展性的外存模式图计算同，成为一种潜在可行的选择。
然而，现有的外存模式图计算系统在处理并发图任务时会面临如下挑战。首先，并发图任务由于不同的I/O访问特征，在执行时会按照不同的遍历路径对磁盘中的图数据进行访问。而这些访问往往会产生很多随机和冗余的数据读取，极大的影响系统的性能。其次，由于并发图任务同时向操作系统发出I/O请求。这引发了对本就有限的磁盘带宽更激烈的竞争，造成严重的I/O冲突，影响系统的吞吐率。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种面向并发多任务的磁盘图处理方法，旨在解决现有的执行并发图任务时I/O开销大的问题。
为实现上述目的，本发明提供了一种面向并发多任务的磁盘图处理方法，包括以下步骤：
将输入图数据转换的边数据块和顶点值集存储至磁盘中；
执行多个图任务时，将顶点值集加载至内存中，且在内存中采用一进一出方式加载边数据块；
基于多个图任务并发访问的边数据块和顶点值集，利用任务更新函数，更新目的顶点值；
当访问的所有边数据块的目的顶点值均更新，且满足收敛条件时，输出最终的顶点值；否则，在内存中循环加载边数据块，并更新目的顶点值；
其中，图数据子块包括边数据块；边数据块用于存储顶点的出射边数据。
优选地，多个图任务并发访问边数据块的方式为：
在访问过程中，多个图任务通过选择性的数据访问方式跳过非活跃状态的边数据块，只访问包含活跃边的边数据块；其中，非活跃状态的边数据块为不包含活跃边数据的边数据块。
优选地，具体执行步骤包括：
(1)将输入图数据转换为P个边数据块和顶点值集；其中，输入图数据中每个顶点赋值一个顶点值；
(2)将顶点值集加载至内存中；
(3)将第k个边数据块加载至内存；k的初始值为1；
(4)当第k个边数据块为活跃状态时，基于多个图任务并发访问的第k个边数据块和顶点值集，利用任务更新函数更新目的顶点值；当第k个边数据块为活跃状态时，转至步骤(5)；
(5)将第k个边数据块返回至磁盘；
(6)判断是否k＝P，若是，则转至步骤(7)，否则，令k＝k+1，返回步骤(3)；
(7)判断是否符合收敛条件，若符合，输出最终的顶点值；否则，令k＝1，返回步骤(3)。
优选地，图数据子块还包括索引结构；一个索引结构对应一个边数据块，索引结构用于记录对应边数据块对应顶点的第一条出射边在边数据块中的偏移量；当执行多个图任务时，与对应边数据块一起加载至内存中。
优选地，当前处理的边数据块加载至内存的方法为：
分别计算顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销；
其中，当且仅当顶点的顶点值在上一轮迭代中被更新时，顶点被定义为活跃顶点；当且仅当边的源顶点是活跃顶点，边被定义为活跃边；读写开销用读写图数据的总数据量除以磁盘访问带宽计算；
判断顺序加载所有边数据的磁盘读写开销是否小于随机加载活跃边的磁盘读写开销；若是，则选择顺序加载所有边数据，否则选择随机加载活跃边数据。
优选地，将输入图数据转换为边数据块和顶点值的具体步骤为：
将输入图数据中每一个顶点分配一个顶点值，并将顶点值集存储至磁盘中；
将顶点值划分为P个不相交的子区间，且设置每个子区间对应一个边数据块；其中，P的取值要确保每个边数据块的大小小于内存的容量；
将边数据块和顶点值集存储至磁盘中。
优选地，更新目的顶点的方法为：采用push模型读取源顶点，根据多个图任务的更新函数，采用原子操作更新目的顶点值。
优选地，收敛条件为每个子区间的顶点值不再改变。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明将输入图数据转换为图数据子块和顶点值集，所有的任务均可以统一的访问图数据和顶点值集；在图数据子块中设置索引结构，可以支持多个任务快速访问，同时图数据存储在磁盘中，当需要使用时加载至内存，可以降低磁盘的存储开销。
本发明提供的内存加载边数据块的方法为计算当前顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销，然后决定采用何种方式加载，降低了磁盘读写的开销。
本发明中多个图任务通过选择性的数据方法方式，跳过非活跃状态的边数据块，访问活跃边的边数据块，避免了无用磁盘数据的加载和磁盘读写的浪费。
本发明采用图数据更新目的顶点，在处理过程中解决了冗余访问和存储开销问题，同时避免了对磁盘带宽的竞争。
附图说明
图1是本发明实施例提供的面向并发多任务的磁盘图处理方法示意图；
图2(a)是本发明实施例提供的有向图G的示意图；
图2(b)是本发明实施例提供的有向图G组织为CSR结构过程示意图；
图3是本发明实施例提供的并发图任务对有向图G中子区间1的顶点和边进行处理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种面向并发多任务的磁盘图处理方法，包括以下步骤：
将输入图数据转换的边数据块和顶点值集存储至磁盘中；
执行多个图任务时，将顶点值集加载至内存中，且在内存中采用一进一出方式加载边数据块；
基于多个图任务并发访问的边数据块和顶点值集，利用任务更新函数，更新目的顶点值；
当访问的所有边数据块的目的顶点值均更新，且满足收敛条件时，输出最终的顶点值；否则，在内存中循环加载边数据块，并更新目的顶点值；
其中，图数据子块包括边数据块；边数据块用于存储顶点的出射边数据。
优选地，多个图任务并发访问边数据块的方式为：
在访问过程中，多个图任务通过选择性的数据访问方式跳过非活跃状态的边数据块，只访问包含活跃边的边数据块；其中，非活跃状态的边数据块为不包含活跃边数据的边数据块。
优选地，具体执行步骤包括：
(1)将输入图数据转换为P个边数据块和顶点值集；其中，输入图数据中每个顶点赋值一个顶点值；
(2)将顶点值集加载至内存中；
(3)将第k个边数据块加载至内存；k的初始值为1；
(4)当第k个边数据块为活跃状态时，基于多个图任务并发访问的第k个边数据块和顶点值集，利用任务更新函数更新目的顶点值；当第k个边数据块为活跃状态时，转至步骤(5)；
(5)将第k个边数据块返回至磁盘；
(6)判断是否k＝P，若是，则转至步骤(7)，否则，令k＝k+1，返回步骤(3)；
(7)判断是否符合收敛条件，若符合，输出最终的顶点值；否则，令k＝1，返回步骤(3)。
优选地，图数据子块还包括索引结构；一个索引结构对应一个边数据块，索引结构用于记录对应边数据块对应顶点的第一条出射边在边数据块中的偏移量；当执行多个图任务时，与对应边数据块一起加载至内存中。
优选地，当前处理的边数据块加载至内存的方法为：
分别计算顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销；
其中，当且仅当顶点的顶点值在上一轮迭代中被更新时，顶点被定义为活跃顶点；当且仅当边的源顶点是活跃顶点，边被定义为活跃边；读写开销用读写图数据的总数据量除以磁盘访问带宽计算；
判断顺序加载所有边数据的磁盘读写开销是否小于随机加载活跃边的磁盘读写开销；若是，则选择顺序加载所有边数据，否则选择随机加载活跃边数据。
优选地，将输入图数据转换为边数据块和顶点值的具体步骤为：
将输入图数据中每一个顶点分配一个顶点值，并将顶点值集存储至磁盘中；
将顶点值划分为P个不相交的子区间，且设置每个子区间对应一个边数据块；其中，P的取值要确保每个边数据块的大小小于内存的容量；
将边数据块和顶点值集，存储至磁盘中。
优选地，更新目的顶点的方法为：采用push模型读取源顶点，根据多个图任务的更新函数，采用原子操作更新目的顶点值。
优选地，收敛条件为每个子区间的顶点值不再改变。
实施例
如图1所示，本发明提供了一种面向并发多任务的磁盘图处理方法，包括以下步骤：
(1)将输入图数据转换为P个图数据子块和顶点值集；
其中，图数据子块包括基于CSR(Compressed Sparse Row压缩稀疏行)的边数据块和索引结构；输入图数据中每个顶点赋值一个顶点值；边数据块用于存储对应顶点的出射边数据；索引结构用于记录每个顶点第一条出射边在边数据块中的偏移量；
(2)将顶点值集加载至内存中；
(3)通过比较第k个边数据块的所有边数据和活跃边数据磁盘读写开销，选择顺序加载所有边数据或根据索引结构随机加载活跃边数据至内存；k的初始值为1；
(4)当第k个边数据块为活跃状态时，基于多个图任务并发访问的第k个边数据块和顶点值集，利用任务更新函数更新目的顶点值；当第k个边数据块为活跃状态时，转至步骤(5)；
(5)将第k个图数据子块返回至磁盘；
(6)判断是否k＝P，若是，则转至步骤(7)，否则，令k＝k+1，返回步骤(3)；
(7)判断是否符合收敛条件，若符合，输出最终的顶点值；否则，令k＝1，返回步骤(3)。
优选地，步骤(1)具体包括如下步骤：
将输入图数据中每一个顶点分配一个顶点值，且将顶点值集存储至磁盘中；
将顶点值划分为P个不相交的子区间，且在磁盘中设置每个子区间对应一个边数据块；其中，P的取值要确保每个边数据块的大小小于内存的容量；每个边数据块用于存储对应顶点的出射边数据；
每个边数据块对应设置一个索引结构；索引结构用于记录边数据块对应的每个顶点第一条出射边在边数据块中的偏移量；
边数据块和对应的索引结构构建为图数据子块，存储至磁盘中；
图数据子块均存储在磁盘中，而在计算过程中，每个图数据子块依次被加载到内存中。
图2(a)是本发明实施例提供的有向图G示意图，图2(b)是本发明实施例提供的有向图G组织为基于CSR的边数据块的结构示意图；如图2(b)所示，其具体过程为：
(1.1)将有向图G中的顶点划分为两个不相交的子区间1(包括顶点值1，2，3)和子区间2(包括顶点值4，5，6)；
(1.2)为每个子区间在磁盘里对应创建一个边数据块结构(edge block)，以存储此子区间顶点的出射边数据；图2(a)被划分为边数据块1和边数据块2；
(1.3)为每个边数据块创建一个索引结构，用于存储每个顶点的第一条出射边在edge block中的偏移量；其中，边数据块和索引结构构成图数据子块；
(1.4)将2个图数据子块存储在磁盘中。
优选地，步骤(3)根据第k个边数据块的磁盘读写开销，选择顺序加载或根据索引结构随机加载所有边数据至内存；具体包括如下步骤：
(3.1)分别计算当前顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销；
一个顶点被定义为活跃顶点，当且仅当该顶点的顶点值在上一轮迭代中被更新；一条边被定义为活跃边，当且仅当该条边的源顶点是活跃顶点；
读写开销用读写图数据的总数据量除以磁盘访问带宽计算；
(3.2)判断顺序加载所有边数据的磁盘读写开销是否小于随机加载活跃边的磁盘读写开销；若是，则选择顺序加载所有边数据，否则选择随机加载活跃边数据；
步骤(4)根据选择的磁盘I/O访问方式加载边数据块，使得多个并发图任务对图数据子块和源顶点进行访问和目的顶点值进行更新，具体包括以下步骤：
(4.1)边数据块访问：在每轮迭代处理中，每个边数据块被依次加载到内存中以实现并发图计算(Concurrent Graph Processing,CGP)任务的共享访问；此外，每个CGP任务的顶点值在步骤(2)时也被同时加载；在访问的过程中，某个边数据块可能不再包含活跃边数据，即所有CGP任务都不再需要访问这个边数据块的边数据，在这种情况下，通过选择性的数据访问跳过这些非活跃状态的边数据块，而只访问包含活跃边的边数据块；
(4.2)并行处理数据块：当每个边数据块被加载到内存中后，相关的CGP任务(在该edge block中存在活跃边)开始并发的访问edge block中的边数据，并执行目的顶点值的更新过程；当每个edge block被所有相关的CGP任务处理完之后，内存开始加载下一个edgeblock；
(4.3)更新传播：在处理每个边数据块中的边数据时，采用push模型读取源顶点数据并更新目的顶点；更新顶点的过程按照每个CGP任务的特定的更新函数进行；同时，在更新目的顶点时使用原子操作(atomic operation)以保证计算结果的一致性；
图3是本发明实施例提供的并发图任务对有向图G中子区间1的顶点和边进行处理的示意图；系统需要处理三个CGP任务，包括一个PageRank图任务，一个ConnectedComponents(CC)图任务和一个Single Source Shortest Path(SSSP)图任务；系统也将任务图与基于应用的顶点属性值解耦合，使得多个CGP任务可以共享一份图数据；同时，每个CGP任务可以维护自身应用特定的顶点值，这些顶点值在计算过程中不断被更新直到相应的CGP任务达到收敛状态；
如图3所示，当边数据块1被加载到内存后，这些CGP任务将其作为共享子图进行并发的访问和处理；随后，每个CGP任务按照push更新模型更新自身的应用特定的顶点值，即从每条边的源顶点读取数据，然后调用相应的更新函数更新其目的顶点值；当所有边数据块都被CGP任务处理完之后，系统开始执行下一轮迭代，直到所有CGP任务达到收敛状态；
步骤(7)判断是否达到收敛条件，若是，输出最终的顶点值；否则，令k＝1，返回步骤(3)；其中，收敛条件由用户预设；本实施例中，当每个子区间的顶点值{1,2,3}和{4,5,6}不被改变的时候，达到收敛条件；
系统达到收敛条件，结束迭代处理，并输出图数据中的顶点值。
本发明与现有技术相比，存在以下优势：
本发明将输入图数据转换为图数据子块和顶点值集，所有的任务均可以访问统一图数据和顶点值集；在图数据子块中设置索引结构，可以支持多个任务快速访问，同时图数据存储在磁盘中，当需要使用时加载至内存，可以降低磁盘的I/O访问开销。
本发明提供的内存加载边数据块的方法为计算当前顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销，然后决定采用何种方式加载，降低了磁盘读写的开销。
本发明中多个图任务通过选择性的数据方法方式，跳过非活跃状态的边数据块，访问活跃边的边数据块，避免了无用磁盘数据的加载和磁盘读写的浪费。
本发明采用图数据更新目的顶点，在处理过程中解决了冗余访问和存储开销问题，同时避免了对磁盘带宽的竞争。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向并发多任务的磁盘图处理方法，其特征在于，包括以下步骤：
将输入图数据转换的边数据块和顶点值集存储至磁盘中；
执行多个图任务时，将顶点值集加载至内存中，且在内存中采用一进一出方式加载边数据块；
基于多个图任务并发访问的边数据块和顶点值集，利用任务更新函数，更新目的顶点值；
当访问的所有边数据块的目的顶点值均更新，且满足收敛条件时，输出最终的顶点值；否则，在内存中循环加载边数据块，并更新目的顶点值；
其中，图数据子块包括边数据块；所述边数据块用于存储顶点的出射边数据；
其中，将输入图数据转换为边数据块和顶点值的具体步骤为：
将所述输入图数据中每一个顶点分配多个顶点值，并将顶点值集存储至磁盘中；其中，一个顶点分配的顶点值数量与图任务数量一致；
将所述顶点划分为P个不相交的子区间，且设置每个子区间对应一个边数据块；其中，P的取值要确保每个边数据块的大小小于内存的容量；
将所述边数据块和顶点集存储至磁盘中；
其中，所述图数据子块还包括索引结构；一个所述索引结构对应一个边数据块，所述索引结构用于记录对应边数据块对应顶点的第一条出射边在边数据块中的偏移量；当执行多个图任务时，与对应边数据块一起加载至内存中；
所述多个图任务并发访问边数据块的方式为：
在访问过程中，多个图任务通过选择性的数据访问方式跳过非活跃状态的边数据块，只访问包含活跃边的边数据块；其中，非活跃状态的边数据块为不包含活跃边数据的边数据块；
磁盘图处理方法的具体执行步骤包括：
（1）将输入图数据转换为P个边数据块和顶点值集；其中，输入图数据中每个顶点赋值多个顶点值，一个顶点赋值的顶点值数量与图任务数量一致；
（2）将顶点值集加载至内存中；
（3）将第k个边数据块加载至内存； k的初始值为1；
（4）当第k个边数据块为活跃状态时，基于多个图任务并发访问的第k个边数据块和顶点值集，利用任务更新函数更新每个图任务的目的顶点值；当第k个边数据块为活跃状态时，转至步骤（5）；
（5）将第k个边数据块返回至磁盘；
（6）判断是否k=P，若是，则转至步骤（7），否则，令k=k+1，返回步骤（3）；
（7）判断是否符合收敛条件，若符合，输出最终的顶点值；否则，令k=1，返回步骤（3）；
所述边数据块加载至内存的方法为：
分别计算顺序加载所有边数据的磁盘读写开销和随机加载活跃边的磁盘读写开销；
其中，当且仅当顶点的顶点值在上一轮迭代中被更新时，顶点被定义为活跃顶点；当且仅当边的源顶点是活跃顶点，边被定义为活跃边；读写开销用读写图数据的总数据量除以磁盘访问带宽计算；
判断顺序加载所有边数据的磁盘读写开销是否小于随机加载活跃边的磁盘读写开销；若是，则选择顺序加载所有边数据，否则选择随机加载活跃边数据；
所述更新目的顶点的方法为：
基于边数据块和顶点值集，采用push模型读取源顶点；
将源顶点输入至多个图任务的更新函数，采用原子操作更新目的顶点值。
2.根据权利要求1所述的磁盘图处理方法，其特征在于，所述收敛条件为每个子区间的顶点值不再改变 。
CN202110175548.XA 2021-02-09 2021-02-09 一种面向并发多任务的磁盘图处理方法 Active CN112988064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110175548.XA CN112988064B (zh) 2021-02-09 2021-02-09 一种面向并发多任务的磁盘图处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110175548.XA CN112988064B (zh) 2021-02-09 2021-02-09 一种面向并发多任务的磁盘图处理方法

Publications (2)

Publication Number Publication Date
CN112988064A CN112988064A (zh) 2021-06-18
CN112988064B true CN112988064B (zh) 2022-11-08

Family

ID=76392475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110175548.XA Active CN112988064B (zh) 2021-02-09 2021-02-09 一种面向并发多任务的磁盘图处理方法

Country Status (1)

Country Link
CN (1) CN112988064B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116414733B (zh) * 2023-03-03 2024-02-20 港珠澳大桥管理局 数据处理方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952032A (zh) * 2015-06-19 2015-09-30 清华大学 图的处理方法、装置以及栅格化表示及存储方法
CN106095552A (zh) * 2016-06-07 2016-11-09 华中科技大学 一种基于i/o去重的多任务图处理方法及系统
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
CN109240600A (zh) * 2018-07-24 2019-01-18 华中科技大学 一种基于混合更新策略的磁盘图处理方法
CN109254725A (zh) * 2018-07-26 2019-01-22 华中科技大学 一种基于子图构建的磁盘图处理方法及系统
CN109522428A (zh) * 2018-09-17 2019-03-26 华中科技大学 一种基于索引定位的图计算系统的外存访问方法
CN110737804A (zh) * 2019-09-20 2020-01-31 华中科技大学 一种基于活跃度布局的图处理访存优化方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204174B2 (en) * 2015-12-15 2019-02-12 Oracle International Corporation Efficient method for subgraph pattern matching
CN107122244B (zh) * 2017-04-25 2020-02-14 华中科技大学 一种基于多gpu的图数据处理系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952032A (zh) * 2015-06-19 2015-09-30 清华大学 图的处理方法、装置以及栅格化表示及存储方法
CN106095552A (zh) * 2016-06-07 2016-11-09 华中科技大学 一种基于i/o去重的多任务图处理方法及系统
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
CN109240600A (zh) * 2018-07-24 2019-01-18 华中科技大学 一种基于混合更新策略的磁盘图处理方法
CN109254725A (zh) * 2018-07-26 2019-01-22 华中科技大学 一种基于子图构建的磁盘图处理方法及系统
CN109522428A (zh) * 2018-09-17 2019-03-26 华中科技大学 一种基于索引定位的图计算系统的外存访问方法
CN110737804A (zh) * 2019-09-20 2020-01-31 华中科技大学 一种基于活跃度布局的图处理访存优化方法及系统

Also Published As

Publication number Publication date
CN112988064A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10706101B2 (en) Bucketized hash tables with remap entries
JP5575997B1 (ja) 半導体装置及び半導体装置に対するエントリアドレス書き込み／読み出し方法
CN109522428B (zh) 一种基于索引定位的图计算系统的外存访问方法
CN110516810B (zh) 一种量子程序的处理方法、装置、存储介质和电子装置
CN105117417A (zh) 一种读优化的内存数据库Trie树索引方法
CN111832065A (zh) 使用电路实现的软件和用于密钥-值存储的方法
CN111126625A (zh) 一种可扩展的学习索引方法及系统
CN112988064B (zh) 一种面向并发多任务的磁盘图处理方法
CN110688055B (zh) 一种大图计算中数据访问方法及系统
CN109189994B (zh) 一种面向图计算应用的cam结构存储系统
CN114444274A (zh) 一种从非结构网格中重构原结构网格的方法、介质及装置
CN116431080B (zh) 一种数据落盘方法、系统、设备及计算机可读存储介质
KR102326586B1 (ko) 큰 규모 분산 행렬 곱 처리 방법 및 그 장치
CN104794102A (zh) 一种加速实现Cholesky分解的嵌入式片上系统
CN109254725B (zh) 一种基于子图构建的磁盘图处理方法及系统
CN114547086B (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN108021678B (zh) 一种结构紧凑的键值对存储结构及快速键值对查找方法
CN109240600B (zh) 一种基于混合更新策略的磁盘图处理方法
CN112035380B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN110377601B (zh) 一种基于B树数据结构的MapReduce计算过程优化方法
KR102354343B1 (ko) 블록체인 기반의 지리공간 데이터를 위한 공간 데이터 인덱싱 방법 및 장치
CN114237903A (zh) 内存分配优化方法、装置、电子设备、介质及程序产品
KR20220100030A (ko) 패턴 기반 캐시 블록 압축
US20240176984A1 (en) Data processing device and method, and related product
Xu et al. GraphCP: an I/O-efficient concurrent graph processing framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant