CN112115307A - 面向图的顶点数据规则存储结构和连接拓扑压缩方法 - Google Patents

Abstract

本发明公开了一种面向图的顶点数据规则存储结构和连接拓扑压缩方法，包括步骤：1)将图中的所有顶点序号重新编码；2)在将图中所有顶点重排序之后，按照顶点序号由小到大依次以<顶点特征值、度及其游程编码个数>作为一个数据单元，规则的存储到顶点特征值存储器中；3)从序号最小的顶点开始，将每个顶点所连接的边的特征值按照目标顶点升序的顺序，将每对顶点所对应的边特征值依次存储到边特征值存储器中；4)基于重新排序后的图，得到图的邻接矩阵，对每个顶点的邻接向量进行游程编码，将每个顶点的游程编码依次存储到边存储器中；5)在访问顶点特征值过程中，由顶点编号访问该顶点的信息。相比于现有技术，本发明大大节省了存储空间。

Description

面向图的顶点数据规则存储结构和连接拓扑压缩方法

技术领域

本发明涉及一种大型图联合存储顶点和边的压缩方法，具体涉及一种面向图的顶点数据规则存储结构和连接拓扑压缩方法。

背景技术

图作为最经典、最常用的数据结构之一，现实世界中很多数据可以被抽象成多种多样的图结构的数据。图中的顶点可以代表不同的实体，图中的边可以代表不同实体之间的关系。常见的有网页链接图，社交关系图，基因分析图等。此外，图数据规模的增长非常迅速，如在2017年，Twitter公司每天的推文量上升至5×10¹⁰，随着机器学习和数据挖掘应用的日益广泛，图的规模也变的越来越大。另一方面，由于大规模的图数据表现出极度的不规则性，导致在传统的MapReduce和Hadoop系统上进行计算的过程中产生大量数据通信，进而造成计算效率低下的问题。如何有效的进行大规模图数据的处理与分析是目前学术界与工业界的一大研究热点，为了有效的应对上述挑战，很多图计算系统被提出来进行高效的图数据处理。

GraphChi方法中，源顶点和目标顶点是随机分布存储的，当由源顶点特征值更新目标顶点特征值时，将造成对目标顶点的随机访问，更糟糕的是当源顶点和目标顶点不在同一个顶点块时，对目标顶点的更新访问将严重影响系统的性能。并且GraphChi是通过<源顶点，目标顶点>对来表征边的关系，而图中边的数量远远多于顶点的数量，这将造成顶点的大量冗余存储。

GraphChi采用图数据划分策略，对于图G＝(V，E)，如图1所示，V是图G的顶点集合，E是图G的边集合，图中每条边表示为<源顶点，目标顶点>对。在GraphChi中，如图2所示，将顶点集V划分为P个不相交的顶点块(用interval表示，interval(i)表示第i个顶点块)，将边集E划分为P个边块(用shard表示，shard(i)与interval(i)相关),每个边块中的边序列以源顶点为参考进行升序排列。这种策略将导致对顶点的随机访问，会对整个系统的性能带来不可忽略的影响。并且这种方法通过<源顶点，目标顶点>来表征边，由于图中边的数量远远多于顶点的数量，这将造成大量的存储开销。

VENUS方法中，顶点按照顶点编号顺序依次存储，但是中心顶点的多个邻接顶点编号是杂乱分布而毫无规律的，在由中心顶点更新访问目标顶点时，会产生较多的IO开销，导致系统性能严重下降。

VENUS方法中，采用邻接表格式存储边的信息。邻接表格式是存储与顶点相关的边序列，每一行数据包含四种信息<顶点编号，顶点出度/入度，邻居顶点编号序列，边值序列>。图3给出了图1中连接边的邻接表存储格式的示例。VENUS通过邻接表格式降低了源顶点存储次数，但仍会对目标顶点造成大量冗余存储。

发明内容

本发明的目的在于针对上述现有技术的不足，提供了一种面向图的顶点数据规则存储结构和连接拓扑压缩方法。

为达到上述目的，本发明采用如下技术方案来实现的：

面向图的顶点数据规则存储结构和连接拓扑压缩方法，包括以下步骤：

1)将图中的所有顶点序号重新编码；

2)在将图中所有顶点重排序之后，按照顶点序号由小到大依次以<顶点特征值、度及其游程编码个数>作为一个数据单元，规则的存储到顶点特征值存储器中；

3)在将图中所有顶点重排序之后，从序号最小的顶点开始，将每个顶点所连接的边的特征值按照目标顶点升序的顺序，将每对顶点所对应的边特征值依次存储到边特征值存储器中；

4)基于重新排序后的图，得到图的邻接矩阵，对每个顶点的邻接向量进行游程编码，将每个顶点的游程编码依次存储到边存储器中；

5)在访问顶点特征值过程中，由于顶点特征值所在的地址与顶点序号是一一线性对应的，因此由顶点编号访问该顶点的信息；在访问边特征值过程中，由度计数器记录边特征值的访问情况；在访问拓扑信息时，由游程编码计数器记录边的访问情况。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

101)首先，找到整个图中邻接顶点最多的顶点V_m，对其邻接顶点依次进行顺序编号；

102)接下来再查找顶点V_m相邻顶点中邻接顶点比较多的顶点V_n，若V_n的某个邻接顶点已被编码，则该邻接顶点编码保持不变，对Vn剩下的邻接顶点依次排序编号；

103)重复迭代上述过程，直到所有的顶点都被编号。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

201)在将图中所有顶点重排序之后，将顶点特征值、顶点的度、该顶点所对应的邻接向量所对应的游程编码的个数分别量化为固定长度的数据位宽；

202)然后按照顶点序号由小到大的顺序依次以<顶点特征值、度及其游程编码个数>做为一个数据单元，规则的存储到顶点特征值存储器中。

本发明进一步的改进在于，步骤4)的具体实现方法如下：

401)基于重新排序后的图，构造图的邻接矩阵，若两个顶点之间相连接，则邻接矩阵中相应行列的位置置为1；若两个顶点之间无连接，则邻接矩阵中相应行列的位置置为0，顶点和自身无连接；

402)分别对每个顶点的邻接向量进行游程编码，将每个顶点的游程编码依次存储到边存储器中。

本发明进一步的改进在于，步骤5)的具体实现方法如下：

501)在进行图计算过程中，对于顶点特征值、拓扑关系和边特征值访问过程如下：由于顶点编号和地址是按照线性关系一一映射的，顶点特征信息所在的地址即顶点编号值，根据顶点编号在顶点特征值存储器中访问该顶点的信息；

502)边特征值是根据度计数器degree_cnt来访问的，每访问一个源顶点，degree_cnt要加上该源顶点的度，degree_cnt即源顶点邻接边特征值的起始地址，degree_cnt依次递增直到从边特征存储器中读出该顶点所有连接边的特征值；

503)游程编码值是根据游程编码计数器code_cnt来访问的，每次访问一个源顶点，code_cnt要加上该源顶点的游程编码个数，code_cnt即该顶点邻接向量所对应的游程编码在存储器中的起始地址。

相对于现有技术，本发明至少具有如下有益的技术效果：

本发明提供的面向图的顶点数据规则存储结构和连接拓扑压缩方法，图神经网络计算的本质是在相连接的顶点之间传递与收集信息，在这一过程中唯一需要保证的是图的拓扑结构不变，而与顶点的编号是无关的。即图中的所有顶点的地位都是平等的，不会因为改变某一顶点的编号而改变图的性质或顶点的性质。因此，本发明采用顶点编号重新排序的算法将相连接的顶点编码为相邻的值，算法描述如下：首先，将图中的所有顶点重新排序，找到邻接顶点最多的顶点，对其邻接顶点依次进行排序编号；接下来再找下一个邻接顶点比较多的顶点，对其邻接顶点依次排序编号，重复迭代直到所有的顶点都被编号。

其中，顶点特征值、度及其游程编码个数组织为一个固定长度的单元按线性地址依次存储，地址与顶点编号一一线性映射，直接通过地址就可以访问到相应顶点特征值等信息。简化了图更新过程中访问源顶点和目标顶点的复杂地址转换过程。通过对图的顶点重新优化排序，将相邻的顶点序号编码为相邻的值，使得邻接矩阵中数值1的分布尽量集中，能够提高采用游程编码进行邻接矩阵压缩的压缩率，相比于通过顶点对来表征边的关系，大大节省了存储空间。

附图说明

图1为图的示例图。

图2为GraphChi方法中图1的顶点和边的存储形式示例图。

图3为VENUS方法中邻接表格式示例图。

图4为图的顶点重新排序算法流程图。

图5(a)为顶点无序时的图。

图5(b)为顶点无序排列时图的邻接矩阵，0和1无规则分布示例图。

图6(a)为顶点排序后的图。

图6(b)为顶点重新排列后图的邻接矩阵，0和1规则分布示例图。

图7为顶点、度、邻接矩阵游程编码个数的逻辑存储格式示例图。

图8为顶点所对应的邻接矩阵的游程编码逻辑存储格式示例图。

图9为有权重的图的示例。

图10为边特征值的逻辑存储格式示例图。

图11为整体流程图。

图12为边特征值索引模块示例图。

图13为游程编码个数计数器示例图。

图14为边特征值的物理存储格式示例图。

图15为顶点所对应的邻接矩阵的游程编码物理存储格式示例图。

图16为简单的测试图Gtest示例图。

具体实施方式

以下结合附图和实施例对本发明做出进一步的说明。

本发明提出的方法，一方面采用有效的游程编码方法大大节省了边的存储空间；另一方面，合理的组织顶点数据的存储方式，使数据格式对齐易于存取并大大的降低了数据的随机访问。

1、图神经网络计算的本质是在相连接的顶点之间传递与收集信息，在这一过程中唯一需要保证的是图的拓扑结构不变，而与顶点的编号是无关的。即图中的所有顶点的地位都是平等的，不会因为改变某一顶点的编号而改变图的性质或顶点的性质。因此，本发明采用顶点编号重新排序的算法将相连接的顶点编码为相邻的值，算法流程图如图4所示，算法大概描述如下：首先，找到邻接顶点最多的顶点，对其邻接顶点依次进行排序编号；接下来再找下一个邻接顶点比较多的顶点，对其邻接顶点依次排序编号，重复迭代直到所有的顶点都被编号。

2、将图的顶点编号重新排序之后，得到的邻接矩阵中0和1的分布比较规律有序。如图5(a)是原始图的顶点编号不经过排序的图结构，图5(b)是其邻接矩阵，邻接矩阵中0和1是杂乱分布的，毫无规律可循的。图6(a)是将顶点序号重新排序后得到的图，图6(b)是其邻接矩阵，经过重新排布后，邻接矩阵中的1紧紧相邻，0也紧紧相邻。邻接矩阵中“0”表示该行的顶点与该列的顶点无连接，即它们之间无边存在；“1”表示该行的顶点与该列的顶点相连接，即他们之间有边存在。对于大型的图，邻接矩阵是一个稀疏矩阵，即邻接矩阵中大多数都是0，只有少部分是1。在经过顶点编号重排序后，这些“1”也会排列在一起。对于这种稀疏矩阵，非常适合于用游程编码来存储，它是一种统计编码，主要技术是检测重复的比特或字符序列，并用它们的出现次数取而代之。该压缩编码技术相当直观和经济，运算也相当简单，因此解压缩速度很快。

本发明中的边是通过邻接矩阵中的“0”、“1”来表征的，也就是只需要存储邻接矩阵中的值，而不再通过<源顶点，目标顶点>来表征边。边的存储是通过将邻接矩阵进行压缩存储的，其逻辑存储格式如图8所示，第一列表示顶点的序号，第二列中每一行分别表示该源顶点所对应的邻接向量的游程编码。游程编码的思想是检测重复的比特或字符序列，并用它们的出现次数取而代之，本发明对游程编码做一些改进，不再存储邻接矩阵中“0”和“1”，而直接存储“0”、“1”的统计值。如图6(b)所示的邻接矩阵，以行为单位先统计“1”连续出现的次数，再统计“0”连续出现的次数，这样依次交替进行直到该行编码完成，如果该行最后的值都是0，则不进行编码。以图6(b)所示的邻接矩阵为例，对于顶点1所对应的第一行邻接向量，第一个值是0，则“1”的编码值为0；接下来“0”的编码为1；然后再对“1”的值计数，有4个连续的1，则编码为4；最后两个元素的值都是0，则不进行编码。所以，第一行的邻接向量编码值为0,1,4。这里不再存储源顶点和目标顶点对来表征边的关系，而是通过压缩邻接矩阵来表征边的关系，从而大大降低所需的存储空间。

3、对于无向图的顶点的逻辑存储格式，将顶点的特征值、度及其邻接矩阵的游程编码个数作为一个单元进行存储，按照顶点编号从小到大依次存储，这样顶点编号和地址按照线性关系一一对应。以图5(a)所示的图为例，按照图7所示的形式将顶点特征值、度及其邻接矩阵游程编码个数作为一个单元，按照源顶点序号从小到大依次存储。第一列表示顶点的序号，第二列中每一行从左到右依次表示顶点的特征值、度、邻接矩阵游程编码个数，它们作为一个单元进行存储，每次以一个单元进行访问和写回。这种简单的存储方式大大简化了顶点索引的复杂度，直接通过地址就可以快速访问到相应的顶点特征值等信息。且经过重新排序的相连接的顶点在存储器中相邻存储，在由源顶点特征值更新目标顶点特征值过程中，有效的降低了随机访问的开销。

4、边特征值的逻辑存储格式如图10所示，第一列表示源顶点，与图7第一列所示一致，按照顶点编号从小到大排序。第二列中每一行按照目标顶点升序排列的方式将<源顶点，目标顶点>对应的边特征值依次存放。若源顶点和目标顶点有连接的边，则依次记下该边所对应的特征值；若源顶点和目标顶点不相邻，则不记录。这里规定顶点与其本身不相邻，即没有边。以图9所示的图为例，边特征值的逻辑存储格式如图10所示，第一行源顶点是顶点1，由源顶点1和目标顶点2所连接形成的边的特征值是3.3，由源顶点1和目标顶点3所连接形成的边的特征值是2.4，由源顶点1和目标顶点4所连接形成的边的特征值是5.1，由源顶点1和目标顶点5所连接形成的边的特征值是6.2。源顶点与其他目的顶点无连接，则无边的特征值。

5、在图算法开始对图进行更新时，对图的顶点和边的访问情况如图11所示，由于顶点序号和地址是按照线性关系一一映射的，顶点所在的地址也就是顶点序号，可以非常快速方便的根据源顶点地址在顶点存储器中访问该顶点的信息，以<顶点特征值，度，游程编码个数>为一个单位同时读出源顶点特征值、度以及游程编码个数。该数据单元中的度送到degree_cnt累加器，如图12所示，degree_cnt累加器初始值为零，每访问一个源顶点，degree_cnt都要加上该源顶点的度，度是该源顶点所连接目标顶点的数目，也就是邻接边的个数。所以，degree_cnt就是源顶点邻接边特征值的起始地址，degree_cnt依次递增直到从边特征存储器中读出该顶点所有连接边的特征值，将这些顶点特征值送到计算单元等待后续处理。由于边特征值相邻存储，所以只需顺序读取即可，减少了随机访问带来的IO开销。特征值的物理存储格式如图14所示。

同时将数据单元中的游程编码个数送到code_cnt累加器，如图13所示，用来对每个源顶点的游程编码个数进行计数，每次访问一个源顶点，code_cnt都要加上该源顶点的游程编码个数，code_cnt也就是该顶点邻接向量所对应的游程编码在存储器中的起始地址，以code_cnt为基址，顺序从游程编码器中依次读出该源顶点邻接向量所对应的多个游程编码并送到解码模块，解码模块根据游程编码解码出目标顶点的地址。接下来根据解码出的目标顶点地址，从顶点存储器中读出相应的顶点特征值送到计算单元以待进行下一步处理。同一源顶点所连接的目标顶点在存储器中基本上相邻存储，只需要顺序访问目标顶点即可，减少了数据的随机访问，有效地提高了系统性能。顶点所对应的邻接矩阵的游程编码物理存储格式如图15所示。

计算单元根据前面所获得的源顶点特征值、多个边特征值并行更新多个目标顶点特征值，并行计算在大型图的计算中具有重要的意义，极大的提高了图更新的效率，同时也避免了数据不一致性带来的问题。在计算单元中完成目标顶点特征值的更新任务之后，根据解码模块解码得到的目标顶点地址来更新顶点存储器中目标顶点的特征值。

6、本实施例中，基于对图16的分析，本发明所需要的存储空间与现有的2种方法性能对比如表1所示，具体的性能对比结果如下所示，所有的存储空间以bit为单位。设每个顶点占4bit，每个顶点特征值占8bit，每个边特征值占8bit。通过表1的对比分析，发现本发明采用的图压缩方法，比GraphChi节省34％存储空间，比VENUS节省31％的存储空间。

表1：与GraphCh、VENUS方法的性能对比

Claims (5)

1.面向图的顶点数据规则存储结构和连接拓扑压缩方法，其特征在于，包括以下步骤：

1)将图中的所有顶点序号重新编码；

2)在将图中所有顶点重排序之后，按照顶点序号由小到大依次以<顶点特征值、度及其游程编码个数>作为一个数据单元，规则的存储到顶点特征值存储器中；

3)在将图中所有顶点重排序之后，从序号最小的顶点开始，将每个顶点所连接的边的特征值按照目标顶点升序的顺序，将每对顶点所对应的边特征值依次存储到边特征值存储器中；

4)基于重新排序后的图，得到图的邻接矩阵，对每个顶点的邻接向量进行游程编码，将每个顶点的游程编码依次存储到边存储器中；

5)在访问顶点特征值过程中，由于顶点特征值所在的地址与顶点序号是一一线性对应的，因此由顶点编号访问该顶点的信息；在访问边特征值过程中，由度计数器记录边特征值的访问情况；在访问拓扑信息时，由游程编码计数器记录边的访问情况。

2.根据权利要求1所述的面向图的顶点数据规则存储结构和连接拓扑压缩方法，其特征在于，步骤1)的具体实现方法如下：

101)首先，找到整个图中邻接顶点最多的顶点V_m，对其邻接顶点依次进行顺序编号；

102)接下来再查找顶点V_m相邻顶点中邻接顶点比较多的顶点V_n，若V_n的某个邻接顶点已被编码，则该邻接顶点编码保持不变，对Vn剩下的邻接顶点依次排序编号；

103)重复迭代上述过程，直到所有的顶点都被编号。

3.根据权利要求1所述的面向图的顶点数据规则存储结构和连接拓扑压缩方法，其特征在于，步骤2)的具体实现方法如下：

201)在将图中所有顶点重排序之后，将顶点特征值、顶点的度、该顶点所对应的邻接向量所对应的游程编码的个数分别量化为固定长度的数据位宽；

202)然后按照顶点序号由小到大的顺序依次以<顶点特征值、度及其游程编码个数>做为一个数据单元，规则的存储到顶点特征值存储器中。

4.根据权利要求1所述的面向图的顶点数据规则存储结构和连接拓扑压缩方法，其特征在于，步骤4)的具体实现方法如下：

401)基于重新排序后的图，构造图的邻接矩阵，若两个顶点之间相连接，则邻接矩阵中相应行列的位置置为1；若两个顶点之间无连接，则邻接矩阵中相应行列的位置置为0，顶点和自身无连接；

402)分别对每个顶点的邻接向量进行游程编码，将每个顶点的游程编码依次存储到边存储器中。

5.根据权利要求1所述的面向图的顶点数据规则存储结构和连接拓扑压缩方法，其特征在于，步骤5)的具体实现方法如下：

501)在进行图计算过程中，对于顶点特征值、拓扑关系和边特征值访问过程如下：由于顶点编号和地址是按照线性关系一一映射的，顶点特征信息所在的地址即顶点编号值，根据顶点编号在顶点特征值存储器中访问该顶点的信息；

502)边特征值是根据度计数器degree_cnt来访问的，每访问一个源顶点，degree_cnt要加上该源顶点的度，degree_cnt即源顶点邻接边特征值的起始地址，degree_cnt依次递增直到从边特征存储器中读出该顶点所有连接边的特征值；

503)游程编码值是根据游程编码计数器code_cnt来访问的，每次访问一个源顶点，code_cnt要加上该源顶点的游程编码个数，code_cnt即该顶点邻接向量所对应的游程编码在存储器中的起始地址。

Images