CN110245271B - 基于属性图的大规模关联数据划分方法及系统 - Google Patents

基于属性图的大规模关联数据划分方法及系统 Download PDF

Info

Publication number
CN110245271B
CN110245271B CN201910425921.5A CN201910425921A CN110245271B CN 110245271 B CN110245271 B CN 110245271B CN 201910425921 A CN201910425921 A CN 201910425921A CN 110245271 B CN110245271 B CN 110245271B
Authority
CN
China
Prior art keywords
vertex
path
attribute
path group
paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910425921.5A
Other languages
English (en)
Other versions
CN110245271A (zh
Inventor
袁平鹏
金海�
庞皓翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910425921.5A priority Critical patent/CN110245271B/zh
Publication of CN110245271A publication Critical patent/CN110245271A/zh
Application granted granted Critical
Publication of CN110245271B publication Critical patent/CN110245271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于属性图的大规模关联数据划分方法及系统,属于数据划分领域,包括:(1)根据待划分的关联数据构建属性图;(2)获得属性图中所有路径的起始顶点,从而得到起始顶点集;(3)遍历起始顶点集,以所遍历到的起始顶点为路径起点,获得属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;(4)以路径组为单位对关联数据进行划分,从而得到k个划分块;其中,k为分布式图数据管理系统中的机器节点数。本发明能够减少数据查询过程中的跨分区通信,提高数据查询效率。

Description

基于属性图的大规模关联数据划分方法及系统
技术领域
本发明属于数据划分领域,更具体地,涉及一种基于属性图的大规模关联数据划分方法及系统。
背景技术
目前由于社会网络分析、机器学习和数据挖掘等领域的快速发展,关联数据呈现爆炸式增长。关联数据是国际互联网协会(W3C)推荐的一种规范,用来发布和连接各类数据、信息和知识。由于数据量的增加,关联数据之间的语义关系也变得非常复杂。
随着关联数据的规模不断扩张,在单一节点上进行存储操作已变得越发困难,单一计算节点的存储能力远远低于数据的增长量。目前针对单一节点无法处理大数据的问题主要的解决手段是将大规模数据进行划分。将划分后的数据子集存储到各个分区之中,通过并行或者分布式算法等手段在分区之中读取操作数据从而实现对整体数据的计算。
为了实现对大规模关联数据的划分,现有的方法大多利用图数据模型表示大规模管理数据,然后基于图数据的划分完成对关联数据的划分。其中,Hash-partition(哈希划分)是一种常用基于图数据划分的关联数据划分方法。对常见的普通图来说,对节点的ID进行hash计算得到哈希值,根据不同的值将数据划分到不同的分区。这种方式非常依赖于计算哈希值的哈希随机函数,如果哈希随机函数效果不错,本质就是对图上的数据进行随机的划分,因此所得的分区数据能保持均衡。并且,在数据量巨大的同时,哈希划分确保可以在不使用分布式框架的情况下并行执行图划分操作。虽然在数据划分的前期,哈希划分的方式可以非常快速地得到均衡的划分分区,可是后期的图数据操作会变得非常耗时。哈希划分方法虽然确实可以将数据相对均衡地分布到各个分区之中,但是哈希划分方法没有顾及到数据之间图的结构,因此极有可能造成没有将语义相关程度较高或者关联紧密的数据划分到相同的分区,不仅使得数据之间的语义信息无效,甚至后期查询中必须执行开销巨大的分布式连接(join)操作,以合并查询过程中的中间结果获得最后的输出,在此过程中涉及大量的跨分区通信。哈希划分方法后期数据操作会造成非常高昂的代价,涉及到并行的操作将会造成非常巨大的通信开销。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种基于属性图的大规模关联数据划分方法及系统,其目的在于,减少数据查询过程中的跨分区通信,提高数据查询效率。
为实现上述目的,按照本发明的一个方面,提供了一种基于属性图的大规模关联数据划分方法,包括:
(1)根据待划分的关联数据构建属性图;
(2)获得属性图中所有路径的起始顶点,从而得到起始顶点集;
(3)遍历起始顶点集,以所遍历到的起始顶点为路径起点,获得属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
(4)以路径组为单位对关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数。
上述基于属性图的大规模关联数据划分方法,利用属性图数据模型表示待划分的大规模关联数据,由于属性图中点和边都包含多种属性,能更为直观地表达复杂的语义信息,所以本发明在对关联数据进行划分时能充分利用数据中的语义信息;本发明针对每一个起始顶点,筛选出满足路径属性间约束的路径并构成路径组,最终基于路径组对关联数据进行划分,所得到的划分块包含一个或多个路径组,由于每一个路径组中所包含的路径在语义上相互关联,因此位于同一个语义层的数据会被划分到同一个划分块中;由于数据查询操作通常能够在单个语义层中完成,因此,基于本发明,后期对关联数据的查询操作可在一个划分块中完成,由此能够有效减少跨分区通信,提高数据查询效率。
进一步地,步骤(2)包括:
(21)标记属性图中的每个顶点为激活状态,并初始化全局状态变量为激活状态;
(22)对于顶点n,若所接收到的来自其邻居节点的可达信息被更新,则标记顶点n的状态为激活状态,并设置全局状态变量为激活状态;否则,标记顶点n的状态为未激活状态,并设置全局状态变量为未激活状态;
顶点的可达信息包括可达该顶点的顶点集合,以及该顶点的特征顶点;顶点的特征顶点为可达该顶点的id最小的顶点,或者顶点的特征顶点为可达该顶点的id最大的顶点;顶点的可达信息只能由该顶点传播至下一个被遍历到的邻居节点;
(23)若顶点n的状态为激活状态,则获得其可达信息,并传播至其邻居节点;
(24)遍历属性图,对于所遍历到的每一个顶点,分别执行步骤(22)~(23),以完成一轮迭代;
(25)若当前的一轮迭代中,全局状态变量未被更新,则迭代结束,转入步骤(26);否则,转入步骤(24),以开始下一轮迭代;
(26)遍历属性图,以从各顶点的可达信息提取特征顶点并构成第一候选集合,同时获得属性图中入度为0的顶点并构成第二候选集合;
(27)取第一候选集合和第二候选集合的并集,得到起始顶点集;
其中,顶点的id用于唯一标识顶点。
进一步地,步骤(3)包括:
(31)对于起始顶点集中的顶点ns,以顶点ns为起点进行深度遍历,从而得到属性图中所有以顶点ns为起点的路径;
(32)根据路径间属性约束对所得到的路径进行筛选,从而得到属性图中以顶点ns为起点的语义可达路径;
(33)利用以顶点ns为起点的语义可达路径构成一个路径组;
(34)遍历起始顶点集,对所遍历到的每一个起始顶点,分别执行步骤(31)~(33),从而得到多个路径组。
作为进一步优选地,步骤(33)包括,将以顶点ns为起点的语义可达路径在起始顶点处合并,从而得到以顶点ns为根节点的树状结构,将树状结构作为一个路径组;
通过合并,对于起始顶点相同的语义可达路径,仅需保存一份起始顶点,由此能够节省大量的存储空间。
作为进一步优选地,将以顶点ns为起点的语义可达路径在起始顶点处合并,包括:
获得各语义可达路径的获益率;
按照获益率递减的顺序,依次取语义可达路径进行合并;
其中,获益率用于衡量语义可达路径的合并效率,与路径长度反相关;
优先合并获益率高的语义可达路径,可以提高合并效率。
可选地,步骤(4)包括:
(41)将每一个路径组作为一个路径组集合;
(42)若路径组集合的数量c>k,则根据包含的路径数量由多到少或由少到多的顺序对所有的路径组进行排序,得到有序的集合序列后,转入步骤(43)以开始一轮划分迭代;否则,转入步骤(45);
(43)分别获得有序集合中序号最小且在当前划分迭代中未合并过的第一路径组集合,以及序号最大且在当前划分迭代中未合并过的第二路径组集合,利用第一路径组集合和第二路径组集合中的所有路径组构成新的路径组集合;
(44)若组合得到新的路径组之后,路径组集合的数量d1≤k,则转入步骤(45);若d1>k,并且在当前划分迭代中未划分过的路径组数量d2≥2,则转入步骤(43);若d1>k,且d2<2,则当前划分迭代结束,转入步骤(42)以开始新一轮的划分迭代;
(45)将每一个路径组集合作为一个划分块,划分结束;
上述方法在进行关联数据划分的时候,按照路径数量对路径组集合进行排序,并利用有序集合首尾的路径组集合合并得到新的路径组集合,由此能够保证使得最终得到的各路径组集合(即划分块)所包含的路径数量较为平衡,从而达到了负载均衡的效果。
可选地,步骤(4)包括:
预先建立k个空的划分块;
按照包含路径数量降序的顺序对所有路径组进行排序,从而得到有序的路径组序列;
按顺序遍历路径组序列,将所遍历到的路径组分配到包含路径数量最少的划分块中,从而在遍历结束后得到划分好的k个数据块;
上述方法能够保证划分得到的各划分块所包含的路径数量较为平衡,从而达到负载均衡的效果。
按照本发明的另一个方面,提供了一种基于属性图的大规模关联数据划分系统,包括:属性图建立模块、起始顶点获取模块、路径组获取模块以及划分模块;
属性图建立模块,用于根据待划分的关联数据构建属性图;
起始顶点获取模块,用于获得属性图中所有路径的起始顶点,从而得到起始顶点集;
路径组获取模块,用于遍历起始顶点集,以所遍历到的起始顶点为路径起点,获得属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
划分模块,用于以路径组为单位对关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明所提供的基于属性图的大规模关联数据划分方法及系统,利用属性图数据模型标识待划分的大规模关联数据,充分保留了关联数据的语义信息;针对每一个起始顶点,筛选出满足路径属性间约束的路径并构成路径组,最终基于路径组对关联数据进行划分,使得位于同一个语义层的数据被划分到同一个划分块中,从而数据查询操作可在一个划分块中完成。因此,本发明能够有效减少跨分区通信,提高数据查询效率。
(2)本发明所提供的基于属性图的大规模关联数据划分方法及系统,在其优选方案中,在构建路径组时,通过合并语义可达路径,使得对于起始顶点相同的语义可达路径,仅需保存一份起始顶点,由此能够节省大量的存储空间。
(3)本发明所提供的基于属性图的大规模关联数据划分方法及系统,在其优选方案中,在以路径组为单位进行关联数据划分的时候,会保证划分得到的划分块所包含的路径数量较为平衡,从而达到了负载均衡的效果。
附图说明
图1为本发明实施例提供的基于属性图的大规模关联数据划分方法流程图;
图2为本发明实施例提供的起始顶点集构建方法示意图;
图3为本发明实施例提供的语义可达路径合并示意图;
图4为本发明实施例提供的语义可达路径筛选示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明所提供的基于属性图的大规模关联数据划分方法,如图1所示,包括:
(1)根据待划分的关联数据构建属性图;
在构建属性图时,可根据实际的应用需求自行定义具体的属性图数据模型;在一个可选的实施方式中,所定义的属性图数据模型为:
G=(V,E,A,fV,fE);
其中,V是图数据中所有顶点的集合,E是图数据中所有边的集合,即是说
Figure BDA0002067488450000071
A是属性图中的所有属性集合,fV和fE是分配顶点属性和边属性属性值的函数;也就是说,对于顶点v∈V,属性a∈A,则函数值
Figure BDA0002067488450000072
与顶点v和属性a相关;对于边e∈E,属性a∈A,则函数值
Figure BDA0002067488450000073
与边和属性a相关;
(2)获得属性图中所有路径的起始顶点,从而得到起始顶点集;
在一个可选的实施方式中,如图2所示,步骤(2)具体包括:
(21)标记属性图中的每个顶点为激活状态,并初始化全局状态变量为激活状态;
(22)对于顶点n,若所接收到的来自其邻居节点的可达信息被更新,则标记顶点n的状态为激活状态,并设置全局状态变量为激活状态;否则,标记顶点n的状态为未激活状态,并设置全局状态变量为未激活状态;
顶点的可达信息包括可达该顶点的顶点集合,以及该顶点的特征顶点;顶点的特征顶点为可达该顶点的id最小的顶点,或者顶点的特征顶点为可达该顶点的id最大的顶点;顶点的可达信息只能由该顶点传播至下一个被遍历到的邻居节点;
(23)若顶点n的状态为激活状态,则获得其可达信息,并传播至其邻居节点;
(24)遍历属性图,对于所遍历到的每一个顶点,分别执行步骤(22)~(23),以完成一轮迭代;
(25)若当前的一轮迭代中,全局状态变量未被更新,则迭代结束,转入步骤(26);否则,转入步骤(24),以开始下一轮迭代;
(26)遍历属性图,以从各顶点的可达信息提取特征顶点并构成第一候选集合,同时获得属性图中入度为0的顶点并构成第二候选集合;
(27)取第一候选集合和第二候选集合的并集,得到起始顶点集;
其中,顶点的id用于唯一标识顶点;
(3)遍历起始顶点集,以所遍历到的起始顶点为路径起点,获得属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
在一个可选的实施方式中,步骤(3)具体包括:
(31)对于起始顶点集中的顶点ns,以顶点ns为起点进行深度遍历,从而得到属性图中所有以顶点ns为起点的路径;
(32)根据路径间属性约束对所得到的路径进行筛选,从而得到属性图中以顶点ns为起点的语义可达路径;
(33)利用以顶点ns为起点的语义可达路径构成一个路径组;
在本实施例中,步骤(33)具体包括,将以顶点ns为起点的语义可达路径在起始顶点处合并,从而得到以顶点ns为根节点的树状结构,将树状结构作为一个路径组;图3所示为合并语义可达路径后所得到的路径组示意图;
通过合并,对于起始顶点相同的语义可达路径,仅需保存一份起始顶点,由此能够节省大量的存储空间;
在本实施例中,为了提高合并效率,将以顶点ns为起点的语义可达路径在起始顶点处合并,具体包括:
获得各语义可达路径的获益率;
按照获益率递减的顺序,依次取语义可达路径进行合并;
其中,获益率用于衡量语义可达路径的合并效率,与路径长度反相关,例如,可以是路径长度的倒数;
优先合并获益率高的语义可达路径,可以提高合并效率;
应当理解的是,在构建路径组时合并语义可达路径,仅仅是一种优选的方案,不应理解为对本发明的唯一限定,在其他对于存储要求不高的应用中,也可以针对每一个语义可达路径保存一份起始顶点;
(34)遍历起始顶点集,对所遍历到的每一个起始顶点,分别执行步骤(31)~(33),从而得到多个路径组;
(4)以路径组为单位对关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数;
在一个可选的实施方式中,步骤(4)具体包括:
(41)将每一个路径组作为一个路径组集合;
(42)若路径组集合的数量c>k,则根据包含的路径数量由多到少或由少到多的顺序对所有的路径组进行排序,得到有序的集合序列后,转入步骤(43)以开始一轮划分迭代;否则,转入步骤(45);
(43)分别获得有序集合中序号最小且在当前划分迭代中未合并过的第一路径组集合,以及序号最大且在当前划分迭代中未合并过的第二路径组集合,利用第一路径组集合和第二路径组集合中的所有路径组构成新的路径组集合;
(44)若组合得到新的路径组之后,路径组集合的数量d1≤k,则转入步骤(45);若d1>k,并且在当前划分迭代中未划分过的路径组数量d2≥2,则转入步骤(43);若d1>k,且d2<2,则当前划分迭代结束,转入步骤(42)以开始新一轮的划分迭代;
(45)将每一个路径组集合作为一个划分块,划分结束;
上述方法在进行关联数据划分的时候,按照路径数量对路径组集合进行排序,并利用有序集合首尾的路径组集合合并得到新的路径组集合,由此能够保证使得最终得到的各路径组集合(即划分块)所包含的路径数量较为平衡,从而达到了负载均衡的效果;
在另一个可选的实施方式中,可选地,步骤(4)具体包括:
预先建立k个空的划分块;
按照包含路径数量降序的顺序对所有路径组进行排序,从而得到有序的路径组序列;
按顺序遍历路径组序列,将所遍历到的路径组分配到包含路径数量最少的划分块中,从而在遍历结束后得到划分好的k个数据块;
上述方法能够保证划分得到的各划分块所包含的路径数量较为平衡,从而达到负载均衡的效果。
上述基于属性图的大规模关联数据划分方法,利用属性图数据模型表示待划分的大规模关联数据,由于属性图中点和边都包含多种属性,能更为直观地表达复杂的语义信息,所以本发明在对关联数据进行划分时能充分利用数据中的语义信息;本发明针对每一个起始顶点,筛选出满足路径属性间约束的路径并构成路径组,最终基于路径组对关联数据进行划分,所得到的划分块包含一个或多个路径组,由于每一个路径组中所包含的路径在语义上相互关联,因此位于同一个语义层的数据会被划分到同一个划分块中;由于数据查询操作通常能够在单个语义层中完成,因此,基于本发明,后期对关联数据的查询操作可在一个划分块中完成,由此能够有效减少跨分区通信,提高数据查询效率。
为进一步解释本发明,下面结合图4对本发明中所涉及到的语义可达路径作进一步说明。
在本发明中,语义可达是针对一项具体的属性而言的。如图4所示,给定一个航空路线图,其中顶点代表了具有某些属性的城市,边代表航班行程。对于一次航行来说,有起点城市、中转城市(可能有也可能没有)和终点城市。如果起始城市v0具有一个起飞时间的属性且有确切的指,即是说若有
Figure BDA0002067488450000111
的值为上午7:00,而中转城市的中转时间的属性
Figure BDA0002067488450000112
为下午2:00,则这个航行路程是语义可到达的。因为时间是不可逆的,所以
Figure BDA0002067488450000113
在时间语义上是语义可到达的,属性值之间并没有冲突。但是如果有一个终点城市的终点时间属性值
Figure BDA0002067488450000114
是上午6:00,那么这一趟的航行路程就不是语义上可以到达的,因为对于有向的航程来说,对于同一天的事件来说,不可能是早上7:00出发却是早上6:00到达,所以在时间语义上这是不可达的。基于同样的逻辑,对于空间上的语义可达也是有着类似的判断方式法,在此不作一一说明。
本发明还提供了一种基于属性图的大规模关联数据划分系统,用于实现上述基于属性图的大规模关联数据划分方法,该系统包括:属性图建立模块、起始顶点获取模块、路径组获取模块以及划分模块;
属性图建立模块,用于根据待划分的关联数据构建属性图;
起始顶点获取模块,用于获得属性图中所有路径的起始顶点,从而得到起始顶点集;
路径组获取模块,用于遍历起始顶点集,以所遍历到的起始顶点为路径起点,获得属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
划分模块,用于以路径组为单位对关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数;
在本发明实施例中,各模块的具体实施方式,可参考上述方法实施例中的描述,在此将不作复述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于属性图的大规模关联数据划分方法,其特征在于,包括:
(1)根据待划分的关联数据构建属性图;
(2)获得所述属性图中所有路径的起始顶点,从而得到起始顶点集;
(3)遍历所述起始顶点集,以所遍历到的起始顶点为路径起点,获得所述属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
(4)以路径组为单位对所述关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数;所述步骤(3)包括如下步骤:
(31)对于所述起始顶点集中的顶点ns,以所述顶点ns为起点进行深度遍历,从而得到所述属性图中所有以所述顶点ns为起点的路径;
(32)根据路径间属性约束对所得到的路径进行筛选,从而得到所述属性图中以所述顶点ns为起点的语义可达路径;
(33)利用以所述顶点ns为起点的语义可达路径构成一个路径组;
(34)遍历所述起始顶点集,对所遍历到的每一个起始顶点,分别执行步骤(31)~(33),从而得到多个路径组。
2.如权利要求1所述的基于属性图的大规模关联数据划分方法,其特征在于,所述步骤(2)包括:
(21)标记所述属性图中的每个顶点为激活状态,并初始化全局状态变量为激活状态;
(22)对于顶点n,若所接收到的来自其邻居节点的可达信息被更新,则标记所述顶点n的状态为激活状态,并设置所述全局状态变量为激活状态;否则,标记所述顶点n的状态为未激活状态,并设置所述全局状态变量为未激活状态;
顶点的可达信息包括可达该顶点的顶点集合,以及该顶点的特征顶点;顶点的特征顶点为可达该顶点的id最小的顶点,或者顶点的特征顶点为可达该顶点的id最大的顶点;顶点的可达信息只能由该顶点传播至下一个被遍历到的邻居节点;
(23)若所述顶点n的状态为激活状态,则获得其可达信息,并传播至其邻居节点;
(24)遍历所述属性图,对于所遍历到的每一个顶点,分别执行步骤(22)~(23),以完成一轮迭代;
(25)若当前的一轮迭代中,所述全局状态变量未被更新,则迭代结束,转入步骤(26);否则,转入步骤(24),以开始下一轮迭代;
(26)遍历所述属性图,以从各顶点的可达信息提取特征顶点并构成第一候选集合,同时获得所述属性图中入度为0的顶点并构成第二候选集合;
(27)取所述第一候选集合和所述第二候选集合的并集,得到起始顶点集;
其中,顶点的id用于唯一标识顶点。
3.如权利要求1所述的基于属性图的大规模关联数据划分方法,其特征在于,所述步骤(33)包括,将以所述顶点ns为起点的语义可达路径在起始顶点处合并,从而得到以所述顶点ns为根节点的树状结构,将所述树状结构作为一个路径组。
4.如权利要求3所述的基于属性图的大规模关联数据划分方法,其特征在于,将以所述顶点ns为起点的语义可达路径在起始顶点处合并,包括:
获得各语义可达路径的获益率;
按照获益率递减的顺序,依次取语义可达路径进行合并;
其中,所述获益率用于衡量语义可达路径的合并效率,与路径长度反相关。
5.如权利要求1所述的基于属性图的大规模关联数据划分方法,其特征在于,所述步骤(4)包括:
(41)将每一个路径组作为一个路径组集合;
(42)若路径组集合的数量c>k,则根据包含的路径数量由多到少或由少到多的顺序对所有的路径组进行排序,得到有序的集合序列后,转入步骤(43)以开始一轮划分迭代;否则,转入步骤(45);
(43)分别获得所述有序集合中序号最小且在当前划分迭代中未合并过的第一路径组集合,以及序号最大且在当前划分迭代中未合并过的第二路径组集合,利用所述第一路径组集合和所述第二路径组集合中的所有路径组构成新的路径组集合;
(44)若组合得到新的路径组之后,路径组集合的数量d1≤k,则转入步骤(45);若d1>k,并且在当前划分迭代中未划分过的路径组数量d2≥2,则转入步骤(43);若d1>k,且d2<2,则当前划分迭代结束,转入步骤(42)以开始新一轮的划分迭代;
(45)将每一个路径组集合作为一个划分块,划分结束。
6.如权利要求1所述的基于属性图的大规模关联数据划分方法,其特征在于,所述步骤(4)包括:
预先建立k个空的划分块;
按照包含路径数量降序的顺序对所有路径组进行排序,从而得到有序的路径组序列;
按顺序遍历所述路径组序列,将所遍历到的路径组分配到包含路径数量最少的划分块中,从而在遍历结束后得到划分好的k个数据块。
7.一种基于属性图的大规模关联数据划分系统,其特征在于,包括:属性图建立模块、起始顶点获取模块、路径组获取模块以及划分模块;
所述属性图建立模块,用于根据待划分的关联数据构建属性图;
所述起始顶点获取模块,用于获得所述属性图中所有路径的起始顶点,从而得到起始顶点集;
所述路径组获取模块,用于遍历所述起始顶点集,以所遍历到的起始顶点为路径起点,获得所述属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组;
所述划分模块,用于以路径组为单位对所述关联数据进行划分,从而得到k个划分块;
其中,k为分布式图数据管理系统中的机器节点数;所述路径组获取模块遍历所述起始顶点集,以所遍历到的起始顶点为路径起点,获得所述属性图中满足路径属性间约束的路径并构成一个路径组,从而在遍历结束后,得到多个路径组,包括如下步骤:
(31)对于所述起始顶点集中的顶点ns,以所述顶点ns为起点进行深度遍历,从而得到所述属性图中所有以所述顶点ns为起点的路径;
(32)根据路径间属性约束对所得到的路径进行筛选,从而得到所述属性图中以所述顶点ns为起点的语义可达路径;
(33)利用以所述顶点ns为起点的语义可达路径构成一个路径组;
(34)遍历所述起始顶点集,对所遍历到的每一个起始顶点,分别执行步骤(31)~(33),从而得到多个路径组。
CN201910425921.5A 2019-05-21 2019-05-21 基于属性图的大规模关联数据划分方法及系统 Active CN110245271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425921.5A CN110245271B (zh) 2019-05-21 2019-05-21 基于属性图的大规模关联数据划分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425921.5A CN110245271B (zh) 2019-05-21 2019-05-21 基于属性图的大规模关联数据划分方法及系统

Publications (2)

Publication Number Publication Date
CN110245271A CN110245271A (zh) 2019-09-17
CN110245271B true CN110245271B (zh) 2021-10-08

Family

ID=67884575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425921.5A Active CN110245271B (zh) 2019-05-21 2019-05-21 基于属性图的大规模关联数据划分方法及系统

Country Status (1)

Country Link
CN (1) CN110245271B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949839B (zh) * 2020-08-24 2021-08-24 上海嗨普智能信息科技股份有限公司 数据关联方法、电子设备及介质
CN112800282B (zh) * 2021-01-15 2022-11-08 厦门大学 一种业务流程异常节点溯源方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820705A (zh) * 2015-05-13 2015-08-05 华中科技大学 一种可扩展的面向关联的流式图数据划分方法
CN106021457A (zh) * 2016-05-17 2016-10-12 福州大学 基于关键词的rdf分布式语义搜索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820705A (zh) * 2015-05-13 2015-08-05 华中科技大学 一种可扩展的面向关联的流式图数据划分方法
CN106021457A (zh) * 2016-05-17 2016-10-12 福州大学 基于关键词的rdf分布式语义搜索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Andreas Harth等."Data Summaries for On-Demand Queries over Linked Data".《Proceedings of the 19th international conference on World Wide Web》.2010, *
谢昌凤."大规模RDF数据的并行划分与分布式处理系统研究".《中国优秀硕士学位论文全文数据库(电子期刊)》.2017, *
龙浩."以簇为中心的大规模图数据分布式处理系统".《中国优秀硕士学位论文全文数据库(电子期刊)》.2019, *

Also Published As

Publication number Publication date
CN110245271A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN108981739B (zh) 一种路径规划方法、装置、服务器及存储介质
US10120956B2 (en) Methods and systems for distributed computation of graph data
CN105550225B (zh) 索引构建方法、查询方法及装置
WO2016206578A1 (en) Region guided and change tolerant fast shortest path algorithm and graph preprocessing framework
CN109992786A (zh) 一种语义敏感的rdf知识图谱近似查询方法
CN107121146B (zh) 基于路链深度的最优路径规划方法
CN110245271B (zh) 基于属性图的大规模关联数据划分方法及系统
JP6608972B2 (ja) ソーシャルネットワークに基づいてグループを探索する方法、デバイス、サーバ及び記憶媒体
JP2017509043A (ja) グラフデータクエリ方法および装置
CN112667860A (zh) 一种子图匹配方法、装置、设备及存储介质
CN114567634B (zh) 面向后e级图计算的方法、系统、存储介质及电子设备
Schulz et al. Better process mapping and sparse quadratic assignment
CN112308315A (zh) 一种多点智能路径规划方法及系统
CN111241350A (zh) 图数据查询方法、装置、计算机设备和存储介质
CN112269848B (zh) 一种众包轨迹数据融合方法及装置
CN113868434A (zh) 图数据库的数据处理方法、设备和存储介质
Hong et al. A multi-gpu fast iterative method for eikonal equations using on-the-fly adaptive domain decomposition
CN109272151B (zh) 一种基于Spark的车辆路径规划算法优化方法
CN109711633A (zh) 一种基于MapReduce的公共交通出行路径规划索引方法
CN113821550B (zh) 路网拓扑图的划分方法、装置、设备及计算机程序产品
CN107564289B (zh) 一种合并交通节点的道路网预处理方法
Chen et al. Research on the shortest path Analysis method in Complex Traffic Environment Based on GIS
US20230385337A1 (en) Systems and methods for metadata based path finding
CN117785490B (zh) 一种图神经网络模型的训练架构、方法、系统及服务器
WO2019024345A1 (zh) 基于带序兴趣区域的轨迹查询的匀速搜索扩展算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant