CN113535145B - 基于Gremlin的并行扩展方法、系统、电子设备及存储介质 - Google Patents
基于Gremlin的并行扩展方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113535145B CN113535145B CN202110721326.3A CN202110721326A CN113535145B CN 113535145 B CN113535145 B CN 113535145B CN 202110721326 A CN202110721326 A CN 202110721326A CN 113535145 B CN113535145 B CN 113535145B
- Authority
- CN
- China
- Prior art keywords
- gremlin
- parallel
- expansion
- rewriting
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 102100038367 Gremlin-1 Human genes 0.000 title claims abstract description 70
- 101001032872 Homo sapiens Gremlin-1 Proteins 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 7
- 101150039322 outE gene Proteins 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/37—Compiler construction; Parser generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Devices For Executing Special Programs (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于Gremlin的并行扩展方法、系统、电子设备及存储介质,其方法技术方案包括并行扩展预置步骤,在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallel step,并将所述parallel下的全部点信息和边信息添加至一集合中;执行逻辑改写步骤,对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep进行执行逻辑的改写,所述通过继承所述Gremlin中的AbstractStep并重写processNextStart()方法实现;解析拦截替换步骤,在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallel step时,通过改写后的所述执行逻辑进行执行。本申请解决了现有图的扩展方法扩展效率低下的问题。
Description
技术领域
本发明属于知识图谱技术领域,尤其涉及一种基于Gremlin的并行扩展方法、系统、电子设备及存储介质。
背景技术
近年来,随着互联网和社交网络的快速发展,大规模的图结构数据逐渐增多,例如将知识图谱、社交网络等信息抽象成的图结构数据。相比于传统的大数据处理系统,图系统能更好地利用图的结构信息,对图数据的处理更为高效。随着图结构化数据的增多,如何高效处理大量图结构数据成为研究的热点。市面上现有的使用Gremlin作为图数据遍历语言的图数据库产品中,大部分都是直接使用原生的流式处理逻辑,关于图的扩展方面没有进行优化,使得大量数据频繁多次请求,加大了图数据库的开销,使扩展效率低下。
发明内容
本申请实施例提供了一种基于Gremlin的并行扩展方法、系统、电子设备及存储介质,以至少解决现有图的扩展方法扩展效率低下的问题。
第一方面,本申请实施例提供了一种基于Gremlin的并行扩展方法,包括:并行扩展预置步骤,在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallel step,并将所述parallel下的全部点信息和边信息添加至一集合中;执行逻辑改写步骤,对所述Gremlin中的VertexStep、EdgeOtherStep和 EdgeVertexStep进行执行逻辑的改写,所述通过继承所述Gremlin中的 AbstractStep并重写processNextStart()方法实现;解析拦截替换步骤,在所述 Gremlin的解析阶段进行拦截,当解析识别到所述parallel step时,通过改写后的所述执行逻辑进行执行。
优选的,所述执行逻辑改写步骤进一步包括:VertexStep改写步骤,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为 Vertex.class,则执行multiQuery.getEntities方法,若返回为Edge.class,则执行multiQuery.getRelations方法。
优选的,所述执行逻辑改写步骤进一步包括:EdgeOtherStep改写步骤,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入entityQuery.ids(ids).execute()。
优选的,所述执行逻辑改写步骤进一步包括:EdgeVertexStep改写步骤,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为 OUT,则获取关系的客体ID。
第二方面,本申请实施例提供了一种基于Gremlin的并行扩展系统,适用于上述一种基于Gremlin的并行扩展方法,包括:并行扩展预置模块,在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallel step,并将所述parallel下的全部点信息和边信息添加至一集合中;执行逻辑改写模块,对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep进行执行逻辑的改写,所述通过继承所述Gremlin中的AbstractStep并重写 processNextStart()方法实现;解析拦截替换模块,在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallel step时,通过改写后的所述执行逻辑进行执行。
在其中一些实施例中,所述执行逻辑改写模块进一步包括:VertexStep 改写单元,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为Vertex.class,则执行multiQuery.getEntities方法,若返回为 Edge.class,则执行multiQuery.getRelations方法。
在其中一些实施例中,所述执行逻辑改写模块进一步包括:EdgeOtherStep 改写单元,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入entityQuery.ids(ids).execute()。
在其中一些实施例中,所述执行逻辑改写模块进一步包括: EdgeVertexStep改写单元,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为OUT,则获取关系的客体ID。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种基于Gremlin的并行扩展方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种基于Gremlin 的并行扩展方法。
本申请可应用于知识图谱技术领域。相比于相关技术,本申请实施例提供的一种基于Gremlin的并行扩展方法,通过继承TinkerPop开源代码及一些基础逻辑,结合分布式图数据库引擎(JanusGraph),实现了基于Gremlin图遍历语言的并行扩展,基于Gremlin图遍历语言和JanusGraph图数据库引擎,可以做到在进行both,out,in,outE等扩展或取点操作时进行并行扩展,使查询效率更高,更快的得到预想的结果,大大加快了对图数据的查询和扩展。、
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明的基于Gremlin的并行扩展方法流程图;
图2为图1中步骤S2的分步骤流程图;
图3为本发明的基于Gremlin的并行扩展系统的框架图;
图4为本发明的电子设备的框架图;
图5为本申请提供的一具体实施例的示意图;
以上图中:
1、并行扩展预置模块;2、执行逻辑改写模块;3、解析拦截替换模块; 21、VertexStep改写单元;22、EdgeOtherStep改写单元;23、EdgeVertexStep 改写单元;60、总线;61、处理器;62、存储器;63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例以异构图数据库NEST为例来说明,NEST中包含了四种存储组件,分别是用于图存储的组件、用于倒排索引存储的组件、用于OLAP存储的组件以及用于历史版本存储的组件,通过组合这四种存储组件,NEST可以实现图谱推理、搜索、OLAP查询、历史版本变更记录及查询等功能,需要说明的是, NEST所存储的数据都是有唯一主键的。
本申请基于NEST分布式图数据库,NEST图数据库基于JanusGraph将图谱数据存储在HBase之上,图遍历语言为gremlin。Hadoop Database是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。Gremlin是Apache TinkerPop 框架下的图遍历语言。Gremlin是一种函数式数据流语言,可以使得用户使用简洁的方式表述复杂的属性图(propertygraph)的遍历或查询。每个Gremlin 遍历由一系列步骤(可能存在嵌套)组成,每一步都在数据流(data stream)上执行一个原子操作。
以下,结合附图详细介绍本发明的实施例:
图1为本发明的基于Gremlin的并行扩展方法流程图,请参见图1,本发明基于Gremlin的并行扩展方法包括如下步骤:
S1:在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallel step,并将所述parallel下的全部点信息和边信息添加至一集合中。
在具体实施中,本申请实施例基于Apache TinkerPop3的开源代码和 JanusGraph的图扩展接口。
在具体实施中,首先需要添加一个名为parallel的step,并将parallel step下的全部Element(Vetex或者Edge)添加到一个集合中供后续实现并行扩展使用。
S2:对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep 进行执行逻辑的改写,所述通过继承所述Gremlin中的AbstractStep并重写processNextStart()方法实现。
在具体实施中,对VertexStep、EdgeOtherStep、EdgeVertexStep的原有执行逻辑进行改写实现。可选的,图2为图1中步骤S2的分步骤流程图,请参见图2:
S21:对于VertexStep,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为Vertex.class,则执行multiQuery.getEntities方法,若返回为Edge.class,则执行multiQuery.getRelations方法。
在具体实施中,继承AbstractStep,重写processNextStart()方法,根据step获取所需全部信息,包括entityIds、edgeLabels、direction、retur nClass等信息,通过NEST根据JanusGraph所实现的并行扩展方法multiQuery 即janusgraph.query方法,可以通过所设置条件进行并行查询。将entityId、 edgeLabel、direction作为条件传入(multiQuery.addEntityId(entityIds). direction(direction).labels(edgeLabels)),如果returnClass是Vertex. class,则执行multiQuery.getEntities(),如果returnClass是Edge.class,则执行multiQuery.getRelations,整理查询结果并返回。
S22:对于EdgeOtherStep,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入entityQuery.ids(ids).execute ()。
在具体实施中,根据判断本端点的值来判断需要获取的对端点,使用对端点的ID,使用NEST实现的点并行查询方法entityQuery(即janusgraph提供的可以根据点ID的集合快速查询全部点信息),将全部对端点的ID集合(ids) 作为条件传入(entityQuery.ids(ids).execute()),整理查询结果并返回。
S23:对于EdgeVertexStep,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为OUT,则获取关系的客体ID。
在具体实施中,根据方向判断并获取实体ID,如果方式是IN,则获取关系的主体ID,如果是OUT,则获取关系的客体ID,查询过程与EdgeOtherStep 中对点ID的集合查询相同,最终整理查询结果并返回。
请继续参见图1:
S3:在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallel s tep时,通过改写后的所述执行逻辑进行执行。
在具体实施中,在gremlin解析阶段进行拦截,如果遇到parallel step,则将原有逻辑进行替换为改写后的执行逻辑。
在具体实施中,对于改写后的执行逻辑,可在原来语句的bothE、otherV 以及both、out、in、inE、outE、inV、outV前面额外加入parallel(),但pa rallel()不能放在and()或or()子句中。
本申请提供一具体实施例进行进一步说明,请参见图5:
圆圈代表顶点(即查询语句中的V()),圆圈中的person代表顶点的名称, name和age为顶点的属性。
线代表边(即查询语句中的E()),线上的knows代表边的名称,weight 为边的属性。
对于VertexStep的出、入点计算,例如out、in、both、outE、bothE等,可以如下形式进行:
1.g.V().out();2.g.V().in(‘knows’)
对于EdgeVertexStep,支持边的inV、outV等计算,可以如下形式进行:
1.g.V().outE(‘knows’).inV();2.g.V().inE().bothV()
对于EdgeOtherVertexStep,支持otherV计算,可以如下形式进行:
g.V().bothE().otherV()
在具体实施中,查询顶点4的边中为knows和created的边。g.V(4).bot hE('knows','created')会执行VertexStep的遍历逻辑,改写成g.V(4).parallel().bothE('knows','created')会执行ParallelVertexStep的遍历逻辑(即本申请所修改的并行遍历方式)。
在具体实施中,查询顶点2的入边为knows的边的所有点,g.V(2).inE(‘k nows’).bothV()会执行EdgeVertexStep的遍历逻辑,改写成g.V(2).inE(‘k nows’).parallel().bothV()会执行ParallelEdgeVertexStep的遍历逻辑(即本申请所修改的并行遍历方式)。
在具体实施中,查询顶点4的边中为knows和created的边上其余点。g. V(4).bothE('knows','created').otherV()会执行EdgeOtherVertexStep的遍历逻辑,改写成g.V(4).parallel().bothE('knows','created').parallel(). otherV()会执行ParallelEdgeOtherVStep的遍历逻辑(即本申请所修改的并行遍历方式)。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种基于Gremlin的并行扩展系统,适用于上述的一种基于Gremlin的并行扩展方法。如以下所使用的,术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图3为根据本发明的基于Gremlin的并行扩展系统的框架图,请参见图3,包括:
并行扩展预置模块1:在编译器中基于JanusGraph图扩展接口,通过Gremlin 添加一parallel step,并将所述parallel下的全部点信息和边信息添加至一集合中。
在具体实施中,本申请实施例基于Apache TinkerPop3的开源代码和 JanusGraph的图扩展接口。
在具体实施中,首先需要添加一个名为parallel的step,并将parallel step 下的全部Element(Vetex或者Edge)添加到一个集合中供后续实现并行扩展使用。
执行逻辑改写模块2:对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep进行执行逻辑的改写,所述通过继承所述Gremlin中的 AbstractStep并重写processNextStart()方法实现。
在具体实施中,对VertexStep、EdgeOtherStep、EdgeVertexStep的原有执行逻辑进行改写实现。可选的,执行逻辑改写模块2包括:
VertexStep改写单元21:对于VertexStep,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为Vertex.class,则执行 multiQuery.getEntities方法,若返回为Edge.class,则执行multiQuery.getRelations方法。
在具体实施中,继承AbstractStep,重写processNextStart()方法,根据step 获取所需全部信息,包括entityIds、edgeLabels、direction、returnClass等信息,通过NEST根据JanusGraph所实现的并行扩展方法multiQuery即 janusgraph.query方法,可以通过所设置条件进行并行查询。将entityId、 edgeLabel、direction作为条件传入(multiQuery.addEntityId(entityIds).direction(direction).labels(edgeLabels)),如果 returnClass是Vertex.class,则执行multiQuery.getEntities(),如果returnClass是 Edge.class,则执行multiQuery.getRelations,整理查询结果并返回。
EdgeOtherStep改写单元22:对于EdgeOtherStep,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入 entityQuery.ids(ids).execute()。
在具体实施中,根据判断本端点的值来判断需要获取的对端点,使用对端点的ID,使用NEST实现的点并行查询方法entityQuery(即janusgraph提供的可以根据点ID的集合快速查询全部点信息),将全部对端点的ID集合(ids)作为条件传入(entityQuery.ids(ids).execute()),整理查询结果并返回。
EdgeVertexStep改写单元23:对于EdgeVertexStep,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为OUT,则获取关系的客体ID。
在具体实施中,根据方向判断并获取实体ID,如果方式是IN,则获取关系的主体ID,如果是OUT,则获取关系的客体ID,查询过程与EdgeOtherStep中对点ID的集合查询相同,最终整理查询结果并返回。
解析拦截替换模块3:在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallel step时,通过改写后的所述执行逻辑进行执行。
在具体实施中,在gremlin解析阶段进行拦截,如果遇到parallel step,则将原有逻辑进行替换为改写后的执行逻辑。
在具体实施中,对于改写后的执行逻辑,可在原来语句的bothE、otherV 以及both、out、in、inE、outE、inV、outV前面额外加入parallel(),但parallel() 不能放在and()或or()子句中。
本申请提供一具体实施例进行进一步说明,请参见图5:
圆圈代表顶点(即查询语句中的V()),圆圈中的person代表顶点的名称, name和age为顶点的属性。
线代表边(即查询语句中的E()),线上的knows代表边的名称,weight为边的属性。
对于VertexStep的出、入点计算,例如out、in、both、outE、bothE等,可以如下形式进行:
1.g.V().out();2.g.V().in(‘knows’)
对于EdgeVertexStep,支持边的inV、outV等计算,可以如下形式进行:
1.g.V().outE(‘knows’).inV();2.g.V().inE().bothV()
对于EdgeOtherVertexStep,支持otherV计算,可以如下形式进行:
g.V().bothE().otherV()
在具体实施中,查询顶点4的边中为knows和created的边。 g.V(4).bothE('knows','created')会执行VertexStep的遍历逻辑,改写成g.V(4).parallel().bothE('knows','created')会执行ParallelVertexStep的遍历逻辑(即本申请所修改的并行遍历方式)。
在具体实施中,查询顶点2的入边为knows的边的所有点, g.V(2).inE(‘knows’).bothV()会执行EdgeVertexStep的遍历逻辑,改写成 g.V(2).inE(‘knows’).parallel().bothV()会执行ParallelEdgeVertexStep的遍历逻辑 (即本申请所修改的并行遍历方式)。
在具体实施中,查询顶点4的边中为knows和created的边上其余点。 g.V(4).bothE('knows','created').otherV()会执行EdgeOtherVertexStep的遍历逻辑,改写成g.V(4).parallel().bothE('knows','created').parallel().otherV()会执行ParallelEdgeOtherVStep的遍历逻辑(即本申请所修改的并行遍历方式)。
另外,结合图1描述的一种基于Gremlin的并行扩展方法可以由电子设备来实现。图4为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地,上述处理器61可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器62可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器62可在数据处理装置的内部或外部。在特定实施例中,存储器62是非易失性(Non-Volatile)存储器。在特定实施例中,存储器62包括只读存储器(Read-Only Memory,简称为ROM) 和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令,以实现上述实施例中的任意一种基于Gremlin的并行扩展方法。
在其中一些实施例中,电子设备还可包括通信接口63和总线60。其中,如图4所示,处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线60可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand) 互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA) 总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种基于Gremlin的并行扩展方法。
另外,结合上述实施例中的一种基于Gremlin的并行扩展方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于Gremlin的并行扩展方法。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (4)
1.一种基于Gremlin的并行扩展方法,其特征在于,包括:并行扩展预置步骤,在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallelstep,并将所述parallel下的全部点信息和边信息添加至一集合中;执行逻辑改写步骤,对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep进行执行逻辑的改写;VertexStep改写步骤,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为Vertex.class,则执行multiQuery.getEntities方法,若返回为Edge.class,则执行multiQuery.getRelations方法;EdgeOtherStep改写步骤,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入entityQuery.ids(ids).execute();EdgeVertexStep改写步骤,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为OUT,则获取关系的客体ID;通过继承所述Gremlin中的AbstractStep并重写processNextStart()方法实现;解析拦截替换步骤,在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallelstep时,通过改写后的所述执行逻辑进行执行。
2.一种基于Gremlin的并行扩展系统,其特征在于,包括:并行扩展预置模块,在编译器中基于JanusGraph图扩展接口,通过Gremlin添加一parallelstep,并将所述parallel下的全部点信息和边信息添加至一集合中;执行逻辑改写模块,对所述Gremlin中的VertexStep、EdgeOtherStep和EdgeVertexStep进行执行逻辑的改写;VertexStep改写单元,通过所述JanusGraph中的一并行查询方法进行一条件传入操作,若返回为Vertex.class,则执行multiQuery.getEntities方法,若返回为Edge.class,则执行multiQuery.getRelations方法;EdgeOtherStep改写单元,根据判断本端点的值来判断需要获取的对端点,并将全部所述对端点的ID集合作为条件传入entityQuery.ids(ids).execute();EdgeVertexStep改写单元,根据方向进行判断,若所述方向为IN,则获取关系的主体ID,若所述方向为OUT,则获取关系的客体ID;通过继承所述Gremlin中的AbstractStep并重写processNextStart()方法实现;解析拦截替换模块,在所述Gremlin的解析阶段进行拦截,当解析识别到所述parallelstep时,通过改写后的所述执行逻辑进行执行。
3.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1所述的基于Gremlin的并行扩展方法。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1所述的基于Gremlin的并行扩展方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721326.3A CN113535145B (zh) | 2021-06-28 | 2021-06-28 | 基于Gremlin的并行扩展方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721326.3A CN113535145B (zh) | 2021-06-28 | 2021-06-28 | 基于Gremlin的并行扩展方法、系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113535145A CN113535145A (zh) | 2021-10-22 |
CN113535145B true CN113535145B (zh) | 2024-03-29 |
Family
ID=78126126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110721326.3A Active CN113535145B (zh) | 2021-06-28 | 2021-06-28 | 基于Gremlin的并行扩展方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113535145B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110109940A (zh) * | 2018-02-01 | 2019-08-09 | 微软技术许可有限责任公司 | 将函数式的图遍历语言转换成扩展的结构化查询语言 |
CN112527950A (zh) * | 2020-12-18 | 2021-03-19 | 北京明略软件系统有限公司 | 一种基于MapReduce的图数据删除方法及系统 |
CN112579797A (zh) * | 2021-02-20 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 针对知识图谱的业务处理方法及装置 |
CN112818181A (zh) * | 2021-01-25 | 2021-05-18 | 杭州绿湾网络科技有限公司 | 图数据库检索方法、系统、计算机设备和存储介质 |
CN113010778A (zh) * | 2021-03-10 | 2021-06-22 | 北京明略软件系统有限公司 | 一种基于用户历史兴趣的知识图谱推荐方法和系统 |
-
2021
- 2021-06-28 CN CN202110721326.3A patent/CN113535145B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110109940A (zh) * | 2018-02-01 | 2019-08-09 | 微软技术许可有限责任公司 | 将函数式的图遍历语言转换成扩展的结构化查询语言 |
CN112527950A (zh) * | 2020-12-18 | 2021-03-19 | 北京明略软件系统有限公司 | 一种基于MapReduce的图数据删除方法及系统 |
CN112818181A (zh) * | 2021-01-25 | 2021-05-18 | 杭州绿湾网络科技有限公司 | 图数据库检索方法、系统、计算机设备和存储介质 |
CN112579797A (zh) * | 2021-02-20 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 针对知识图谱的业务处理方法及装置 |
CN113010778A (zh) * | 2021-03-10 | 2021-06-22 | 北京明略软件系统有限公司 | 一种基于用户历史兴趣的知识图谱推荐方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113535145A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9928113B2 (en) | Intelligent compiler for parallel graph processing | |
US10007699B2 (en) | Optimized exclusion filters for multistage filter processing in queries | |
AU2015225694B2 (en) | Managing data profiling operations related to data type | |
US8977626B2 (en) | Indexing and searching a data collection | |
WO2017019879A1 (en) | Multi-query optimization | |
US10838963B2 (en) | Optimized access for hierarchical low cardinality value synopsis in analytical databases | |
CN114625732B (zh) | 基于结构化查询语言sql的查询方法和系统 | |
CA2876466A1 (en) | Scan optimization using bloom filter synopsis | |
CN106844676B (zh) | 数据存储方法及装置 | |
CN108694221B (zh) | 数据实时分析方法、模块、设备和装置 | |
US10915534B2 (en) | Extreme value computation | |
CN113177095A (zh) | 一种企业知识管理方法、系统、电子设备及存储介质 | |
CN111694992B (zh) | 一种数据处理方法和装置 | |
CN113535145B (zh) | 基于Gremlin的并行扩展方法、系统、电子设备及存储介质 | |
CN111125216A (zh) | 数据导入Phoenix的方法及装置 | |
CN113656830B (zh) | 数据库脱敏语法解析方法、系统、计算机及可读存储介质 | |
US20230082446A1 (en) | Compound predicate query statement transformation | |
CN113467828B (zh) | 一种异构众核处理器中编程语言转换方法和系统 | |
CN112148746B (zh) | 生成数据库表结构文档的方法、装置、电子装置和存储介质 | |
EP3113038B1 (en) | A data handling method | |
GB2539898B (en) | A data handling method | |
CN108629003B (zh) | 内容加载方法与装置 | |
CN113467778B (zh) | 一种异构众核处理器中算法转换方法和系统 | |
CN116069816A (zh) | 在sql模式下高效使用数据缓存的方法、装置及应用 | |
US20230195734A1 (en) | Machine learning enabled real time query handling system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231120 Address after: Room 401, 4th Floor, Building J, Yunmi City, No. 19 Ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210000 Applicant after: Nanjing Minglue Technology Co.,Ltd. Address before: 100089 a1002, 10th floor, building 1, yard 1, Zhongguancun East Road, Haidian District, Beijing Applicant before: MININGLAMP SOFTWARE SYSTEMS Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |