CN114443780A - 数据处理方法、装置、设备和存储介质 - Google Patents
数据处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114443780A CN114443780A CN202111633026.6A CN202111633026A CN114443780A CN 114443780 A CN114443780 A CN 114443780A CN 202111633026 A CN202111633026 A CN 202111633026A CN 114443780 A CN114443780 A CN 114443780A
- Authority
- CN
- China
- Prior art keywords
- graph
- service
- service nodes
- data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000013500 data storage Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备和存储介质。数据处理方法包括获取数据存储请求;基于数据存储请求,在图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系;基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。根据本申请实施例提供的数据处理方法,可以提升图数据库的使用效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、设备和存储介质。
背景技术
随着图数据库和图计算引擎的发展,越来越多领域使用图解决实际的安全问题,例如使用图数据进行安全检测、事件分析、溯源等,以保证用户的数据安全。
一般而言,存储图数据的图数据库需要庞大的图存储和图计算的资源。但是,图数据库提供的大多数功能使用频率较低,却占用了大量的资源,从而降低了图数据库的使用效率。
发明内容
本申请实施例提供一种数据处理方法、装置、设备和存储介质,可以提高图数据库的使用效率。
根据本申请实施例的第一方面,提供一种数据处理方法,包括:
获取数据存储请求;
基于数据存储请求,在图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系;
基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
根据本申请实施例的第二方面,提供一种数据处理方法,包括:
获取数据存储请求,数据存储请求包括待存储的业务图数据;
基于数据存储请求,在专有云平台的关系型图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系,业务节点存储业务图数据;
基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
根据本申请实施例的第三方面,提供一种数据处理装置,包括:
获取模块,用于获取数据存储请求;
处理模块,用于基于数据存储请求,在图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系;
构建模块,用于基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
根据本申请实施例的第四方面,提供一种数据处理装置,包括:
获取模块,用于获取数据存储请求,数据存储请求包括待存储的业务图数据;
处理模块,用于基于数据存储请求,在专有云平台的关系型数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系,业务节点存储业务图数据;
构建模块,用于基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
根据本申请实施例的第五方面,提供一种计算机设备,包括:存储器和处理器;
存储器,用于存储有计算机程序;
处理器,用于执行存储器中存储的计算机程序,计算机程序运行时使得处理器执行如第一方面或者第二方面所示的数据处理方法的步骤。
根据本申请实施例的第六方面,提供一种计算机可读存储介质,计算机可读存储介质上存储程序或指令,在程序或指令被计算机设备执行的情况下,使得计算机设备执行如第一方面或者第二方面所示的数据处理方法的步骤。
根据本申请实施例的第七方面,提供一种计算机程序产品,包括计算机程序,在计算机程序被计算机设备执行的情况下,使得计算机设备执行如第一方面或者第二方面所示的数据处理方法的步骤。
根据本申请实施例中的数据处理方法、装置、设备和存储介质,基于获取到的数据存储请求,在关系型的图数据库中的构建业务表,业务表包括存储业务图数据的至少两个业务节点的信息和至少两个业务节点的边关系,接着,基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表,以构建图索引关系表与物理表的映射关系,由此,可以实现基于一张物理表进行双向边查询,在减少数据库的存储压力的同时,提升图数据库的使用效率。此外,在获取到待执行的图查询任务时,可以基于图索引关系表中构建的边的索引进行图数据查询,从而提升图遍历的效率,以进一步地提升图数据库的使用效率。
附图说明
从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中,相同或相似的附图标记表示相同或相似的特征。
图1是示出根据一个实施例的一种数据处理架构示意图;
图2是示出根据一个实施例的一种数据处理流程示意图;
图3是示出根据一个实施例的一种数据处理方法的流程图;
图4是示出根据一个实施例的一种图索引关系表的示意图;
图5是示出根据一个实施例的一种图任务查询的流程图;
图6是示出根据一个实施例的一种确定多个目标业务节点的流程图;
图7是示出根据一个实施例的一种基于专有云平台的数据处理方法的流程图;
图8是示出根据一个实施例的一种数据处理装置的结构示意图;
图9是示出根据一个实施例的一种基于专有云平台的数据处理装置的结构示意图;
图10是示出根据一个实施例的计算机设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本申请,并不被配置为限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
云安全中心是一个实时识别、分析、预警安全威胁的安全管理系统,可以为多个云平台如公有云平台、私有云平台和专有云平台,提供防勒索、防病毒、防篡改、合规检查等功能,实现威胁检测、响应、溯源的自动化安全运营管理,保护云上资源和本地服务器中的数据安全。在相关技术中,公有云平台可以通过图实现安全检测、事件响应和溯源,如通过图数据库存储进程链数据,进行深度关系检测,从而发现隐藏在其中的恶意行为,以保证用户的数据安全,然而,专有云平台则无法使用图实现安全检测、事件响应和溯源。
具体地,专有云平台提供进程链、进程读写文件等深度关联关系的检测功能,以提升安全产品在专有云平台上的能力。一般来说,在资源充足的情况下,专有云平台上部署的图数据库如Titan,Neo4j中大多数的功能是无法用到的,或者低频使用的,但却占用了大量的资源,降低了图数据库的使用效率。另外,这些图数据库依赖繁重,大多数都依赖很多开源的大型的图数据框架,由于专有云平台上资源有限,通常情况下,安全产品都是默认最小输出如两台物理机,因此,在无法使用大型的图数据框架同时,有限的资源也无法去依赖其他额外的工具框架,比如调度系统(ScheduleX2)等。
因此,本申请实施例提供了一种利用专有云平台中已有的资源如基座自带的存储如关系型数据库(Relational Database Service,RDS),构建轻量级的图数据库,以提高专有云平台的图数据库的使用效率,使得专有云通过图功能实现安全检测、事件响应和溯源,从而提高专有云的安全能力。
基于此,本申请实施例提供了一种数据处理方法,可以基于专有云平台已有的关系型数据库,构建业务表,该业务表包括至少两个业务节点的信息以及至少两个业务节点的边关系,并基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表,以生成专有云平台中的图数据库,并根据图索引关系表与物理表的映射关系,使得基于一张物理表进行双向边查询,从而在减少数据库的存储压力,提升专有云平台中图数据库的使用效率的同时,实现专有云平台中轻量级的图数据库计算引擎的构建。
此外,在获取到待执行的图查询任务时,可以基于图数据库的图索引关系表中构建的边的索引进行图数据查询,从而提升图遍历的效率,以进一步地提升专有云场景下图数据库的使用效率。
下面结合附图1对本申请实施例中的数据处理架构进行详细地说明。
在一种或者多种可能的实施例中,如图1所示,本申请实施例提供的数据处理架构可以包括数据处理设备和图数据库。数据处理设备提供云安全中心,云安全中心为用户提供与专有云平台对应的安全管理的数据服务平台,数据服务平台基于关系型数据库,构建包括图索引关系表的图数据库,从而为用户提供图数据库的存储和查询任务等服务。示例性地,本申请实施例中涉及的用户可以包括第一类用户和第二类用户,第一类用户是指维护专有云平台的图数据库的用户,也是数据服务平台的提供方,而第二类用户是指在专有云平台发起图查询任务、图查询请求等图数据库的使用方。而本申请实施例中的数据服务平台可以为向第一类用户和第二类用户提供后台查询服务服务处理,这些数据处理过程可以向第一类用户和第二类用户公开呈现。
在一些应用场景中,第一类用户可以租用数据服务平台的图数据库进行数据存储,以及基于数据服务平台进行数据查询服务,例如,第一类用户可以是一些商家用户通过数据服务平台在图数据库中存储商品信息、交易信息等图数据,然后,在商家想要查询存储在图数据库中的图数据时,可以通过数据服务平台进行查询。
基于上述显示架构,为了能够将图的能力应用在数据服务平台的安全场景,本申请实施例提供的数据处理方法可以包括图数据的存储、图计算以及执行定时任务的阶段,下面结合图2对上述涉及的三个阶段进行详细描述。
首先,在专有云平台上,可以利用已有的存储实现轻量级,基于此,本申请实施例在图数据的存储方面,以专有云平台的RDS和上层图的遍历方式为基础,在RDS的逻辑结构中构建图索引关系表,以进一步减少双向边在存储上的浪费,降低存储的损耗。
接着,在图计算阶段,本申请实施例支持连接分析处理(Online AnalyticalProcessing,OLAP)和联机事务处理过程(On-Line Transaction Processing,OLTP)查询方式,同时针对图遍历的过程,可以将一次遍历逻辑通过策略算法(Strategy)机制,前置过滤逻辑,合并可以并发执行的操作指令,进一步减小对图数据库的压力。
然后,在定时任务的阶段,本申请实施例基于轻量级的图数据库提供的轻量级调度系统,可以快速执行任务的定时调度,在提升图数据库的使用效率的同时,方便专有云平台的用户使用。
由此,基于专有云平台中关系型数据库,构建业务表,业务表包括存储业务图数据的至少两个业务节点的信息和至少两个业务节点的边关系,接着,基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表,以生成专有云平台中的图数据库,并构建图索引关系表与物理表的映射关系,这样,可以实现基于一张物理表进行双向边查询,在减少数据库的存储压力的同时,提升图数据库的使用效率。
此外,在获取到待执行的图查询任务时,可以基于图索引关系表中构建的边的索引进行图数据查询,从而提升图遍历的效率,以进一步地提升图数据库的使用效率。
根据上述架构以及应用场景,下面分别结合图3对本申请实施例提供的数据处理方法进行详细说明。
图3是示出根据一个实施例的一种数据处理方法的流程图。
如图3所示,数据处理方法可以应用于数据处理设备,数据处理方法具体可以包括:
步骤310,获取数据存储请求;步骤320,基于数据存储请求,在图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系;步骤330,基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
下面对上述步骤进行详细说明,具体如下所示。
涉及步骤310,在一些实例中,数据存储请求可以包括待存储的业务图数据。
涉及步骤320,在一些实例中,可以基于步骤310中涉及的待存储的业务图数据,在专有云平台的RDS中构建业务表。本申请实施例中的RDS可以包括业务节点表。
示例性地,如图4所示,业务节点表包括至少两个业务节点,如A、B、C、D、E和F。
接着,基于业务节点表,构建至少两个业务节点的边关系,该边关系为至少两个业务节点中两个业务节点的有向边的边关系,如A→B、A→F、F→A、D→A、A→C、C→A、B→E、B→F、F→D以及E→C。
基于此,有向边的边关系包括起始业务节点和终止业务节点,如A→B中A为起始业务节点,B为终止业务节点。如A→F中A为起始业务节点,F为终止业务节点。同理,F→A中F为起始业务节点,A为终止业务节点。
然后,将边关系中起始业务节点和终止业务节点进行提取,得到至少两个业务节点的信息,如A-B、A-F、D-A、A-C、B-E、B-F、F-D和E-C。这里,可以理解为,将有向边转为无向边,并获取无向边涉及的业务节点,如至少两个业务节点的信息A-B由边关系中起始业务节点和终止业务节点A→B确定,至少两个业务节点的信息A-F由边关系中起始业务节点和终止业务节点A→F和F→A确定。
涉及步骤330,在传统的图数据库中存储的图数据,有向边的设计一般都是独立的,比如图4所示的A→F,F→A是两个不同的边关系,其每个节点的图数据都是独立存在的,这样,会增加RDS的存储压力,也会浪费存储资源。
由此,本申请实施例中在RDS的逻辑结构中构建图索引关系表。如图4所示,示例性地,基于RDS自身的索引机制,基于边关系,构建边关系中每两个业务节点的索引,仍以上述例子进行说明,即基于A→B、A→F、F→A、D→A、A→C、C→A、B→E、B→F、F→D以及E→C,构建A→B与A-B的索引、A→F和F→A与A-F的索引、D→A与D-A的索引、A→C和C→A与A-C的索引、B→E与B-E的索引、B→F与B-F的索引、F→D与F-D的索引、以及E→C与E-C的索引,得到图索引关系表。这里,本申请实施例基于RDS在边关系表的结构上,对于起始业务节点和终止业务节点同时构建索引,可以通过一张图索引关系表存储多个边关系,减少了数据库的存储压力。
另外,在一种或者多种可能的示例中,在步骤330之后,本申请实施例中的数据处理方法还可以包括:
步骤340,构建图索引关系表与物理表的映射关系,以将具有映射关系的物理表存储在物理层中。
示例性地,基于中间层的逻辑结构,利用图索引关系表,构建图索引关系表和底层的物理表的映射关系,从而将图的逻辑查询转为底层的物理表查询,这样,就可以实现基于同一张物理表进行双向边的查询。此时,业务逻辑不用关注底层物理层的存储结构和存储类型。
由此,在对图数据进行存储时,用户无需根据图数据库既定的存储结构对用户自己待存储的业务图数据进行处理,只需要将用户提供的业务图数据,构建图索引关系表,从而无需对待存储的业务图数据做额外的处理,减少了用户的工作量。另外,对于传统的数据库中存储的有向图而言,一条边关系的来向与去向不再需要同时创建来向表和去向表,只需通过图索引关系表指向同一个物理存储,大大减少数据的冗余。
此外,本申请实施例为了利用RDS有限的资源,实现图遍历的大规模数据查询,基于图索引关系表以及采用Strategy机制,对在RDS的图遍历做了进一步的优化。
基于此,如图5所示,在步骤330或者步骤340之后,本申请实施例中的数据处理方法还可以包括步骤350至步骤370。
步骤350,获取待执行的图查询任务。
步骤360,基于图查询任务,在图索引关系表中确定多个目标业务节点,目标业务节点包括图查询任务所查询的业务图数据。
步骤370,查询在多个目标业务节点中存储的业务图数据,得到任务结果。
这里,对于目前的图遍历过程,首先,查询出所有的业务节点。接着,通过指令中的筛选条件在所有的业务节点中筛选,并将筛选后的业务节点参与逻辑计算。再者,在逻辑计算的过程中,基于筛选后的业务节点进行查询操作,然后,检测查询结果是否符合预期,若不符合则遍历所有节点。这样执行过程,会产生大量的结构化查询语言(Structured QueryLanguage,sql),增加图数据库的压力。基于此,本申请实施例提供的数据处理方法,可以通过Strategy来将大量简单的操作指令做合并,以生成一个较复杂的操作指令即目标操作指令,从而减少数据库的压力。由于,本申请实施例已经建立了图索引关系表,即构建了边关系的索引,所以,生成的目标操作指令被执行效率也会加快,从而提升图遍历的效率。
基于此,在图查询任务包括多条操作指令的情况下,如图6所示,步骤360具体可以包括步骤3601至步骤3603。
步骤3601,提取多条操作指令中满足预设查找条件的至少两条操作指令。
进一步地,提取多条操作指令中包括查找图数据库中所有业务节点的第一操作指令;以及,提取多条操作指令中包括筛选语句的第二操作指令,筛选语句为在所有业务节点中筛选目标业务节点的条件语句。
步骤3602,通过策略算法,合并至少两条操作指令,得到目标操作指令。
由此,对于简单查询、筛选等操作,可以基于策略算法如Strategy对条件进行前置,即对筛选操作提前到了查询操作的逻辑中,这样,既减少了返回的数据量,也减少了遍历业务表的过程,缩短了图遍历的时间。
步骤3603,基于目标操作指令,在图索引关系表中确定多个目标业务节点。
进一步地,在图索引关系表包括预设递归遍历结束条件的情况下,基于目标操作指令,在图索引关系表中确定多个初始业务节点;
基于多个初始业务节点,构建初始图结构;
递归遍历初始图结构中的业务节点,在递归遍历初始图结构中的业务节点的递归遍历深度值满足预设递归遍历深度值的情况下,确定与预设递归遍历深度值对应的业务节点为目标业务节点。
由此,本申请实施例中对于递归遍历的优化,采用了Strategy对算子进行整合,并显示递归结束的条件,例如在图索引关系表中预设了递归遍历的最大深度,这样,是为了方便确定关联的操作指令如sql的层次,使得将多个简单的操作指令,映射程一个复杂的多层级(join)的sql。另外,由于图数据在存储时已经对边关系中的起始业务节点和终止业务节点构建了索引,所以,基于起始业务节点和终止业务节点的多层级(join)的sql的查找速度也会有明显提升。
然后,对本申请实施例提供的执行定时任务的阶段进行详细说明。
执行定时任务是指定时遍历图数据并将结果写出到指定的存储位置。这里,执行定时任务包括任务调度和数据写出部分。
进一步地,任务调度可以基于图数据库的锁机制,实现分布式调度。其中,定时任务在数据处理设备上执行时,首先会加入到数据处理设备的schedule中,当任务启动时,会在图数据库中抢锁,抢到的可以正常执行,未抢到的就会进入静默,从而保证一个任务在数据处理设备中同一时间只做一次,数据写出,可以将定时任务的结果写出到指定的存储中,至此,完成在专有云上构建轻量级的图数据库计算引擎。
综上,本申请实施例基于获取到的数据存储请求,在专有云自有的关系型的图数据库中的构建业务表和图索引关系表,以构建图索引关系表与物理表的映射关系,由此,可以实现基于一张物理表进行双向边查询,在减少数据库的存储压力的同时,提升图数据库的使用效率。此外,在获取到待执行的图查询任务时,可以基于图索引关系表中构建的边的索引进行图数据查询,从而在减少数据库的存储压力,提升图数据库的使用效率的同时,实现轻量级的图数据库计算引擎的构建。
另外,以专有云平台为例,下面结合图7对本申请实施例提供的数据处理方法进行详细说明。
图7是示出根据一个实施例的一种基于专有云平台的数据处理方法的流程图。
如图7所示,数据处理方法可以应用于数据处理设备,数据处理方法具体可以包括:
步骤710,获取数据存储请求,数据存储请求包括待存储的业务图数据;步骤720,基于数据存储请求,在专有云平台的关系型数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系,业务节点存储业务图数据;步骤730,基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
需要明确的是,本申请并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
基于相同的发明构思,本申请提供了与上述涉及的数据处理方法对应的数据处理装置。具体结合图8进行详细说明。
图8是示出根据一个实施例的一种数据处理装置的结构示意图。
如图8所示,数据处理装置80应用于如图1所示的数据处理设备,数据处理装置80具体可以包括:
获取模块801,用于获取数据存储请求;
处理模块802,用于基于数据存储请求,在图数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系;
构建模块803,用于基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
基于此,下面对本申请实施例提供的数据处理装置80进行详细说明。
在一种或者多种可能的实施例中,构建模块803还可以用于,构建图索引关系表与物理表的映射关系,以将具有映射关系的物理表存储在物理层中。
在另一种或者多种可能的实施例中,本申请实施例中的数据处理装置80还可以包括确定模块和查询模块;其中,
获取模块801还用于,获取待执行的图查询任务;
确定模块,用于基于图查询任务,在图索引关系表中确定多个目标业务节点,目标业务节点包括图查询任务所查询的业务图数据;
查询模块,用于查询在多个目标业务节点中存储的业务图数据,得到任务结果。
在又一种或者多种可能的实施例中,本申请实施例中的数据处理装置80还可以包括提取模块和合并模块;其中,
提取模块,用于在图查询任务包括多条操作指令的情况下,提取多条操作指令中满足预设查找条件的至少两条操作指令;
合并模块,用于通过策略算法,合并至少两条操作指令,得到目标操作指令;
确定模块还可以用于,基于目标操作指令,在图索引关系表中确定多个目标业务节点。
进一步地,提取模块具体可以用于,提取多条操作指令中包括查找图数据库中所有业务节点的第一操作指令;以及,提取多条操作指令中包括筛选语句的第二操作指令,筛选语句为在所有业务节点中筛选目标业务节点的条件语句。
在再一种或者多种可能的实施例中,确定模块具体可以用于,在图索引关系表包括预设递归遍历结束条件的情况下,基于目标操作指令,在图索引关系表中确定多个初始业务节点;
基于多个初始业务节点,构建初始图结构;
递归遍历初始图结构中的业务节点,在递归遍历初始图结构中的业务节点的递归遍历深度值满足预设递归遍历深度值的情况下,确定与预设递归遍历深度值对应的业务节点为目标业务节点。
基于相同的发明构思,本申请提供了与上述涉及的基于专有云平台的数据处理方法对应的数据处理装置。具体结合图9进行详细说明。
图9是示出根据一个实施例的一种基于专有云平台的数据处理装置的结构示意图。
如图9所示,数据处理装置90应用于如图1所示的数据处理设备,数据处理装置90具体可以包括:
获取模块901,用于获取数据存储请求,数据存储请求包括待存储的业务图数据;
处理模块902,用于基于数据存储请求,在专有云平台的关系型数据库中构建业务表,业务表包括至少两个业务节点的信息和至少两个业务节点的边关系,业务节点存储业务图数据;
构建模块903,用于基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表。
由此,基于获取到的数据存储请求,在关系型的图数据库中的构建业务表,业务表包括存储业务图数据的至少两个业务节点的信息和至少两个业务节点的边关系,接着,基于边关系,构建边关系中每两个业务节点的索引,得到图索引关系表,以构建图索引关系表与物理表的映射关系,由此,可以实现基于一张物理表进行双向边查询,在减少数据库的存储压力的同时,提升图数据库的使用效率。此外,在获取到待执行的图查询任务时,可以基于图索引关系表中构建的边的索引进行图数据查询,从而提升图遍历的效率,以进一步地提升图数据库的使用效率。
图10是示出根据一个实施例的计算机设备的硬件结构示意图。
如图10所示,计算机设备1000包括输入设备1001、输入接口1002、处理器1003、存储器1004、输出接口1005、以及输出设备1006。
输入接口1002、处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接,输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接,进而与计算机设备1000的其他组件连接。具体地,输入设备1001接收来自外部的输入信息,并通过输入接口1002将输入信息传送到处理器1003;处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器1004中,然后通过输出接口1005将输出信息传送到输出设备1006;输出设备1006将输出信息输出到计算机设备1000的外部供用户使用。
在一个实施例中,图10所示的计算机设备1000可以被实现为一种数据处理设备,该数据处理设备可以包括:存储器,被配置为存储程序;处理器,被配置为运行存储器中存储的程序,以执行上述实施例描述的数据处理方法。
在一个实施例中,该存储器还可以用于存储数据存储请求、待执行的图查询任务以及结合上述图1至图7描述的数据处理中每个步骤的计算结果。作为示例,该计算结果至少包括:在图数据库中构建业务表、图索引关系表。
根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机可读存储介质。例如,本申请的实施例包括一种计算机可读存储介质,其包括在计算机可读存储介质上存储程序或指令,在程序或指令被计算机设备执行的情况下,使得计算机设备执行上述方法的步骤。
根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以从网络上被下载和安装,和/或从可拆卸存储介质被安装。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令,当其在计算机上运行时,使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘)等。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使对应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种数据处理方法,包括:
获取数据存储请求;
基于所述数据存储请求,在图数据库中构建业务表,所述业务表包括至少两个业务节点的信息和所述至少两个业务节点的边关系;
基于所述边关系,构建所述边关系中每两个业务节点的索引,得到图索引关系表。
2.根据权利要求1所述的方法,其中,所述方法还包括:
构建所述图索引关系表与物理表的映射关系,以将具有映射关系的物理表存储在物理层中。
3.根据权利要求1所述的方法,其中,所述方法还包括:
获取待执行的图查询任务;
基于所述图查询任务,在所述图索引关系表中确定多个目标业务节点,所述目标业务节点包括所述图查询任务所查询的业务图数据;
查询在所述多个目标业务节点中存储的业务图数据,得到任务结果。
4.根据权利要求3所述的方法,其中,所述图查询任务包括多条操作指令;所述基于所述图查询任务,在所述图索引关系表中确定多个目标业务节点,包括:
提取所述多条操作指令中满足预设查找条件的至少两条操作指令;
通过策略算法,合并所述至少两条操作指令,得到目标操作指令;
基于所述目标操作指令,在所述图索引关系表中确定多个目标业务节点。
5.根据权利要求4所述的方法,其中,所述提取所述多条操作指令中满足预设查找条件的至少两条操作指令,包括:
提取所述多条操作指令中包括查找所述图数据库中所有业务节点的第一操作指令;以及,
提取所述多条操作指令中包括筛选语句的第二操作指令,所述筛选语句为在所述所有业务节点中筛选目标业务节点的条件语句。
6.根据权利要求4或5所述的方法,其中,所述图索引关系表包括预设递归遍历结束条件;所述基于所述目标操作指令,在所述图索引关系表中确定多个目标业务节点,包括:
基于所述目标操作指令,在所述图索引关系表中确定多个初始业务节点;
基于所述多个初始业务节点,构建初始图结构;
递归遍历所述初始图结构中的业务节点,在递归遍历所述初始图结构中的业务节点的递归遍历深度值满足预设递归遍历深度值的情况下,确定与所述预设递归遍历深度值对应的业务节点为目标业务节点。
7.一种数据处理方法,包括:
获取数据存储请求,所述数据存储请求包括待存储的业务图数据;
基于所述数据存储请求,在专有云平台的关系型数据库中构建业务表,所述业务表包括至少两个业务节点的信息和所述至少两个业务节点的边关系,所述业务节点存储所述业务图数据;
基于所述边关系,构建所述边关系中每两个业务节点的索引,得到图索引关系表。
8.一种数据处理装置,包括:
获取模块,用于获取数据存储请求;
处理模块,用于基于所述数据存储请求,在图数据库中构建业务表,所述业务表包括至少两个业务节点的信息和所述至少两个业务节点的边关系;
构建模块,用于基于所述边关系,构建所述边关系中每两个业务节点的索引,得到图索引关系表。
9.一种计算机设备,包括:存储器和处理器,
所述存储器,用于存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至6中任意一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储程序或指令,在所述程序或指令被计算机设备执行的情况下,使得所述计算机设备执行如权利要求1至6中任一项所述的数据处理方法的步骤。
11.一种计算机程序产品,包括计算机程序,在所述计算机程序被计算机设备执行的情况下,使得所述计算机设备执行如权利要求1至6中任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111633026.6A CN114443780A (zh) | 2021-12-28 | 2021-12-28 | 数据处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111633026.6A CN114443780A (zh) | 2021-12-28 | 2021-12-28 | 数据处理方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114443780A true CN114443780A (zh) | 2022-05-06 |
Family
ID=81365555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111633026.6A Pending CN114443780A (zh) | 2021-12-28 | 2021-12-28 | 数据处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114443780A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168661A (zh) * | 2022-08-31 | 2022-10-11 | 深圳市一号互联科技有限公司 | 原生图数据处理方法、装置、设备及存储介质 |
CN117290560A (zh) * | 2023-11-23 | 2023-12-26 | 支付宝(杭州)信息技术有限公司 | 图计算任务中获取图数据的方法和装置 |
-
2021
- 2021-12-28 CN CN202111633026.6A patent/CN114443780A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168661A (zh) * | 2022-08-31 | 2022-10-11 | 深圳市一号互联科技有限公司 | 原生图数据处理方法、装置、设备及存储介质 |
CN115168661B (zh) * | 2022-08-31 | 2022-12-02 | 深圳市一号互联科技有限公司 | 原生图数据处理方法、装置、设备及存储介质 |
CN117290560A (zh) * | 2023-11-23 | 2023-12-26 | 支付宝(杭州)信息技术有限公司 | 图计算任务中获取图数据的方法和装置 |
CN117290560B (zh) * | 2023-11-23 | 2024-02-23 | 支付宝(杭州)信息技术有限公司 | 图计算任务中获取图数据的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11099842B2 (en) | Source code similarity detection using digital fingerprints | |
CN110471949B (zh) | 数据血缘分析方法、装置、系统、服务器及存储介质 | |
US20140215477A1 (en) | Realizing graph processing based on the mapreduce architecture | |
CN107038161B (zh) | 一种用于过滤数据的设备及方法 | |
CN114443780A (zh) | 数据处理方法、装置、设备和存储介质 | |
US11637864B2 (en) | Hardening of cloud security policies | |
US8959229B1 (en) | Intelligently provisioning cloud information services | |
CN113312377A (zh) | 一种自动关联的sql查询语句处理方法、装置和电子设备 | |
US20160342652A1 (en) | Database query cursor management | |
CN109379398A (zh) | 一种数据同步方法及装置 | |
WO2023160327A1 (en) | Container image management | |
CN111026709B (zh) | 基于集群访问的数据处理方法及装置 | |
CN109614411B (zh) | 数据存储方法、设备和存储介质 | |
CN111949315A (zh) | 用于区块链账本数据的管理装置和方法 | |
CN113505278A (zh) | 图匹配方法、装置、电子设备及存储介质 | |
CN116775712A (zh) | 联表查询方法、装置、电子设备、分布式系统和存储介质 | |
US11847121B2 (en) | Compound predicate query statement transformation | |
Lai et al. | {GLogS}: Interactive Graph Pattern Matching Query At Large Scale | |
Chaudhary et al. | Incremental Stream Query Merging. | |
Higashino et al. | Attributed graph rewriting for complex event processing self-management | |
CN112749189A (zh) | 数据查询方法及装置 | |
CN116541377B (zh) | 任务的物化视图的处理方法、系统和电子设备 | |
CN110765100B (zh) | 标签的生成方法、装置、计算机可读存储介质及服务器 | |
Estupiñán | Analysis of Modern Blockchain Networks Using Graph Databases | |
US11449487B1 (en) | Efficient indexing of columns with inappropriate data types in relational databases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |