CN115481298A - 图数据处理方法及电子设备 - Google Patents

Abstract

本申请实施例提供了一种图数据处理方法及电子设备，其中，图数据处理方法包括：获取待存储的图数据的信息，其中，所述图数据的信息至少包括图数据的节点类型信息和数据值信息；根据所述图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式；根据所述图数据的节点类型信息和数据值信息，将所述图数据存储为符合所述节点标准格式的标准图数据。通过本申请实施例，极大地提高了图数据的利用率。

Description

图数据处理方法及电子设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种图数据处理方法及电子设备。

背景技术

图是一组点和边的集合，“点”表示实体，“边”表示实体间的关系，图数据是点、边及其关系的统称。在实际应用中，图数据可能会采用不同的文件格式来进行记录和存储。例如，ORC (Optimized Record Columnar,优化后的列式记录)格式、Parquet（面向分析型任务的列式存储）格式、HDF5（Hierarchical Data Format Version 5,层次性数据格式第五版）格式、CSV（Comma-Separated Values，字符分隔值）格式，等等。此外，实际应用中，图数据的存储还具有很多在表示方法上的不同特征，如：是否包含属性、是否支持更新、按点还是边进行分区、边拓扑结构的表示方法（是否排序、按起点还是终点排序）等等不同的方式。

基于图数据的图计算非常丰富，因而也产生了很多针对图数据的服务和应用，如，图数据的内外存的存储、图数据库的计算、图数据的查询引擎，等等。但是，因为各个服务或应用间使用的图数据的文件格式或表示方法不同，导致对图数据的访问、导入导出等都存在着极大的不兼容性问题。也由此不兼容性问题，进一步导致了基于图数据的应用或服务的数据处理效率低下，影响这些应用或服务提供的服务质量。

发明内容

有鉴于此，本申请实施例提供一种图数据处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种图数据处理方法，包括：获取待存储的图数据的信息，其中，所述图数据的信息至少包括图数据的节点类型信息和数据值信息；根据所述图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式；根据所述图数据的节点类型信息和数据值信息，将所述图数据存储为符合所述节点标准格式的标准图数据。

根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例的第四方面，提供了另一种图数据处理方法，包括：获取待存储的图数据的信息，其中，所述图数据的信息至少包括图数据的节点类型信息和数据值信息；据所述图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式；按照目标图数据库中各字段与所述节点标准格式的对应关系，基于所述图数据的节点类型信息和数据值信息，为所述图数据生成符合所述节点标准格式的标准图数据并存储至所述目标图数据库中的对应字段。

根据本申请实施例提供的图数据处理方案，不管何种场景或应用下产生图数据，都可使其按照预设的标准格式进行存储。其中，针对图数据中的点和边，分别对应有不同的节点标准格式，可按照图数据的节点类型进行不同的标准格式存储。由此，假设在某个图应用中构建图，其产生的图数据可以无差别地在另一个图应用中得到使用，或者无障碍地与另一个图应用进行基于图数据的交互。并且，与传统的转换方案相比，由于采用了统一的标准格式进行存储，无需进行图数据的格式转化，极大地提高了图数据的利用率。从而，有效避免了传统方式中，因各个服务或应用间使用的图数据文件的格式不同，导致的不兼容性问题，也进一步避免了基于图数据的应用或服务的数据处理效率低下，影响服务质量的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为适用本申请实施例的图数据处理方法的示例性系统的示意图；

图2A为根据本申请实施例的一种图数据处理方法的步骤流程图；

图2B为图2A所示实施例中的一种图例的示意图；

图2C为图2B所示图例对应的一种逻辑边表的示意图；

图2D为图2B所示图例对应的一种物理点表的示意图；

图2E为图2B所示图例对应的一种物理边表的示意图；

图2F为图2A所示实施例中的一种场景示例的示意图；

图3A为根据本申请实施例的另一种图数据处理方法的步骤流程图；

图3B为图3A所示实施例中的一种场景示例的示意图；

图4为根据本申请实施例的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1示出了一种适用本申请实施例的图数据处理方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。需要说明的是，本申请实施例的图数据处理方案既可在云服务端102实现，也可在用户设备106中实现。

云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，当本申请实施例的图数据处理方案在云服务端102中实现时，云服务端102可以根据预设的节点标准格式和待存储的图数据的节点类型，将待存储的图数据存储为标准格式的标准图数据。作为可选的示例，在一些实施例中，云服务端102可以被用于根据图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式。作为另一示例，在一些实施例中，云服务端102可以被用于根据图数据的节点类型信息和数据值信息，将图数据存储为符合节点标准格式的标准图数据。在一些实施例中，云服务端102可以根据用户设备106发送来的图数据存储请求和待存储的图数据的信息，将待存储的图数据在云服务端102存储为标准图数据。

在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

用户设备106可以包括适合于与用户交互并执行相应功能的任何一个或多个用户设备。例如，当本申请实施例的图数据处理方案在用户设备106中实现时，用户设备106可以根据预设的节点标准格式和待存储的图数据的节点类型，将待存储的图数据存储为标准格式的标准图数据。作为可选的示例，在一些实施例中，用户设备106可以被用于根据图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式。作为另一示例，在一些实施例中，用户设备106可以被用于根据图数据的节点类型信息和数据值信息，将图数据存储为符合节点标准格式的标准图数据。在一些实施例中，用户设备106可以向云服务端102发送图数据存储请求和待存储的图数据的信息，由云服务端102将待存储的图数据在云服务端102存储为标准图数据，或者，进一步地，将该标准图数据发送回用户设备106。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。

基于上述系统，以下通过实施例对本申请实施例提供的图数据处理方法进行说明。

参照图2A，示出了根据本申请实施例的一种图数据处理方法的步骤流程图。

本实施例的图数据处理方法包括以下步骤：

步骤S202：获取待存储的图数据的信息。

其中，待存储的图数据可以为经由任意的图应用或非图应用产生的图的数据，诸如用于表征用户与商品之间关系的图、知识图谱中的图，等等。本申请实施例中，对图数据的具体生成及获取方式不作限制。

本申请实施例中，待存储的图数据的信息至少包括图数据的节点类型信息和数据值信息。其中，节点类型信息用于指示当前图数据为点或是为边，图数据的数据值信息用于指示点或边所对应的值，包括但不限于属性值等。但不限于此，在一种可行方式中，图数据的信息还可以包括用于表征图数据在其所属的应用中的分类的标签信息，示例性地，如某个图为商品对应的图，则其标签信息可为商品；或者，某个图为用户对应的图，则其标签信息可为用户；或者，某个图为学生的考试课目及其成绩的图，则其标签可为考试成绩，等等。

步骤S204：根据图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式。

针对图来说，其节点通常有两种类型，即：点类型和边类型。本申请实施例中，分别为这两种类型设定了相对应的节点标准格式。包括：当节点类型为点类型时，节点标准格式包括：使用逻辑点表记录点标识和与点标识相对应的至少一个点属性字段；当节点类型为边类型时，节点标准格式包括：使用逻辑边表记录边起点标识、边终点标识、和边起点标识和边终点标识所对应的边的边属性字段。通过这种方式，可以有效标准化管理图数据。

示例性地，参照图2B，其示出了一个图的示例。进一步示例性地，该图可以为一个对应于社区论坛的图结构，其包括点类型的节点，即：用户、发布的帖子、帖子对应的tag（如分类等）、以及论坛的信息。由图中可见，这四个点类型的节点之间存在着表征它们之间相互关系的边，即：用户与帖子之间存在着帖子由某个用户创建和某个用户喜欢某个帖子的关系、帖子具有tag的关系、论坛包含帖子以及分类tag的关系等。

则该图需要进行存储时，针对其中的点，需要使用逻辑点表记录点标识和与点标识相对应的至少一个点属性字段。又，为了明确区分图数据，还可结合该图数据具有的标签label，为每种label的点的集合创建逻辑点表。

也即，每种label的点会对应一张逻辑点表，并且，会为每个点分配一个从0开始连续的编号global id，即为该点在逻辑点表上的行号。示例性地，tag点的逻辑点表可以表示为：

可见，label + global id可以唯一标识一个点，在某个label的逻辑点表中，根据global id可以随机访问点的属性。后续，在维护图的拓扑结构时，也可使用global id来标识边的起点和终点。

但不限于此，在一种可行方式中，点类型的节点标准格式还包括节点关键值字段。例如，在逻辑点表中，部分property可以被标注为key（即节点关键值），比如tag表的name列即可为tag表的节点关键值字段。

针对图中的边，则可使用逻辑边表记录边起点标识、边终点标识、和边起点标识和边终点标识所对应的边的边属性字段。可选地，边类型的节点标准格式还包括：使用逻辑边表记录边起点标识对应的起点的偏移位置信息。虽然，通过逻辑边表可同时存储这些信息，但为了使后续对存储的图数据的管理和访问更为高效和方便，在一种可行方式中，可以使用偏移表记录偏移位置信息，也即，可将逻辑边表划分为偏移表和边表，其中的偏移表只用于存储边起点标识对应的起点的偏移位置信息。

具体地，每个（起点label，边label，终点label）的三元组，会对应一张逻辑边表，为了确保可以快速建图，逻辑边表可以以类似于CSR（压缩稀疏行）或CSC（压缩稀疏列）或COO（Coordinate，坐标列表格式）的方式维护拓扑结构信息。以CSR为例，逻辑边表被拆分为两张表，一张offset表（即偏移表），另一张为边表。且同一起点的边会在边表中连续存放。以图2B中所示的“用户”与“帖子”之间的用户喜欢的帖子所对应的边为例，其可表示为如图2C所示的形式。

由图2C中可见，其也具有global id，每个global id对应offset表中的一个起点在边表中的位置，offset表的每一个位置对应于边表中同一起点的多条属性。例如，因顺序存储，offset表中的“0”表示起点均为“0”的边在边表中从第0行开始；类似地，offset表中的“15”表示起点均为“1”的边在边表中从第15行开始。而在边表中，则记录有边的起点（如图2B中的第“0”号用户）、终点（如第“0”号用户喜欢的第“8430”号帖子）、和该起点和终点对应的边的属性字段，图2C中示例为帖子的创建时间。

依此类推，可为图中的每个点和每条边都建立相应的逻辑点表和逻辑边表，这些逻辑点表和逻辑边表的数据，一方面，便于后续的使用者阅读和理解，并且含义清晰；另一方面，也为这些图数据的管理提供了有效依据，提高了管理效率。

步骤S206：根据图数据的节点类型信息和数据值信息，将图数据存储为符合节点标准格式的标准图数据。

如上所述，根据点类型对应的节点标准格式和边类型对应的标准格式，既可将图数据存储为符合节点标准格式的标准图数据，其数据值信息即为节点标准格式规定的相关具体字段的具体值。

此外，在图数据还包括标签信息的情况下，可根据图数据的标签信息、节点类型信息和数据值信息，将图数据存储为符合节点标准格式的标准图数据，以使得图数据具有更高的辨识度。

通过上述过程，可以逻辑点表和逻辑边表形式，形成便于用户使用和查看的标准图数据。但本领域技术人员应当明了的是，对图数据的高效管理和访问，还需要依赖于对图数据的物理存储方式。

为此，在本申请实施例的一种可行方式中，针对点类型的图数据，可以按照第一预设大小，将逻辑点表按行切分为多个子表；针对每个子表，按照逻辑点表的列划分，划分为多个列组；按照划分的多个列组，对逻辑点表对应的图数据进行物理存储，得到对应的多个物理点表。通过按行切分，还有效减少每一个数据块对应的数据量，提高数据并行处理能力；进一步地再按列划分，可使得后续对数据的访问和拼接更为方便。其中，第一预设大小可由本领域技术人员根据实际需求设定，本申请实施例对此不作限制。

以前述图2B所示图例对应的逻辑点表为例，为了支持并行读/写逻辑点表，可对逻辑点表按chunk（区块）切分，且为了保持随机访问的能力，同一label的逻辑点表的chunksize可以设定为一个定值。进一步地，为了支持在点上增加属性字段，而不对已存在的图文件造成修改，还可对逻辑点表的列做划分，划分为若干个列组。以前述tag逻辑点表为例，假设chunk size = 8192，两列属性分别划分在两个列组中，得到的物理点表如图2D所示。

由图2D中可见，tag逻辑点表按照chunk size = 8192被划分为两个chunk，第一个chunk中存储global id从0至8191的标准图数据，第二个chunk中存储global id从8192至16079的标准图数据。进一步地，在每个chunk中，属性数据按照name列和url列被分为两个列组，在图中分别被标示为与第一个chunk的name列对应的tag_v0_p0，与url列对应的tag_v0_p1；与第二个chunk的name列对应的tag_v1_p0，与url列对应的tag_v1_p1。

而针对边类型的标准图数据，则可以根据逻辑边表存储的图数据的信息，获得逻辑边表对应的用于记录偏移位置信息的偏移表、用于记录边的拓扑的拓扑结构表、和用于记录边属性字段的边属性表；按照第二预设大小，将偏移表按行切分为多个偏移子表；根据多个偏移子表，获得对应的多个拓扑结构子表和多个边属性子表；根据多个偏移子表、多个拓扑结构子表和多个边属性子表，对逻辑边表对应的图数据进行物理存储，得到对应的多个物理边表。本方式中，基于存储的信息的不同，将逻辑边表区分为偏移表、拓扑结构表和边属性表，需要说明的是，该区分可以仅为逻辑上的区分，而实际无需物理地将逻辑边表切分为多个边，但也可以进行实际的物理切分。通过上述方式，可以使得对边类型的图数据的管理更为高效。其中，第二预设大小可以由本领域技术人员根据实际情况适当设定，本申请实施例对此不作限制。可选地，该第二预设大小可与第一预设大小相同，以使偏移表的划分与逻辑点表的划分对齐。但本领域技术人员应当理解的是，第二预设大小也可与第一预设大小不相同，其同样可适用于本申请实施例的方案。此外，还需要说明的是，若没有偏移表，则可以直接根据一定的大小对拓扑结构表和边属性表进行切分。

为使切分前后的数据的对应关系一致，以更便于数据访问和管理，在一种可行方式中，根据多个偏移子表，获得对应的多个拓扑结构子表和边属性子表可以实现为：根据多个偏移子表，获得对应的多个包括拓扑结构表和边属性表的表块；针对每个表块，按照第三预设大小，分别将每个表块中的拓扑结构表块划分为多个拓扑结构子表；并且，按照多个拓扑结构子表，对表块中的边属性表进行划分，以获得与表块中的多个拓扑结构子表对齐的多个边属性子表。其中，第三预设大小可由本领域技术人员根据实际情况适当设定，本申请实施例对此不作限制。进一步地，针对每个边属性子表，还可按照属性分组划分为多个列组。

仍以图2B所示图例中的图对应的逻辑边表为例，该逻辑边表可被划分为三类表：即offset表（偏移表，可选）、拓扑结构表（仅包含起点、终点的global id）、边属性表（若边上没有属性，则无边属性表）。其中，offset表的划分与对应的逻辑点表的划分可以对齐，划分后的每个offset子表第一行为0 ；划分offset表后，逻辑边表中的其它部分实际上已经划分为行数不相等的子表（即表块）了，此时再对每个子表以固定的chunk size划分，划分后的chunk中同时存在拓扑结构信息和边属性信息，可以认为拓扑结构信息部分对应于拓扑结构表，边属性部分对应于边属性表，将两者再切分开来，即可形成拓扑结构子表和边属性子表，并使拓扑结构子表与边属性子表的划分对齐。

以图2B所示图例的图中的用户喜欢帖子的边对应的逻辑边表为例，设定对offset表进行切分的chunk size为1024，基于此，offset表对应的每个表块的chunk size设为1024。需要说明的是，在存在offset表的情况下，拓扑结构表应保持排序，又因为按列分组存储，可作为CSR使用。但不限于此，也可提供为CSC（压缩稀疏列），按终点选取offset表中数据和chunking。示例性地，上述用户喜欢帖子的边对应的物理边表如图2E所示。

由图2E中可见，偏移表被分为两个偏移子表，第一个偏移子表offset_v0存储global id从0至1023的偏移位置信息，第二个偏移子表offset_v1存储global id从1024至1638的偏移位置信息。第一个偏移子表对应的第一个表块又被划分为4个子块，每个子块按属性列被划分为拓扑结构子表和边属性子表，而第二个表块中数据较少，未进行再次子块划分，仅将其按属性列划分为拓扑结构子表和边属性子表。由此，获得offset_v0对应的四个拓扑结构子表，即，topo_v0_e0、topo_v0_e1、topo_v0_e2、topo_v0_e3，以及与四个拓扑结构子表对齐的边属性子表，即，prop_v0_e0、prop_v0_e1、prop_v0_e2、prop_v0_e3。以及，offset_v1对应的拓扑结构子表topo_v1_e0和边属性子表prop_v1_e0。

由此，实现了图数据的标准且有效存储。

进一步地，为了便于不同图应用或服务间的交互和图数据的长期存储，大部分情况下，标准图数据会以文件形式输出。为此，本申请实施例中，在图数据以上述逻辑点、边表形式呈现，以上述物理点、边表形式物理存储的基础上，还可以按照预设的图文件元数据信息，生成标准图数据对应的文件。

其中，图文件元数据信息包括：图文件命名信息、图文件路径基本信息、点文件元数据信息和边文件元数据信息，等。点文件元数据信息可以包括：点类型信息、第一数据切分尺寸信息、点属性分组信息、点文件路径信息，等；边文件元数据信息可以包括：边的起点、终点、及边类型信息、边文件路径信息、边拓扑结构表示方法信息、第二数据切分尺寸信息、边属性分组信息，等。

而在具体生成文件时，可以按照预设的图文件元数据信息，生成标准图数据对应的、预设类型的图文件。为了尽可能地使用和兼容已存在的图文件格式，在一种可行方式中，预设类型的图文件可以采用ORC、Parquet、HDF5、CSV等中的任何一种。

示例性地，图文件元数据信息可以实现为：

•图的元信息文件名的后缀名为.graph.yml；

•定义图的基本信息，如图的名字等；

•定义点类型对应的prefix，通过 .vertex.yml文件，描述点类型的vertex meta ；

•定义（起点类型，边类型，终点类型）三元组对应的prefix，通过 .edge.yml文件，描述该边类型的edge meta。

上述元数据中所述的vertex meta可描述如下：

•定义点类型；

•定义chunk size；

•定义点文件路径信息；

•定义点的属性的分组（可选，对于CSV必选），每个分组定义了：

o 对应的属性文件prefix和文件格式；

o 包含的属性名、类型和是否为primary key。

上述元数据中所述的edge meta可描述如下：

•定义起点、终点、边类型；

•定义chunk size；

•定义边是否有向；

•定义边文件路径信息；

•定义边拓扑结构的表示方法；

•对于每种拓扑结构的表示方法，定义拓扑结构表对应的prefix、存储的文件格式，以及边的属性分组；

•每个属性分组定义了：

o 对应的边属性表对应的文件prefix和文件格式；

o 包含的属性名、类型和是否为primary key。

通过上述元数据，可以将逻辑点表、逻辑边表存储为其对应的图文件。其中，因可将逻辑点表、逻辑边表划分为多个子表，每个子表都可以用以下四种格式之一存储为文件：

• Parquet, ORC格式：可用于存储点/边上primitive类型的属性；

• HDF5格式：可用于存储点/边上ndarray类型的数据；

• CSV格式：均可。

基于上述图文件元数据信息的定义，即可在此基础上实现图文件的生成及访问，至少包括对图文件的数据写入和数据读取。

其中，对于图文件的数据写入，可获取待写入文件的标准图数据和该标准图数据对应的节点标准格式的信息；根据标准图数据的类型，访问图文件写入接口，通过图文件写入接口将标准图数据按照节点标准格式写入与标准图数据的类型相匹配的格式的文件中，以生成对应的图文件。该写入可以分为针对点的写入和针对边的写入，在具体写入时，可以按照前述vertex meta和edge meta所定义的元数据，并考虑待写入的chunk的有效情况，将相应的数据写入相应格式的图文件，以生成最终的与点对应的图文件或者与边对应的图文件。

对于图文件的数据读取，可接收图文件读取请求；根据图文件读取请求访问图文件读取接口，通过图文件读取接口读取图文件读取请求所请求的标准图数据对应的文件，并解析获得文件中的标准图数据。例如，可以对图文件进行解析，以获取其对应的元数据的信息，以及chunk的信息，基于此，对图文件中的具体的数据进行读取，即可获得该图文件中存储的标准图数据。

因为图数据存储的标准化，使得对图文件进行数据读取和数据写入的接口也可实现为统一且标准化的接口，以方便对图数据的访问。

但在实际应用中，可能仅依靠读取出的标准图数据并不能完全实现相应的功能，因此，在本申请实施例的一种可行方式中，还可以根据图数据操作指令所指示的组合操作，对解析获得的标准图数据进行组合；根据组合结果，生成新图。如前所述，标准图数据可以按chunk并按列划分存储，该种存储方式也为重新组合不同数据以生成新图提供了极大的灵活性和便利，因此，在需要时，可以对这些标准图数据进行灵活的组合，生成实际所需的图数据及这些图数据对应的图，从而拓展了图数据的应用。

以下，通过一个场景示例对上述过程进行场景示例说明，如图2F所示。

本示例中，设定用户01通过图应用A构建了一个图X，该图X由图应用A上传至云服务端并调用前述图数据处理方法中所述的图文件写入接口，将图X生成其中的点的标准图数据对应的第一图文件和其中的边的标准图数据对应的第二图文件。并且，将第一图文件和第二图文件存储至云服务端中。

而在另一侧，另一用户02具有图应用B，希望能够通过图应用B使用图X，以生成新的图Y。在此情况下，图应用B首先会向云服务端发送图文件读取请求，以通过云服务端中的图文件读取接口，读取图X对应的第一图文件和第二图文件，并下载至本地图应用B中打开。因图应用A和B都默认图数据以本申请实施例方案中的标准节点格式存储，因此，第一图文件和第二图文件可在图应用B中被读取的使用。

进而，用户02通过图应用B对第一图文件中的部分点和第二图文件中的部分边进行重新组合，生成图Y。

可见，通过本实施例，不管何种场景或应用下产生图数据，都可使其按照预设的标准格式进行存储。其中，针对图数据中的点和边，分别对应有不同的节点标准格式，可按照图数据的节点类型进行不同的标准格式存储。由此，假设在某个图应用中构建图，其产生的图数据可以无差别地在另一个图应用中得到使用，或者无障碍地与另一个图应用进行基于图数据的交互。并且，与传统的转换方案相比，由于采用了统一的标准格式进行存储，无需进行图数据的格式转化，极大地提高了图数据的利用率。从而，有效避免了传统方式中，因各个服务或应用间使用的图数据文件的格式不同，导致的不兼容性问题，也进一步避免了基于图数据的应用或服务的数据处理效率低下，影响服务质量的问题。

并且，能够有效利用已存在的图文件格式，例如ORC、Parquet、HDF5、CSV等，并保持兼容性。基于标准格式，不同的单机/分布式图计算引擎、数据库等可以方便地加载和导出图数据。 并且，因其并未脱离图数据的特性，因而可以使得诸如Spark/Hadoop等非图计算引擎生成标准图数据或图文件，也能够支持CSR/CSC等图格式。此外，基于标准图数据，还可以方便地处理丰富的下游计算任务，如外存的图计算等；以及，可在保持payload图文件不修改的情况下进行进一步的操作，如：新的属性和点的增删改，不同类型和点和边的自由组合来组织一个新图，等等。

参照图3A，示出了根据本申请实施例的另一种图数据处理方法的步骤流程图。本实施例以在根据图生成标准图数据后，将其存储入图数据库为场景，对本申请实施例的图数据方法进行说明。

该图数据处理方法包括以下步骤：

步骤S302：获取待存储的图数据的信息。

其中，待存储的图数据可以为经由任意的图应用或非图应用产生的图的数据，诸如用于表征用户与商品之间关系的图、知识图谱中的图，等等。本申请实施例中，对图数据的具体生成及获取方式不作限制。

本申请实施例中，待存储的图数据的信息至少包括图数据的节点类型信息和数据值信息。其中，节点类型信息用于指示当前图数据为点或是为边，图数据的数据值信息用于指示点或边所对应的值，包括但不限于属性值等。但不限于此，在一种可行方式中，图数据的信息还可以包括用于表征图数据在其所属的应用中的分类的标签信息，示例性地，如某个图为商品对应的图，则其标签信息可为商品；或者，某个图为用户对应的图，则其标签信息可为用户；或者，某个图为学生的考试课目及其成绩的图，则其标签可为考试成绩，等等。

步骤S304：根据图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式。

针对图来说，其节点通常有两种类型，即：点类型和边类型。本申请实施例中，分别为这两种类型设定了相对应的节点标准格式。包括：当节点类型为点类型时，节点标准格式包括：使用逻辑点表记录点标识和与点标识相对应的至少一个点属性字段；当节点类型为边类型时，节点标准格式包括：使用逻辑边表记录边起点标识、边终点标识、和边起点标识和边终点标识所对应的边的边属性字段。通过这种方式，可以有效标准化管理图数据。

步骤S306：按照目标图数据库中各字段与节点标准格式的对应关系，基于图数据的节点类型信息和数据值信息，为图数据生成符合节点标准格式的标准图数据并存储至目标图数据库中的对应字段。

目标图数据库中包括有多个字段，如前述逻辑点表或逻辑边表中的多个字段。在一种可选方式中，目标图数据库中各字段的顺序与逻辑点表或逻辑边表一致，以提高存储效率。但在某些情况下，有可能目标图数据库中各字段的顺序与逻辑点表或逻辑边表并不完全一致，还有可能实际存储的数据一致但字段名并不完全一致，这些情况下，在将标准图数据存储入目标图数据库时，需要先确定目标图数据库中各字段与节点标准格式的对应关系，将图数据生成符合节点标准格式的标准图数据后存储入目标图数据库中相对应的字段。

以下，以一个具体场景示例对上述过程进行示例性说明，如图3B所示。

本示例中，简单以一个用户在社区论坛中发帖为示例。假设该用户的用户名name为Hamid,设定其在论坛中发表了3篇帖子post，简单示例为帖子5237、5338、6197。不管是用户Hamid还是其发表的帖子，都对应有相应的信息，如Hamid对应有url信息、每个帖子都对应有creation Date信息。由此可确定，name和post可作为图中的点，而name与post之间的关系可作为两者之间的边。则，按照前述点类型对应有节点标准格式和边类型对应的节点标准格式，可为上述数据生成相应的点类型的标准图数据和边类型的标准图数据。再假设，图数据库X（目标数据库）对应于name的字段名为用户名、对应于url的字段名为用户地址、对应于post的字段名为发帖、对应于creation Date的字段名为创建时间。则，点类型的标准图数据和边类型的标准图数据中的相应信息，将根据上述对应关系，生成能够对应存储至图数据库X（目标数据库）中的各标准图数据。进而，存储的这些标准图数据可以图的形式向用户呈现。

可见，通过本实施例，在将图数据存储入图数据库中，采用统一的标准格式进行存储，在后续基于图数据的使用和交互中，无需再进行图数据的格式转化，极大地提高了图数据的利用率。从而，有效避免了传统方式中，因各个服务或应用间使用的图数据文件的格式不同，导致的不兼容性问题，也进一步避免了基于图数据的应用或服务的数据处理效率低下，影响服务质量的问题。

参照图4，示出了根据本申请实施例的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它电子设备或服务器进行通信。

处理器402，用于执行程序410，具体可以执行上述图数据处理方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行前述方法实施例所描述的图数据处理方法对应的操作。

程序410中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一图数据处理方法对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种图数据处理方法，包括：

获取待存储的图数据的信息，其中，所述图数据的信息至少包括图数据的节点类型信息和数据值信息；

根据所述图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式；

根据所述图数据的节点类型信息和数据值信息，将所述图数据存储为符合所述节点标准格式的标准图数据。

2.根据权利要求1所述的方法，其中，所述图数据的信息还包括：所述图数据的标签信息，所述标签信息用于表征所述图数据在其所属的应用中的分类；

所述根据所述图数据的节点类型信息和数据值信息，将所述图数据存储为符合所述节点标准格式的标准图数据，包括：

根据所述图数据的标签信息、节点类型信息和数据值信息，将所述图数据存储为符合所述节点标准格式的标准图数据。

3.根据权利要求1或2所述的方法，其中，所述节点类型包括：图数据中的点类型和边类型；

当节点类型为点类型时，所述节点标准格式包括：使用逻辑点表记录点标识和与所述点标识相对应的至少一个点属性字段；

当节点类型为边类型时，所述节点标准格式包括：使用逻辑边表记录边起点标识、边终点标识、和所述边起点标识和所述边终点标识所对应的边的边属性字段。

4.根据权利要求3所述的方法，其中，

所述点类型的节点标准格式还包括：节点关键值字段；

和/或，

所述边类型的节点标准格式还包括：使用所述逻辑边表记录边起点标识对应的起点的偏移位置信息。

5.根据权利要求3所述的方法，其中，所述方法还包括：

按照第一预设大小，将所述逻辑点表按行切分为多个子表；

针对每个子表，按照所述逻辑点表的列划分，划分为多个列组；

按照划分的多个列组，对所述逻辑点表对应的图数据进行物理存储，得到对应的多个物理点表。

6.根据权利要求3所述的方法，其中，所述方法还包括：

根据所述逻辑边表存储的图数据的信息，获得所述逻辑边表对应的用于记录所述偏移位置信息的偏移表、用于记录边的拓扑的拓扑结构表、和用于记录所述边属性字段的边属性表；

按照第二预设大小，将所述偏移表按行切分为多个偏移子表；

根据所述多个偏移子表，获得对应的多个拓扑结构子表和多个边属性子表；

根据所述多个偏移子表、所述拓扑结构子表和所述多个边属性子表，对所述逻辑边表对应的图数据进行物理存储，得到对应的多个物理边表。

7.根据权利要求6所述的方法，其中，所述根据所述多个偏移子表，获得对应的多个拓扑结构子表和边属性子表，包括：

根据所述多个偏移子表，获得对应的多个包括拓扑结构表和边属性表的表块；

针对每个表块，按照第三预设大小，分别将每个表块中的拓扑结构表划分为多个拓扑结构子表；并且，按照所述多个拓扑结构子表，对所述表块中的边属性表进行划分，以获得与所述表块中的多个拓扑结构子表对齐的多个边属性子表。

8.根据权利要求1所述的方法，其中，所述方法还包括：

按照预设的图文件元数据信息，生成所述标准图数据对应的文件。

9.根据权利要求8所述的方法，其中，所述图文件元数据信息包括：图文件命名信息、图文件路径基本信息、点文件元数据信息和边文件元数据信息；

其中，

所述点文件元数据信息包括：点类型信息、第一数据切分尺寸信息、点属性分组信息、点文件路径信息；

所述边文件元数据信息包括：边的起点、终点、及边类型信息、边文件路径信息、边拓扑结构表示方法信息，第二数据切分尺寸信息、边属性分组信息。

10.根据权利要求8所述的方法，其中，所述方法还包括：

接收图文件读取请求；

根据所述图文件读取请求访问图文件读取接口，通过所述图文件读取接口读取所述图文件读取请求所请求的标准图数据对应的文件，并解析获得所述文件中的标准图数据。

11.根据权利要求8所述的方法，其中，所述方法还包括：

获取待写入文件的标准图数据和所述标准图数据对应的节点标准格式的信息；

根据所述标准图数据的类型，访问图文件写入接口，通过所述图文件写入接口将所述标准图数据按照所述节点标准格式写入与所述标准图数据的类型相匹配的格式的文件中，以生成对应的图文件。

12.一种图数据处理方法，包括：

获取待存储的图数据的信息，其中，所述图数据的信息至少包括图数据的节点类型信息和数据值信息；

根据所述图数据的节点类型信息所指示的节点类型，确定相匹配的节点标准格式；

按照目标图数据库中各字段与所述节点标准格式的对应关系，基于所述图数据的节点类型信息和数据值信息，为所述图数据生成符合所述节点标准格式的标准图数据并存储至所述目标图数据库中的对应字段。

13.根据权利要求12所述的方法，其中，所述节点类型包括：图数据中的点类型和边类型；

当节点类型为点类型时，所述节点标准格式包括：使用逻辑点表记录点标识和与所述点标识相对应的至少一个点属性字段；

当节点类型为边类型时，所述节点标准格式包括：使用逻辑边表记录边起点标识、边终点标识、和所述边起点标识和所述边终点标识所对应的边的边属性字段。

14.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的方法对应的操作。

Images