CN111723251A

CN111723251A - 一种图数据库数据导入的方法、系统及设备

Info

Publication number: CN111723251A
Application number: CN202010567647.8A
Authority: CN
Inventors: 王飞杨; 张东
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2020-06-19
Filing date: 2020-06-19
Publication date: 2020-09-29

Abstract

本申请公开了一种图数据库数据导入的方法，包括：根据输入的数据导入请求确定实体表及对应的关系表；对实体表及关系表进行重构，得到对应的重构数据表；将每个重构数据表封装为预设格式的数据文件，并将数据文件导入图数据库中。本申请所提供的技术方案，无需用户执行繁琐的配置步骤，也不需要用户掌握groovy编程语言去写处理数据的脚本，只需输入实体表及关系表即可，极大的简化了图数据库数据导入的过程，提高了数据导入的效率。本申请同时还提供了一种图数据库数据导入的系统、设备及可读存储介质，具有上述有益效果。

Description

一种图数据库数据导入的方法、系统及设备

技术领域

本申请涉及图数据库领域，特别涉及一种图数据库数据导入的方法、系统、设备及可读存储介质。

背景技术

图数据库指是NoSQL数据库的一种类型，是一种非关系型数据库，其应用图形理论存储实体之间的关系信息。例如，社会网络中人与人之间的关系，在图数据库中，每个人被表示为一个点，人与人之间的关系就用点和点之间的边来表示。传统的关系型数据库用于存储”关系型”数据效果，并不理想，往往存在查询复杂、缓慢的缺陷，而图数据库则能够完善地弥补该缺陷。现有的图数据库有很多，包括但不限于：Neo4j、Arangodb、Orientdb、JanusGraph等图数据库。常见的实体及实体关系查询，是通过查询存储实体及实体关系的图数据库来获取。

近年来，随着数据量的不断增长，实体与实体之间的关系越来越复杂，普通的关系型数据库很难实现复杂关系查询及相关数据分析操作，需将数据批量导入到图数据库中，而关于批量导入数据到图数据库的方法还不够完善，而且实施起来步骤繁琐或者需要实施者掌握groovy语言等相关技术，对用户专业技能方面的要求较高，导致图数据库数据导入的过程复杂且难以实施，影响了数据导入的效率。

因此，如何提高图数据库数据导入的效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种图数据库数据导入的方法、系统、设备及可读存储介质，用于提高图数据库数据导入的效率。

为解决上述技术问题，本申请提供一种图数据库数据导入的方法，该方法包括：

根据输入的数据导入请求确定实体表及对应的关系表；

对所述实体表及所述关系表进行重构，得到对应的重构数据表；

将每个所述重构数据表封装为预设格式的数据文件，并将所述数据文件导入图数据库中。

可选的，对所述实体表及所述关系表进行重构，得到对应的重构数据表，包括：

根据所述关系表中的关系在所述实体表中添加对应的关系项；

为所述实体表及所述关系表分配对应的编号，并根据每个所述编号分别对所述实体表及所述关系表中的标识项进行重构，得到所述重构数据表。

可选的，根据每个所述编号分别对所述实体表及所述关系表中的标识项进行重构，包括：

将所述编号与所述标识项进行拼接，得到拼接字符串；

对所述拼接字符串进行强制类型转换，得到转换值，并将所述标识项更新为所述转换值。

可选的，在将所述数据文件导入图数据库中之前，还包括：

获取配置信息，并根据所述配置信息确定所述图数据库。

可选的，还包括：

执行接收到的修改命令对所述配置信息进行修改。

可选的，在将所述数据文件导入图数据库中之后，还包括：

输出数据导入成功的提示信息。

可选的，所述预设格式包括json格式、XML格式、yaml格式中的至少一项。

本申请还提供一种图数据库数据导入的系统，该系统包括：

确定模块，用于根据输入的数据导入请求确定实体表及对应的关系表；

重构模块，用于对所述实体表及所述关系表进行重构，得到对应的重构数据表；

封装模块，用于将每个所述重构数据表封装为预设格式的数据文件，并将所述数据文件导入图数据库中。

本申请还提供一种图数据库数据导入设备，该图数据库数据导入设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述图数据库数据导入的方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图数据库数据导入的方法的步骤。

本申请所提供图数据库数据导入的方法，包括：根据输入的数据导入请求确定实体表及对应的关系表；对实体表及关系表进行重构，得到对应的重构数据表；将每个重构数据表封装为预设格式的数据文件，并将数据文件导入图数据库中。

本申请所提供的技术方案，通过对实体表及关系表进行重构，得到对应的重构数据表，然后将每个重构数据表封装为预设格式的数据文件并导入图数据库中即可，整个过程无需用户执行繁琐的配置步骤，也不需要用户掌握groovy编程语言去写处理数据的脚本，只需输入实体表及关系表即可，极大的简化了图数据库数据导入的过程，提高了数据导入的效率。本申请同时还提供了一种图数据库数据导入的系统、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种图数据库数据导入的方法的流程图；

图2为本申请实施例所提供的一种实体与实体之间关系的示意图；

图3为本申请实施例所提供的一种图数据库数据导入的系统的结构图；

图4为本申请实施例所提供的一种图数据库数据导入设备的结构图。

具体实施方式

本申请的核心是提供一种图数据库数据导入的方法、系统、设备及可读存储介质，用于提高图数据库数据导入的效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于目前关于批量导入数据到图数据库的方法还不够完善，而且实施起来步骤繁琐或者需要实施者掌握groovy语言等相关技术，对用户专业技能方面的要求较高，导致图数据库数据导入的过程复杂且难以实施，影响了数据导入的效率，故本申请提供了一种图数据库数据导入的方法，用于解决上述问题。

请参考图1，图1为本申请实施例所提供的一种图数据库数据导入的方法的流程图。

其具体包括如下步骤：

S101：根据输入的数据导入请求确定实体表及对应的关系表；

这里提到的实体表中存有实体名称，关系表中存有实体之间的关联关系，请参考图2，图2为本申请实施例所提供的一种实体与实体之间关系的示意图，如图2所示，对于顶点1来说：

边标签为“friend”的边是它的出边(outE)，顶点2是这个出边的入点(inV)

对于顶点2来说：

边标签为“friend”的边是它的入边(inE)，顶点1是这个入边的出点(outV)。

在一个具体实施例中，需要根据输入的数据导入请求确定如下信息：

实体表A，左关联点a，关系表AB，关系唯一性标识ab，右关联点b，实体表B；

其中，左关联点a能唯一标识实体表A中的每一个实体，关系唯一性标识ab能唯一标识关系表AB中的每一条关系，右关联点b能唯一标识B中的每一个实体，且a，b同时存在于关系表AB中，默认关系的方向从左到右，即为A->B。

S102：对实体表及关系表进行重构，得到对应的重构数据表；

在本步骤中，为确保每个实体和关系在整个图中的唯一性，需要对实体表及关系表进行重构。

可选的，这里提到的对实体表及关系表进行重构，得到对应的重构数据表，其具体可以为：

根据关系表中的关系在实体表中添加对应的关系项；

为实体表及关系表分配对应的编号，并根据每个编号分别对实体表及关系表中的标识项进行重构，得到重构数据表。

进一步的，这里提到的根据每个编号分别对实体表及关系表中的标识项进行重构，其具体可以为：

将编号与标识项进行拼接，得到拼接字符串；

对拼接字符串进行强制类型转换，得到转换值，并将标识项更新为转换值。

这里以实体表A、实体表B和关系表AB为例进行说明：

1)根据关系表中的关系在实体表中添加对应的关系项

①在实体表A中添加outEtable项，每一个实体中的对应值设为{AB}，此项指明实体表A中实体的outE(出边)应该去关系表AB中寻找；

②在实体表B中添加inEtable项，将实体表B中每一个实体中的对应值设为{AB}，指明实体表B的inE(入边)信息应去关系表AB中寻找。

2)根据每个编号分别对实体表及关系表中的标识项进行重构

①对所有表(包括实体表、关系表)进行编号001，002，003，对应到输入数据为A(001)、B(002)、AB(003)；

②将表编号与原始值进行字符串拼接(“表编号”+”原始值”)；

③对拼接好的字符串进行强制类型转换，这里以int类型为例，即int(“表编号”+”原始值”)；

④更新实体表中标识项的值为int(“实体表编号”+”原始值”)，更新关系表中标识项的值为int(“关系表编号”+”原始值”)；

对应实体表A中，则是更新a的值为int(“001”+”原始值”)，对应到关系表AB中，则是更新ab项的值为int(“003”+”原始值”)。

S103：将每个重构数据表封装为预设格式的数据文件，并将数据文件导入图数据库中。

可选的，这里提到的预设格式可以包括json格式、XML格式、yaml格式中的至少一项。

可选的，在将数据文件导入图数据库中之前，还可以执行如下步骤：

获取配置信息，并根据配置信息确定图数据库。

这里提到的配置信息可以包括配置存储后端信息、索引后端信息等。

进一步的，还可以执行接收到的修改命令对配置信息进行修改。

可选的，在将数据文件导入图数据库中之后，还可以输出数据导入成功的提示信息，以提醒用户导入完成，并及时输入下一步的操作指令。

基于上述技术方案，本申请所提供的一种图数据库数据导入的方法，通过对实体表及关系表进行重构，得到对应的重构数据表，然后将每个重构数据表封装为预设格式的数据文件并导入图数据库中即可，整个过程无需用户执行繁琐的配置步骤，也不需要用户掌握groovy编程语言去写处理数据的脚本，只需输入实体表及关系表即可，极大的简化了图数据库数据导入的过程，提高了数据导入的效率。

下面介绍本申请提供的一种应用实施例，这里以消费者表、订单表、商品表为例进行说明：

consumer_id	name	age
			1	Lucy	18
2	Tom	25

consumer(消费者表)

id	consumer_id	goods_id	number
				1	1	1	1
2	1	2	4

order(订单表)

goods_id	name	price
			1	shoes	167
2	skirt	99

goods(商品表)

则可以根据上述表确定如下信息：

根据上述信息对数据进行重构得到：

consumer_id	name	age	outEtable
				11	Lucy	18	order
12	Tom	25	order

consumer(001)

order_id	consumer_id	goods_id	number
				21	11	31	1
22	11	32	4

order(002)

goods_id	name	price	inEtable
				31	shoes	167	order
32	skirt	99	order

goods(003)

这里以将实体11封装为json格式的数据文件为例，

将实体12、31、32也进行格式化封装，最终将封装好的json数据导入图数据库中。

请参考图3，图3为本申请实施例所提供的一种图数据库数据导入的系统的结构图。

该系统可以包括：

确定模块100，用于根据输入的数据导入请求确定实体表及对应的关系表；

重构模块200，用于对实体表及关系表进行重构，得到对应的重构数据表；

封装模块300，用于将每个重构数据表封装为预设格式的数据文件，并将数据文件导入图数据库中。

在上述实施例的基础上，在一个具体实施例中，该重构模块200可以包括：

添加子模块，用于根据关系表中的关系在实体表中添加对应的关系项；

重构子模块，用于为实体表及关系表分配对应的编号，并根据每个编号分别对实体表及关系表中的标识项进行重构，得到重构数据表。

在上述实施例的基础上，在一个具体实施例中，该重构子模块可以包括：

拼接单元，用于将编号与标识项进行拼接，得到拼接字符串；

转换单元，用于对拼接字符串进行强制类型转换，得到转换值，并将标识项更新为转换值。

在上述实施例的基础上，在一个具体实施例中，该系统还可以包括：

获取模块，用于获取配置信息，并根据配置信息确定图数据库。

修改模块，用于执行接收到的修改命令对配置信息进行修改。

输出模块，用于在将数据文件导入图数据库中之后，输出数据导入成功的提示信息。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图4，图4为本申请实施例所提供的一种图数据库数据导入设备的结构图。

该图数据库数据导入设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)422(例如，一个或一个以上处理器)和存储器432，一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，处理器422可以设置为与存储介质430通信，在图数据库数据导入设备400上执行存储介质430中的一系列指令操作。

图数据库数据导入设备400还可以包括一个或一个以上电源424，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口458，和/或，一个或一个以上操作系统441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述图1至图2所描述的图数据库数据导入的方法中的步骤由图数据库数据导入设备基于该图4所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种图数据库数据导入的方法、系统、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语”包括”、”包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句”包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种图数据库数据导入的方法，其特征在于，包括：

根据输入的数据导入请求确定实体表及对应的关系表；

2.根据权利要求1所述的方法，其特征在于，对所述实体表及所述关系表进行重构，得到对应的重构数据表，包括：

3.根据权利要求2所述的方法，其特征在于，根据每个所述编号分别对所述实体表及所述关系表中的标识项进行重构，包括：

将所述编号与所述标识项进行拼接，得到拼接字符串；

4.根据权利要求1所述的方法，其特征在于，在将所述数据文件导入图数据库中之前，还包括：

获取配置信息，并根据所述配置信息确定所述图数据库。

5.根据权利要求4所述的方法，其特征在于，还包括：

执行接收到的修改命令对所述配置信息进行修改。

6.根据权利要求1所述的方法，其特征在于，在将所述数据文件导入图数据库中之后，还包括：

输出数据导入成功的提示信息。

7.根据权利要求1所述的方法，其特征在于，所述预设格式包括json格式、XML格式、yaml格式中的至少一项。

8.一种图数据库数据导入的系统，其特征在于，包括：

9.一种图数据库数据导入设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述图数据库数据导入的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图数据库数据导入的方法的步骤。