CN111090782A - 一种图数据存储方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种图数据存储方法、装置、设备及存储介质。该方法包括：接收对图数据库的数据操作指令；根据所述数据操作指令将待存储图数据写入客户端缓存；将所述客户端缓存的待存储图数据异步存储至HBase服务端。通过上述技术方案，提高了图数据的写入速度和存储效率。

Description

一种图数据存储方法、装置、设备及存储介质

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种图数据存储方法、装置、设备及存储介质。

背景技术

图是一种数据结构，其中的节点(或称为顶点)具有零个或至少一个相邻元素，两个节点之间的连接称为边，用于表示相应两个节点之间的关系，图数据库的数据模型主要以顶点和边来体现，可支持大量用户并发执行复杂的实时图遍历和分析查询等。图数据库支持很多的数据库作为数据的存储介质，其中HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，对大数据提供随机、实时的读写访问功能。

目前，图数据库通过插件机制支持后端存储，插件是一种遵循一定规范的应用程序接口编写的程序，只能在程序规定的系统平台下运行，不能脱离程序规定的系统平台单独运行，插件可以加载到应用程序上实现数据的动态更新。对于图数据库后端存储至HBase服务端的情况，由于默认提供的HBase存储插件通过同步接口将图数据写入HBase服务端，在大容量在线系统频繁执行操作时写入速度很慢、效率低下，导致用户无法及时检索到最新图数据，也不能充分发挥HBase超大规模数据集快速读写能力，满足不了大规模图数据快速批量写入需求。

发明内容

本发明提供了一种图数据存储方法、装置、设备及存储介质，以提高图数据的写入速度和存储效率。

第一方面，本发明实施例提供了一种图数据存储方法，包括：

接收对图数据库的数据操作指令；

根据所述数据操作指令将待存储图数据写入客户端缓存；

将所述客户端缓存的待存储图数据异步存储至HBase服务端。

进一步的，还包括：

配置所述图数据库的存储参数信息，所述存储参数信息包括后端存储类型、HBase连接信息、HBase表信息以及扩展参数；

所述后端存储类型包括HBase异步写入插件的JAVA实现类；

所述HBase连接信息包括所述HBase服务端的服务地址和端口号；

所述HBase表信息包括用于存储所述待存储图数据的HBase表名称；

所述扩展参数包括客户端缓存容量和写入数据的最大重试次数。

进一步的，在接收对图数据库的数据操作指令之前，还包括：

创建图工厂类；

通过所述图工厂类加载并解析所述存储参数信息，获取对应的图实例；

根据所述图实例创建HBase异步写入插件，其中，所述HBase异步写入插件用于解析所述存储参数信息并分配客户端缓存，还用于连接HBase服务端并通过至少一个写入线程将客户端缓存的待存储图数据异步存储至HBase服务端。

进一步的，还包括：

接收图数据库的关闭请求或事务提交请求；

在接收图数据库的关闭请求或事务提交请求之后，通过后台监控线程检测到所述客户端缓存中还存在待存储图数据时，将所述待存储图数据存储至所述HBase服务端。

进一步的，还包括：

通过异常处理监听器收集存储失败的数据，所述存储失败的数据包括所述客户端缓存中在最大重试次数之内未写入HBase客户端的待存储图数据。

进一步的，所述根据所述数据操作指令将待存储图数据写入客户端缓存，包括：

根据所述数据操作指令将所述待存储图数据转换为HBase表支持的数据格式，所述数据格式包括添加格式和删除格式；

将转换后的待存储图数据写入客户端缓存。

进一步的，所述将所述客户端缓存的待存储图数据异步存储至HBase服务端，包括：

按照设定周期定期将所述客户端缓存的待存储图数据异步写入HBase服务端；或者，

在检测到客户端缓存的待存储图数据达到客户端缓存容量时，将所述客户端缓存的待存储图数据异步写入HBase服务端。

第二方面，本发明实施例提供了一种图数据存储装置，包括：

指令接收模块，用于接收对图数据库的数据操作指令；

缓存模块，用于根据所述数据操作指令将待存储图数据写入客户端缓存；

存储模块，用于将所述客户端缓存的待存储图数据异步存储至HBase服务端。

第三方面，本发明实施例提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图数据存储方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图数据存储方法。

本发明实施例提供了一种图数据存储方法、装置、设备及存储介质。该方法包括：接收对图数据库的数据操作指令；根据所述数据操作指令将待存储图数据写入客户端缓存；将所述客户端缓存的待存储图数据异步存储至HBase服务端。通过上述技术方案，提高了图数据的写入速度和存储效率。

附图说明

图1为本发明实施例一提供的一种图数据存储方法的流程图；

图2为本发明实施例二提供的一种图数据存储方法的流程图；

图3为本发明实施例三提供的一种图数据存储装置的结构示意图；

图4为本发明实施例四提供的一种设备的硬件结构示意图；

图5为本发明实施例四提供的一种图数据存储系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图数据存储方法的流程图，本实施例可适用于将图数据库中的待存储图数据存储至Hbase客户端的情况。具体的，该图数据存储方法可以由图数据存储装置执行，该图数据存储装置可以通过软件和/或硬件的方式实现，并集成在设备中。进一步的，设备是指图数据库的客户端。如图1所示，该方法具体包括如下步骤：

S110、接收对图数据库的数据操作指令。

具体的，数据操作指令包括对图数据库中的数据进行增删改等指令。图数据库例如可以为Janus Graph，Janus Graph是一个开源的分布式图数据库，通过多机集群可支持存储和查询数百亿顶点和边的图数据，它是一个事务数据库，支持大量用户高并发地执行复杂的实时图遍历和分析查询。

S120、根据所述数据操作指令将待存储图数据写入客户端缓存。

具体的，客户端缓存是从图数据库客户端本地的物理内存划分出的空间，用于缓冲从客户端写到服务器的待存储图数据。利用客户端缓存，待存储图数据不再直接写入服务端硬盘，而是先写入本地缓存，在满足一定条件的情况下再回写至服务端，从而降低服务端对数据的读写压力和网络负载。

S130、将所述客户端缓存的待存储图数据异步存储至HBase服务端。

具体的，图数据库采用插件机制支持各类后端存储系统，例如，图数据库利用默认提供的HBase存储插件通过同步接口将数据写入Hbase服务端，这种情况下的存储效率低，无法满足大规模图数据快速批量写入需求。本实施例通过将待存储的图数据写入客户端本地缓存，然后通过后台异步写入线程将缓存中的待存储图数据异步、批量写入HBase服务端，从而提高图数据库的存储入库效率。

实施例二

图2为本发明实施例二提供的一种图数据存储方法的流程图，本实施例是在上述实施例的基础上进行优化，对在将待存储图数据写入客户端缓存之前的存储参数信息配置、图工厂类和各线程的创建以及待存储图数据写入服务端的过程进行详细说明。需要说明的是，未在本实施例中详尽描述的技术细节可参见上述任意实施例。

具体的，如图2所示，该方法具体包括如下步骤：

S210、配置所述图数据库的存储参数信息，所述存储参数信息包括后端存储类型、HBase连接信息、HBase表信息以及扩展参数。

进一步的，后端存储类型包括HBase异步写入插件的JAVA实现类；HBase连接信息包括HBase服务端的服务地址和端口号；HBase表信息包括用于存储待存储图数据的HBase表名称；扩展参数包括客户端缓存容量和写入数据的最大重试次数。

具体的，后端存储类型用于指定图数据库后端存储的系统插件，在本实施例中配置为HBase异步写入插件的JAVA实现类；连接信息参数用于配置HBase服务端具体的服务地址和端口号，图数据库客户端据此与HBase服务端建立连接并写入待存储图数据；HBase表信息包括用于存储待存储图数据的HBase表名称，可以按照业务需求为不同的图实例分别设置HBase存储表的名称；扩展参数包括客户端缓存容量和最大重试次数等，在使用HBase异歩写入插件的过程中可以更精确地控制内部模块的功能特性。

可选的，图数据库客户端从配置文件中读取存储参数信息，验证各配置项的有效性，在任意配置项未指定具体值的情况下，使用预置的默认值代替。

S220、创建图工厂类，通过所述图工厂类加载并解析所述存储参数信息，获取对应的图实例。

S230、根据所述图实例创建HBase异步写入插件。

进一步的，HBase异步写入插件用于解析存储参数信息并分配客户端缓存，还用于连接HBase服务端并通过至少一个写入线程将客户端缓存的待存储图数据异步存储至HBase服务端。

具体的，图实例初始化时会根据配置的后端存储类型创建HBase异歩写入插件，通过异歩写入插件解析存储参数信息中的各配置项，分配客户端缓存，启动一个或多个异步写入线程，用于连接远程HBase服务器并在满足一定条件的情况下将客户端缓存中的待存储图数据写入到HBase服务端。

可选的，启动后台监控线程，后台监控线程用于在异歩写入插件的进程关闭时，确保将客户端缓存中剩余的最后一批待存储图数据写入至HBase服务端，以保证待存储图数据最终都正确存储。

可选的，注册异常处理监听器，异常处理监听器用于手机超出最大重试次数后仍然存储失败的图数据，输出到外部文件系统，便于后期对这部分存储失败的数据进行补入。

需要说明的是，S210-S230为预处理的过程，包括存储参数信息配置、图工厂类和各线程的创建。

S240、根据对图数据库的数据操作指令将所述待存储图数据转换为HBase表支持的数据格式，所述数据格式包括添加格式和删除格式。

具体的，在接收到对图数据库的顶点或边的增删改等数据操作指令后，将对图数据的操作转换成后端存储HBase表支持的数据格式，包括Put和Delete，然后将待存储图数据写入客户端缓存。

S250、将转换后的待存储图数据写入客户端缓存。

S260、将所述客户端缓存的待存储图数据异步存储至HBase服务端。

具体的，启动一个或多个异歩写入线程，从客户端缓存中取出待存储图数据并批量写入远程HBase服务端。

可选的，将所述客户端缓存的待存储图数据异步存储至HBase服务端，包括：按照设定周期定期将所述客户端缓存的待存储图数据异步写入HBase服务端；或者，在检测到客户端缓存的待存储图数据达到客户端缓存容量时，将客户端缓存的待存储图数据异步写入HBase服务端，即，在客户端本地缓存的待存储图数据超出扩展参数的客户端缓存容量的大小限制之后，将缓存的待存储图数据异步写入HBase服务端。

S270、接收图数据库的关闭请求或事务提交请求。

S280、通过后台监控线程检测到所述客户端缓存中还存在待存储图数据，则将所述待存储图数据存储至所述HBase服务端。

具体的，在接收到图数据库的关闭请求或事务提交请求时，客户端本地中可能还存在剩余的待存储图数据未写入Hbase服务端，则通过后台监控线程立即将最后一批待存储图数据写入到HBase服务端，

S290、通过异常处理监听器收集存储失败的数据。

进一步的，所述存储失败的数据包括所述客户端缓存中在最大重试次数之内未写入HBase客户端的待存储图数据。

具体的，通过创建通过异常处理监听器并注册到异步写入线程，当客户的缓存中的待存储数据写入HBase服务端对失败次数超过扩展参数中设定的最大重试次数后，通知监视器记录该写入异常的待存储图数据，如果异常处理监听器输出的存储失败的图数据文件为空，则将其删除清理，否则落地保存到外部文件系统，便于业务系统进行分析，以及后续对这部分异常的图数据进行补录。

本发明实施例二提供的一种图数据存储方法，在上述实施例的基础上进行优化，通过将对图数据库的增删改等操作数据先写入客户端缓存，然后通过后台的一个或多个异步写入线程，在满足一定条件的情况下将客户端缓存中的待存储图数据批量写入HBase服务端，提高了图数据的存储入库效率，满足大容量在线系统频繁执行写操作需求；本实施例中的异步写入插件遵守图数据库组件规范，业务系统使用时只需要在配置文件中进行简单设置即可，业务系统原有代码不需要进行任何修改，易于实现；此外还提供了后台监控和异常处理机制，保证在异步写入线程停止时客户端缓存中剩余的最后一批待缓存数据成功存储至Hbase服务端，对于超出最大重试次数后仍然写入失败的数据，会保存输出到外部文件系统，以便后续可以对这部分数据进行补入处理，全面提高图数据后端存储的性能。

实施例三

图3为本发明实施例三提供的一种图数据存储装置的结构示意图。如图3所示，本实施例提供的图数据存储装置包括：

指令接收模块310，用于接收对图数据库的数据操作指令；

缓存模块320，用于根据所述数据操作指令将待存储图数据写入客户端缓存；

存储模块330，用于将所述客户端缓存的待存储图数据异步存储至HBase服务端。

本发明实施例三提供的一种图数据存储装置，通过将待存储图数据写入客户端缓存，将所述客户端缓存的待存储图数据异步存储至HBase服务端，提高了图数据的写入速度和存储效率。

在上述实施例的基础上，所述装置还包括：

配置模块，用于配置所述图数据库的存储参数信息，所述存储参数信息包括后端存储类型、HBase连接信息、HBase表信息以及扩展参数：

所述后端存储类型包括HBase异步写入插件的JAVA实现类；

所述HBase连接信息包括所述HBase服务端的服务地址和端口号；

所述HBase表信息包括用于存储所述待存储图数据的HBase表名称；

所述扩展参数包括客户端缓存容量和写入数据的最大重试次数。

在上述实施例的基础上，所述装置还包括：

类创建模块，用于创建图工厂类；

图实例获取模块，用于通过所述图工厂类加载并解析所述存储参数信息，获取对应的图实例；

插件创建模块，用于根据所述图实例创建HBase异步写入插件，其中，所述HBase异步写入插件用于解析所述存储参数信息并分配客户端缓存，还用于连接HBase服务端并通过至少一个写入线程将客户端缓存的待存储图数据异步存储至HBase服务端。

进一步的，还包括：

请求接收模块，用于接收图数据库的关闭请求或事务提交请求；

后台监控模块，用于在接收图数据库的关闭请求或事务提交请求之后，通过后台监控线程检测到所述客户端缓存中还存在待存储图数据时，将所述待存储图数据存储至所述HBase服务端。

进一步的，还包括：

异常监听模块，用于通过异常处理监听器收集存储失败的数据，所述存储失败的数据包括所述客户端缓存中在最大重试次数之内未写入HBase客户端的待存储图数据。

进一步的，存储模块330，具体用于：

按照设定周期定期将所述客户端缓存的待存储图数据异步写入HBase服务端；或者，

在检测到客户端缓存的待存储图数据达到客户端缓存容量时，将所述客户端缓存的待存储图数据异步写入HBase服务端

本发明实施例三提供的图数据存储装置可以用于执行上述任意实施例提供的图数据存储方法，具备相应的功能和有益效果。

实施例四

图4为本发明实施例四提供的一种设备的硬件结构示意图。本实施例中中的设备指图数据库的客户端。该设备中的处理器可以是一个或多个，图4中以一个处理器410为例，所述设备中的处理器410和存储装置420可以通过总线或其他方式连接，图4中以通过总线连接为例。

所述一个或多个程序被所述一个或多个处理器410执行，使得所述一个或多个处理器实现上述实施例中任意所述的图数据存储方法。

该设备中的存储装置420作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中图数据存储方法对应的程序指令/模块(例如，附图3所示的图数据存储装置中的模块，包括：指令接收模块310、缓存模块320以及存储模块330)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中的图数据存储方法。

存储装置420主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等(如上述实施例中的待存储图数据、数据操作指令等)。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

并且，当上述设备中所包括一个或者多个程序被所述一个或者多个处理器410执行时，进行如下操作：接收对图数据库的数据操作指令；根据所述数据操作指令将待存储图数据写入客户端缓存；将所述客户端缓存的待存储图数据异步存储至HBase服务端。

本实施例提出的设备与上述实施例提出的图数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行图数据存储方法相同的有益效果。

在上述实施例的基础上，本实施例还提供一种图数据存储系统。

图5为本发明实施例四提供的一种图数据存储系统的结构示意图。如图5所示，该系统包括：配置参数加载解析模块510、图数据库请求接收处理模块520、HBase表异步写入模块530、异常数据处理模块510和任务管理模块550。

配置参数加载解析模块510用于从配置文件读取存储参数信息，验证各配置项的有效性，在任意配置项未指定有效值时生成日志提示信息并使用预置的默认值代替。图数据库请求接收处理模块520在接收到业务系统对图数据库节点和边的增删改等操作后，首先将图数据转换成后端存储HBase表支持的Put或Delete的数据格式，然后将待存储图数据写入客户端缓存。HBase表异步写入模块530启动一个或多个后台异步写入线程，在满足一定条件的情况下从客户端缓存中取出待存储图数据，并批量写入到远程HBase服务端。异常数据处理模块540通过创建一个异常处理监听器并注册到异步写入线程，在待存储图数据写入HBase服务端的失败次数超过设定的最大重试次数后，通知异常处理监听器记录该异常数据并输出到外部文件系统，以便业务系统进行分析，也可以后续对这部分数据进行补录。任务管理模块550通过编排其他各模块来合理分配资源，确保所有模块有序高效地完成图数据的异步批量存储任务。

本实施例的图数据存储系统，与上述实施例的图数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行图数据存储方法相同的有益效果。

在上述实施例的基础上，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被图数据存储装置执行时实现本发明上述任意实施例中的图数据存储方法，该方法包括：接收对图数据库的数据操作指令；根据所述数据操作指令将待存储图数据写入客户端缓存；将所述客户端缓存的待存储图数据异步存储至HBase服务端。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图数据存储方法操作，还可以执行本发明任意实施例所提供的图数据存储方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图数据存储方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图数据存储方法，其特征在于，包括：

接收对图数据库的数据操作指令；

根据所述数据操作指令将待存储图数据写入客户端缓存；

将所述客户端缓存的待存储图数据异步存储至HBase服务端。

2.根据权利要求1所述的方法，其特征在于，还包括：

配置所述图数据库的存储参数信息，所述存储参数信息包括后端存储类型、HBase连接信息、HBase表信息以及扩展参数；

所述后端存储类型包括HBase异步写入插件的JAVA实现类；

所述HBase连接信息包括所述HBase服务端的服务地址和端口号；

所述HBase表信息包括用于存储所述待存储图数据的HBase表名称；

所述扩展参数包括客户端缓存容量和写入数据的最大重试次数。

3.根据权利要求2所述的方法，其特征在于，在接收对图数据库的数据操作指令之前，还包括：

创建图工厂类；

通过所述图工厂类加载并解析所述存储参数信息，获取对应的图实例；

根据所述图实例创建HBase异步写入插件，其中，所述HBase异步写入插件用于解析所述存储参数信息并分配客户端缓存，还用于连接HBase服务端并通过至少一个写入线程将客户端缓存的待存储图数据异步存储至HBase服务端。

4.根据权利要求1所述的方法，其特征在于，还包括：

接收图数据库的关闭请求或事务提交请求；

在接收图数据库的关闭请求或事务提交请求之后，通过后台监控线程检测到所述客户端缓存中还存在待存储图数据时，将所述待存储图数据存储至所述HBase服务端。

5.根据权利要求1所述的方法，其特征在于，还包括：

通过异常处理监听器收集存储失败的数据，所述存储失败的数据包括所述客户端缓存中在最大重试次数之内未写入HBase客户端的待存储图数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述数据操作指令将待存储图数据写入客户端缓存，包括：

根据所述数据操作指令将所述待存储图数据转换为HBase表支持的数据格式，所述数据格式包括添加格式和删除格式；

将转换后的待存储图数据写入客户端缓存。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述客户端缓存的待存储图数据异步存储至HBase服务端，包括：

按照设定周期定期将所述客户端缓存的待存储图数据异步写入HBase服务端；或者，

在检测到客户端缓存的待存储图数据达到客户端缓存容量时，将所述客户端缓存的待存储图数据异步写入HBase服务端。

8.一种图数据存储装置，其特征在于，包括：

指令接收模块，用于接收对图数据库的数据操作指令；

缓存模块，用于根据所述数据操作指令将待存储图数据写入客户端缓存；

存储模块，用于将所述客户端缓存的待存储图数据异步存储至HBase服务端。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图数据存储方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的图数据存储方法。

Images