CN115905291B

CN115905291B - 基于图的数据处理方法、装置及存储介质

Info

Publication number: CN115905291B
Application number: CN202211597592.0A
Authority: CN
Inventors: 陶超; 林军; 莫振浩; 孙扬福; 林志诚; 黄宝红; 卢邵婷; 曾沂轮; 蔡卫国; 廖天兰
Original assignee: Guangzhou Nanfang Intelligent Technology Co ltd
Current assignee: Guangzhou Nanfang Intelligent Technology Co ltd
Priority date: 2022-12-12
Filing date: 2022-12-12
Publication date: 2024-02-23
Anticipated expiration: 2042-12-12
Also published as: CN115905291A

Abstract

本发明公开了基于图的数据处理方法，包括：模型构建步骤：获取业务需求并根据业务需求创建业务域，并在业务域中创建业务对象和业务关系，并根据业务对象和业务关系获取实体对象和实体关系，然后根据实体对象和实体关系构建图数据库模型；模型应用步骤：获取数据库操作指令并对数据库操作指令进行解析，进而根据解析结果对图数据库模型进行对应操作，并将操作结果反馈给用户。本发明能够满足现有的企业数据存储日益增长的需求。本发明还公开了基于图的数据处理装置及存储介质。

Description

基于图的数据处理方法、装置及存储介质

技术领域

本发明涉及数据存储，尤其涉及基于图的数据处理方法、装置及存储介质。

背景技术

目前对于企业内的数据的存储，一般是通过传统的数据库进行存储，比如常用的SQl数据库、Ocral数据库等，这些数据库均为关系型数据库，其在对数据进行存储时通常以表格的方式存储数据，每个数据以字段的形式存储到数据库中。当需要查询数据时，按照数据库查询的方式输入相应的查询语句，以实现数据的查询，并将查询的结果，比如某个数据或者表格等反馈给用户。随着企业的业务范围的扩充，导致数据库内存储的数据越来越多，越来越乱，进而导致数据查询的性能下降，同时由于其采用表格、字段的方式存储，查询的结果也不具有直观性，给用户带来不好的体验。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于图的数据处理方法，能够解决现有采用传统关系型数据库存在系统性能下降、反馈结果不直观等问题。

本发明的目的之二在于提供基于图的数据处理装置，能够解决现有采用传统关系型数据库存在系统性能下降、反馈结果不直观等问题。

本发明的目的之三在于提供一种存储介质，能够解决现有采用传统关系型数据库存在系统性能下降、反馈结果不直观等问题。

本发明的目的之一采用如下技术方案实现：

基于图的数据处理方法，所述数据处理方法包括：

模型构建步骤：获取业务需求并根据所述业务需求创建业务域，并在所述业务域中创建业务对象和业务关系，并根据业务对象和业务关系获取实体对象和实体关系，然后根据实体对象和实体关系构建图数据库模型；

模型应用步骤：获取数据库操作指令并对所述数据库操作指令进行解析，进而根据解析结果对所述图数据库模型进行对应操作，并将操作结果反馈给用户。

进一步地，所述模型构建步骤具体包括：

业务域创建步骤：获取业务需求并根据所述业务需求确定若干个业务域，以及获取每个业务域的信息并为每个业务域创建对应数据空间；

对象创建步骤：对于每个业务域，获取每个业务对象对应的实体对象的信息和属性数据以及每个业务关系对应的实体关系的属性数据；

模型创建步骤：构建图数据库，并将每个实体对象转换为图数据库的节点，以及将每个实体关系转换为图数据库的边，同时将每个实体对象的属性数据和每个实体关系的属性数据存储于对应业务域的数据空间内。

进一步地，所述对象创建步骤之前还包括：对象定义步骤：根据对应业务域的配置参数创建业务对象和业务关系，并为每个业务对象和业务关系设置属性标签；所述实体对象创建步骤还包括：根据定义的业务对象向用户提供实体对象创建界面，以获取每个实体对象的信息和属性数据；以及根据定义的业务对象向用户提供实体关系创建界面，以获取每个实体关系的信息和属性数据。

进一步地，所述对象定义步骤还包括：获取业务对象的信息并根据业务对象的信息生成ngql语句，进而将ngql语句提交给Nebula Graph图数据库创建业务对象；以及获取业务关系的信息并根据业务关系的信息生成ngql语句，进而将ngql语句提交给NebulaGraph图数据库创建业务关系；其中，业务对象的信息包括定义标识、定义名称、所属目录、定义类型、说明、创建人和发布时间；业务对象的属性标签包括英文名称、中文名称、数据类型、字段长度、小数位数、必填、索引和初始值。

进一步地，业务域的信息包括空间标识、空间名称和描述；其中，空间标识是指业务域的ID；空间名称是指业务域的名称；描述是指业务域的应用领域描述。

进一步地，不同业务域的业务对象和业务关系均互不影响。

进一步地，所述业务对象的属性数据包括普通属性数据和动态属性数据。

进一步地，所述模型创建步骤还包括：

判断步骤：获取每个实体对象，并且当该实体对象的属性数据的类型为普通属性数据时，执行图数据库创建步骤；当属性数据的类型为动态属性数据时，执行时序数据库创建步骤；

图数据库创建步骤：构建图数据库，并将对应实体对象转换为图数据库中的节点，并将对应实体对象的属性数据存储于对应业务域的数据空间内；

时序数据库创建步骤：创建时序数据库并将该实体对象的对应属性数据存储时序数据库中。

本发明的目的之三采用如下技术方案实现：

基于图的数据处理装置，包括存储器和处理器，所述存储器上存储有在处理器上运行的数据处理程序，所述数据处理程序为计算机程序，所述处理器执行所述数据处理程序时实现如本发明的目的之一采用的基于图的数据处理方法的步骤。

本发明的目的三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为数据处理程序，所述数据处理程序被处理器执行时实现如本发明的目的之一采用的基于图的数据处理方法的步骤。

相比现有技术，本发明的有益效果在于：

本发明通过借助于图谱的方式来存储数据，并根据企业的业务需求不同构建不同的业务域，多个业务域之间具有独立性，方便业务对象的构建；由于每个业务域针对一种业务需求，则数据量较小，有利于提高数据处理效率。同时由于数据以图的方式存储，则在反馈结果时也以图的方式显示，使得结果更为直观，提高用户使用体验。

附图说明

图1为本发明提供的基于图的数据处理方法流程图；

图2为图1中步骤S2的流程图；

图3为图2中步骤S24的流程图；

图4为本发明提供的实体对象与实体关系的图谱示意图；

图5为本发明提供的业务域创建界面；

图6为本发明提供的实体对象创建界面；

图7为本发明提供的实体对象之间的实体关系的图谱示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

本发明通过基于图的数据处理方法，实现基于图的数据建模以形成图数据库，使得数据操作的效率更高，查询结果更为直观；同时能够满足用户的个性化设计的需求。

如图1所示，本发明提供一种优选的实施例，一种基于图的数据处理方法，包括以下步骤：

步骤S1、获取业务需求并根据业务需求创建业务域。

其中，业务域是根据业务需要，将不同应用场景的数据相互隔离的数据空间。一般而言，用户或企业会拥有很多类型不同的数据，但是他们在实际不同的业务往往只会使用其中的几种。通过业务域的概念可使得原本乱成一团的业务数据按照业务进行划分和组织。不同的业务域之间相互独立，互不影响，每个业务域的业务数据的相关的查询和处理均不会对其他业务域造成影响。

步骤S2、在业务域中创建业务对象和业务关系，并根据业务对象和业务关系获取实体对象和实体关系，并根据实体对象和实体关系构建图数据库模型。

业务对象、业务关系是指该业务域内的抽象数据，比如对于：“人”，就是一个业务对象，“传感器”，也是一个业务对象。具体可根据业务需求在业务域内构建多个业务对象，比如对于传感器资产管理体系来说，可创建：“传感器”的业务对象。

而业务关系是指业务对象之间的关联关系，比如包含关系、并联关系等，是用于描述两个或多个业务对象之间的关系，具体可根据业务需求进行定义。

具体地，可根据业务需求创建每个业务对象，并通过向用户提供相应的业务对象创建界面，以获取用户创建的每个业务对象以及业务对象的属性。

其中，一般来说，业务对象包括定义标识、定义名称、所属目录、定义类型、说明、创建人、发布时间、属性信息等信息。其中，属性信息，是指用于描述一个业务对象的信息，比如包括英文名称、中文名称、数据类型、字段长度、小数位数、初始值等。

在创建业务对象后，根据创建的业务对象来获取实体对象。其中，实体对象是指具体的对象，比如对于“人”这个业务对象来说，其对应的实体对象，可包括“李四”、“王二”、“张三”等等实体对象，通过这些实体对象来实现图数据库的构建，同时将实体关系也存储到图数据库中，这样，可通过图谱的方式将实体对象和实体关系存储，这样，在对数据进行查询时，也可以图的方式展示给用户，使得查询数据结果更为直观。

具体地，在将实体对象和实体关系存储到图数据库模型中时，将实体对象为图数据库的节点，将实体关系作为图数据库的边，如图4所示，将每个实体对象作为图谱的节点，比如以圆形表示，将实体关系作为图谱的边，以直线来表示。

步骤S3、获取数据库操作指令并对所述数据库操作指令进行解析，进而根据解析结果对所述图数据库模型进行对应操作，并将操作结果反馈给用户。

也即，将构建好的图数据库模型应用到实际的数据操作中，同时将操作结果展示给用户，比如数据的增删改查等操作。由于本发明的数据的存储是基于图来实现的，并且每个业务域针对一个应用场景，其数据量适中，可提高数据操作的效率，同时也可使得结果更为直观，满足企业日益整长的数据存储的需求。

更为优选地，如图2所示，步骤S2还包括：

步骤S21、获取业务需求并根据业务需求确定业务域，以及获取业务域的信息并为业务域创建对应数据空间。

具体地，可向用户提供相应的界面，以获取用户输入的数据从而创建业务域。其中，业务域一般包括空间标识、空间名称和内容描述。其中，空间标识是用于区分业务域的ID，不同的业务域的空间标识不同。一般空间标识不能包括汉字、空格和特殊符号。

空间名称是指业务域的名称，在命名时可根据需求命名，以体现业务域的应用常经理。比如：传感器数据资产管理体系，也即该业务域是应用于传感器设备的资产管理的数据空间。其中，空间名称一般不超过30个字，具体可根据实际的需求设定。

内容描述是针对业务域的具体内容描述，比如：用于针对光学、声学、人体等传感器的资产管理空间。一般来说，内容描述不超过100个字。

另外，如图5所示，在业务域创建时，向用户提供相应的表单界面，用户对每个字段进行填写并填写完成后提交表单。系统接收到用户填写的表单的信息后，将其转换为Nebula Graph(开源分布式的图数据库)图数据库中的ngal语句，并提交给图数据库。接收到该语句后的图数据库会自动创建一个数据空间。每个数据空间对应一个业务域。对于一个企业来说，其可根据业务需求创建多个数据空间，以对应多个业务域。

然后针对每个业务域进行单独的业务对象、业务关系的创建，不同业务域之间的数据之间互不影响，相互独立。

步骤S22、根据预定义的业务对象和业务对象的属性标签向用户提供对象实例化界面，以获取每个业务对象对应的实体对象和每个实体对象的属性数据。

业务对象的定义可通过在创建业务域后，根据业务需求对其进行创建，创建完成后可向用户提供对象实例化界面，用户可根据所要存储的对象数据增设对应的实体对象，比如针对传感器来说，可根据实际的需求增设多个实体对象。

比如对于本实施例中设定的业务域-传感器资产管理体系来说：

如图6所示，对于业务对象：“光学传感器”来说，可创建以下实体对象：

100033992756-ULV-SH10单点光学传感器，并且该传感器还具有以下属性数据：

实体编码：100033992756；实体名称：ULV-SH10单点光学传感器；

操作温度：3℃-45℃；操作湿度：<90％；

激光波长：He-Ne laser 632.8nm；工作距离：0.35m-20m(取决于被测表面)；

输出电压：±10V。

在进行实体对象创建时，用户可通过新增按钮添加对应的实体对象创建界面，以添加更多的实体对象。

当用户将实体对象和实体对象的属性信息添加到系统中时，系统会将获取到的数据自动生成ngql语句并提交给Nebula Graph图数据库，完成实体对象的创建。

步骤S23、根据预定义的业务关系向用户提供关系实例化界面，以获取每个业务关系对应的实体关系和每个实体关系的属性数据。

与业务创建对象一样，针对创建的实体对象之间构建实体关系，比如是否同类型产品的关系，根据上述创建的两个实体对象来说，ULV-SH10单点光学传感器和USLA-J2高精度激光测距传感器均为光学传感器，也即为同类型产品的关系。

因此，可将两个实体对象作为图形的两个节点，将两个实体对象的实体关系作为图形的边，以构建得出一个图，如图7所示。同时，将每个实体对象、实体关系的属性存储到图数据库中。这样，当查询到每个实体对象时，可根据点击实体对象的节点来获取实体对象的属性信息。

另外，在对实体对象进行数据展示时，可以采用图谱视图展示，更为直观地表达出数据之间的关系。

步骤S24、创建图数据库，并将获取每个实体对象并将每个实体对象转换为图数据库的节点，以及获取每个实体关系并将每个实体关系转换为图数据库的边，同时将每个实体对象的属性数据和实体关系存储到业务域的数据空间内。

另外，本发明在构建图数据库是基于现有开源的Nebula Graph图数据库(分布式图数据库)来进行构建的，通过该该图数据库的基础上针对不同的业务域构建对应的图数据库模型，并为该图数据库模型构建对应的业务对象和业务关系。

优选地，对于每个业务对象的属性标签还包括普通属性标签和动态属性标签。则向对应的实体对象的属性数据包括普通属性数据和动态属性数据。

其中，普通属性是指用于客观描述一个人的属性，比如一个业务对象：人，其具体：姓名、年龄、身份证号等标签，这些标签，用于描述一个客观实体的属性。但是，比如，对于一个传感器对象来说，其除了需要自身的一些属性(唯一标识、规格等)以外，其可能还包括传感器的实时感知属性，比如光照等级、环境温度等，这种属性是时刻变化的实时属性，这些实时属性对应的标签的类型为动态属性标签，则对应的动态属性数据也不是固定的，会有一定的变化。其中，对于动态属性数据并无法通过图数据库进行存储，因此，本发明在构建图数据库时，还需要对每个实体对象的属性数据进行判断其类型，若实体对象的属性数据为普通属性数据时，则按照正常的方式将其存储到图数据库中。相反，若实体对象的属性数据为动态属性数据时，将该实体对象的动态属性数据存储时序数据库中。对于同一实体对象，将其存储到不同数据库中的动态属性数据以实体对象进行关联。比如，以实体对象的实体编码进行关联。也即，对于一个实体对象来说，如图3所示，步骤S24还包括：

步骤S241、判断实体对象的每个属性数据的类型，并且当该实体对象的对应属性数据的类型为普通属性数据时，执行步骤S242；当该实体对象的对应属性数据的类型为动态属性数据时，执行步骤S243。

步骤S242、构建图数据库，并将对应实体对象转换为图数据库中的节点，并将对应实体对象的属性数据存储于对应业务域的数据空间内。

步骤S243、创建时序数据库并将该实体对象的对应属性数据存储时序数据库中。

当一个实体对象的属性数据存储在不同的数据库中时，可根据实体对象的实体编码来实现关联。比如对于查询一个实体对象的属性数据时，可根据实体对象的实体编码从图数据库和时序数据库中分别查找后得出所有的属性数据后再对其整合后得到实体对象的全部属性数据。

实施例二

基于实施例一，本发明提供一种基于图的数据处理装置，包括存储器和处理器，所述存储器上存储有在处理器上运行的数据处理程序，所述数据处理程序为计算机程序，所述处理器执行所述数据处理程序时实现以下步骤：

进一步地，所述模型构建步骤具体包括：

进一步地，不同业务域的业务对象和业务关系均互不影响。

进一步地，所述模型创建步骤还包括：

实施例三

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为数据处理程序，所述数据处理程序被处理器执行时实现以下步骤：

进一步地，所述模型构建步骤具体包括：

进一步地，不同业务域的业务对象和业务关系均互不影响。

进一步地，所述模型创建步骤还包括：

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims

1.基于图的数据处理方法，其特征在于，所述数据处理方法包括：

模型应用步骤：获取数据库操作指令并对所述数据库操作指令进行解析，进而根据解析结果对所述图数据库模型进行对应操作，并将操作结果反馈给用户；所述模型构建步骤具体包括：

模型创建步骤：构建图数据库，并将每个实体对象转换为图数据库的节点，以及将每个实体关系转换为图数据库的边，同时将每个实体对象的属性数据和每个实体关系的属性数据存储于对应业务域的数据空间内；

所述对象创建步骤之前还包括：对象定义步骤：根据对应业务域的配置参数创建业务对象和业务关系，并为每个业务对象和业务关系设置属性标签；所述实体对象创建步骤还包括：根据定义的业务对象向用户提供实体对象创建界面，以获取每个实体对象的信息和属性数据；以及根据定义的业务对象向用户提供实体关系创建界面，以获取每个实体关系的信息和属性数据；

所述对象定义步骤还包括：获取业务对象的信息并根据业务对象的信息生成ngql语句，进而将ngql语句提交给Nebula Graph图数据库创建业务对象；以及获取业务关系的信息并根据业务关系的信息生成ngql语句，进而将ngql语句提交给Nebula Graph图数据库创建业务关系；其中，业务对象的信息包括定义标识、定义名称、所属目录、定义类型、说明、创建人和发布时间；业务对象的属性标签包括英文名称、中文名称、数据类型、字段长度、小数位数、必填、索引和初始值；

业务域的信息包括空间标识、空间名称和描述；其中，空间标识是指业务域的ID；空间名称是指业务域的名称；描述是指业务域的应用领域描述；

不同业务域的业务对象和业务关系均互不影响；

所述业务对象的属性数据包括普通属性数据和动态属性数据；

所述模型创建步骤还包括：

2.基于图的数据处理装置，包括存储器和处理器，所述存储器上存储有在处理器上运行的数据处理程序，所述数据处理程序为计算机程序，其特征在于，所述处理器执行所述数据处理程序时实现如权利要求1所述的基于图的数据处理方法的步骤。

3.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为数据处理程序，其特征在于：所述数据处理程序被处理器执行时实现如权利要求1所述的基于图的数据处理方法的步骤。