CN112231285A - 基于数据资源的知识图谱生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于数据资源的知识图谱生成方法及装置，获取待维护系统的基本信息；基于数据块地址信息，提取得到数据资源；依据数据资源，创建数据表节点信息和节点关联信息；根据数据表节点信息和节点关联信息，构建知识图谱；对知识图谱进行校验，若校验通过，将知识图谱确定为待维护系统的数据资源的知识图谱。本发明创建系统、业务、子业务、表格、字段节点以及这些节点之间的关联形成数据资源知识图谱，直观反映数据资源的结构，使得可以基于该知识图谱进行数据资源维护，保证维护效率和数据的及时性。

Description

基于数据资源的知识图谱生成方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于数据资源的知识图谱生成方法及装置。

背景技术

随着互联网技术、物联网技术的发展，各企业的信息化程度日益提高，伴随而来的是各种信息化系统逐渐增多，数据资源的爆发式增长，为企业带来方便的同时也增加了维护人员的压力。对于维护人员需要了解系统业务数据结构、数据量、模块以及模块关系等信息，这就增加了维护的时间成本。并且数据还需要进行更新，需要维护人员对系统结构特别了解，要随时关注系统的调整，否则很容易出现系统已升级而文档未同步更新的情况。可见，现有的对数据资源的维护效率低且无法保证数据的及时性。

发明内容

针对于上述问题，本发明提供一种基于数据资源的知识图谱生成方法及装置，实现了基于知识图谱对数据资源的维护，保证维护效率和数据的及时性。

为了实现上述目的，本发明提供了如下技术方案：

一种基于数据资源的知识图谱生成方法，包括：

获取待维护系统的基本信息，所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息；

基于所述数据块地址信息，提取得到数据资源；

依据所述数据资源，创建数据表节点信息和节点关联信息；

根据所述数据表节点信息和节点关联信息，构建知识图谱；

对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

可选地，所述依据所述数据资源，创建数据表节点信息和节点关联信息，包括：

依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；

获取所述数据资源对应的字段和数据表；

创建所述段与所述数据表的第一关联信息；

根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

可选地，所述方法还包括：

对所述数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。

可选地，所述节点关联信息包括业务节点的关联信息，所述方法还包括：

创建所述待维护系统的业务节点以及业务节点之间的关联信息。

可选地，所述方法还包括：

生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；

基于所述显示信息对所述知识图谱进行显示。

一种基于数据资源的知识图谱生成装置，包括：

获取单元，用于获取待维护系统的基本信息，所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息；

提取单元，用于基于所述数据块地址信息，提取得到数据资源；

创建单元，用于依据所述数据资源，创建数据表节点信息和节点关联信息；

构建单元，用于根据所述数据表节点信息和节点关联信息，构建知识图谱；

校验单元，用于对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

可选地，所述创建单元包括：

第一创建子单元，用于依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；

获取子单元，用于获取所述数据资源对应的字段和数据表；

第二创建子单元，用于创建所述段与所述数据表的第一关联信息；

第三创建子单元，用于根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

可选地，所述装置还包括：

识别单元，用于对所述数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。

可选地，所述创建单元还包括：

第四创建子单元，用于创建所述待维护系统的业务节点以及业务节点之间的关联信息。

可选地，所述装置还包括：

生成单元，用于生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；

显示单元，用于基于所述显示信息对所述知识图谱进行显示。

相较于现有技术，本发明提供了一种基于数据资源的知识图谱生成方法及装置，获取待维护系统的基本信息；基于数据块地址信息，提取得到数据资源；依据数据资源，创建数据表节点信息和节点关联信息；根据数据表节点信息和节点关联信息，构建知识图谱；对知识图谱进行校验，若校验通过，将知识图谱确定为待维护系统的数据资源的知识图谱。本发明创建系统、业务、子业务、表格、字段节点以及这些节点之间的关联形成数据资源知识图谱，直观反映数据资源的结构，使得可以基于该知识图谱进行数据资源维护，保证维护效率和数据的及时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于数据资源的知识图谱生成方法的流程示意图；

图2为本发明实施例提供的一种节点的示意图；

图3为本发明实施例提供的一种节点关联关系的示意图；

图4为本发明实施例提供的一种字段识别的示意图；

图5为本发明实施例提供的一种知识图谱的示意图；

图6为本发明实施例提供的一种基于数据资源的知识图谱生成装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例提供的基于数据资源的知识图谱生成方法，以系统的数据表、字段、表数据等位基础，以数据表设计规范，数据表字段关联信息为依据，创建系统、业务、子业务、表格、字段节点以及这些节点之间的关联形成数据资源知识图谱，直观反映数据资源的结构，提供图谱和文档两种视图方式反映系统的数据资源的结构情况。同时定时监控数据资源信息，更新图谱数据，保证数据及时性。

参见图1，其示出了本发明实施例提供的一种基于数据资源的知识图谱生成方法的流程示意图，该方法可以包括：

S101、获取待维护系统的基本信息。

所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息。待维护系统是指需要进行数据资源维护的业务系统。系统数据信息可以是指系统概况信息。

S102、基于所述数据块地址信息，提取得到数据资源。

数据资源包括数据表、字段、表关联、表数据等信息。其中，数据表即数据库中的表格，包括表格名称、备注、数据行数等信息；字段是指数据表对应的所有字段，包括字段名称、备注、类型等。表关联是指数据库中表格之间的字段引用关系，主要是外键(FK)。外键表示了两个关系之间的相关联系。以另一个关系的外键作主关键字的表被称为主表，具有此外键的表被称为主表的从表。外键又称作外关键字。表数据是根据实际情况提取，仅用于知识图谱生成过程中的验证，提高知识图谱的准确度。

S103、依据所述数据资源，创建数据表节点信息和节点关联信息。

知识图谱旨在描述客观世界的概念实体事件以及其之间的关系，以实体概念为节点，以关系为变，提供一种从关系的视角来看世界。因此构建知识图谱大致分为创建节点、创建节点之间的关系两部分工作。

其中，所述依据所述数据资源，创建数据表节点信息和节点关联信息，包括：依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；获取所述数据资源对应的字段和数据表；创建所述段与所述数据表的第一关联信息；根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

还包括对数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。对应的，所述节点关联信息包括业务节点的关联信息，所述方法还包括：创建所述待维护系统的业务节点以及业务节点之间的关联信息。

下面具体的对创建节点以及节点关系进行说明。

参见图2，其示出了本发明实施例提供的一种节点的示意图。创建基本节点，根据数据资源提取实体作为节点：

(1)以系统名称为节点名称，创建一个系统节点，该节点类似于树形结构的根。

(2)创建数据表节点、字段节点。

参见图3，其示出了本发明实施例提供的一种节点关联关系的示意图。创建基本关联，根据数据资源中已经存在的关系创建节点关联。

(1)创建字段与表格的关联，这个关系是在数据库中显示定义的，是已确定的关联。

(2)根据外键关系创建表格之间的关联，这个也是数据库中定义的。

识别可能存在的表关联，在具体的系统开发中，表格之间的关联可能不会显示定义，需要进一步整理表格的关系才能提高图谱的准确度，该过程包括：

(1)表名称识别，根据表格名称识别关联，主要用于识别主从表，如主表表名为T_A_B,则名称格式为T_A_B_X的表格即认为是T_A_B表的子表。

(2)字段识别，以图4为例，将表格名称用“_”分割之后取最后一位(role)，再与本表的主键字段用“_”连接组成一个字段名(role_id)，如果其他表格中存在这个字段名，不区分大小写，且与id字段的字段类型相同(下图都为int类型)，则认为这两张表可能存在关联，然后进行数据校验，即从表t_common_role_permission中随机查询5个role_id值，如果这5个值至少有4个及以上在t_common_role中的id值中能找到，则认为关系创建成功。

需要说明的是，图4中只是字段识别的一种情况，是比较常见的，用于查找关系的字段组合还可能是t_common_role_id、roleId、common_role_id。

(3)表注释识别，通过表格的注释识别关系，如A表的注释是“A表”，其他注释为“AXX表”的数据表则认为是A表的子表。

在创建关联时还包括创建业务、子业务节点及其关联，在上述过程中关联已经创建完成，此时主表(未关联其他的表单可能被其他表关联的表)与系统节点之间是孤立的，需要对这部分内容进行补充。按照目前软件行业普遍的数据细化层级系统->业务模块->子模块->表->数据行，需要补充业务模块，子业务模块这两类节点及这两类节点之间的关系。具体包括：

(1)表名识别法，通过主表名称来创建节点，在忽略前缀(如t_)的情况下，绝大部分表格名称符合业务_子业务_功能；业务_子业务_功能；业务_功能等格式规范，可以依此创建。

(2)表注释识别法，较少的模块信息会在表注释中体现，也可根据表注释信息来创建业务相关节点及关联。

需要说明的是，创建业务、子业务节点时候需要去重处理，即名称重复的节点不用重复创建。

S104、根据所述数据表节点信息和节点关联信息，构建知识图谱。

经过上述过程创建了节点和节点关联的相关信息之后，就完成了数据资源知识图谱的构建，包含系统、业务、子业务、表格、字段节点以及各节点之间的关联关系。具体的，还可以生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；基于所述显示信息对所述知识图谱进行显示。使得构建的知识图谱根据有可视化效果，例如，参见图5，其示出了本发明实施例提供的一种知识图谱示意图，在图5中以不同的形状对节点进行了表示。还可以将不同的节点类型用不同的颜色或者形状呈现将形成直观的数据知识图谱。

S105、对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

在本发明实施例中校验可以是根据需求对知识图谱进行编辑。构建完成的知识图谱提供在线编辑，可新增及调整节点数据及关联数据，使数据图谱与数据资源完全匹配。同时，以定时调度方式更新节点数据，如数据表节点的数据量、数据表关联的字段等。

本发明提供了一种基于数据资源的知识图谱生成方法，获取待维护系统的基本信息；基于数据块地址信息，提取得到数据资源；依据数据资源，创建数据表节点信息和节点关联信息；根据数据表节点信息和节点关联信息，构建知识图谱；对知识图谱进行校验，若校验通过，将知识图谱确定为待维护系统的数据资源的知识图谱。本发明创建系统、业务、子业务、表格、字段节点以及这些节点之间的关联形成数据资源知识图谱，直观反映数据资源的结构，使得可以基于该知识图谱进行数据资源维护，保证维护效率和数据的及时性。

参见图6，在本发明实施例还提供了一种基于数据资源的知识图谱生成装置，包括：

获取单元10，用于获取待维护系统的基本信息，所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息；

提取单元20，用于基于所述数据块地址信息，提取得到数据资源；

创建单元30，用于依据所述数据资源，创建数据表节点信息和节点关联信息；

构建单元40，用于根据所述数据表节点信息和节点关联信息，构建知识图谱；

校验单元50，用于对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

可选地，所述创建单元包括：

第一创建子单元，用于依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；

获取子单元，用于获取所述数据资源对应的字段和数据表；

第二创建子单元，用于创建所述段与所述数据表的第一关联信息；

第三创建子单元，用于根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

可选地，所述装置还包括：

识别单元，用于对所述数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。

可选地，所述创建单元还包括：

第四创建子单元，用于创建所述待维护系统的业务节点以及业务节点之间的关联信息。

可选地，所述装置还包括：

生成单元，用于生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；

显示单元，用于基于所述显示信息对所述知识图谱进行显示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于数据资源的知识图谱生成方法，其特征在于，包括：

获取待维护系统的基本信息，所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息；

基于所述数据块地址信息，提取得到数据资源；

依据所述数据资源，创建数据表节点信息和节点关联信息；

根据所述数据表节点信息和节点关联信息，构建知识图谱；

对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

2.根据权利要求1所述的方法，其特征在于，所述依据所述数据资源，创建数据表节点信息和节点关联信息，包括：

依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；

获取所述数据资源对应的字段和数据表；

创建所述段与所述数据表的第一关联信息；

根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。

4.根据权利要求2所述的方法，其特征在于，所述节点关联信息包括业务节点的关联信息，所述方法还包括：

创建所述待维护系统的业务节点以及业务节点之间的关联信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；

基于所述显示信息对所述知识图谱进行显示。

6.一种基于数据资源的知识图谱生成装置，其特征在于，包括：

获取单元，用于获取待维护系统的基本信息，所述基本信息包括所述待维护系统的名称、系统属性信息和数据库地址信息；

提取单元，用于基于所述数据块地址信息，提取得到数据资源；

创建单元，用于依据所述数据资源，创建数据表节点信息和节点关联信息；

构建单元，用于根据所述数据表节点信息和节点关联信息，构建知识图谱；

校验单元，用于对所述知识图谱进行校验，将校验完成的知识图谱确定为所述待维护系统的数据资源的知识图谱。

7.根据权利要求6所述的装置，其特征在于，所述创建单元包括：

第一创建子单元，用于依据所述数据资源，创建所述待维护系统的节点、数据表节点和字段节点；

获取子单元，用于获取所述数据资源对应的字段和数据表；

第二创建子单元，用于创建所述段与所述数据表的第一关联信息；

第三创建子单元，用于根据数据中的字段引用关系，创建所述数据表之间的第二关联信息。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

识别单元，用于对所述数据表进行识别，获得识别信息，所述识别信息包括数据表名称、字段信息和数据表注释信息。

9.根据权利要求7所述的装置，其特征在于，所述创建单元还包括：

第四创建子单元，用于创建所述待维护系统的业务节点以及业务节点之间的关联信息。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

生成单元，用于生成所述知识图谱的显示信息，所述显示信息为不同的节点采用不同的显示格式进行显示的信息；

显示单元，用于基于所述显示信息对所述知识图谱进行显示。

Images