CN111414352A

CN111414352A - 一种数据库信息的管理方法和装置

Info

Publication number: CN111414352A
Application number: CN202010227513.1A
Authority: CN
Inventors: 李伟
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2020-07-14
Anticipated expiration: 2040-03-27
Also published as: CN111414352B

Abstract

本申请实施例公开了一种数据库信息的管理方法和装置。所述方法包括：在确定数据源后，获取所述数据源的数据库类型；根据所述数据库的类型，确定所述数据源匹配的信息提取指令；利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系；根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱。

Description

一种数据库信息的管理方法和装置

技术领域

本申请实施例涉及信息处理领域，尤指一种数据库信息的管理方法和装置。

背景技术

数据库技术是企业应用中不可或缺的一部分。其中，关系型数据库作为数据库的重要类型，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解。关系型数据库中某一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。相关技术中的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。

业务的管理是基于数据库中大量数据库对象的基础进行实现的。随着数据库对象数量的不断增加，数据库对象的管理与维护变得越来越复杂。如何更好的理清数据库对象间的关系变得十分必要。在相关技术中，数据库管理软件通过提供了查看表间关系图以展示数据表实体关系图。

由于相关技术中只能查看查看数据表间关系，对缺少对数据库的整体把控，降低了对数据库的管理能力。

发明内容

为了解决上述任一技术问题，本申请实施例提供了一种数据库信息的管理方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种数据库信息的管理方法，包括：

在确定数据源后，获取所述数据源的数据库类型；

根据所述数据库的类型，确定所述数据源匹配的信息提取指令；

利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系；

根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱。

一种数据库信息的管理装置，包括：

获取模块，用于在确定数据源后，获取所述数据源的数据库类型；

确定模块，用于根据所述数据库的类型，确定所述数据源匹配的信息提取指令；

提取模块，用于利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系；

生成模块，用于根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

在确定数据源后，获取所述数据源的数据库类型，并根据所述数据库的类型，确定所述数据源匹配的信息提取指令，再利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系，根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱，实现对数据库对象的维护，方便获知数据库的全面信息，提高对获知数据库的信息和管理数据库的操作的便利。

本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。

图1为本申请实施例提供的数据库信息的管理方法的流程图；

图2为本申请实施例提供的数据库信息的管理方法的示意图；

图3为本申请实施例提供的数据对象的关联关系图谱的示意图；

图4为本申请实施例提供的数据库信息的管理装置的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。

在实现本申请过程中，发明人对相关技术进行了技术分析，发现相关技术至少存在如下问题，包括：

数据库的对象有多种，可以为表、索引、视图、图表、缺省值、规则、触发器、用户或函数等。相关技术中只能查看表间关系，缺少对其他信息的维护，从而无法得知数据库的全面信息，因此，为获知数据库的信息和管理数据库带来了不便。

基于上述分析，本申请实施例提供如下解决方案，包括：

如果应用后台对应多种数据库，即数据具有多源性特点，则自动扫描数据库内数据库对象，形成数据库对象关系图谱数据，并向外暴露统一接口以供调用。使得开发人员和运维人员能够更好地对数据库对象关系进行整体把控，降低系统运维难度。

图1为本申请实施例提供的数据库信息的管理方法的流程图。如图1所示，图1所示方法包括：

步骤101、在确定数据源后，获取所述数据源的数据库类型；

在一个示例性实施例中，数据源可以有多个，每个数据源对应的数据库有各自的数据库类型，可以为Mysql、Oracle或SqlServer。

步骤102、根据所述数据库的类型，确定所述数据源匹配的信息提取指令；

在一个示例性实施例中，该信息提取指令可以基于DatabaseMetaData类提供的API自定义功能进行得到，实现对数据库对象的信息的提取。其中，根据每种数据库的命名规则和信息读取的要求，对每种数据库配置匹配的信息提取指令。

步骤103、利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系；

在一个示例性实施例中，利用信息提取指令完成提取操作，无需人员参与，降低管理成本；另外，利用信息提取指令可以完成数据有针对性的提取，提高管理效率。

步骤104、根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱。

在一个示例性实施例中，按照预设的关系推演策略，利用提取的信息，生成关联关系图谱，其中，该关系推演策略是根据用户所确定的数据库对象和所配置的关联关系来确定的。

本申请实施例提供的方法，在确定数据源后，获取所述数据源的数据库类型，并根据所述数据库的类型，确定所述数据源匹配的信息提取指令，再利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系，根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱，实现对数据库对象的维护，方便获知数据库的全面信息，提高对获知数据库的信息和管理数据库的操作的便利。

下面对本申请实施例提供的方法进行说明：

在一个示例性实施例中，所述信息提取指令包括用于执行如下任一操作的指令：

获取数据库下所有的表的元数据信息；根据表名获取该表关联到的视图；获取表的列信息；获取表的索引信息；获取表的主键信息；获取表的外键信息；获取数据库下的所有存储过程的元数据信息；

所述利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系，包括：

以表为单位利用所述信息提取指令读取表中的数据库对象；其中：

在执行获取表的存储过程的元数据信息过程中，判断数据库存储过程元信息列表中过程定义字段是否有表名；如果所述过程定义字段有表明，则记录所述表名与存储过程元信息的关联关系；

在执行获取表的存储过程的元数据信息过程中，确定外键信息在表中的字段以及将所关联的另一表的表元信息，记录所述表中字段与另一表的表元信息的关联关系。

首先，获取数据库中所有表的元数据列表(包含每张数据表的表名，表类型等元信息),对获取到的每张表进行遍历，根据获取到的表名分别做如下处理，包括：：

1)获取表关联到的所有视图；

利用正则表达式匹配数据库视图元信息列表中VIEW_DEFINITION字段中是否有目标表名的出现；

2)获取表的列信息并添加到生成的数据结构中；

3)获取表的索引信息并添加到生成的数据结构中；

4)获取表的主键信息，并添加到生成的数据结构中；

5)获取使用到表的存储过程；

利用正则表达式匹配数据库存储过程元信息列表中PROCEDURE_DEFINITION字段中是否有目标表名的出现，并将关联到的存储过程元信息添加到生成的数据结构中。

6)调用getAllImportedKeys获取表中字段的外键信息，并将关联到的表元信息添加到最终生成的数据结构中；

其中，该数据结构以表名为标记，按照数据库对象的类型，记录每个类型的对象的名称信息。

利用信息提取指令完成提取操作，无需人员参与，降低管理成本；另外，利用信息提取指令可以完成数据有针对性的提取，提高管理效率。

在一个示例性实施例中，所述根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱，包括：

配置所述目标数据库对象为所述关联关系图谱中的节点；根据每个目标数据库对象的关联关系，建立每个目标数据对象与另一个目标数据对象的连接，得到数据库对象的关联关系图谱。

通过节点和连接线的方式建立关联关系图，可以方便管理者或者数据库内所包含的数据库对象，以及数据库对象之间的关联关系，去除业务经验对获知上述信息的影响，以关系图的方式记录上述信息，方便开发人员和系统运维人员能更好地整体把控数据库。

在一个示例性实施例中，所述根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱之后，所述方法还包括：

以所述数据源的标识信息，保存所述数据源的关联关系图谱；

在接收到查询请求后，根据所述查询请求携带的目标数据源的标识信息，输出目标数据源的关联关系图谱。

可以将所得到的的关联关系图保存在预设的存储区域，并设置对应的接口访问所述关联关系图，方便用户对关联关系图的查看。

下面对本申请实施例提供的方法进行说明：

通过JDBC(Java Database Connectivity，Java数据库连接)规范客户端程序访问数据库的应用程序接口，实现操纵数据库元数据的目的，逐步建立关系型数据库中数据库对象关系图谱数据，并提供相关数据接口提供给外界使用，使得开发人员和系统运维人员能更好地整体把控数据库，大大降低运维难度。所述方法包括：

图2为本申请实施例提供的数据库信息的管理方法的示意图。如图2所示，图2所示方法包括：

1.项目搭建；

搭建SpringBoot项目，其中SpringBoot为Java开发的框架，目的是用来简化新Spring应用的初始搭建以及开发过程。通过配置可以使开发人员不再需要定义样板化的配置；

在该SpringBoot项目整合下列依赖，包括：

①spring-boot-starter-jdbc:使得Springboot项目支持JDBC；

②spring-boot-starter-web：使得Springboot项目支持生成对外接口；

③mysql-connector-java：整合Mysql数据库驱动程序；

④ojdbc6:整合Oracle数据库驱动程序；

⑤sqljdbc4:整合SqlServer数据库驱动程序。

2.编写数据源添加接口

从数据库中获取所需的数据库对象的信息是徐亚通过接口进行访问的，其中接口的配置具体参见表1。

表1

3.编写数据库管理类DBManager:

数据库管理类DBManager:的功能是基于DatabaseMetaData类提供的API自定义基础方法来为关系图推演提供基础功能,可以包括下述方法中的至少一个，具体参见表2：

表2

4.调用DBUtils中封装好的方法进行关系推演

以数据源表datasource_list中一条数据库的连接信息为例，可以通过数据库的连接信息得到一个Connection对象(数据库连接实例)，可以从这个对象获得有关数据库管理系统的各种信息，包括数据库中的各个表，表中的各个列，数据类型，触发器，存储过程等各方面的信息。根据这些信息，JDBC可以访问一个实现事先并不了解的数据库。其中，获取这些信息的方法都是在DatabaseMetaData类的对象上实现的，而DataBaseMetaData对象是在Connection对象上获得的。DatabaseMetaData类中提供了许多方法用于获得数据源的各种信息，通过这些方法可以非常详细的了解数据库的信息。

3.调用数据库扫描功能，并传入要扫描的数据库信息，程序调用上述方法扫描过程中会根据外键，触发器等信息分析数据库对象间的依赖关系，逐步生成数据库对象的关系图谱数据，并存储到数据库表GraphData中(Mysql数据库中创建的一张用于存储扫描结果数据的数据表)。

以对某一数据库中的对象关系推演过程为例进行说明:

业务场景为电子网络商城系统，用户进入商城需要进行登录，挑选商品加入到购物车，生成订单，整个业务流程需要的表有订单表orders来记录用户的每一个订单，在每一个订单中需要包含商品，并且还需要包括收货人地址、收货人和联系方式信息，其中用户与订单之间是1对多的关系，即1个用户可以对应到多个订单记录；其中，订单与订单项之间是多对多的关系。另外，还需要订单项表orderItems、用户信息表users和商品表products。

由于关系推演过程并不知道具体的业务场景，因此需要按照下述过程对上述业务场景中涉及到的数据库对象关系(包括表，视图，主键，外键，索引，存储过程等)进行逐步推演，包括：

首先，调用getAllTableList方法获取数据库中所有表的元数据列表(包含每张数据表的表名，表类型等元信息),对获取到的每张表进行遍历，根据①中获取到的表名分别做如下处理：

1)调用getViewsByTableName获取表关联到的所有视图；

2)调用getTableColumns获取表的列信息并添加到生成的数据结构中；

3)调用getIndexInfo获取表的索引信息并添加到生成的数据结构中；

4)调用getAllPrimaryKeys获取表的主键信息，并添加到生成的数据结构中；

5)调用getProcedures获取使用到表的存储过程；

6)调用getAllImportedKeys获取表中字段的外键信息，并将关联到的表元信息添加到最终生成的数据结构中。

图3为本申请实施例提供的数据对象的关联关系图谱的示意图。如图3所示，该图中记录有关联数据之间的信息，且包括多种数据库对象的信息；

其中，图3所示的数据可以采用json数组记录数据库表的关联数据，其中json数据结构包括：

可以采用上述方法，继续遍历其它表，把每个表得到的关联数据结果都添加到面的json数组中，就得到了整个数据库的关系图数据,将最终的数据保存到GraphData表中，以便后续查询使用，避免每次都重新进行一次关系数据推演。

7)针对数据源表datasource_list中所有添加的数据源进行上述过程，即可得到所有添加的数据库各自的数据库对象关系图数据。

4.编写接口，从上述GraphData表中获取关系图谱数据作为接口结果数据进行返回。

本申请实施例提供的方法，能够对多源性数据进行数据库对象关系挖掘，自动形成数据库对象关系图谱，向外提供统一接口，使得开发人员能够对数据库情况有更好的掌控，也方便基于数据库对象关系图谱数据进行页面展示及进行二次开发。

一种数据库信息的管理装置，包括：

在一个示例性实施例中，所述确定模块确定的信息提取指令包括用于执行如下任一操作的指令：

所述提取模块，用于以表为单位利用所述信息提取指令读取表中的数据库对象；其中：在执行获取表的存储过程的元数据信息过程中，判断数据库存储过程元信息列表中过程定义字段是否有表名；如果所述过程定义字段有表明，则记录所述表名与存储过程元信息的关联关系；在执行获取表的存储过程的元数据信息过程中，确定外键信息在表中的字段以及将所关联的另一表的表元信息，记录所述表中字段与另一表的表元信息的关联关系。

在一个示例性实施例中，所述生成模块包括：

配置单元，用于配置所述目标数据库对象为所述关联关系图谱中的节点；

建立模块，用于根据每个目标数据库对象的关联关系，建立每个目标数据对象与另一个目标数据对象的连接，得到数据库对象的关联关系图谱。

在一个示例性实施例中，所述装置还包括：

保存模块，用于在生成数据库对象的关联关系图谱之后，以所述数据源的标识信息，保存所述数据源的关联关系图谱；

响应模块，用于在接收到查询请求后，根据所述查询请求携带的目标数据源的标识信息，输出目标数据源的关联关系图谱。

本申请实施例提供的装置，在确定数据源后，获取所述数据源的数据库类型，并根据所述数据库的类型，确定所述数据源匹配的信息提取指令，再利用所述信息提取指令从所述数据库中提取数据库对象以及对象间的关联关系，根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱，实现对数据库对象的维护，方便获知数据库的全面信息，提高对获知数据库的信息和管理数据库的操作的便利。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文任一项中所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文任一项中所述的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims

1.一种数据库信息的管理方法，包括：

在确定数据源后，获取所述数据源的数据库类型；

2.根据权利要求1所述的方法，其特征在于：

所述信息提取指令包括用于执行如下任一操作的指令：

3.根据权利要求1所述的方法，其特征在于，所述根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱，包括：

4.根据权利要求1至3任一所述的方法，其特征在于，所述根据提取得到的数据库对象以及对象间的关联关系，生成数据库对象的关联关系图谱之后，所述方法还包括：

5.一种数据库信息的管理装置，包括：

6.根据权利要求5所述的装置，其特征在于：

所述确定模块确定的信息提取指令包括用于执行如下任一操作的指令：

7.根据权利要求5所述的装置，其特征在于，所述生成模块包括：

8.根据权利要求5至7任一所述的装置，其特征在于，所述装置还包括：

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。