CN113742312A - 一种数据库的运维管理方法和装置 - Google Patents

Abstract

本发明公开了一种数据库的运维管理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息；根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表。该实施方式能够降低人为操作带来的信息不准确的风险，节约人力和时间成本，帮助用户自动维护逻辑表逻辑库信息，解决数据碎片化的问题，可将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心，且扩展性和灵活性好。

Description

一种数据库的运维管理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据库的运维管理方法和装置。

背景技术

现有方案中运维逻辑库是搭建一个运维平台系统，用户手动或以加载配置文件的形式录入自己的数据库信息(数据库名、部署情况)、表信息(有些系统不存储表结构)以及其数据库实例对应的资产信息(主机服务器、集群等)，再通过手动编辑或上传配置文件的方式捆绑在一起作为一个逻辑库、逻辑表，以方便后续操作(比如数据库DDL操作、监控和报警等)。上述现有方案都是系统被动地被告知数据库资产、结构、库表等关键信息，每次线上数据库相关资产或配置数据发生变化时，用户必须知晓并且主动通知运维平台改变数据。在发生信息变换时，也可能因各种原因(运维人员忘更新数据、上传的配置文件和线上真实配置不匹配、通知机制在网络故障下导致运维平台未收到消息等)，最终导致数据库资产配置信息、逻辑库逻辑表划分与真实的线上情况不一致，使得后续操作中可能造成更为严重得问题。比如，因为运维平台的逻辑库下的分库分表信息与真实线上配置不一致，导致研发在执行DDL操作的时候落下了几个分片或者分表；运维人员因为资产配置信息不对而错失了关键的监控和报警信息等。

此外，现在的大多数运维平台使用传统的DRMS关系型数据库来存储资产配置和数据库信息，对于解决线上多样的数据库分库分表结构、resharding(重新分片)等问题时，扩展性和灵活性欠佳。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

需要不必要的手动操作，存在信息不准确的风险，且费时费力，扩展性和灵活性欠佳。

发明内容

有鉴于此，本发明实施例提供一种数据库的运维管理方法和装置，能够降低人为操作带来的信息不准确的风险，节约人力和时间成本，帮助用户自动维护逻辑表、逻辑库信息，解决数据碎片化的问题，可将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心，且扩展性和灵活性好。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据库的运维管理方法。

一种数据库的运维管理方法，包括：响应于对数据库实例集合的运维管理请求，连接所述数据库实例集合中的数据库实例，以从所述数据库实例中获取存储的数据库、数据表的信息；根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表。

可选地，所述根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表，包括：对于所述数据库实例集合中的所述数据表，按照数据表的表结构和基础表名进行聚合，得到一个或多个第二逻辑表；所述数据表的基础表名根据所述数据表的表名确定；确定所述第二逻辑表与数据库之间的关联关系，其中，所述第二逻辑表关联的数据库为聚合得到所述第二逻辑表的所述数据表所在的数据库；按照所述第二逻辑表关联的数据库的基础库名，将同一所述第二逻辑表关联的数据库聚合为所述逻辑库；所述数据库的基础库名根据所述数据库的库名确定；对于同一所述逻辑库对应的数据表，按照数据表的表结构和基础表名进行聚合，得到所述逻辑库下的所述第一逻辑表，其中，所述逻辑库对应的数据表为聚合得到所述逻辑库的所述数据库中的数据表。

可选地，所述按照数据表的表结构和基础表名进行聚合，包括：将所述数据表的列信息处理为第一字符串，建立所述第一字符串与所述数据表的表名之间的映射关系；将所述基础表名相同，且所述表名与同一所述第一字符串存在所述映射关系的所述数据表聚合为一个逻辑表。

可选地，通过如下方式确定所述基础表名或所述基础库名：对第二字符串进行分割，利用分割得到的字符中的指定特殊字符，通过正则表达式提取出不带有词义的字符串，将提取后剩余的字符拼接得到第三字符串；其中，所述第二字符串为所述数据表的表名、所述第三字符串为所述数据表的基础表名；或者，所述第二字符串为所述数据库的库名、所述第三字符串为所述数据库的基础库名。

可选地，所述得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表之后，包括：根据所述逻辑库的架构和所述数据库的架构，以及所述数据库与所述逻辑库之间的聚合关系、所述数据表与所述第一逻辑表之间的聚合关系，构建与所述数据库实例集合对应的逻辑结构层，并将所述逻辑结构层存储在图数据库，其中，所述逻辑库的架构包括所述逻辑库与各自的所述第一逻辑表之间的关系，所述数据库的架构包括所述数据库与各自的所述数据表之间的关系。

可选地，所述得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表之后，还包括：基于所述数据库实例集合的基础资源信息，构建与所述数据库实例集合对应的基础设施层，并将所述基础设施层存储在所述图数据库，其中，所述基础资源信息至少包括所述数据库实例集合中数据库集群的信息和所述数据库集群下的所述数据库实例的信息。

可选地，还包括：将所述逻辑结构层映射到所述基础设施层，得到与所述数据库实例集合对应的数据库架构知识图谱，并将所述数据库架构知识图谱存储在所述图数据库。

根据本发明实施例的另一方面，提供了一种数据库的运维管理装置。

一种数据库的运维管理装置，包括：信息获取模块，用于响应于对数据库实例集合的运维管理请求，连接所述数据库实例集合中的数据库实例，以从所述数据库实例中获取存储的数据库、数据表的信息；运维管理模块，用于根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表。

可选地，所述运维管理模块还用于：对于所述数据库实例集合中的所述数据表，按照数据表的表结构和基础表名进行聚合，得到一个或多个第二逻辑表；所述数据表的基础表名根据所述数据表的表名确定；确定所述第二逻辑表与所述数据库之间的关联关系，其中，所述第二逻辑表关联的数据库为聚合得到所述第二逻辑表的所述数据表所在的数据库；按照所述第二逻辑表关联的数据库的基础库名，将同一所述第二逻辑表关联的数据库聚合为所述逻辑库；所述数据库的基础库名根据所述数据库的库名确定；对于同一所述逻辑库对应的数据表，按照数据表的表结构和基础表名进行聚合，得到所述逻辑库下的所述第一逻辑表，其中，所述逻辑库对应的数据表为聚合得到所述逻辑库的所述数据库中的数据表。

可选地，所述运维管理模块包括聚合子模块，用于：将所述数据表的列信息处理为第一字符串，建立所述第一字符串与所述数据表的表名之间的映射关系；将所述基础表名相同，且所述表名与同一所述第一字符串存在所述映射关系的所述数据表聚合为一个逻辑表。

可选地，所述运维管理模块包括基础名确定子模块，用于通过如下方式确定所述基础表名或所述基础库名：对第二字符串进行分割，利用分割得到的字符中的指定特殊字符，通过正则表达式提取出不带有词义的字符串，将提取后剩余的字符拼接得到第三字符串，其中，所述第二字符串为所述数据表的表名、所述第三字符串为所述数据表的基础表名；或者，所述第二字符串为所述数据库的库名、所述第三字符串为所述数据库的基础库名。

可选地，所述运维管理模块还用于：根据所述逻辑库的架构和所述数据库的架构，以及所述数据库与所述逻辑库之间的聚合关系、所述数据表与所述第一逻辑表之间的聚合关系，构建与所述数据库实例集合对应的逻辑结构层，并将所述逻辑结构层存储在图数据库，其中，所述逻辑库的架构包括所述逻辑库与各自的所述第一逻辑表之间的关系，所述数据库的架构包括所述数据库与各自的所述数据表之间的关系。

可选地，所述运维管理模块还用于：基于所述数据库实例集合的基础资源信息，构建与所述数据库实例集合对应的基础设施层，并将所述基础设施层存储在所述图数据库，其中，所述基础资源信息至少包括所述数据库实例集合中数据库集群的信息和所述数据库集群下的所述数据库实例的信息。

可选地，所述运维管理模块还用于：将所述逻辑结构层映射到所述基础设施层，得到与所述数据库实例集合对应的数据库架构知识图谱，并将所述数据库架构知识图谱存储在所述图数据库。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明实施例所提供的数据库的运维管理方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的数据库的运维管理方法。

上述发明中的一个实施例具有如下优点或有益效果：响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息；根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表。能够降低人为操作带来的信息不准确的风险，节约人力和时间成本，帮助用户自动维护逻辑表、逻辑库信息，解决数据碎片化的问题，可将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心，且扩展性和灵活性好。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明一个实施例的数据库的运维管理方法的主要步骤示意图；

图2是根据本发明一个实施例的数据库的运维管理流程示意图；

图3是根据本发明一个实施例的数据库架构知识图谱的存储结构示意图；

图4是根据本发明一个实施例的获取库表信息的示意图；

图5是根据本发明一个实施例的聚合得到第二逻辑表的示意图；

图6是根据本发明一个实施例的聚合得到逻辑库和逻辑库下第一逻辑表的示意图；

图7是根据本发明一个实施例的数据库的运维管理装置的主要模块示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在大数据时代，随着业务的发展，数据量和访问量不断增加，分库分表技术便开始广泛的应用于数据库中，用来突破单节点数据库服务器的I/O(输入/输出)能力限制，解决数据库扩展性问题。在带来系统性能上优化的同时，却给数据库的运维工作增加了不小的难度。一主多从、共享实例、垂直或水平的分库分表，会带来多样化的数据库集群结构，研发和运维人员往往需要投入大量的精力来手动的维护数据库结构，数据库集群部署等关键信息。而在云计算时代，物理库(分库)物理表(分表)更多的被隐藏在实现之下，用户更关心的是作为一个数据库集群整体而运作的逻辑库、逻辑表时如何操作以及性能如何等问题。

图1是根据本发明一个实施例的数据库的运维管理方法的主要步骤示意图。

如图1所示，本发明一个实施例的数据库的运维管理方法主要包括如下的步骤S101至步骤S102。

步骤S101：响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息；

步骤S102：根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表。

对数据库实例集合的运维管理请求可以根据需求来触发。

数据库实例中获取存储的数据库、数据表的信息具体包括数据库实例中存储的所有库、表、列信息。

在一个实施例中，根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表，包括：对于数据库实例集合中的数据表，按照数据表的表结构和基础表名进行聚合，得到一个或多个第二逻辑表；数据表的基础表名根据数据表的表名确定；确定第二逻辑表与数据库之间的关联关系，其中，第二逻辑表关联的数据库为聚合得到第二逻辑表的数据表所在的数据库；按照第二逻辑表关联的数据库的基础库名，将同一第二逻辑表关联的数据库聚合为逻辑库，得到至少一个逻辑库；数据库的基础库名根据数据库的库名确定；对于同一逻辑库对应的数据表，按照数据表的表结构和基础表名进行聚合，得到逻辑库下的第一逻辑表，其中，逻辑库对应的数据表为聚合得到逻辑库的数据库中的数据表。上述用来聚合得到逻辑库的数据库也可称为物理库，用来聚合得到逻辑表的数据表也可称为物理表。

在一个实施例中，按照数据表的表结构和基础表名进行聚合，包括：将数据表的列信息处理为列信息的字符串，该字符串称为第一字符串，建立第一字符串与数据表的表名之间的映射关系；将基础表名相同，且表名与同一第一字符串存在映射关系的数据表聚合为一个逻辑表。聚合得到第一逻辑表或聚合得到第二逻辑表均可按照该聚合过程进行聚合。

在一个实施例中，通过如下方式确定基础表名或基础库名：对第二字符串进行分割，利用分割得到的字符中的指定特殊字符，通过正则表达式提取出不带有词义的字符串，将提取后剩余的字符拼接得到第三字符串；其中，第二字符串为数据表的表名、第三字符串为数据表的基础表名；或者，第二字符串为数据库的库名、第三字符串为数据库的基础库名。

在一个实施例中，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表之后，包括：根据逻辑库的架构和数据库的架构，以及数据库与逻辑库之间的聚合关系、数据表与第一逻辑表之间的聚合关系，构建与数据库实例集合对应的逻辑结构层，并将逻辑结构层存储在图数据库，其中，逻辑库的架构包括逻辑库与各自的第一逻辑表之间的关系，数据库的架构包括数据库与各自的数据表之间的关系。

在一个实施例中，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表之后，还包括：基于数据库实例集合的基础资源信息，构建与数据库实例集合对应的基础设施层，并将基础设施层存储在图数据库，其中，基础资源信息至少包括数据库实例集合中数据库集群的信息和数据库集群下的数据库实例的信息。

在一个实施例中，还可以将逻辑结构层映射到基础设施层，得到与数据库实例集合对应的数据库架构知识图谱，并将数据库架构知识图谱存储在图数据库。数据库架构知识图谱包括上述的逻辑结构层和基础设施层。

本发明实施例的数据库的运维管理方法通过主动探查的方式，去获取每个集群中数据库实例存储的数据库信息、表结构，通过一系列规则定义和算法分析将相同结构的表和库划分在一起定义为逻辑表、逻辑库，从而实现对分库分表结构、逻辑表和逻辑库的自动探查，及时修正不准确的数据。并将数据以图的形式存储在图数据库中，能够灵活的应对各种分库分表结构以及后续的扩展。这样可以帮助研发和运维人员省去不必要的手动操作，同时避免因人为操作而造成的信息不准确的问题。大大的节省人力和时间成本，并尽可能的降低线上运维风险。

图2是根据本发明一个实施例的数据库的运维管理流程示意图。本发明实施例可以通过主动探查的方式将分库分表的多集群数据库自动整合成一个逻辑库。流程包括，遍历项目，项目下可以包括一个或多个数据库集群(简称集群)，数据库集群包括数据库实例(简称实例)，一个项目下的数据库实例构成的集合为数据库实例集合。对于遍历到的项目，执行以下步骤：

第一步，从线上获取所有的集群实例；

第二步，链接集群中的某个实例(如MySQL实例)，通过存在于MySQL实例中的information_schema库获取该实例中存储的所有库表信息，库表信息具体包括库、库包含的表、表包含的列信息；

第三步，整合处理过的库、表、列信息，具体包括：将表结构相同、并且表名相似或相同的表聚合到一起，组成一个由基础表名命名的逻辑表；将那些包含了该逻辑表的分表的数据库聚合在一起，组成一个由基础库名命名的逻辑库；

第四步，整合上述三步所获取的数据以及数据间的关系，将其存储到图数据库中构成一个知识图谱。

为了存储分库分表中复杂多变的架构，保存实体与实体之间的复杂关系和未来基于业务需求的扩展性，本发明一个实施例采用了图的方式来存储线上项目、数据库以及资产之间的关系，即上述第四步所得到的知识图谱，或称数据库架构知识图谱。

本发明一个实施例的数据库架构知识图谱的存储结构具体可以如图3所示，根据图3中的示例，对应某个项目(Project)下包括两个数据库集群：数据库集群1_1(DBCluster1_1)、数据库集群1_2(DBCluster1_2)，每个数据库集群包括三个数据库实例(instance1_1、instance1_2、instance1_3)，数据库集群及其实例属于资产层(或称基础设施层)。数据库集群1_1中存储有分库_1(Scatter Database_1)，数据库集群1_2中存储有分库_2(Scatter Database_2)，分库_1和分库_2均为物理库，分库_1包括分表1_1(ScatterTable1_1)、分表2_1(Scatter Table2_1)，分库_2包括分表1_2(Scatter Table1_2)、分表2_2(Scatter Table2_2)，这些分表均为物理表，分表1_1和分表1_2聚合为逻辑表_1(Logical Table_1)，分表2_1和分表2_2聚合为逻辑表_2(Logical Table_2)，逻辑表_1、逻辑表_2均属于逻辑库(Logical Database)，逻辑库与其逻辑表之间的关系，数据库与其数据表之间的关系，以及数据库与逻辑库之间的聚合关系、数据表与逻辑表之间的聚合关系，这些关系属于业务层(或称逻辑结构层)。

下面详细介绍本发明实施例的数据库的运维管理方法。

首先，划定范围以确定数据库实例集合包括哪些数据库实例。本发明一个实施例中，数据库实例集合为属于同一个项目下的所有数据库实例的集合，在其他实施例中也可以根据业务调整数据库实例集合的范围，比如数据库实例集合可以为属于同一个部门，或者属于同一个业务方或个人的数据库实例的集合，本发明对此不作限定。

以数据库实例集合为属于同一个项目下的所有数据库实例的集合为例，本发明实施例对属于同一个项目下的所有数据库实例进行逻辑库、逻辑表自动聚合计算，而对于不属于同一个项目的数据库实例，则不进行逻辑库聚合计算。

在MySQL数据库中，有一个自带的information_schema库，其保存着关于MySQL服务器所维护的所有其他数据库信息，如数据库名，数据库的表，表的列的数据类型和访问权限等。为了获取数据库以及其下的表结构，将使用到如下的表(SCHEMATA、TABLES、COLUMNS)：

SCHEMATA：用于提供当前MySQL实例中所有数据库信息，show databases的结果来自这张表。

TABLES：用于提供关于数据库中的表的信息(包括视图)。其详细地表述了某个表属于哪个schema(库)，表类型，表引擎，创建时间等信息。是show tables的结果来源。

COLUMNS：用于提供表中的列信息，其详细表述了某张表的所有列以及每个列的信息。

通过依次访问这三张表，能够将一个MySQL实例存储的所有库，库所包含的表以及表的所有列信息依次取出并保存在对象中。MySQL实例存储的所有库、库所包含的表以及表的所有列信息，即数据库实例中存储的数据库、数据表的信息的具体示例。

在取出上述数据之后，需要对其进行一些处理，其中，对于表所对应的列信息，将其中的无效信息去掉后，将剩余的信息拼接成一个列信息的字符串，无效信息例如：列信息中携带的注释属性(comment)和缺省属性(default)相关的信息，例如“COMMENT'更新时间'”、“DEFAULT'vitess_gate_pod_a'”等类似信息为无效信息，在对列信息进行处理时需要将其去掉。

将上述拼接得到的列信息的该字符串作为一个key(键)存储在Map(映射表)中，而key所对应的value(值)是一个存储table(表)对象(存储了table name(表名)和table(表)所属的数据库名)的list(列表)。这样，所有拥有相同表结构的table(表)对象就能被存储在一个list中了。如下所示：

Map[table_struct]＝[table_object_1,table_object_2……]

根据上述表示式，数据表的列信息代表表结构(table_struct)，每个表结构都会对应一张表，把表结构作为key，表名作为value，通过表结构去查找表名，可以将结构相同的表名查找出来。

根据本发明实施例，对于数据表，对数据表的列信息进行处理(例如去掉comment等无效信息后再拼接)，可以得到该数据表的列信息的字符串(即第一字符串)，因此，table_struct可以是处理后的列信息，即列信息的字符串，从而上述表达式建立了列信息的字符串(即第一字符串)与数据表的表名之间的映射关系。

对于一个逻辑表，其所有分表的结构信息是充分但是非必要条件，在实际业务中，特别是针对于表结构简单的表，存在表结构一样但是表示的数据对象完全不一样的情况；又或者一些表存储的是现在的数据，一些表存储的是历史数据。因此，针对分库分表的特点，本发明实施例还加入了对表名的相似度判断。在分库分表中，分表名的取名方式大多为基础表名中加入数字或字母来，例如(其中“x”表示字符)：

[xxx_xxx_1,xxx_xxx_2…],[xxx_1_xxx,xxx_2_xxx…],[xxx_xxx_a,xxx_xxx_b…]

因此，在处理这些表名的时候需要进行tokenization(分割)。以分割得到的字符中的下划线、中划线等指定特殊字符为划分，通过正则表达式取出其中不带有任何词义的字符串(例如数字或一些单一字符)，然后将剩余字符串重新拼接成为一个基础表名。例如，表名为：good_order_1、good_order_2，那么指定特殊字符即为“_”、“1”、“2”，利用这三种字符构造正则表达式，查找出不带任何意义的字符串即“_1”、“_2”，提取出来，提取后剩余的字符串拼接成第三字符串即：good_order，就得到了基础表名。

只有表结构相同，同时基础表名又相同的表，才会被认为是属于同一个逻辑表，基础表名就是这张逻辑表的表名，不过这个逻辑表也是临时的，临时的逻辑表可称之为第二逻辑表。聚合得到第二逻辑表的过程具体包括：以数据库实例为MySQL实例为例，对于数据库实例集合中MySQL实例存储的数据表，将数据表的列信息处理为列信息的字符串(第一字符串)，按照上文介绍的方法建立该第一字符串与数据表的表名之间的映射关系，由于列信息代表表结构，按照该映射关系，利用表结构可以查找到表结构相同的表名，那么，将基础表名相同，且表名与同一第一字符串存在映射关系的数据表聚合为一个逻辑表，即得到了第二逻辑表。

在聚合表对象成为一个逻辑表的时候，每个分表对象所对应的数据库，会被存进一个list，由这些分表的基础表名作为key来映射，与前面聚合分表类似，所有可能包含这个逻辑表的数据库，也被聚合在一个list里面了，例如为如下形式：

Map[table_base_name]＝[db1,db2,db3……]

与聚合逻辑表的逻辑相似，拥有相同逻辑表的数据库只能算是构成一个逻辑库的充分非必要条件，一些数据库可能表信息完全一模一样，不过作用和存的数据完全不一样，比如历史库(存储历史数据的数据库)。因此，需要通过库名处理中来提取基础库名，提取基础库名的方法与提取基础表名的方法相同，即：在处理这些库名的时候对库名进行tokenization(分割)，以分割得到的字符中的下划线、中划线等指定特殊字符为划分，通过正则表达式取出其中不带有任何词义的字符串(例如数字或一些单一字符)，然后将剩余字符串重新拼接成为一个基础库名。

只有拥有同一个逻辑表，并且基础库名相同的数据库，才能被聚合在一起成为一个逻辑库。当逻辑库计算出来之后，便可以向下反推逻辑表所包含的分表范围了，得到最终的逻辑表。即，上述的临时的逻辑表(即第二逻辑表)需要针对逻辑库的划分之后才能真正确定最终的逻辑表，最终的逻辑表可称之为第一逻辑表。

聚合得到第一逻辑表可以通过如下方法：由于第二逻辑表由一些数据表聚合而来，那么这些数据表所在的数据库与第二逻辑表之间存在关联关系，按照第二逻辑表关联的数据库的基础库名，将同一第二逻辑表关联的数据库聚合为逻辑库，具体地，基础库名相同且同一第二逻辑表关联的数据库聚合为同一逻辑库，聚合得到同一逻辑库的数据库所包含的数据表与该逻辑库存在对应关系，即该数据表为逻辑库对应的数据表。对于同一逻辑库对应的数据表，将数据表的列信息处理为该数据表的列信息的字符串(为便于表述，列信息的字符串称为第一字符串)，参照上文介绍的方法建立该第一字符串与数据表的表名之间的映射关系，由于列信息代表表结构，按照该映射关系，利用表结构可以查找到表结构相同的表名，那么，将基础表名相同，且表名与同一第一字符串存在映射关系的数据表聚合为一个逻辑表，即得到了逻辑库下的第一逻辑表。

完成上述逻辑的程序称为KBMS(关联管理系统)，下面以具体示例进一步介绍。

首先本发明实施例的KBMS会接收到一个计算逻辑库请求(即对数据库实例集合的运维管理请求，简称请求)，该请求附带项目号，KBMS响应于该请求，会链接上这个项目下所有数据库集群的从库实例(这样可以降低对线上的影响)，通过information_schema库获取从库实例的所有数据库、数据表的信息(简称库表信息)，本发明一个实施例的获取库表信息的示意图如图4所示，有三个订单库(订单数据库)，分别是orders-1、orders-2和orders-history；这三个库分别有一张订单表(订单数据表)，分别为good_order_1、good_order_2和good_order。

由于三张订单表数据结构都一样，并且其基础表名也一样(均为good_order)，因此三张表将会被聚合成一张逻辑表good_order(即第二逻辑表)，并且原来三张表所关联的数据库都会被这张逻辑表所关联，即该逻辑表关联的数据库为orders-1、orders-2和orders-history，聚合得到第二逻辑表的示意图如图5所示。

图5中，虽然orders-1、orders-2和orders-history都被good_order所关联，但是orders-1、orders-2的基础库名(均为orders)与orders-history的基础库名(为orders-history)不一样，因此按照它们的基础库名，在计算逻辑库时会被划分为两个逻辑库：orders和orders-history。当得到最终的逻辑库之后，再通过向下关联分库分表，来划分出实际的逻辑表(即第一逻辑表)，聚合得到逻辑库和逻辑库下第一逻辑表的示意图如图6所示，逻辑库orders、orders-history下分别有一个第一逻辑表good_order，但这两个第一逻辑表good_order是由不同的数据表聚合得到的，逻辑库orders下的第一逻辑表good_order由数据表good_order_1、good_order_2聚合得到，逻辑库orders-history下的第一逻辑表good_order由数据表good_order聚合得到。

此外，逻辑库都跟哪些数据库集群(简称集群)相关，逻辑库下的分库都部署在哪些数据库实例(简称实例)上的信息，是在KBMS一开始访问每个集群的实例的时候记录的，这些节点信息、主从架构等会被KBMS一起打包发送给数据存储单元进行存储，数据存储单元是用于存储这些数据的单元。

在计算出逻辑库、逻辑表之后，也需要适当的数据结构来存储其架构信息。介于逻辑库灵活多变的数据库结构和部署关系，横跨多个实体间的关联等特性，本发明实施例采用图的形式来存储，其模型结构如图3所示，即数据库架构知识图谱的存储结构。

基于线上的运维经验和模式，可将逻辑库分为业务层和资产层两大类进行图的构建：

资产层(即基础设施层)：包括了数据库集群、数据库实例、容器和物理机等基础资源信息。这些是构建上层业务的地基，该层信息主要记录了硬件资源、基础软件资源(如操作系统、数据库系统)的配置信息。其反应的是部署架构信息。

业务层(即逻辑结构层)：包括了逻辑库的架构信息、库表结构信息等。其反应的是一个数据库业务是如何设计的，在逻辑上是如何构建的。

具体可以根据逻辑库的架构和数据库的架构，以及数据库与逻辑库之间的聚合关系、数据表与第一逻辑表之间的聚合关系，构建逻辑结构层，其中，逻辑库的架构包括逻辑库与各自的第一逻辑表之间的关系，数据库的架构包括数据库与各自的数据表之间的关系。

基于数据库实例集合的基础资源信息，构建与数据库实例集合对应的基础设施层。

业务层和资产层这两部分在获取到从KBMS传过来的逻辑库信息之后可以分别独立构建，最后再通过部署信息，异步地搭建业务层到资产层的关系，将业务逻辑映射到基础设施上(即将逻辑结构层映射到基础设施层)，得到数据库架构知识图谱并存储在图数据库。这样做的好处是可以将错综复杂且灵活多变的关系拆分成两个结构简单的且相独立的图来构建，减少了图构建上因为关系回路太多，造成构建过程不可控且耗时长的问题。此外，用图存储能在运维上解决数据碎片化的问题，将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心。

本发明实施例实现了数据库结构主动探查并且自动辨别逻辑库逻辑表，通过主动链接数据库获取和构建数据库架构信息、数据库存储信息，从而降低人为操作带来的风险、节约人力和时间成本。基于分库分表的方法原理，通过比较不同库表之间的数据结构信息，找出相似度极高的一群库(物理库)和表(物理表)，对应识别为逻辑库、逻辑表，帮助用户自动维护逻辑表逻辑库信息。以知识图谱的方式存储复杂的数据库架构并简化其构建流程的方法，解决数据碎片化的问题，将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心。本发明实施例对于分库或者分表超过上百个的大集群也同样省时省力。

图7是根据本发明一个实施例的数据库的运维管理装置的主要模块示意图。

如图7所示，本发明一个实施例的数据库的运维管理装置700主要包括：信息获取模块701、运维管理模块702。

信息获取模块701，用于响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息；

运维管理模块702，用于根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表。

运维管理模块702具体可以用于：对于数据库实例集合中的数据表，按照数据表的表结构和基础表名进行聚合，得到一个或多个第二逻辑表；数据表的基础表名根据数据表的表名确定；确定第二逻辑表与数据库之间的关联关系，其中，第二逻辑表关联的数据库为聚合得到第二逻辑表的数据表所在的数据库；按照第二逻辑表关联的数据库的基础库名，将同一第二逻辑表关联的数据库聚合为逻辑库；数据库的基础库名根据数据库的库名确定；对于同一逻辑库对应的数据表，按照数据表的表结构和基础表名进行聚合，得到逻辑库下的第一逻辑表，其中，逻辑库对应的数据表为聚合得到逻辑库的数据库中的数据表。

运维管理模块702可以包括聚合子模块，用于：将数据表的列信息处理为第一字符串，建立第一字符串与数据表的表名之间的映射关系；将基础表名相同，且表名与同一第一字符串存在映射关系的数据表聚合为一个逻辑表。

运维管理模块702可以包括基础名确定子模块，用于通过如下方式确定基础表名或基础库名：对第二字符串进行分割，利用分割得到的字符中的指定特殊字符，通过正则表达式提取出不带有词义的字符串，将提取后剩余的字符拼接得到第三字符串，其中，第二字符串为数据表的表名且第三字符串为数据表的基础表名，或者，第二字符串为数据库的库名且第三字符串为数据库的基础库名。

运维管理模块702还可以用于：根据逻辑库的架构和数据库的架构，以及数据库与逻辑库之间的聚合关系、数据表与第一逻辑表之间的聚合关系，构建与数据库实例集合对应的逻辑结构层，并将逻辑结构层存储在图数据库，其中，逻辑库的架构包括逻辑库与各自的第一逻辑表之间的关系，数据库的架构包括数据库与各自的数据表之间的关系。

运维管理模块702还可以用于：基于数据库实例集合的基础资源信息，构建与数据库实例集合对应的基础设施层，并将基础设施层存储在图数据库，其中，基础资源信息至少包括数据库实例集合中数据库集群的信息和数据库集群下的数据库实例的信息。

运维管理模块702还可以用于：将逻辑结构层映射到基础设施层，得到与数据库实例集合对应的数据库架构知识图谱，并将数据库架构知识图谱存储在图数据库。

另外，在本发明实施例中数据库的运维管理装置的具体实施内容，在上面所述数据库的运维管理方法中已经详细说明了，故在此重复内容不再说明。

图8示出了可以应用本发明实施例的数据库的运维管理方法或数据库的运维管理装置的示例性系统架构800。

如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据库的运维管理方法一般由服务器805执行，相应地，数据库的运维管理装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本申请实施例的服务器的计算机系统900的结构示意图。图9示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括信息获取模块、运维管理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，信息获取模块还可以被描述为“用于响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：响应于对数据库实例集合的运维管理请求，连接所述数据库实例集合中的数据库实例，以从所述数据库实例中获取存储的数据库、数据表的信息；根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表。

根据本发明实施例的技术方案，响应于对数据库实例集合的运维管理请求，连接数据库实例集合中的数据库实例，以从数据库实例中获取存储的数据库、数据表的信息；根据获取的数据库、数据表的信息，对数据库实例集合中的数据库、数据表分别聚合，得到与数据库实例集合对应的逻辑库以及逻辑库下的第一逻辑表。能够降低人为操作带来的信息不准确的风险，节约人力和时间成本，帮助用户自动维护逻辑表逻辑库信息，解决数据碎片化的问题，可将各类相对独立的资源和业务信息通过不同维度关联起来，从而盘活整个运维管理的数据核心，且扩展性和灵活性好。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据库的运维管理方法，其特征在于，包括：

响应于对数据库实例集合的运维管理请求，连接所述数据库实例集合中的数据库实例，以从所述数据库实例中获取存储的数据库、数据表的信息；

根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表。

2.根据权利要求1所述的方法，其特征在于，所述根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表，包括：

对于所述数据库实例集合中的所述数据表，按照数据表的表结构和基础表名进行聚合，得到一个或多个第二逻辑表；所述数据表的基础表名根据所述数据表的表名确定；

确定所述第二逻辑表与数据库之间的关联关系，其中，所述第二逻辑表关联的数据库为聚合得到所述第二逻辑表的所述数据表所在的数据库；

按照所述第二逻辑表关联的数据库的基础库名，将同一所述第二逻辑表关联的数据库聚合为所述逻辑库；所述数据库的基础库名根据所述数据库的库名确定；

对于同一所述逻辑库对应的数据表，按照数据表的表结构和基础表名进行聚合，得到所述逻辑库下的所述第一逻辑表，其中，所述逻辑库对应的数据表为聚合得到所述逻辑库的所述数据库中的数据表。

3.根据权利要求2所述的方法，其特征在于，所述按照数据表的表结构和基础表名进行聚合，包括：

将所述数据表的列信息处理为第一字符串，建立所述第一字符串与所述数据表的表名之间的映射关系；

将所述基础表名相同，且所述表名与同一所述第一字符串存在所述映射关系的所述数据表聚合为一个逻辑表。

4.根据权利要求2所述的方法，其特征在于，通过如下方式确定所述基础表名或所述基础库名：

对第二字符串进行分割，利用分割得到的字符中的指定特殊字符，通过正则表达式提取出不带有词义的字符串，将提取后剩余的字符拼接得到第三字符串；其中，所述第二字符串为所述数据表的表名、所述第三字符串为所述数据表的基础表名；或者，所述第二字符串为所述数据库的库名、所述第三字符串为所述数据库的基础库名。

5.根据权利要求1所述的方法，其特征在于，所述得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表之后，包括：

根据所述逻辑库的架构和所述数据库的架构，以及所述数据库与所述逻辑库之间的聚合关系、所述数据表与所述第一逻辑表之间的聚合关系，构建与所述数据库实例集合对应的逻辑结构层，并将所述逻辑结构层存储在图数据库，其中，所述逻辑库的架构包括所述逻辑库与各自的所述第一逻辑表之间的关系，所述数据库的架构包括所述数据库与各自的所述数据表之间的关系。

6.根据权利要求5所述的方法，其特征在于，所述得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表之后，还包括：

基于所述数据库实例集合的基础资源信息，构建与所述数据库实例集合对应的基础设施层，并将所述基础设施层存储在所述图数据库，其中，所述基础资源信息至少包括所述数据库实例集合中数据库集群的信息和所述数据库集群下的所述数据库实例的信息。

7.根据权利要求6所述的方法，其特征在于，还包括：

将所述逻辑结构层映射到所述基础设施层，得到与所述数据库实例集合对应的数据库架构知识图谱，并将所述数据库架构知识图谱存储在所述图数据库。

8.一种数据库的运维管理装置，其特征在于，包括：

信息获取模块，用于响应于对数据库实例集合的运维管理请求，连接所述数据库实例集合中的数据库实例，以从所述数据库实例中获取存储的数据库、数据表的信息；

运维管理模块，用于根据获取的所述数据库、数据表的信息，对所述数据库实例集合中的数据库、数据表分别聚合，得到与所述数据库实例集合对应的逻辑库以及所述逻辑库下的第一逻辑表。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images