CN115185925A - 数据管理方法、系统、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据管理方法、系统、装置、计算机设备和存储介质。该方法包括：响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。其中，目标关联平台包括至少一个平台。如此，将各数据库容器的台账信息进行汇总，形成全生命周期信息，实现数据的全面汇总和有效管理，并在多个数据管理平台和目标关联平台之间实现数据信息的同步更新。

Description

数据管理方法、系统、装置、计算机设备和存储介质

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据管理方法、系统、装置、计算机设备和存储介质。

背景技术

随着数据中心内关系型数据库管理系统(简称MySQL)容器规模的爆发性增长，MySQL的运维和应急平台的数量也日趋增加。

相关技术中，在管理部门的应用数据时，工作人员从该部门的多个数据管理平台(Data Management Platform，DMP)中获取各数据库容器的台账信息，并对多个DMP中获取的台账信息进行汇总和管理。

然而，相关技术中存在数据管理效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高多平台之间数据管理效率的数据管理方法、系统、装置、计算机设备和存储介质。

第一方面，本申请提供了一种数据管理方法，该方法包括：

响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

在其中一个实施例中，补充数据信息包括性能监控信息、容器信息和备份信息中至少一项；目标关联平台包括性能容量管理平台、数据库容器自服务平台和数据备份管理平台中的一个或多个；

对应地，根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息，包括以下至少一种：

根据各数据库容器的数据匹配IP，从性能容量管理平台中获取各数据匹配IP对应的性能监控信息；

根据各数据库容器的数据匹配IP，从数据库容器自服务平台中获取各数据匹配IP对应的容器信息；

根据各数据库容器的数据匹配IP，从数据备份管理平台中获取各匹配IP对应的备份信息。

在其中一个实施例中，根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息，包括：

对各数据库容器的台账信息进行数据汇总处理，并将汇总后的台账信息存储至预设的数据管理实例表中；

根据补充数据信息，对汇总后的台账信息进行补充处理，得到各数据库容器的全生命周期信息。

在其中一个实施例中，该方法还包括：

获取数据库容器表；数据库容器表中存储各数据管理平台中所管理的数据库容器的历史补充数据信息；

根据数据匹配IP和数据库容器表，判断各数据库容器的运行环境是否为新增环境，确定新增环境下的新增数据库容器和非新增环境下的原始数据库容器；

将新增数据库容器的补充数据信息写入数据库容器表中；

根据原始数据库容器的补充数据信息，在数据库容器表中对原始数据库容器的历史补充数据信息进行更新。

在其中一个实施例中，目标关联平台为性能容量管理平台；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作，包括：

基于各数据库容器的全生命周期信息，对性能容量管理平台中的应急容器信息进行更新；

基于各数据库容器的全生命周期信息，将新增数据库容器纳入到性能容量管理平台的容器监控项中，通过性能容量管理平台监控新增数据库容器的运行状态。

在其中一个实施例中，目标关联平台为数据备份管理平台；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作，包括：

基于各数据库容器的全生命周期信息，将新增环境录入到数据备份管理平台中进行备份。

在其中一个实施例中，该方法还包括：

基于各数据库容器的全生命周期信息，检查各数据库容器的运行信息；

若存在至少一个数据库容器的运行信息存在异常，则通过预设的报警方式进行报警。

在其中一个实施例中，该方法还包括：

基于预设的功能指标监控项，对多个数据管理平台中功能指标的开启状态进行监控；

若存在至少一个功能指标的开启状态为未开启，则通过预设的报警方式进行报警。

第二方面，本申请还提供了一种数据管理系统，该系统包括数据管理服务器、多个数据管理平台和至少一个关联平台；

数据管理服务器用于执行上述第一方面中任一实施例中的数据管理方法；

各数据管理平台，均用于运行和维护多个数据库容器，并通过数据库容器记录台账信息；

关联平台，用于记录各数据管理平台中数据库容器的补充数据信息。

第三方面，本申请还提供了一种数据管理装置，该装置包括：

台账获取模块，用于响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

信息获取模块，用于根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

数据管理模块，用于根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

数据处理模块，用于基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

第四方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面中任一方法实施例的步骤。

第五方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一方法实施例的步骤。

第六方面，本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序被处理器执行时实现上述第一方面中任一方法实施例的步骤。

上述数据管理方法、系统、装置、计算机设备和存储介质，计算机设备响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。其中，目标关联平台包括至少一个平台。在该方法中，计算机设备不仅可以将多个数据管理平台中数据库容器的台账信息进行汇总，还可以从目标关联平台中获取补充数据信息，以对汇总后的台账信息进行补充和完善，从而形成各数据库容器的全生命周期信息，实现数据的全面汇总和有效管理。进一步地，基于汇总整理的各数据库容器的全生命周期信息，对目标关联平台中的数据进行处理。如此，借助汇总数据对目标关联平台进行巡检和更新，可以在多个数据管理平台和目标关联平台之间实现数据的同步更新。

附图说明

图1为一个实施例中数据管理方法的流程示意图；

图2为一个实施例中全生命周期信息的获取流程示意图；

图3为一个实施例中数据库容器表的更新流程示意图；

图4为一个实施例中多平台数据采集示意图；

图5为一个实施例中数据库容器的监控流程示意图；

图6为一个实施例中数据管理平台的监控流程示意图；

图7为一个实施例中多平台数据同步示意图；

图8为一个实施例中数据管理系统的结构示意图；

图9为一个实施例中数据管理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

随着数据中心MySQL容器规模呈现爆发性增长，银行内部关于MySQL的运维和应急平台也日趋增加，使得跨多个部门生成的台账信息管理混乱。而且，各运维和应急平台之间的台账信息需要人工记录、汇总和分析后，才可以得到各数据库容器的全生命周期信息。另外，在各运维和应急平台的信息更新不及时的情况下，难以在各运维和应急平台之间实现数据信息的有效同步。

基于此，本申请提供了一种数据管理方法、系统、装置、计算机设备和存储介质，通过计算机设备采集汇总部门内多个数据管理平台的台账信息，记录数据库容器的全生命周期信息，以解决台账信息管理混乱和平台自动运维的问题。也即是，本申请克服了多个平台独立管理的不足，通过统一管理多平台的台账信息，在多个平台之间实现数据信息的同步更新。进一步地，通过多平台联动管理，为运维人员的运维、监控、应急等操作提供了便利，具有较好的普适性和扩展性。

需要说明的是，本申请实施例提供的数据管理方法，其执行主体可以是数据管理装置，该数据管理装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。其中，该计算机设备可以是服务器或者终端，本申请实施例中的服务器包括但不限于为至少一个独立服务器、分布式服务器、云服务器和服务器集群；终端可以包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备、智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。

应该理解的是，下面所示的方法实施例之间可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。显然，所描述的实施例是本申请实施例一部分实施例，而不是全部的实施例。

在一个实施例中，如图1所示，提供了一种数据管理方法，以该方法应用于计算机设备为例进行说明，包括以下步骤：

步骤110：响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP。

其中，数据采集指令可以是人为触发的，也可以是预先在计算机设备上部署的定时作业，还可以是其他触发方式，本申请实施例对此不做限制。

需要说明的是，该步骤110中的数据管理平台(Data Management Platform，DMP)为MySQL数据库管理平台，主要用于MySQL运维、管理、监控和应急。随着业务数据的增加，银行系统内数据管理平台的数量也在增加。各数据管理平台上可以挂载管理多个数据库容器，即DMP平台中管理的数据库容器为MySQL容器。

进一步地，每个数据库容器均用于存储银行系统内部生成的台账信息，不同数据库容器的台账信息之间可能存在关联，需要对其进行汇总和整理，形成全生命周期信息。

另外，台账信息包括多条数据，每条数据都对应一个唯一的数据匹配IP，根据该数据匹配IP可以将相同或相似的数据进行合并和整理。

步骤120：根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台。

其中，目标关联平台可以为一个平台，也可以为多个平台。目标关联平台可以为存储数据管理平台底层硬件的资源信息的外部平台，也可以是监控数据管理平台所管理的数据库容器的运行状态和设备信息的外部平台，还可以是存储各数据管理平台/数据库容器备份数据的外部平台等。本实施例对目标关联平台的数目和存储内容不做限制。

在一些应用场景中，目标关联平台包括性能容量管理平台、数据库容器自服务平台和数据备份管理平台中的一个或多个；补充数据信息包括性能监控信息、容器信息和备份信息中至少一项。

对应地，步骤120的实现过程包括以下至少一种：

(1)根据各数据库容器的数据匹配IP，从性能容量管理平台中获取各数据匹配IP对应的性能监控信息。

具体地，性能容量管理平台(Performance Capacity Management，PCM)主要用于获取自动负载信息库(Automatic Workload Repository，AWR)报告，并进行查询、诊断、应急和监控。对应地，性能监控信息可以包括MyAWR和监控IP。

其中，MyAWR为MySQL的性能监控，MyAWR以MySQL实例(instance)为单位，每隔一段时间进行采样，然后把数据保存到数据库，以便分析。

(2)根据各数据库容器的数据匹配IP，从数据库容器自服务平台中获取各数据匹配IP对应的容器信息。

其中，数据库容器自服务平台(Self-help Service，简称SSER平台)作为MySQL的自服务平台，主要用于MYSQL容器化自助申请，执行环境搭建、重建容器和退库等操作。

对应地，容器信息包括应用名、数据库名、SetID(对象管理层面的一种分类标识)、部署地、宿主机IP、文件系统大小、中央处理器(Central Processing Unit，CPU)、内存、镜像、上线时间等。

(3)根据各数据库容器的数据匹配IP，从数据备份管理平台中获取各匹配IP对应的备份信息。

其中，数据库备份管理平台用于实现数据中心多个DMP平台数据的分布式存储与备份。在本申请实施例中，数据库备份管理平台可以采用KKbackup平台来实现，该KKbackup平台以“分布式对象存储”作为备份介质，为用户提供自动化的备份服务。对应地，备份信息包括备份方式和备份时间。

另外，目标关联平台还可以包括开放平台集中监控(Open System CentralizeMonitor，OSCM)系统、配置管理数据库(Configuration Management Database，CMDB)系统和邮件服务器。

其中，OSCM系统用于集中处理和展现开放平台系统中各类监控事件；CMDB系统用于整合各应用系统对基础资源数据和资源管理关系信息的需要，管理各配置项的关联关系；邮件服务器主要用于发送报警邮件。

需要说明的是，当目标关联系统包括OSCM系统、CMDB系统和邮件服务器时，计算机设备可以从中获取数据进行分析、管理和使用，也可以不执行获取数据操作，本实施例对此不做限制。

步骤130：根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息。

其中，数据库容器的全生命周期信息是指数据库容器从需求、规划、设计、运行、数据使用、维护、回收再用处置的全生命周期中的信息、数据和过程。

在一种可能的实现方式中，步骤130的实现过程为：根据数据匹配IP，对各数据库容器的台账信息和补充数据信息进行融合处理，生成各数据库容器的全生命周期信息。

步骤140：基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

其中，数据处理操作可以包括以下至少一项：数据更新、数据存储、数据筛选、异常监控等。

另外，计算机设备还可以基于汇总的各数据库容器的海量数据，执行其他数据分析操作，以进行业务规划和策略调整等，本实施例对数据使用范围不做限制。

上述数据管理方法，计算机设备响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。其中，目标关联平台包括至少一个平台。在该方法中，计算机设备不仅可以将多个数据管理平台中数据库容器的台账信息进行汇总，还可以从目标关联平台中获取补充数据信息，以对汇总后的台账信息进行补充和完善，从而形成各数据库容器的全生命周期信息，实现数据的全面汇总和有效管理。进一步地，基于汇总整理的各数据库容器的全生命周期信息，对目标关联平台中的数据进行处理。如此，借助汇总数据对目标关联平台进行巡检和更新，可以在多个数据管理平台和目标关联平台之间实现数据的同步更新。

在一个实施例中，如图2所示，上述步骤130中根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息的实现过程，包括以下步骤：

步骤210：对各数据库容器的台账信息进行数据汇总处理，并将汇总后的台账信息存储至预设的数据管理实例表中。

其中，数据汇总处理可以包括数据清洗、格式转换、数据项合并、分类汇总等，还可以包括其他更多处理操作，本实施例对此不做限制。

具体地，对各数据库容器的台账信息进行数据汇总处理时，可以根据每条数据对应的数据匹配IP，对各数据库容器的台账信息进行汇总处理。

另外，计算机设备中的数据库或者计算机设备外接的数据库中设置有数据管理实例表，数据管理实例表用于记录各数据库容器的台账信息的全生命周期信息。

步骤220：根据补充数据信息，对汇总后的台账信息进行补充处理，得到各数据库容器的全生命周期信息。

在一种可能的实现方式中，步骤220的实现过程为：基于数据匹配IP，从补充数据信息中获取台账信息中各数据对应的补充数据，将补充数据填入到数据管理实例表中对应的位置，以形成每条数据完整的全生命周期信息。

在本实施例中，对多个数据管理平台中各数据库容器的台账信息和补充数据信息进行汇总和管理，得到各数据库容器的全生命周期信息。如此，基于海量的数据库容器的全生命周期信息，可以在数据管理平台和目标关联平台之间实现联动，也便于在多个平台之间实现数据的统一管理。

在一个实施例中，如图3所示，以该方法应用于计算机设备为例进行说明，数据库容器表的更新过程，包括以下步骤：

步骤310：获取数据库容器表；数据库容器表中存储各数据管理平台中所管理的数据库容器的历史补充数据信息。

其中，数据库容器表可以存储在计算机设备的数据库中，也可以存储在计算机设备的外接数据库中，用于记录各数据库容器的历史补充数据信息。

步骤320：根据数据匹配IP和数据库容器表，判断各数据库容器的运行环境是否为新增环境，确定新增环境下的新增数据库容器和非新增环境下的原始数据库容器；

在一种可能的实现方式中，步骤320的实现过程为：根据数据匹配IP遍历数据库容器表的数据项IP，若不存在与数据匹配IP相同的数据项IP，则该数据匹配IP对应的数据库容器的运行环境为新增环境，该数据库容器即为新增数据库容器；若存在与数据匹配IP相同的数据项IP，则该数据匹配IP对应的数据库容器的运行环境不是新增环境，该数据库容器即为原始数据库容器。如此，将从多个数据管理平台中的数据库容器分为新增数据库容器和原始数据库容器，以实时感知数据库容器的主备切换情况。

步骤330：将新增数据库容器的补充数据信息写入数据库容器表中。

在一种可能的实现方式中，步骤330的实现过程为：根据新增数据库容器的补充数据信息，在数据库容器表中插入一条数据记录，以在数据库容器表中记录新增数据库容器的补充数据信息。

应该理解的是，若有多个新增数据库容器，则在数据库容器表中插入多条数据记录，插入的数据记录的数目和新增数据库容器的数目相同，且两者之间一一对应。

其中，新插入的数据记录至少包括该新增数据库容器的数据匹配IP、虚拟IP(SIP)、DMP地址、组名、服务器ID(即纳管到DMP上的主机名称)、服务等级协议(Service-Level Agreement，SLA)的协议类型等。

步骤340：根据原始数据库容器的补充数据信息，在数据库容器表中对原始数据库容器的历史补充数据信息进行更新。

其中，原始数据库容器的历史补充数据信息，即生成原始数据库容器在数据库容器表中对应的一条数据记录。

应该理解的是，对于原始数据库容器，其历史补充数据信息(即，非当前时刻获取的补充数据信息)已记录在数据库容器表中。因此，每次采集到原始数据库容器的补充数据信息后，可以根据补充数据信息对数据库容器的原本存储的历史补充数据信息进行更新，以对原始数据库容器在数据库容器表中对应的数据记录进行补充完善。

在一种可能的实现方式中，步骤340的实现过程为：根据原始数据库容器对应的数据匹配IP，从数据库容器表中确定原始数据库容器对应的一条数据记录，然后根据原始数据库容器的补充数据信息，对原始数据库容器对应的数据记录进行更新。

另外，若有多个原始数据库容器，则先在数据库容器表中确定多条数据记录，原始数据库容器和数据记录之间一一对应。然后，在据库容器表中，分别对各原始数据库容器对应数据记录进行更新。

在本实施例中，通过从目标关联平台中获取的补充数据信息，对数据库容器表进行更新处理，以通过数据库容器表记录各数据库容器的容器信息和主备切换情况。

综合上述各方法实施例，参见图4，通过计算机设备从多个数据管理平台和目标关联平台采集和汇总数据的实现过程为：MySQL容器上线后由DMP平台进行运维管理，计算机设备响应于定时任务，从多个DMP平台中采集新增环境数据和更新的存量数据，以实时更新主备角色；并将采集的多个DMP中MySQL容器的台账信息进行入库，存储在计算机设备上。

进一步地，通过PCM平台采集的补充数据信息，更新MyAWR和监控IP；通过SSER平台采集的补充数据信息，更新DMP平台中所管理的MySQL容器的物理机CPU和内存资源信息，以及MySQL容器的镜像；通过KKbackup平台采集的补充数据信息更新备份时间。

可选地，在将MySQL容器的台账信息进行入库时，还可以进行报错提示，以对入库的台账信息进行核对和异常检查。

可选地，计算机设备可以还可以设置有至少一个备份数据库，对计算机设备中存储的数据进行备份，以保证数据存储的安全性。

如此，通过计算机设备实现多个平台数据的统一采集、处理和存储，实现开放平台系统数据的全覆盖，解决了数据中心规模化后多平台运维，以及监控混乱和难以管理问题。而且，将数据集中在一个计算机设备上进行管理，也可以减少多平台单独管理的人工运维成本。

基于上述实施例，计算机设备从多平台采集和汇总数据后，还可以根据汇总的完整数据，对目标关联平台中的数据进行巡检，以实现多平台数据的同步更新。

在一个实施例中，当目标关联平台为性能容量管理平台时，上述步骤104中基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作的实现过程可以为：基于各数据库容器的全生命周期信息，对性能容量管理平台中的应急容器信息进行更新；基于各数据库容器的全生命周期信息，将新增数据库容器纳入到性能容量管理平台的容器监控项中，通过性能容量管理平台监控新增数据库容器的运行状态。

也即是，将新增数据库容器录入到PCM平台中进行应急，并对MySQL实例未纳入到PCM平台进行检查。

在另一个实施例中，当目标关联平台为数据备份管理平台时，上述步骤104中基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作的实现过程为：基于各数据库容器的全生命周期信息，将新增环境录入到数据备份管理平台中进行备份。

也即是，将新增环境自动录入到KKbackup平台中进行远程备份，并对备份库未纳入到KKbackup平台进行检查。

在本实施例中，通过各数据库容器的全生命周期信息，对性能容量管理平台和数据备份管理平台进行数据更新，以保证整个系统中的数据可以同步。

在一个实施例中，如图5所示，计算机设备还可以基于数据库容器的全生命周期信息，对多个数据管理平台中的数据库容器进行监控。具体地，数据库容器的监控过程，包括以下步骤：

步骤510：基于各数据库容器的全生命周期信息，检查各数据库容器的运行信息。

其中，运行信息包括CPU内存、用户密码登录和线程池运行状态中的至少一项。

也即是，通过分析各数据库容器的全生命周期信息，判断各数据库容器的运行信息，并根据各数据库容器的运行信息判断其是否存在异常。

步骤520：若存在至少一个数据库容器的运行信息存在异常，则通过预设的报警方式进行报警。

作为一个示例，预设的报警方式为：通过邮件服务器发送异常情况下的报警邮件，该报警邮件中携带运行异常的数据库容器的标识、运行信息和异常原因。

作为另一个示例，预设的报警方式为：通过OSCM系统进行报警，并在OSCM系统的监控界面中显示运行异常的数据库容器的标识、运行信息和异常原因。

应该理解的是，当存在CPU内存占用率超过预设阈值、用户错误密码登录、线程池堵塞中的至少一个异常情况时，计算机设备以预设的报警方式进行报警。当各数据库容器的运行信息不存在异常时，则无需进行报警。

在本实施例中，通过各数据库容器的全生命周期信息，检查各数据库容器的运行信息，以在数据库容器运行异常时及时报警，提高数据库容器的运维效果。

在一个实施例中，如图6所示，计算机设备还可以基于预设的功能指标监控项，对多个数据管理平台进行监控。具体地，数据管理平台的监控过程包括以下步骤：

步骤610：基于预设的功能指标监控项，对多个数据管理平台中功能指标的开启状态进行监控。

其中，预设的功能监控指标项包括对数据库容器是否纳管到性能容量管理平台、数据管理平台的高可用决策是否开启，以及数据库容器的高可用能力是否开启。

在一种可能的实现方式中，步骤610的实现过程为：对多个数据管理平台中各MySQL容器未纳管到数据管理平台进行检查；对各数据管理平台的高可用决策的开启状态进行监控；对多个数据管理平台管理的MySQL实例的高可用能力的开启状态进行监控。

步骤620：若存在至少一个功能指标的开启状态为未开启，则通过预设的报警方式进行报警。

同理，预设的报警方式包括通过邮件服务器发送报警邮件，或者，通过OSCM系统进行报警。

具体地，若存在MySQL容器存在未纳管到数据管理平台，和/或，数据管理平台的高可用决策未开启，和/或，MySQL实例的高可用能力未开启，则通过预设的报警方式进行报警。

在本实施例中，通过对多个数据管理平台中功能指标的开启状态进行监控，在异常情况下及时报警，以有效运维各数据管理平台中的管理的数据库容器。

综合上述各方法实施例，参见图7，计算机设备基于采集汇总得到的各数据库容器的全生命周期信息，将最新数据辐射到全平台。具体过程为：对于PCM平台，将新增环境自动录入PCM平台进行应急，并对MySQL实例未纳入PCM平台进行检查；对于KKbackup平台，将新增环境自动录入KKbackup平台进行远程备份，并对备份库未纳入到KKbackup平台进行检查；对于多个DMP平台，对MySQL容器未纳管到DMP平台进行检查、高可用决策未开启和MySQL实例高可用能力未开启进行监控报警。

进一步地，通过收集的全面且完整的全生命周期信息，采用自研的三个功能指标监控项，进行CPU内存和用户错误密码登录的异常监控，同时调用PCM平台进行线程池堵塞的监控报警。并在异常的情况下通过邮件服务器或者OSCM系统进行报警。

另外，在数据库容器全生命周期最后的下线关机阶段，先调用CMDB系统检查系统的节点状态。进而对处于系统再回收状态的数据库容器，再调用SSER平台接口进行批量退库。

可选地，计算机设备还可以基于海量的数据库容器的全生命周期信息，对整个系统进行性能容量分析和使用。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

另外，基于同样的发明构思，如图8所示，本申请实施例还提供了一种数据管理系统，该系统800包括数据管理服务器810、多个数据管理平台820和至少一个关联平台830。

其中，数据管理服务器用于执行上述任一方法实施例中所示的数据管理方法；各数据管理平台均用于运行和维护多个数据库容器，并通过数据库容器记录台账信息；关联平台用于记录各数据管理平台中数据库容器的补充数据信息。

在本申请实施例中，数据管理系统中的数据管理服务器从多个数据管理平台中获取各数据库容器的台账信息，并从至少一个关联平台中获取各数据库容器的补充数据信息。然后，根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息，进一步地，基于各数据库容器的全生命周期信息，对至少一个关联平台中的数据进行同步更新。

另外，基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据管理方法的数据管理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据管理装置实施例中的具体限定可以参见上文中对于数据管理方法的限定，在此不再赘述。

在一个实施例中，如图9所示，提供了一种数据管理装置，该装置900包括：台账获取模块910、信息获取模块920、数据管理模块930和数据处理模块940，其中：

台账获取模块910，用于响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

信息获取模块920，用于根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

数据管理模块930，用于根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

数据处理模块940，用于基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

在其中一个实施例中，补充数据信息包括性能监控信息、容器信息和备份信息中至少一项；目标关联平台包括性能容量管理平台、数据库容器自服务平台和数据备份管理平台中的一个或多个；

对应地，信息获取模块920包括以下至少一个获取单元：

第一获取单元，用于根据各数据库容器的数据匹配IP，从性能容量管理平台中获取各数据匹配IP对应的性能监控信息；

第二获取单元，用于根据各数据库容器的数据匹配IP，从数据库容器自服务平台中获取各数据匹配IP对应的容器信息；

第三获取单元，用于根据各数据库容器的数据匹配IP，从数据备份管理平台中获取各匹配IP对应的备份信息。

在其中一个实施例中，数据管理模块930，包括：

汇总单元，用于对各数据库容器的台账信息进行数据汇总处理，并将汇总后的台账信息存储至预设的数据管理实例表中；

补充单元，用于根据补充数据信息，对汇总后的台账信息进行补充处理，得到各数据库容器的全生命周期信息。

在其中一个实施例中，该装置900还包括：

容器表获取模块，用于获取数据库容器表；数据库容器表中存储各数据管理平台中所管理的数据库容器的历史补充数据信息；

确定模块，用于根据数据匹配IP和数据库容器表，判断各数据库容器的运行环境是否为新增环境，确定新增环境下的新增数据库容器和非新增环境下的原始数据库容器；

更新模块，用于将新增数据库容器的补充数据信息写入数据库容器表中；

更新模块，还用于根据原始数据库容器的补充数据信息，在数据库容器表中对原始数据库容器的历史补充数据信息进行更新。

在其中一个实施例中，目标关联平台为性能容量管理平台；

数据处理模块940，包括：

更新单元，用于基于各数据库容器的全生命周期信息，对性能容量管理平台中的应急容器信息进行更新；

监控单元，用于基于各数据库容器的全生命周期信息，将新增数据库容器纳入到性能容量管理平台的容器监控项中，通过性能容量管理平台监控新增数据库容器的运行状态。

在其中一个实施例中，目标关联平台为数据备份管理平台；

数据处理模块940，包括：

备份单元，用于基于各数据库容器的全生命周期信息，将新增环境录入到数据备份管理平台中进行备份。

在其中一个实施例中，该装置900还包括：

运行检查模块，用于基于各数据库容器的全生命周期信息，检查各数据库容器的运行信息；

第一报警模块，用于若存在至少一个数据库容器的运行信息存在异常，则通过预设的报警方式进行报警。

在其中一个实施例中，该装置900还包括：

功能监控模块，用于基于预设的功能指标监控项，对多个数据管理平台中功能指标的开启状态进行监控；

第二报警模块，用于若存在至少一个功能指标的开启状态为未开启，则通过预设的报警方式进行报警。

上述数据管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，具体为图8中所示的数据管理服务器810，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统、计算机程序和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多个数据管理平台中数据库容器的全生命周期信息等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据管理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；台账信息包括各数据库容器的数据匹配IP；

根据各数据库容器的数据匹配IP，从目标关联平台中获取各数据库容器的补充数据信息；目标关联平台包括至少一个平台；

根据各数据库容器的台账信息和补充数据信息，生成各数据库容器的全生命周期信息；

基于各数据库容器的全生命周期信息，对目标关联平台中的数据执行数据处理操作。

上述实施例提供的一种计算机程序产品，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据管理方法，其特征在于，所述方法包括：

响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；所述台账信息包括各所述数据库容器的数据匹配IP；

根据各所述数据库容器的数据匹配IP，从目标关联平台中获取各所述数据库容器的补充数据信息；所述目标关联平台包括至少一个平台；

根据各所述数据库容器的台账信息和补充数据信息，生成各所述数据库容器的全生命周期信息；

基于各所述数据库容器的全生命周期信息，对所述目标关联平台中的数据执行数据处理操作。

2.根据权利要求1所述的方法，其特征在于，所述补充数据信息包括性能监控信息、容器信息和备份信息中至少一项；所述目标关联平台包括性能容量管理平台、数据库容器自服务平台和数据备份管理平台中的一个或多个；

对应地，所述根据各所述数据库容器的数据匹配IP，从目标关联平台中获取各所述数据库容器的补充数据信息，包括以下至少一种：

根据各所述数据库容器的数据匹配IP，从所述性能容量管理平台中获取各所述数据匹配IP对应的性能监控信息；

根据各所述数据库容器的数据匹配IP，从所述数据库容器自服务平台中获取各所述数据匹配IP对应的容器信息；

根据各所述数据库容器的数据匹配IP，从所述数据备份管理平台中获取各所述匹配IP对应的备份信息。

3.根据权利要求1所述的方法，其特征在于，所述根据各所述数据库容器的台账信息和补充数据信息，生成各所述数据库容器的全生命周期信息，包括：

对各所述数据库容器的台账信息进行数据汇总处理，并将汇总后的台账信息存储至预设的数据管理实例表中；

根据所述补充数据信息，对所述汇总后的台账信息进行补充处理，得到各所述数据库容器的全生命周期信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取数据库容器表；所述数据库容器表中存储各所述数据管理平台中所管理的数据库容器的历史补充数据信息；

根据所述数据匹配IP和所述数据库容器表，判断各所述数据库容器的运行环境是否为新增环境，确定新增环境下的新增数据库容器和非新增环境下的原始数据库容器；

将所述新增数据库容器的补充数据信息写入所述数据库容器表中；

根据所述原始数据库容器的补充数据信息，在所述数据库容器表中对所述原始数据库容器的历史补充数据信息进行更新。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标关联平台为性能容量管理平台；

所述基于各所述数据库容器的全生命周期信息，对所述目标关联平台中的数据执行数据处理操作，包括：

基于各所述数据库容器的全生命周期信息，对所述性能容量管理平台中的应急容器信息进行更新；

基于各所述数据库容器的全生命周期信息，将新增数据库容器纳入到所述性能容量管理平台的容器监控项中，通过所述性能容量管理平台监控所述新增数据库容器的运行状态。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标关联平台为数据备份管理平台；

所述基于各所述数据库容器的全生命周期信息，对所述目标关联平台中的数据执行数据处理操作，包括：

基于各所述数据库容器的全生命周期信息，将新增环境录入到所述数据备份管理平台中进行备份。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

基于各所述数据库容器的全生命周期信息，检查各所述数据库容器的运行信息；

若存在至少一个所述数据库容器的运行信息存在异常，则通过预设的报警方式进行报警。

8.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

基于预设的功能指标监控项，对所述多个数据管理平台中功能指标的开启状态进行监控；

若存在至少一个所述功能指标的开启状态为未开启，则通过预设的报警方式进行报警。

9.一种数据管理系统，其特征在于，所述系统包括数据管理服务器、多个数据管理平台和至少一个关联平台；

所述数据管理服务器用于执行上述权利要求1至8中任一项所述的数据管理方法；

各所述数据管理平台，均用于运行和维护多个数据库容器，并通过所述数据库容器记录台账信息；

所述关联平台，用于记录各所述数据管理平台中数据库容器的补充数据信息。

10.一种数据管理装置，其特征在于，所述装置包括：

台账获取模块，用于响应于数据采集指令，从多个数据管理平台中获取各数据库容器的台账信息；所述台账信息包括各所述数据库容器的数据匹配IP；

信息获取模块，用于根据各所述数据库容器的数据匹配IP，从目标关联平台中获取各所述数据库容器的补充数据信息；所述目标关联平台包括至少一个平台；

数据管理模块，用于根据各所述数据库容器的台账信息和补充数据信息，生成各所述数据库容器的全生命周期信息；

数据处理模块，用于基于各所述数据库容器的全生命周期信息，对所述目标关联平台中的数据执行数据处理操作。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images