CN115422154A - 数据库的自动维护方法、系统、设备和存储介质 - Google Patents

Abstract

本发明公开了一种数据库的自动维护方法、系统、设备和存储介质。通过本发明提供的技术方案，能够从庞大的数据库数据和操作系统数据中通过多项指标降维分析的方式，找到与运维场景相关的主成分，并根据主成分的变动情况了解数据库当前所需的运维场景以及响应动作，从而能够主动、智能发起运维动作，如回收资源、搜集相关的数据信息，提升后续查询效率，降低运维成本，具有可推广价值。

Description

数据库的自动维护方法、系统、设备和存储介质

技术领域

本发明涉及数据库运维技术领域，特别涉及一种数据库的自动维护方法、系统、设备和存储介质。

背景技术

数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。而数据库管理系统则是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。作为数据库系统的核心组成部分，数据库管理系统主要完成对数据库的操作与管理功能，实现数据库对象的创建、数据库存储数据的查询、添加、修改与删除操作和数据库的用户管理、权限管理等。

可以理解的是，随着零售企业的业务规模与数据规模不断增长，越来越多的应用场景需要应用到数据库对海量数据进行处理和消化，Greenplum数据库作为十分常见，且起到关键作用的核心大数据载体和平台，其所需的运维场景目前尚且无法用传统运维方法来解决，而运维效率也难以继续支撑业务规模的快速扩张。现有的运维管理模式往往会出现响应过慢，导致失去最佳的干预窗口；同时需要安排众多人力进行繁琐且低效的工作，也导致运维成本居高不下。

发明内容

本发明提供了一种数据库的自动维护方法、系统、设备和存储介质。具体地，本发明的第一方面提供了一种数据库的自动维护方法，其中数据库通过对应的操作系统进行功能实现。该种自动维护方法包括如下步骤：

获取数据库与操作系统的若干运维关联数据；

对运维关联数据进行降维处理以获取对应的运维关联成分；

根据运维关联成分进行预设模型训练以获得对应的训练结果；

其中，训练结果包括若干预设情况以及对应的自动维护策略；

在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。

在上述第一方面的一种可能的实现中，在获取数据库与操作系统的若干运维关联数据的过程中，包括：

持续采集数据库以及操作系统的请求日志和系统指标日志，以作为运维关联数据。

在上述第一方面的一种可能的实现中，在对运维关联数据进行降维处理以获取对应的运维关联成分的过程中，分别对请求日志和系统指标日志进行独立的降维处理。

在上述第一方面的一种可能的实现中，在对运维关联数据进行降维处理以获取对应的运维关联成分的过程中，包括：

生成关联于每个运维关联数据的指标成分表；

对指标成分表进行转置以生成包含各个指标成分的密集矩阵；

根据主成分分析法对密集矩阵进行训练，以获取降维后的降维投影输出表，并将降维投影输出表作为运维关联成分。

在上述第一方面的一种可能的实现中，降维投影输出表包括输出表部分以及残余表部分，其中：

输出表部分包括投影至主成分的数据表，主成分对应的累计标准差比例与主成分反映的原始信息比例成正比；

参与表部分包括主成分与每个运维关联数据项对应的误差。

在上述第一方面的一种可能的实现中，在根据运维关联成分进行预设模型训练以获得对应的训练结果的过程中，包括基于长短期记忆人工神经网络对运维关联成分进行训练。

在上述第一方面的一种，在请求指标和读写指标同时出现异常的情况下，使用vacuum操作实现对数据库的自动维护；

在请求指标和中央处理器指标同时出现异常的情况下，使用analyze操作实现对数据库的自动维护。

本申请的第二方面提供了一种数据库的自动维护系统，应用于前述第一方面提供的数据库的自动维护方法中。该种自动维护系统可以包括：

获取模块，用于获取数据库与操作系统的若干运维关联数据；

降维模块，用于对运维关联数据进行降维处理以获取对应的运维关联成分；

训练模块，用于根据运维关联成分进行预设模型训练以获得对应的训练结果，其中训练结果包括若干预设情况以及对应的自动维护策略；

维护模块，用于在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。

本申请的第三方面提供了一种数据库的自动维护设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现前述第一方面提供的数据库的自动维护方法。

本申请的第四方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述第一方面提供的数据库的自动维护方法。

与现有技术相比，本发明的有益效果是：

通过本发明提供的技术方案，能够从庞大的数据库数据和操作系统数据中通过多项指标降维分析的方式，找到与运维场景相关的主成分，并根据主成分的变动情况了解数据库当前所需的运维场景以及响应动作，从而能够主动、智能发起运维动作，如回收资源、搜集相关的数据信息，提升后续查询效率，降低运维成本，具有可推广价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1根据本发明实施例，示出了一种数据库的自动维护方法的流程示意图；

图2根据本发明实施例，示出了一种对运维关联数据进行降维处理以获取对应的运维关联成分的流程示意图；

图3根据本发明实施例，示出了一种自动维护方法对应的部分运维场景分析示意图；

图4根据本发明实施例，示出了一种自动维护方法对应的结果呈现示意图；

图5根据本发明实施例，示出了一种数据库的自动维护系统的结构示意图；

图6根据本发明实施例，示出了电子设备的结构示意图；

图7根据本发明实施例，示出了计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

针对现有技术存在的上述问题，在本发明提供的一些实施例中，图1示出了一种数据库的自动维护方法，其中，本申请所涉及的数据库通过对应的操作系统进行功能实现。如图1所示，该种自动维护方法可以包括如下步骤：

步骤101：获取数据库与操作系统的若干运维关联数据。其中，有关运维关联数据及其获取方式将于后文中进行具体说明。

步骤102：对运维关联数据进行降维处理以获取对应的运维关联成分。

步骤103：根据运维关联成分进行预设模型训练以获得对应的训练结果。其中，训练结果包括若干预设情况以及对应的自动维护策略。

步骤104：在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。

于上述实施例中，在前述步骤101的具体实施过程中，在获取数据库与操作系统的若干运维关联数据的过程中，可以包括：持续采集数据库以及操作系统的请求日志和系统指标日志，以作为运维关联数据。

于上述实施例中，进一步的，在前述步骤102的具体实施过程中，在对运维关联数据进行降维处理以获取对应的运维关联成分的过程中，需要分别对请求日志和系统指标日志进行独立的降维处理。可以理解的是，由于数据库系统中涉及上千个指标，这些指标间的关联关系并不明确，而且各指标数值的数量级也有差异，因此需要对指标体系进行降维处理。而在数据库系统所涉及的日志中主要包含两个部分：请求日志(accesslog)以及系统指标日志(falconlog)。在本申请提供的技术方案总需要针对这两种日志分别进行降维处理。

在本申请的一些实施例中，图2示出了一种对运维关联数据进行降维处理以获取对应的运维关联成分的流程示意图。如图2所示，具体可以包括：

步骤201：生成关联于每个运维关联数据的指标成分表。可以理解的是，指标成分表可以由若干性能指标进行组成，这些性能指标可以直接从请求日志和/或系统指标日志中进行获取，在此不做赘述。

步骤202：对指标成分表进行转置以生成包含各个指标成分的密集矩阵。

步骤203：根据主成分分析法对密集矩阵进行训练，以获取降维后的降维投影输出表，并将降维投影输出表作为运维关联成分。

可以理解的是，原本日志中有大量的性能指标,比如各个接口,各个时间点的返回时间，CPU，I/O等资源的占用等，太多的性能指标不利于进行比对。在本申请提供的上述实施例中，使用PCA主成分分析算法，可以将大量的指标维度降维成多个可归类的指标，比如时间跟，CPU，I/O，内存等之间的关系等等，并且能够保证原任意指标维度的变化都会导致降维后的指标数据有明显的变化,方便进行比对。在本申请的一些具体实施例中，当从4000余个指标成分降维至主成分的数量为1时，累积标准差比例为95.4，即反映了95.4％的原始信息，而维度已经从4000+个降低为1个。

在本申请的一些实施例中，降维投影输出表包括输出表部分以及残余表部分，其中：输出表部分包括投影至主成分的数据表，主成分对应的累计标准差比例与主成分反映的原始信息比例成正比；参与表部分包括主成分与每个运维关联数据项对应的误差。

在本申请的一些实施例中，在根据运维关联成分进行预设模型训练以获得对应的训练结果的过程中，包括基于长短期记忆人工神经网络对运维关联成分进行训练。具体的，图3示出了一种自动维护方法对应的部分运维场景分析示意图。当主成分endpoint取不同值时，其对应的运维异常场景也不同。可以理解的是，长短期记忆人工神经网络(LSTM)本质是使用算法对各个时间点的数据赋权，越接近当前时间的权重越高，该项数据对整体的影响越大，其中不涉及模型迭代。

于上述实施例中，可以理解的是，在请求指标和读写指标同时出现异常的情况下，使用vacuum操作实现对数据库的自动维护；而在请求指标和中央处理器指标同时出现异常的情况下，使用analyze操作实现对数据库的自动维护。

在本申请的一些实施例中，图4示出了一种自动维护方法对应的结果呈现示意图。如图4所示，可以看出，针对主成分endpoint的不同值对应了不同的运营维护场景，应用上述实施例提供的自动维护方法的数据库系统在正常使用过程中能够根据对请求日志和系统指标日志的采集和监控自动进行异常情况的检测和统计并给出相应的运维及时应对。

在本申请的一些实施例中，图5示出了一种数据库的自动维护系统的结构示意图，应用于前述实施例提供的数据库的自动维护方法中。该种自动维护系统可以包括：

获取模块001，用于获取数据库与操作系统的若干运维关联数据。

降维模块002，用于对运维关联数据进行降维处理以获取对应的运维关联成分。

训练模块003，用于根据运维关联成分进行预设模型训练以获得对应的训练结果，其中训练结果包括若干预设情况以及对应的自动维护策略。

维护模块004，用于在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。

可以理解的是，上述功能模块中获取模块001至维护模块004所实现的功能，与前述实施例中实施的步骤相一致，在此不做赘述。

可以理解的是，本发明技术方案的各个方面可以实现为系统、方法或程序产品。因此，本发明技术方案的各个方面可以具体实现为以下形式，即完全的硬件实施方法、完全的软件实施方法(包括固件、微代码等)，或硬件和软件方面结合的实施方法，这里可以统称为“电路”、“模块”或“平台”。

本领域的技术人员应该明白，上述本发明的各单元或各模块或各步骤可以用通用的计算设备来实现，它们可以集中在单个的计算设备上，或者分布在多个计算设备所组成的网络上，可选地，它们可以用计算设备可执行的程序代码来实现，从而，可以将它们存储在存储介质中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。

图6根据本发明的一些实施例，示出了一种电子设备的结构示意图，该种电子设备用于实现前述实施例中有关数据库的自动维护方法的实现。下面参照图6来详细描述根据本实施例中的实施方法实施的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明技术方案任何实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述数据库的自动维护系统中各个功能模块的实现。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

音视频信号同步处理设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

在本发明的一些实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时能够实现上述公开中数据库的自动维护系统中的各个功能模块的实现。

尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本发明技术方案说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本发明技术方案中数据库的自动维护方法中描述的根据本发明技术方案各种实施例中实施方式的步骤。

图7根据本发明的一些实施例示出了一种计算机可读存储介质的结构示意图。如图7所示，其中描述了根据本发明技术方案的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本发明技术方案中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一区域传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明技术方案操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、区域地在用户设备上执行、作为一个独立的软件包执行、区域在用户计算设备上区域在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，通过本发明提供的技术方案，通过本发明提供的技术方案，能够从庞大的数据库数据和操作系统数据中通过多项指标降维分析的方式，找到与运维场景相关的主成分，并根据主成分的变动情况了解数据库当前所需的运维场景以及响应动作，从而能够主动、智能发起运维动作，如回收资源、搜集相关的数据信息，提升后续查询效率，降低运维成本，具有可推广价值。

上述描述仅是对本发明技术方案较佳实施例的描述，并非对本发明技术方案范围的任何限定，本发明技术方案领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种数据库的自动维护方法，所述数据库通过对应的操作系统进行功能实现，其特征在于，所述自动维护方法包括如下步骤：

获取所述数据库与所述操作系统的若干运维关联数据；

对所述运维关联数据进行降维处理以获取对应的运维关联成分；

根据所述运维关联成分进行预设模型训练以获得对应的训练结果；

其中，所述训练结果包括若干预设情况以及对应的自动维护策略；

在检测到出现所述预设情况的情况下，对所述数据库执行对应的所述自动维护策略以实现对所述数据库的自动维护。

2.根据权利要求1所述的数据库的自动维护方法，其特征在于，在所述获取数据库与操作系统的若干所述运维关联数据的过程中，包括：

持续采集所述数据库以及所述操作系统的请求日志和系统指标日志，以作为所述运维关联数据。

3.根据权利要求2所述的数据库的自动维护方法，其特征在于，在所述对所述运维关联数据进行降维处理以获取对应的运维关联成分的过程中，分别对所述请求日志和所述系统指标日志进行独立的所述降维处理。

4.根据权利要求1所述的数据库的自动维护方法，其特征在于，在所述对所述运维关联数据进行降维处理以获取对应的运维关联成分的过程中，包括：

生成关联于每个所述运维关联数据的指标成分表；

对所述指标成分表进行转置以生成包含各个所述指标成分的密集矩阵；

根据主成分分析法对所述密集矩阵进行训练，以获取降维后的降维投影输出表，并将所述降维投影输出表作为所述运维关联成分。

5.根据权利要求4所述的数据库的自动维护方法，其特征在于，所述降维投影输出表包括输出表部分以及残余表部分，其中：

所述输出表部分包括投影至主成分的数据表，所述主成分对应的累计标准差比例与所述主成分反映的原始信息比例成正比；

所述参与表部分包括所述主成分与每个所述运维关联数据项对应的误差。

6.根据权利要求1所述的数据库的自动维护方法，其特征在于，在所述根据所述运维关联成分进行预设模型训练以获得对应的训练结果的过程中，包括基于长短期记忆人工神经网络对所述运维关联成分进行训练。

7.根据权利要求1所述的数据库的自动维护方法，其特征在于，在请求指标和读写指标同时出现异常的情况下，使用vacuum操作实现对所述数据库的自动维护；

在所述请求指标和中央处理器指标同时出现异常的情况下，使用analyze操作实现对所述数据库的自动维护。

8.一种数据库的自动维护系统，其特征在于，应用于权利要求1至权利要求7中任意一项所述的数据库的自动维护方法，包括：

获取模块，用于获取所述数据库与所述操作系统的若干运维关联数据；

降维模块，用于对所述运维关联数据进行降维处理以获取对应的运维关联成分；

训练模块，用于根据所述运维关联成分进行预设模型训练以获得对应的训练结果，其中所述训练结果包括若干预设情况以及对应的自动维护策略；

维护模块，用于在检测到出现所述预设情况的情况下，对所述数据库执行对应的所述自动维护策略以实现对所述数据库的自动维护。

9.一种数据库的自动维护设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的数据库的自动维护方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的数据库的自动维护方法。

Images