CN115114264A - 基于运维流程平台的应用系统数据库性能管控方法和系统 - Google Patents

Abstract

本发明涉及数据库技术领域，公开了基于运维流程平台的应用系统数据库性能管控方法和系统，其技术方案要点是对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；根据采集解析的性能数据，从中获取性能问题并筛选出未跟进状态的性能问题进行上报；根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题，达到实现数据库性能数据采集、性能问题发现与上报、性能问题跟进与解决等全流程管控的效果。

Description

基于运维流程平台的应用系统数据库性能管控方法和系统

技术领域

本发明涉及数据库技术领域，更具体地说，它涉及基于运维流程平台的应用系统数据库性能管控方法和系统。

背景技术

数据库作为应用系统数据存储设备，主要提供了数据的存储与访问功能，其往往是应用系统的核心。在当前的互联网微服务盛行背景下，银行业应用系统采用系统叠加的方式支撑业务的发展，在业务快速发展的过程中，导致作为应用系统核心的数据库规模增加迅速，具体体现在数据库节点(集群)数量、数据总量等方面。

数据库性能指产品的功能和质量两个方面，功能是构成竞争力的首要要素，质量是指产品能实现其功能的程度和在使用期内功能的保持性。而作为软件类实体的数据库，其性能指在一定条件下所能达到的吞吐量和响应时间，其吞吐量越高、响应时间越低则说明数据库的性能越高。数据库性能也取决于多个因素，如数据库类型、服务器配置、表结构、SQL语句等关键因素。对于银行业应用系统而言，数据库所具有的性能将直接决定应用系统性能的好坏，如所能提供的最大QPS、TPS、并发用户数，进而影响用户的体验、企业的收入，甚至决定了企业的存亡。

综上所述，数据库性能一直以来就作为银行业应用系统关注的焦点。经过对既定环境数据库性能的持续观察，发现应用系统自身设计存在不足而导致性能问题，如表结构、索引结构、SQL语句等，远高于其它因素。因此，如何从应用系统层面保证数据库性能成为了关键。针对该需求，业界目前普遍采用两种方案：

1.被动解决。即对于应用系统数据库性能，主观认为其运行情况良好。当数据库性能不足引发应用系统问题后，如应用登录失败、转账交易超时等，再进行性能问题的分析和解决。该方案忽略了应用系统数据库在运行过程中，其数据量的增加必然导致数据库性能降低、增加的数据库节点(集群)加剧性能问题发生的概率等客观事实，必然会因为数据库性能问题而导致生产故障发生。

2.主动人工分析。即主观认为数据库性能问题可能会发生，通过人工去分析数据库性能，以定时任务、邮件等辅助工具采集数据库性能数据，然后优化和解决。该方案基于传统的人工方式，其主要问题是随着节点(集群)和数据量的持续增加，性能问题发生的频率也会增加，存在无法跟进所有性能问题、无法进行闭环管理等问题，导致性能问题越积越多、性能问题解决遗漏。

发明内容

本发明的目的是提供基于运维流程平台的应用系统数据库性能管控方法和系统，达到实现数据库性能数据采集、性能问题发现与上报、性能问题跟进与解决等全流程管控的效果。

本发明的上述技术目的是通过以下技术方案得以实现的：基于运维流程平台的应用系统数据库性能管控方法，包括如下步骤：

对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；

根据采集解析的性能数据，从中获取性能问题并筛选出未跟进状态的性能问题进行上报；

根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；

将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

作为本发明的一种优选技术方案，所述对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析的步骤包括如下子步骤：

对接运维流程平台，通过运维流程平台获取最新资源清单，更新全量资源清单；

根据最新资源清单，对资源的类型进行识别，得到资源的类型、活动状态、所属网络区域，并确认资源的活动状态；

对活动状态的资源，校验资源是否正确的归属到已有应用系统，若资源无法归属到应用系统，则转入后台确认，完成对完整资源清单的构建；

根据识别出的资源类型，从完整资源清单筛选出数据库资源清单；

根据数据库资源清单，获取数据库资源的性能数据并存储；

根据获取到的性能数据，解析并存储性能数据解析结果。

作为本发明的一种优选技术方案，通过运维流程平台获取最新资源清单时，以全量或增量的方式获取最新资源清单，并与存量资源清单合并。

作为本发明的一种优选技术方案，所述根据采集解析的性能数据，从中获取性能问题，并筛选出未跟进状态的性能问题进行上报的步骤包括如下子步骤：

根据性能数据解析结果，判断是否存在性能问题，并将所有存在性能问题的性能数据生成性能问题分析报表；

从性能问题分析报表中筛选出性能问题最大的若干条性能数据，判断其对应的性能问题是否已被跟进，若未跟进则进行上报。

作为本发明的一种优选技术方案，根据性能数据解析结果，判断是否存在性能问题，并将所有存在性能问题的性能数据生成性能问题分析报表的步骤还包括如下子步骤：

利用告警规则，对性能数据解析结果执行查询，若触发告警规则中的告警阈值，则判断存在性能问题，在遍历所有性能数据解析结果后，生成性能问题分析报表；

遍历性能问题分析报表，查询是否存在与对应性能问题关联的解决方案，若存在则在性能问题分析报表中将解决方案关联至对应的性能问题。

作为本发明的一种优选技术方案，从性能问题分析报表中筛选出性能问题最大的若干条性能数据，判断其对应的性能问题是否已被跟进，若未跟进则进行上报的步骤还包括如下子步骤：

根据告警规则涉及的维度以及维度的权重，对性能问题分析报表中的性能数据进行排序；

根据性能数据排序结果，按照性能问题由大到小的顺序筛选出若干条第一性能数据；

访问运维流程平台，获取应用系统中处于活动状态的性能问题流程清单，判断筛选出的第一性能数据是否在性能问题流程清单中，若存在，则说明第一性能数据的性能问题已在跟进，否则对第一性能数据生成全局唯一序号；

在对第一性能数据生成全局唯一序号后，构建性能问题接口数据并通过调用运维流程平台接口进行上报。

作为本发明的一种优选技术方案，所述根据上报的性能问题，进行性能问题跟进的步骤包括如下子步骤：

检查运维流程平台的可用性，若不可用，将当日发起的流程状态更新为初始值，并发送性能问题跟踪状态报告；

当运维流程平台可用时，根据规范流程的汇报机制判断是否需要汇报，当需要汇报时，对所有活动流程进行检查和更新，否则对当日新增的流程和状态进行更新；

根据流程由后到前的顺序，确认性能问题是否进入性能问题流程清单，当性能问题已进入性能问题流程清单，则查询对应的性能问题流程状态，若性能问题流程状态为解决中，则继续查询下一个性能问题流程状态；若性能问题未进入性能问题流程清单，则查询对应性能问题的事件状态，若事件状态为解决中则继续查询下一个性能问题事件状态，若性能问题流程状态或事件状态为已完成，则更新性能问题为已完成，并发送性能问题解决通知；

待所有性能问题流程状态为已完成后，发送性能问题跟踪状态报告。

基于运维流程平台的应用系统数据库性能管控系统，包括：

性能数据采集解析模块，用于对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；

性能问题获取上报模块，用于根据采集解析的性能数据，从中获取性能问题，生成并筛选出未跟进状态的性能问题进行上报；

性能问题跟进模块，用于根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；

性能问题解决模块，用于将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

综上所述，本发明具有以下有益效果：

1、能够实现数据库性能数据采集、性能问题发现与上报、性能问题跟进与解决等全流程管控。

2、在进行数据库性能管控时，能够对接所有的运维流程平台，获取资源数据时，对所有的资源数据进行识别分类，通过资源数据底层代码实现对数据库类别透明化，具有更好的兼容性。

3、自动对接运维系统，实现新增数据库资源的自动发现和采集、解析，避免出现问题时才进行维护，耽误用户使用的情况，能够及时发现问题。

4、通过系统来统一对接运维流程平台，避免数据采集、解析的重复，避免多个流程跟踪给维护人员带来额外负担。

5、对已上报的性能问题，能够提供足够的历史解决方案数据，供数据库管理员、应用维护人员进行分析，直至实现优化解决，提升工作效率。

附图说明

图1是本发明的方法流程图；

图2是本发明的性能数据采集、解析流程图；

图3是本发明的MySQL5.7数据解析流程图；

图4是图3中解析SQL文本流程图；

图5是本发明的性能问题上报流程图；

图6是本发明的性能问题分析报表生成流程图；

图7是本发明的构建性能问题上报接口数据流程图；

图8是本发明的性能问题跟进流程图；

图9是本发明的性能问题解决流程图；

图10是本发明实施例的数据流向示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明提供一种基于运维流程平台的应用系统数据库性能管控方法，如图1所示，包括如下步骤：

S1、对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；如图2所示，具体的，包括如下子步骤：

S11、对接运维流程平台，通过运维流程平台自动获取最新资源清单，更新全量资源清单；

其中运维流程平台并不特指某一个平台，指的是当前环境内的所有提供规范运维流程的系统，已经建立的、数据相对可靠和完整的运维系统，可以是一个，也可以是多个，例如ITSM系统、运维审计系统、CMDB、虚拟化管理平台等。

在进行实际的环境中进行管控时，同时对接一种或多种运维流程平台，能够确保数据的完整性；在获取最新资源清单时，通过访问运维流程平台发布的API、数据库等协议，以全量或增量的方式获取最新资源清单，并与存量资源清单合并，确保后续步骤得到完整的资源清单。

上述资源指的是运行软件的最小单元，比如服务器、容器等。根据其所运行的软件类型不同，可分为数据库资源、中间件资源等。

S12、根据最新资源清单，对资源的类型进行识别，得到资源的类型、活动状态、所属网络区域，并确认资源的活动状态；具体的，以得到的最新资源清单为输入，结合环境的特性对资源的类型进行判断，如通过ping命令检查资源是否处于活动状态，通过IP地址段、资源名称判断资源的初始类型，根据IP地址判读资源所属网络区域等信息。

S13、对活动状态的资源，对接运维流程平台，由于运维流程平台已应用系统为基础，因此校验资源是否正确的归属到已有应用系统，若资源无法归属到应用系统，则转入后台确认，完成对完整资源清单的构建。

S14、根据识别出的资源类型，从完整资源清单筛选出数据库资源清单，通过对接运维流程平台，如运维审计系统，已知用户密码尝试登录等方式，确认数据库资源登录信息，并进一步确认数据库版本、性能相关的关键配置等信息。

S15、根据数据库资源清单，获取数据库资源的性能数据并存储；

具体的，遍历活动的数据库资源性能数据配置信息，如性能数据存放方式、存放位置和登录信息，逐一访问数据库性能数据，并以统一的文件格式进行存储。对于性能数据获取的方式，根据性能数据的格式以增量方式获取，如数据内部的时间、行号等。同时，为避免采集性能数据本身对数据库产生影响，采集前对性能数据的总大小进行确认。

S16、根据获取到的性能数据，解析并存储性能数据解析结果。

具体的，将性能数据文件，从文件名获取资源IP地址、数据库版本等信息，对程序运行中的变量进行必要的初始化等工作后，逐行解析并存储性能数据解析结果。如图3所示，以MySQL5.7为例，其为性能数据详细解析流程，对于图3中涉及的解析SQL文本，具体流程如图4所示。

S2、根据采集解析的性能数据，从中获取性能问题，生成并筛选出未跟进状态的性能问题进行上报；如图5所示，其子步骤如下：

S21、如图6所示，根据性能数据解析结果，判断是否存在性能问题，并将所有存在性能问题的性能数据生成性能问题分析报表；具体如下：

S211、利用告警规则涉及场景，对性能数据解析结果执行多维分组查询，如按照个数、最长运行时间、关键表的访问情况等进行分组查询。若当前一个性能数据解析结果没有触发告警规则中设置的告警阈值，则继续处理下一个性能数据解析结果，若存在性能数据解析结果触发告警规则中的告警阈值，则判断存在性能问题，在遍历所有性能数据解析结果后，生成性能问题分析报表；

S212、遍历性能问题分析报表，查询是否存在与对应性能问题关联的解决方案，若存在则在性能问题分析报表中将解决方案关联至对应的性能问题。

例如，遍历SQL列表，根据SQL语句判断是否已提供性能问题关联的解决方案。如已提供，则关联解决方案至性能问题分析报表。

S213、对接运维流程平台确认应用系统负责人，并发送性能问题分析报表至应用系统责任人。

S22、如图7所示，从性能问题分析报表中筛选出性能问题最大的若干条性能数据，判断其对应的性能问题是否已被跟进，若未跟进则进行上报。具体如下：

S221、根据告警规则涉及的维度以及维度的权重，对性能问题分析报表中的性能数据进行统一计算排序；

S222、根据性能数据排序结果，按照性能问题由大到小的顺序筛选出若干条第一性能数据；例如，筛选出性能最差的SQL信息；

S223、访问运维流程平台，获取应用系统中处于活动状态的性能问题流程清单，判断筛选出的第一性能数据是否在性能问题流程清单中，若存在，则说明第一性能数据的性能问题已在跟进，否则对第一性能数据生成全局唯一序号；

S224、在对第一性能数据生成全局唯一序号后，构建性能问题接口数据并通过调用运维流程平台接口进行上报。

S3、如图8所示，根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告。具体有如下子步骤：

S31、为避免运维流程平台故障导致性能问题重复登记，因此检查运维流程平台的可用性，若不可用，将当日发起的流程状态更新为初始值，并发送性能问题跟踪状态报告。

S32、当运维流程平台可用时，根据规范流程的汇报机制判断是否进行增量流程状态更新或全量流程状态更新，判断是否需要汇报，当需要汇报时，对所有活动流程进行检查和更新，否则只对当日新增的流程和状态进行更新。

S33、根据流程由后到前的顺序，确认性能问题是否进入性能问题流程清单，当性能问题已进入性能问题流程清单，则查询对应的性能问题流程状态，若性能问题流程状态为解决中，则继续查询下一个性能问题流程状态；若性能问题未进入性能问题流程清单，则查询对应性能问题的事件状态，若事件状态为解决中则继续查询下一个性能问题事件状态，若性能问题流程状态或事件状态为已完成，则更新性能问题为已完成，并发送性能问题解决通知；

S34、待所有性能问题流程状态为已完成后，发送性能问题跟踪状态报告。

整个S3，能在性能问题上报之后，对其进行规范的跟进直至性能问题解决，例如能够根据解决时间长短分类事件管理和性能问题管理，根据流程状态细分为解决中、已完成等环节。性能问题跟进模块将持续跟进运维流程平台中的状态，通过定期报告进行跟进，实现闭环管理。

S4、如图9所示，将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

分析平台能够将性能问题展示给具备数据库性能问题优化能力的数据库管理员、研发人员，有利于及时解决性能问题，同时能够通过该分析平台记录的解决方案和平台本身实现技术交流和学习，提升整体数据库优化能力，从根本上缓解数据库性能问题。具体步骤如下：

S41、在数据库管理员、研发人员实际使用本系统时，可通过本系统查看准实时应用系统数据库性能数据，对发现的问题进行优化解决，以实现准实时解决数据库性能问题；

S42、如果在S41中，没有将性能问题解决，则可以通过T+1日性能数据分析报表，查看信息汇总性能数据，对发现的问题再度进行优化解决；

S43、如果在S42中，仍然没有完成对性能问题的优化，将对接运维流程平台进入事件管理，通过事件对性能问题影响范围、影响程度进行评估，并进行事件定级。根据事件等级在规范流程中定义的解决时间来解决性能问题。

S44、若进入事件流程后，发现性能问题解决时间较长，已超过事件流程所能管理的时间范围。则进入运维流程平台进入问题管理，由相关人员根据实际情况进行排期、优化解决性能问题；

S45、针对已发生的性能问题，存储具备数据库性能优化能力的数据库管理、研发人员等参与性能问题分析过程，并以性能问题优化记录的形式输出。对于下次出现相同性能问题并通过S41、S42、S43、S44解决性能问题时，可自动关联性能解决方案。

对应于上述方法，本发明还提供了一种基于运维流程平台的应用系统数据库性能管控系统，包括：

性能数据采集解析模块，用于对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；

性能问题获取上报模块，用于根据采集解析的性能数据，从中获取性能问题，生成并筛选出未跟进状态的性能问题进行上报；

性能问题跟进模块，用于根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；

性能问题解决模块，用于将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

本发明的方法和系统的优势在于：

1、具备管控所有数据库的能力，在进行数据库性能管控的时候，能够对接所有的运维流程平台，获取资源数据时，对所有的资源数据进行识别分类，通过资源数据底层代码实现对数据库类别透明化，具有更好的兼容性。

2、通过对接运维系统，实现新增数据库资源的自动发现和采集、解析，避免出现问题时才进行维护，耽误用户使用的情况，能够及时发现问题。

3、通过系统来统一对接运维流程平台，避免数据采集、解析的重复，避免多个流程跟踪给维护人员带来额外负担。

4、对已上报的性能问题，能够提供足够的历史解决方案数据，供数据库管理员、应用维护人员进行分析，直至实现优化解决，提升工作效率。

实施例，如图10所示，基于Flask(Python)+NGINX+MySQL的前后端分离框架，后端程序语言采用Python，前端程序采用Vue+Element-UI，数据存储为MySQL数据库。对于本发明的性能数据采集流程，基于Python设计和开发；利用数据库的SQL对结构化之后的性能数据进行计算，以发现超过阈值的数据库资源。发现性能问题后，通过ITSM开发的异步接口进行性能问题上报。并通过ITSM运维流程平台提供的RESTAPI访问流程状态。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于运维流程平台的应用系统数据库性能管控方法，其特征是：包括如下步骤：

对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；

根据采集解析的性能数据，从中获取性能问题并筛选出未跟进状态的性能问题进行上报；

根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；

将性能问题跟踪报告更新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

2.根据权利要求1所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：所述对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析的步骤包括如下子步骤：

对接运维流程平台，通过运维流程平台获取最新资源清单，更新全量资源清单；

根据最新资源清单，对资源的类型进行识别，得到资源的类型、活动状态、所属网络区域，并确认资源的活动状态；

对活动状态的资源，校验资源是否正确的归属到已有应用系统，若资源无法归属到应用系统，则转入后台确认，完成对完整资源清单的构建；

根据识别出的资源类型，从完整资源清单筛选出数据库资源清单；

根据数据库资源清单，获取数据库资源的性能数据并存储；

根据获取到的性能数据，解析并存储性能数据解析结果。

3.根据权利要求2所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：通过运维流程平台获取最新资源清单时，以全量或增量的方式获取最新资源清单，并与存量资源清单合并。

4.根据权利要求1所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：所述根据采集解析的性能数据，从中获取性能问题，并筛选出未跟进状态的性能问题进行上报的步骤包括如下子步骤：

根据性能数据解析结果，判断是否存在性能问题，并将所有存在性能问题的性能数据生成性能问题分析报表；

从性能问题分析报表中筛选出性能问题最大的若干条性能数据，判断其对应的性能问题是否已被跟进，若未跟进则进行上报。

5.根据权利要求4所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：根据性能数据解析结果，判断是否存在性能问题，并将所有存在性能问题的性能数据生成性能问题分析报表的步骤还包括如下子步骤：

利用告警规则，对性能数据解析结果执行查询，若触发告警规则中的告警阈值，则判断存在性能问题，在遍历所有性能数据解析结果后，生成性能问题分析报表；

遍历性能问题分析报表，查询是否存在与对应性能问题关联的解决方案，若存在则在性能问题分析报表中将解决方案关联至对应的性能问题。

6.根据权利要求5所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：从性能问题分析报表中筛选出性能问题最大的若干条性能数据，判断其对应的性能问题是否已被跟进，若未跟进则进行上报的步骤还包括如下子步骤：

根据告警规则涉及的维度以及维度的权重，对性能问题分析报表中的性能数据进行排序；

根据性能数据排序结果，按照性能问题由大到小的顺序筛选出若干条第一性能数据；

访问运维流程平台，获取应用系统中处于活动状态的性能问题流程清单，判断筛选出的第一性能数据是否在性能问题流程清单中，若存在，则说明第一性能数据的性能问题已在跟进，否则对第一性能数据生成全局唯一序号；

在对第一性能数据生成全局唯一序号后，构建性能问题接口数据并通过调用运维流程平台接口进行上报。

7.根据权利要求1所述的基于运维流程平台的应用系统数据库性能管控方法，其特征是：所述根据上报的性能问题，进行性能问题跟进的步骤包括如下子步骤：

检查运维流程平台的可用性，若不可用，将当日发起的流程状态更新为初始值，并发送性能问题跟踪状态报告；

当运维流程平台可用时，根据规范流程的汇报机制判断是否需要汇报，当需要汇报时，对所有活动流程进行检查和更新，否则对当日新增的流程和状态进行更新；

根据流程由后到前的顺序，确认性能问题是否进入性能问题流程清单，当性能问题已进入性能问题流程清单，则查询对应的性能问题流程状态，若性能问题流程状态为解决中，则继续查询下一个性能问题流程状态；若性能问题未进入性能问题流程清单，则查询对应性能问题的事件状态，若事件状态为解决中则继续查询下一个性能问题事件状态，若性能问题流程状态或事件状态为已完成，则更新性能问题为已完成，并发送性能问题解决通知；

待所有性能问题流程状态为已完成后，发送性能问题跟踪状态报告。

8.基于运维流程平台的应用系统数据库性能管控系统，其特征是：包括：

性能数据采集解析模块，用于对接运维流程平台，采集性能数据，并筛选出数据库资源进行解析；

性能问题获取上报模块，用于根据采集解析的性能数据，从中获取性能问题，生成并筛选出未跟进状态的性能问题进行上报；

性能问题跟进模块，用于根据上报的性能问题，进行性能问题跟进，形成性能问题跟踪状态报告；

性能问题解决模块，用于将性能问题跟踪报告跟新至分析平台，并由分析平台记录每一个性能问题对应的解决方案，若存在当前性能问题非首次进入分析平台，则将对应的性能问题解决方案关联至当前性能问题。

Images