CN112328581A - ProxySQL自动运维系统、方法及相应设备和存储介质 - Google Patents

Abstract

本申请公开了ProxySQL自动运维系统、方法及相应设备和存储介质，用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL集群通信，其中所述系统包括：部署于每一ProxySQL中的监控服务模块，用于确定所在ProxySQL节点的健康状况，及用于确定MySQL集群的健康状况；健康服务模块，用于根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；节点迁移模块，用于响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。本发明使能实现ProxySQL的自动化配置、运维，降低误操作带来的风险。

Description

ProxySQL自动运维系统、方法及相应设备和存储介质

技术领域

本申请涉及电数字数据处理领域，尤其涉及ProxySQL自动运维系统、方法及相应设备和存储介质。

背景技术

ProxySQL作为一款承接前端业务请求与后端数据库的、基于MySQL的开源中间件，是灵活的MySQL代理层，且是保障系统稳定的关键。目前的ProxySQL运维方案都是运维人员登陆线上服务器，手动修改ProxySQL内部配置，过程繁琐。当线上的集群服务越多，越容易出现误操作。目前的运维方案的主要缺点在于：1）单点故障，ProxySQL中间件集群无法自动切换；2）读写分离无法实时修改，操作繁琐；3）针对前端业务的危害性查询语句，无法进行重写，需要运维人员分析后，再上线进行繁重的操作；4）所有操作都是直接作用在数据库上，误操作风险高；5）后端因延迟下线后，无法再加入服务队列。

发明内容

为了克服现有技术中存在的不足，本发明提供一种ProxySQL自动运维系统、方法及相应设备和存储介质，其能针对ProxySQL线上突发情况进行自动化配置、运维，降低误操作带来的风险。

在本发明的第一方面，提供一种ProxySQL自动运维系统，用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL集群通信，所述系统包括：

部署于每一ProxySQL中的监控服务模块，用于确定所在ProxySQL节点的健康状况，及用于确定MySQL集群的健康状况；

健康服务模块，用于根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；

节点迁移模块，用于响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。

在实施例中，所述节点迁移模块包括：获取子模块，用于获取各个ProxySQL节点的checksum值，所述checksum值校验各个ProxySQL节点与ProxySQL主节点的信息延迟；推举子模块，用于将与ProxySQL主节点相同checksum的机器推举为新的主节点。

在实施例中，所述健康服务模块还用于根据ProxySQL的健康状况和MySQL集群的健康状况确定MySQL集群是否可用。

在实施例中，所述系统还包括：节点调度模块，用于响应于MySQL集群不可用，将ProxySQL里配置的MySQL集群信息删除，并将单节点配置更新到ProxySQL中。

在实施例中，所述监控服务模块还包括：时长确定子模块，用于获取ProxySQL中记录的SELECT查询语句并确定SELECT查询语句的执行时长；第一记录子模块，用于响应于执行时长大于第一阈值但小于第二阈值，记录相应SELECT查询语句的指纹信息并对执行次数计数；其中，所述系统还包括读写分离模块，用于响应于第一记录子模块记录的执行次数大于第三阈值，将相应SELECT查询调度到MySQL集群的主节点之外的其他节点上。

在实施例中，所述监控服务模块还包括：第二记录子模块，用于响应于执行时长大于第二阈值，记录相应SELECT查询语句的指纹信息并对执行次数计数；其中，所述系统还包括查询重写模块，用于响应于第二记录子模块记录的执行次数大于第四阈值，将相应SELECT查询语句改写为无返回的简单查询。

在本发明的第二方面，提供一种ProxySQL自动运维方法，用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL数据库集群通信，所述方法包括：

通过部署于每一ProxySQL中的监控服务模块确定所在ProxySQL的健康状况，及确定MySQL集群的健康状况；

根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；

响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。

在本发明的第三方面，提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据本发明的第一方面的系统的功能或者实现根据本发明的第二方面的方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据本发明的第一方面的系统的功能或者实现根据本发明的第二方面的方法的步骤。

多套ProxySQL代理的集群服务会放大运维的工作难度。按照本发明，形成一个完善的自动化部署运维系统，进行线上ProxySQL的部署、监控、运维等操作。整个操作，无需登陆生产环境的服务器，直接远程操作。通过监控服务模块实时监听各个ProxySQL节点的心跳，同时将健康状况报告给健康服务模块，当节点有异常时（例如主节点不可用、MySQL集群不可用、慢查询等），自动启动对应的调整预案（如节点切换、读写分离、配置修改等），避免后端数据库环境遭受破坏。本发明中的自动运维直接作用在ProxySQL代理节点上，即便少数健康监控作用到MySQL数据库上，但也只是只读的方式获取MySQL的健康信息，降低了误操作带来的风险。

结合附图阅读本发明实施方式的详细描述后，本发明的其它特点和优点将变得更加清楚。

附图说明

图1为根据本发明系统的一实施例的框图；

图2为根据本发明方法的一实施例的流程图。

为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。

具体实施方式

下面参照附图对本发明的实施方式和实施例进行详细说明。

通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。

图1示出了根据本发明的ProxySQL自动运维系统的一优选实施例的框图。该ProxySQL自动运维系统用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL代理并与MySQL（数据库）集群通信，并为ProxySQL集群指定一个虚拟IP（VIP），VIP所在节点为主节点。该系统包括：

部署于每一ProxySQL中的监控服务模块102，用于确定所在ProxySQL节点的健康状况，及用于确定MySQL集群的健康状况。监控服务模块可定时例如每n（n>1)秒向所在ProxySQL发送健康请求，获取节点健康值，如果ProxySQL的节点可以访问，则节点健康，返回1，否则返回0。同时，监控服务模块每n（n>1)秒向MySQL集群环境发送ping请求，如果能够ping通，则MySQL集群健康，返回集群健康值1，否则返回0。

健康服务模块104，用于根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用。当ProxySQL主节点不健康（节点健康值为0）且MySQL集群健康（集群健康值为1）时，判断为ProxySQL主节点不可用，健康服务模块会通知节点迁移模块，启动ProxySQL主节点迁移程序。

节点迁移模块106，用于响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。在实施例中，节点迁移模块包括：获取子模块，用于获取各个ProxySQL节点的checksum值（ProxySQL自带），该checksum值校验各个ProxySQL节点与ProxySQL主节点的信息延迟情况；推举子模块，用于将与ProxySQL主节点相同checksum的ProxySQL节点推举为新的主节点。如果多个其他节点与主节点的checksum的值一样，则推举IP相邻的节点为新的主节点。此过程无需人工干预，并且保证线上业务的0中断。

在实施例中，健康服务模块还用于根据ProxySQL的健康状况和MySQL集群的健康状况确定MySQL集群是否可用。当ProxySQL主节点健康（节点健康值为1）且MySQL集群不健康（集群健康值为0）时，判断为MySQL集群不可用，健康服务模块会通知节点调度模块进行模式切换，启动ProxySQL节点调度程序。为此，本发明的ProxySQL自动运维系统还包括节点调度模块，用于响应于MySQL集群不可用，将ProxySQL里配置的MySQL集群信息删除，并将单节点配置更新到ProxySQL中。集群消息例如为维护在ProxySQL中的一张动态表，其记录了MySQL的主从关系，例如可写节点的属组是2、只读节点的属组是3等等，ProxySQL根据后端MySQL的主从关系来确定他们的属组。单节点配置例如为直接将ProxySQL维护的MySQL集群清空，只保留一个可写主节点，其他MySQL节点不再进行维护。

此后，监控服务模块和健康服务模块持续运行，当MySQL集群恢复正常是，节点调度模块会将ProxySQL里配置的MySQL单机信息删除，将MySQL集群配置再次更新到ProxySQL中。

当ProxySQL和MySQL均不健康即均返回0时，意味着线上可能出现重大事故，需要第一时间通知有关人员登陆服务器解决。

在实施例中，监控服务模块还包括：时长确定子模块，用于获取ProxySQL中记录的SELECT查询语句并确定SELECT查询语句的执行时长；第一记录子模块，用于响应于执行时长大于第一阈值但小于第二阈值，记录相应SELECT查询语句的指纹信息并对执行次数计数。监控服务模块定时例如每n（n>1）秒向ProxySQL发送健康请求，获取ProxySQL中记录的SELECT查询语句，当查询语句的执行时长字段大于X1秒，例如10<X1<60，则将该查询语句的指纹信息记录到监控服务的时序数据库，并开启追踪，若一个单位时间内，该查询语句执行次数超过T1次，则启动读写分离程序。为此，本发明的ProxySQL自动运维系统还包括读写分离模块，用于响应于第一记录子模块记录的执行次数大于T1，意味着相应查询为慢查询，此时将相应SELECT查询重新调度到MySQL集群其他节点上，而不是主节点，从而将这些（超大）慢查询分发到后端延迟最小的MySQL只读节点，降低主节点的负载压力。同时，本发明的ProxySQL自动运维系统还可包括告警模块，用于将相应慢查询语句发送给运维或研发人员，进行SQL的优化。

在实施例中，监控服务模块还包括第二记录子模块，用于响应于执行时长大于第二阈值如X2，X2例如大于60秒，记录相应SELECT查询语句的指纹信息并对执行次数计数。为此，本发明的ProxySQL自动运维系统还包括查询重写模块，用于响应于第二记录子模块记录的执行次数大于第四阈值T2（T2可等于也可不等于T1），意味着相应查询为高危查询如错误SQL语句，将相应SELECT查询语句重新改写为无返回的简单查询，类似于SELECT 1这种无害的SQL，从而将错误SQL语句在进入MySQL服务器之前进行拦截，取而代之的是已确定的安全的SQL语句发向后端MySQL集群，避免高危SQL持续对线上业务数据的侵害。告警模块同样可将高危查询语句发送给运维或研发人员，进行SQL的优化。

在部署线上环境时，本发明系统可通过自动发布而完全自动部署并配置线上集群环境，从而自动运行，实现ProxySQL的自动运维。

当后端因延迟下线后，本发明自动运维系统仍然会持续获取MySQL数据库的健康状况，当后端MySQL数据库节点延迟小于设置的时间点m时，自动运维系统可将后端MySQL节点重新加入到ProxySQL代理中。

图2示出了根据本发明的ProxySQL自动运维方法的一优选实施例的流程图，该方法用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL数据库集群通信，该方法包括：

在步骤S202，通过部署于每一ProxySQL中的监控服务模块确定所在ProxySQL的健康状况，及确定MySQL集群的健康状况；

在步骤S204，根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；

在步骤S206，响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。

在另一实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现结合图1所示和所述的系统实施例或其它相应系统实施例的功能或者实现结合图2所示和所述的方法实施例或其它相应方法实施例的步骤，在此不再赘述。

在另一实施例中，本发明提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现结合图1所示和所述的系统实施例或其它相应系统实施例的功能或者实现结合图2所示和所述的方法实施例或其它相应方法实施例的步骤，在此不再赘述。

在此所述的多个不同实施方式或者其特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。另外，在某些情形下，只要适当，流程图中和/或流水处理描述的步骤顺序可修改，并不必须精确按照所描述的顺序执行。另外，本发明的多个不同方面可使用软件、硬件、固件或者其组合和/或执行所述功能的其它计算机实施的模块或装置进行实施。本发明的软件实施可包括保存在计算机可读介质中并由一个或多个处理器执行的可执行代码。计算机可读介质可包括计算机硬盘驱动器、ROM、RAM、闪存、便携计算机存储介质如CD-ROM、DVD-ROM、闪盘驱动器和/或具有通用串行总线（USB）接口的其它装置，和/或任何其它适当的有形或非短暂计算机可读介质或可执行代码可保存于其上并由处理器执行的计算机存储器。本发明可结合任何适当的操作系统使用。

除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义（即具有“至少一”的意思）。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。

前面说明了本发明的一些优选实施例，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。本领域技术人员可以在本发明技术构思的启发和不脱离本发明内容的基础上对本发明做出各种变型和修改，这些变型或修改仍落入本发明的保护范围之内。

Claims (10)

1.一种ProxySQL自动运维系统，用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL集群通信，其特征在于，所述系统包括：

部署于每一ProxySQL中的监控服务模块，用于确定所在ProxySQL节点的健康状况，及用于确定MySQL集群的健康状况；

健康服务模块，用于根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；

节点迁移模块，用于响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。

2.根据权利要求1所述的系统，其特征在于，所述节点迁移模块包括：

获取子模块，用于获取各个ProxySQL节点的checksum值，所述checksum值校验各个ProxySQL节点与ProxySQL主节点的信息延迟；

推举子模块，用于将与ProxySQL主节点相同checksum的机器推举为新的主节点。

3.根据权利要求1所述的系统，其特征在于，所述健康服务模块还用于根据ProxySQL的健康状况和MySQL集群的健康状况确定MySQL集群是否可用。

4.根据权利要求3所述的系统，其特征在于，所述系统还包括：

节点调度模块，用于响应于MySQL集群不可用，将ProxySQL里配置的MySQL集群信息删除，并将单节点配置更新到ProxySQL中。

5.根据权利要求1所述的系统，其特征在于，所述监控服务模块还包括：

时长确定子模块，用于获取ProxySQL中记录的SELECT查询语句并确定SELECT查询语句的执行时长；

第一记录子模块，用于响应于执行时长大于第一阈值但小于第二阈值，记录相应SELECT查询语句的指纹信息并对执行次数计数；

其中，所述系统还包括读写分离模块，用于响应于第一记录子模块记录的执行次数大于第三阈值，将相应SELECT查询调度到MySQL集群的主节点之外的其他节点上。

6.根据权利要求5所述的系统，其特征在于，所述监控服务模块还包括：

第二记录子模块，用于响应于执行时长大于第二阈值，记录相应SELECT查询语句的指纹信息并对执行次数计数；

其中，所述系统还包括查询重写模块，用于响应于第二记录子模块记录的执行次数大于第四阈值，将相应SELECT查询语句改写为无返回的简单查询。

7.根据权利要求5或6所述的系统，其特征在于，所述系统还包括：

告警模块，用于将查询语句发送给运维或研发人员。

8.一种ProxySQL自动运维方法，用于ProxySQL集群的运维，其中ProxySQL集群包括多套ProxySQL并与MySQL数据库集群通信，其特征在于，所述方法包括：

通过部署于每一ProxySQL中的监控服务模块确定所在ProxySQL的健康状况，及确定MySQL集群的健康状况；

根据ProxySQL的健康状况和MySQL集群的健康状况确定ProxySQL主节点是否可用；

响应于ProxySQL主节点不可用，推举新的主节点，及将ProxySQL集群的虚拟IP切换到推举的主节点。

9.一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据权利要求1-7任一所述的系统的功能或者实现根据权利要求8所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-7任一所述的系统的功能或者实现根据权利要求8所述的方法的步骤。

Images