CN117827981A - 一种MySQL数据库集群的链路检测方法及系统 - Google Patents
一种MySQL数据库集群的链路检测方法及系统 Download PDFInfo
- Publication number
- CN117827981A CN117827981A CN202410253227.0A CN202410253227A CN117827981A CN 117827981 A CN117827981 A CN 117827981A CN 202410253227 A CN202410253227 A CN 202410253227A CN 117827981 A CN117827981 A CN 117827981A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- link
- slave node
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims description 59
- 230000004044 response Effects 0.000 claims description 42
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000010076 replication Effects 0.000 abstract description 9
- 238000004891 communication Methods 0.000 abstract description 7
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000015654 memory Effects 0.000 description 19
- 238000012423 maintenance Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种MySQL数据库集群的链路检测方法及系统,该方法包括如下步骤:响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程。本申请在分布式环境下,确保主从复制机制下主从节点的数据同步,提高主从节点通信效率、数据安全性和运行可靠性。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种MySQL数据库集群的链路检测方法及系统。
背景技术
MySQL数据库集群是一种无共享的、分布式节点架构的存储方案,其目的是提供容错性和高性能。数据更新使用读已提交隔离级别来保证所有节点数据的一致性,使用两阶段提交机制保证所有节点都有相同的数据。无共享的对等节点使得某台服务器上的更新操作在其他服务器上立即可见。传播更新使用一种复杂的通信机制,这一机制专用来提供跨网络的高吞吐量。通过多个MySQL服务器分配负载,从而最大程序地达到高性能,通过在不同位置存储数据保证高可用性和冗余。
MySQL提供了多种集群方案,其中主从复制是最简单的方式之一。主从复制是通过重放binlog实现主库数据的异步复制。即当主库执行了一条sql命令,那么在从库同样的执行一遍,从而达到主从复制的效果。在这个过程中,master对数据的写操作记入二进制日志文件中(binlog),生成一个 log dump 线程,用来给从库的i/o线程传binlog。而从库的i/o线程去请求主库的binlog,并将得到的binlog日志写到中继日志(relaylog)中,从库的sql线程,会读取relaylog文件中的日志,并解析成具体操作,通过主从的操作一致,而达到最终数据一致。
目前,MySQL数据库集群的链路存在以下不足:
第一,虽然MySQL提供了主从复制机制,确保了数据在主节点和从节点之间的同步。但是,如果主节点出现故障,整个集群将受到影响。
第二,MySQL数据库集群的链路在处理大量并发请求时可能会遇到性能瓶颈。当负载过高时,主从节点的通信速度会降低,影响整体性能。为了提高可扩展性,可以采用水平分库分表、读写分离等技术,但这也可能导致数据一致性问题。
第三,在分布式环境下,由于网络延迟等原因,主从节点之间可能出现数据不一致的情况。
第三,在分布式环境中,如何保证数据的安全性和隐私性是一个挑战。例如,在跨域访问的情况下,如何防止敏感信息泄露;在多租户架构下,如何确保不同业务间的数据隔离等。
第四,随着集群规模的不断扩大,管理和维护MySQL数据库集群的难度也在增加。例如,监控集群健康状况、解决故障、优化性能等方面都需要投入更多的时间和精力。
因此,目前亟需解决的技术问题是:如何对MySQL数据库集群的链路进行检测,在分布式环境下,确保主从复制机制下主从节点的数据同步,提高主从节点通信效率、数据安全性和运行可靠性。
发明内容
本申请的目的在于提供一种MySQL数据库集群的链路检测方法及系统,在分布式环境下,确保主从复制机制下主从节点的数据同步,提高主从节点通信效率、数据安全性和运行可靠性。
为达到上述目的,本申请提供一种MySQL数据库集群的链路检测方法,该方法包括如下步骤:响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程;对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
如上所述的MySQL数据库集群的链路检测方法,其中,该方法还包括如下步骤:
响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据;
根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值;
选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
如上所述的MySQL数据库集群的链路检测方法,其中,在每一个链路上设置一个管理服务节点,
管理服务节点,用于对链路上的节点进行管理,记录该链路上包含的节点信息、数据同步的发生时间、数据同步的延迟时间,以及该链路上发生故障事件的时间。
如上所述的MySQL数据库集群的链路检测方法,其中,主从节点数据同步可靠值的计算公式为:
;
其中,表示主从节点数据同步可靠值;/>表示主从节点网络连通因子;若主从节点的网络连通,则/>;否则/>;/>表示主从节点所对应的分布式环境网络连接指标数据的影响权重;/>表示分布式环境网络连接指标数据的总种类数;/>表示第/>种分布式环境网络连接指标数据的权重因子;/>表示第/>种分布式环境网络连接指标数据的值;/>表示主节点指标数据的影响权重;/>表示主节点指标数据的总种类数;/>表示第/>种主节点指标数据的权重因子;/>表示第/>种主节点指标数据的值;/>表示从节点指标数据的影响权重;/>表示从节点指标数据的总种类数;/>表示第/>种从节点指标数据的权重因子;/>表示第/>种从节点指标数据的值。
如上所述的MySQL数据库集群的链路检测方法,其中,在链路上增加或删除节点包括:在链路上增加主节点、增加从节点、删除主节点和/或删除从节点。
如上所述的MySQL数据库集群的链路检测方法,其中,该方法还包括:
在采样周期内,获取链路上从节点的同步数据一致性检测异常数据;
根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值;
比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
如上所述的MySQL数据库集群的链路检测方法,其中,链路上包含主节点和从节点,主节点和从节点之间存在从主节点到从节点的数据同步过程。
作为本申请的第二方面,本申请提供一种MySQL数据库集群的链路检测系统,执行一种MySQL数据库集群的链路检测方法,该系统包括:
节点调整模块,用于响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;
采集模块,用于采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;
数据处理器,用于根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;
数据比较器,用于比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程;
检测模块,用于对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
如上所述的MySQL数据库集群的链路检测系统,其中,
采集模块,还用于响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据;
数据处理器,还用于根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值;
数据比较器,还用于选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
如上所述的MySQL数据库集群的链路检测系统,其中,
采集模块,还用于在采样周期内,获取链路上从节点的同步数据一致性检测异常数据;
数据处理器,还用于根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值;
数据比较器,还用于比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
本申请实现的有益效果如下:
(1)本申请根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值。比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,对该链路进行网络检修和节点故障检修,否则,允许执行该链路的主从节点数据同步进程。在主从节点数据同步可靠值符合预设要求的前提下,执行主从节点数据同步过程,提高主从节点数据同步的可靠性、安全性和主从节点数据同步效率。
(2)本申请根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值,选择响应优越值最大的节点,向请求端发送其请求获取的同步数据,从而提高请求端的请求响应速率、响应安全性和响应质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种MySQL数据库集群的链路检测方法的流程图。
图2为本申请实施例的一种MySQL数据库集群的链路检测系统的结构示意图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
如图1所示,本申请提供一种MySQL数据库集群的链路检测方法,MySQL数据库集群的链路检测是指对MySQL数据库集群中的各节点进行监控,以及时发现并解决节点故障、网络故障等问题,保证整个集群的高可用性和稳定性。MySQL数据库集群的链路方法包括如下步骤:
步骤S1,响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点。
作为本发明的具体实施例,链路上包括多个节点,节点包括主节点或从节点,在同一链路上的主节点和从节点之间实现数据同步过程。响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点包括:在链路上增加主节点、增加从节点、删除主节点和/或删除从节点。
作为本发明的具体实施例,在每一个链路上设置一个管理服务节点,对链路上的节点进行管理,实现对链路上节点的增加和删除操作,对加入链路上的节点进行安全验证等操作,通过管理服务节点记录该链路上包含的节点信息、数据同步的发生时间、数据同步的延迟时间,以及该链路上发生故障事件的时间等。
步骤S2,采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据。
其中,MySQL数据库集群包括主节点和对应于主节点的多个分布式从节点。主节点和分布式从节点均为服务器。主节点的数据复制到其对应的多个分布式从节点上,实现主从节点数据的同步。其中,主节点可以是一个或者多个。从节点计算能力和内存可以相同,也可以根据用户需求为各从节点配置不同的内存和计算能力。
作为本发明的具体实施例,分布式环境网络连接指标数据包括:网络延迟时间、网络丢包率等。
作为本发明的具体实施例,各节点状态指标数据包括:主节点的指标数据和从节点的指标数据。
作为本发明的具体实施例,主节点指标数据包括:主节点写数据量,主节点内存占用率、主节点CPU占用率、主节点存在漏洞数量等。
作为本发明的具体实施例,从节点指标数据包括:从节点同步数据量,从节点数据同步延迟时间,从节点内存占用率、从节点CPU占用率、从节点存在漏洞数量等。
作为本发明的具体实施例,若主节点当前所写数据量大,那么同步数据量就大,因此在大量写操作情况下或网络带宽较低的情况下,会有数据同步的延时,会降低数据库服务性能。
步骤S3,根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值。
作为本发明的具体实施例,链路指的是包含主从复制过程(主从节点数据同步过程)的链路,链路上包含主节点和从节点,主节点和从节点之间存在从主节点到从节点的数据同步过程。其中,一个主节点可以向多个从节点进行数据同步。
其中,主从节点数据同步可靠值的计算公式为:
;
其中,表示主从节点数据同步可靠值;/>表示主从节点网络连通因子;若主从节点的网络连通,则/>;否则/>;/>表示主从节点所对应的分布式环境网络连接指标数据的影响权重;/>表示分布式环境网络连接指标数据的总种类数;/>表示第/>种分布式环境网络连接指标数据的权重因子;/>表示第/>种分布式环境网络连接指标数据的值;/>表示主节点指标数据的影响权重;/>表示主节点指标数据的总种类数;/>表示第/>种主节点指标数据的权重因子;/>表示第/>种主节点指标数据的值;/>表示从节点指标数据的影响权重;/>表示从节点指标数据的总种类数;/>表示第/>种从节点指标数据的权重因子;/>表示第/>种从节点指标数据的值。
本申请在计算主从节点数据同步可靠值时,不仅考虑了主从节点对应分布式环境网络连接指标数据,还考虑了主节点指标数据与从节点指标数据对主从节点数据同步可靠值的影响,提高了主从节点数据同步可靠值的计算准确度,从而实现对主从节点数据同步可靠性的检测,在主从节点数据同步可靠值符合预设要求的前提下,执行主从节点数据同步过程,提高主从节点数据同步的可靠性、安全性和主从节点数据同步效率。
步骤S4,比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程。
作为本发明的具体实施例,比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,对该链路进行网络检修和节点故障检修,否则,允许执行该链路的主从节点数据同步进程。对该链路进行网络检修和节点故障检修,若节点丢包率高,告警通知运维人员排查节点丢包原因;若节点存在漏洞,则对漏洞原因进行排查和修复。
步骤S5,对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
作为本发明的具体实施例,对执行主从节点数据同步后的主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。本申请对主从节点进行数据同步的一致性检测,从而保证主从节点同步数据的一致性。
作为本发明的具体实施例,对链路上主从节点的同步数据进行一致性检测的方法包括:创建两个线程,分别模拟主节点和从节点。这两个线程均执行一致性检测函数consistency_check,该函数会检查全局变量data_state的值来判断数据是否一致。如果检测到不一致的数据,则会更新data_state的值并输出提示信息。在此,本领域的技术人员也可以使用其他的现有技术来实现对链路上主从节点的同步数据进行一致性检测。
步骤S6,响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据。
作为本发明的具体实施例,响应于请求端发送的同步数据获取请求,采集链路上主节点的压力特征数据、服务特征数据和服务安全配置数据,以及从节点的压力特征数据、服务特征数据和服务安全配置数据。
作为本发明的具体实施例,节点(主节点或从节点)的压力特征包括:CPU负载值(正在使用和等待使用CPU的平均任务数)、内存负载值、I/O响应平均延迟时间等。
作为本发明的具体实施例,节点(主节点或从节点)的服务特征数据包括:剩余可用CPU使用率,最大可并行处理进程数、剩余可用内存数量、剩余可连接请求端的数量。
作为本发明的具体实施例,节点(主节点或从节点)的服务安全配置数据包括:允许单个请求端访问的数据量范围、允许访问的数据类型范围、允许访问的通信协议数据和允许访问的IP地址范围数据等。
作为本发明的具体实施例,请求端的请求配置数据包括:请求获取的数据量、请求获取数据类型、IP地址和通信协议等。
步骤S7,根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值。
作为本发明的具体实施例,链路上节点(主节点或从节点)的响应优越值计算公式如下:
;
其中,表示链路上节点的响应优越值;/>表示节点单位时间内响应请求的最大次数;/>表示节点的服务特征数据总种类数;/>表示节点的第/>种服务特征数据的权重;/>节点的第/>种服务特征数据的值;/>表示节点的压力特征数据总种类数;/>表示节点的第/>种压力特征数据的权重;/>表示节点的第/>种压力特征数据的值;/>表示请求端的请求配置数据的总种类数;/>表示请求端的请求配置数据与节点(主节点或从节点)的服务安全配置数据的匹配因子;若请求端的第/>种请求配置数据属于节点的服务安全配置数据所包含的范围,则/>;否则/>。
本申请在计算链路上节点(主节点或从节点)的响应优越值时,不仅考虑了链路上节点的压力特征数据和服务特征数据,还考虑了节点的服务安全配置数据与请求端的请求配置数据的匹配情况,从而提高了链路上节点(主节点或从节点)的响应优越值的计算准确度,同时还保证了请求端的请求配置数据与节点的服务安全配置数据匹配的情况下实现节点对请求端的响应,提高了对请求端响应服务的可靠性和安全性,以及响应速率。
步骤S8,选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
具体的,根据链路上节点的响应优越值,选择响应优越值最大的节点,该节点可以是主节点或从节点,通过选择的节点,向请求端发送其请求获取的同步数据。本申请选择响应优越值最大的节点,对请求端发送的同步数据获取请求进行响应,从而提高请求端的请求响应速率、响应安全性和响应质量。
步骤S9,在采样周期内,获取链路上从节点的同步数据一致性检测异常数据。
其中,链路上从节点的同步数据一致性检测异常数据包括:采样周期内从节点发生同步数据不一致次数、从节点发生第次同步数据不一致时包含的不一致数据量,从节点发生第/>次同步数据不一致时其他从节点也存在该同步数据不一致的数量和从节点发生第/>次同步数据不一致时对应主节点发送同步数据的从节点总数量等。
步骤S10,根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值。
作为本发明的具体实施例,各个从节点的数据同步异常风险值的计算公式为:
;
;
其中,表示从节点的数据同步异常风险值;/>表示采样周期的时长;/>表示从节点发生同步数据不一致次数的影响权重;/>表示从节点发生同步数据不一致次数;/>表示从节点发生的不一致同步数据同时其他从节点也发生不一致的排异值;/>表示从节点的数据同步异常数据量的影响权重;/>表示从节点发生第/>次同步数据不一致时包含的不一致数据量;/>表示从节点发生第/>次同步数据不一致时其他从节点也存在该同步数据不一致的数量;/>表示从节点发生第/>次同步数据不一致时对应主节点发送该同步数据的从节点总数量。
其中,从节点发生的不一致同步数据同时其他从节点也发生不一致的数量越多,表示该从节点本身存在的问题或风险可能性越小,而由主节点或网络异常导致该从节点同步数据不一致的可能性越大,则从节点数据同步异常风险值越小。
步骤S11,比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
具体的,将该从节点进行检修,查找导致主从节点同步数据不一致的原因,并进行修复,将该从节点进行替换即选用新的同等服务性能的节点替换该节点。
实施例二
如图2所示,本申请提供一种MySQL数据库集群的链路检测系统100,执行一种MySQL数据库集群的链路检测方法,该系统包括:
节点调整模块10,用于响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;
采集模块20,用于采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;
数据处理器30,用于根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;
数据比较器40,用于比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程;
检测模块50,用于对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
采集模块20,还用于响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据;
数据处理器30,还用于根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值;
数据比较器40,还用于选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
采集模块20,还用于在采样周期内,获取链路上从节点的同步数据一致性检测异常数据;
数据处理器30,还用于根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值;
数据比较器40,还用于比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
本申请还提供一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行所述的大容量固态硬盘的地址映射方法。计算机存储介质中包含一个或多个程序指令,一个或多个程序指令用于被处理器执行一种MySQL数据库集群的链路检测方法。
本发明所公开的实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行上述的一种MySQL数据库集群的链路检测方法。
本发明实施例提供一种处理器,用于处理上述的一种MySQL数据库集群的链路检测方法。
在本发明实施例中,处理器可以是一种集成电路芯片,具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,简称 DSP)、专用集成电路(Application Specific Integrated Circuit,简称 ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称 FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息,结合其硬件完成上述方法的步骤。
存储介质可以是存储器,例如可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称 ROM)、可编程只读存储器(Programmable ROM,简称 PROM)、可擦除可编程只读存储器(Erasable PROM,简称Z230078F8XM2016.EPROM)、电可擦除可编程只读存储器(Electrically EPROM,简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的 RAM 可用,例如静态随机存取存储器(Static RAM,简称 SRAM)、动态随机存取存储器(Dynamic RAM,简称DRAM)、同步动态随机存取存储器(Synchronous DRAM,简称 SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,简称 DDRSDRAM) 、增强型同步动态随机存取存储器(Enhanced SDRAM,简称 ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,简称 DRRAM)。
本申请实现的有益效果如下:
(1)本申请根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值。比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,对该链路进行网络检修和节点故障检修,否则,允许执行该链路的主从节点数据同步进程。在主从节点数据同步可靠值符合预设要求的前提下,执行主从节点数据同步过程,提高主从节点数据同步的可靠性、安全性和主从节点数据同步效率。
(2)本申请根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值,选择响应优越值最大的节点,向请求端发送其请求获取的同步数据,从而提高请求端的请求响应速率、响应安全性和响应质量。
在本申请的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
以上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。
Claims (10)
1.一种MySQL数据库集群的链路检测方法,其特征在于,该方法包括如下步骤:
响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;
采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;
根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;
比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程;
对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
2.根据权利要求1所述的MySQL数据库集群的链路检测方法,其特征在于,该方法还包括如下步骤:
响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据;
根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值;
选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
3.根据权利要求1所述的MySQL数据库集群的链路检测方法,其特征在于,在每一个链路上设置一个管理服务节点,
管理服务节点,用于对链路上的节点进行管理,记录该链路上包含的节点信息、数据同步的发生时间、数据同步的延迟时间,以及该链路上发生故障事件的时间。
4.根据权利要求1所述的MySQL数据库集群的链路检测方法,其特征在于,主从节点数据同步可靠值的计算公式为:
;
其中,表示主从节点数据同步可靠值;/>表示主从节点网络连通因子;若主从节点的网络连通,则/>;否则/>;/>表示主从节点所对应的分布式环境网络连接指标数据的影响权重;/>表示分布式环境网络连接指标数据的总种类数;/>表示第/>种分布式环境网络连接指标数据的权重因子;/>表示第/>种分布式环境网络连接指标数据的值;/>表示主节点指标数据的影响权重;/>表示主节点指标数据的总种类数;/>表示第种主节点指标数据的权重因子;/>表示第/>种主节点指标数据的值;/>表示从节点指标数据的影响权重;/>表示从节点指标数据的总种类数;/>表示第/>种从节点指标数据的权重因子;/>表示第/>种从节点指标数据的值。
5.根据权利要求1所述的MySQL数据库集群的链路检测方法,其特征在于,在链路上增加或删除节点包括:在链路上增加主节点、增加从节点、删除主节点和/或删除从节点。
6.根据权利要求1所述的MySQL数据库集群的链路检测方法,其特征在于,该方法还包括:
在采样周期内,获取链路上从节点的同步数据一致性检测异常数据;
根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值;
比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
7.根据权利要求5所述的MySQL数据库集群的链路检测方法,其特征在于,链路上包含主节点和从节点,主节点和从节点之间存在从主节点到从节点的数据同步过程。
8.一种MySQL数据库集群的链路检测系统,其特征在于,执行权利要求1-7之一所述的方法,该系统包括:
节点调整模块,用于响应于MySQL数据库集群的链路调整请求,在链路上增加或删除节点;
采集模块,用于采集MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据;
数据处理器,用于根据MySQL数据库集群的链路上各节点状态指标数据和对应分布式环境网络连接指标数据,计算该链路的主从节点数据同步可靠值;
数据比较器,用于比较链路的主从节点数据同步可靠值与预设可靠阈值的大小,若链路的主从节点数据同步可靠值小于预设可靠阈值,则暂停该链路的数据同步进程,否则,允许执行该链路的主从节点数据同步进程;
检测模块,用于对链路上主从节点的同步数据进行一致性检测,若检测到不一致的数据,则重新对主从节点进行数据同步,否则,无需重新对主从节点进行数据同步。
9.根据权利要求8所述的MySQL数据库集群的链路检测系统,其特征在于,
采集模块,还用于响应于请求端发送的同步数据获取请求,采集链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据;
数据处理器,还用于根据链路上节点的压力特征数据、服务特征数据和服务安全配置数据,以及请求端的请求配置数据,计算链路上节点的响应优越值;
数据比较器,还用于选择响应优越值最大的节点,通过选择的节点向请求端发送其请求获取的同步数据。
10.根据权利要求9所述的MySQL数据库集群的链路检测系统,其特征在于,
采集模块,还用于在采样周期内,获取链路上从节点的同步数据一致性检测异常数据;
数据处理器,还用于根据链路上从节点的同步数据一致性检测异常数据,计算各个从节点的数据同步异常风险值;
数据比较器,还用于比较从节点的数据同步异常风险值与预设风险阈值的大小,若从节点的数据同步异常风险值大于预设风险阈值,则将该从节点进行检修或替换,否则,无需将该从节点进行检修或替换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410253227.0A CN117827981A (zh) | 2024-03-06 | 2024-03-06 | 一种MySQL数据库集群的链路检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410253227.0A CN117827981A (zh) | 2024-03-06 | 2024-03-06 | 一种MySQL数据库集群的链路检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117827981A true CN117827981A (zh) | 2024-04-05 |
Family
ID=90524477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410253227.0A Pending CN117827981A (zh) | 2024-03-06 | 2024-03-06 | 一种MySQL数据库集群的链路检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117827981A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154394A1 (zh) * | 2018-02-12 | 2019-08-15 | 中兴通讯股份有限公司 | 分布式数据库集群系统、数据同步方法及存储介质 |
CN111694694A (zh) * | 2020-05-22 | 2020-09-22 | 北京三快在线科技有限公司 | 数据库集群的处理方法、装置、存储介质和节点 |
CN112860799A (zh) * | 2021-02-22 | 2021-05-28 | 浪潮云信息技术股份公司 | 一种分布式数据库数据同步的管理方法 |
CN116781488A (zh) * | 2022-03-09 | 2023-09-19 | 中国移动通信集团江苏有限公司 | 数据库高可用实现方法、装置、数据库架构、设备和产品 |
CN117014230A (zh) * | 2023-10-07 | 2023-11-07 | 天云融创数据科技(北京)有限公司 | 基于大数据的网络安全态势感知方法及系统 |
CN117499412A (zh) * | 2023-10-27 | 2024-02-02 | 中国平安财产保险股份有限公司 | 一种基于高可用链路的集群优化处理方法及其相关设备 |
-
2024
- 2024-03-06 CN CN202410253227.0A patent/CN117827981A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154394A1 (zh) * | 2018-02-12 | 2019-08-15 | 中兴通讯股份有限公司 | 分布式数据库集群系统、数据同步方法及存储介质 |
CN111694694A (zh) * | 2020-05-22 | 2020-09-22 | 北京三快在线科技有限公司 | 数据库集群的处理方法、装置、存储介质和节点 |
CN112860799A (zh) * | 2021-02-22 | 2021-05-28 | 浪潮云信息技术股份公司 | 一种分布式数据库数据同步的管理方法 |
CN116781488A (zh) * | 2022-03-09 | 2023-09-19 | 中国移动通信集团江苏有限公司 | 数据库高可用实现方法、装置、数据库架构、设备和产品 |
CN117014230A (zh) * | 2023-10-07 | 2023-11-07 | 天云融创数据科技(北京)有限公司 | 基于大数据的网络安全态势感知方法及系统 |
CN117499412A (zh) * | 2023-10-27 | 2024-02-02 | 中国平安财产保险股份有限公司 | 一种基于高可用链路的集群优化处理方法及其相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107704196B (zh) | 区块链数据存储系统和方法 | |
US9965364B2 (en) | Fault tolerant listener registration in the presence of node crashes in a data grid | |
US8301600B1 (en) | Failover recovery in a distributed data store | |
CN112131237B (zh) | 数据同步方法、装置、设备及计算机可读介质 | |
US8862936B2 (en) | Apparatus and method of managing databases of active node and standby node of main memory database management system | |
US9753792B2 (en) | Method and system for byzantine fault tolerant data replication | |
CN109614262B (zh) | 业务校验方法、装置及计算机可读存储介质 | |
CN111756601A (zh) | 微服务架构监控方法、装置、计算机设备及可读存储介质 | |
CN111049928B (zh) | 数据同步方法、系统、电子设备及计算机可读存储介质 | |
CN108934187A (zh) | 分布式存储系统的访问方法和相关装置和相关系统 | |
CN112506710B (zh) | 分布式文件系统数据修复方法、装置、设备及存储介质 | |
CN111787055A (zh) | 一种基于Redis且面向事务机制和多数据中心的数据分发方法和系统 | |
WO2018113484A1 (zh) | 一种多副本数据恢复方法及装置 | |
CN108932249A (zh) | 一种管理文件系统的方法及装置 | |
US9330153B2 (en) | System, method, and computer readable medium that coordinates between devices using exchange of log files | |
CN108418859B (zh) | 写数据的方法和装置 | |
CN111404737B (zh) | 一种容灾处理方法以及相关装置 | |
CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
CN112463883A (zh) | 基于大数据同步平台的可靠性监控方法、装置、设备 | |
CN109510730A (zh) | 分布式系统及其监控方法、装置、电子设备及存储介质 | |
CN117827981A (zh) | 一种MySQL数据库集群的链路检测方法及系统 | |
CN114500289B (zh) | 控制平面恢复方法、装置、控制节点及存储介质 | |
CN115454958A (zh) | 基于人工智能的数据处理方法、装置、设备、系统及介质 | |
CN108897645B (zh) | 一种基于备用心跳磁盘的数据库集群容灾方法和系统 | |
CN111752911A (zh) | 一种基于Flume的数据传输方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |