CN110955723A - 一种主从数据库同步状态监控方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种主从数据库同步状态监控方法，包括：获取从数据库的同步状态及主数据库的操作日志文件；当同步状态为异常状态，获取从数据库的当前同步日志文件；根据操作日志文件和当前同步日志文件得到同步失败信息，同步失败信息包括报警信息和同步失败的日志文件信息；提示同步失败信息。本申请能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。本申请还公开了一种主从数据库同步监控装置及电子设备，具有上述有益效果。

Description

一种主从数据库同步状态监控方法、装置及电子设备

技术领域

本申请涉及服务器领域，特别是涉及一种主从数据库同步状态监控方法、装置及电子设备。

背景技术

在大数据时代，越来越多的公司开始重视数据资产，数据的存储及处理离不开大数据平台，InsightHD大数据平台各种元数信息都保存在MySQL数据库中，因此MySQL数据库对于整个平台来说非常重要，MySQL出现异常通常会导致整个平台系统异常，甚至崩溃。平台现状是MySQL数据库以主从的模式搭建的，从MySQL数据库能够同步主MySQL数据库信息，当主MySQL数据库发生异常时，InsightHD平台可以切换到从MySQL继续运行。

但是目前对于从MySQL数据库的同步状态未作监控，即从MySQL数据库是否成功同步数据对于集群来说是未知的，而且MySQL数据库在同步数据发生错误时会产生阻塞从而导致数据同步任务停止，MySQL数据同步任务失败后，一旦主MySQL数据库发生故障将会对集群产生较大影响。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种主从数据库同步状态监控方法、装置及电子设备，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。

为解决上述技术问题，本申请提供了一种主从数据库同步状态监控方法，包括：

获取从数据库的同步状态及主数据库的操作日志文件；

当所述同步状态为异常状态，获取所述从数据库的当前同步日志文件；

根据所述操作日志文件和所述当前同步日志文件得到同步失败信息，所述同步失败信息包括报警信息和同步失败的日志文件信息；

提示所述同步失败信息。

优选的，所述获取从数据库的同步状态及主数据库的操作日志文件之前，该主从数据库同步状态监控方法还包括：

确定所述主数据库和所述从数据库所在节点的位置。

优选的，所述确定所述主数据库和所述从数据库所在节点的位置的过程具体为：

通过查询集群的配置文件确定所述主数据库和所述从数据库所在节点的位置。

优选的，所述确定所述主数据库和所述从数据库所在节点的位置的过程具体为：

通过监听服务器端口确定所述主数据库和所述从数据库所在节点的位置。

优选的，所述根据所述操作日志文件和所述当前同步日志文件得到同步失败信息的过程具体为：

将所述当前同步日志文件的文件名与所述操作日志文件的文件名进行匹配，得到同步失败的操作日志文件；

根据所述同步失败的操作日志文件得到同步失败信息。

优选的，所述根据所述同步失败的操作日志文件得到同步失败信息的过程具体为：

将所述同步失败的操作日志文件转换为预设格式的日志文件；

解析所述预设格式的日志文件，得到同步失败操作的位置信息，所述日志文件信息包括所述位置信息。

优选的，所述提示所述同步失败信息的过程具体为：

通过InsightHD管理界面提示所述同步失败信息。

优选的，所述获取从数据库的同步状态的过程具体为：

获取从数据库的状态信息，所述状态信息包括IO状态和SQL状态；

当所述IO状态为异常状态和/或所述SQL状态为异常状态，判定所述从数据的同步状态为异常状态。

为解决上述技术问题，本申请还提供了一种主从数据库同步状态监控装置，包括：

第一获取模块，用于获取从数据库的同步状态及主数据库的操作日志文件；

第二获取模块，用于当所述同步状态为异常状态，获取所述从数据库的当前同步日志文件；

定位模块，用于根据所述操作日志文件和所述当前同步日志文件得到同步失败信息，所述同步失败信息包括报警信息和同步失败的日志文件信息；

提示模块，用于提示所述同步失败信息。

为解决上述技术问题，本申请还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上文任意一项所述主从数据库同步状态监控方法的步骤。

本申请提供了一种主从数据库同步状态监控方法，首先对从数据库的同步状态进行监测，当从数据库的同步状态异常时，根据从数据库的当前同步日志文件及主数据库的操作日志文件确定从数据库同步失败的位置并提示，以便用户及时对同步失败的任务进行恢复，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。本申请还提供了一种主从数据库同步监控装置及电子设备，具有和上述主从数据库同步状态监控方法相同的有益效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种主从数据库同步状态监控方法的步骤流程图；

图2为本申请所提供的一种主从数据库同步状态监控装置的结构示意图；

图3为本申请所提供的一种电子设备的结构示意图。

具体实施方式

本申请的核心是提供一种主从数据库同步状态监控方法、装置及电子设备，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前InsightHD大数据平台的现状是以主从的模式搭建MySQL数据库，从MySQL数据库能够同步主MySQL数据库的信息，当主MySQL数据库发生异常时，InsightHD平台可以切换到从MySQL继续运行。但是目前对于从MySQL数据库的同步状态未作监控，即从MySQL数据库是否成功同步数据对于集群来说是未知的，而且MySQL数据库在同步数据发生错误时会产生阻塞从而导致数据同步任务停止，MySQL数据同步任务失败后，一旦主MySQL数据库发生故障将会对集群产生较大影响。基于上述相关技术的种种问题，本申请通过以下几个实施例提供的新的主从数据库同步状态监控方案，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力的目的。

下面对本申请所提供的一种主从数据库同步状态监控方法进行详细说明。

请参照图1，图1为本申请所提供的一种主从数据库同步状态监控方法的步骤流程图，该主从数据库同步状态监控方法包括：

S101：获取从数据库的同步状态及主数据库的操作日志文件；

可以理解的是，集群中可以在多个节点配置数据库，因此，在执行本步骤之前，可以存在确定数据库在集群中的节点的位置的操作，以便根据数据库的所在节点的位置向该数据库发送对应的查询指令。具体的，可以通过查询集群的配置文件来确定数据库的所在节点的位置，也可以通过监听服务器端口确定数据库所在节点的位置。在确定数据库所在节点的位置后，向主数据库发送查询指令，以获取主数据库的操作日志文件，并向从数据库发送状态查询指令，获取从数据库的同步状态，同步状态包括正常状态和异常状态。可以理解的是，向从数据库发送状态查询指令后，可以获取到关于从数据库的一组状态信息，该组状态信息中可以包括但不限于IO状态、SQL状态等信息，考虑到从数据库有两个工作线程，一个是读线程一个是SQL线程，因此，当读线程和/或SQL线程存在异常，即IO状态和/或SQL状态异常，则判定从数据库的同步状态为异常状态。具体的，从数据库可以按预设周期同步主数据库的数据，因此，从数据库的等待同步状态为正常状态。

进一步的，本实施例可以按预设周期获取从数据库的同步状态，也可以在接收到获取指令后，再获取从数据库的同步状态，在此不限定获取从数据的同步状态的触发条件。

当然，本步骤中获取从数据库的同步状态的操作及获取主数据库的操作日志文件的操作可以同时进行，也可以分先后顺序进行，对此本申请不做具体的限定。

S102：当同步状态为异常状态，获取从数据库的当前同步日志文件；

S103：根据操作日志文件和当前同步日志文件得到同步失败信息，同步失败信息包括报警信息和同步失败的日志文件信息；

具体的，当判断从数据库的同步状态为异常状态时，向从数据库发送对应的查询指令，获取从数据库的当前同步日志文件，将当前同步日志文件和主数据库的操作日志文件进行对比，定位匹配失败的操作日志文件，并生成对应的同步失败信息，同步失败信息包括报警信息和同步失败的日志文件信息。

具体的，在进行定位匹配时，可以通过日志文件的文件名进行匹配，假设操作日志文件的文件名包括a、b、c、d、e、f、g，然后将当前同步日志文件的文件名和操作日志文件的文件名进行匹配，若当前同步日志文件只包括文件名为a、b、c、d、e、f的当前同步日志文件，则说明从数据库只同步到了与文件名为f的日志文件所对应的数据，g所对应的数据未同步成功，因此操作日志文件g为同步失败的日志文件，根据文件名为g的操作日志文件确定同步失败信息。

具体的，在确定了同步失败的操作日志文件后，将同步失败的操作日志文件转换成预设格式，然后对转换后的操作日志文件进行分析，得到得到同步失败操作的位置信息，所述日志文件信息包括所述位置信息。

可以理解的是，在获取同步失败信息时，还需要对造成从数据库的同步状态异常的原因进行判定，也即判断是由于IO状态异常造成的同步状态异常，或由于SQL状态异常造成的同步状态异常，还是由于IO状态和SQL状态均异常造成的同步状态异常。若由于IO状态异常，则同步失败信息包括主机域名、同步用户、主数据库同步二进制文件名、IO输出信息及报警信息；若由于SQL状态异常，则同步失败信息包括主数据库当前同步二进制文件名、SQL命令、SQL命令位置信息、SQL失败信息及报警信息；若由于IO状态和SQL状态均异常，则同步失败信息包括主机域名、同步用户、主数据库同步二进制文件名、IO输出信息、主数据库当前同步二进制文件名、SQL命令、SQL命令位置信息、SQL失败信息及报警信息。

可以理解的是，这里的文件名为二进制格式，在将其推送至InsightHD管理界面之前，还应对该二进制格式的文件名进行转换，以便满足InsightHD管理界面的显示要求。

S104：提示同步失败信息。

具体的，在执行本步骤之前，还存在将同步失败信息推送到InsightHD管理界面的操作，以便通过InsightHD管理界面显示同步失败信息，提醒运维人员及时恢复同步任务，以保障集群安全、稳定的提供服务。

具体的，可以在InsightHD管理界面上增加一个元数据同步状态标识符，根据同步失败信息修改该标识符的状态及提示信息。

本申请提供了一种主从数据库同步状态监控方法，首先对从数据库的同步状态进行监测，当从数据库的同步状态异常时，根据从数据库的当前同步日志文件及主数据库的操作日志文件确定从数据库同步失败的位置并提示，以便用户及时对同步失败的任务进行恢复，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。

请参照图2，图2为本申请所提供的一种主从数据库同步状态监控装置的结构示意图，该主从数据库同步状态监控装置包括：

第一获取模块1，用于获取从数据库的同步状态及主数据库的操作日志文件；

第二获取模块2，用于当同步状态为异常状态，获取从数据库的当前同步日志文件；

定位模块3，用于根据操作日志文件和当前同步日志文件得到同步失败信息，同步失败信息包括报警信息和同步失败的日志文件信息；

提示模块4，用于提示同步失败信息。

可见，本实施例首先对从数据库的同步状态进行监测，当从数据库的同步状态异常时，根据从数据库的当前同步日志文件及主数据库的操作日志文件确定从数据库同步失败的位置并提示，以便用户及时对同步失败的任务进行恢复，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。

作为一种优选的实施例，该主从数据库同步状态监控装置还包括：

数据库定位模块，用于确定主数据库和从数据库所在节点的位置。

作为一种优选的实施例，数据库定位模块具体用于：

通过查询集群的配置文件确定主数据库和从数据库所在节点的位置。

作为一种优选的实施例，数据库定位模块具体用于：

通过监听服务器端口确定主数据库和从数据库所在节点的位置。

作为一种优选的实施例，定位模块3具体包括：

匹配单元，用于将当前同步日志文件的文件名与操作日志文件的文件名进行匹配，得到同步失败的操作日志文件；

获取单元，用于根据同步失败的操作日志文件得到同步失败信息。

作为一种优选的实施例，获取单元具体包括：

转换子单元，用于将同步失败的操作日志文件转换为预设格式的日志文件；

解析子单元，用于解析预设格式的日志文件，得到同步失败操作的位置信息，所述日志文件信息包括所述位置信息。

作为一种优选的实施例，提示模块4具体用于：

通过InsightHD管理界面提示同步失败信息。

作为一种优选的实施例，获取从数据库的同步状态的过程具体为：

获取从数据库的状态信息，状态信息包括IO状态和SQL状态；

当IO状态为异常状态和/或SQL状态为异常状态，判定从数据的同步状态为异常状态。

另一方面，本申请还提供了一种电子设备，参见图3，其示出了本申请实施例一种电子设备的一种组成结构示意图，本实施例的电子设备2100可以包括：处理器2101和存储器2102。

可选的，该电子设备还可以包括通信接口2103、输入单元2104和显示器2105和通信总线2106。

处理器2101、存储器2102、通信接口2103、输入单元2104、显示器2105、均通过通信总线2106完成相互间的通信。

在本申请实施例中，该处理器2101，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。

该处理器可以调用存储器2102中存储的程序。具体的，处理器可以执行以下主从数据库同步状态监控方法的实施例中电子设备侧所执行的操作。

存储器2102中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：

获取从数据库的同步状态及主数据库的操作日志文件；

当所述同步状态为异常状态，获取所述从数据库的当前同步日志文件；

根据所述操作日志文件和所述当前同步日志文件得到同步失败信息，所述同步失败信息包括报警信息和同步失败的日志文件信息；

提示所述同步失败信息。

可见，本实施例首先对从数据库的同步状态进行监测，当从数据库的同步状态异常时，根据从数据库的当前同步日志文件及主数据库的操作日志文件确定从数据库同步失败的位置并提示，以便用户及时对同步失败的任务进行恢复，能够有效的避免主数据库服务异常时集群不可用及数据丢失的问题，保障集群安全、稳定的提供服务，增加InsightHD大数据平台的产品竞争力。

在一种可能的实现方式中，该存储器2102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如格式转换功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。

此外，存储器2102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

该通信接口2103可以为通信模块的接口，如GSM模块的接口。

本申请还可以包括显示器2104和输入单元2105等等。

当然，图3所示的物联网设备的结构并不构成对本申请实施例中物联网设备的限定，在实际应用中电子设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种主从数据库同步状态监控方法，其特征在于，包括：

获取从数据库的同步状态及主数据库的操作日志文件；

当所述同步状态为异常状态，获取所述从数据库的当前同步日志文件；

根据所述操作日志文件和所述当前同步日志文件得到同步失败信息，所述同步失败信息包括报警信息和同步失败的日志文件信息；

提示所述同步失败信息。

2.根据权利要求1所述的主从数据库同步状态监控方法，其特征在于，所述获取从数据库的同步状态及主数据库的操作日志文件之前，该主从数据库同步状态监控方法还包括：

确定所述主数据库和所述从数据库所在节点的位置。

3.根据权利要求2所述的主从数据库同步状态监控方法，其特征在于，所述确定所述主数据库和所述从数据库所在节点的位置的过程具体为：

通过查询集群的配置文件确定所述主数据库和所述从数据库所在节点的位置。

4.根据权利要求2所述的主从数据库同步状态监控方法，其特征在于，所述确定所述主数据库和所述从数据库所在节点的位置的过程具体为：

通过监听服务器端口确定所述主数据库和所述从数据库所在节点的位置。

5.根据权利要求1所述的主从数据库同步状态监控方法，其特征在于，所述根据所述操作日志文件和所述当前同步日志文件得到同步失败信息的过程具体为：

将所述当前同步日志文件的文件名与所述操作日志文件的文件名进行匹配，得到同步失败的操作日志文件；

根据所述同步失败的操作日志文件得到同步失败信息。

6.根据权利要求5所述的主从数据库同步状态监控方法，其特征在于，所述根据所述同步失败的操作日志文件得到同步失败信息的过程具体为：

将所述同步失败的操作日志文件转换为预设格式的日志文件；

解析所述预设格式的日志文件，得到同步失败操作的位置信息，所述日志文件信息包括所述位置信息。

7.根据权利要求1所述的主从数据库同步状态监控方法，其特征在于，所述提示所述同步失败信息的过程具体为：

通过InsightHD管理界面提示所述同步失败信息。

8.根据权利要求1-7任意一项所述的主从数据库同步状态监控方法，其特征在于，所述获取从数据库的同步状态的过程具体为：

获取从数据库的状态信息，所述状态信息包括IO状态和SQL状态；

当所述IO状态为异常状态和/或所述SQL状态为异常状态，判定所述从数据的同步状态为异常状态。

9.一种主从数据库同步状态监控装置，其特征在于，包括：

第一获取模块，用于获取从数据库的同步状态及主数据库的操作日志文件；

第二获取模块，用于当所述同步状态为异常状态，获取所述从数据库的当前同步日志文件；

定位模块，用于根据所述操作日志文件和所述当前同步日志文件得到同步失败信息，所述同步失败信息包括报警信息和同步失败的日志文件信息；

提示模块，用于提示所述同步失败信息。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-8任意一项所述主从数据库同步状态监控方法的步骤。

Images