CN114661558A

CN114661558A - 一种基于离线分析数据库Log的通用数据库表监控方法

Info

Publication number: CN114661558A
Application number: CN202210381373.2A
Authority: CN
Inventors: 于伟; 靳雯; 赵洲洋; 石江枫; 王全修
Original assignee: Rizhao Ruian Information Technology Co ltd; Beijing Rich Information Technology Co ltd
Current assignee: Rizhao Ruian Information Technology Co ltd; Beijing Rich Information Technology Co ltd
Priority date: 2022-04-12
Filing date: 2022-04-12
Publication date: 2022-06-24

Abstract

本发明公开了一种基于离线分析数据库Log的通用数据库表监控方法，包括首先伪装应用模拟数据库的交互协议；伪装的应用向主数据库发送dump协议，通知主数据库推送log日志；主数据库接收到dump协议后，推送log日志给伪装的应用；从节点解析主数据库推送的log日志，将解析结果发至消息队列中保存；消费消息队列中的解析结果，并生成数据库表的操作记录；将操作记录存储至监控数据库，并根据DDL和DML进行分类，记录变更信息；最后监控和追溯所述监控数据库表中的变更记录。本发明通过根据模拟数据库之间的交互协议，和获取主数据库的日志数据并进行解析、记录，可以快速找到有问题的操作和操作记录影响的范围，减少人工遍历日志产生的工作量。

Description

一种基于离线分析数据库Log的通用数据库表监控方法

技术领域

本发明涉及数据库监控技术领域，具体来说，涉及一种基于离线分析数据库Log的通用数据库表监控方法。

背景技术

离线分析数据库Log的通用数据库表监控是对数据库表变更记录的一种有效的监控方案，数据库维护经常忽略表的相关监控，表数据的丢失和误操作很难直接定位到相关的操作记录，需要人工花费大量的时间去检索数据库日志，数据库日志占用空间也远超于一条数据记录的大小，数据量越大的数据库日志对应也会增加，更大的增加了遍历数据库日志的工作量。针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于离线分析数据库Log的通用数据库表监控方法，能够克服现有技术方法的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于离线分析数据库Log的通用数据库表监控方法,包括以下步骤：

S1:首先伪装应用模拟数据库的交互协议；

S2:伪装的应用向主数据库发送dump协议，通知主数据库推送log日志；

S3:主数据库接收到dump协议后，推送log日志给伪装的应用；

S4:从节点解析主数据库推送的log日志，将解析结果发至消息队列中保存；

S5:消费消息队列中的解析结果，并生成数据库表的操作记录；

S6:将操作记录存储至监控数据库，并根据DDL和DML进行分类，记录变更信息；

S7:最后监控和追溯所述监控数据库表中的变更记录。

2 根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，所述伪装应用需伪装成数据库的从节点来进行交互。

3 根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，所述主数据库推送的log日志为主数据库中表发生的变更日志。

4. 根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，操作记录根据DDL和DML进行分类，区分DDL和DML两个类和操作事项。

5. 根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，监控和分析监控数据库包括了解数据库表的操作记录和执行情况；若监控时，出现DML类型为update的记录时，则发起告警。

本发明的有益效果：通过根据模拟数据库之间的交互协议，伪装成数据库的从节点，然后获取主数据库的日志数据，进行解析记录，可以对数据库表的历史操作记录进行详细的查看，快速找到有问题的操作和操作记录影响的范围，减少人工遍历日志的工作量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的基于离线分析数据库Log的通用数据库表监控方法的流程框图。

图2是根据本发明实施例所述的基于离线分析数据库Log的通用数据库表监控方法的流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。

如图1-2所示，根据本发明实施例所述的基于离线分析数据库Log的通用数据库表监控方法，首先伪装数据库 (或应用)模拟数据库的交互协议，伪装成数据库的从节点进行交互。例如：当前数据库(192.168.51.128)模拟与主数据库(192.168.51.127）的数据库之间交互协议，从而达到伪装的前提,伪装当前数据库为主数据库的从节点，从而建立起来和主数据库之间的连接，通过建立的交互连接，向主数据库发送dump协议，来触发主数据库日志流的传输。

伪装成功后，当前数据库向主数据库发送dump协议，来获取主数据库的日志数据，例如：日志数据记录为：

# at 404

#210509 3:07:57 server id 1 end_log_pos 575 Query thread_id=2609800exec_time=0 error_code=0

use `airflow`/*!*/;

SET TIMESTAMP=1620500877/*!*/;

SET @@session.pseudo_thread_id=2609800/*!*/;

SET@@session.foreign_key_checks=1,@@session.sql_auto_is_null=0,@@session.unique_checks=1, @@session.autocommit=1/*!*/;

SET @@session.sql_mode=2097152/*!*/;

SET@@session.auto_increment_increment=1,@@session.auto_increment_offset=1/*!*/;

/*!\C utf8 *//*!*/;

SET@@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;

SET @@session.lc_time_names=0/*!*/;

SET @@session.collation_database=DEFAULT/*!*/;

insert_intoOG(ID,SERIES_ID,CONTENT_ID,EPISODE_INDEX, CONTENT_CODE,SERIES_CODE,STATUS,TITLE,ISSUE_NO, EXCUTE_TIME)

values (945615,31955,2246375,25, '55853ae324304a64a1c51342fd02eaa3','f2490c8f0ee2c2ff826128b4812a1818',1,null,null, null)

/*!*/;

然后伪装的应用向主数据库发送dump协议，通知主数据库推送log日志, 主数据库收到dump协议后，会向应用发送日志数据，例如：日志为：

BINLOG '

ke2cYBOYAAAAOwAAAPhp+AEAAFoXAAAAAAEABnphYmJpeAAHaGlzdG9yeQAECAMFAwEIAAEBgJjQ

v+k=

ke2cYB6YAAAA0gAAAMpq+AEAAFoXAAAAAAEAAgAE/wDMnwAAAAAAAJHtnGDsUbgehesQQKEoQgIA

RKAAAAAAAACR7ZxgAAAAAAAAWUCqH1gDAIGgAAAAAAAAke2cYAAAAAAAcFBA6NX+EgA5nQAAAAAA

AJHtnGDml5SqslIDQNvFARMACaAAAAAAAACR7ZxgmpmZmZmZyT+SdwsYAM2fAAAAAAAAke2cYHsU

rkfhetQ//xFcIgBFoAAAAAAAAJHtnGCuR+G6e/EyQcGBlibZKbKz

'/*!*/;

从节点解析主数据库推送的log日志，并将解析结果存储到消息队列中保存，方便后续产生监控数据或者其他相关功能的二次开发，不仅仅限于数据库表的监控。例如：消息队列信息为：

{"data":[{"id":"1","name":"test","code":"001","platform":null,"last_version_code":"0000001","version_number":"1","status":"1","creater_id":null,"updater_id":null,"create_time":null,"update_time":null}],"database":"airflow","es":1579057991000,"id":1,"isDdl":false,"mysqlType":{"id":"bigint(20)","name":"varchar(64)","code":"varchar(64)","platform":"varchar(64)","last_version_code":"varchar(64)","version_number":"int(5)","status":"int(2)","creater_id":"varchar(32)","updater_id":"varchar(32)","create_time":"datetime","update_time":"datetime"},"old":null,"pkNames":["id"],"sql":"","sqlType":{"id":-5,"name":12,"code":12,"platform":12,"last_version_code":12,"version_number":4,"status":4,"creater_id":12,"updater_id":12,"create_time":93,"update_time":93},"table":"log","ts":1579057992325,"type":"INSERT"}。

然后对消息队列中的信息进行消费读取，生成数据库表的操作记录，根据操作记录内容，区分为DDL和DML两类和主要的操作事项，保存在监控数据库中，方便快速过滤数据和展示数据来源，并记录变更信息。

最后监控和追溯所述监控数据库表中的变更记录，监控数据库表的操作记录；按照执行时间、操作类型（DDL、DML）和影响行数等信息进行记录。

监控和分析监控数据库，了解数据库表的操作记录和执行情况，方便定位问题和进行数据同步分享，例如airflow库中dag_stats程序不会去update数据，若监控时，出现dml_type(DML类型)为update的记录时，则发起告警,提醒运维人员进行排查。

综上所述，借助于本发明的上述技术方案，通过根据模拟数据库的交互协议，伪装成数据库的从节点来获取主数据库的日志数据，进行分析记录；有效提高了对数据库表监控的可行性和降低了定位问题的难度；相比传统的人工遍历数据库日志文件来获取数据库表的操作记录大大提高监控的全面性和执行效率；对监控的数据库表进行监控和分析，了解数据库表的操作记录和执行情况，方便定位问题和进行数据同步分享，在数据库表全面监控的背景下，能够有很好的发现问题并解决问题，同时记录操作历史，可以用于其他方向的开发数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于离线分析数据库Log的通用数据库表监控方法，其特征在于，包括以下步骤：

S1:首先伪装应用模拟数据库的交互协议；

S3:主数据库接收到dump协议后，推送log日志给伪装的应用；

S7:最后监控和追溯所述监控数据库表中的变更记录。

2.根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，所述伪装应用需伪装成数据库的从节点来进行交互。

3.根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，所述主数据库推送的log日志为主数据库中表发生的变更日志。

4.根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，操作记录根据DDL和DML进行分类，区分DDL和DML两个类和操作事项。

5.根据权利要求1所述的基于离线分析数据库Log的通用数据库表监控方法，其特征在于，监控和分析监控数据库包括了解数据库表的操作记录和执行情况；若监控时，出现DML类型为update的记录时，则发起告警。