CN113157555A - 用于线上压测数据漏库实时检测的系统、方法及设备 - Google Patents

Abstract

本发明涉及一种用于线上压测数据漏库实时检测的系统、方法及设备，属于通信技术领域，binlog监控系统对待监控数据库表进行监控内容配置，将监听数据发送至消息中间件；漏库检测执行系统，实时接收binlog监控系统的监听数据，并对比监听数据，判断待监控数据库表中是否发生漏库事件，若待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。实时的监控binlog，当数据库表有数据变化操作时，被监控，对这些数据进行规则比对，从而发现是否有测试数据被错误的写入了正式库表中，整个过程数据都是在binlog监控系统、消息中间件和漏库检测执行系统间实时流转与对比的，从而使线上压测过程中，漏库检查自动化实时化，漏库处理过程及时化与自动化。

Description

用于线上压测数据漏库实时检测的系统、方法及设备

技术领域

本发明属于通信技术领域，具体涉及一种用于线上压测数据漏库实时检测的方法、装置及设备。

背景技术

现阶段，在生产环境(线上环境)进行性能压测，特别是进行全链路线上压测试时，通常会大量使用影子数据库表，影子数据库表用于与正式数据库表进行测试数据的隔离。但是，因为各种技术原因，大量的压测数据可能会导致部份或者全部压测数据被错误的写入了正式数据库表，从而污染了真实环境的数据，导致各种生产故障。因此在进行线上环境压测时，有必要实时的检测是否有测试数据被错误的写入了正式数据库表，以便及时的停止压测行为，并快速对进入正式库的错误数据进行清洗纠正，将损失降到最低。

为了解决此技术问题，现有技术中通常体采用如下技术手段：提前准备好对正式库表查询漏库数据的SQL(可以对数据库内容进行查询的标准语言)；开始进行线上压测试；在压测过程中，不断的反复的执行这一批SQL，并对结果进行对比；如果对比的SQL查询结果中包含了测试数据，则停止压测试。

但是，这种技术手段存在如下技术问题：实时性不足；查询是在正式数据库表中执行，会占用正式库表资源，且会大量使用性能低下的like语句，影响正式库表性能；分库分表(线上环境为了提供更好的性能，会将一张数据表拆分成N张数据表，表结构完全相同，表名前缀也相同，只是在表名后缀上会使用数字进行编号扩展区分)很多的情况下，工作量太大，有时甚至是不可能完成的任务。

发明内容

本发明提供了一种用于线上压测数据漏库实时检测的系统、方法及设备，以实现进行线上压测时，自动的检查是否漏库，保证线上压测漏库检查的实时性，准确性与处理漏库情况的及时性；在保证实时性的情况下，对正式库表无性能影响。

本发明提供的技术方案如下：

一方面，一种用于线上压测数据漏库实时检测的系统，包括：binlog监控系统、消息中间件和漏库检测执行系统；

所述binlog监控系统，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将所述监听数据发送至消息中间件，以及，配置所述监听数据发送到消息中间件的消息队列名称；

所述漏库检测执行系统，用于通过所述消息中间件，实时接收所述binlog监控系统的监听数据，并对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件，若所述待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。

可选的，所述漏库检测执行系统，还用于：配置数据对比规则；以及，根据所述数据对比规则，判断所述待监控数据库表中是否发生漏库事件，若对比的所述监听数据符合所述数据对比规则，则判定所述待监控数据库表中发生漏库事件。

可选的，所述漏库检测执行系统，还用于：上传数据清洗脚本；以及，在所述待监控数据库表中发生漏库事件时，调用所述数据清洗脚本，对所述待监控数据库表内的数据进行清洗。

可选的，所述所述binlog监控系统，包括：binlog监听配置模块、binlog日志监听模块、binlog监听实时数据消息转发模块；

所述binlog监听配置模块，用于对待监控数据库表进行监控内容配置，以及，对所述待监控数据库表的变化进行实时监控；

所述binlog日志监听模块，用于记录监听日志；

所述binlog监听实时数据消息转发模块，用于将所述监听数据发送到消息中间件。

可选的，所述binlog监控系统，在对待监控数据库表进行监控内容配置的配置内容，包括：库名、表名、字段名。

又一方面，一种用于线上压测数据漏库实时检测的方法，包括：

通过binlog监控系统，对待监控数据库表进行实时监控，并通过消息中间件，获取对应的监听数据；

对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件；

若所述待监控数据库表中发生漏库事件，则触发报警模块，进行报警，停止压测。

可选的，还包括：

配置数据对比规则；

所述对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件，包括：

根据所述数据对比规则，判断所述待监控数据库表中是否发生漏库事件，若对比的所述监听数据符合所述数据对比规则，则判定所述待监控数据库表中发生漏库事件。

可选的，还包括：上传数据清洗脚本；

所述若所述待监控数据库表中发生漏库事件，则触发报警模块，进行报警，还包括：

在所述待监控数据库表中发生漏库事件时，调用所述数据清洗脚本，对所述待监控数据库表内的数据进行清洗。

可选的，所述消息中间件中年的消息队列个数为多个。

又一方面，一种用于线上压测数据漏库实时检测的设备，包括：处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的用于线上压测数据漏库实时检测的方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。

本发明的有益效果为：

本发明实施例提供的一种用于线上压测数据漏库实时检测的系统、方法及设备，该系统设置binlog监控系统、消息中间件和漏库检测执行系统；binlog监控系统，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将监听数据发送至消息中间件，以及，配置监听数据发送到消息中间件的消息队列名称；漏库检测执行系统，用于通过消息中间件，实时接收binlog监控系统的监听数据，并对比监听数据，判断待监控数据库表中是否发生漏库事件，若待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。整个过程都是实时的监控binlog，所以每当数据库表有新增数据，修改数据操作时，都会实时的被监控，然后对这些数据进行规则比对，从而发现是否有测试数据被错误的写入了正式库表中，整个过程数据都是在binlog监控系统、消息中间件和漏库检测执行系统间实时流转与对比的，从而使线上压测过程中，漏库检查自动化实时化，漏库处理过程及时化与自动化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于线上压测数据漏库实时检测的系统的结构示意图；

图2为本发明实施例提供的一种用于线上压测数据漏库实时检测的方法流程示意图；

图3为本发明实施例提供的一种用于线上压测数据漏库实时检测的设备结构示意图。

附图标记：

1-binlog监控系统；2-消息中间件；3-漏库检测执行系统；31-处理器；32-存储器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

为了至少解决本发明中提出的技术问题，本发明实施例提供一种用于线上压测数据漏库实时检测的系统。

图1为本发明实施例提供的一种用于线上压测数据漏库实时检测的系统的结构示意图，参阅图1，本发明实施例提供的系统，可以包括：binlog监控系统1、消息中间件2和漏库检测执行系统3。其中，binlog监控系统1，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将监听数据发送至消息中间件，以及，配置监听数据发送到消息中间件的消息队列名称。漏库检测执行系统3，用于通过消息中间件，实时接收binlog监控系统的监听数据，并对比监听数据，判断待监控数据库表中是否发生漏库事件，若待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。

其中，消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信,本发明中用来实时的将数据库表的更新记录发送到漏库监控系统中。

binlog是记录所有数据库表结构变更(例如CREATE、ALTER TABLE…)以及表数据修改(INSERT、UPDATE、DELETE…)的二进制日志。

可选的，漏库检测执行系统3，还用于：配置数据对比规则；以及，根据数据对比规则，判断待监控数据库表中是否发生漏库事件，若对比的监听数据符合数据对比规则，则判定待监控数据库表中发生漏库事件。

可选的，漏库检测执行系统3，还用于：上传数据清洗脚本；以及，在待监控数据库表中发生漏库事件时，调用数据清洗脚本，对待监控数据库表内的数据进行清洗。

可选的，binlog监控系统1，包括：binlog监听配置模块、binlog日志监听模块、binlog监听实时数据消息转发模块；

binlog监听配置模块，用于对待监控数据库表进行监控内容配置，以及，对待监控数据库表的变化进行实时监控；

binlog日志监听模块，用于记录监听日志；

binlog监听实时数据消息转发模块，用于将监听数据发送到消息中间件。

可选的，binlog监控系统，在对待监控数据库表进行监控内容配置的配置内容，包括：库名、表名、字段名。

在一个具体的实现过程中，可以定义要检测的数据库表为待监控数据库表，待监控数据库表的个数可以为N个，其中，N为自然数，用户可以根据具体需求进行设定，此处不做具体限定。参阅图1，待监控数据库表可以包括数据库表1、数据库表2、数据库表N等。

例如，可以在binlog监控系统中对待监控数据库表内的信息，进行监控内容配置，配置内容包括库名，表名，字段名，并配置其监听到数据变化后需要将数据发送到的消息队列名称。在漏库检测执行系统中配置需要对比的数据字段规则以及上传数据清洗脚本，例如：配置表1的A字段以“31111”开头的数据为漏库数据这样一个规则。

在运行过程中，启动binlog监控系统，消息中间件，以及漏库检测执行系统。此时，binlog监控系统中的监听模块对数据库表的变化进行实时监控。，一但binlog数据变更被监听到，就将变更的数据信息发送到其配置中指定的消息队列中去。因为消息中间件的本身的特性，binlog发送过来的变更数据，会实时的被“漏库检测执行系统”所接收到，从而触发“漏库检测执行系统”按设置好规则，对接收到的数据进行对比，一但发现对比的数据与配置的规则相符，则说明漏库事件发生。一但有漏库事件发生，则进行自动告警模块，通知到工作人员，同时告警模块通知到压测系统停止压测。根据告警信息中所提供的漏库信息，确认调用清洗脚本，对正式数据库的漏库数据进行清洗。

本发明实施例提供的用于线上压测数据漏库实时检测的系统，设置binlog监控系统、消息中间件和漏库检测执行系统；binlog监控系统，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将监听数据发送至消息中间件，以及，配置监听数据发送到消息中间件的消息队列名称；漏库检测执行系统，用于通过消息中间件，实时接收binlog监控系统的监听数据，并对比监听数据，判断待监控数据库表中是否发生漏库事件，若待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。整个过程都是实时的监控binlog，所以每当数据库表有新增数据，修改数据操作时，都会实时的被监控，然后对这些数据进行规则比对，从而发现是否有测试数据被错误的写入了正式库表中，整个过程数据都是在binlog监控系统、消息中间件和漏库检测执行系统间实时流转与对比的，从而使线上压测过程中，漏库检查自动化实时化，漏库处理过程及时化与自动化。

基于一个总的发明构思，本发明实施例还提供一种用于线上压测数据漏库实时检测的方法。

图2为本发明实施例提供的一种用于线上压测数据漏库实时检测的方法流程示意图；

图1为本发明实施例提供的一种方法流程示意图，如图1所示，本发明实施例提供的方法，可以包括以下步骤：

S21、通过binlog监控系统，对待监控数据库表进行实时监控，并通过消息中间件，获取对应的监听数据。

S22、对比监听数据，判断待监控数据库表中是否发生漏库事件。

S23、若待监控数据库表中发生漏库事件，则触发报警模块，进行报警，停止压测。

可选的，还包括：配置数据对比规则；

对比监听数据，判断待监控数据库表中是否发生漏库事件，包括：根据数据对比规则，判断待监控数据库表中是否发生漏库事件，若对比的监听数据符合数据对比规则，则判定待监控数据库表中发生漏库事件。

可选的，还包括：上传数据清洗脚本；

若待监控数据库表中发生漏库事件，则触发报警模块，进行报警，还包括：在待监控数据库表中发生漏库事件时，调用数据清洗脚本，对待监控数据库表内的数据进行清洗。

可选的，消息中间件中年的消息队列个数为多个。

关于上述实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该系统的实施例中进行了详细描述，此处将不做详细阐述说明。

基于一个总的发明构思，本发明实施例还提供一种用于线上压测数据漏库实时检测的竞价设备。

图3为本发明实施例提供的一种用于线上压测数据漏库实时检测的设备结构示意图，请参阅图3，本发明实施例提供的一种用于线上压测数据漏库实时检测的设备，包括：处理器31，以及与处理器相连接的存储器32。

存储器32用于存储计算机程序，计算机程序至少用于上述任一实施例记载的用于线上压测数据漏库实时检测的方法；

处理器31用于调用并执行存储器中的计算机程序。

基于一个总的发明构思，本发明实施例还提供一种存储介质。

一种存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，实现上述的蜜蜂保护方法中各个步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于线上压测数据漏库实时检测的系统，其特征在于，包括：binlog监控系统、消息中间件和漏库检测执行系统；

所述binlog监控系统，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将所述监听数据发送至消息中间件，以及，配置所述监听数据发送到消息中间件的消息队列名称；

所述漏库检测执行系统，用于通过所述消息中间件，实时接收所述binlog监控系统的监听数据，并对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件，若所述待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。

2.根据权利要求1所述的系统，其特征在于，所述漏库检测执行系统，还用于：配置数据对比规则；以及，根据所述数据对比规则，判断所述待监控数据库表中是否发生漏库事件，若对比的所述监听数据符合所述数据对比规则，则判定所述待监控数据库表中发生漏库事件。

3.根据权利要求1所述的系统，其特征在于，所述漏库检测执行系统，还用于：上传数据清洗脚本；以及，在所述待监控数据库表中发生漏库事件时，调用所述数据清洗脚本，对所述待监控数据库表内的数据进行清洗。

4.根据权利要求1所述的系统，其特征在于，所述所述binlog监控系统，包括：binlog监听配置模块、binlog日志监听模块、binlog监听实时数据消息转发模块；

所述binlog监听配置模块，用于对待监控数据库表进行监控内容配置，以及，对所述待监控数据库表的变化进行实时监控；

所述binlog日志监听模块，用于记录监听日志；

所述binlog监听实时数据消息转发模块，用于将所述监听数据发送到消息中间件。

5.根据权利要求1所述的系统，其特征在于，所述binlog监控系统，在对待监控数据库表进行监控内容配置的配置内容，包括：库名、表名、字段名。

6.一种用于线上压测数据漏库实时检测的方法，其特征在于，包括：

通过binlog监控系统，对待监控数据库表进行实时监控，并通过消息中间件，获取对应的监听数据；

对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件；

若所述待监控数据库表中发生漏库事件，则触发报警模块，进行报警，停止压测。

7.根据权利要求6所述的方法，其特征在于，还包括：

配置数据对比规则；

所述对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件，包括：

根据所述数据对比规则，判断所述待监控数据库表中是否发生漏库事件，若对比的所述监听数据符合所述数据对比规则，则判定所述待监控数据库表中发生漏库事件。

8.根据权利要求6所述的方法，其特征在于，还包括：上传数据清洗脚本；

所述若所述待监控数据库表中发生漏库事件，则触发报警模块，进行报警，还包括：

在所述待监控数据库表中发生漏库事件时，调用所述数据清洗脚本，对所述待监控数据库表内的数据进行清洗。

9.根据权利要求6所述的方法，其特征在于，所述消息中间件中年的消息队列个数为多个。

10.一种用于线上压测数据漏库实时检测的设备，其特征在于，包括：处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求6～9任一项所述的用于线上压测数据漏库实时检测的方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。

Images