CN109977134A

CN109977134A - MySQL数据追踪方法、存储介质

Info

Publication number: CN109977134A
Application number: CN201910207628.1A
Authority: CN
Inventors: 刘德建; 詹彦安; 范福生; 黄钟贵; 江洪; 郑含章; 李正; 郑涛; 岳万恕; 陈宏展
Original assignee: Fujian Tianyi Network Technology Co Ltd
Current assignee: Fujian Tianyi Network Technology Co Ltd
Priority date: 2019-03-19
Filing date: 2019-03-19
Publication date: 2019-07-05

Abstract

本发明提供MySQL数据追踪的方法、存储介质，方法包括：S1：解析数据库binlog日志文件，获取MySQL执行语句集合；S2：查询数据表，获取目标数据对应的目标数据字段；S3：依据目标数据字段及其对应MySQL的表，获取当前匹配数据字段；S4：匹配当前匹配数据字段与MySQL执行语句集合，获取对应的执行语句；S5：解析执行语句之后的其他执行语句，获取对执行语句进行内容变更的执行语句；S6：依据S5步骤获取的执行语句获取最新匹配数据字段，返回执行S4步骤，直至无法再获取执行语句；S7：顺序整合每次获取的执行语句，获取目标数据的变化过程。本发明便于数据审计、监管，且实现方式更便捷更有效。

Description

MySQL数据追踪方法、存储介质

技术领域

本发明涉及数据库数据分析领域，具体涉及MySQL数据追踪方法、存储介质。

背景技术

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库中，由此增加速度并提高了灵活性。但是，这也同时增加了MySQL数据解析和查询的难度。

本发明提供一种MySQL数据追踪的方法和对应的存储介质，能够推算MySQL数据的完整变化过程，从而实现MySQL数据变化的追踪，有利于MySQL数据的审计和监管，且相较于现有技术而言，无需业务做任务调整便可实现，更方便、更高效。

发明内容

本发明所要解决的技术问题是：提供一种MySQL数据追踪的方法和对应的存储介质，能够实现MySQL数据变化的追踪，便于数据审计和监管。

为了解决上述技术问题，本发明采用的技术方案为：

一种MySQL数据追踪的方法，包括：

S1：解析数据库binlog日志文件，获取MySQL执行语句集合；

S2：查询数据表，获取目标数据对应的目标数据字段；

S3：依据所述目标数据字段及其对应MySQL的表，获取当前匹配数据字段；

S4：匹配当前匹配数据字段与所述MySQL执行语句集合，获取对应的执行语句；

S5：解析所获取的执行语句之后预设范围内的其他执行语句，从所述其他执行语句中获取对应所述所获取的执行语句进行内容变更的执行语句；

S6：依据S5步骤获取的执行语句获取最新匹配数据字段，返回执行S4步骤，直至无法再获取执行语句；

S7：顺序整合每次获取的执行语句，获取目标数据的变化过程。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述一种MySQL数据追踪的方法所包含的步骤。

本发明的有益效果在于：本发明能够通过MySQL日志推算数据变化过程，获取数据生成后使用周期内发生变化的全过程，从而为数据审计、监管数据变化提供支持。具体由目标数据字段及其对应MySQL的表获取匹配数据字段后与解析得到的MySQL执行语句集合进行匹配来获取相关执行语句，再逐步推算获取之后的数据变化记录信息，以得到目标数据的完整变化过程。本发明区别于现有技术，无需业务做任务调整就能获取目标数据的变化过程，能更方便、更有效地实现数据审计和监管。

附图说明

图1为本发明实施例一种MySQL数据追踪的方法的流程示意图；

图2为本发明实施例一的MySQL数据追踪的方法的流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过MySQL日志推算数据变化过程，获取数据生成后使用周期内发生变化的全过程，从而为数据审计、监管数据变化提供支持。

本发明涉及的技术术语解释:

请参照图1，本发明提供一种MySQL数据追踪的方法，包括：

S1：解析数据库binlog日志文件，获取MySQL执行语句集合；

S2：查询数据表，获取目标数据对应的目标数据字段；

从上述描述可知，本发明的有益效果在于：本发明能够通过MySQL日志推算数据变化过程，获取数据生成后使用周期内发生变化的全过程，从而为数据审计、监管数据变化提供支持。具体由目标数据字段及其对应MySQL的表获取匹配数据字段后与解析得到的MySQL执行语句集合进行匹配来获取相关执行语句，再逐步推算获取之后的数据变化记录信息，以得到目标数据的完整变化过程。本发明区别于现有技术，无需业务做任务调整就能获取目标数据的变化过程，能更方便、更有效地实现数据审计和监管。

进一步的，所述S1：解析数据库binlog日志文件，获取MySQL执行语句集合，具体为：

S10：依据目标数据确定目标时间段；

S11：解析对应所述目标时间段的数据库binlog日志文件，获取对应的MySQL执行语句集合。

由上述描述可知，能够针对性地只对与目标时间段对应的数据库binlog日志文件进行解析，提高文件解析效率和数据追踪效率。

进一步的，所述目标数据包括用户账号及其关联数据；

所述S2：查询数据表，获取目标数据对应的目标数据字段；具体为：

S21：依据用户账号查询数据库的用户数据表，获取用户账号对应的目标数据字段；

S22：获取目标数据对应的包括所述用户账号对应的目标数据字段和所述关联数据的目标数据字段。

由上述描述可知，能够以用户账号对应MySQL执行语句的表述方式(键值)作为匹配条件之一，更准确地锁定用户账号的关联数据的变化过程。

进一步的，所述S3：依据所述目标数据字段及其对应MySQL的表，获取当前匹配数据字段；具体为：

S3：获取由用户账号、所述关联数据及其对应MySQL的表组成的当前匹配数据字段。

由上述描述可知，匹配条件包括用户账号、关联数据及其对应其对应MySQL的表构成，匹配的效率更高、匹配的针对性更高。

进一步的，若首次执行所述S4步骤的匹配结果若为无法获取对应的执行语句，则结束流程；若能获取对应的执行语句，则继续执行S5步骤。

由上述描述可知，本发明对应数据追踪为正序匹配的过程，若匹配至MySQL执行语句集合的最后一条执行语句均无法匹配成功，则数据追踪失败，及时结束流程；该结果对应目标数据出错，如关联数据与用户账号无法对应、用户账号出错等问题；且对应该匹配结果的数据追踪结果有效，同样具备参考意义，例如，可据此判定在所述用户账号准确无误的情况下，判定关联数据与用户账号不具备对应性。而匹配成功的情况，则可以依据所获取的执行语句推算下一次变化。

进一步的，S6：依据S5步骤获取的执行语句获取最新匹配数据字段，返回执行S4步骤，直至无法再获取执行语句；具体为：

S61：依据S5步骤获取的执行语句获取所述关联数据对应所述表的键值，并依据所述键值与所述表获取最新的匹配数据字段；

S62：匹配当前匹配数据字段与所述MySQL执行语句集合，获取对应的执行语句；

S63：解析S62步骤所获取的执行语句之后预设行数内的其他执行语句，判断是否能从所述其他执行语句中获取对应S62所获取的执行语句进行内容变更的执行语句；若是，则执行S64；若否，则执行S7；

S64：依据S63步骤获取的执行语句获取最新的匹配数据字段，返回执行S62步骤。

由上述描述可知，通过上述步骤，不断的循环重新确定匹配数据字段、匹配、解析、获取执行语句的步骤，能准确无误地推算出目标数据从头到尾的变化过程。

进一步的，所述关联数据为经验值、交互值或物品编码。

由上述描述可知，通过本申请，可以追踪与用户账号关联的经验值、交互值或物品的数据变化过程，为该数据的审计和监察提供准确地技术支持。

本发明提供的另一个技术方案为：

从上述描述可知，本发明的有益效果在于：对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程，且在执行后，能实现通过MySQL日志推算数据变化过程，获取数据生成后使用周期内发生变化的全过程，从而为数据审计、监管数据变化提供支持；区别于现有技术，无需业务做任务调整就能获取目标数据的变化过程，能更方便、更有效地实现数据审计和监管的效果。

实施例一

本实施例提供一种MySQL数据追踪的方法，能够实现对目标数据变化过程的追踪，更方便、更准确地对目标数据进行审计和监察。

请参阅图2，具体包括以下步骤：

S1：获取(同步)MySQL数据库的binlog日志文件，并将其解析成可执行的明文MySQL执行语句集合。

可选地，所述MySQL执行语句集合以列表形式存储。

可选地，使用mysqlbinlog命令解析binlog日志文件。

优选地，所述S1具体包括：

S10：依据目标数据确定目标时间段；

例如，玩家张三在2019-01-01得到物品编号为10000的物品，在2019-01-05时发现物品突然没了，现要求游戏官方找出该物品去向。此时，目标数据为玩家张三的某一物品，可以设定目标时间段为玩家张三获取该物品的时间点往前一定时间范围(3天或一周)的时间点为解析起始时间点，当前时间点为解析结束时间点，然后具备针对性地解析获取对应该这一时间段的binlog日志文件。如解析2018-12-30到2019-01-06之间MySQL的binlog日志文件，得到对应的MySQL执行语句集合。

依据目标时间段具有针对性地解析binlog日志文件，能准确且高效地仅提取出具备分析价值的MySQL执行语句集合，同时又能在一定程度上兼容人工记忆误差产生的错误。不仅提高了MySQL执行语句集合的获取效率和后续匹配获取执行语句的效率；同时又能确保分析结果的准确性。

S2：查询数据表，获取目标数据对应的目标数据字段。

其中，所述目标数据可以包括用户账号及其关联数据；所述关联数据可以是经验值、交互值或物品编码等其他与该用户账号当前或曾经具备关联关系的数据。例如，所述目标数据可以是玩家张三及其曾经拥有的一个物品编码为1000的物品；还可以是玩家张三及其某一时刻的经验值等。

其中，所述目标数据字段为目标数据在MySQL执行语句中的表述方式。例如，玩家张三在MySQL执行语句中使用其对应用户数据表的user_id进行表示；而其关联数据为交互值或经验值或物品编码的情况下，直接用交互值或经验值或物品编码表示。

具体而言，S2步骤具体为：

S21：依据用户账号查询数据库的用户数据表，获取用户账号对应的第一目标数据字段；

S22：获取由用户账号对应的第一目标数据字段以及以交互值/经验值/物品编码为第二目标数据字段共同组成的目标数据字段。

例如，依据玩家张三的用户账号查询数据库的用户数据表，得到其user_id为1；所述“user_id：1”即为用户账号对应的目标数据字段。而所述关联数据一般情况下无需另外查询数据库，可直接获取，这是因为在MySQL执行语句中通常直接使用关联数据本身进行表述。例如，目标数据为玩家张三的某一物品；则关联数据为该物品的物品编码10000。因此，对应“玩家张三的物品编码1000”这一目标数据，其目标数据字段可以为user_id：1+item_id：10000。

具体而言，将依据上一步骤获取的目标数据字段及其对应MySQL的表构建匹配数据字段，即匹配条件。所述表具体依据目标数据进行确定。例如，目标数据为某用户的某物品，可知改变物品的相关信息(如所有方)需要通过操作用户物品表实现，则所述表对应用户物品表。这是因为MySQL数据库中是分表存储的，依据目标数据选取对应表进行匹配，更具针对性，匹配效率更高，准确度也更高。

S4：匹配当前匹配数据字段与所述MySQL执行语句集合，获取对应的执行语句。

特别的，若首次执行上述步骤的匹配结果为无法获取对应的执行语句，则结束流程。此种情况对应匹配条件，即匹配数据字段出错的情况，若用户账号及其对应的id无误，且所述表无误(上述数据准确性的确认不存在难度)，则只可能是关联数据有误，若关联数据本身确认无误，则证明该用户与关联关系不存在对应关系。通常，可以据此得出用户诉求中事实有误的情况，如张三这一用户并不曾拥有过物品编号为10000这一物品。该匹配结果同样具备参考价值。

若匹配结果为能够获取对应的执行语句，则继续执行S5步骤。

例如，假设匹配结果为：

#at 7824

#190101 14:11:16server id 1end_log_pos 7824Intvar

SET INSERT_ID＝3205/*！*/；

#190101 14:11:16server id 1end_log_pos 7986Query thread_id＝5exec_tim

e＝0error_code＝0

SET TIMESTAMP＝1546323076/*！*/；

INSERT INTO`物品表`(人物,物品编号)VALUES('张三','1')

/*！*/；

#at 7986….

由上述可知，在2019-01-01 14:11:16数据库中存入一条张三的物品ID为1的记录，并且他的物品表ID为3205。

S5：解析所获取的执行语句之后预设范围内的其他执行语句，从所述其他执行语句中获取对应所述所获取的执行语句进行内容变更的执行语句。

具体而言，将依据S4获取的执行语句，解析出对该执行语句进行变更的内容，该内容通常在执行语句之后的几行内，因此针对性的解析执行语句之后预设行数即可。

例如，在S4获取的执行语句后续的几行执行语句中，获取对其进行内容变更的执行语句，通过该执行语句的内容可知张三的该物品转给了李四。

S6：依据S5步骤获取的执行语句获取最新匹配数据字段，返回执行S4步骤，直至无法再获取执行语句。

具体而言，依据上一步骤获取的执行语句(对S4的执行语句进行变更的执行语句)，确定新的匹配数据字段。

例如，依据最新的匹配数据字段循环S4-S5，通过再一次匹配、解析获取执行语句：UPDATE物品表SET人物＝'李四'WHERE编号＝3205，由此则可知，张三的该物品转给了李四。

优选的，所述S6步骤具体包括：

所述键值，即上述3205；构建由所述键值“3205”和所述表“用户物品表”构成的最新匹配数据字段。

依据最新的匹配数据字段在所述MySQL执行语句集合中继续分析，找到匹配的执行语句，其对应该物品的下一次变化记录。

通过该步骤继续解析出变更的内容，通过正向计算下一次对应值，获取下一次数据变化的完整信息；若无法获取进行内容变更的执行语句，则证明为当前最后一次数据变更，通过执行S7整理完整数据变化过程。

若能不断的解析出变更的内容，则不断逆向推理下一次对应值，直至不再变更为止。

由于每次获取的执行语句都对应目标数据变更情况的记录，因此通过整合执行语句，即可获取对应目标数据的完整变化过程。

实施例二

本实施例对应实施例一的方法，提供一种具体运用场景：

假设玩家1反馈：曾经拥有的一个物品编码为1000的物品，突然没了；希望官方给出物品1000丢失问题的回应。

对于游戏官方而言，可以采用上述实施例一提供的MySQL数据追踪方法进行分析，获取物品1000的流转过程，为问题解答提供技术支持。

具体的，数据追踪过程如下：

1、通过“玩家1”这一用户账号信息去user数据表中查询，得到他的user_id为1。其中，user数据表是数据库中当前user表的数据，格式可以如下表1所示：

id	username	level	score
				1	玩家1	30	580025
2	玩家2	3	1500
				3	玩家3	2	1500
4	玩家4	0	1350

表1

2、把binlog日志(原始文件)通过mysqlbinlog解析成内容为MySQL执行语句集合的文件；

3、从文件的第一行开始顺序分析MySQL执行语句，找出执行语句是操作用户物品表(user_item)并且操作记录中user_id为1并且item_id为10000的执行语句；

例如，可以找到一条执行语句：INSERT INTO`user_item`(`user_id`,`item_id`,`add_time`)VALUES('1','1000','2019-02-02 14:27:03')在文件第195行；

4、通过分析该执行语句的上下文可以找到在第192行记录有：

SET INSERT_ID＝1；

由此可以得知：该用户曾经得到过物品编码1000的物品，且这个物品在用户物品表中的主键为1。

其中，所述用户物品表user_item指的是数据库中当前user_item表的数据，格式可以如下表2所示：

表2

通过上述步骤可推算下当前数据得到过程：

5、继续分析MySQL执行语句集合的内容，找出执行语句是操作用户物品表并且操作主键为1的记录；

假设可以得到：UPDATE`user_item`SET`user_id`＝'2',`add_time`＝'2019-02-02 14:32:08'WHERE(`id`＝'1')LIMIT 1；

则推算当时的数据得到过程：

6、重复推算上述步骤5就可以得到一个操作列表，形成一个user_item.table文件，该文件对应玩家1物品1000的操作过程.txt，即数据追踪结果。其内容如下所示：

日志时间：190202 14:27:10

INSERT INTO`user_item`(`user_id`,`item_id`,`add_time`)VALUES('1','1000','2019-02-02 14:27:03')

SET INSERT_ID＝1

日志时间：190202 14:32:50

UPDATE`user_item`SET`user_id`＝'2',`add_time`＝'2019-02-02 14:32:08'WHERE(`id`＝'1')LIMIT 1

日志时间：190202 14:33:20

UPDATE`user_item`SET`user_id`＝'1',`add_time`＝'2019-02-02 14:33:08'WHERE(`id`＝'1')LIMIT 1

日志时间：190202 14:33:27

UPDATE`user_item`SET`user_id`＝'3'WHERE(`id`＝'1')LIMIT 1

日志时间：190202 14:35:30

UPDATE`user_item`SET`user_id`＝'4'WHERE(`id`＝'1')LIMIT 1

上述操作结果可以说明玩家1的号曾经确实拥有过物品编号1000的物品，先转给玩家2，玩家2再转给玩家1，再由玩家1转给了玩家3，最后玩家3转到玩家4手上，当前这个物品在玩家4里面。

本实施例的操作过程是围绕着binlog日志解析出的内容按时间顺序查找的，并且在最开始时，并不知道他的物品真实存在，直到第3步骤找到用户物品表编辑为1的记录后顺序执行的。

实施例三

本实施例对应实施例一和实施例二，提供一种具体实例，用于对步骤S4和S5的匹配和解析执行语句的方法做进一步限定。

以一个MySQL执行语句集合的一个具体片段为例进行说明：

具体片段内容如下：

#at 1213

#190202 14:25:18server id 1end_log_pos 1045CRC32 0x41e66b40Intvar

SET INSERT_ID＝1/*！*/；

#190202 14:25:18server id 1end_log_pos 1197CRC320x8466c9e5Querythread_id＝9exec_time＝0error_code＝0

SET TIMESTAMP＝1549088718/*！*/；

INSERT INTO`user`(`username`,`level`,`score`)VALUES('玩家1','0','0')

/*！*/；

上述片段中，“#”开头的行为非操作行，说明行；

其中，SET设置值；SET INSERT_ID＝1设置插入语句的主键自增编号为1；SETTIMESTAMP＝1549088718设置当前时间戳。

因此，可以通过匹配INSERT、UPDATE、DELETE操作语句，得到具体的操作语句行；

SQL语句的解析方式主要分几个部分：操作类型、操作表、赋值、约束条件；可同时判断赋值部分和约束部分来匹配是不是业务要的语句；

例如，上述语句可解析为：操作类型INSERT；操作表user；赋值：username＝玩家1,level＝0,score＝0,id＝1。

实施例四

本实施例对应实施例一至实施例三任意一个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述实施例一至实施例三任意所述的一种MySQL数据追踪的方法所包含的步骤，具体的步骤内容在此不进行复述，详情请参阅上述记载。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本发明提供的一种MySQL数据追踪的方法、存储介质，能够实现目标数据变化过程的追踪，便于数据审计、监管；同时，无需业务做任务调整即可实现，实现方式更便捷更有效；进一步的，本发明的数据分析处理更具针对性，能显著提高结果获取效率，同时保证结果准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种MySQL数据追踪的方法，其特征在于，包括：

S1：解析数据库binlog日志文件，获取MySQL执行语句集合；

S2：查询数据表，获取目标数据对应的目标数据字段；

2.如权利要求1所述的一种MySQL数据追踪的方法，其特征在于，所述S1：解析数据库binlog日志文件，获取MySQL执行语句集合，具体为：

S10：依据目标数据确定目标时间段；

3.如权利要求1所述的一种MySQL数据追踪的方法，其特征在于，所述目标数据包括用户账号及其关联数据；

4.如权利要求3所述的一种MySQL数据追踪的方法，其特征在于，所述S3：依据所述目标数据字段及其对应MySQL的表，获取当前匹配数据字段；具体为：

5.如权利要求4所述的一种MySQL数据追踪的方法，其特征在于，若首次执行所述S4步骤的匹配结果为无法获取对应的执行语句，则结束流程；若能获取对应的执行语句，则继续执行S5步骤。

6.如权利要求4所述的一种MySQL数据追踪的方法，其特征在于，S6：依据S5步骤获取的执行语句获取最新匹配数据字段，返回执行S4步骤，直至无法再获取执行语句；具体为：

7.如权利要求4所述的一种MySQL数据追踪的方法，其特征在于，所述关联数据为经验值、交互值或物品编码。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行时，能够实现上述权利要求1-7任意一项所述的一种MySQL数据追踪的方法所包含的步骤。