CN105205053A - 一种数据库增量日志解析方法及系统 - Google Patents

Abstract

一种数据库增量日志解析方法及系统，以在执行密集DDL操作的情况下，反查mysqld时元数据丢失的问题，该方法包括：从源数据库中获取元数据以及数据库增量日志，并将元数据复制到数据库分析模块中；查询该数据库增量日志中的DDL操作，并将DDL操作串行输入到数据库分析模块中执行，数据库分析模块根据从源数据库中获取的元数据以及执行所述DDL操作对元数据产生的修改生成新元数据；每执行完一个DDL操作则从数据库分析模块中查询与该DDL操作对应的新元数据，根据新元数据解析所述数据库增量日志。本发明能在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。

Description

一种数据库增量日志解析方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据库增量日志解析方法及系统。

背景技术

Binlog是数据库增量日志，数据库增量日志由各种数据库表操作事件组成，一个数据库增量日志的位点(例如mysql-bin.000002,15846289)对应一个数据库表操作事件。数据库表操作事件包括插入操作、更新操作和删除操作三种类型。通过数据库增量日志可以对数据库进行数据恢复以及数据复制。

在数据库表中，列是具有相同数据类型的数据的集合，数据库主要的增量数据存储在列事件类型中，这些数据需要通过表映射事件(例如Table_map_event)里的提供的信息：列类型、列长度等才能被正确的解析出来。但是列的名称、列是否为主键、列的字符集编码以及列是否为唯一索引等信息并不存储在数据库增量日志里。在发送给应用计算或者同步到其他数据库时，这些信息至关重要，是数据处理时必须具备的。

元数据(Metadata)是关于数据的数据，例如数据库名或表名，列的数据类型，或访问权限等等。在数据库中，元数据可以帮助数据库管理员和数据库的开发人员非常方便地找到他们所关心的数据。同时数据库有DDL(DataDefinitionLanguage，数据定义语言)操作，可以用来修改元数据，这些DDL操作会被记录到数据库增量日志里。对于解析数据库增量日志的程序而言，需要正确理解DDL操作对元数据的影响。

一般情况下，元数据可以从数据库里通过sql(StructuredQuevyLanguage，结构化查询语言)线程查询获得，比如MySQL(一种开放源码的小型关联式数据库管理系统)通过desc_table的语句，能够得到列的名称、列是否为主键以及列是否为唯一索引等信息。然而现有通过从数据库里查询元数据的方式存在一些缺陷，在DDL操作非常密集的情况下，由于回查(到源数据库执行sql线程来获得表的元数据)需要时间。在数据库增量日志里发现DDL操作和开始进行回查的期间，如果快速发生第二次DDL操作的情况下，将会出现以下问题：

一、受第二个DDL操作的影响，第一个DDL操作所对应的元数据出现错误。

二、当这两个DDL操作都修改了同一个表的元数据，那么第一个DDL操作产生的元数据在数据库上被覆盖，这个版本的元数据就被丢失了。更为极端的情况下，如果该元数据对应产生了DML((DataManipulationLanguage，数据操纵语言命令)操作，这该DML操作对应的数据在解析时会使用错误的元数据。由此扩展到密集发生多次DDL操作时，同样会出现上述问题。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种数据库增量日志解析方法及系统，其能够解决在执行密集DDL操作的情况下，反查mysqld(mysql在运行时的实例)时元数据丢失的问题，能够在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。

为了实现上述目的，本发明提供一种数据库增量日志解析方法，所述方法包括如下步骤：

从源数据库中获取元数据以及数据库增量日志，并将所述元数据复制到数据库分析模块中；

查询该数据库增量日志中的DDL操作，并将DDL操作串行输入到所述数据库分析模块中执行，所述数据库分析模块根据从所述源数据库中获取的元数据以及执行所述DDL操作对元数据产生的修改生成新元数据；

每执行完一个DDL操作则从所述数据库分析模块中查询与该DDL操作对应的新元数据，根据所述新元数据解析所述数据库增量日志。

本发明相应提供一种数据库增量日志解析系统，所述系统包括：

数据获取模块，用于从源数据库中获取元数据以及数据库增量日志，并将所述元数据复制到数据库分析模块中；

数据库分析模块，用于查询该数据库增量日志中的DDL操作进行串行执行，并根据从所述源数据库中获取的元数据以及执行所述DDL操作对元数据产生的修改生成新元数据；

元数据查询模块，用于每执行完一个DDL操作时从所述数据库分析模块中查询与该DDL操作对应的新元数据；

增量日志解析模块，用于根据所述新元数据解析所述数据库增量日志。

本发明通过从源数据库中获取元数据以及数据库增量日志，将元数据复制到数据库分析模块中，并将数据库增量日志中的DDL操作串行输入到数据库分析模块中执行，每执行完一个DDL操作则从数据库分析模块中查询与该DDL操作对应的新元数据，再根据新元数据解析数据库增量日志。在源数据库上对DDL的操作是并行的，但是这些操作串行记录在数据库增量日志中，本发明在解析数据库增量日志时，将数据库增量日中中的DDL操作也串行的写入数据库分析模块中，这样每执行一个DDL操作，就获取一次新元数据，然后在执行下一个DDL操作，由于该数据库分析模块只被解析数据库增量日志的应用访问，即避免了多个DDL操作短时间内密集修改同一个表产生的元数据丢失问题，从而本发明能够在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。

附图说明

图1是本发明一种数据库增量日志解析系统的框图；

图2是本发明一种实施例中进行数据增量解析时的数据传输的流向图；

图3是本发明一种数据库增量日志解析方法的流程图；

图4是本发明一种实施例中进行数据库增量日志解析的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个CPU(CentralProcessingUnit，中央处理器)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，RAM(RandomAccessMemory，随机存取存储器)和/或非易失性内存等形式，如ROM(Read-OnlyMemory，只读存储器)或flashRAM(闪存)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于PRAM(PhaseChangeRandomAccessMemory,相变内存)、SRAM(StaticRandomAccessMemory，随机存取存储器)、DRAM(DynamicRandomAccessMemory，动态随机存取存储器)、其他类型的RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(ElectricallyErasableProgrammableRead-OnlyMemory，电可擦可编程只读存储器)、快闪记忆体或其他内存技术、CD-ROM(CompactDiscRead-OnlyMemory，只读光盘)、DVD(DigitalVersatileDisc，数字多功能光盘)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

由于现有技术中在源数据库中对DDL的操作是并行的，但是记录在数据库增量日志里是串行记录的。例如，源数据库并发的对10数据库表进行了更新，而数据库增量日志是按照各操作记录的先后顺序串行记录。在将数据更新发送给下游应用、同步到其他数据库的场景下，需要解析数据库增量日志。而现有技术通过从数据库里查询元数据，由于回查需要一定时间，在数据库增量日志里发现DDL操作和开始进行回查的期间，如果快速发生第二次DDL操作的情况下，第一个DDL操作所对应的元数据将会受到第二个DDL操作的影响，导致第一个DDL操作所对应的原信息不正确。而且当这两个DDL操作都修改了同一个表的元数据，那么第一个DDL操作产生的元数据在同步数据库上被覆盖，这个版本的元数据就被丢失了。

因此，本发明实施例旨在解决在执行密集DDL操作的情况下，反查mysqld时元数据丢失的问题，从而在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。在本发明中，备份的是元数据，根据备份的元数据来解析增量日志，增量日志不仅用于备份，还可以同步给MySQL或者其他应用程序。

如图1所示，本发明一种数据库增量日志解析系统100，包括数据获取模块10、数据库分析模块20、元数据查询模块30及增量日志解析模块40；优选地，该系统100还可以包括故障恢复模块50。

数据获取模块10，用于从源数据库中获取元数据以及数据库增量日志，并将元数据复制到如embededmysqld(基于mysql用于嵌入到应用程序中的数据库)程序等数据库分析模块中。元数据包括数据库名、表名、列的数据类型、列的名称、列长度、列是否为主键以及列是否为唯一索引等等。

具体的，数据获取模块10从提供服务的mysqld中克隆出元数据到embededmysqld中，MySQL提供以下三种办法以获取关于数据库和数据库里各种对象(也就是数据库的元数据)的信息，如下：SHOW语句(如SHOWTABLES等等)、INFORMATION_SCHEMA数据库里的数据表以及命令行程序，如mysqlshow(用于查看mysql数据库库、表、列的元信息的命令行工具)或者是mysqldump(用于导出mysql数据库库、表、列的元信息或者数据库数据的命令行工具)。在本发明中优选采用show语句，包括showdatabases(获取服务器所管理的数据库)；showtables(列出默认数据库里的所有数据表)；showcreatetable(查看给定数据库的创建语句)；createdatabase(创建数据库)…；createtable(创建表)…等等。

数据库主要的增量数据存储在列事件类型中，数据库增量日志包括多个列事件，每一个列事件与一个位点对应，列事件包括对表的插入操作、更新操作以及删除操作。一个列事件对应一个或者多个插入、更新及删除操作(对同一个表的操作多个的同类型操作会合并在一个列事件里)。

数据库分析模块20，用于查询该数据库增量日志中的DDL操作进行串行执行，并根据从源数据库中获取的元数据以及执行DDL操作对元数据产生的修改生成新元数据。具体的，在读取数据库增量日志过程中，遇到DDL操作，则将DDL操作串行输入到数据库分析模块20执行。数据库分析模块20用来执行DDL操作，以获得DDL操作执行前后的表结构变化。DDL操作会对元数据进行修改，该数据库分析模块20根据从源数据库中获得的元数据，并执行DDL操作获取到元数据的修改，生成新元数据。在本发明的一个是实施例中，数据库分析模块20可通过embededmysqld程序实现，当然也可以使用mysqld替换，不过这样的内存消耗会大一些，而且完全实现一套兼容mysql的sqlparser(分析sql的程序)的代价比较大。

元数据查询模块30，每执行完一个DDL操作则从embededmysqld程序中查询与该DDL操作对应的元数据。具体的，等待数据库分析模块20完成对DDL操作的执行后，从数据库分析模块20中查询元数据，查询元数据的语句包括：showfullcolumnsfromtable(查看数据库表中各列的具体属性)。本发明在解析数据库增量日志时，将数据库增量日中中的DDL操作也串行的写入数据库分析模块20中，这样每执行一个DDL操作，就获取一次新元数据，然后在执行下一个DDL操作，由于该数据库分析模块20只被解析Binlog(mysql的二级制日志)的应用访问，即避免了多个DDL短时间内密集修改同一个表产生的元数据丢失问题。从而本发明能够在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。

增量日志解析模块40，用于根据新元数据解析数据库增量日志。在进行备份时，增量日志解析模块40进行解析数据库增量日志时，将新元数据更新至备份数据库，然后查询数据库增量日志中列事件对应的新元数据，再根据与新元数据解析列事件以解析数据库增量日志，进行数据解析时需要解析每一个事件的类型，例如为插入，更新或者删除，每一个列事件对应一个位点。具体解析过程不是本发明重点，可参考现有技术。

故障恢复模块50，用于在解析发生故障时，根据故障发生前的数据库增量日志中的位点以及位点对应列事件的新元数据进行恢复。DDL操作记录在数据库增量日志的Query_event(用于存储mysql语句类型操作的日志记录)里，Query_event携带有位点信息；在数据库分析模块20每执行一个DDL，就可以根据位点获取一次新元数据，这样元数据就可以和位点信息对应起来了，从而本发明可以在解析故障时，通过故障前数据库增量日志中的位点对应列事件的新元数据进行恢复。具体的，元数据持久化在一个元数据中心里，在向源数据库抓取数据库增量日志时，根据位点在元数据中心获取到元数据，然后用该元数据初始化数据库分析模块20(embededmysqld程序)；然后开始进行数据库增量日志解析。

图2是本发明一种实施例中进行数据增量解析时的数据传输的流向图。其中写数据库的应用200进行写数据库，数据库增量日志解析系统100用于从数据库300获取元数据和数据库增量日志，数据库增量日志解析系统100包括一个embededmysqld程序，embededmysqld程序用于获取数据库增量日志解析时所需的元数据，并将这些元数据发送给下游的应用。

图3是本发明一种数据库增量日志解析方法的流程图。其通过如图1所示的系统实现，该方法包括如下步骤：

步骤S301，从源数据库中获取元数据以及数据库增量日志，并将元数据复制到数据库分析模块中。本步骤通过数据获取模块10实现。数据库增量日志包括多个列事件，每一个列事件与一个位点对应，所述列事件包括对数据库表的插入操作、更新操作以及删除操作。元数据包括数据库名、表名、列的数据类型、列的名称、列长度、列是否为主键以及列是否为唯一索引等。

步骤S302，查询该数据库增量日志中的DDL操作，并将DDL操作串行输入到数据库分析模块中执行，数据库分析模块根据从源数据库中获取的元数据以及执行DDL操作对元数据产生的修改生成新元数据。本步骤通过数据库分析模块20实现。

步骤S303，每执行完一个DDL操作则从数据库分析模块中查询与该DDL操作对应的新元数据，根据新元数据解析数据库增量日志。本步骤通过元数据查询模块30以及增量日志解析模块40实现。优选的是，根据新元数据解析数据库增量日志的步骤还包括：将新元数据更新至备份数据库；查询数据库增量日志中列事件对应的新元数据；根据与新元数据解析列事件以解析数据库增量日志。

优选的是，数据库增量日志解析方法还包括：在解析发生故障时，根据故障发生前的数据库增量日志中的位点以及所述位点对应的列事件的新元数据进行恢复。

图4是本发明一种实施例中进行数据库增量日志解析的流程图。该流程主要包括以下步骤：

步骤S401，初始化embededmysqld程序。

步骤S402，从源数据库中读取元数据以及数据库增量日志，并将元数据复制到embededmysqld程序中。

步骤S403，读取数据库增量日志中的数据库表操作事件。

步骤S404，判断数据库表操作事件中是否包括DDL操作。若是则进入步骤S405，否则进入步骤S408。

步骤S405，在embededmysqld程序中执行DDL操作，生成新元数据。

步骤S406，从embededmysqld程序中查询数据库表的新元数据。

步骤S407，将新元数据更新至备份数据库的数据库表。

步骤S408，查询列事件对应的数据库表的新元数据。

步骤S409，使用该新元数据解析列事件。

步骤S410，判断是否退出程序，若否则回到步骤S403继续执行下一个DDL操作，是则结束。

综上所述，本发明通过从源数据库中获取元数据以及数据库增量日志，将元数据复制到数据库分析模块中，并将数据库增量日志中的DDL操作串行输入到数据库分析模块中执行，每执行完一个DDL操作则从数据库分析模块中查询与该DDL操作对应的新元数据，再根据新元数据解析数据库增量日志。在源数据库上对DDL的操作是并行的，但是这些操作串行记录在数据库增量日志中，本发明在解析数据库增量日志时，将数据库增量日中中的DDL操作也串行的写入数据库分析模块中，这样每执行一个DDL操作，就获取一次新元数据，然后在执行下一个DDL操作，由于该数据库分析模块只被解析数据库增量日志的应用访问，即避免了多个DDL操作短时间内密集修改同一个表产生的元数据丢失问题，从而本发明能够在数据库增量日志的解析过程中提供和数据库增量日志准确匹配的元数据。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种数据库增量日志解析方法，其特征在于，所述方法包括如下步骤：

从源数据库中获取元数据以及数据库增量日志，并将所述元数据复制到数据库分析模块中；

查询该数据库增量日志中的DDL操作，并将DDL操作串行输入到所述数据库分析模块中执行，所述数据库分析模块根据从所述源数据库中获取的元数据以及执行所述DDL操作对元数据产生的修改生成新元数据；

每执行完一个DDL操作则从所述数据库分析模块中查询与该DDL操作对应的新元数据，根据所述新元数据解析所述数据库增量日志。

2.根据权利要求1所述的解析方法，其特征在于，所述数据库增量日志包括多个列事件，每一个列事件与一个位点对应，所述列事件包括对数据库表的插入操作、更新操作以及删除操作。

3.根据权利要求1所述的解析方法，其特征在于，所述元数据包括数据库名、表名、列的数据类型、列的名称、列长度、列是否为主键以及列是否为唯一索引。

4.根据权利要求2所述的解析方法，其特征在于，根据所述新元数据解析所述数据库增量日志的步骤还包括：

将所述新元数据更新至备份数据库；

查询所述数据库增量日志中列事件对应的新元数据；

根据与所述新元数据解析列事件以解析所述数据库增量日志。

5.根据权利要求4所述的解析方法，其特征在于，所述方法还包括：

在解析发生故障时，根据故障发生前的数据库增量日志中的位点以及所述位点对应的列事件的新元数据进行恢复。

6.一种数据库增量日志解析系统，其特征在于，所述系统：

数据获取模块，用于从源数据库中获取元数据以及数据库增量日志，并将所述元数据复制到数据库分析模块中；

数据库分析模块，用于查询该数据库增量日志中的DDL操作进行串行执行，并根据从所述源数据库中获取的元数据以及执行所述DDL操作对元数据产生的修改生成新元数据；

元数据查询模块，用于每执行完一个DDL操作时从所述数据库分析模块中查询与该DDL操作对应的新元数据；

增量日志解析模块，用于根据所述新元数据解析所述数据库增量日志。

7.根据权利要求1所述的解析系统，其特征在于，所述数据库增量日志包括多个列事件，每一个列事件与一个位点对应，所述列事件包括对数据库表的插入操作、更新操作以及删除操作。

8.根据权利要求1所述的解析系统，其特征在于，所述元数据包括数据库名、表名、列的数据类型、列的名称、列长度、列是否为主键以及列是否为唯一索引。

9.根据权利要求7所述的解析系统，其特征在于，增量日志解析模块还用于将所述新元数据更新至备份数据库；查询所述数据库增量日志中列事件对应的新元数据；根据与所述新元数据解析列事件以解析所述数据库增量日志。

10.根据权利要求9所述的解析系统，其特征在于，所述系统还包括故障恢复模块，用于在解析发生故障时，根据故障发生前的数据库增量日志中的位点以及所述位点对应列事件的新元数据进行恢复。