CN113064906B - 一种Binlog日志数据适配迁移方法和系统 - Google Patents

Abstract

本发明公开了一种Binlog日志数据适配迁移方法和系统，所述方法包括如下步骤：获取Binlog日志数据，设置Binlog日志数据的校验函数；根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；配置规则引擎，根据所述规则引擎生成规则的业务数据；从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。Binlog日志接收层获取数据复制中心的数据报文，并将数据报文发送给Binlog日志校验层，所述Binlog日志校验层用于校验数据报文的合法性，通过对所述Binlog日志校验层设置校验函数可筛选指定业务场景的数据报文，从而可以制定适配的数据迁移策略。

Description

一种Binlog日志数据适配迁移方法和系统

技术领域

本发明涉及互联网领域，特别涉及一种Binlog日志数据适配迁移方法和系统

背景技术

常见的RDBMS同步应用场景多是备份或同步操作，例如主从复制，基于数据库Binlog变动事件可用于其他更加丰富场景的解决方案，例如数据库监听，由于企业内部的库表结构与业务抽象高度统一，所以企业可结合市场上的binlog监听框架例如Canal，实现数据库日志的增量解析，提供增量数据的订阅消费场景解决方案。上述现有技术中存在如下的技术缺陷：在面对企业外的对接工作会因为库表的设计和业务的差异化使得binlog结构与业务场景高度不统一，从而使得每个企业都要做大量定制业务开发工作，从而提高了企业的成本支出，并且即是定制的业务开发系统，也会有业务的处理不够灵活问题。

发明内容

本发明其中一个发明目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统通过数据复制中心(DRC)读取MySQL中所有的DML操作，Binlog日志接收层获取数据复制中心的数据报文，并将数据报文发送给Binlog日志校验层，所述Binlog日志校验层用于校验数据报文的合法性，通过对所述Binlog日志校验层设置校验函数可筛选指定业务场景的数据报文，从而可以制定适配的数据迁移策略。

本发明另一个发明目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统具有规则模块，所述规则模块设置系统内部的Binlog日志服务器的Http通讯服务的规则，并具体设置Http通讯服务的校验规则和映射规则，通过映射规则可以和第三方Http接口实现一一对应，通过所述规则模块的映射规则可生成对应第三方Http接口的请求和响应参数，从而大幅提高所述Binlog服务器和第三方系统的交互效率，使得业务系统无需定制化操作。

本发明另一个发明目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统通过设置业务报警和业务重试机制使得Binlog日志数据保持连续性和完整性，可实现增量Binlog日志数据的连续同步和异常Binlog日志数据的自动补足。

为了实现至少一个上述发明目的，本发明进一步提供一种Binlog日志数据适配迁移方法，所述方法包括如下步骤：

获取Binlog日志数据，设置Binlog日志数据的校验函数；

根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；

配置规则引擎，根据所述规则引擎生成规则的业务数据；

从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；

从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。

根据本发明其中一个较佳实施例，所述校验函数包括：从Binlog日志数据获取用户类型、用户注册时间、获取用户等级，设置注册时长阈值和用户门槛等级，根据所述校验函数过滤去除小于所述注册时长阈值和用户门槛等级的Binlog日志数据。

根据本发明另一个较佳实施例，获取的Binlog日志数据包括多个校验参数，所述校验参数包括JSON字符串中的表名，字段名和字段值，并将所述校验参数保存于数据库表中。

根据本发明另一个较佳实施例，所述合法Binlog日志数据方法还包括：识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验函数变更参数范围，若识别的校验参数变更属于所述变更参数范围内，则校验成功，将变更的Binlog日志数据同步于数据表中。

根据本发明另一个较佳实施例，识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验参数的变更参数范围，若识别的校验参数不属于所述变更参数范围内，则校验失败，将所述变更的Binlog日志数据删除。

根据本发明另一个较佳实施例，所述配置规则引擎方法包括：配置Binlog模块和第三方接口的映射表，并配置请求包对应的参数，其中每个第三方接口对应一个映射规则，每个映射规则对应一个请求，用于生成对应的请求数据包。

根据本发明另一个较佳实施例，所述配置规则引擎还包括：获取响应数据包，分析响应数据包的类型，根据响应类型配置响应校验规则，所述响应校验规则包括Binlog日志数据补录和数据报警。

根据本发明另一个较佳实施例，所述Binlog日志数据补录的方法包括如下步骤：

获取增量Binlog日志数据，将所述增量Binlog日志数据保存于数据库表中，获取所述增量Binlog日志数据插入行的主键ID，以及对应的映射规则，建立所述增量Binlog日志数据的主键ID和映射规则的唯一索引，并将所述唯一索引保存于数据库的同步列表中，并依次进行排序，根据排序识别同步列表中是否存在缺失，若存在缺失则在缺失的列表中补足对应的Binlog日志数据。

为了实现至少一个上述发明目的，本发明进一步提供一种Binlog日志数据适配迁移系统。

本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质保存并应用上述一种Binlog日志数据适配迁移系统。

附图说明

图1显示的是本发明一种Binlog日志数据适配迁移方法流程示意图；

图2显示的是本发明一种Binlog日志数据适配迁移系统的结构示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请参考图1-2，本发明公开了一种Binlog日志数据适配迁移方法和系统，所述系统包括数据复制中心(Data Replication Center)，binlog模块，规则引擎模块，其中所述binlog模块通讯连接所述数据复制中心，所述数据复制中心对二进制流做数据的预处理，用于生成可被业务识别的数据。所述binlog模块包括binlog处理器和binlog校验器，其中所述binlog处理器获取binlog日志数据，并将所述binlog日志数据的传输给所述binlog校验器进行校验，进一步将校验合法的binlog日志数据传输给所述规则引擎模块，根据设定的规则生成适配业务策略的请求数据，进一步通过请求-响应的方式和第三方接口建立通讯链接。

具体的，所述binlog校验器的校验方法包括如下步骤：根据binlog消息监听机制监听每个binlog日志数据中json字符串的指定字段，所述指定字段为校验参数，当binlog日志数据更新时，所述binlog校验器获取每个json字符串中每个字段的变更状况，若只在监听的指定字段发生数据变更，则更新的binlog日志数据为合法数据，通过binlog校验器的校验过程。若更新的binlog日志数据在指定字段之外的字段发生变更，则判断该binlog日志数据为非法数据，binlog校验器不通过该binlog日志数据的校验。举例来说：binlog日志数据更新的部分内容可以是：{"type":"UPDATE","table_name":"customer","update_filed":"age","after_fields":{"id":3,"name":"李明","age":20}}，根据binlog消息监听机制可读出“修改了客户表customer中姓名为李明的客户的年龄为20”。若指定字段为customer、age，则上述binlog日志数据更新操作为合法操作，可获取合法的更新binlog日志数据。上述指定字段表示可更改的范围是customer和age对应的字段，当更新的binlog日志数据为其他字段时为非法更新数据。所述binlog校验器将非法的校验数据丢弃。上述binlog校验机制可以根据具体的业务场景进行适配性更改，更改的数据量小，无需进行定制化开发。其中所述binlog处理器还可以在所述数据复制中心进行批量化注册，每个注册对应一个校验规则，因此所述binlog校验器可以实现批量化的校验，从而可以生成适应于不同场景业务的binlog日志数据。

上述校验规则使得不同业务场景之间数据迁移的适用性更好，比如不同超市之间的货物都存在价格上的变动，相同物品之间存在一定的价格差异，只要获取其中一个超市内的所有商品指定字段作为校验参数，进行数据迁移时，只要是在指定参数范围内的数据迁移进行变更时，可直接识别为合法变更操作，校验通过，否则校验失败，删除校验失败的binlog日志数据。

进一步的，所述规则引擎模块包括规则处理器、Http处理中心和Http规则映射模块，所述规则处理器连接Http处理中心，所述规则处理器生成binlog日志数据的增量规则和重试规则，所述Http处理中心根据第三方接口的种类和数量保存Http映射规则列表，所述Http映射规则列表内具有多个业务的处理规则，且每个处理规则对应一个Http请求数据包，每个Http请求数据包对应一个第三方接口，所述Http处理中心调用所述Http规则映射模块生成对应HTTP请求数据包的相关参数，比如Http请求头，校验响应参数等，将上述binlog日志数据封装在所述Http请求数据包中，形成和第三方接口对应的Http请求数据包。在系统内所述binlog日志数据通过Http处理中心的Http通讯协议进行映射规则和校验规则的处理。具体的，所述规则处理器用于建立和第三方接口的映射关系，生成Http映射规则列表，并将所述Http映射规则列表保存于所述Http处理中心，所述binlog处理器在所述数据中心进行批量注册后，和数据中心建立通讯链接，所述binlog处理器在接收到binlog日志数据后，将所述binlog日志数据转发给binlog校验器，所述binlog校验器校验所述binlog日志数据是否合法，若合法则转发给规则引擎模块，所述binlog校验器还用于生成校验函数，所述binlog监听机制可识别所述binlog日志数据中的用户类型、用户注册时间、获取用户等级等数据，将上述识别的数据经过所述校验函数校验筛选后生成需要的binlog日志数据，比如所述校验函数可以是限制用户注册时长或用户等级的函数，设置注册时长阈值和用户等级阈值的校验函数，当识别的binlog日志数据的注册时长大于注册时长阈值或用户等级大于所述用户等级阈值，则将经过所述校验函数筛选binlog日志数据转发给规则引擎模块。需要说明的是，上述校验函数仅仅是一种举例，当存在业务需求是可以设置不同校验函数。

值得一提的是，所述规则引擎模块内还设有响应校验规则，用于校验响应数据包，其中根据所述Http规则映射生成对应的请求参数，所述Http处理中心调用述Http规则映射模块内对应的请求参数根据第三方接口的类型和数量生成对应的Http请求数据包，该Http请求数据包将通过所述第三方接口转发给第三方系统，第三方系统解析后生成Http响应数据包通过所述第三方接口转发给所述规则引擎模块，所述规则引擎模块调用响应校验规则对所述Http响应数据包进行校验，生成响应数据包的响应状态，上述响应数据包的校验是基于Http通信协议执行，属于现有技术，本发明对具体的校验过程不再详细描述，其中所述响应状态包括但不仅于发送成功、发送失败、无网络连接等。通过获取所述响应状态判断请求数据包和第三方系统的交互状态，根据所述交互状态进一步执行下一步的数据补足和数据告警操作。

在本发明一个较佳实施例中，由于不同的第三方接口类型不同，需要生成不同的接口请求数据，因此，所述规则引擎模块中还保存其他的对应接口需要的参数。也就是说，所述Http映射规则列表包括但不仅限于TCP、RPC协议相关的映射规则，针对每个映射规则保存有对应的参数，当所述Http处理中心调用所述Http映射规则后，获取对应映射规则的参数，根据对应映射规则的参数生成适配于TCP、RPC通讯协议的请求数据包，用于和第三方系统的数据交互。值得一提的是，本发明中的规则处理器还识别第三方接口配置类型，根据第三方接口的配置类型反向配置需要的参数，进一步生成完整的接口请求数据。

需要说明的是所述binlog校验器可以根据业务的数量配置为多个，所述binlog处理器可配置为一个，从而使得所述binlog处理器和多个binlog校验器连接。所述规则处理器可设置为多个，每个规则处理器连接一个binlog校验器，所述Http数据中心每可以调用多个规则校验器进行校验操作，从而可以同时对多个第三方接口进行数据适配迁移。值得一提是，上述请求数据中封装了Binlog日志数据，在经过第三方系统的处理后的响应数据通过对应第三方接口传输到所述Http数据中心进行数据解析，获取响应的Binlog日志数据。由于系统内部采用Http协议进行，每个映射规则都保存于所述Http映射规则表中，并且每个映射规则都和第三方提供的服务接口一一对应，从而使得数据迁移的鲁棒性较好。

为了保证数据的一致性和连续性，本发明进一步提供一种数据补足和数据告警方法，上述数据补足和数据告警适用于增量数据，具体的：获取新增的binlog日志数据，建立适配规则，针对每个新增的binlog日志数据判断其适配的规则类型，所述规则类型可以预先根据不同的业务场景或不同的业务需求进行分类。只要新增的binlog日志数据符合归类要求则将所述新增的binlog日志数据保存至归属类别的系统库表中，获取新增的binlog日志数据插入行的主键ID，以及对应的规则类型，将所述主键ID和规则类型作为唯一的索引记录在系统的同步列表中，其中所述主键ID为连续递增序列，或可以比较连续性的字符值，将当前binlog日志数据的主键ID的值设置为N，进一步识别获取新增binlog日志数据的主键ID前最大的主键ID，若上述最大的主键ID为N-1，则表明新增binlog日志数据，符合连续性要求，若否则查找缺失的主键ID对应的binlog日志数据补足于所述同步列表中。所述数据告警的方式为：若新增数据无法同步于所述同步列表，则对外发出数据错误的告警信息。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (7)

1.一种Binlog日志数据适配迁移方法，其特征在于，所述方法包括如下步骤：

获取Binlog日志数据，设置Binlog日志数据的校验函数；

根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；

配置规则引擎，根据所述规则引擎生成规则的业务数据；

所述规则引擎配置方法包括：配置Binlog模块和第三方接口的映射表，并配置请求包对应的参数，其中每个第三方接口对应一个映射规则，每个映射规则对应一个请求，用于生成对应的请求数据包；获取响应数据包，分析响应数据包的类型，根据响应类型配置响应校验规则，所述响应校验规则包括Binlog日志数据补录和数据报警；

所述Binlog日志数据补录的方法包括如下步骤：

获取增量Binlog日志数据，将所述增量Binlog日志数据保存于数据库表中，获取所述增量Binlog日志数据插入行的主键ID，以及对应的映射规则，建立所述增量Binlog日志数据的主键ID和映射规则的唯一索引，并将所述唯一索引保存于数据库的同步列表中，并依次进行排序，根据排序识别同步列表中是否存在缺失，若存在缺失则在缺失的列表中补足对应的Binlog日志数据；

从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；

从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据；

完成Binlog日志数据校验后，调用Http规则映射列表对应的请求参数根据第三方接口的类型和数量生成对应的Http请求数据包，通过所述Http请求数据包实现Binlog日志数据迁移。

2.根据权利要求1所述的一种Binlog日志数据适配迁移方法，其特征在于，所述校验函数包括：从Binlog日志数据获取用户类型、用户注册时间、用户等级，设置注册时长阈值和用户门槛等级，根据所述校验函数过滤去除小于所述注册时长阈值和用户门槛等级的Binlog日志数据。

3.根据权利要求1所述的一种Binlog日志数据适配迁移方法，其特征在于，获取的Binlog日志数据包括多个校验参数，所述校验参数包括JSON字符串中的表名，字段名和字段值，并将所述校验参数保存于数据库表中。

4.根据权利要求3所述的一种Binlog日志数据适配迁移方法，其特征在于，所述合法Binlog日志数据方法还包括：识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验参数的变更参数范围，若识别的校验参数变更属于所述变更参数范围内，则校验成功，将变更的Binlog日志数据同步于数据库表中。

5.根据权利要求3所述的一种Binlog日志数据适配迁移方法，其特征在于，识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验函数变更参数范围，若识别的校验参数不属于所述变更参数范围内，则校验失败，将所述变更的Binlog日志数据删除。

6.一种Binlog日志数据适配迁移系统，其特征在于，所述系统采用上述权利要求1-5中任意一项所述的一种Binlog日志数据适配迁移方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质保存并应用上述权利要求1-5任意一项所述的一种Binlog日志数据适配迁移方法。

Images