CN110765207B

CN110765207B - 系统间数据同步的方法

Info

Publication number: CN110765207B
Application number: CN201911001046.4A
Authority: CN
Inventors: 张文; 邱荣辉; 黄荣明
Original assignee: Fujian Boss Software Co ltd
Current assignee: Fujian Boss Software Co ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2022-12-09
Anticipated expiration: 2039-10-21
Also published as: CN110765207A

Abstract

本发明涉及一种系统间数据同步的方法，所述数据上报流程包括以下步骤：1在线部署端、独立部署端配置数据类型元数据；2独立部署端发送数据；3在线部署端接收数据；4独立部署端处理响应。本发明的目的在于提供一种系统间数据同步的方法，该方法适用于票据系统中单位端独立部署系统与在线部署系统之间的数据同步，以保证同步过程的快速性、数据的完整性、不同版本间的兼容性，以及错误的可预警性。本发明的优点在于：本发明在程序内设置了业务历史变更转换器、业务区间版本转换器、表结构兼容执行器，可对不同版本的数据以及表结构进行转换，实现不同版本部署端程序的数据同步。

Description

系统间数据同步的方法

技术领域

本发明涉及一种系统间数据同步的方法。

背景技术

系统间“数据同步”是指系统按照约定实现系统之间相关联数据保持一致，做到系统间数据信息的共享以及数据同步更新的及时性。数据同步的实现方案很多，比如文件传输方式、分布式缓存系统或者系统间订阅/发布机制等等。

传统的解决方案都很难同时解决传输性能、数据完整性、版本兼容性、错误监控预警等方面的所有问题，大大影响了企业级系统应用的可用性。

原有的数据上报分为好几个步骤(参见图1)，独立部署先导出文件，之后通过定时调度将文件上传到在线，在线通过定时调度查找到文件后，写入数据库。这其中环节多，缺少机制来定位出问题的环节，如：

1.无法知晓当前同步状态，出问题定位困难；2.缺乏预警，多数的数据同步系统，出现问题都是人工发现排查的，缺乏及时性，无法快速修复；3.编写同步相关代码困难，同步代码耦合度高，增加一个新的同步类型，都需要调整核心业务代码；4.无关联的数据之间会互相影响，只要有一个数据类型上报失败，其他的数据也无法上报；5.数据结构无版本化控制，不同版本的兼容性存在问题。

发明内容

本发明的目的在于提供一种系统间数据同步的方法，该方法适用于票据系统中单位端独立部署系统与在线部署系统之间的数据同步，以保证同步过程的快速性、数据的完整性、不同版本间的兼容性，以及错误的可预警性。

本发明的目的通过如下技术方案实现：一种系统间数据同步的方法，它包括数据上报流程以及数据下拉流程；所述数据上报流程包括以下步骤：步骤1：在线部署端、独立部署端配置数据类型元数据：根据在线部署端和独立部署端所处程序版本分别配置数据类型元数据；步骤2：独立部署端发送数据：独立部署端先获取本地数据类型元数据，通过数据类型元数据找到对应的同步器，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，一并发送到在线部署端；步骤3：在线部署端接收数据：在线部署端接收到独立部署端发送的数据，首先获取在线部署端本地版本元数据，对比独立部署端发送数据中的版本信息完成数据转换，再通过比较在线部署端和独立部署端的表结构元数据完成表结构的兼容性操作；通过数据类型元数据找到对应的同步器，调用同步器的导入数据方法将转换后的数据导入至数据库中，并记录同步日志；步骤4：独立部署端处理响应：独立部署端处理在线部署端返回的结果，记录同步日志以及同步位置。

较之现有技术而言，本发明的优点在于：

1.本发明在程序内设置了业务历史变更转换器、业务区间版本转换器、表结构兼容执行器，可对不同版本的数据以及表结构进行转换，实现不同版本部署端程序的数据同步。

2.定义的数据类型元数据，包含了数据版本，可以选择指定版本的同步器或者同步器适配不同版本的，并且同步模块必须时高度内聚，高度模块化的，支持快速升级。

3.在同步器上做多层抽象，实现并行处理同步器，增量缓存同步器，全量表同步器，增量表同步器等，绝大多数同步作业只需在数据库配置表中配置即可，无需额外的编码。

4.设置时间缓冲区或版本缓冲区，在处理业务并发量较大、实时性要求比较高的事务时，可避免数据的丢失。

5.在数据类型的元数据上设置了依赖关系，在同步时该类型的最大游标不能超过依赖的数据类型的当前位置，这样每个同步器可以并行执行。

6.将原来多个环节的改成接口调用，一次性上传到在线导入，避免中间多个环节。

附图说明

图1是现有同步软件的流程图。

图2是本发明的数据上报流程图。

图3是本发明的数据下拉流程图。

图4是本发明的数据完整性设置流程图。

图5是本发明的类关系图。

图6是本发明的数据模型图。

图7是本发明的业务历史变更转换示意图。

图8是本发明的业务区间版本转换示意图。

图9是本发明事务可见性引起的问题示意图。

图10是本发明解决事务可见性问题-时间缓冲区示意图。

图11是本发明解决事务可见性问题-版本号缓冲区示意图。

图12是本发明数据类型依赖关系图。

具体实施方式

下面结合说明书附图和实施例对本发明内容进行详细说明：

如图2至12所示为本发明提供的一种系统间数据同步的方法的实施例示意图。

一种系统间数据同步的方法，它包括数据上报流程以及数据下拉流程；

所述数据上报流程包括以下步骤：

步骤1：在线部署端、独立部署端配置数据类型元数据：根据在线部署端和独立部署端所处程序版本分别配置数据类型元数据；

数据类型元数据保存至NONTAX_SYNC_METADATA表中。

以独立部署端版本3.0.3.0，在线部署端版本3.1.0.0，电子票据开具数据为例配置数据类型元数据：

1.独立部署端

字段	字段名	字段值
			type	业务类型	electronicBill
version	版本号	3.0.3.0
			direction	同步方向	UP
mode	同步模式	INCREMENT
			synchronizer	同步器	nontax.invoice.electronicBill

2.在线部署端

说明：

同步方向：UP向上；DOWN向下；

同步模式：INCREMENT增量同步；FULL全量同步；

同步器：是指实现ISynchronizer接口对应实现类的bean名称。

步骤2：独立部署端发送数据：

独立部署端先获取本地数据类型元数据，通过数据类型元数据找到对应的同步器(即通过数据类型元数据中同步器bean名称找到对应的同步器)；

同步器是指由开发人员具体实现ISynchronizer接口的实现类。通过实现一些较为通用的同步器，可以实现配置即可用、无需每次开发的效果，对于特定业务数据如果无法使用通用的同步器，则可实现ISynchronizer接口来实现数据的导出与导入。

在同步模式上同步器可分为全量同步器，增量同步器；在数据结构上同步器可分为单表同步器、主从表同步器、多表同步器；组合起来可分为单表全量同步器、单表增量同步器、主从全量同步器、主从增量同步器等。

根据不同业务类型选择不同的通用同步器或者定制开发特性业务同步器来实现数据同步。

找到同步器后，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，一并发送到在线部署端，至此触发发送数据的动作，此时独立部署端程序并未结束，而是等待在线部署端接收的结果。

步骤3：在线部署端接收数据：

在线部署端接收到独立部署端发送的数据，首先获取在线部署端本地版本元数据，对比独立部署端发送数据中的版本信息完成数据转换，再通过比较在线部署端和独立部署端的表结构元数据完成表结构的兼容性操作；

在线部署端储存有所有的历史版本信息，所述历史版本信息包括版本号以及各版本号所对应的升降级操作；

所述历史版本信息中的版本号按时间轴排列，升降级操作为针对相邻时间轴上的版本号所进行的升级或降级操作。

数据转换包括业务历史变更转换和/或业务区间版本转换。

业务历史变更转换需要由开发人员具体编写，该实现只适用于特定业务数据，通过回放历史升级或降级到特定版本。

业务历史变更转换器(ChangeTransform)是实现ITransform<T>接口中定义的方法。

业务历史变更转换器(ChangeTransform)是记录每个版本的数据结构变化，回放历史变更，每个版本分为升级和降级两个操作，根据源版本和目标版本执行升级和降级动作。

T transformData(T data,String srcVersion,String dstVersion)

参数说明：data需要被转换的数据，srcVersion源数据结构版本，dstVersion目标数据结构版本。

业务历史变更转换是明确知道每个版本之间存在的差异，且能够历史回放，程序版本按照先后顺序执行，例如图7所示从3.0.3.0到3.1.0.0的顺序是3.0.3.0->3.0.3.1->3.0.4.1->3.1.0.0，这个转换过程并不是一步到位，而是采用版本顺序逐级转换的。通过对比源版本与目标版本来判断升级还是降级，每一个版本都可能对应一个升级和降级动作，例如：从3.0.3.0到3.1.0.0的转换，这是一个升级过程，在3.0.3.1上是做一个添加字段的升级动作，说明在3.0.3.0与3.0.3.1版本之间是存在业务字段差异的；然后在3.0.4.1上是做失效日期+1的升级动作，说明在3.0.3.1与3.0.4.1版本之间是存在失效日期业务规则的调整。如果两个版本之间没有变化，是不需要转换的，例如本例中3.0.3.1与3.0.3.2，3.0.4.1与3.0.4.2是不存在变化的，故不需要转换。

业务区间版本转换需要由开发人员具体编写，该实现只适用于特定业务数据，通过版本区间变化来升级或降级到特定版本。

业务区间版本转换器(RangeTransform)是实现ITransform<T>接口中定义的方法。

业务区间版本转换器(RangeTransform)主要作用于中间版本存在差异，不能回放历史的转换。

T transformData(T data,String srcVersion,String dstVersion)

业务区间版本转换主要作用于中间版本存在差异，不能回放历史的转换，即具体那一个版本存在着怎样的变化是不知道的，只知道在某个区间是存在着变化。例如：从3.0.3.1转换到3.0.4.1，从图8所示可以知道(3.0.3.0,3.0.3.9]到[3.0.4.0,3.0.4.9]是存在着两个转换的，即业务字段差异，失效日期业务规则的调整，其中“(”、“)”表示开区间，“[”、“]”表示闭区间。当源数据结构版本落到(3.0.3.0,3.0.3.9]区间，目标数据结构版本落到[3.0.4.0,3.0.4.9]区间则会触发转换，即添加业务字段，失效日期+1转换。

表结构的兼容性处理通过表结构兼容执行器(TableCompatibleExecutor)实现，表结构兼容执行器通过比较独立部署端数据结构版本与在线部署端数据结构版本的表结构元数据，来构造在线部署端数据结构版本比独立部署端数据结构版本少的字段以及字段长度的扩容，并执行到在线部署端数据结构版本数据库中。

TableCompatibleExecutor是实现IExecutor接口中定义的方法。

void execute(TableMetadata src,TableTableMetadata dst)

参数说明：src源数据结构版本表元数据，dst目标数据结构版本表元数据。

当数据转换以及表结构兼容性处理完成后，通过数据类型元数据找到对应的同步器，调用同步器的导入数据方法将转换后的数据导入至数据库中，并记录同步日志；

步骤4：独立部署端处理响应：独立部署端处理在线部署端返回的结果，记录同步日志以及同步位置。

所述数据下拉流程包括以下步骤：

数据类型元数据保存至NONTAX_SYNC_METADATA表中。

以独立部署端版本3.0.3.0，在线部署端版本3.1.0.0，票据种类数据为例配置数据类型元数据：

1.独立部署端

2.在线部署端

字段	字段名	字段值
			type	业务类型	bill
version	版本号	3.1.0.0
			direction	同步方向	DOWN
mode	同步模式	INCREMENT
			synchronizer	同步器	nontax.basic.bill

说明：

同步方向：UP向上；DOWN向下；

同步模式：INCREMENT增量同步；FULL全量同步；

同步器：是指实现ISynchronizer接口对应实现类的bean名称。

步骤2：独立部署端发起数据下拉请求：

独立部署端先获取本地数据类型元数据发送到在线部署端；至此触发发送数据下拉请求的动作，此时独立部署端程序并未结束，而是等待在线部署端的响应。

步骤3：在线部署端接收数据：

在线部署端接收到独立部署端发送的数据下拉请求，首先获取在线部署端本地数据类型元数据，通过数据类型元数据找到对应的同步器(即通过数据类型元数据中同步器bean名称找到对应的同步器)；

找到同步器后，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，对比独立部署端发送数据中的版本信息完成数据转换；不同版本之间的数据转换方法参见数据上报流程。

数据转换完成后，在线部署端返回结果给独立部署端；

步骤4：独立部署端处理响应：

独立部署端接收到在线部署端返回的结果，包含转换后的数据、数据对应表结构元数据以及在线部署端版本元数据，通过比较在线部署端和独立部署端的表结构元数据完成表结构的兼容性操作；表结构的兼容性操作参见数据上报流程。

表结构兼容性处理完成后，通过数据类型元数据找到对应的同步器，调用同步器的导入数据方法将转换后的数据导入至数据库中，并记录同步日志以及同步位置。

在同一个类型的同步中，如果此业务并发量较大，同步发生时刻由于事务的可见性，可能会丢失一部分数据，以电子票据开具数据为例，其业务并发量较大、实时性要求比较高、要以增量的方式上报，对生成的数据需要在一定时间内完成数据的上报，由于事务的可见性问题，可能会导致丢失一部分数据，参见图9。

1.事务1发生业务，获取版本号100，事务持续时间5秒；

2.事务2发生业务，获取版本号101，事务持续时间1秒；

3.触发同步，获取该业务的相关数据，读取到的数据最大版本号为101，由于事务1还未提交，所以本次查询未查询到版本号为100的数据；

4.下次同步则从101开始，版本号为100的数据被遗漏。

图10示例图是通过时间缓冲区来解决上述问题，时间缓冲区是通过业务数据记录的创建时间来控制。

在线部署端和独立部署端内设置一个时间缓冲区，当同步触发时，只获取当前时间减去时间缓冲区后所得时刻前的数据。

1.事务1在00:01:00开启一个事务，生成版本号100的数据，在00:06:30提交该事务；

2.事务2在00:01:30开启一个事务，生成版本号101的数据，在00:04:30提交该事务；

3.同步在00:05:00触发同步，同步时增加事务缓存区5分钟，则只同步创建时间为当前时间减5分钟的数据。

时间缓冲区要求所有机器开启NTP服务，保证每台机器时间差距在一个可接受的范围内(5分钟)。

图11示例图是通过版本号缓冲区来解决上述问题，版本号缓冲区是通过业务数据记录的版本号来控制的。在线部署端和独立部署端内部配置一个时间窗口调度器，时间取自数据库时间，时间窗口调度器负责记录每一分钟数据库版本号对应的序列值；

当同步触发时，时间窗口调度器获取当前时间减去版本号缓冲区后所得时刻对应的序列值，即为当前所能同步的最大据库版本。

1.同步事务在00:00:00记录当前版本为90；

2.同步事务在00:05:00执行同步时，获取数据的版本号上限为上个周期取到90，取数后更新当前版本为101；

3.同步事务在在00:10:00执行同步时，获取数据的版本号上限为上个周期取到101，取数后更新当前版本为105

获取版本快照可以独立进行，建议每分钟获取一次，这样执行同步的时候可以根据实际需求定义时间窗口，快照时间取数据库的当前时间，可以避免安装NTP服务。

形成的数据结果：

时间->版本号序列

09:01->10000

09:02->10100

09:03->10203

09:04->10205

09:05->10209

如：版本号缓冲区时间为2分钟，触发调度时取数据库当前时间为09:06，减版本号缓冲区时间，得到的数据为09:04->10205，那么设置取数版本号上限为10205。

如果设置时间窗口是3分钟的情况，触发调度时取数据库当前时间为09:06，减时间窗口，取到的数据为09:03->10203，那么设置取数版本上限为10203。

数据完整性设计

对于核心业务数据，数据的完整性需要慎重考虑，为了减轻在线的压力，采用自检的模式进行数据完整性校验。数据传输方面采用：Kryo+Gzip的方式保证传输数据的快速序列化及数据高压缩率，参见图4。

如图12所示，本发明在数据类型的元数据上设置了依赖关系，在同步时该类型的最大游标不能超过依赖的数据类型的当前位置，这样每个同步器可以并行执行。

本发明方案主要由以下几个部分组成

1.同步器(ISynchronizer)

同步器是数据同步子系统的核心，同步器接口定义了两个方法exportData,importData分别对应的数据的导入和导出。

2.同步元数据(Metedata)

同步元数据用于标识一种同步的数据类型，其中包含数据类型、版本和依赖的元数据，其中依赖用于同步游标的限定。

3.版本适配器(VersionAdapter)

版本适配器根据同步元数据生成对应的同步器，可以根据不同的版本适配不同的同步器。

4.同步日志(SyncLog)

同步日志会记录本次同步的最大版本和最小版本，以及同步数据的摘要，用于之后同步回放以及自检。

Claims

1.一种系统间数据同步的方法，其特征在于，它包括数据上报流程以及数据下拉流程；

所述数据上报流程包括以下步骤：

步骤2：独立部署端发送数据：

独立部署端先获取本地数据类型元数据，通过数据类型元数据找到对应的同步器，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，一并发送到在线部署端；

步骤3：在线部署端接收数据：

通过数据类型元数据找到对应的同步器，调用同步器的导入数据方法将转换后的数据导入至数据库中，并记录同步日志；

步骤4：独立部署端处理响应：独立部署端处理在线部署端返回的结果，记录同步日志以及同步位置；

在线部署端和独立部署端内部配置一个时间窗口调度器，时间窗口调度器负责记录每一分钟数据库版本号对应的序列值，

当同步触发时，时间窗口调度器获取当前时间减去版本号缓冲区后所得时刻对应的序列值，该序列值为当前所能同步的最大数据库版本。

2.根据权利要求1所述的系统间数据同步的方法，其特征在于：所述数据下拉流程包括以下步骤：

步骤2：独立部署端发起数据下拉请求：

独立部署端先获取本地数据类型元数据发送到在线部署端；

步骤3：在线部署端接收数据：

在线部署端接收到独立部署端发送的数据下拉请求，首先获取在线部署端本地数据类型元数据，通过数据类型元数据找到对应的同步器，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，对比独立部署端发送数据中的版本信息完成数据转换；

数据转换完成后，在线部署端返回结果给独立部署端；

步骤4：独立部署端处理响应：

独立部署端接收到在线部署端返回的结果，包含转换后的数据、数据对应表结构元数据以及在线部署端版本元数据，通过比较在线部署端和独立部署端的表结构元数据完成表结构的兼容性操作；

3.根据权利要求1所述的系统间数据同步的方法，其特征在于：在线部署端和独立部署端内还设置一个时间缓冲区，当同步触发时，只获取当前时间减去时间缓冲区后所得时刻前的数据。

4.根据权利要求1所述的系统间数据同步的方法，其特征在于：所述同步器包括全量同步器以及增量同步器。

5.根据权利要求1-4任意一项所述的系统间数据同步的方法，其特征在于：在线部署端储存有所有的历史版本信息，所述历史版本信息包括版本号以及各版本号所对应的升降级操作；

6.根据权利要求1-4任意一项所述的系统间数据同步的方法，其特征在于：数据转换包括业务历史变更转换和/或业务区间版本转换。

7.根据权利要求1-4任意一项所述的系统间数据同步的方法，其特征在于：表结构的兼容性处理通过表结构兼容执行器实现，表结构兼容执行器通过比较独立部署端数据结构版本与在线部署端数据结构版本的表结构元数据，来构造在线部署端数据结构版本比独立部署端数据结构版本少的字段以及字段长度的扩容，并执行到在线部署端数据结构版本数据库中。