CN111897878A - 主辅数据同步方法及系统 - Google Patents

Abstract

本发明提供了一种主辅数据同步方法，所述方法包含：通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

Description

主辅数据同步方法及系统

技术领域

本发明涉及数据同步领域，可应用于金融领域和其他领域，尤指一种主辅数据同步方法及系统。

背景技术

在应用系统向分布式架构转型建设阶段，存在大量数据跨平台迁移和同步需求，相比于存量数据采用的文件同步的方式，并行系统对数据同步的时效性有更高的要求，因此需要探寻一种高效高可用的主辅数据同步方法。在数据同步领域中，Kafka是一种高吞吐量的分布式发布订阅消息系统，它以主题来进行消息管理，以操作时间先后按先进先出选择保证数据的顺序稳定，同时Kafka还能够为消息存储保持长时间的稳定性能，可以实时处理大量数据以满足各种需求场景；由于原系统数据为集中存储，而新系统采用分布式架构，数据分散存储，同时，数据组织形式的差异也对数据同步技术提出了新的亟待解决的问题。

发明内容

本发明目的在于提供一种主辅数据同步方法及系统，在保证童虎数据一致性的同时提高数据同步的效率，解决集中式数据库到分布式数据库的同步过程中，主数据源无法预知数据在辅数据源的存储节点问题。

为达上述目的，本发明所提供的主辅数据同步方法，具体包含：通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

在上述主辅数据同步方法中，优选的，通过第一级消息中间件获取主数据源集中式数据库中的数据文件之前包含：获取所述主数据源集中式数据库中主数据源的表信息；根据所述表信息构建主题，通过所述主题复制获取所述数据文件；通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

在上述主辅数据同步方法中，优选的，通过第一级消息中间件获取主数据源集中式数据库中的数据文件包含：根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态。

在上述主辅数据同步方法中，优选的，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件发送至与第二级消息中间件中与所述分布式数据库对应的消息队列还包含：通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

在上述主辅数据同步方法中，优选的，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件中与所述分布式数据库对应的消息队列拉取还包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。

在上述主辅数据同步方法中，优选的，通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库包含：根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。

在上述主辅数据同步方法中，优选的，通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中包含：构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点。

在上述主辅数据同步方法中，优选的，所述方法还包含：获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。

本发明还提供一种主辅数据同步系统，所述系统包含：主数据源集中式数据库、分布式数据库、公共处理装置、第一级消息中间件、第二级消息中间件和业务处理装置；所述公共处理装置用于通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；以及，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；所述业务处理装置用于通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

在上述主辅数据同步系统中，优选的，所述第一级消息中间件包含：获取所述主数据源集中式数据库中主数据源的表信息；根据所述表信息构建主题，通过所述主题复制获取所述数据文件；通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

在上述主辅数据同步系统中，优选的，所述公共处理装置包含：根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

在上述主辅数据同步系统中，优选的，第二级消息中间件包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。

在上述主辅数据同步系统中，优选的，所述业务处理装置包含：根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。

在上述主辅数据同步系统中，优选的，所述业务处理装置包含处理单元，所述处理单元用于构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点。

在上述主辅数据同步系统中，优选的，所述业务处理装置包含还包含核对单元，所述核对单元用于获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。

在上述主辅数据同步系统中，优选的，所述系统还包含缓存单元；所述缓存单元内存储预设的异常开关，所述异常开关用于检测所述主数据源集中式数据库生成数据的现场运行状态；所述公共处理装置于所述第一级消息中间件中获取所述数据文件时，采集所述数据文件中的第一时间戳信息，根据所述第一时间戳信息生成心跳报文，将所述心跳报文发送至所述第二级消息中间件；所述业务处理装置通过所述第二级消息中间件的消息队列获得所述数据文件时提取对应的心跳报文，并根据预定主键规则将所述心跳报文写入所述缓存单元予以记录对应当前时间的第二时间戳信息；计算所述第一时间戳信息和所述第二时间戳信息中间的差值，并将所述差值与预定阈值比较，根据比较结果获得所述主辅数据同步系统的运行状态；根据所述运行状态通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库，或，访问所述主辅数据同步系统获得所述数据文件并同步至对应的所述分布式数据库。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：利用消息中间件的高吞吐量特性，采用两级消息中间件的结构，实现了从集中式数据库向分布式数据库的跨平台同步。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所提供的主辅数据同步方法的流程示意图；

图2为本发明一实施例所提供的主辅数据同步方法的应用流程示意图；

图3为本发明一实施例所提供的第一级消息中间件配置流程示意图；

图4为本发明一实施例所提供的同步流程示意图；

图5为本发明一实施例所提供的主辅数据同步方法的逻辑流程示意图；

图6为本发明一实施例所提供的主辅数据同步系统的结构示意图；

图7为本发明一实施例所提供的业务处理装置的结构示意图；

图8为本发明一实施例所提供的主辅数据同步系统的应用流程示意图；

图9为本发明一实施例所提供的主辅数据同步系统的结构示意图；

图10为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本发明所提供的主辅数据同步方法，具体包含：

S101通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；

S102根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；

S103通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

在上述实施例中，消息中间件是指利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成的产品，它通过提供消息传递和消息排队模型，可以实现分布式环境下扩展进程间的通信，适用于需要高效可靠的数据传送的分布式环境；采用消息中间件机制的系统中，不同对象之间通过传递消息来触发对方的事件，消息的传递使用消息服务器，消息发送方将消息发送至消息服务器，消息接收方从服务器上获取消息，双发无需知道对方所在的地址，使用的平台或协议，从而实现跨平台跨协议的通信；本发明所提供的上述主辅数据同步方法所采用的消息中间件可为Kafka消息中间件，通过Kafka自身独特的设计将消息持久化到磁盘上，以此同时支持在线和离线消费，其没有单机模式(或者说单机模式是分布式的特例)，能够很好地扩展。具体的，请参考图2所示，以两个分布式存储节点为例，本发明采用两级kafka队列结构，在分布式系统的存储节点消费数据之前，先通过一个公共处理节点对数据进行分片，一级kafka为集中式数据库到分布式数据库的公共处理分片同步，二级kafka为分布式数据库的公共处理分片到业务处理分片的同步，公共处理节点负责从数据中读取路由相关字段并计算系统路由完成一级队列到二级队列的中转，二级队列数据落库至对应分布式数据库，实现数据跨平台的高效同步。

请参考图3所示，在本发明一实施例中，通过第一级消息中间件获取主数据源集中式数据库中的数据文件之前可包含：

S301获取所述主数据源集中式数据库中主数据源的表信息；

S302根据所述表信息构建主题，通过所述主题复制获取所述数据文件；

S303通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

在实际工作中，kafka队列一个topic的一个分区内，以先进先出的方式保证数据的顺序稳定(即操作时间戳顺序)。如果一个消费者从多个分区获取数据，则数据顺序可能被打乱，而如果消费者M从其对应的分区M获取数据一一对应，则消费后的数据顺序仍然可保持，从而保证上下游数据的一致性。为此，本发明中主数据源是集中式的关系型数据库，数据以表为单位向辅数据源同步，辅数据源的分片存储节点对主数据源的每张表以横向切割的方式进行分片，从而每条消息仅落库至一个分片中存储。

在本发明另一实施例中，通过第一级消息中间件获取主数据源集中式数据库中的数据文件包含：根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态。由此，后续根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件发送至与第二级消息中间件中与所述分布式数据库对应的消息队列步骤中可还包含：通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。由此可在拉取数据文件的同时进一步加以监测，防止遗漏的情况发生，实际工作中的具体实施方式将在后续实施例中详细说明，在此就不再一一详述。

在本发明一实施例中，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件中与所述分布式数据库对应的消息队列拉取可包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。其后，基于该些消息队列提取对应的数据文件，具体的，在本发明另一实施例中，通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库可包含：根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态；由此实现二级消息中间件中数据文件的拉取操作。在上述实施例中，第一级消息中间件和第二级消息中间件在实际工作中的具有应用方式如下：

第一级消息中间件和第二级消息中间件均可采用kafka队列，在使用时，一级kafka队列以主数据源的表为单位，一张表对应一个topic即上述主题，不同辅数据源可以使用不同消费组(互不影响)消费不同分区的数据，当只有一个辅数据源时仅需使用单分区。在一级kafka创建用于主数据源数据复制的topic，并创建分布式平台的消费组；二级kafka用来向分片存储节点传递数据，由于存储分片降低了每个分片的数据处理需求，因此无需再以主数据源的表为单位，可以创建一个或多个topic，一张主数据源的表仅在一个topic下，不同的表可以在同一个topic下，也可以在不同的topic下，通过评估系统吞吐量和表数据量来划分topic，以各topic消费进度相当且不存在明显延迟为宜，每个topic应采用多分区，分区数与分布式平台的分片存储节点数相同，并为每个分片创建对应的消费组。因在消费一级kafka数据时，不同表对应的topic的消费进度存在差异，因此二级kafka中不同表的数据之间无顺序关系，仅同一张表的数据仍保持先进先出顺序。

请参考图4所示，在本发明一实施例中，通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中包含：

S401构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；

S402根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点；由此，提高数据文件同步到分片存储节点的同步速度。

为防止数据传输过程中出现数据遗失，在本发明一实施例中，所述方法还可包含：获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。实际工作中可采用每日核对机制，由主数据源在每日日切后生成每日变更记录的文件发送给辅数据源，除了表字段，文件中还包含变更记录的最后修改时间戳，辅数据源根据此文件对数据库中的记录逐条核对修正。

在实际工作中，以两个分片存储节点为例，上述主辅数据同步方法在实际应用的原理流程如图5所示，构建两层处理节点以对应拉取第一级消息中间件和第二级消息中间件的数据文件，实现主数据源到分片存储节点的数据同步，该过程中主数据源通过一级kafka队列将数据文件提供至公共处理层，由公共处理层完成数据拉取并放入对应的二级kafka队列中；业务处理层于二级卡kafka队列中拉取相关数据文件后，根据该些数据文件的数据类型进行sql语句拼装，并采用多线程的方式执行该些sql语句完成所述数据文件的最后落库操作，各步骤的具体实现方式将在后续实施例中详细说明，在此就不再一一详述。

请参考图6所示，本发明还提供一种主辅数据同步系统，所述系统包含：主数据源集中式数据库、分布式数据库、公共处理装置、第一级消息中间件、第二级消息中间件和业务处理装置；所述公共处理装置用于通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；以及，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；所述业务处理装置用于通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

再请参考图6所示，在上述实施例中，所述第一级消息中间件包含：获取所述主数据源集中式数据库中主数据源的表信息；根据所述表信息构建主题，通过所述主题复制获取所述数据文件；通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

所述公共处理装置包含：根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态；通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

第二级消息中间件包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。

请参考图7所示，所述业务处理装置包含：根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。其中，所述业务处理装置还包含处理单元和核对单元，所述处理单元用于构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点；所述核对单元用于获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。

为便于更清楚的理解，本发明所提供的公共处理装置和业务处理装置的具体处理逻辑，请参考图8所示，以实际应用为例，对上述公共处理装置和业务处理装置做实例性说明，本领域相关技术人员当可知，该示例仅为便于理解本发明所提供的主辅数据同步系统的可应用方式，并不对其做进一步限定。

一、公共处理装置处理逻辑：

(1)根据topic、分区号、消费组初始化一个consumer，用于每隔一定时间从一级kafka拉取数据。在公共处理层数据库的kafka数据核对表中新增一条记录，主要记录本次拉取开始的offset(数据在队列中的位置)，即本次拉取的起始位置，并置状态为“未完成”；

(2)使用fastjson解析拉取的数据，获取路由字段(每个表的路由字段由系统指定)，计算出对应的SetNo，并将该数据发送给对应的二级kafka，此过程使用计数锁保证记录不丢；

(3)处理完本次拉取的数据后，记录结束的offset，并将kafka数据核对表本次拉取记录置状态为“完成，未核对”。

二、业务处理装置处理逻辑：

(1)按照本分片对应的分区初始化消费者，每隔一定时间执行一次拉取数据操作，在本分片数据库中的kafka数据核对表中新增一条记录，主要记录本次拉取开始的offset，并置状态为“未完成”；

(2)定义kafka队列中的json数据格式为：

{"before_key":{},"before_value":{}"after_key":{},"after_value":{},"op_ts":"","op_ty pe":"","table":""}；该数据中各函数定义如下表1所示：

表1

解析kafka队列中的json数据，根据数据操作类型将消息队列的数据拼接成可执行的sql语句；

(3)为提高执行速度，创建多线程(线程数由性能决定，假设为N)。为保证对于同一个表中的同一条记录的连续变更保持时间戳顺序与主数据源一致，使用每条sql语句的唯一索引字段计算murmurhash值，按murmurhash值分配到各线程执行sql语句，完成落库。

(4)记录本次处理的结束offset，并将kafka数据核对表本次拉取记录置状态为“完成，未核对”。

如执行过程中出现错误(比如sql执行失败)，在“kafka数据同步故障表”总新增一条记录，记录该记录的key、value、sql语句、时间戳等信息，可在后续进行补处理。

请参考图9所示，在本发明一实施例中，所述系统还包含缓存单元；所述缓存单元内存储预设的异常开关，所述异常开关用于检测所述主数据源集中式数据库生成数据的现场运行状态；所述公共处理装置于所述第一级消息中间件中获取所述数据文件时，采集所述数据文件中的第一时间戳信息，根据所述第一时间戳信息生成心跳报文，将所述心跳报文发送至所述第二级消息中间件；所述业务处理装置通过所述第二级消息中间件的消息队列获得所述数据文件时提取对应的心跳报文，并根据预定主键规则将所述心跳报文写入所述缓存单元予以记录对应当前时间的第二时间戳信息；计算所述第一时间戳信息和所述第二时间戳信息中间的差值，并将所述差值与预定阈值比较，根据比较结果获得所述主辅数据同步系统的运行状态；根据所述运行状态通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库，或，访问所述主辅数据同步系统获得所述数据文件并同步至对应的所述分布式数据库。在实际工作中因新旧系统并行期间，业务功能逐步向分布式平台迁移，从平台辅数据源获取数据的业务功能对数据时效性存在要求，而主数据源系统业务交易量大，批量执行期间数据变更达到峰值，容易出现数据同步链路阻塞的情况，数据同步的延时无法满足时效要求，因此数据同步必须有可靠的高可用设计，避免同步异常或者数据阻塞等原因导致的数据时效性问题；为此，本发明通过上述实施例予以实现数据同步高可用。

具体的，上述异常开关主要用于实时监控主数据源生产数据的线程是否正常运行，如果出现异常则将该开关置为异常；该开关保存在redis中，以便应用高效访问。公共处理层在从一级kafka队列拉取数据时，获取这批数据的最大时间戳(即最后一条数据的时间戳)生成心跳报文，发送至二级kafka队列。如果本次拉取没有数据，则检测redis中的异常开关，如为正常则生成系统时间戳的心跳报文发送至二级kafka队列，如为异常则不发送心跳报文。业务处理层每次拉取数据后，识别其中的心跳报文，按照既定的主键规则(包括表名、分片号等关键信息)写入redis中，代表数据库中最新记录的时间戳。访问同步数据的程序首先扫描redis获取各表各分片的最新记录时间戳，统计除最慢的时间戳，将系统时间与该时间戳求差，如果超过预设的阈值，则切换为访问主数据源系统，如果未超过预设的阈值，在说明当前数据同步正常，交易在辅数据源的分布式系统运行。

本申请根据数据同步的时效情况，可完成目标应用与源数据应用的自动实时切换，保证交易访问到最新数据；当出现系统级别故障时，交易可自动切换至源数据应用处理，完成了系统的高可用设计。

本发明所提供的主辅数据同步方法及系统利用消息中间件的高吞吐量特性，采用两级消息中间件的结构，实现了从集中式数据库向分布式数据库的跨平台同步，也提供了数据核对机制和高可用切换方案，具有如下优点：1、由于数据传输全程采用kafka队列，数据同步延迟低；2、拼接和执行sql在业务处理层完成，降低公共处理层的压力，充分利用服务器资源；3、kafka数据吞吐量大，可应对大数据处理；4、kafka可扩展性强，可与分布式系统平稳对接；5、数据核对机制完善，能保证数据的完整性；6、高可用方案可实现自动切换主辅数据源，保证同步链路的异常不影响业务系统的正常运行。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。

如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种主辅数据同步方法，其特征在于，所述方法包含：

通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；

根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；

通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

2.根据权利要求1所述的主辅数据同步方法，其特征在于，通过第一级消息中间件获取主数据源集中式数据库中的数据文件之前包含：

获取所述主数据源集中式数据库中主数据源的表信息；

根据所述表信息构建主题，通过所述主题复制获取所述数据文件；

通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

3.根据权利要求2所述的主辅数据同步方法，其特征在于，通过第一级消息中间件获取主数据源集中式数据库中的数据文件包含：

根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；

通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态。

4.根据权利要求3所述的主辅数据同步方法，其特征在于，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件发送至与第二级消息中间件中与所述分布式数据库对应的消息队列还包含：通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

5.根据权利要求1所述的主辅数据同步方法，其特征在于，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件中与所述分布式数据库对应的消息队列拉取还包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。

6.根据权利要求5所述的主辅数据同步方法，其特征在于，通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库包含：

根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；

根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；

通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。

7.根据权利要求6所述的主辅数据同步方法，其特征在于，通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中包含：

构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；

根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点。

8.根据权利要求1所述的主辅数据同步方法，其特征在于，所述方法还包含：

获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；

所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。

9.一种主辅数据同步系统，其特征在于，所述系统包含：主数据源集中式数据库、分布式数据库、公共处理装置、第一级消息中间件、第二级消息中间件和业务处理装置；

所述公共处理装置用于通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；以及，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；

所述业务处理装置用于通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库。

10.根据权利要求9所述的主辅数据同步系统，其特征在于，所述第一级消息中间件包含：

获取所述主数据源集中式数据库中主数据源的表信息；

根据所述表信息构建主题，通过所述主题复制获取所述数据文件；

通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组。

11.根据权利要求10所述的主辅数据同步系统，其特征在于，所述公共处理装置包含：

根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；

通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态；

通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

12.根据权利要求9所述的主辅数据同步系统，其特征在于，第二级消息中间件包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列。

13.根据权利要求12所述的主辅数据同步系统，其特征在于，所述业务处理装置包含：

根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；

根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；

通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。

14.根据权利要求13所述的主辅数据同步系统，其特征在于，所述业务处理装置包含处理单元，所述处理单元用于构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点。

15.根据权利要求9所述的主辅数据同步系统，其特征在于，所述业务处理装置包含还包含核对单元，所述核对单元用于获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。

16.根据权利要求9所述的主辅数据同步系统，其特征在于，所述系统还包含缓存单元；

所述缓存单元内存储预设的异常开关，所述异常开关用于检测所述主数据源集中式数据库生成数据的现场运行状态；

所述公共处理装置于所述第一级消息中间件中获取所述数据文件时，采集所述数据文件中的第一时间戳信息，根据所述第一时间戳信息生成心跳报文，将所述心跳报文发送至所述第二级消息中间件；

所述业务处理装置通过所述第二级消息中间件的消息队列获得所述数据文件时提取对应的心跳报文，并根据预定主键规则将所述心跳报文写入所述缓存单元予以记录对应当前时间的第二时间戳信息；

计算所述第一时间戳信息和所述第二时间戳信息中间的差值，并将所述差值与预定阈值比较，根据比较结果获得所述主辅数据同步系统的运行状态；

根据所述运行状态通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库，或，访问所述主辅数据同步系统获得所述数据文件并同步至对应的所述分布式数据库。

17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一所述方法的计算机程序。

Images