CN113938497A - 一种基于消息中间件的数据同步方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种基于消息中间件的数据同步方法、装置及系统，所述方法包括：在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。采用本发明实施例，可以实现多用户数据同步的时效性和数据一致性。

Description

一种基于消息中间件的数据同步方法、装置及系统

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于消息中间件的数据同步方法、装置及系统。

背景技术

数据同步是数据处理及应用中常见的场景，在将数据同步分发给多个外部用户时，数据一致性、数据同步时效性都至关重要。目前在进行多用户数据同步时，常见的有基于接口数据同步和基于SFTP文件数据同步。对于基于接口的数据同步，在处理大批量数据同步时通常会存在同步性能和效率问题，同时还在考虑网络情况及失败重试等。对于基于SFTP的数据文件同步，需要考虑大批量数据时文件大小问题，文件格式兼容问题以及文件下载解析等问题，同时基于SFTP的数据同步在同步时间性方便存在比较大的挑战。

如何保证多用户数据同步的数据一致性、数据同步时效性是数据处理一个待处理的重要问题。

发明内容

基于此，在本发明实施例中，提供了一种基于消息中间件的数据同步方法和系统，可以利用消息中间件的发布订阅机制实现多用户数据同步的时效性。

在本发明的第一部分，提供了一种基于消息中间件的数据同步方法，所述方法包括：

在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

可选的，所述获取数据更新的日志文件的步骤，还包括：

监听mysql binlog，以得到二进制的日志文件。

可选的，所述方法还包括：

获取数据更新请求，根据数据更新请求更新数据库数据，并触发所述监听mysqlbinlog，以得到二进制的日志文件的步骤；

所述监听mysql binlog，以得到二进制的日志文件的步骤，还包括：

通过监听mysql binlog，以提取对数据库数据进行更新的数据DML操作记录，作为所述日志文件。

可选的，所述将所述日志文件发送到消息中间件的步骤，还包括：

将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存。

可选的，所述根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据的步骤，还包括：

获取多个用户的订阅数据列表，并加载至redis缓存中；

通过预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic，以使每个用户对应的客户端接收topic中的同步数据。

可选的，所述方法还包括：

客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

在本发明的第二部分，提供了一种基于消息中间件的数据同步装置，所述装置包括：

日志文件传递模块，用于在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

数据筛选模块，用于根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；

数据同步模块，用于将筛选出来的同步数据分别发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

在本发明的第三部分，提供了一种基于消息中间件的数据同步系统，所述系统包括服务器以及与所述服务器连接的多个用户的客户端；

所述服务器在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；

所述服务器将筛选出来的同步数据分别发送给各个用户对应的客户端；

所述客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

可选的，所述服务器监听mysql binlog，以得到二进制的日志文件。

可选的，所述服务器将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存；

所述服务器获取多个用户的订阅数据列表，并加载至redis缓存中；通过所述服务器中预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic；

所述客户端接收topic中的同步数据。

在本发明的第四部分，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

采用本发明实施例，具有如下有益效果：

采用了上述基于消息中间件的数据同步方法和系统之后，在需要进行大批量数据同步的情况下，监听并获取数据更新的日志文件，然后将日志文件投递到消息中间件中，通过消息中间件的发布订阅机制，基于每个用户预先设定的订阅数据列表，筛选出与每个用户的订阅数据列表对应的数据，并投递给各个用户对应的客户端，以实现将数据同步给多个用户，实现用户定制化的数据同步分发，保障了数据同步的时效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中一种基于消息中间件的数据同步系统的结构示意图；

图2为一个实施例中一种基于消息中间件的数据同步方法的流程示意图；

图3为一个实施例中一种基于消息中间件的数据同步系统的框架示意图；

图4为一个实施例中一种基于消息中间件的数据同步装置的结构示意图；

图5为一个实施例中运行上述基于消息中间件的数据同步方法的计算机设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例。相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本发明实施例中，提供了一种基于消息中间件的数据同步系统以及基于该系统的数据同步方法。请参见图1，图1给出了基于消息中间件的数据同步系统的构成，其中，基于消息中间件的数据同步系统包括了上游的服务器以及下游的多个用户对应的客户端，在上游服务器需要将数据同步给下游的客户端的情况下，可以通过该系统将数据实时同步分发给下游的各个服务器。

进一步的，请参见图2，图2给出了上述基于消息中间件的数据同步方法的流程示意图。具体的，基于消息中间件的数据同步方法包括了如图2所述的各个步骤。

步骤S102：在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件。

在本实施例中，在数据库进行了更新，尤其是大批量的数据进行了更新的情况下，需要将更新的数据同步给下游的各个用户对应的客户端。例如，数据库为企业工商记录数据库，有多个用户订阅了全部或部分企业工商记录，在数据发生更新的情况下，则需要将数据同步给各个用户对应的客户端，以保证各个用户对应的客户端中的数据是全面的、且与服务器中的数据库是对应的。这就需要数据同步能保证上游服务器与下游的客户端之间的数据一致性，并且为了保证下游客户端的数据的准确性，还需要保证数据同步的时效性。

具体实施中，在服务器中，在接收到数据更新请求的情况下，需要根据数据更新请求对服务器中的数据库中的数据进行更新。在这种情况下，会触发进一步的数据同步的流程，该流程包括了步骤S102-S108。

在步骤S102中，为了后续的数据同步操作，首先需要通过监听mysql binlog，来获取前述进行数据更新处理过程中的相关记录数据。通过监听mysql binlog，以提取对数据库数据进行更新的数据DML操作记录；即为获取数据DML操作记录对应的二进制的日志文件，该日志文件中记录了对数据库的具体更新操作，根据该日志文件也可以复现相应的数据处理操作。其中，binlog文件中记录了数据表结构变更以及表数据修改的所有记录的二进制文件，所以通过监听binlog文件可以得到对数据库进行数据处理操作的对应的记录的日志文件。也就是说，在本实施例中，可以利用mysql binlog操作记录的回首特性，记录下对数据处理操作的每一次更新。

在本实施例中，为了进行数据同步，需要通过消息中间件（message quene， MQ）来实现。

步骤S104：将所述日志文件发送到消息中间件。

在本步骤中，将日志文件发送给消息中间件以实现对数据的缓存，尤其是对于大批量数据的缓存；其中，可以是将日志文件发送给消息中间件对应的topic中。根据消息中间件的特点，可以将上游大批量的数据同步转化为下游的多个用户的小批量的消费处理。具体的，利用消息中间件“至少一次”的特性实现数据同步的一致性，同时利用消息中件间MQ的消息存储机制解决大批量数据的冲击，将上游的大批量数据转化为下游客户小批量的消费，同时利用消息中间件发布订阅的机制实现数据同步的时间性。

步骤S106：根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据。

在本实施例中，针对多个用户的数据同步，每个用户对应的客户端作为一个消费组进行消息中间件MQ数据消费，通过消息中间件MQ的数据订阅-发布机制，多个下游用户对应的客户端独立接收数据同步。其中，为了为一个用户个性化的定制订阅数据，在本实施例中，还需要针对每一个用户分别设置一个订阅数据列表，例如，设置每一个用户关注的企业名称列表，在企业数据库发生数据更新的情况下，根据每一个用户关注的企业名称列表来确定是否将更新的数据分发给相应的用户对应的客户端。

在针对每一个用户设置了订阅数据列表之后，订阅数据列表的维护是在服务器端，并且在服务器运行过程中，将每一个用户对应的订阅数据列表加载在服务器redis缓存中，以使在数据同步流程中可以调用该订阅数据列表对应的数据。

然后，通过服务器中设置的过滤模块（过滤程序），从消息中间件的全量topic中的数据中查找与每一个用户对应的订阅数据列表对应的数据，也就是筛选出与每一个用户对应的订阅数据列表对应的数据处理操作对应的日志文件，将筛选出的数据作为与每一个用户对应的需要进行数据同步的同步数据。

步骤S108：将筛选出来的同步数据分别发送给各个用户对应的客户端。

在步骤S106中筛选出与每一个用户对应的需要进行数据同步的同步数据之后，即可将同步数据分发给每一个用户对应的客户端，以实现数据同步的数据分发。具体的，通过消息中间件将同步数据分别同步至每一个用户对应的topic中，然后分发给每一个用户对应的客户端，从而使得每一个用户对应的可短可以接收到topic中的同步数据。

客户端在接收到服务器下发的同步数据之后，即可根据接收到的同步数据（即为数据处理操作对应的日志文件）对客户端的数据库进行更新。具体的，对同步数据进行解析，然后根据解析到的信息对客户端对应的数据库进行数据处理操作，以实现同步数据的入库。

在本实施例中，因为对每一个用户都定制化设置了订阅数据列表，从而可以根据该订阅数据列表在需要进行数据同步时分别定制每一个用户的数据更新，实现多用户定制化数据的同步分发。

进一步的，请参见图3，图3给出了基于消息中间件的数据同步系统及基于该系统的数据同步方法的框架示意图。其中，通过binlog监听数据库1、数据库2的数据处理操作，然后将解析的binlog发送到消息中间件MQ中每一张表对应的topic中，也就是说，消息集群中包含了数据库中每一张表对应的topic。进一步的，针对每一个用户，还分别定制了订阅数据列表，该订阅数据列表是缓存于redis集群中。在数据库发生数据处理操作的情况下，服务器中的过滤程序基于redis缓存中的订阅数据列表，确定每一个用户对一个的数据，并分发至每一个用户对应的topic中，也就是说，消息集群中还包括了每一个用户对应的topic。每一个用户对应的客户端与服务器的消息中间件MQ之间是通信连接的，客户端可以直接从服务器的消息中间件MQ中获取数据同步消息，然后对消息进行解析，然后执行相应的数据处理操作并执行入库。

进一步的，请参见图4，图4给出了一种基于消息中间件的数据同步装置的结构示意图。具体的，如图4所示，基于消息中间件的数据同步装置包括：

日志文件传递模块102，用于在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

数据筛选模块104，用于根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；

数据同步模块106，用于将筛选出来的同步数据分别发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

可选的，日志文件传递模块102还用于监听mysql binlog，以得到二进制的日志文件。

可选的，日志文件传递模块102还用于获取数据更新请求，根据数据更新请求更新数据库数据，并触发所述监听mysql binlog，以得到二进制的日志文件的步骤。

可选的，日志文件传递模块102还用于通过监听mysql binlog，以提取对数据库数据进行更新的数据DML操作记录，作为所述日志文件。

可选的，日志文件传递模块102还用于将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存。

可选的，数据筛选模块104还用于获取多个用户的订阅数据列表，并加载至redis缓存中；通过预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic，以使每个用户对应的客户端接收topic中的同步数据。

可选的，数据同步模块106还用于客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

图5给出了一个实施例中实现上述基于消息中间件的数据同步方法的计算机设备的内部结构图。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

采用本发明实施例，具有如下有益效果：

采用了上述基于消息中间件的数据同步方法、装置和系统之后，在需要进行大批量数据同步的情况下，监听并获取数据更新的日志文件，然后将日志文件投递到消息中间件中，通过消息中间件的发布订阅机制，基于每个用户预先设定的订阅数据列表，筛选出与每个用户的订阅数据列表对应的数据，并投递给各个用户对应的客户端，以实现将数据同步给多个用户，实现用户定制化的数据同步分发，保障了数据同步的时效性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于消息中间件的数据同步方法，其特征在于，所述方法包括：

在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

2.根据权利要求1所述的基于消息中间件的数据同步方法，其特征在于，所述获取数据更新的日志文件的步骤，还包括：

监听mysql binlog，以得到二进制的日志文件。

3.根据权利要求2所述的基于消息中间件的数据同步方法，其特征在于，所述方法还包括：

获取数据更新请求，根据数据更新请求更新数据库数据，并触发所述监听mysqlbinlog，以得到二进制的日志文件的步骤；

所述监听mysql binlog，以得到二进制的日志文件的步骤，还包括：

通过监听mysql binlog，以提取对数据库数据进行更新的数据DML操作记录，作为所述日志文件。

4.根据权利要求1所述的基于消息中间件的数据同步方法，其特征在于，所述将所述日志文件发送到消息中间件的步骤，还包括：

将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存。

5.根据权利要求4所述的基于消息中间件的数据同步方法，其特征在于，所述根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据的步骤，还包括：

获取多个用户的订阅数据列表，并加载至redis缓存中；

通过预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic，以使每个用户对应的客户端接收topic中的同步数据。

6.根据权利要求1所述的基于消息中间件的数据同步方法，其特征在于，所述方法还包括：

客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

7.一种基于消息中间件的数据同步装置，其特征在于，所述装置包括：

日志文件传递模块，用于在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

数据筛选模块，用于根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；

数据同步模块，用于将筛选出来的同步数据分别发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

8.一种基于消息中间件的数据同步系统，其特征在于，所述系统包括服务器以及与所述服务器连接的多个用户的客户端；

所述服务器在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；

所述服务器将筛选出来的同步数据分别发送给各个用户对应的客户端；

所述客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

9.根据权利要求8所述的基于消息中间件的数据同步系统，其特征在于，所述服务器监听mysql binlog，以得到二进制的日志文件。

10.根据权利要求8所述的基于消息中间件的数据同步系统，其特征在于，所述服务器将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存；

所述服务器获取多个用户的订阅数据列表，并加载至redis缓存中；通过所述服务器中预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic；

所述客户端接收topic中的同步数据。

Images