CN112612799A - 一种数据同步方法及终端 - Google Patents

Abstract

本发明公开了一种数据同步方法及终端，接收每一条待同步数据，获取待同步数据的用户唯一标识，将用户唯一标识和预设消息存储分区数进行取模运算，得到用户唯一标识所分配的预设消息存储分区，将待同步数据存储到所分配的预设消息存储分区内；按照预设消费规则从预设消息存储分区内拉取所存储的待同步数据，并对所拉取的待同步数据按照同一用户唯一标识进行合并，得到已合并待同步数据；对已合并待同步数据进行数据同步。本发明通过分区和合并减少了需要消费的消息数量，能够缓解数据同步中数据量过大的问题，特别针对写数据较多的场景下，能够在一定程度之上提高消息的消费速率，减少消费延迟。

Description

一种数据同步方法及终端

技术领域

本发明涉及软件处理技术领域，特别涉及一种数据同步方法及终端。

背景技术

在现在很多系统都存在有一个对应的服务端，而每一个系统中也都存在有一个对应的数据库，因为互联网的方式，用户数据大量增加，所以数据库中的数据也是很大量的。然后，互联网系统应用更新换代频繁，会出现一个系统中的新旧版本同时使用。而此场景下，就存在新版本系统连接新数据库使用，旧版本系统连接旧数据库使用，为了兼容新旧数据，可能会需要进行数据迁移，迁移旧有数据库信息至新数据库中。

此时，在两个新旧版本之中，存在两个步骤的数据迁移，一个是存量数据的迁移，即以某一时刻为时间点，全量迁移该时刻之前的所有旧有数据库里的数据至新库中，另一种是通过增量程序，增量的迁移旧有数据至新数据库中。最后不管是，全量还是增量数据迁移到新库后，后续都存在新的增量数据从旧库同步到新库中。而增量数据同步中，如果同步的数据量较少，则可以很快的完成数据同步。如果同步的数据量较多时，因为数据同步的特殊性且消息需要有先后顺序，所以无法通过增大消费的并发线程数来完成大数据量的数据同步。从而导致同步数据堆积以及消费延迟，影响系统的正常使用。

发明内容

本发明所要解决的技术问题是：提供一种数据同步方法及终端，以减少消费延迟。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据同步方法，包括步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据同步终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

本发明的有益效果在于：一种数据同步方法及终端，通过对待同步数据按照用户唯一标识进行分区存储，使得多个异步的消费者线程分别对对应的预设消息存储分区力的待同步数据进行并发消费，之后再将拉取到的待同步数据按照同一用户唯一标识进行合并，从而减少了需要消费的消息数量，即本发明能够缓解数据同步中数据量过大的问题，特别针对写数据较多的场景下，能够在一定程度之上提高消息的消费速率，减少消费延迟。

附图说明

图1为本发明实施例的一种数据同步方法的流程示意图；

图2为本发明实施例的一种数据同步终端的结构示意图。

标号说明：

1、一种数据同步终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种数据同步方法，包括步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

从上述描述可知，本发明的有益效果在于：通过对待同步数据按照用户唯一标识进行分区存储，使得多个异步的消费者线程分别对对应的预设消息存储分区力的待同步数据进行并发消费，之后再将拉取到的待同步数据按照同一用户唯一标识进行合并，从而减少了需要消费的消息数量，即本发明能够缓解数据同步中数据量过大的问题，特别针对写数据较多的场景下，能够在一定程度之上提高消息的消费速率，减少消费延迟。

进一步地，所述步骤S2具体包括以下步骤：

按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到初合并待同步数据，将所述初合并待同步数据缓存至本地内存中；

在所述本地内存中对预设消费次数内所得到的所有所述初合并待同步数据按照同一所述用户唯一标识进行合并，以得到已合并待同步数据。

从上述描述可知，对于所述待同步数据在写入本地内存之前进行一次初合并，然后在写入本地内存之后进行再次合并，即通过了两次合并以尽可能的整合同一用户唯一标识的消息，从而尽可能的减少消费延迟。其中，相较于在写入本地内存之前一次性合并的技术方案来说，虽然在写入本地内存之前进行一次性合并能减少一定的消费数量，但这同时也需要消费中间件具有足够大的空间来容纳较多的消息，对于消费中间件的要求也会变的越来越高。而本发明将其分成两次合并，不仅减少了消费延迟，也降低了对消费中间件的要求，从而在正常的消费中间件下也能减少消费延迟。

进一步地，所述待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容。

从上述描述可知，即待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容，以便于对多个待同步数据进行识别和合并。

进一步地，对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并具体包括以下步骤：

获取同一所述用户唯一标识的所有待同步数据，判断同一所述用户唯一标识的所有待同步数据的用户操作类型里是否有一条删除操作类型，若是，则只保留所述用户操作类型为删除操作类型的待同步数据作为合并后的待同步数据；

否则判断同一所述用户唯一标识的所有待同步数据的用户操作类型是否均为更新操作类型，若是，则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到所述时间戳最大的所述待同步数据里，得到合并后的待同步数据；

否则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到用户操作类型为新增操作类型的所述待同步数据里，得到合并后的待同步数据。

从上述描述可知，相较于现有直接将所有待同步数据进行整合的技术方案来说，上述实施方式中区分了不同的用户操作类型，对于删除操作类型来说，用户对用户数据进行删除，则之前的新增或是修改则没有用户，因此直接覆盖过去只遗留该删除记录即可；而对于有新增用户的操作，则将后续所有更新的内容更新得到新增记录即使得新增记录中存储有所有更新记录；最后对于所有更新操作，将更新内容添加到最新的更新记录即可，从而针对不同的用户操作类型进行针对性的合并操作，在保证数据合并的完整性的基础上，减少数据量，以进一步减少消费延迟。

进一步地，所述预设消费规则为预设数量。

从上述描述可知，通过设置预设数量来进行消息拉取，保证消费中间件能正常消费消息。

请参照图2，一种数据同步终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

从上述描述可知，本发明的有益效果在于：通过对待同步数据按照用户唯一标识进行分区存储，使得多个异步的消费者线程分别对对应的预设消息存储分区力的待同步数据进行并发消费，之后再将拉取到的待同步数据按照同一用户唯一标识进行合并，从而减少了需要消费的消息数量，即本发明能够缓解数据同步中数据量过大的问题，特别针对写数据较多的场景下，能够在一定程度之上提高消息的消费速率，减少消费延迟。

进一步地，所述步骤S2具体包括以下步骤：

按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到初合并待同步数据，将所述初合并待同步数据缓存至本地内存中；

在所述本地内存中对预设消费次数内所得到的所有所述初合并待同步数据按照同一所述用户唯一标识进行合并，以得到已合并待同步数据。

从上述描述可知，对于所述待同步数据在写入本地内存之前进行一次初合并，然后在写入本地内存之后进行再次合并，即通过了两次合并以尽可能的整合同一用户唯一标识的消息，从而尽可能的减少消费延迟。其中，相较于在写入本地内存之前一次性合并的技术方案来说，虽然在写入本地内存之前进行一次性合并能减少一定的消费数量，但这同时也需要消费中间件具有足够大的空间来容纳较多的消息，对于消费中间件的要求也会变的越来越高。而本发明将其分成两次合并，不仅减少了消费延迟，也降低了对消费中间件的要求，从而在正常的消费中间件下也能减少消费延迟。

进一步地，所述待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容。

从上述描述可知，即待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容，以便于对多个待同步数据进行识别和合并。

进一步地，对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并具体包括以下步骤：

获取同一所述用户唯一标识的所有待同步数据，判断同一所述用户唯一标识的所有待同步数据的用户操作类型里是否有一条删除操作类型，若是，则只保留所述用户操作类型为删除操作类型的待同步数据作为合并后的待同步数据；

否则判断同一所述用户唯一标识的所有待同步数据的用户操作类型是否均为更新操作类型，若是，则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到所述时间戳最大的所述待同步数据里，得到合并后的待同步数据；

否则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到用户操作类型为新增操作类型的所述待同步数据里，得到合并后的待同步数据。

从上述描述可知，相较于现有直接将所有待同步数据进行整合的技术方案来说，上述实施方式中区分了不同的用户操作类型，对于删除操作类型来说，用户对用户数据进行删除，则之前的新增或是修改则没有用户，因此直接覆盖过去只遗留该删除记录即可；而对于有新增用户的操作，则将后续所有更新的内容更新得到新增记录即使得新增记录中存储有所有更新记录；最后对于所有更新操作，将更新内容添加到最新的更新记录即可，从而针对不同的用户操作类型进行针对性的合并操作，在保证数据合并的完整性的基础上，减少数据量，以进一步减少消费延迟。

进一步地，所述预设消费规则为预设数量。

从上述描述可知，通过设置预设数量来进行消息拉取，保证消费中间件能正常消费消息。

请参照图1，本发明的实施例一为：

一种数据同步方法，包括步骤：

S1、接收每一条待同步数据，获取待同步数据的用户唯一标识，将用户唯一标识和预设消息存储分区数进行取模运算，得到用户唯一标识所分配的预设消息存储分区，将待同步数据存储到所分配的预设消息存储分区内；

其中，在本实施例中，假设数据同步中MQ(Message Queue，消息队列)采用kafka集群进行模块的解耦，则在设kafka集群上预先创建一个topic(主题)，kafka集群的客户端向该topic进行消息写入。同时该topic在本实施例中使用3个用来进行消息存储的分区，。任何一条消息均只会保存在其中一个分区上。同时，存在3个消费者线程针对这3个分区进行消息的消费。

在本实施例中，一条待同步数据即一条消息。

此时，如果一个用户在30秒内对于个人的帐户信息字段执行了6次的更新操作，则服务端会发出6条数据同步的更新消息至kafka集群中。此时，服务端会预先根据user_id与topic的分区数进行取模，也就是user_id与3进行取模，假设取模结果为1，则该user_id的所有消息将会记录至分区1中，其中user_id即为用户唯一标识。

S2、按照预设消费规则从预设消息存储分区内拉取所存储的待同步数据，并对所拉取的待同步数据按照同一用户唯一标识进行合并，得到已合并待同步数据；

在本实施例中，步骤S2具体包括以下步骤：

S21、按照预设消费规则从预设消息存储分区内拉取所存储的待同步数据，并对所拉取的待同步数据按照同一用户唯一标识进行合并，得到初合并待同步数据，将初合并待同步数据缓存至本地内存中；

其中，预设消费规则为预设数量，比如为30条。那么kafka集群的异步消费程序每次拉取30条消息，其中假设拉取topic中分区1中该用户的前3条消息的记录，由于kafka集群中同一个分区中的消息是存在顺序的，则可以根据这一特点将本批次的对于同一个user_id的操作进行数据合并，则此时的3条消息记录，将会合并成1条消息数据。

其中，虽然这6条消息是都存储在分区1中，但是可能前3条在0-5秒的区间，后3条在5-10秒的区间，然后，某次拉取的30条数据刚刚好都处于0-5秒区间内的，则本次拉取只会拉取这个用户的前3条记录，而后三条记录变成下一批拉取的数据了。

S22、在本地内存中对预设消费次数内所得到的所有初合并待同步数据按照同一用户唯一标识进行合并，以得到已合并待同步数据。

在本实施例中，预设消费次数为3次，则当连续的3批数据拉取完毕之后中，已经拉取完该用户的6次更新操作记录，此时合并成1条消息数据。最后将用户的6次更新操作记录合并成1条消息数据。

其中，待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容，用户操作类型包括新增操作类型、更新操作类型和删除操作类型。

由此，对于上述在写入本地内存之前的消息合并还是本地内存中多次拉取的消息合并，均为以下步骤：

S211、获取同一用户唯一标识的所有待同步数据，判断同一用户唯一标识的所有待同步数据的用户操作类型里是否有一条删除操作类型，若是，则只保留用户操作类型为删除操作类型的待同步数据作为合并后的待同步数据；

其中，比如这个用户唯一标识的待同步数据有三条，若三条中有一条待同步数据的用户操作类型是删除操作类型，则只需要保留用户操作类型是删除操作类型的待同步数据即可，即该三条待同步数据除删除记录之外的其余两条数据是新增记录还是更新记录，都只保留删除记录。

应当知晓的是，理论上一个用户唯一标识只有一条新增记录和一条删除记录，同一个人删除之后再新增的记录也会生成不同的用户唯一标识。

S212、否则判断同一用户唯一标识的所有待同步数据的用户操作类型是否均为更新操作类型，若是，则将同一用户唯一标识的所有待同步数据里的用户操作内容合并到时间戳最大的待同步数据里，得到合并后的待同步数据；

其中，若三条待同步数据的用户操作类型均为更新操作类型，则将内容进行合并到最新的更新记录即可。

S213、否则将同一用户唯一标识的所有待同步数据里的用户操作内容合并到用户操作类型为新增操作类型的待同步数据里，得到合并后的待同步数据。

其中，若其中有一条待同步数据的用户操作类型为新增操作类型，则将内容进行合并到新增记录即可。

S3、对已合并待同步数据进行数据同步。

由此，在本实施例中，另一个异步线程消费本地内存中的消息时，对于用户的6次更新操作记录，只需要消费合并后的1条消息数据即可，按照预设规则组装好对应数据，批量写入数据库中，完成数据同步流程。

请参照图2，本发明的实施例二为：

一种数据同步终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一的步骤。

综上所述，本发明提供的一种数据同步方法及终端，通过对待同步数据按照用户唯一标识进行分区存储，使得多个异步的消费者线程分别对对应的预设消息存储分区力的待同步数据进行并发消费，之后再将拉取到的待同步数据按照同一用户唯一标识进行两次合并，以减少了需要消费的消息数量，即本发明能够缓解数据同步中数据量过大的问题，特别针对写数据较多的场景下，能够在一定程度之上提高消息的消费速率，减少消费延迟。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据同步方法，其特征在于，包括步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

2.根据权利要求1所述的一种数据同步方法，其特征在于，所述步骤S2具体包括以下步骤：

按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到初合并待同步数据，将所述初合并待同步数据缓存至本地内存中；

在所述本地内存中对预设消费次数内所得到的所有所述初合并待同步数据按照同一所述用户唯一标识进行合并，以得到已合并待同步数据。

3.根据权利要求1或2所述的一种数据同步方法，其特征在于，所述待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容。

4.根据权利要求3所述的一种数据同步方法，其特征在于，对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并具体包括以下步骤：

获取同一所述用户唯一标识的所有待同步数据，判断同一所述用户唯一标识的所有待同步数据的用户操作类型里是否有一条删除操作类型，若是，则只保留所述用户操作类型为删除操作类型的待同步数据作为合并后的待同步数据；

否则判断同一所述用户唯一标识的所有待同步数据的用户操作类型是否均为更新操作类型，若是，则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到所述时间戳最大的所述待同步数据里，得到合并后的待同步数据；

否则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到用户操作类型为新增操作类型的所述待同步数据里，得到合并后的待同步数据。

5.根据权利要求1所述的一种数据同步方法，其特征在于，所述预设消费规则为预设数量。

6.一种数据同步终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收每一条待同步数据，获取所述待同步数据的用户唯一标识，将所述用户唯一标识和预设消息存储分区数进行取模运算，得到所述用户唯一标识所分配的预设消息存储分区，将所述待同步数据存储到所分配的预设消息存储分区内；

S2、按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到已合并待同步数据；

S3、对所述已合并待同步数据进行数据同步。

7.根据权利要求6所述的一种数据同步终端，其特征在于，所述步骤S2具体包括以下步骤：

按照预设消费规则从所述预设消息存储分区内拉取所存储的所述待同步数据，并对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并，得到初合并待同步数据，将所述初合并待同步数据缓存至本地内存中；

在所述本地内存中对预设消费次数内所得到的所有所述初合并待同步数据按照同一所述用户唯一标识进行合并，以得到已合并待同步数据。

8.根据权利要求6或7所述的一种数据同步终端，其特征在于，所述待同步数据包括用户唯一标识、用户操作类型、时间戳和用户操作内容。

9.根据权利要求8所述的一种数据同步终端，其特征在于，对所拉取的所述待同步数据按照同一所述用户唯一标识进行合并具体包括以下步骤：

获取同一所述用户唯一标识的所有待同步数据，判断同一所述用户唯一标识的所有待同步数据的用户操作类型里是否有一条删除操作类型，若是，则只保留所述用户操作类型为删除操作类型的待同步数据作为合并后的待同步数据；

否则判断同一所述用户唯一标识的所有待同步数据的用户操作类型是否均为更新操作类型，若是，则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到所述时间戳最大的所述待同步数据里，得到合并后的待同步数据；

否则将同一所述用户唯一标识的所有待同步数据里的用户操作内容合并到用户操作类型为新增操作类型的所述待同步数据里，得到合并后的待同步数据。

10.根据权利要求6所述的一种数据同步终端，其特征在于，所述预设消费规则为预设数量。

Images