CN110188118A - 一种数据同步方法、装置 - Google Patents

Abstract

本发明提供了一种数据同步方法、装置，该方法应用在远程同步系统，该远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的方法包括：所述服务器节点获取所述客户端节点关于待同步数据的注册数据；所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；若正确，则对接收到的所述待同步数据执行入库操作。本发明可以解决redis无法监控数据造成数据丢失的问题。

Description

一种数据同步方法、装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据同步方法、装置。

背景技术

redis是目前最快的NO-SQL数据库之一，各企业的关键核心业务都采用redis作为的缓存服务器。结合开源的confluent的schema注册方式，redis具有极强的性能，并提供了丰富的数据结构，因此可以更简洁地解决许多关键性能问题。

但是，redis做缓存服务器在进行海量数据的实时采集时由于schema注册服务的每秒查询率QPS能力要求很高，且redis无法监控数据会造成数据丢失的风险。

发明内容

本发明公开了一种数据同步方法、装置，以解决现有数据同步方法中面临数据较大时的问题。

第一个方面，本发明提供了一种数据同步方法，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的方法包括：

所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

若正确，则对接收到的所述待同步数据执行入库操作。

优选地，所述注册数据包括所述待同步数据的schema信息，所述元数据管理服务模块根据所述注册数据生成同步缓存数据表的步骤，包括：

所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

优选地，还包括：

所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤。

优选地，所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据的步骤，包括：

所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

优选地，所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤，包括:

所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

所述服务器节点重新接收所述客户端节点发送的所述待同步数据。

第二个方面，本发明提供了一种数据同步装置，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的装置包括：

注册数据获取模块，用于所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

同步缓存数据表生成模块，用于所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

待同步数据接收模块，用于所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

监控模块，用于所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

数据入库模块，用于若正确，则对接收到的所述待同步数据执行入库操作。

优选地，所述注册数据包括所述待同步数据的schema信息，所述同步缓存数据表生成模块，包括：

schema标识生成子模块，用于所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

同步缓存数据表生成子模块，用于所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

优选地，还包括：

同步缓存数据表发送子模块，用于所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤。

优选地，所述待同步数据接收模块，包括：

待同步数据接收子模块，用于所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

优选地，所述监控模块，包括:

监控子模块，用于所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

数据重新接收子模块，所述服务器节点重新接收所述客户端节点发送的所述待同步数据。

相对于现有技术，本发明实施例包括以下优点：

在本发明实施例中，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的方法包括：所述服务器节点获取所述客户端节点关于待同步数据的注册数据；所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；若正确，则对接收到的所述待同步数据执行入库操作。可以实现海量数据实时采集时，通过元数据管理服务模块和实时监控模块保证数据注册服务的缓存和数据采集的监控，提高数据传输的效率的同时防止数据丢失。

附图说明

图1是本发明的一种数据同步方法的步骤流程图；

图1A是本发明的消息推送架构整体框架示意图；

图2是本发明的一种数据同步装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种数据同步方法的步骤流程图，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，具体可以包括如下步骤：

步骤101，所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

本发明实施例中，如图1A所示，在业务服务机房中，需要将本地数据进行远程网络同步，并且考虑到跨国机房传输数据，带宽成本比较高，且业务需要不断更新，采用了avro序列化，批量压缩传输数据，其中，Avro是一个数据序列化系统，它提供以下服务：

1丰富的数据结构类型；

2快速可压缩的二进制数据形式；

3存储持久数据的文件容器；

4远程过程调用RPC；

5简单的动态语言结合功能；

Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现。

Avro依赖于模式(Schema)，Avro数据的读写操作是很频繁的，而这些操作都需要使用模式，这样就减少写入每个数据资料的开销，使得序列化快速而又轻巧。这种数据及其模式的自我描述方便于动态脚本语言的使用。

所以，在采集实时待同步数据，即业务服务集成sdk(软件开发工具包，SoftwareDevelopment Kit))时，与kafka集群统计难免发生故障，为了保证业务不受影响，将日志数据写本地，当服务恢复时，自动读取本地数据并发送到kafka。但本地磁盘使用率比较高时，会自动丢失数据，以免服务受到影响，首先需要将待同步数据sdk的信息进行注册到服务器节点。

步骤102，所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

本发明实施例中，如图1A所示，在服务器节点中的元数据管理服务模块(mata-server)接收到客户端节点传送的待同步数据的注册信息时，可以根据注册信息生成同步缓存数据表。其中，同步缓存数据表中存储注册信息与待同步数据之间的对应关系。

优选地，所述注册数据包括所述待同步数据的schema信息，则步骤102，进一步包括：

子步骤1021，所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

本发明实施例中，当注册数据包含模式信息(schema信息)时，将schema信息添加唯一标记，每个schema标记按照标记顺序进行排列。

子步骤1022，所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

本发明实施例中，根据每个schema与待同步数据的一一对应关系，按照schema的标记顺序存储为同步缓存数据表。

优选地，步骤102，还可以包括：

子步骤1023，所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行步骤104。

本发明实施例中，将生成的同步缓存数据表按照生成的时间顺序排列，并且将预设时间段内生成的缓存数据表发送至实时监控模块。例如，发送五天以内的同步缓存数据表至实时监控模块，那么实时监控模块可以追踪这五天内接收的待同步数据是否正确。

具体地，与开源的confluent的schema注册方式不同在于，confluent为了数据版本管理自动化处理，每次按schema序列化数据都访问一次schema注册服务。这种方式在数据量非常大时，schema注册服务的QPS能力要求很高，显然这种方式不适合我们。一般来说，只要访问一次schema注册服务就可以了，因此，本发明实施例中将schema标识缓存在内存当中，只要不重置便不会过期，不同数据中心访问到一个注册中心，只需要访问一次便可以进行schema解析。

步骤103，所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

本发明实施例中，当待同步数据由客户端节点传送过来时，服务器节点根据同步缓存数据表，接收待同步数据。

优选地，步骤103，进一步包括：

子步骤1031，所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

本发明实施例中，根据预设时间段内同步缓存数据表中schema标识顺序，向客户端发送同步请求，并接收客户端按照请求发送的待同步数据。

步骤104，所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

本发明实施例中，如图1A所示，采用强顺序(自增顺序)标志发送数据批，在发送数据同时，将采集的待同步数据的schema一起发送到kafka集群，然后在kafka消费端入库到消费采集元信息chema记录到redis,当一个批次的数据消费完成时，将采集元信息批次状态更新到meta服务(元数据服务模块)。

优选地，步骤104，进一步包括：

子步骤1041，所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

本发明实施例中，如上所述的，在实时监控模块通过预设时间段内的同步缓存数据表中schema存储顺序，验证接收的同步数据的schema是否与同步缓存数据表中的schema一致，如果不一致，则重新请求客户端发送对应传输失败的待同步数据，除此之外，meta服务按业务每天分表记录采集状态(待同步数据表)，保证采集更新性能高效，只保留最近预设时间段内的采集信息，监控过程中，如果数据丢失，可在此跟踪数据采集情况。

子步骤1042，所述服务器节点重新接收所述客户端节点发送的所述待同步数据。

本发明实施例中，根据上述验证步骤，收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则认为数据丢失，再次请求接收客户端发送丢失数据，还可以追踪丢失数据的来源。

当然，处理丢失数据的方式不限于上述描述，本发明实施例对此不加以限制。

步骤105，若正确，则对接收到的所述待同步数据执行入库操作。

本发明实施例中，若在预设时间段内验证所有的待同步数据都正确接收，则将待同步数据入库，其中，如图1A所示，利用kafka-connector进行同步工作，其主要作用是数据入库，它可以同时消费多个topic数据，并按数据头将数据写入不同数存储服务，针对每次加入了新的topic，只需更新数据传输线数的sink task配置，数据便自动写入集群。

其中，本发明实施例中利用卡夫卡集群kafka-cluster存储数据，其主要作用是缓冲数据，在不同的机房部署相应的kafka集群，然后通过mirrorMaker(镜像同步)进入群集数据同步。

当然，数据存储不限于卡夫卡集群，本发明实施例对此不加以限制。

在本发明实施例中的一种数据同步方法，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，该数据同步方法包括：所述服务器节点获取所述客户端节点关于待同步数据的注册数据；所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；若正确，则对接收到的所述待同步数据执行入库操作。可以解决redis无法监控数据造成数据丢失的问题。

参照图2，示出了本发明的一种数据同步装置的结构框图，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的装置具体可以包括如下模块：

注册数据获取模块201，用于所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

同步缓存数据表生成模块202，用于所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

优选地，所述注册数据包括所述待同步数据的schema信息，所述同步缓存数据表生成模块202，包括：

schema标识生成子模块，用于所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

同步缓存数据表生成子模块，用于所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

同步缓存数据表发送子模块，用于所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤。

待同步数据接收模块203，用于所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

优选地，所述待同步数据接收模块203，包括：

待同步数据接收子模块，用于所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

监控模块204，用于所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

优选地，所述监控模块204，包括:

监控子模块，用于所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

数据重新接收子模块，所述服务器节点重新接收所述客户端节点发送的所述待同步数据。

数据入库模块205，用于若正确，则对接收到的所述待同步数据执行入库操作。

本发明实施例提供的装置能够实现图1的方法实施例中的各个过程，为避免重复，这里不再赘述。

在本发明实施例中的一种数据同步装置，应用在远程同步系统，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，该数据同步装置包括：注册数据获取模块，用于所述服务器节点获取所述客户端节点关于待同步数据的注册数据；同步缓存数据表生成模块，用于所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；待同步数据接收模块，用于所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；监控模块，用于所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；数据入库模块，用于若正确，则对接收到的所述待同步数据执行入库操作。可以解决redis无法监控数据造成数据丢失的问题。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种数据同步方法，应用在远程同步系统，其特征在于，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的方法包括：

所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

若正确，则对接收到的所述待同步数据执行入库操作。

2.根据权利要求1所述的方法，其特征在于，所述注册数据包括所述待同步数据的schema信息，所述元数据管理服务模块根据所述注册数据生成同步缓存数据表的步骤，包括：

所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

3.根据权利要求2所述的方法，其特征在于，还包括：

所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤。

4.根据权利要求2所述的方法，其特征在于，所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据的步骤，包括：

所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

5.根据权利要求4所述的方法，其特征在于，所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤，包括:

所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

所述服务器节点重新接收所述客户端节点发送的所述待同步数据。

6.一种数据同步装置，应用在远程同步系统，其特征在于，所述远程同步系统包括客户端节点和所述服务器节点，所述服务器节点包括元数据管理服务模块和实时监控模块，所述的装置包括：

注册数据获取模块，用于所述服务器节点获取所述客户端节点关于待同步数据的注册数据；

同步缓存数据表生成模块，用于所述元数据管理服务模块根据所述注册数据生成同步缓存数据表；

待同步数据接收模块，用于所述服务器节点根据所述同步缓存数据表，接收所述客户端节点发送的所述待同步数据；

监控模块，用于所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据；

数据入库模块，用于若正确，则对接收到的所述待同步数据执行入库操作。

7.根据权利要求6所述的装置，其特征在于，所述注册数据包括所述待同步数据的schema信息，所述同步缓存数据表生成模块，包括：

schema标识生成子模块，用于所述元数据管理服务模块将所述待同步数据的schema信息进行唯一标记，生成schema标识；

同步缓存数据表生成子模块，用于所述元数据管理服务模块根据所述schema标识与待同步数据的对应关系，生成按照所述schema标识排序的同步缓存数据表。

8.根据权利要求7所述的装置，其特征在于，还包括：

同步缓存数据表发送子模块，用于所述元数据管理服务模块将预设时间段内生成的所述同步缓存数据表发送至所述实时监控模块，以使所述实时监控模块验证执行所述实时监控模块通过所述同步缓存数据表验证接收到的所述待同步缓存数据是否正确，若不正确，则重新接收所述客户端节点发送的所述待同步数据的步骤。

9.根据权利要求7所述的装置，其特征在于，所述待同步数据接收模块，包括：

待同步数据接收子模块，用于所述服务器节点根据所述同步缓存数据表中schema标识顺序，接收所述客户端节点发送的所述待同步数据。

10.根据权利要求9所述的装置，其特征在于，所述监控模块，包括:

监控子模块，用于所述实时监控模块通过预设时间段内的所述同步缓存数据表中schema存储顺序，逐一验证接收到所述待同步数据的schema信息与所述同步缓存数据表中存储的schema信息不一致，则向所述客户端节点请求重新发送对应的待同步数据；

数据重新接收子模块，所述服务器节点重新接收所述客户端节点发送的所述待同步数据。