CN108259562B

CN108259562B - 一种基于多端点的数据同步方法及装置

Info

Publication number: CN108259562B
Application number: CN201711306997.3A
Authority: CN
Inventors: 陈春华; 刘恺熙; 糜炜; 范明旭; 许超; 顾恒涛
Original assignee: Hangzhou Pinming Safety Control Information Technology Co ltd
Current assignee: Pin Ming Technology Co ltd
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2022-02-25
Anticipated expiration: 2037-12-11
Also published as: CN108259562A

Abstract

本发明公开了一种基于多端点的数据同步方法，包括：S1：客户端向服务端发起请求，获取服务端数据包的最新版本信息；S2：客户端判断本地数据变更情况以及数据包版本号大小；S3：本地数据存在变更或版本号小于服务端数据包版本号时进行数据同步；S4：查询客户端数据包的新增、修改、删除的数据记录；S5：对比服务端和客户端变更记录，执行数据包版本更新；S6：客户端提交需要变更、删除的数据记录；S7：服务端数据包版本号增1，客户端数据包版本号更新一致。本发明实现了客户端与服务端之间结构化数据的同步，解决了离线数据的增量上传、版本合并的技术难题，提高了数据同步的速度，从而提升用户的使用体验。

Description

一种基于多端点的数据同步方法及装置

技术领域

本发明涉及计算机领域数据同步方法，尤其涉及一种基于多端点的数据同步方法。

背景技术

随着云计算、大数据技术的发展，越来越多的软件产品需要实现业务数据的云端存储和同步，一方面满足业务数据的集中存储、管理的需求，另一方面为大数据的应用提供数据支撑。

要实现数据同步上传，通常采用C/S或三层模式，与服务端进行实时数据交互，此方案本地一般不存储数据，软件界面上数据的获取、保存都依赖服务端，这首先对现有的产品改造成本高，其次在一些需要一次性加载、分析大量数据的功能界面时，显的力不从心，对网络要求高，需要实时联网且带宽需要有保障，很容易受网络情况影响。

发明内容

本发明的所要解决的现有技术中数据同步上传过程中依赖服务器端，造成产品改造成本高、容易受网络和带宽影响的技术问题。

本发明提出了一种基于多端点的数据同步方法，包括客户端和服务端，并对客户端和服务端数据通过版本号进行管理，所述版本号是一个整形递增值并由服务端统一管理，在数据变更时所述版本号增1，所述基于多端点的数据同步方法包括以下步骤：

S1：客户端向服务端发起请求，获取服务端数据包的最新版本信息；

S2：客户端判断本地数据变更情况以及客户端数据包版本号和服务端数据包版本号大小；

S3：客户端本地数据存在变更或客户端数据包版本号小于服务端数据包版本号时，客户端和服务端进行数据同步，下载服务端中所有数据版本号大于客户端版本号的删除数据记录、变更数据记录；

S4：客户端查询本地客户端数据包的所有新增、修改、删除的数据记录；

S5：通过数据记录标识循环对比服务端变更记录和客户端变更记录，执行客户端和服务端的数据包版本更新；

S6：客户端向服务端提交需要变更、删除的数据记录；

S7：服务端数据包版本号增1，客户端数据包版本号更新至和服务端数据包版本号一致。

本发明引入版本号的概念，对数据建立版本化管理。数据版本号是一个整形递增值，由服务端统一管理，以保证版本号的唯一性和不冲突。建立版本号的目的是能快速查询出变更的数据记录，包括：新增、修改、删除的数据记录，以支持增量操作。单个数据包拥有一个统一的数据版本号，但发生数据变更时，会递增。

进一步的，所述步骤S3中，客户端和服务端进行数据同步时，服务端设置同步锁，限制其他客户端同时进行数据同步；所述同步锁在步骤S7结束后释放。

为解决多客户端的并发问题，本发明设立同步锁机制，同步时是独占的，一次只允许一个客户端进行数据同步。同步锁在数据同步结束后释放。

进一步的，所述步骤S3中，客户端和服务端进行数据同步时，客户端建立客户端数据包的副本，同步过程中的针对所述副本进行操作，同步完成后，在所述步骤S7中用所述副本覆盖原数据包；服务端接收更新数据时，先保存至数据缓存区，同步完成后，在所述步骤S7中从数据缓存区中提取数据记录并覆盖原版本。

为解决同步时的异常情况，本发明支持操作的回滚，具体包括：客户端建立数据包的副本，同步中的操作针对副本进行，最后步骤410完成同步时，覆盖正式版本；服务端接收更新数据时，保存至数据缓存区，最后步骤410完成同步时，覆盖正式版本。

进一步的，所述步骤S5中，数据记录标识是可以唯一确定记录的值，若服务端有更新，客户端没有更新，则通过记录标识更新客户端的记录信息值；若服务端有更新，客户端也有更新，则根据本地优先原则，以客户端记录信息值来更新服务端的记录；若服务端没有更新，客户端有更新，则以客户端记录信息值来更新服务端的记录。

通过数据记录标识循环对比服务端变更记录和客户端变更记录，根据不同结果执行不同的更新逻辑。具体地，数据记录标识是可以唯一确定记录的值，一般可以是数据表的记录主键。若服务端有更新，客户端没有更新，则通过记录标识更新客户端的记录信息值；若服务端有更新，客户端也有更新，则根据本地优先原则，以客户端记录信息值来更新服务端的记录；若服务端没有更新，客户端有更新，则以客户端记录信息值来更新服务端的记录。

进一步的，所述步骤S7中，客户端数据包版本号更新至和服务端数据包版本号一致时：客户端所提交的删除、更新、新增数据记录的版本都统一为服务端当前数据包版本增1。

依据前一步骤对比结果，客户端向服务端提交需要删除的记录。服务端接收、保存数据记录，并设置记录的删除版本标记为服务端当前数据包版本增1。

依据前一步骤对比结果，客户端向服务端提交需要更新的记录。服务端接收、保存数据记录，并设置记录的更新版本标记为服务端当前数据包版本增1，若是新增记录，新增版本标记为服务端当前数据包版本增1。

进一步的，所述步骤S7中，服务端从数据缓存区中提取需要更新、删除的记录；并对服务端数据包的版本号递增1；客户端清空变更数据表，并用所述数据包副本替换正式版本；客户端数据包版本号更新至同服务端数据包版本号一致。

完成同步，服务端提交所有需要更新、删除的记录；对数据包的版本号递增1；客户端清空数据包副本的变更数据表；客户端用数据包副本替换正式版本；客户端数据包版本号更新至同服务端数据包版本号一致。

进一步的，所述客户端包括数据包C，所述数据包C包括数据表C和删除数据表，所述服务端包括服务单元301、服务单元302和数据包S，所述数据包S包括数据表S和变更数据表，所述服务单元301完成数据同步，所述服务单元302完成数据包版本的检测。

另一方面，本发明还公开了一种基于多端点的数据同步装置，包括客户端和服务端，并对客户端和服务端数据通过数据包版本号进行管理，所述数据包版本号是一个整形递增值并由服务端统一管理，在数据变更时所述数据包版本号增1，所述基于多端点的数据同步装置包括：

数据包版本号获取装置，用于客户端向服务端获取服务端数据包的最新版本信息；

数据变更及版本号判断装置，用于客户端判断本地数据变更情况以及客户端数据包版本号和服务端数据包版本号大小；

同步装置，用于客户端和服务端进行数据同步，下载服务端中所有数据版本号大于客户端版本号的删除数据记录、变更数据记录；

本地查询装置，用于客户端查询本地客户端数据包的所有新增、修改、删除的数据记录；

数据记录标识循环对比装置，用于客户端通过数据记录标识循环对比服务端变更记录和客户端变更记录，执行客户端和服务端的数据包版本更新；

数据记录提交装置，用于客户端向服务端提交需要变更、删除的数据记录；

版本更新装置，用于服务端数据包版本号增1，客户端数据包版本号更新至和服务端数据包版本号一致。

进一步的，还包括同步锁装置，用于限制其他客户端同时进行数据同步；所述同步锁装置在数据同步结束后释放。

进一步的，还包括副本操作装置和缓存保存装置，所述副本操作装置用于客户端建立客户端数据包的副本，同步过程中的针对所述副本进行操作，同步完成后用所述副本覆盖原数据包；缓存保存装置用于服务端接收更新数据时，先将数据保存至数据缓存区，同步完成后从数据缓存区中提取数据记录并覆盖原版本。

本发明同现有技术相比具有以下优点及效果：

1、减少对网络的依赖，避免在大数据量加载时的性能问题；

2、支持离线编辑，编辑完后进行联网同步；

3、支持数据增量同步多客户端协同时，数据的合并；

4、提高数据同步的速度，从而提升用户的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的步骤示意图。

图2为本发明服务端数据模型示意图。

图3为本发明客户端数据模型示意图。

图4为本发明的服务器的结构示意图。

图5为本发明的流程示意图。

具体实施方式

下面结合具体实施例详细说明本专利：

数据记录：是指由多列信息的集合，每列都包含特定类型的数据内容，合在一起代表一条数据记录的完成信息。

数据表：是指相同类型的数据记录的集合，可根据不同的业务要求定义不同的数据表。

数据包：是指已经结构化的业务数据记录，由一组数据表组成。

以上数据通常存储在关系数据库中。

图2示出了本发明的实施例的服务端数据模型示意图。

引入版本号的概念，对数据建立版本化管理。数据版本号是一个整形递增值，由服务端统一管理。

版本号的目的，是能快速查询出变更的数据记录，包括：新增、修改、删除的数据记录，以支持增量操作。

单个数据包拥有一个统一的数据版本号，但发生数据变更时，会递增。

T101，每条数据记录拥有版本信息，包括：新增版本、更新版本。新增版本：记录数据新增时的版本号，更新版本：记录数据更新时的版本号。

T102，删除数据记录，统一存储在删除数据表。删除版本：记录数据删除时的版本号。

图3示出了本发明的客户端数据模型示意图。

客户端采用和服务端不同的数据模型，客户端不需要记录每条数据记录的版本号，只需记录上次同步之后所有变更的数据记录，这些信息统一保存在变更数据表。

T201，变更数据表，统一记录的新增、修改、删除的数据。操作标记包括：新增、修改、删除。该次同步时，通过查询变更数据表，即可查询出该次同步需要提交的数据记录。该次同步完成后，统一清空变更数据表。

图4示出了本发明的服务器的结构示意图。

如图3所示，根据本发明的实施例的服务器300，包括：服务单元301、服务单元302。

服务单元301，用于完成数据同步的服务，支持Socket长连接。可以减少数据传输交互时的连接次数，提高速度。

服务单元302，用于数据包的版本检测，采用HTTP短连接。每次数据同步前，若判断有新的数据，则进入数据同步，若不存在新的数据，则忽略。可以避免建立Socket长连接。

图5示出了本发明的流程示意图，包括：

步骤401，通过服务单元302，获取服务端数据包的最新版本信息。

步骤402，判断是否需要进行数据同步，若服务端数据包版本号比客户端数据包版本号更高，或者本地有数据变更，则进入步骤403，否则忽略。

步骤403，开始同步，具体包括：设置同步锁；本地建立客户端数据包的副本；客户端与服务单元301建立Socket长连接。

在本技术方案中，为解决多客户端的并发问题，设立同步锁机制，同步时是独占的，一次只允许一个客户端进行数据同步。

在本技术方案中，为解决同步时的异常情况，支持操作的回滚，具体包括：客户端建立数据包的副本，同步中的操作针对副本进行，最后步骤410完成同步时，覆盖正式版本；服务端接收更新数据时，保存至数据缓存区，最后步骤410完成同步时，覆盖正式版本。

步骤404，查询服务端数据包中，所有更新版本号大于客户端数据包版本号的记录，包括新增、修改的数据记录。

步骤405，查询服务端数据包中，所有删除版本号大于客户端数据包版本号的记录，包括删除的数据记录。

步骤406，查询客户端数据包中，所有变更的记录，包括新增、修改、删除的数据记录。

步骤407，通过数据记录标识循环对比服务端变更记录和客户端变更记录，根据不同结果执行不同的更新逻辑。

具体地，数据记录标识是可以唯一确定记录的值，一般可以是数据表的记录主键。

若服务端有更新，客户端没有更新，则通过记录标识更新客户端的记录信息值；

若服务端有更新，客户端也有更新，则根据本地优先原则，以客户端记录信息值来更新服务端的记录；

若服务端没有更新，客户端有更新，则以客户端记录信息值来更新服务端的记录。

步骤408，依据步骤407对比结果，客户端向服务端提交需要删除的记录。服务端接收、保存数据记录，并设置记录的删除版本标记为服务端当前数据包版本增1。

步骤409，依据步骤407对比结果，客户端向服务端提交需要更新的记录。服务端接收、保存数据记录，并设置记录的更新版本标记为服务端当前数据包版本增1，若是新增记录，新增版本标记为服务端当前数据包版本增1。

步骤410，完成同步，具体包括：服务端提交所有需要更新、删除的记录；对数据包的版本号递增1；客户端清空数据包副本的变更数据表；客户端用数据包副本替换正式版本；客户端数据包版本号更新至同服务端数据包版本号一致；释放同步锁。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims

1.一种基于多端点的数据同步方法，其特征在于，包括客户端和服务端，并对客户端和服务端数据通过数据包版本号进行管理，所述数据包版本号是一个整形递增值并由服务端统一管理，在数据变更时所述数据包版本号增1，所述基于多端点的数据同步方法包括以下步骤：

S6：客户端向服务端提交需要变更、删除的数据记录；

2.根据权利要求1所述的基于多端点的数据同步方法，其特征在于，所述步骤S3中，客户端和服务端进行数据同步时，服务端设置同步锁，限制其他客户端同时进行数据同步，所述同步锁在步骤S7结束后释放。

3.根据权利要求1所述的基于多端点的数据同步方法，其特征在于，所述步骤S3中，客户端和服务端进行数据同步时，客户端建立客户端数据包的副本，同步过程中的针对所述副本进行操作，同步完成后，在所述步骤S7中用所述副本覆盖原数据包；服务端接收更新数据时，先保存至数据缓存区，同步完成后，在所述步骤S7中从数据缓存区中提取数据记录并覆盖原版本。

4.根据权利要求1所述的基于多端点的数据同步方法，其特征在于，所述步骤S5中，数据记录标识是可以唯一确定记录的值，若服务端有更新，客户端没有更新，则通过记录标识更新客户端的记录信息值；若服务端有更新，客户端也有更新，则根据本地优先原则，以客户端记录信息值来更新服务端的记录；若服务端没有更新，客户端有更新，则以客户端记录信息值来更新服务端的记录。

5.根据权利要求1所述的基于多端点的数据同步方法，其特征在于，所述步骤S7中，客户端数据包版本号更新至和服务端数据包版本号一致时：客户端所提交的删除、更新、新增数据记录的版本都统一为服务端当前数据包版本增1。

6.根据权利要求4所述的基于多端点的数据同步方法，其特征在于，所述步骤S7中，服务端从数据缓存区中提取需要更新、删除的记录，并对服务端数据包的版本号递增1；客户端清空变更数据表，并用所述数据包副本替换正式版本；客户端数据包版本号更新至同服务端数据包版本号一致。

7.根据权利要求1-6任一项所述的基于多端点的数据同步方法，其特征在于，所述客户端包括数据包C，所述数据包C包括数据表C和删除数据表，所述服务端包括服务单元301、服务单元302和数据包S，所述数据包S包括数据表S和变更数据表，所述服务单元301完成数据同步，所述服务单元302完成数据包版本的检测。

8.一种基于多端点的数据同步装置，其特征在，包括客户端和服务端，并对客户端和服务端数据通过数据包版本号进行管理，所述数据包版本号是一个整形递增值并由服务端统一管理，在数据变更时所述数据包版本号增1，所述基于多端点的数据同步装置包括：

9.根据权利要求8所述的基于多端点的数据同步装置，其特征在，还包括同步锁装置，用于限制其他客户端同时进行数据同步；所述同步锁装置在数据同步结束后释放。

10.根据权利要求8所述的基于多端点的数据同步装置，其特征在，还包括副本操作装置和缓存保存装置，所述副本操作装置用于客户端建立客户端数据包的副本，同步过程中的针对所述副本进行操作，同步完成后用所述副本覆盖原数据包；缓存保存装置用于服务端接收更新数据时，先将数据保存至数据缓存区，同步完成后从数据缓存区中提取数据记录并覆盖原版本。