CN117675842A - 基于多设备数据的增量同步方法及系统 - Google Patents

Abstract

本发明属于数据同步技术领域，尤其涉及基于多设备数据的增量同步方法及系统。本发明为了解决多设备同时使用同步数据一致性问题，采用版本号和更新时间控制的的技术方案来解决多端同时使用软件时数据同步一致性问题，该方法相对于常规服务器自己做数据区分比较而言，数据的准确性，丢失率都得到很大的优化与改善。

Description

基于多设备数据的增量同步方法及系统

技术领域

本发明属于数据同步技术领域，尤其涉及基于多设备数据的增量同步方法及系统。

背景技术

现在的技术通过移动端进行本地的数据缓存，通过文件流的形式进行数据的上传到服务端，服务端通过解析文件内容进行数据的落库，在此情形下，服务端通过文件流形式进行数据的解析和存储，当设备A在使用中，产生了数据，设备B同时也在使用，也产生了数据，目前市面上的app都是采用使用最后同步数据的设备上的数据覆盖其他设备的数据，这样会导致用户数据丢失。

针对现有技术中的缺陷不足：在移动端如果是多端可使用情况下，举例：如果A端设备本地已有数据且未及时上传服务端，在B端设备登录用户同一个账号时，且本地数据有改动，即与服务端不一致，这个时候B端设备进行服务端数据拉取会存在数据冲突问题，这个情形在多端设备同一时间一起进行数据的上报与下拉问题尤其突出。

发明内容

针对以上情况，服务端与移动端使用存取分离控制手段，拉取与更新数据进行分开处理，在多端设备进行数据同步时候，针对移动端数据与服务端数据的更新采取版本控制与更新时间控制，在移动端与服务端的数据结构上进行合并优化。

为了解决上述技术问题，本发明提供如下技术方案：

基于多设备数据的增量同步方法，包括以下步骤：

S100：服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

S200：移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；此逻辑判断实现移动端存数据，更新数据的功能要求，而且只更新接收的数据，提高了存储数据的效率；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端；此逻辑判断可以确保只上传更新过的数据；

S300：服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；每次接收移动端的数据，都会新的全局版本号，而且比上传的全局版本号都要高，方便了更新版本的标记和管理；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；此逻辑判断是服务器数据的存储过程，而且只存储根据时间戳储筛选出来做过最新更新的数据，提高了存储效率；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端；确保可以筛选出来高于版本号的所有数据并下发至移动端去做数据的比对和同步，提高了筛选和取数据的效率。

S400：回到步骤S200，进行下一个循环。

优选的，所述的步骤S200中，创建数据流水的创建动作包括：添加、编辑、删除中的任意一种。

优选的，所述的正数A等于1。

优选的，所述的正数B等于1。

优选的，所述移动端数据的上传和服务端数据的下发是通过文件流的形式进行数据的解析和存储。

优选的，文件流的文件形式为json文件或xml文件中的任意一种。

优选的，其特征在于，全局版本号的赋值可采用当前时间生成的时间戳。

基于多设备数据的增量同步系统，包括服务端，

所述的服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端。

基于多设备数据的增量同步系统，包括移动端，

所述的移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端。

基于多设备数据的增量同步系统，包括服务端和移动端，

所述的服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端；

所述的移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端。

与现有技术相比，本发明的有益效果是：本发明为了解决多设备同时使用同步数据一致性问题，采用版本号和更新时间控制的技术方案来解决多端同时使用软件时数据同步一致性问题，而且将服务端和移动端的数据筛、存、取做了控制手段的分离，该方法相对于常规服务器自己做数据区分比较而言，数据的准确性，丢失率都得到很大的优化与改善。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供技术方案，具体流程图参照图1，该方法的具体执行过程如下。

存取分离控制手段：

1.过程性描述：

a.存，从移动端角度来看，是移动端将存储在本地数据库的数据依赖全局版本号进行本地数据筛选进行数据打包，通过接口流的形式上传到服务端，这个步骤是在移动端进行操作，和服务端无关，也就是说我们所有需要同步的数据的查询都是在移动端进行处理筛选的，这里的移动端具体可以是不同设备的软件登录端或者app端或者客户端。

b.取，从服务端角度来说是，从云数据库取出有更新的数据，此操作是服务端依赖移动端上传的全局版本号，将大于移动端给的全局版本号的数据提取出来，打包后给到移动端。

2.流程性描述：

存：移动端依赖全局版本号，找到所有数据流水(本申请中简称流水)的版本号大于全局版本号的流水，上传服务端；

取：服务端拿到移动端提供的全局版本号，从服务端找到数据流水版本号(本申请中简称流水版本号)大于全局版本号的流水，下发移动端。

软件开发过程中会出现一种情形，某个移动端的数据大部分都存储在手机本地数据库，方便前端展示和优化计算逻辑速度，若该应用既支持本地数据的缓存和服务端数据的存储，离线数据的增删改产和计算处理，则不得不考虑前端的性能问题和服务端的服务性能问题。在此情况下，本发明则能很好的安全的处理此类问题，其中包括以下步骤：

每一个设备在登陆后，服务端会发放一个全局版本号给移动端存储，每个设备发起同步数据时，会传递当前设备的全局版本号给服务端，服务端根据当前设备的全局版本号来查询大于此全局版本号的数据返回给移动端，并且会给出此时最新的全局版本号。

这样每个设备都有自己的全局版本号，可以随时获取服务器上最新的数据，在本地进行合并和覆盖，解决多个设备同时使用的问题。

3.版本号控制过程：单条流水新增会有一个流水版本号，赋值规则(全局版本号+1)，单条流水的编辑删除也会更新版本号，规则一样(全局版本号+1)，如此保证每一条记录涉及到改动都会保证比当前全局版本号大，数据同步会找到所有比全局版本号大的流水，接口同步到服务端后，移动端会更新最新的全局版本号比所有的数据对应的版本号大，这样保证无数据变更时同步不会查出来数据。

4.更新时间控制过程：更新时间，以下使用critedate描述，

每条流水都有一个critedated，这个时间的作用是用户进行数据合并的判断逻辑，当服务端下发的数据critedate比移动端的数据critedate大，代表这个数据已经经过编辑处理，需要进行数据的合并。

critedate操作路径：

新增或者编辑删除流水，更新这个流水的critedate为当前时间，同时流水版本号变大，在移动端将数据打包同步到服务端后，服务端会根据移动端传递给他的流水critedate是否大于服务端数据库的流水critedate，判断是否进行合并更新处理。

多端设备情况：如：我有设备A，另外一个设备B更新这个流水后数据同步到服务端，服务端更新数据后将这个流水下发到设备A，这个时候这个流水的critedate比设备A的大，这个时候设备A需要进行数据合并覆盖本机。

5.流水的编辑与删除

编辑删除流水过程：查到本地数据的对应流水，修改流水金额后(或其它属性)，修改流水的critedate为当前时间，全局版本号变成服务端下发的最新全局版本号，然后存储本地数据库。

本地数据状态更新后，数据同步到服务端，服务端也会按照critedate比较结果进行数据的覆盖。

数据流水版本号和全局版本号都是数字，可以采用当前时间的时间戳定义的数字作为全局版本号，以下面的首次安装APP为例中，更新时间为1700205744730，这串1700205744730数字可以作为正好对应时间要生成的全局版本号。

6.本地数据合并

拿到服务端下发的数据，比较以下服务端下发的流水critedate是否大于本地数据的critedate，例如可以通过sql语句更新这条记录的所有字段，若本地无对应的流水，本地走新增的sql，插入数据到本地数据库。

以首次安装APP为例，

设备A上传数据：全局版本号version：1，创建一条数据流水，变更时间为1700205744730，流水版本号version：2，且同步到服务端的服务器；

服务端的服务器：根据写入时间来更新服务端，若写入时间比服务端的大，则更新，反之忽略；

设备B：先上传，后下拉请求服务器，即携带上传同步的数据，下拉后可获得全局版本号(version：1)，此处设备B的全局版本号也为version：1，是因为，服务器还没收到任意一个设备同步上传的数据，所以也给与设备B和设备A一样的全局版本号，服务端的服务器根据全局版本号，大于这个版本号的数据全部下发给设备B，设备B根据本地变更时间对比服务端的变更时间，如果比本地大，则更新数据流水，反之忽略；同时更新全局版本号为最新的全局版本号；

多台设备，多次操作同一条数据，服务端依据变更时间更新数据即可，多个设备同步即可和服务端数据保持一致。

举例解释

1、移动端开始添加/编辑/删除流水，全局版本号＝100，新增流水A(critedate＝100，流水版本号＝101[全局版本号+1])；

2、流水A进行本地数据落库(SQLITE)；

3、触发同步，传递[全局版本号]，[查询流水版本号大于全局版本号的流水]，这里查出来流水A(101>100)，打包同步到服务端；

4、服务端解析合并，假如此时服务端存储的[全局版本号]＝104，得到最新的[全局版本号]＝105；

服务端拿到流水A，critedate＝100，若当前服务端无此数据，直接插入数据库，如果服务端存在此数据，比较流水A的critedate是否大于数据库里面的流水A的critedate，若大，覆盖数据，覆盖数据的时候，该条流水的流水版本号＝得到最新的[全局版本号]+1＝106，否则，不执行操作；

5、服务端合并结束后，通过文件流的形式将最新的[全局版本号]和比移动端传递过去的[全局版本号]大的流水打包以json文件形式下发到移动端；

6、移动端得到服务端下发的数据，一、解析出最新的全局版本号，二、解析出所有的数据流水，比较critedate是否大于本地对应流水的critedate，是进行数据更新，否不执行操作，若本地不存在此数据，走新增。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多设备数据的增量同步方法，其特征在于，包括以下步骤：

S100：服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

S200：移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端；

S300：服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端；

S400：回到步骤S200，进行下一个循环。

2.根据权利要求1所述的基于多设备数据的增量同步方法，其特征在于，所述的步骤S200中，创建数据流水的创建动作包括：添加、编辑、删除中的任意一种。

3.根据权利要求1所述的基于多设备数据的增量同步方法，其特征在于，所述的正数A等于1。

4.根据权利要求1所述的基于多设备数据的增量同步方法，其特征在于，所述的正数B等于1。

5.根据权利要求1所述的基于多设备数据的增量同步方法，其特征在于，所述移动端数据的上传和服务端数据的下发是通过文件流的形式进行数据的解析和存储。

6.根据权利要求5所述的基于多设备数据的增量同步方法，其特征在于，文件流的文件形式为json文件或xml文件中的任意一种。

7.根据权利要求1所述的基于多设备数据的增量同步方法，其特征在于，全局版本号的赋值可采用当前时间生成的时间戳。

8.基于多设备数据的增量同步系统，其特征在于，包括服务端，

所述的服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端。

9.基于多设备数据的增量同步系统，其特征在于，包括移动端，

所述的移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端。

10.基于多设备数据的增量同步系统，其特征在于，包括服务端和移动端，

所述的服务端定义数据的全局版本号，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号小于等于全局版本号，打包数据下发移动端；

服务端接收数据，生成新的全局版本号，新的全局版本号的赋值规则为上传数据的全局版本号+正数B；

服务端判断数据流水是否需要更新，判断规则为：如果服务端无此数据流水，直接增加该数据流水，如果服务端存在此数据流水，比较上传的数据流水的时间戳是否大于服务端已存在的数据流水的时间戳，若大，覆盖该数据流水，覆盖该数据流水时，重新生成数据流水的数据流水版本号＝新的全局版本号+正数A，否则不执行操作；

找到数据流水版本号大于上传数据的全局版本号的数据流水，打包数据下发移动端；

所述的移动端接收数据，判断数据流水是否需要更新，判断规则为：如果移动端无此数据流水，直接增加该数据流水，如果移动端存在此数据流水，比较下发的数据流水的时间戳是否大于移动端已存在的数据流水的时间戳，若大，覆盖该数据流水，否则不执行操作；

移动端创建数据流水，根据当前时间生成数据流水的时间戳，生成数据流水的数据流水版本号＝全局版本号+正数A；找到数据流水版本号大于全局版本号的数据流水，打包数据上传服务端。