CN1866961A - 一种客户系统与服务系统数据同步的方法及系统 - Google Patents

Abstract

本发明涉及通讯技术领域中一种客户系统与服务系统数据同步的方法及系统。所述方法主要包括：首先，客户系统与服务系统间进行数据一致性检测，将服务系统中需要同步到客户系统的数据保存在缓冲区中；将缓存区中的数据同步到客户系统。本发明实现了当服务系统配置的数据变更时，可以将数据变更的消息同步到所有客户系统，达到客户系统与服务系统数据同步的目的，避免了单个客户系统的操作而改变服务系统配置数据时引起的其他客户系统的操作错误，并且可以根据用户的选择执行同步操作，灵活性强。

Description

一种客户系统与服务系统数据同步的方法及系统

技术领域

本发明涉及通讯技术领域，尤其涉及一种数据同步的方法及系统。

背景技术

目前在多个客户系统使用同一个服务系统的情况下，多客户系统间存在数据不能同步的问题；如图1所示，两个客户系统之间不存在任何联系，假定最初的时候两个客户系统上的配置数据都和服务系统是一致的，如果这时当一个客户系统A的用户对服务系统进行了一些操作，修改了服务系统上的配置数据，这样就会造成客户系统B上的数据和服务系统上的数据不一致，此时客户系统B的用户看到的是在客户系统A用户修改前的信息，由此客户系统B做的进一步的操作可能就会是错误的。

发明内容

本发明的目的在于提供一种客户系统与服务系统数据同步的方法及系统，当服务系统配置的数据变更时，将所述数据变更的消息广播给客户系统，通知所有客户系统有数据发生了变更，达到客户系统与服务系统数据同步的目的。

本发明的目的是通过以下技术方案实现的：

一种客户系统与服务系统数据同步的系统，包括服务系统及客户系统，

服务系统侧设置有缓冲区、消息同步模块；

所述缓冲区，用于存储数据变更消息；

所述消息同步模块，用于将缓冲区中缓存的数据变更消息同步到各客户系统。

所述服务系统侧还设置有数据变更通知消息的操作集合，用于设置需要进行数据同步的所有操作。

所述缓冲区中数据变更消息具体包括：变更消息在缓冲区中的位置序号、数据变更所操作对象的唯一标识、触发此数据变更的用户标识ID、数据变更发生的时间信息、数据变更涉及的原子操作数目、变更数据的详细操作信息。

客户系统侧设置有位置信息存储模块，用于保存位置信息，所述位置信息用于记录上次同步数据的位置，作为下次进行同步操作的起点。

所述客户系统上设置有查询服务系统中数据变更消息的接口及查询服务系统上最后一个数据变更消息的位置消息的接口。

一种客户系统与服务系统数据同步的方法，包括：

A、将服务系统中需要同步到客户系统的数据保存在缓冲区中；

B、将缓存区中的数据同步到客户系统。

执行所述步骤A前还包括：

客户系统与服务系统间进行数据一致性检测，判断是否需要执行数据同步操作。

所述客户系统与服务系统间进行数据一致性检测的方法包括：服务系统上报机制、客户系统主动检测机制、用户人为检测机制。

所述服务系统上报机制具体包括：

服务系统接收到客户系统的操作命令后，查找服务系统中的操作集合，判断所述操作是否需要进行数据同步操作。

所述客户系统主动检测机制具体包括：

当客户系统重新登录服务系统时，或者用定时器来控制，由客户系统主动发起，利用位置信息，定时查询服务系统当前数据更新位置是否与客户系统中保存的位置信息一致，来进行数据一致性检测。

所述用户人为检测机制具体包括：

用户触发客户系统执行一致性校验，由客户系统返回校验结果显示给用户。

所述步骤B中数据同步操作包括：半自动数据同步和自动数据同步。

所述半自动数据同步包括用客户系统的数据覆盖服务系统来同步和从服务系统同步，所述从服务系统同步包括增量同步和全量同步。

所述适用全量同步的条件包括：

服务系统中需要处理的同步消息在缓冲区中已经绕接或异常丢失，造成无法进行增量同步；或，

其它客户系统用户对服务系统做过配置数据清除或者全量下载同步操作；或，

其它客户系统用户对服务系统做过的修改数量超过规定门限；或，

客户系统第一次连接上服务系统或和服务系统间通信异常中断后重新连接上服务系统。

所述增量同步的方法具体包括：

查找到服务系统上对应的数据同步流程，依次对所有消息调用数据同步流程中每一项的预处理函数，按照数据同步流程执行每一个功能项的同步函数，若执行成功，则更新已同步消息位置信息，作为下次进行同步操作的起点；或，若没有未处理的消息事件，则修改客户系统的标志为一致态。

所述步骤B具体包括：

B1、服务系统提供数据变更信息给客户系统，不包含数据变更的具体内容；

B2、用户收到此消息后，通过查询或同步命令接口来查看或同步数据变更消息的详细信息。

所述步骤B还包括：

在数据同步过程中锁定服务系统，整个同步操作完成后对服务系统解锁。

所述锁定服务系统的方法包括：使服务系统处于单用户模式。

由上述本发明提供的技术方案可以看出，本发明实现了当服务系统配置的数据变更时，可以将数据变更的消息同步到所有客户系统，达到客户系统与服务系统数据同步的目的，避免了单个客户系统的操作而改变服务系统配置数据时引起的其他客户系统的操作错误，并且可以根据用户的选择执行同步操作，灵活性强。

附图说明

图1为现有技术两个客户系统使用同一个服务系统示意图；

图2为本发明所述系统一种实施例架构示意图；

图3为本发明执行数据一致性检测中采用服务系统上报机制一种实施例操作流程；

图4为本发明执行数据一致性检测中采用客户系统主动检测机制一种实施例操作流程；

图5为本发明执行数据一致性检测中采用人为检测一种实施例操作流程；

图6为本发明从服务系统同步数据一种实施例操作流程；

图7为本发明按服务系统增量同步数据一种实施例操作流程；

图8为本发明按客户系统同步数据一种实施例操作流程。

具体实施方式

本发明的核心思想是提供一种客户系统与服务系统数据同步的方法及系统，当服务系统配置的数据变更时，将所述数据变更的消息保存在一个缓冲区Buffer中，并同时生成一个数据变更通知消息DATA_CHANGED，广播给客户系统，通知所有客户系统有数据发生了变更，达到客户系统与服务系统数据同步的目的。

本发明提供一种客户系统与服务系统数据同步的系统，一种实施例架构示意图如图2所示，所述系统在服务系统侧设置有缓冲区Buffer，用于存储数据变更的消息。在缓冲区中数据变更消息具体包括：变更消息在Buffer中的位置序号、数据变更所操作对象的唯一标识ID、触发此数据变更的用户ID、数据变更发生的时间信息、数据变更涉及的原子操作数目wOpCnt、变更数据的详细操作信息OpList[wOpCnt]等；其中所述OpList是操作的详细信息，由1～wOpCnt个原子操作组成，包括：原子操作、操作附带参数长度、操作参数的指针等；

服务系统侧还设置有消息同步模块，用于将缓冲区中缓存的数据变更消息同步到各客户系统，该模块主要通过客户系统提供的位置信息来控制每次同步的数据，即，每次同步操作完成后，客户系统上记录当前完成的同步数据的位置信息，用于下次进行同步操作的起点，以减少系统工作量；

服务系统侧还设置有数据变更通知消息的操作集合，用于设置需要进行数据同步的所有操作；由于每一条系统命令，都可以采用如下方式表达：

Somebody+Do+Something+Attribute；

所述的Somebody是服务系统上管理的对象，每个对象都有一个唯一的全局编号ID，本实施例在对象中增加一个变量来标识该对象的操作是否需要上报，缺省都为不上报，对于系统中比较重要的对象，则修改上报标志为需要上报；

所述的Do是对应客户系统下发的具体操作，可以分为三类，包括：设置set、查询get和操作act；对于所述查询get命令，不会对服务系统中的数据产生影响，不需要上报数据变更消息；对于设置set和操作act命令，一般会直接变更服务系统上的数据，但是为了避免数据变更消息过于频繁而对客户系统和服务系统间的正常通信造成影响，需要根据此操作的重要性和操作的影响范围大小来设置是否需要进行数据同步；

所述Something表示针对Somebody具体的操作，即是Somebody最终被操作的对象；

所述Attribute表示此操作的附带属性，如操作命令的参数等；

对于一些特殊情况需要进行优化设置，如一些具有关联关系的操作，包括针对某对象多次重复的操作，多次重复操作后的结果和最初的数据是一样的，或在对某对象进行了一系列的操作后，接着又删除了此对象的情况；对于这些较为特殊的情况，只需要上报整个操作的最后结果，则这些命令之间的关联信息就需要在设置时加以描述，如可以在发现有命令变更了对象的数据时，增加短时的等待，如1分钟，如果这段时间内该对象的数据没有再发生变更则进行同步操作，否则继续等待一段时间，直到最后所有操作完成后只执行一次同步操作；服务系统上也可以忽略操作的中间影响，只需保存最终的操作结果；

本发明所述系统在客户系统侧保存有位置信息，用于记录上次同步数据的位置；客户系统侧还设置有是否与服务系统信息一致的标志。

客户系统上查询服务系统中数据变更消息的接口的定义如下表：

接口功能描述	查询服务系统中数据变更Buffer中的详细内容
			命令码及返回码	CMD_GET_DETAIL_CHANGED_DATA
参数	参数位置	参数及取值范围说明
				0～3	startPos：查询消息Buffer中的开始位置，包括这个值，无符号整数；

		0表示从Buffer的第一条开始查询。
				4～7	changeNum：查询的记录条数；0表示不限制，查询到Buffer中最新一条。
	8	要不要用户自己造成的变更消息：0表示不要，1表示要
			参数及取值	参数位置	参数及取值范围说明
	0～1	成功失败标志；
				2～5	数据变更消息序号
	6～11	时间戳，年月日时分秒
				12～19	用户名
	20～21	命令字个数
				22～23	引起配置变更的操作(从这个字段开始循环)
	24～25	操作的参数长度N；
				26～26+n	操作的附带参数段，长度为N；
	……	下一个引起配置变更的操作，循环；
				……
备注	1：此命令是一个请求对应多个响应，每个响应都是变长的，长度和导致此变更的操作数目有关系；2：startPos表示消息在Buffer中的起始位置；因为Buffer大小是受系统内存等条件所限制的，所以不可能无限大，当消息记录到Buffer末尾后就回到头进行绕接；客户系统上保存有上次同步的位置和最近一条变更消息的位置，如果发现最近变更的位置在上次同步位置之前或者绕接后又到了上次同步位置之后，则表示消息Buffer已经进行了绕接，可能有部分数据已经被覆盖，此时就不能通过本接口来查询，而是需要进行数据上载来进行全量数据同步；3：如果Buffer中实际的消息记录数量小于changeNum要求的数量，返回实际的数量。

客户系统上查询服务系统上最后一个数据变更消息的位置消息的接口的定义如下表：

接口功能	查询服务系统上最后一个数据变更消息的位置，不管Buffer是否有记录；
			命令码及返回码	CMD_GET_LAST_CHANGED_POS
参数	参数位置	参数及取值范围说明
				无
参数及取值	参数位置	参数及取值范围说明
				0～1	成功失败标志；这个命令不应该失败。

	2～3	Buffer中的记录数，可能是0；
				4～7	最后一个数据变更消息的位置，不管Buffer是否为空，若没有发生过数据变更则返回0；

本发明提供一种客户系统与服务系统数据同步的方法，所述方法一种实施例操作流程如下所述：

首先，步骤1：客户系统与服务系统间进行数据一致性检测，若需要执行数据同步操作，则将变更的数据保存在缓冲区中；

该一致性检测的方法包括：服务系统上报机制、客户系统主动检测机制、用户人为检测机制；

所述服务系统上报机制是正常运行时的检测流程，在客户系统对服务系统进行操作时，服务系统接收到客户系统的操作命令后，查找服务系统中的操作集合，判断所述操作是否需要进行数据同步操作，当需要同步操作时，将该操作变更的数据存入缓冲区，上报数据变更消息DATA_CHANGED，如图3所示，客户系统显示数据不一致，从而用户得知服务系统与客户系统的数据不一致消息；

所述客户系统主动检测机制是服务系统上报机制的补充，如图4所示，其触发条件是：客户系统重新登录服务系统，或者用定时器来控制，由客户系统主动发起，定时查询服务系统当前数据更新位置，判断是否与所述客户系统中保存的位置信息一致，将查询结果显示给用户，并确定有无数据变更；客户系统上要保存上次同步成功时消息在服务系统Buffer中的位置信息，以便客户系统通过查询数据变更详细信息接口得到详细信息或从服务系统上同步数据；

所述用户人为检测机制如图5所示，是用户主动进行客户系统和服务系统的数据一致性校验，用户触发客户系统执行一致性校验，由客户系统返回校验结果显示给用户；

若不需要执行数据同步操作，则继续进行检测操作；

步骤2：若需要执行数据同步操作，则消息同步模块将缓存区中的数据同步到客户系统；

消息同步模块主要通过客户系统提供的位置信息来控制每次同步的数据，即，每次同步操作完成后，客户系统上记录当前完成的同步数据的位置信息，用于下次进行同步操作的起点，以减少系统工作量；

服务系统和客户系统之间的数据同步可以分为两种：半自动数据同步和自动数据同步；

所述半自动数据同步是指服务系统上报数据变更消息后，在用户干预下进行同步，包括从服务系统同步和用客户系统的数据覆盖服务系统来同步，所述从服务系统同步包括增量同步和全量同步；

所述自动数据同步是指完全不需要用户参与，每隔一段时间，如果检测到客户系统数据和服务系统数据不一致，客户系统自动对数据不一致的服务系统发起同步操作请求；

用户可以根据需要选择是否使用自动数据同步的功能，考虑到数据的正确性和安全性，自动数据同步功能缺省为不使能；使用自动数据同步不影响半自动数据同步，在定时间隔没到的情况下用户可以使用半自动同步的功能提前同步。

从服务系统同步数据的操作如图6所示，表示用户接受服务系统的配置数据变更，客户系统从服务系统上同步数据；包括增量同步和全量同步两种；

满足下面任何一条情况，就应该使用全量同步策略：

1)服务系统中需要处理的同步消息在Buffer中已经绕接或异常丢失，造成无法进行增量同步；

2)其它客户系统用户对服务系统做过配置数据清除或者全量下载同步操作；

3)其它客户系统用户对服务系统做过一些影响较大的修改，或以门限值来限定，当修改量超过规定门限值时；

4)客户系统第一次连接上服务系统或和服务系统间通信异常中断后重新连接上服务系统。

按服务系统增量同步的操作流程如图7所示，具体操作包括：首先查询服务系统上当前变更消息在Buffer中的位置，判断是否符合全量同步条件，若符合全量同步条件，则执行全量同步上载；若不符合，则查找到服务系统上对应的数据同步流程，依次对所有消息调用数据同步流程中每一项的预处理函数，当存在功能项需要上载时，执行全量上载同步；否则按照数据同步流程执行每一个功能项的同步函数，若执行成功，则更新已同步消息位置信息，若没有未处理的消息事件，修改客户系统的标志为一致态；

不论是采用增量同步还是全量同步的方式，都可能会在同步的过程中再生成了新的DATA_CHANGED消息，为此可以在同步时锁定服务系统，直到整个同步完成后才对服务系统解锁，这就要求服务系统在整个同步过程中不处理其它客户系统的任何操作，可行的办法就是在同步过程中使服务系统处于单用户模式。若同步过程中不能锁定服务系统，则需要容忍数据同步之后马上再次变成不一致的状态，或者采用逐步逼近策略，同步完成之后要检查是否还有新的事件，若有则再同步一次，直到没有新的事件为止；

所述用客户系统的数据覆盖服务系统同步机制，如图8所示，是在用户不接受服务系统的配置变更情况下执行的，使用全量下载同步；

消息同步模块发送至客户系统的数据变更消息包括：服务系统ID、数据变更消息在消息Buffer中的位置序号、触发数据变更的用户ID、数据变更发生的时间信息等；

为了避免每次上报变更消息的数据量过大而可能对服务系统和客户系统之间的正常通信造成影响，因此，上报的消息中只包含了一些最基本的信息，并不包含数据变更的具体内容，即具体每个命令字及其详细的参数等信息；用户收到此消息后，可以进一步通过查询或同步命令接口来查看或同步数据变更消息的详细信息。

综上所述，本发明实现了当服务系统配置的数据变更时，可以将数据变更的消息同步到所有客户系统，达到客户系统与服务系统数据同步的目的。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (18)

1、一种客户系统与服务系统数据同步的系统，包括服务系统及客户系统，其特征在于，

服务系统侧设置有缓冲区、消息同步模块；

所述缓冲区，用于存储数据变更消息；

所述消息同步模块，用于将缓冲区中缓存的数据变更消息同步到各客户系统。

2、如权利要求1所述的一种客户系统与服务系统数据同步的系统，其特征在于，所述服务系统侧还设置有数据变更通知消息的操作集合，用于设置需要进行数据同步的所有操作。

3、如权利要求1所述的一种客户系统与服务系统数据同步的系统，其特征在于，所述缓冲区中数据变更消息具体包括：变更消息在缓冲区中的位置序号、数据变更所操作对象的唯一标识、触发此数据变更的用户标识ID、数据变更发生的时间信息、数据变更涉及的原子操作数目、变更数据的详细操作信息。

4、如权利要求1所述的一种客户系统与服务系统数据同步的系统，其特征在于，客户系统侧设置有位置信息存储模块，用于保存位置信息，所述位置信息用于记录上次同步数据的位置，作为下次进行同步操作的起点。

5、如权利要求1所述的一种客户系统与服务系统数据同步的系统，其特征在于，所述客户系统上设置有查询服务系统中数据变更消息的接口及查询服务系统上最后一个数据变更消息的位置消息的接口。

6、一种客户系统与服务系统数据同步的方法，其特征在于，包括：

A、将服务系统中需要同步到客户系统的数据保存在缓冲区中；

B、将缓存区中的数据同步到客户系统。

7、如权利要求6所述的一种客户系统与服务系统数据同步的方法，其特征在于，执行所述步骤A前还包括：

客户系统与服务系统间进行数据一致性检测，判断是否需要执行数据同步操作。

8、如权利要求7所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述客户系统与服务系统间进行数据一致性检测的方法包括：服务系统上报机制、客户系统主动检测机制、用户人为检测机制。

9、如权利要求8所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述服务系统上报机制具体包括：

服务系统接收到客户系统的操作命令后，查找服务系统中的操作集合，判断所述操作是否需要进行数据同步操作。

10、如权利要求8所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述客户系统主动检测机制具体包括：

当客户系统重新登录服务系统时，或者用定时器来控制，由客户系统主动发起，利用位置信息，定时查询服务系统当前数据更新位置是否与客户系统中保存的位置信息一致，来进行数据一致性检测。

11、如权利要求8所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述用户人为检测机制具体包括：

用户触发客户系统执行一致性校验，由客户系统返回校验结果显示给用户。

12、如权利要求6所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述步骤B中数据同步操作包括：半自动数据同步和自动数据同步。

13、如权利要求6所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述半自动数据同步包括用客户系统的数据覆盖服务系统来同步和从服务系统同步，所述从服务系统同步包括增量同步和全量同步。

14、如权利要求13所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述适用全量同步的条件包括：

服务系统中需要处理的同步消息在缓冲区中已经绕接或异常丢失，造成无法进行增量同步；或，

其它客户系统用户对服务系统做过配置数据清除或者全量下载同步操作；或，

其它客户系统用户对服务系统做过的修改数量超过规定门限；或，

客户系统第一次连接上服务系统或和服务系统间通信异常中断后重新连接上服务系统。

15、如权利要求13所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述增量同步的方法具体包括：

查找到服务系统上对应的数据同步流程，依次对所有消息调用数据同步流程中每一项的预处理函数，按照数据同步流程执行每一个功能项的同步函数，若执行成功，则更新已同步消息位置信息，作为下次进行同步操作的起点；或，若没有未处理的消息事件，则修改客户系统的标志为一致态。

16、如权利要求6所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述步骤B具体包括：

B1、服务系统提供数据变更信息给客户系统，不包含数据变更的具体内容；

B2、用户收到此消息后，通过查询或同步命令接口来查看或同步数据变更消息的详细信息。

17、如权利要求6所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述步骤B还包括：

在数据同步过程中锁定服务系统，整个同步操作完成后对服务系统解锁。

18、如权利要求17所述的一种客户系统与服务系统数据同步的方法，其特征在于，所述锁定服务系统的方法包括：使服务系统处于单用户模式。

Images