CN102855275A - 一种无网络环境下基于知识库的移动数据库同步方法及系统 - Google Patents

Abstract

本发明公开了一种无网络环境下基于知识库的移动数据库同步方法及系统，并提出了基于时间戳和权限级数的可追回同步方法用作数据冲突消解方法，可极大消解无网络环境下移动设备长期离线进行操作后数据同步的冲突。

Description

一种无网络环境下基于知识库的移动数据库同步方法及系统

技术领域

本发明涉及移动数据库同步技术领域，尤其涉及在无网络环境下的移动数据库同步，该移动数据库同步可以基于知识库。

背景技术

移动数据库，是指在移动环境中的分布式数据库，其数据在物理上分布而在逻辑上集中，是一种动态的分布式数据库。移动数据库可以支持移动用户在无线网络环境下有效地访问所需数据，完成数据查询和事务处理。由于移动数据库需要在终端设备存储数据副本，所以当多个用户对数据副本的同一元组进行更新时，就可能导致数据冲突。现有的数据库厂商都提供各自的移动数据同步组件，以解决可能出现的数据冲突问题，但是这些同步组件都是基于公共无线网络环境下的。

而在一些特殊的无线网络接入受限的场景，例如：需要屏蔽无线信号的高安全敏感场所、因自然灾害或人为破坏导致无线网络瘫痪的地区等，需要移动终端进行现场办公并需要与后台系统进行数据的上传下载以及同步，此时现有的移动数据库及其同步技术无法满足需求。

而且现有的移动数据库同步方法，例如时间戳法、权限法、语义法以及随机数法等，作为通用方法很难适合每一个应用领域，当发生数据冲突时，很多情况仍需要人工参与消除冲突，导致移动数据库系统的全局提交率低下。而在无网络环境下，由于移动数据库需要长期离线进行操作，各个数据副本在最后进行全局提交之前是彼此不透明的，数据时效性比无线网络弱连接时更差，发生数据冲突时更加难以采用前述通用的同步方法消除，因此，需要引入在应用领域处理数据冲突的决策机制。

发明内容

因而，需要一种移动数据库在无网络环境下的数据同步方法。该数据同步方法在任务开始时从固定连接站点下载数据，然后离线地在移动环境下进行业务操作，当任务完成时再次从固定连接站点上传数据。

本发明的目的即旨在解决前述现有技术所存在的一个或更多个问题，提供一种无网络环境下的移动数据库同步方法及相应的系统，并且该同步方法可以基于知识库从而引入了一种相对于现有的通用同步方法更具优势的处理数据冲突的决策机制。

为实现上述目的，根据本发明的一个方面，提供了一种移动数据库同步系统，用于无网络环境下，包括通过有线网络连接的移动数据库、分发服务器、发布服务器，其中发布服务器将任务数据下发到分发服务器，移动数据库通过网络从分发服务器获取任务数据，然后脱离网络进行离线作业，移动数据库作业后再次通过网络将任务数据上传给分发服务器。

根据本发明的具体技术方案，其中，所述系统还可以包括同步服务器，用于对移动数据库所上传的任务数据进行检测并消除数据冲突。

根据本发明的具体技术方案，其中，同步服务器与分发服务器合为一个本地分发服务器。

根据本发明的具体技术方案，其中，移动数据库获取任务数据采用基于事务的数据发布方式或采用基于快照的大容量数据库文件的数据发布方式。

根据本发明的具体技术方案，其中，同步服务器对任务数据进行检测包括变化捕捉，用以获取移动数据库的数据更新信息。

根据本发明的具体技术方案，其中，变化捕捉采用基于触发器法或基于日志分析法。

根据本发明的具体技术方案，其中，消除数据冲突采用基于时间戳和权限级数的可追回同步方式。

根据本发明的具体技术方案，其中，在合理的时间差内，权限高的用户更新数据时，即使更新时间晚于权限低的用户的更新时间，在同步时也可以将数据项追回到权限高的用户更新的值，但如果超过了合理的时间差，权限高也无法追回数据的更新。

根据本发明的具体技术方案，其中，在合理的保护时间差内，率先对数据进行修改的记录成功提交，即使权限高也不能追回数据的修改，但超过了保护时间，如果权限高的用户仍执意修改数据，则可以追回对数据的修改。

根据本发明的具体技术方案，其中，消除数据冲突除了采用可追回同步方式，还可以包括基于时间戳方式、基于权限级数方式的一种或多种。

根据本发明的具体技术方案，其中，包括基于时间戳方式、基于权限级数方式的数据冲突消解方法构成冲突消解规则库。

根据本发明的具体技术方案，其中，规则库预先建立冲突消解方法调度表。

根据本发明的具体技术方案，其中，检测数据更新情况并根据冲突消解方法调度表来配置相应的参数。

根据本发明的具体技术方案，其中，根据所获得的用户对冲突消解方法的反应，对冲突消解方法及其参数进行调整。

根据本发明的另一方面，提供了一种移动数据库同步方法，使用上述的移动数据库同步系统，其适合于无网络环境下，包括通过有线网络连接的移动数据库、分发服务器、发布服务器，其中发布服务器将任务数据下发到分发服务器，移动数据库通过网络从分发服务器获取任务数据，然后脱离网络进行离线作业，移动数据库作业后再次通过网络将任务数据上传给分发服务器。

根据本发明的具体技术方案，其中，所述方法还可以包括同步服务器，用于对移动数据库所上传的任务数据进行检测并消除数据冲突。

根据本发明的具体技术方案，其中，所述方法的同步服务器与分发服务器合为一个本地分发服务器。

根据本发明的具体技术方案，其中，所述方法的移动数据库获取任务数据采用基于事务的数据发布方式或采用基于快照的大容量数据库文件的数据发布方式。

根据本发明的具体技术方案，其中，所述方法的同步服务器对任务数据进行检测包括变化捕捉，用以获取移动数据库的数据更新信息。

根据本发明的具体技术方案，其中，所述方法的变化捕捉采用基于触发器法或基于日志分析法。

根据本发明的具体技术方案，其中，所述方法的消除数据冲突采用综合考虑并基于时间戳和权限级数的可追回同步方式。

根据本发明的具体技术方案，其中，所述方法还可以在合理的时间差内，权限高的用户更新数据时，即使更新时间晚于权限低的用户的更新时间，在同步时也可以将数据项追回到权限高的用户更新的值，但如果超过了合理的时间差，权限高也无法追回数据的更新。

根据本发明的具体技术方案，其中，所述方法还可以在合理的保护时间差内，率先对数据进行修改的记录成功提交，即使权限高也不能追回数据的修改，但超过了保护时间，如果权限高的用户仍执意修改数据，则可以追回对数据的修改。

根据本发明的具体技术方案，其中，所述方法的消除数据冲突除了采用可追回同步方式，还可以包括基于时间戳方式、基于权限级数方式的一种或多种。

根据本发明的具体技术方案，其中，所述方法的包括基于时间戳方式、基于权限级数方式的数据冲突消解方法构成冲突消解规则库。

根据本发明的具体技术方案，其中，所述方法的规则库预先建立冲突消解方法调度表。

根据本发明的具体技术方案，其中，所述方法的检测数据更新情况并根据冲突消解方法调度表来配置相应的参数。

根据本发明的具体技术方案，其中，所述方法还可以根据所获得的用户对冲突消解方法的反应，对冲突消解方法及其参数进行调整。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的移动数据库同步系统的整体架构示意图；

图2为根据本发明的移动数据库同步系统的同步系统架构示意图；

图3为本发明系统中所采用的基于快照的大容量数据库文件的数据发布方法示意图；

图4为在数据冲突消解方法中，单独的基于时间戳或基于权限的冲突消解方法中的数据冲突判定问题；

图5为本发明系统中规则库原理图；

图6为本发明系统中知识库运行流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的系统整体架构如图1所示。该系统的整体均采用有线网络，因而不存在无线网络特有的安全隐患，适用于限制无线接入的高安全场所，以及因自然灾害或人为破坏导致无线网络瘫痪的情况，而且还可以用于无线同步技术的备选有线同步方案等。

具体地，多个移动数据库可以分别通过位置1处的接入点1、位置2处的接入点2分别与同步服务器通信，同步服务器与分发服务器通信，分发服务器与发布服务器通信，分发服务器和发布服务器分别为特定的数据库服务器，即在文中数据库服务器分为发布服务器与分发服务器两种。发布服务器是系统的数据库实例，它通过数据发布方法（该系统的具体数据发布方法将于下文中具体阐述）向其他位置提供数据，可以有一个或多个发布，每个发布定义了一组要发布的数据。分发服务器也是一种数据库实例，它存储着移动数据库订阅的数据。在一次全局事务中，发布服务器将任务数据下发到分发服务器，各个移动数据库首先在各位置的USB转网口服务器连接到系统网络，再从分发服务器获取订阅数据，然后脱离网络进行离线作业，待作业完成后，再次将设备接入网络，上传任务数据到分发服务器，分发服务器检测并消除数据冲突，然后将此次的任务数据全局提交给发布服务器，这样就完成了一次完整的移动数据有线接入事务处理。后台系统的服务器应用程序以及用于检测消解冲突的同步引擎存储在同步服务器中。根据实际业务的需要，分发服务器与发布服务器也可能合为一个本地分发服务器。

该系统中，移动数据库在无网络环境下进行同步的方法以下进行更详细的阐述。该同步方法的架构如图2所示，该同步方法中主要涉及数据发布、变化捕捉、冲突消解方法、规则库与知识库。

数据发布

数据发布是移动数据库向分发数据库订阅数据的过程在该系统中根据实际情况主要以以下两种方式进行数据的发布：基于事务的数据发布和基于快照的大容量数据库文件的数据发布。

基于事务的数据发布方法是由同步引擎捕捉发布数据库或分发数据库中发生变化的元组，形成基于语义的变化记录，然后将该记录下传到移动数据库中存储的数据副本，移动数据库根据变化记录修改相应的数据项，以达到移动数据库与发布数据库数据同步的目的。基于事务的数据发布主要适用于任务中订阅数据发生变化不多的情况。

本发明的系统还可以采用基于快照的大容量数据库文件的数据发布。由于移动设备以及移动数据库引擎的性能有限，当订阅数据发生的变化很多时，移动设备的变化解析模块需要对移动数据库进行大量的插入、更新以及删除操作，这些操作将会花费大量的时间。而本发明是基于有线接入的方法，不需要无线GPRS接入所需要的通信资费，而且有线接入方法的通信带宽大速率高，基于这些特点，本发明的系统提供了基于快照的大容量数据库文件的数据发布方法，如图3所示。

基于快照的大容量数据库文件的数据发布方法的基本原理是通过在同步服务器生成移动数据库文件，然后将数据库文件拷贝到移动设备上。

目前很多移动数据库都支持桌面版本，例如SQL Compact、SQLite等。同步服务器首先根据移动设备中移动数据库的框架，在本地创建一个移动数据库。然后将分发数据库中的被订阅的数据抽取出来，生成快照，插入到本地的移动数据库中，这个过程可能还需要对数据的结构进行调整，因为移动数据库中的表结构和分发数据库可能不一致。最后将桌面上生成的移动数据库文件通过网络拷贝到移动设备上。这种方法充分利用了桌面电脑的计算性能以及本发明使用有线通信环境下通信带宽大速率高但不需要大量通信资费的特点，在数据变化大、数据量大的情况下使用效率要远高于传统的移动同步中的基于事务的数据发布方法。

变化捕捉

变化捕捉是指获取源数据库的数据更新信息(即待同步的数据对象)，它是基于事务的数据同步的前提。本发明对分发数据库的变化捕捉根据应用特点可以采用传统的基于触发器法或基于日志分析法。这两种方法都是现有的变化捕捉方法，故对这两种方法的描述不再赘述。

本发明对移动数据库的变化捕捉主要是依赖统一的数据库访问接口层，移动应用程序对数据库的访问必须通过这层接口。这层接口中的函数会记录对移动数据库的修改，存储成变化记录文件，以备同步使用。

冲突消解方法

如果多个移动数据副本对统一数据项进行修改，当进行数据同步时，会产生数据冲突。目前常用的传统移动数据库同步的通用冲突消解方法主要有基于时间戳的冲突消解法、基于权限的冲突消解法、基于随机数的冲突消解法以及基于特定语义的冲突消解法等。

但在无线接入受限的场所，移动设备需要长时间离线进行操作，操作过程中数据难以及时共享，所以无论基于时间戳或基于权限的冲突消解方法很难适用于无网络环境的移动数据同步。经常发生本应由用户A操作更合理的数据项，却因为信息不能及时共享而被用户B抢先操作，此时如果采用基于时间戳的方式设定规则为数据抢先更新，则用户B提交成功，用户A提交失败，这种规则不符合实际应用的需要，这种情况如图4(a)所示。若采用基于权限的方式设定规则为用户A的权限大于用户B，则用户B提交失败，用户A也提交成功，但实际情况有可能是虽然在同一时刻用户B虽然对该数据项得操作没有用户A合理，但由于用户A是在用户B操作完该数据项之后很长一段时间才开始操作该数据项，所以实际情况还是由用户B操作更为合理，但实际结果确是用户A操作的结果，这种情况如图4(b)所示。由此可见，传统的基于时间戳或基于权限的数据消解方法在无网络环境中都由于设备长期离线，数据不能及时共享而导致不能适合许多应用场合。

本发明的系统借鉴基于时间戳与基于权限的冲突消解方法，创造性地提出了一种基于时间戳与权限级数的可追回同步方式，在合理的时间差内，权限高的用户更新数据时，即使更新时间晚于权限低的用户的更新时间，在同步时也可以将数据项追回到权限高的用户更新的值。但如果超过了合理的时间差，权限高也无法追回数据的更新。该可追回同步方式还可以衍生为，在合理的保护时间差内，率先对数据进行修改的记录成功提交，即使权限高也不能追回数据的修改，但超过了保护时间，如果权限高的用户仍执意修改数据，则可以追回对数据的修改。

具体地，本方法的数学描述如下：

设事件为E，用户为U，用户对数据项的操作时间戳为T，用户拥有的权限级数为P。

当检测到有冲突发生时，假设用户A对自己的移动数据副本中冲突项进行操作的时间戳为T_A，在此次事件中的权限级数为P_A，用户B对自己的移动数据副本中冲突项进行操作的时间戳为T_B，在此次事件中的权限级数为P_B，

则时间差ΔT_AB=T_A-T_B；

权限级数差ΔP_AB=P_A-P_B；

冲突结果R_E=M×(ΔP_AB×S-ΔT_AB)。

其中M为模式因子，取值为M∈{-1,+1}，S为事件修正因子。

关于M因子和S因子的叙述如下：

M为模式因子，当M=1时，本方法的模式为可追回模式，即在合理的时间差内，权限高的修改可以覆盖权限低的修改；当M=-1时，本方法的模式为保护时间模式，即必须超过合理的保护时间，权限高的修改才能覆盖权限低的修改。这其中，时间差的合理取值（即合理的时间差的值）可根据实际情况而确定，并根据实际需要不断作出调整。

S为事件修正因子，根据事件的不同，用来根据事件设置权限级数的差可以追回多少合理的时间，即S=f(E)。通常S是根据应用中具体的一种事件设置的一个经验值，然后还可以通过知识库分析历史经验不断修正S的取值来满足用户的需求。知识库内容将在下文更具体地阐述。

计算结果R_E>0时，用户A的提交成功，用户B的提交失败；当R_E<0时，用户B的提交成功，用户A的提交失败；当R_E=0时，算法视A和B同等条件竞争，系统可以随机设置用户A提交成功或用户B提交成功。

权限级数与事件的类型和用户的身份有关，即P=f(E,U)，通常采用查找表的方式，为用户按照应用事件的种类设置权限等级。当用户数量较大时，还可以引入角色的概念，权限等级与事件类型和角色身份有关，即P=f(E,Role)，角色跟用户身份有关，即Role=f(U)。

规则库与知识库的设计

本发明创造性地提出的基于时间戳与权限级数的可追回同步方法作为无网络环境下冲突消解方法的补充，可以满足部分无网络环境的用户需求，可以和传统的冲突消解方法共存。规则库就是根据事件类型合理调度冲突消解方法库中的方法进行冲突消解的模块。规则库原理图如图5所示。

本架构的每个更新数据包至少包括以下几个部分事件类型、时间戳、用户身份以及更新描述等。规则库通过识别事件类型，在冲突消解方法调度表中查找预先设置的解决该类事件的方法，然后再根据冲突消解的方法配制相应参数，例如如果选择基于时间戳与权限级数的可追回同步方法还需要配制时间戳，查找用户身份对应的权限级数等。

冲突消解方法调度表的配制根据应用的需求由系统设计师预先设定的。方法选择的是否合理、方法参数的配制是否合理（例如基于时间戳与权限级数的可追回同步方法的S因子等）需要由冲突消解后用户是否满意其结果来评价。由于方法的选择以及方法参数的配制大多是根据经验进行的，所以难免存在冲突消解结果不合理、用户体验不佳的情况，此时还需要由用户与系统设计师进行沟通重新配制规则库。

在本发明所提出的移动数据同步冲突消解方法中，还可以通过添加每次冲突消解的用户满意度评价机制，记录每次发生冲突的事件，构建冲突消解历史记录数据集市，在此基础上进行统计分析，形成知识库，如果发现某种方法或参数配制的用户满意度不高，则根据应用领域本体的描述重新更改方法或调整参数，直到用户满意为止，如图6所示，这也是一个机器学习的过程。

本方法中数据集市的数据源主要是记录冲突消解过程与用户满意度评价，以及对应用本体的描述（例如应用领域中的事件、规则等）。数据分析的方法可以由系统设计师根据各自领域的需求选取恰当的分析模型。以应用基于时间戳与权限级数的可追回同步方法为例，分析主题为“每种事件中每个区间的时间差每个权限级数差每个M因子每个区间的S因子的用户满意度”，该主题的维数为6，分别为事件类型、时间差区间、权限级数差、M因子、S因子区间和用户满意度，以该主题构建6维立方体，通过对立方体进行操作得到分析结果，查看在某类事件中的某种参数配制下采用基于时间戳与权限级数的可追回同步方法用户的满意度是否达到预期。通过该种方法，可以借助历史数据对冲突消解的规则作出科学的决策。

综上，本发明满足了一些无线网络受限的特殊环境下使用移动设备进行现场办公的需求，例如需要屏蔽无线信号的高安全敏感场所、因自然灾害或人为破坏导致无线网络瘫痪的地区等，填补了这一领域的空白。

在本发明的系统及方法中，操作人员首先通过有线连接从任务发布站点下载数据，然后离线进行移动办公，任务结束后再将移动设备有线接入任务发布站点上传数据。系统在全局提交前具有冲突检测及消解功能，能最大限度的消解应用领域中的各种数据冲突问题。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动数据库同步系统，用于无网络环境下，包括通过有线网络连接的移动数据库、分发服务器、发布服务器，其中

发布服务器将任务数据下发到分发服务器，

移动数据库通过网络从分发服务器获取任务数据，然后脱离网络进行离线作业，移动数据库作业后再次通过网络将任务数据上传给分发服务器。

2.根据权利要求1所述的移动数据库同步系统，其中还包括同步服务器，用于对移动数据库所上传的任务数据进行检测并消除数据冲突。

3.根据权利要求1所述的移动数据库同步系统，其中移动数据库获取任务数据采用基于事务的数据发布方式或采用基于快照的大容量数据库文件的数据发布方式。

4.根据权利要求2所述的移动数据库同步系统，其中同步服务器对任务数据进行检测包括变化捕捉，用以获取移动数据库的数据更新信息。

5.根据权利要求4所述的移动数据库同步系统，其中变化捕捉采用基于触发器法或基于日志分析法。

6.根据权利要求2所述的移动数据库同步系统，其中消除数据冲突采用基于时间戳和权限级数的可追回同步方式。

7.根据权利要求6所述的移动数据库同步系统，其中在合理的时间差内，权限高的用户更新数据时，即使更新时间晚于权限低的用户的更新时间，在同步时也将数据项追回到权限高的用户更新的值，但如果超过了合理的时间差，权限高也无法追回数据的更新。

8.根据权利要求6所述的移动数据库同步系统，其中在合理的保护时间差内，率先对数据进行修改的记录成功提交，即使权限高也不能追回数据的修改，但超过了保护时间，如果权限高的用户仍执意修改数据，则追回对数据的修改。

9.根据权利要求2所述的移动数据库同步系统，其中包括基于时间戳方式、基于权限级数方式的数据冲突消解方法构成冲突消解规则库。

10.一种移动数据库同步方法，使用根据权利要求1-9的移动数据库同步系统。

Images