CN103916482A - 一种基于sqlite的数据同步传输方法 - Google Patents

Abstract

本发明涉及一种基于sqlite的数据同步传输方法，与现有技术相比解决了没有可靠地、快速地数据传输方法的缺陷。本发明包括以下步骤：初始化本地数据库；本地数据存储更新；数据同步模块监听网络；服务器接收数据；服务器反馈数据；版本对比。本发明实现了断网环境和有网环境的数据传输，并且数据之间不会产生冲突。

Description

一种基于sqlite的数据同步传输方法

 

技术领域

本发明涉及数据传输技术领域，具体来说是一种基于sqlite的数据同步传输方法。

 

背景技术

移动互联网的快速发展、网络传输技术的改善以及智能终端的普及，使得各种智能终端的应用产品应运而生，为人们的日常生活和办公带来了极大的方便。这些产品在使用过程中往往需要和服务器端程序进行网络交互，以达到上传、获取及同步数据的目的。传统的交互方式一般有以下两种：

1、在线C/S通信方式，该方式通过网络提供即时的客户端与服务端间的通信，这种方式的优点是，数据即时同步，没有同步数据冲突的问题，缺点是对网络稳定性要求较高，在通信过程中出现网络故障会造成数据通信失败，用户无法继续使用甚至是数据丢失；

2、传统离线同步方式，该方法的基本原理是，用户在终端处理的数据先存在本地，在有网络的时候，用户手动去选择同步数据到服务端，该类方法一定程度了缓解了终端对网络的依赖程度，但也降低了客户端与服务端数据同步的实时性，而且该类同步方法一般在单一终端使用时效果较好，一旦在同一账户下有多终端同时使用的情况就容易造成数据冲突。

而若将以上两种方式结合，则又会产生数据冲突的问题，并且目前的数据同步方法随着数据传输量越来越大，也导致其反应速度越来越慢。如何研究出一种快速地、可靠地数据同步传输方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中没有可靠地、快速地数据传输方法的缺陷，提供一种基于sqlite的数据同步传输方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于sqlite的数据同步传输方法，包括以下步骤：

初始化本地数据库，将sqlite数据库模板拷贝到本地数据库，作为智能终端数据存储的载体，并且在数据库文件名称中加入用户ID号，在数据库中划分出业务数据表和本地更新数据版本表；

本地数据存储更新，智能终端将数据存储到本地sqlite数据库，在数据库中生成一条数据更新版本记录并触发数据同步模块进行一次数据同步处理；

数据同步模块监听网络，数据同步模块监听同步请求并检测网络，根据网络情况选择上传数据或回发请求命令；

服务器接收数据，服务器接收到智能终端同步请求的数据，对其进行业务逻辑判断和处理后，将其更新到服务器数据库中；

服务器反馈数据，服务器接收数据处理完成后，生成反馈数据发送给智能终端；

版本对比，智能终端接收到反馈数据后，根据反馈数据的版本状态与本地数据进行版本比对，更新智能终端本地数据。

所述的本地数据存储更新包括以下步骤：

数据同步模块接收智能终端所发出的业务数据处理指令；

判断数据处理的指令类型；

若指令类型为查询指令，则直接执行并返回查询结果；

若指令类型为新增数据指令,则分析该新增指令，获取待新增数据指令的关键值，向本地更新数据版本表生成一条数据版本记录，版本号Version为1,并在业务数据表中执行新增版本记录指令；

若指令类型为更新数据指令语句，则分析该更新数据指令，获取待更新数据指令的关键值；判断数据版本记录中有无对应的数据，如无则在本地更新数据版本表生成一条数据版本记录，版本号Version为1，并在业务数据表中执行更新版本记录指令；若有则在本地更新数据版本表的该版本记录上将Version加1，并在业务数据表中执行更新版本记录指令。

所述的数据同步模块监听网络包括以下步骤：

当本地更新数据版本表中版本表有记录时，通知数据用户模块进行智能终端本地数据的上传处理；

数据同步模块监听同步请求，若检测到网络正常时，主动发起一次与服务器的同步请求；若没有监听到同步请求命令且网络正常的情况下，数据同步模块在间隔规定的时间向自身发起一个请求命令；

上传本地更新数据版本表找到相应的版本记录，根据版本记录到业务数据表中抽取更新数据，数据按照业务数据表进行分类，每个数据表的数据放在一个数组中，将对应数据版本号Version也一同保存到数据结构中；

数据结构定义按照JSON标准进行组织，其中DownLoadTime为上次同步成功时间，第一次同步为空，TableList为列表类型值，包含更新数据表的数据定义，包括version字段，均以key-value的形式进行定义；

将上次同步传输成功的时间告知服务器接口。

所述的服务器接收数据包括以下步骤：

服务器接收到上传的数据后，检查TableList列表中是否含有数据，若含有数据，则循环TableList列表，根据Table_1、Table_2或Table_n表名来判断各表内数据做不同的业务逻辑处理；

若对应表中的数据符合相应的业务逻辑，则判断服务器数据库中是否已存在该条数据，若存在则做更新处理，不存在则做新增处理；如果对应表中的数据不符合相关的业务逻辑，则不将该条数据同步到服务器数据库，并记录下数据ID； 

若上传的数据与服务器数据发生冲突，判断冲突类型；

若是服务器和智能终端同时修改了同一条数据时，如果服务器修改时间在先，智能终端修改时间在后，则将智能终端的数据覆盖服务器数据，反之则不覆盖服务器数据；

若智能终端和服务器所发生冲突为名称或其它唯一字段发生重复冲突，则在上传的数据发生冲突的字段后添加后缀标识后再做数据更新。

所述的服务器反馈数据包括以下步骤：

待接收数据处理完成后，生成反馈数据，反馈的数据包括：客户端新增数据、合并数据、服务器更新数据；

将反馈数据按照JSON标准进行组织定义，其中DownLoadTime为本次同步成功的服务器时间， TableList为列表类型值，包含有更新数据表的数据定义，包括version字段，均以key-value的形式进行定义；设定类型为列表的Error数据定义，其中ErroeCode存放的是错误码、ErroeMsg存放的是错误提示消息；

将反馈数据传送给智能终端。

所述的版本对比包括以下步骤：

智能终端接收到服务器反馈的数据后，检查TableList列表中是否含有数据，若存在则循环遍历列表中的每条数据，检索本地数据是否存在对应的业务数据，如果不存在对应的业务数据，则直接插入到智能终端的本地sqlite数据库中；

若本地数据存在业务数据，且本地更新数据版本表中没有对应的版本记录，则直接将反馈数据更新到本地数据库中；

若本地存在业务数据，且本地更新数据版本表中存在对应的版本记录，则进行版本比较，若版本相同则允许更新到本地数据库，若版本不同则不更新本地数据库；

若TableList中不含数据则跳过对TableList列表的循环遍历处理；

处理完TableList列表后，判断Error列表中有无数据，若有数据，则循环遍历其中的每条数据，将错误数据和错误信息显示。

 

有益效果

本发明的一种基于sqlite的数据同步传输方法，与现有技术相比实现了断网环境和有网环境的数据传输，并且数据之间不会产生冲突。通过sqlite小巧、实用的特性，将sqlite数据库作为数据载体，提高了响应速度。通过增加了数据版本比对步骤，防止了数据冲突，同时实时检测终端网络状态，可以及时发起同步请求，终端和服务器数据近乎一致。解决了终端离线不能使用的问题，不因网络状况阻断用户使用，并大大提高终端数据同步的及时性、准确性，可以很好的改善终端在使用过程中的体验，适合应用于移动互联网领域多终端数据同步实现。

 

附图说明                      

图1为本发明连接关系图

图2为本发明方法流程图

图3为本发明所述的本地数据存储更新的方法流程图

其中，1-智能终端、2-服务器、3-数据同步模块。

 

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图2所示，本发明所述的一种基于sqlite的数据同步传输方法，包括以下步骤：

第一步，初始化本地数据库，将sqlite数据库模板拷贝到本地数据库，作为智能终端1数据存储的载体，并且在数据库文件名称中加入用户ID号，在数据库中划分出业务数据表和本地更新数据版本表。如图1所示，智能终端1与服务器2之间通过数据同步模块3进行数据传输。

利用sqlite小型数据库作为存储数据载体，在程序打包时将本地数据存储结构以sqlite数据库模板的形式放置在程序包中，程序第一次启动运行时，将模板拷贝到智能终端1的工作区做为本地数据库，同时为区分同一终端的不同用户的数据，数据库文件名称中包含用户在系统中的唯一ID。数据库中的表分为两种类型，业务数据表和本地更新数据版本表，其中业务数据表可有更具实际业务情况设置多张，主要存储各相关业务数据；版本表只有一张，用于存储本地更新的数据记录。

第二步，本地数据存储更新，智能终端1将数据存储到本地sqlite数据库，在数据库中生成一条数据更新版本记录并触发数据同步模块3进行一次数据同步处理。当智能终端1新增一条业务数据时，除要向业务数据表新增相关数据外，还需同时向本地更新数据版本表中增加一条数据版本记录，版本号Version设为1；当智能终端1业务数据有修改时，除要修改相关业务表数据外，还要先检查本地更新数据版本表中有无对应版本记录，有则将对应记录Version加1，无则新增一套版本数据，Version设为1。数据更新版本的处理完全在系统底层统一进行操作，对上层业务处理层完全透明，不增加业务处理层的任何复杂度。如图3所示，其具体步骤如下：

（1）数据同步模块3接收智能终端1所发出的业务数据处理指令。

（2）数据同步模块3判断数据处理的指令类型，是查询、新增或更新。

（3）若指令类型为查询指令，则直接执行并返回查询结果。

（4）若指令类型为新增数据指令,则分析该新增指令，获取待新增数据指令的关键值，根据分析所得，本地更新数据版本表生成一条数据版本记录，版本号Version为1,并在业务数据表中执行新增版本记录指令。

（5）若指令类型为更新数据指令语句，则分析该更新数据指令，获取待更新数据指令的关键值；判断数据版本记录中有无对应的数据，如无则在本地更新数据版本表生成一条数据版本记录，版本号Version为1，并在业务数据表中执行更新版本记录指令；若有则在本地更新数据版本表的该版本记录上将Version加1，并在业务数据表中执行更新版本记录指令。

由于数据是存放在分散的智能终端1上的，而这个给数据安全性带来了挑战，特别是一些敏感商业数据被窃取的危害是很大的，因此可以在图1的基础上对数据库中存储的数据的存和取需要进行加解密处理。在平衡了效率与安全性两者之后，可以选择DES作为我们统一的加密算法。但是每个终端的加密秘钥都不是相同的，秘钥的生成方法如下：将系统用户信息（如用户名、用户ID）和终端设备信息（如设备ID、网卡地址）等拼成一个字符串，在使用加密器生成一个全球唯一的秘钥串码，使用这个秘钥串码对数据加密可以最大限度的防止数据被窃取破译。

第三步，数据同步模块监听网络，数据同步模块3监听同步请求并检测网络，根据网络情况选择上传数据或回发请求命令。当数据同步模块3监听到同步请求同时又检测到网络正常时，主动发起一次与服务器的同步请求，根据智能终端1本地数据版本库中的记录，抽取需要同步上传的增量数据。另外在没有监听到同步请求命令且网络正常的情况下，数据同步模块3也会间隔规定的时间也会向自身发起一个请求命令。数据同步模块3的处理完全在后台运行，不影响终端使用的连续性。其具体步骤如下：

（1）当本地更新数据版本表中版本表有记录时，通知数据用户模块2进行智能终端1本地数据的上传处理。

（2）数据同步模块3监听同步请求，若检测到网络正常时，主动发起一次与服务器2的同步请求；若没有监听到同步请求命令且网络正常的情况下，数据同步模块3在间隔规定的时间向自身发起一个请求命令。

（3）上传本地更新数据版本表找到相应的版本记录，根据版本记录到业务数据表中抽取更新数据，数据按照业务数据表进行分类，每个数据表的数据放在一个数组中，将对应数据版本号Version也一同保存到数据结构中。

（4）数据结构定义按照JSON标准进行组织，其中DownLoadTime为上次同步成功时间，第一次同步为空，TableList为列表类型值，包含更新数据表的数据定义，包括version字段，均以key-value的形式进行定义。当本地一段时间内一直没有数据更新，后台的定时任务也会每间隔一段时间即向服务器请求一次数据同步，只是此时上传的数据TableList为空，其它的处理逻辑均相同。

（5）将上次同步传输成功的时间告知服务器2接口。智能终端1上传的数据只包含更新的增量部分，而不是全部，因此可以大大减少智能终端1与服务器2交互所需要花费的流量和时间。

第四步，服务器2接收数据，服务器2接收到智能终端1同步请求的数据，对其进行业务逻辑判断和处理后，将其更新到服务器2数据库中。其包括以下步骤：

（1）服务器2接收到上传的数据后，检查TableList列表中是否含有数据，若含有数据，则循环TableList列表，根据Table_1、Table_2或Table_n等表名来判断各表内数据做不同的业务逻辑处理。

（2）若对应表中的数据符合相应的业务逻辑，则判断服务器2数据库中是否已存在该条数据，若存在则做更新处理，不存在则做新增处理；如果对应表中的数据不符合相关的业务逻辑，则不将该条数据同步到服务器2数据库，并记录下数据ID。 

（3）若上传的数据与服务器2数据发生冲突，判断冲突类型。若是服务器2和智能终端1同时修改了同一条数据时，如果服务器2修改时间在先，智能终端1修改时间在后，则将智能终端1的数据覆盖服务器2数据，反之则不覆盖服务器2数据；若智能终端1和服务器2所发生冲突为名称或其它唯一字段发生重复冲突，则在上传的数据发生冲突的字段后添加后缀一再做数据更新，以此来解决数据冲突的问题。

第五步，服务器2反馈数据，服务器2接收数据处理完成后，生成反馈数据发送给智能终端1。反馈的数据包括：本次客户端新增数据、本次合并数据、本次服务端更新数据。其包括以下步骤：

（1）待接收数据处理完成后，生成反馈数据，反馈的数据包括：客户端新增数据、合并数据、服务器更新数据。本次新增数据不需要返回完整的数据，只需要返回同步状态；合并和服务端更新数据需要返回完整的数据。其中服务端更新数据以终端上传的上次同步成功时间为节点，取其后更新的增量数据。数据生成好后，将其反馈给终端，告知终端处理结果。

（2）将反馈数据按照JSON标准进行组织定义，其中DownLoadTime为本次同步成功的服务器时间， TableList为列表类型值，包含有更新数据表的数据定义，包括version字段，均以key-value的形式进行定义；设定类型为列表的Error数据定义，这里存放的是在服务器2处理发生业务逻辑验证错误或异常的数据，其中ErroeCode存放的是错误码、ErroeMsg存放的是错误提示消息。

（3）将反馈数据传送给智能终端1，告知智能终端1处理结果。

第六步，版本对比，智能终端1接收到反馈数据后，根据反馈数据的版本状态进行版本比对，更新智能终端1本地数据，对本地数据做新增、更新或不处理等操作。其包括以下步骤：

（1）智能终端1接收到服务器2反馈的数据后，检查TableList列表中是否含有数据，若存在则循环遍历列表中的每条数据，检索本地数据是否存在对应的业务数据，如果不存在对应的业务数据，则直接插入到智能终端1的本地sqlite数据库中。

（2）若本地数据存在业务数据，且本地更新数据版本表中没有对应的版本记录，则直接将反馈数据更新到本地数据库中；若本地存在业务数据，且本地更新数据版本表中存在对应的版本记录，则进行版本比较，若版本相同则允许更新到本地数据库，若版本不同则不更新本地数据库。

（3）若TableList中不含数据则跳过对TableList列表的循环遍历处理。

（4）处理完TableList列表后，判断Error列表中有无数据，若有数据，则循环遍历其中的每条数据，将错误数据和错误信息显示，终端用户可以对错误数据局进行手动处理，如修改本地错误数据、删除本地错误数据等。

本发明在数据同步传输过程中，如果一次同步没有成功，数据版本记录不会丢失，下次同步时会重新上传数据，这样可以有效避免终端数据丢失；同时由于引入了版本号标识，解决了数据冲突合并的问题；另外同步过程的数据均使用增量形式，大大减少终端与服务端交互是需要花费的流量和时间。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于sqlite的数据同步传输方法，其特征在于，包括以下步骤：

11）初始化本地数据库，将sqlite数据库模板拷贝到本地数据库，作为智能终端（1）数据存储的载体，并且在数据库文件名称中加入用户ID号，在数据库中划分出业务数据表和本地更新数据版本表；

12）本地数据存储更新，智能终端（1）将数据存储到本地sqlite数据库，在数据库中生成一条数据更新版本记录并触发数据同步模块（3）进行一次数据同步处理；

13）数据同步模块监听网络，数据同步模块（3）监听同步请求并检测网络，根据网络情况选择上传数据或回发请求命令；

14）服务器（2）接收数据，服务器（2）接收到智能终端（1）同步请求的数据，对其进行业务逻辑判断和处理后，将其更新到服务器（2）数据库中；

15）服务器（2）反馈数据，服务器（2）接收数据处理完成后，生成反馈数据发送给智能终端（1）；

16）版本对比，智能终端（1）接收到反馈数据后，根据反馈数据的版本状态与本地数据进行版本比对，更新智能终端（1）本地数据。

2.根据权利要求1所述的一种基于sqlite的数据同步传输方法，其特征在于，所述的本地数据存储更新包括以下步骤：

21）数据同步模块（3）接收智能终端（1）所发出的业务数据处理指令；

22）判断数据处理的指令类型；

23）若指令类型为查询指令，则直接执行并返回查询结果；

24）若指令类型为新增数据指令,则分析该新增指令，获取待新增数据指令的关键值，向本地更新数据版本表生成一条数据版本记录，版本号Version为1,并在业务数据表中执行新增版本记录指令；

25）若指令类型为更新数据指令语句，则分析该更新数据指令，获取待更新数据指令的关键值；判断数据版本记录中有无对应的数据，如无则在本地更新数据版本表生成一条数据版本记录，版本号Version为1，并在业务数据表中执行更新版本记录指令；若有则在本地更新数据版本表的该版本记录上将Version加1，并在业务数据表中执行更新版本记录指令。

3.根据权利要求1所述的一种基于sqlite的数据同步传输方法，其特征在于，所述的数据同步模块监听网络包括以下步骤：

31）当本地更新数据版本表中版本表有记录时，通知数据用户模块（2）进行智能终端（1）本地数据的上传处理；

32）数据同步模块（3）监听同步请求，若检测到网络正常时，主动发起一次与服务器（2）的同步请求；若没有监听到同步请求命令且网络正常的情况下，数据同步模块（3）在间隔规定的时间向自身发起一个请求命令；

33）上传本地更新数据版本表，找到相应的版本记录，根据版本记录到业务数据表中抽取更新数据，数据按照业务数据表进行分类，每个数据表的数据放在一个数组中，将对应数据版本号Version也一同保存到数据结构中；

34）数据结构定义按照JSON标准进行组织，其中DownLoadTime为上次同步成功时间，第一次同步为空，TableList为列表类型值，包含更新数据表的数据定义，包括version字段，均以key-value的形式进行定义；

35）将上次同步传输成功的时间告知服务器（2）接口。

4.根据权利要求1所述的一种基于sqlite的数据同步传输方法，其特征在于，所述的服务器接收数据包括以下步骤：

41）服务器（2）接收到上传的数据后，检查TableList列表中是否含有数据，若含有数据，则循环TableList列表，根据Table_1、Table_2或Table_n表名来判断各表内数据做不同的业务逻辑处理；

42）若对应表中的数据符合相应的业务逻辑，则判断服务器（2）数据库中是否已存在该条数据，若存在则做更新处理，不存在则做新增处理；如果对应表中的数据不符合相关的业务逻辑，则不将该条数据同步到服务器（2）数据库，并记录下数据ID； 

43）若上传的数据与服务器（2）数据发生冲突，判断冲突类型；

若是服务器（2）和智能终端（1）同时修改了同一条数据时，如果服务器（2）修改时间在先，智能终端（1）修改时间在后，则将智能终端（1）的数据覆盖服务器（2）数据，反之则不覆盖服务器（2）数据；

若智能终端（1）和服务器（2）所发生冲突为名称或其它唯一字段发生重复冲突，则在上传的数据发生冲突的字段后添加后缀标识后再做数据更新。

5.根据权利要求1所述的一种基于sqlite的数据同步传输方法，其特征在于，所述的服务器反馈数据包括以下步骤：

51）待接收数据处理完成后，生成反馈数据，反馈的数据包括：客户端新增数据、合并数据、服务器更新数据；

52）将反馈数据按照JSON标准进行组织定义，其中DownLoadTime为本次同步成功的服务器时间， TableList为列表类型值，包含有更新数据表的数据定义，包括version字段，均以key-value的形式进行定义；设定类型为列表的Error数据定义，其中ErroeCode存放的是错误码、ErroeMsg存放的是错误提示消息；

53）将反馈数据传送给智能终端（1）。

6.根据权利要求1所述的一种基于sqlite的数据同步传输方法，其特征在于，所述的版本对比包括以下步骤：

61）智能终端（1）接收到服务器（2）反馈的数据后，检查TableList列表中是否含有数据，若存在则循环遍历列表中的每条数据，检索本地数据是否存在对应的业务数据，如果不存在对应的业务数据，则直接插入到智能终端（1）的本地sqlite数据库中；

62）若本地数据存在业务数据，且本地更新数据版本表中没有对应的版本记录，则直接将反馈数据更新到本地数据库中；

若本地存在业务数据，且本地更新数据版本表中存在对应的版本记录，则进行版本比较，若版本相同则允许更新到本地数据库，若版本不同则不更新本地数据库；

63）若TableList中不含数据则跳过对TableList列表的循环遍历处理；

64）处理完TableList列表后，判断Error列表中有无数据，若有数据，则循环遍历其中的每条数据，将错误数据和错误信息显示。