CN113986937A - 一种客户端数据更新的方法、系统和介质 - Google Patents

Abstract

本发明公开了一种客户端数据库更新的方法，系统和介质，属于数据库更新领域。针对现有数据库更新资源浪费严重且效率慢的问题，本发明提供一种客户端数据库更新的方法，包括如下步骤：S1：服务端接收客户端中数据库版本号；S2：服务端进行对比服务端当前版本的数据与客户端现行版本的数据，得到数据阈值，将数据阈值与标准阈值进行比较；S3：超过标准阈值则进行全量更新；S4：不超过标准阈值时则进行增量更新。本发明通过将数据阈值与标准阈值进行对比选择数据库的更新方式，保证数据库更新效率的同时提高数据的准确性，且在数据发生丢失的情况下加快了数据恢复的时间。本发明的系统分工明确且组成简单，兼顾了全量更新和增量更新两种方式的优点。

Description

一种客户端数据更新的方法、系统和介质

技术领域

本发明属于数据库更新技术领域，更具体地说，涉及一种客户端数据库更新的方法，系统和介质。

背景技术

在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件，于是数据正在成为一个重要的资源，越来越多的应用都会调用或者存储大量的数据用于应用服务，因此，数据库是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。随着信息不断的增加，如何高效的更新数据库中的数据成为业界关注的问题。目前，在现有技术中，产生新的数据后，会用新的数据更新数据库中的数据。更新方式有两种，一种是全量更新，一种是增量更新，其中全量更新通常需要将完整数据发送给数据库进行更新，由于全量更新需要将原有数据和新的数据均下载到客户端，这样必然导致浪费网络流量，但这种备份方式最大的好处就是在恢复丢失数据时，只需要对一个完整的备份进行操作就能够恢复丢失数据，大大加快系统或数据恢复的时间；增量更新则仅将新的数据发送给数据库更新，所以相较于全量更新它最大的好处在于其所需存储空间最少的(相同的变化情况下)，当然在数据还原上来说，它的恢复时间是最长的，效率较低。恢复数据时，需要在第一次完备的基础上，整合每次的一个变化情况。因此，如何兼顾全量更新和增量更新的优点成为实际的数据库更新中亟待解决的问题。

如中国专利申请号CN201710187958.X，公开日为2017年7月21日，该专利公开了一种基于版本的APP低流量数据更新系统和方法，涉及数据更新技术领域。该方法中，数据库采用A/B数据表+路由表的形式，通过记录增量数据并更新数据和数据版本，实现了无缝数据更新，当APP端请求数据时，服务端通过判断其携带版本号与当前版本号，将其中的增量信息和更新数据返回给APP端，而没有发生变动的非更新数据不会返回给APP端。该专利的不足之处在于：虽能极大的提高更新效率，但是更新的准确率无法达到保障。

又如中国专利申请号CN201210276188.3，公开日为2014年2月12日，该专利公开了一种数据库的更新方法及系统，解决数据库更新过程中资源消耗大的问题。所述的方法包括：在全量数据表中建立结束表和未结束表，其中，结束表中存储业务执行完毕的业务数据，未结束表中存储业务执行中的业务数据；接收增量数据表发送的增量数据，其中，所述增量数据包括处于完成状态的业务数据和/或处于未完成状态的业务数据；分别查询每个增量数据的状态；其中，若所述增量数据的状态为完成，则识别所述增量数据为业务执行完毕的业务数据，在全量数据表的结束表的末尾添加所述增量数据的记录；若所述增量数据的状态为未完成，则识别所述增量数据为业务执行中的业务数据，在全量数据表的未结束表中添加所述增量数据的记录。该专利的不足之处在于：该方法虽然能够有效提高效率，但是整体数据库的更新仍然耗费流量与时间。

发明内容

1、要解决的问题

针对现有数据库更新资源浪费严重且效率慢的问题，本发明提供一种客户端数据库更新的方法。本发明通过将数据阈值与标准阈值进行对比选择数据库的更新方式，保证数据库更新效率的同时提高数据的准确性，且在数据发生丢失的情况下加快了数据恢复的时间。本发明的系统分工明确且组成简单，兼顾了全量更新和增量更新两种方式的优点。

2、技术方案

为解决上述问题，本发明采用如下的技术方案。

一种客户端数据库更新的方法，包括如下步骤：

S1：服务端接收客户端中数据库版本号并进行判断：若客户端中的数据库版本号与服务端数据库版本号一致则不更新，若不一致则进行下一步；

S2：服务端进行对比服务端当前版本的数据与客户端现行版本的数据，得到数据阈值，将数据阈值与标准阈值进行比较；

S3：超过标准阈值则进行全量更新，服务端将当前版本的数据库文件发送至客户端现行版本的数据库中，客户端进行下载且替换现行版本的数据库，形成新版本的数据库；

S4：不超过标准阈值时则进行增量更新，服务端将更新的数据文件发送至客户端现行版本的数据库中，客户端进行下载且与客户端现行版本的数据库进行融合，形成新版本的数据库。

更进一步的，当进行全量更新时，服务端发送至客户端的文件为DB格式；当进行增量更新时，服务端发生至客户端的文件为SQL格式。

更进一步的，所述数据阈值的具体计算公式如下：

数据阈值＝(默认全量文件的下载时间+全量更新的压缩包解压时间)/全量文件中单条数据的更新时间-(默认增量文件的下载时间)/增量文件中单条数据的更新时间；

其中，全量文件指的是当前版本的数据库文件；增量文件指的是更新的数据文件。

更进一步的，全量文件中单条数据的更新时间＝全量文件中单条数据的实时更新时间*(1～1.2)；增量文件中单条数据的更新时间＝增量文件中单条数据的实时更新时间*(0.8～1)。

一种使用如上述任一项客户端数据库更新的方法的系统，包括：

联网模块，用于服务端与客户端之间的通信；

判断模块，依据联网模块的结果，用于判断服务端与客户端两者的数据库版本号；

计算模块，依据判断模块的结果，用于对比服务端当前版本的数据与客户端现行版本的数据，并计算得到数据阈值；

比较模块，依据计算模块的结果，用于将数据阈值与标准阈值进行比较；

更新模块，依据比较模块的结果，用于执行对应的更新方式即选择全量更新或是增量更新。

更进一步的，还包括校验模块，依据计算模块的结果，用于将数据阈值进行核对检验计算。

更进一步的，还包括预警模块，用于实时监测联网模块、判断模块、计算模块、比较模块和更新模块的工作状态。

一种介质，所述存储介质有多条指令，所述指令适于处理器进行加载，以执行上述任一项所述的一种客户端数据库更新的方法中的步骤。

3、有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明通过根据对比服务端当前版本的数据与客户端现行版本的数据得到数据阈值，再将其与标准阈值进行比较从而选择合适的数据库更新方式，打破了传统数据库更新选择单一方式更新所带来的效率慢且资源浪费严重的问题；通过将数据阈值与标准阈值进行对比选择数据库的更新方式，能够较为合理的保证数据库更新效率的同时提高数据的准确性，且在数据发生丢失的情况下极大的加快了系统或数据恢复的时间，整个数据库更新的方法操作简便，精准率高；

(2)本发明通过在全量更新时服务端发送至客户端的数据文件格式为DB格式，该格式的文件具有较好的可伸缩性，且该格式的文件提供了高层次的数据利用性、完整性、安全性、可恢复性以及小规模到大规模应用程序的执行能力，可同时激活上千个活动线程，保证全量更新时数据传输的效率；在增量更新时服务端发送至客户端的数据文件格式为SQL格式，该格式的文件具有高可用性，且增强了数据的安全性，保证增量更新数据传输的准确性；

(3)本发明通过使用公式对数据阈值进行一个实时计算，通过考虑新旧版本数据库内数量多少以及更新方式所需时间这两个重要因素，确定一个数据阈值的计算，提高计算出来的数据阈值的准确性，为后续选择合理的更新方式奠定基础，保证整个数据库更新的顺利进行；同时因时间与网速具有较大的关系，因此对两种方式的单条数据更新时间都用一个时间系数进行修正，确保结果的准确性能；

(4)本发明的客户端数据更新系统依靠每个模块执行对应的功能，分工明确且组成简单，兼顾了全量更新和增量更新两种方式彼此的优点；同时为了进一步保证计算模块的准确性，增加了校验模块，用于将数据阈值进行核对检验计算，避免出现误差；且通过预警模块对各个模块进行实时监测，保证各个模块能够顺利工作且当发生故障时能够准确判断出是哪个模块的问题，提高了故障排查的时间与效率。

附图说明

图1为本申请的流程示意图。

具体实施方式

下面结合具体实施例和附图对本发明进一步进行描述。

实施例1

如图1所示，一种客户端数据库更新的方法，包括如下步骤：

S1：服务端接收客户端中数据库版本号并进行判断：若客户端中的数据库版本号与服务端数据库版本号一致则不更新，若不一致则进行下一步；在这里进行说明的是，客户端的数据库联网后会自动将客户端的数据库版本号发送至服务端，由服务端最新版的数据版本号与客户端数据版本号进行对比，当两者的版本号没有差别时服务端则无需发送更新指令；当版本号不一致时则服务端发送更新语句至客户端；

S2：服务端进行对比服务端当前版本的数据与客户端现行版本的数据，得到数据阈值，将数据阈值与标准阈值进行比较，现行版本即是指客户端发送至服务端的当前数据库版本；在这里进行说明的是，数据阈值的选择可以有多种选择，可以简单的对比服务端当前版本数据库内的数据与客户端现行版本数据库的数据之差，即数据量的差值与标准阈值进行比较；这里标准阈值的选取是经过多次试验测试得到的一个固定值，该固定值的选择依照工作环境进行对应的选择；

当然，考虑到仅仅对比数据量的差值存在数据的不准确性，因此在本实施中所述数据阈值的具体计算公式如下：

数据阈值＝(默认全量文件的下载时间+全量更新的压缩包解压时间)/全量文件中单条数据的更新时间-(默认增量文件的下载时间)/增量文件中单条数据的更新时间；此公式考虑到新旧版本数据库内数量多少以及更新方式所需时间这两个重要因素，消除了仅对比数据量的差值存在的误差，进一步提高了整个过程的准确性。

在该公式中，全量文件指的是当前版本的数据库文件；增量文件指的是更新的数据文件；默认全量文件的下载时间即是指当服务端进行对比服务端当前版本的数据与客户端现行版本的数据后默认选择全量更新的方式所需要的时间；默认增量文件的下载时间即是指当服务端进行对比服务端当前版本的数据与客户端现行版本的数据后默认选择增量更新的方式所需要的时间；这里的全量或增量文件下载时间是根据文件大小除以大数据测算出的客户平均网速所得。在这里进行说明的是，当服务端进行对比服务端当前版本的数据与客户端现行版本的数据之后，会得到具体新版本数据与现行版本数据的差值，可根据该差值确定好下载时间、解压时间和更新时间；

更进一步的，考虑到网速的种类不同，且时间与网速关联性较大，因此在本实施中全量文件中单条数据的更新时间＝全量文件中单条数据的实时更新时间*(1～1.2)；增量文件中单条数据的更新时间＝增量文件中单条数据的实时更新时间*(0.8～1)；网速可包括无线网速、5G网速、4G网速、3G网速、2G网速等，考虑到网速的不稳定性，因此将全量或增量更新中的单条数据的实时更新时间都分别乘以一个修正系数，在一定程度上消除网络不稳定所带来的影响，进而确保结果的准确性能。

S3：超过标准阈值则进行全量更新，服务端将当前版本的数据库文件发送至客户端现行版本的数据库中，客户端进行下载且替换现行版本的数据库，形成新版本的数据库；具体的为，当使用全量更新时，服务端将直接下发整个数据库文件到客户端数据库，客户端下载全部的数据库文件，下载完毕后客户端删除旧版本的数据库，用新下载的数据库文件替换，则客户端的数据库更新为最新版的数据库；

S4：不超过标准阈值时则进行增量更新，服务端将更新的数据文件发送至客户端现行版本的数据库中，客户端进行下载且与客户端现行版本的数据库进行融合，形成新版本的数据库；具体的，服务端将客户端现行版本数据库之后的更新数据包生成文件下发到到客户端，客户端下载该更新文件后，执行增量更新语句，将更新数据包与客户端旧版本的数据库进行融合形成当前版本的数据库。

本发明通过根据对比服务端当前版本的数据与客户端现行版本的数据得到数据阈值，再将其与标准阈值进行比较从而选择合适的数据库更新方式，打破了传统数据库更新选择单一方式更新所带来的效率慢且资源浪费严重的问题；通过将数据阈值与标准阈值进行对比选择数据库的更新方式，能够较为合理的保证数据库更新效率的同时提高数据的准确性，且在数据发生丢失的情况下极大的加快了系统或数据恢复的时间，整个数据库更新的方法操作简便，精准率高。

同时，当进行全量更新时，服务端发送至客户端的文件为DB格式，该格式的文件具有较好的可伸缩性，且该格式的文件提供了高层次的数据利用性、完整性、安全性、可恢复性以及小规模到大规模应用程序的执行能力，可同时激活上千个活动线程，保证全量更新时数据传输的效率；当进行增量更新时，服务端发生至客户端的文件为SQL格式，该格式的文件具有高可用性，且增强了数据的安全性，保证增量更新数据传输的准确性。

实施例2

一种使用如上述实施例所述的客户端数据库更新的方法的系统，包括：

联网模块，用于服务端与客户端之间的通信；客户端通过联网模块将其版本号发送至服务端；服务端通过该联网模块向客户端发送相应指令；

判断模块，依据联网模块的结果，用于判断服务端与客户端两者的数据库版本号，若客户端中的数据库版本号与服务端数据库版本号一致则不更新，若不一致则进行更新，判断模块的结果发送至计算模块；

计算模块，依据判断模块的结果，用于对比服务端当前版本的数据与客户端现行版本的数据，并计算得到数据阈值；

比较模块，依据计算模块的结果，用于将数据阈值与标准阈值进行比较；在这里进行说明的是，标准阈值也是使用数据阈值的公式进行训练得到的，通过大量的样本数据测试以及不断的求取平均值所得到的，不同的环境其标准阈值的选取并不相同，视具体情况而定。

更新模块，依据比较模块的结果，用于执行对应的更新方式即选择全量更新或是增量更新，增量更新下载的更新数据包相对比较小，则所需耗费的流量较小，客户端数据库的更新时间短，效率高，同时，由于数据量较小，数据错误率大大降低，一般不需要进行数据恢复；在数据增加量较大时，由于数据增量的容量占全部数据的比重较大，执行全量更新，将完整数据发送给数据库更新，并没有浪费太多的网络流量；并且在恢复丢失数据时，只需要对一个完整的备份进行操作就能够恢复丢失数据，大大加快了系统或数据恢复的时间。

本发明的客户端数据更新系统依靠每个模块执行对应的功能，分工明确且组成简单，兼顾了全量更新和增量更新两种方式彼此的优点。更进一步的，本系统还包括校验模块，依据计算模块的结果，用于将数据阈值进行核对检验计算，为了进一步保证计算模块的准确性，增加了校验模块，用于将数据阈值进行核对检验计算，避免出现误差，为后续选择合适的更新方式提供精准的基础；且还包括预警模块，用于实时监测联网模块、判断模块、计算模块、比较模块和更新模块的工作状态，通过预警模块对各个模块进行实时监测，保证各个模块能够顺利工作且当发生故障时能够准确判断出是哪个模块的问题，提高了故障排查的时间与效率。

实施例3

一种存储介质，所述存储介质有多条指令，所述指令适于处理器进行加载，以执行上述任一项所述的一种客户端数据库更新的方法中的步骤。在本实施例中的存储介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。

Claims (8)

1.一种客户端数据库更新的方法，其特征在于：包括如下步骤：

S1：服务端接收客户端中数据库版本号并进行判断：若客户端中的数据库版本号与服务端数据库版本号一致则不更新，若不一致则进行下一步；

S2：服务端进行对比服务端当前版本的数据与客户端现行版本的数据，得到数据阈值，将数据阈值与标准阈值进行比较；

S3：超过标准阈值则进行全量更新，服务端将当前版本的数据库文件发送至客户端现行版本的数据库中，客户端进行下载且替换现行版本的数据库，形成新版本的数据库；

S4：不超过标准阈值时则进行增量更新，服务端将更新的数据文件发送至客户端现行版本的数据库中，客户端进行下载且与客户端现行版本的数据库进行融合，形成新版本的数据库。

2.根据权利要求1所述的一种客户端数据库更新的方法，其特征在于：当进行全量更新时，服务端发送至客户端的文件为DB格式；当进行增量更新时，服务端发生至客户端的文件为SQL格式。

3.根据权利要求1所述的一种客户端数据库更新的方法，其特征在于：所述数据阈值的具体计算公式如下：

数据阈值＝(默认全量文件的下载时间+全量更新的压缩包解压时间)/全量文件中单条数据的更新时间-(默认增量文件的下载时间)/增量文件中单条数据的更新时间；

其中，全量文件指的是当前版本的数据库文件；增量文件指的是更新的数据文件。

4.根据权利要求3所述的一种客户端数据库更新的方法，其特征在于：全量文件中单条数据的更新时间＝全量文件中单条数据的实时更新时间*(1～1.2)；增量文件中单条数据的更新时间＝增量文件中单条数据的实时更新时间*(0.8～1)。

5.一种使用如权利要求1-4任一项客户端数据库更新的方法的系统，其特征在于：包括：

联网模块，用于服务端与客户端之间的通信；

判断模块，依据联网模块的结果，用于判断服务端与客户端两者的数据库版本号；

计算模块，依据判断模块的结果，用于对比服务端当前版本的数据与客户端现行版本的数据，并计算得到数据阈值；

比较模块，依据计算模块的结果，用于将数据阈值与标准阈值进行比较；

更新模块，依据比较模块的结果，用于执行对应的更新方式即选择全量更新或是增量更新。

6.根据权利要求5所述的一种客户端数据库更新的系统，其特征在于：还包括校验模块，依据计算模块的结果，用于将数据阈值进行核对检验计算。

7.根据权利要求5或6所述的一种客户端数据库更新的系统，其特征在于：还包括预警模块，用于实时监测联网模块、判断模块、计算模块、比较模块和更新模块的工作状态。

8.一种介质，其特征在于：所述存储介质有多条指令，所述指令适于处理器进行加载，以执行权利要求1-4中任一项权利要求所述的一种客户端数据库更新的方法中的步骤。

Images