CN109634979A - 数据更新方法及装置 - Google Patents

Abstract

本发明公开了一种数据更新方法及装置。其中，该方法包括：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。本发明解决了现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

Description

数据更新方法及装置

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种数据更新方法及装置。

背景技术

随着人工智能时代的来临，数据时代已经从大数据存储和计算转移到大数据实时线上应用的阶段，其中，Hadoop框架侧重于关注大量数据的存储，深度学习框架tensorflow侧重于关注大数据的高效计算，但是，对于已经积累了大量数据的互联网公司而言，如何实时或者在短时间内将存储和计算而来的大数据大规模更新到线上系统，并支持线上业务运营，已经是当前阶段要解决的主要问题。

但是，现有技术中大数据在线下生产环节中普遍存在数据异常问题，并且，将线下海量数据与线上系统进行同步时还存在批量操作限制的瓶颈。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据更新方法及装置，以至少解决现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

根据本发明实施例的一个方面，提供了一种数据更新方法，包括：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

进一步地，对获取到的待校验数据进行正确性校验，包括：检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；确定与上述数据类型对应的当前状态指标数据；比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

进一步地，依据上述比对结果确定上述待校验数据是否通过上述正确性校验，包括：依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；判断上述差异量数据是否处于预定差异范围内；若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

进一步地，在确定上述待校验数据未通过上述正确性校验的情况下，上述方法还包括：通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；基于排错处理后的上述生成日志重新生成上述待校验数据；对重新生成的上述待校验数据进行上述正确性校验。

进一步地，在对上述待校验数据进行增量计算得到增量数据之前，上述方法还包括：检测上述目标数据库的更新次数；在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

进一步地，上述待校验数据至少包括：第一全量数据和第二全量数据，对上述待校验数据进行增量计算得到增量数据，包括：获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；将上述数据状态发生变化的数据作为上述增量数据。

根据本发明实施例的另一方面，还提供了一种数据更新装置，包括：校验模块，用于对获取到的待校验数据进行正确性校验；计算模块，用于在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；更新模块，用于依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

进一步地，上述校验模块，包括：检测模块，用于检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；第一确定模块，用于确定与上述数据类型对应的当前状态指标数据；比对模块，用于比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；第二确定模块，用于依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行任意一项上述的数据更新方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行任意一项上述的数据更新方法。

在本发明实施例中，通过对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库，达到了在保证线下生产数据的正确性的前提下，及时快速地更新线上数据库的目的，从而实现了提高线上数据库的业务运营效率的技术效果，进而解决了现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种数据更新方法的流程图；

图2是根据本发明实施例的一种可选的数据更新方法的流程图；

图3是根据本发明实施例的一种可选的数据更新方法的流程图；

图4是根据本发明实施例的一种数据更新装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，目前的大数据系统运行时间较长，涉及多个环节，任务之间存在依赖，任何一个环节的失败都会带来最终生产的数据逻辑不正确的隐患，数据正确性是大数据首要确保的任务。并且，现有的线上数据库侧重于高效的支持线上的实时查询业务，却普遍存在不支持大量数据批量更新的功能性缺陷，给线下大数据与线上数据库系统同步时带来了巨大的限制和障碍。

本申请实施例所提供的数据更新方法和装置，可以保证线下生产数据的数据质量和数据正确性，有效解决大数据生产环节中的数据异常问题，同时打破了线下海量数据与线上数据库进行同步时批量操作限制的瓶颈。

实施例1

根据本发明实施例，提供了一种数据更新方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种数据更新方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，对获取到的待校验数据进行正确性校验；

步骤S104，在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；

步骤S106，依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

可选的，上述待校验数据可以为用于和线上数据库同步的线下数据，在同步之前需要对其进行分析和校验，以确保同步更新至线上数据库的数据的正确性。

可选的，在获取上述待校验数据之前，本申请实施例还可以预先准备上述待校验数据，即生产上述待校验数据；其中，大数据的计算需要经过数据仓库，子逻辑计算，主逻辑计算等多个环节，并进行待校验数据的存储、备份和再加工。

在本申请实施例中，可以结合待校验数据的数据类型的特性，使用滑动窗口阈值库的方式在数据输出前进行数据异常检测、熔断处理和恢复放行的安全机制。

可选的，上述线上数据库可以但不限于为：MySql和HBase等线上数据库系统；线上数据库作为直接影响到用户和业务的数据窗口，同时也是大数据生产的最终目的地。在本申请实施例中，可以但不限于采用增量数据更新的方法，通过读取增量数据，将增量数据中的内容按照记录的形式对线上数据库进行更新，也即相当于使用增量表，将上一阶段的线上数据库按照逐步更新的形式更新到最新状态，以实现全量数据的同步；可以有效减少批量数据更新的操作量，达到及时同步线上数据库的效果。

在本发明实施例中，通过对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库，达到了在保证线下生产数据的正确性的前提下，及时快速地更新线上数据库的目的，从而实现了提高线上数据库的业务运营效率的技术效果，进而解决了现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

在一种可选的实施例中，图2是根据本发明实施例的一种可选的数据更新方法的流程图，如图2所示，对获取到的待校验数据进行正确性校验，包括：

步骤S202，检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；

步骤S204，确定与上述数据类型对应的当前状态指标数据；

步骤S206，比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；

步骤S208，依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

在本申请实施例中，可以通过比对上述当前状态指标数据和历史状态指标数据，依据比对结果确定上述待校验数据是否通过上述正确性校验，整体流程是一个检验正确放行的机制。

需要说明的是，大数据生产的数据类型在计算机语言上可以分为：数值型和字符型(字符串类型)，可以但不限于结合不同数据类型的特点和统计方法，组合得到多种当前状态指标数据，例如，数值型空置率、数值型分桶概率分布、数值型均值、数值型方差分布、字符型长度均值分布、字符型频度分布等。基于上述数据类型确定的当前状态指标数据，可以作为评定大数据的正确性和稳定性的重要特征。

由于大数据的存在需要基于庞大存储空间，高效的计算方式，大量的数据任务调度和依赖管理，在此情况下的异常检测手段可以但不限于基于统计方法监测宏观数据状态数据。进而，在本申请实施例中，可以通过检测上述待校验数据的数据类型是数值型或字符型，确定与上述数据类型对应的当前状态指标数据；并比对上述当前状态指标数据和历史状态指标数据，得到比对结果，依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

可选的，上述历史状态指标数据预存于历史滑动窗口状态库中，上述历史滑动窗口状态库存储了历史上的时间滑动窗口范围内的大数据文件的历史状态指标数据，其中，滑动窗口是一种针对大数据随时间动态变化而导致数据状态特征正常性浮动而设计的时效控制。一般而言，基于大数据开发的数据产品均随着企业和公司业务线的动态变化而变迁，这种大数据的正常变迁需要滑动窗口进行观察。

在一种可选的实施例中，图3是根据本发明实施例的一种可选的数据更新方法的流程图，如图3所示，依据上述比对结果确定上述待校验数据是否通过上述正确性校验，包括：

步骤S302，依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；

步骤S304，判断上述差异量数据是否处于预定差异范围内；

步骤S306，若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

可选的，通过计算上述当前状态指标数据和历史状态指标数据之间的差值，并基于浮动比例计算等数学公式联合时间节点确定上述差异量数据，并可以将上述差异量数据存储至数据变化库中。

在上述可选的实施例中，通过比对上述当前状态指标数据和历史状态指标数据，可以确定上述当前状态指标数据和历史状态指标数据之间的差异量数据，通过判断上述差异量数据是否处于预定差异范围内，可以确定上述待校验数据是否通过正确性校验。

在本申请实施例中，可以预先确定上述预定差异范围，其中，本申请实施例并不具体限定上述预定差异范围的取值，以可以实现本申请实施例为准，例如，可以但不限于根据判断上述待校验数据是否通过上述正确性校验的实际场景进行确定。

需要说明的是，同一状态指标数据在不同时间节点内的浮动大小，浮动比例计算可以得到同一状态指标数据的浮动值所占原先值的比例。

需要说明的是，本申请实施例中可以但不限于包含以下两种配置方法，一种是机器学习配置方法，另一种是手工配置方法，也可以使用以上两个方法进行组合配置。机器学习配置方法是使用机器学习算法，在历史状态指标数据的基础上进行学习和预测，得到上述待校验数据的数据类型对应的当前状态指标数据，再将预测结果和实际结果进行对比，推送给下一步进行熔断决策；手工配置方法是手工配置阈值库，根据个人的业务经验和历史数据，手动配置数据统计特征的浮动范围或者变化规则。

仍需要说明的是，上述机器学习配置方法适合于历史状态指标数据较为充沛的情况，手工配置方法适合于历史状态指标数据不足的前期阶段，可以较多的进行人工干预；在将当前状态指标数据和历史状态指标数据进行对比之后，可以确定上述待校验数据是否通过正确性校验。

在一种可选的实施例中，在确定上述待校验数据未通过上述正确性校验的情况下，上述方法还包括：

步骤S402，通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；

步骤S404，基于排错处理后的上述生成日志重新生成上述待校验数据；

步骤S406，对重新生成的上述待校验数据进行上述正确性校验。

可选的，上述触发熔断处理机制的目的是阻断待校验数据被推送到线上数据库，并对上述待校验数据的生成日志进行排错处理，再基于排错处理后的上述生成日志重新生成上述待校验数据，并对重新生成的上述待校验数据进行上述正确性校验。

可选的，在触发熔断处理机制之后，可以采用适当的方式通知相关人员对上述待校验数据的生成日志进行排错处理，其中，熔断后处理需要管理员查看数据生成日志进行排错，在确定无误之后，重新生成待校验数据并发起正确性校验。

在一种可选的实施例中，在对上述待校验数据进行增量计算得到增量数据之前，上述方法还包括：

步骤S502，检测上述目标数据库的更新次数；

步骤S504，在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；

步骤S506，在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

需要说明的是，对上述待校验数据进行增量计算得到增量数据是数据正确性校验之后的步骤，用于实时与线上数据库系统同步，目的在减少需要更新的数据量，打破线上数据库无法大规模更新数据的瓶颈。

在本申请实施例中，增量数据计算与同步在执行上可以分为两个阶段，一个阶段是首次同步，即上述目标数据库的更新次数等于零；另一个阶段是非首次同步，即上述目标数据库的更新次数大于零。在一种可选的实施例中，上述目标数据库的更新次数等于零的情况下(首次同步)不需要使用到增量数据，可以获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；首次同步相当于线上数据库的初始化阶段，也是线上数据库第一次存储线下的全量数据。

其中，由于首次同步存在数据规模较大的问题，因而在本申请实施例中还可以但不限于通过批量人工操作的方式将上述全量数据导入到线上数据库中。

在另一种可选的实施例中，上述目标数据库的更新次数大于零的情况下(非首次同步)需要使用到增量数据进行更新。由于目前大数据生产的线上业务的信息特别大，持续性、高频率的对线上数据库进行全量数据的更新实现效率低，在非首次同步阶段使用增量数据进行更新，可以有效解决大数据写入线上数据库的障碍问题。

在一种可选的实施例中，上述待校验数据至少包括：第一全量数据和第二全量数据，对上述待校验数据进行增量计算得到增量数据，包括：

步骤S602，获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；

步骤S604，比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；

步骤S606，将上述数据状态发生变化的数据作为上述增量数据。

可选的，上述第一全量数据可以为本阶段之前阶段(例如，本阶段的上一阶段)的全量数据，上述第二全量数据可以为本阶段的全量数据，通过将上一阶段的第一全量数据和本阶段的第二全量数据进行对比，抽取出上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据，并保留上述数据状态发生变化的数据作为上述增量数据，对数据状态未发生变化的数据进行丢弃处理。

经过上述可选的实施例中的过滤操作，基本上可以实现缩减大数据文件的数据量，对于当前互联网公司每日生产的大数据文件而言，通过上述可选的实施例生成的增量数据可以有效缩减更新线上数据库的数据量。

由于在首次同步之后，线上数据库已经存储有全量数据，在线上数据库进行非首次同步时，只需要使用增量数据对线上数据库进行更新即可，具体操作可以但不限于为读取增量数据，将增量数据中的内容按照记录的形式对线上数据库进行更新，没有发生数据状态变化的部分直接保留，不做变动。也即相当于使用增量表，将上一阶段的线上数据库按照逐步更新的形式更新到最新状态，实现全量数据的同步。

本申请实施例通过正确性校验和增量数据更新的方式，可以实现在保证数据正确性和安全性的前提下，使得基于线下大数据文件进行短时间有效更新线上数据库的功能。

实施例2

根据本发明实施例，还提供了一种用于实施上述数据更新方法的装置实施例，图4是根据本发明实施例的一种数据更新装置的结构示意图，如图4所示，上述数据更新装置，包括：校验模块40、计算模块42和更新模块44，其中:

校验模块40，用于对获取到的待校验数据进行正确性校验；计算模块42，用于在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；更新模块44，用于依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

在一种可选的实施例中，上述校验模块，包括：检测模块，用于检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；第一确定模块，用于确定与上述数据类型对应的当前状态指标数据；比对模块，用于比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；第二确定模块，用于依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述校验模块40、计算模块42和更新模块44对应于实施例1中的步骤S102至步骤S106，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

上述的数据更新装置还可以包括处理器和存储器，上述校验模块40、计算模块42和更新模块44等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本申请实施例，还提供了一种存储介质实施例。可选地，在本实施例中，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述任意一种数据更新方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述存储介质包括存储的程序。

可选地，在程序运行时控制存储介质所在设备执行以下功能：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

可选地，在程序运行时控制存储介质所在设备执行以下功能：检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；确定与上述数据类型对应的当前状态指标数据；比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

可选地，在程序运行时控制存储介质所在设备执行以下功能：依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；判断上述差异量数据是否处于预定差异范围内；若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

可选地，在程序运行时控制存储介质所在设备执行以下功能：通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；基于排错处理后的上述生成日志重新生成上述待校验数据；对重新生成的上述待校验数据进行上述正确性校验。

可选地，在程序运行时控制存储介质所在设备执行以下功能：检测上述目标数据库的更新次数；在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

可选地，在程序运行时控制存储介质所在设备执行以下功能：获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；将上述数据状态发生变化的数据作为上述增量数据。

根据本申请实施例，还提供了一种处理器实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种数据更新方法。

本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

可选地，上述处理器执行程序时，还可以检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；确定与上述数据类型对应的当前状态指标数据；比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

可选地，上述处理器执行程序时，还可以依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；判断上述差异量数据是否处于预定差异范围内；若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

可选地，上述处理器执行程序时，还可以通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；基于排错处理后的上述生成日志重新生成上述待校验数据；对重新生成的上述待校验数据进行上述正确性校验。

可选地，上述处理器执行程序时，还可以检测上述目标数据库的更新次数；在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

可选地，上述处理器执行程序时，还可以获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；将上述数据状态发生变化的数据作为上述增量数据。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

可选地，上述计算机程序产品执行程序时，还可以检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；确定与上述数据类型对应的当前状态指标数据；比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

可选地，上述计算机程序产品执行程序时，还可以依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；判断上述差异量数据是否处于预定差异范围内；若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

可选地，上述计算机程序产品执行程序时，还可以通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；基于排错处理后的上述生成日志重新生成上述待校验数据；对重新生成的上述待校验数据进行上述正确性校验。

可选地，上述计算机程序产品执行程序时，还可以检测上述目标数据库的更新次数；在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

可选地，上述计算机程序产品执行程序时，还可以获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；将上述数据状态发生变化的数据作为上述增量数据。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据更新方法，其特征在于，包括：

对获取到的待校验数据进行正确性校验；

在所述待校验数据通过所述正确性校验的情况下，对所述待校验数据进行增量计算得到增量数据；

依据所述增量数据更新目标数据库中的存储数据，其中，所述目标数据库至少包括：线上数据库。

2.根据权利要求1所述的方法，其特征在于，对获取到的待校验数据进行正确性校验，包括：

检测所述待校验数据的数据类型，所述数据类型包含以下至少之一：数值型、字符型；

确定与所述数据类型对应的当前状态指标数据；

比对所述当前状态指标数据和历史状态指标数据，得到比对结果，其中，所述历史状态指标数据预存于历史滑动窗口状态库中；

依据所述比对结果确定所述待校验数据是否通过所述正确性校验。

3.根据权利要求2所述的方法，其特征在于，依据所述比对结果确定所述待校验数据是否通过所述正确性校验，包括：

依据所述比对结果确定所述当前状态指标数据和历史状态指标数据之间的差异量数据；

判断所述差异量数据是否处于预定差异范围内；

若所述差异量数据处于所述预定差异范围内，则确定所述待校验数据通过所述正确性校验，若所述差异量数据未处于所述预定差异范围内，则确定所述待校验数据未通过所述正确性校验。

4.根据权利要求3所述的方法，其特征在于，在确定所述待校验数据未通过所述正确性校验的情况下，所述方法还包括：

通过触发熔断处理机制对所述待校验数据的生成日志进行排错处理；

基于排错处理后的所述生成日志重新生成所述待校验数据；

对重新生成的所述待校验数据进行所述正确性校验。

5.根据权利要求1所述的方法，其特征在于，在对所述待校验数据进行增量计算得到增量数据之前，所述方法还包括：

检测所述目标数据库的更新次数；

在所述更新次数等于零的情况下，获取通过所述正确性校验的全量数据，并将所述全量数据导入所述目标数据库中；

在所述更新次数大于零的情况下，执行对所述待校验数据进行增量计算得到增量数据的步骤。

6.根据权利要求1所述的方法，其特征在于，所述待校验数据至少包括：第一全量数据和第二全量数据，对所述待校验数据进行增量计算得到增量数据，包括：

获取所述第一全量数据和所述第二全量数据，其中，所述第一全量数据和所述第二全量数据为处于不同更新阶段的全量数据；

比对所述第一全量数据和所述第二全量数据，确定所述第一全量数据和所述第二全量数据之间数据状态发生变化的数据；

将所述数据状态发生变化的数据作为所述增量数据。

7.一种数据更新装置，其特征在于，包括：

校验模块，用于对获取到的待校验数据进行正确性校验；

计算模块，用于在所述待校验数据通过所述正确性校验的情况下，对所述待校验数据进行增量计算得到增量数据；

更新模块，用于依据所述增量数据更新目标数据库中的存储数据，其中，所述目标数据库至少包括：线上数据库。

8.根据权利要求7所述的装置，其特征在于，所述校验模块，包括：

检测模块，用于检测所述待校验数据的数据类型，所述数据类型包含以下至少之一：数值型、字符型；

第一确定模块，用于确定与所述数据类型对应的当前状态指标数据；

比对模块，用于比对所述当前状态指标数据和历史状态指标数据，得到比对结果，其中，所述历史状态指标数据预存于历史滑动窗口状态库中；

第二确定模块，用于依据所述比对结果确定所述待校验数据是否通过所述正确性校验。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的数据更新方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的数据更新方法。