CN117034036A - 数据处理及时性的检测方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种数据处理及时性的检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：首先获取大数据平台上当前已同步的第一源数据表和第一结果数据表，其中第一源数据表和第一结果数据表分别通过定时对开发环境中的实时源数据和实时结果数据同步得到。对比第一源数据表和所述第一结果数据表，得到第一差异数据，并获取开发环境中与第一差异数据对应的第二源数据目标值和第二结果数据目标值，对比第二源数据目标值和第二结果数据目标值后得到第二差异数据。最后基于第二差异数据，可以确定开发环境中数据处理的及时性。同时采用本方法能够排除由于离线表更新不及时导致对数据的误判，提高数据处理及时性的检测结果的准确性。

Description

数据处理及时性的检测方法、装置和计算机设备

技术领域

本申请涉及大数据领域，特别是涉及一种数据处理及时性的检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着大数据领域的发展，为实现业务复杂的大数据应用需求，数据开发经常需要通过多个数据加工环节进行处理来得到结果，例如，通过ETL技术进行数据开发，其中，ETL是一种用于描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。通过ETL技术可以将分散、零乱、标准不统一的数据整合至一起，因此，ETL技术在大数据处理领域得到了广泛应用。

然而，ETL技术涉及多个数据环节，任何一个环节的处理延迟和不及时都可能导致数据产生滞后性，因此，ETL技术对于数据处理的及时性风险被显著放大，因此，如何确保复杂ETL过程中数据结果的及时性和稳定性成为该领域所需要面对的一项挑战。

发明内容

基于此，有必要针对上述数据处理流程的及时性风险较大的技术问题，提供一种能够对数据处理及时性进行检测的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理及时性的检测方法。所述方法包括：

获取大数据平台上当前已同步的第一源数据表和第一结果数据表；第一结果数据表中的数据，通过对第一源数据表中的数据执行数据处理流程后得到，第一源数据表和第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到；

对比第一源数据表和第一结果数据表，得到第一差异数据；

获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值；

对比第二源数据目标值和第二结果数据目标值，得到第二差异数据；

基于第二差异数据，确定开发环境中数据处理的及时性。

在其中一个实施例中，对比第一源数据表和第一结果数据表，得到第一差异数据，包括：获取第一源数据表中的数据与所述第一结果数据表中的数据之间的映射关系；根据映射关系，对比第一源数据表和第一结果数据表，得到在第一结果数据表中不具有映射数据的，第一源数据表中的目标数据；将目标数据，确定为第一差异数据。

在其中一个实施例中，获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值，包括：调用第一线上接口，对第一差异数据进行入参，得到与第一差异数据对应的第二源数据目标值；调用第二线上接口，对第一差异数据进行入参，得到与第一差异数据对应的第二结果数据目标值。

在其中一个实施例中，第一线上接口和第二线上接口有多个，所述方法还包括：对各个第一线上接口返回的源数据进行融合处理，得到第二源数据目标值；对各个第二线上接口返回的结果数据进行融合处理，得到第二结果数据目标值。

在其中一个实施例中，第一差异数据中包括多个数据，所述方法还包括：调用第一线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二源数据目标值；调用第二线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二结果数据目标值。

在其中一个实施例中，确定开发环境中数据处理的及时性，包括：获取第二差异数据的数据量；按照数据量与及时性成负相关的关系，确定开发环境中数据处理的及时性。

第二方面，本申请还提供了一种用于数据处理及时性的检测装置。所述装置包括：

数据表获取模块，用于获取大数据平台上当前已同步的第一源数据表和第一结果数据表；所述第一结果数据表中的数据，通过对所述第一源数据表中的数据执行数据处理流程后得到，所述第一源数据表和所述第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到；

第一数据对比模块，用于对比所述第一源数据表和所述第一结果数据表，得到第一差异数据；

目标值获取模块，用于获取所述开发环境中，与所述第一差异数据对应的第二源数据目标值和第二结果数据目标值；

第二数据对比模块，用于对比所述第二源数据目标值和所述第二结果数据目标值，得到第二差异数据；

及时性确认模块，用于基于所述第二差异数据，确定所述开发环境中数据处理的及时性。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例任一项所述的方法的数据处理及时性的检测。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例任一项所述的方法的数据处理及时性的检测。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请实施例任一项所述的方法的数据处理及时性的检测。

上述数据处理及时性的检测方法、装置、计算机设备、存储介质和计算机程序产品，在对数据处理及时性检测时，具有以下有益效果：通过定时对开发环境中产生的数据同步，获取大数据平台上的第一数据源表和第一结果数据表，开发环境中产生的数据为执行数据处理流程产生的数据；对比第一数据源表和第一结果数据表，得到第一差异数据；然后获取开发环境中与第一差异数据对应的第二数据源目标值和第二结果数据目标值，对比第二数据源目标值和第二结果数据目标值，得到第二差异数据。由于第一结果数据表中的数据是通过对所述第一源数据表中的数据执行数据处理流程后得到的，所以第一源数据表中的数据的更新会及时反映在第一结果数据表中，因此，通过对比第一源数据表和第一结果数据表，可以确定数据处理流程的处理及时性。但由于大数据平台上的数据是定时从开发环境中同步得到的，与开发环境中的实时数据有误差，因此在确定第一差异数据后，本方案还调取了开发环境中与第一差异数据对应的实时的第二源数据目标值和第二结果数据目标值，通过第二源数据目标值和第二结果数据目标值，这两个实时数据的对比，精准确定数据处理流程的处理及时性，及时找出实时开发环境不一致的精准问题数据，排除离线表更新不及时导致的误判问题数据，从而满足业务需求。

附图说明

图1为一个实施例中数据处理及时性的检测方法的应用环境图；

图2为一个实施例中数据处理及时性的检测方法的流程示意图；

图3为一个实施例中数据处理及时性的检测步骤的流程示意图；

图4为一个实施例中数据处理及时性的检测装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的数据处理及时性的检测方法，可以应用于如图1所示的应用环境中。其中，包括服务器102和终端104，服务器102通过网络与终端104进行通信。开发环境可部署在服务器102中，大数据平台可部署在终端104中。在本申请的应用场景中，服务器102从终端104中部署的大数据平台上获取当前已同步的第一源数据表和第一结果数据表，然后对比第一源数据表和第一结果数据表，得到第一差异数据；进一步获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值；并对比第二源数据目标值和第二结果数据目标值，得到第二差异数据；最后基于第二差异数据，确定开发环境中数据处理的及时性，并可将得到的及时性检测结果发送至监控终端，展示及时性检测结果。其中，终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据处理及时性的检测方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：

步骤202，获取大数据平台上当前已同步的第一源数据表和第一结果数据表；第一结果数据表中的数据通过对所述第一源数据表中的数据执行数据处理流程后得到，第一源数据表和第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到。

其中，数据处理流程表示ETL流程。

可以理解的是，开发环境中的数据为实时数据，可存储在实时数据表中，实时数据具体包括源数据和结果数据，结果数据为针对源数据进行ETL处理后得到的处理。对ETL处理流程及时性的检测具体为检测开发环境中的结果数据与源数据之间的数据字段是否可映射或对应上，若是，表明ETL处理的及时性较好，能够及时对新的源数据处理完得到结果数据，反之，则表明ETL处理的及时性较差。

但是，由于开发环境的实时数据表是不可以直接获取来进行测试比对或计算的，因为会影响线上用户的性能等。因此，需要构建大数据平台，定时将开发环境中的实时数据同步至大数据平台的离线数据表中，基于离线数据表进行及时性的检测。

具体而言，可从大数据平台上获取其当前已从开发环境中同步的源数据表和结果数据表，由此得到第一源数据表和第一结果数据表。

步骤204，对比第一源数据表和第一结果数据表，得到第一差异数据。

具体地，将第一源数据表和第一结果数据表进行比对，可以使用数据比对工具或编写自定义脚本来实现。比对的方法可以包括字段级别的比较、行级别的比较或使用特定的算法来检测差异。差异数据可以通过标记、记录或导出的方式进行标识。

步骤206，获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值。

可以理解，因为大数据平台上的数据表为对开发环境中的实时数据进行定时同步后得到的，不是实时同步的，因此，大数据平台中的数据会与开发环境中的实时数据存在误差。其中，误差时间基于同步频率确定，例如每隔二十四小时同步一次，则误差时间最长为二十四小时。所以基于大数据平台中的离线数据表对比得到的第一差异数据并不准确，其中有些数据可能已经发生了变化更新，所以便不能判定第一差异数据在开发环境的实时数据表中是真的不一致，因此，在确定出第一差异数据后，本申请还获取了第一差异数据在开发环境对应的实时数据表中的值，判断其是否真的不一致。

具体实现中，服务器可调用开发环境的接口来批量逐一获取与第一差异数据对应的第二源数据目标值和第二结果数据目标值。更具体地，可预先获取用于调取开发环境数据的脚本，通过该脚本调用开发环境的接口进行第二源数据目标值和第二结果数据目标值的获取。

步骤208，对比第二源数据目标值和第二结果数据目标值，得到第二差异数据。

具体地，可通过编写SQL(Structured Query Language，结构化查询语言)指令，将第二源数据目标值和第二结果数据目标值进行比对，得到第二差异数据。

进一步地，在对比第二源数据目标值和第二结果数据目标值，得到第二差异数据之后，还包括：对第二差异数据进行故障分析，确定存在第二差异数据的故障原因，基于第二差异数据和故障原因，生成故障报告。

步骤210，基于第二差异数据，确定开发环境中数据处理的及时性。

具体来说，根据第二差异数据的特征和数量，服务器可以使用不同的方法来评估数据处理的及时性。例如，可以使用实时监控工具来检测数据处理的延迟时间，或者使用数据质量评估工具来分析数据处理的准确性和一致性。根据评估结果，可以采取相应的措施来改进数据处理的及时性，例如优化数据处理流程、增加资源或调整数据同步频率等。

上述数据处理及时性的检测方法中，服务器可以通过开发环境中源数据和结果数据得出第一源数据表和第一结果数据表，从而对比得到第一差异数据，再根据第一差异数据得到第二源数据目标值和第二结果数据目标值，对比后得到第二差异数据，根据第二差异数据的数据量，确认开发环境中数据处理的及时性。由于第一结果数据表中的数据是通过对所述第一源数据表中的数据执行数据处理流程后得到的，所以第一源数据表中的数据的更新会及时反映在第一结果数据表中，因此，通过对比第一源数据表和第一结果数据表，可以确定数据处理流程的处理及时性。但由于大数据平台上的数据是定时从开发环境中同步得到的，与开发环境中的实时数据有误差，因此在确定第一差异数据后，本方案还调取了开发环境中与第一差异数据对应的实时的第二源数据目标值和第二结果数据目标值，通过第二源数据目标值和第二结果数据目标值，这两个实时数据的对比，精准确定数据处理流程的处理及时性，及时找出实时开发环境不一致的精准问题数据，排除离线表更新不及时导致的误判问题数据，从而满足业务需求。

在一个实施例中，步骤204中，对比第一源数据表和第一结果数据表，得到第一差异数据，可以包括：

步骤204a：获取第一源数据表中的数据与第一结果数据表中的数据之间的映射关系。

其中，映射关系是指第一源数据表和第一结果数据表中数据的相同字段或者一些其他能够将它们进行对应的标识符之间的关系。

步骤204b：根据所述映射关系，对比所述第一源数据表和所述第一结果数据表，得到在所述第一结果数据表中不具有映射数据的，所述第一源数据表中的目标数据。

具体地，根据第一源数据表和第一结果数据表之间的映射关系，将它们进行对比。检查第一结果数据表中是否存在与第一源数据表中的数据不对应的情况。在第一源数据表中与第一结果数据表中的数据不对应的数据，就是目标数据。

步骤204c：将目标数据，确定为第一差异数据。

具体来说，第一差异数据表示在第一源数据表和第一结果数据表之间存在差异的数据，第一差异数据可能是由于映射关系不完整或者其他原因导致的。第一差异数据可以提供有关第一源数据表和第一结果数据表之间的不一致性或错误的信息。

本实施例中，通过第一源数据表和第一结果数据表，得到第一差异数据，可以及时发现数据质量问题，提高数据的质量。

进一步地，在一个实施例中，步骤206中，获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值可以包括以下步骤：调用第一线上接口，对所述第一差异数据进行入参，得到与第一差异数据对应的第二源数据目标值；调用第二线上接口，对第一差异数据进行入参，得到与第一差异数据对应的第二结果数据目标值。

其中，第一线上接口和第二线上接口均为api接口(Application ProgrammingInterface，应用程序编程接口)。

在一个实施例中，第一线上接口和第二线上接口有多个，上述方法还包括：对各个第一线上接口返回的源数据进行融合处理，得到第二源数据目标值；对各个第二线上接口返回的结果数据进行融合处理，得到第二结果数据目标值。

具体地，融合指的是通过编写SQL脚本对上述实施例中的各个第一线上接口返回的源数据和各个第二线上接口返回的结果数据分别取值求和，得出第二源数据目标值和第二结果数据目标值。

在一个实施例中，上述第一差异数据中包括多个数据，所述方法还包括：调用第一线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二源数据目标值；调用第二线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二结果数据目标值。

具体地，上述实施例方面分别通过对第一线上接口和第二线上接口的调用，并分别对第一差异数据进行入参，其中参数可以是主体名称对应的唯一识别标识、当前还是历史、类型，最后分别得到了与第一差距数据对应的第二源数据目标值和第二结果数据目标值。

通过本实施例，需要批量逐一调用第一差距数据集中的多条数据，所以用到了接口参数化让代码一条一条自动遍历第一差距数据集中的每一条数据，提高了第二源数据目标值和第二结果数据目标值的准确性。

进一步地，在一个实施例中，确定开发环境中数据处理的及时性，可以包括以下步骤：获取第二差异数据的数据量；按照数据量与及时性成负相关的关系，确定开发环境中数据处理的及时性。

具体地，获取第一差异数据在24h之前和源数据不一致，经过线上实时接口返回这批数据的实时情况依旧不一致的数据，上述数据为第二差异数据。根据第二差异数据的数据量确定开发环境中数据处理的及时性，当第二差异数据越多，则说明开发环境中数据处理的及时性越低，反之，第二差异数据越少，则说明开发环境中数据处理的及时性越高。

上述实施例，通过对第二差异数据的数据量的检测，可以及时得知数据处理的及时性。

为了更好地理解上述数据处理及时性的过程，结合图3所示，以下详细阐述一个本申请数据处理及时性的具体流程，包括以下步骤：

S302，使用ETL流程定时对开发环境中的实时源数据和实时结果数据进行同步，并实时同步到大数据平台上，将实时源数据和实时结果数据分别录入第一源数据表和第一结果数据表。

S304，根据数据操作指令对比第一源数据表和第一结果数据表，得到第一差异数据为数据集A，并将第一差异数据都录入疑似同步延迟数据的测试表一。

S306，使用第一源数据表编写数据操作指令调用第一线上接口，对数据集A中的第一差异数据进行逐一入参请求，获取实时线上源数据返回目标值，即第二源数据目标值。

S308，使用第一结果数据表编写数据操作指令调用第二线上接口，对数据集A中的第一差异数据进行逐一入参请求，获取实时线上结果数据返回目标值，即第二结果数据目标值。

S310，根据数据操作指令对比第二源数据目标值和第二结果数据目标值，得到第二差异数据为数据集B，并将第二差异数据都录入实时同步延迟数据的测试表二，可以设置每天固定时间运行数据操作指令以更加准确及时的监测第二测试表的同步及时性。

其中测试表二中的数据为测试表一中在二十四小时前第一结果数据和第一源数据不一致，并且经过第一线上接口和第二线上接口返回后实时情况依旧不一致的数据。

S312，基于第二差异数据，确定所述开发环境中数据处理的及时性。

通过上述实施例，服务器可以通过开发环境中源数据和结果数据得出第一源数据表和第一结果数据表，从而对比得到第一差异数据，再根据第一差异数据得到第二源数据目标值和第二结果数据目标值，对比后得到第二差异数据，根据第二差异数据的数据量，确认开发环境中数据处理的及时性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理及时性的检测方法的数据处理及时性的检测装置，包括：数据表获取模块401、第一数据对比模块402、目标值获取模块403、第二数据对比模块404和及时性确认模块405，其中：

数据表获取模块401，用于获取大数据平台上当前已同步的第一源数据表和第一结果数据表；第一结果数据表中的数据，通过对第一源数据表中的数据执行数据处理流程后得到，第一源数据表和第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到。

第一数据对比模块402，用于对比第一源数据表和第一结果数据表，得到第一差异数据。

目标值获取模块403，用于获取开发环境中，与第一差异数据对应的第二源数据目标值和第二结果数据目标值。

第二数据对比模块404，用于对比第二源数据目标值和第二结果数据目标值，得到第二差异数据。

及时性确认模块405，用于基于第二差异数据，确定开发环境中数据处理的及时性。

在一个实施例中，所述数据表获取模块401，还用于获取第一源数据表中的数据与第一结果数据表中的数据之间的映射关系，根据映射关系。

对应地，上述第一数据对比模块402，还用于对比第一源数据表和第一结果数据表，得到在第一结果数据表中不具有映射数据的，第一源数据表中的目标数据，将目标数据，确定为第一差异数据。

在一个实施例中，所述目标值获取模块403还包括第一目标值获取子模块，用于调用第一线上接口，对第一差异数据进行入参，得到与第一差异数据对应的第二源数据目标值，调用第二线上接口，对第一差异数据进行入参，得到与第一差异数据对应的第二结果数据目标值。

在一个实施例中，所述目标值获取模块403还包括第二目标值获取子模块，用于对各个第一线上接口返回的源数据进行融合处理，得到第二源数据目标值，对各个第二线上接口返回的结果数据进行融合处理，得到第二结果数据目标值。

在一个实施例中，所述目标值获取模块403还包括第三目标值获取子模块，用于调用第一线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二源数据目标值，调用第二线上接口，对第一差异数据中的各个数据的标识逐一进行入参，得到与第一差异数据对应的第二结果数据目标值。

在一个实施例中，所述第二数据对比模块404，还用于获取所述第二差异数据的数据量。其中还包括及时性确认模块405，用于按照数据量与及时性成负相关的关系，确定所述开发环境中数据处理的及时性。

上述数据处理及时性的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储开发环境中的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理及时性的检测方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理及时性的检测方法，其特征在于，所述方法包括：

获取大数据平台上当前已同步的第一源数据表和第一结果数据表；所述第一结果数据表中的数据，通过对所述第一源数据表中的数据执行数据处理流程后得到，所述第一源数据表和所述第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到；

对比所述第一源数据表和所述第一结果数据表，得到第一差异数据；

获取所述开发环境中，与所述第一差异数据对应的第二源数据目标值和第二结果数据目标值；

对比所述第二源数据目标值和所述第二结果数据目标值，得到第二差异数据；

基于所述第二差异数据，确定所述开发环境中数据处理的及时性。

2.根据权利要求1所述的方法，其特征在于，所述对比所述第一源数据表和所述第一结果数据表，得到第一差异数据，包括：

获取所述第一源数据表中的数据与所述第一结果数据表中的数据之间的映射关系；

根据所述映射关系，对比所述第一源数据表和所述第一结果数据表，得到在所述第一结果数据表中不具有映射数据的，所述第一源数据表中的目标数据；

将所述目标数据，确定为第一差异数据。

3.根据权利要求1所述的方法，其特征在于，所述获取所述开发环境中，与所述第一差异数据对应的第二源数据目标值和第二结果数据目标值，包括：

调用第一线上接口，对所述第一差异数据进行入参，得到与所述第一差异数据对应的第二源数据目标值；

调用第二线上接口，对所述第一差异数据进行入参，得到与所述第一差异数据对应的第二结果数据目标值。

4.根据权利要求3所述的方法，其特征在于，所述第一线上接口和所述第二线上接口有多个，所述方法还包括：

对各个第一线上接口返回的源数据进行融合处理，得到所述第二源数据目标值；

对各个第二线上接口返回的结果数据进行融合处理，得到所述第二结果数据目标值。

5.根据权利要求3所述的方法，其特征在于，所述第一差异数据中包括多个数据；所述方法还包括：

调用所述第一线上接口，对所述第一差异数据中的各个数据的标识逐一进行入参，得到与所述第一差异数据对应的第二源数据目标值；

调用所述第二线上接口，对所述第一差异数据中的各个数据的标识逐一进行入参，得到与所述第一差异数据对应的第二结果数据目标值。

6.根据权利要求1所述的方法，其特征在于，所述确定所述开发环境中数据处理的及时性，包括：

获取所述第二差异数据的数据量；

按照数据量与及时性成负相关的关系，确定所述开发环境中数据处理的及时性。

7.一种用于数据处理及时性的检测的装置，其特征在于，所述装置包括：

数据表获取模块，用于获取大数据平台上当前已同步的第一源数据表和第一结果数据表；所述第一结果数据表中的数据，通过对所述第一源数据表中的数据执行数据处理流程后得到，所述第一源数据表和所述第一结果数据表，分别通过定时对开发环境中的实时源数据和实时结果数据同步得到；

第一数据对比模块，用于对比所述第一源数据表和所述第一结果数据表，得到第一差异数据；

目标值获取模块，用于获取所述开发环境中，与所述第一差异数据对应的第二源数据目标值和第二结果数据目标值；

第二数据对比模块，用于对比所述第二源数据目标值和所述第二结果数据目标值，得到第二差异数据；

及时性确认模块，用于基于所述第二差异数据，确定所述开发环境中数据处理的及时性。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。