CN110309211A - 一种定位etl过程问题的方法及相关设备 - Google Patents

Abstract

本申请实施例公开了一种定位ETL过程问题的方法及相关设备，通过将ETL过程中的其中一个节点确定为第一ETL节点，计算第一ETL节点的待检查数据的数据特征，比对第一ETL节点的待检查数据的数据特征与预先获取的第一ETL节点的标准数据的数据特征，得到第一比对结果。由于第一ETL节点的标准数据可以认为是不存在问题的数据，则若第一比对结果不满足第一预设条件，说明第一ETL节点的待检查数据是有问题的数据，也就是说，通过对第一ETL节点的待检查数据的数据特征进行判别，可及时发现第一ETL节点是否存在问题，而不必等到数据被加载至目标数据仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免使用有问题的数据可能造成的严重的后果。

Description

一种定位ETL过程问题的方法及相关设备

技术领域

本申请涉及大数据领域，尤其涉及一种定位ETL过程问题的方法及相关设备。

背景技术

ETL(extract-transform-load，抽取-转换-加载)流程描述的是从异构数据源抽取数据， 并将抽取得到的数据进行转换，最后加载到目标数据仓库(Data Warehouse，DW)的过程， 从而实现对不同类型的数据进行整合的目的，为企业的决策提供分析依据。

而当异构数据源的源数据本身或者是转换的逻辑二者至少其一出现错误，都会导致加 载到目标数据仓库中的数据不正确。按照传统的方式，只有目标数据仓库中的数据在被使 用的过程中，才有可能发现数据的问题，不仅效率低下，而且在使用过程中才发现数据存 在问题可能会导致更为严重的后果，所以，如何能够在利用ETL流程对源数据进行处理的 过程中，及时的发现出现的问题是目前需要解决的技术问题。

发明内容

本申请实施例提供了一种定位ETL过程问题的方法及相关设备，能够解决现有技术中 使用有问题的数据可能会造成严重后果的问题。

本申请第一方面提供一种定位ETL过程问题的方法，其中，ETL过程为抽取-转换-加 载过程，所述方法包括：

先确定ETL过程中的其中一个节点为第一ETL节点，例如第一ETL节点可以是加载节点，也可以是转换节点或抽取节点。然后获取所述第一ETL节点输出的待检查数据，并 计算所述第一ETL节点的待检查数据的数据特征。第一ETL节点的待检查数据的数据特 征能够表征待检查数据的数据特点，例如可以是第一ETL节点的待检查数据的数据标号、 均值、方差、标准差、异常值数量、异常值比率、空值数量、空值比率等。再比对所述第 一ETL节点的所述待检查数据的数据特征与所述第一ETL节点的标准数据的数据特征， 得到第一比对结果，其中，第一ETL节点的标准数据可认为是准确的，可以作为第一ETL 节点的输出数据的标准。若所述第一比对结果不满足第一预设条件，则显示所述第一ETL 节点出现问题。

与现有技术相比，本申请实施例提供的定位ETL过程问题的方法中，通过将ETL过程 中的其中一个节点确定为第一ETL节点，获取第一ETL节点的待检查数据，并计算第一ETL 节点的待检查数据的数据特征，比对第一ETL节点的待检查数据的数据特征与预先获取的 第一ETL节点的标准数据的数据特征，得到第一比对结果。由于第一ETL节点的标准数据 可以认为是不存在问题的数据，则若第一比对结果不满足第一预设条件，说明第一ETL节 点的待检查数据是有问题的数据，也就是说，通过对第一ETL节点的待检查数据的数据特 征进行判别，可及时发现第一ETL节点是否存在问题，而不必等到数据被加载至目标数据 仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免使用有问题的 数据可能造成的严重的后果。

在一些可能的设计中，若所述第一比对结果不满足所述第一预设条件，则所述方法还 包括：

确定所述第一ETL节点在所述ETL过程的上游节点为第二ETL节点，获取所述第二ETL 节点的待检查数据，计算所述第二ETL节点的待检查数据的数据特征，比对所述第二ETL 节点的所述待检查数据的数据特征与所述第二ETL节点的标准数据的数据特征，得到第二 比对结果；若所述第二比对结果不满足第二预设条件，则显示所述第二ETL节点出现问题。

由于第一比对结果不满足第一预设条件，因此第一节点输出的待检查数据是有问题的 数据，在此前提下，可以进一步分析第一节点的上游节点，即第二节点，输出的待检查数 据是否为有问题的数据，从而进一步确定问题存在的位置。

在一些可能的设计中，所述方法还包括：

确定所述第一ETL节点出现问题的原因。

在发现第一ETL节点输出的待检查数据存在问题后，还可以进一步确定所述第一ETL 节点出现问题的原因，以进行问题的排查，进一步提高数据使用的安全性。一般来说，第 一ETL节点出现的问题的原因可能有以下两种：第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系错误、第一ETL节点中的数据计算逻辑是否错误，下面分别就两种情况进行出现问题原因的确定。

在一些可能的设计中，所述确定所述第一ETL节点出现问题的原因包括：

判断所述第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系是 否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述映射关系出现错误， 所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点。

在确定第一ETL节点输出的待检查数据出现错误时，可判断第一ETL节点中的数据属 性与第二ETL节点中的数据属性之间的映射关系是否正确，从而确定第一ETL节点输出的 待检查数据出现问题的原因。

在一些可能的设计中，所述确定所述第一ETL节点出现问题的原因包括：

判断所述第一ETL节点中的数据计算逻辑是否正确，若不正确，则确定所述第一ETL 节点出现问题的原因为所述数据计算逻辑出现错误。

在确定第一ETL节点输出的待检查数据出现错误时，可判断第一ETL节点中的数据计 算逻辑是否正确，从而确定第一ETL节点输出的待检查数据出现问题的原因。

在一些可能的设计中，所述方法还包括：

预先确定所述第一ETL节点的标准数据，并获取所述第一ETL节点的标准数据的数据 特征。

预先确定第一ETL节点的标准数据，以便将第一ETL节点输出的待检查数据的数据特 征与第一ETL节点的标准数据的数据特征进行比对，从而判断第一ETL的输出数据是否存 在问题。其中，第一ETL节点的标准数据的确定可以通过以下两种方式：对目标输出数据进行校验、对预设源数据执行ETL过程。

可选的，所述第一ETL节点的待检查数据为所述第一ETL节点的当前批次数据，则所 述预先确定所述第一ETL节点的标准数据包括：

获取所述第一ETL节点在当前批次的前预设数目批次中输出的目标输出数据，所述预 设数目为正整数，且在当前批次输入所述ETL过程的源数据，与在所述前预设数目批次中 输入所述ETL过程的源数据不同。

对所述目标输出数据进行校验，得到校验结果，若所述校验结果为正确，则将所述目 标输出数据确定为所述第一ETL节点的标准数据。

通过对目标输出数据进行校验，从而获得第一ETL节点的准确的标准数据。

可选的，所述预先确定所述第一ETL节点的标准数据包括：

获取预设源数据，并以所述预设源数据作为输入执行所述ETL过程；

若执行结果为成功，且所述预设源数据满足预设稽核条件，则将所述预设源数据在被 执行ETL过程中，所述第一ETL节点输出的数据确定为所述第一ETL节点的标准数据。

通过对预设源数据执行ETL过程，从而得到第一ETL节点的准确的标准数据。

在一些可能的设计中，在计算所述第一ETL节点的待检查数据的数据特征之前，所述 方法还包括：在第一文件中存储所述第一ETL节点的待检查数据。

在计算所述第一ETL节点的待检查数据的数据特征之后，所述方法还包括：若所述第 一ETL节点不为加载节点，则删除所述第一文件。

将第一ETL节点的待检查数据存储在第一文件中，用于根据第一ETL节点的待检查数 据获取其数据特征，在完成计算后，删除第一文件，可以提高空间的利用率。

在一些可能的设计中，若所述第一比对结果满足所述第一预设条件，则所述方法还包 括：删除第二文件，所述第二文件存储所述第二ETL节点的待检查数据。

在第一比对结果满足第一预设条件时，说明第一ETL节点输出的待检查数据没有出现 问题，因此可以不对第一ETL节点的上游节点的输出数据进行检查，因此可删除第二ETL 节点的待检查数据，从而提高空间的利用率。

在一些可能的设计中，所述方法还包括：

存储所述第一ETL节点的待检查数据的数据特征，若所述第一比对结果满足所述第一 预设条件，则删除所述第一ETL节点的待检查数据的数据特征。

第一ETL节点的待检查数据没有出现问题时，删除第一ETL节点的待检查数据的数据 特征，可以提高空间的利用率。

在一些可能的设计中，所述若所述第一比对结果满足所述第一预设条件，则删除所述 第一ETL节点的待检查数据的数据特征包括：

若所述第一比对结果满足所述第一预设条件，且所述第一ETL节点不为加载节点，则 删除所述第一ETL节点的待检查数据的数据特征。

在第一比对结果满足第一预设条件时，由于加载节点的输出数据的数据特征可以作为 该节点的标准数据的数据特征，因此可以不进行删除，而删除其他节点的输出数据的数据 特征，可能提高空间的利用率。

本申请第二方面提供了一种定位ETL过程问题的装置，所述ETL过程为抽取-转换-加载 过程，具体对应于上述第一方面提供的定位ETL过程问题的方法的功能。所述功能可以通 过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功 能相对应的单元，所述单元可以是软件和/或硬件。

在一些可能的设计中，所述定位ETL过程问题的装置包括：

第一ETL节点确定单元，用于确定第一ETL节点，所述第一ETL节点为所述ETL过程中的节点；

第一待检查数据获取单元，用于获取所述第一ETL节点输出的待检查数据；

第一数据特征获取单元，用于计算所述第一ETL节点的待检查数据的数据特征；

第一比对结果获取单元，用于比对所述第一ETL节点的所述待检查数据的数据特征与 所述第一ETL节点的标准数据的数据特征，得到第一比对结果；

第一显示单元，用于若所述第一比对结果不满足第一预设条件，则显示所述第一ETL 节点出现问题。

在一些可能的设计中，若所述第一比对结果不满足所述第一预设条件，则所述装置还 包括：

第二ETL节点确定单元，用于确定第二ETL节点，所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点；

第二待检查数据获取单元，用于获取所述第二ETL节点的待检查数据；

第二数据特征获取单元，用于计算所述第二ETL节点的待检查数据的数据特征；

第二比对结果获取单元，用于比对所述第二ETL节点的所述待检查数据的数据特征与 所述第二ETL节点的标准数据的数据特征，得到第二比对结果；

第二显示单元，用于若所述第二比对结果不满足第二预设条件，则显示所述第二ETL 节点出现问题。

在一些可能的设计中，所述装置还包括：

原因确定单元，用于确定所述第一ETL节点出现问题的原因。

在一些可能的设计中，所述原因确定单元具体用于：

判断所述第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系是 否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述映射关系出现错误， 所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点。

在一些可能的设计中，所述原因确定单元具体用于：

判断所述第一ETL节点中的数据计算逻辑是否正确，若不正确，则确定所述第一ETL 节点出现问题的原因为所述数据计算逻辑出现错误。

在一些可能的设计中，所述装置还包括：

标准数据获取单元，用于预先确定所述第一ETL节点的标准数据；

标准数据特征获取单元，用于获取所述第一ETL节点的标准数据的数据特征。

在一些可能的设计中，所述第一ETL节点的待检查数据为所述第一ETL节点的当前批 次数据；

所述标准数据获取单元包括：

目标输出数据获取单元，用于获取所述第一ETL节点在当前批次的前预设数目批次中 输出的目标输出数据，所述预设数目为正整数，且在当前批次输入所述ETL过程的源数据， 与在所述前预设数目批次中输入所述ETL过程的源数据不同；

校验结果获取单元，用于对所述目标输出数据进行校验，得到校验结果；

第一标准数据确定单元，用于若所述校验结果为正确，则将所述目标输出数据确定为 所述第一ETL节点的标准数据。

在一些可能的设计中，所述标准数据获取单元包括：

预设源数据ETL执行单元，用于获取预设源数据，并以所述预设源数据作为输入执行 所述ETL过程；

第二标准数据确定单元，用于若执行结果为成功，且所述预设源数据满足预设稽核条 件，则将所述预设源数据在被执行ETL过程中，所述第一ETL节点输出的数据确定为所述 第一ETL节点的标准数据。

在一些可能的设计中，所述装置还包括：

待检查数据存储单元，用于在计算所述第一ETL节点的待检查数据的数据特征之前， 在第一文件中存储所述第一ETL节点的待检查数据；

第一文件删除单元，用于在计算所述第一ETL节点的待检查数据的数据特征之后，若 所述第一ETL节点不为加载节点，则删除所述第一文件。

在一些可能的设计中，若所述第一比对结果满足所述第一预设条件，则所述装置还包 括：

第二文件删除单元，用于删除第二文件，所述第二文件存储所述第二ETL节点的待检 查数据。

在一些可能的设计中，所述装置还包括：

数据特征存储单元，用于存储所述第一ETL节点的待检查数据的数据特征；

数据特征删除单元，用于若所述第一比对结果满足所述第一预设条件，则删除所述第 一ETL节点的待检查数据的数据特征。

在一些可能的设计中，所述数据特征删除单元包括：

数据特征删除子单元，用于若所述第一比对结果满足所述第一预设条件，且所述第一 ETL节点不为加载节点，则删除所述第一ETL节点的待检查数据的数据特征。

本申请又一方面提供了一种定位ETL过程问题的设备，所述设备包括：处理器和存储 器；

所述存储器，用于存储指令，所述处理器，用于执行所述存储器中的所述指令，执行 上述各方面所述的方法。

本申请又一方面提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时， 使得计算机执行上述各方面所述的方法。

本申请又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使 得计算机执行上述各方面所述的方法。

与现有技术相比，本申请实施例提供的定位ETL过程问题的方法及相关设备中，通过 将ETL过程中的其中一个节点确定为第一ETL节点，获取第一ETL节点的待检查数据，并计算第一ETL节点的待检查数据的数据特征，比对第一ETL节点的待检查数据的数据特征与预先获取的第一ETL节点的标准数据的数据特征，得到第一比对结果。由于第一ETL节 点的标准数据可以认为是不存在问题的数据，则若第一比对结果不满足第一预设条件，说 明第一ETL节点的待检查数据是有问题的数据，也就是说，通过对第一ETL节点的待检查 数据的数据特征进行判别，可及时发现第一ETL节点是否存在问题，而不必等到数据被加 载至目标数据仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免 使用有问题的数据可能造成的严重的后果。

附图说明

图1为本申请实施例中ETL过程的示意图；

图2为本申请实施例提供的定位ETL过程问题的方法流程图；

图3为本申请实施例提供的ETL过程的具体示意图；

图4为本申请实施例提供的ETL过程对应的数据关系图；

图5为本申请实施例提供的另一种定位ETL过程问题的方法流程图

图6为本申请实施例中待检查数据的映射关系示意图；

图7为本申请实施例中待检查数据的检查情况；

图8为本申请实施例中定位ETL过程问题的装置的结构示意图；

图9为本申请实施例中执行定位ETL过程问题的设备的结构示意图。

具体实施方式

本申请实施例提供了一种定位ETL过程问题的方法及相关设备，用于及时发现ETL过程中出现的问题，避免使用有问题的数据可能导致的严重后果。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四” 等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理 解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示 或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在 于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备 不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、 方法、产品或设备固有的其它步骤或单元。

当前的ETL过程，通常是将异构数据源中的数据进行抽取(extract)、转换(transform)， 并加载(load)至目标数据仓库，完成不同类型的数据的整合。例如，将ORACLE数据库 的号码段归属地数据和HADOOP分布式文件系统(hadoop distributed filesystem，HDFS) 上的主叫用户详单数据分别抽取出来，然后进行数据的转换，最后将转换完成的数据加载 到HADOOP，其过程可参考图1所示。在ETL过程中，若源数据本身或数据转换逻辑出 现问题，可能导致最终的输出数据是有问题的数据。传统的ETL过程没有对输出数据进行 检查，因此有问题的数据和正常的数据一起被加载至目标数据仓库，数据使用方在使用数 据前，从目标数据仓库提取数据，使用的数据为有问题的数据时可能造成异常，此时才能 发现该ETL过程中生成的数据是有问题的，而发现问题的同时可能已经因为使用有问题的 数据而造成了严重的后果。

为了解决上述问题，本申请实施例提供了一种定位ETL过程问题的方法，在ETL过程中，将ETL过程中的其中一个节点确定为第一ETL节点，将第一ETL节点输出的数据 作为待检查数据，通过将待检查数据的数据特征与标准数据的数据特征进行比对，得到第 一比对结果，若得到的第一比对结果不满足第一预设条件，说明第一ETL节点的待检查数 据是有问题的数据，从而快速的完成对输出数据的检查，及时确定待检查数据是否存在问 题并定位问题所在，避免因为使用有问题的数据造成的严重后果。

参考图2所示，为本申请实施例提供的定位ETL过程问题的方法流程图，该方法包括 以下步骤：

S201，确定第一ETL节点，第一ETL节点为ETL过程中的节点。

ETL过程实际上就是将异构数据源中的数据，经过抽取、转换，并加载至目标数据仓 库的过程，从而将不同类型的数据进行整合，实现数据的统一管理的目的。也就是说，可以将一个异构源数据库中的数据经过ETL过程加载至目标数据仓库中，也可以将多个源数据库中的数据经过ETL过程汇总加载至目标数据仓库中，其中，至少一个源数据库的结构与目标数据仓库结构不同。若异构数据源中的数据本身或数据转换逻辑出现错误，加载至目标数据仓库的数据就会存在问题。

从对ETL流程的定义可以看出，ETL流程一共包括三类节点，即抽取节点、转换节点和加载节点，其中抽取节点用于从异构数据库中抽取待处理数据，转换节点用于转换抽取节点抽取的数据，加载节点用于将转换节点完成转换的数据加载至目标数据仓库。ETL流程的每类节点可以至少包括一个节点。例如参见图2，抽取节点包括两个节点，即第一抽 取节点和第二抽取节点；转换节点也包括两个节点，即关联节点和分组节点；加载节点包 括一个节点。

本申请实施例中，第一ETL节点是ETL流程中的其中一个节点，可以是加载节点，也可以是转换节点或抽取节点。

S202，获取第一ETL节点的待检查数据。

第一ETL节点的待检查数据，为第一ETL节点根据其对应的功能对输入的数据进行处 理后输出的数据，例如可以是抽取节点输出的完成抽取的数据，也可以是转换节点输出的 完成转换的数据，也可以是加载节点输出的完成加载的数据。

为了便于后续处理，第一ETL节点的待检查数据可以存储在第一文件中。若第一ETL 节点为加载节点，则第一文件通常位于目标数据仓库；若第一ETL节点为抽取节点或转换 节点，那么第一文件通常不位于目标数据仓库，而是以临时文件的形式存在。

在实际应用中，第一ETL节点的待检查数据可以以批次为单位，批次是指利用该第一 ETL节点的功能执行一次所对应的数据。第一文件中可以仅存储一个批次的待检查数据， 也可以存储多个批次的待检查数据，本实施例不做具体限定。若存储多个批次的待检查数 据，则可以按照批次号来区分各个批次。

S203，计算第一ETL节点的待检查数据的数据特征。

第一ETL节点的待检查数据的数据特征能够表征待检查数据的数据特点。第一ETL节 点的待检查数据的数据特征例如可以是第一ETL节点的待检查数据的数据标号、均值、方 差、标准差、异常值数量、异常值比率、空值数量、空值比率等，其中，均值可以体现待 检查数据集中趋势，方差和标准差可以体现待检查数据的离散程度，异常值数量和异常值 利率可以体现待检查数据的异常值情况，空值数量和空值比率可以体现待检查数据的空值情况。这些数据特征是待检查数据特有的，若待检查数据的数据特征存在问题，则待检查数据也可能存在异常。

若第一ETL节点的待检查数据存储在第一文件中，且第一文件被视为临时文件时，在 计算得到第一ETL节点的待检查数据的数据特征之后，可以将第一文件删除。若第一文件 中存储多个批次的待检查数据，则当对其中一个批次的待检查数据完成数据特征的计算 后，删除第一文件中该批次的待检查数据。若第一ETL节点为加载节点，则不进行第一文件的删除。

在计算得到第一ETL节点的待检查数据的数据特征后，还可以存储该数据特征，具体 的，可以存储在异构源数据库中，也可以存储在目标数据仓库中，还可以不进行存储直接 进行后续处理，在此不做限定。

S204，比对第一ETL节点的待检查数据的数据特征与第一ETL节点的标准数据的数据 特征，得到第一比对结果。

第一ETL节点的标准数据根据第一ETL节点的输出数据得到，作为第一ETL节点的待 检查数据的比对对象，决定着第一ETL节点的待检查数据正确与否，因此其本身是准确的， 能够代表第一ETL节点的输出数据的标准的。

第一ETL节点的标准数据可以是动态变化的，也可以是固定不变的。动态变化的含义 是第一ETL节点的不同批次的待检查数据分别对应的标准数据是不同的；而固定不变的含 义是第一ETL节点的不同批次的待检查数据分别对应的标准数据是相同的。

若第一ETL节点的标准数据是动态变化的，那么假设第一ETL节点输出的待检查数据 为第一ETL节点的当前批次数据，那么第一ETL节点的标准数据可以是当前批次数据之前 预设数目批次中输出数据，其中，预设数目为正整数。例如假设预设数目为2，当第一ETL节点的待检查数据为第10批数据时，第一ETL节点的标准数据为第一ETL节点在第8批次 输出的数据；当第一ETL节点的待检查数据为第20批数据时，第一ETL节点的标准数据为 第一ETL节点在第18批次输出的数据。

为了保证第一ETL节点的标准数据的正确性，需要执行校验。具体的，首先获取所述 第一ETL节点在当前批次的前预设数目批次中输出的目标输出数据，然后对所述目标输出 数据进行校验，得到校验结果，若所述校验结果为正确，则将所述目标输出数据确定为所 述第一ETL节点的标准数据。

可以理解的是，由于目标输出数据是在当前批次前预设数目批次输出的数据，所以目 标输出数据应当被执行了本实施例提供的定位ETL过程问题的方法，如果当时执行的结果 为第一ETL节点没有出现问题，那么说明校验结果为正确，则可以将该目标输出数据作为 第一ETL的标准数据。

当然，除了采用上述方法实现对目标输出数据进行校验之外，还可以采用其他校验方 法，本实施例不做具体限定。例如，预先确定预设校验规则，若目标输出数据满足该预设 校验规则，则认为该目标输出数据是正确的数据，可以作为第一ETL节点的标准数据。比如说若目标输出数据的记录数大于或等于100，且小于或等于200，其字段值范围在-100 到100之间等，则满足预设校验规则。若目标输出数据满足预设校验规则，可认为目标输 出数据可以作为第一ETL节点的标准数据。

若第一ETL节点的标准数据是固定不变的，那么第一ETL节点可以是用户选择的特定 批次的数据，例如第一ETL节点输出的第一批次数据。对第一ETL节点的标准数据的正确性校验可以如前文所述，利用预设校验规则对第一ETL节点输出的标准数据进行校验，当然，还可以对第一ETL节点的预设源数据进行校验。预设源数据是指输入执行所述ETL过 程的源数据，若预设源数据满足预设稽核条件，且预设源数据执行所述ETL过程的执行结 果为成功，则在该ETL过程中，将第一ETL节点输出的数据确定为第一ETL节点的标准数 据。其中，预设稽核条件可以根据源数据的数据特征进行设定，也可以根据源数据的属性 设定，预设稽核条件例如可以是源数据的记录数大于或等于100，也可以是源数据为数值 或者时间值等。

需要说明的是，执行结果为成功的含义是指加载节点可以正常输出数据。若在ETL过 程中出现故障，导致加载节点无法输出数据，则认为执行结果不成功。

在得到准确的标准数据后，通过计算得到标准数据的数据特征，该数据特征的类型与 第一ETL节点的待检查数据的数据特征的类型相匹配，例如若待检查数据的数据特征为待 检查数据的均值，那么标准数据的数据特征是标准数据的均值。在标准数据为多个批次的 数据时，可综合计算各个批次标准数据的数据特征，也可以分别计算各个批次标准数据的 数据特征，再取各个数据特征的均值或加权值。

当得到标准数据的数据特征之后，比对第一ETL节点的待检查数据的数据特征与该节 点的标准数据的数据特征，获得第一比对结果。第一比对结果的形式可以根据第一ETL节 点的待检查数据的数据特征来确定，例如若数据特征为均值时，第一比对结果可以是第一 ETL节点的待检查数据的均值和标准数据的均值的差值或比值，也可以是其他能够体现二 者比对结果的形式，在此不做限定。

S205，若第一比对结果不满足第一预设条件，则显示第一ETL节点出现问题。

第一比对结果是第一ETL节点的待检查数据的数据特征和该节点的标准数据的数据特 征之间的比对结果，为了能够定位ETL过程中的问题所在，可以判断第一比对结果是否满 足第一预设条件，若满足，则认为第一ETL节点的待检查数据是没有问题的数据，若不满 足，则认为第一ETL节点的待检查数据是有问题的数据，此时显示第一ETL节点出现问题， 以对用户进行提示。

第一预设条件可以是根据第一比对结果的类型确定的。例如第一比对结果为第一ETL 节点的待检查数据的均值和标准数据的均值的比值，则对于该比值的第一预设条件可以是 小于或等于第一比值阈值，且大于或等于第二比值阈值。若第一比值阈值为0.8，第二比 值阈值为1.2，当比值为1.5时，该比值不满足第一预设条件，说明在第一ETL节点的待检查数据中，有异常数据导致其均值偏大，该异常数据可能就是有问题的数据。

在判断第一比对结果满足第一预设条件时，则认为第一ETL节点的待检查数据是没有 问题的数据，此时，可删除第一ETL节点的待检查数据的数据特征。

在本申请实施例中，将第一ETL节点的上游节点定义为第二ETL节点，其中，上游节点是指该节点中的输出数据将直接作为第一ETL节点的输出数据。类似的，第二ETL节点 的上游节点可以定义为第三ETL节点。

在第一ETL节点的待检查数据是没有问题的数据时，说明其上游节点的待检查数据也 是没有问题的数据，可以删除其上游节点的待检查数据的数据特征，即删除第二ETL节点 和第三ETL节点(如果存在)的待检查数据的数据特征，若第二ETL节点的待检查数据存 储于第二文件中，可删除第二文件，或删除第二文件中对应批次的待检查数据。需要说明 的是，若第一ETL节点为加载节点，其输出的是处理完成的数据，在判断第一比对结果满足第一预设条件后，可认为加载节点的输出数据是没有问题的数据，可作为标准数据，因此可以不进行待检查数据的数据特征的删除，以便将其作为标准数据，对之后预设批次的加载节点的待检查数据进行检查。

在判断第一比对结果不符合第一预设条件后，可以根据第一比对结果与第一预设条件 显示第一ETL节点出现的问题，例如均值太大或者异常值数量较多等，也可以直接显示第 一比对结果和第一预设条件供用户查看。

在本申请实施例提供的定位ETL过程问题的方法中，通过将ETL过程中的其中一个节 点确定为第一ETL节点，获取第一节点的待检查数据，并通过计算获取第一ETL节点的待检查数据的数据特征，比对第一ETL节点的待检查数据的数据特征与第一ETL节点的标准数据的数据特征，得到第一比对结果，其中，第一ETL节点的标准数据可以认为是不存在 问题的数据，若第一比对结果不满足第一预设条件，说明第一ETL节点的待检查数据是有 问题的数据，可显示第一ETL节点出现问题。也就是说，通过对第一ETL节点的待检查数 据的数据特征进行判别，可及时发现第一ETL节点是否存在问题，而不必等到数据被加载 至目标数据仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免使 用有问题的数据可能造成的严重的后果。

在确定第一ETL节点的待检查数据存在问题后，还可以确定第一ETL节点的待检查数 据出现问题的原因，其原因可能在于：在数据计算过程中计算逻辑错误、在数据处理过程 中映射关系出现问题或输入第一ETL节点的数据本身有问题等。可以通过对第一ETL节点 的执行过程进行分析，确定第一ETL节点出现问题的原因，确定方式可以是通过人工进行 排查，也可以是通过自动化实现数据的排查，不影响本申请实施例的实现。

作为一种可能的排查方式，在判断第一ETL节点的待检查数据为问题数据后，判断第 一ETL节点中的数据计算逻辑是否正确，例如在转换节点，判断其统计函数是否正确，若不正确，则判断第一ETL节点出现问题的原因为数据计算逻辑出现错误。

作为另一种可能的排查方式，在判断第一ETL节点的待检查数据为问题数据后，为了 进一步定位问题存在的位置，还可以确定第二ETL节点，其中第二ETL节点是第一ETL节点在ETL过程中的上游节点。判断第一ETL节点中的数据属性和第二ETL节点中的数据属 性之间的映射关系是否正确，若不正确，则可以认为第一ETL节点出现问题的原因为，第 一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系出现错误。例如第 一ETL节点中的通话时长本应该与第二ETL节点中的通话时长建立映射关系，但在ETL执 行过程中，第一ETL节点中的通话时长与第二ETL节点中的通话开始时间对应，导致第一 ETL节点中的通话时长的数据属性异常。

作为又一种可能的排查方式，可对第二ETL节点的待检查数据进行检查，由于第二ETL 节点的待检查数据即为第一ETL节点的输入数据，若第二ETL的待检查数据出现问题，则 输入第一ETL节点的数据就是有问题的数据，从而导致第一ETL节点的待检查数据存在问 题。对第二ETL节点的待检查数据进行正确性判断可以参考对第一ETL节点的待检查数据 进行正确性判断的过程，具体的，可以确定第二ETL节点，获取第二ETL节点的待检查数据，计算第二ETL节点的待检查数据的数据特征，比对所述第二ETL节点的所述待检查数 据的数据特征与第二ETL节点的标准数据的数据特征，得到第二比对结果，若第二比对结 果不满足第二预设条件，则显示第二ETL节点出现问题。类比于第一ETL节点的输出数据 的问题排查方式，还可以进行第二ETL节点的输出数据的问题排查，在此不再赘述。

在本申请实施例提供的定位ETL过程问题的方法中，通过获取第一ETL节点的待检查 数据，比对第一ETL节点的待检查数据的数据特征与预先获取的第一ETL节点的标准数据 的数据特征，得到第一比对结果，若第一比对结果不满足第一预设条件，说明第一ETL节点的待检查数据是有问题的数据，显示第一ETL节点出现问题，通过对第一ETL节点的计 算逻辑、映射关系或输入数据等方面进行检查，确定第一ETL节点的待检查数据出现问题 的原因，从而避免使用有问题的数据可能造成的严重的后果。

为了便于理解，下面结合具体的场景对本申请实施例提供的定位ETL过程问题的方法 进行具体说明，该场景中，将ORACLE数据库的号码归属地数据和HADOOP上的主叫用户详单数据分别抽取出来，然后做关联(join)、分组的转换操作，最后将转换汇总的数据加载到HADOOP。其中，用户话单明细数据可以包括：主叫用户号码、被叫用户号码、通话 开始时间、通话时长、通话类型(漫游、市内主叫、长途主叫)等项，号码归属地数据可 以包括：用户号码、归属地(地市级别)等项，通过将两份数据进行汇总，统计每天每个 地市的主叫通常时长。

ETL过程的流程如图3所示，该过程包括抽取节点、关联节点、分组节点和加载节点， ETL过程中对应的数据关系参考图4，第一抽取节点从ORACLE数据库抽取号码归属地数据， 第二抽取节点从HADOOP上抽取主叫用户详单数据，关联节点以用户号码作为条件，将抽 取到的数据做自然连接形成详单和号码归属地数据，分组节点根据归属地进行汇总生成通 话时长汇总，加载节点将汇总的数据输出至HADOOP。在ETL过程中，各个节点的待检查数据可以保存在临时文件中，在对待检查数据的检查中，可通过临时文件中的待检查数据进行，不影响ETL流程的执行。

如图5所示为本申请实施例提供的另一种定位ETL过程问题的方法流程图。

S501，确定标准数据的批次号。

标准数据的确定方式可参见前述S204，在此不再赘述。在确定标准数据后，获取标准 数据的批次号。

S502，比较待检查数据的批次号和标准数据的批次号的大小，若待检查数据的批次号 小于标准数据的批次号，结束流程；若等于，执行S503；若大于，执行S504。

在本申请实施例中，对节点的待检查数据进行正确性判断的过程可通过自动化进行， 先确定标准数据的批次号，再对其他批次的待检查数据进行检查，具体的，可以按照待检 查数据的批次号从小到大依次进行检查。

以第二个批次的数据作为标准数据为例。若待检查数据的批次号小于标准数据的批次 号时，例如待检查数据的批次号为1时，可不进行该批次的待检查数据的检查，删除保存 有该批次各个节点的待检查数据的第一文件；若待检查数据的批次号等于标准数据的批次 号时，说明该批次的待检查数据即为标准数据，是准确的输出数据，可不进行检查，执行 S503，删除该批次除加载节点外其他各个节点的输出数据；若待检查数据的批次号大于标 准数据的批次号时，需要对该批次的待检查数据进行检查，执行S504。

S503，获取ETL过程中各个节点的标准数据，计算标准数据的数据特征。

ETL过程中各个节点的标准数据，可以包括抽取节点、关联节点、分组节点和加载节 点的标准数据，将批次号为标准数据的批次号的输出数据作为标准数据，其各个节点的输 出数据作为分别作为对应节点的标准数据，例如抽取节点的输出数据作为抽取节点的标准 数据，关联节点的输出数据作为关联节点的标准数据等，根据各个节点的标准数据计算得 到各个节点的标准数据的数据特征。

S504，获取加载节点的待检查数据的数据特征，比较加载节点的待检查数据的数据特 征和标准数据的数据特征，得到第一比对结果。

本申请实施例中，可以通过对加载节点的检查判断最终输出数据是否为有问题的数 据，若该批次的加载节点输出的待检查数据没有问题，可不进行其他节点的待检查数据的 检查，若加载节点输出的待检查数据是有问题的数据，可进行加载节点的待检查数据出现 问题的原因确定。

例如，将第二批的数据作为标准数据，其加载的数据如下表所示，加载节点的标准数 据的数据特征以其数据的均值为例，均值为1650。

地市	通话时长(万分钟)
		南京	1000
苏州	3000
		常州	2000
扬州	600

以第十批的待检查数据为例，其加载的数据如下表所示，加载节点的待检查数据的均 值为2150。

地市	通话时长(万分钟)
		南京	3000
苏州	3000
		常州	2000
扬州	600

比较加载节点的待检查数据的均值和标准数据的均值，得到第一比较结果，其中第一 比较结果，可以是待检查数据的均值相对于标准数据的均值的环比增长值：(2150-1650) /1650＝30.3％。

S505，判断第一比对结果是否满足第一预设条件，若满足，结束流程，若不满足，执行S506。

在本申请实施例中，第一预设条件例如可以是：记录数无变化和通话时长均值环比增 长或下降不超过15％。若第一比对结果满足第一预设条件，说明加载节点的待检查数据数 为正确数据，此时可不进行其他节点的待检查数据的检查，删除该批次抽取节点、关联节 点和分组节点的待检查数据，结束流程。若第一比对结果不满足第一预设条件，例如上述 得到的通话时长均值环比增长值为30.3％，大于第一预设条件中的15％，此时认为第一比 对结果不满足第一预设条件，即输出数据存在问题，可进行追溯和检查，对待检查数据产 生的问题的原因进行定位。

S506，获取分组节点的待检查数据的数据特征，比较分组节点的待检查数据和标准数 据，得到第二比对结果。

由于分组节点位于加载节点的上游，在加载节点的输出数据有问题的情况下，可以对 分组节点的待检查数据进行检查，若分组节点的待检查数据是没有问题的数据，则说明问 题存在于加载节点，对加载节点进行问题的排查即可定位问题所在，若分组节点的待检查 数据是有问题的，则说明问题可能存在于分组节点或分组节点的上游，则需要进一步对分 组节点的上游节点进行数据检查。

将分组节点的待检查数据的数据特征与分组节点的标准数据的数据特征进行比对，如 下表所示的第二比对结果，记录数的差异为0，通话时长均值同步增长30.3％。

特征	标准数据特征	本批次实际数据特征	第二比对结果
				记录数	4	4	0
通话时长均值	1650	2150	0.303

S507，判断第二比对结果是否满足第二预设条件，若满足，执行S508，若不满足，执行S509。

在本申请实施例中，第二预设条件例如可以是：记录数无变化和通话时长均值环比增 长或下降不超过15％。若第二比对结果满足第二预设条件，说明分组节点的待检查数据是 正常数据，此时出现问题的位置在加载节点，对加载节点的问题进行排查，删除该批次抽 取节点、关联节点和分组节点的待检查数据。

若第二比对结果不满足第二预设条件，例如由上述第二比对结果可知，通话时长均值 环比增长值为30.3％，大于第二预设条件中的15％，此时认为第二比对结果不满足第二预 设条件，即分组节点的待检查数据存在问题，说明问题可能存在于分组节点或分组节点的 上游节点，则需要进一步进行数据检查。

S508，对加载节点的映射关系进行检查，确定出现问题的原因，结束流程。

在判断第一比对结果不符合第一预设条件后，可以根据第一比对结果与第一预设条件 的比对进行问题的确定，确定加载节点出现问题的原因的方式可以是通过人工进行排查， 也可以是通过自动化实现数据的排查，均不影响本申请实施例的实现。

对各节点待检查数据的映射关系的检查，可以通过各个字段之间的对应关系进行，例 如主叫用户详单数据中的“通话时长数据”，对应详单和号码归属地数据关联中的“通话 时长”，对应于按照归属地汇总通话时长中的“通话时长汇总”，对应于加载的通话时长汇 总，参考图6所示。

在一个加载节点对应有多个分组节点的情况下，可以分别对应各个分组节点与加载节 点之间的映射关系，在此不再举例说明。

对加载节点的映射关系的检查，例如可以通过按照归属地汇总通话时长中的“通话时 长汇总”和加载中的“通话时长汇总”的对应关系是否正确，来确定加载节点的映射关系 是否正确，若不正确，即可确定问题出现的原因是加载节点的映射关系错误，删除该批次 加载节点的待检查数据。

S509，获取关联节点的待检查数据的数据特征，比较关联节点的待检查数据和标准数 据，得到第三比对结果。

由于关联节点位于分组节点的上游，在分组节点的输出数据有问题的情况下，对关联 节点的待检查数据进行检查，若关联节点的待检查数据是没有问题的数据，则说明问题存 在于分组节点，对分组节点进行问题的排查即可定位问题所在，若关联节点的待检查数据 是有问题的，则说明问题可能存在于关联节点或关联节点的上游节点，则需要进一步进行 数据检查。

将关联节点的待检查数据的数据特征与关联节点的标准数据的数据特征进行比对，如 下表所示的第三比对结果。

特征	标准数据特征	本批次实际数据特征	第三比对结果
				记录数	7001万	7000万	-0.00014
通话时长均值	56.56秒	56.57秒	0.000177
				通话时长方差	35	36	0.02857
通话时长标准差	10	10.6	0.06
				通话时长大于1000的数量	10万	10.2万	0.02
通话时长大于1000的比率	0.00143	0.00146	0.021
				通话时长空值数量	0	0	0
通话时长空值比率	0	0	0
				归属地空值数量	0	0	0

S510，判断第三比对结果是否满足第三预设条件，若满足，执行S511，若不满足，执行S512。

在本申请实施例中，第三预设条件可以参考下表。若第三比对结果满足第三预设条件， 说明关联节点的待检查数据是正常数据，此时出现问题的位置在分组节点，可以对分组节 点的问题进行排查，可删除该批次抽取节点和关联节点的待检查数据，若第三比对结果不 满足第三预设条件，则说明问题可能存在于关联节点或关联节点的上游，则需要进一步进 行数据检查。

由第三比对结果和第三预设条件可知，第三比对结果满足第三预设条件，关联节点的 待检查数据不存在问题，说明问题出现的位置在分组节点。

S511，对分组节点的映射关系和计算逻辑进行检查，确定出现问题的原因，结束流程。

对分组节点的映射关系的检查，例如可以通过详单和号码归属地数据关联中的“通话 时长”与按照归属地汇总通话时长中的“通话时长汇总”对应，判断其对应关系是否正确， 例如属性是否相同等，通话时长及其汇总字段的关系映射是否错位等。

在一个分组节点对应有多个关联节点的情况下，可以分别对应各个关联节点与对应的 分组节点之间的映射关系，在此不再举例说明。

对分组节点的计算逻辑进行检查，具体的，可以检查详单和号码归属地数据关联中的 “通话时长”与按照归属地汇总通话时长中的“通话时长汇总”的计算逻辑，例如通过多 个主叫用户的通话时长进行汇总，其汇总方式应该是各个时长相加，若发现其计算逻辑不 是相加，即可确定出现问题的原因是分组节点的计算逻辑出现错误。又例如，可以检查计 算函数是否正确，例如分组节点的通话时长汇总表达式为： Sum_local(record_time,#flow.startDataTime#)。Sum_local是自定义统计函数，其代码逻辑有 bug，导致第十批次的统计数据异常。

在确定问题出现的原因后，可删除分组节点的待检查数据。

S512，获取抽取节点的待检查数据的数据特征，比较抽取节点的待检查数据和标准数 据，得到第四比对结果。

在抽取节点的待检查数据，是第一抽取节点从ORACLE数据库中抽取的号码段归属地数据和第二抽取节点从HADOOP中抽取的用户话单明细数据，分别计算两个抽取节点 输出的待检查数据的数据特征，与对应的标准数据进行比对，得到第四比对结果。

S513，判断第四比对结果是否满足第四预设条件，若满足，执行S514，若不满足，执行S515。

在本申请实施例中，第四预设条件可以分别针对于第一抽取节点输出的号码段归属地 数据和第二抽取节点输出的用户话单明细数据，针对于号码段归属地数据的第四预设条件 例如可以是：记录数和标准数据相比增长或下降不超过10％、归属地空值数量和标准数据 相比增长或下降不超过1％，针对于用户话单明细数据的第四预设条件可参考下表。若第 四比对结果满足第四预设条件，说明抽取节点的待检查数据是正常数据，此时出现问题的 位置在关联节点，对关联节点的问题进行排查，可删除该批次抽取节点的待检查数据，若 有其中一个抽取节点的第四比对结果不满足第四预设条件，则说明该抽取节点抽取的数据 有问题。

S514，对关联节点的映射关系和计算逻辑进行检查，确定出现问题的原因，结束流程。

对关联节点的映射关系和计算逻辑进行检查的过程可以参考对分组节点的映射关系 和计算逻辑进行检查的过程，在确定问题出现的原因后，可删除该批次关联节点的待检查 数据，在此不再赘述。

S515，确定出现问题的原因是源数据出现错误，结束流程。

在确定问题出现的原因后，可以删除该批次抽取节点的待检查数据，还可以向用户显 示。如下表所示为对不同批次的输出数据进行检查的结果，将第一批的数据，即数据开始 时间为20171001的数据作为标准数据，通过检查发现第2-9批数据均为正常数据，第10 批为异常数据。

任务名称	数据开始时间	数据结束时间	质量检查结果
				详单汇总	20171001	20171002	未检查
详单汇总	20171002	20171003	正常
				详单汇总	20171003	20171004	正常
详单汇总	20171004	20171005	正常
				详单汇总	20171005	20171006	正常
详单汇总	20171006	20171007	正常
				详单汇总	20171007	20171008	正常
详单汇总	20171008	20171009	正常
				详单汇总	20171009	20171010	正常
详单汇总	20171010	20171011	异常

如图7所示，还可显示第十批数据中各个节点的待检查数据的检查情况，例如关联节 点右上角的标识为其待检查数据为正常数据，分组节点和加载节点右上角的图标为其待检查数据均为异常数据，说明问题出现的位置在分组节点。

如下表所示，还可显示在分组节点的待检查数据出现问题的原因，该表中包含数据特 征计算表达式、第二预设规则和第二比对结果，其中count(*)是为了计算记录总数，avg(record_time)是为了计算通话时长均值。由于第二比对结果为0.303，第二预设规则为大 于或等于-0.15且小于或等于0.15，因此第二比对结果不符合第二预设规则，分组节点输出 的待检查数据的检查结果为异常。

在本申请实施例提供的定位ETL过程问题的方法中，由于第一ETL节点的待检查数据 是在ETL过程中产生的，因此，通过对第一ETL节点的待检查数据的数据特征进行判别，可在ETL过程中及时发现ETL节点的待检查数据是否存在问题，若存在可及时发现问题存在的原因，进而对有问题数据进行处理，而不必等到数据被加载至目标数据仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免使用有问题的数据可能造成的严重的后果。

为便于更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装 置。

请参考图8所示，本申请实施例提供的一种定位ETL过程问题的装置，ETL过程为抽取-转换-加载过程，具体对应于上述提供的定位ETL过程问题的方法的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元，单元可以是软件和/或硬件。该装置可以包括：

第一ETL节点确定单元801，用于确定第一ETL节点，第一ETL节点为ETL过程中的节点；

第一待检查数据获取单元802，用于获取第一ETL节点输出的待检查数据；

第一数据特征获取单元803，用于计算第一ETL节点的待检查数据的数据特征；

第一比对结果获取单元804，用于比对第一ETL节点的待检查数据的数据特征与第一 ETL节点的标准数据的数据特征，得到第一比对结果；

第一显示单元805，用于若第一比对结果不满足第一预设条件，则显示第一ETL节点 出现问题。

在一些可能的设计中，若第一比对结果不满足第一预设条件，则定位ETL过程问题装 置还包括：

第二ETL节点确定单元，用于确定第二ETL节点，第二ETL节点为第一ETL节点在ETL过程的上游节点；

第二待检查数据获取单元，用于获取第二ETL节点的待检查数据；

第二数据特征获取单元，用于计算第二ETL节点的待检查数据的数据特征；

第二比对结果获取单元，用于比对第二ETL节点的待检查数据的数据特征与第二ETL 节点的标准数据的数据特征，得到第二比对结果；

第二显示单元，用于若第二比对结果不满足第二预设条件，则显示第二ETL节点出现 问题。

在一些可能的设计中，定位ETL过程问题装置还包括：

原因确定单元，用于确定第一ETL节点出现问题的原因。

在一些可能的设计中，原因确定单元具体用于：

判断第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系是否正 确，若不正确，则确定第一ETL节点出现问题的原因为映射关系出现错误，第二ETL节点 为第一ETL节点在ETL过程的上游节点。

在一些可能的设计中，原因确定单元具体用于：

判断第一ETL节点中的数据计算逻辑是否正确，若不正确，则确定第一ETL节点出现 问题的原因为数据计算逻辑出现错误。

在一些可能的设计中，定位ETL过程问题装置还包括：

标准数据获取单元，用于预先确定第一ETL节点的标准数据；

标准数据特征获取单元，用于获取第一ETL节点的标准数据的数据特征。

在一些可能的设计中，第一ETL节点的待检查数据为第一ETL节点的当前批次数据；

则标准数据获取单元包括：

目标输出数据获取单元，用于获取第一ETL节点在当前批次的前预设数目批次中输出 的目标输出数据，预设数目为正整数，且在当前批次输入ETL过程的源数据，与在前预设 数目批次中输入ETL过程的源数据不同；

校验结果获取单元，用于对目标输出数据进行校验，得到校验结果；

第一标准数据确定单元，用于若校验结果为正确，则将目标输出数据确定为第一ETL 节点的标准数据。

在一些可能的设计中，标准数据获取单元包括：

预设源数据ETL执行单元，用于获取预设源数据，并以预设源数据作为输入执行ETL 过程；

第二标准数据确定单元，用于若执行结果为成功，且预设源数据满足预设稽核条件， 则将预设源数据在被执行ETL过程中，第一ETL节点输出的数据确定为第一ETL节点的标 准数据。

在一些可能的设计中，定位ETL过程问题装置还包括：

待检查数据存储单元，用于在计算第一ETL节点的待检查数据的数据特征之前，在第 一文件中存储第一ETL节点的待检查数据；

第一文件删除单元，用于在计算第一ETL节点的待检查数据的数据特征之后，若第一 ETL节点不为加载节点，则删除第一文件。

在一些可能的设计中，若第一比对结果满足第一预设条件，则定位ETL过程问题装置 还包括：

第二文件删除单元，用于删除第二文件，第二文件存储第二ETL节点的待检查数据。

在一些可能的设计中，定位ETL过程问题装置还包括：

数据特征存储单元，用于存储第一ETL节点的待检查数据的数据特征；

数据特征删除单元，用于若第一比对结果满足第一预设条件，则删除第一ETL节点的 待检查数据的数据特征。

在一些可能的设计中，数据特征删除单元包括：

数据特征删除子单元，用于若第一比对结果满足第一预设条件，且第一ETL节点不为 加载节点，则删除第一ETL节点的待检查数据的数据特征。

在本申请实施例提供的定位ETL过程问题的装置中，由于第一ETL节点的待检查数据 是在ETL过程中产生的，因此，通过对第一ETL节点的待检查数据的数据特征进行判别，可在ETL过程中及时发现ETL节点的待检查数据是否存在问题，若存在可及时发现问题存在的原因，进而对有问题数据进行处理，而不必等到数据被加载至目标数据仓库后，由数据使用方使用数据出现异常时才发现数据存在问题，从而避免使用有问题的数据可能造成的严重的后果。

需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申 请实施例方法实施例基于同一构思，其带来的技术效果与本申请实施例方法实施例相同， 具体内容可参见本申请实施例前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例中的定位ETL过程问题的设备。请参阅图9所示，定位ETL过程问题的设备900包括：

接收器901、发射器902、处理器903和存储器904(其中定位ETL过程问题的设备900中的处理器903的数量可以一个或多个，图9中以一个处理器为例)。在本申请的一些实施例中，接收器901、发射器902、处理器903和存储器904可通过总线或其它方式连接， 其中，图9中以通过总线连接为例。

存储器904可以包括只读存储器和随机存取存储器，并向处理器903提供指令和数据。 存储器904的一部分还可以包括NVRAM。存储器904存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种 操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以 及处理基于硬件的任务。

处理器903控制终端设备的操作，处理器903还可以称为CPU。具体的应用中，定位ETL过程问题的设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图 中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器903中，或者由处理器903实现。处 理器903可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器903可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体 管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及 逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合 本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码 处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存 储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器904，处理器903读取存储器904中的信息，结合其硬件完成上述 方法的步骤。

接收器901可用于接收输入的数字或字符信息，以及产生与用户面装置的相关设置以 及功能控制有关的信号输入，发射器902可包括显示屏等显示设备，发射器902可用于通 过外接接口输出数字或字符信息。

本申请实施例中，接收器901和发射器902用于实现数据收发。处理器903，用于通过接收器901和发射器902实现数据收发，完成前述定位ETL过程问题的设备所执行的定 位ETL过程问题过程。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于 执行前述各个实施例的一种定位ETL过程问题方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得 计算机执行前述各个实施例的一种定位ETL过程问题的方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装 置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通 过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显 示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既 可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可 以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者 说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现 出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部 或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以 存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述 实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述 各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (27)

1.一种定位ETL过程问题的方法，其特征在于，所述ETL过程为抽取-转换-加载过程，所述方法包括：

确定第一ETL节点，所述第一ETL节点为所述ETL过程中的节点；

获取所述第一ETL节点输出的待检查数据；

计算所述第一ETL节点的待检查数据的数据特征；

比对所述第一ETL节点的所述待检查数据的数据特征与所述第一ETL节点的标准数据的数据特征，得到第一比对结果；

若所述第一比对结果不满足第一预设条件，则显示所述第一ETL节点出现问题。

2.根据权利要求1所述的方法，其特征在于，若所述第一比对结果不满足所述第一预设条件，则所述方法还包括：

确定第二ETL节点，所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点；

获取所述第二ETL节点的待检查数据；

计算所述第二ETL节点的待检查数据的数据特征；

比对所述第二ETL节点的所述待检查数据的数据特征与所述第二ETL节点的标准数据的数据特征，得到第二比对结果；

若所述第二比对结果不满足第二预设条件，则显示所述第二ETL节点出现问题。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一ETL节点出现问题的原因。

4.根据权利要求3所述的方法，其特征在于，所述确定所述第一ETL节点出现问题的原因包括：

判断所述第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系是否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述映射关系出现错误，所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点。

5.根据权利要求3所述的方法，其特征在于，所述确定所述第一ETL节点出现问题的原因包括：

判断所述第一ETL节点中的数据计算逻辑是否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述数据计算逻辑出现错误。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先确定所述第一ETL节点的标准数据，并获取所述第一ETL节点的标准数据的数据特征。

7.根据权利要求6所述的方法，其特征在于，所述第一ETL节点的待检查数据为所述第一ETL节点的当前批次数据；

所述预先确定所述第一ETL节点的标准数据包括：

获取所述第一ETL节点在当前批次的前预设数目批次中输出的目标输出数据，所述预设数目为正整数，且在当前批次输入所述ETL过程的源数据，与在所述前预设数目批次中输入所述ETL过程的源数据不同；

对所述目标输出数据进行校验，得到校验结果；

若所述校验结果为正确，则将所述目标输出数据确定为所述第一ETL节点的标准数据。

8.根据权利要求6所述的方法，其特征在于，所述预先确定所述第一ETL节点的标准数据包括：

获取预设源数据，并以所述预设源数据作为输入执行所述ETL过程；

若执行结果为成功，且所述预设源数据满足预设稽核条件，则将所述预设源数据在被执行ETL过程中，所述第一ETL节点输出的数据确定为所述第一ETL节点的标准数据。

9.根据权利要求2所述的方法，其特征在于，在计算所述第一ETL节点的待检查数据的数据特征之前，所述方法还包括：

在第一文件中存储所述第一ETL节点的待检查数据；

在计算所述第一ETL节点的待检查数据的数据特征之后，所述方法还包括：

若所述第一ETL节点不为加载节点，则删除所述第一文件。

10.根据权利要求9所述的方法，其特征在于，若所述第一比对结果满足所述第一预设条件，则所述方法还包括：

删除第二文件，所述第二文件存储所述第二ETL节点的待检查数据。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

存储所述第一ETL节点的待检查数据的数据特征；

若所述第一比对结果满足所述第一预设条件，则删除所述第一ETL节点的待检查数据的数据特征。

12.根据权利要求11所述的方法，其特征在于，所述若所述第一比对结果满足所述第一预设条件，则删除所述第一ETL节点的待检查数据的数据特征包括：

若所述第一比对结果满足所述第一预设条件，且所述第一ETL节点不为加载节点，则删除所述第一ETL节点的待检查数据的数据特征。

13.一种定位ETL过程问题的装置，其特征在于，所述ETL过程为抽取-转换-加载过程，所述装置包括：

第一ETL节点确定单元，用于确定第一ETL节点，所述第一ETL节点为所述ETL过程中的节点；

第一待检查数据获取单元，用于获取所述第一ETL节点输出的待检查数据；

第一数据特征获取单元，用于计算所述第一ETL节点的待检查数据的数据特征；

第一比对结果获取单元，用于比对所述第一ETL节点的所述待检查数据的数据特征与所述第一ETL节点的标准数据的数据特征，得到第一比对结果；

第一显示单元，用于若所述第一比对结果不满足第一预设条件，则显示所述第一ETL节点出现问题。

14.根据权利要求13所述的装置，其特征在于，若所述第一比对结果不满足所述第一预设条件，则所述装置还包括：

第二ETL节点确定单元，用于确定第二ETL节点，所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点；

第二待检查数据获取单元，用于获取所述第二ETL节点的待检查数据；

第二数据特征获取单元，用于计算所述第二ETL节点的待检查数据的数据特征；

第二比对结果获取单元，用于比对所述第二ETL节点的所述待检查数据的数据特征与所述第二ETL节点的标准数据的数据特征，得到第二比对结果；

第二显示单元，用于若所述第二比对结果不满足第二预设条件，则显示所述第二ETL节点出现问题。

15.根据权利要求13所述的装置，其特征在于，所述装置还包括：

原因确定单元，用于确定所述第一ETL节点出现问题的原因。

16.根据权利要求15所述的装置，其特征在于，所述原因确定单元具体用于：

判断所述第一ETL节点中的数据属性与第二ETL节点中的数据属性之间的映射关系是否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述映射关系出现错误，所述第二ETL节点为所述第一ETL节点在所述ETL过程的上游节点。

17.根据权利要求15所述的装置，其特征在于，所述原因确定单元具体用于：

判断所述第一ETL节点中的数据计算逻辑是否正确，若不正确，则确定所述第一ETL节点出现问题的原因为所述数据计算逻辑出现错误。

18.根据权利要求13所述的装置，其特征在于，所述装置还包括：

标准数据获取单元，用于预先确定所述第一ETL节点的标准数据；

标准数据特征获取单元，用于获取所述第一ETL节点的标准数据的数据特征。

19.根据权利要求18所述的装置，其特征在于，所述第一ETL节点的待检查数据为所述第一ETL节点的当前批次数据；

所述标准数据获取单元包括：

目标输出数据获取单元，用于获取所述第一ETL节点在当前批次的前预设数目批次中输出的目标输出数据，所述预设数目为正整数，且在当前批次输入所述ETL过程的源数据，与在所述前预设数目批次中输入所述ETL过程的源数据不同；

校验结果获取单元，用于对所述目标输出数据进行校验，得到校验结果；

第一标准数据确定单元，用于若所述校验结果为正确，则将所述目标输出数据确定为所述第一ETL节点的标准数据。

20.根据权利要求18所述的装置，其特征在于，所述标准数据获取单元包括：

预设源数据ETL执行单元，用于获取预设源数据，并以所述预设源数据作为输入执行所述ETL过程；

第二标准数据确定单元，用于若执行结果为成功，且所述预设源数据满足预设稽核条件，则将所述预设源数据在被执行ETL过程中，所述第一ETL节点输出的数据确定为所述第一ETL节点的标准数据。

21.根据权利要求14所述的装置，其特征在于，所述装置还包括：

待检查数据存储单元，用于在计算所述第一ETL节点的待检查数据的数据特征之前，在第一文件中存储所述第一ETL节点的待检查数据；

第一文件删除单元，用于在计算所述第一ETL节点的待检查数据的数据特征之后，若所述第一ETL节点不为加载节点，则删除所述第一文件。

22.根据权利要求21所述的装置，其特征在于，若所述第一比对结果满足所述第一预设条件，则所述装置还包括：

第二文件删除单元，用于删除第二文件，所述第二文件存储所述第二ETL节点的待检查数据。

23.根据权利要求13所述的装置，其特征在于，所述装置还包括：

数据特征存储单元，用于存储所述第一ETL节点的待检查数据的数据特征；

数据特征删除单元，用于若所述第一比对结果满足所述第一预设条件，则删除所述第一ETL节点的待检查数据的数据特征。

24.根据权利要求23所述的装置，其特征在于，所述数据特征删除单元包括：

数据特征删除子单元，用于若所述第一比对结果满足所述第一预设条件，且所述第一ETL节点不为加载节点，则删除所述第一ETL节点的待检查数据的数据特征。

25.一种定位ETL过程问题的设备，其特征在于，所述设备包括：处理器和存储器；

所述存储器，用于存储指令；

所述处理器，用于执行所述存储器中的所述指令，执行如权利要求1至12中任一项所述的方法。

26.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-12任意一项所述的方法。

27.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1-12任意一项所述的方法。