CN107665163B - 自动化数据回溯的方法与系统 - Google Patents

Abstract

本发明提供一种数据回溯的方法和系统，能够自动化调用数据回溯任务执行，合理利用集市资源；且可以对数据回溯任务进行自动监控与错误信息的自动推送。该方法包括：数据集市客户端把获取的数据回溯任务放入任务池；所述数据集市客户端定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；数据集市服务器将已经回溯的数据保存至数据集市。

Description

自动化数据回溯的方法与系统

技术领域

本发明涉及计算机技术及软件领域，尤其涉及一种自动化数据回溯的方法和系统。

背景技术

在当前数据集市应用场景中，经常会出现需要回溯当月至今或者整月的历史数据的情况。这是由于业务源系统中的数据会不定期、无规律的更新，因此要取得最准确的数据必须进行数据回溯。通过回溯方法能够得到最精准的数据，为决策者提供决策信息。该方法在很多大型数据集市(如电信，电力行业等)场景中都有着广泛的应用。

图1是现有技术中的数据回溯的通常做法。如图1所示，目前数据回溯主要是将数据抽取脚本上传到数据集市的客户端中，再通过将需要执行的数据抽取分区(通常以日期分区)以变量的形式传入脚本，手动设定每个执行任务的参数，并按需批量执行多个数据抽取任务。执行过程中会根据分区抽取数据并进行计算，最终计算结果会落地到数据集市的存储空间内。

然而这样的数据回溯的方法存在一定的弊端，其一，这种方法会使得数据集市资源紧张，阻塞其他任务执行，影响目标系统数据使用；其二，数据回溯任务产生的错误也难以发现，任务的错误信息也无法捕捉。如何科学的回溯历史数据已成为数据集市中的一个重要议题。

发明内容

有鉴于此，本发明提供一种数据回溯的方法和系统，能够自动化调用数据回溯任务执行，合理利用集市资源；且可以对数据回溯任务进行自动监控与错误信息的自动推送。

为实现上述目的，根据本发明的一个方面，提供了一种数据回溯的方法。

本发明的一种数据回溯的方法包括：数据集市客户端把获取的数据回溯任务放入任务池；所述数据集市客户端定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；数据集市服务器将已经回溯的数据保存至数据集市。

可选地，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

可选地，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

可选地，所述方法还包括：数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

可选地，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

为实现上述目的，根据本发明的另一方面，提供了一种数据回溯的系统。

本发明的一种数据回溯的系统包括：数据集市客户端、数据集市服务器以及数据集市，其中：所述数据集市客户端定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；数据集市服务器将已经回溯的数据保存至数据集市。

可选地，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

可选地，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

可选地，所述数据集市服务器还用于：在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

可选地，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

为实现上述目的，根据本发明的再一方面，提供了一种电子设备。

本发明的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的数据回溯的方法。

为实现上述目的，根据本发明的又一方面，提供了一种计算机可读介质。

本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的数据回溯的方法。

根据本发明的技术方案，通过检测资源占用情况，从而能够优化管理数据回溯任务的提交和执行，合理利用数据集市资源，防止因数据回溯任务的执行而影响数据集市中优先级更高的其他任务的执行；通过串行提交数据追溯任务，从而能够降低数据集市服务器端压力，防止阻塞现象的发生；通过配置错误监控信息，且当任务异常时立即反馈给监控人员，从而能够对执行过程中出现的错误自动分类，一般错误自行修复后继续执行，严重的不可自动修复的错误直接反馈给监控人员，使错误能够及时得到处理，做到数据回溯任务执行过程中的自动监控与推送错误信息。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是现有技术的数据回溯的方法的主要步骤的示意图；

图2是根据本发明实施例的数据回溯的方法的主要步骤的示意图；

图3是根据本发明实施例的数据回溯的方法中串行提交任务的流程示意图；

图4是根据本发明实施例的数据回溯的方法的主要流程的示意图；

图5是根据本发明实施例的数据回溯的系统的主要部分的示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明实施例的数据回溯的方法主要涉及集市客户端(以下简称“集市客户端”)与集市服务器(以下简称“集市服务器”)之间的交互。其中，集市客户端是指提交数据回溯任务的源端，主要用于检测集市服务器当前资源占用情况，选取资源空闲时段执行任务，并处理部分错误任务以及推送错误信息给监控人员；集市服务器是指执行数据回溯任务的终端，例如可以是Hadoop平台，负责执行任务，并将错误任务类型进行分类，并反馈给集市客户端。

图2是根据本发明实施例的数据回溯的方法的主要步骤的示意图。

如图2所示，本发明实施例的数据回溯的方法主要包括如下步骤：

步骤S21：集市客户端把获取的数据回溯任务放入任务池。首先，根据数据回溯任务需求生成数据回溯任务，并将数据回溯任务放入任务池中等待提交。

本步骤的获取数据回溯任务后，从步骤S22开始处理。

步骤S22：集市客户端定期检测集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，集市客户端中断当前数据回溯任务的提交和/或请求集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中。

首先，集市客户端启动集市服务器资源监测机制，定期(根据所利用的集市服务器的不同，检测周期也可能会存在差异，此检测周期根据集市服务器的任务执行能力而进行设定)检测集市服务器资源占用情况。本发明实施例中可以采用每隔一段时间向集市服务器发送一个资源监测请求的方式进行，集市服务器会对该请求进行解析并返回当前集市服务器的资源占用情况。其中资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O等状况。将返回的资源占用情况与预先设定的占用阈值进行比较，低于占用阈值时候进行数据回溯任务提交。

如前所述，现有的数据回溯，采用手动设定各数据回溯任务的参数，并按需批量执行多个数据回溯任务的方式进行。但由于集市服务器中运行任务众多，且通常情况下，日常执行的任务的优先级要高于数据回溯任务的优先级，因此，若对数据回溯任务不加限制的批量执行，一方面会影响集市服务器的运行状况，导致资源紧张，阻塞其他更高优先级任务的执行；另一方面批量执行多个数据回溯任务，也会占用集市服务器大量资源，导致任务阻塞，甚至导致任务执行或获取数据等方面的错误出现，从而影响数据回溯的效率。

本发明实施例中，结合上述对集市服务器资源占用情况的监控，数据回溯任务采用串行提交的方式，以实现利用集市服务器闲置资源按顺序串联执行任务，，达到合理利用集市资源，减少资源占用，降低集市服务器压力的目的。

具体而言，集市客户端串行地提交任务池中的数据回溯任务包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

本发明实施例中，可以采用如下方式：若当前任务执行完毕，即任务状态为Succeed时将任务标记为Finished，若任务状态为Execution，则等待下一个检测时间点(此处定时检测的周期根据使用的软件平台的不同，检测周期也可能会有变化)再次检测该任务执行状态。具体串行提交数据回溯任务的流程可参阅图3。

另外，由于通常情况下，集市服务器属于部门共有服务器，在上面会有很多重要任务执行，这些任务的优先级一般要高于数据回溯任务，因此在数据回溯任务执行过程中，仍需定期检测集市服务器的资源占用情况。即仍然每隔一段时间向集市服务器发送资源检测请求，并将返回资源占用情况与占用阈值进行比较，当高于占用阈值时说明当前数据集市资源状况紧张，集市服务器中有优先级更高的任务在执行。此时集市客户端将中断当前数据回溯任务的提交，或者集市客户端的资源监测机制将发出请求集市服务器中断当前正在执行的数据回溯任务的请求，并将当前中断的数据回溯任务放回任务池中。等到重新检测到集市服务器资源空闲时候，再继续从放回任务池中的被中断的数据回溯任务开始，进行串行地数据回溯任务的提交。

步骤S23：集市服务器将已经回溯的数据保存至数据集市。

上述步骤S21-S23，通过自动化调用数据回溯任务的执行，达到了合理利用数据集市资源的目的。除此之外，为了能够在出现任务异常或数据不准确及时发现错误并及时处理和反馈错误信息，本发明实施例的数据回溯的方法还包括：集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

其中，集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果具体包括：配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

具体而言，自动校验过程包括：首先数据回溯的工作人员预先配置错误分类动态配置文件，其中包括错误类别、错误信息以及处理方案。然后集市服务器会根据配置的错误分类动态配置文件进行处理。

其中，本发明实施例中，错误类别可以分为两种，一种是可自动修复的一般错误，包括由于出现数据倾斜而导致任务执行中出错，或是由于参数错误而导致的执行错误，对于这类错误，则将数据回溯任务重新发送至集市客户端进行排队提交或是进行根据配置的处理方案进行自动修复后发送至集市客户端进行排队提交。还有一种的不可自动修复的严重错误，例如包括“找不到文件”等错误，对于这类错误，则将错误任务和错误信息生产错误信息文件推送至数据回溯的工作人员，以便工作人员能够第一时间处理该服务。

以上是本发明实施例的数据回溯的方法的主要流程的描述，具体可参阅图4。

根据本发明实施例的数据回溯的方法可以看出，通过检测资源占用情况，从而能够优化管理数据回溯任务的提交和执行，合理利用数据集市资源，防止因数据回溯任务的执行而影响数据集市中优先级更高的其他任务的执行；通过串行提交数据追溯任务，从而能够降低集市服务器端压力，防止阻塞现象的发生；通过配置错误监控信息，且当任务异常时立即反馈给监控人员，从而能够对执行过程中出现的错误自动分类，一般错误自行修复后继续执行，严重的不可自动修复的错误直接反馈给监控人员，使错误能够及时得到处理，做到数据回溯任务执行过程中的自动监控与推送错误信息。

图5是根据本发明实施例的数据回溯的系统的主要部分的示意图。

如图5所示，本发明实施例的数据回溯的系统50主要包括如下部分：集市客户端501、集市服务器502以及数据集市503，其中：集市客户端501定期检测集市服务器502的资源占用情况，当资源占用情况不超过占用阈值时，所述集市客户端501串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述集市客户端501中断当前数据回溯任务的提交和/或请求所述集市服务器502中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；集市服务器502将已经回溯的数据保存至数据集市503。

其中，资源占用情况可以包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

此外，集市客户端501串行地提交任务池中的数据回溯任务还可包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

另外，本装置50中，集市服务器502还可用于：在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

其中，集市服务器502在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还可包括：配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至集市客户端501，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

从以上描述可以看出，通过检测资源占用情况，从而能够优化管理数据回溯任务的提交和执行，合理利用数据集市资源，防止因数据回溯任务的执行而影响数据集市中优先级更高的其他任务的执行；通过串行提交数据追溯任务，从而能够降低集市服务器端压力，防止阻塞现象的发生；通过配置错误监控信息，且当任务异常时立即反馈给监控人员，从而能够对执行过程中出现的错误自动分类，一般错误自行修复后继续执行，严重的不可自动修复的错误直接反馈给监控人员，使错误能够及时得到处理，做到数据回溯任务执行过程中的自动监控与推送错误信息。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种数据回溯的方法，其特征在于，包括：

数据集市客户端把获取的数据回溯任务放入任务池；

所述数据集市客户端按照根据集市服务器的任务执行能力而设定的检测周期定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；

数据集市服务器将已经回溯的数据保存至数据集市。

2.根据权利要求1所述的方法，其特征在于，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

3.根据权利要求1所述的方法，其特征在于，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

5.根据权利要求4所述的方法，其特征在于，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：

配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；

在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

6.一种数据回溯的系统，其特征在于，包括：数据集市客户端、数据集市服务器以及数据集市，其中：

所述数据集市客户端按照根据集市服务器的任务执行能力而设定的检测周期定期检测数据集市服务器的资源占用情况，当资源占用情况不超过占用阈值时，所述数据集市客户端串行地提交任务池中的数据回溯任务；当资源占用情况超过占用阈值时，所述数据集市客户端中断当前数据回溯任务的提交和/或请求所述数据集市服务器中断当前数据回溯任务的执行，并将当前中断的数据回溯任务放回任务池中；

数据集市服务器将已经回溯的数据保存至数据集市。

7.根据权利要求6所述的系统，其特征在于，所述资源占用情况包括以下一个或多个：CPU使用率、可用内存量、交换区使用情况、网络I/O状况。

8.根据权利要求6所述的系统，其特征在于，所述数据集市客户端串行地提交任务池中的数据回溯任务还包括：定时检测当前提交的数据回溯任务的执行情况，若当前数据回溯任务执行完成，则继续提交下一数据回溯任务，若当前数据回溯任务未完成，则等待提交。

9.根据权利要求6所述的系统，其特征在于，所述数据集市服务器还用于：在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果。

10.根据权利要求9所述的系统，其特征在于，数据集市服务器在执行数据回溯任务的过程中，自动校验数据回溯任务的执行结果还包括：

配置错误监控信息，其中错误监控信息中包括：错误类别、错误信息以及处理手段；

在执行数据回溯任务的过程中，根据配置的错误监控信息自动校验任务执行结果，若执行失败则根据错误类别分类处理，其中，对于可自动修复的错误，则将数据回溯任务或自动修复参数后的数据回溯任务返回至数据集市客户端，以重新放入任务池等待提交；对于不可自动修复的错误，则将生成错误信息文件推送至监控人员。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images