CN113900938A - 一种大数据处理任务的故障处理方法和装置 - Google Patents

Abstract

本公开提供了一种大数据处理任务的故障处理方法和装置，涉及数据处理领域，尤其涉及大数据技术领域。具体实现方案为：当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；调用所述目标自动化脚本解决所述故障环节所发生的故障。可以降低大数据处理任务运维的人工成本。

Description

一种大数据处理任务的故障处理方法和装置

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据技术领域。

背景技术

大数据处理任务的整个流程中包括许多环节，任一环节出现故障都可能导致大数据处理任务无法正常运行。

发明内容

本公开提供了一种用于降低大数据处理任务运维的人工成本的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了大数据处理任务的故障处理方法，包括：

当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；

根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；

调用所述目标自动化脚本解决所述故障环节所发生的故障。

根据本公开的第二方面，提供了一种大数据处理任务的故障处理装置，包括：

故障定位模块，用于当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；

脚本选择模块，用于根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；

脚本调用模块，用于调用所述目标自动化脚本解决所述故障环节所发生的故障。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述第一方面中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面中任一项所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的大数据处理任务的故障处理方法的一种流程示意图；

图2是根据本公开提供的大数据处理任务的故障处理方法的另一种流程示意图；

图3是根据本公开提供的大数据处理任务的故障处理方法所使用的决策树的一种结构示意图

图4是根据本公开提供的大数据处理任务的故障处理方法的另一种流程示意图；

图5是根据本公开提供的大数据处理任务的故障处理装置的一种结构示意图；

图6是用来实现本公开实施例的大数据处理任务的故障处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了更清楚对本公开提供的大数据处理任务的故障处理方法进行说明，下面将对本公开提供的大数据处理任务的一种可能的应用场景进行示例性的说明。可以理解的是，以下示例仅是本公开提供的大数据处理任务的一种可能的应用场景，在其他可能的实施例中，本发明实施例提供的大数据处理任务也可以应用于其他可能的应用场景中，以下示例对此不做任何限制。

大数据处理任务包括许多环节，例如数据采集、数据分流、数据计算、数据应用等环节。并且不同环节可能是分布于不同计算平台执行的，如基于Spark(一种计算引擎)的平台、Kafka(一种开源数据流处理平台)平台、基于HDFS(Hadoop Distributed File System，分布式文件系统)平台、基于Doris(一种数据分析系统)的平台

任一环节出现故障都可能导致整个大数据处理任务无法正常执行(即发生故障)。

相关技术中，当大数据处理任务发生故障时，可以由相关人员人工排查导致大数据处理任务发生故障的问题，并解决该问题。一方面人工成本较高，另一方面从发生故障，到通知相关人员进行处理，再到相关人员完成处理往往需要较长时间，因此时效性较差。

基于此，本公开提供了一种大数据处理任务的故障处理方法，本公开提供的大数据处理任务的故障处理可以应用于任意具备大数据处理任务的故障处理能力的电子设备上。本公开提供的大数据处理任务的故障处理方法可以如图1所示，包括：

S101，当大数据处理任务发生故障，根据大数据处理任务中所有环节之间的依赖关系，确定大数据处理任务中发生故障的故障环节。

S102，根据预先设置的环节与自动化脚本之间的对应关系，确定故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障。

S103，调用自动化脚本解决故障环节所发生的故障。

选用该实施例，可以通过大数据处理任务中各个环节之间的依赖关系，定位发生故障的故障环节，并根据发生故障额故障环节，从预先设置的用于解决不同故障的自动化脚本中筛选出能够用于解决故障环节所发生的故障的目标自动化脚本，从而通过目标自动化脚本自动解决故障环节所发生的故障。无需人工排查导致故障的问题并解决，有效降低了大数据处理任务运维的人工成本。

并且，由于可以在大数据处理任务发生故障后第一时间自动化的解决故障，解决故障的时效性更高，避免因故障无法及时解决导致大数据处理任务长期无法正常执行，有效提高了大数据处理任务运行的稳定性。

下面将对前述S101-S103中的各个步骤进行详细说明:

在S101中，大数据处理任务可以是任意类型的大数据处理任务，并且大数据处理任务中所包括的环节根据应用场景的不同也可以不同，示例性的，在一种可能的实施例中，大数据处理任务中包括数据采集、数据分流、数据计算、智能分析环节。而在另一种可能的实施例中，大数据处理任务中包括数据采集、数据计算、数据应用环节。

可以理解理解的是，大数据处理任务中不同环节可能是由不同的计算平台进行处理的，即不同环节分布于不同的计算平台。大数据处理任务中的所有环节之间的依赖关系，包括分布于同一计算平台的各个环节之间的依赖关系，也包括分布于不同的计算平台的各个环节之间的依赖关系。

并且可以理解的是，如果一个环节没有发生故障，且输入至该环节的数据为正常数据，则理论上该环节输出的数据为正常数据。而如果一个环节发生故障，或输入至该环节的数据为异常数据，则理论上该环节输出的数据为异常数据。因此，如果输入至一个环节的数据为正常数据，且该环节输出的数据为异常数据，则可以确定该环节发生故障。

而所有环节之间的依赖关系可以反映出各个环节之间的数据交互关系，因此可以根据依赖关系，确定输入至各个环节的数据是否为异常数据，以及各个环节输出的数据是否为异常数据，从而确定出发生故障的故障环节。

在S102中，自动化脚本为预先设置，不同自动化脚本用于解决不同的故障，并且可以根据实际需求增删自动化脚本。例如，用户根据实际经验发现大数据处理任务并不会发生故障A，并且预先设置的自动化脚本中包括用于解决故障A的自动化脚本，则出于节约存储资源的考虑，可以删除用于解决故障A的自动化脚本。又例如，用户根据实际需求在执行主体中增加用于解决故障B的自动化脚本。

在一种可能的实施例中，自动化脚本中包括以下脚本中的任意一个或多个脚本：用于在预设等待时长后重新获取上游数据的脚本、用于调用删除逻辑清理过期数据的脚本、用于调整Spark executor(执行器)内存参数后重新驱动Spark executor的脚本、用于重新启动服务器的脚本、用于触发删除Kafka平台最旧数据并重启Kafka平台的脚本、用于设置过滤条件并根据所设置的过滤条件过滤脏数据的脚本。并且前述任一脚本均可以通过任一脚本语言或高级语言编写得到的，本公开对此不做任何限制。

环节与自动化脚本之间的对应关系可以是以任意形式表示的，包括但不限于：表格、链表、决策树等。下文中为描述方便，仅以对应关系是以决策树的形式表示的为例进行示例性的说明，对于对应关系是以其他形式表示的情况，原理是相同的，因此在此不再赘述。

每个环节可以对应于至少一个自动化脚本，并且不同环节可以对应于不同的自动化脚本，也可以对应于相同的自动化脚本。示例性的，假设大数据处理任务中的第一环节和第二环节均可能发生故障A，并且第一自动化脚本用于解决故障A，则在对应关系中第一环节和第二环节可以均对应于第一自动化脚本。

并且一个环节可以对应于多个自动化脚本，对于目标环节对应于多个自动化脚本的情况，将目标环节所对应的所有自动化脚本确定为目标自动化脚本。

在S103中，如果目标自动化脚本为一个自动化脚本，则调用该一个自动化脚本以解决故障环节所发生的故障。而如果目标自动化脚本为多个自动化脚本，则依次调用每个目标自动脚本，直至已经调用所有目标自动化脚本或成功解决故障环节所发生的故障。

可以理解的是，调用自动化脚本并不一定能够成功解决故障环节所发生的故障。因此，在一种可能的实施例中，在调用自动化脚本解决故障环节所发生的故障之后，如果故障环节的故障为解决，向预设终端设备发送报警消息，以提醒相关人员故障环节发生故障并进行解决。

选用该实施例，可以在无法自动解决故障的情况下进行报警，以使得相关人员可以及时介入并解决故障，进一步提高了大数据处理任务运行的稳定性。

并且在另一种可能的实施例中，可以如图2所示，包括：

S201，当大数据处理任务发生故障，根据大数据处理任务中所有环节之间的依赖关系，确定大数据处理任务中发生故障的故障环节。

该步骤与前述S101相同，可以参见前述关于S101的相关描述，在此不再赘述。

S202，根据预先设置的环节与自动化脚本之间的对应关系，确定故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障。

该步骤与前述S102相同，可以参见前述关于S102的相关描述，在此不再赘述。

S203，调用自动化脚本解决故障环节所发生的故障。

该步骤与前述S103相同，可以参见前述关于S103的相关描述，在此不再赘述。

S204，展示用于表示故障环节的故障是否解决的处理结果。

可以是通过执行主体中具备展示能力的组件，如显示屏、音箱等，展示处理结果，也可以通过与执行主体建立有通信连接且具备展示能力的设备，如独立于执行主体的显示屏、带有显示屏的用户终端设备等，展示处理结果。

如果故障环节的故障已经解决，则处理结果可以为“成功”，如果故障环节的故障未解决，则处理结果可以为“失败”。根据处理结果，相关人员可以确定目标自动化脚本是否具备解决故障环节所发生的故障的能力。

如果处理结果表示故障环节的故障已经解决，则可以认为目标自动化脚本具备解决故障环节所发生的故障的能力，如果处理结果故障环节的故障未解决，则可以认为目标自动化脚本并不具备解决故障环节所发生的故障的能力。

S205，获取针对处理结果输入的调整指令。

调整指令用于指示执行主体调整对应关系。调整指令可以是用户根据实际需求或经验输入的，也可以是用户根据所展示的处理结果输入的。

例如，对应关系中第一环节对应于第一自动化脚本，虽然第一自动化脚本具备解决第一环节所发生的故障的能力，但是用户为了更高效地解决第一环节所发生的故障，对第一自动化脚本进行了升级，得到第二自动化脚本，则用户输入调整指令，以指示执行主体调整对应关系，以使得第一环节对应于第二自动化脚本。

又例如，对应关系中第一环节对应于第一自动化脚本，用户根据展示的处理结果知悉第一自动化脚本不具备解决第一环节所发生的故障的能力，因此重新开发了第三自动化脚本。则则用户输入调整指令，以指示执行主体调整对应关系，以使得第一环节对应于第三自动化脚本。

S206，根据调整指令调整对应关系。

调整指令可以指示执行主体调整故障环节对应的自动化脚本，也可以指示执行主体调整故障环节以外的其他环节对应的自动化脚本，本公开对此不做任何限制。

选用该实施例，可以通过展示处理结果，为用户调整对应关系提供参考，从而使得用户能够及时优化对应关系，以使得各个环节对应的自动化脚本能够更好的解决各个环节发生的故障，提高成功解决故障的概率。

下面将对通过决策树的形式表示对应关系的情况进行示例性的说明，可以参见图3，图3所示为本公开提供的决策树的一种结构示意图。在该实施例中，大数据处理任务在执行过程中可以向执行主体发送报警邮件，报警邮件用于表示大数据处理任务的执行状态。

执行主体解析报警邮件，确定大数据处理任务的执行状态。如果执行状态为：成功，则执行主体不进行报警，也无需对故障进行处理。如果执行状态为：运行超时或失败，则确定大数据处理任务发生故障。并根据大数据处理任务中所有环节的依赖关系，确定大数据处理任务中发生故障的故障环节。并根据故障环节，查询预设决策树中包含用于表示故障环节的节点的子节点；将子节点所表示的自动化脚本确定为故障环节所对应的自动化脚本。

图3所示的决策树所表示的对应关系中，环节：Kafka队列对应于用于触发删除Kafka平台最旧数据并重启Kafka平台的脚本，环节：Spark计算引擎对应于用于调整Sparkexecutor内存参数后重新驱动Spark executor的脚本，以及用于抛出父任务并递归重试的脚本，环节：HDFS存储对应于用于调用删除逻辑清理过期数据的脚本。

在调用用于触发删除Kafka平台最旧数据并重启Kafka平台的脚本之后，如果成功解决环节：Kafka队列所发生的故障，则结束故障处理，如果未成功解决环节：Kafka队列所发生的故障，则报警。

在调用用于调整Spark executor内存参数后重新驱动Spark executor的脚本后，如果成功解决环节：Spark计算引擎所发生的故障，则结束故障处理，如果未成功解决环节：Spark计算引擎所发生的故障，则报警。

在调用用于抛出父任务并递归重试的脚本后，如果成功解决环节：Spark计算引擎所发生的故障，则结束故障处理，如果未成功解决环节：Spark计算引擎所发生的故障，则报警。

在调用用于调用删除逻辑清理过期数据的脚本后，如果成功解决环节：HDFS存储所发生的故障，则结束故障处理，如果未成功解决环节：HDFS存储所发生的故障，则报警。

假设故障环节为环节：Kafka队列，则通过查询决策树可以确定用于表示环节：Kafka队列的节点的子节点，该子节点所表示的自动化脚本为用于触发删除Kafka平台最旧数据并重启Kafka平台的脚本，因此目标自动化脚本为用于触发删除Kafka平台最旧数据并重启Kafka平台的脚本。

选用该实施例，可以通过决策树表示环节与自动化脚本的对应关系，使得执行主体能够通过查询决策树快速确定故障环境对应的目标自动化脚本，进而提高解决故障的效率。

参见图4，图4所示为本公开提供的大数据处理任务的故障处理方法的另一种流程示意图，可以包括：

S401，根据大数据处理任务中所有环节之间的依赖关系，确定大数据处理任务中各环节产生的数据之间的数据血缘关系。

针对参与大数据处理任务的所有平台，根据每个平台所执行的环节之间的上下游依赖关系，构建所有平台、所有环节产生的数据之间的数据的数据血缘关系。

S402，根据数据血缘关系进行数据回溯，确定大数据处理任务中发生故障的故障环节。

可以理解的是，如前述S101中的说明，由于数据血缘关系能够反映数据在各个环节之间的交互流程，因此可以根据血缘关系进行数据回溯，从而定位出发生故障的故障环节。

S403，根据预先设置的环节与自动化脚本之间的对应关系，确定故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障。

该步骤与前述S102相同，可以参见前述关于S102的相关说明，在此不再赘述。

S404，调用自动化脚本解决故障环节所发生的故障。

该步骤与前述S103相同，可以参见前述关于S103的相关说明，在此不再赘述。

选用该实施例，可以通过建立数据血缘关系，便于在跨平台的数据回溯过程中，准确定位大数据处理任务中发生故障的环节，进一步提高了方案的可靠性。

参见图5，图5所示为本公开提供的大数据处理任务的故障处理装置的一种结构示意图，可以包括：

故障定位模块501，用于当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；

脚本选择模块502，用于根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；

脚本调用模块503，用于调用所述目标自动化脚本解决所述故障环节所发生的故障。

在一种可能的实施例中，所述脚本选择模块502，具体用于根据所述故障环节，查询预设决策树中包含用于表示所述故障环节的节点的子节点；

将所述子节点所表示的自动化脚本确定为所述故障环节所对应的自动化脚本。

在一种可能的实施例中，还包括：

报警模块，用于在调用所述自动化脚本解决所述故障环节所发生的故障之后，如果所述故障环节的故障未解决，向预设终端设备发送报警消息。

在一种可能的实施例中，还包括：

优化模块，用于在调用所述自动化脚本解决所述故障环节所发生的故障之后，展示用于表示所述故障环节的故障是否解决的处理结果；

获取针对所述处理结果输入的调整指令；

根据所述调整指令调整所述对应关系。

在一种可能的实施例中，故障定位模块501，具体用于根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中各环节产生的数据之间的数据血缘关系；

根据所述数据血缘关系进行数据回溯，确定所述大数据处理任务中发生故障的环节。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如大数据处理任务的故障处理方法。例如，在一些实施例中，大数据处理任务的故障处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的大数据处理任务的故障处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行大数据处理任务的故障处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种大数据处理任务的故障处理方法，包括：

当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；

根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；

调用所述目标自动化脚本解决所述故障环节所发生的故障。

2.根据权利要求1所述的方法，其中，所述根据预先设置的环节与自动化脚本之间的对应关系，包括：

根据所述故障环节，查询预设决策树中包含用于表示所述故障环节的节点的子节点；

将所述子节点所表示的自动化脚本确定为所述故障环节所对应的自动化脚本。

3.根据权利要求1-2任一所述的方法，还包括：

在调用所述自动化脚本解决所述故障环节所发生的故障之后，如果所述故障环节的故障未解决，向预设终端设备发送报警消息。

4.根据权利要求1-3任一所述的方法，还包括：

在调用所述自动化脚本解决所述故障环节所发生的故障之后，展示用于表示所述故障环节的故障是否解决的处理结果；

获取针对所述处理结果输入的调整指令；

根据所述调整指令调整所述对应关系。

5.根据权利要求1所述的方法，其中，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节，包括：

根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中各环节产生的数据之间的数据血缘关系；

根据所述数据血缘关系进行数据回溯，确定所述大数据处理任务中发生故障的环节。

6.一种大数据处理任务的故障处理装置，包括：

故障定位模块，用于当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；

脚本选择模块，用于根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；

脚本调用模块，用于调用所述目标自动化脚本解决所述故障环节所发生的故障。

7.根据权利要求6所述的装置，其中，所述脚本选择模块，具体用于根据所述故障环节，查询预设决策树中包含用于表示所述故障环节的节点的子节点；

将所述子节点所表示的自动化脚本确定为所述故障环节所对应的自动化脚本。

8.根据权利要求6-7任一所述的装置，还包括：

报警模块，用于在调用所述自动化脚本解决所述故障环节所发生的故障之后，如果所述故障环节的故障未解决，向预设终端设备发送报警消息。

9.根据权利要求6-8任一所述的装置，还包括：

优化模块，用于在调用所述自动化脚本解决所述故障环节所发生的故障之后，展示用于表示所述故障环节的故障是否解决的处理结果；

获取针对所述处理结果输入的调整指令；

根据所述调整指令调整所述对应关系。

10.根据权利要求6所述的装置，其中，故障定位模块，具体用于根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中各环节产生的数据之间的数据血缘关系；

根据所述数据血缘关系进行数据回溯，确定所述大数据处理任务中发生故障的环节。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

Images