CN116820927A - 一种批量作业的异常处理方法和装置 - Google Patents

Abstract

本发明实施例提供了一种批量作业的异常处理方法和装置，可用于人工智能技术领域，所述方法包括：获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

Description

一种批量作业的异常处理方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及人工智能技术领域，尤其涉及一种批量作业的异常处理方法和装置。

背景技术

随着金融机构的金融业务的开展，各种业务线的扩张，以及平台分布式架构的特性，批量处理的作业数量飞速增长。基于目前的平台批量执行机制，批量测试不完善。相关技术中，对批量作业中出现的异常问题只能通过报告业务人员进行异常处理，人力资源消耗较大，异常处理过程中存在效率低、时效慢、测试覆盖率低、测试结果不完整的问题，从而影响批量作业处理效果。

发明内容

本发明的一个目的在于提供一种批量作业的异常处理方法，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。本发明的另一个目的在于提供一种批量作业的异常处理装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

为了达到以上目的，本发明一方面公开了一种批量作业的异常处理方法，包括：

获取异常批量作业；

通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；

按照异常处理策略，对异常批量作业进行异常处理。

优选的，获取异常批量作业，包括：

按照预设的时间周期，对批量作业执行平台进行扫描，获取当前批量作业的执行状态信息；

若执行状态信息为异常，将当前批量作业确定为异常批量作业。

优选的，在获取异常批量作业之后，还包括：

通过预设的批量作业大数据库，将存储的存量批量作业与异常批量作业进行匹配；

若匹配成功，查询出对应的异常处理策略；

按照异常处理策略，对异常批量作业进行异常处理；

若匹配失败，继续执行通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略的步骤。

优选的，在通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略之前，还包括：

获取存量批量作业的存量数据集，存量数据集包括多个存量作业，每个存量作业具备多个属性类别、异常数据信息和异常处理策略；

根据属性类别，构建目标属性类别父结点；

根据异常数据信息，构建目标属性类别父结点的目标异常数据子结点；

根据异常处理策略，构建目标异常数据子结点的目标策略叶结点；

通过决策树，根据每个存量作业对应的目标属性类别父结点的目标异常数据子结点和目标异常数据子结点的目标策略叶结点，构建数据分析模型。

优选的，根据属性类别，构建目标属性类别父结点，包括：

根据属性类别，生成每个属性类别对应的第一信息增益率；

根据第一信息增益率，选取出最大第一信息增益率；

根据最大第一信息增益率对应的目标属性类别，构建目标属性类别父结点。

优选的，根据异常数据信息，构建目标属性类别父结点的目标异常数据子结点，包括：

根据异常数据信息，生成每个异常数据对应的第二信息增益率；

根据第二信息增益率，选取出最大第二信息增益率；

根据最大第二信息增益率对应的目标异常数据，构建目标属性类别父结点的目标异常数据子结点。

优选的，根据异常处理策略，构建目标异常数据子结点的目标策略叶结点，包括：

根据异常处理策略，生成每个策略特征对应的第三信息增益率；

根据第三信息增益率，选取出最大第三信息增益率；

根据最大第三信息增益率对应的目标策略特征，构建目标异常数据子结点的目标策略叶结点。

优选的，方法还包括：

若异常处理的处理结果为异常处理失败，将预设的失败计数进行加1处理；

判断加1处理后的失败计数是否大于预设的计数阈值；

若是，通过预设的默认处理策略进行异常处理；

若否，重新执行通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略的步骤。

优选的，在按照异常处理策略，对异常批量作业进行异常处理之后，还包括：

记录并存储异常批量作业的异常处理信息，异常处理信息包括多个属性类别、异常数据信息和异常处理策略。

优选的，在按照异常处理策略，对异常批量作业进行异常处理之后，还包括：

通过异常处理信息，对数据分析模型进行迭代更新，得到更新后的数据分析模型。

本发明还公开了一种批量作业的异常处理装置，包括：

第一获取单元，用于获取异常批量作业；

数据分析单元，用于通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；

异常处理单元，用于按照异常处理策略，对异常批量作业进行异常处理。

本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。

本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。

本发明获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种批量作业的异常处理系统的结构示意图；

图2为本发明实施例提供的一种批量作业大数据库的结构示意图；

图3为本发明实施例提供的一种测试案例大数据库的结构示意图；

图4为本发明实施例提供的一种批量作业的异常处理方法的流程图；

图5为本发明实施例提供的又一种批量作业的异常处理方法的流程图；

图6为本发明实施例提供的一种批量作业的异常处理装置的结构示意图；

图7为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本申请公开的一种批量作业的异常处理方法和装置可用于人工智能技术领域，也可用于除人工智能技术领域之外的任意领域，本申请公开的一种批量作业的异常处理方法和装置的应用领域不做限定。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。本发明提供一种批量作业的异常处理系统，能够自动执行批量作业，当批量作业执行过程中出现异常问题时，能够自动分析异常问题、自动实施异常处理方案，解决批量测试执行缓慢、覆盖率低，错漏多的问题。本发明依托批量作业大数据库，对批量作业相关要素进行深度抽取，使用决策树C4.5算法构建数据分析处理模型库，在此基础上通过VUE+SPRINGBOOT框架实现平台批量作业执行的自动化，实现批量测试全自动执行。

图1为本发明实施例提供的一种批量作业的异常处理系统的结构示意图，如图1所示，该系统包括：输入设备100、自动化系统前端200、批量作业大数据库300、测试案例大数据库400、数据分析处理模型500和平台批量控制系统600。输入设备100与自动化系统前端200通信连接，自动化系统前端200分别与批量作业大数据库300、测试案例大数据库400、数据分析处理模型500和平台批量控制系统600通信连接。

输入设备100用于向自动化系统前端200发送批量执行、监控等操作的设备，输入设备100包括但不限于手机、电脑、平板电脑和可穿戴设备。

自动化系统前端200是使用VUE+SPRINGBOOT框架构建的前端操作系统，与批量作业大数据库300、测试案例大数据库400、数据分析处理模型500进行交互获取批量作业相关信息、历史异常处理策略、生成的异常处理策略；还用于向平台批量控制系统600发送批量处理请求，以供平台批量控制系统600进行批量作业处理。

批量作业大数据库300用于深度抽取批量作业相关信息，建立相关的大数据库。图2为本发明实施例提供的一种批量作业大数据库的结构示意图，批量作业大数据库包括多个批量作业，图2以1个批量作业为例示出，批量作业包括作业基本属性、作业执行属性、作业数据属性和作业异常处理策略。

其中，作业基本属性是作业的基础属性信息，包括且不限于作业名称、作业描述、所属应用名、所属分布式数据层、作业维护人员。作业基本属性用于标识作业的基本信息，例如：作业的用途，作为大数据库中的基础数据。

作业执行属性是作业的执行信息，包括且不限于作业执行类型、作业执行时间、前项依赖作业、后项依赖作业。作业执行属性用于标识作业的运行方式以及与其他作业的交互关系。

作业数据属性是作业需要用到的文件信息和作业需要用到的表数据信息，例如：作业需要用到的文件信息包括但不限于文件名、文件所在路径，文件数据等，作业需要用到的表数据信息包括但不限于应用、层、表、相关数据的SQL等。

作业异常处理策略是作业执行异常时，对作业进行处理的策略，例如：直接重提；准备文件数据到对应目录后重提、跳过。

测试案例大数据库400是根据测试人员提供的测试案例数据，建立的相关的大数据库，供自动化测试使用。图3为本发明实施例提供的一种测试案例大数据库的结构示意图，测试案例大数据库包括多个测试案例，图3以1个测试案例为例示出，测试案例包括测试案例基本属性、测试数据和测试结果。测试案例大数据库400的数据源为系统维护人员导入，及数据处理分析系统插入。

其中，测试案例基本属性是测试案例的基本属性，包括且不限于测试的功能，业务逻辑、入参、出参、程序名、作业名等等，测试案例基本属性是大数据库中的基础数据。

测试数据是测试案例中需要用到的测试数据，包括且不限于测试文件数据、测试表数据、正确数据集、错误数据集。

测试结果是存储测试案例的结果，与前面的测试数据相对应，包括且不限于测试成功后的数据情况、测试成功率、失败数据下的异常信息情况。

数据分析处理模型500是通过决策树算法C4.5构建的模型，用于根据异常批量作业，生成出对应的异常处理策略。

平台批量控制系统600是基于平台分布式结构的平台批量控制系统，供运行批量作业使用，例如：DBF批量控制系统。

本发明实施例提供的技术方案中，获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

值得说明的是，图1所示的批量作业的异常处理的场景还适用于图4或图5的批量作业的异常处理方法，在此不再赘述。

下面以批量作业的异常处理装置作为执行主体为例，说明本发明实施例提供的批量作业的异常处理方法的实现过程。可理解的是，本发明实施例提供的批量作业的异常处理方法的执行主体包括但不限于批量作业的异常处理装置。

图4为本发明实施例提供的一种批量作业的异常处理方法的流程图，如图4所示，该方法包括：

步骤101、获取异常批量作业。

步骤102、通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的。

步骤103、按照异常处理策略，对异常批量作业进行异常处理。

本发明实施例提供的技术方案中，获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

图5为本发明实施例提供的又一种批量作业的异常处理方法的流程图，如图5所示，该方法包括：

步骤201、获取异常批量作业。

本发明实施例中，各步骤由批量作业的异常处理装置执行。

本发明实施例中，维护人员通过输入设备预先设定批量作业执行时间；当前时间达到批量作业执行时间时，触发批量作业执行平台自动执行批量作业。在执行批量作业的过程中，对当前批量作业进行扫描，以获取异常批量作业。

具体地，按照预设的时间周期，对批量作业执行平台进行扫描，获取当前批量作业的执行状态信息，若执行状态信息为异常，将当前批量作业确定为异常批量作业；若执行状态信息为正常，继续执行按照预设的时间周期，对批量作业执行平台进行扫描，获取当前批量作业的执行状态信息的步骤。其中，时间周期可以根据实际需求进行设置，本发明实施例对此不做限定。

本发明实施例中，执行状态信息包括异常或正常，若执行状态处于中断、应答等状态，表明执行状态信息异常。

步骤202、通过预设的批量作业大数据库，将存储的存量批量作业与异常批量作业进行匹配，若匹配成功，执行步骤203；若匹配失败，执行步骤204。

本发明实施例中，批量作业大数据库存储有多个存量批量作业，存量批量作业包括作业基本属性、作业执行属性、作业数据属性和作业异常处理策略。具体地，将存量批量作业的作业基本属性与异常批量作业的作业基本属性进行匹配，若匹配成功，表明批量作业大数据库中存储有该异常批量作业的相关信息，继续执行步骤203；若匹配失败，表明批量作业大数据库中不存在该异常批量作业的相关信息，继续执行步骤204。

步骤203、查询出对应的异常处理策略，继续执行步骤206。

本发明实施例中，从批量作业大数据库查询出异常批量作业对应的异常处理策略，继续执行步骤206。

本发明实施例中，先通过批量作业大数据库获取对应的异常处理策略，能够提高异常处理效率。

步骤204、构建数据分析模型。

本发明实施例中，步骤204具体包括：

步骤2041、获取存量批量作业的存量数据集，存量数据集包括属性类别、异常数据信息和异常处理策略。

本发明实施例中，批量作业大数据库存储有多个存量批量作业，根据存量批量作业的存量数据集，构建训练集。

步骤2042、根据属性类别，构建目标属性类别父结点。

本发明实施例中，依次读取训练集中的存量批量作业，获取存量批量作业中的属性类别。

具体地，根据属性类别，生成每个属性类别对应的第一信息增益率；根据第一信息增益率，选取出最大第一信息增益率；根据最大第一信息增益率对应的目标属性类别，构建目标属性类别父结点。

例如：存量批量作业为ABCD_N_PA_IMPORT_UDS_REPORT作业，其属性类别包括：ABCD、日终批量、文件处理、文件导入、UDS、REPORT，分别计算出每个属性类别对应的第一信息增益率；选取出最大第一信息增益率对应的目标属性类别为“文件导入”，特征值为“IMPORT”，构建一个命名为“文件导入”的父结点。

值得说明的是，在构建目标属性类别父结点的过程中，若存在相同目标属性类别且相同特征值的结点，则放弃构建重复的目标属性类别父结点。

值得说明的是，第一信息增益率可以根据存量批量作业的各属性类别的经验熵和特征值得到，在此不再赘述。

步骤2043、根据异常数据信息，构建目标属性类别父结点的目标异常数据子结点。

本发明实施例中，异常数据信息为表示该存量批量作业的异常情况的信息。

具体地，根据异常数据信息，生成每个异常数据对应的第二信息增益率；根据第二信息增益率，选取出最大第二信息增益率；根据最大第二信息增益率对应的目标异常数据，构建目标属性类别父结点的目标异常数据子结点。

例如：存量批量作业为ABCD_N_PA_IMPORT_UDS_REPORT作业，异常数据信息为“{"异常类型:":"chk文件不存在","文件名:"REPORT.chk"}”，分别计算出每个异常数据对应的第二信息增益率；选取出最大第一信息增益率对应的目标异常数据为“chk文件不存在”，其特征值为“chk文件不存在”，构建一个命名为“chk文件不存在”的目标异常数据子结点，且“chk文件不存在”的目标异常数据子结点是“文件导入”的父结点的子结点。

值得说明的是，在构建目标属性类别父结点的目标异常数据子结点的过程中，若存在相同目标属性类别且相同特征值的结点，则放弃构建重复的目标异常数据子结点。

值得说明的是，第二信息增益率可以根据存量批量作业的各异常数据的经验熵和特征值得到，在此不再赘述。

进一步地，在目标异常数据子结点下新增作业名同名的子结点，同时标注其特征值。例如：存量批量作业为ABCD_N_PA_IMPORT_UDS_REPORT作业，构建一个命名为“ABCD_N_PA_IMPORT_UDS_REPORT”的子结点，特征值为ABCD、文件导入、UDS、REPORT。

步骤2044、根据异常处理策略，构建目标异常数据子结点的目标策略叶结点。

具体地，根据异常处理策略，生成每个策略特征对应的第三信息增益率；根据第三信息增益率，选取出最大第三信息增益率；根据最大第三信息增益率对应的目标策略特征，构建目标异常数据子结点的目标策略叶结点

例如：存量批量作业为ABCD_N_PA_IMPORT_UDS_REPORT作业，异常数据信息为“{"异常类型:":"chk文件不存在","文件名:"REPORT.chk"}”，对应的异常处理策略为“准备REPORT.chk文件，放到/approot1/recv/uds/目录下”，分别计算出每个策略特征对应的第三信息增益率；选取出最大第三信息增益率对应的策略特征为“准备文件”，其特征值为“/approot1/recv/uds”、“REPORT.chk”，构建一个命名为“准备文件”的目标策略叶结点，且“准备文件”的目标策略叶结点是“chk文件不存在”的目标异常数据叶结点。

步骤2045、通过决策树，根据存量批量作业对应的目标属性类别父结点的目标异常数据子结点和目标异常数据子结点的目标策略叶结点，构建数据分析模型。

具体地，将存量批量作业对应的目标属性类别父结点的目标异常数据子结点和目标异常数据子结点的目标策略叶结点输入C4.5算法，以递归方式进行训练决策树，构建数据分析模型。

步骤205、通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略。

具体地，将异常批量作业输入数据分析模型，输出对应的异常处理策略。

步骤206、按照异常处理策略，对异常批量作业进行异常处理，若异常处理的处理结果为异常处理失败，执行步骤207；若异常处理的处理结果为异常处理成功，执行步骤210。

本发明实施例中，若异常处理的处理结果为异常处理失败，表明该批量作业依然处于异常状态，继续执行步骤207；若异常处理的处理结果为异常处理成功，表明该批量作业处于正常状态，继续执行步骤210。

本发明实施例中，能够按照数据分析模型输出的异常处理策略对异常批量作业进行自动化异常处理，节约人力资源，提高异常处理的自动化程度。

步骤207、将预设的失败计数进行加1处理。

本发明实施例中，失败计数用于统计异常处理的失败次数，失败计数是预先设置的，失败计数的初始值设置为0。

具体地，若经过异常处理策略处理后，该批量作业依然处于异常状态，表明当前异常处理策略在本次异常处理中失效，对失败计数进行加1处理，得到加1处理后的失败计数。

步骤208、判断加1处理后的失败计数是否大于预设的计数阈值，若是，执行步骤209；若否，执行步骤205。

本发明实施例中，计数阈值可以根据实际需求进行设置，本发明实施例对此不做限定。作为一种可选方案，计数阈值为3。

具体地，若加1处理后的失败计数大于计数阈值，表明采用当前异常处理策略进行异常处理的失败次数过多，当前异常处理策略不适用于该异常批量作业，继续执行步骤209；若加1处理后的失败计数小于或等于计数阈值，表明当前异常处理策略不适用于该异常批量作业，需要重新生成新的异常处理策略，继续执行步骤205。

步骤209、通过预设的默认处理策略进行异常处理。

本发明实施例中，默认处理策略是根据实际需求预先设置的，本发明实施例对此不做限定。作为一种可选方案，默认处理策略为跳过处理。

本发明实施例中，设置有默认处理策略，对失败次数过多的异常批量作业进行处理，提高批量作业处理效率，保证系统的稳定运行。

步骤210、记录并存储异常批量作业的异常处理信息，异常处理信息包括多个属性类别、异常数据信息和异常处理策略。

本发明实施例中，当所有批量作业结束后，记录并存储异常批量作业的异常处理信息。

进一步地，将该异常批量作业对应的异常处理策略更新至批量作业大数据库。

进一步地，通过异常处理信息，对数据分析模型进行迭代更新，得到更新后的数据分析模型。具体地，迭代更新的过程包括：

步骤a1、根据异常批量作业的异常处理信息，构建增量父结点，增量父结点具备对应的特征值。

具体地，获取该异常批量作业的属性类别，计算出每个属性类别的信息增益率；确定出最高信息增益率对应的属性类别；构建与选取出的属性类别同名的增量父结点，并标注其特征值。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，其属性类别包括：ABCD、日终批量、文件处理、文件导入、UDS、ACE，计算出每个属性类别的信息增益率；确定出最高信息增益率对应的属性类别为“文件导入”；构建命名为“文件导入”的增量父结点，标注其特征值为“IMPORT”。

步骤a2、通过数据分析模型，根据增量父结点对应的特征值，获取相似父结点。

具体地，将增量父结点对应的特征值与数据分析模型中的父结点对应的特征值进行相似度计算，得到多个特征值相似度；对多个特征值相似度进行比较，选取出最高特征值相似度；将最高特征值相似度对应的父结点确定为相似父结点。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，特征值为“IMPORT”，特征值相似度最高的相似父结点为“文件导入”父结点。

步骤a3、根据异常批量作业的异常数据信息，构建相似子结点，相似子结点具备对应的特征值。

具体地，提取异常数据信息的特征值；根据异常数据信息的特征值与相似父结点的子结点对应的特征值进行相似度计算，得到多个特征值相似度；对多个特征值相似度进行比较，选取出最高特征值相似度；将最高特征值相似度对应的子结点确定为相似子结点。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，异常数据信息为“{"异常类型:":"chk文件不存在","文件名:"ACE.chk"}”，异常数据信息的特征值为“chk文件不存在”，在“文件导入”相似父结点下特征值相似度最高的是“chk文件不存在”子结点；将“chk文件不存在”子结点确定为相似子结点。

步骤a4、在增量父结点下构建与异常批量作业同名的增量子结点。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，构建一个命名为“ABCD_N_PA_IMPORT_UDS_ACE”的增量子结点，特征值为ABCD、文件导入、UDS、ACE。

步骤a5、获取相似子结点下特征值相似度最高的子结点。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，特征值为ABCD、文件导入、UDS、ACE，在“chk文件不存在”结点下特征值相似度最高的是“ABCD_N_PA_IMPORT_UDS_REPORT”子结点。

步骤a6、根据特征值相似度最高的子结点，生成增量叶结点。

具体地，获取相似度最高的子结点下的异常处理策略叶结点，将叶结点的特征值替换为当前构建的增量叶节点的特征值。

例如：异常批量作业为ABCD_N_PA_IMPORT_UDS_ACE作业，特征值相似度最高的是“ABCD_N_PA_IMPORT_UDS_REPORT”子结点，获取其中的“准备文件”叶结点，同时保留相同特征值“/approot1/recv/uds”，替换相近特征值“REPORT.chk”为“ACE.chk”，建立“准备文件”增量叶结点。

步骤a7、根据增量父节点、增量子节点和增量叶节点，构建增量决策树。

具体地，根据增量父节点、增量子节点和增量叶节点，对C4.5算法进行训练，构建增量决策树。

步骤a8、将增量决策树归并到训练集之中，更新数据分析模型。

具体地，将增量决策树归并到训练集，得到更新后的训练集；通过更新后的训练集对数据分析模型进行更新迭代训练，得到数据分析模型。

本发明能够迅速响应异常批量作业，减少解决批量中断的时间，大大缩减每个批量的执行时间，有效减少人力资源占用，提高批量测试的验证效果；对发生的批量中断有完整的记录，避免发生错漏；记录并存储异常处理信息，方便后续统计，对异常问题进行改进。

值得说明的是，本申请中技术方案中对数据的获取、存储、使用、处理等均符合法律法规的相关规定。本申请实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过客户授权同意的。

本发明实施例提供的批量作业的异常处理方法的技术方案中，获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

图6为本发明实施例提供的一种批量作业的异常处理装置的结构示意图，该装置用于执行上述批量作业的异常处理方法，如图6所示，该装置包括：第一获取单元11、数据分析单元12和异常处理单元13。

第一获取单元11用于获取异常批量作业。

数据分析单元12用于通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的。

异常处理单元13用于按照异常处理策略，对异常批量作业进行异常处理。

本发明实施例中，第一获取单元11具体用于按照预设的时间周期，对批量作业执行平台进行扫描，获取当前批量作业的执行状态信息；若执行状态信息为异常，将当前批量作业确定为异常批量作业。

本发明实施例中，该装置还包括：匹配单元14和查询单元15。

匹配单元14用于通过预设的批量作业大数据库，将存储的存量批量作业与异常批量作业进行匹配；若匹配失败，触发数据分析单元12继续执行通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略的步骤。

查询单元15用于若匹配成功，查询出对应的异常处理策略。

异常处理单元13用于按照异常处理策略，对异常批量作业进行异常处理；

本发明实施例中，该装置还包括：第二获取单元16、父结点构建单元17、子结点构建单元18、叶节点构建单元19和模型构建单元20。

第二获取单元16用于获取存量批量作业的存量数据集，存量数据集包括多个存量作业，每个存量作业具备多个属性类别、异常数据信息和异常处理策略。

父结点构建单元17用于根据属性类别，构建目标属性类别父结点。

子结点构建单元18用于根据异常数据信息，构建目标属性类别父结点的目标异常数据子结点。

叶节点构建单元19用于根据异常处理策略，构建目标异常数据子结点的目标策略叶结点。

模型构建单元20用于通过决策树，根据每个存量作业对应的目标属性类别父结点的目标异常数据子结点和目标异常数据子结点的目标策略叶结点，构建数据分析模型。

本发明实施例中，父结点构建单元17具体用于根据属性类别，生成每个属性类别对应的第一信息增益率；根据第一信息增益率，选取出最大第一信息增益率；根据最大第一信息增益率对应的目标属性类别，构建目标属性类别父结点。

本发明实施例中，子结点构建单元18具体用于根据异常数据信息，生成每个异常数据对应的第二信息增益率；根据第二信息增益率，选取出最大第二信息增益率；根据最大第二信息增益率对应的目标异常数据，构建目标属性类别父结点的目标异常数据子结点。

本发明实施例中，叶节点构建单元19具体用于根据异常处理策略，生成每个策略特征对应的第三信息增益率；根据第三信息增益率，选取出最大第三信息增益率；根据最大第三信息增益率对应的目标策略特征，构建目标异常数据子结点的目标策略叶结点。

本发明实施例中，该装置还包括：累加单元21、判断单元22和默认处理单元23。

累加单元21用于若异常处理的处理结果为异常处理失败，将预设的失败计数进行加1处理。

判断单元22用于判断加1处理后的失败计数是否大于预设的计数阈值；若否，触发数据分析单元12重新执行通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略的步骤。

默认处理单元23用于若加1处理后的失败计数大于预设的计数阈值，通过预设的默认处理策略进行异常处理。

本发明实施例中，该装置还包括：记录单元24。

记录单元24用于记录并存储异常批量作业的异常处理信息，异常处理信息包括多个属性类别、异常数据信息和异常处理策略。

本发明实施例中，迭代更新单元25。

迭代更新单元25用于通过异常处理信息，对数据分析模型进行迭代更新，得到更新后的数据分析模型。

本发明实施例的方案中，获取异常批量作业；通过预先构建的数据分析模型，根据异常批量作业，生成出对应的异常处理策略，数据分析模型是通过决策树构建的；按照异常处理策略，对异常批量作业进行异常处理，通过数据分析模型对异常批量作业进行自动异常处理，节约人力资源，提高异常处理过程的处理效率和失效，提升测试覆盖率，保证测试结果的完整性，从而提升批量作业处理效果。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述批量作业的异常处理方法的实施例的各步骤，具体描述可参见上述批量作业的异常处理方法的实施例。

下面参考图7，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。

如图7所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有计算机设备600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种批量作业的异常处理方法，其特征在于，所述方法包括：

获取异常批量作业；

通过预先构建的数据分析模型，根据所述异常批量作业，生成出对应的异常处理策略，所述数据分析模型是通过决策树构建的；

按照所述异常处理策略，对所述异常批量作业进行异常处理。

2.根据权利要求1所述的批量作业的异常处理方法，其特征在于，所述获取异常批量作业，包括：

按照预设的时间周期，对批量作业执行平台进行扫描，获取当前批量作业的执行状态信息；

若所述执行状态信息为异常，将所述当前批量作业确定为异常批量作业。

3.根据权利要求1所述的批量作业的异常处理方法，其特征在于，在所述获取异常批量作业之后，还包括：

通过预设的批量作业大数据库，将存储的存量批量作业与所述异常批量作业进行匹配；

若匹配成功，查询出对应的异常处理策略；

按照所述异常处理策略，对所述异常批量作业进行异常处理；

若匹配失败，继续执行所述通过预先构建的数据分析模型，根据所述异常批量作业，生成出对应的异常处理策略的步骤。

4.根据权利要求1所述的批量作业的异常处理方法，其特征在于，在所述通过预先构建的数据分析模型，根据所述异常批量作业，生成出对应的异常处理策略之前，还包括：

获取存量批量作业的存量数据集，所述存量数据集包括属性类别、异常数据信息和异常处理策略；

根据所述属性类别，构建目标属性类别父结点；

根据所述异常数据信息，构建所述目标属性类别父结点的目标异常数据子结点；

根据所述异常处理策略，构建所述目标异常数据子结点的目标策略叶结点；

通过决策树，根据所述存量批量作业对应的目标属性类别父结点所述目标属性类别父结点的目标异常数据子结点和所述目标异常数据子结点的目标策略叶结点，构建数据分析模型。

5.根据权利要求4所述的批量作业的异常处理方法，其特征在于，所述根据所述属性类别，构建数据分析模型，包括：

根据所述属性类别，生成每个属性类别对应的第一信息增益率；

根据所述第一信息增益率，选取出最大第一信息增益率；

根据所述最大第一信息增益率对应的目标属性类别，构建目标属性类别父结点。

6.根据权利要求4所述的批量作业的异常处理方法，其特征在于，所述根据所述异常数据信息，构建所述目标属性类别父结点的目标异常数据子结点，包括：

根据所述异常数据信息，生成每个异常数据对应的第二信息增益率；

根据所述第二信息增益率，选取出最大第二信息增益率；

根据所述最大第二信息增益率对应的目标异常数据，构建所述目标属性类别父结点的目标异常数据子结点。

7.根据权利要求4所述的批量作业的异常处理方法，其特征在于，所述根据所述异常处理策略，构建所述目标异常数据子结点的目标策略叶结点，包括：

根据所述异常处理策略，生成每个策略特征对应的第三信息增益率；

根据所述第三信息增益率，选取出最大第三信息增益率；

根据所述最大第三信息增益率对应的目标策略特征，构建所述目标异常数据子结点的目标策略叶结点。

8.根据权利要求1所述的批量作业的异常处理方法，其特征在于，所述方法还包括：

若异常处理的处理结果为异常处理失败，将预设的失败计数进行加1处理；

判断加1处理后的失败计数是否大于预设的计数阈值；

若是，通过预设的默认处理策略进行异常处理；

若否，重新执行所述通过预先构建的数据分析模型，根据所述异常批量作业，生成出对应的异常处理策略的步骤。

9.根据权利要求1所述的批量作业的异常处理方法，其特征在于，在所述按照所述异常处理策略，对所述异常批量作业进行异常处理之后，还包括：

记录并存储所述异常批量作业的异常处理信息，所述异常处理信息包括多个属性类别、异常数据信息和异常处理策略。

10.根据权利要求9所述的批量作业的异常处理方法，其特征在于，在所述按照所述异常处理策略，对所述异常批量作业进行异常处理之后，还包括：

通过所述异常处理信息，对所述数据分析模型进行迭代更新，得到更新后的数据分析模型。

11.一种批量作业的异常处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取异常批量作业；

数据分析单元，用于通过预先构建的数据分析模型，根据所述异常批量作业，生成出对应的异常处理策略，所述数据分析模型是通过决策树构建的；

异常处理单元，用于按照所述异常处理策略，对所述异常批量作业进行异常处理。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10任一项所述的批量作业的异常处理方法。

13.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至10任一项所述的批量作业的异常处理方法。

14.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至10任一项所述的批量作业的异常处理方法。