CN114757278B - 无效任务的处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种无效任务的处理方法、装置、计算机设备及存储介质，其中，该无效任务的处理方法包括：获取任务调度请求，任务调度请求包括至少一个已编写任务。启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析结果。若任务分析结果为无效任务，则将已编写任务回收至待处理任务池。该方法可有效提高数据中台的数据处理效率，降低无效任务所占用的存储资源，提高识别和处理无效任务的自动化程度和效率。

Description

无效任务的处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据资产管理领域，尤其涉及一种无效任务的处理方法、装置、计算机设备及存储介质。

背景技术

数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。中台看作是一种中间层。既然是一种中间层，按照事物变化的速度来分层，这样可以逐层分析并设计合理的边界与服务。在数据开发过程中，核心数据模型的变化是相对缓慢的，同时，对数据进行维护的工作量也非常大；但业务创新的速度、对数据提出的需求的变化，是非常快速的。数据中台的出现，缓解了数据开发和应用开发之间开发速度和响应力之间的冲突，体现数据中台的关键作用在于让前台开发团队的开发速度不受后台数据开发的影响，打通各个业务线的数据，降低开发成本。

而伴随着数据中台衔接多个业务线以及对应的数据，处理数据处理任务数量日益增多，进而产生了更多的无效任务，造成数据中台的集群资源的浪费，从而不得不投入人力进行人为干预处理，增加数据维护成本。

发明内容

本发明实施例提供一种无效任务的处理方法、装置、计算机设备及存储介质，以解决在数据中台中日益增多的无效任务需人工干预的问题。

一种无效任务的处理方法，包括：

获取任务调度请求，任务调度请求包括至少一个已编写任务；

启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析结果；

若任务分析结果为无效任务，则将已编写任务回收至待处理任务池。

进一步地，在启动数据中台任务分析引擎之前，还包括：

通过数据资产模块提取任务训练数据，任务训练数据包括：表、字段、相关数据使用率、数据量以及sql关键词分布；

将表、字段、相关数据使用率、数据量以及sql关键词分布输入原始贝叶斯模型，拟定有效任务和无效任务的种类作为原始贝叶斯模型的输出，对原始贝叶斯模型进行训练，用于获取无效任务识别模型。

本实施例提供的方法可基于相关的任务训练数据训练出无效任务识别模块，用于后续快速从已编写任务中识别出无效任务，提高识别的自动化程度。

进一步地，已编写任务包括回收标签；

在将已编写任务回收至待处理任务池之后，还包括：

若已编写任务的回收标签为永久失效，则驳回已编写任务；

若已编写任务的回收标签为待时机生效，则提取并保存已编写任务的缺省值和/或任务生效条件。

本实施例提供的方法可将暂时判定的无效任务回收至待处理任务池中，并未直接驳回，可为后续无效任务的重新生效提供缓冲，避免二次重复开发。

进一步地，在提取并保存已编写任务的缺省值和/或任务生效条件之后，还包括：

执行第一定时任务；

当系统时间满足第一定时任务时，扫描待处理任务池中的每一缺省值和任务生效条件；

若任一已编写任务对应的所有缺省值不再为空，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务；

或者，

若任一已编写任务对应的任务生效条件已生效，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务。

本实施例提供的方法可根据定时任务定期检测待处理任务池中暂时被判定为无效任务是否继续无效，若满足激活条件则无效任务可转换为可执行任务，提高无效任务的复活几率，避免二次开发的重复性工作。

进一步地，在获取任务分析结果之后，还包括：

若任务分析结果为有效任务，则将已编写任务加入任务部署队列成为可执行任务，用于等待与可执行任务对应的任务触发事件；

若任务触发事件被触发，则通过任务调度引擎启动可执行任务。

本实施例提供的方法可保障任务部署队列中都存储可执行任务，提高可执行任务的执行效率，并节省数据中台的存储资源。

进一步地，在将已编写任务加入任务部署队列成为可执行任务之后，还包括：

执行第二定时任务；

当系统时间满足第二定时任务时，扫描任务部署队列中的至少一组任务执行记录，任务执行记录包括待执行任务、任务执行次数以及任务报错次数；

若待执行任务对应的任务执行次数等于任务报错次数，则将待执行任务移送到待处理任务池中；

若待执行任务在任务考核期内对应的任务执行次数大于任务报错次数，且任务执行次数小于执行次数阈值，则将待执行任务移送到待处理任务池中。

本实施例提供的方法不但可在任务编写之初判定任务有效性，还可在任务考核期内对已经判定为可执行任务中的任务持续有效，提高任务判定的灵活性、适用性和自动化水平。

进一步地，已编写任务包括编写需求描述；

在将已编写任务回收至待处理任务池之后，还包括：

获取开发端发送的添加任务请求，添加任务请求包括至少一个待添加任务和任务需求描述；

基于待处理任务池中的所有编写需求描述和任务需求描述进行匹配，获取需求匹配结果；

若需求匹配结果为匹配成功，则将编写需求描述对应的已编写任务返回给开发端，用于开发端对已编写任务根据待添加任务进行二次开发。

本实施例提供的方法可基于新的添加任务的请求在待处理任务池中匹配是否已被判定为无效的无效任务，从而进行二次适应性开发，减少重复性的开发工作，提高资源使用效率，有效缩短任务开发时间。

一种无效任务的处理装置，包括：

获取调度请求模块，用于获取任务调度请求，任务调度请求包括至少一个已编写任务；

启动分析引擎模块，用于启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析结果；

回收编写任务模块，用于若任务分析结果为无效任务，则将已编写任务回收至待处理任务池。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述无效任务的处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无效任务的处理方法。

上述无效任务的处理方法、装置、计算机设备及存储介质，通过已训练的无效任务识别模型识别出开发人员编写的已编写任务中的无效任务，可有效提高数据中台的数据处理效率，降低无效任务所占用的存储资源，提高识别和处理无效任务的自动化程度和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1绘示本发明一实施例中无效任务的处理方法的应用环境示意图；

图2绘示本发明一实施例中无效任务的处理方法的流程图；

图3绘示本发明另一实施例中无效任务的处理方法的第一流程图；

图4绘示本发明另一实施例中无效任务的处理方法的第二流程图；

图5绘示本发明另一实施例中无效任务的处理方法的第三流程图；

图6绘示本发明另一实施例中无效任务的处理方法的第四流程图；

图7绘示本发明另一实施例中无效任务的处理方法的第五流程图；

图8绘示本发明另一实施例中无效任务的处理方法的第六流程图；

图9绘示本发明另一实施例中无效任务的处理方法的全步骤流程示意图；

图10绘示本发明一实施例中无效任务的处理装置的示意图；

图11绘示本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的无效任务的处理方法，可应用在如图1的应用环境中，该无效任务的处理方法应用在无效任务的处理系统中，该无效任务的处理系统包括客户端和数据中台服务器，其中，客户端通过网络与数据中台服务器进行通信。客户端又称为用户端，是指与数据中台服务器相对应，为客户端提供本地服务的程序。进一步地，客户端为计算机端程序、智能设备的APP程序或嵌入其他APP的第三方小程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。数据中台服务器可以用独立的数据中台服务器或者是多个数据中台服务器组成的数据中台服务器集群来实现。

在一实施例中，如图2所示，提供一种无效任务的处理方法，以该方法应用在图1中的数据中台服务器为例进行说明，具体包括如下步骤：

S10.获取任务调度请求，任务调度请求包括至少一个已编写任务。

其中，任务调度请求是开发端请求是判定已编写的任务（已编写任务）是否可成为可执行任务的请求。

具体地，数据中台是把所有的数据集合到数据中台来，把数据通过处理、分析、组织以后，再让其他业务去使用，或者做数据的展示报表。因此，在数据的整合过程中，会产生多种数据处理任务。开发人员还要根据各种业务接口开发各种待执行任务。

开发任务的过程中，难免出现重复开发的任务、缺失参数的任务、执行环境不满足预设要求的任务等（均称为无效任务）。如何从众多的已开发任务中迅速辨识出无效任务成为开发端亟待解决的问题。

进一步地，开发的数据任务可包括如下任务：

*数据集成运营：数据接入、转换、写入或缓存内部来源的各来源数据；

*数据目录与治理：用户可以方便定位所需数据，理解数据（技术/业务治理）；

*数据安全：确保数据的访问权限；

*数据可用：用户可简便、可扩展的访问异构数据，可用性和易用性高；

*提纯加工：数据资产化——数据提炼与分析加工能力等。

S20.启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析结果。

其中，任务分析引擎是用于对已编写任务进行判定是否符合可执行任务标准的引擎。无效任务识别模型是经相关数据训练过的可判定已编写任务是否符合可执行任务的模型，通过任务分析引擎调用时实现该功能。

S30.若任务分析结果为无效任务，则将已编写任务回收至待处理任务池。

其中，待处理任务池是用于保存判定为无效任务的资源池，并用于进一步判定无效任务是否具有保留价值。

本实施例提供的 无效任务的处理方法，通过已训练的无效任务识别模型识别出开发人员编写的已编写任务中的无效任务，可有效提高数据中台的数据处理效率，降低无效任务所占用的存储资源，提高识别和处理无效任务的自动化程度和效率。

在一具体实施例中，如图3所示，在步骤S20之前，即在启动数据中台任务分析引擎之前，还具体包括如下步骤：

S2011.通过数据资产模块提取任务训练数据，任务训练数据包括：表、字段、相关数据使用率、数据量以及sql关键词分布。

S2012.将表、字段、相关数据使用率、数据量以及sql关键词分布输入原始贝叶斯模型，拟定有效任务和无效任务的种类作为原始贝叶斯模型的输出，对原始贝叶斯模型进行训练，用于获取无效任务识别模型。

具体地，贝叶斯模型是运用贝叶斯统计进行的一种预测，不同于一般的统计方法，其不仅利用模型信息和数据信息，而且充分利用先验信息。通过实证分析的方法，将贝叶斯预测模型与普通回归预测模型的预测结果进行比较，结果表明贝叶斯预测模型具有优势。

贝叶斯决策就是在贝叶斯模型计算出后验概率的基础上，进一步做归属的决定——分类。其主要包括两种决策方式，即最小错误贝叶斯决策，和最小风险贝叶斯决策。前者是在比较理想或者各类类别地位均等的情况下的决策，而后者则要考虑决策本身带来的代价和各类别地位的不均等。于本实施例中，分类结果即为有效任务和无效任务。

在一具体实施例中，已编写任务包括回收标签。如图4所示，在步骤S30之后，即在将已编写任务回收至待处理任务池之后，还具体包括如下步骤：

S3011.若已编写任务的回收标签为永久失效，则驳回已编写任务。

S3012.若已编写任务的回收标签为待时机生效，则提取并保存已编写任务的缺省值和/或任务生效条件。

具体地，永久失效的回收标签对应有的已编写任务一般为预设确定无保留价值的任务。比如，重复任务、过期任务等。

待时机生效的回收标签对应的已编写任务具有回收潜质，或者是缺失参数或者是任务生效条件不适配等，具有暂时保留意义，为了避免后续的重复性开发工作，可暂时存储到待处理任务池中。进一步地，本实施例还可给待处理任务池设定任务处理时间，对于存储超过预设保留时间还未重新开发的任务进行任务移除等。

在一具体实施例中，如图5所示，在步骤S3012之后，即在提取并保存已编写任务的缺省值和/或任务生效条件之后，还具体包括如下步骤：

S30121.执行第一定时任务。

S30122.当系统时间满足第一定时任务时，扫描待处理任务池中的每一缺省值和任务生效条件。

S30123.若任一已编写任务对应的所有缺省值不再为空，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务。

或者，

S30124.若任一已编写任务对应的任务生效条件已生效，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务。

在一具体实施例中，如图6所示，在步骤S20之后，即在获取任务分析结果之后，还具体包括如下步骤：

S2021.若任务分析结果为有效任务，则将已编写任务加入任务部署队列成为可执行任务，用于等待与可执行任务对应的任务触发事件。

S2022.若任务触发事件被触发，则通过任务调度引擎启动可执行任务。

其中，任务触发事件可包括启动调用该可执行任务的请求等。

在一具体实施例中，如图7所示，在步骤S2021之后，即在将已编写任务加入任务部署队列成为可执行任务之后，还具体包括如下步骤：

S20211.执行第二定时任务。

S20212.当系统时间满足第二定时任务时，扫描任务部署队列中的至少一组任务执行记录，任务执行记录包括待执行任务、任务执行次数以及任务报错次数。

S20213.若待执行任务对应的任务执行次数等于任务报错次数，则将待执行任务移送到待处理任务池中。

S20214.若待执行任务在任务考核期内对应的任务执行次数大于任务报错次数，且任务执行次数小于执行次数阈值，则将待执行任务移送到待处理任务池中。

具体地，当待执行任务对应的任务执行次数等于任务报错次数时，说明该可执行任务从未真正被成功执行过，可能符合无效任务识别模型的判定，但在实际执行过程中存在参数错误或其它错误，需进一步进行任务确认或任务修复，可移动至待处理任务池中进行进一步处理。

任务考核期是预设的考核期限。短期内或新开发的可执行任务暂时无需判定任务的持续有效性。而对于已经存在一定时限（任务考核期），比如一年、一年半等期限内的执行次数来判定该可执行任务的持续有效性，提高任务有效性判定的灵活性。

在一具体实施例中，已编写任务包括编写需求描述。如图8所示，在步骤S30之后，即在将已编写任务回收至待处理任务池之后，还具体包括如下步骤：

S3021.获取开发端发送的添加任务请求，添加任务请求包括至少一个待添加任务和任务需求描述。

S3022.基于待处理任务池中的所有编写需求描述和任务需求描述进行匹配，获取需求匹配结果。

S3023.若需求匹配结果为匹配成功，则将编写需求描述对应的已编写任务返回给开发端，用于开发端对已编写任务根据待添加任务进行二次开发。

具体地，新提出的类型的任务需求可能在待处理任务池中存在。为了提高任务开发效率，减少重复工作，可基于添加任务请求在待处理任务池中进行任务匹配。若匹配到类似的，开发人员可拿来根据新的类似任务需求进行代码更新，提高开发效率。其中，任务需求描述和编写需求描述是用于描述编写的任务的作用和目的等的文字性描述，可通过文字识别工具等工具对两者进行相似性比对，从而获取相似性。

本实施例提供的 无效任务的处理方法中的数据资产模块存储了任务相关的数据：包含任务的使用情况以及任务用到的表、字段、使用率、数据量以及对任务解析后的sql关键词分布等。提取表、字段、数据量及sql关键词分布等特征通过贝叶斯算法进行模型训练。

如图9所示，无效任务识别模型的应用流程如下：

1.任务编写完成后，通过任务分析引擎处理，交给无效任务识别模型检测。

2.无效任务识别模型将检测结果返回给任务分析引擎。

3.任务分析引擎对于是无效任务的进行驳回不予以部署。

对于识别为非无效任务的进行部署，后续再进行任务调度引擎处理。

本实施例通过已训练的无效任务识别模型识别出开发人员编写的已编写任务中的无效任务，可有效提高数据中台的数据处理效率，降低无效任务所占用的存储资源，提高识别和处理无效任务的自动化程度和效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种无效任务的处理装置，该无效任务的处理装置与上述实施例中无效任务的处理方法一一对应。如图10所示，该无效任务的处理装置包括获取调度请求模块10、启动分析引擎模块20和回收编写任务模块30。各功能模块详细说明如下：

获取调度请求模块10，用于获取任务调度请求，任务调度请求包括至少一个已编写任务。

启动分析引擎模块20，用于启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析结果。

回收编写任务模块30，用于若任务分析结果为无效任务，则将已编写任务回收至待处理任务池。

优选地，该无效任务的处理装置还包括提取训练数据模块和获取识别模型模块。各功能模块详细说明如下：

提取训练数据模块，用于通过数据资产模块提取任务训练数据，任务训练数据包括：表、字段、相关数据使用率、数据量以及sql关键词分布。

获取识别模型模块，用于将表、字段、相关数据使用率、数据量以及sql关键词分布输入原始贝叶斯模型，拟定有效任务和无效任务的种类作为原始贝叶斯模型的输出，对原始贝叶斯模型进行训练，用于获取无效任务识别模型。

优选地，该无效任务的处理装置还包括驳回编写任务模块和保存生效条件模块。各功能模块详细说明如下：

驳回编写任务模块，用于若已编写任务的回收标签为永久失效，则驳回已编写任务。

保存生效条件模块，用于若已编写任务的回收标签为待时机生效，则提取并保存已编写任务的缺省值和/或任务生效条件。

优选地，该无效任务的处理装置还包括执行第一任务模块、扫描生效条件模块、激活编写任务模块和成为可执行任务模块。各功能模块详细说明如下：

执行第一任务模块，用于执行第一定时任务。

扫描生效条件模块，用于当系统时间满足第一定时任务时，扫描待处理任务池中的每一缺省值和任务生效条件。

激活编写任务模块，用于若任一已编写任务对应的所有缺省值不再为空，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务。

或者，

成为可执行任务模块，用于若任一已编写任务对应的任务生效条件已生效，则激活已编写任务，则将已编写任务加入任务部署队列成为可执行任务。

优选地，该无效任务的处理装置还包括等待触发事件模块和启动可执行任务模块。各功能模块详细说明如下：

等待触发事件模块，用于若任务分析结果为有效任务，则将已编写任务加入任务部署队列成为可执行任务，用于等待与可执行任务对应的任务触发事件。

启动可执行任务模块，用于若任务触发事件被触发，则通过任务调度引擎启动可执行任务。

优选地，该无效任务的处理装置还包括执行第二任务模块、扫描执行记录模块、移送待处理任务池模块和移送待执行任务模块。各功能模块详细说明如下：

执行第二任务模块，用于执行第二定时任务。

扫描执行记录模块，用于当系统时间满足第二定时任务时，扫描任务部署队列中的至少一组任务执行记录，任务执行记录包括待执行任务、任务执行次数以及任务报错次数。

移送待处理任务池模块，用于若待执行任务对应的任务执行次数等于任务报错次数，则将待执行任务移送到待处理任务池中。

移送待执行任务模块，用于若待执行任务在任务考核期内对应的任务执行次数大于任务报错次数，且任务执行次数小于执行次数阈值，则将待执行任务移送到待处理任务池中。

优选地，该无效任务的处理装置还包括获取添加任务模块、获取匹配结果模块、返回已编写任务模块。各功能模块详细说明如下：

获取添加任务模块，用于获取开发端发送的添加任务请求，添加任务请求包括至少一个待添加任务和任务需求描述。

获取匹配结果模块，用于基于待处理任务池中的所有编写需求描述和任务需求描述进行匹配，获取需求匹配结果。

返回已编写任务模块，用于若需求匹配结果为匹配成功，则将编写需求描述对应的已编写任务返回给开发端，用于开发端对已编写任务根据待添加任务进行二次开发。

关于无效任务的处理装置的具体限定可以参见上文中对于无效任务的处理方法的限定，在此不再赘述。上述无效任务的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供了一种计算机设备，该计算机设备可以是数据中台服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于无效任务的处理方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无效任务的处理方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例无效任务的处理方法，例如图2所示S10至步骤S30。或者，处理器执行计算机程序时实现上述实施例中无效任务的处理装置的各模块/单元的功能，例如图10所示模块10至模块30的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例无效任务的处理方法，例如图2所示S10至步骤S30。或者，该计算机程序被处理器执行时实现上述装置实施例中无效任务的处理装置中各模块/单元的功能，例如图10所示模块10至模块30的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无效任务的处理方法，其特征在于，包括：

获取任务调度请求，所述任务调度请求包括至少一个已编写任务，所述已编写任务包括回收标签；通过数据资产模块提取任务训练数据，所述任务训练数据包括：表、字段、相关数据使用率、数据量以及sql关键词分布；将所述表、字段、相关数据使用率、数据量以及sql关键词分布输入原始贝叶斯模型，拟定有效任务和无效任务的种类作为所述原始贝叶斯模型的输出，对所述原始贝叶斯模型进行训练，用于获取所述无效任务识别模型；

启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析所述已编写任务，获取任务分析结果；

若所述任务分析结果为无效任务，则将所述已编写任务回收至待处理任务池；若所述已编写任务的回收标签为永久失效，则驳回所述已编写任务；若所述已编写任务的回收标签为待时机生效，则提取并保存所述已编写任务的缺省值和/或任务生效条件；执行第一定时任务；当系统时间满足所述第一定时任务时，扫描所述待处理任务池中的每一所述缺省值和所述任务生效条件；若任一所述已编写任务对应的所有缺省值不再为空，则激活所述已编写任务，则将所述已编写任务加入任务部署队列成为可执行任务；或者，若任一所述已编写任务对应的所述任务生效条件已生效，则激活所述已编写任务，则将所述已编写任务加入任务部署队列成为可执行任务。

2.根据权利要求1所述的无效任务的处理方法，其特征在于，在所述获取任务分析结果之后，还包括：

若所述任务分析结果为有效任务，则将所述已编写任务加入任务部署队列成为可执行任务，用于等待与所述可执行任务对应的任务触发事件；

若所述任务触发事件被触发，则通过任务调度引擎启动所述可执行任务。

3.根据权利要求2所述的无效任务的处理方法，其特征在于，在所述将所述已编写任务加入任务部署队列成为可执行任务之后，还包括：

执行第二定时任务；

当系统时间满足所述第二定时任务时，扫描所述任务部署队列中的至少一组任务执行记录，所述任务执行记录包括待执行任务、任务执行次数以及任务报错次数；

若所述待执行任务对应的所述任务执行次数等于所述任务报错次数，则将所述待执行任务移送到所述待处理任务池中；

若所述待执行任务在任务考核期内对应的所述任务执行次数大于所述任务报错次数，且所述任务执行次数小于执行次数阈值，则将所述待执行任务移送到所述待处理任务池中。

4.根据权利要求1所述的无效任务的处理方法，其特征在于，所述已编写任务包括编写需求描述；

在所述将所述已编写任务回收至待处理任务池之后，还包括：

获取开发端发送的添加任务请求，所述添加任务请求包括至少一个待添加任务和任务需求描述；

基于所述待处理任务池中的所有所述编写需求描述和所述任务需求描述进行匹配，获取需求匹配结果；

若所述需求匹配结果为匹配成功，则将所述编写需求描述对应的所述已编写任务返回给所述开发端，用于所述开发端对所述已编写任务根据所述待添加任务进行二次开发。

5.一种无效任务的处理装置，其特征在于，包括：

获取调度请求模块，用于获取任务调度请求，所述任务调度请求包括至少一个已编写任务，所述已编写任务包括回收标签；通过数据资产模块提取任务训练数据，所述任务训练数据包括：表、字段、相关数据使用率、数据量以及sql关键词分布；将所述表、字段、相关数据使用率、数据量以及sql关键词分布输入原始贝叶斯模型，拟定有效任务和无效任务的种类作为所述原始贝叶斯模型的输出，对所述原始贝叶斯模型进行训练，用于获取所述无效任务识别模型；

启动分析引擎模块，用于启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析所述已编写任务，获取任务分析结果；

回收编写任务模块，用于若所述任务分析结果为无效任务，则将所述已编写任务回收至待处理任务池；若所述已编写任务的回收标签为永久失效，则驳回所述已编写任务；若所述已编写任务的回收标签为待时机生效，则提取并保存所述已编写任务的缺省值和/或任务生效条件；执行第一定时任务；当系统时间满足所述第一定时任务时，扫描所述待处理任务池中的每一所述缺省值和所述任务生效条件；若任一所述已编写任务对应的所有缺省值不再为空，则激活所述已编写任务，则将所述已编写任务加入任务部署队列成为可执行任务；或者，若任一所述已编写任务对应的所述任务生效条件已生效，则激活所述已编写任务，则将所述已编写任务加入任务部署队列成为可执行任务。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述无效任务的处理方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述无效任务的处理方法。

Images