CN110543356A - 异常任务检测方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明涉及金融科技(Fintech)技术领域，并公开了一种异常任务检测方法，该方法包括：对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；若存在，则将具有异常的所述任务作为异常任务。本发明还公开了一种异常任务检测装置、设备和一种计算机存储介质。本发明提高了调度平台中异常任务检测的准确性。

Description

异常任务检测方法、装置、设备及计算机存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及异常任务检测方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。例如，应用有大数据的调度平台，现有的调度平台基本上都是偏向于功能上的搭建，虽然有通过关系型数据库来实现对异常任务中的闭环任务的检测，但是其检测效率不高，且基于关系型数据库的方法不适合做更多的分析工作，无法准确地检测到其它类型的异常任务。因此，如何提高调度平台中异常任务检测的准确性成为目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提出一种异常任务检测方法、装置、设备及计算机存储介质，旨在提高调度平台中异常任务检测的准确性。

为实现上述目的，本发明提供一种异常任务检测方法，所述异常任务检测方法包括如下步骤：

对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

若存在，则将具有异常的所述任务作为异常任务。

可选地，所述基于各所述依赖关系对各所述任务进行检测的步骤，包括：

基于各所述依赖关系计算各所述任务对应的强连通分量，并基于所述强连通分量检测各所述任务中是否存在闭环任务；

若存在闭环任务，则将所述闭环任务作为具有异常的任务。

可选地，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

获取所述调度平台对应的任务配置信息表中预设的配置依赖关系；

依次遍历各所述任务，基于各所述依赖关系确定当前遍历的所述任务的当前依赖关系，并将所述当前依赖关系和所述配置依赖关系进行匹配；

若不匹配，则将当前遍历的所述任务作为具有异常的任务，直至各所述任务遍历完成。

可选地，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

基于各所述依赖关系依次检测各所述任务，并通过语法解析器将各所述任务中的目标任务解析为语法树，判断所述语法树的层次是否大于预设层次；

若大于，则将所述目标任务作为具有异常的任务。

可选地，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

基于各所述依赖关系依次收集各所述任务的任务属性，并依次遍历各所述任务属性，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息，并检测所述关键信息是否符合预设要求；

若不符合，则将当前遍历的任务属性对应的任务作为具有异常的任务，直至各所述任务属性遍历完成。

可选地，所述对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息的步骤，包括：

对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性对应的多个分词，并在各所述分词中检测是否存在分词为名词；

若存在，则增加所述名词对应的权重，按照所述各所述分词对应的权重的大小获取预设数量的目标权重，并将各所述目标权重对应的分词作为当前遍历的任务属性的关键信息。

可选地，所述对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系的步骤，包括：

对调度平台中的多个任务进行分析，以获取各所述任务分别与所述调度平台中的多个表之间的表级血缘关系；

按照预设形式拆解各所述表级血缘关系，以确定各所述任务分别与所述调度平台中多个表之间的关联关系。

此外，为实现上述目的，本发明还提供一种异常任务检测装置，所述异常任务检测装置包括：

确定模块，用于对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

检测模块，用于基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

存在模块，用于若存在，则将具有异常的所述任务作为异常任务。

此外，为实现上述目的，本发明还提供一种异常任务检测设备，所述异常任务检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常任务检测程序，所述异常任务检测程序被所述处理器执行时实现如上所述的异常任务检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有异常任务检测程序，所述异常任务检测程序被处理器执行时实现如上所述的异常任务检测方法的步骤。

本发明通过对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；若存在，则将具有异常的所述任务作为异常任务。通过对调度平台中的多个任务进行分析，确定各个任务之间的依赖关系，再根据依赖关系检测异常任务，从而提高了检测异常任务的效率，并由于是根据表与任务之间的关系构建，也保障了在不影响任务正常运行的情况下，提高了调度平台中异常任务检测的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明异常任务检测方法第一实施例的流程示意图；

图3为本发明异常任务检测装置的装置模块示意图；

图4为本发明异常任务检测方法中对任务分析的流程示意图；

图5为本发明异常任务检测方法中确定构建任务之间的依赖关系的流程示意图；

图6为本发明异常任务检测方法中闭环任务展示图；

图7为本发明异常任务检测方法中多配、漏配任务检测示意图；

图8为本发明异常任务检测方法中任务语法检测流程示意图；

图9为本发明异常任务检测方法中任务权重分词流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例异常任务检测设备可以是PC机或服务器设备。

如图1所示，该异常任务检测设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异常任务检测程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的异常任务检测程序，并执行下述异常任务检测方法中的操作。

基于上述硬件结构，提出本发明异常任务检测方法实施例。

参照图2，图2为本发明异常任务检测方法第一实施例的流程示意图，所述方法包括：

步骤S10，对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

在本实施例中，通过对调度平台中的每个任务的日志进行血缘分析，获取到以该任务为核心的第一关联关系，该第一关联关系最终形式可以为(源库、源表)-[关系：任务]-(目标库、目标表)，再将第一关联关系按照Neo4J图数据库的实体-关系形式进行存储。并按照预设形式，如(任务)-[关系：库、表]-(任务)的形式拆解表级关系，最终可以获取到两个任务级别的关联关系。即将(源库、源表)-[关系：任务]-(目标库、目标表)拆解后的关联关系为()-[关系：源库、源表]-(任务)和(任务)-[关系：目标库、目标表]-()，其中()表示待定的实体，如果当前的Neo4J图数据库中存在该实体则按照实际实体存储。其中，血缘分析是指对大数据中表与表之间、以表为依托的其他主体之间的关联关系的分析。调度平台是指通过队列机制完成任务的调度平台。任务是指能够完成特定功能的脚本、代码的承载体，其功能的实现可能涉及到表级之间的处理、系统之间的通信、数据的输出、数据的输入等。

为辅助理解确定各个任务对应的关联关系，下面进行举例说明。

例如，如图4所示，首先，分析调度平台日志，并根据分析结果获取表级血缘关系，如(源库、源表)-[关系：任务]-(目标库、目标表)，并将此表级血缘关系存储到Neo4J图数据库，同时会拆解此表级血缘关系，得到任务级血缘关系-A，即()-[关系：源库、源表]-(任务)和任务级血缘关系-B，即(任务)-[关系：目标库、目标表]-()，最后将任务级血缘关系-A和任务级血缘关系-B存储到任务级血缘关系-B，以实现各个任务分别与调度平台中的表之间的关联关系。

步骤S20，基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

当获取到各个任务对应的关联关系后，会根据关联关系对各个任务进行依赖检测，加载调度平台中任务依赖的关系，并构建任务依赖的直接关联关系。如任务1依赖任务为任务2、任务3，则构建关联关系(任务1)-[关系：导出]-(任务2)和(任务1)-[关系：导出]-(任务3)，以此方式完成调度平台中所有任务的依赖关系构建，具体的构建流程如图5所示，调度平台进行任务配置，遍历所有任务的依赖关系，并构建各个任务之间的任务关系，(任务A)-[关系：导出]-(任务B)，并存储到Neo4J图数据库中，并确定调度平台任务是否结束，若否，则继续遍历所有任务的依赖关系，若是，则确定任务加载完成。其中，依赖检测是检查一个或多个以表为依托的主体之间的关联关系，依赖的检测分为上游依赖、下游依赖和自依赖。

当获取到各个任务对应的依赖关系后，可以根据依赖关系对各个任务进行检测，确定在各个任务中是否存在具有异常的任务，即根据检测的依赖关系与当前任务的依赖关系进行对比，实现判断当前任务是否漏配依赖、多配依赖、闭环依赖、语法复杂、任务描述错误等异常情况。

步骤S30，若存在，则将具有异常的所述任务作为异常任务。

异常任务是指调度平台中存在待改善的任务，可以分为漏配依赖任务、多配依赖任务和闭环任务等。若经过判断发现存在具有异常的任务，则将具有异常的任务作为异常任务，若没有，则确定所有的任务均是正常任务。需要说明的是，在本实施例中对异常任务进行检测时，除了利用图数据库来完成数据存储和计算强连通分量的方式，还可以通过检测任务配置表中的依赖关系逐个索引，最后完成每个任务的检测。另外对于异常任务中的多配和少配任务可以通过MySQL(关系型数据库管理系统)这种类型数据库来实现实体和实体之间的关联关系构建，最后探测出多配。少配两种异常情况。

在本实施例中，通过对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；若存在，则将具有异常的所述任务作为异常任务。通过对调度平台中的多个任务进行分析，确定各个任务之间的依赖关系，再根据依赖关系检测异常任务，从而提高了检测异常任务的效率，并由于是根据表与任务之间的关系构建，也保障了在不影响任务正常运行的情况下，提高了调度平台中异常任务检测的准确性。

进一步地，基于本发明异常任务检测方法第一实施例，提出本发明异常任务检测方法第二实施例。本实施例是本发明第一实施例的步骤S20，基于各所述依赖关系对各所述任务进行检测的步骤，包括：

步骤a，基于各所述依赖关系计算各所述任务对应的强连通分量，并基于所述强连通分量检测各所述任务中是否存在闭环任务；

在本实施例中包括对异常任务中的闭环任务的分析，即当建立好各个任务之间的依赖关系后，可以利用任务与任务之间的关联信息(任务A)-[关系：导出]-(任务B)，按照Neo4J图机制计算各个任务之间的强连通分量，并将结果记录到对应的列表中，再根据强连通分量确定是否存在有闭环任务，并根据不同的确定结果执行不同的操作。其中，计算强连通分量的算法可以采用tarjan算法，即记录搜索顺序的数组；记录所属强连通的数组；表示某节点是否在栈中的数组；一个栈存储搜索路径。其中，强连通分量可以是在强连通图的基础上加入一些点和路径，使得当前的图不在强连通，则可以认为原来的强连通的部分为强连通分量。强连通图：如果一个有向图(调度平台中依赖关系的图即为有向图)中，存在一条回路，所有的节点至少被连通过一次，这样的图为强连通图。例如，如图6所示，包括任务1-7，也就代表有7个节点，这些节点和线路组成了一个强连通分量，其中由图中可知任务5依赖于任务7，任务6依赖于任务5，任务7依赖于任务6，此时就可以认为这是一个闭环任务。

步骤b，若存在闭环任务，则将所述闭环任务作为具有异常的任务。

当经过判断发现存在闭环任务，则可以将此闭环任务作为具有异常的任务，并输出相应的提示信息。

在本实施例中，通过根据强连通分量来对调度平台中的任务进行检查，确定是否存在闭环任务，从而提高了检测到异常任务中闭环任务的准确性。

进一步地，基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

步骤c，获取所述调度平台对应的任务配置信息表中预设的配置依赖关系；

在本实施例中，还包括异常任务中的漏配、多配任务的分析，此时就需要先在调度平台对应的任务配置信息表中获取与各个任务相关的预设的配置依赖关系，并根据这些配置依赖关系检测各个任务是否否属于漏配或者多配的任务。

步骤d，依次遍历各所述任务，基于各所述依赖关系确定当前遍历的所述任务的当前依赖关系，并将所述当前依赖关系和所述配置依赖关系进行匹配；

依次遍历各个任务，并根据这些依赖关系确定当前遍历的任务的当前依赖关系，也就是通过(任务A)-[关系：源库、源表]-(任务B)的方式推算出，任务B依赖于任务A，从而逐步获取到对应任务的依赖关系，再将依赖关系和配置依赖关系进行对比，从而判定该任务是否属于漏配，漏配的任务有哪些，以及是否属于多配，多配的任务具体有哪些。

步骤e，若不匹配，则将当前遍历的所述任务作为具有异常的任务，直至各所述任务遍历完成。

当经过判断发现当前依赖关系和配置依赖关系不匹配，则可以认为当前遍历的任务存在漏配或者多配现象，也就是当前遍历的任务是具有异常的任务，需要说明的是需要对调度平台中所有的任务均进行相同的检测操作。例如，如图7所示，先根据任务血缘关系，获得每个任务的依赖情况，如(任务A)-[关系：导出]-(任务B)，并存储到Neo4J图数据库，再进行对比任务配置，即根据任务配置信息表中的配置依赖关系确定每个任务任务的任务依赖是否存在多配或漏配，也就是当根据任务情况确定存在任务依赖少配(即漏配)，则输出少配任务，当根据任务情况确定存在任务依赖多配，则输出多配任务。

在本实施例中，通过将任务的依赖关系和任务配置信息表中的配置依赖关系进行对比，以此确定是否存在漏配或多配的任务，从而提高了检测到异常任务的准确性。

进一步地，基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

步骤f，基于各所述依赖关系依次检测各所述任务，并通过语法解析器将各所述任务中的目标任务解析为语法树，判断所述语法树的层次是否大于预设层次；

在本实施例中，对于一个可维护性高的任务而言，应该具有语法的高可读性，复杂的语法形态和使用应该尽可能切分成两个或者两个以上的不同单元来实现，其中，复杂语法综合来看包括两个层次，第一层次为语法树超过预设层次，如8层，第二个层次为语法单元复杂无法解析。当然无论是进行实时计算分析还是做批量计算分析，都可以利用语法解析器(如hive-exec解析器)来完成，具体来看hive-exec解析器能够将一个hql(HibernateQuery Language，Hibernate查询语言)语句解析为语法树(一般语句的语法树在5层以内)，当然也存在无法解析的语法树，对于无法解析的语法树表示其语法复杂不易读，应该列为异常任务，让开发人员做整改。在解析和确认语法复杂任务的分析过程如图8所示，通过关系型数据库中的文本日志获取目标任务，并通过正则匹配抽取目标任务的hql，以得到hql语句，通过语法解析器来将hql语句解析为语法树，并判断解析语法树是否成功，若否，则认为语法复杂，目标任务属于异常任务，并存储到Neo4J图数据库中；若是，则根据表级血缘关系判断语法树深度是否超过8层，若是，则认为语法复杂，属于异常任务，若否，则认为是正常任务。

步骤g，若大于，则将所述目标任务作为具有异常的任务。

当经过判断发现目标任务对应的语法树的层次大于预设层次，则可以认为目标任务为具有异常的任务，也就是异常任务。但是当经过判断发现目标任务的对应的语法树小于或等于预设层次，则可以认为目标任务是正常任务。

在本实施例中，通过根据语法解析器对任务进行语法解析，以确定是否存在语法复杂的任务，并将语法复杂的任务作为异常任务，从而提高了异常任务检测的准确性。

进一步地，基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

步骤h，基于各所述依赖关系依次收集各所述任务的任务属性，并依次遍历各所述任务属性，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息，并检测所述关键信息是否符合预设要求；

在本实施例中，还可以通过确定任务的描述是否符合任务的分析来确定任务是否为异常任务。也就是根据各个依赖关系依次收集各个任务的任务属性(如任务名称、任务分类、业务分类)，并对每个任务的任务属性进行汇总，得到各个任务属性对应的汇总信息，再对各个汇总信息分别进行权重分词，以获取各个任务对应的关键信息，并判断关键信息是否符合预设要求，并基于判断结果执行不同的操作。需要说明的是，在本实施例中，对任务的表述应具有以下原则，也就是预设要求可以是：第一，通过血液分析获得任务是否具有血缘关系，如果具有三个或三个以上的表级血缘关系，那该任务应该是加工任务。第二，如果该任务含有对应库，那该任务的描述上应该具有该对应库的信息，比如如果对应库为XXX产品，那么描述上应该为XXX。第三如果该任务血缘依赖表有桑或以上关联某个具体产品YYY，那么该任务描述中应该具有YYY。

步骤w，若不符合，则将当前遍历的任务属性对应的任务作为具有异常的任务，直至各所述任务属性遍历完成。

当经过判断发现关键信息不符合预设要求时，则可以将当当前遍历的任务属性对应的任务作为具有异常的任务，即异常任务。但是当发现关键信息符合预设要求时，则可以认为当前遍历的任务属性对应的任务是正常任务。并且需要对所有的任务均进行相同的操作。需要说明的是，任务描述不符会使得任务没有真实表述其内在实现逻辑的文本，通过程序分析出内在逻辑再反向检测任务有利于反馈一些描述不全的任务。

在本实施例中。通过对任务的任务属性进行权重分词，以确定任务描述是否符合任务的分析，并在不符合时，将其作为异常任务，从而提高了异常任务检测的准确性。

具体地，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息的步骤，包括：

步骤h1，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性对应的多个分词，并在各所述分词中检测是否存在分词为名词；

对当前遍历的任务属性进行汇总，得到汇总信息，并对汇总信息进行权重分词，以得到当前遍历的任务属性对应的多个分词，并通过各个分词的词性来判断权重，以确定是否存在分词为名词，并基于不同的确定结果执行不同的操作。

步骤h2，若存在，则增加所述名词对应的权重，按照所述各所述分词对应的权重的大小获取预设数量的目标权重，并将各所述目标权重对应的分词作为当前遍历的任务属性的关键信息。

当经过判断发现存在分词为名词，则可以根据字典库来增加此名词对应的权重，并在完成对名词的权重增加后，再将各个分词放置在特征词列表中，并按照权重的大小，获取预设数量的，且权重最大的目标权重，并将这些目标权重对应的分词作为当前遍历的任务属性对应的任务的关键信息。例如，如图9所示，获取任务外部特征(即任务属性，如任务名称、任务分类、业务分类等)，再进行汇总，以得到汇总信息，并对这些汇总信息进行分词，并根据各个分词的词性来判断各个分词的权重，以确定是否存在分词为名词，若是名词，则通过字典库对名词进行查询叠加权重，若不是，则降低权重，并将所有的分词放置到特征词列表中，并输出权重最大的前两个分词。

在本实施例中，通过对各个分词中的名词添加权重，然后再根据各个权重对应的分词进行选择，以确定关键信息，从而保障了获取到的关键信息的准确性。

进一步地，对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系的步骤，包括：

步骤x，对调度平台中的多个任务进行分析，以获取各所述任务分别与所述调度平台中的多个表之间的表级血缘关系；

对调度平台中的所有任务进行分析，以获取每个任务与调度平台中的表之间的表级血缘关系，即以任务为核心的第一关联关系，如(源库、源表)-[关系：任务]-(目标库、目标表)。

步骤y，按照预设形式拆解各所述表级血缘关系，以确定各所述任务分别与所述调度平台中多个表之间的关联关系。

并在获取到每个任务对应的表级血缘关系后，根据预设形式对各个表级血缘关系进行拆解，再确定各个任务与调度平台中多个表之间的关联关系。例如将(源库、源表)-[关系：任务]-(目标库、目标表)拆解为()-[关系：源库、源表]->(任务)和(任务)-[关系：目标库、目标表]->()。

在本实施例中，通过先获取任务与表之间的表级血缘关系，再按照预设形式拆解表级血缘关系，以得到任务与表之间的关联关系，从而保障了获取到的关联关系的准确性。

本发明还提供一种异常任务检测装置，参照图3，所述异常任务检测装置包括：

确定模块，用于对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

检测模块，用于基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

存在模块，用于若存在，则将具有异常的所述任务作为异常任务。

进一步地，所述检测模块，还用于：

基于各所述依赖关系计算各所述任务对应的强连通分量，并基于所述强连通分量检测各所述任务中是否存在闭环任务；

若存在闭环任务，则将所述闭环任务作为具有异常的任务。

进一步地，所述检测模块，还用于：

获取所述调度平台对应的任务配置信息表中预设的配置依赖关系；

依次遍历各所述任务，基于各所述依赖关系确定当前遍历的所述任务的当前依赖关系，并将所述当前依赖关系和所述配置依赖关系进行匹配；

若不匹配，则将当前遍历的所述任务作为具有异常的任务，直至各所述任务遍历完成。

进一步地，所述检测模块，还用于：

基于各所述依赖关系依次检测各所述任务，并通过语法解析器将各所述任务中的目标任务解析为语法树，判断所述语法树的层次是否大于预设层次；

若大于，则将所述目标任务作为具有异常的任务。

进一步地，所述检测模块，还用于：

基于各所述依赖关系依次收集各所述任务的任务属性，并依次遍历各所述任务属性，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息，并检测所述关键信息是否符合预设要求；

若不符合，则将当前遍历的任务属性对应的任务作为具有异常的任务，直至各所述任务属性遍历完成。

进一步地，所述检测模块，还用于：

对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性对应的多个分词，并在各所述分词中检测是否存在分词为名词；

若存在，则增加所述名词对应的权重，按照所述各所述分词对应的权重的大小获取预设数量的目标权重，并将各所述目标权重对应的分词作为当前遍历的任务属性的关键信息。

进一步地，所述确定模块，还用于：

对调度平台中的多个任务进行分析，以获取各所述任务分别与所述调度平台中的多个表之间的表级血缘关系；

按照预设形式拆解各所述表级血缘关系，以确定各所述任务分别与所述调度平台中多个表之间的关联关系。

上述各程序模块所执行的方法可参照本发明异常任务检测方法各个实施例，此处不再赘述。

本发明还提供一种计算机存储介质。

本发明计算机存储介质上存储有异常任务检测程序，所述异常任务检测程序被处理器执行时实现如上所述的异常任务检测方法的步骤。

其中，在所述处理器上运行的异常任务检测程序被执行时所实现的方法可参照本发明异常任务检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种异常任务检测方法，其特征在于，所述异常任务检测方法包括如下步骤：

对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

若存在，则将具有异常的所述任务作为异常任务。

2.如权利要求1所述的异常任务检测方法，其特征在于，所述基于各所述依赖关系对各所述任务进行检测的步骤，包括：

基于各所述依赖关系计算各所述任务对应的强连通分量，并基于所述强连通分量检测各所述任务中是否存在闭环任务；

若存在闭环任务，则将所述闭环任务作为具有异常的任务。

3.如权利要求1所述的异常任务检测方法，其特征在于，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

获取所述调度平台对应的任务配置信息表中预设的配置依赖关系；

依次遍历各所述任务，基于各所述依赖关系确定当前遍历的所述任务的当前依赖关系，并将所述当前依赖关系和所述配置依赖关系进行匹配；

若不匹配，则将当前遍历的所述任务作为具有异常的任务，直至各所述任务遍历完成。

4.如权利要求1所述的异常任务检测方法，其特征在于，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

基于各所述依赖关系依次检测各所述任务，并通过语法解析器将各所述任务中的目标任务解析为语法树，判断所述语法树的层次是否大于预设层次；

若大于，则将所述目标任务作为具有异常的任务。

5.如权利要求1所述的异常任务检测方法，其特征在于，所述基于各所述依赖关系对各所述任务进行检测的步骤，还包括：

基于各所述依赖关系依次收集各所述任务的任务属性，并依次遍历各所述任务属性，对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息，并检测所述关键信息是否符合预设要求；

若不符合，则将当前遍历的任务属性对应的任务作为具有异常的任务，直至各所述任务属性遍历完成。

6.如权利要求5所述的异常任务检测方法，其特征在于，所述对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性的关键信息的步骤，包括：

对当前遍历的任务属性进行权重分词，以获取当前遍历的任务属性对应的多个分词，并在各所述分词中检测是否存在分词为名词；

若存在，则增加所述名词对应的权重，按照所述各所述分词对应的权重的大小获取预设数量的目标权重，并将各所述目标权重对应的分词作为当前遍历的任务属性的关键信息。

7.如权利要求1-6任一项所述的异常任务检测方法，其特征在于，所述对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系的步骤，包括：

对调度平台中的多个任务进行分析，以获取各所述任务分别与所述调度平台中的多个表之间的表级血缘关系；

按照预设形式拆解各所述表级血缘关系，以确定各所述任务分别与所述调度平台中多个表之间的关联关系。

8.一种异常任务检测装置，其特征在于，所述异常任务检测装置包括：

确定模块，用于对调度平台中的多个任务进行分析，以确定各所述任务分别与所述调度平台中多个表之间的关联关系；

检测模块，用于基于各所述关联关系确定各所述任务之间的依赖关系，并基于各所述依赖关系对各所述任务进行检测，以确定在各所述任务中是否存在具有异常的任务；

存在模块，用于若存在，则将具有异常的所述任务作为异常任务。

9.一种异常任务检测设备，其特征在于，所述异常任务检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常任务检测程序，所述异常任务检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的异常任务检测方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有异常任务检测程序，所述异常任务检测程序被处理器执行时实现如权利要求1至7中任一项所述的异常任务检测方法的步骤。