CN115408195A - 一种异构平台的批量任务管理方法、设备和存储介质 - Google Patents

Abstract

本发明公开了一种异构平台的批量任务管理方法、设备和存储介质。获取各异构平台的批量任务文件，其中，批量任务文件中包含批量作业的直接依赖关系和直接触发关系；根据批量任务文件创建拓扑关系图，其中，拓扑关系图包括系统拓扑关系图和批量作业拓扑关系图；确定当前批量作业，并根据拓扑关系图确定当前批量作业的影响状况。通过各异构平台的批量任务文件创建出拓扑关系图，建立批量作业以及所关联系统的依赖触发关系，并根据拓扑关系图快速确定出当前批量作业的影响状况，从而减少了批量作业故障带来的风险，提高了批量作业故障的排查效率。

Description

一种异构平台的批量任务管理方法、设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种异构平台的批量任务管理方法、设备和存储介质。

背景技术

随着计算机技术的发展，金融领域的业务模式快速生长，应用系统体量在逐渐增大，批量任务也在逐渐增多，批量任务之间的依赖关系也变得愈加复杂。

当前批量作业任务分别分布在不同的系统平台上，但不同系统平台上的批量任务依赖触发关系相互独立，各自维护在各自平台，在发生批量问题时，需要投入大量人力跨平台梳理批量任务之间的依赖触发关系。由于受限于不同系统平台技术栈限制，无法及时分析出批量故障影响，从而增加了批量作业故障带来的风险，降低了批量作业故障的排查效率。

发明内容

本发明提供了一种异构平台的批量任务管理方法、设备和存储介质，以实现对异构平台的批量任务的有效管理。

根据本发明的第一方面，提供了一种异构平台的批量任务管理方法，包括：获取各异构平台的批量任务文件，其中，所述批量任务文件中包含批量作业的直接依赖关系和直接触发关系；

根据所述批量任务文件创建拓扑关系图，其中，所述拓扑关系图包括系统拓扑关系图和批量作业拓扑关系图；

确定当前批量作业，并根据所述拓扑关系图确定当前批量作业的影响状况。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。

本发明实施例的技术方案，通过各异构平台的批量任务文件创建出拓扑关系图，建立批量作业以及所关联系统的依赖触发关系，并根据拓扑关系图快速确定出当前批量作业的影响状况，从而减少了批量作业故障带来的风险，提高了批量作业故障的排查效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种异构平台的批量任务管理方法流程图；

图2是根据本发明实施例一提供的另一种异构平台的批量任务管理方法流程图；

图3A是根据本发明实施例一提供的系统拓扑关系图；

图3B是根据本发明实施例一提供的批量作业拓扑关系图；

图4是根据本发明实施例二提供的一种异构平台的批量任务管理方法流程图；

图5是根据本发明实施例三提供的一种异构平台的批量任务管理装置结构示意图；

图6是实现本发明实施例四提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种异构平台的批量任务管理方法流程图，本实施例可适用于对异构平台的批量任务进行管理的情况，该方法可以由异构平台的批量任务管理装置来执行，该装置可以采用硬件和/或软件的形式实现。如图1所示，该方法包括：

步骤S101，获取各异构平台的批量任务文件。

可选的，获取各异构平台的批量任务文件，包括：获取各异构平台按照指定格式发送的批量任务文件，其中，指定格式包括系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称和下游作业名称；将上游系统名称和上游作业名称作为直接依赖关系，将下游系统名称和下游作业名称作为直接触发关系。

具体的说，本实施方式的终端设备会获取各异构平台按照指定格式发送的批量任务文件，并且批量任务作业的扩展名具体可以为“.FILE”，为增量或存量的批处理直接依赖关系或直接触发关系，在该文件中包含超时时间，而超时时间具体用于后续预警分析。指定格式包括系统名称_作业名称_上游系统名称_上游作业名称_下游系统名称_下游作业名称例如，Sys006_Job02_Sys002_Job004_Sys003_Job004.FILE，表示系统Sys006中的批量作业Job02，依赖于系统Sys002中的批量作业Job004，同时触发系统Sys003中的批量作业Job004，即同时包含直接依赖关系和直接触发关系；例如，Sys006_Job02_Sys002_Job004_Sys006_Job02.FILE，由于“系统名称_作业名称”与“下游系统名称_下游作业名称”相同，则表示只有直接依赖；例如，Sys006_Job02_Sys006_Job02_Sys003_Job004.FILE，由于“系统名称_作业名称”与“上游系统名称_上游作业名称”相同，则表示只有直接触发；例如，Sys006_Job02_Sys006_Job02_Sys006_Job02.FILE，由于“系统名称_作业名称”与“下游系统名称_下游作业名称”以及“上游系统名称_上游作业名称”都相同，因此表示既没有直接依赖，也没有直接触发。当然，本实施方式中仅是举例说明，而并对批量任务文件的具体形式进行限定。

其中，批量任务文件具体是在批处理关系首次生成时，由异构平台独自生成的，并将数据文件存存储于文件服务器、NAS盘、对象存储等共享资源中，而终端设备具体是通过读取共享资源获取各异构平台的批量任务文件的。

需要说明的是，各异构平台在批量流程设计时具体细粒度到批处理级别，为作业开辟直接依赖(Father Job)、直接触发(Son Job)输入区域，随批量版本配置直接依赖触发关系，每个系统批量流程设计完成后，在流程上线时由各异构平台，例如批处理调度平台自动生成包含直接依赖关系和直接触发关系的批量任务文件。

步骤S102，根据批量任务文件创建拓扑关系图。

其中，如图2所示为本实施方式中另一种异构平台的批量任务管理方法的流程图，只要对步骤S102进行具体说明，包括：

步骤S1021，根据批量任务文件获取关系汇总表、依赖信息表和触发信息表。

可选的，根据批量任务文件获取关系汇总表、依赖信息表和触发信息表，包括：获取与批量任务文件所匹配的批量任务达成状态文件，其中，批量任务达成状态文件中包含批量任务状态；提取各批量任务文件中的超时时间；根据系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称、下游作业名称、超时时间和达成状态文件获取关系汇总表；根据系统名称、作业名称、上游系统名称和上游作业名称获取依赖信息表；根据系统名称、作业名称、下游系统名称、下游作业名称获取触发信息表。

需要说明的是，本实施方式中终端设备还会获取与批量作业所匹配的批量任务达成状态文件，批量任务达成状态文件的扩展名可以为“.FILE.OK”为批处理直接依赖或直接触发关系达成标记，例如，Sys006_Job02_Sys002_Job004_Sys003_Job004.FILE.OK，该文件内置批处理开始执行时间、结束执行时间，中间用“||”分割，如2022-03-0413:24:25||2022-03-0413:40:10，当然，本实施方式中仅是举例说明，而并不对开始执行时间会结束执行时间的具体格式进行限定。因此在批量任务达成状态文件中包含批量任务状态，当确定未接收到批量任务文件所匹配的批量任务达成状态文件，则确定批量任务发生故障。

其中，本实施方式中会根据批量任务文件获取关系汇总表、依赖信息表和触发信息表，具体是提取各批量任务文件中的超时时间，并根据系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称、下游作业名称、超时时间和达成状态文件获取关系汇总表，如下表1所示为关系汇总表的示例：

表1

其中，由于篇幅限制，本实施方式中仅是对表1进行举例说明，而并不对关系汇总表的具体内容进行限定。

具体的说，在逐个遍历批量任务文件创建出关系汇总表之后，则仅需要根据Col1至Col6判断依赖触发情况，并根据依赖触发情况创建依赖信息表或触发信息表。例如，当满足Col1＝Col3＝Col5、Col2＝Col4＝Col6时，代表无依赖、无触发，插入批处理信息至触发信息表；当满足Col1＝Col3&&Col2<>Col4、Col1<>Col3&&Col2<>Col4、Col1<>Col3&&Col2＝Col4任一组合条件时,代表有依赖，无触发，插入批处理信息和至依赖信息表，内含“业务系统”、“作业名称”、“上游业务系统”、“上游作业名称”、“生成时间”等关键字段；当满足Col1＝Col5&&Col2<>Col6、Col1<>Col5&&Col2<>Col6、Col1<>Col5&&Col2＝Col6任一组合条件时,代表无依赖，有触发，插入批处理信息触发信息表，内含“业务系统”、“作业名称”、“下游业务系统”、“下游作业名称”、“生成时间”等关键字段；当不满足上述条件时，代表既有依赖又有触发，则分别插入依赖信息表和触发信息表，以相邻两对批处理即是依赖关系对也是触发关系对，对依赖信息表和触发信息表进行数据互补(如：A->B，A触发B，即为B依赖A)，原则上两个表中的数据量相等。其中，上述符号“&&”代表并且，“<>”代表不相等。

如下表2所示为所获取的依赖信息表的示例：

表2

如下表3所示为所获取的触发信息表的示例：

表3

可选的，根据批量任务文件获取关系汇总表、依赖信息表和触发信息表之后，还包括：当确定接收到与批量任务文件所匹配的批量任务关系删除文件时，根据批量任务关系删除文件对依赖信息表进行修改获取修改后的依赖信息表；根据批量任务关系删除文件对触发信息表进行修改获取修改后的触发信息表。

具体的说，本实施方式中终端设备还会获取与批量任务文件所匹配的批量任务关系删除文件，批量任务达成状态文件的扩展名可以为“.FILE.DEL”，为存量批处理删除直接依赖或直接触发关系标记，该标记就绪时，与之配套的同名文件“.FILE”必须存在，否则无效，该文件中内置删除时间，例如，批量任务关系删除文件为Sys006_Job02_Sys002_Job004_Sys003_Job004.FILE.DEL，删除时间为：2022-03-0513:24:25。根据批量任务关系删除文件对依赖信息表进行修改获取修改后的依赖信息表，并且根据批量任务关系删除文件对触发信息表进行修改获取修改后的触发信息表。至此，修改后的依赖信息表和修改后的触发信息表中形成全新的静态数据。

步骤S1022，根据依赖信息表和触发信息表创建系统拓扑关系图和批量作业拓扑关系图。

可选的，根据依赖信息表和触发信息表创建系统拓扑关系图和批量作业拓扑关系图，包括：根据修改后的依赖信息表和修改后的触发信息表获取系统依赖链路、系统触发链路、批量作业依赖链路和批量作业触发链路；将系统依赖链路和系统触发链路相同的系统链路进行删除，获取剩余系统依赖链路和剩余系统触发链路；将批量作业依赖链路和批量作业触发链路相同的作业系统链路进行删除，获取剩余批量作业依赖链路和剩余批量作业触发链路；根据剩余系统依赖链路和剩余系统触发链路创建系统拓扑关系图，并根据剩余批量作业依赖链路和剩余批量作业触发链路创建批量作业拓扑关系图。

具体的说，本实施方式中在按业务系统提取系统之间的依赖触发关系时，基于修改后的依赖信息表中的数据做“业务系统”、“上游业务系统”数据提取及去重，以递归的方式计算出业务系统的上游业务系统。同理，基于修改后的触发信息表中的数据做“业务系统”、“下游业务系统”数据提取及去重，以递归的方式计算出业务系统的下游业务系统。最终提取业务系统依赖或触发的最长路径，作为批量拓扑的基准链路，在获得所有链路后，对依赖链路与触发链路相同的情况需要做去重处理，例如，依赖链路Sys002->Sys006->Sys004，Sys004依赖Sys006，Sys006依赖Sys002，与触发链路Sys002->Sys006->Sys004，Sys002触发Sys006，Sys006触发Sys004做去重处理，其中不同链路交叉的业务系统即为批量拓扑网络的交叉节点，以从上至下层级展示业务系统维度的批量拓扑网络图,同层级的业务系统节点按等比例间隔。即无直接依赖，也无直接触发的业务系统独立存在于批量拓扑网络中，作为孤岛节点存在，如图3A所示为所获取的系统拓扑关系图。

其中，在按作业提取作业之间的依赖触发关系时，基于修改后的依赖信息表中的数据做“业务系统”、“作业名称”、“上游业务系统”、“上游作业名称”数据提取，以递归的方式计算出直接依赖作业。同理，基于修改后的触发信息表中的数据做“业务系统”、“作业名称”“下游业务系统”、“下游作业名称”数据提取，计算出直接触发的作业。以递归的方式查询出作业最长依赖或触发的拓扑关系路径，作为批量拓扑的基准链路，在获得所有链路后，对依赖链路与触发链路相同的情况需要做去重处理，例如，依赖链路Job004->Job02->Job03->Job008，Job008依赖Job03，Job03依赖Job02，Job02依赖Job004，与触发链路Job004->Job02->Job03->Job008，Job004触发Job02，Job02触发Job03，Job03触发Job008做去重处理，并以从上至下层级展示作业维度的批量拓扑网络图，同层级的作业节点按等比例间隔。即无直接依赖，也无直接触发的批处理独立存在于批量拓扑网络中，作为孤岛节点存在。如图3B所示为所获取的批量作业拓扑关系图。

步骤S103，确定当前批量作业，并根据拓扑关系图确定当前批量作业的影响状况。

可选的，根据拓扑关系图确定当前批量作业的影响状况，包括：从关系汇总表中获取当前批量作业的批量任务状态；当确定批量任务状态为故障时，根据批量作业拓扑关系图确定当前批量作业所影响的指定批量作业；从系统拓扑关系图中确定与当前批量作业关联的当前系统，并根据当前系统确定当前批量作业所影响的指定系统。

可选的，根据批量作业拓扑关系图确定当前批量作业所影响的指定批量作业之后，还包括：获取当前批量作业的结束执行时间；根据结束执行时间对指定批量作业的执行时间进行预估。

具体的说，在确定出最近执行时刻的的当前批量作业后，从表1所示的关系汇总表中获取当前批量作业的批量任务状态，当确定批量任务状态为故障时，根据图3A所示的批量作业拓扑关系图中确定当前批量作业所影响的指定批量作业，例如在图3A中确定Job03为故障节点，则确定该节点所影响的指定批量作业为Job007、Job008和Job009，并且在确定出指定批量作业之后，还可以根据当前批量作业的故障维修时长，对指定批量作业的执行时间进行预判。例如，Job0310:00发生故障为，从发现问题到解决问题过了1个小时，那么基于过去30天Job007执行数据可以计算出Job07的最早开始时间＝故障解决时间或Min(30天内开始时间)、最晚结束时间＝Max(30天内结束时间)以及预计执行时长＝Sum(结束时间-开始时间)/30。当然，本实施方式中仅是以Job007进行举例说明，对于其它指定批量作业的执行时间预判方式与此大致相同，本实施方式中不再进行赘述。

需要说明的是，本实施方式中还可以从系统拓扑关系图中确定与当前批量作业关联的当前系统，并根据当前系统确定当前批量作业所影响的指定系统。例如，当前批量作业Job03关联的当前系统为Sys006，即Job03位于Sys006中，则从图3B中确定当前系统Sys006所影响的指定系统为Sys004和Sys005。从而本申请中可以从作业和系统不同角度确定出当前批量作业的具体影响状况，并且针对作业的角度还可以进行执行时间的预判，从而快速的进行故障定位，提高作业故障的排查效率，并全面的实现对异构平台批量任务的管理。

本发明实施例，通过各异构平台的批量任务文件创建出拓扑关系图，建立批量作业以及所关联系统的依赖触发关系，并根据拓扑关系图快速确定出当前批量作业的影响状况，从而减少了批量作业故障带来的风险，提高了批量作业故障的排查效率。

实施例二

图4为本发明实施例二提供的一种异构平台的批量任务管理方法流程图，本实施例在根据拓扑关系确定当前批量作业的影响状况之后，还包括对当前批量作业的影响状况进行校验。如图4所示，该方法包括：

步骤S201，获取各异构平台的批量任务文件。

可选的，获取各异构平台的批量任务文件，包括：获取各异构平台按照指定格式发送的批量任务文件，其中，指定格式包括系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称和下游作业名称；将上游系统名称和上游作业名称作为直接依赖关系，将下游系统名称和下游作业名称作为直接触发关系。

步骤S202，根据批量任务文件创建拓扑关系图。

可选的，根据批量任务文件获取关系汇总表、依赖信息表和触发信息表，包括：获取与批量任务文件所匹配的批量任务达成状态文件，其中，批量任务达成状态文件中包含批量任务状态；提取各批量任务文件中的超时时间；根据系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称、下游作业名称、超时时间和达成状态文件获取关系汇总表；根据系统名称、作业名称、上游系统名称和上游作业名称获取依赖信息表；根据系统名称、作业名称、下游系统名称、下游作业名称获取触发信息表。

可选的，根据批量任务文件获取关系汇总表、依赖信息表和触发信息表之后，还包括：当确定接收到与批量任务文件所匹配的批量任务关系删除文件时，根据批量任务关系删除文件对依赖信息表进行修改获取修改后的依赖信息表；根据批量任务关系删除文件对触发信息表进行修改获取修改后的触发信息表。

步骤S203，确定当前批量作业，并根据拓扑关系图确定当前批量作业的影响状况。

可选的，根据拓扑关系图确定当前批量作业的影响状况，包括：从关系汇总表中获取当前批量作业的批量任务状态；当确定批量任务状态为故障时，根据批量作业拓扑关系图确定当前批量作业所影响的指定批量作业；从系统拓扑关系图中确定与当前批量作业关联的当前系统，并根据当前系统确定当前批量作业所影响的指定系统。

步骤S204，对当前批量作业的影响状况进行校验。

具体的说，在确定出当前批量作业的影响状况之后，会对当前批量作业的影响状况进行校验，例如，获取当前批量作业所影响的指定批量作业后，根据实际情况判断指定批量作业是否与当前批量作业存在关联关系，若不存在则可以确定所获取的指定批量作业是无效的；另外，在对指定批量作业的执行时间进行预判后，判断指定批量作业的实际执行时间与预判时间的差值是否超过预设阈值，若是，则可以确定针对指定批量作业的执行时间预判是无效的。当然，本实施方式中仅是以指定批量作业和执行时间的预判情况进行校验，本实施方式中并不对影响状况的具体内容进行限定。

本发明实施例，通过各异构平台的批量任务文件创建出拓扑关系图，建立批量作业以及所关联系统的依赖触发关系，并根据拓扑关系图快速确定出当前批量作业的影响状况，从而减少了批量作业故障带来的风险，提高了批量作业故障的排查效率。通过对当前批量作业的影响状况进行校验，可以进一步保证故障排查的准确性。

实施例三

图5为本发明实施例三提供的一种异构平台的批量任务管理装置的结构示意图。如图5所示，该装置包括：批量任务文件获取模块310、拓扑关系图创建模块320和影响状况确定模块330。

其中，批量任务文件获取模块310，用于获取各异构平台的批量任务文件，其中，批量任务文件中包含批量作业的直接依赖关系和直接触发关系；

拓扑关系图创建模块320，用于根据批量任务文件创建拓扑关系图，其中，拓扑关系图包括系统拓扑关系图和批量作业拓扑关系图；

影响状况确定模块330，用于确定当前批量作业，并根据拓扑关系图确定当前批量作业的影响状况。

可选的，批量任务文件获取模块，用于获取各异构平台按照指定格式发送的批量任务文件，其中，指定格式包括系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称和下游作业名称；

将上游系统名称和上游作业名称作为直接依赖关系，将下游系统名称和下游作业名称作为直接触发关系。

可选的，拓扑关系图创建模块，包括：

信息表获取子模块，用于根据批量任务文件获取关系汇总表、依赖信息表和触发信息表；

拓扑关系图创建子模块，用于根据依赖信息表和触发信息表创建系统拓扑关系图和批量作业拓扑关系图。

可选的，信息表获取子模块，用于获取与批量任务文件所匹配的批量任务达成状态文件，其中，批量任务达成状态文件中包含批量任务状态；

提取各批量任务文件中的超时时间；

根据系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称、下游作业名称、超时时间和达成状态文件获取关系汇总表；

根据系统名称、作业名称、上游系统名称和上游作业名称获取依赖信息表；

根据系统名称、作业名称、下游系统名称、下游作业名称获取触发信息表。

可选的，装置还包括信息表更新模块，用于当确定接收到与批量任务文件所匹配的批量任务关系删除文件时，根据批量任务关系删除文件对依赖信息表进行修改获取修改后的依赖信息表；

根据批量任务关系删除文件对触发信息表进行修改获取修改后的触发信息表。

可选的，拓扑关系图创建子模块，用于根据修改后的依赖信息表和修改后的触发信息表获取系统依赖链路、系统触发链路、批量作业依赖链路和批量作业触发链路；

将系统依赖链路和系统触发链路相同的系统链路进行删除，获取剩余系统依赖链路和剩余系统触发链路；

将批量作业依赖链路和批量作业触发链路相同的作业系统链路进行删除，获取剩余批量作业依赖链路和剩余批量作业触发链路；

根据剩余系统依赖链路和剩余系统触发链路创建系统拓扑关系图，并根据剩余批量作业依赖链路和剩余批量作业触发链路创建批量作业拓扑关系图。

可选的，影响状况确定模块，用于从关系汇总表中获取当前批量作业的批量任务状态；

当确定批量任务状态为故障时，根据批量作业拓扑关系图确定当前批量作业所影响的指定批量作业；

从系统拓扑关系图中确定与当前批量作业关联的当前系统，并根据当前系统确定当前批量作业所影响的指定系统。

可选的，装置还包括预估模块，用于获取当前批量作业的结束执行时间；

根据结束执行时间对指定批量作业的执行时间进行预估。

本发明实施例所提供的异构平台的批量任务管理装置可执行本发明任意实施例所提供的异构平台的批量任务管理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如异构平台的批量任务管理方法。

在一些实施例中，异构平台的批量任务管理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的异构平台的批量任务管理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行异构平台的批量任务管理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种异构平台的批量任务管理方法，其特征在于，包括：

获取各异构平台的批量任务文件，其中，所述批量任务文件中包含批量作业的直接依赖关系和直接触发关系；

根据所述批量任务文件创建拓扑关系图，其中，所述拓扑关系图包括系统拓扑关系图和批量作业拓扑关系图；

确定当前批量作业，并根据所述拓扑关系图确定当前批量作业的影响状况。

2.根据权利要求1所述的方法，其特征在于，所述获取各异构平台的批量任务文件，包括：

获取各异构平台按照指定格式发送的所述批量任务文件，其中，所述指定格式包括系统名称、作业名称、上游系统名称、上游作业名称、下游系统名称和下游作业名称；

将所述上游系统名称和所述上游作业名称作为所述直接依赖关系，将所述下游系统名称和所述下游作业名称作为所述直接触发关系。

3.根据权利要求1所述的方法，其特征在于，所述根据所述批量任务文件创建拓扑关系图，包括：

根据所述批量任务文件获取关系汇总表、依赖信息表和触发信息表；

根据所述依赖信息表和所述触发信息表创建所述系统拓扑关系图和所述批量作业拓扑关系图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述批量任务文件获取关系汇总表、依赖信息表和触发信息表，包括：

获取与所述批量任务文件所匹配的批量任务达成状态文件，其中，所述批量任务达成状态文件中包含批量任务状态；

提取各所述批量任务文件中的超时时间；

根据所述系统名称、所述作业名称、所述上游系统名称、所述上游作业名称、所述下游系统名称、所述下游作业名称、所述超时时间和所述达成状态文件获取所述关系汇总表；

根据所述系统名称、所述作业名称、所述上游系统名称和所述上游作业名称获取所述依赖信息表；

根据所述系统名称、所述作业名称、所述下游系统名称、所述下游作业名称获取所述触发信息表。

5.根据权利要求3所述的方法，其特征在于，所述根据所述批量任务文件获取关系汇总表、依赖信息表和触发信息表之后，还包括：

当确定接收到与所述批量任务文件所匹配的批量任务关系删除文件时，根据所述批量任务关系删除文件对所述依赖信息表进行修改获取修改后的依赖信息表；

根据所述批量任务关系删除文件对所述触发信息表进行修改获取修改后的触发信息表。

6.根据权利要求5所述的方法，其特征在于，所述根据所述依赖信息表和所述触发信息表创建所述系统拓扑关系图和批量作业拓扑关系图，包括：

根据所述修改后的依赖信息表和所述修改后的触发信息表获取系统依赖链路、系统触发链路、批量作业依赖链路和批量作业触发链路；

将所述系统依赖链路和所述系统触发链路相同的系统链路进行删除，获取剩余系统依赖链路和剩余系统触发链路；

将所述批量作业依赖链路和所述批量作业触发链路相同的作业系统链路进行删除，获取剩余批量作业依赖链路和剩余批量作业触发链路；

根据所述剩余系统依赖链路和所述剩余系统触发链路创建所述系统拓扑关系图，并根据所述剩余批量作业依赖链路和所述剩余批量作业触发链路创建所述批量作业拓扑关系图。

7.根据权利要求4所述的方法，其特征在于，所述根据所述拓扑关系图确定当前批量作业的影响状况，包括：

从所述关系汇总表中获取所述当前批量作业的批量任务状态；

当确定所述批量任务状态为故障时，根据所述批量作业拓扑关系图确定当前批量作业所影响的指定批量作业；

从所述系统拓扑关系图中确定与所述当前批量作业关联的当前系统，并根据所述当前系统确定当前批量作业所影响的指定系统。

8.根据权利要求7所述的方法，其特征在于，所述根据所述批量作业拓扑关系图确定当前批量作业所影响的指定批量作业之后，还包括：

获取所述当前批量作业的结束执行时间；

根据所述结束执行时间对所述指定批量作业的执行时间进行预估。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。

Images