CN111427748B

CN111427748B - 任务告警方法、系统、设备及存储介质

Info

Publication number: CN111427748B
Application number: CN202010244192.6A
Authority: CN
Inventors: 毛佳稀; 叶炅; 郑浩华; 吉聪睿
Original assignee: Ctrip Computer Technology Shanghai Co Ltd
Current assignee: Ctrip Computer Technology Shanghai Co Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2023-06-23
Anticipated expiration: 2040-03-31
Also published as: CN111427748A

Abstract

本发明提供了一种任务告警方法、系统、设备及存储介质，该方法包括：从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；根据所述基线任务的任务截止时间确定依赖任务的截止时间；根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。本发明从数据库中采集Zeus系统的元数据后定制基线，并建立任务的依赖关系和确定各个任务的截止时间，并根据截止时间确定任务的告警状态，从而实现基线管理项目任务的目标，为管理大量任务提供便利，并在任务执行时间异常时及时告警。

Description

任务告警方法、系统、设备及存储介质

技术领域

本发明涉及任务管理技术领域，尤其涉及一种任务告警方法、系统、设备及存储介质。

背景技术

Zeus(宙斯)是一种开源的分布式Hadoop(由Apache基金会所开发的分布式系统基础架构)作业调度平台，支持多机器的水平扩展。Zeus是一款完全分布式的调度系统，支持多机器的水平扩展，一台机器为一个节点，实现任务的分布式调度。目前支持的任务类型主要由hive脚本和shell脚本。

目前酒店数据团队90％以上的任务都是通过在Zeus系统上部署Hive或Shell脚本来完成。Zeus系统提供了对于单独每个任务的监控管理机制，但是其没有一个工作流或者项目的概念存在，而实际应用中每个项目可能拥有着成百上千个任务组成，这对于管理整个项目带来了不便。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种任务告警方法、系统、设备及存储介质，基于Zeus元数据定制基线，实现基线管理项目任务的目标，为管理大量任务提供便利。

本发明实施例提供一种任务告警方法，包括如下步骤：

从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；

从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；

根据所述基线任务的任务截止时间确定依赖任务的截止时间；

根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。

可选地，所述从数据库中采集Zeus系统中的基线任务描述数据之后，还包括根据所述基线任务描述数据确定所述基线任务对应的项目。

可选地，所述确定基线任务的依赖任务，建立任务依赖关系表，包括如下步骤：

从数据库中采集Zeus系统中的任务信息表，提取依赖任务信息；

分割所述依赖任务信息中单个依赖任务的信息，确定各个依赖任务；

从数据库中采集Zeus系统中的调度日志，确定依赖任务与基线任务的关联关系；

将依赖任务与基线任务关联，以基线任务为叶子节点逐层递归生成层级父子关系表，作为任务依赖关系表。

可选地，所述分割所述依赖任务信息中单个依赖任务的信息，包括如下步骤：

计算依赖任务信息的字段长度len1与依赖任务信息的值中逗号替换为空后的字段长度len2的差值n，作为所述依赖任务信息中逗号的个数，所述依赖任务信息中包括的依赖信息的数量为n+1；

将差值n关联一张自然数序列表，得到对应的父节点任务个数的行数；

根据每行数据的自然数序列值定位取依赖任务信息中对应的第i个逗号分隔符和i-1个逗号分隔符中的依赖任务ID，i∈(1，n)。

可选地，根据所述基线任务的任务截止时间确定依赖任务的截止时间，包括如下步骤：

从数据库中采集Zeus系统中的所述基线任务和所述依赖任务的历史执行数据；

根据所述历史执行数据计算所述基线任务和所述依赖任务的平均执行时长；

以所述基线任务的截止时间为基点，逐层计算每个父节点的截止时间。

可选地，所述逐层计算每个父节点的截止时间之后，还包括如下步骤：

以所述基线任务的截止时间为基点，逐层计算每个父节点的最晚开始时间；

根据执行中的依赖任务的最晚开始时间确定任务的告警状态。

可选地，所述根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态之后，还包括如下步骤：

根据各个任务的告警状态对各个任务进行不同的颜色标记，生成告警视图；

将所述告警视图推送至用户终端。

本发明实施例还提供一种任务告警系统，用于实现所述的任务告警方法，所述系统包括：

基线管理模块，用于从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；

关系管理模块，用于从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；

时间管理模块，用于根据所述基线任务的任务截止时间确定依赖任务的截止时间；

任务告警模块，用于根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。

本发明实施例还提供一种任务告警设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的任务告警方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的任务告警方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明从数据库中采集Zeus系统的元数据，基于Zeus元数据定制基线，并建立依赖任务和基线任务的依赖关系，根据依赖关系确定各个任务的截止时间，并根据截止时间确定任务的告警状态，从而实现基线管理项目任务的目标，为管理大量任务提供便利，并在任务执行时间异常时及时告警，保障项目中各个任务的正常执行。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的任务告警方法的流程图；

图2是本发明一实施例的依赖关系表的示意图；

图3是本发明一实施例的计算任务截止时间的示意图；

图4是本发明一具体实例的任务告警方法的流程图；

图5是本发明一实施例的任务告警系统的结构示意图；

图6是本发明一实施例的任务告警设备的结构示意图；

图7是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，本发明实施例提供一种任务告警方法，包括如下步骤：

S100：从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；

S200：从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；

S300：根据所述基线任务的任务截止时间确定依赖任务的截止时间；

S400：根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。

本发明的任务告警方法首先通过步骤S100从数据库中采集Zeus系统的元数据，基于Zeus元数据定制基线，并通过步骤S200建立依赖任务和基线任务的依赖关系，通过步骤S300根据依赖关系确定各个任务的截止时间，并通过步骤S400根据截止时间确定任务的告警状态，从而实现基线管理项目任务的目标，为管理大量任务提供便利，并在任务执行时间异常时及时告警，保障项目中各个任务的正常执行。

在该实施例中，所述从数据库中采集Zeus系统中的基线任务描述数据之后，还包括根据所述基线任务描述数据确定所述基线任务对应的项目，从而将基线任务归到具体的项目中去，以项目为单位来管理各个任务。

具体地，所述步骤S100中，采集基线任务描述数据可以采用SQL语句在数据库(如MySQL)中查询获取。例如，由于XXXX项目庞大涉及到几十张表的产出结果，因此在基线设定时，也划分了多条基线(即对应不同的任务截止时间)。在Zeus Job的描述栏中填入信息：prj＝XXXX&must_end＝HH:mi这样格式的信息。从这个信息中我们能获知任务属于XXXX项目并且截止时间为HH:mi的基线。

如图2所示，为一个采用基线来管理任务的示意图。定制一条基线需要的信息包括：基线名称(例如可以项目命名)，责任人(每个基线都需要一名或若干人员维护，一般就是项目的开发和产品)，基线类型(分为小时和天，决定了基线是按什么频率来进行检测)，任务节点(即为Job任务，一般项目最终产出结果的任务)，截止时间(项目结果需要产出的时间，根据各自需求设定)，预计时间(根据历史完成情况统计出的平均产出时间)。这样一条完成的项目基线就已经定制完成。因此，步骤S100中获取到的基线任务信息即为项目最终产出结果的任务的相关信息。

定义了基线之后，还需要计算基线的监控范围。基线是由单个或者多个任务节点组成的，一条基线的监控范围除了其本身的基线任务节点外，还要包含其上游的各个依赖节点。一个任务的下游任务中有被纳入基线的节点，则将该任务定义为基线任务的依赖任务，那么这个任务的延迟或者报错都属于基线监控的范围，会被捕捉到而后报警通知。

在该实施例中，所述步骤S200：确定基线任务的依赖任务，建立任务依赖关系表，包括如下步骤：

从数据库中采集Zeus系统中的调度日志，确定依赖任务与基线任务的关联关系；此处调度日志可以是当日调度日志；

例如图2中示出的任务依赖关系表中，确定任务5和任务6两个任务节点为基线A的基线任务，则基线的预警范围包括任务1、任务2、任务3、任务5、任务6，但是不包括任务4、任务7、任务8，即基线预警会追溯基线任务的上游任务节点，但不会被下游任务节点继承。

在该实施例中，所述分割所述依赖任务信息中单个依赖任务的信息，包括如下步骤：

在一具体实例中，所述分割所述依赖任务信息中单个依赖任务的信息包括如下步骤：在任务信息表中提取有效基线任务的依赖任务，其值为一组逗号分隔的任务ID。由于MySql没有split()函数可用，所以为了行转列生成父子关系表，使用了特殊的SQL语句。先计算依赖任务的字段长度为len1与其值中的逗号替换为空后的长度len2的差值。根据长度差能获得逗号的个数n＝(len1-len2)代表有n+1个依赖任务(即父节点)，再以此值关联一张自然数序列表(1，2...N)便能产生对应的父节点任务个数的行数。最后按每行数据的自然数序列值来定位取依赖任务字段中对应的第N个逗号分割符和N-1个逗号分割符中的任务ID。使各依赖任务之间的依赖关系平铺展开。形成1：N的父子关系表。然后关联步骤S100中得到的基线任务ID，以基线任务ID为叶子结点逐层递归生成层级父子关系表。其中基线任务的层级为0，向上递增1，2...N直到依赖任务字段为空，代表顶层根节点级别的任务，递归结束。

在该实施例中，所述步骤S300：根据所述基线任务的任务截止时间确定依赖任务的截止时间，包括如下步骤：

根据所述历史执行数据计算所述基线任务和所述依赖任务的平均执行时长；此处历史执行数据可以从Zeus系统中历史调度日志获取；如果一个依赖任务是新任务，没有历史执行数据，则可以将其平均执行时长设为默认执行时长，例如30分钟；

以所述基线任务的截止时间为基点，逐层计算每个父节点的截止时间，对于同一个任务节点，如果按照不同基线计算得到的截止时间不同，则以截止时间早的为准。即由于父节点会存在多个子节点，可能被多次计算到，每次计算完与现存的最晚开始时间做比较，取最早的值。

在该实施例中，所述逐层计算每个父节点的截止时间之后，还包括如下步骤：

以图3为例，两条基线A和B的截止时间分别为6:00和4:00。基线A中任务3和任务4属于同一层级，其共同上游任务2的截止时间为：

基线A时间6：00-任务3与任务4中最长的平均执行时间(60min)＝5:00；

任务2的最晚开始时间为：

基线A时间6：00-任务3与任务4中最长的平均执行时间(60min)-任务2执行时间(30min)＝4:30。

再倒推任务1的截止时间和最晚开始时间。由于任务1下游还有基线B，所以计算任务1的截止时间和最晚开始时间要兼容A，B两条基线。基线A的任务1最晚开始时间＝任务2最晚开始时间4:30-任务1平均执行时长(30min)＝4:00，基线B的任务1最晚开始时间＝基线B截止时间4:00-任务5平均执行时长(30min)-任务1平均执行时长(30min)＝3:00。取两者最小值则任务1的最晚开始时间为3:00。任务1的截止时间为3:00+任务1平均执行时长(30min)＝3:30。

在该实施例中，所述步骤S400：根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态之后，还包括如下步骤：

根据各个任务的告警状态对各个任务进行不同的颜色标记，生成告警视图；将所述告警视图推送至用户终端，用户可以在用户终端上很直观地看到每个任务的不同告警状态，及时处理。

具体地，如图4所示，任务父子关系和平均执行时长计算完毕后，以此样本数据与当前任务执行情况比较。由于当前执行情况是实时变化的状态，各个任务状态一直会更新。该实施例中，使用视图来完成比较逻辑，用户查询视图就能获得最新的比较结果。以此结果做为基线预警的依据，同时针对任务执行的不同状态做分级预警。任务失败或者延迟1小时以上的为红色预警，延迟半小时的为橙色预警，任务还在执行中且离截止时间还有半小时余量的为黄色预警，任务还在执行中且离截止时间还有1小时余量的为蓝色不做预警，正常成功执行的任务为黑色。

然后，将视图信息以html格式写入文件中，利用sendEmail邮件代理程序发送给基线相应的负责人。在整个流程任务数量很大的情况下，邮件内容可以仅包含了红色和橙色预警，此类延迟或者报错任务也是需要负责人及时知晓且介入干预的。其余颜色流程代表正常状态暂不予发送。

因此，本发明解决了Zeus系统中的项目监控管理的难题，方便各项目责任人根据自身需求制定不同的基线管理，从而便捷、直观地掌控整个项目的进程，这种自动化的基线管理方案的应用显著的降低了管理项目的费力度。

如图5所示，本发明实施例还提供一种任务告警系统，用于实现所述的任务告警方法，所述系统包括：

基线管理模块M100，用于从数据库中采集Zeus系统中的基线任务描述数据，确定基线任务和对应的截止时间；

关系管理模块M200，用于从数据库中采集Zeus系统中的任务信息表，确定基线任务的依赖任务，建立任务依赖关系表；

时间管理模块M300，用于根据所述基线任务的任务截止时间确定依赖任务的截止时间；

任务告警模块M400，用于根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态。

本发明的任务告警系统首先通过基线管理模块M100从数据库中采集Zeus系统的元数据，基于Zeus元数据定制基线，并通过关系管理模块M200建立依赖任务和基线任务的依赖关系，通过时间管理模块M300根据依赖关系确定各个任务的截止时间，并通过任务告警模块M400根据截止时间确定任务的告警状态，从而实现基线管理项目任务的目标，为管理大量任务提供便利，并在任务执行时间异常时及时告警，保障项目中各个任务的正常执行。

本发明实施例还提供一种任务告警设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的任务告警方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述任务告警方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的任务告警方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述任务告警方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种任务告警方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的任务告警方法，其特征在于，所述从数据库中采集Zeus系统中的基线任务描述数据之后，还包括根据所述基线任务描述数据确定所述基线任务对应的项目。

3.根据权利要求1所述的任务告警方法，其特征在于，所述确定基线任务的依赖任务，建立任务依赖关系表，包括如下步骤：

4.根据权利要求3所述的任务告警方法，其特征在于，所述分割所述依赖任务信息中单个依赖任务的信息，包括如下步骤：

根据每行数据的自然数序列值定位取依赖任务信息中对应的第i个逗号分隔符和i-1个逗号分隔符中的依赖任务ID，i∈（1，n）。

5.根据权利要求3所述的任务告警方法，其特征在于，根据所述基线任务的任务截止时间确定依赖任务的截止时间，包括如下步骤：

6.根据权利要求5所述的任务告警方法，其特征在于，所述逐层计算每个父节点的截止时间之后，还包括如下步骤：

7.根据权利要求1所述的任务告警方法，其特征在于，所述根据执行中的基线任务和依赖任务的截止时间确定任务的告警状态之后，还包括如下步骤：

将所述告警视图推送至用户终端。

8.一种任务告警系统，用于实现权利要求1至6中任一项所述的任务告警方法，其特征在于，所述系统包括：

9.一种任务告警设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任一项所述的任务告警方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至6中任一项所述的任务告警方法的步骤。