CN101110041A - 组任务管理的方法 - Google Patents

Abstract

组任务管理的方法，采用运行在UNIX操作系统环境下的守护进程的组任务管理GTM组件，通过定时扫描配置信息运行参数表去执行满足执行条件的工作，工作由一个或多个任务组成，每个任务都是一个独立的逻辑单元，当所有任务都执行完毕，工作才完成，组件对工作中任务的执行顺序做预先的定义；组件执行过程将严格按照任务执行路由进行，每项工作只有一个任务路由，每个任务路由是由多条任务路径构成，任务的执行顺序是串行或串/并行混合：任务串行执行的步骤是：只有当任务Ti执行完成后才能执行Ti+1；当最后一个Ti+1执行完成后才能执行结束步骤TE；当TE被执行时，该工作被执行完成，i是自然数。

Description

组任务管理的方法

技术领域

本发明涉及计算机操作系统任务管理的方法，特别是一种组任务管理(GTM)的方法及根据此制成的组件。

背景技术

组任务管理组件是运行在UNIX操作系统环境下的守护进程。类似于unix下crontab进程，通过定时扫描配置信息运行参数表去执行满足执行条件的工作。工作是由一个或多个任务组成，每个任务都是一个独立的逻辑单元，当所有任务都执行完毕，工作才算做完。组件对工作中任务的执行顺序做预先的定义；组件执行过程将严格按照任务执行线路(路由)进行。每项工作只有一个任务路由，每个任务路由是由多条任务路径构成。在unix下通过crontab可以配置多个任务，但这些任务都是互不影响的。

发明内容

本发明目的是：针对现有技术中的不足，本发明提出了一种组任务管理(GTM)的方法和组件，每个任务路由是由多条任务路径构成，在unix下通过crontab可以配置多个任务，可以串行、串/并行混合执行任务。

本发明的技术方案是：组任务管理GTM的方法，运行在UNIX操作系统环境下的守护进程，通过定时扫描配置信息运行参数表去执行满足执行条件的工作，工作由一个或多个任务组成，每个任务都是一个独立的逻辑单元，当所有任务都执行完毕，工作才完成，组件对工作中任务的执行顺序做预先的定义；组件执行过程将严格按照任务执行路由进行，每项工作只有一个任务路由，每个任务路由是由多条任务路径构成。任务的执行顺序是串行或串/并行混合：

任务串行执行的步骤是：只有当任务Ti执行完成后才能执行Ti+1；当最后一个Ti+1执行完成后才能执行结束步骤TE；当TE被执行时，该工作被执行完成，i是自然数；

任务混合执行的步骤是：只有当所有并行任务执行完成后才能执行下一任务，以此类推，前面并行任务执行完成后，才能以串行方式执行后面的任务，直到所有任务完成，再执行TE，当TE被执行时，该工作被执行完成。

当发生超时运行或错误的工作时本组件进行告警；告警的方式是短信或邮件。短信告警设置允许告警开始和结束时间；发送告警短信的间隔时间可控。

本发明的效果是：与现有技术相比，本方法及构成的组件可以进行串行、串/并行混合执行任务。

附图说明

图1是工作串行执行任务路由图

图2是工作串/并行混合执行任务路由图

图3是任务结点的状态转化图

图4是组任务管理GTM组件结构图

具体实施方式

下面结合附图与具体实施方式对本发明作进一步说明。

1、串行执行。在unix下通过crontab可以配置多个任务，但这些任务都是互不影响的，组任务管理(GTM)组件可以通过配置任务执行的顺序将多个任务以链表的方式串行执行，且后一个任务的执行必须建立在前一个任务执行成功的基础上。

2、混合执行。在unix下通过crontab可以配置多个任务，但这些任务都是互不影响的，组任务管理(GTM)组件可以通过配置任务执行的顺序将多个任务以串并混合的方式执行，即可以在成功执行完一个任务的基础上并发执行多个任务，等待多任务完成后继续执行某一个单独的任务的串并型多任务混合处理机制.且后一个任务的执行必须建立在前一个或多个任务执行成功的基础上.

3、告警。通过告警，对发生超时运行或错误的工作向相关的负责人进行提醒，以便进一步找出告警原因，通过人工干预的方式解决问题；可以通过短信和邮件的方式进行。对于短信告警可以设置允许告警开始和结束时间，只有在这一段时间里，方可向指定的手机号码发送短信。对于短信的密度也可以做到控制，要求在允许告警的时间范围内，每隔多长时间发送告警短信一次，以免短信过于集中让人产生厌恶感。

配置说明：一个工作被完整定义至少需要3张参数表，分别是：工作表，路由表，任务表。

工作定义：一项工作简单的理解就是一件要做的事情。通常处理复杂事情的有效方法是分而治之，把一项庞大、繁杂的工作分解成多个目标明确、容易实现的任务来完成是比较恰当的方法。当这些分解后的小任务被完成了，那么这项工作也就被完成了。

字段说明：每项工作的ID是区别一个工作的唯一标识；每项工作都由工作名称，工作所属的子系统，工作的状态，执行类型，上次执行时间，本次执行时间，下次执行时间，时间间隔，是否告警，工作的优先级，超时开关设置，工作开始生效时间，工作结束生效时间，工作使用标志组成。在目前的组任务管理组件中仅仅支持两种执行类型：一种是定时类型一种是触发类型。对于定时类型工作，当下次执行时间到达时，组件便自动执行该工作；对于触发类型工作，每次需要执行时，需要人工触发其执行。当这项工作的执行类型是触发类型，那么下次执行时间，时间间隔字段不需要定义。如果工作的执行类型是定时类型，则需要配置下次执行时间，时间间隔。下次执行时间第一次执行时，由手工配置，以后由系统自动修改时间间隔的配置。

定时间隔表示：对两次工作之间执行时间间隔可以按，月，周，天，小时，分钟。例子：

每月执行一次：add_months(next_date，1)

每三周执行一次：next_date+3*7

每两天执行一次：next_date+2

每三个小时执行一次：next_date+3/24

每四十分钟执行一次：next_date+40/(24*60)

超时开关设置：当其值为0时，表示其关闭超时设置；否则为打开超时开关(即当该工作运行时间超过timeout分钟后，该工作的状态将由正常运行状态转成超时运行状态。如果告警标志为‘1’，则会对超时运行的工作进行告警。此时需要在参数表(td_s_alarm)配置一条告警记录.

任务结点的状态转化，参考图3，并根据图4的组件。

任务定义：每项任务是构成一个工作的逻辑组成单元。每项任务都有自己唯一标识的ID，任务名称，插件类型，插件名，通道号，开始生效时间，结束生效时间，生效标志，插件位置，是否加密连接信息，连接用户名，连接口令，连接SID等组成。对于同一个项任务可以应用于不同的工作中，也就是说它可以被一个或多个工作所共享。一个典型的例子，在组任务管理组件中，定义两个系统级任务；它们被用来表示所有工作中必需的一个开始任务(ID为0)和一个结束任务(ID为-1)。它们在工作路由中作为虚拟结点存在，所有路由都有从开始任务结点开始执行，从结束结点执行来结束整个工作。组任务管理组件目前支持两种插件类型：一种是UNIX下后台应用程序或shell脚本；一种是存储过程。在插件名中，如果插件类型是后台应用程序或shell脚本，则插件名称中可以包含指定的绝对路径；否则，在组件中指定的shell路径下查找并执行。如：shell脚本1.sh，在插件名中即可以配置成$HOME/bin/1.sh，也可以配置成1.sh。对于后一种，仅仅在组任务管理的当前工作目录或特定shell目录下查找并执行。

通道号是作为任务固定传递参数而存在的。它由组任务管理组件使用人员配置并被对应的存储过程或后台应用程序(包括shell脚本)去解释。

例如，在BOSS1.0的应用中，当一个表的数据量很大时，通常把这些记录数据进行分组处理；你可以让特定的通道号任务处理特定组数据(10个通道[编号从0到9]的任务去处理0到9999组的数据，则0通道处理0-999组数据，1通道处理1000-1999数据，以此类推)。再如，欠费处理的存储过程，包括欠费停机，欠费预销号，欠费销号功能；这些功能合在一个存储过程中，这时可以通过在通道号配置成不同的数值来让存储过程解释并使用不同的功能。

插件位置主要针对任务类型为存储过程而设置的。对于非存储过程类型，其必须配置成“LOCAL”，因为目前组任务管理组件所执行shell脚本或后台应用程序前提是它们必须和组件管理组件在同一台应用服务器上，无法支持跨系统执行。如果任务类型是存储过程，可以通过配置成“REMOTE”，以达到功能的扩展：可以运行同一个数据库实例下属于不同用户的存储过程；可以运行不同数据库实例下的存储过程。否则，当位置被配置成“LOCAL”时，只能运行和核心参数表属于同一个用户下的存储过程。当任务类型是存储过程并且插件位置为“REMOTE”时，是否加密连接信息、连接用户名、连接口令、连接SID才有意义。当ISENCRYPT为“NO”时，连接数据库的用户，密码，SID是以明码的形式保存在对应任务中；否则，将以加密的形式保存.存储过程的定义必须有固定的参数传入、传出格式，v_resultcode存储过程的返回码；v_resultinfo存储过程的返回信息。详细请看配置解析.在存储中不需要做事务控制，事务的控制是存储过程的外部实现的。

路由：每一个工作都对应着一个唯一的执行路由。主控进程按照路由中展示的任务先后执行顺序，执行满足条件的任务。当执行到路由中最后一个虚拟结束任务结点时，预示着整个工作完成，这时工作的状态从运行状态回到准备就绪状态，等待下次执行时间的到来。路由分类，对路由进行简单分类：

I)串行路由，参考图1：TB->TI->T2一>T3->T4->T5->TE在上述工作路由图中，只有当任务Ti(i＝1-4)执行完成后才能执行Ti+1；当最后一个Ti+1(即T5)执行完成后才能执行TE；当TE被执行时，才认为该工作被执行完成。组成工作的任务按照路由顺序地串行执

II)并行路由：任务T1、T2、T3、T4、T5并发执行。当Ti(i＝1-5)都执行完成后，才能执行TE。当TE被执行时，才认为该工作被执行完成。

III)混合路由

在上述工作路由图中，任务T1，T2，T4并发执行。只有当任务T1，T4执行完成后才能执行T3；只有当T2，T4执行完成后才能执行T5；当T3和T5都执行完成后，才能执行TE。当TE被执行时，才认为该工作被执行完成。(参照ucr_yy01_kf.td_s_work表中欠费数据生成工作的配置)无论是哪一种工作路由图，在组成工作的任务中都存在两个虚拟任务结点。任何路由都是从虚拟开始任务结点作为路由开始顶点，以虚拟结束结点作为路由结束顶点。把从一个任务结点到达另一个任务结点的有向连线，称为有向边(directed edge)。在工作路由图中每一条有向边构成路由表中的一条记录。在工作路由图中，指向同一个任务结点的多条有向边具有相同的控制信息(即被执行任务的控制信息)。这些控制信息包括：状态、进程ID、开始执行时间、结束执行时间、是否设置超时、超时时间间隔、从超时状态转化为失败状态的时间间隔、超时动作码、失败动作码、失败重试控制次数、当前失败重试控制次数，最近一次失败重试时间、失败重试时间间隔。在组任务管理组件中，指向同一个任务结点的有向边可能为多条，这些有向边上控制信息在工作路由表的配置是冗余的，但是必须的。

参考图3，任务结点的状态转化图，状态包括：准备就绪(S_PREPARED)、正常运行(S_RUNNING)、超时运行(S_TORUNNING)、重试运行(S_REDORUNNING)、正常结束(S_END)、跳出结束(S_SKIPEND)、失败(S_FAULT)。

对于某一个工作的生命周期中，这些状态不会全部出现；而且任务结点某些状态的出现是和有向边上的控制信息设置有关系。如，在控制信息中没有设置超时，则该有向边所指的任务结点不可能出现S_TORUNNING状态。任务结点的某些状态的出现和你对执行该结点时所采取告警和失败策略有关。进程ID是执行该任务结点时的子进程ID。如果该结点是虚拟结束任务结点，则该进程ID是主控父进程ID。开始执行时间和结束执行时间记录该任务结点从开始执行到执行结束的时间记录。是否设置超时是为该结点运行时间作出限制。当任务执行时间超时这一限制(即超时时间间隔)，则该任务的状态将转变成超时运行状态。如果没有设置，则不会有超时运行状态。对于超时运行状态的任务，你可以决定让它一直“超时”下去，也可以让它到达某一个阀值(即从超时状态转化为失败状态的时间间隔)自动转化成失败状态。这种“决定”取决于你所配置的超时动作码。在超时动作码中，TC_NOTRANSIT会该结点一直超时下去，直到它失败或结束；TC_TRANSIT会让该结点超时运行一段时间后就此“打住”。对于失败动作码是对失败的处理策略：忽略(默认该任务结点执行成功)；重试(有限或无限尝试)。

当失败动作码为重试时，则失败重试控制次数、当前失败重试控制次数、最近一次失败重试时间、失败重试时间间隔起作用。失败重试控制次数小于等于0，则为无限尝试失败，直到该任务成功执行为止。

告警：通过告警，对发生超时运行或错误的工作向相关的负责人进行提醒，以便进一步找出告警原因，通过人工干预的方式解决问题；可以通过短信和邮件的方式进行。对于短信告警可以设置允许告警开始和结束时间，只有在这一段时间里，方可向指定的手机号码发送短信。对于短信的密度也可以做到控制，要求在允许告警的时间范围内，每隔多长时间发送告警短信一次，以免短信过于集中让人产生厌恶感。每一条告警配置参数属于某项特定的工作。当工作处于超时运行或出错状态，则可以根据工作的是否告警标志来决定是否向用户发出告警通知。向用户发出通知依赖于告警参数表。它包括工作ID、告警ID、告警方式、最近一次告警时间、告警间隔、允许告警开始时间、允许告警结束时间、移动电话号码、电子邮件地址、告警是否生效标志等组成。目前组件支持的告警方式：一种是短信方式；另一种是邮件方式。组件并不保证被告警的用户一定收到告警通知信息；它仅仅把相关的告警信息插入对应的告警接口表中，如短信接口表，而由相关的接口处理程序完成接口信息的处理。告警间隔的时间单位为分钟。允许告警开始时间和允许告警结束时间的格式为hh24mi的格式串，如，允许从早晨08:00到晚上9:00这段时间内

向用户发短信告警通知信息，其对应的时间格式串分别为：“0800”，“2100”。最近一次告警时间是组件在告警时自动维护，不需要人工干预。当用户不希望

收到告警通知信息，他可以把告警是否生效标志置成不生效。

Claims (3)

1.组任务管理的方法，采用运行在UNIX操作系统环境下的守护进程的组任务管理GTM组件，通过定时扫描配置信息运行参数表去执行满足执行条件的工作，工作由一个或多个任务组成，每个任务都是一个独立的逻辑单元，当所有任务都执行完毕，工作才完成，组件对工作中任务的执行顺序做预先的定义；组件执行过程将严格按照任务执行路由进行，每项工作只有一个任务路由，每个任务路由是由多条任务路径构成，其特征是任务的执行顺序是串行或串/并行混合：

任务串行执行的步骤是：只有当任务Ti执行完成后才能执行Ti+1；当最后一个Ti+1执行完成后才能执行结束步骤TE；当TE被执行时，该工作被执行完成，i是自然数；

任务混合执行的步骤是：只有当所有并行任务执行完成后才能执行下一任务，以此类推，前面并行任务执行完成后，才能以串行方式执行后面的任务，直到所有任务完成，再执行TE，当TE被执行时，该工作被执行完成。

2.根据权利要求1所述组任务管理GTM的方法，其特征是所述组件当发生超时运行或错误的工作时进行告警；告警的方式采用短信或邮件。

3.根据权利要求2所述组任务管理GTM的方法，其特征是所述短信告警设置允许告警开始和结束时间；发送告警短信的间隔时间可控。

Images