CN104407919A - 一种数据处理任务调度系统及方法 - Google Patents

Abstract

本发明一种数据处理任务调度系统及方法，包括任务模块、任务组模块、调度模块、日志模块、监控模块，数据处理需求首先发送到任务模块、任务模块与任务组模块相互连接、任务组模块同时与调度模块以及监控模块连接、日志模块同时与调度模块和监控模块相连。本发明在存在大批量后台定时数据处理任务的软件应用场景中，通过任务的封装、调度模块设计和监控模块设计，实现对一系列数据处理任务的统一调度、监控和控制管理。

Description

一种数据处理任务调度系统及方法

技术领域

本发明属于数据处理技术领域，特别涉及一种数据处理任务调度系统及方法。

背景技术

在众多软件应用场景中，特别是数据仓库、数据分析类的软件应用中，往往存在大量的数据处理需求。这一类的数据处理需求一般具备以下几个特点：（1）这类需求一般是需要处理大批量的数据，耗时也相对较长，不适合在用户交互过程中实时地完成数据的运算处理，因此一般将其作为后台批量处理任务定时启动、预先处理；（2）这一类的的数据处理需求一般与时间要素联系密切，因此这类数据处理需求一般需要在一定的时间间隔（如每年、每月、每周、每天等）后反复启动运行，并且处理的业务数据也往往具有不同的时间属性；（3）数据处理任务的正常运行往往受到数据质量、服务器运行状态等因素的制约。一旦数据处理程序出错，难以及时地被发现，或者难以定位出错原因和出错位置，不方便程序的排错，也不方便保存出错之前的部分数据处理成果。（4）同一个应用中往往存在不止一个这一类的数据处理需求，而且各个需求可能差异较大，不方便进行统一的监控和管理。

目前，对于这种数据库中的后台批量数据处理工作，一般都是借助于关系型数据库自身的定时任务机制（例如Oracle数据库中的JOB），或者操作系统层面提供的定时任务机制（例如Windows系统中提供的定时任务管理器，Unix/Linux系统中提供的CRON作业等），进行管理，这样的管理方式，主要存在以下弊端：

（1）每一个后台数据处理任务被单独地作为一个定时任务处理，通过数据库或操作系统提供的定时任务机制实现数据处理任务的调度执行。因为数据处理任务的封装缺乏统一的规范，导致这些任务差异性较大，调度方式五花八门，难以实现统筹设计和统一管理。

（2）数据处理任务执行以后，只能通过数据库或操作系统提供的定时任务管理机制查看简单的执行结果，无法获取更为详细、易于阅读的状态信息。定时任务一旦出错，难以定位出错原因和出错的程序位置。

（3）通常这一类数据处理任务与业务数据的范围和业务时间等属性具有紧密的联系，而传统的调度方式一旦失败，因为难以定位出错时的各种属性状态，往往会导致整个数据处理任务的前功尽弃，难以保存任务出错前的数据处理阶段性成果。例如，一个按照月度进行汇总的数据处理任务，需要一次性汇总近三年的业务数据，假如在最近一个月的数据汇总时发生错误，因为管理人员无法获知数据汇总错误所对应的业务时间，那么唯一的解决方案就只有在排除程序错误后，对近三年的数据进行重新汇总。

（4）一个应用系统中存在的此类数据处理任务一般数量较多，差异性较大，以往处理此类数据处理工作随意性较强，一个系统应用场景中经常会出现采用多种定时任务机制完成此类任务的情况，从而为系统的正常运维带来较大的难度。并且缺乏对于这类定时数据处理任务的统一规划、控制、监控和故障处理。

发明内容

本发明的目的是在存在大批量、复杂的后台数据处理任务的软件应用场景中，方便地实现对后台数据处理任务的统一封装、调度、控制、状态监控和故障处理等管理工作。

为达到上述目的，本发明一种数据处理任务调度系统，包括任务模块、任务组模块、调度模块、日志模块、监控模块，数据处理需求首先发送到任务模块、任务模块与任务组模块相互连接、任务组模块同时与调度模块以及监控模块连接、日志模块同时与调度模块和监控模块相连。                                  

在其中一个实施例中所述数据处理需求首先发送到任务模块是通过任务封装来完成的。                      

在其中一个实施例中所述任务模块与任务组模块相互连接是通过编排任务集来完成的。

在其中一个实施例中所述任务组模块同时与调度模块以及监控模块连接中的任务组模块和调度模块的连接是通过调度执行和回写执行状态实现的，任务组模块和监控模块的连接是通过控制管理来实现的。

在其中一个实施例中所述日志模块同时与调度模块和监控模块相连中的日志模块跟调度模块的连接是通过回写执行状态来实现的，日志模块跟监控模块的连接是通过监视执行情况来实现的。

在其中一个实施例中所述任务封装包括两个参数和一个异常处理编号器，所述两个参数中一个为传入参数一个为传出参数，传入参数为字符串型参数，传出参数为数字型参数。

在其中一个实施例中所述编排任务集包括任务编号、任务名称、任务周期类型、偏移天数、状态标志、执行进度、开始时间、结束时间、有效标志、备注说明，其中任务编号、任务名称、执行进度和备注说明为字符串型，任务周期类型、状态标志、有效标志位字符型，偏移天数为整数型，开始时间、结束时间为日期时间型。    

在其中一个实施例中所述调度执行包括单个任务调度执行和多个任务调度执行，所述回写执行状态包括任务状态属性和任务时间属性，所述控制管理包括统一调度、任务初始化、任务进度调节、故障恢复、任务并行处理。

在其中一个实施例中所述监视执行情况包括任务状态信息、任务结构信息以及日志信息。

本发明还包括一种数据处理任务调度方法，其包括以下步骤：

A：数据处理需求任务发出；

B：在任务模块中将任务封装成标准格式；

C：在任务组模块中对任务进行集中编排；

D：通过调度模块和监控模块实现对一系列数据处理任务的统一调度和监控管理。

在其中一个实施例中所述步骤D：通过调度模块和监控模块实现对一系列数据处理任务的统一调度和监控管理包括：调度模块通过获取任务组模块中的任务实例状态，执行相应的定时调度动作，并实时将任务执行状态和结果回写到任务组模块和日志模块；监控模块监控任务组模块和日志模块中的各种状态属性，同时通过修改任务组模块中各个任务实例的状态属性实现对任务实例的各项控制。

通过上述方案本发明具有以下有益效果：

实现了对应用场景中大量后台数据处理任务的统一调度和控制管理，提供了统一的任务封装规范和统一调度控制接口，简化了开发人员处理此类后台数据处理任务的复杂度；

能够灵活地对各个数据处理任务的进行任务初始化、进度调节、定时重算、故障恢复和调度执行等控制操作；

能够记录数据处理任务出错对应的时间属性，保存出错前数据处理的阶段性成果；

能够记录数据处理任务执行的状态和结果信息，方便任务调度过程中的故障排查和故障恢复；

能够实现数据处理任务的并行处理，在确保业务逻辑正确的前提下，提升数据库使用效率，缩短数据处理时间。

附图说明

图1 是本发明技术实现示意图。

图2是本发明工作流程图。 

具体实施方式

下面结合说明书附图对本发明的具体实施方式进行说明。

如图1所示，本发明一种数据处理任务调度系统，包括任务模块、任务组模块、调度模块、日志模块、监控模块，数据处理需求首先发送到任务模块、任务模块与任务组模块相互连接、任务组模块同时与调度模块以及监控模块连接、日志模块同时与调度模块和监控模块相连。所述数据处理需求首先发送到任务模块是通过任务封装来完成的，所述任务模块与任务组模块相互连接是通过编排任务集来完成的，所述任务组模块同时与调度模块以及监控模块连接中的任务组模块和调度模块的连接是通过调度执行和回写执行状态实现的，任务组模块和监控模块的连接是通过控制管理来实现的，所述日志模块同时与调度模块和监控模块相连中的日志模块跟调度模块的连接是通过回写执行状态来实现的，日志模块跟监控模块的连接是通过监视执行情况来实现的，所述任务封装包括两个参数和一个异常处理编号器，所述两个参数中一个为传入参数一个为传出参数，传入参数为字符串型参数，传出参数为数字型参数，所述编排任务集包括任务编号、任务名称、任务周期类型、偏移天数、状态标志、执行进度、开始时间、结束时间、有效标志、备注说明，其中任务编号、任务名称、执行进度和备注说明为字符串型，任务周期类型、状态标志、有效标志位字符型，偏移天数为整数型，开始时间、结束时间为日期时间型，所述调度执行包括单个任务调度执行和多个任务调度执行，所述回写执行状态包括任务状态属性和任务时间属性，所述控制管理包括统一调度、任务初始化、任务进度调节、故障恢复、任务并行处理，所述监视执行情况包括任务状态信息、任务结构信息以及日志信息。

本技术方案的实现由一组模型和一套调度和监控模块算法构成，具体实现方案如下：

封装任务：将软件应用场景中各类批量数据处理需求统一封装为一个个独立的数据处理任务。数据处理任务模块采用数据库存储过程的形式，封装时应严格遵循数据处理任务模块所定义的封装规范：

 

编排任务集：将封装好的任务，根据应用场景的需要，进行统一规划，编排为数据处理任务集，以备调度模块进行调度执行。编排任务集应严格按照任务集模型，明确任务的相关属性要素：

 

调度执行：调度执行程序也封装为数据库存储过程对象的形式，其自身的启动采用数据库或操作系统的定时任务管理机制完成。调度模块启动后，会自动获取任务组模块中的任务实例，按照一定的顺序执行相应的数据处理任务。一个任务组，支持一个或多个调度执行程序的调度，从而实现任务组的并行处理能力。

回写执行状态：调度执行程序在调度每一个任务实例时，根据定时任务的运行情况，会实时回写相关的执行状态和执行结果。通过回写任务组模块中任务实例的状态属性，可以记录任务当前的执行情况以及任务成功执行所对应的业务时间属性，以便保存阶段性数据处理成果；通过回写执行结果到日志模块，可以辅助管理人员进行必要的任务调度监控和故障处理。

监视执行情况：系统监控模块能够实时获取任务组模块中的任务实例状态信息及日志模块中的任务实例执行结果信息。通过对这些状态和结果信息的查看和分析，能够便捷、直观地了解数据处理任务的调度执行情况。

控制管理：系统管理人员通过修改任务组模块中各个任务实例的状态属性，可以方便地实现数据处理任务的统一调度、任务初始化、任务进度调节、故障恢复和任务并行处理等控制。

本发明还包括一种数据处理任务调度方法，如图2是本发明工作流程图。包括以下步骤：

A：数据处理需求任务发出；

B：在任务模块中将任务封装成标准格式；

C：在任务组模块中对任务进行集中编排；

D：通过调度模块和监控模块实现对一系列数据处理任务的统一调度和监控管理。

上述步骤D：通过调度模块和监控模块实现对一系列数据处理任务的统一调度和监控管理包括：调度模块通过获取任务组模块中的任务实例状态，执行相应的定时调度动作，并实时将任务执行状态和结果回写到任务组模块和日志模块；监控模块监控任务组模块和日志模块中的各种状态属性，同时通过修改任务组模块中各个任务实例的状态属性实现对任务实例的各项控制。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种数据处理任务调度系统，其特征在于包括：任务模块、任务组模块、调度模块、日志模块、监控模块，数据处理需求首先发送到任务模块、任务模块与任务组模块相互连接、任务组模块同时与调度模块以及监控模块连接、日志模块同时与调度模块和监控模块相连。

2.根据权利要求1所述一种数据处理任务调度系统，其特征在于：所述数据处理需求首先发送到任务模块是通过任务封装来完成的。

3.根据权利要求1所述一种数据处理任务调度系统，其特征在于：所述任务模块与任务组模块相互连接是通过编排任务集来完成的。

4.根据权利要求1所述一种数据处理任务调度系统，其特征在于：所述任务组模块同时与调度模块以及监控模块连接中的任务组模块和调度模块的连接是通过调度执行和回写执行状态实现的，任务组模块和监控模块的连接是通过控制管理来实现的。

5.根据权利要求1所述一种数据处理任务调度系统，其特征在于：所述日志模块同时与调度模块和监控模块相连中的日志模块跟调度模块的连接是通过回写执行状态来实现的，日志模块跟监控模块的连接是通过监视执行情况来实现的。

6.根据权利要求2所述一种数据处理任务调度系统，其特征在于：所述任务封装包括两个参数和一个异常处理编号器，所述两个参数中一个为传入参数一个为传出参数，传入参数为字符串型参数，传出参数为数字型参数。

7.根据权利要求3所述一种数据处理任务调度系统，其特征在于：所述编排任务集包括任务编号、任务名称、任务周期类型、偏移天数、状态标志、执行进度、开始时间、结束时间、有效标志、备注说明，其中任务编号、任务名称、执行进度和备注说明为字符串型，任务周期类型、状态标志、有效标志位字符型，偏移天数为整数型，开始时间、结束时间为日期时间型。

8.根据权利要求4所述一种数据处理任务调度系统，其特征在于：所述调度执行包括单个任务调度执行和多个任务调度执行，所述回写执行状态包括任务状态属性和任务时间属性，所述控制管理包括统一调度、任务初始化、任务进度调节、故障恢复、任务并行处理。

9.一种数据处理任务调度方法，其特征在于包括以下步骤：

A：数据处理需求任务发出；

B：在任务模块中将任务封装成标准格式；

C：在任务组模块中对任务进行集中编排；

D：通过调度模块和监控模块实现对一系列数据处理任务的统一调度和监控管理。