CN107506906A - 一种基于数据处理的任务智能调度引擎设计方法 - Google Patents

Abstract

本发明公开了一种基于数据处理的任务智能调度引擎设计方法，包括如下步骤：S1：任务配置管理，S2：任务执行条件管理，S3：任务依赖关系管理，S4：任务后续处理，S5：任务执行情况监控，S6：任务异常情况处理，S7：查看队列中的任务，S8：任务调度服务程序。本发明以自动化的方式解决电信业务支撑部门每天人工取数、数据处理的一系列繁重过程，现在通信行业三大运营商都采用数据集中存储，建立数据仓库，而各地市分公司要取数据进行分析都要到省公司的数据仓库中抽取数据，抽取数据后还需要对数据进行清洗加工，获得地市自己需要的数据再进行经营分析。

Description

一种基于数据处理的任务智能调度引擎设计方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于数据处理的任务智能调度引擎设计方法。

背景技术

在企业级应用中，经常会制定一些“计划任务”，即在某个时间点做某件事情，核心是以时间为关注点，即在一个特定的时间点，系统执行指定的一个操作，任务调度涉及多线程并发、线程池维护、运行时间规则解析、运行现场的保护以恢复等方面。

电信运营商每天在后台数据库中执行成百上千的数据抽取、统计任务，对这些任务的执行情况缺乏智能调度及监控，导致用户急需的事项往往需要等待，对统计出来的结果不能在第一时间发现问题。

为了提升电信公司对营销数据的及时掌握，同时为了更高效率、高质量的保障对数据信息化的应用，电信部门需要从其它数据平台抽取数据，经过清洗加工整理，再经过一系列的数据处理才能得到业务部门所需要的数据进行展现，通过任务智能调度，及时获取数据，结合报表需求，为决策提供准确的、完整的、全面的数据分析。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于数据处理的任务智能调度引擎设计方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于数据处理的任务智能调度引擎设计方法，包括如下步骤：

S1：任务配置管理，定义任务并发数，配置任务属性，对新建任务定义任务优先级、任务对应的后台处理过程、执行周期等，可定义日任务、周任务、月任务、年任务及一次性任务，对周任务需指定开始时间是周几，对一次性任务需指定数据开始时间与截止时间；

S2：任务执行条件管理，配置任务的执行条件，只有条件满足时任务才会被执行，可以配置任务执行的时间点、配置任务执行前进行的检查条件，只有当条件满足时任务才启动执行；

S3：任务依赖关系管理，定义任务的依赖关系，一个任务可以依赖很多任务，也可以被很多任务依赖，任务只有当其所依赖的任务执行完成后才可以被执行；

S4：任务后续处理，定义任务在执行后要进行的处理，如建立表的索引、进行数据完整性检查、进行数据有效性检查及数据量的比较；

S5：任务执行情况监控，查看任务的执行情况，可以启动一个任务，也可以停止一个任务，下达停止任务时如果该任务正在执行，则系统会在执行完成后停止指定任务；

S6：任务异常情况处理，查看任务的执行出错情况，可查看出错的语句，进行处理，处理完成后启动重做该任务；

S7：查看队列中的任务，查看在队列中未执行的任务，可查看未执行的原因；

S8：任务调度服务程序，任务智能调度程序，根据任务执行的条件进行检查，当条件具备时系统会自动启动执行。

与现有技术相比，本发明的有益效果是：本发明以自动化的方式解决电信业务支撑部门每天人工取数、数据处理的一系列繁重过程，现在通信行业三大运营商都采用数据集中存储，建立数据仓库，而各地市分公司要取数据进行分析都要到省公司的数据仓库中抽取数据，抽取数据后还需要对数据进行清洗加工，获得地市自己需要的数据再进行经营分析。这些工作都可以用任务智能调度系统快速实现，大型企业的应用系统繁多，要从各应用系统中抽取数据进行汇总分析，也是可以使用智能任务调度系统来快速实现，政府各行政部门都有很多应用系统，其数据的应用价值还未体现，如今在大数据驱动下，需要对各部门的数据进行抽取加工，这也可以使用智能任务调度系统来快速实现，由此可见，智能任务调度系统的应用范围非常广泛，各行业都会使用到，该系统的市场前景非常广阔。

附图说明

图1为本发明流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于数据处理的任务智能调度引擎设计方法，包括如下步骤：

S1：任务配置管理，定义任务并发数，配置任务属性，对新建任务定义任务优先级、任务对应的后台处理过程、执行周期等，可定义日任务、周任务、月任务、年任务及一次性任务，对周任务需指定开始时间是周几，对一次性任务需指定数据开始时间与截止时间；

S2：任务执行条件管理，配置任务的执行条件，只有条件满足时任务才会被执行，可以配置任务执行的时间点、配置任务执行前进行的检查条件，只有当条件满足时任务才启动执行；

S3：任务依赖关系管理，定义任务的依赖关系，一个任务可以依赖很多任务，也可以被很多任务依赖，任务只有当其所依赖的任务执行完成后才可以被执行；

S4：任务后续处理，定义任务在执行后要进行的处理，如建立表的索引、进行数据完整性检查、进行数据有效性检查及数据量的比较；

S5：任务执行情况监控，查看任务的执行情况，可以启动一个任务，也可以停止一个任务，下达停止任务时如果该任务正在执行，则系统会在执行完成后停止指定任务；

S6：任务异常情况处理，查看任务的执行出错情况，可查看出错的语句，进行处理，处理完成后启动重做该任务；

S7：查看队列中的任务，查看在队列中未执行的任务，可查看未执行的原因；

S8：任务调度服务程序，任务智能调度程序，根据任务执行的条件进行检查，当条件具备时系统会自动启动执行。

目前通常任务的调度采用定时执行，这样往往出现数据的完整性问题，其它平台数据还没生成就开始执行，这样的结果只有在用户待任务执行完成后检查数据才能发现问题，只好人工重做，费时费力。设置了任务检查条件后，系统首先检查任务是否可执行，只有条件具备了才开始执行。任务依赖性：引入任务的依赖关系，只有当该任务依赖的任务执行完成后才启动执行，这样保证了数据的正确性，同时解决任务的长时间执行对资源的消耗以及数据正确性的问题。任务并发性：设置并发任务数，系统同时只能启动设定的任务数，以避免启动任务太多导致系统资源消耗过大而影响使用。任务队列调度算法：本调度算法在时钟驱动调度算法的基础上，根据任务的执行周期、执行条件、依赖关系等组合使用进行任务检查，任务排队执行，以实现任务在可执行的情况下能够优先进入到队列中。

本发明以自动化的方式解决电信业务支撑部门每天人工取数、数据处理的一系列繁重过程，现在通信行业三大运营商都采用数据集中存储，建立数据仓库，而各地市分公司要取数据进行分析都要到省公司的数据仓库中抽取数据，抽取数据后还需要对数据进行清洗加工，获得地市自己需要的数据再进行经营分析。这些工作都可以用任务智能调度系统快速实现，大型企业的应用系统繁多，要从各应用系统中抽取数据进行汇总分析，也是可以使用智能任务调度系统来快速实现，政府各行政部门都有很多应用系统，其数据的应用价值还未体现，如今在大数据驱动下，需要对各部门的数据进行抽取加工，这也可以使用智能任务调度系统来快速实现，由此可见，智能任务调度系统的应用范围非常广泛，各行业都会使用到，该系统的市场前景非常广阔。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于数据处理的任务智能调度引擎设计方法，其特征在于：包括如下步骤：

S1：任务配置管理，定义任务并发数，配置任务属性，对新建任务定义任务优先级、任务对应的后台处理过程、执行周期等，可定义日任务、周任务、月任务、年任务及一次性任务，对周任务需指定开始时间是周几，对一次性任务需指定数据开始时间与截止时间；

S2：任务执行条件管理，配置任务的执行条件，只有条件满足时任务才会被执行，可以配置任务执行的时间点、配置任务执行前进行的检查条件，只有当条件满足时任务才启动执行；

S3：任务依赖关系管理，定义任务的依赖关系，一个任务可以依赖很多任务，也可以被很多任务依赖，任务只有当其所依赖的任务执行完成后才可以被执行；

S4：任务后续处理，定义任务在执行后要进行的处理，如建立表的索引、进行数据完整性检查、进行数据有效性检查及数据量的比较；

S5：任务执行情况监控，查看任务的执行情况，可以启动一个任务，也可以停止一个任务，下达停止任务时如果该任务正在执行，则系统会在执行完成后停止指定任务；

S6：任务异常情况处理，查看任务的执行出错情况，可查看出错的语句，进行处理，处理完成后启动重做该任务；

S7：查看队列中的任务，查看在队列中未执行的任务，可查看未执行的原因；

S8：任务调度服务程序，任务智能调度程序，根据任务执行的条件进行检查，当条件具备时系统会自动启动执行。