CN112799794A - 一种大数据调度方法、装置、系统和存储装置 - Google Patents

Abstract

本申请公开了一种大数据的调度方法，通过先获取至少一个调度任务的参数信息，其中所述调度任务包括至少一个调度节点，再根据所述参数信息生成所述调度任务的调度脚本，最后根据所述调度脚本执行所述调度任务，其中在调度系统的显示界面用不同的颜色区分所述调度任务的每一调度节点的调度状态的方式，使调度人员能够轻松直观地了解到各调度任务之间的依赖关系与各调度任务本身的进展状况，方便调度人员对至少一个调度任务进行管理监控，提高调度效率。

Description

一种大数据调度方法、装置、系统和存储装置

技术领域

本申请涉及大数据技术领域，特别是一种大数据调度方法。

背景技术

随着全球科技的快速发展，各行各业尤其是是物联网行业的兴起，使得金融商业数据、互联网数据等数据量得到爆炸性的增加，在这样的大数据环境下，如何从海量的数据中获取到对企业有价值的信息已经成为企业未来发展的关键因素。

针对如此庞大的数据量，现有的处理方式是通过使用多个不同指标的任务进行数据指标的完整统计分析，但由于各任务之间存在相对应的依赖关系，使得人工执行脚本变成不可能完成的事情，调度系统应运而生。

但目前，现有的调度系统的显示界面显示的各任务的执行状态基本上都是采用列表式的形式展示出来，其不能直观简洁地展示出各任务之间的依赖关系与各调度任务的状态，调度效率较低。

发明内容

本申请提供一种大数据的调度方法及相关装置，以解决现有技术中列表式调度方法中不能直观简洁地展示出各调度任务之间的依赖关系与各调度任务状态的问题。

为解决上述技术问题，本申请提供一种大数据调度方法，包括：获取至少一个调度任务的参数信息，包括：接收至少一个调度任务的调度指令；基于调度指令访问调度系统的配置表，从配置表中获取至少一个调度任务的参数信息和存储路径；基于存储路径从调度服务器中获取原始调度脚本，并使用参数信息替换原始调度脚本中的参数信息，以获取调度任务的参数信息。

其中，获取至少一个调度任务的参数信息，包括：接收至少一个调度任务的调度指令；基于调度指令访问调度系统的配置表，从配置表中获取至少一个调度任务的参数信息和存储路径；基于存储路径从调度服务器中获取原始调度脚本，并使用参数信息替换原始调度脚本中的参数信息，以获取调度任务的参数信息。

其中，根据参数信息生成调度任务的调度脚本的步骤还包括：获取调度任务上一次调度任务的日志信息；根据参数信息和日志信息生成调度任务的调度脚本。

其中，获取调度任务上一次调度任务的日志信息，包括：接收至少一个调度任务的调度指令；基于调度指令访问调度系统的配置表，从配置表中获取到至少一个调度任务的日志信息。

其中，根据参数信息和日志信息生成调度任务的调度脚本，包括：提取日志信息中每一调度任务之间的依赖信息以及每一调度节点之间的依赖信息；根据参数信息和每一调度任务之间的依赖信息以及每一各调度节点之间的依赖信息生成调度任务的调度脚本。

其中，在调度系统的显示界面用不同的颜色区分调度任务的每一调度节点的调度状态，包括：当每个调度任务的调度状态为未启动时，在调度系统的显示界面用第一颜色显示调度任务的每一节点；当每个调度任务的调度状态为调度中时，在调度系统的显示界面用第二颜色显示调度任务的当前及历史节点；当每个调度任务的调度状态为调度成功时，在调度系统的显示界面用第三颜色显示调度任务的当前及历史节点；当每个调度任务的调度状态为调度失败时，在调度系统的显示界面用第四颜色显示调度任务的当前及历史节点；当每个调度任务的调度状态为调度超时时，在调度系统的显示界面上用第五颜色显示调度任务的当前及历史节点；其中，的第一颜色、第二颜色、第三颜色、第四颜色以及第五颜色均为不同的颜色。

其中，根据调度脚本执行调度任务，包括：当调度任务为单个调度任务时，调度脚本在执行调度任务时，判断是否接收到意外报错信息；若接收到意外报错信息，则结束调度任务；使用新的调度脚本替换调度任务的调度脚本，根据替换后的调度脚本再次执行调度任务；或当调度任务为多个调度任务时，调度脚本在执行调度任务时，判断是否接收到意外报错信息；若接收到意外报错信息，结束报错调度任务；使用新的调度脚本替换报错的调度任务的调度脚本，根据替换后的调度脚本再次执行报错调度任务。

其中，根据调度脚本执行调度任务的步骤之后还包括：生成调度任务的日志信息，将日志信息存储到服务器配置表中。

其中，参数信息包括调度任务的任务组、任务名、调度频率，调度时间以及调度规则。

为解决上述技术问题，本申请还提供一种大数据调度装置，包括：获取模块、执行模块以及显示模块，获取模块用于获取至少一个调度任务的参数信息，其中调度任务包括至少一个调度节点；执行模块用于根据参数信息生成调度任务的调度脚本；显示模块用于根据调度脚本执行调度任务，其中在调度系统的显示界面用不同的颜色区分调度任务的每一调度节点的调度状态。

为解决上述技术问题，本申请还提供一种大数据调度系统，包括：处理器和存储器，存储器中存储有程序数据，处理器用于执行如上述技术方案中的大数据调度方法

为解决上述技术问题，本申请还提供一种存储装置，存储装置存储有程序数据，程序数据能够被执行以实现上述任一项的大数据调度方法。

本申请的有益效果是：区别于现有技术的情况，本申请通过根据调度任务的各种不同的调度状态使调度任务在显示界面显示不同的颜色，来简洁直观地展示出至少一个调度任务的每一调度节点的实时状态与至少一个调度任务之间的依赖关系，以方便调度人员对各调度任务进行管理监控，提高调度效率。

附图说明

图1是本申请提供的大数据调度方法一实施例的流程示意图；

图2是本申请提供的大数据调度方法又一实施例的流程示意图；

图3是本申请提供的大数据调度方法一具体应用场景中显示界面上显示的调度任务的调度状态的简易示意图；

图4是本申请提供的大数据调度装置一实施例的结构示意图；

图5是本申请提供的大数据调度系统一实施例的结构示意图；

图6是本申请提供的存储装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请大数据调度方法一实施例的流程示意图，本实施例的大数据调度方法包括以下步骤：

S11：获取至少一个调度任务的参数信息，其中调度任务包括至少一个调度节点。

大数据调度系统用于调度复杂、需求联动以及规模庞大的领域，如铁路、城市轨道交通、国防、石油石化、电力、煤炭、冶金等领域，服务于交通运输、指挥调度、安全生产、抢险指挥等方面都会出现调度系统的身影。当大数据调度系统完成调度工作时，一般需要多个调度任务共同执行完成。且多个调度任务的各调度节点之间都具有相对应的依赖关系，可选地，在本实施例中，整个调度工作由至少一个调度任务执行完成。而每个调度任务包括至少一个调度节点，以循序渐进地完成整个调度任务。

当大数据调度系统在接收到调度至少一个调度任务的调度指令时，会首先从调度服务器中获取相关调度任务的参数信息，其中，参数信息包括调度任务的参数配置与日志信息，参数配置包括：调度任务的任务组、任务名、调度频率、调度时间以及调度规则等参数，日志信息则是指至少一个调度任务之间的依赖信息以及至少一个调度节点之间的依赖信息。

S12：根据参数信息生成调度任务的调度脚本。

大数据调度系统在获取到上述参数信息后，将原始调度脚本中的原参数信息替换成新的调度任务对应的参数信息，并生成新的调度脚本以执行调度任务。其中，在本实施例中大数据调度系统可以为hadoop系统，在此不做限定。

另外，在本实施例中，原始调度脚本和配置表中的数据信息都是相对固定，不会发生变化的信息。例如：调度脚本中存储有数据的计算逻辑和调度脚本的存放路径；配置表中存储有调度任务名称、任务组、依赖任务等。其中，参数信息中的调度时间在每次调度脚本被执行时，其调度时间都是变化的，是不同的，因此，在大数据调度系统在执行本次调度任务时，必须从调度界面上获取调度时间并将其添加进参数信息，并对原始调度脚本中的原始参数信息进行替换，生成的新的调度脚本才是本次调度任务所需的特定的调度脚本。

另外，大数据调度系统所获取的原始调度脚本是由人工开发完成并测试通过后将其上传至服务器相应路径下的，以供大数据调度系统调用。

S13：根据调度脚本执行调度任务，其中在调度系统的显示界面用不同的颜色区分调度任务的每一调度节点的调度状态。

在生成至少一个与调度任务相对应的新的调度脚本后，通过执行调度脚本来执行调度任务，其具体地执行方法是通过执行调度脚本的语句功能来实现对应的调度任务满足调度需求。

大数据调度系统在检查并判断调度脚本语句的扫描表、语法和语义等是否正确，若正确则启动程序进程，先找到调度脚本的元数据，并在其中查询需要用到的字段及其类型，并根据调度脚本的语句需求运行字段，其运行规则包括：可以按照实际的任务需求通过直接处理(加减乘除等)或聚合处理(sum等)的方式运行脚本，以实现调度脚本的功能，最后通过系统的计算与归并，生成本次执行调度脚本的执行日志，并将执行日志存储到服务器上，进行归档。若不正确，则不启动调度脚本并反馈报错，等待人工检测。

根据生成的调度脚本执行调度任务时，在显示界面用不同的颜色区分调度任务的每一调度节点的调度状态，以使调度任务的每一调度节点的调度状态直观可视化。同时，将多个调度任务在显示界面的依赖关系以“调度开始”这一节点为基础以树状图的形式展示出来。

调度状态包括：调度任务未启动、调度中、调度成功、调度失败以及调度超时。也就是说，在显示界面上，如果调度任务未启动时，在显示界面上用第一颜色显示该调度任务的每一节点；如果调度任务在调度中时，则在显示界面用第二颜色显示该调度任务的当前及历史节点；如果调度任务调度成功时，则在显示界面用第三颜色显示该调度任务的当前及历史节点；如果调度任务调度失败时，则在显示界面用第四颜色显示该调度任务的当前及历史节点；如果调度任务调度超时，则在显示界面用第五颜色显示该调度任务的当前及历史节点。其中，第一颜色、第二颜色、第三颜色、第四颜色以及第五颜色均为不同的颜色且不同的颜色之间的区分度较大。例如：第一颜色为黑色；第二颜色为蓝色；第三颜色为绿色；第四颜色为红色；第五颜色为黄色；当调度人员观看显示界面时，可十分直观地了解到黑色的调度节点是还没开始进行的调度任务，蓝色的调度节点是指调度任务在蓝色的调度节点处的任务正在进行，绿色的调度节点是指调度任务在绿色的调度节点处的任务已经调度成功，红色的调度节点是指调度任务在红色的调度节点处的任务调度失败，而黄色的调度节点则是指调度任务在黄色的调度节点处的任务调度超时。其中，上述例子仅是以大众惯用颜色进行举例说明，在实际应用中可根据调度人员的习惯对不同调度状态进行颜色设定，在此不做限定。另外，本申请并不对调度任务的状态数量与类别进行限定，若有其他调度状态同样在显示界面上显示与其他调度状态不同的颜色。

通过上述方式，本申请可以将复杂的调度工作中各个调度任务的每一调度节点的实时状态与依赖关系直观简洁地展示给调度人员，使调度人员了解各调度任务的进行情况与依赖关系，方便调度人员对各调度任务进行管理监控，提高调度效率。

请进一步参阅图2，图2是本申请提供的大数据调度方法又一实施例的流程示意图。

S21：接收到调度至少一个调度任务的指令,基于指令访问调度系统的配置表，从配置表中获取到至少一个调度任务的参数信息和存储路径。

在大数据调度系统执行调度工作时，一般情况下都需要多个调度任务共同运作以满足调度需求，而多个调度任务之间都具有相对应的依赖关系，在本实施例中，整个调度工作由多个调度任务共同执行完成。而每个调度任务包括至少一个调度节点，以循序渐进地完成整个调度任务。

大数据调度系统在执行调度工作前，先接收由调度人员发布的至少一个调度任务的指令，随后，大数据调度系统基于指令去访问调度系统中的配置表，并从配置表中获取到至少一个调度任务的参数信息和存储路径。其中，在本实施例中大数据调度系统可以为hadoop系统，在此不做限定。

在本实施例中，大数据调度系统的配置表就是大数据调度系统用来执行调度任务的核心表，而核心表的数据是调度人员在设置调度任务时，在UI界面上录入的调度任务的相关信息。

大数据调度系统在启动调度工作前，先接收由调度人员手工录入的调度任务参数信息，并将其存储到大数据调度系统的服务器的配置表内。大数据调度系统在接收到指令后启动调度工作时，便从配置表内获取到至少一个调度任务的参数信息与存储路径。

而调度任务的参数信息包括：调度任务的任务组、任务名、调度频率、调度时间以及调度规则，其中，调度频率是指该调度任务在单位时间内周期性启动的次数，大数据调度系统在接收到调度频率后便会结合该调度任务的上次执行时间与调度频率，以判断在该任务在某一时刻是否需要调度。例如：A调度任务的调度频率为3天一次，而A调度任务上一次执行时间为2019年10月20日，若此时为2019年10月21日，则大数据调度系统根据3天一次的调度频率可判断出，此时A调度任务不需要进行调度。

而调度规则包括：当首次进行该调度任务时，由人工输入该调度任务失败后是否进行重调的规则，而非首次进行该调度任务时，则根据调度任务的上一次调度状态判断是否需要重新调度。根据调度任务的上一次调度状态也就最新的调度结果来获取调度任务在预定时间段内是否有调度失败的记录以及失败后调度任务是否重调的规则。例如：A调度任务的调度规则是如果当天调度失败需要重新启动调度，若重新调度两次后，调度任务依然失败，则A调度任务结束执行。则A调度任务在某天执行时，先获取上一次调度的调度结果与调度失败的记录，如果已经失败了两次，则本次的A调度任务不启动，如果是成功，则A调度任务已执行成功。

S22：基于调度指令访问调度系统的配置表，从配置表中获取到至少一个调度任务的日志信息。

在接收由调度人员发布的至少一个调度任务的指令之后，大数据调度系统还基于调度指令访问调度系统的配置表，从配置表中获取到至少一个调度任务的日志信息。

其中，配置表中的日志信息是每个调度任务的上一次调度任务的日志信息，日志信息中包括各调度任务之间的依赖信息以及各调度节点之间的依赖信息。而调度任务首次执行时，日志信息由调度人员手工进行录入。

S23：提取日志信息中每一调度任务之间的依赖信息以及每一调度节点之间的依赖信息,根据参数信息和每一调度任务之间的依赖信息以及每一各调度节点之间的依赖信息生成调度任务的调度脚本。

根据上述步骤中获取的至少一个调度任务的参数信息、日志信息以及存储路径，大数据调度系统先基于存储路径从配置表中，获取至少一个调度任务的原始调度脚本，然后将获取的至少一个调度任务的参数信息替换掉原始调度脚本中的原始参数信息，并提取日志信息中每一调度任务之间的依赖信息以及每一调度节点之间的依赖信息,根据参数信息和每一调度任务之间的依赖信息以及每一各调度节点之间的依赖信息以生成每个调度任务的调度脚本。

其中，参数信息中的调度时间在每次调度脚本被执行时，其调度时间都是变化的，是不同的，因此，在大数据调度系统在执行本次调度任务时，必须从调度界面上获取调度时间并将其添加进参数信息，并对原始调度脚本中的原始参数信息进行替换，生成的新的调度脚本才是本次调度任务所需的特定的调度脚本。

S24：根据调度脚本执行调度任务，其中在调度系统的显示界面用不同的颜色区分调度任务的每一调度节点的调度状态。

根据上一步骤中生成的调度脚本执行调度任务，同时，在执行调度任务期间，在调度系统的显示界面用不同的颜色区分调度任务的每一调度节点的调度状态。

大数据调度系统执行上述步骤中生成的新调度脚本，在检查调度脚本语句的扫描表、语法和语义等是否正确后，若正确则启动程序进程，找到调度脚本的元数据，并在其中查询需要用到的字段及其类型，并根据调度脚本的语句需求运行字段，其运行规则包括：可以按照实际需求通过直接处理(加减乘除等)或聚合处理(sum等)的方式运行脚本，以实现调度脚本功能。

在大数据调度系统通过执行调度脚本执行调度任务时，大数据调度系统会实时返回每个调度任务的每一调度节点的执行状态，也就是说，大数据调度系统会根据至少一个调度任务的调度节点调度状态的不同，在显示界面上使不同的调度状态显示出不同的颜色，以使调度任务的每一节点的调度状态直观可视化。同时，将多个调度任务在显示界面的依赖关系以“调度开始”这一调度节点为基础以树状图的形式展示出来。

调度状态包括：调度任务未启动、调度中、调度成功、调度失败以及调度超时。也就是说，在显示界面上，如果调度任务未启动时，在显示界面上用第一颜色显示该调度任务的每一节点；如果调度任务在调度中时，则在显示界面用第二颜色显示该调度任务的当前及历史节点；如果调度任务调度成功时，则在显示界面用第三颜色显示该调度任务的当前及历史节点；如果调度任务调度失败时，则在显示界面用第四颜色显示该调度任务的当前及历史节点；如果调度任务调度超时，则在显示界面用第五颜色显示该调度任务的当前及历史节点。其中，第一颜色、第二颜色、第三颜色、第四颜色以及第五颜色均为不同的颜色且不同的颜色之间的区分度较大。例如：第一颜色为黑色；第二颜色为蓝色；第三颜色为绿色；第四颜色为红色；第五颜色为黄色；当调度人员观看显示界面时，可十分直观地了解到黑色的调度节点是还没开始进行的调度任务，蓝色的调度节点是指调度任务在蓝色的调度节点处的任务正在进行，绿色的调度节点是指调度任务在绿色的调度节点处的任务已经调度成功，红色的调度节点是指调度任务在红色的调度节点处的任务调度失败，而黄色的调度节点则是指调度任务在黄色的调度节点处的任务调度超时。其中，上述例子仅是以大众惯用颜色进行举例说明，在实际应用中可根据调度人员的习惯对不同调度状态进行颜色设定，在此不做限定。另外，本申请并不对调度任务的状态数量与类别进行限定，若有其他调度状态同样在显示界面上显示与其他调度状态不同的颜色。

另外，当大数据调度系统执行的调度任务为单个调度任务时，大数据调度系统在通过执行调度脚本执行调度任务时，会判断是否接收到意外报错信息；若接收到意外报错信息，则结束调度任务，并使用新的调度脚本替换调度任务的调度脚本，根据替换后的调度脚本再次执行调度任务。而当调度任务为多个调度任务时，调度脚本在执行调度任务时，也会判断是否接收到意外报错信息；若接收到意外报错信息，结束报错调度任务，并使用新的调度脚本替换报错的调度任务的调度脚本，根据替换后的调度脚本再次执行报错调度任务。在优选实施例里，上述因收到意外报错信息而重新执行调度任务的次数一般为1次。若多次重新启动调度任务则因报错调度任务占用大量调度资源，从而影响其他未收到意外报错的调度任务的调度进度。大数据调度系统通过上述方式减少系统因脚本问题导致的调度失败的干扰问题。

S25：生成调度任务的日志信息，将日志信息存储到服务器配置表中。

大数据调度系统在执行调度任务的过程中，通过系统的计算与归并，生成本次执行调度脚本的日志信息，并将信息存储到服务器上，进行归档也就是将日志信息存储到服务器配置表中，以便后续调度任务进行获取。

通过上述方式，本申请可以将复杂的调度工作中各个调度任务的每一调度节点的实时状态与依赖关系直观简洁地展示给调度人员，使调度人员了解各调度任务的进行情况与依赖关系，方便调度人员对各调度任务进行管理监控，提高调度效率。

请进一步参阅图3，图3是本申请提供的大数据调度方法一具体应用场景中显示界面上显示的调度任务的调度状态的简易示意图。

在本实施例中，以将显示界面上调度任务的调度未启动的状态显示定为黑色；调度任务在调度中显示定为蓝色；调度任务超时显示定为黄色；调度任务失败显示定为红色以及调度任务成功显示定为绿色为例来进行说明。

在整个调度工作中，S12为单个的调度任务，与其他调度任务S1、S2、S11、S13以及S14通过相应的调度依赖关系共同组成了一个完整的调度工作。

其中，从图中可以直观看到在调度开始后各调度任务与各调度任务的各调度节点之间的依赖关系。首先进行S1与S2任务，S1任务进行后开始进行S11、S12与S13任务，S2任务进行完后进行S21任务与S13任务，其中，S13任务同时受S1任务和S2任务的影响，也就是S13与S1任务和S2任务都具有依赖关系且该依赖关系在S13节点处；而S11任务包括S111、S112与S113任务，其中，S113任务是S111与S112任务下一步骤任务；而S14任务同时与S13与S21任务具有依赖关系且该依赖关系在S14节点处，后续任务之间的流程或依赖关系不再赘述，各任务直到进展到S5调度结束，则调度工作结束。

其中，线框S0、S1、S2以及S21与线条1.0、1.1、2.3、2.5以及3.4显示为绿色，以表示S1任务、S2任务以及S21任务进行到当前调度节点时已经调度成功了；线框S13与线条2.4显示为黄色，显示从S2任务进展到S13任务的这一节点为调度超时状态，线框S12与线条2.2显示为红色，表示S1任务在进行到S12任务的这一节点时调度失败了；线框S11、S111以及S112与线条S2.1显示为蓝色，表示整个S11任务由S111、S112以及S113共同完成，其中，从S1任务进展到S11任务节点中，S111任务与S112任务正在调度中，线框S113、S14以及其他线框与线条3.0.1、3.0.2、4.0、5.0、3.1、5.1、3.2、3.3、4.1、5.2以及5.3都显示为黑色，由于任务S113与S14所依赖的调度任务还没有调度成功，因此调度还未启动，另外表示调度结束的线框S5也为黑色。

从图3中可以非常简洁直观地看出各调度任务之间的依赖关系、各调度节点之间的依赖关系及其调度状态，通过上述方式，本申请可以将复杂的调度工作中各个调度任务的各调度节点的实时状态与依赖关系直观简洁地展示给调度人员，使调度人员了解各调度任务的进行情况与依赖关系，方便调度人员对各调度任务进行管理监控，提高调度效率。

在本申请一实施例中，大数据调度系统的显示界面可以设置为触屏界面，以便在基于本实施例的显示方法上方便调度人员对各调度任务直接进行暂停、启动、终止和重调等操作，提高调度效率。

请参阅图4，图4是本申请大数据调度装置一实施例的结构示意图。本实施方式的大数据调度装置包括获取模块31、执行模块32以及显示模块33。

获取模块31用于在接收由调度人员手工录入的调度任务参数信息，并将其存储到大数据调度系统的服务器的参数配置表内之后，访问大数据调度系统的参数配置表，以获取调度任务的日志信息与调度人员录入的参数信息，与此同时，获取模块31在参数配置表中获取调度任务的调度脚本存储的文件路径，并依据服务器的该文件路径在服务器的指定目录内获取调度任务的原始调度脚本。

而调度任务的参数信息包括：调度任务的任务组、任务名、调度频率、调度时间以及调度规则，其中，调度频率是指该调度任务在单位时间内周期性启动的次数，大数据调度系统在接收到调度频率后便会判断在某一时刻该任务是否需要调度。

执行模块32用于在获取上述参数信息、日志信息以及原始调度脚本后，将调度任务的参数信息替换掉原始调度脚本中对应的参数信息，并结合日志信息与原始调度脚本生成调度任务所需的新的调度脚本。其中，日志信息中包括每个调度任务之间的依赖信息以及每一调度节点之间的依赖信息。而调度任务首次执行时，日志信息由调度人员手工进行录入。

执行模块32执行上述步骤中生成的新调度脚本，在检查调度脚本语句的扫描表、语法和语义等是否正确后，若正确则启动程序进程，找到调度脚本的元数据，并在其中查询需要用到的字段及其类型，并根据调度脚本的语句需求运行字段，其运行规则包括：可以按照实际需求通过直接处理(加减乘除等)或聚合处理(sum等)的方式运行脚本，以实现调度脚本功能，若不正确，则不启动调度脚本并反馈报错。通过系统的计算与归并，生成本次执行调度脚本的日志信息，并将日志信息存储到服务器上，进行归档也就是将日志信息存储到服务器配置表中，以便后续调度任务进行获取。

显示模块33用于根据处理模块32在执行过程中时实时返回的至少一个调度任务的各调度节点的执行状态，也就是说，显示模块33会根据至每个调度节点调度状态的不同，使调度任务在显示界面显示出不同的颜色，以使调度任务的调度状态直观可视化。同时，将至少一个的调度任务在显示界面的依赖关系以“调度开始”这一步骤为基础以树状图的形式展示出来。

调度状态包括：调度任务未启动、调度中、调度成功、调度失败以及调度超时。也就是说，在显示界面上，如果调度任务未启动时，在显示界面上用第一颜色显示该调度任务的每一节点；如果调度任务在调度中时，则在显示界面用第二颜色显示该调度任务的当前及历史节点；如果调度任务调度成功时，则在显示界面用第三颜色显示该调度任务的当前及历史节点；如果调度任务调度失败时，则在显示界面用第四颜色显示该调度任务的当前及历史节点；如果调度任务调度超时，则在显示界面用第五颜色显示该调度任务的当前及历史节点。其中，第一颜色、第二颜色、第三颜色、第四颜色以及第五颜色均为不同的颜色且不同的颜色之间的区分度较大。例如：第一颜色为黑色；第二颜色为蓝色；第三颜色为绿色；第四颜色为红色；第五颜色为黄色；当调度人员观看显示界面时，可十分直观地了解到黑色的调度节点是还没开始进行的调度任务，蓝色的调度节点是指调度任务在蓝色的调度节点处的任务正在进行，绿色的调度节点是指调度任务在绿色的调度节点处的任务已经调度成功，红色的调度节点是指调度任务在红色的调度节点处的任务调度失败，而黄色的调度节点则是指调度任务在黄色的调度节点处的任务调度超时。

执行完调度任务完成调度工作后，将调度任务的日志信息(如调度成功或调度失败)存储进服务器进行归档，以方便调度人员查阅以及后续调度任务获取其他相关依赖调度任务的调度状态。

基于同样的发明构思，本申请还提出了一种大数据调度系统，该大数据调度能够被执行以实现上述任一实施例的大数据调度方法，请参阅图5，图5是本申请提供的大数据调度系统一实施例的结构示意图，大数据调度系统包括处理器41以及存储器42。

其中存储器42用于存储调度人员手工录入的参数信息、开发好的原始调度脚本以及每次调度工作结束后的各调度任务的日志信息。

处理器41用于执行新的调度脚本，在检查调度脚本语句的扫描表、语法和语义等是否正确后，若正确则启动程序进程，找到调度脚本的元数据，并在其中查询需要用到的字段及其类型，并根据调度脚本的语句需求运行字段，其运行规则包括：可以按照实际需求通过直接处理(加减乘除等)或聚合处理(sum等)的方式运行脚本，以实现调度脚本功能，通过系统的计算与归并，生成本次执行调度脚本的日志信息，并将日志信息存储到服务器上，进行归档。若不正确，则不启动调度脚本并反馈报错。

其中处理器41在执行过程中时，会实时返回各调度任务的执行状态，也就是说，处理器41会根据各调度任务调度状态的不同，使调度任务在显示界面显示出不同的颜色，以使调度任务的调度状态直观可视化。同时，将多个调度任务在显示界面的依赖关系以“调度开始”这一步骤为基础以树状图的形式展示出来。

基于同样的发明构思，本申请还提出了一种存储装置，请参阅图6，图6是本申请提供的存储装置一实施例的结构示意图。存储装置50中存储有程序数据51，程序数据51可以为程序或指令，该程序数据能够执行获取到调度任务的参数信息、日志信息与存储路径，并基于参数信息与日志信息获取到调度任务的调度脚本；根据调度脚本执行调度任务，并根据调度任务的调度状态使调度任务的各调度节点在显示界面显示不同的颜色等上述大数据调度方法。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种大数据调度方法，其特征在于，包括：

获取至少一个调度任务的参数信息，其中所述调度任务包括至少一个调度节点；

根据所述参数信息生成所述调度任务的调度脚本；

根据所述调度脚本执行所述调度任务，其中在调度系统的显示界面用不同的颜色区分所述调度任务的每一调度节点的调度状态。

2.根据权利要求1所述的大数据调度方法，其特征在于，所述获取至少一个调度任务的参数信息，包括：

接收所述至少一个调度任务的调度指令；

基于所述调度指令访问调度系统的配置表，从所述配置表中获取所述至少一个调度任务的参数信息和存储路径；

基于所述存储路径从调度服务器中获取原始调度脚本，并使用所述参数信息替换所述原始调度脚本中的参数信息，以获取所述调度任务的参数信息。

3.根据权利要求1所述的大数据调度方法，其特征在于，所述根据所述参数信息生成所述调度任务的调度脚本的步骤还包括：

获取所述调度任务上一次调度任务的日志信息；

根据所述参数信息和所述日志信息生成所述调度任务的调度脚本。

4.根据权利要求3所述的大数据调度方法，其特征在于，所述获取所述调度任务上一次调度任务的日志信息，包括：

接收所述至少一个调度任务的调度指令；

基于所述调度指令访问调度系统的配置表，从所述配置表中获取到所述至少一个调度任务的日志信息。

5.根据权利要求3所述的大数据调度方法，其特征在于，所述根据所述参数信息和所述日志信息生成所述调度任务的调度脚本，包括：

提取所述日志信息中每一所述调度任务之间的依赖信息以及所述每一所述调度节点之间的依赖信息；

根据所述参数信息和所述每一所述调度任务之间的依赖信息以及所述每一各所述调度节点之间的依赖信息生成所述调度任务的调度脚本。

6.根据权利要求1所述的大数据调度方法，其特征在于，所述在调度系统的显示界面用不同的颜色区分所述调度任务的每一调度节点的调度状态，包括：

当每个所述调度任务的调度状态为未启动时，在所述调度系统的显示界面用第一颜色显示所述调度任务的每一节点；

当每个所述调度任务的调度状态为调度中时，在所述调度系统的显示界面用第二颜色显示所述调度任务的当前及历史节点；

当每个所述调度任务的调度状态为调度成功时，在所述调度系统的显示界面用第三颜色显示所述调度任务的当前及历史节点；

当每个所述调度任务的调度状态为调度失败时，在所述调度系统的显示界面用第四颜色显示所述调度任务的当前及历史节点；

当每个所述调度任务的调度状态为调度超时时，在所述调度系统的显示界面上用第五颜色显示所述调度任务的当前及历史节点；

其中，所述的第一颜色、所述第二颜色、所述第三颜色、所述第四颜色以及所述第五颜色均为不同的颜色。

7.根据权利要求1所述的大数据调度方法，其特征在于，所述根据所述调度脚本执行调度任务，包括：

当所述调度任务为单个调度任务时，所述调度脚本在执行所述调度任务时，判断是否接收到意外报错信息；

若接收到所述意外报错信息，则结束所述调度任务；

使用新的调度脚本替换所述调度任务的调度脚本，根据所述替换后的调度脚本再次执行所述调度任务；

或当所述调度任务为多个调度任务时，所述调度脚本在执行所述调度任务时，判断是否接收到意外报错信息；

若接收到所述意外报错信息，结束所述报错调度任务；

使用新的调度脚本替换所述报错的调度任务的调度脚本，根据所述替换后的调度脚本再次执行所述报错调度任务。

8.根据权利要求1所述的大数据调度方法，其特征在于，所述根据所述调度脚本执行所述调度任务的步骤之后还包括：

生成所述调度任务的日志信息，将所述日志信息存储到服务器配置表中。

9.根据权利要求1所述的大数据调度方法，其特征在于，所述参数信息包括所述调度任务的任务组、任务名、调度频率，调度时间以及调度规则。

10.一种大数据调度装置，其特征在于，所述大数据调度装置包括：获取模块、执行模块以及显示模块，

所述获取模块用于获取至少一个调度任务的参数信息，其中所述调度任务包括至少一个调度节点；

所述执行模块用于根据所述参数信息生成所述调度任务的调度脚本；

所述显示模块用于根据所述调度脚本执行所述调度任务，其中在调度系统的显示界面用不同的颜色区分所述调度任务的每一调度节点的调度状态。

11.一种大数据调度系统，其特征在于，所述大数据调度系统包括：处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行如权利要求1-9任一项所述的大数据调度方法。

12.一种存储装置，其特征在于，所述存储装置中存储有程序数据，所述程序数据能够被执行以实现如权利要求1-9任一项所述的大数据调度方法。

Images