CN114995941A - 一种任务调度方法、装置及可读存储介质 - Google Patents

Abstract

本申请公开了一种任务调度方法，装置及可读存储介质，涉及电子信息领域。本申请所提供的任务调度方法，通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

Description

一种任务调度方法、装置及可读存储介质

技术领域

本申请涉及电子信息领域，特别是涉及一种任务调度方法、装置及可读存储介质。

背景技术

近年来，随着信息技术的发展以及信息量的增加，大数据技术的应用越来越广，针对于多个数据的调度，通常采用集群的方式进行，任务中涉及用户的创建、鉴权与回收，任务中涉及计算资源的创建、鉴权与回收，任务执行状态监控等功能，解决了任务调度作业执行过程中因为子任务涉及不同用户，不同数据，不同计算资源导致的集群用户权限混乱问题。目前使用的大数据平台中，还没有一个平台能够包括编排任务调度，设置子任务Task调度用户和数据权限，以及子任务运行的计算资源。

现有的任务调度服务，是和用户权限分开的，没有关联关系，任务运行之前先设置好用户及对应的权限。因此使用现有的任务调度方法进行大数据集群的任务调度，如果一个任务涉及大数据服务比较多，流程比较复杂，涉及不同部门，不同用户，导致用户权限设定不及时，遗漏权限设置，造成任务调度失败，问题排查比较繁琐。

鉴于上述技术，寻找一种能防止权限冲突以及任务调取失败的任务调度方法是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种任务调度方法、装置及可读存储介质，以便于解决现有的任务调度服务，是和用户权限分开的，没有关联关系，任务运行之前先设置好用户及对应的权限。因此使用现有的任务调度方法进行大数据集群的任务调度，如果一个任务涉及大数据服务比较多，流程比较复杂，涉及不同部门，不同用户，导致用户权限设定不及时，遗漏权限设置，造成任务调度失败，问题排查比较繁琐的问题。

为解决上述技术问题，本申请提供一种任务调度方法，包括：

登录可视化WebUI页面，进行任务调度作业的初始化工作；

启动权限管理器拦截所述任务调度作业中的子任务请求，并对所述子任务请求进行认证，所述权限管理器设置于所述大数据服务器节点中；

若认证通过，则创建所述任务调度作业的用户和权限，并进行所述任务调度作业；

若认证不通过，则结束所述任务调度作业。

优选地，所述登录可视化WebUI页面，进行任务调度作业的初始化工作包括：

登录所述可视化WebUI页面，记录所述任务调度作业的创建、查看、启停、修改、删除、同步；

对所述任务调度作业进行分类，根据用途保存到不同的目录下。

优选地，在所述任务调度作业启动之后，所述进行所述任务调度作业之前，还包括：

检测所述任务调度作业的用户是否在集群中；

若是，则对所述用户设定作业调度权限；

若否，则创建所述用户并设置所述作业调度权限。

优选地，所述进行任务调度包括：

调用资源管理器对所述任务调度作业分配计算资源，所述资源管理器设置于所述大数据服务器每一个节点中；

对分配的所述计算资源进行隔离，对所述任务调度作业使用所述计算资源进行鉴权；

使用所述计算资源进行任务调度工作。

优选地，还包括：

每隔预设时间，轮询加载集群当前运行的所述任务调度作业。

优选地，还包括：

通过子任务Task策略配置模板对各所述子任务进行信息修改，修改的子任务信息包括任务启动方式，用户，节点，操作数据和权限，计算资源CPU和内存。

优选地，还包括：

生成进行中的所述任务调度作业的日志，并将所述日志存储在存储装置中。

为解决上述问题，本申请还提供一种任务调度装置，包括：

初始化模块，用于登录可视化WebUI页面，进行任务调度作业的初始化工作；

认证模块，用于启动权限管理器拦截所述任务调度作业中的子任务请求，并对所述子任务请求进行认证，所述权限管理器设置于所述大数据服务器节点中，若认证通过，则启动调度模块，若认证不通过，则启动结束模块；

所述调度模块，用于进行所述任务调度作业；

所述结束模块，用于结束所述任务调度作业。

优选地，该装置还包括：

检测模块，用于检测所述任务调度作业的用户是否在集群中，若是，开启调度模块，若否，开启创建模块；

调取模块，用于对所述用户设定作业调度权限；

创建模块，用于创建所述用户并设置所述作业调度权限。

优选地，该装置还包括：

轮询模块，用于每隔预设时间，轮询加载集群当前运行的所述任务调度作业。

优选地，该装置还包括：

子任务模块，用于通过子任务Task策略配置模板对各所述子任务进行信息修改，修改的子任务信息包括任务启动方式，用户，节点，操作数据和权限，计算资源CPU和内存。

优选地，该装置还包括：

生成模块，用于生成进行中的所述任务调度作业的日志，并将所述日志存储在存储装置中。

为解决上述问题，本申请还提供一种任务调度装置，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述的任务调度装置的步骤。

为解决上述问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的任务调度方法的步骤。

本申请所提供的任务调度方法，通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而将每个任务调度下发到相应的服务器节点中，并通过拦截子请求的方式，防止原用户对任务调度作业的影响，从而在服务器节点上重新创建任务调度作业的用户，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

本申请所提供的任务调度装置及计算机可读存储介质与上述的任务调度方法对应，因此有益效果同上。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种任务调度方法流程图；

图2为本申请实施例提供的一种任务调度装置结构图；

图3为本申请另一实施例提供的一种任务调度装置结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的核心是提供一种任务调度方法、装置及可读存储介质，以便于解决现有的任务调度服务，是和用户权限分开的，没有关联关系，任务运行之前先设置好用户及对应的权限。因此使用现有的任务调度方法进行大数据集群的任务调度，如果一个任务涉及大数据服务比较多，流程比较复杂，涉及不同部门，不同用户，导致用户权限设定不及时，遗漏权限设置，造成任务调度失败，问题排查比较繁琐的问题。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

图1为本申请实施例提供的一种任务调度方法流程图，如图1所示，该方法包括：

S10：登录可视化WebUI页面，进行任务调度作业的初始化工作；

全球广域网(World Wide Web，Web)，也称为万维网，它是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统。是建立在Internet上的一种网络服务，为浏览者在Internet上查找和浏览信息提供了图形化的、易于访问的直观界面，其中的文档及超级链接将Internet上的信息节点组织成一个互为关联的网状结构。

用户界面(User Interface，UI)是指对软件的人机交互、操作逻辑、界面美观的整体设计。好的UI设计不仅是让软件变得有个性有品味，还要让软件的操作变得舒适、简单、自由、充分体现软件的定位和特点。

用户界面亦称使用者界面是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。用户界面是介于用户与硬件而设计彼此之间交互沟通相关软件，目的在使得用户能够方便有效率地去操作硬件以达成双向之交互，完成所希望借助硬件完成之工作，用户界面定义广泛，包含了人机交互与图形用户接口，凡参与人类与机械的信息交流的领域都存在着用户界面。在本实施例中对于可视化WebUI页面以及初始化的具体工作步骤不进行限定。

S11：启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，进入S12，若认证不通过，进入S13；

在本实施例中，对于权限服务器设置的位置为大数据服务器节点中，即在每一个大数据服务器节点中都存在一个与其对应的位置，根据大数据集群配置安装权限管理器，权限管理器的安装位置根据大数据组件服务的不同而不同，随着大数据组件服务的安装而安装，比如说：在安装组件服务时，权限管理器默认安装在HDFS服务的NameNode服务节点；在安装Hive组件服务时，权限管理器会默认安装HiveServer2服务节点。权限管理器拦截任务调度作业中子任务请求，并对该作业进行认证，如果通过则对其用户和权限进行对应的创建(包括对数据和对计算资源的权限)，否则报错并结束作业。当作业运行结束，权限管理器负责回收该作业相关用户和相关权限。当作业中子任务没有检测到用户和权限时，权限管理器会继承上一个子任务的用户和权限进行设定。在本实施例中对于大数据服务器集群的集中调度方式以及其搭建方法均不进行限定。

在电信网络中，一个节点是一个连接点，表示一个再分发点(redistributionpoint)或一个通信端点(一些终端设备)。节点的定义依赖于所提及的网络和协议层。一个物理网络节点是一个连接到网络的有源电子设备，能够通过通信通道发送、接收或转发信息。因此，无源分发点(如配线架或接插板)不是节点。在数据通信中，一个物理网络节点可以是数据电路端接设备，如调制解调器、集线器、桥接器或交换机；也可以是一个数据终端设备，如数字手机，打印机或主机(例如路由器、工作站或服务器)。如果所讨论的网络是一个局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)，每一个LAN或WAN节点(至少应该是数据链路层设备)必须拥有地址，一般每个网卡拥有一个。例如计算机、包交换机、调制解调器(带有乙太接口)以及无线LAN接入点。注意，集线器构成一个物理网络节点，但是并不构成LAN网络节点。这是因为一个使用集线器连接的网络逻辑上来说是一个总线网络。本实施例中的节点即可以是局域网中的节点，也可以是广域网中的节点。

S12：创建任务调度作业的用户和权限，并进行任务调度作业；

在部署大数据集群的时候，会随着集群部署进行默认安装，安装在大数据集群所有计算节点，对大数据集群所有计算资源进行管理。给作业分配计算资源(处理器、内存)对分配的计算资源进行隔离，并对作业使用该计算资源进行鉴权，只有通过认证的作业且拥有权限才允许使用该计算资源。资源管理器时刻监控着作业的运行状态及进程，并实时上报告WebUI进行展示。当作业结束后，资源管理器会把该分配的计算资源进行回收，释放。

S13：结束任务调度作业。

本发明主要应用于大数据集群中任务调度作业，一个任务调度作业Job包含多个子任务Task的权限管理。实现了大数据集群中一个任务调度作业Job过程中多个子任务Task之间的权限传递。当子任务执行时权限管理器会对用户和权限进行处理，要么创建新的用户和权限，要么只创建权限，要么继承上一子任务的用户和权限。对子任务需要的计算资源进行创建和回收。解决了任务调度作业Job执行过程中因为子任务Task涉及不同用户，不同数据，不同计算资源导致的集群用户权限混乱问题。作业运行中的用户和权限可以理解为单独为作业而生，随着作业的运行而创建，随着作业的结束而消失。不管该作业涉及大数据平台哪些服务，哪些数据，都是可以通过该任务调度平台进行任务的调度。本发明为大数据集群任务调度过程中权限的合理设定，提供了完整的权限管理技术，包括作业的创建、管理、回收，用户的创建、管理、回收，集群计算资源的创建、管理、回收，作业及子任务的监控等方面，可以方便的让用户在大数据集群上完成复杂的数据处理场景，而不用担心集群用户、权限、资源设置、管理、回收混乱问题，大大降低了用户使用门槛，避免了因用户权限，计算资源等设置引起的错误，提高了工作效率。

本申请所提供的任务调度方法，通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而将每个任务调度下发到相应的服务器节点中，并通过拦截子请求的方式，防止原用户对任务调度作业的影响，从而在服务器节点上重新创建任务调度作业的用户，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

上述实施例中对于任务调度作业的初始化工作的具体工作流程未进行限定，在此提供优选方案，登录可视化WebUI页面，进行任务调度作业的初始化工作包括：

登录可视化WebUI页面，记录任务调度作业的创建、查看、启停、修改、删除、同步；

对任务调度作业进行分类，根据用途保存到不同的目录下。

通过管理员或者普通用户登录可视化WebUI页面，作为任务调度管理中心、任务调度监控中心，进行对任务调度作业的创建、查看、启停、修改、删除、同步等操作，还可以对作业进行分类，到不同的目录下保存。对作业、任务调度作业的监控，日志查看等功能。可以在WebUI可视化页面上对作业子任务修改用户和权限，不管该用户在集群中存在不存在都可以设定，作业启动时会检查用户，如果用户在集群中不存在则创建该用户并设置作业调度权限，如果该用户存在则对该用户设定作业调度权限，该权限只允许该作业使用，即使集群中存在相同用户也不允许作业外的用户使用作业调度权限。作业运行用户和权限优先级：WebUI设置用户和权限优先级最高，其次是程序中设定的用户和权限，再次是默认用户和权限，默认用户和权限是作业启动时的用户和集群权限。如果子任务没有设置用户和权限，则该子任务继承上一个子任务的用户和权限。任务调度管理中心页面的“Upload”同步操作，主动触发点击之后主动加载集群中当前运行作业，如果不触发不点击，默认1分钟时间间隔轮询加载集群当前运行作业，时间间隔可以调整。扫描出来的集群中的作业，只能监控作业的运行状态，不能配置修改，若存在运行日志可以监控到运行日志。子任务Task策略配置模板,可以在程序编程的时候当作配置文件配置到代码中，也可以在任务调度中进行配置。

通过限定了初始化的流程，从而保证了任务调度的预先配置，从而便于在正式进行任务调度时的工作。

考虑到需要检测任务调度作业所对应的目标是存在集群中，在此提供优选方案，在任务调度作业启动之后，进行任务调度作业之前，还包括：

检测任务调度作业的用户是否在集群中；

若是，则对用户设定作业调度权限；

若否，则创建用户并设置作业调度权限。

集群通信系统是一种用于集团调度指挥通信的移动通信系统，主要应用在专业移动通信领域。该系统具有的可用信道可为系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。

上述实施例中对于任务调度的具体流程未进行限定，在此提供优选方案，进行任务调度包括：

调用资源管理器对任务调度作业分配计算资源，资源管理器设置于大数据服务器每一个节点中；

对分配的计算资源进行隔离，对任务调度作业使用计算资源进行鉴权；

使用计算资源进行任务调度工作。

计算资源(resource on the computation)计算复杂性理论的一个术语，在计算机行业，计算资源一般指计算机程序运行时所需的中央处理器资源、内存资源、硬盘资源和网络资源。各类编程语言在进行软件开发时，都支持对计算资源的申请、分配等操作。比如C语言的申请数组；而对线程的申请，则根据计算机中央处理器资源的情况而申请。在分布式计算架构中，可以对不同任务进行中央处理器资源、内存资源、硬盘资源和网络资源的控制。

鉴权(authentication)是指验证用户是否拥有访问系统的权利。传统的鉴权是通过密码来验证的。这种方式的前提是，每个获得密码的用户都已经被授权。在建立用户时，就为此用户分配一个密码，用户的密码可以由管理员指定，也可以由用户自行申请。这种方式的弱点十分明显：一旦密码被偷或用户遗失密码，情况就会十分麻烦，需要管理员对用户密码进行重新修改，而修改密码之前还要人工验证用户的合法身份。为了克服这种鉴权方式的缺点，需要一个更加可靠的鉴权方式。主流鉴权方式是利用认证授权来验证数字签名的正确与否。逻辑上，授权发生在鉴权之后，而实际上，这两者常常是一个过程。

需要说明的是，在本实施例中的计算资源主要是指大数据节点中的网络资源以及存储中的内存资源，通过对网络集群的计算资源的分配从而达到鉴权的目的。

考虑到需要定时对任务调度作业进行监控，在此提供优选方案，还包括：

每隔预设时间，轮询加载集群当前运行的任务调度作业。

轮询(Polling)是一种中央处理器决策如何提供周边设备服务的方式，又称“程控输入输出”(Programmed I/O)。轮询法的概念是：由中央处理器定时发出询问，依序询问每一个周边设备是否需要其服务，有即给予服务，服务结束后再问下一个周边，接着不断周而复始。需要说明的是，轮询是基站为终端分配带宽的一种处理流程，这种分配可以是针对单个终端或是一组终端的。为单个终端和一组终端连接分配带宽，实际上是定义带宽请求竞争机制，这种分配不是使用一个单独的消息，而是上行链路映射消息中包含的一系列分配机制。且在本实施例中对于预设时间的具体长度不进行限定，依据用户的需求，设置较短可以频繁监控，虽然比较耗费计算资源，但容易检测出任务调度中存在的问题。

考虑到对于子任务的信息修改，在此提供优选方案，还包括：

通过子任务Task策略配置模板对各子任务进行信息修改，修改的子任务信息包括任务启动方式，用户，节点，操作数据和权限，计算资源CPU和内存。

通过策略配置模板对各子任务进行信息修改，从而便于在启动是，任务调度作业的准确性。

考虑到需要对任务调度作业的历史进行监控，在此提供优选方案，还包括：

生成进行中的任务调度作业的日志，并将日志存储在存储装置中。

网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。

Windows网络操作系统都设计有各种各样的日志文件，如应用程序日志，安全日志、系统日志、服务日志、域名系统(Domain Name System，DNS)服务器日志等等，这些根据你的系统开启的服务的不同而有所不同。我们在系统上进行一些操作时，这些日志文件通常会记录下我们操作的一些相关内容，这些内容对系统安全工作人员相当有用。比如说有人对系统进行探测，系统就会在安全日志里迅速地记下探测者探测时所用的地址、时间、用户名等。

通过记录日志的方式，从而保证能对历史的任务调取作业进行记录，从而根据历史记录进行后续的调整以及优化。

在上述实施例中，对于任务调度方法进行了详细描述，本申请还提供任务调度装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图2为本申请实施例提供的一种任务调度装置示意图，该装置包括：

初始化模块10，用于登录可视化WebUI页面，进行任务调度作业的初始化工作；

认证模块11，用于启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则启动调度模块，若认证不通过，则启动结束模块；

调度模块12，用于进行任务调度作业；

结束模块13，用于结束任务调度作业。

优选地，该装置还包括：

检测模块，用于检测所述任务调度作业的用户是否在集群中，若是，开启调度模块，若否，开启创建模块；

调取模块，用于对所述用户设定作业调度权限；

创建模块，用于创建所述用户并设置所述作业调度权限。

优选地，该装置还包括：

轮询模块，用于每隔预设时间，轮询加载集群当前运行的所述任务调度作业。

优选地，该装置还包括：

子任务模块，用于通过子任务Task策略配置模板对各所述子任务进行信息修改，修改的子任务信息包括任务启动方式，用户，节点，操作数据和权限，计算资源CPU和内存。

优选地，该装置还包括：

生成模块，用于生成进行中的所述任务调度作业的日志，并将所述日志存储在存储装置中。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例及其对应的有益效果请参见方法部分的实施例的描述，这里暂不赘述。

本申请所提供的任务调度装置，包含初始化模块，认证模块，调度模块，结束模块，可通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而将每个任务调度下发到相应的服务器节点中，并通过拦截子请求的方式，防止原用户对任务调度作业的影响，从而在服务器节点上重新创建任务调度作业的用户，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

图3为本申请另一实施例提供的任务调度装置的结构图，如图3所示，任务调度装置包括：存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的任务调度方法的步骤。

本实施例提供的任务调度装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的任务调度方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述任务调度方法中涉及的数据等。

在一些实施例中，任务调度装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图3中示出的结构并不构成对任务调度装置的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的任务调度装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：上述实施例中涉及的任务调度方法。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例及其对应的有益效果请参见方法部分的实施例的描述，这里暂不赘述。

本申请所提供的任务调度装置，包含存储器与执行器，在存储器中的程序被执行器执行时可以实现通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而将每个任务调度下发到相应的服务器节点中，并通过拦截子请求的方式，防止原用户对任务调度作业的影响，从而在服务器节点上重新创建任务调度作业的用户，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

由于可读存储介质部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例及其对应的有益效果请参见方法部分的实施例的描述，这里暂不赘述。

本申请所提供的计算机可读存储装置，存储的内容被执行时，可以达到通过登录可视化WebUI页面，进行任务调度作业的初始化工作，启动权限管理器拦截任务调度作业中的子任务请求，并对子任务请求进行认证，权限管理器设置于大数据服务器节点中，若认证通过，则创建所述任务调度作业的用户和权限，并进行任务调度作业，若认证不通过，则结束任务调度作业，本申请中采用了可视化界面以及在服务器节点中设置权限管理器的方式，从而将每个任务调度下发到相应的服务器节点中，并通过拦截子请求的方式，防止原用户对任务调度作业的影响，从而在服务器节点上重新创建任务调度作业的用户，从而防止遗漏权限设置，或原本的本地用户与服务器节点的权限冲突所导致造成任务调度失败的问题。

以上对本申请所提供的一种任务调度装置，电路及装置及可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种任务调度方法，其特征在于，包括：

登录可视化WebUI页面，进行任务调度作业的初始化工作；

启动权限管理器拦截所述任务调度作业中的子任务请求，并对所述子任务请求进行认证，所述权限管理器设置于大数据服务器节点中；

若认证通过，则创建所述任务调度作业的用户和权限，并进行所述任务调度作业；

若认证不通过，则结束所述任务调度作业。

2.根据权利要求1所述的任务调度方法，其特征在于，所述登录可视化WebUI页面，进行任务调度作业的初始化工作包括：

登录所述可视化WebUI页面，记录所述任务调度作业的创建、查看、启停、修改、删除和同步；

对所述任务调度作业进行分类，根据用途保存到不同的目录下。

3.根据权利要求2所述的任务调度方法，其特征在于，在所述任务调度作业启动之后，所述进行所述任务调度作业之前，还包括：

检测所述任务调度作业的用户是否在集群中；

若是，则对所述用户设定作业调度权限；

若否，则创建所述用户并设置所述作业调度权限。

4.根据权利要求3所述的任务调度方法，其特征在于，所述进行任务调度包括：

调用资源管理器对所述任务调度作业分配计算资源，所述资源管理器设置于所述大数据服务器每一个节点中；

对分配的所述计算资源进行隔离，对所述任务调度作业使用所述计算资源进行鉴权；

使用所述计算资源进行任务调度工作。

5.根据权利要求2所述的任务调度方法，其特征在于，还包括：

每隔预设时间，轮询加载集群当前运行的所述任务调度作业。

6.根据权利要求1至5任意一项所述的任务调度方法，其特征在于，还包括：

通过子任务Task策略配置模板对各所述子任务进行信息修改，修改的子任务信息包括任务启动方式，用户，节点，操作数据和权限，计算资源CPU和内存。

7.根据权利要求6所述的任务调度方法，其特征在于，还包括：

生成进行中的所述任务调度作业的日志，并将所述日志存储在存储装置中。

8.一种任务调度装置，其特征在于，包括：

初始化模块，用于登录可视化WebUI页面，进行任务调度作业的初始化工作；

认证模块，用于启动权限管理器拦截所述任务调度作业中的子任务请求，并对所述子任务请求进行认证，所述权限管理器设置于所述大数据服务器节点中，若认证通过，则启动调度模块，若认证不通过，则启动结束模块；

所述调度模块，用于进行所述任务调度作业；

所述结束模块，用于结束所述任务调度作业。

9.一种任务调度装置，其特征在于，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的任务调度装置的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的任务调度方法的步骤。

Images