CN103744734B - 一种任务作业处理方法、装置及系统 - Google Patents

Abstract

本发明适用云检测技术领域，提供了一种任务作业处理方法、装置及系统，包括：在云检测系统中提交任务作业；检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。本发明避免了系统容易出现崩溃的情况，提高了系统的稳定性和处理任务的高效性。

Description

一种任务作业处理方法、装置及系统

技术领域

本发明属于云检测技术领域，尤其涉及一种任务作业处理方法、装置及系统。

背景技术

云检测平台自动化检测调度系统为云检验检测公共服务平台的基础构成部分，涵盖检测资源调度管理、自动化检测两大核心功能，为云检验检测平台的主体构成部分以及检测服务承载体。系统在平台中起到承上启下之作用。一方面，系统作为检测工具的接入口，起到承接检测工具的增添、配置以及自动运行的支撑作用，同时直接面向用户提供检测服务。另一方面，系统直接面向数据中心的物理硬件和虚拟化设备，承担了检测资源（虚拟机、物理机）构建所需的资源申请、释放、配置等工作。

当前主流的云测试平台都偏向于一种类型的测试，通常，集群任务调度系统，将任务调度和控制集中在一个节点上，当节点规模增大时，该系统的负载呈几何指数上升，不利于系统的稳定性。

以当前流行的任务调度系统quartz为例，任务调度和控制位于一个集群的节点上，当集群规模比较大时，调度和控制压力大增，容易出现体统崩溃。

发明内容

本发明实施例的目的在于提供一种任务作业处理方法、装置及系统，旨在解决云测试平台中集群任务调度系统，将任务调度和控制集中在一个集群的节点上的问题。

本发明实施例是这样实现的，一种任务作业处理方法，包括：、

在云检测系统中提交任务作业；

检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。

本发明实施例的另一目的在于提供一种任务作业处理装置，包括：

提交单元，用于在云检测系统中提交任务作业；

第一检测单元，用于检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

第一处理单元，用于若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

第二处理单元，用于若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。

本发明实施例的另一目的在于提供一种任务作业处理装置，其包括上述任务作业处理装置。

在本实施例中，由跨集群调度器调度和控制跨集群任务类型的任务作业，集群调度器调度和控制集群任务类型的任务作业，从而将任务调度和控制分散在各个集群的节点上，通过多个集群分散调度和控制压力，避免了系统容易出现崩溃的情况，提高了系统的稳定性和处理任务的高效性。

附图说明

图1是本发明实施例提供的任务作业处理方法的实现流程图；

图2是本发明实施例提供的分层结构的系统结构简图；

图3是本发明实施例提供的xLape的系统结构简图；

图4是本发明实施例提供的TSM模块的系统结构简图；

图5是本实施例提供的检测作业提交执行流程图；

图6是本实施例提供的作业状态维护更新机制的实施流程图；

图7是本实施例提供的检测虚拟资源的实施流程图；

图8是本发明实施例提供的一种任务作业处理装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种任务作业处理方法的实现流程图，详述如下：

在步骤S101中，在云检测系统中提交任务作业；

采用统一的任务提交接口，可以用xml文件对任务信息进行描述

在步骤S102中，检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

其中，跨集群调度器和集群调度器在云检测系统中形成分层结构，可将任务分开，将任务调度和控制分散在各个集群的节点上，当集群规模比较大时，可通过多个集群分散调度和控制压力。

参考图3

，图2是本发明实施例提供的分层结构的系统结构简图。

在步骤S103中，若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

若任务类型为集群任务类型，则由云检测系统中预置的集群调度器处理所任务类型为集群任务类型的任务作业，将任务作业下发至一个集群里的节点进行处理。

集群是由两台或两台以上的节点机构成的计算节点集合。

其中，节点包括虚拟机和物理机。

在步骤S104中，若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。

若任务类型为跨集群任务时，由云检测系统中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业，将跨集群任务类型的任务作业发送至多个集群中，让多个集群进行处理任务作业。

处理完毕后，生成测试结果，并对测试结果进行分析，生成结果展示，返回至客户端。

其中，结果展示的方多包括但不限于柱状图、曲线图、饼图中任意一种的展示方式。

在本实施例中，由跨集群调度器调度和控制跨集群任务类型的任务作业，集群调度器调度和控制集群任务类型的任务作业，从而将任务调度和控制分散在各个集群的节点上，通过多个集群分散调度和控制压力，避免了容易出现体统崩溃的情况，提高了系统的稳定性和处理任务的高效性。

作为本发明的一个优选实施例，所述在云检测系统中提交任务作业，包括：

根据提交的时间，对提交的任务作进行排队，生成作业队列；

查询云检测系统的负荷值，检测所述负荷值是否低于预先设定的负荷阈值；

若是，在所述作业队列中提取作业提交执行。

在本实施例中，根据提交的时间，对提交的任务作进行排队，生成作业队列，采用消息队列服务器对消息队列收集的数据进行处理。

若负荷值低于预先设定的阈值，在作业队列中提取作业提交执行。

若负荷值不低于预先设定的阈值，不在作业队列中提取作业提交执行。

在本实施例中，避免在系统负荷过重继续提交检测任务，出现拥堵和过长等待时间的情况，保证了系统的稳定性。

作为本发明的一个优选实施例，所述处理所述任务类型为跨集群任务类型的任务作业，包括：

获取所述任务作业的资源需求，所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合；

根据所述任务作业的资源需求，处理所述任务类型为跨集群任务类型的任务作业。

在本实施例中，获取任务作业的资源需求，根据作业执行的资源需求，通过快速匹配算法在集群中寻找满足要求的机器，通过机器处理任务类型为跨集群任务类型的任务作业，完成作业文件的部署和执行。

在本实施例中，避免了不满足要求的机器，对任务进行处理，出现拥堵和过长等待时间的情况，节省了时间，保证了处理任务的高效性。

作为本发明的一个优选实施例，在检测所述任务作业的任务类型之后，还包括：

检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点，同时对所述节点注册相应的更新监听函数；

当检测到任务的运行状态发生改变时，自动回调所述更新监听函数，对所述任务作业的状态更新，以使当作业状态变为完成时，所述检测作业管理器在所述中间件上删除所述节点。

在本实施例中，当检测到任务的运行状态发生改变时，通过自动回调更新监听函数，将所有节点中任务状态数据发送至分布式数据库，任务状态数据为包括任务的运行状态的数据，当分布式数据库接收到任务状态数据后，将任务状态数据返回至查询任务的界面上，完成更新，以使得用户可以实时看到任务的处理进度，同时检测作业管理器在中间件上删除节点，完成节点执行状态的更新。

作为本发明的一个优选实施例，其特征在于，还包括：

建立云检测系统；

所述云检测系统的框架如下，负责虚拟资源管理的第一模块、负责检测工具和对象部署运行的第二模块、负责各模块集成和检测服务调度的检测服务管理模块、以及检测服务用户界面的测试模块。

第一模块（xVem）是一个提供了混合虚拟机管理支撑的虚拟资源管理平台，可分别融合并支撑异构的虚拟机管理工具（如OpenNebulae、Euclyptus、OpenStack）以及虚拟机类型（如Xen、KVM、VmWare等）。利用xVem作为检测资源的获取来源，并实现对检测虚拟机的管理。其中，xVem提供虚拟机操作API，并以WEB Service的形式开放给用户。

第二模块（xLape）是一个轻量级、可扩展的自动化集群任务调度和执行系统。使用者可以通过命令行工具和作业描述文件向xLape提交需要在集群上运行的作业。其中，xLape可以自动完成作业可执行文件和数据文件的传输、执行节点的查询匹配、作业的自动分配执行等一系列动作。

参考图3，图3是本发明实施例提供的xLape的系统结构简图。

xLape可以通过以XML格式描述的作业提交文件接受客户的作业控制请求，如作业提交、删除、停止等。xLape Scheduler作为xLape系统的核心调度器，首先将作业放置于分级队列中，按公平等策略等候处理。当轮候到某个作业进行处理是，xLape根据作业执行的资源需求描述，通过快速匹配算法在集群中寻找满足要求的机器进行作业文件的部署和执行。

当xLape中相应的检测任务完成后，将采用事件监听/回调机制通知TSM系统。基于系统的松耦合设计考虑，此回调机制将基于第三方一致性消息中间件ZooKeeper来实现，而非同时对xLape和TSM改造实现此机制。完成消息通知过程在TSM模块设计中详细描述。

检测服务管理模块（TSM模块）是检测调度系统的主要核心模块，承担了外部子系统的功能集成、用户接口呈现等工作，从而实现检测调度系统的主要功能。

TSM模块包括下列核心构件：

●资源管理器：与xVem系统对接，负责维护、操控用于检测的虚拟机源；

●检测任务管理器：与xLape系统对接，负责维护、操控检测作业；

●检测套件管理器：用于存储、维护检测工具以及检测对象的配置信息、文件存储等；

参考图4，图4是本发明实施例提供的TSM模块的系统结构简图。

测试模块一方面向用户展示可用的检测工具和检测对象、提供检测的参数配置、展示用户已提交的检测请求列表和进行状态。另一方面，需要向管理员展示可用的虚拟机资源，并接受管理员的VM申请和撤销相关操作。

检测任务管理器（Test Task Manager）负责接收服务界面发送的检测作业请求，并缓存在作业队列中，提供查询和作业执行提取功能。

检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件，利用xLape的相应接口进行提交，从而启动检测任务。当xLape中的检测任务执行状态发生变化时，将通知检测任务管理器进行作业状态的更新。资源管理器（ResourceManager）负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令，同时通过xVem的开放API完成相应的操作功能。测试套件管理器（Test Suits Manager）保存了系统当前可用的检测工具以及检测目标的具体信息，包括运行检测所需的参数、环境配置、可执行文件和数据文件的存放地址等。测试套件管理器为用户在服务界面的操作和检测项目的选择提供相应的数据，同时可以根据用户在服务界面的操作生成检测调度系统内部的检测作业专用描述文件，从而为检测作业的提交执行提供基础。

参考图5，图5是本实施例提供的检测作业提交执行流程图。

一方面，检测作业管理器启动预处理进行，接收用户服务界面的检测请求，进行预处理生成标准的作业描述。若用户提交的为离线人工检测，则将此作业放置于离线作业队列中等候人工处理。若为自动在线检测则放置于在线作业队列中。另一方面，检测作业管理器维护一在线作业处理线程（进程）。此线程循环扫描在线作业队列，如果存在等候处理的作业，则进一步查询xLape系统的负荷情况。若xLape系统的负荷低于预先设定的阈值，则从在线作业队列中提取一作业提交执行，否则继续周期性睡眠等待。采用此机制可避免在xLape系统负荷过重的情况下继续提交检测任务，造成拥堵和过长等待时间。

参考图6，图6是本实施例提供的作业状态维护更新机制的实施流程图。

检测作业状态更新维护流程指检测作业提交xLape启动执行后，其检测作业管理器中的状态转变更新及维护流程。在采用了分布式一致性中间件zookeeper（以下简称zk）后，可以实现事件触发式的作业状态更新方式，从而避免轮询带来的开销。此流程可简述如下:在提交作业成功后，检测作业管理器将在zk上注册带有检测任务ID号与初始信息的节点，同时为此节点注册相应的更新监听函数。当检测任务的运行状态发生改变的时候，xLape系统主动更新zk上相应任务的状态信息。zk系统将自动回调对应任务中检测作业管理器所注册的监听函数，从而实现检测作业管理器中的作业状态更新。当作业状态变为完成时，检测作业管理器将从zk上删除相应的任务节点。

参考图7，图7是本实施例提供的检测虚拟资源的实施流程图。

检测服务的虚拟机类型按用途可分为两类，一类用于离线检测，一类用于在线自动化检测。对于离线和在线检测的虚拟机都分别在xVem系统中配置好相应的模板和镜像。特别地，由于自动化检测虚拟机的目的在于承载xLape系统的运行，因此在线自动化检测的虚拟机镜像中提前嵌入xLape的集群任务执行agent，以便于在此类虚拟机启动后，即可动态扩展xLape系统规模。当管理员在服务界面对检测虚拟机进行创建、释放、重启、查询等操作时，所选定的相关参数被传送到检测资源管理器。资源管理器从而调用xVem的相应接口完成操作，并根据操作的返回信息更新所维护的VM Pool信息。

参照图8，图8是本发明实施例提供的一种任务作业处理装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

该任务作业处理装置，包括：

提交单元81，用于在云检测系统中提交任务作业；

第一检测单元82，用于检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

第一处理单元83，用于若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

第二处理单元84，用于若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。

进一步地，在该任务作业处理装置中，所述提交单元81，包括：

排队子单元，用于对提交的任务作业，根据提交的时间进行排队，生成作业队列；

检测子单元，用于查询云检测系统的负荷值，检测所述负荷值是否低于预先设定的负荷阈值；

提取子单元，用于若是，在所述作业队列中提取作业提交执行。

进一步地，在该任务作业处理装置中，所述第二处理单元84包括：

获取子单元，用于获取所述任务作业的资源需求，所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合；

处理子单元，用于根据所述任务作业的资源需求，处理所述任务类型为跨集群任务类型的任务作业。

进一步地，在该任务作业处理装置中，还包括：

第二检测单元，用于检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点，同时对所述节点注册相应的更新监听函数；

更新单元，用于当检测到任务的运行状态发生改变时，自动回调所述更新监听函数，对所述任务作业的状态更新，以使当作业状态变为完成时，所述检测作业管理器在所述中间件上删除所述节点。

一种云检测系统，包括上述任务作业处理装置。

本发明实施例提供的装置可以应用在前述对应的方法实施例中，详情参见上述实施例的描述，在此不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种任务作业处理方法，其特征在于，包括：

在云检测系统中提交任务作业；

检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型；

其中，若任务类型为跨集群任务时，由云检测系统中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业，将跨集群任务类型的任务作业发送至多个集群中，让多个集群进行处理任务作业；

检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件，利用xLape的相应接口进行提交，从而启动检测任务，当xLape中的检测任务执行状态发生变化时，将通知检测任务管理器进行作业状态的更新，资源管理器(Resource Manager)负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令，同时通过第一模块xVem的开放API完成相应的操作功能；

第一模块(xVem)是一个提供了混合虚拟机管理支撑的虚拟资源管理平台；

第二模块(xLape)是一个轻量级、可扩展的自动化集群任务调度和执行系统。

2.根据权利要求1所述的方法，其特征在于，所述在云检测系统中提交任务作业，包括：

对提交的任务作业，根据提交的时间进行排队，生成作业队列；

查询云检测系统的负荷值，检测所述负荷值是否低于预先设定的负荷阈值；

若是，在所述作业队列中提取作业提交执行。

3.根据权利要求1所述的方法，其特征在于，所述处理所述任务类型为跨集群任务类型的任务作业，包括：

获取所述任务作业的资源需求，所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合；

根据所述任务作业的资源需求，处理所述任务类型为跨集群任务类型的任务作业。

4.根据权利要求1所述的方法，还包括：

检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点，同时对所述节点注册相应的更新监听函数；

当检测到任务的运行状态发生改变时，自动回调所述更新监听函数，对所述任务作业的状态更新，以使当作业状态变为完成时，所述检测作业管理器在所述中间件上删除所述节点。

5.根据权利要求3所述的方法，其特征在于，还包括：

建立云检测系统；

所述云检测系统的框架包括第一模块、第二模块、检测服务管理模块、测试模块，其中，所述第一模块用于管理虚拟资源、所述第二模块用于检测工具和对象部署运行、所述检测服务管理模块用于集成各模块以及用于检测服务调度、所述测试模块检测服务用户界面。

6.一种任务作业处理装置，其特征在于，包括：

提交单元，用于在云检测系统中提交任务作业；

第一检测单元，用于检测所述任务作业的任务类型，所述的任务类型包括集群任务类型和跨集群任务类型；

第一处理单元，用于若所述任务类型为集群任务类型，则由所述云检测系统中预置的集群调度器处理所述任务类型为集群任务类型的任务作业；

第二处理单元，用于若所述任务类型为跨集群任务时，则由所述云检测系统中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业；

其中，所述集群任务类型是由一个集群进行处理任务作业的类型，所述跨集群任务类型是由至少两个集群进行处理任务作业的类型；

其中，若任务类型为跨集群任务时，由云检测系统中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业，将跨集群任务类型的任务作业发送至多个集群中，让多个集群进行处理任务作业；

检测任务管理器(Test Task Manager)负责接收服务界面发送的检测作业请求，并缓存在作业队列中，提供查询和作业执行提取功能；

检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件，利用xLape的相应接口进行提交，从而启动检测任务，当xLape中的检测任务执行状态发生变化时，将通知检测任务管理器进行作业状态的更新，资源管理器(Resource Manager)负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令，同时通过第一模块xVem的开放API完成相应的操作功能；

第一模块(xVem)是一个提供了混合虚拟机管理支撑的虚拟资源管理平台；

第二模块(xLape)是一个轻量级、可扩展的自动化集群任务调度和执行系统。

7.根据权利要求6所述的任务作业处理装置，其特征在于，所述提交单元，包括：

排队子单元，用于对提交的任务作业，根据提交的时间进行排队，生成作业队列；

检测子单元，用于查询云检测系统的负荷值，检测所述负荷值是否低于预先设定的负荷阈值；

提取子单元，用于若是，在所述作业队列中提取作业提交执行。

8.根据权利要求6所述的任务作业处理装置，其特征在于，所述第二处理单元包括：

获取子单元，用于获取所述任务作业的资源需求，所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合；

处理子单元，用于根据所述任务作业的资源需求，处理所述任务类型为跨集群任务类型的任务作业。

9.根据权利要求8所述的任务作业处理装置，其特征在于，还包括：

第二检测单元，用于检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点，同时对所述节点注册相应的更新监听函数；

更新单元，用于当检测到任务的运行状态发生改变时，自动回调所述更新监听函数，对所述任务作业的状态更新，以使当作业状态变为完成时，所述检测作业管理器在所述中间件上删除所述节点。

10.一种云检测系统，其特征在于，包括权利要求6至9任意一项任务作业处理装置。