CN103942034A - 任务调度方法及实现该方法的电子装置 - Google Patents

Abstract

一种任务调度方法及实现该方法的电子装置，该方法包括如下步骤：导入每个项目的文件数据；根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群；对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理。利用本发明可使得生物信息分析及其它分析项目的运行更加快捷简便。

Description

任务调度方法及实现该方法的电子装置

技术领域

本发明涉及一种生物信息分析方法，尤其涉及一种生物信息分析中的任务调度方法及实现该方法的电子装置。

背景技术

生物信息学研究需要高性能计算平台，通常以集群的形式构建。任务调度系统用于将用户提交的计算任务分配到集群上的各个节点，达到并行计算的目的。目前广泛应用的任务调度系统包括SGE（SunGrid Engine）、PBS（Portable Batch System）、LSF（Load SharingFacility）等，它们基本解决了任务分配的问题，但缺乏更高级的管理功能。以SGE为例，其主要缺点包括：

1.只能投递单个的计算任务，不能处理具有复杂依赖关系的任务集合；

2.不能对集群的异常情况进行处理；

3.任务进度缺乏直观的反馈。

发明内容

鉴于以上内容，有必要提供一种任务调方法及实现该方法的电子装置，其可将各任务统一为项目进行管理，对集群的异常情况进行自动处理，并以图形或表格的直观形式显示任务进度，使得生物信息分析及其它分析项目的运行更加快捷简便。

一种任务调度方法，包括如下步骤：导入每个项目的文件数据；根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群；对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理。

进一步地，所述任务调度方法还包括步骤：以图形或表格方式显示每个项目中各任务的运行状态和依赖关系，如果以图形方式显示每个项目中各任务的运行状态，则用不同颜色标记各任务的不同运行状态。

一种电子装置，该电子装置包括：存储器；一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括：导入每个项目的文件数据的模块；根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群的模块；对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理的模块。

进一步地，所述一个或多个模块还包括：以图形或表格方式显示每个项目中各任务的运行状态和依赖关系的模块，如果以图形方式显示每个项目中各任务的运行状态，则用不同颜色标记各任务的不同运行状态。

相较于现有技术，本发明使得信息分析流程的操作更简便，同时也提高了分析效率。传统信息分析流程需要用户根据任务的依赖关系手工投递任务，并人工监视和处理异常状态。本发明可自动判断依赖关系并投递任务，并集成了各种异常处理措施，不再需要人工干预。因此，用户提交项目后不需要任何操作即可自动完成，大大简化了用户的操作。同时本发明可以自动处理异常，不需要等待人工判断和干预，因此提高了整体效率，保证了结果的质量。

现有的类似任务调度系统通常是以常驻内存的方式运行，需要消耗登录节点资源，同时对节点死机或断电的情况无法处理，仍需用户人工干预。本发明不需要常驻内存，并在设计上尽量降低了资源消耗，提高了运行效率，可使得生物信息分析及其它分析项目的运行更加快捷简便。

附图说明

图1是本发明任务调度方法的整体流程图；

图2是图1中步骤S10的具体流程图；

图3A和图3B是图1中步骤S30的具体流程图；

图4是以图形方式显示各任务的运行状态及依赖关系的示意图；

图5是以表格方式显示各任务的运行状态的示意图。

具体实施方式

在介绍本发明（即任务调度方法或称之为任务调度程序）的具体实现方式之前为更好地说明本发明先简要介绍本发明支持的命令：

taskmonitor	导入task_monitor.py格式的任务列表
		qsubsge	导入qsub-sge.pl格式的任务列表
directrun	直接在计算节点上运行程序
		stat	获取项目进度统计
setdefault	设置默认参数
		pauseproject	暂停指定项目的任务
resumeproject	恢复指定项目的任务执行
		removeproject	删除指定项目的任务
updateproject	更新指定项目的状态
		setmaxjobs	设置项目的最大运行任务数量
logdump	显示项目日志
		help	显示帮助信息

例1：对肿瘤分析流程的自动监控。

肿瘤分析流程使用task_monitor.py格式的任务列表，其对应的选项如下：

具体使用示例为：

monitor taskmonitor-i config.txt-p HUMxucX。

例2：对传统分析流程的自动监控。

传统分析流程使用qsub_sge.pl格式的任务列表，其对应的选项参数如下：

具体使用示例为：

monitor qsubsge-i jobs.txt-p HUMxucX-1vf=4g。

对于以上示例可以用以下命令查看状态：monitor start，通过指定参数，可生成附图4和5所示的图形或表格报告。以下通过图1至图5详细描述本发明任务调度方法的具体步骤。

本发明应用于带有显示屏幕和输入设备的电子装置（如各种医疗检测设备）中。所述显示屏幕可以是触摸屏等显示装置，所述输入设备可以是键盘等输入装置。所述电子装置还包括通过数据线或信号线相连的存储器和处理器，及其它必要的电子元器件和系统软件，在此不再一一赘述。

所述电子装置中运行有任务调度系统，所述任务调度系统存储于电子装置的存储器中，用于将各任务统一为项目进行管理，对集群的异常情况进行自动处理，并以图形或表格的直观形式显示任务进度，使得生物信息分析及其它分析项目的运行更加快捷简便，具体方法流程参阅图1至图5的描述。

在本实施例中，所述任务调度系统可以提供一个或多个模块，所述一个或多个模块被存储在所述电子装置的存储器中并被配置成由一个或多个处理器执行，以完成本发明。本发明所称的模块是完成一特定功能的计算机程序段，比程序更适合于描述软件在计算机中的执行过程，以下各步骤皆由相应的软件模块完成。

如图1所示，是本发明任务调度方法的整体流程图。

步骤S10，导入每个项目的文件数据，具体步骤参阅图2所示。本发明提供了项目管理功能。生物信息分析通常是指由一系列任务组成的项目，对其中的单个任务进行管理既繁琐又无必要。因此本发明将各任务统一为整体的项目，以项目为单位进行管理。用户可以对项目进行添加、删除、暂停、继续等操作，本发明会自动对应到每个项目（例如，对项目进行暂停操作即相当于对其中的每个任务都进行暂停操作）。同一用户可以同时执行多个项目，并且可以设置每个项目同时运行的最大任务数量，从而为各个项目分配不同的优先级。例如，最大任务数量越多，优先级越高。

步骤S20，根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群。本发明提供了任务管理及依赖关系处理功能。任务管理是指将用户提交的分析任务投递到集群，并监视其状态，直至计算完成的过程。本发明使用了DRMAA（Distributed ResourceManagement Application API，分布式资源管理应用编程）通用接口进行通信，可以兼容SGE（Sun Grid Engine）、PBS（Portable BatchSystem）、LSF（Load Sharing Facility）、Condor、Gridway等常见调度系统。为判断分析任务是否正常完成，本发明在任务脚本最后加入一段特定字符串，并通过判断输出信息中是否包含此特定字符串的方式判断任务是否正常完成。

为确定任务投递的顺序，本发明加入了依赖关系处理的功能。例如，变异检测任务需要比对任务的比对结果作为输入，则称变异检测任务与比对任务之间有依赖关系，且比对任务为变异检测任务的前置任务。当用户提交每两个任务的依赖关系列表后，本发明可根据该依赖关系列表生成依赖关系树。例如，参阅图4所示，每个方框表示一个任务，每个箭头表示一个依赖关系，所有依赖关系的集合成为一个依赖关系树。当每个树的子节点均为完成状态时，才会执行父节点的任务。当子节点出错时，即便父节点已运行完毕也会重置为出错状态，从而保证了结果的准确性。例如，参阅图4所示，当任务21与任务22完成时，才会执行任务31。其中，所述任务21可以为bwa_aln1.sh，所述任务22可以为bwa_aln2.sh，所述任务31可以为bwa_sam.sh。

步骤S30，对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理，具体步骤参阅图3A与图3B的描述。

本发明提供了集群异常处理功能。集群异常是指由于硬件或软件故障导致的任务失败，包括任务异常退出、结果不完整，任务挂起，CPU时间为0、不动或增长缓慢，内存占用超出设定值，磁盘剩余空间不足，计算节点死机、登录节点死机、集群断电等情况。对于这些情况，本发明均可自动处理。

对于任务异常退出、结果不完整的情况，本发明可通过前述完整性判断的方式进行识别（即通过任务脚本中的特定字符串，判断分析任务是否正常完成），并对异常退出的任务自动重新投递。

任务挂起的情况可能是由于计算节点资源不足导致，本发明会统计任务挂起的时间，挂起时间超过阈值后自动删除任务并重新投递到其他节点。

CPU时间为0、不动或增长缓慢可能是计算节点死机或资源不足导致，本发明会统计任务的CPU时间并与程序实际运行的时间（实际时间）对比，若CPU时间与实际时间的比值小于阈值则自动删除任务并重新投递到其他节点。

内存占用超出设定值是由于用户参数设置不当或计算程序不完善导致，本发明可以监视内存消耗情况，若内存消耗超出设定值则删除任务并按照更大的内存需求设定重投。

磁盘剩余空间不足时本发明会自动将任务挂起，并在磁盘空间足够时重新恢复任务执行。

计算节点死机会导致任务处于失败或挂起状态，可通过前述方式重投，如自动删除任务并重新投递到其他节点。

登录节点死机及集群断电会导致调度程序无法运行，但在硬件条件恢复正常后本发明可通过计划任务自动重新启动，继续完成调度工作。

步骤S40，以图形或表格方式显示每个项目中各任务的运行状态和依赖关系。

本发明提供了状态报告功能。如上所述，本发明对一系列任务以项目为单位进行管理，因此可以对项目中的各个任务状态进行统计，反映项目的整体进度。同时，本发明也可以将项目中各任务的运行状态和依赖关系以图形方式或表格方式展示出来，直观体现了项目的当前状态和依赖关系。

例如，参阅图4所示，各任务的运行状态和依赖关系以图形方式进行显示。在本实施例中，可以用不同颜色标记各任务的不同运行状态。例如，在图4中，可以用灰色代表任务状态为“完成”，用绿色代表任务状态为“运行中”，用蓝色代表任务状态为“未运行”，用红色代表任务状态为“失败”，等等。进一步地，参阅图5所示，也可以用表格方式显示不同运行状态的任务数量。例如，所述表格包括以下栏位：项目名称（Name）、等待任务数（Pending）、队列任务数（Queued）、暂停任务数（Hold）、运行任务数（Running）、完成任务数（Done）、出错任务数（Error）、总任务数（Total）和最大同时运行任务数（Max）等。这些统计表格和图形既可以输出到屏幕和磁盘，也可以通过电子邮件的方式发送到指定邮箱。本发明还提供定时报告的功能，可每天自动将报告发送到用户的邮箱，方便用户了解项目情况。

如图2所示，是图1中步骤S10的具体流程图。

步骤S101，判断项目是否已经存在。

步骤S102，如果项目不存在，则初始化项目数据库。

步骤S103，如果项目存在，则读取需要导入的项目文件，如肿瘤分析的项目文件config.txt。

步骤S104，依次添加该项目中每个任务的脚本文件，如添加脚本1、脚本2、脚本3。以下以一个任务（当前任务）为例说明具体添加过程。

步骤S105，判断当前任务是否已经存在。

步骤S106，如果当前任务不存在，则初始化当前任务对象。

步骤S107，如果当前任务存在，则判断Log文件（日志文件）是否已经存在。

步骤S108，如果Log文件存在，则清除当前任务的Log文件，然后执行步骤S112。

步骤S109，如果Log文件不存在，则判断模式选择方式。在本实施例中，所述模式选择方式包括以下三种：“常规模式”、“项目重置模式”和“脚本更新模式”。所述三种模式的主要区别在于如何处理项目中曾经运行过的任务。

常规模式：保留曾经运行过的任务结果，继续运行未完成的任务。

项目重置模式：删除所有曾经运行过的任务，重新运行整个项目。

脚本更新模式：保留曾经运行过的任务结果，但对于运行后又修改了脚本的任务重新运行，并依次更新依赖这些任务的后续任务。

如果模式选择方式为项目重置模式，则执行步骤S108；如果模式选择方式为常规模式，则执行步骤S110，记录当前任务编号，然后执行步骤S112。

步骤S111，如果模式选择方式为脚本更新模式，则判断当前任务的脚本运行后是否经过修改。如果当前任务的脚本运行后经过修改，则执行步骤S108，清除当前任务的Log文件，重新运行当前任务；如果当前任务的脚本运行后没有经过修改，则直接执行步骤S112。

步骤S112，根据各任务的状态变化，重置各任务之间的依赖关系。例如，如果某任务从一个项目中删除，则该任务与该项目中的其它任务之间的依赖关系也随之删除。

如图3A和图3B所示，是图1中步骤S30的具体流程图。

步骤S301，读取项目列表，依次更新每个项目，如更新项目1、项目2、项目3。以下以一个项目（当前项目）为例说明具体更新过程。

步骤S302，读取当前项目数据库。

步骤S303，判断当前项目是否已经完成。如果当前项目已经完成，则流程结束。

步骤S304，如果当前项目没有完成，判断磁盘空间是否不足。

步骤S305，如果磁盘空间不足，则暂停当前项目中的所有任务，然后结束流程。

步骤S306，如果磁盘空间足够，则依次更新当前项目中的每个任务，如更新任务1、任务2、任务3。以下以一个任务（当前任务）为例说明具体更新过程。

步骤S307，判断当前任务是处于“运行中”还是“已结束”。如果当前任务已结束，则执行步骤S308；如果当前任务没有结束，则执行步骤S312。

步骤S308，判断当前任务的结束标志是正常还是异常。如果当前任务的结束标志正常，则执行步骤S309；如果当前任务的结束标志异常，则执行步骤S314。如前所述，结束标志为任务脚本中的一段特定字符串。脚本输出中若存在该特定字符串则为正常，若不存在为异常。

步骤S309，判断当前任务的所有前置任务（当前任务执行前需执行完成的任务）状态。

步骤S310，如果前置任务存在未完成任务，则判定前置任务已更新，重置当前任务，然后执行步骤S317。

对于有依赖关系的任务，显然是在被依赖的任务（即前置任务）全部执行完毕后才能执行当前任务。若被依赖的任务尚未执行完毕，当前任务却已经完成了，则说明被依赖的任务曾经有过更新。这时相关结果可能已经改变了，因此当前任务需要重新运行（重置当前任务）。

步骤S311，如果前置任务全部完成，则记录当前任务状态为：完成，然后执行步骤S318。

步骤S312，如果步骤S307中判断当前任务没有结束，则判断当前任务的资源使用情况为正常还是异常。如果资源使用情况为正常，则执行步骤S313；如果资源使用情况为异常，则执行步骤S314。

在本实施例中，资源使用情况包括CPU使用情况和内存使用情况。CPU使用情况方面，CPU时间与实际时间的比值大于阈值为正常，小于阈值为异常；内存使用情况方面，申请内存的大小与实际使用内存的大小的比值大于阈值为正常，小于阈值为异常。

步骤S313，记录当前任务状态为：运行中，然后执行步骤S318。

步骤S314，删除当前任务及当前任务的Log文件。

步骤S315，判断是否达到最大重试次数（如3次）。

步骤S316，如果达到最大重试次数，则记录当前任务状态为：失败，然后执行步骤S318。

步骤S317，如果没有达到最大重试次数，则初始化当前任务，并记录当前任务状态为：未运行，然后执行步骤S318。

步骤S318，更新当前任务的前置任务状态。例如，如果当前任务状态更新为完成，则前置任务状态也更新为完成。

步骤S319，判断当前项目的所有任务是否均已完成。

步骤S320，如果当前项目的所有任务均已完成，则将当前项目标记为已完成。

步骤S321，如果当前项目中还有任务没有完成，则判断当前项目是否已经暂停。如果当前项目已经暂停，则流程结束。

步骤S322，依次将当前项目中的每个任务投递到集群中，如投递任务1、任务2、任务3。以下以一个任务（当前任务）为例说明具体投递过程。

步骤S323，判断当前任务状态。如果当前任务状态为“运行中”或“已完成”，则流程结束。

步骤S324，如果当前任务状态为“未运行”，则判断当前任务的前置任务状态。如果前置任务状态为“未运行”，则流程结束；如果前置任务状态为“已完成”，则直接执行步骤S326。

步骤S325，如果前置任务状态为“运行中”，则将前置任务加入Hold列表（暂停列表），然后执行步骤S326。

在本实施例中，Hold列表是SGE（Sun Grid Engine）调度系统提供的一套机制。对于有Hold列表的任务，投递之后首先处于hold状态，不会运行；当Hold列表中的所有前置任务完成后才会自动启动。

步骤S326，判断当前项目是否达到最大任务数。如果当前项目达到最大任务数，则结束流程。

步骤S327，如果当前项目没有达到最大任务数，则将当前任务投递到集群中。

传统信息分析流程需要用户根据任务的依赖关系手工投递任务，并人工监视和处理异常状态。本发明可自动判断依赖关系并投递任务，并集成了各种异常处理措施，不再需要人工干预。因此，用户提交项目后不需要任何操作即可自动完成，大大简化了用户的操作。同时本发明可以自动处理异常，不需要等待人工判断和干预，因此提高了整体效率，保证了结果的质量。

本发明通过数据库存储各任务的依赖关系及运行状态，并通过计划任务定时运行，实现了不常驻内存的运行方式。本发明内部采用了面向对象编程的设计思想，方便修改及扩充。同时采用了DRMAA通用接口与调度程序通信，既增强了兼容性又减少了资源消耗。

Claims (10)

1.一种任务调度方法，其特征在于，该方法包括如下步骤：

导入每个项目的文件数据；

根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群；及

对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理。

2.如权利要求1所述的任务调度方法，其特征在于，该方法还包括步骤：

以图形或表格方式显示每个项目中各任务的运行状态和依赖关系，如果以图形方式显示每个项目中各任务的运行状态，则用不同颜色标记各任务的不同运行状态。

3.如权利要求2所述的任务调度方法，其特征在于，每个项目包括添加、删除、暂停、继续操作，多个项目设置为同时执行，且每个项目设置最大任务数量，从而为每个项目分配不同的优先级。

4.如权利要求2所述的任务调度方法，其特征在于，每个任务的脚本文件包含一段特定字符串，并过判断输出信息中是否包含此特定字符串的方式判断任务是否正常完成。

5.如权利要求2所述的任务调度方法，其特征在于，对于有依赖关系的任务，当被依赖的前置任务全部执行完毕后则执行当前任务。

6.如权利要求5所述的任务调度方法，其特征在于，该方法还包括步骤：

根据各任务的依赖关系生成依赖关系树，当每个树的子节点均为完成状态时，则执行父节点的任务，当子节点出错时，即便父节点已运行完毕也重置为出错状态。

7.如权利要求5所述的任务调度方法，其特征在于，该方法还包括步骤：

如果被依赖的前置任务尚未执行完毕，当前任务已经完成，则判定被依赖的前置任务已经更新，重新运行当前任务。

8.如权利要求2所述的任务调度方法，其特征在于，所述集群的异常状态包括：任务异常退出、结果不完整，任务挂起，CPU时间为0、不动或增长缓慢，内存占用超出设定值，磁盘剩余空间不足，计算节点死机、登录节点死机及集群断电。

9.一种电子装置，其特征在于，该电子装置包括：

存储器；

一个或多个处理器；以及

一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括：

导入每个项目的文件数据的模块；

根据预先确定的任务之间的依赖关系，依次将每个项目中的任务投递到集群的模块；及

对每个项目中所有任务的运行状态和依赖关系进行实时监控和更新，并针对集群的异常状态进行处理的模块。

10.如权利要求1所述的电子装置，其特征在于，所述一个或多个模块还包括：

以图形或表格方式显示每个项目中各任务的运行状态和依赖关系的模块，如果以图形方式显示每个项目中各任务的运行状态，则用不同颜色标记各任务的不同运行状态。