CN103902646A

CN103902646A - 一种分布式任务管理系统与方法

Info

Publication number: CN103902646A
Application number: CN201310742815.2A
Authority: CN
Inventors: 许晨晖
Original assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Current assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2014-07-02
Anticipated expiration: 2033-12-27
Also published as: CN103902646B

Abstract

本发明公开了一种分布式任务管理系统与方法，用于减少任务的重复导致的资源浪费，提高查询效率，所述系统包括：任务监控模块，用于记录系统所有任务的任务标识和任务的执行状态；数据库，用于存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；生成模块，用于生成当前任务请求；任务预处理模块，用于当前任务为查询任务时，从所述当前任务请求中读取当前任务的查询条件并确定所述当前任务的查询标识；在数据库中查找该查询标识对应的任务标识，若找到，则从所述任务监控模块中读取找到的任务标识对应任务的执行状态，当状态为完成时，从数据库中读取所述任务标识对应任务的执行结果。

Description

一种分布式任务管理系统与方法

技术领域

本发明涉及信息技术领域，尤其涉及一种分布式任务管理系统与方法。

背景技术

随着WEB应用越来越普及与业务的多元化，业务的复杂性也随之增加。大型的网络应用越来越多的使用异步事务处理机制处理复杂的业务逻辑，对应于异步事务处理此机制的任务管理系统也越来越受到各网络企业的青睐。

任务管理系统（Task/Job Management）被普遍应用与Web应用中，其目的是让复杂的业务逻辑放在后台执行并统一管理这些业务相关的任务，并从任务申请开始监控其执行直至其执行结束。任务管理系统是一个概括性的系统架构，常常是由多种组件组合而成，但每种系统中必定包括一种或多种消息传递机制。所述消息是基于程序对于任务的理解，任务是一个抽象的概念，具体来讲就是某一申请者（申请者可以是Web服务器，一个定时任务程序等）为了获得某一特定程序的执行结果而提交给某一处理者的执行该任务所需信息的一组数据，该任务在传输过程中的信息实体被称为“消息”。

分布式的任务管理系统实现有许多种，但基本架构都是基于生产者/消费者模型与线程池。生产者/消费者模型详细来讲就是生产者（可能是任务的申请者，也可能是接收任务并进行预处理的程序）生产出一项任务，并将任务放入一个两方共享的区域，消费者（处理者）从区域中读取此项任务，加以处理并返回运行的结果。

发明内容

发明人在研究过程中发现，目前所有的任务管理系统来说，均会有查询任务，基于目前的任务管理系统的任务执行机制来说，每当有一个任务生成时，系统就会将该任务分配到某一处理者执行，得到执行结果。而对于查询系统历史数据的业务系统来说，由于历史数据被记录后数据就不会改变直至被清理，因此使用相同的条件查询历史数据所得的结果是一致的，而在现有的任务管理系统的运行机制基础上，相同的查询会被重复执行，占用系统资源，造成系统资源的浪费，而且一般任务执行后均会保存执行结果，保存多分相同的数据也会浪费较多的系统资源。

为了解决现有的任务管理系统中存在的重复查询导致系统资源浪费的技术问题，本发明提供一种分布式任务管理系统与方法，减少系统的重复查询带来的资源浪费，本发明提供了如下技术方案：

一种分布式任务管理系统，包括：

任务监控模块，用于记录系统所有任务的任务标识和任务的执行状态；

数据库，用于存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；

所述系统还包括：

生成模块，用于生成当前任务请求；

任务预处理模块，用于根据所述当前任务请求中携带的任务类型确定当前任务为查询任务时，从所述当前任务请求中读取当前任务的查询条件；根据查询条件确定所述当前任务的查询标识；在数据库中查找该查询标识对应的任务标识，若找到，则从所述任务监控模块中读取找到的任务标识对应任务的执行状态，当状态为完成时，从数据库中读取所述任务标识对应任务的执行结果作为最终的查询结果。

本发明还提供一种分布式任务管理方法，包括：

记录系统所有任务的任务标识和任务的执行状态；存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；

所述方法还包括：

生成当前任务请求；

根据所述当前任务请求中携带的任务类型确定当前任务为查询任务时，从所述当前任务请求中读取当前任务的查询条件；根据查询条件确定所述当前任务的查询标识；在数据库中查找该查询标识对应的任务标识，若找到，则从所述任务监控模块中读取找到的任务标识对应任务的执行状态，当状态为完成时，从数据库中读取所述任务标识对应任务的执行结果。

由本发明提供的技术方案可知，当前任务生成时，首先对当前任务进行查询检索即确定是否有与当前任务的执行结果相同的历史任务，具体为在确定当前任务是查询任务时，查找历史查询任务中查询条件相同的任务，在找到的任务已执行完成的情况下，直接读取该任务的结果返回即可。本发明中，通过对新生成任务进行查询检索，减少查询任务的重复执行，减少对系统资源的浪费，对于同一份结果只需保存一次即可，重复查询可以通过直接读取的方式快速获得进一步减少对系统资源的浪费，提高资源利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种分布式任务管理系统实施例1的结构示意图；

图2为本发明提供的一种分布式任务管理系统实施例2的结构示意图；

图3为本发明提供的一种分布式任务管理系统中任务预处理模块的工作原理图；

图4为本发明提供的一种分布式任务管理系统在实际应用中的一种可能的架构图；

图5为如4所示的系统架构图对应的一种实际部署图；

图6为本发明提供的一种分布式任务管理方法实施例1的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面对本发明提供的技术方案做详细公开的说明，首先，参考图1所示，为本发明提供的一种分布式任务管理系统实施例1的结构示意图，所述系统可以包括：任务监控模块11、数据库12、生成模块13、任务预处理模块14；

其中，所述任务监控模块11，用于记录系统所有任务的任务标识和任务的执行状态；所述系统所有的任务包括历史执行的任务和当前正在执行的任务，任务的执行状态包括未执行结束和已执行结束，每一个任务均对应一个任务标识。所述数据库12，用于存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；对于一个查询任务来说，既有任务标识也有查询标识，所述数据库存储的是任务标识与查询标识对，以及，已经执行完成的任务的执行结果。

所述生成模块12，用于生成当前任务请求；所述任务请求中包括任务的类型、当任务的类型为查询时，任务请求中还包括查询条件(比如查询某一段时间内的数据即时间条件)。

所述任务预处理模块13，用于根据所述当前任务请求中携带的任务类型确定当前任务为查询任务时，从所述当前任务请求中读取当前任务的查询条件；根据查询条件确定所述当前任务的查询标识；在数据库中查找该查询标识，若所述数据库中存在所述查询标识，则从所述任务监控模块中读取所述查询标识对应的任务的执行状态，当状态为完成时，从数据库中读取所述任务标识对应任务的执行结果作为最终的查询结果。

需要说明的是，针对不同的系统，查询任务的查询条件不同，比如对于一个安全审计系统来说，一个查询类的任务对应的查询条件可以分解为时间类型的条件、限制类型的条件、内容过滤类条件和/或系统相关类条件等。在根据查询条件计算查询标识时，可以依据当前任务对应的所有查询条件中的任一个或多个查询条件。

本实施例提供的技术方案中，通过对新生成任务进行查询检索，减少查询任务的重复执行，减少对系统资源的浪费，对于同一份结果只需保存一次即可，重复查询可以通过直接读取的方式快速获得进一步减少对系统资源的浪费，提高资源利用率。

在实施例1中，由于查询任务计算查询标识时使用的查询条件可以是一个或多个，所以不同的任务可能会对应相同的查询标识，所以，由查询标识查找对应的任务时可能会对应出多个，一般情况下，可以选取根据查询标识最先查找到的匹配的任务标识对应的任务作为最终任务，然后取该任务的执行结果作为最终的查询结果。当所述分布式任务管理系统应用于安全审计系统中时，需要保证查询结果的精度，需要对找到的任务进行筛选，具体的，本发明还提供一种分布式任务管理系统实施例2，参考图2所示，为本发明提供一种分布式任务管理系统实施例2的结构示意图，在实施例1的基础上，所述系统还可以包括：

条件检索模块21，用于找到的任务标识为多个、且多个任务标识对应的多个任务的执行状态不是均未完成，则在所述多个任务中选择时间类条件、限制类条件均包含当前任务查询条件的任务组成第一任务集；在第一任务集中选择时间类条件与当前任务的时间类条件最接近的任务作为目标任务；

相应的，所述任务预处理模块，用于从所述数据库中读取目标任务的执行结果；在所述执行结果中取出不符合当前任务的时间类条件的部分，并依据当前任务的限制类条件对结果进行截取作为最终的查询结果。

当依据当前任务的查询标识找到多个任务标识时，还需要进一步确定每个任务标识对应的任务（为了与当前任务区别，后文中成为历史任务）是否已经执行完，多个任务标识对应的多个任务的执行状态不是均未完成时，则在所述多个任务中选择时间类条件、限制类条件均包含当前任务查询条件的任务组成第一任务集，在第一任务集中选择时间类条件与当前任务的时间类条件最接近的任务作为目标任务；

为了便于理解查询条件的包含关系，这里需要对审计系统中的查询条件进行说明，在审计系统中，主要的查询条件可以归为一下几类：

1、时间条件

开始时间与结束时间，这里的开始时间与结束时间是指要查询的内容的起止时间，比如查询昨天上午9点到10点之间的数据，其中9点就是开始时间，10点是结束时间，在实际操作中可以统一采用秒为单位表示。结束时间若不指定将自动指定结束时间为当前时间。时间条件是范围性条件，在其他条件一致的情况下，时间范围大的任务对应的结果包含时间范围小的任务对应的结果。

2、限制性条件

对查询的最大条目数或对单个查询设备的条目个数限制等的限制性查询条件，这种条件会影响结果返回数量，但在查询中不会像内容过滤条件一样过滤内容。每个限制性条件都会有一个最小值，该值是由人为定义的或是由系统限定的。限制性条件需保证其值是数字型的，可以根据值的大小判定结果的包含性，比如在其他条件相同的情况下，限制性条件值较大的所查询出来的结果集可以包含限制条件较小的查询结果集。举个例子，某查询任务需要返回100条结果，则其限制性条件为LIMIT=100，若另一项其他条件相同但仅需返回50条结果的任务产生，则可以认为此任务的结果已包含在LIMIT=100的结果集中。

3、内容过滤条件

查询时对内容进行过滤的条件。内容过滤条件为“与”或“或”等关系，“与”关系意味着结果的交集，而“或”关系意味着查询结果是单个条件结果集的并集。

4、系统相关性条件

此种条件为查询系统的补充性条件。目的可能是是标识查询起始偏移，指定存储数据表或数据文件等等。

通过对查询条件的说明可知获取的第一任务集还可能包括多个历史任务，比如，同一天上午9点到10点的查询结果包含9点到9点30分的查询结果，9点到11点的查询结果也包含9点到9点30分的查询结果。当第一结果集中的历史任务不止一个时，在第一任务集中选择时间类条件与当前任务的时间类条件最接近的任务作为目标任务；

相应的，所述任务预处理模块，还用于从所述数据库中读取目标任务的执行结果；在所述执行结果中取出不符合当前任务的时间类条件的部分，并依据当前任务的限制类条件对结果进行截取作为最终的查询结果。参考上述例子，如果要查询的是昨天上午9点到9点半之间的数据，而最后确定的目标任务的执行结果是9点到10点之间的数据，就是去除9点半到10点之间的数据，若9点到9点半之间的数据满足限制类条件，则在对其依据限制类条件进行截取。

所述管理系统应用于安全审计系统中时，当所述数据库中不存在所述查询标识、从数据库中查找到的任务的状态为未完成、或条件检索模块未得到第一任务集时，对当前任务的执行可以参考现有技术如下：

在实际应用中一般采用采用消息中间件技术与AMQP协议（AdvancedMessage Queuing Protocol，高级消息队列协议），其中AMQP协议是一个提供统一消息（即任务以消息的方式传递）服务的应用层标准协议，基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同开发语言等条件的限制。提供客户端应用与消息中间件之间异步、安全、高效地交互。消息中间件的主要功能是消息的路由和缓存，在AMQP中提供类似功能的两种域模型：Exchange和Message queue，Exchange接收消息生产者发送的消息，将消息发送往Message queue。Message queue会在消息不能被及时处理时缓存这些消息，由于在安全审计系统中，采用一个消息通道队列（Message queue），如果消息通道队列中靠前的任务均需要较长的执行之间，而且执行任务的终端均在执行复杂任务，那么，需要快速响应的任务就会得不到响应，由于任务的累积，甚至会造成系统的崩溃，导致系统无法为用户提供服务。

为了解决上述问题，本发明还提供一种分布式任务管理系统实施例3，在实施例1或实施例2的基础上，所述系统还可以包括：

任务分配模块，用于根据当前任务的查询条件确定当前任务的查询级别；将当前任务缓存到其查询级别对应的消息通道队列中，以便于与所述查询级别对应的任务执行模块从消息通道队列中提取当前任务；

任务执行模块，用于执行相应级别的任务并将执行结果存储到所述数据库。

本实施例中较为重要的是采用了对查询任务执行所用时间的预估，依此对任务执行模块也划分了级别，而且是与任务相对应的，也就是说不同级别的任务由不同级别的任务执行模块执行，可以有效缓解任务的堵塞、丢失或者长时间得不到响应的问题。

其中，影响审计查询的查询时间的除了硬件配置以外，查询条件是一个很重要的因素。在上文中我们描述了对查询条件的归类。按照归类和根据实际测试结果，查询任务执行所用的时间具有以下特点：

时间条件的范围大小与查询所花费的时间成正比关系；限制性条件每项的值大小与查询所花费的时间成比例关系；内容过滤条件的复杂度与查询所花费的时间成正比关系。

在上述条件下，对审计查询任务执行所用时间进行预估，包括：对时间条件级别的预估、对限制性条件值级别的预估和对内容过滤条件级别的预估对限制。

具体的，L_t=T(e-b)是对时间条件级别的预估，b为开始时间（是指审计系统中的查询条件中时间条件中对开始时间的说明），e为结束时间，T为时间级别映射函数；

时间条件是一个范围值，一般精确至秒。从时间条件中可以取得要查询的是哪个时间段的数据。利用起止时间之差为参数，在预设的时间级别映射表中，对此范围大小定级。一般的预设的时间级别映射表是一张固定映射表，如表1所示：

表1时间级别映射表

时间差值范围（秒）	级别
		n<=600	1
600<n<3600	2
		…	…

表1中示出了一种时间级别映射表的可能情况，但在实际应用中用户可以根据实际情况调整时间级别映射表，这里不作具体限定。

是对限制性条件值级别的预估，s_i为每一项限制性条件值，k_i每一项限制性条件的默认最小值，S_i为每一项限制性条件级别映射函数。

在上文中提及，限制性条件值可以根据值的大小判定结果集的包含性，因此同一类限制性条件值可以进行大小比较，亦可以依据此规定映射级别。对限制性条件值的预估需要建立每个条件的名称及默认最小值，如表2所示：

表2限制性条件值默认最小值

限制性条件值名称	默认最小值
		Limit	1
Filenum	1
		…	…

限制性条件值与级别的映射也需要建立映射关系表，每种限制性条件值可能公用或单独拥有一张映射关系表，如表3所示：

表3限制性条件值级别映射表

Limit级别映射表

条件差值范围	级别
		1<n<=1000	1
1000<n<10000	2
		…	…

是对内容过滤条件级别的预估，W_i为每一项内容过滤条件中第i个关键词的个数，w_i为第i个关键词的权重，R_j每一项内容过滤条件级别映射函数。内容过滤条件不同于以上两种条件。我们将内容过滤条件利用关键字匹配方式匹配出预定的关键字的个数，并乘以该关键字的权重，最后将其利用映射表映射。

内容过滤条件中，由于条件多种多样，不可能使用通用方法解析各种条件值。但是条件值中的多种关键字会直接影响内容过滤条件的查询复杂度，本系统使用统计关键字个数的方法来判别条件复杂度。例如在传统SQL语句充当查询条件中，AND关键字定义条件间为与关系，AND关系的前后条件均会匹配，其数量与查询速度成反比关系，与查询的总数量也成正比关系（即查询条件限制越多，需要查询的总条目数也会增多，除非存储对某些条件做索引或分类）；再例如ORDER关键字将对查询结果集进行排序，查询速度也会增加并且增加幅度较大，参考表4所示：

表4内容过滤条件关键子及其加权

内容过滤条件关键子名称	权值
		AND	1
ORDER	4
		…	…

内容过滤条件与级别的映射关系表与限制性条件值级别映射类似，不再赘述。

当所有条件映射为级别之后，最后再每一个条件乘以按照预设权重值获得最后的级别结果。如表5所示：

表5条件类别权重表

条件类别	权重
		时间条件(t)	0.3
限制性条件(s)	0.3
		内容过滤条件(r)	0.4

确定当前任务的查询级别可以参考如下公式：

L = T (e - d) * t + \frac{Σ_{i = 0}^{n} S_{i} (s_{i} - k_{i})}{n} * s + \frac{Σ_{j = 0}^{m} R_{j} (Σ_{i = 0}^{n} W_{i} w_{i})}{m} * r,

其中，L为估计得到的任务级别数值。

（2）映射级别与设置路由

将审计查询任务预估时间后，将预估时间长短映射为1-N共N种级别，N的取值可以根据具体的应用由用户自定义，这里以N为5举例说明，1级别至5级别表示预估的任务消耗时间级别，级别越低表示任务执行消耗的时间越短。将从1-5级别分别设置对应的路由标识（即将不同级别的任务放置到不同的消息通道队列中），每个消息通道队列设置对应的任务执行模块。比如，可以设置1-2，3-4两个低级段任务分别由两个专门的任务执行模块处理，5级别由两个单独任务执行模块处理。假设预估级别准确，本机制可以将长短时间任务的处理分离，使得短时间任务能够快速通过消息通道进入任务执行模块执行。

为了对本发明提供的技术方案具有一个直观的理解，参考图3所示，为本发明提供的一种分布式任务管理系统中的任务预处理模块的工作原理图。进一步的，参考图4所示，为本发明提供的一种分布式任务管理系统在实际应用中的一种可能的架构图，主要包括任务申请者（对应于生成模块）、消息预处理控件（任务预处理模块和条件检索模块）、任务监督者（任务监控模块）、消息处理中间件（任务分配模块）、数据库、消息处理者（任务执行模块）。参考图5所示，为所述图4所示的系统架构对应的一种可能的部署图，具体使用流程如下：

首先，需要对工作终端进行工作分配，选择若干台终端担任消息处理者，并需要在每台担任消息处理者的终端中安装此系统；选择某一台终端担当消息处理中间件，用于任务的分配与监控，该终端最好不要同时担任消息处理者；选择一台终端（可以与某一台消息处理者或担任消息处理中间件的终端为同一终端）安装Redis2.4及以上版本的数据库担任结果存储者。

随后，配置安装本系统的每台终端。首先需要配置每台消息处理者的终端celeryconfig.py文件，需要配置的参数有：

RESULT_BACKEND：处理结果存放的数据库的地址（默认使用1号数据库）；

DEFAULT_QUEUE：消息队列的默认名称；

TASK_IMPORTS：任务程序的加载入口地址；

STATUS_REPEAT_DETECTION|STATUS_STORE_CONF|TASK_SYSLOG：预处理进程的配置（实用默认配置即可）；

MONITOR_LISTEN|MONITOR_BIND：监控进程的配置（默认实用Epoll监听请求）；

MONITOR_CLEAR|MONITOR_CLEAR_HEARTBEAT|MONITOR_CLEAR_STOREMAX任务清理进程的相关配置。

配置结束后，启动数据库和任务处理进程。尝试是否可以正常启动默认。若屏幕未出现红色字体的错误信息，则表明启动成功。若启动失败，请参照红色字体给出的提示检查相关配置。需要说明的是消息处理者(终端)可以通过调整启动参数来决定某一个消息处理者(终端)接收何种任务，默认的消息处理者(终端)接收任何自身存在的任务请求。

接着担任消息处理中间件的终端需要配置celeryconfig.py文件中的BROKER_URL项目，用于指定消息通道队列使用的redis数据库的地址（默认使用0号数据库）。并配置CELERY_QUEUES填写路由规则。路由规则决定本中间件收到的某一任务（消息）通过哪一个消息通道队列（Messagequeue）以何种方式（立即或等待）传递给消息处理者。

最后，在所有担任消息处理者的终端上运行celerydaemon命令，在担任消息处理中间件的终端上使用tawcelerymon命令启动中间件的任务监控者进程。任务监控者进程会接受中间件的消息，并归类每个任务的进展情况。任务监控者默认会监听23197端口处理各种获取任务信息的请求，每个请求需要通过其标准格式传递消息。

所有步骤完成后便可以使用系统预置的命令行程序充当任务申请者执行任务。该命令可以启动，停止，重启任务及查看任务状态，并可以利用条件过滤任务列表。

审计设备由于其处理的数据量庞大（有时可能达到3-10GB/s），因此在WEB界面查询时若在查询条件复杂的情况下经常出现界面无响应，界面服务CPU占用率超过90%等情况。本系统加入任务预处理流程避免了重复的审计查询任务执行所带来的大量资源消耗，分离了任务监控与任务处理，任务处理程序不必再更新任务状态，而是将状态消息发送给任务监控进程，任务监控进程加以处理。这样使得任务的信息（尤其是任务失败的信息）可以及时的传送给监控进程，给程序调试和分析原因带来极大的便利。事件证明，在正常运行时（启用5个进程的进程池），平均CPU占用最高峰为30%，系统调度内存占用总和最高为30MB。一天内通过预处理控件，过滤掉了100个左右的重复任务，短时间消耗的消息平均在在5-10秒钟进入任务处理阶段，比原先单通道处理快1-5分钟。有效地解决了公司安全审计产品中查询缓慢卡死的问题。

优选的，参考图6所示，为本发明还提供一种分布式任务管理方法实施例1的流程图，本实施例具体可以包括如下步骤：

S61：记录系统所有任务的任务标识和任务的执行状态；

S62：存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；

S63：生成当前任务请求；

S64：对当前任务请求做预处理。

所述对对当前任务请求做预处理包括：

根据所述当前任务请求中携带的任务类型确定当前任务为查询任务时，从所述当前任务请求中读取当前任务的查询条件；根据查询条件确定所述当前任务的查询标识；在数据库中查找该查询标识对应的任务标识，若找到，则从所述任务监控模块中读取找到的任务标识对应任务的执行状态，当状态为完成时，从数据库中读取所述任务标识对应任务的执行结果作为最终的查询结果。

在方法实施例1的基础上，本发明还提供一种分布式任务管理方法实施例2，除了实施例1所示的步骤外，所述方法实施例2还可以包括如下优选步骤：

当所述任务管理方法应用于安全审计系统中时，当所述分布式任务管理系统应用于安全审计系统中时，所述查询条件包括时间类条件、限制类条件、内容过滤类条件和/或系统相关类条件。

所述方法还可以包括：

找到的任务标识为多个、且多个任务标识对应的多个任务的执行状态不是均未完成时，在所述多个任务中选择时间类条件、限制类条件均包含当前任务查询条件的任务组成第一任务集；

在第一任务集中选择时间类条件与当前任务的时间类条件最接近的任务作为目标任务；

相应的，从所述数据库中读取目标任务的执行结果；在所述执行结果中取出不符合当前任务的时间类条件的部分，并依据当前任务的限制类条件对结果进行截取作为最终的查询结果。

优选的，所述管理方法应用于安全审计系统中，当所述数据库中不存在所述查询标识、从数据库中查找到的任务的状态为未完成、或未得到第一任务集时，所述方法还包括：

根据当前任务的查询条件确定当前任务的查询级别；将当前任务缓存到其查询级别对应的消息通道队列中；

执行相应查询级别的任务并存储执行结果。

所述当前任务的查询级别的确定公式为：

T (e - d) * t + \frac{Σ_{i = 0}^{n} S_{i} (s_{i} - k_{i})}{n} * s + \frac{Σ_{j = 0}^{m} R_{j} (Σ_{i = 0}^{n} W_{i} w_{i})}{m} * r;

其中，T(e–b)为时间类条件级别，b、e分别为待查询内容对应时间段的起止时间，T为时间级别映射函数，t为时间条件预设的权重；

为限制类级别，s_i为每一项限制性条件值，k_i每一项限制性条件的默认最小值，S_i为每一项限制性条件级别映射函数，s为限制性条件预设的权重；

为内容过滤类条件级别，W_i为每一项内容过滤条件中第i个关键词的个数，w_i为第i个关键词的权重，R_j每一项内容过滤条件级别映射函数，r为内容过滤条件预设的权重。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述仅是本发明的具体实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种分布式任务管理系统，其特征在于，所述系统包括：

所述系统还包括：

生成模块，用于生成当前任务请求；

2.根据权利要求1所述的系统，其特征在于，当所述分布式任务管理系统应用于安全审计系统中时，所述查询条件包括时间类条件、限制类条件、内容过滤类条件和/或系统相关类条件。

3.根据权利要求2所述的系统，其特征在于，所述管理系统还包括：

条件检索模块，用于找到的任务标识为多个、且多个任务标识对应的多个任务的执行状态不是均未完成，则在所述多个任务中选择时间类条件、限制类条件均包含当前任务查询条件的任务组成第一任务集；在第一任务集中选择时间类条件与当前任务的时间类条件最接近的任务作为目标任务；

相应的，所述任务预处理模块，还用于从所述数据库中读取目标任务的执行结果；在所述执行结果中取出不符合当前任务的时间类条件的部分，并依据当前任务的限制类条件对结果进行截取作为最终的查询结果。

4.根据权利要求1-或3任一项所述的系统，所述管理系统应用于安全审计系统中，其特征在于，当所述数据库中不存在所述查询标识、从数据库中查找到的任务的状态为未完成、或条件检索模块未得到第一任务集时，所述系统还包括：

5.根据权利要求4所述的系统，其特征在于，确定当前任务的查询级别的公式为：

T (e - d) * t + \frac{Σ_{i = 0}^{n} S_{i} (s_{i} - k_{i})}{n} * s + \frac{Σ_{j = 0}^{m} R_{j} (Σ_{i = 0}^{n} W_{i} w_{i})}{m} * r;

其中，T(e-b)为时间类条件级别，b、e分别为待查询内容对应时间段的起止时间，T为时间级别映射函数，t为时间条件预设的权重；

6.一种分布式任务管理方法，其特征在于，记录系统所有任务的任务标识和任务的执行状态；存储系统所有任务的任务标识和查询标识之间的一一对应关系，以及已执行完成任务的执行结果；

所述方法包括：

生成当前任务请求；

7.根据权利要求6所述的方法，其特征在于，当所述分布式任务管理系统应用于安全审计系统中时，所述查询条件包括时间类条件、限制类条件、内容过滤类条件和/或系统相关类条件。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

找到的任务标识为多个、且多个任务标识对应的多个任务的执行状态至少有一个为完成时，在所述多个任务中选择时间类条件、限制类条件均包含当前任务查询条件的任务组成第一任务集；

9.根据权利要求6或8任一项所述的方法，所述管理方法应用于安全审计系统中，其特征在于，当所述数据库中不存在所述查询标识、从数据库中查找到的任务的状态为未完成、或未得到第一任务集时，所述方法还包括：

执行相应查询级别的任务并存储执行结果。

10.根据权利要求9所述的方法，其特征在于，所述当前任务的查询级别的确定公式为：

T (e - d) * t + \frac{Σ_{i = 0}^{n} S_{i} (s_{i} - k_{i})}{n} * s + \frac{Σ_{j = 0}^{m} R_{j} (Σ_{i = 0}^{n} W_{i} w_{i})}{m} * r;