CN111782351A - 一种分布式任务调度的方法和装置 - Google Patents

Abstract

本发明公开了一种分布式任务调度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：为采集的数据创建数据处理任务；根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务。该实施方式能够基于多个维度的规则进行任务调度，使得对分布式任务的调度方式更为灵活、可扩展，且对数据的处理方式也更多样化。

Description

一种分布式任务调度的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式任务调度的方法和装置。

背景技术

在大数据平台的搭建过程中，单个系统不再能满足复杂业务的需求，更多时候需要多个子系统互相协作，异步地按照指定流程完成一项特定的功能，因此，分布式任务调度解决方案的实现也随之应运而生。现有的分布式任务调度的技术方案一般是从时间维度来进行判断是否需要进行任务触发。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有分布式任务调度的解决方案一般都是从单一时间维度来进行任务触发，在扩展性方面存在很多限制。

发明内容

有鉴于此，本发明实施例提供一种分布式任务调度的方法和装置，能够基于多个维度的规则进行任务调度，使得对分布式任务的调度方式更为灵活、可扩展，且对数据的处理方式也更多样化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分布式任务调度的方法。

一种分布式任务调度的方法，包括：为采集的数据创建数据处理任务；根据所述数据处理任务生成调度任务，所述调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据所述规则参数的信息判断当满足任一触发规则时，执行所述触发规则对应的调度任务，以根据所述调度任务来执行所述数据处理任务。

可选地，所述规则参数的维度包括时间维度、数据增量维度和特定指令维度。

可选地，还包括：将所述规则参数的信息保存到消息队列中，并根据所述规则参数对应的触发规则来判断是否满足任一触发规则，其中，所述消息队列被实现为Redis数据库，所述规则参数的信息被保存到Redis数据库的消息通道中。

可选地，所述数据具有主题，且所述规则参数的信息根据所述数据的主题进行区分存储。

根据本发明实施例的另一方面，提供了一种分布式任务调度的装置。

一种分布式任务调度的装置，包括：处理任务创建模块，用于为采集的数据创建数据处理任务；调度任务生成模块，用于根据所述数据处理任务生成调度任务，所述调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；调度任务执行模块，用于根据所述规则参数的信息判断当满足任一触发规则时，执行所述触发规则对应的调度任务，以根据所述调度任务来执行所述数据处理任务。

可选地，所述规则参数的维度包括时间维度、数据增量维度和特定指令维度。

可选地，还包括信息保存模块，用于：将所述规则参数的信息保存到消息队列中，并根据所述规则参数对应的触发规则来判断是否满足任一触发规则，其中，所述消息队列被实现为Redis数据库，所述规则参数的信息被保存到Redis数据库的消息通道中。

可选地，所述数据具有主题，且所述规则参数的信息根据所述数据的主题进行区分存储。

根据本发明实施例的又一方面，提供了一种分布式任务调度的电子设备。

一种分布式任务调度的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的分布式任务调度的方法。

根据本发明实施例的再一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的分布式任务调度的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过为采集的数据创建数据处理任务，根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务，实现了基于多个维度的规则进行任务调度，使得对分布式任务的调度方式更为灵活、可扩展，且对数据的处理方式也更多样化。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的分布式任务调度的方法的主要步骤示意图；

图2是本发明一个实施例的分布式任务调度的实现原理示意图；

图3是本发明一个实施例的分布式任务调度的实现流程示意图；

图4是本发明一个实施例的定时任务调度的实现流程示意图；

图5是本发明一个实施例的数据增量任务调度的实现流程示意图；

图6是根据本发明实施例的分布式任务调度的装置的主要模块示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决现有技术中存在的分布式任务调度的单一性问题，本发明提供了一种分布式任务调度的方法和装置，通过设置多个维度(例如：时间维度、数据增量维度、预设的特定指令维度，等等)的触发规则来确定是否需要进行任务调度，使得分布式任务调度的实现方式更为灵活，扩展性更强。其中，通过时间维度来进行任务调度指的是按照预设的时间周期来触发执行分布式任务；通过数据增量维度来进行任务调度指的是按照数据增量来触发执行分布式任务；通过预设的特定指令维度来进行任务调度指的是当收集到特定指令或采集到特定数据时，即触发执行分布式任务。

图1是根据本发明实施例的分布式任务调度的方法的主要步骤示意图。如图1所示，本发明实施例的分布式任务调度的方法主要包括如下的步骤S101至步骤S103。

步骤S101：为采集的数据创建数据处理任务；

步骤S102：根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；

步骤S103：根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务。

根据本发明的技术方案，当数据实时采集中心采集到数据之后，将为采集的数据创建数据处理任务。数据处理任务例如可包括数据归档任务、数据上传任务、数据发布任务、数据删除任务，等等。其中，数据归档指的是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。

根据本发明的实施例，在为采集的数据创建数据处理任务时，可以是对所有的数据执行相同的数据处理任务，也可以是对不同的数据执行不同的数据处理任务。当对所有的数据执行相同的数据处理任务时，则可以在进行数据采集之前，即创建一个数据处理任务，仅需创建一次即可；也可以是在采集到数据之后，为每个数据都创建相同的数据处理任务。当对不同的数据执行不同的数据处理任务时，则可以在进行数据采集之前，创建不同的数据处理任务，并且将不同的数据根据处理任务的不同放置在对应的数据处理任务的队列中；还可以在采集到数据之后，为不同的数据创建不同的数据处理任务。本发明对此不作具体限定。

数据实时采集中心例如是基于Kafka实现的消息服务中心，可以面向大数据场景下可扩展、分布式、高吞吐量的数据处理，每秒可接收百万级的消息量。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。本发明的数据实时采集中心可以为处理实时数据提供一个统一、高吞吐、低延迟的平台，其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”。

在为采集到的数据创建数据处理任务之后，即可根据数据处理任务生成调度任务，该调度任务用于根据设置的触发规则来判断是否该执行数据处理任务，并触发执行数据处理任务。其中，在生成调度任务时，每个调度任务可以包括多个触发规则，当触发其中任意一个触发规则时，即可触发该调度任务，从而触发执行对应的数据处理任务。

其中，每个触发规则对应一个维度的规则参数。根据本发明的一个实施例，规则参数的维度例如可以包括时间维度、数据增量维度和特定指令维度，等等。规则参数的维度可根据具体业务场景进行设定。

根据本发明的另一个实施例，本发明的分布式任务调度的方法还可以包括：将规则参数的信息保存到消息队列中，并根据规则参数对应的触发规则来判断是否满足任一触发规则，其中，消息队列被实现为Redis数据库，规则参数的信息被保存到Redis数据库的消息通道中。通过消息队列来保存规则参数的信息，可以便于获取规则参数的信息，以便根据规则参数的信息进行触发规则的判断。

Redis数据库是一个键值对(key-value)存储系统。它支持存储的value类型很多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set—有序集合)和hash(哈希类型)等。这些数据类型都支持推送/弹出(push/pop)、添加/移除(add/remove)及取交集并集和差集以及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis还支持各种不同方式的排序。并且，为了保证效率，数据都是缓存在内存中。本发明的消息队列即可被实现为通过Redis数据库的数据预约sub/发布管理pub实现的消息队列模型。

根据本发明的又一个实施例，数据具有主题，且规则参数的信息根据数据的主题进行区分存储。在本发明的实施例中，数据实时采集中心例如是基于Kafka实现的消息服务中心，Kafka在接收到数据之后，会将数据保存到对应的主题topic下。Redis中可存储Kafka的元数据信息，从而可实现不同主题数据的调度任务对应的规则参数信息的区分存储。如此，即可根据数据的主题将不同主题的数据对应的规则参数信息保存到不同的位置，以及设置不同的调度任务，执行不同的数据处理任务，使得数据处理的方式更为灵活。

下面结合具体实施例介绍本发明的分布式任务调度方法的实施过程。

图2是本发明一个实施例的分布式任务调度的实现原理示意图。如图2所示，在该实施例中，主要提供两种类型的调度策略，一是时间调度，二是数据增量的调度，即每隔预设长度的时间或者数据增量达到预定数值时即触发调度任务。在该实施例中，假设为不同数据创建的数据处理任务不同，且在采集到数据之后，再为数据创建数据处理任务。

其中，时间调度采用开源的作业调度框架扩特兹Quartz来实现，主要包括两个基本作业单元和触发器，作业是可执行的任务，触发器是作业的调度。数据增量调度采用Redis来存储每次写入数据实时采集中心的数据大小。同时，两者均采用了Redis的发布和订阅消息通信模式实现模块之间的隔离。图2示出了各模块的调用关系。

根据实施例中的调度任务的调度策略，任务的调度主要分为两条主线，即时间的定时调度和数据增量的调度。如图2所示，当创建或者更新主题topic时，会将topic的信息更新到Redis中的topic信息中。当数据实时采集中心采集到数据时，为该采集的数据创建数据处理任务，然后根据数据处理任务获取调度任务(包括：时间调度任务和数据增量调度任务)。

具体地，对于时间调度来说，是从Redis的时间通道Quartz Channel中尝试读取该数据的topic对应的时间调度任务。首先判断时间通道Quartz Channel中是否已有时间调度任务，其中时间调度任务包括其触发规则及对应的规则参数信息(例如用户设置的时间周期等)；若有，则说明该topic下的数据的时间调度任务已生成，时间调度任务对应的触发规则已设置，仅需使Quartz根据时间周期来判断是否可触发时间调度任务即可；否则，说明该topic下的数据的时间调度任务还未生成，因此，需要根据数据处理任务生成时间调度任务，并设置时间调度任务对应的触发规则，获取用户预设的时间周期以作为触发规则对应的规则参数信息。然后，将生成的时间调度任务发布到Redis的时间通道Quartz Channel中。之后，服务端的消息订阅者即可消费消息，使Quartz根据时间调度任务的触发规则及规则参数信息来判断是否该执行时间调度任务以触发数据处理任务。

对于数据增量调度来说，是从Redis的数据增量通道Datasize Channel中尝试读取该数据的topic对应的数据增量调度任务。首先判断数据增量通道Datasize Channel中是否已有数据增量调度任务，其中数据增量调度任务包括其触发规则及对应的规则参数信息(例如，当前数据增量以及用户设置的数据增量限值等)；若有，则说明该topic下的数据的数据增量调度任务已生成，数据增量调度任务对于的触发规则已设置，仅需根据该数据的数据量(可通过在数据实时采集中心Kafka上封装一层网关或者在Kafka上安装插件的方式来获取数据量)来更新规则参数信息中的当前数据增量(可将该数据的数据量与规则参数信息中的当前数据增量相加以更新规则参数信息)，以便消息订阅者根据更新后的当前数据增量和用户预设的数据增量限值来判断是否可触发数据增量调度任务即可；否则，说明该topic下的数据的数据增量调度任务还未生成，因此，需要根据数据处理任务生成数据增量调度任务，并设置数据增量调度任务对应的触发规则，获取用户预设的数据增量限值，并将该数据的数据量作为当前数据增量以作为触发规则对应的规则参数信息。然后，将生成的数据增量调度任务发布到Redis的数据增量通道Datasize Channel中。之后，服务端的消息订阅者即可根据数据增量调度任务的触发规则及规则参数信息来判断是否该执行数据增量调度任务以触发数据处理任务。

另外，本发明的另一个实施例还可以包括基于特定指令维度的触发规则，例如：当检测到某个特定的数据时，或者接收到某个特定的指令(例如，报警指令)时，即认为满足触发规则，触发执行调度任务。

图3是本发明一个实施例的分布式任务调度的实现流程示意图。如图3所示，当数据实时采集中心采集到数据时，为采集的数据创建数据处理任务(例如：数据归档、数据上传、数据删除等等)，然后根据数据处理任务生成调度任务(包括调度任务对应的触发规则以及规则参数信息)，并将调度任务保存到Redis消息队列中。之后，服务端的消息消费者消费Redis消息队列中的消息，然后根据规则参数信息判断是否满足任何触发规则，当满足其中任一触发规则时，触发该调度任务，以执行数据处理任务。

图4是本发明一个实施例的定时任务调度的实现流程示意图。在本发明的实施例中，时间调度任务主要采用Quartz来实现，通过向Redis的时间通道Quartz Channel中发布增加、删除、修改等更新topic信息的命令，可以及时更新Quartz中的时间调度任务的信息。在该实施例中，以对所有采集的数据执行相同的数据处理任务——数据归档，且在数据采集之前已设置数据处理任务为例。

定时任务调度的具体实施过程例如包括以下步骤：

1、创建Kafka内数据的数据归档任务；

2、设置用于调度该数据归档任务的时间周期；

3、当接收到增加、删除、修改等的topic信息更新指令时，将Kafka中数据的topic信息作为键名key，时间调度任务的时间周期作为键值value发布到Redis的QuartzChannel中；

4、利用Redis的Subscribe订阅获取到相关的时间调度任务及其触发规则和规则参数信息；

5、判断topic信息更新指令是否为删除topic；

6、如是，则删除该topic及其时间调度任务；否则，继续判断topic信息更新指令是否为创建topic；

7、若不是，则根据topic信息更新指令修改时间调度任务信息，并修改Quartz的触发器；若是，则根据时间调度任务的时间周期利用Java Quartz调度框架创建时间调度任务；

8、待满足时间调度任务的触发规则时，时间调度任务启动数据归档任务。

图5是本发明一个实施例的数据增量任务调度的实现流程示意图。数据增量任务调度与定时任务调度类似，当数据采集成功时，记录数据量大小并将其数据量到累加到Redis中。服务端的消息消费者会根据当前数据增量的大小是否超过设定的数据增量限值来进行数据处理任务的调度。在该实施例中，以对所有采集的数据执行相同的数据处理任务——数据归档，且在数据采集之前已设置数据处理任务为例。

数据增量任务调度的具体实施过程例如包括以下步骤：

1、创建Kafka内数据的数据归档任务；

2、设置数据归档任务的数据增量限值以及当前数据增量(dataSize)，并保存到Redis中；

3、当采集到数据时，记录该数据的数据量；

4、将Kafka中的topic信息作为key，将该数据的数据量累加到当前数据增量并作为value发布到Redis的Datasize Channel中；

5、利用Redis的Subscribe订阅获取到相关的数据增量调度任务及其触发规则和规则参数信息；

6、根据规则参数信息中的当前数据增量判断是否达到设置的数据增量限值；

7、若达到，则满足数据增量调度任务的触发规则时，数据增量调度任务启动数据归档任务。

图6是根据本发明实施例的分布式任务调度的装置的主要模块示意图。如图6所示，本发明实施例的分布式任务调度的装置600主要包括处理任务创建模块601、调度任务生成模块602和调度任务执行模块603。

处理任务创建模块601，用于为采集的数据创建数据处理任务；

调度任务生成模块602，用于根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；

调度任务执行模块603，用于根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务。

根据本发明的一个实施例，规则参数的维度包括时间维度、数据增量维度和特定指令维度。

根据本发明的另一个实施例，分布式任务调度的装置600还可以包括信息保存模块(图中未示出)，用于：

将规则参数的信息保存到消息队列中，并根据规则参数对应的触发规则来判断是否满足任一触发规则，其中，消息队列被实现为Redis数据库，规则参数的信息被保存到Redis数据库的消息通道中。

根据本发明的又一个实施例，数据实时采集中心获取到的数据具有主题，且规则参数的信息根据数据的主题进行区分存储。

根据本发明实施例的技术方案，通过为采集的数据创建数据处理任务，根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务，实现了基于多个维度的规则进行任务调度，使得对分布式任务的调度方式更为灵活、可扩展，且对数据的处理方式也更多样化。

图7示出了可以应用本发明实施例的分布式任务调度的方法或分布式任务调度的装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的分布式任务调度的方法一般由服务器705执行，相应地，分布式任务调度的装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统800的结构示意图。图8示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括处理任务创建模块、调度任务生成模块和调度任务执行模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，处理任务创建模块还可以被描述为“用于为采集的数据创建数据处理任务的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：为采集的数据创建数据处理任务；根据所述数据处理任务生成调度任务，所述调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据所述规则参数的信息判断当满足任一触发规则时，执行所述触发规则对应的调度任务，以根据所述调度任务来执行所述数据处理任务。

根据本发明实施例的技术方案，通过为采集的数据创建数据处理任务，根据数据处理任务生成调度任务，调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；根据规则参数的信息判断当满足任一触发规则时，执行触发规则对应的调度任务，以根据调度任务来执行数据处理任务，实现了基于多个维度的规则进行任务调度，使得对分布式任务的调度方式更为灵活、可扩展，且对数据的处理方式也更多样化。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种分布式任务调度的方法，其特征在于，包括：

为采集的数据创建数据处理任务；

根据所述数据处理任务生成调度任务，所述调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；

根据所述规则参数的信息判断当满足任一触发规则时，执行所述触发规则对应的调度任务，以根据所述调度任务来执行所述数据处理任务。

2.根据权利要求1所述的方法，其特征在于，所述规则参数的维度包括时间维度、数据增量维度和特定指令维度。

3.根据权利要求1所述的方法，其特征在于，还包括：

将所述规则参数的信息保存到消息队列中，并根据所述规则参数对应的触发规则来判断是否满足任一触发规则，其中，所述消息队列被实现为Redis数据库，所述规则参数的信息被保存到Redis数据库的消息通道中。

4.根据权利要求1所述的方法，其特征在于，所述数据具有主题，且所述规则参数的信息根据所述数据的主题进行区分存储。

5.一种分布式任务调度的装置，其特征在于，包括：

处理任务创建模块，用于为采集的数据创建数据处理任务；

调度任务生成模块，用于根据所述数据处理任务生成调度任务，所述调度任务包括多个触发规则，且每个触发规则对应一个维度的规则参数；

调度任务执行模块，用于根据所述规则参数的信息判断当满足任一触发规则时，执行所述触发规则对应的调度任务，以根据所述调度任务来执行所述数据处理任务。

6.根据权利要求5所述的装置，其特征在于，所述规则参数的维度包括时间维度、数据增量维度和特定指令维度。

7.根据权利要求5所述的装置，其特征在于，还包括信息保存模块，用于：

将所述规则参数的信息保存到消息队列中，并根据所述规则参数对应的触发规则来判断是否满足任一触发规则，其中，所述消息队列被实现为Redis数据库，所述规则参数的信息被保存到Redis数据库的消息通道中。

8.根据权利要求5所述的装置，其特征在于，所述数据具有主题，且所述规则参数的信息根据所述数据的主题进行区分存储。

9.一种分布式任务调度的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。

Images