CN117742919A - 一种任务调度的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种任务调度的方法及装置，涉及计算机技术领域。其中，该方法包括：在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；通过所述消费者线程执行所述任务队列中的第一重IO任务；其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。通过本发明，在同时触发重IO操作的情况下，能够基于消费者线程依次完成任务队列中的重IO操作，而不会影响操作环境的稳定性。

Description

一种任务调度的方法及装置

技术领域

本发明实施例涉及计算机的技术领域，具体而言，涉及一种任务调度的方法及装置。

背景技术

在终端设备的操作环境中，常见的重IO(输入/输出，input/output)操作包括：1.克隆:管理员可以根据一个源虚拟机(模板)克隆出多个新的虚拟机；2.存储迁移：磁盘数据从一个存储设备迁移到另一个存储设备上；3.虚拟机备份:通过将虚拟机的磁盘数据备份，将磁盘数据复制到其他存储中，以防止数据丢失。当需要同时进行多个重IO操作(例如，同时进行多个克隆虚拟机操作，同时对多台虚拟机进行存储迁移，同时对多个大文件进行数据备份)，将会造成终端设备或者虚拟化操作环境的稳定性降低。而针对上述问题，尚无较好的解决方案。

发明内容

本发明实施例提供了一种任务调度的方法及装置，以至少解决终端设备或者虚拟化操作环境的稳定性降低的问题。

根据本发明的一个实施例，提供了一种任务调度的方法，包括：

在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；

通过所述消费者线程执行所述任务队列中的第一重IO任务；

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

可选的，所述通过所述消费者线程执行所述任务队列中的第一重IO任务之后，所述方法还包括：

在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

可选的，所述启动消费者线程之前，所述方法还包括：

在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

将所述任务队列存储至目标存储区域。

可选的，所述预先配置的任务并发数为第一数量；所述通过所述消费者线程执行所述任务队列中的第一重IO任务的过程中，所述方法还包括：

根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

根据本发明的一个实施例，提供了一种任务调度的装置，包括：

启动模块，用于在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；

第一执行模块，用于通过所述消费者线程执行所述任务队列中的第一重IO任务；

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

可选的，所述装置还包括：

获取模块，用于在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

第二执行模块，用于通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

可选的，所述装置还包括：

生成模块，用于在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

存储模块，用于将所述任务队列存储至目标存储区域。

可选的，所述预先配置的任务并发数为第一数量；所述装置还包括：

配置模块，用于根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任务调度的方法中任一实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任务调度的方法中任一实施例中的步骤。

通过本发明，在同时触发重IO操作的情况下，能够基于消费者线程依次完成任务队列中的重IO操作，而不会影响操作环境的稳定性。

附图说明

图1是本发明实施例的一种任务调度的方法的移动终端的硬件结构图；

图2是本发明实施例的一种任务调度的方法的流程图；

图3是本发明具体实施例的任务调度方法的示意图之一；

图4是本发明具体实施例的任务调度方法的示意图之二；

图5是本发明实施例的一种任务调度的装置的结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种任务调度方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种任务调度方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种任务调度方法，其中，图2是本发明实施例的一种任务调度方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201、在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务。

其中，IO任务可以理解为终端设备间或者服务器虚拟化平台的数据处理(如迁移、克隆等)的过程，重IO任务可以是对较大的(即数据量大于预设阈值)数据文件的处理操作。例如，虚拟机的磁盘数据备份至另一个磁盘中。终端设备在监听到任务队列中包含重IO任务的情况下，启动消费者线程，启动的消费者线程数量不超过配置的并发数限制。

步骤S202、通过所述消费者线程执行所述任务队列中的第一重IO任务。

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

为了保证任务执行环境的稳定性，可以预先配置任务并发数。消息监听器(SimpleMessageListenerContainer)根据配置的并发数属性(并发数concurrency和最大并发数max-concurrency)创建预先配置数量的消费者线程，每个消费者线程开始监听重IO任务的队列。当有消息(提交的重IO任务)到达队列时，RabbitMQ(消息代理软件)将消息分发给空闲的消费者线程，启动的消费者线程数量不超过配置的并发数限制。

可选的，所述通过所述消费者线程执行所述任务队列中的第一重IO任务之后，所述方法还包括：

在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

该实施方式中，当第一重IO任务执行结束后，包括执行完成或者执行失败后，从正在排队的重IO任务中获取下一个重IO任务，即第二重IO任务。第一重IO任务和第二重IO任务的数量相同，消费者线程在执行完第一重IO任务后可以继续执行第二重IO任务，按照上述方式，直至队列中的所有任务都执行完成。

为了便于理解上述实施方式，请参见图3，rabbitmq队列中包括待执行的多个任务，其中任务1和任务2通过消费者线程1和消费者线程2正在执行，其他的任务正在排队等待执行。

当消费者线程1对应的任务1执行完成后，可以从任务队列中调度取出下一个等待执行的任务，即任务3继续执行。

按照上述方式执行任务，能够保证终端或者虚拟环境运行的稳定性。

可选的，所述启动消费者线程之前，所述方法还包括：

在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

将所述任务队列存储至目标存储区域。

在该实施方式中，系统管理员发起多个重IO任务，将这些重IO任务按照预设的先后顺序排列生成任务队列。具体可以根据任务发起的时间先后，或者按照数据大小进行排列。将任务队列存储至目标存储区域，该目标存储区域可以是本地磁盘或者是指定的持久化的磁盘或者稳定性较高的磁盘。

为了便于理解本实施方式，请参见图4。系统管理员在服务器虚拟化管理平台上同时发起多个重IO操作，包括重IO操作1、重IO操作2、重IO操作3、……重IO操作n，将这些重IO任务生成任务队列，并持久化地保存在rabbitmq任务队列中(保存在主机内存中)，能够防止数据丢失。

已经提交到内存中的rabbitmq队列数据，基于rabbitmq的持久化机制，持久化的刷盘保存到主机的磁盘中。在主机发生了重启，rabbitmq进程中断等的情况下，会存在导致主机内存中的rabbitmq数据丢失。在这种情况下，在主机程序恢复后，能够将保存在本地磁盘中的数据刷新到rabbitmq所占用的内存中，任务不会丢失。

可选的，所述预先配置的任务并发数为第一数量；所述通过所述消费者线程执行所述任务队列中的第一重IO任务的过程中，所述方法还包括：

根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

在该实施方式中，可以根据磁盘存储的IO性能来确定重IO任务的并发数。当设置并发数过大时则影响存储的IO性能，当设置并发数过小且同时提交很多重IO任务时则会出现过多的重IO任务排队的情况，因此可以根据磁盘的IO性能决定出一个合适的重IO任务并发数。可以预先设置任务并发数为第一数量，在接收到重IO任务时，通过第一数量的消费者线程执行任务。这个设置的并发数即为rabbitmq队列的消费者数量，也就是说，代表有几个消费者同时去处理重IO任务。如果没有设置，则程序默认设置并发数(例如2个)在配置文件中。

在消费者线程执行第一重IO任务的过程中，可以根据实际情况将任意一个队列的消费者并发数从第一数量调整至第二数量。例如，当消费者线程数量较少而重IO任务较多，且磁盘性能好的情况下，可以适当增加消费者线程的数量；当消费者线程数量较多而重IO任务较少，磁盘性能和操作环境稳定性较差的情况下，可以适当减少消费者线程的数量，以保证在操作环境稳定性较好的情况下，提高消费者线程数量。

在具体实施时，可以在rabbitmq消息队列里面通过队列名表示同一类任务。在系统初始化时，代码中默认初始并发是2，则可以理解为2个消费者。本实施方式中，在代码中提供动态设置消费者数的方法，例如，要把默认并发数2修改成5。如果不提供动态修改消费者的方法，则需要修改代码中的一个配置文件，然后需要把系统进行重启才能生效。而利用本实施方式，通过动态调整消费者的并发数，能够提高虚拟化环境的稳定性，且不需要重启系统就能使得并发数进行修改生效。

为了便于理解本申请的上述实施方式，以下通过具体实施例进行举例说明。需要注意的是，以下举例仅仅是其中的一种实现方式，而不应当构成对实施方式的限制。任务调度方法包括如下步骤：

1、启动应用程序时，创建SimpleMessageListenerContainer对象。

2、SimpleMessageListenerContainer根据配置的并发数属性(concurrency和max-concurrency)创建指定数量的消费者线程。

3、每个消费者线程开始监听重IO任务的队列。

4、当有消息(提交的重IO任务)到达队列时，RabbitMQ将消息分发给空闲的消费者线程。

5、消费者线程处理消息后，并发送确认消息给RabbitMQ，Rabbitmq收到消费者的确认信息后将删除该条已经处理过的消息(即重IO任务)。

6、如果所有的消费者线程都在处理消息，而且当前并发数已达到最大并发数，新的消息将等待，直到有空闲的消费者线程可用。

7、如果需要动态调整并发数，可以修改SimpleMessageListener Container的concurrent Consumers属性。

具体地，使用SimpleRabbitListenerContainerFactory(消息监听器容器工厂类)和RabbitListenerEndpointRegistry(消息监听器注册表)来动态设置RabbitMQ某个队列的消费者数量，包括：

1)注入RabbitListenerEndpointRegistry和SimpleRabbitListenerContainerFactory对象

2)创建一个方法来动态设置队列的消费者数量

3)通过网页或者其他入口触发，调用setQueueConcurrency方法来设置队列的消费者数量。

在上述步骤中，SimpleMessageListenerContainer是Spring AMQP库提供的一个用于管理RabbitMQ消费者的容器。它负责创建和管理消费者线程，并控制消费者线程的并发数。

可以配置消费者线程的初始并发数和最大并发数，当SimpleMessageListenerContainer启动时，它会根据配置的并发数创建相应数量的消费者线程。每个消费者线程都会监听指定的队列并处理队列中的消息。当有消息到达队列时，SimpleMessageListenerContainer会将消息分发给空闲的消费者线程进行处理。如果所有的消费者线程都在处理消息，而且当前并发数已达到最大并发数，新的消息将会等待，直到有空闲的消费者线程可用。在需要调整并发数时，可以通过上述方法动态调整并发数。

8、当应用程序关闭时，SimpleMessageListenerContainer关闭所有的消费者线程。

本发明实施例，在同时触发多个服务器虚拟化重IO操作，也能依次完成这种重IO操作，而不会影响服务器虚拟化环境的稳定性。对于已经提交的重IO任务，即使tomcat(Web服务器)容器中断了，中断恢复后，重IO任务还能继续执行，重IO任务不会丢失。本发明实施例，能够应用于终端设备或者服务器虚拟化平台之间的数据处理，能够提高操作环境的稳定性。

当线程被执行或线程被关闭之后，为了检测线程是否异常的仍在被执行或者未关闭，检测该线程对应的信号量，或信息传输情况，如果信号量变化异常(例如相较于正常情况未发生明显减少)，或信息传输情况(例如仍然存在执行和被执行单位之间的信息传输)，则判断异常。

进一步地，可以将检测的信号量或者传输情况，与传输结束时的大数据统计结果或历史数据进行比较，当信号量出现急剧减少，且减少的信号量和减少的速度与大数据的统计结果相近，则可以理解为线程被执行结束。在具体执行时，可以预先设置结束线程对应的信号量变化范围，当检测的信号量变化量处于上述预先设置的范围，或者不存在信息传输，则表示传输结束。当检测的信号量处于上述范围之外，或者仍然存在信息传输，则表示传输结束异常，此时，可以进一步根据实际情况对线程进行处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种任务调度装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种任务调度装置的结构图，如图5所示，该装置包括：

启动模块501，用于在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；

第一执行模块502，用于通过所述消费者线程执行所述任务队列中的第一重IO任务；

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

可选的，所述装置还包括：

获取模块，用于在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

第二执行模块，用于通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

可选的，所述装置还包括：

生成模块，用于在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

存储模块，用于将所述任务队列存储至目标存储区域。

可选的，所述预先配置的任务并发数为第一数量；所述装置还包括：

配置模块，用于根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

本发明实施例，在同时触发多个服务器虚拟化重IO操作，也能依次完成这种重IO操作，而不会影响服务器虚拟化环境的稳定性。对于已经提交的重IO任务，即使tomcat容器中断了，中断恢复后，重IO任务还能继续执行，重IO任务不会丢失。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种任务调度的方法，其特征在于，包括：

在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；

通过所述消费者线程执行所述任务队列中的第一重IO任务；

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

2.根据权利要求1所述的方法，其特征在于，所述通过所述消费者线程执行所述任务队列中的第一重IO任务之后，所述方法还包括：

在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

3.根据权利要求1或2所述的方法，其特征在于，所述启动消费者线程之前，所述方法还包括：

在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

将所述任务队列存储至目标存储区域。

4.根据权利要求1所述的方法，其特征在于，所述预先配置的任务并发数为第一数量；所述通过所述消费者线程执行所述任务队列中的第一重IO任务的过程中，所述方法还包括：

根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

5.一种任务调度的装置，其特征在于，包括：

启动模块，用于在监听到任务队列中包含重IO任务的情况下，启动消费者线程，所述重IO任务为对数据量大于预设阈值的目标数据进行处理的任务；

第一执行模块，用于通过所述消费者线程执行所述任务队列中的第一重IO任务；

其中，所述消费者线程的数量小于或者等于预先配置的任务并发数，每个消费者线程执行一个重IO任务。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

获取模块，用于在对所述第一重IO任务执行结束的情况下，从所述任务队列中获取处于排队状态中的目标数量的第二重IO任务；

第二执行模块，用于通过执行所述第一重IO任务的消费者线程执行所述第二重IO任务。

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

生成模块，用于在获取到重IO任务的情况下，根据所述重IO任务生成任务队列；

存储模块，用于将所述任务队列存储至目标存储区域。

8.根据权利要求5所述的装置，其特征在于，所述预先配置的任务并发数为第一数量；所述装置还包括：

配置模块，用于根据所述任务队列中处于排队状态的重IO任务的数量，将所述任务并发数的数量配置为第二数量。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4中任一项所述的方法。