CN116382844A - 一种分布式存储多异步任务动态控制方法及系统 - Google Patents

Abstract

本发明提出一种分布式存储多异步任务动态控制方法及系统，用于解决分布式多任务与实际业务之间的资源竞争问题。本发明根据任务的优先级、任务与系统节点的关联程度，来实时进行分布式系统多任务的调度、管理与控制，由此，来保障在系统节点中实时任务、或者高优任务得到更高效率的执行。

Description

一种分布式存储多异步任务动态控制方法及系统

技术领域

本发明涉及大规模分布式多异步任务控制管理领域，尤其涉及一种分布式多任务动态控制方法、系统及计算设备。

背景技术

分布式存储的多异步任务是指通过集群应用、网络技术或者分布式计算等功能，利用网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同提高多异步任务的执行效率的一个系统。

分布式存储系统中常常会存在多种不同的多任务需要执行，例如多异步任务：垃圾回收、数据并行删除；以及多实时任务等。目前，为了提高多异步任务的执行效率，通常有两种做法，一种是采用主控机器中心化的方式多进程或多线程的方式控制任务的执行，另一种是利用集群多节点分布式的特征进行多任务的执行，由于主控机器中心化的方式常常会成为性能的瓶颈点，因此，利用集群多节点分布式的特征进行多任务的执行成为主流的多任务的执行方式。

分布式多异步任务的执行方式，通常不需要总控节点的参与，各个节点按照共同的算法，执行该节点任务队列累积的任务，通常包含以下几个步骤：

分布式系统中，某个节点(称之为系统节点)具有x个队列，每个队列代表一类待执行的任务。系统节点对每类任务启动一个线程或者进程，挨个或者并行的执行每个任务。系统节点执行完成每个任务，更新相应的任务状态。系统节点执行完成该类任务，更新相应的结果集合，至此，该节点完成该类任务。

现有的分布式多任务执行系统中，未关注到系统资源的占用情况，以及分布式任务对于任务优先级以及资源使用优先级关注情况，即极端情况下，分布式的任务的执行，在任务数量过多，或者任务种类过多的情况下，非常容易造成设备过载，进而影响在线设备系统的对外服务能力。

发明内容

有鉴于此，本发明旨在提出一种分布式存储多任务动态控制方法、系统和电子设备，用于解决分布式多任务与实际业务之间的资源竞争问题。本发明将根据任务的优先级、任务与系统节点的关联程度，来实时进行分布式系统多任务的调度、管理与控制，由此，来保障在系统节点中实时任务、或者高优任务得到更高效率的执行。

第一方面，本发明提供一种分布式存储多异步任务动态控制方法，所述方法包括以下步骤，

S1,异步任务管理控制装置生成动态管理资源表；

优选地，获取与异步任务管理控制装置形成映射关系的系统装置的资源使用状态，将获取到的资源使用状态进行转换，形成一张按照资源值有序的动态管理资源表。

S2,从异步任务存储装置获取各类异步任务的头指针；

优选地，所述异步任务以分类集合的方式固定存储于一定的异步任务存储装置中；所述异步任务的描述为：{任务类型，优先级级别，子任务序列，子任务执行状态}。

S3,按照资源值有序的动态管理资源表，选择前x个节点建立会话并分发任务，所述x为非零的自然数；

优选地，选择前x个资源未过载的节点，启动x个子线程与此x个节点建立会话并保持；当会话建立后，将各类异步任务按照优先级，一次组合x批次任务发送给已保持会话的x个系统节点；

S4,与会话保持的x个节点定期进行会话交流，通过交流的结果更新动态管理资源表，并按照更新的结果决定是否继续分发任务或者暂停任务的执行。

优选地，系统装置节点按照任务要求中的资源及状态反馈时间间隔：i nterva l，定期的通过会话反馈任务的执行进度以及此前系统装置节点的资源使用情况。

第二方面，本发明提供一种分布式存储多异步任务动态控制系统，所述系统包括异步任务存储装置、一个或多个异步任务管理控制装置、多个系统装置，其中：

所述异步任务存储装置用于以分类集合的方式固定存储异步任务；

所述异步任务管理控制装置用于负责资源反馈管理以及根据反馈信息进行任务控制；

所述系统装置用于根据异步任务管理控制装置下发的指令执行任务，并向所述异步任务管理控制装置反馈自身状态及任务执行情况。

第三方面，本发明提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行所述的分布式存储多异步任务动态控制方法对应的操作。

与传统的分布式任务相比，本申请增加了具有资源反馈特征的多异步任务动态管理控制节点，异步任务管理控制节点利用主线程维护动态资源管理表，子线程通过会话的方式获取系统装置节点的资源反馈信息，结合动态资源管理表及及时更新的资源反馈信息，对集群多异步任务进行反馈处理。

根据本申请的方法，可以使分布式异步任务不影响实时任务的情况下达到高效执行。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为分布式存储多异步任务动态控制方法流程图；

图2为分布式存储多异步任务动态控制系统架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括这些要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明提供一种分布式存储多异步任务动态控制方法,应用于异步任务管理控制装置，具体包括：

1、异步任务管理控制装置生成动态管理资源表

在具体实施中，异步任务管理控制装置在启动时，由主线程与相关系统装置线程建立连接，首次获取与它形成映射关系的系统装置的资源使用状态，例如：CPU使用情况cpu_resource_stat＝{used,tota l}，内存使用情况

mem_resource_stat＝{used,tota l}，以及硬盘使用情况

prt_resource_stat＝{used,tota l}。异步任务管理控制装置将获取到的资源进行转换，形成一张按照资源值有序的动态管理资源表，表项为：

{n i d_1：resource_we ight_1；

n i d_2：resource_we i ght_2；

……；

n i d_n:resource_we i ght_n；}

其中

resource_we i ght＝max(cpu_we i ght,mem_we i ght,prt_we i ght)

cpu_we i ght＝cpu_resource_stat.used/cpu_resource_stat.tota l

mem_we i ght＝mem_resource_stat.used/mem_resource_stat.tota l

prt_we i ght＝prt_resource_stat.used/prt_resource_stat.tota l

2、异步任务管理控制装置从异步任务存储装置获取各类异步任务的头指针。

在具体实施中，所有异步任务不再直接存在于系统节点设备中，当有异步任务需要执行时，例如：垃圾回收、大量数据删除任务等，异步任务将以分类集合的方式固定存储于一定的异步任务存储装置中。

异步任务的描述为：{任务类型，优先级级别，子任务序列，子任务执行状态}，其中，任务类型标识某一类异步任务；优先级级别标识此类异步任务的优先级，单调递增；子任务序列可以为一个地址指针，指向序列化的子任务存储位置；子任务执行状态是一个开放性的定义，可以包含任务的开始时间，结束时间、或者子任务执行到的位置等。

3、异步任务管理控制装置按照资源值有序的动态管理资源表，选择前x节点建立会话并分发任务，所述x为非零的自然数。

在具体实施中，异步任务管理控制装置选择前x个资源未过载的节点，启动x个子线程与此x个节点建立会话并保持。

当会话建立后，将各类异步任务按照优先级，一次组合x批次任务发送给已保持会话的x个系统节点。较佳地，首次组合任务个数应较少，可以设置为通过配置修改的方式。

传送给系统节点的任务内容如下，且异步任务管理控制装置应在内存中保持任务信息的存在：

其中，task_process_stats以及resource_stats由系统装置节点进行反馈。

4、异步任务管理控制装置与会话保持的x个节点定期进行会话交流，通过交流的结果更新动态管理资源表，并按照更新的结果决定是否继续分发任务或者暂停任务的执行，或者根据动态管理资源表，动态的管理和调度系统装置节点执行任务的数量。

在具体实施中，系统装置节点在收到任务以后，按照异步任务管理控制装置派发的任务要求，单线程进行或者多线程进行任务的执行。并与异步任务管理控制装置保持会话。且按照任务要求中的资源及状态反馈时间间隔：i nterva l，定期的通过会话反馈任务的执行进度以及此前系统装置节点的资源使用情况：cpu_resource_stat＝{used,total}。

异步任务管理控制装置的x个子线程持续与x个系统装置节点保持会话交流，子线程收到会话结果，将会话结果报告给主线程，主线程将x个系统装置节点反馈的资源使用情况按照初始生成动态管理资源表的方法更新并检查之前生成的按照资源值有序的动态管理资源表。当发现有某个系统装置节点资源使用率超过定义的最大值时，主线程通知与超载系统装置保持会话的子线程，子线程通过与此系统装置节点保持的会话告知停止任务，系统装置节点收到停止命令，立刻停止任务的执行，并返回任务的执行情况以及此刻系统装置节点的资源使用情况。或者，当收到系统节点一批次任务执行完成的情况，主线程将再次根据动态管理资源表分配一批次任务到资源有剩余的系统装置节点上。

本发明还提供一种分布式存储多异步任务动态控制系统，所述系统包括异步任务存储装置、异步任务管理控制装置、多个系统装置。

所述异步任务存储装置用于以分类集合的方式固定存储异步任务。所有异步任务不再直接存在于系统节点设备中，当有异步任务需要执行时，例如：垃圾回收、大量数据删除任务等，异步任务将以分类集合的方式固定存储于一定的异步任务存储装置中。

异步任务的描述为：{任务类型，优先级级别，子任务序列，子任务执行状态}，其中，任务类型标识某一类异步任务；优先级级别标识此类异步任务的优先级，单调递增；子任务序列可以为一个地址指针，指向序列化的子任务存储位置；子任务执行状态是一个开放性的定义，可以包含任务的开始时间，结束时间、或者子任务执行到的位置等。

所述异步任务管理控制装置用于负责资源反馈管理以及根据反馈信息进行任务控制；所述分布式多类异步任务动态控制系统中包含一个或多个异步任务管理控制装置，每个异步任务管理控制装置将一批系统装置与一批多类异步任务形成映射关系，并根据相关映射系统装置的资源反馈情况控制映射的异步任务分布到系统装置上执行。

所述系统装置用于根据异步任务管理控制装置下发的指令执行任务，并向所述异步任务管理控制装置反馈自身状态及任务执行情况。

系统装置节点在收到任务以后，按照异步任务管理控制装置派发的任务要求，单线程进行或者多线程进行任务的执行。并与异步任务管理控制装置保持会话。且按照任务要求中的资源及状态反馈时间间隔：i nterva l，定期的通过会话反馈任务的执行进度以及此前系统装置节点的资源使用情况：cpu_resource_stat＝{used,tota l}。

在具体实施中，本实施例提供的系统还可以用于实现本发明其他实施例所提供的方法中的各项步骤，尤其是本发明其他实施例中提供的分布式存储多异步任务动态控制方法中的各项步骤，均可由本实施例所提供的系统予以实现。

本发明还提供一种计算机设备。计算机设备以通用计算设备的形式表现。计算机设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，系统存储器，连接不同系统组件的总线。

计算机设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器可以包括易失性存储器形式的计算机系统可读介质，存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

处理单元通过运行存储在系统存储器中的程序，从而执行各种功能应用以及数据处理，例如实现本发明其他实施例所提供的方法。

本发明还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明其他实施例所提供的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种分布式存储多异步任务动态控制方法，其特征在于，

S1,异步任务管理控制装置生成动态管理资源表；

S2,从异步任务存储装置获取各类异步任务的头指针；

S3,按照资源值有序的动态管理资源表，选择前x个节点建立会话并分发任务，所述x为非零的自然数；

S4,与会话保持的x个节点定期进行会话交流，通过交流的结果更新动态管理资源表，并按照更新的结果决定是否继续分发任务或者暂停任务的执行。

2.根据权利要求1所述的方法，其特征在于，所述生成动态管理资源表，包括：

获取与异步任务管理控制装置形成映射关系的系统装置的资源使用状态，将获取到的资源使用状态进行转换，形成一张按照资源值有序的动态管理资源表。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中的异步任务，包括：

所述异步任务以分类集合的方式固定存储于一定的异步任务存储装置中；

所述异步任务的描述为：{任务类型，优先级级别，子任务序列，子任务执行状态}。

4.根据权利要求1所述的方法，其特征在于，

所述建立会话，包括：

选择前x个资源未过载的节点，启动x个子线程与此x个节点建立会话并保持；

所述分发任务，包括：

当会话建立后，将各类异步任务按照优先级，一次组合x批次任务发送给已保持会话的x个系统节点。

5.根据权利要求1所述的方法，其特征在于，所述定期进行会话交流，包括：

系统装置节点按照任务要求中的资源及状态反馈时间间隔：interval，定期的通过会话反馈任务的执行进度以及此前系统装置节点的资源使用情况。

6.一种分布式存储多异步任务动态控制系统，所述系统包括异步任务存储装置、一个或多个异步任务管理控制装置、多个系统装置，其中：

所述异步任务存储装置用于以分类集合的方式固定存储异步任务；

所述异步任务管理控制装置用于负责资源反馈管理以及根据反馈信息进行任务控制；

所述系统装置用于根据异步任务管理控制装置下发的指令执行任务，并向所述异步任务管理控制装置反馈自身状态及任务执行情况。

7.根据权利要求6所述的系统，其特征在于，所述异步任务的描述为：{任务类型，优先级级别，子任务序列，子任务执行状态}。

8.根据权利要求6所述的系统，其特征在于，所述异步任务管理控制装置，还用于生成动态管理资源表，获取与异步任务管理控制装置形成映射关系的系统装置的资源使用状态，将获取到的资源使用状态进行转换，形成一张按照资源值有序的动态管理资源表。

9.根据权利要求6所述的系统，其特征在于，所述异步任务管理控制装置，还用于将一批系统装置与一批多类异步任务形成映射关系，并根据相关映射系统装置的资源反馈情况控制映射的异步任务分布到系统装置上执行。

10.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行如权利要求1-5任一项所述的分布式存储多异步任务动态控制方法对应的操作。

Images