CN115774614A - 资源调控方法、终端及存储介质 - Google Patents

Abstract

本发明实施例公开了一种资源调控方法、终端及存储介质，包括获取流处理集群和批处理集群中混合部署的节点，基于控制组群调控节点对流处理任务和批处理任务的资源分配。本申请通过引入控制组群来对实时流处理及批处理任务进行混合部署的节点资源的管控和动态适配，允许这两类任务在运行过程中消耗资源的动态自适应，能提高资源的使用率，有效的避免资源的浪费。

Description

资源调控方法、终端及存储介质

技术领域

本发明实施例涉及通信技术领域，特别涉及一种资源调控方法、终端及存储介质。

背景技术

在大数据应用系统中，一般都会包含需要实时响应处理的流处理业务以及追求业务高吞吐量的批处理业务(非实时响应业务)。通常情况下，实时业务流处理集群节点与批处理集群节点在物理上是独立部署的，资源无法共享，配置成本高。考虑实时流处理业务和批处理业务忙闲时特点，为更大化利用集群物理资源达成降成本目标，需要将实时流处理集群与批处理集群在相同物理节点上进行混合部署，并且达到优先满足实时流处理对资源的要求，即需要保证流数据处理的不间断性，不能存在丢数据现象，实现资源共享和调配时，不能影响到实时流处理的性能和服务质量。

要进行流处理集群与批处理集群的混合部署，相关方案常采用虚拟化及容器技术，例如LXC(Linux Containe，一种内核虚拟化技术)、Docker(一种开源的应用容器引擎)、K8s(kubernetes，一种生产级别的容器编排系统)来对资源进行规划和管控，通过将实时处理服务和批处理服务部署在不同的虚机和容器中来对资源进行完全的隔离和管控(但实际虚机或容器可能运行在同一物理节点上)。该方案主要优势在于操作部署比较方便，但是一旦容器资源确定后，其资源很难根据当前节点的资源消耗情况(如CPU资源)，在运行时进行资源的动态调整。

发明内容

本发明实施例提供了一种资源调控方法、终端及存储介质，能够来对实时流处理任务及批处理任务进行混合部署的节点资源的管控和动态适配。

第一方面，本发明实施例提供了一种资源调控方法，所述方法包括：

获取流处理集群和批处理集群中混合部署的节点；

基于控制组群调控所述节点对流处理任务和批处理任务的资源分配。

第二方面，本发明实施例提供了一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的资源调控方法。

第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述的资源调控方法。

本发明实施例包括：本发明实施例通过引入控制组群技术来对实时流处理及批处理任务进行混合部署的节点资源的管控和动态适配，允许这两类任务在运行过程中消耗资源的动态自适应，能提高资源的使用率，有效的避免资源的浪费。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明一个实施例提供的资源调控方法的流程示意图；

图2为本发明一个实施例提供的混合部署的节点的任务消耗示意图；

图3为本发明一个实施例提供的根据流处理集群的忙闲状态对提交的批处理任务进行管控的示意图；

图4为本发明一个实施例提供的目标节点校准的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在大数据应用系统中，一般都会包含需要实时响应处理的流处理任务以及追求任务高吞吐量的批处理任务(非实时响应任务)。通常情况下，实时任务流处理集群节点与批处理集群节点在物理上是独立部署的，资源无法共享，配置成本高。考虑实时流处理任务和批处理任务忙闲时特点，为更大化利用集群物理资源达成降成本目标，需要将实时流处理集群与批处理集群在相同物理节点上进行混合部署，并且达到优先满足实时流处理对资源的要求，即需要保证流数据处理的不间断性，不能存在丢数据现象，实现资源共享和调配时，不能影响到实时流处理的性能和服务质量。

要进行流处理集群与批处理集群的混合部署，相关方案常采用虚拟化及容器技术，例如LXC、Docker、K8s来对资源进行规划和管控，通过将实时处理服务和批处理服务部署在不同的虚机和容器中来对资源进行完全的隔离和管控(但实际虚机或容器可能运行在同一物理节点上)。该方案主要优势在于操作部署比较方便，但是一旦容器资源确定后，其资源很难根据当前节点的资源消耗情况(如CPU资源)，在运行时进行资源的动态调整。

为了解决上述缺陷，本申请通过应用Linux内核的Cgroup(Control group控制组群)技术到流任务与批任务的CPU及内存资源的管控上，可以很好实现不同资源负载情况下，正在运行的流任务与批任务消耗资源的自适应。本申请通过引入Cgroup技术来对实时流处理及批处理任务进行CPU以及内存资源的管控和动态适配，特别是CPU资源，允许这两类任务在运行过程中消耗CPU的动态自适应。如在CPU资源紧张情况下，优先分给实时流处理任务执行(即实时流任务可以动态抢占部分批处理任务的CPU资源，用以保证实时流任务的性能和服务质量)；而在CPU资源不紧张的情况下，也可以让批处理任务抢占到更多的CPU资源，提高系统资源的使用率，有效的避免资源的浪费。

而且另外通过本申请还可以根据流处理集群的忙闲状态对提交的批处理任务进行管控，即在资源紧张情况下，控制新提交的批处理任务的数量；在系统资源较为空闲时，适当增加新提交的批处理任务。

本申请一个实施例提供的资源调控方法可以在一种终端中执行。终端可以为移动电子设备、非移动电子设备和服务器。移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理等；非移动电子设备可以为个人计算机、电视机、柜员机或者自助机等；本发明实施方案不作具体限定。电子设备可以包括处理器，外部存储器接口，内部存储器，通用串行总线(universalserial bus，USB)接口，充电管理模块，电源管理模块，电池，天线，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口，传感器模块，按键，马达，指示器，摄像头，显示屏，以及用户标识模块(Subscriber Identification Module，SIM)卡接口等。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content-Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

下面结合附图，对本申请实施例作进一步阐述。

参照图1，本发明的一个实施例，提供了一种资源调控方法，方法包括如下步骤：

步骤S100、获取流处理集群和批处理集群中混合部署的节点。

步骤S200、基于控制组群调控节点对流处理任务和批处理任务的资源分配。

参照图2，流处理集群和批处理集群中存在混合部署的节点(图中用物理主机表示节点，图2中的虚线框内表示混合部署的节点)，本方法基于控制组群(英文简称Cgroup)调控节点对流处理任务和批处理任务的资源分配，通过引入基于linux内核的Cgroup技术来对实时流处理及批处理任务进行CPU以及内存资源的管控和动态适配，特别是CPU资源，允许这两类任务在运行过程中消耗CPU的动态自适应。如在CPU资源紧张情况下，优先分给实时流处理任务执行(即实时流任务可以动态抢占部分批处理任务的CPU资源，用以保证实时流任务的性能和服务质量)；而在CPU资源不紧张的情况下，也可以让批处理任务抢占到更多的CPU资源，提高系统资源的使用率，有效的避免资源的浪费。

如图2所示，流处理集群与批处理集群在某些服务器上是混合部署(共机部署)的，通过Cgroup的配置可以相应的管控流处理任务与批处理任务的CPU及内存资源。对于内存资源无法动态适配，需要预先约定静态分配好，原则是尽量预分配给流处理任务，批处理任务分配剩余的内存(另外还需要预留一定的操作系统所需的内存)。对于CPU资源，通过Cgroup的相关配置可以实现CPU资源紧张情况下，优先分给实时流处理任务执行；在CPU资源不紧张的情况下，也可以让批处理任务抢占到更多的CPU资源，提高系统资源的使用率。

在一些实施例中，控制组群的配置过程包括：

(1)首先对流处理服务和批处理服务规划两个资源组(如：flowgroup，batchgroup)。

(2)按照如下方式设置资源组的CPU资源(对于16核的节点)：

flowgroup/cpu.cfs_period_us＝100000

flowgroup/cpu.cfs_quota_us＝1500000

flowgroup/cpu.shares＝1500

batchgroup/cpu.cfs_period_us＝100000

batchgroup/cpu.cfs_quota_us＝600000

batchgroup/cpu.shares＝50

上述配置表示流处理服务组最多使用分配15个核，CPU资源紧张(满跑)时最多也是使用15个核；而批处理服务组最多使用分配6个核，CPU资源紧张(满跑)时最多只能使用0.5个核。

(3)按照上述配置后，在资源空闲情况下批处理服务的任务最多可以分配占用6个核，当CPU资源紧张系统满跑时，最多只能占用0.5个核。而流处理服务任务不管CPU资源是否紧张，都可以最多占用15个核。从而在资源紧张情况下，流处理任务可以实现对批处理任务资源的动态抢占，优先满足流处理任务的需求。

在一些实施例中，本资源调控方法还包括步骤：

步骤S300、获取流处理集群的忙闲状态。

步骤S400、根据流处理集群的忙闲状态调控流处理集群中的批处理任务。

本方法能够根据当前流处理集群的忙闲状态对提交的批处理任务进行管控(批处理任务是源源不绝的)。即在资源紧张情况下，控制新提交的批处理任务的数量，在系统资源较为空闲时，适当增加新提交的批处理任务，也能提高系统资源的使用率，有效的避免资源的浪费。

在一些实施例中，步骤S300和步骤S400具体包括处理流程如下所示：

在物理配置上，流处理集群中各节点上需要部署纳入批处理服务组件(例如Spark，MapReduce等)，而批处理服务的调度和资源管理以Yarn(一种资源管理器)为例进行举例说明(但不只是局限于Yarn，其他资源管理调度组件也适用)。为实现资源共享的目的，如图3中，引入一个Yarn资源管理器和一个统一资源调度器，其中，统一资源调度器负责对流处理集群资源监控和进行忙闲的判决。Yarn调度器中的流处理标签队列负责维护可用于Yarn调度的流处理集群中的节点，其中流处理标签队列中的每一个标签对应有流处理集群或批处理集群中的一个主机节点。其执行过程如下所示：

第一、将流处理集群中可用于yarn调度和资源共享的节点(即混合部署的节点)组成一个队列，启用yarn的标签体系，为这个流处理节点队列打上标签作为yarn管理下的一类特殊资源队列流处理标签队列。当然，当有多个流处理集群时，可以组成yarn管理下的多个标签队列。

这里设置队列有如下优势：

(1)避免批处理任务跨不同类型的节点，造成一些节点速度快，一些节点速度慢，而慢的节点会拖慢整个批处理任务的执行。

(2)使管理流处理集群节点上的批处理任务更加便利，当流处理任务繁忙时，可以统一的通过Yarn的标签队列的关闭，实现批处理任务不再占用流处理集群节点上的资源。

(3)为人为干预提供可行性，通过统一修改标签队列的属性，人为关闭队列。

第二、流处理集群定时向统一资源调度器上报当前的集群内各节点的资源使用率。

第三、统一资源调度器接收到流处理集群上报的资源使用率，对流处理集群进行判决，在一些实施例中，统一资源调度器通过如下方式对流处理集群的忙闲状态进行判决：

步骤S301、根据流处理集群中的节点的资源使用率，判决节点对应的忙闲状态。

步骤S302、当流处理集群中存在至少一个以上的节点为忙状态，判决流处理集群为忙状态；当流处理集群中的多个节点均为闲状态，判决流处理集群为闲状态。

在一些实施例中，步骤S301和S302是通过如下方式进行判断流处理集群的忙闲状态：

当流处理集群中某个节点的物理CPU利用率超过阈值的20％或内存利用率超过阈值的50％，则流处理集群设为忙状态，当流处理集群中所有节点的物理CPU低于阈值的20％且内存利用率低于阈值50％，则流处理集群设为闲状态。需要注意的是，这里的两个阈值可以根据实际情况进行设定，本申请不作任何限制。

统一资源调度器将对流处理集群判定的忙闲状态结果通知给Yarn调度器。Yarn调度器更新流处理标签队列的情况，当统一资源调度器判定流处理集群为忙状态，则更新流处理标签队列为忙状态；当统一资源调度器判定流处理集群为闲状态，则更新流处理标签队列为闲状态。

第四、Yarn调度器根据接收到统一资源调度器发送集群节点忙闲状态之后，更新标签队列状态，然后跟标签队列状态，来确定是否将队列资源纳入Yarn调度器(即确定是否将标签队列对应的节点的资源供批处理任务来执行)：

(1)当流处理标签队列标记为闲时，对应的节点资源(CPU和内存)可纳入Yarn调度器进行调度，Yarn调度器可将批处理任务调度到流处理标签队列里的节点上执行。

(2)当流处理标签队列标记为忙时，yarn调度器可以直接停止流处理标签队列上的批处理任务，将流处理标签队列节点上的批处理任务全部停掉，并释放资源。流处理标签队列资源不纳入Yarn调度器进行调度。需要注意的是，当流处理标签队列标记为忙时，一方面yarn调度器可以调控流处理集群上的节点停止接收新的批处理任务，对于已正在执行的批处理任务，仍然将其执行完成。另一方面，当流处理节点上正在执行的批任务执行停滞(或者执行超时)时，可直接进行异常处理流程停止掉对应的批处理任务，从而释放资源。

通过上述过程来实现当流处理节点空闲时，批处理任务可使用流处理节点资源，当流处理节点忙时，会停止接收新的批处理任务，而且原先的批处理任务也可被取消或被流处理任务动态抢占CPU资源，这样确保节点资源尽量供流任务使用。

在一些实施例中，本资源调控方法还包括如下步骤：

以间隔时间连续采集多次节点的资源使用率，以多次节点的资源使用率的平均值作为节点的当前资源使用率。

因为在实际运行中，统一资源调度器需要考虑可能存在的异常情况，例如流处理集群中节点的上报误差等，在这种情况下，可每隔2-5分钟采集一次节点的资源使用情况，取3次平均值作为当前资源使用率，使得计算结果更为准确。

在一些实施例中，统一资源调度器需要考虑可能存在的异常情况，比如流处理标签队列忙闲上报发生滞后时，对调度在队列节点上的批处理yarn任务的影响，可应对策略可包括但不限于以下：

(1)当流处理集群为闲状态，将新的批处理任务按照优先级程度由低至高的顺序调度至流处理集群中，可优先将优先级和重要性较低的批处理任务调度到流处理节点上，这样能够。

(2)当流处理节点上正在执行的批任务执行停滞(或者执行超时)时，可直接进行异常处理流程停止掉对应的批处理任务。

在一些实施例中，为避免流任务集群内各节点资源使用情况的抖动对忙闲状态判断产生误判，本资源调控方法还包括如下步骤：

步骤S500、通过流处理集群中的目标节点的历史忙闲状态对目标节点的当前忙闲状态进行校准。

因为流处理集群中的节点具备一定的周期性，所以可以通过节点的历史忙闲状态对节点的当前忙闲状态进行校准，避免流任务集群内各节点系统资源使用情况的抖动对忙闲状态判断产生误判。

基于上述实施例，步骤S500的具体实现方式如下所示：

步骤S501、获取目标节点在当前周期上的第一时间点，以及目标节点在历史周期上的第二时间点，其中第二时间点与第一时间点在一组周期中的位置相对应。

步骤S502、根据目标节点在第二时间点的相邻连续若干个时间点的忙闲状态和/或目标节点在第一时间点的相邻连续若干个时间点的忙闲状态，对目标节点的当前忙闲状态进行校准。

如图4所示，假设目标节点在当前周期上的第一时间点为样点1，目标节点在上一周期上的第二时间点为样点D1，因为流处理集群中的节点的忙闲状态具备一定的周期性，那么可以通过上一周期上的样点D1的相邻连续若干个时间点的忙闲状态或样点1的相邻连续若干个时间点的忙闲状态，对样点1的当前忙闲状态进行校准。需要注意的是，这里所述的时间点是指的采样点，采样点的采样周期可以根据实际情况进行设定，例如每隔4分钟采集一次目标的节点资源使用率，然后判定目标节点是忙状态还是闲状态。

这里还提供一组示例，例如：目标节点的一个周期包括100个样点(采样时间点)，因为流处理集群中的节点的忙闲状态具备一定的周期性，假设目标节点的第一时间点为当前周期上的第23个样点，那么目标节点在该样点上的状态可以通过当前周期中的第20、第21以及第22个样点的状态进行校准；也可以定位第二时间点，这里的第二时间点是目标节点在上一周期中的第23个样点，然后通过目标节点在上一周期中的第20、第21以及第22个样点的状态和/或第24、第25以及第26个样点的状态进行校准。

在一些实施例中，步骤S502具体包括：

步骤S5021、当目标节点在第二时间点的前连续若干个时间点或者后连续若干个时间点为忙状态，将目标节点的当前忙闲状态校准为忙状态。

步骤S5022、当目标节点在第二时间点的前连续若干个时间点和后连续若干个时间点均为闲状态，将目标节点的当前忙闲状态校准为闲状态。

步骤S5023、当目标节点在第一时间点的前连续若干个时间点为忙状态，将目标节点的当前忙闲状态校准为忙状态。

步骤S5024、当目标节点在第一时间点的前连续若干个时间点为闲状态，将目标节点的当前忙闲状态校准为闲状态。

如图4所示，图4中通过“1”表示采样点为忙状态，“0”表示采样点为闲状态，在样点D1的前后都设置一个滑窗，滑窗内包含3个时间点(以3个时间点作为示例，但不仅限于3个)，当前面的滑窗中的三个样点都为闲状态，并且后面的滑窗中的三个样点也都为闲状态，那么将样点1校准为闲状态。当前面的滑窗中的三个样点均为忙状态或者后面的滑窗中的三个样点均为忙状态，那么将样点1校准为忙状态。同理，在样点1前设置一个滑窗，滑窗内包含3个时间点，若前滑窗中的三个样点都为闲状态，那么将样点1校准为闲状态，若前滑窗中的三个样点都为忙状态，那么将样点1校准为忙状态。图4中的样点2也是同理，此处不再赘述。本实施例方法能够避免流任务集群内各节点资源使用情况的抖动对忙闲状态判断产生误判。

本发明的一个实施例，提供了一种终端，该终端包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的资源调控方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的资源调控方法，例如，执行以上描述的图1中的方法步骤S100至S200。

以上所描述的终端实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

此外，本发明的第十一实施例，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述终端实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的资源调控方法，例如，执行以上描述的图1中的方法步骤S100至S200。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (14)

1.一种资源调控方法，其特征在于，所述方法包括：

获取流处理集群和批处理集群中混合部署的节点；

基于控制组群调控所述节点对流处理任务和批处理任务的资源分配。

2.根据权利要求1所述的资源调控方法，其特征在于，所述方法还包括：

获取所述流处理集群的忙闲状态；

根据所述流处理集群的忙闲状态调控所述流处理集群中的批处理任务。

3.根据权利要求2所述的资源调控方法，其特征在于，所述根据所述流处理集群的忙闲状态调控所述流处理集群中的批处理任务，包括如下之一：

当所述流处理集群为忙状态，调度所述流处理集群停止接收新的批处理任务；

当所述流处理集群为闲状态，调度所述流处理集群接收并执行新的批处理任务。

4.根据权利要求3所述的资源调控方法，其特征在于，所述获取所述流处理集群的忙闲状态，包括：

根据所述流处理集群中的所述节点的资源使用率，确定所述节点对应的忙闲状态；

当所述流处理集群中存在至少一个以上的所述节点为忙状态，确定所述流处理集群为忙状态；当所述流处理集群中的所述节点均为闲状态，确定所述流处理集群为闲状态。

5.根据权利要求3所述的资源调控方法，其特征在于，所述方法还包括：

通过所述流处理集群中的目标所述节点的历史忙闲状态对目标所述节点的当前忙闲状态进行校准。

6.根据权利要求5所述的资源调控方法，其特征在于，所述通过所述流处理集群中的目标所述节点的历史忙闲状态对目标所述节点的当前忙闲状态进行校准，包括：

获取目标所述节点在当前周期上的第一时间点，以及目标所述节点在历史周期上的第二时间点，其中所述第二时间点与所述第一时间点在一组周期中的位置相对应；

根据目标所述节点在所述第二时间点的相邻连续若干个时间点的忙闲状态和/或目标所述节点在所述第一时间点的相邻连续若干个时间点的忙闲状态，对目标所述节点的当前忙闲状态进行校准。

7.根据权利要求6所述的资源调控方法，其特征在于，所述根据目标所述节点在所述第二时间点的相邻连续若干个时间点的忙闲状态，对目标所述节点的当前忙闲状态进行校准，包括：

当目标所述节点在所述第二时间点的前连续若干个时间点或者后连续若干个时间点为忙状态，将目标所述节点的当前忙闲状态校准为忙状态；

当目标所述节点在所述第二时间点的前连续若干个时间点和后连续若干个时间点均为闲状态，将目标所述节点的当前忙闲状态校准为闲状态。

8.根据权利要求6所述的资源调控方法，其特征在于，所述根据目标所述节点在所述第一时间点的相邻连续若干个时间点的忙闲状态，对目标所述节点的当前忙闲状态进行校准，包括：

当目标所述节点在所述第一时间点的前连续若干个时间点为忙状态，将目标所述节点的当前忙闲状态校准为忙状态；

当目标所述节点在所述第一时间点的前连续若干个时间点为闲状态，将目标所述节点的当前忙闲状态校准为闲状态。

9.根据权利要求3所述的资源调控方法，其特征在于，所述方法还包括：

当所述流处理集群为闲状态，将所述新的批处理任务按照优先级程度由低至高的顺序调度至所述流处理集群中。

10.根据权利要求3所述的资源调控方法，其特征在于，所述方法还包括：

当所述流处理集群为忙状态且执行的批任务超时，调度所述流处理集群停止执行已超时的批任务。

11.根据权利要求4所述的资源调控方法，其特征在于，还包括：

以间隔时间连续采集多次所述节点的资源使用率；

以多次所述节点的资源使用率的平均值作为所述节点的当前资源使用率。

12.根据权利要求1至11任一项所述的资源调控方法，其特征在于，所述资源包括CPU和内存。

13.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述的资源调控方法。

14.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至12任一项所述的资源调控方法。

Images