CN114116175A - 计算资源调度方法、装置、电子设备及存储介质 - Google Patents

计算资源调度方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114116175A
CN114116175A CN202111459574.1A CN202111459574A CN114116175A CN 114116175 A CN114116175 A CN 114116175A CN 202111459574 A CN202111459574 A CN 202111459574A CN 114116175 A CN114116175 A CN 114116175A
Authority
CN
China
Prior art keywords
scheduling
determining
computing resource
processing unit
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111459574.1A
Other languages
English (en)
Inventor
邹学强
谢佳豪
袁堂岭
雷正朝
庞韶敏
尚程
李旭楠
何文杰
杨满智
蔡琳
金红
陈晓光
梁彧
傅强
田野
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Eversec Beijing Technology Co Ltd
Original Assignee
National Computer Network and Information Security Management Center
Eversec Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center, Eversec Beijing Technology Co Ltd filed Critical National Computer Network and Information Security Management Center
Priority to CN202111459574.1A priority Critical patent/CN114116175A/zh
Publication of CN114116175A publication Critical patent/CN114116175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Abstract

本申请实施例公开了一种计算资源调度方法、装置、电子设备及存储介质。该方法包括:实时获取DPI系统中各处理单元的计算资源使用信息;根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度;若需要,根据所述计算资源使用信息确定调度方案,并根据所述调度方案对所述DPI系统进行计算资源的调度。基于此,可以实时确定DPI系统是否需要进行资源调度,并在需要的时候自动生成调度方案完成资源调度,提高资源调度的实时性,避免系统出现瘫痪再进行人工调度的情况。

Description

计算资源调度方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及资源管理技术领域,尤其涉及一种计算资源调度方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展,互联网中的设备数量与业务数量越来越多,网络中的流量也随之剧增。为了加强对网络的管理,一般都会对网络流量进行分析,目前,常用的分析方法有深度报文解析(Deep Packet Inspection,DPI)技术。
一般,DPI系统会采集互联网中各业务的流量,然后进行分析,但是网络流量超出DPI系统的最大处理能力后,DPI系统会出现流量堵塞甚至丢弃的情况,甚至会导致系统瘫痪。对于该情况,可以对DPI系统进行扩容,但是当前的扩容通常会在系统出现瘫痪后才会进行,而且通常会由人工进行硬件扩容,这种扩容方式不够灵活,还会造成目标资源规格的浪费。
发明内容
本申请实施例提供一种计算资源调度方法、装置、电子设备及存储介质,以降低对于计算资源调度的环境要求,减小计算资源调度的难度。
第一方面,本申请实施例提供了一种计算资源调度方法,所述方法包括:
实时获取DPI系统中各处理单元的计算资源使用信息;
根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度;
若需要,根据所述计算资源使用信息确定调度方案,并根据所述调度方案对所述DPI系统进行计算资源的调度。
第二方面,本申请实施例还提供了一种计算资源调度装置,该计算资源调度装置包括:
获取模块,用于实时获取DPI系统中各处理单元的计算资源使用信息;
确定模块,用于根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度;
调度模块,用于若需要,根据所述计算资源使用信息确定调度方案,并根据所述调度方案对所述DPI系统进行计算资源的调度。
第三方面,本申请实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本申请任一实施例提供的计算资源调度方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本申请任一实施例提供的计算资源调度方法。
本申请实施例的技术方案通过根据实时获取的DPI系统各处理单元的计算资源使用信息,判断DPI系统是否需要进行计算资源的调度,若需要,则根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。基于此,可以实时确定DPI系统是否需要进行资源调度,并在需要的时候自动生成调度方案完成资源调度,提高资源调度的实时性,避免系统出现瘫痪再进行人工调度的情况。
附图说明
图1为本申请实施例一提供的计算资源调度方法的流程示意图;
图2是本申请的实施例一提供的一种扩容方式的示意图;
图3是本申请的实施例二提供的一种确定DPI系统是否需要进行计算资源的调度的流程示意图;
图4为本申请的实施例二提供的确定调度方案的流程示意图;
图5是本申请的实施例二提供的一种确定DPI系统是否需要进行计算资源的调度的流程示意图;
图6为本申请实施例四提供的一种计算资源调度装置的结构示意图;
图7为本申请实施例五提供的一种电子设备的结构示意图
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的计算资源调度方法的流程示意图,本实施例可适用于计算资源调度的场景。该方法可以由计算资源调度装置来执行,该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有数据运算能力的计算机等电子设备中,具体包括如下步骤:
步骤101、实时获取DPI系统中各处理单元的计算资源使用信息。
本步骤中,DPI系统指的是深度报文解析系统,其中,DPI系统中会包含多个处理单元,在一个具体的例子中,该处理单元可以是以虚拟机的形式存在。需要说明的是,各处理单元均是一个可以独立解析报文的单元,其具备的资源可以有多种,比如CPU内核、RAM和ROM等。
另外,计算资源使用信息指的是各资源的使用信息,具体可以包括资源的总量以及使用量,在一个具体的例子中,某个处理单元的计算资源使用信息为CPU内核共4核,使用2核;RAM共8G,使用4G;ROM共256G,使用125G。
步骤102、根据计算资源使用信息确定DPI系统是否需要进行计算资源的调度。
本步骤中,资源的调度主要分为两个方向,一个是扩容,一个是缩容。需要说明的是,扩容和缩容均有两种方式,也就是说,资源的调度会有四种方式,即水平扩容,水平缩容,垂直扩容,垂直缩容。
具体的,可以参阅图2,图2是本申请的实施例一提供的一种扩容方式的示意图。垂直扩容指的对单个处理单元中的资源的规格进行增加,水平扩容指的是增加DPI系统中的处理单元。需要说明的是,图2中执行本实施例的方法的为弹性不熟控制中心,其中,检测单元用于执行步骤101的步骤,控制单元用于执行步骤102及步骤103确定调度方案的步骤,执行单元用户执行步骤103中进行调度的步骤。
步骤103、若需要,根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。
由于步骤102中,会确定出来DPI系统需不需要进行计算资源的调度,在需要的情况下,还会确定出需要哪种模式下的计算资源调度。因此,本步骤中,可以根据计算资源使用信息确定相应模式下的调度方案。
另外,根据调度方案进行实际的调度时,可以利用heat物理资源编排引擎实现资源的调度,具体会在其他实施例中进行具体说明,此处不再赘述。
需要说明的是,当调度动作执行的过快时,可能会出现资源波动的现象,比如刚扩容紧接着又进行缩容。为了避免该频繁扩缩容的情况发生,在步骤103执行完成后,可以设置一个可配置的保持时间,该保持时间具体可以体现为倒计时,在倒计时结束之前,可以禁止对资源进行调度,以此来避免波动。
本实施例中,通过根据实时获取的DPI系统各处理单元的计算资源使用信息,判断DPI系统是否需要进行计算资源的调度,若需要,则根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。基于此,可以实时确定DPI系统是否需要进行资源调度,并在需要的时候自动生成调度方案完成资源调度,提高资源调度的实时性,避免系统出现瘫痪再进行人工调度的情况。
实施例二
对于确定DPI系统是否需要进行计算资源的调度的具体处理过程,可以参阅图3,图3是本申请的实施例二提供的一种确定DPI系统是否需要进行计算资源的调度的流程示意图。本实施例主要针对扩容场景进行说明。
如图3所示,本实施例中,确定DPI系统是否需要进行计算资源的调度的过程可以包括:
步骤301、对于任一处理单元,比较处理单元的计算资源使用信息是否超出第一预设阈值,若超出,确定DPI系统的处理单元需要进行第一模式下的计算资源调度。
本实施例首先对每个处理单元进行分析,本步骤中对于任一处理单元,即指对于每个处理单元都会进行本步骤的比较,需要说明的是,由于计算资源中会包含多种资源,因此,第一预设阈值中也会对应有多个子阈值,也就是说,对于各种资源,会分别对应有一个子阈值。
当比较处理单元的计算资源使用信息是否超出第一预设阈值时,需要分别比较每种资源的当前使用信息是否超过其对应的子阈值。只要有一个超过,就确定为超出。
当然,有时候随着扩缩容的实施,每个处理单元所拥有的计算资源规则会有所不同,此时比较计算资源使用的信息,可能会失去比较的意义,因此,可以将计算资源使用信息转换为使用比例,对应的,各种资源会设置比例的子阈值,利用使用比例来与相应的子阈值进行比较即可。
在一个具体的例子中,计算资源使用信息包括CPU内核共4核,使用2核;RAM共8G,使用4G;ROM共250G,使用125G,转换为比例后,CPU的使用比例为50%,RAM的使用比例为50%,ROM的使用比例为50%,相应的,第一预设阈值中,给CPU设置的子阈值为70%,RAM的子阈值为60%,ROM的子阈值为80%,分别进行比较后,均未超出子阈值,此时,判定计算资源使用信息未超出第一预设阈值。
另外,本步骤中,若超出了,则说明超出的单个处理单元的计算资源紧张,可能会出现处理拥堵的现象,需要进行垂直扩容,即第一模式下的计算资源调度,因此,若超出,本步骤则会确定DPI系统的处理单元需要进行第一模式下的计算资源调度。
步骤302、若各处理单元的计算资源使用信息均未超出第一预设阈值,求取所有处理单元计算资源使用信息的平均值,并确定平均值是否超出第二预设阈值。
若各处理单元的计算资源使用信息均未超出第一预设阈值,则说明单个处理单元的计算资源并不紧张,但是,不能排除整体的DPI系统是否处于饱和的状态。需要说明的是,饱和状态即每个处理单元都进行着一定量的处理,若此时来新的处理任务,无法分配到空闲的处理单元。
因此,本步骤中,还会求取所有处理单元计算资源使用信息的平均值,由于计算资源会包括多种资源,本步骤的平均值是对于每种资源各求取一个平均值。
需要说明的是,本步骤会先将计算资源使用信息转换为使用比例,若前述步骤中已经转换为使用比例,本步骤则可以直接获取前述步骤中各处理单元的各计算资源的使用比例,然后针对任一种计算资源,求取所有处理单元的使用比例的平均值。
另外,第二预设阈值同样会包括各计算资源各自对应的子阈值,与步骤301相同,比较时要对各种计算资源分别比较,只要有使用比例超出相应子阈值的计算资源,则认定平均值超出第二预设阈值。
步骤303、若平均值超出第二预设阈值,确定DPI系统需要进行第二模式下的计算资源调度。
若平均值超出第二预设阈值,此时说明DPI系统的各处理单元处于饱和状态,需要进行水平扩容,即增加一定计算资源规格的处理单元,也就是第二模式下的计算资源调度。因此,本步骤中,确定DPI系统需要进行第二模式下的计算资源调度。
需要说明的是,本实施例中的垂直扩容和水平扩容均可以利用Heat物理资源编排引擎来实现。Heat物理资源编排引擎会根据调度方案进行物理资源的编排,对于调度方案的确定,可以参阅图4,图4为本申请的实施例二提供的确定调度方案的流程示意图。
如图4所示,本实施例提供的确定调度方案的过程可以包括:
步骤401、若确定DPI系统的处理单元需要进行第一模式下的计算资源调度,基于处理单元的计算资源使用信息确定对处理单元进行扩容所需的目标资源规格。
本步骤中,目标资源规格指的是需要对处理单元进行扩容的资源量,由于计算资源会包括多种资源,因此,本步骤中的目标资源规格可以包括对于各种资源的扩容量。
需要说明的是,本步骤中确定目标资源规格时,可以根据预先设置的规格档位来确定,具体的,可以预先设置不同区间的计算资源使用比例对应的规格档位,具体如下表1所示。
表1
Figure BDA0003389361550000081
Figure BDA0003389361550000091
需要说明的是,表1例子中,区间为使用比例的区间,档位为相对于处理单元资源总量的倍数。
也就是说,若CPU的使用比例在区间(70%,80%]中,则确定对CPU扩容的规格档位为0.5倍,若CPU的总量为4核,那么目标资源规格中CPU的核数则为4*0.5=2。其中,对于量极为整数的资源,比如CPU,需要对计算出来的数值进行取整,对于扩容而言,可以向上取整,即整数位加1同时去掉小数位。
步骤402、将对处理单元按照目标资源规格进行扩容确定为调度方案。
本步骤中,由于前述过程中,可能会涉及到对多个处理单元进行第一模式下的计算资源调度,因此,调度方案中,需要将各处理单元与相应的目标资源规格进行映射。
步骤403、若确定DPI系统需要进行第二模式下的计算资源调度,基于平均值确定初始资源规格。
本步骤中,可以预先设置一个倍数,比如两倍,计算得到的平均值若为使用比例,那么可以将该平均值乘以2,再乘以平均的资源总量,得到最终的初始资源规格。
步骤404、获取当前可调配资源规格,并基于当前可调配资源规格和初始资源规格确定目标资源规格。
由于系统总量中的资源是有限的,因此,初始资源规格可能无法被满足,为了避免因初始资源规格可能无法被满足导致调度错误的问题发生,本步骤中,可以先判断当前可调配资源规格是否满足初始资源规格,若满足,将初始资源规格确定为目标资源规格;若不满足,按照预设调整级别降低初始资源规格,并重复判断当前可调配资源规格是否满足降低后的初始资源规格。
其中,预设调整级别指的是按照一定的梯度降低初始资源规格,该梯度对于不同资源可以设置为不同的数值,或者设置统一的降低比例来实现,比如每次降低0.1。
当然,由于包含了多种资源,只要是其中一种资源无法被满足,就会确定为当前可调配资源规格无法满足初始资源规格,此时只需要降低不满足的资源即可,无需将所有资源的规格进行统一的降低。
步骤405、将增加目标资源规格的处理单元确定为调度方案。
本步骤中,增加目标资源规格的处理单元指的是增加具有该目标资源规格的处理单元。
另外,具体扩容时(即按照调度方案进行计算资源的调度时),可以借助Heat物理资源编排引擎,该引擎会将调度方案解析为所需的各类型资源以及查询到各类型资源对应的客户端(即拥有该资源的客户端)的资源管理服务,然后利用rest请求向相应的客户端的资源管理服务请求创建相应的资源,实现扩容。
需要说明的是,Heat物理资源编排引擎的具体实施可以参阅相关技术的说明,此处不再赘述。
实施例三
对于确定DPI系统是否需要进行计算资源的调度的具体处理过程,可以参阅图5,图5是本申请的实施例二提供的一种确定DPI系统是否需要进行计算资源的调度的流程示意图。本实施例主要针对缩容场景进行说明。
如图5所示,确定DPI系统是否需要进行计算资源的调度的过程可以包括:
步骤501、对于任一处理单元,比较处理单元的计算资源使用信息是否低于第三预设阈值,若低于,确定DPI系统的处理单元需要进行第三模式下的计算资源调度。
本实施例首先对每个处理单元进行分析,本步骤中对于任一处理单元,即指对于每个处理单元都会进行本步骤的比较,需要说明的是,由于计算资源中会包含多种资源,因此,第三预设阈值中也会对应有多个子阈值,也就是说,对于各种资源,会分别对应有一个子阈值。
当比较处理单元的计算资源使用信息是否低于第三预设阈值时,需要分别比较每种资源的当前使用信息是否低于其对应的子阈值。只有全部的资源都低于其相应的子阈值,才会认为处理单元的计算资源使用信息低于第三预设阈值。
当然,有时候随着扩缩容的实施,每个处理单元所拥有的计算资源规则会有所不同,此时比较计算资源使用的信息,可能会失去比较的意义,因此,可以将计算资源使用信息转换为使用比例,对应的,各种资源会设置比例的子阈值,利用使用比例来与相应的子阈值进行比较即可。
在一个具体的例子中,计算资源使用信息包括CPU内核共4核,使用2核;RAM共8G,使用4G;ROM共250G,使用125G,转换为比例后,CPU的使用比例为50%,RAM的使用比例为50%,ROM的使用比例为50%,相应的,第三预设阈值中,给CPU设置的子阈值为20%,RAM的子阈值为20%,ROM的子阈值为10%,分别进行比较后,均未低于子阈值,此时,判定计算资源使用信息未低于第一预设阈值。
另外,本步骤中,若确定低于了,则说明单个处理单元的计算资源过于空闲,需要进行垂直缩容,以节省系统资源,即第三模式下的计算资源调度,因此,若低于,本步骤则会确定DPI系统的处理单元需要进行第三模式下的计算资源调度。
步骤502、若各处理单元的计算资源使用信息均未低于第三预设阈值,求取所有处理单元计算资源使用信息的平均值,并确定平均值是否低于第四预设阈值。
若各处理单元的计算资源使用信息均未低于第三预设阈值,则说明单个处理单元的计算资源并不空闲,但是,不能排除整体的DPI系统是否处于空闲的状态。因此,本步骤中,还会获取所有处理单元计算资源使用信息的平均值,具体可以参阅步骤302的相关内容,此处不再赘述。
步骤503、若平均值超出第四预设阈值,确定DPI系统需要进行第四模式下的计算资源调度。
若平均值超出第四预设阈值,此时说明DPI系统的各处理单元处于空闲状态,需要进行水平缩容,即减少一定计算资源规格的处理单元,也就是第四模式下的计算资源调度。因此,本步骤中,确定DPI系统需要进行第四模式下的计算资源调度。
需要说明的是,本实施例中的垂直缩容和水平缩容均同样可以利用Heat物理资源编排引擎来实现。Heat物理资源编排引擎会根据调度方案进行物理资源的编排,对于调度方案的确定,具体可以如下。
若确定DPI系统的处理单元需要进行第三模式下的计算资源调度,基于处理单元的计算资源使用信息确定对处理单元进行缩容所需的目标资源规格;将对处理单元缩容目标资源规格确定为调度方案。
若确定DPI系统需要进行第四模式下的计算资源调度,基于平均值确定当前空闲的平均资源规格;将减少平均资源规格的处理单元确定为调度方案。
需要说明的是,在第四模式下的计算资源调度,空闲的平均资源规格指的是处理单元中处于空闲的资源的平均值。
实施例四
图6为本申请实施例四提供的一种计算资源调度装置的结构示意图。本申请实施例所提供的计算资源调度装置可执行本申请任意实施例所提供的计算资源调度方法,具备执行方法相应的功能模块和有益效果。该装置可采用软件和/或硬件的方式实现,如图6所示,计算资源调度装置具体包括:获取模块601、确定模块602、调度模块603。
其中,获取模块,用于实时获取DPI系统中各处理单元的计算资源使用信息;
确定模块,用于根据计算资源使用信息确定DPI系统是否需要进行计算资源的调度;
调度模块,用于若需要,根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。
本实施例中,通过根据实时获取的DPI系统各处理单元的计算资源使用信息,判断DPI系统是否需要进行计算资源的调度,若需要,则根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。基于此,可以实时确定DPI系统是否需要进行资源调度,并在需要的时候自动生成调度方案完成资源调度,提高资源调度的实时性,避免系统出现瘫痪再进行人工调度的情况。
实施例五
图7为本申请实施例五提供的一种电子设备的结构示意图,如图7所示,该电子设备包括处理器710、存储器720、输入装置730和输出装置740;电子设备中处理器710的数量可以是一个或多个,图7中以一个处理器710为例;电子设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器720作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的计算资源调度方法对应的程序指令/模块(例如,计算资源调度装置中的获取模块601、确定模块602、调度模块603)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的计算资源调度方法。
也即,实时获取DPI系统中各处理单元的计算资源使用信息;
根据计算资源使用信息确定DPI系统是否需要进行计算资源的调度;
若需要,根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。
存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器720可进一步包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收计算资源使用信息。输出装置740可包括显示屏等显示设备。
实施例六
本申请实施例六还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种计算资源调度方法,该方法包括:
实时获取DPI系统中各处理单元的计算资源使用信息;
根据计算资源使用信息确定DPI系统是否需要进行计算资源的调度;
若需要,根据计算资源使用信息确定调度方案,并根据调度方案对DPI系统进行计算资源的调度。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本申请任意实施例所提供的计算资源调度方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (11)

1.一种计算资源调度方法,其特征在于,所述方法包括:
实时获取DPI系统中各处理单元的计算资源使用信息;
根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度;
若需要,根据所述计算资源使用信息确定调度方案,并根据所述调度方案对所述DPI系统进行计算资源的调度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度,包括:
对于任一处理单元,比较所述处理单元的计算资源使用信息是否超出第一预设阈值,若超出,确定所述DPI系统的所述处理单元需要进行第一模式下的计算资源调度;
若各处理单元的计算资源使用信息均未超出所述第一预设阈值,求取所有处理单元所述计算资源使用信息的平均值,并确定所述平均值是否超出第二预设阈值;
若所述平均值超出第二预设阈值,确定所述DPI系统需要进行第二模式下的计算资源调度。
3.根据权利要求2所述的方法,其特征在在于,所述根据所述计算资源使用信息确定调度方案,包括:
若确定所述DPI系统的所述处理单元需要进行第一模式下的计算资源调度,基于所述处理单元的计算资源使用信息确定对所述处理单元进行扩容所需的目标资源规格;
将对所述处理单元按照所述目标资源规格进行扩容确定为调度方案。
4.根据权利要求2所述的方法,其特征在于,所述根据所述计算资源使用信息确定调度方案,包括:
若确定所述DPI系统需要进行第二模式下的计算资源调度,基于所述平均值确定初始资源规格;
获取当前可调配资源规格,并基于所述当前可调配资源规格和所述初始资源规格确定目标资源规格;
将增加所述目标资源规格的处理单元确定为调度方案。
5.根据权利要求4所述的方法,其特征在于,所述基于所述当前可调配资源规格和所述初始资源规格确定目标资源规格,包括:
判断所述当前可调配资源规格是否满足所述初始资源规格,若满足,将所述初始资源规格确定为目标资源规格;
若不满足,按照预设调整级别降低所述初始资源规格,并重复判断所述当前可调配资源规格是否满足降低后的所述初始资源规格。
6.根据权利要求1所述的方法,其特征在于,所述根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度,包括:
对于任一处理单元,比较所述处理单元的计算资源使用信息是否低于第三预设阈值,若低于,确定所述DPI系统的所述处理单元需要进行第三模式下的计算资源调度;
若各处理单元的计算资源使用信息均未低于所述第三预设阈值,求取所有处理单元所述计算资源使用信息的平均值,并确定所述平均值是否低于第四预设阈值;
若所述平均值超出第四预设阈值,确定所述DPI系统需要进行第四模式下的计算资源调度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述计算资源使用信息确定调度方案,包括:
若确定所述DPI系统的所述处理单元需要进行第三模式下的计算资源调度,基于所述处理单元的计算资源使用信息确定对所述处理单元进行缩容所需的目标资源规格;
将对所述处理单元缩容所述目标资源规格确定为调度方案。
8.根据权利要求6所述的方法,其特征在于,所述根据所述计算资源使用信息确定调度方案,包括:
若确定所述DPI系统需要进行第四模式下的计算资源调度,基于所述平均值确定当前空闲的平均资源规格;
将减少所述平均资源规格的处理单元确定为调度方案。
9.一种计算资源调度装置,其特征在于,所述装置包括:
获取模块,用于实时获取DPI系统中各处理单元的计算资源使用信息;
确定模块,用于根据所述计算资源使用信息确定所述DPI系统是否需要进行计算资源的调度;
调度模块,用于若需要,根据所述计算资源使用信息确定调度方案,并根据所述调度方案对所述DPI系统进行计算资源的调度。
10.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的计算资源调度方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的计算资源调度方法。
CN202111459574.1A 2021-12-02 2021-12-02 计算资源调度方法、装置、电子设备及存储介质 Pending CN114116175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111459574.1A CN114116175A (zh) 2021-12-02 2021-12-02 计算资源调度方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111459574.1A CN114116175A (zh) 2021-12-02 2021-12-02 计算资源调度方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114116175A true CN114116175A (zh) 2022-03-01

Family

ID=80366171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111459574.1A Pending CN114116175A (zh) 2021-12-02 2021-12-02 计算资源调度方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114116175A (zh)

Similar Documents

Publication Publication Date Title
CN106557369B (zh) 一种多线程的管理方法及系统
CN109886859B (zh) 数据处理方法、系统、电子设备和计算机可读存储介质
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN105320561A (zh) 任务管理方法和系统
CN107070709B (zh) 一种基于底层numa感知的nfv实现方法
CN105488134A (zh) 大数据处理方法及大数据处理装置
CN110851987B (zh) 基于加速比预测计算时长的方法、装置和存储介质
CN114780244A (zh) 容器云资源弹性分配方法、装置、计算机设备及介质
CN111415062A (zh) 众包任务分配方法、装置、电子设备及存储介质
CN103729417A (zh) 一种数据扫描的方法及装置
CN114116175A (zh) 计算资源调度方法、装置、电子设备及存储介质
CN112099937A (zh) 一种资源治理方法和装置
CN114860449A (zh) 数据处理方法、装置、设备和存储介质
CN115686797A (zh) 任务调度方法、装置、存储介质及计算机设备
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN112052087B (zh) 动态资源调整与迁移的深度学习训练系统及方法
CN113938992B (zh) 一种阈值确定方法及装置
CN110297693B (zh) 一种分布式软件任务分配的方法及其系统
CN114612037A (zh) 一种仓库信息的管理方法和系统
CN114661431A (zh) 一种任务调度方法、存储介质及终端设备
CN117707797B (zh) 基于分布式云平台的任务调度方法、装置及相关设备
CN115129484B (zh) 集群的扩缩容方法、装置、存储介质及电子装置
CN110308988B (zh) 一种应用于异构计算平台的动态调度方法及系统
CN115480930A (zh) 一种应用服务的配置方法、装置和电子设备
CN114201306A (zh) 基于负载均衡技术的多维地理空间实体分布方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination