CN107733676A - 一种弹性调度资源的方法及系统 - Google Patents
一种弹性调度资源的方法及系统 Download PDFInfo
- Publication number
- CN107733676A CN107733676A CN201610666659.XA CN201610666659A CN107733676A CN 107733676 A CN107733676 A CN 107733676A CN 201610666659 A CN201610666659 A CN 201610666659A CN 107733676 A CN107733676 A CN 107733676A
- Authority
- CN
- China
- Prior art keywords
- resource
- data center
- demand
- elasticity
- scalable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种弹性调度资源的方法及系统,其中,所述方法包括:采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;根据所述功能指标得到业务需求;获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
Description
技术领域
本发明涉及调度技术,尤其涉及一种弹性调度资源的方法及系统。
背景技术
随着云计算技术的快速发展,数据中心对各项资源进行了整合,同时引入了数据中心操作系统(DCOS,Data Center Operating System)的概念,数据中心的资源调度对于业务的正常运行起着非常关键的作用。用户生活中使用的一些应用程序,其背后所需要的基础架构资源都是由数据中心提供和支撑。由于业务扩展需要,会经常性的推出热点活动,导致应用面临高并发,突发流量或高流量等情况。如果使用传统数据中心的资源扩容方式效率低下,通常需要以周为单位的集成部署时间,无法敏捷的响应业务需求。在高并发,突发流量或高流量的情况时,传统的数据中心无法快速的响应业务资源需求,造成业务的不稳定运行。为了解决这类问题,业内通用的做法是以传统的虚拟机为基础,以支持该业务的集群服务器的内存和CPU的状态为依据,或者根据经验来判断业务的运行状况,进而对业务所需资源进行人工扩缩容。一个系统架构图如图1所示,当用户大量访问引发峰值流量情况时,为了保证业务的正常运行,数据中心会根据监控信息,获取集群的内存和CPU使用情况,手工的对数据中心资源进行手工调度或提前部署来分配资源。这样可以保证部署在数据中心的业务不会因为访问量过大而导致系统崩溃,宕机等状况。
虽然,采用图1所示的系统架构可以通过监控集群中CPU和内存的使用率来进行资源调度,保证业务的稳健性,但在多数情况下,由于该系统架构存在不具备实时性和弹性调度的可能,因此,造成无法预测业务的运行情况和对资源需求的快速响应的缺陷,从而造成系统资源不能进行及时的扩缩资源,导致数据中心的业务运行出现故障和资源利用率低下。
综上所述,现有技术存在如下缺点:
1)数据中心中资源存在多样性,在对业务的运行状况分析时,考虑因素不足,不能准确定位资源需求。数据中心中业务的任意资源短缺,都会影响其业务的稳健性,使各系统业务不能稳定运行。
2)系统的弹性能力不足,系统的应用部署采用虚拟机为单位构建,扩展流程复杂,扩容速度在分钟级甚至小时级。在业务量突增时无法进行快速的扩展,造成业务故障;系统的缩容不能随意进行,资源存在一定的预留和浪费。
上述现有技术存在的缺点会带来数据中心的资源调度故障,这将影响整个系统或业务的运行状况,这对于核心系统或业务来说是不可接受的。然而,相关技术中,对于上述缺点并没有有效的解决方案。
发明内容
有鉴于此,本发明实施例希望提供一种弹性调度资源的方法及系统,至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的:
本发明实施例的一种弹性调度资源的方法,所述方法包括:
采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;
根据所述功能指标得到业务需求;
获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
上述方案中,所述采集目标数据,包括:
采集所述数据中心资源池中的相关性能数据和日志数据。
上述方案中,所述功能指标,至少包括以下两类指标:
第一类指标:数据中心中的CPU使用情况和内存使用情况;
第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
上述方案中,所述获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整,包括:
获取告警策略,根据所述告警策略生成所述告警事件;
分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;
当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;
如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;
如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;
其中,所述资源调整需求与所述业务需求相对应。
上述方案中,所述方法还包括:
采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度;
所述根据所述弹性扩缩容指令进行弹性扩缩容调整,包括:
获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;
当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;
当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
本发明实施例的一种弹性调度资源的系统,所述系统包括:
第一处理模块,用于采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;
第二处理模块,用于根据所述功能指标得到业务需求;
扩缩容调整模块,用于获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
上述方案中,所述第一处理模块,进一步用于:
采集所述数据中心资源池中的相关性能数据和日志数据。
上述方案中,所述功能指标,至少包括以下两类指标:
第一类指标:数据中心中的CPU使用情况和内存使用情况;
第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
上述方案中,所述扩缩容调整模块,进一步用于:
获取告警策略,根据所述告警策略生成所述告警事件;
分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;
当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;
如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;
如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;
其中,所述资源调整需求与所述业务需求相对应。
上述方案中,所述系统还包括:
采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度;
扩缩容调整模块,进一步用于:
获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;
当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;
当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
本发明实施例的弹性调度资源的方法,包括:采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;根据所述功能指标得到业务需求;获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
采用本发明实施例,实现了资源调度的弹性扩缩容,从而通过这种资源调度可以为业务合理的分配资源,且由于对于数据中心可能出现的故障问题加入了提前预警,因此,可以尽可能避开这种故障问题,并将其预先考虑到资源调度中,从而,能实现对故障的快速响应,进而通过弹性扩缩容进行资源利用的重新合理分配。本发明实施例的这种为业务分配的资源的机制具备实时性、高预警性、弹性,确保了所分配的资源能符合业务需求,最终使整个系统或业务的运行状况处于或趋于正常状态。
附图说明
图1为现有资源调度的系统架构示意图;
图2为本发明实施例一弹性调度资源方法的实现流程示意图;
图3为应用本发明实施例一弹性调度资源系统的组成结构示意图;
图4为应用本发明实施例一弹性调度资源方法中根据策略进行调度的流程图;
图5为应用本发明实施例一弹性调度资源系统中弹性调度模块的处理逻辑示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
本发明实施例的一种弹性调度资源的方法,如图2所示,所述方法包括:
步骤101、采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标。
这里,所述目标数据可以包括:数据中心(DCOS)资源池的相关性能和日志数据。这里,DCOS也可以称为数据中心操作系统,本文都简称为DCOS
步骤102、根据所述功能指标得到业务需求。
步骤103、获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
采用本发明实施例,实现了资源调度的弹性扩缩容,从而通过这种资源调度可以为业务合理的分配资源,且由于对于数据中心可能出现的故障问题加入了提前预警,因此,可以尽可能避开这种故障问题,并将其预先考虑到资源调度中,从而,能实现对故障的快速响应,进而通过弹性扩缩容进行资源利用的重新合理分配。本发明实施例的这种为业务分配的资源的机制具备实时性、高预警性、弹性,确保了所分配的资源能符合业务需求,最终使整个系统或业务的运行状况处于或趋于正常状态。
在本发明实施例一实施方式中,采集目标数据,包括:采集所述数据中心资源池中的相关性能数据和日志数据。
在本发明实施例一实施方式中,所述功能指标,至少包括以下两类指标:
1)第一类指标:数据中心中的CPU使用情况和内存使用情况;
2)第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
在本发明实施例一实施方式中,所述获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整,包括:获取告警策略,根据所述告警策略生成所述告警事件;分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;其中,所述资源调整需求与所述业务需求相对应。
在本发明实施例一实施方式中,所述方法还包括:采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度。
在本发明实施例一实施方式中,所述根据所述弹性扩缩容指令进行弹性扩缩容调整,包括:获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
本发明实施例的一种弹性调度资源的系统,所述系统包括:第一处理模块,用于采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;第二处理模块,用于根据所述功能指标得到业务需求;及扩缩容调整模块,用于获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
其中,就第一处理模块的一个具体实现而言,可以包括:实现数据采集的运维管理模块,及用于数据分析的数据分析模块。就扩缩容调整模块的一个具体实现而言,可以包括:用于维护告警策略和弹性调度策略的策略维护模块,及用于弹性扩缩容调整的弹性调度模块。
在本发明实施例一实施方式中,,所述第一处理模块,进一步用于:采集所述数据中心资源池中的相关性能数据和日志数据。
在本发明实施例一实施方式中,所述功能指标,至少包括以下两类指标:
1)第一类指标:数据中心中的CPU使用情况和内存使用情况;
2)第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
在本发明实施例一实施方式中,所述扩缩容调整模块,进一步用于:获取告警策略,根据所述告警策略生成所述告警事件;分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;
其中,所述资源调整需求与所述业务需求相对应。
在本发明实施例一实施方式中,所述系统还包括:采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度。
在本发明实施例一实施方式中,进一步用于:获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
以一个现实应用场景为例对本发明实施例阐述如下:
本应用场景采用本发明实施例,具体是一种容器云的快速弹性扩缩容方案。针对本应用场景,数据中心对各项资源进行了整合,同时引入了DCOS的概念,数据中心的资源调度对于业务的正常运行起着非常关键的作用。如图1所示,现有技术的通用的做法是以传统的虚拟机为基础,以支持该业务的集群服务器的内存和CPU的状态为依据,或者根据经验来判断业务的运行状况,进而对业务所需资源进行人工扩缩容。在以下情况下会导致数据中心的业务运行出现故障:1)突发业务流量高峰,监控系统不能及时产生预警,对业务系统的需求资源进行快速分配;2)影响业务正常运行的因素很多,各种因素导致的各项资源短缺都会影响业务的稳定性,导致上线业务不能正常运行。在发生以上问题时,数据中心只能做被动故障处理,为过载的业务进行分配相应资源。严重时,导致业务系统宕机,需要重新启动,这对于核心系统来说是不可接受的。
现有技术存在的问题是:1)数据中心中资源存在多样性,在对业务的运行状况分析时,考虑因素不足,不能准确定位资源需求。数据中心中业务的任意资源短缺,都会影响其业务的稳健性,使各系统业务不能稳定运行。2)系统的弹性能力不足,系统的应用部署采用虚拟机为单位构建,扩展流程复杂,扩容速度在分钟级甚至小时级。在业务量突增时无法进行快速的扩展,造成业务故障;系统的缩容不能随意进行,资源存在一定的预留和浪费。而数据中心的资源调度故障将影响整个系统或业务的运行状况,这对于核心系统或业务来说是不可接受的。
本应用场景采用本发明实施例,可以结合Mesos、Marathon和容器化技术对资源进行快速弹性扩缩。在资源调度过程中,考虑数据中心中的CPU、内存、带宽等资源,同时考虑实例并发数、响应时间等因素,能够根据业务的需求进行弹性的扩容和缩容,由于综合考虑了多故障问题下的扩缩资源需求,因此,能够根据应用负载和故障情况自动进行扩缩容,并且扩容速度达到是秒级,具有很强的实用性和扩展性,从而提高了数据中心快速扩展服务能力和资源的利用率。针对突发业务高峰和突发流量能够很好的进行应对,保障业务正常运行,也就是说,能够针对峰值流量和多并发等情况发生时,进行快速响应,及时扩缩资源,保障系统稳定运行。大大提高了业务系统的稳健性,减少系统故障。由于提高了数据中心的稳健性和资源利用率,因此,减少系统因高并发,高流量或突发流量而引起的业务中断。
具体来说,本应用场景采用本发明实施例,基于图3-图5的各个实现架构和流程,包括以下内容:
一,如图3所示为本发明实施例的系统架构,包括:Mesos主设备和从设备,弹性调度模块,运维管理模块。其中,Mesos主设备控制从设备。弹性调度模块通过下发扩缩容指令,将数据中心资源池中的空闲资源利用起来,以便很好的对容器内的任务进行合理的资源分配。图3中,系统架构中采用Mesos资源调度框架对DCOS中的资源进行统一调度,其中主要的弹性调度模块包含数据分析单元、弹性调度单元和策略维护单元。通过运维管理模块采集和分析数据中心资源池的相关性能和日志数据,再通过弹性调度模块中的数据分析单元进行数据分析,并依据相应告警策略产生告警事件。弹性调度模块根据告警事件和弹性调度策略进行弹性调度DCOS资源池中的容器化资源,实现根据应用系统的运行情况对资源的动态扩缩容。
二,如图4所示为根据弹性调度策略进行弹性调度流程的示意图,包括:通过运维管理模块的监控Agent采集和分析数据中心资源池的性能和日志数据然后通过相关告警策略产生告警事件。数据分析单元分析产生的告警事件,并依据弹性调度算法判断是否需要进行弹性调度。如果需要进行弹性扩缩则由弹性调度单元给数据中心资源池发出弹性扩缩指令进行应用系统扩缩容并记录该弹性扩缩事件。如果数据中心资源池不能满足弹性扩展资源需求,则自动调动IAAS层进行扩容并通知系统管理员,并重新发出弹性扩展指令。根据业务的运行情况,可以通过策略维护模块进行查询和变更维护。
数据中心的调弹性度模块共有数据分析单元,弹性调度单元,策略维护单元三个功能单元组成。其中,数据分析单元,用于获取运维管理模块的监控告警事件,并依据弹性调度算法进行应用系统运行状况分析,判断是否需要对应用系统进行弹性扩缩。弹性调度单元,用于根据数据分析单元的分析结果对数据中心的资源池发出弹性扩缩指令并记录弹性扩展事件。策略维护单元,用于提供弹性扩缩策略的查看和维护功能,对弹性调度策略进行维护和更新。基于该弹性调度策略所执行的弹性调度流程如图4所示。
以上两个功能单元(数据分析单元,弹性调度单元)所执行的工作流程如图5所示,图5中,是通过运维管理模块获取现有业务的总并发数量、系统的CPU占用率、内存的使用量、磁盘的I/O系能和请求响应时间。当某些对应指标超出一定的比例出现异常,需要考虑是否是其他原因导致,而不能单纯的扩缩容,其他原因一般包括数据库、网络、s业务逻辑或者是系统出现故障。出现以上情况,单纯的扩缩资源不能解决问题,需要进行数据库健康状态的判断等。根据各个指标对于系统的整体需求和重要程度,在进行阈值的判别之前,需要综合考虑多个指标,为其分配相应的权值,该权值用于表征指标的重要程度之比的系数或称为指标之间的数量约束rk,具体的赋值参考表如表1所示。
rK | 含义 |
1.0 | 指标Xk-1与指标Xk,具有同样重要性 |
1.2 | 指标Xk-1比指标Xk稍微重要 |
1.4 | 指标Xk-1比指标Xk明显重要 |
1.6 | 指标Xk-1比指标Xk强烈重要 |
1.8 | 指标Xk-1比指标Xk极端重要 |
表1
关于指标之间的数量约束rk,有下面的定理:
定理1,若x1,x2,…,xm具有关系x1>x2>…>xm,则rk与rk-1必须满足
定理2,若决策者给出rk的理性赋值满足关系上式,则wm为
而wk-1=rkwk,k=m,m-1,...,3,2 (3)
通过以上步骤可以计算出各个指标在当前的权值。
根据实际的运行状况,经过多次实验,得出最合适的上下限阈值,也可以根据业务需求,在策略维护单元中手动指定上下限阈值。
根据公式(3)得出的结果,若大于(4)得出的上限阈值,则自动向数据中心申请资源,即扩容。
根据(3)得出的结果,若小于(4)得出的下限阈值,则自动的向数据中心释放资源,即缩容。
如果在临界范围内,则程序或业务正常运行。
综上所述,本应用场景采用本发明实施例,具有以下有益效果:
一,结合Mesos、Marathon和容器化技术,大幅提升数据中心的响应速度,针对突发性业务和突发流量,能够对DCOS下的数据中心资源快速的扩缩容,同时提高资源利用率。
二,根据应用系统的运行情况协调各类资源,确保各类资源随着应用的需求动态调度,可以实现细粒度的自动弹性扩缩资源,并且扩容速度达到秒级。
三,针对业务活动的突发流量大,并且各个渠道流量同时并发的特征,保证了系统能正常的受理业务。根据资源的使用情况,对资源进行快速的动态扩缩容,提高了数据中心的资源利用率,保障业务的稳定运行。
本申请说明书附图3中所包括英文的描述,其中英文对照表如下所示:
Mesos Cluster(Master):容器集群(主);
Marathon:容器框架名,Marathon是使用在Mesos集群上的一种全新的框架,它使Mesos变得更有活力;
ZooKeeper:分布式应用程序协调服务,具体的是一个分布式的,开放源码的分布式应用程序协调服务,提供的功能包括:配置维护、域名服务、分布式同步、组服务等;
Etcd:键值存储系统,具体的是一个高可用的键值存储系统,主要用于共享配置和服务发现;
Array:阵列,具体的是磁盘阵列模式是把几个磁盘的存储空间整合起来,形成一个大的单一连续的存储空间;
HAProxy:应用代理,具体的是提供高可用性、负载均衡以及基于TCP和HTTP应用的代理;
Confd:配置管理工具,当后端的数据发生变化时,Confd会根据模板重新生成配置文件;
Docker:应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化;
Container:容器;
Mesos Cluster(Slave):容器集群(从)。
本发明实施例所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
相应的,本发明实施例还提供一种计算机存储介质,其中存储有计算机程序,该计算机程序用于执行本发明实施例的弹性调度资源的方法。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种弹性调度资源的方法,其特征在于,所述方法包括:
采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;
根据所述功能指标得到业务需求;
获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
2.根据权利要求1所述的方法,其特征在于,所述采集目标数据,包括:
采集所述数据中心资源池中的相关性能数据和日志数据。
3.根据权利要求1所述的方法,其特征在于,所述功能指标,至少包括以下两类指标:
第一类指标:数据中心中的CPU使用情况和内存使用情况;
第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整,包括:
获取告警策略,根据所述告警策略生成所述告警事件;
分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;
当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;
如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;
如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;
其中,所述资源调整需求与所述业务需求相对应。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度;
所述根据所述弹性扩缩容指令进行弹性扩缩容调整,包括:
获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;
当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;
当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
6.一种弹性调度资源的系统,其特征在于,所述系统包括:
第一处理模块,用于采集目标数据,对所述目标数据进行数据分析,得到用于表征业务运行状况的功能指标;
第二处理模块,用于根据所述功能指标得到业务需求;
扩缩容调整模块,用于获取告警事件和弹性调度策略,根据所述告警事件和弹性调度策略,对数据中心资源池中的容器化资源进行符合所述业务需求的弹性扩缩容调整。
7.根据权利要求6所述的系统,其特征在于,所述第一处理模块,进一步用于:
采集所述数据中心资源池中的相关性能数据和日志数据。
8.根据权利要求6所述的系统,其特征在于,所述功能指标,至少包括以下两类指标:
第一类指标:数据中心中的CPU使用情况和内存使用情况;
第二类指标:数据中心中的带宽使用情况、多实例并发量、响应时间、故障预警中的至少一种。
9.根据权利要求6至8中任一项所述的系统,其特征在于,所述扩缩容调整模块,进一步用于:
获取告警策略,根据所述告警策略生成所述告警事件;
分析所述告警事件,并根据所述弹性调度策略判断当前是否需要进行弹性扩缩容调整;
当需要进行弹性扩缩容调整时,发出弹性扩缩容指令;
如果所述数据中心资源池满足资源调整需求,则根据所述弹性扩缩容指令进行弹性扩缩容调整;
如果所述数据中心资源池不满足资源调整需求,则发出不满足需求的通知,重新发出弹性扩缩容指令;
其中,所述资源调整需求与所述业务需求相对应。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
采用Mesos资源调度框架对数据中心资源池中的资源进行统一调度;
扩缩容调整模块,进一步用于:
获取根据实际的业务运行状况和经验值得到的上限阈值和下限阈值;
当所述资源调整需求大于所述上限阈值,则进行弹性扩容调整;
当所述资源调整需求小于所述下限阈值,则进行弹性缩容调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610666659.XA CN107733676A (zh) | 2016-08-12 | 2016-08-12 | 一种弹性调度资源的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610666659.XA CN107733676A (zh) | 2016-08-12 | 2016-08-12 | 一种弹性调度资源的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107733676A true CN107733676A (zh) | 2018-02-23 |
Family
ID=61201359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610666659.XA Pending CN107733676A (zh) | 2016-08-12 | 2016-08-12 | 一种弹性调度资源的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107733676A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108494589A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种分布式Nginx服务器的管理方法和系统 |
CN109032805A (zh) * | 2018-08-06 | 2018-12-18 | 深圳乐信软件技术有限公司 | 一种弹性扩缩容方法、装置、服务器及存储介质 |
CN109032788A (zh) * | 2018-06-29 | 2018-12-18 | 北京百度网讯科技有限公司 | 预留资源池动态调度方法、装置、计算机设备及存储介质 |
CN109446032A (zh) * | 2018-12-19 | 2019-03-08 | 福建新大陆软件工程有限公司 | Kubernetes副本扩缩容的方法及系统 |
CN109600269A (zh) * | 2019-01-21 | 2019-04-09 | 云南电网有限责任公司信息中心 | 一种基于dcos的云管理平台 |
CN109660421A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技(深圳)有限公司 | 弹性调度资源的方法、装置、服务器及存储介质 |
CN109766175A (zh) * | 2018-12-28 | 2019-05-17 | 深圳晶泰科技有限公司 | 面向高性能计算在云上的资源弹性伸缩系统及其调度方法 |
CN109766182A (zh) * | 2018-12-18 | 2019-05-17 | 平安科技(深圳)有限公司 | 系统资源动态扩缩容方法、装置、计算机设备及存储介质 |
CN109859012A (zh) * | 2019-01-31 | 2019-06-07 | 山东大学 | 基于IaaS的不确定性需求服务预购实例分时共享方法与系统 |
CN110417596A (zh) * | 2019-07-29 | 2019-11-05 | 北京百度网讯科技有限公司 | 用于可用区的扩容方法和装置 |
CN111082972A (zh) * | 2019-11-26 | 2020-04-28 | 北京杰思安全科技有限公司 | 基于分布式集群实现弹性扩展的方法及分布式集群架构 |
CN111211998A (zh) * | 2019-12-12 | 2020-05-29 | 北京淇瑀信息科技有限公司 | 可弹性扩容的资源配给方法、装置和电子设备 |
WO2020133245A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳晶泰科技有限公司 | 面向高性能计算在云上的资源弹性伸缩系统及其调度方法 |
WO2021005455A1 (en) * | 2019-07-05 | 2021-01-14 | International Business Machines Corporation | Container-based applications |
CN112559182A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 资源分配方法、装置、设备及存储介质 |
EP3817310A4 (en) * | 2018-07-20 | 2021-08-11 | Wangsu Science & Technology Co., Ltd. | METHOD AND DEVICE FOR ALLOCATING BURST TRAFFIC AND PROXY SERVER |
CN113742219A (zh) * | 2021-08-05 | 2021-12-03 | 中移(杭州)信息技术有限公司 | 压力调节和性能测试方法、系统及存储介质 |
CN114168325A (zh) * | 2021-11-26 | 2022-03-11 | 山东浪潮科学研究院有限公司 | 基于边缘环境的弹性伸缩方法及装置 |
CN114513423A (zh) * | 2020-10-23 | 2022-05-17 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN114745278A (zh) * | 2022-04-11 | 2022-07-12 | 中和农信项目管理有限公司 | 一种业务系统扩缩容的方法、装置、电子设备和存储介质 |
CN116560818A (zh) * | 2023-06-29 | 2023-08-08 | 深圳市易图资讯股份有限公司 | 一种空间数据服务分发与调度的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801792A (zh) * | 2012-07-26 | 2012-11-28 | 华南理工大学 | 基于统计预测的云cdn资源自动部署方法 |
CN104143052A (zh) * | 2014-08-13 | 2014-11-12 | 天津大学 | 并网光伏发电系统稳态电能质量评估方法 |
CN104392390A (zh) * | 2014-11-13 | 2015-03-04 | 国家电网公司 | 一种基于topsis模型的智能变电站二次设备评估方法 |
CN104601378A (zh) * | 2015-01-26 | 2015-05-06 | 四川中电启明星信息技术有限公司 | 结合应用性能指标监控数据的虚拟资源弹性调度实现方法 |
CN105184496A (zh) * | 2015-09-15 | 2015-12-23 | 中国矿业大学 | 矿井通风系统健康指数综合评价方法 |
CN105184518A (zh) * | 2015-10-22 | 2015-12-23 | 国网四川省电力公司经济技术研究院 | 高海拔电网工程建设机械降效分析的建模方法 |
CN105577457A (zh) * | 2016-03-09 | 2016-05-11 | 上海天玑科技股份有限公司 | 一种数据中心资源智能弹性调度系统及方法 |
-
2016
- 2016-08-12 CN CN201610666659.XA patent/CN107733676A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801792A (zh) * | 2012-07-26 | 2012-11-28 | 华南理工大学 | 基于统计预测的云cdn资源自动部署方法 |
CN104143052A (zh) * | 2014-08-13 | 2014-11-12 | 天津大学 | 并网光伏发电系统稳态电能质量评估方法 |
CN104392390A (zh) * | 2014-11-13 | 2015-03-04 | 国家电网公司 | 一种基于topsis模型的智能变电站二次设备评估方法 |
CN104601378A (zh) * | 2015-01-26 | 2015-05-06 | 四川中电启明星信息技术有限公司 | 结合应用性能指标监控数据的虚拟资源弹性调度实现方法 |
CN105184496A (zh) * | 2015-09-15 | 2015-12-23 | 中国矿业大学 | 矿井通风系统健康指数综合评价方法 |
CN105184518A (zh) * | 2015-10-22 | 2015-12-23 | 国网四川省电力公司经济技术研究院 | 高海拔电网工程建设机械降效分析的建模方法 |
CN105577457A (zh) * | 2016-03-09 | 2016-05-11 | 上海天玑科技股份有限公司 | 一种数据中心资源智能弹性调度系统及方法 |
Non-Patent Citations (4)
Title |
---|
余何: "《PAAS实现与运维管理 基于MESOS+DOCKER+ELK的实战指南》", 27 February 2016, 电子工业出版社 * |
吴龙辉: "《Kubernetes实战》", 31 May 2016, 电子工业出版社 * |
孙永俊: "电网企业集约化管理模式研究", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》 * |
徐健: "基于序关系分析法的节水型社会评价指标权重的确定", 《水电能源科学》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108494589B (zh) * | 2018-03-14 | 2021-05-14 | 北京思特奇信息技术股份有限公司 | 一种分布式Nginx服务器的管理方法和系统 |
CN108494589A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种分布式Nginx服务器的管理方法和系统 |
CN109032788A (zh) * | 2018-06-29 | 2018-12-18 | 北京百度网讯科技有限公司 | 预留资源池动态调度方法、装置、计算机设备及存储介质 |
EP3817310A4 (en) * | 2018-07-20 | 2021-08-11 | Wangsu Science & Technology Co., Ltd. | METHOD AND DEVICE FOR ALLOCATING BURST TRAFFIC AND PROXY SERVER |
CN109032805A (zh) * | 2018-08-06 | 2018-12-18 | 深圳乐信软件技术有限公司 | 一种弹性扩缩容方法、装置、服务器及存储介质 |
CN109660421A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技(深圳)有限公司 | 弹性调度资源的方法、装置、服务器及存储介质 |
CN109766182A (zh) * | 2018-12-18 | 2019-05-17 | 平安科技(深圳)有限公司 | 系统资源动态扩缩容方法、装置、计算机设备及存储介质 |
CN109446032A (zh) * | 2018-12-19 | 2019-03-08 | 福建新大陆软件工程有限公司 | Kubernetes副本扩缩容的方法及系统 |
WO2020133245A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳晶泰科技有限公司 | 面向高性能计算在云上的资源弹性伸缩系统及其调度方法 |
CN109766175A (zh) * | 2018-12-28 | 2019-05-17 | 深圳晶泰科技有限公司 | 面向高性能计算在云上的资源弹性伸缩系统及其调度方法 |
CN109600269A (zh) * | 2019-01-21 | 2019-04-09 | 云南电网有限责任公司信息中心 | 一种基于dcos的云管理平台 |
CN109859012B (zh) * | 2019-01-31 | 2021-03-12 | 山东大学 | 基于IaaS的不确定性需求服务预购实例分时共享方法与系统 |
CN109859012A (zh) * | 2019-01-31 | 2019-06-07 | 山东大学 | 基于IaaS的不确定性需求服务预购实例分时共享方法与系统 |
GB2599062B (en) * | 2019-07-05 | 2022-08-17 | Ibm | Container-based applications |
WO2021005455A1 (en) * | 2019-07-05 | 2021-01-14 | International Business Machines Corporation | Container-based applications |
GB2599062A (en) * | 2019-07-05 | 2022-03-23 | Ibm | Container-based applications |
CN110417596B (zh) * | 2019-07-29 | 2023-07-28 | 北京百度网讯科技有限公司 | 用于可用区的扩容方法和装置 |
CN110417596A (zh) * | 2019-07-29 | 2019-11-05 | 北京百度网讯科技有限公司 | 用于可用区的扩容方法和装置 |
CN111082972B (zh) * | 2019-11-26 | 2022-08-05 | 北京杰思安全科技有限公司 | 基于分布式集群实现弹性扩展的方法及分布式集群架构 |
CN111082972A (zh) * | 2019-11-26 | 2020-04-28 | 北京杰思安全科技有限公司 | 基于分布式集群实现弹性扩展的方法及分布式集群架构 |
CN111211998A (zh) * | 2019-12-12 | 2020-05-29 | 北京淇瑀信息科技有限公司 | 可弹性扩容的资源配给方法、装置和电子设备 |
CN114513423A (zh) * | 2020-10-23 | 2022-05-17 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN114513423B (zh) * | 2020-10-23 | 2023-11-03 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN112559182B (zh) * | 2020-12-16 | 2024-04-09 | 北京百度网讯科技有限公司 | 资源分配方法、装置、设备及存储介质 |
CN112559182A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 资源分配方法、装置、设备及存储介质 |
CN113742219A (zh) * | 2021-08-05 | 2021-12-03 | 中移(杭州)信息技术有限公司 | 压力调节和性能测试方法、系统及存储介质 |
CN114168325A (zh) * | 2021-11-26 | 2022-03-11 | 山东浪潮科学研究院有限公司 | 基于边缘环境的弹性伸缩方法及装置 |
CN114745278B (zh) * | 2022-04-11 | 2024-05-24 | 中和农信农业集团有限公司 | 一种业务系统扩缩容的方法、装置、电子设备和存储介质 |
CN114745278A (zh) * | 2022-04-11 | 2022-07-12 | 中和农信项目管理有限公司 | 一种业务系统扩缩容的方法、装置、电子设备和存储介质 |
CN116560818A (zh) * | 2023-06-29 | 2023-08-08 | 深圳市易图资讯股份有限公司 | 一种空间数据服务分发与调度的方法及系统 |
CN116560818B (zh) * | 2023-06-29 | 2023-09-12 | 深圳市易图资讯股份有限公司 | 一种空间数据服务分发与调度的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107733676A (zh) | 一种弹性调度资源的方法及系统 | |
US20200287961A1 (en) | Balancing resources in distributed computing environments | |
Zhong et al. | A cost-efficient container orchestration strategy in kubernetes-based cloud computing infrastructures with heterogeneous resources | |
Iorgulescu et al. | {PerfIso}: Performance isolation for commercial {Latency-Sensitive} services | |
CN107239336B (zh) | 一种实现任务调度的方法及装置 | |
EP2391961B1 (en) | System and method for integrating capacity planning and workload management | |
CN104102543B (zh) | 一种云计算环境中负载调整的方法和装置 | |
CN105577457B (zh) | 一种数据中心资源智能弹性调度系统及方法 | |
CN104601664B (zh) | 一种云计算平台资源管理与虚拟机调度的控制系统 | |
US8060610B1 (en) | Multiple server workload management using instant capacity processors | |
CN104407926B (zh) | 一种云计算资源的调度方法 | |
Tsai et al. | Two-tier multi-tenancy scaling and load balancing | |
US20060265470A1 (en) | System and method for determining a partition of a consumer's resource access demands between a plurality of different classes of service | |
CN103503412B (zh) | 用于调度资源的方法及装置 | |
CN102012891B (zh) | 计算机集群管理方法、装置和系统 | |
CN103502944A (zh) | 虚拟机内存调整方法和设备 | |
CN105975345B (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
CN107203255A (zh) | 一种网络功能虚拟化环境中迁移节能方法和装置 | |
CN108268546A (zh) | 一种优化数据库的方法及装置 | |
CN106131227A (zh) | 负载平衡方法、元数据服务器系统及负载平衡系统 | |
CN109144783A (zh) | 一种分布式海量非结构化数据备份方法及系统 | |
CN108509280A (zh) | 一种基于推送模型的分布式计算集群本地性调度方法 | |
CN110543355A (zh) | 一种自动均衡云平台资源的方法 | |
Li et al. | A dynamic I/O sensing scheduling scheme in Kubernetes | |
CN107203256B (zh) | 一种网络功能虚拟化场景下的节能分配方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180223 |
|
RJ01 | Rejection of invention patent application after publication |