CN114138477B - 一种信息系统运行态服务资源分配方法 - Google Patents
一种信息系统运行态服务资源分配方法 Download PDFInfo
- Publication number
- CN114138477B CN114138477B CN202111406061.4A CN202111406061A CN114138477B CN 114138477 B CN114138477 B CN 114138477B CN 202111406061 A CN202111406061 A CN 202111406061A CN 114138477 B CN114138477 B CN 114138477B
- Authority
- CN
- China
- Prior art keywords
- performance
- trend
- performance factor
- factors
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种信息系统运行态服务资源分配方法,采集并存储服务的运行状态信息;基于各运行状态信息,判断该运行状态信息对应性能因素的类型;判断服务各个性能因素之间的相关性,作为服务动态特征;基于一段时间内的运行状态信息,预测服务性能因素变化趋势;对于基于敏感型、无感型的性能因素基于变化趋势调整对应资源的分配量;对于均衡型的性能因素基于与其相关的性能因素的变化趋势,判断均衡型的性能因素的变化趋势,调整对应资源的分配量。本发明实现了信息系统运行态服务资源的精准自动化分配,无需依赖操作人员的经验,在满足服务需求的同时,提高了资源利用效率。
Description
技术领域
本发明涉及信息系统集成服务技术领域,尤其涉及一种信息系统运行态 服务资源分配方法。
背景技术
随着虚拟化、云平台、容器技术的应用,信息系统由服务化向微服务化 转变,服务按业务功能进行拆分,直至单个服务的功能和职责单一,不可再 拆分为止,从而保障单个服务能独立部署、灵活扩缩容,提高资源的利用率。
然而,信息系统微服务转型过程中,存在服务拆分粒度较大,致使单个 服务仍具有多种功能和职责。因此,服务在不同的应用场景下呈现出复杂的 资源需求特征。针对此类服务的资源分配,往往忽略服务运行状态信息,多 采用简单的人工预设策略,以简单比例关系对计算、网络、存储等资源进行 扩缩容操作,扩缩容粒度较大,极易造成资源的浪费和闲置。
服务在不同应用场景和不同业务特征条件下,如何依据服务运行状态、 资源需求特征,为服务进行资源精细化分配是亟待解决的问题。
发明内容
本发明目的在于提供一种信息系统运行态服务资源分配方法及装置,解 决以往资源分配采用简单的人工预设策略,造成资源的浪费和闲置,难以应 对不同应用场景和不同业务特征条件下服务的差异性资源分配需求的问题。
为达到上述目的,本发明提供了一种信息系统运行态服务资源分配方法, 包括:
采集并存储服务的运行状态信息,包括CPU占用率、内存使用率、磁盘 使用率、网络流量占用率、并发访问占用率;
基于各运行状态信息,判断该运行状态信息对应性能因素的类型为敏感 型、无感型或均衡型;
判断服务各个性能因素之间的相关性,作为服务动态特征;
基于一段时间内的运行状态信息,预测服务性能因素变化趋势;
对于基于敏感型、无感型的性能因素基于变化趋势调整对应资源的分配 量;对于均衡型的性能因素基于与其相关的性能因素的变化趋势,判断均衡 型的性能因素的变化趋势,调整对应资源的分配量。
进一步地,判断该运行状态信息对应性能因素的类型,包括:
计算该性能因素采集数据的平均值:
其中Ci表示某种服务性能因素的第i个采集值,n表示采集周期内的采 集数量;计算某种服务性能因素的类型T:
式中,T+表示敏感性,T-表示无感型,T0表示均衡型,Rmax表示该服务性能 因素均值的上限阈值,Rmin表示该服务性能因素均值的下限阈值。
进一步地,判断服务各个性能因素之间的相关性,包括:
利用斯皮尔曼秩关系因子定义服务si的性能因素x和y在采集周期时间 窗j内的关系值:
式中,mi,x,k和mi,y,k分别表示服务si在采集周期时间窗j内采集的性能 因素x和y的第k个数据;w表示在采集周期时间窗j内一共采集了w个性 能因素数据;将一个时间窗j中采集的服务si的性能因素x和y的所有采集 数据mi,x,k和mi,y,k按从大到小的顺序排序后,得到排序序列V′i,x,j和V′i,y,j; m′i,x,(j-1)×w+k和m′i,y,(j-1)×w+k分别为性能因素x的采集值mi,x,(j-1)×w+k和性 能因素y的采集值mi,y,(j-1)×w+k在排序序列V′i,x,j和V′i,y,j中的秩次;和 分别为排序序列V′i,x,j和V′i,y,j的平均秩次;
服务动态特征计算公式如下:
上式中,wi,j(x,y)表示服务si在采集周期时间窗j内采集的性能因素x和 y的动态特征,W+表示性能因素x和y正相关,W0表示性能因素x和y无相 关,W-表示性能因素x和y负相关,Lmax表示服务特征判断上限阈值,Lmin表 示服务特征判断下限阈值。
进一步地,预测服务性能因素变化趋势,包括:
对一段时间内的某运行状态信息进行拟合,计算预测时间内拟合曲线的 斜率值:
上式中,F(t)表示曲线拟合表达式,t1表示预测起始时间,t2表示预测的 结束时间;
变化趋势为:
其中L表示服务性能因素的变化趋势;L+表示上行趋势;L0表示无变化 趋势;L-表示下行趋势;σ为经验阈值。
进一步地,对于敏感型,变化趋势为无变化的性能因素对应资源的分配 量调整方式为:
进一步地,对于敏感型变化趋势为上行的性能因素对应资源的分配量调 整方式为:
其中,C+(t+1)为敏感型变化趋势为上行的性能因素当前资源分配量, C(t)为该性能因素上一次的资源分配量,表示该性能因素采集数据的平均 值,Rc为敏感型性能因素的经验阈值,x′(t+1)为预测的t+1时刻的该性能 因素数据,x(t)为当前采集的该性能因素数据。
进一步地,对于敏感型变化趋势为下行的性能因素对应资源的分配量调 整方式为:
其中,C-(t+1)为敏感型变化趋势为下行的性能因素当前资源分配量, C(t)为该类型性能因素上一次的资源分配量,表示该性能因素采集数据的 平均值,Rc为敏感型性能因素的经验阈值,x′(t+1)为预测的t+1时刻的该 性能因素数据,x(t)为当前采集的该性能因素数据。
进一步地,对于无感型,变化趋势为无变化的性能因素对应资源的分配 量调整方式为:
进一步地,对于无感型,变化趋势为上行的性能因素对应资源的分配量 调整方式为:
其中,D-(t+1)为无感型,变化趋势为上行的性能因素当前资源分配量, D(t)为该性能因素上一次的资源分配量,表示该性能因素采集数据的平均 值,RD为无感型性能因素的经验阈值,x′(t+1)为预测的t+1时刻的该性能 因素数据,x(t)为当前采集的该性能因素数据。
进一步地,对于无感型,变化趋势为上行的性能因素对应资源的分配量 调整方式为:
其中,D+(t+1)为无感型,变化趋势为上行的性能因素当前资源分配量, D(t)为该性能因素上一次的资源分配量,表示该性能因素采集数据的平均 值,RD为无感型性能因素的经验阈值,x′(t+1)为预测的t+1时刻的该性能 因素数据,x(t)为当前采集的该性能因素数据。
进一步地,对于均衡型的性能因素基于与其相关的性能因素的变化趋势, 判断均衡型的性能因素的变化趋势,包括:
如果所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化 趋势均为上行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型 性能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因 素的变化趋势为上行趋势;
如果所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化 趋势均为下行趋势,并且所有与均衡型性能因素呈正相关的敏感型和无感型 性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素 的变化趋势为上行趋势;
如果所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化 趋势均为下行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型 性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素 的变化趋势为下行趋势;
如果所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化 趋势均为上行趋势,并且所有与均衡型性能因素呈正相关的敏感型和无感型 性能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因 素的变化趋势为下行趋势;
如果均衡型性能因素不是上行趋势或下行趋势则为无变化趋势。
进一步地,对于均衡型,变化趋势为无变化的性能因素不对其资源进行 调节。
进一步地,对于均衡型,变化趋势为上行的性能因素对应资源的分配量 调整方式为:
进一步地,对于均衡型,变化趋势为下行的性能因素对应资源的分配量 调整方式为:
进一步地,对于均衡型,变化趋势为上行或下行的性能因素,增加数据 的采集频率。
进一步地,对于每种服务的所有性能因素添加标签,标示各个性能因素 的类型和变化趋势。
本发明的上述技术方案具有如下有益的技术效果:
(1)本发明实现了信息系统运行态服务资源的精准自动化分配,无需依 赖操作人员的经验,在满足服务需求的同时,提高了资源利用效率。
(2)本发明通过对服务动态特征的识别,实现了对不同特征服务对资源 的差异性分配需求;通过对服务运行参数变化率的预测,实现了对服务各类 资源的更精细化的分配能力。
(3)本发明提升了对分布式部署服务的资源利用效能,实现对服务部署 资源的精细化管控能力。
附图说明
图1是运行态服务资源分配流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施 方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例 性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结 构和技术的描述,以避免不必要地混淆本发明的概念。
提供一种信息系统运行态服务资源分配方法,结合1,具体步骤包括:
(1)采集并存储服务的运行性能信息
服务的运行性能由服务在运行态中的资源分配情况与外部并行请求数的 匹配程度决定。因此定义表征服务运行性能因素分别为:CPU占用率、内存 使用率、磁盘使用率、网络流量占用率、并发访问占用率等。
在信息系统运行过程,根据预先设置的采集频率、采集的性能因素种类 和服务的部署地址,持续采集服务的性能因素数据。将实时采集的服务性能 因素数据存储在数据库中,存储的内容包括:采集时刻、采集值。
(2)判断服务性能因素的类型
依据不同服务在运行态中,对性能因素的不同敏感度,将服务的性能因 素分为:敏感型、无感型和均衡型。同一服务的不同性能因素具有不同的类 型,例如:服务A在某运行态的CPU占用率一直比较高,同时内存使用率一 直较低,而磁盘使用率在正常范围内,则称服务A为CPU占用敏感型,内存 使用无感型,磁盘使用均衡型。
判断为敏感型的性能因素,说明该性能因素在当前运行态下的资源紧张, 需要增加相应的资源分配,进行扩容;判断为无感型的性能因素,说明该性 能因素在当前运行态下的资源空闲,需要减少相应的资源分配,进行缩容; 判断为均衡型的性能因素,说明该性能因素在当前运行态下的资源占用合理, 不需要调整相应的资源分配。
对于划分粒度较大的服务,由于具备多种功能,随着业务场景的变化其 性能因素类型可能发生变化。
判断服务性能因素类型的具体过程如下:
首先,计算数据库中存储的某一采集周期内的CPU占用率、内存使用率、 磁盘使用率、出流量、入流量、并发访问数等服务性能因素历史数据集的平 均值。计算公式如下:
然后,将上一步计算得到的服务各性能因素历史平均值与上限阈值及下 限阈值进行比较,得到性能因素的类型。计算公式如下:
式中,T表示服务某性能因素类型,T+表示敏感性,T-表示无感型,T0表 示均衡型,Rmax表示该服务性能因素均值的上限阈值,Rmin表示该服务性能因 素均值的下限阈值。不同性能因素的Rmax和Rmin可通过用户经验进行设置,Rmax的建议取值范围为60%-80%,Rmin的建议取值范围为10%-20%。
进一步地,将服务性能因素类型的判断结果以服务的性能因素类型标签 进行存储。服务性能因素类型标签由服务的所有性能因素的类型组成,例如: CPU占用类型标签、内存使用类型标签、磁盘使用类型标签等。所有服务性 能因素类型标签的取值包括:敏感型、无感型和均衡型三种。所有性能因素 类型标签作为服务的元数据存储在数据库表中。
(3)判断服务动态特征
通过对服务不同性能因素的相关性分析,判断服务的动态特征。服务的 动态特征包括:因素正相关、因素负相关和因素无相关。对于服务S,如果 性能因素y的采集值随性能因素x的值采集增加而增加,则称服务S的性能 因素x与性能因素y正相关;如果性能因素y的采集值随性能因素x的采集 值增加而降低,则称服务S的性能因素x与性能因素y负相关;如果性能因 素x和性能因素y之间没有相关性,则称服务S的性能因素x与性能因素y 无相关。
利用斯皮尔曼秩关系因子定义服务si的性能因素x和y在采集周期时间 窗j内的关系值。即:
式中,mi,x,k和mi,y,k分别表示服务si通过步骤(1)在采集周期时间窗j 内采集的性能因素x和y的第k个数据;w表示在采集周期时间窗j内一共 采集了w个性能因素数据;将一个时间窗j中采集的服务si的性能因素x和 y的所有采集数据mi,x,k和mi,y,k按从大到小的顺序排序后,得到排序序列V′i,x,j和V′i,y,j;m′i,x,(j-1)×w+k和m′i,y,(j-1)×w+k分别为性能因素x的采集值mi,x,(j-1)×w+k和性能因素y的采集值mi,y,(j-1)×w+k在排序序列V′i,x,j和V′i,y,j中 的秩次;和分别为排序序列V′i,x,j和V′i,y,j的平均秩次。
当排序序列V′i,x,j和V′i,y,j中不存在相同秩次的参数值时,上式还可进一步 简化为:
其中,di,(j-1)×w+k表示在排序序列V′i,x,j和V′i,y,j中参数值的秩次之差,即:
di,(j-1)×w+k=m′i,x,(j-1)×w+k-m′i,y,(j-1)×w+k
在每个采集周期的时间窗内,对任意两个性能因素采集序列进行排序, 然后利用斯皮尔曼秩关系因子计算任意两个性能因素值之间的关系。当性能 因素关系值趋近于-1或+1时,表明这两种性能因素之间有强关系;当性能因 素关系值趋近于0时,表明这两种性能因素之间关系较弱。因此,对于任意 服务si,在采集周期时间窗j内采集了l个性能因素,其任意两个性能因素 的关系值构成l×l的关系值矩阵,即:
上式表示一个对称矩阵,即ci,j(x,y)=ci,j(y,x)。并且对于任意参数x, 其都与自身完全相关,即ci,j(x,x)=1。
服务动态特征计算公式如下:
上式中,wi,j(x,y)表示服务si在采集周期时间窗j内采集的性能因素x和 y的动态特征,W+表示性能因素x和y正相关,W0表示性能因素x和y无相 关,W-表示性能因素x和y负相关,Lmax表示服务特征判断上限阈值,Lmin表 示服务特征判断下限阈值。Lmax和Lmin可通过用户经验进行设置,Lmax的建议取 值范围为0.8~1,Lmin的建议取值范围为0~0.2。
将wi,j代入矩阵ci,j,得到服务的动态特征关系矩阵Wi,j,即:
最后,将服务动态特征的判断结果以服务的动态特征标签进行存储。服 务动态特征标签由所有服务性能因素两两之间的动态关系组成,例如:CPU占 用与内存使用动态关系,CPU占用与磁盘使用动态关系等。所有服务动态特 征标签的取值包括:正相关、负相关和无相关三种。所有动态特征标签作为 服务的元数据存储在数据库表中。
(4)预测服务性能因素变化趋势
当前应用场景下服务性能因素运行状态的变化趋势包括:上行趋势、下 行趋势、无变化趋势。
通过对数据库中存储的某一时间段内的CPU占用率、内存使用率、磁盘 使用率、网络出/入流量、并发访问数等服务性能因素历史数据集的曲线拟合, 预测服务各性能因素在未来一定时间内的大小。曲线拟合方法计算量小,适 用于实时的在线数据预测。
通过对未来一定时间内预测参数值的变化率计算,得到当前应用场景下 服务某项性能因素的变化趋势预测。当预测参数值变化率为正,则该服务性 能因素处于上行趋势;当预测参数变化率为负,则该服务性能因素处于下行 趋势。变化趋势的计算公式如下:
上式中,L表示服务性能因素的变化趋势;L+表示上行趋势;L0表示无变化 趋势;L-表示下行趋势;σ为经验阈值,建议取值为1;表示通过对数据 库中存储的某一时间段内的CPU占用率、内存使用率、磁盘使用率、网络出 /入流量、并发访问数等服务性能因素历史数据集的拟合曲线在预测时间内 的斜率值,计算公式如下:
上式中,F(t)表示拟合曲线,t1表示预测起始时间,t2表示预测的结束时 间。
在该步骤中,仅计算步骤(2)判断为敏感/无感类型的性能因素。针对 敏感/无感型性能因素在判断其运行状态变化趋势时,由其自身变化趋势决定, 忽略因性能因素间的正/负相关性所带来的影响。
而对于步骤(2)判断为均衡型的性能因素,若通过步骤(3)判断与敏 感和无感类型性能因素具有因素正相关或因素负相关,则可通过动态特征的 正或负相关性推导出其变化趋势。具体推导过程如下:
(a)所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化 趋势均为上行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型 性能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因 素的变化趋势为上行趋势;
(b)所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化 趋势均为下行趋势,并且所有与均衡型性能因素呈正相关的敏感型和无感型 性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素 的变化趋势为上行趋势;
(c)所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化 趋势均为下行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型 性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素 的变化趋势为下行趋势;
(d)所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化 趋势均为上行趋势,并且所有与均衡型性能因素呈正相关的敏感型/无感型性 能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因素 的变化趋势为下行趋势;
(e)所有与均衡型性能因素呈正或负相关的敏感型和无感型性能因素的 变化趋势均为无变化,则认为该均衡型性能因素的变化趋势为无变化趋势;
(f)对于其他情况的均衡型性能因素,或者因为与其他性能因素的正负 相关性复杂,同时存在与其他性能因素相关性而带来的上行、下行趋势,无 法通过服务的动态特性判断其变化趋势;或者不存在与之正相关或负相关的 敏感型和无感型性能因素。因此可认为其无变化趋势,从而减少预测计算的 整体工作量。
进一步地,将服务的所有性能因素运行趋势以服务性能因素运行趋势标 签进行存储。服务性能因素运行趋势标签由服务的所有性能因素的运行趋势 组成,例如:CPU占用运行趋势标签、内存使用运行趋势标签、磁盘使用运行 趋势标签等。所有服务性能因素运行趋势标签的取值包括:上行趋势、下行 趋势和无变化趋势三种。所有服务性能因素运行趋势标签作为服务的元数据 存储在数据库表中。
进一步地,增加均衡型变化趋势为上行或下行的性能因素的采集频率
通过步骤(2)判断某服务存在敏感/无感型的性能因素,若根据步骤(3) 判断的服务动态特征中存在与该敏感/无感型性能因素正/负相关的均衡型性 能因素,且根据步骤(4)预测到该均衡型性能因素具有上行或下行趋势,则 认为该均衡型性能因素可能转变为敏感/无感型性能因素,应增加对该均衡型 性能因素在采集周期中的采集数量,增强对该均衡型性能因素的监控力度。
(5)调整资源的分配量
根据服务性能因素的类型、动态特征以及变化趋势,生成对服务部署资 源的精确分配方案。形成以下分配准则:
(a)对敏感类型的性能因素资源分配方案,如果其变化趋势是无变化, 应当按基础调节量对资源进行扩容,其扩容量计算公式如下:
其中,C0(t+1)为当前调整的某类性能因素资源分配量,C(t)为该类型 性能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均值, Rc为敏感型性能因素的经验阈值,建议取值范围为60%~80%。
(b)对敏感类型的性能因素资源分配方案,如果其变化趋势是上行,应 当增大调节量对资源进行扩容,其扩容量计算公式如下:
其中,C+(t+1)为当前调整的某类性能因素资源分配量,C(t)为该类型 性能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均 值,Rc为敏感型性能因素的经验阈值,建议取值范围为60%~80%,x′(t+1) 为预测的t+1时刻的性能因素数据,x(t)为当前采集的性能因素数据。因为 性能因素当前的运行趋势为上行,因此x′(t+1)>x(t),C+(t+1)>C0(t+ 1)。C0(t+1)为变化趋势为无变化的敏感类型性能因素当前调整的分配方 案。
例如,服务A和B,各有一个类型相同的敏感型性能因素xA和xB,并且 xA和xB的历史采集数据集的平均值也相同。若xA当前的变化趋势是无变 化,xB当前的变化趋势是上行,则xB的资源调节量将大于xA的资源调节 量。
(c)对敏感类型的性能因素资源分配方案,如果其变化趋势是下行,应 当减小调节量对资源进行扩容,其扩容量计算公式如下:
其中,C-(t+1)为当前调整的某类性能因素资源分配量,C(t)为该类型性能 因素上一次的资源分配量,表示该性能因素历史采集数据集的平均值,Rc为敏感型性能因素的经验阈值,建议取值范围为60%~80%,x′(t+1)为预 测的t+1时刻的性能因素数据,x(t)为当前采集的性能因素数据。因为性能 因素当前的运行趋势为上行,因此x′(t+1)<x(t),C-(t+1)<C0(t+ 1)。C0(t+1)为变化趋势为无变化的敏感类型性能因素当前调整的分配方 案。
例如,服务A和B,各有一个类型相同的敏感型性能因素xA和xB,并且 xA和xB的历史采集数据集的平均值也相同。若xA当前的变化趋势是无变化, xB当前的变化趋势是下行,则xB的资源调节量将小于xA的资源调节量。
(d)对无感类型的性能因素资源分配方案,如果其变化趋势是无变化, 应当按基础调节量对资源进行缩容,其缩容量计算公式如下:
其中,D0(t+1)为当前调整的某类性能因素资源分配量,D(t)为该类型 性能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均值, RD为无感型性能因素的经验阈值,建议取值范围为10%~20%。
(e)对无感类型的性能因素资源分配方案,如果其变化趋势是下行,应 当增大调节量对资源进行缩容,其缩容量计算公式如下:
其中,D-(t+1)为当前调整的某类性能因素资源分配量,D(t)为该类型性 能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均值, RD为无感型性能因素的经验阈值,建议取值范围为10%~20%。因为性能因 素当前的运行趋势为下行,因此x(t)>x′(t+1),D-(t+1)<D0(t+1)。 D0(t+1)为变化趋势为无变化的无感类型性能因素当前调整的分配方案。
例如,服务A和B,各有一个类型相同的无感型性能因素xA和xB,并且 xA和xB的历史采集数据集的平均值也相同。若xA当前的变化趋势是无变化,xB当前的变化趋势是下行,则xB的资源调节量将大于xA的资源调节量。
(f)对无感类型的性能因素资源分配方案,如果其变化趋势是上行,应 当减小调节量对资源进行缩容,其缩容量计算公式如下:
其中,D+(t+1)为当前调整的某类性能因素资源分配量,D(t)为该类 型性能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均 值,RD为无感型性能因素的经验阈值,建议取值范围为10%~20%。因为性 能因素当前的运行趋势为下行,因此x′(t+1)>x(t),D+(t+1)<D0(t+ 1)。D0(t+1)为变化趋势为无变化的无感类型性能因素当前调整的分配方 案。
例如,服务A和B,各有一个类型相同的无感型性能因素xA和xB,并且 xA和xB的历史采集数据集的平均值也相同。若xA当前的变化趋势是无变化, xB当前的变化趋势是上行,则xB的资源调节量将小于xA的资源调节量。
(g)对均衡类型的性能因素资源分配方案,如果其变化趋势是无变化, 不对其资源进行调节。
(h)对均衡类型的性能因素资源分配方案,如果其变化趋势是上行,应 当适度增大调节量对资源进行扩容,其扩容量计算公式如下:
其中,E+(t+1)为当前调整的某类性能因素资源分配量,E(t)为该类型 性能因素上一次的某类资源分配量,表示该性能因素历史采集数据集的平 均值,RE+为均衡型性能因素在上行趋势的经验阈值,建议取值范围为60%~ 80%。
(i)对均衡类型的性能因素资源分配方案,如果其变化趋势是下行,应 当适度减少调节量对资源进行扩容,其缩容量计算公式如下:
其中,E+(t+1)为当前调整的某类性能因素资源分配量,E(t)为该类型 性能因素上一次的资源分配量,表示该性能因素历史采集数据集的平均值, RE-为均衡型性能因素在下行趋势的经验阈值,建议取值范围为10%~20%。
综上所述,本发明公开一种信息系统运行态服务资源分配方法,采集并 存储服务的运行状态信息;基于各运行状态信息,判断该运行状态信息对应 性能因素的类型;判断服务各个性能因素之间的相关性,作为服务动态特征; 基于一段时间内的运行状态信息,预测服务性能因素变化趋势;对于基于敏 感型、无感型的性能因素基于变化趋势调整对应资源的分配量;对于均衡型 的性能因素基于与其相关的性能因素的变化趋势,判断均衡型的性能因素的 变化趋势,调整对应资源的分配量。本发明实现了信息系统运行态服务资源的精准自动化分配,无需依赖操作人员的经验,在满足服务需求的同时,提 高了资源利用效率。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释 本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和 范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保 护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和 边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (8)
1.一种信息系统运行态服务资源分配方法,其特征在于,包括:
采集并存储服务的运行状态信息,包括CPU占用率、内存使用率、磁盘使用率、网络流量占用率和并发访问占用率;
基于各运行状态信息,判断该运行状态信息对应性能因素的类型为敏感型、无感型或均衡型;
判断服务各个性能因素之间的相关性,作为服务动态特征;
基于一段时间内的运行状态信息,预测服务性能因素变化趋势;
对于基于敏感型、无感型的性能因素基于变化趋势调整对应资源的分配量;对于均衡型的性能因素基于与其相关的性能因素的变化趋势,判断均衡型的性能因素的变化趋势,调整对应资源的分配量;
服务的动态特征包括:因素正相关、因素负相关和因素无相关;
判断该运行状态信息对应性能因素的类型,包括:
计算该性能因素采集数据的平均值:
其中Ci表示某种服务性能因素的第i个采集值,n表示采集周期内的采集数量;计算某种服务性能因素的类型T:
式中,T+表示敏感性,T-表示无感型,T0表示均衡型,Rmax表示该服务性能因素均值的上限阈值,Rmin表示该服务性能因素均值的下限阈值;
预测服务性能因素变化趋势,包括:
对一段时间内的某运行状态信息进行拟合,计算预测时间内拟合曲线的斜率值:
上式中,F(t)表示曲线拟合表达式,t1表示预测起始时间,t2表示预测的结束时间;
变化趋势为:
其中L表示服务性能因素的变化趋势;L+表示上行趋势;L0表示无变化趋势;L_表示下行趋势;σ为经验阈值;
调整对应资源的分配量,包括:对敏感类型的性能因素资源分配方案,如果其变化趋势是无变化,应当按基础调节量对资源进行扩容;如果其变化趋势是上行,应当增大调节量对资源进行扩容;如果其变化趋势是下行,应当减小调节量对资源进行扩容;
对无感类型的性能因素资源分配方案,如果其变化趋势是无变化,应当按基础调节量对资源进行缩容;如果其变化趋势是下行,应当增大调节量对资源进行缩容;如果其变化趋势是上行,应当减小调节量对资源进行缩容;
对均衡类型的性能因素资源分配方案,如果其变化趋势是无变化,不对其资源进行调节;如果其变化趋势是上行,应当增大调节量对资源进行扩容,如果其变化趋势是下行,应当减少调节量对资源进行扩容。
2.根据权利要求1所述的信息系统运行态服务资源分配方法,其特征在于,判断服务各个性能因素之间的相关性,包括:
利用斯皮尔曼秩关系因子定义服务si的性能因素x和y在采集周期时间窗j内的关系值:
式中,mi,x,k和mi,y,k分别表示服务si在采集周期时间窗j内采集的性能因素x和y的第k个数据;w表示在采集周期时间窗j内一共采集了w个性能因素数据;将一个时间窗j中采集的服务si的性能因素x和y的所有采集数据mi,x,k和mi,y,k按从大到小的顺序排序后,得到排序序列V'i,x,j和V'i,y,j;m'i,x,(j-1)×w+k和m'i,y,(j-1)×w+k分别为性能因素x的采集值mi,x,(j-1)×w+k和性能因素y的采集值mi,y,(j-1)×w+k在排序序列V'i,x,j和V'i,y,j中的秩次;和分别为排序序列V'i,x,j和V'i,y,j的平均秩次;
服务动态特征计算公式如下:
上式中,wi,j(x,y)表示服务si在采集周期时间窗j内采集的性能因素x和y的动态特征,W+表示性能因素x和y正相关,W0表示性能因素x和y无相关,W-表示性能因素x和y负相关,Lmax表示服务特征判断上限阈值,Lmin表示服务特征判断下限阈值。
3.根据权利要求1或2所述的信息系统运行态服务资源分配方法,其特征在于,对于敏感型,变化趋势为无变化的性能因素对应资源的分配量调整方式为:
对于敏感型变化趋势为上行的性能因素对应资源的分配量调整方式为:
其中,C+(t+1)为敏感型变化趋势为上行的性能因素当前资源分配量,C(t)为该性能因素上一次的资源分配量,表示该性能因素采集数据的平均值,Rc为敏感型性能因素的经验阈值,x'(t+1)为预测的t+1时刻的该性能因素数据,x(t)为当前采集的该性能因素数据;
对于敏感型变化趋势为下行的性能因素对应资源的分配量调整方式为:
4.根据权利要求1或2所述的信息系统运行态服务资源分配方法,其特征在于,对于无感型,变化趋势为无变化的性能因素对应资源的分配量调整方式为:
对于无感型,变化趋势为下行的性能因素对应资源的分配量调整方式为:
其中,D-(t+1)为无感型,变化趋势为下行的性能因素当前资源分配量,D(t)为该性能因素上一次的资源分配量,表示该性能因素采集数据的平均值,RD为无感型性能因素的经验阈值,x'(t+1)为预测的t+1时刻的该性能因素数据,x(t)为当前采集的该性能因素数据;
对于无感型,变化趋势为上行的性能因素对应资源的分配量调整方式为:
5.根据权利要求1或2所述的信息系统运行态服务资源分配方法,其特征在于,对于均衡型的性能因素基于与其相关的性能因素的变化趋势,判断均衡型的性能因素的变化趋势,包括:
如果所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化趋势均为上行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因素的变化趋势为上行趋势;
如果所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化趋势均为下行趋势,并且所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素的变化趋势为上行趋势;
如果所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化趋势均为下行趋势,并且所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化趋势均为上行趋势或无变化趋势,则认为该均衡型性能因素的变化趋势为下行趋势;
如果所有与均衡型性能因素呈负相关的敏感型和无感型性能因素的变化趋势均为上行趋势,并且所有与均衡型性能因素呈正相关的敏感型和无感型性能因素的变化趋势也均为下行趋势或无变化趋势,则认为该均衡型性能因素的变化趋势为下行趋势;
如果均衡型性能因素不是上行趋势或下行趋势则为无变化趋势。
6.根据权利要求5所述的信息系统运行态服务资源分配方法,其特征在于,对于均衡型,变化趋势为无变化的性能因素不对其资源进行调节;
对于均衡型,变化趋势为上行的性能因素对应资源的分配量调整方式为:
对于均衡型,变化趋势为下行的性能因素对应资源的分配量调整方式为:
7.根据权利要求5所述的信息系统运行态服务资源分配方法,其特征在于,对于均衡型,变化趋势为上行或下行的性能因素,增加数据的采集频率。
8.根据权利要求1或2所述的信息系统运行态服务资源分配方法,其特征在于,对于每种服务的所有性能因素添加标签,标示各个性能因素的类型和变化趋势。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406061.4A CN114138477B (zh) | 2021-11-24 | 2021-11-24 | 一种信息系统运行态服务资源分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406061.4A CN114138477B (zh) | 2021-11-24 | 2021-11-24 | 一种信息系统运行态服务资源分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114138477A CN114138477A (zh) | 2022-03-04 |
CN114138477B true CN114138477B (zh) | 2022-06-03 |
Family
ID=80391294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111406061.4A Active CN114138477B (zh) | 2021-11-24 | 2021-11-24 | 一种信息系统运行态服务资源分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114138477B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102355736A (zh) * | 2011-08-04 | 2012-02-15 | 大唐移动通信设备有限公司 | 一种调用使用的阈值确定和分组调度方法及装置 |
CN103945548A (zh) * | 2014-04-29 | 2014-07-23 | 西安电子科技大学 | 一种c-ran网络中的资源分配系统及任务/业务调度方法 |
CN106686136A (zh) * | 2017-02-24 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种云资源的调度方法及装置 |
CN109766182A (zh) * | 2018-12-18 | 2019-05-17 | 平安科技(深圳)有限公司 | 系统资源动态扩缩容方法、装置、计算机设备及存储介质 |
CN110535894A (zh) * | 2018-05-25 | 2019-12-03 | 深圳先进技术研究院 | 一种基于负载反馈的容器资源动态分配方法及其系统 |
CN113190351A (zh) * | 2021-05-06 | 2021-07-30 | 天津大学 | 一种面向分布式深度学习训练任务的高效资源分配系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9537788B2 (en) * | 2014-12-05 | 2017-01-03 | Amazon Technologies, Inc. | Automatic determination of resource sizing |
US10613905B2 (en) * | 2017-07-26 | 2020-04-07 | Bank Of America Corporation | Systems for analyzing historical events to determine multi-system events and the reallocation of resources impacted by the multi system event |
-
2021
- 2021-11-24 CN CN202111406061.4A patent/CN114138477B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102355736A (zh) * | 2011-08-04 | 2012-02-15 | 大唐移动通信设备有限公司 | 一种调用使用的阈值确定和分组调度方法及装置 |
CN103945548A (zh) * | 2014-04-29 | 2014-07-23 | 西安电子科技大学 | 一种c-ran网络中的资源分配系统及任务/业务调度方法 |
CN106686136A (zh) * | 2017-02-24 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种云资源的调度方法及装置 |
CN110535894A (zh) * | 2018-05-25 | 2019-12-03 | 深圳先进技术研究院 | 一种基于负载反馈的容器资源动态分配方法及其系统 |
CN109766182A (zh) * | 2018-12-18 | 2019-05-17 | 平安科技(深圳)有限公司 | 系统资源动态扩缩容方法、装置、计算机设备及存储介质 |
CN113190351A (zh) * | 2021-05-06 | 2021-07-30 | 天津大学 | 一种面向分布式深度学习训练任务的高效资源分配系统 |
Non-Patent Citations (4)
Title |
---|
QoS aware service composition with multiple quality constraints;Bixin Liu等;《NPC"05: Proceedings of the 2005 IFIP international conference on Network and Parallel Computing》;20051130;第123-131页 * |
Time efficient dynamic threshold-based load balancing technique for Cloud Computing;S. K. Mishra等;《2017 International Conference on Computer, Information and Telecommunication Systems (CITS)》;20170914;第161-165页 * |
大规模流数据处理中代价有效的弹性资源分配策略;李丽娜等;《吉林大学学报(工学版)》;20200310;第50卷(第05期);第1832-1843页 * |
面向软件生态的资源定位技术;李华莹等;《计算机与现代化》;20200315(第03期);第24-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114138477A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110096349B (zh) | 一种基于集群节点负载状态预测的作业调度方法 | |
CN110995614B (zh) | 一种算力资源分配的方法及装置 | |
CN110825520B (zh) | 一种实现资源高效利用的集群极速弹性伸缩方法 | |
CN103699445B (zh) | 一种任务调度方法、装置及系统 | |
CN105320559B (zh) | 一种云计算系统的调度方法和装置 | |
CN107580023A (zh) | 一种动态调整任务分配的流处理作业调度方法及系统 | |
CN110888714B (zh) | 容器的调度方法、装置和计算机可读存储介质 | |
CN104168318A (zh) | 一种资源服务系统及其资源分配方法 | |
CN109582448B (zh) | 一种面向关键度和时效性的边缘计算任务调度方法 | |
CN109783225B (zh) | 一种多租户大数据平台的租户优先级管理方法及系统 | |
CN108804227A (zh) | 基于移动云计算的计算密集型任务卸载和最佳资源配置的方法 | |
CN103425535A (zh) | 云环境下的敏捷弹性伸缩方法 | |
CN111614754B (zh) | 面向雾计算的成本效率优化的动态自适应任务调度方法 | |
CN103401938A (zh) | 分布式云架构下基于业务特性的资源分配系统及其方法 | |
CN109861850B (zh) | 一种基于sla的无状态云工作流负载均衡调度的方法 | |
CN107404409A (zh) | 面向突变负载的容器云弹性供给容器数量预测方法与系统 | |
CN111813502B (zh) | 面向工业边缘节点的计算资源管理调度方法 | |
CN112799817A (zh) | 一种微服务资源调度系统和方法 | |
CN105744006A (zh) | 一种面向多类型服务的粒子群优化用户请求调度方法 | |
CN114138477B (zh) | 一种信息系统运行态服务资源分配方法 | |
CN114978913B (zh) | 一种基于切链的服务功能链跨域部署方法及系统 | |
CN115562841B (zh) | 一种云视频服务自适应资源调度系统和方法 | |
CN116541128A (zh) | 一种负载调节方法、装置、计算设备、及存储介质 | |
CN115686826A (zh) | 一种基于天基分布式卫星集群的动态调度方法和系统 | |
CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |