CN104702652A - 集群部署系统中的负载调度方法及装置 - Google Patents

集群部署系统中的负载调度方法及装置 Download PDF

Info

Publication number
CN104702652A
CN104702652A CN201410011369.2A CN201410011369A CN104702652A CN 104702652 A CN104702652 A CN 104702652A CN 201410011369 A CN201410011369 A CN 201410011369A CN 104702652 A CN104702652 A CN 104702652A
Authority
CN
China
Prior art keywords
sample
pressure
distance
load
hyperplane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410011369.2A
Other languages
English (en)
Other versions
CN104702652B (zh
Inventor
明万程
陈翟翟
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201410011369.2A priority Critical patent/CN104702652B/zh
Publication of CN104702652A publication Critical patent/CN104702652A/zh
Application granted granted Critical
Publication of CN104702652B publication Critical patent/CN104702652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了集群部署系统中的负载调度方法及装置,其中,该方法包括:提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;该方法还包括:从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。本发明方案能够使集群部署系统中的负载更均衡、稳定。

Description

集群部署系统中的负载调度方法及装置
技术领域
本发明涉及集群调度技术,尤其涉及集群部署系统中的负载调度方法及装置。
背景技术
针对某一网络业务,可采用单台服务器进行相应的服务处理。
随着网络业务量的不断增大、数据流量的快速增长,以及计算强度的增加,使得单台服务器无法承担负载;因而,出现了由多台服务器组成的集群部署系统对网页业务进行负载承担。在集群部署系统中,涉及到根据各台服务器的负载情况进行负载调度,目的在于将网络任务均衡分担到各台服务器,使系统能长时间稳定的对外提供服务,业内称这一技术为负载均衡。
所述网络业务为需要集群部署系统进行处理的业务,例如视频录像业务,具体如进行交通路况监控的视频录像业务,各录像设备需要将采集的视频数据发送到集群部署系统的服务器进行处理,该处理包括存储、回放等。
现有的集群部署系统中,主要根据单台服务器的负载情况进行负载调度。具体地,为各台服务器分别设置负载阈值,实际应用中,如果服务器的负载压力达到相应的负载阈值,则对该服务器进行负载调度,为其进行压力分摊;压力分摊时,可以将其分摊到负载压力较小的其他服务器。负载阈值为经验值,通过实际应用发现,这种依据主观判定进行负载调度的方式,对高效集群部署系统的稳定性产生很大影响,导致负载调度不够均衡。
可见,现有集群部署系统中的负载调度方案,存在负载稳定性和均衡性较差的缺陷。
发明内容
本发明提供了一种集群部署系统中的负载调度方法,该方法能够使集群部署系统中的负载更均衡、稳定。
本发明提供了一种集群部署系统中的负载调度装置,该装置能够使集群部署系统中的负载更均衡、稳定。
一种集群部署系统中的负载调度方法,该方法提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;该方法还包括:
从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;
计算当前样本与超平面之间的距离,记录当前样本的距离;
提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;
由距离变化趋势进行负载调度。
一种集群部署系统中的负载调度装置,该装置包括压力样本采集单元、超平面确定单元、压力趋势预估及调度单元;
所述压力样本采集单元,对集群部署系统中的各服务器进行负载数据采样,存储负载数据;
所述超平面确定单元,从所述压力样本采集单元提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;
所述压力趋势预估及调度单元,从所述压力样本采集单元提取当前时刻的负载数据,从当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。
从上述方案可以看出,本发明中,针对待检测服务器,先由记录的历史负载数据生成超平面;然后,从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;取当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。本发明由记录的历史负载数据生成超平面,再基于超平面确定服务器最近时间段内的压力变化趋势,进而确定是否进行负载调度。这样,无需依据经验设置负载阈值,不再依据主观判定进行负载调度,从而,使集群部署系统的负载调度更加均衡、稳定。
附图说明
图1为本发明集群部署系统中的负载调度方法示意性流程图;
图2为本发明集群部署系统中的负载调度方法流程图实例;
图3为本发明由正负样本计算二维超平面的实例;
图4为本发明集群部署系统中的负载调度装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
本发明中,由记录的历史负载数据生成超平面,再基于超平面确定服务器最近时间段内的压力变化趋势,进而确定是否进行负载调度。这样,无需依据经验设置负载阈值,不再依据主观判定进行负载调度,使集群部署系统的负载调度更加均衡、稳定。参见图1,为本发明集群部署系统中的负载调度方法示意性流程图,该方法先生成关于待检测服务器的超平面,具体地:提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大。
所述第一设定时间段例如当前时刻之前5小时关于待检测服务器的负载数据;并且,为了进一步提高超平面的准确性,可周期性地对超平面进行更新,例如每3小时更新一次;负载数据包含各压力维度对应的负载数值,以及相应的性能指标,将性能指标显示为正常的负载数据确定为正样本,属于无需进行压力分摊的情形;将性能指标显示为高压力的负载数据确定为负样本,属于需要进行压力分摊的情形。
选取正样本和负样本之后,由正样本和负样本计算得到对两者进行划分的超平面,为公知技术,计算得到的超平面将满足条件:所有正样本和负样本与超平面的距离之和最大。超平面将整个区域划分成两部分,即正样本区域和负样本区域,所有的正样本落位于正样本区域,所有的负样本位于负样本区域;获取的待检测服务器的负载数据后,根据负载数据便可确定其落在那个区域。
为了进一步提高超平面的准确性,正样本和负样本可选取相同的数目。所述设定压力维度可根据需要选取,例如选取网络压力、磁盘压力、内存压力和CPU压力中的至少一个,其中的网络压力为网络指标。这里假设选取的设定压力维度为三个:网络压力、磁盘压力、内存压力,正负样本可采用如下方式表示:
正样本:+1 1:60 2:40 3:30;
负样本:-1 1:80 2:80 3:90。
“+1”表示正样本,“-1”表示负样本,各项负载数值前面的数字表示压力维度,这里“1”表示网络压力,“2”表示磁盘压力,“3”表示内存压力。
生成超平面之后,便可基于超平面确定服务器最近时间段内的压力变化趋势,进而确定是否进行负载调度;具体包括以下步骤:
步骤101,从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本。
步骤102,计算当前样本与超平面之间的距离,记录当前样本的距离。
获取当前样本后,计算当前样本与超平面之间的距离为已有技术,这里不多赘述。
步骤103,提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势。
所述第二设定时间例如为5分钟,实际应用中,可按照一定的时间间隔计算距离,例如每隔15秒计算一次与超平面之间的距离,并记录;每次计算完成后,提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势。对于处于正样本区域的情况,计算出的距离越小,表明待检测服务器的负载压力越大;对于处于负样本区域的情况,计算出的距离越大,表明待检测服务器的负载压力越大。
步骤104,由距离变化趋势进行负载调度。
距离变化趋势反映了待检测服务器的负载情况,基于距离变化趋势,便可进行负载调度。
由距离变化趋势进行负载调度的具体实现,可实际根据需要设置,下面针对处于正样本区域的情形列举两种实现方式:
方式一:
确定当前样本处于正样本区域,判断距离变化是否呈减小趋势确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则对待检测服务器进行压力分摊;否则不对待检测服务器进行压力分摊。
处于正样本区域且距离呈减小趋势,表明待检测服务器的压力递增,需要对其进行压力分摊;压力分摊时,可以将其分摊到负载压力较小的其他服务器。
方式二:
确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则判断当前样本的负载数值是否大于压力阈值,如果大于压力阈值,则对待检测服务器进行压力分摊,如果不大于压力阈值,则不对待检测服务器进行压力分摊;
如果距离变化不呈现减小趋势,则不对待检测服务器进行压力分摊。
所述压力阈值可以是经验值,每个压力维度对应各自的压力阈值;判定时,只要其中一个压力维度对应的负载数值大于压力阈值,则确定为当前样本的负载数值大于压力阈值;也可以,当每个压力维度对应的负载数值都大于各自的压力阈值时,才确定为当前样本的负载数值大于压力阈值。
该方式结合距离和压力阈值进行压力分摊,距离呈减小趋势,表明待检测服务器的压力递增,在距离成减小趋势的前提下,如果待检测服务器的负载数值达到压力阈值时,对其进行压力分摊;如果待检测服务器的负载数值没有达到压力阈值时,可暂时不对其进行压力分摊。
上述为进行负载调度的两个实例,还可以根据距离的变化情况设置需要的负载分担方案。例如,对于持续处于负样本区域的情形,也就是连续多次都处于负样本区域,表明待检测服务器的压力较大,需要进行压力分摊;对于这种情况,极端地,如果整个集群部署系统的服务器负荷都处于负样本区域,则可采取对距离超平面近的多分摊压力,对距离超平面远的则少分摊压力。再如,如果待检测服务器的负荷在正样本区域和负样本区域之间来回摆动,也就是变动较大,很不稳定,对于这种情形,可暂时不对其进行调度处理,直到其状态相对稳定再进行调度处理。
上述方法中,进一步地,为了提高超平面的准确性,计算超平面时,还可以采用如下方式选取正样本和负样本:
预先训练出设定压力维度数目与样本数目之间的映射关系,采用所述映射关系计算得到的超平面的使用准确率大于设定值;
进行正样本和负样本选取时,确定设定压力维度的数目,由所述映射关系确定对应的样本数目,选取大于或等于确定的样本数目的正样本和负样本。
压力维度数目与样本数目之间有一定的权重比例;例如,当压力维度数目为3时,样本数目确定为8000,包括4000个正样本和4000各负样本,按照该比例计算得到的超平面,其准确率较高。训练设定压力维度数目与样本数目之间的映射关系可采用如下方式实现:
确定压力维度数目后,从某一时间段A的历史负载数据,选取不同的样本数目,分别计算出对应不同样本数目的超平面。再选取另一时间段B的历史负载数据,对每个超平面的准确性进行校验:历史负载数据中包含各负载数值对应的性能指标,性能指标显示为正常表明无需进行压力分摊,性能指标显示为高压力表明需要进行压力分摊;基于各超平面确定出是否进行负载调度,如果调度结果与服务器中显示的性能指标一致,则表明结果正确,如果调度结果与服务器中显示的性能指标不一致,则表明结果错误;对结果正确的比例进行统计,如果大于设定值,则保留相应映射关系,将相应映射关系作为选取正负样本的标准,否则不保留相应映射关系,不将相应映射关系作为选取正负样本的标准。所述设定值根据需要设置,设定值越高,对超平面的使用准确率要求越高,例如为90%。
本发明中,针对待检测服务器,先由记录的历史负载数据生成超平面;然后,从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;取当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。本发明由记录的历史负载数据生成超平面,再基于超平面确定服务器最近时间段内的压力变化趋势,进而确定是否进行负载调度。这样,无需依据经验设置负载阈值,不再依据主观判定进行负载调度,从而,是集群部署系统的负载调度更加均衡、稳定。
下面结合图2,对本发明集群部署系统中的负载调度方法进行实例说明,其包括以下步骤:
步骤201,训练出设定压力维度数目与样本数目之间的映射关系,采用所述映射关系计算得到的超平面的使用准确率大于设定值。
步骤202,提取第一设定时间段内的负载数据。
网络业务项目真正投入使用之前,一般会对网络业务项目试运营一段时间,可将试运营产生的历史负载数据,用于确定超平面,从中提取正负样本;还可以,根据已经投入使用的历史负载数据,提取正负样本。提取的样本分为两类,一类是能够稳定对外提供服务的样本,称为正样本,一类是无法稳定对外提供服务的样本,称为负样本。
步骤203,确定设定压力维度的数目,由所述映射关系确定对应的样本数目,选取大于或等于确定的样本数目的正样本和负样本。
所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度,本实例中,假设为两个:内存压力(MEM)和CPU压力。
步骤204,由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大。
选取正样本和负样本之后,计算对两者进行划分的超平面为已有技术,以本实例中二维压力的情况进行简要说明:
最优超平面满足:w*x+b=0,也即是超平面上的点满足w*x+b=0;其中,w表示n维法向量,x表示n维样本,b表示超平面的截距;
那么正样本满足:w*x+b>=1,负样本满足:w*x+b<=-1;
将正负样本的负载数值代入下述的拉格朗日公式:
&iota; ( w , b , a ) = 1 2 | | w | | 2 - &Sigma; i = 1 N &alpha; i [ y i ( w T x i + b ) - 1 ]
其中,xi表示样本点负载数值,采用矩阵方式表示;αi表示拉格朗日乘子;||w||表示二维范式,wT是一体的表示N维向量;这里yi在正样本取1,负样本取-1。所有正样本和负样本与超平面的距离之和最大,即1/||w||最大,也就是求解最小||w||;上述公式取||w||的平方是方便计算。按照拉格朗日对偶知识可基于上述拉格朗日公式最终划分得到超平面;最终超平面的划分归结为函数求极值,直到变量收敛。进行超平面划分为已有的数学统计技术,上述只简要进行说明。
参见图3,为本实例划分的超平面实例,图中圆点表示负样本,方块标识正样本,粗虚线为划分得到的超平面;如果正负样本划分不规则,将可能得到细虚线所示的超平面。
生成超平面,后续便可执行步骤205至208,基于超平面确定服务器最近时间段内的压力变化趋势,进而确定是否进行负载调度。
步骤205,从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本。
步骤206,计算当前样本与超平面之间的距离,记录当前样本的距离。
确定当前样本与超平面之后,计算当前样本与超平面之间的距离,为已有技术。下面基于本实例进行简要说明。
将当前样本的负载数值表示为x,x采用矩阵表达方式:
x = x p + r w 0 | | w 0 | |
其中xp是x在超平面上的投影,r是x到超平面的距离,w0为二维范数。
假设g(x)=w0 Tx+b0
由定义有g(xp)等于0,即样本处于超平面上,则有:g(x)=w0 Tx+b0=r||w0||;
可见,g(x)实际上度量了样本点x到超平面的距离,在||w0||恒定的情况下,g(x)绝对值的大小反映了几何间隔r的大小。
当前样本与超平面之间的距离为已有的数学计算方式,上述只简要列举了该计算过程需要涉及的部分内容。
步骤207,提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势。
步骤208,确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则对待检测服务器进行压力分摊;否则不对待检测服务器进行压力分摊。
本发明采用统计学方法,通过广泛的数据压力采样,进行风险预估,为服务器生成压力样本统计处理之后的临界点,这里从数学角度称为超平面(超平面可以理解为一维空间中的点,二维空间中的线,三维空间中的面,N维空间中的N-1维体)。然后,计算服务器当前运行压力与超平面之间的距离,或者判定当前运行压力向超平面逼近的加速度,来真实反映负载压力趋势,从而起到一种预估型的负载调度。
参见图4,为本发明集群部署系统中的负载调度装置,该装置包括压力样本采集单元、超平面确定单元、压力趋势预估及调度单元;
所述压力样本采集单元,对集群部署系统中的各服务器进行负载数据采样,存储负载数据;
所述超平面确定单元,从所述压力样本采集单元提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;
所述压力趋势预估及调度单元,从所述压力样本采集单元提取当前时刻的负载数据,从当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。
较佳地,所述压力趋势预估及调度单元包括当前距离计算模块、距离趋势确定模块和负载调度模块;
所述当前距离计算模块,从所述压力样本采集单元提取当前时刻的负载数据,从当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;
所述距离趋势确定模块,提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势,发送给所述负载调度模块;
所述负载调度模块,接收来自所述距离趋势确定模块的距离变化趋势,由距离变化趋势进行负载调度。
较佳地,所述负载调度模块包括第一调度子模块,接收来自所述距离趋势确定模块的距离变化趋势,确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则对待检测服务器进行压力分摊;否则不对待检测服务器进行压力分摊。
较佳地,所述负载调度模块包括第二调度子模块,接收来自所述距离趋势确定模块的距离变化趋势,确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则判断当前样本的负载数值是否大于压力阈值,如果大于压力阈值,则对待检测服务器进行压力分摊,如果不大于压力阈值,则不对待检测服务器进行压力分摊;
如果距离变化不呈现减小趋势,则不对待检测服务器进行压力分摊。
较佳地,所述超平面确定单元包括映射关系确定模块、正负样本选取模块和计算模块;
所述映射关系确定模块,训练出设定压力维度数目与样本数目之间的映射关系,采用所述映射关系计算得到的超平面的使用准确率大于设定值;
所述正负样本选取模块,确定设定压力维度的数目,由所述映射关系确定对应的样本数目,从所述压力样本采集单元提取第一设定时间段内的负载数据,选取大于或等于确定的样本数目的正样本和负样本,发送给所述计算模块;
所述计算模块,接收来自所述正负样本选取模块的正样本和负样本,由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大。
现有技术中,集群部署系统中进行负载调度时基于经验进行主观判定,也无法对服务器的负载压力预估;而本发明中,以统计学为基础,通过广泛的数据采样,得到服务器负载的趋势变化情况,从而使负载调度更加高效、均衡、稳定。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种集群部署系统中的负载调度方法,其特征在于,提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;该方法还包括:
从待检测服务器当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;
计算当前样本与超平面之间的距离,记录当前样本的距离;
提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;
由距离变化趋势进行负载调度。
2.如权利要求1所述的方法,其特征在于,所述由距离变化趋势确定是否进行负载调度包括:
确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果呈减少趋势,则对待检测服务器进行压力分摊;如果不呈减少趋势,则不对待检测服务器进行压力分摊。
3.如权利要求1所述的方法,其特征在于,所述由距离变化趋势确定是否进行负载调度包括:
确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则判断当前样本的负载数值是否大于压力阈值,如果大于压力阈值,则对待检测服务器进行压力分摊,如果不大于压力阈值,则不对待检测服务器进行压力分摊;
如果距离变化不呈现减小趋势,则不对待检测服务器进行压力分摊。
4.如权利要求1所述的方法,其特征在于,该方法还包括:训练出设定压力维度数目与样本数目之间的映射关系,采用所述映射关系计算得到的超平面的使用准确率大于设定值;
所述选取正样本和负样本包括:确定设定压力维度的数目,由所述映射关系确定对应的样本数目,选取大于或等于确定的样本数目的正样本和负样本。
5.如权利要求1至4中任一项所述的方法,其特征在于,选取的正样本和负样本的数目相同;所述设定压力维度包括网络压力、磁盘压力、内存压力和CPU压力中的至少一个。
6.一种集群部署系统中的负载调度装置,其特征在于,该装置包括压力样本采集单元、超平面确定单元、压力趋势预估及调度单元;
所述压力样本采集单元,对集群部署系统中的各服务器进行负载数据采样,存储负载数据;
所述超平面确定单元,从所述压力样本采集单元提取第一设定时间段内的负载数据,选取正样本和负样本,所述正样本和负样本包含设定压力维度对应的负载数值,所述设定压力维度包含至少一个压力维度;由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大;
所述压力趋势预估及调度单元,从所述压力样本采集单元提取当前时刻的负载数据,从当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势;由距离变化趋势进行负载调度。
7.如权利要求6所述的装置,其特征在于,所述压力趋势预估及调度单元包括当前距离计算模块、距离趋势确定模块和负载调度模块;
所述当前距离计算模块,从所述压力样本采集单元提取当前时刻的负载数据,从当前时刻的负载数据中获取设定压力维度对应的负载数值,作为当前样本;计算当前样本与超平面之间的距离,记录当前样本的距离;
所述距离趋势确定模块,提取待检测服务器在当前时刻之前第二设定时间段内各样本对应的距离,确定距离变化趋势,发送给所述负载调度模块;
所述负载调度模块,接收来自所述距离趋势确定模块的距离变化趋势,由距离变化趋势进行负载调度。
8.如权利要求7所述的装置,其特征在于,所述负载调度模块包括第一调度子模块,接收来自所述距离趋势确定模块的距离变化趋势,确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则对待检测服务器进行压力分摊;否则不对待检测服务器进行压力分摊。
9.如权利要求7所述的装置,其特征在于,所述负载调度模块包括第二调度子模块,接收来自所述距离趋势确定模块的距离变化趋势,确定当前样本处于正样本区域,判断距离变化是否呈减小趋势,如果是,则判断当前样本的负载数值是否大于压力阈值,如果大于压力阈值,则对待检测服务器进行压力分摊,如果不大于压力阈值,则不对待检测服务器进行压力分摊;如果距离变化不呈现减小趋势,则不对待检测服务器进行压力分摊。
10.如权利要求7至9中任一项所述的装置,其特征在于,所述超平面确定单元包括映射关系确定模块、正负样本选取模块和计算模块;
所述映射关系确定模块,训练出设定压力维度数目与样本数目之间的映射关系,采用所述映射关系计算得到的超平面的使用准确率大于设定值;
所述正负样本选取模块,确定设定压力维度的数目,由所述映射关系确定对应的样本数目,从所述压力样本采集单元提取第一设定时间段内的负载数据,选取大于或等于确定的样本数目的正样本和负样本,发送给所述计算模块;
所述计算模块,接收来自所述正负样本选取模块的正样本和负样本,由正样本和负样本计算得到对两者进行划分的超平面,所有正样本和负样本与超平面的距离之和最大。
CN201410011369.2A 2014-01-10 2014-01-10 集群部署系统中的负载调度方法及装置 Active CN104702652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410011369.2A CN104702652B (zh) 2014-01-10 2014-01-10 集群部署系统中的负载调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410011369.2A CN104702652B (zh) 2014-01-10 2014-01-10 集群部署系统中的负载调度方法及装置

Publications (2)

Publication Number Publication Date
CN104702652A true CN104702652A (zh) 2015-06-10
CN104702652B CN104702652B (zh) 2018-06-01

Family

ID=53349417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410011369.2A Active CN104702652B (zh) 2014-01-10 2014-01-10 集群部署系统中的负载调度方法及装置

Country Status (1)

Country Link
CN (1) CN104702652B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109322802A (zh) * 2018-09-05 2019-02-12 许继集团有限公司 一种风力发电机叶片覆冰预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913465A (zh) * 2005-08-11 2007-02-14 中兴通讯股份有限公司 无线局域网的负载均衡方法
CN102236582A (zh) * 2011-07-15 2011-11-09 浙江大学 虚拟化集群负载在多台物理机中均衡分配的方法
CN103368864A (zh) * 2013-07-31 2013-10-23 北京华易互动科技有限公司 一种基于c/s架构的智能负载均衡方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913465A (zh) * 2005-08-11 2007-02-14 中兴通讯股份有限公司 无线局域网的负载均衡方法
CN102236582A (zh) * 2011-07-15 2011-11-09 浙江大学 虚拟化集群负载在多台物理机中均衡分配的方法
CN103368864A (zh) * 2013-07-31 2013-10-23 北京华易互动科技有限公司 一种基于c/s架构的智能负载均衡方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAM VERBOVEN,PETER HELLINCKX,FRAN ARICKX: ""Runtime Prediction Based Grid Scheduling of Parameter Sweep Jobs"", 《IEEE》 *
YUANZHE CAI,QING XIE: ""Short-term load forecasting for city holidays based on genetic support vector machines"", 《IEEE》 *
魏一帆: ""分布式采集系统Web划分技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109322802A (zh) * 2018-09-05 2019-02-12 许继集团有限公司 一种风力发电机叶片覆冰预测方法及系统

Also Published As

Publication number Publication date
CN104702652B (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN106980573B (zh) 一种构建测试用例请求对象的方法、装置及系统
CN108833458B (zh) 一种应用推荐方法、装置、介质及设备
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN111064808B (zh) 一种基于分布式存储系统的负载均衡方法及装置
CN106803799B (zh) 一种性能测试方法和装置
CN110874744A (zh) 一种数据异常检测方法及装置
CN113268403B (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN106156147A (zh) 一种基于大数据分析的报告发送方法、装置及系统
CN107391230B (zh) 一种确定虚拟机负载的实现方法和装置
CN103258123A (zh) 一种基于隐写分析系统盲性的隐写分析方法
CN110083518B (zh) 一种基于AdaBoost-Elman的虚拟机软件老化预测方法
CN113465734B (zh) 一种结构振动的实时估计方法
CN114978877A (zh) 一种异常处理方法、装置、电子设备及计算机可读介质
CN113032239A (zh) 风险提示方法、装置、电子设备及存储介质
CN108280019A (zh) 一种评估服务器健康状态的方法
CN104702652A (zh) 集群部署系统中的负载调度方法及装置
CN112486676A (zh) 一种基于边缘计算的数据共享分发方法及装置
CN110096820B (zh) 单元寿命服从威布尔分布时k/n(G)系统的剩余寿命预测方法
CN113676377B (zh) 基于大数据的在线用户数评估方法、装置、设备及介质
CN110400106A (zh) 信息获取方法、装置及电子设备
CN113780666B (zh) 一种缺失值的预测方法及装置、可读存储介质
CN115221218A (zh) 车辆数据的质量评估方法、装置、计算机设备和存储介质
CN109815109B (zh) 数据模式变更检测方法、装置、设备及可读存储介质
EP3690670A1 (en) Data processing system
CN114884813A (zh) 一种网络架构确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant