CN103106041B - 一种磁盘阵列资源的处理方法和装置 - Google Patents

一种磁盘阵列资源的处理方法和装置 Download PDF

Info

Publication number
CN103106041B
CN103106041B CN201110353644.5A CN201110353644A CN103106041B CN 103106041 B CN103106041 B CN 103106041B CN 201110353644 A CN201110353644 A CN 201110353644A CN 103106041 B CN103106041 B CN 103106041B
Authority
CN
China
Prior art keywords
parameter
disk
busy extent
system support
extent parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110353644.5A
Other languages
English (en)
Other versions
CN103106041A (zh
Inventor
周振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201110353644.5A priority Critical patent/CN103106041B/zh
Publication of CN103106041A publication Critical patent/CN103106041A/zh
Priority to HK13108674.1A priority patent/HK1181497A1/zh
Application granted granted Critical
Publication of CN103106041B publication Critical patent/CN103106041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种磁盘阵列资源的处理方法和装置,其中的方法具体包括:采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理。本申请能够提高磁盘阵列资源的处理结果的准确性。

Description

一种磁盘阵列资源的处理方法和装置
技术领域
本申请涉及服务器应用系统技术领域,特别是涉及一种磁盘阵列资源的处理方法和装置。
背景技术
目前,随着服务器应用系统的深入广泛,很多重要应用受到服务器应用系统磁盘IO(输入输出,InputOutput)瓶颈的严重制约,性能无法大幅提升,例如搜索引擎、门户网站、大流量在线游戏、在线电子交易、实时航空订票、有限元分析,虽然服务器应用系统组成中重要的CPU性能和内存容量按照摩尔定律成倍提升,但现有的磁盘能否满足日益应用增长几何级的密集访问请求还是未知数。
对于这些性能受磁盘IO瓶颈制约的服务器应用系统而言,系统支撑能力受限于磁盘IO,因此,如果能够预测出系统支撑能力,则能够提前发现服务器应用系统的性能瓶颈,从而有效防止系统压力超出承载能力而导致的系统崩溃。
现有磁盘阵列资源的处理方法通常根据经验猜想一个经验公式进行预测,然后进行磁盘阵列资源的处理。例如,针对一个服务器应用系统的历史数据,则根据经验猜想经验公式1进行预测,而针对另一个服务器应用系统的历史数据,则根据经验猜想经验公式2进行预测;由于预测用到的经验公式往往根据经验猜想得到,缺乏可靠的理论依据,导致磁盘阵列资源的处理结果欠准确。
总之,需要本领域技术人员迫切解决的一个技术问题就是:如何能够提高磁盘阵列资源的处理结果的准确性。
发明内容
本申请提供一种磁盘阵列资源的处理方法和装置,以提高磁盘阵列资源的处理结果的准确性。
为了解决上述问题,本申请公开了一种磁盘阵列资源的处理方法,包括:
采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;
依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;
其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。
优选的,所述方法还包括:
依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;
依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
优选的,通过如下步骤建立所述线性关系:
预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史数据;
对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;
依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系。
优选的,所述对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据的步骤,包括:
以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所有磁盘都繁忙的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁盘不繁忙的概率;
依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列中单块磁盘繁忙的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁盘的繁忙程度参数的在线数据。
优选的,所述依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态的步骤,包括:
分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;
依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度对应的单块磁盘的繁忙程度参数的极限值;
依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。
优选的,所述对服务器应用系统中磁盘阵列资源进行处理的步骤,包括:
在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列资源进行缩减处理;或者
在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所述保守极限值小于所述乐观极限值;或者
在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列资源进行扩容处理。
优选的,通过以下步骤得到所述保守极限值:
依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数的保守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保守极限值;
通过以下步骤得到所述乐观极限值:
依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参数的乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐观极限值。
另一方面,本申请还公开了一种磁盘阵列资源的处理装置,包括:
在线采集模块,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
在线分析模块,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及
预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
处理模块,用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;
其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。
优选的,所述装置还包括:
极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;
所述处理模块,具体用于依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
优选的,所述装置还包括:
线性关系建立模块,包括:
历史采集子模块,用于预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史数据;
历史分析子模块,用于对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;及
拟合建立子模块,用于依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系。
与现有技术相比,本申请具有以下优点:
本申请基于磁盘阵列内部的运行规律得出单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,并通过对采集得到的磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据,最后依据所述线性关系对当前服务器应用系统的系统支撑能力进行预测;因此,相对于现有技术根据经验猜想一个经验公式进行预测导致磁盘阵列资源的处理结果欠准确的情形,由于本申请预测所依据的线性关系遵循磁盘阵列内部的运行规律,且具有可靠的理论依据,故能够提高磁盘阵列资源的处理结果的准确性。
其次,本申请还可以依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态,并依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理;这样,在对服务器应用系统中磁盘阵列资源进行处理时,可以客观得知当前系统支撑能力预测结果是否达到了服务器应用系统的性能瓶颈,如果是,则可以对服务器应用系统中磁盘阵列资源进行扩容处理,从而有效能够防止系统压力超出承载能力而导致的系统崩溃,否则,如果当前系统支撑能力预测结果远远达不到服务器应用系统的性能瓶颈,还可以及时发现磁盘资源使用过剩的问题,此时,则可以对服务器应用系统中磁盘阵列资源进行缩减处理,从而能够有效节约服务器应用系统的成本,这对大的服务器集群而言是非常客观的成本节约。
附图说明
图1是本申请一种磁盘阵列资源的处理方法实施例的流程图;
图2是本申请一种QPS预测结果与的单块磁盘的繁忙程度参数的在线数据的关系示意图;
图3是本申请一种磁盘阵列资源的处理装置实施例的结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
在服务器应用系统的通用设备中,主机中通常装有RAID磁盘阵列(RedundantArrayofIndependentDisks),其中,RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术。
虽然可以通过系统IO查看工具iostat采集操作系统中磁盘阵列的繁忙程度参数,但是获取磁盘阵列的繁忙程度参数后,并不能直接预测系统支撑能力,应考虑到磁盘阵列内部的运行规律。
本申请发明人在研究磁盘阵列内部的运行规律时发现,在主机中仅有一块磁盘的理想情况下,磁盘的繁忙程度与当前的系统压力情况是成线性关系的。这样,在主机中装有RAID磁盘阵列时,单块磁盘的繁忙程度可以近似上述理想情况下磁盘的繁忙程度;进一步,如果能够采用某种系统支撑能力表征参数来表征当前的系统压力情况,则单块磁盘的繁忙程度与系统支撑能力表征参数也是成线性关系的。这里,磁盘阵列的繁忙程度主要表示单位时间内磁盘阵列处于工作状态的时间,单块磁盘的繁忙程度主要表示单位时间内单块磁盘处于工作状态的时间,系统压力主要表示系统在某时刻的处理能力,系统支撑能力主要表示在允许的响应时间内系统的最大支撑能力。
综上,本申请实施例的核心构思之一在于,基于磁盘阵列内部的运行规律发现单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,并通过对采集得到的磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据,最后依据所述线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测。
参照图1,其示出了本申请一种磁盘阵列资源的处理方法实施例的流程图,具体可以包括:
步骤101、采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
本申请可以应用于搜索引擎、门户网站、大流量在线游戏、在线电子交易、实时航空订票、有限元分析等服务器应用系统中,用于准确预测系统支撑能力,从而能够提前发现服务器应用系统的性能瓶颈,从而有效防止系统压力超出承载能力而导致的系统崩溃。
在实际中,可以通过系统IO查看工具iostat直接采集磁盘阵列的繁忙程度参数。具体地,系统IO查看工具iostat提供iostat命令用来监视系统输入/输出设备负载,这通过观察与它们的平均传送速率相关的物理磁盘的活动时间来实现;iostat命令生成的报告可以用来更改系统配置来更好地平衡物理磁盘和适配器之间的输入/输出负载。
关于所述服务器应用系统所使用的服务器系统类型,其可以包括webserver(网页服务器)、dbserver(数据库服务器,databaseserver)等,本申请对具体的服务器系统类型不加以限制。
关于所述服务器应用系统所使用的操作系统,其可以包括Unix、Linux等,实际上,能够采集得到磁盘阵列的繁忙程度参数的操作系统都是可行的。本申请对所述服务器应用系统所使用的操作系统不加以限制。
步骤102、对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;
在实际中,可以通过系统IO查看工具iostat直接采集磁盘阵列的繁忙程度参数,但是,单块磁盘的繁忙程度参数是无法直接获取的。为此,本申请发明人依据概率分布知识,分析出磁盘阵列的繁忙程度参数与单块磁盘的繁忙程度参数之间的关系。
在本申请的一种优选实施例中,所述步骤102可以进一步包括:
子步骤A1、以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所有磁盘都繁忙的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁盘不繁忙的概率;
子步骤A2、依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列中单块磁盘繁忙的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁盘的繁忙程度参数的在线数据。
假设磁盘阵列的繁忙程度参数为u,单块磁盘的繁忙程度参数为x,RAID磁盘阵列中磁盘数量为n,则可以依据概率分布知识得到磁盘阵列的繁忙程度参数:
1、计算磁盘阵列中所有磁盘都不繁忙的概率
磁盘阵列中单块磁盘不繁忙的概率是:(1-x)
磁盘阵列中n块磁盘都不繁忙的概率则为(1-x)n,这里n表示指数次幂。
2、计算磁盘阵列中所有磁盘都繁忙的概率
由于磁盘阵列中所有磁盘都繁忙为磁盘阵列中所有磁盘都不繁忙的相反情况,故磁盘阵列中所有磁盘都繁忙的概率为1-(1-x)n
综上,可以依据概率分布知识得出u和x之间的关系:
u=1-(1-x)n(1)
反过来,可以得到x的表达式:
x = 1 - 1 - u n - - - ( 2 )
总之,本申请充分考虑主机中具有多个磁盘时,单块磁盘的繁忙程度参数和磁盘阵列的繁忙程度参数的关系,通过磁盘阵列的繁忙程度参数准确演算出单块磁盘的繁忙程度参数,从而能够保证系统支撑能力预测的准确性。
步骤103、依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到;
步骤104、依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理。
首先,本申请采用某种系统支撑能力表征参数来表征当前的系统压力情况,关于具体的系统支撑能力表征参数,本申请可以提供一些应用示例。例如,webserver和dbserver均可采用QPS(每秒查询率,QueryPerSecond)表征当前的系统压力情况,具体而言,QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准;又如,dbserver还可以采用TPS(每秒事务处理量,TransactionPerSecond)表征当前的系统压力情况,具体而言,TPS衡量每秒钟系统能够处理的交易或事务的数量。它是衡量系统处理能力的重要指标。总之,本领域技术人员可以根据当前的服务器系统类型,采用适合的系统支撑能力表征参数来表征当前的系统压力情况,本申请对具体的系统支撑能力表征参数不加以限制。下面主要以QPS为例进行说明,其它系统支撑能力表征参数请相互参照即可。
在本申请的一种优选实施例中,可以通过如下步骤建立所述线性关系:
步骤B1、预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史数据;
这里,所述过去一段时期可以为当月之前,也可以为当天之前,等等,本申请对历史数据采集的具体时机不加以限制。
步骤B2、对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;
步骤B3、依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系。
在具体实现中,可以采用很多线性模型来描述所述线性关系,如最小二乘函数、广义最小二乘函数、总体最小二乘函数、广义线性模型、稳健回归模型等,本申请对用于描述所述线性关系的具体的线性模型不加以限制。下面主要以最小二乘函数y=a+bx的拟合进行说明,其它线性模型相互参照即可。
假设RAID磁盘阵列中磁盘数量为12,此时,公式(2)变为:
x = 1 - 1 - u 12 - - - ( 3 )
假设用QPS表征当前的系统压力情况,此时,最小二乘函数的表达式为:
QPS=a+bx(4)
于是,步骤B3的拟合为求得a、b参数的过程。
参照表1,输出了拟合所采用历史数据的一种示例,其中,磁盘阵列的繁忙程度参数的历史数据u通过iostat采集得到,单块磁盘的繁忙程度参数的历史数据x依据u计算得到,QPS观测值的历史数据由服务器应用系统观测得到。
表1
则依据表1的数据对公式(4)进行最小二乘线性拟合,可以得到公式(5)所示的拟合结果:
QPS=-15.45+57.55x(5)
这样,在线预测时,输入步骤102得到的单块磁盘的繁忙程度参数的在线数据x,即可输出QPS预测结果。
参照图2,其示出了本申请一种QPS预测结果与的单块磁盘的繁忙程度参数的在线数据的关系示意图,其中,横轴代表单块磁盘的繁忙程度参数的在线数据,纵轴代表QPS预测结果。可以看出,当单块磁盘的繁忙程度参数的在线数据小于95时,系统QPS增长缓慢;当单块磁盘的繁忙程度参数的在线数据大于95时,QPS增长迅速。
可以理解,针对服务器应用系统的单台主机,可以根据多天的系统支撑能力预测结果,进一步获取该主机的平均系统支撑能力,以依据平均系统系统支撑能力,对服务器应用系统中磁盘阵列资源进行处理。同理,还可以根据单台主机的系统支撑能力预测结果,进一步可以预测一个服务器群组的整体最大支撑能力。本申请对具体的应用不加以限制。
在本申请的一种优选实施例中,还可以依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态,并依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
关于如何依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态,本申请可以提供如下实现方案,具体可以包括:
步骤D1、分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;
对于磁盘阵列而言,IO队列平均长度可以表示一个IO请求的平均等待(等待几个IO)时间。
本申请发明人在研究磁盘阵列处理IO请求的过程中发现,在接收到用户的一个IO请求时,单块磁盘繁忙的概率为x,单块磁盘不繁忙的概率为(1-x),则所述IO请求的处理会出现如下可能性;
如果此时磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-x),IO队列长度为0;
在x的磁盘繁忙的概率下,则需要等待一个IO时间后再次判断磁盘是否繁忙,如果一个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-x),IO队列长度为(1-x)x;
在x2的磁盘繁忙的概率下,则需要等待2个IO时间后再次判断磁盘是否繁忙,如果2个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-x),IO队列长度为(1-x)x2
在xm的磁盘繁忙的概率下,则需要等待m个IO时间后再次判断磁盘是否繁忙,如果m个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-x),IO队列长度为(1-x)xm
综上,可以通过IO队列长度的期望值得出IO队列平均长度之间的关联关系表达式:
Σ m = 1 ∞ m * ( 1 - x ) x m = x 1 - x - - - ( 6 )
参照表2,其示出了本申请一种所述单块磁盘的繁忙程度参数x与IO队列平均长度之间的对应示例。
表2
单块磁盘的繁忙程度参数x IO队列平均长度
50% 1
60% 1.5
75% 3
80% 4
90% 10
95% 19
步骤D2、依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度对应的单块磁盘的繁忙程度参数的极限值;
步骤D3、依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。
本申请发明人在研究时发现,由于IO队列平均长度可以表示一个IO请求的平均等待时间。那么,在衡量服务器应用系统的性能时,可以认为IO队列平均长度<1属于理想情况,此时服务器应用系统的性能最佳,而可以认为IO队列平均长度<1.5属于较为理想情况,此时服务器应用系统的性能较佳,而一旦IO队列平均长度≥1.5则预示服务器应用系统的性能即将达到瓶颈。
于是,在本申请的一种优选实施例中,利用系统支撑能力的两个极限状态——保守状态和乐观状态,此时,所述对服务器应用系统中磁盘阵列资源进行处理的步骤,具体可以包括:
在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列资源进行缩减处理;或者
在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所述保守极限值小于所述乐观极限值;或者
在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列资源进行扩容处理。
本优选实施例进一步依据磁盘阵列内部的运行规律得到系统支撑能力表征参数的两种极限值,这样,在对服务器应用系统中磁盘阵列资源进行处理时,可以客观得知当前系统支撑能力预测结果是否达到了服务器应用系统的性能瓶颈,如果是,则可以对服务器应用系统中磁盘阵列资源进行扩容处理,从而有效能够防止系统压力超出承载能力而导致的系统崩溃,否则,如果当前系统支撑能力预测结果远远达不到服务器应用系统的性能瓶颈,还可以及时发现磁盘资源使用过剩的问题,此时,则可以对服务器应用系统中磁盘阵列资源进行缩减处理,从而能够有效节约服务器应用系统的成本,这对大的服务器集群而言是非常客观的成本节约。
在本申请的一种优选实施例中,可以通过以下步骤得到所述保守极限值:
依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数的保守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保守极限值;
以及,可以通过以下步骤得到所述乐观极限值:
依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参数的乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐观极限值。
本优选实施例在IO队列平均长度等于1时得到单块磁盘的繁忙程度参数的保守值,以预测系统运行在最佳状态时的最大支撑能力;以及,在IO队列平均长度等于1.5时得到单块磁盘的繁忙程度参数的乐观值,以预测系统运行在适当降低响应时间时的最大支撑能力。
这样,在所述系统支撑能力预测结果小于保守极限值时,可以适当对服务器应用系统中磁盘阵列资源进行缩减处理,以达到节约成本的目的;或者,在所述系统支撑能力预测结果大于乐观极限值时,可以适当对服务器应用系统中磁盘阵列资源进行扩容处理,从而有效能够防止系统压力超出承载能力而导致的系统崩溃。
需要说明的是,在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,可以依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理;例如,如果某一服务器应用系统认为性能较佳就可以了,则可以不进行扩容处理,而另一服务器应用系统的性能需求必须是最佳,则需要进行扩容处理。
另外,上面在IO队列平均长度等于1时得到单块磁盘的繁忙程度参数的保守值,以及,在IO队列平均长度等于1.5时得到单块磁盘的繁忙程度参数的乐观值,均是作为示例。实际上,本申请的单块磁盘的繁忙程度参数的保守值还可以依据其他IO队列平均长度(如0.5-1.0之内的任意数值)得到,同理,本申请的单块磁盘的繁忙程度参数的乐观值也可以依据其他IO队列平均长度(如1.0-1.5之内的任意数值)得到。
总之,本申请依据磁盘阵列内部的运行规律得到系统支撑能力表征参数的极限值,并通过当前系统支撑能力预测结果与系统支撑能力表征参数的极限值之间的关系,确定是否对服务器应用系统中磁盘阵列资源进行处理,以及进行怎样的处理。上述实施方式均是作为示例说明,实际上,本申请对具体的系统支撑能力表征参数的极限值不加以限制,以及对系统支撑能力表征参数的极限值在服务器应用系统中磁盘阵列资源进行处理中的应用不加以限制。
与前述方法实施例相应,本申请还公开了一种磁盘阵列资源的处理装置,参照图3,具体可以包括:
在线采集模块301,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
在线分析模块302,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及
预测模块303,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
处理模块304、用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;
其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。
在本申请的一种优选实施例中,所述装置还可以包括:
极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;
此时,所述处理模块304,可具体用于依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
在本申请实施例中,优选的是,所述极限状态获取模块可以进一步包括:
关联分析子模块,用于分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;
磁盘极限值获取子模块,用于依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度对应的单块磁盘的繁忙程度参数的极限值;及
系统支撑极限值获取子模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。
在本申请的一种优选实施例中,所述处理模块可以进一步包括:
缩减处理子模块,用于在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列资源进行缩减处理;或者
判断处理子模块,用于在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所述保守极限值小于所述乐观极限值;或者
扩容处理子模块,用于在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列资源进行扩容处理。
在本申请的另一种优选实施例中,所述装置还可以包括:
极限值获取模块,用于依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数的保守值;
保守极限值预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保守极限值;
乐观值获取模块,用于依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参数的乐观值;
乐观极限值获取模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐观极限值。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种磁盘阵列资源的处理方法和装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种磁盘阵列资源的处理方法,其特征在于,包括:
采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;
依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;
其中,所述系统支撑能力表征参数用于表征当前的系统压力情况,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到;
通过如下步骤建立所述线性关系:
预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史数据;
对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;
依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系。
2.如权利要求1所述的方法,其特征在于,还包括:
依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;
依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
3.如权利要求1或2所述的方法,其特征在于,所述对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据的步骤,包括:
以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所有磁盘都繁忙的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁盘不繁忙的概率;
依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列中单块磁盘繁忙的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁盘的繁忙程度参数的在线数据。
4.如权利要求2所述的方法,其特征在于,所述依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态的步骤,包括:
分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;
依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度对应的单块磁盘的繁忙程度参数的极限值;
依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。
5.如权利要求4所述的方法,其特征在于,所述对服务器应用系统中磁盘阵列资源进行处理的步骤,包括:
在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列资源进行缩减处理;或者
在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所述保守极限值小于所述乐观极限值;或者
在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列资源进行扩容处理。
6.如权利要求5所述的方法,其特征在于,通过以下步骤得到所述保守极限值:
依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数的保守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保守极限值;
通过以下步骤得到所述乐观极限值:
依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参数的乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐观极限值。
7.一种磁盘阵列资源的处理装置,其特征在于,包括:
在线采集模块,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;
在线分析模块,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及
预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;
处理模块,用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;
其中,所述系统支撑能力表征参数用于表征当前的系统压力情况,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到;
所述装置还包括:线性关系建立模块;
所述线性关系建立模块,包括:
历史采集子模块,用于预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史数据;
历史分析子模块,用于对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;及
拟合建立子模块,用于依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系。
8.如权利要求7所述的装置,其特征在于,还包括:
极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;
所述处理模块,具体用于依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。
CN201110353644.5A 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置 Active CN103106041B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110353644.5A CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置
HK13108674.1A HK1181497A1 (zh) 2011-11-09 2013-07-24 種磁盤陣列資源的處理方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110353644.5A CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置

Publications (2)

Publication Number Publication Date
CN103106041A CN103106041A (zh) 2013-05-15
CN103106041B true CN103106041B (zh) 2016-08-03

Family

ID=48313938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110353644.5A Active CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置

Country Status (2)

Country Link
CN (1) CN103106041B (zh)
HK (1) HK1181497A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106301864B (zh) * 2015-06-11 2019-12-27 腾讯科技(深圳)有限公司 一种服务器系统扩容方法、装置及扩容处理设备
CN108984344B (zh) * 2018-07-12 2021-09-17 郑州云海信息技术有限公司 一种动态产生快照的方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418512B1 (en) * 1999-08-31 2002-07-09 International Business Machines Corporation Method and system for reporting disk utilizations for disk subsystems
CN1545030A (zh) * 2003-11-14 2004-11-10 清华大学 基于磁盘特征的数据分布动态映射的方法
CN102193832A (zh) * 2010-03-11 2011-09-21 精英电脑股份有限公司 云端计算资源排程方法与应用的系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418512B1 (en) * 1999-08-31 2002-07-09 International Business Machines Corporation Method and system for reporting disk utilizations for disk subsystems
CN1545030A (zh) * 2003-11-14 2004-11-10 清华大学 基于磁盘特征的数据分布动态映射的方法
CN102193832A (zh) * 2010-03-11 2011-09-21 精英电脑股份有限公司 云端计算资源排程方法与应用的系统

Also Published As

Publication number Publication date
CN103106041A (zh) 2013-05-15
HK1181497A1 (zh) 2013-11-08

Similar Documents

Publication Publication Date Title
US7568028B2 (en) Bottleneck detection system, measurement object server, bottleneck detection method and program
WO2019153487A1 (zh) 系统性能的度量方法、装置、存储介质和服务器
JP6193393B2 (ja) 分散コンピューティングシステムのための電力の最適化
CN102200828A (zh) 通过将处理器架构事件算为pmu的因素来优化功率使用
CN101751234B (zh) 一种磁盘阵列数据分布方法及系统
CN106452818A (zh) 一种资源调度的方法和系统
CN107247651A (zh) 云计算平台监测预警方法和系统
CN101442561A (zh) 一种基于支持向量机的网格监控方法
CN101533366A (zh) 一种服务器性能数据采集与分析的方法
CN104331328A (zh) 虚拟资源调度方法和虚拟资源调度装置
CN105979532B (zh) 一种业务处理系统的性能容量分析预警方法及装置
Yang et al. The optimization of total laboratory automation by simulation of a pull-strategy
US12079476B2 (en) Data processing method, apparatus, device, and readable storage medium
CN107229517A (zh) 任务调度方法和装置
CN105512264A (zh) 分布式数据库中并发工作负载的性能预测方法
CN105243068A (zh) 数据库系统的查询方法、服务器和能耗测试系统
CN103106041B (zh) 一种磁盘阵列资源的处理方法和装置
CN102982037A (zh) 检测数据库节点健康状况的方法及装置
CN113705839A (zh) 一种燃料电池电堆的预测性维护方法以及维护系统
CN103501253A (zh) 一种高性能计算应用特征的监控组织方法
CN113505879B (zh) 一种基于多注意力特征记忆模型的预测方法和装置
CN118113578A (zh) 存储性能预测方法、装置、设备、可读存储介质及产品
CN107729218A (zh) 一种监控处理计算资源设备的系统及方法
CN105760270B (zh) 一种能耗估算的方法及装置
CN103685541B (zh) IaaS云系统运行速率动态控制装置、系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1181497

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1181497

Country of ref document: HK