CN103106041B - 一种磁盘阵列资源的处理方法和装置 - Google Patents

一种磁盘阵列资源的处理方法和装置 Download PDF

Info

Publication number
CN103106041B
CN103106041B CN 201110353644 CN201110353644A CN103106041B CN 103106041 B CN103106041 B CN 103106041B CN 201110353644 CN201110353644 CN 201110353644 CN 201110353644 A CN201110353644 A CN 201110353644A CN 103106041 B CN103106041 B CN 103106041B
Authority
CN
Grant status
Grant
Patent type
Prior art keywords
system
busy
parameters
disk
disk array
Prior art date
Application number
CN 201110353644
Other languages
English (en)
Other versions
CN103106041A (zh )
Inventor
周振兴
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Abstract

本申请提供了一种磁盘阵列资源的处理方法和装置,其中的方法具体包括:采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预测,得到系统支撑能力预测结果;依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理。本申请能够提高磁盘阵列资源的处理结果的准确性。

Description

一种磁盘阵列资源的处理方法和装置

技术领域

[0001] 本申请涉及服务器应用系统技术领域,特别是涉及一种磁盘阵列资源的处理方法 和装置。

背景技术

[0002] 目前,随着服务器应用系统的深入广泛,很多重要应用受到服务器应用系统磁盘 1〇(输入输出,Input Output)瓶颈的严重制约,性能无法大幅提升,例如搜索引擎、门户网 站、大流量在线游戏、在线电子交易、实时航空订票、有限元分析,虽然服务器应用系统组成 中重要的CPU性能和内存容量按照摩尔定律成倍提升,但现有的磁盘能否满足日益应用增 长几何级的密集访问请求还是未知数。

[0003] 对于这些性能受磁盘IO瓶颈制约的服务器应用系统而言,系统支撑能力受限于磁 盘10,因此,如果能够预测出系统支撑能力,则能够提前发现服务器应用系统的性能瓶颈, 从而有效防止系统压力超出承载能力而导致的系统崩溃。

[0004] 现有磁盘阵列资源的处理方法通常根据经验猜想一个经验公式进行预测,然后进 行磁盘阵列资源的处理。例如,针对一个服务器应用系统的历史数据,则根据经验猜想经验 公式1进行预测,而针对另一个服务器应用系统的历史数据,则根据经验猜想经验公式2进 行预测;由于预测用到的经验公式往往根据经验猜想得到,缺乏可靠的理论依据,导致磁盘 阵列资源的处理结果欠准确。

[0005] 总之,需要本领域技术人员迫切解决的一个技术问题就是:如何能够提高磁盘阵 列资源的处理结果的准确性。

发明内容

[0006] 本申请提供一种磁盘阵列资源的处理方法和装置,以提高磁盘阵列资源的处理结 果的准确性。

[0007] 为了解决上述问题,本申请公开了一种磁盘阵列资源的处理方法,包括:

[0008] 采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;

[0009] 对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应 的单块磁盘的繁忙程度参数的在线数据;

[0010]依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基 于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行 预测,得到系统支撑能力预测结果;

[0011] 依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理;

[0012] 其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑 能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为 依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。

[0013] 优选的,所述方法还包括:

[0014] 依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态;

[0015] 依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统 中磁盘阵列资源进行处理。

[0016] 优选的,通过如下步骤建立所述线性关系:

[0017] 预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采 集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的 历史数据;

[0018] 对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应 的单块磁盘的繁忙程度参数的历史数据;

[0019] 依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的 观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线 性关系。

[0020] 优选的,所述对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分 析,得到相应的单块磁盘的繁忙程度参数的在线数据的步骤,包括:

[0021] 以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所有磁盘都 繁忙的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁盘不繁忙 的概率;

[0022] 依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列中单块磁盘 繁忙的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁盘的繁忙程 度参数的在线数据。

[0023] 优选的,所述依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态的步 骤,包括:

[0024] 分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;

[0025] 依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度对应的单 块磁盘的繁忙程度参数的极限值;

[0026] 依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预 测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。 [0027]优选的,所述对服务器应用系统中磁盘阵列资源进行处理的步骤,包括:

[0028] 在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列 资源进行缩减处理;或者

[0029] 在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器 应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所 述保守极限值小于所述乐观极限值;或者

[0030] 在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列 资源进行扩容处理。

[0031] 优选的,通过以下步骤得到所述保守极限值:

[0032] 依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数 的保守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关 系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保 守极限值;

[0033] 通过以下步骤得到所述乐观极限值:

[0034]依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参 数的乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关 系,预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐 观极限值。

[0035]另一方面,本申请还公开了一种磁盘阵列资源的处理装置,包括:

[0036] 在线采集模块,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数 据;

[0037] 在线分析模块,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分 布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及

[0038] 预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间 的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系 统支撑能力进行预测,得到系统支撑能力预测结果;

[0039] 处理模块,用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列 资源进行处理;

[0040] 其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑 能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为 依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。

[0041] 优选的,所述装置还包括:

[0042] 极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限 状态;

[0043]所述处理模块,具体用于依据所述系统支撑能力预测结果和系统支撑能力的极限 状态,对服务器应用系统中磁盘阵列资源进行处理。

[0044] 优选的,所述装置还包括:

[0045] 线性关系建立模块,包括:

[0046] 历史采集子模块,用于预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历 史数据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力 表征参数的观测值的历史数据;

[0047] 历史分析子模块,用于对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率 分布的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;及

[0048] 拟合建立子模块,用于依据所述单块磁盘的繁忙程度参数的历史数据和相应系统 支撑能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能 力表征参数之间的线性关系。

[0049] 与现有技术相比,本申请具有以下优点:

[0050] 本申请基于磁盘阵列内部的运行规律得出单块磁盘的繁忙程度参数与系统支撑 能力表征参数之间的线性关系,并通过对采集得到的磁盘阵列的繁忙程度参数的在线数据 进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据,最后依据所 述线性关系对当前服务器应用系统的系统支撑能力进行预测;因此,相对于现有技术根据 经验猜想一个经验公式进行预测导致磁盘阵列资源的处理结果欠准确的情形,由于本申请 预测所依据的线性关系遵循磁盘阵列内部的运行规律,且具有可靠的理论依据,故能够提 高磁盘阵列资源的处理结果的准确性。

[0051]其次,本申请还可以依据磁盘阵列内部的运行规律得到系统支撑能力的极限状 态,并依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中 磁盘阵列资源进行处理;这样,在对服务器应用系统中磁盘阵列资源进行处理时,可以客观 得知当前系统支撑能力预测结果是否达到了服务器应用系统的性能瓶颈,如果是,则可以 对服务器应用系统中磁盘阵列资源进行扩容处理,从而有效能够防止系统压力超出承载能 力而导致的系统崩溃,否则,如果当前系统支撑能力预测结果远远达不到服务器应用系统 的性能瓶颈,还可以及时发现磁盘资源使用过剩的问题,此时,则可以对服务器应用系统中 磁盘阵列资源进行缩减处理,从而能够有效节约服务器应用系统的成本,这对大的服务器 集群而言是非常客观的成本节约。

附图说明

[0052]图1是本申请一种磁盘阵列资源的处理方法实施例的流程图;

[0053]图2是本申请一种QPS预测结果与的单块磁盘的繁忙程度参数的在线数据的关系 示意图;

[0054]图3是本申请一种磁盘阵列资源的处理装置实施例的结构图。

具体实施方式

[0055]为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实 施方式对本申请作进一步详细的说明。

[0056] 在服务器应用系统的通用设备中,主机中通常装有RAID磁盘阵列(Redundant Array of Independent Disks),其中,RAID是一种把多块独立的硬盘(物理硬盘)按不同的 方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数 据备份技术。

[0057]虽然可以通过系统IO查看工具iostat采集操作系统中磁盘阵列的繁忙程度参数, 但是获取磁盘阵列的繁忙程度参数后,并不能直接预测系统支撑能力,应考虑到磁盘阵列 内部的运行规律。

[0058]本申请发明人在研究磁盘阵列内部的运行规律时发现,在主机中仅有一块磁盘的 理想情况下,磁盘的繁忙程度与当前的系统压力情况是成线性关系的。这样,在主机中装有 RAID磁盘阵列时,单块磁盘的繁忙程度可以近似上述理想情况下磁盘的繁忙程度;进一步, 如果能够采用某种系统支撑能力表征参数来表征当前的系统压力情况,则单块磁盘的繁忙 程度与系统支撑能力表征参数也是成线性关系的。这里,磁盘阵列的繁忙程度主要表示单 位时间内磁盘阵列处于工作状态的时间,单块磁盘的繁忙程度主要表示单位时间内单块磁 盘处于工作状态的时间,系统压力主要表示系统在某时刻的处理能力,系统支撑能力主要 表示在允许的响应时间内系统的最大支撑能力。

[0059]综上,本申请实施例的核心构思之一在于,基于磁盘阵列内部的运行规律发现单 块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,并通过对采集得到的磁 盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙 程度参数的在线数据,最后依据所述线性关系,基于所述单块磁盘的繁忙程度参数的在线 数据,对当前服务器应用系统的系统支撑能力进行预测。

[0060] 参照图1,其示出了本申请一种磁盘阵列资源的处理方法实施例的流程图,具体可 以包括:

[0061] 步骤101、采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据;

[0062] 本申请可以应用于搜索引擎、门户网站、大流量在线游戏、在线电子交易、实时航 空订票、有限元分析等服务器应用系统中,用于准确预测系统支撑能力,从而能够提前发现 服务器应用系统的性能瓶颈,从而有效防止系统压力超出承载能力而导致的系统崩溃。 [0063]在实际中,可以通过系统IO查看工具iostat直接采集磁盘阵列的繁忙程度参数。 具体地,系统IO查看工具iostat提供iostat命令用来监视系统输入/输出设备负载,这通过 观察与它们的平均传送速率相关的物理磁盘的活动时间来实现;iostat命令生成的报告可 以用来更改系统配置来更好地平衡物理磁盘和适配器之间的输入/输出负载。

[0064]关于所述服务器应用系统所使用的服务器系统类型,其可以包括web server(网 页服务器)、db server(数据库服务器,database server)等,本申请对具体的服务器系统 类型不加以限制。

[0065]关于所述服务器应用系统所使用的操作系统,其可以包括UniX、Linux等,实际上, 能够采集得到磁盘阵列的繁忙程度参数的操作系统都是可行的。本申请对所述服务器应用 系统所使用的操作系统不加以限制。

[0066]步骤102、对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析, 得到相应的单块磁盘的繁忙程度参数的在线数据;

[0067]在实际中,可以通过系统IO查看工具iostat直接采集磁盘阵列的繁忙程度参数, 但是,单块磁盘的繁忙程度参数是无法直接获取的。为此,本申请发明人依据概率分布知 识,分析出磁盘阵列的繁忙程度参数与单块磁盘的繁忙程度参数之间的关系。

[0068] 在本申请的一种优选实施例中,所述步骤102可以进一步包括:

[0069] 子步骤A1、以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所 有磁盘都繁忙的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁 盘不繁忙的概率;

[0070] 子步骤A2、依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列 中单块磁盘繁忙的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁 盘的繁忙程度参数的在线数据。

[0071] 假设磁盘阵列的繁忙程度参数为u,单块磁盘的繁忙程度参数为X,RAID磁盘阵列 中磁盘数量为n,则可以依据概率分布知识得到磁盘阵列的繁忙程度参数:

[0072] 1、计算磁盘阵列中所有磁盘都不繁忙的概率

[0073] 磁盘阵列中单块磁盘不繁忙的概率是:(1-x)

[0074]磁盘阵列中η块磁盘都不繁忙的概率则为(l-x)n,这里η表示指数次幂。

[0075] 2、计算磁盘阵列中所有磁盘都繁忙的概率

[0076] 由于磁盘阵列中所有磁盘都繁忙为磁盘阵列中所有磁盘都不繁忙的相反情况,故 磁盘阵列中所有磁盘都繁忙的概率为1-(1-χ) η。

[0077] 综上,可以依据概率分布知识得出u和x之间的关系:

[0078] u = l-(l-x)n (1)

[0079] 反过来,可以得到X的表达式:

[0080] χ = 1-^/Γ^7 (2 )

[0081] 总之,本申请充分考虑主机中具有多个磁盘时,单块磁盘的繁忙程度参数和磁盘 阵列的繁忙程度参数的关系,通过磁盘阵列的繁忙程度参数准确演算出单块磁盘的繁忙程 度参数,从而能够保证系统支撑能力预测的准确性。

[0082] 步骤103、依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线 性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支 撑能力进行预测,得到系统支撑能力预测结果;

[0083] 其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑 能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为 依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到;

[0084] 步骤104、依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进 行处理。

[0085]首先,本申请采用某种系统支撑能力表征参数来表征当前的系统压力情况,关于 具体的系统支撑能力表征参数,本申请可以提供一些应用示例。例如,web server和db server均可采用QPS(每秒查询率,Query Per Second)表征当前的系统压力情况,具体而 言,QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准;又如,db server还可以采用TPS(每秒事务处理量,Transaction Per Second)表征当前的系统压力 情况,具体而言,TPS衡量每秒钟系统能够处理的交易或事务的数量。它是衡量系统处理能 力的重要指标。总之,本领域技术人员可以根据当前的服务器系统类型,采用适合的系统支 撑能力表征参数来表征当前的系统压力情况,本申请对具体的系统支撑能力表征参数不加 以限制。下面主要以QPS为例进行说明,其它系统支撑能力表征参数请相互参照即可。

[0086] 在本申请的一种优选实施例中,可以通过如下步骤建立所述线性关系:

[0087] 步骤B1、预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及, 预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观 测值的历史数据;

[0088] 这里,所述过去一段时期可以为当月之前,也可以为当天之前,等等,本申请对历 史数据采集的具体时机不加以限制。

[0089]步骤B2、对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析, 得到相应的单块磁盘的繁忙程度参数的历史数据;

[0090] 步骤B3、依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征 参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之 间的线性关系。

[0091] 在具体实现中,可以采用很多线性模型来描述所述线性关系,如最小二乘函数、广 义最小二乘函数、总体最小二乘函数、广义线性模型、稳健回归模型等,本申请对用于描述 所述线性关系的具体的线性模型不加以限制。下面主要以最小二乘函数y = a+bx的拟合进 行说明,其它线性模型相互参照即可。

[0092] 假设RAID磁盘阵列中磁盘数量为12,此时,公式(2)变为:

[0093] χ = 1-ΐ^Γ^7 (3)

[0094] 假设用QPS表征当前的系统压力情况,此时,最小二乘函数的表达式为:

[0095] QPS = a+bx (4)

[0096] 于是,步骤B3的拟合为求得a、b参数的过程。

[0097]参照表1,输出了拟合所采用历史数据的一种示例,其中,磁盘阵列的繁忙程度参 数的历史数据u通过iostat采集得到,单块磁盘的繁忙程度参数的历史数据X依据u计算得 至|J,QPS观测值的历史数据由服务器应用系统观测得到。

[0098]表 1

Figure CN103106041BD00111

Figure CN103106041BD00121

Figure CN103106041BD00131

[0102] 则依据表1的数据对公式(4)进行最小二乘线性拟合,可以得到公式(5)所示的拟 合结果:

[0103] QPS = -15.45+57.55x (5)

[0104] 这样,在线预测时,输入步骤102得到的单块磁盘的繁忙程度参数的在线数据x,即 可输出QPS预测结果。

[0105] 参照图2,其示出了本申请一种QPS预测结果与的单块磁盘的繁忙程度参数的在线 数据的关系示意图,其中,横轴代表单块磁盘的繁忙程度参数的在线数据,纵轴代表QPS预 测结果。可以看出,当单块磁盘的繁忙程度参数的在线数据小于95时,系统QPS增长缓慢;当 单块磁盘的繁忙程度参数的在线数据大于95时,QPS增长迅速。

[0106] 可以理解,针对服务器应用系统的单台主机,可以根据多天的系统支撑能力预测 结果,进一步获取该主机的平均系统支撑能力,以依据平均系统系统支撑能力,对服务器应 用系统中磁盘阵列资源进行处理。同理,还可以根据单台主机的系统支撑能力预测结果,进 一步可以预测一个服务器群组的整体最大支撑能力。本申请对具体的应用不加以限制。

[0107] 在本申请的一种优选实施例中,还可以依据磁盘阵列内部的运行规律得到系统支 撑能力的极限状态,并依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服 务器应用系统中磁盘阵列资源进行处理。

[0108] 关于如何依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态,本申请可 以提供如下实现方案,具体可以包括:

[0109] 步骤Dl、分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间的关联关系;

[0110] 对于磁盘阵列而言,IO队列平均长度可以表示一个IO请求的平均等待(等待几个 10)时间。

[0111] 本申请发明人在研究磁盘阵列处理IO请求的过程中发现,在接收到用户的一个IO 请求时,单块磁盘繁忙的概率为X,单块磁盘不繁忙的概率为(1-Χ),则所述IO请求的处理会 出现如下可能性;

[0112] 如果此时磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(I-X),IO 队列长度为0;

[0113] 在X的磁盘繁忙的概率下,则需要等待一个IO时间后再次判断磁盘是否繁忙,如果 一个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(I-X),IO队列 长度为(l-x)x;

[0114] 在X2的磁盘繁忙的概率下,则需要等待2个IO时间后再次判断磁盘是否繁忙,如果 2个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-χ),IO队列长 度为(l-x)x 2;

[0115] 在?的磁盘繁忙的概率下,则需要等待m个IO时间后再次判断磁盘是否繁忙,如果 m个IO时间后磁盘不繁忙,则无需等待即可处理,此种可能性发生的概率为(1-x),IO队列长 度为(l-x)xm。

Figure CN103106041BD00141

[0116] 综上,可以通过IO队列长度的期望值得出IO队列平均长度之间的关联关系表达 式:

[0117] (6)

[0118] 参照表2,其示出了本申请一种所述单块磁盘的繁忙程度参数X与IO队列平均长度 之间的对应示例。

[0119] 表2

Figure CN103106041BD00142

[0121]步骤D2、依据所述关联关系,得到在系统支撑能力的极限状态下IO队列平均长度 对应的单块磁盘的繁忙程度参数的极限值;

[0122] 步骤D3、依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性 关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的 极限值。

[0123] 本申请发明人在研究时发现,由于IO队列平均长度可以表示一个IO请求的平均等 待时间。那么,在衡量服务器应用系统的性能时,可以认为IO队列平均长度<1属于理想情 况,此时服务器应用系统的性能最佳,而可以认为IO队列平均长度<1.5属于较为理想情 况,此时服务器应用系统的性能较佳,而一旦IO队列平均长度2 1.5则预示服务器应用系统 的性能即将达到瓶颈。

[0124] 于是,在本申请的一种优选实施例中,利用系统支撑能力的两个极限状态一一保 守状态和乐观状态,此时,所述对服务器应用系统中磁盘阵列资源进行处理的步骤,具体可 以包括:

[0125] 在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列 资源进行缩减处理;或者

[0126] 在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器 应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所 述保守极限值小于所述乐观极限值;或者

[0127] 在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列 资源进行扩容处理。

[0128] 本优选实施例进一步依据磁盘阵列内部的运行规律得到系统支撑能力表征参数 的两种极限值,这样,在对服务器应用系统中磁盘阵列资源进行处理时,可以客观得知当前 系统支撑能力预测结果是否达到了服务器应用系统的性能瓶颈,如果是,则可以对服务器 应用系统中磁盘阵列资源进行扩容处理,从而有效能够防止系统压力超出承载能力而导致 的系统崩溃,否则,如果当前系统支撑能力预测结果远远达不到服务器应用系统的性能瓶 颈,还可以及时发现磁盘资源使用过剩的问题,此时,则可以对服务器应用系统中磁盘阵列 资源进行缩减处理,从而能够有效节约服务器应用系统的成本,这对大的服务器集群而言 是非常客观的成本节约。

[0129] 在本申请的一种优选实施例中,可以通过以下步骤得到所述保守极限值:

[0130]依据所述关联关系,得到在IO队列平均长度等于1时的单块磁盘的繁忙程度参数 的保守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关 系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保 守极限值;

[0131] 以及,可以通过以下步骤得到所述乐观极限值:

[0132] 依据所述关联关系,得到在IO队列平均长度等于1.5时的单块磁盘的繁忙程度参 数的乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关 系,预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐 观极限值。

[0133] 本优选实施例在IO队列平均长度等于1时得到单块磁盘的繁忙程度参数的保守 值,以预测系统运行在最佳状态时的最大支撑能力;以及,在IO队列平均长度等于1.5时得 到单块磁盘的繁忙程度参数的乐观值,以预测系统运行在适当降低响应时间时的最大支撑 能力。

[0134] 这样,在所述系统支撑能力预测结果小于保守极限值时,可以适当对服务器应用 系统中磁盘阵列资源进行缩减处理,以达到节约成本的目的;或者,在所述系统支撑能力预 测结果大于乐观极限值时,可以适当对服务器应用系统中磁盘阵列资源进行扩容处理,从 而有效能够防止系统压力超出承载能力而导致的系统崩溃。

[0135] 需要说明的是,在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间 时,可以依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行 扩容处理;例如,如果某一服务器应用系统认为性能较佳就可以了,则可以不进行扩容处 理,而另一服务器应用系统的性能需求必须是最佳,则需要进行扩容处理。

[0136] 另外,上面在IO队列平均长度等于1时得到单块磁盘的繁忙程度参数的保守值,以 及,在IO队列平均长度等于1.5时得到单块磁盘的繁忙程度参数的乐观值,均是作为示例。 实际上,本申请的单块磁盘的繁忙程度参数的保守值还可以依据其他IO队列平均长度(如 0.5-1.0之内的任意数值)得到,同理,本申请的单块磁盘的繁忙程度参数的乐观值也可以 依据其他IO队列平均长度(如1.0-1.5之内的任意数值)得到。

[0137] 总之,本申请依据磁盘阵列内部的运行规律得到系统支撑能力表征参数的极限 值,并通过当前系统支撑能力预测结果与系统支撑能力表征参数的极限值之间的关系,确 定是否对服务器应用系统中磁盘阵列资源进行处理,以及进行怎样的处理。上述实施方式 均是作为示例说明,实际上,本申请对具体的系统支撑能力表征参数的极限值不加以限制, 以及对系统支撑能力表征参数的极限值在服务器应用系统中磁盘阵列资源进行处理中的 应用不加以限制。

[0138] 与前述方法实施例相应,本申请还公开了一种磁盘阵列资源的处理装置,参照图 3,具体可以包括:

[0139] 在线采集模块301,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线 数据;

[0140] 在线分析模块302,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概 率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及

[0141 ]预测模块303,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数 之间的线性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统 的系统支撑能力进行预测,得到系统支撑能力预测结果;

[0142] 处理模块304、用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵 列资源进行处理;

[0143] 其中,所述线性关系为依据单块磁盘的繁忙程度参数的历史数据和相应系统支撑 能力表征参数的观测值的历史数据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为 依据预先采集的磁盘阵列的繁忙程度参数的历史数据得到。

[0144] 在本申请的一种优选实施例中,所述装置还可以包括:

[0145] 极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限 状态;

[0146] 此时,所述处理模块304,可具体用于依据所述系统支撑能力预测结果和系统支撑 能力的极限状态,对服务器应用系统中磁盘阵列资源进行处理。

[0147] 在本申请实施例中,优选的是,所述极限状态获取模块可以进一步包括:

[0148] 关联分析子模块,用于分析所述单块磁盘的繁忙程度参数与IO队列平均长度之间 的关联关系;

[0149] 磁盘极限值获取子模块,用于依据所述关联关系,得到在系统支撑能力的极限状 态下IO队列平均长度对应的单块磁盘的繁忙程度参数的极限值;及

[0150]系统支撑极限值获取子模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑 能力表征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的极限值相应的 系统支撑能力表征参数的极限值。

[0151]在本申请的一种优选实施例中,所述处理模块可以进一步包括:

[0152]缩减处理子模块,用于在所述系统支撑能力预测结果小于保守极限值时,对服务 器应用系统中磁盘阵列资源进行缩减处理;或者

[0153] 判断处理子模块,用于在所述系统支撑能力预测结果介于保守极限值和乐观极限 值之间时,依据服务器应用系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进 行扩容处理,其中,所述保守极限值小于所述乐观极限值;或者

[0154] 扩容处理子模块,用于在所述系统支撑能力预测结果大于乐观极限值时,对服务 器应用系统中磁盘阵列资源进行扩容处理。

[0155] 在本申请的另一种优选实施例中,所述装置还可以包括:

[0156] 极限值获取模块,用于依据所述关联关系,得到在IO队列平均长度等于1时的单块 磁盘的繁忙程度参数的保守值;

[0157] 保守极限值预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表 征参数之间的线性关系,预测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支 撑能力表征参数的保守极限值;

[0158] 乐观值获取模块,用于依据所述关联关系,得到在IO队列平均长度等于1.5时的单 块磁盘的繁忙程度参数的乐观值;

[0159]乐观极限值获取模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表 征参数之间的线性关系,得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能 力表征参数的乐观极限值。

[0160] 对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关 之处参见方法实施例的部分说明即可。

[0161] 本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与 其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

[0162] 以上对本申请所提供的一种磁盘阵列资源的处理方法和装置,进行了详细介绍, 本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用 于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的 思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为 对本申请的限制。

Claims (8)

1. 一种磁盘阵列资源的处理方法,其特征在于,包括: 采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据; 对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的分析,得到相应的单 块磁盘的繁忙程度参数的在线数据; 依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,基于所 述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支撑能力进行预 测,得到系统支撑能力预测结果; 依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源进行处理; 其中,所述系统支撑能力表征参数用于表征当前的系统压力情况,所述线性关系为依 据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数 据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙 程度参数的历史数据得到; 通过如下步骤建立所述线性关系: 预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数据,以及,预先采集与 所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征参数的观测值的历史 数据; 对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布的分析,得到相应的单 块磁盘的繁忙程度参数的历史数据; 依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测 值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关 系。
2. 如权利要求1所述的方法,其特征在于,还包括: 依据磁盘阵列内部的运行规律得到系统支撑能力的极限状态; 依据所述系统支撑能力预测结果和系统支撑能力的极限状态,对服务器应用系统中磁 盘阵列资源进行处理。
3. 如权利要求1或2所述的方法,其特征在于,所述对所述磁盘阵列的繁忙程度参数的 在线数据进行基于概率分布的分析,得到相应的单块磁盘的繁忙程度参数的在线数据的步 骤,包括: 以所述磁盘阵列的繁忙程度参数的在线数据的概率作为磁盘阵列中所有磁盘都繁忙 的概率,计算得到磁盘阵列中所有磁盘都不繁忙的概率和磁盘阵列中单块磁盘不繁忙的概 率; 依据所述磁盘阵列中单块磁盘不繁忙的概率,计算得到所述磁盘阵列中单块磁盘繁忙 的概率,并作为与所述磁盘阵列的繁忙程度参数的在线数据相应的单块磁盘的繁忙程度参 数的在线数据。
4. 如权利要求2所述的方法,其特征在于,所述依据磁盘阵列内部的运行规律得到系统 支撑能力的极限状态的步骤,包括: 分析所述单块磁盘的繁忙程度参数与10队列平均长度之间的关联关系; 依据所述关联关系,得到在系统支撑能力的极限状态下10队列平均长度对应的单块磁 盘的繁忙程度参数的极限值; 依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预测得 到与所述单块磁盘的繁忙程度参数的极限值相应的系统支撑能力表征参数的极限值。
5. 如权利要求4所述的方法,其特征在于,所述对服务器应用系统中磁盘阵列资源进行 处理的步骤,包括: 在所述系统支撑能力预测结果小于保守极限值时,对服务器应用系统中磁盘阵列资源 进行缩减处理;或者 在所述系统支撑能力预测结果介于保守极限值和乐观极限值之间时,依据服务器应用 系统的性能需求判断是否对服务器应用系统中磁盘阵列资源进行扩容处理,其中,所述保 守极限值小于所述乐观极限值;或者 在所述系统支撑能力预测结果大于乐观极限值时,对服务器应用系统中磁盘阵列资源 进行扩容处理。
6. 如权利要求5所述的方法,其特征在于,通过以下步骤得到所述保守极限值: 依据所述关联关系,得到在10队列平均长度等于1时的单块磁盘的繁忙程度参数的保 守值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系,预 测得到与所述单块磁盘的繁忙程度参数的保守值相应的系统支撑能力表征参数的保守极 限值; 通过以下步骤得到所述乐观极限值: 依据所述关联关系,得到在10队列平均长度等于1.5时的单块磁盘的繁忙程度参数的 乐观值,并依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线性关系, 预测得到与所述单块磁盘的繁忙程度参数的乐观值相应的系统支撑能力表征参数的乐观 极限值。
7. -种磁盘阵列资源的处理装置,其特征在于,包括: 在线采集模块,用于采集服务器应用系统中磁盘阵列的繁忙程度参数的在线数据; 在线分析模块,用于对所述磁盘阵列的繁忙程度参数的在线数据进行基于概率分布的 分析,得到相应的单块磁盘的繁忙程度参数的在线数据;及 预测模块,用于依据所述单块磁盘的繁忙程度参数与系统支撑能力表征参数之间的线 性关系,基于所述单块磁盘的繁忙程度参数的在线数据,对当前服务器应用系统的系统支 撑能力进行预测,得到系统支撑能力预测结果; 处理模块,用于依据所述系统支撑能力预测结果,对服务器应用系统中磁盘阵列资源 进行处理; 其中,所述系统支撑能力表征参数用于表征当前的系统压力情况,所述线性关系为依 据单块磁盘的繁忙程度参数的历史数据和相应系统支撑能力表征参数的观测值的历史数 据拟合建立,所述单块磁盘的繁忙程度参数的历史数据为依据预先采集的磁盘阵列的繁忙 程度参数的历史数据得到; 所述装置还包括:线性关系建立模块; 所述线性关系建立模块,包括: 历史采集子模块,用于预先采集过去一段时期内的磁盘阵列的繁忙程度参数的历史数 据,以及,预先采集与所述磁盘阵列的繁忙程度参数的历史数据相应的系统支撑能力表征 参数的观测值的历史数据; 历史分析子模块,用于对所述磁盘阵列的繁忙程度参数的历史数据进行基于概率分布 的分析,得到相应的单块磁盘的繁忙程度参数的历史数据;及 拟合建立子模块,用于依据所述单块磁盘的繁忙程度参数的历史数据和相应系统支撑 能力表征参数的观测值的历史数据,拟合建立单块磁盘的繁忙程度参数与系统支撑能力表 征参数之间的线性关系。
8.如权利要求7所述的装置,其特征在于,还包括: 极限状态获取模块,用于依据磁盘阵列内部的运行规律得到系统支撑能力的极限状 态; 所述处理模块,具体用于依据所述系统支撑能力预测结果和系统支撑能力的极限状 态,对服务器应用系统中磁盘阵列资源进行处理。
CN 201110353644 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置 CN103106041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110353644 CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN 201110353644 CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置
HK13108674A HK1181497A1 (zh) 2011-11-09 2013-07-24 種磁盤陣列資源的處理方法和裝置

Publications (2)

Publication Number Publication Date
CN103106041A true CN103106041A (zh) 2013-05-15
CN103106041B true CN103106041B (zh) 2016-08-03

Family

ID=48313938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110353644 CN103106041B (zh) 2011-11-09 2011-11-09 一种磁盘阵列资源的处理方法和装置

Country Status (1)

Country Link
CN (1) CN103106041B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418512B1 (en) * 1999-08-31 2002-07-09 International Business Machines Corporation Method and system for reporting disk utilizations for disk subsystems
CN1545030A (zh) * 2003-11-14 2004-11-10 清华大学 基于磁盘特征的数据分布动态映射的方法
CN102193832A (zh) * 2010-03-11 2011-09-21 精英电脑股份有限公司 云端计算资源排程方法与应用的系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418512B1 (en) * 1999-08-31 2002-07-09 International Business Machines Corporation Method and system for reporting disk utilizations for disk subsystems
CN1545030A (zh) * 2003-11-14 2004-11-10 清华大学 基于磁盘特征的数据分布动态映射的方法
CN102193832A (zh) * 2010-03-11 2011-09-21 精英电脑股份有限公司 云端计算资源排程方法与应用的系统

Also Published As

Publication number Publication date Type
CN103106041A (zh) 2013-05-15 application

Similar Documents

Publication Publication Date Title
Chaczko et al. Availability and load balancing in cloud computing
US20120265881A1 (en) Provisioning data center resources
US20100218186A1 (en) Data Centers Task Mapping
US20110138037A1 (en) Techniques for web server management
US7467291B1 (en) System and method for calibrating headroom margin
JP2002202959A (ja) 動的な資源分配をする仮想計算機システム
US20150095381A1 (en) Method and apparatus for managing time series database
CN101957863A (zh) 数据并行处理方法、装置及系统
CN101018150A (zh) 一种电信设备性能数据采集的方法及系统
Jiang et al. Asap: A self-adaptive prediction system for instant cloud resource demand provisioning
CN102254024A (zh) 海量数据处理系统及方法
CN1434393A (zh) 一种集群服务器的动态负载均衡方法
Lien et al. Estimation by software for the power consumption of streaming-media servers
JP2005099973A (ja) 運用管理システム
CN102708011A (zh) 一种面向云计算平台任务调度的多级负载评估方法
US7849180B2 (en) Load balanced storage provisioning
CN102193832A (zh) 云端计算资源排程方法与应用的系统
US20090100180A1 (en) Incremental Run-Time Session Balancing In A Multi-Node System
CN101876938A (zh) 一种基于消息队列的应用软件响应时间测量方法
CN103902379A (zh) 一种任务调度方法、装置及服务器集群
CN103019853A (zh) 一种作业任务的调度方法和装置
JP2010117757A (ja) 性能監視システムおよび性能監視方法
CN103036979A (zh) 一种服务器负载均衡方法及负载均衡器
CN103576829A (zh) 基于混合遗传算法的云计算虚拟机动态调度方法
CN103152393A (zh) 一种云计算的计费方法和计费系统

Legal Events

Date Code Title Description
C06 Publication
C10 Entry into substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1181497

Country of ref document: HK

C14 Grant of patent or utility model
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1181497

Country of ref document: HK