CN100347990C - 基于存域网的海量存储系统的性能监控方法及系统 - Google Patents

基于存域网的海量存储系统的性能监控方法及系统 Download PDF

Info

Publication number
CN100347990C
CN100347990C CNB2005100899297A CN200510089929A CN100347990C CN 100347990 C CN100347990 C CN 100347990C CN B2005100899297 A CNB2005100899297 A CN B2005100899297A CN 200510089929 A CN200510089929 A CN 200510089929A CN 100347990 C CN100347990 C CN 100347990C
Authority
CN
China
Prior art keywords
performance
area network
storage area
storage
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2005100899297A
Other languages
English (en)
Other versions
CN1719785A (zh
Inventor
李超
周立柱
邢春晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Easyway Technology Co., Ltd.
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CNB2005100899297A priority Critical patent/CN100347990C/zh
Publication of CN1719785A publication Critical patent/CN1719785A/zh
Application granted granted Critical
Publication of CN100347990C publication Critical patent/CN100347990C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于存域网的海量存储系统的性能监控方法,其依次包括:在性能监控器中,通过对比/映射手段为基于存域网的海量存储系统建立包含响应时间、吞吐量、等待时间、服务时间的参数计算模型;性能监控器利用采集自存域网中存储服务器的I/O请求信息作为参数计算模型的输入;性能监控器对参数计算模型进行计算,预测出原基于存域网的海量存储系统的各项性能指标值,将性能指标值作为性能监控结果输出,用于对基于存域网的海量存储系统进行性能管理。本发明还提供基于上述方法的基于存域网的海量存储系统性能监控系统,包括:用于采集服务器端I/O请求信息的信息采集器;存有参数计算模型的性能监控器;将所采集信息传递到性能监控器的次网。

Description

基于存域网的海量存储系统的性能监控方法及系统
技术领域
本发明属于存储系统性能监控领域,具体涉及一种基于存域网的海量存储系统的性能监控方法及系统。
背景技术
近年来,电子商务、数字媒体以及科学数据管理(如前沿性的人类基因、气候分析等领域)的飞速发展急剧的推动了对海量存储系统的需求。存域网作为一种开放式的存储系统体系结构,其交换式的连接架构能支持处理能力、存储容量以及数据访问带宽的灵活扩展,在理论上能够满足急速增长的存储在可扩展性方面的无限需求(实际扩展能力与设备的寻址支持和信号衰减情形有关)。因此,在上述领域,近年来尤其是近十年来,存储系统的体系结构正逐渐从传统的直连式结构转变为存域网结构。然而,尽管基于存域网技术的海量存储系统依赖于先进的基础设施、从而具有提供高性能存储服务的可能,但因为存域网的结构相对于传统存储方式而言相对复杂并且系统规模常常较大,若不对其性能进行合理的性能管理将可能导致系统性能降低运行甚至出错、崩溃,进而使得系统建设的投资浪费、不能提供正常的服务。因此如何对基于存域网技术的海量存储系统进行合理的性能管理使之稳定而高性能地工作越来越为业内人士所关注,而经济有效的性能监控方法是进行合理的性能管理的基础和前提。
目前,对于基于存域网的海量存储系统的性能监控方法(有的文献或文档中也称“存储QoS(服务质量)监控与管理”,鉴于“存储QoS”目前还没有明确公认的定义,在不同的地方含义可能不同,为了明确起见,我们还是称“存储系统的性能监控方法”)可以分为两类:带内(in-band)方法和带外(out-of-band)方法。所谓带内方法,就是将性能数据采集器安插在I/O路径的不同点上进行性能监控。采集器在其端口对之间传递数据包或帧,并与此同时进行性能数据的统计。通过这些性能数据的统计,可以获得一些有价值的性能指标值,例如吞吐量、响应时间、延迟等,以用于性能管理。所谓带外方法,就是通过直接访问存域网设备而非在I/O路径上安插采集器来采集性能数据以获取性能指标值。为了访问存域网设备,带外监控器必须使用设备专属的API(应用程序接口)来与各个不同的设备通过次网(secondary network)进行通讯。
带内方法的优点在于无需访问各个不同设备的API(由于存域网本身的开放性,构成存域网的设备可以来自不同的厂商,而不同厂商、不同设备之间目前没有通用的性能管理接口),该方法与存域网中的设备是彼此独立的。带外方法的优点在于不会带来额外的延迟,因为在I/O路径上该方法不必安插采集器。
图1所示的是一个采用带内方法对基于存域网的海量存储系统进行性能监控的例子。在该例中,存域网的主干(图中的粗实线)由两个光纤交换机FCSW1和FCSW2互连组成,其中一个光纤交换机FCSW1连接两个存储服务器Serv1和Serv2,另一个光纤交换机FCSW2连接一个存储服务器Serv3和两台光纤存储设备S1和S2。客户机通过通讯子网访问存储服务器Serv1、Serv2或Serv3以获取存域网中光纤存储设备S1或S2的存储服务(因为通讯子网、客户机与本发明内容无关,因此在图1中略去)。性能数据采集器C1、C2、C3、C4、C5和C6被安插在I/O路径的各个段,数据包(或数据帧)从性能数据采集器C1、C2、C3、C4、C5和C6的一个端口进从另一个端口出。性能数据采集器C1、C2、C3、C4、C5和C6的工作就是通过传递其所在段的数据包(或数据帧)来进行性能数据统计。对于存域网中的其他设备而言,性能数据采集器C1、C2、C3、C4、C5和C6是完全透明的,因为性能数据采集器C1、C2、C3、C4、C5和C6不对通过它的数据包(或数据帧)进行任何修改,仅仅查看(监视)包(或帧)头部及尾部的有关信息,例如源地址、目标地址、包(或帧)大小等。在带内方法中,性能监控器M使用统一的API来与各个性能数据采集器C1、C2、C3、C4、C5和C6通过次网(图中的细虚线,通常采用IP网络技术来实现)进行通讯。带内性能监控器M通过关联来自各个采集器的信息来计算有关性能指标,如响应时间、吞吐量、延时等。
带内方法的优点在于它与被监控的存域网设备彼此完全独立和透明,无需访问存域网中各个不同设备的API、并无需依赖这些设备进行性能数据采集。因此带内方法除了免除与不同设备通讯的麻烦,而且是一种较为公正的方法。但其最大缺点在于将采集器安插在I/O路径的各个段会引入额外的传输延迟,对存域网性能本身带来影响。尽管带内方法并不对数据包(或数据帧)进行任何修改操作、仅仅只是查看和传递,采集器引入的延迟相对其他设备较小,但毕竟带来的延迟对系统性能本身有一定影响。
图2所示的是一个采用带外方法对基于存域网的海量存储系统进行性能监控的例子。与图1中存域网的结构相同,在该例中,存域网的主干(图中的粗实线)由两个光纤交换机FCSW1和FCSW2互连组成,其中一个光纤交换机FCSW1连接两个存储服务器Serv1和Serv2,另一个光纤交换机FCSW2连接一个存储服务器Serv3和两台光纤存储设备S1和S2。客户机通过通讯子网访问存储服务器Serv1、Serv2或Serv3以获取存域网中光纤存储设备S1或S2的存储服务(因为通讯子网、客户机与本发明内容无关,因此在图2中略去)。带外方法没有如带内方法那样采用专门的采集器来采集性能数据,而是由性能监视器M直接通过不同设备(本例中包括光纤交换机FCSW1和FCSW2、存储服务器Serv1、Serv2和Serv3、以及光纤存储设备S1和S2)专属的API来与各个不同的设备通过次网(图中的细虚线,通常采用IP网络技术来实现)进行通讯以采集性能数据。由于存域网本身的开放性,构成存域网的设备可以来自不同的厂商,而不同厂商、不同设备之间目前没有通用的性能管理API。带外性能监控器M通过关联来自各个设备的信息来计算有关性能指标值,如响应时间、吞吐量、延时等。
带外方法的优点在于没有采集器介入I/O路径,性能数据的采集完全是通过独立的次网完成的,因此不会引入额外的传输延迟。但其最大缺点在于它需依赖存域网中的各个设备进行性能数据采集,对被监控的存域网的各个设备不透明;同时需要支持并访问存域网中各个不同设备的有关API,特别当设备更新或升级时,带外性能监控器也可能需要进行相应的升级。因此带外方法无法免除与不同设备通讯的麻烦,与带内方法相比不够独立和公正。
尽管上述两种方法各自有其自身的优缺点,并且各自在不同的情况下有成功运用的案例,但是它们有一个限制其广泛接受和实施的共同缺点:实施费用高昂。对于带内方法,需要购买、安装、测试并维护大量的采集器(采集器的数量随着存域网拓扑结构的复杂而急剧增加),并且对于I/O路径中采用不同互连技术的段(如可能采用光纤FC连接、也可能采用高速IP连接)还需要不同的端口对的采集器。对于带外方法,需要支持并维护与来自不同厂商、不同设备的有关API通过次网的通讯。并且这两种方法都需要时刻保证和维护次网安全运行,同时次网的规模将随着存域网拓扑结构的复杂而不断增长。上述的这些工作都需要实施者动用大量的人力和财力。而即便大型机构动用大量的人力和财力实施了这两种方法之一,所得的昂贵的基于存域网的海量存储系统的性能监控系统也是易于失效的(脆弱的):该庞杂系统中所涉及的硬件、软件和人力中的任何一点差错或失误都会导致性能监控结果的失效,进而可能导致严重的后果(如:存储系统低效运行,存储服务出错、乃至崩溃)。
发明内容
鉴于现有技术的上述缺点,本发明提供一种基于存域网的海量存储系统进行性能监控的方法,其特征在于,该方法依次包括下述步骤:步骤一,在性能监控器中,通过对比/映射手段为基于存域网的海量存储系统建立包含响应时间、吞吐量、等待时间、服务时间的参数计算模型;步骤二,所述性能监控器利用采集自存域网中存储服务器的I/O请求信息作为所述参数计算模型的输入;步骤三,所述性能监控器对所述参数计算模型进行计算,预测出原基于存域网的海量存储系统的各项性能指标值,将所述性能指标值作为性能监控结果输出,用于对基于存域网的海量存储系统进行性能管理,所述基于存域网的海量存储系统由存储服务器组、存储子网、通过存储子网和所述存储服务器组相连的存储子系统构成,客户机通过通讯子网和所述存储服务器组中对应的存储服务器相连。
本发明的特征在于,
本发明所述性能监控方法的示意如图3。图3中存储服务器Serv1…Servm、存储子系统S1…Sp与存储子网StorNet构成基于存域网的海量存储系统SANsys(虚线框内),客户机C1…Cn通过通讯子网ComNet访问存储服务器Serv1…Servm以获取基于存域网的海量存储系统SANsys中存储子系统S1…Sp的存储服务。本发明所述方法就是首先对基于存域网的海量存储系统SANsys通过对比/映射手段建立参数计算模型,利用采集自存储服务器Serv1…Servm的I/O请求信息作为上述参数计算模型的输入,然后对所述参数计算模型进行计算,预测出原基于存域网的海量存储系统的各项性能指标值,将所述性能指标值作为性能监控结果输出,用于对基于存域网的海量存储系统进行性能管理。
上述方法中模型的静态参数初始值根据实际系统的性能配置参数来设置。如果采用存储资源管理工具中的设备自动发现技术,则建模和模型初始参数设置可以实现自动或半自动化。模型的输入——存储服务器的I/O请求信息可以在存储服务器端的操作系统层或应用层进行采集。该采集工作无需像带内方法那样需要专用采集器做硬件支持,只需要占用服务器上很少的一点CPU指令执行时间。基于存域网的海量存储系统的性能表现是由系统本身(包括拓扑结构和系统配置)、以及作为系统输入的I/O请求工作负载决定的。参数计算模型是对系统拓扑结构以及系统配置的连接关系及量化描述,而采集的I/O请求信息对是I/O请求工作负载的属性及量化描述。因此将正确的I/O请求信息作为合理的参数计算模型的输入,计算得出的性能指标值将合理地反映系统性能的状况。
根据本发明的一个优选方式,作为所述参数计算模型输入的所述I/O请求信息是在设定时间间隔内对存域网中存储服务器的I/O请求进行统计的结果信息。
采用这种基于参数计算模型的性能监控方法,因为分析模型的计算在时间和空间上都很有优势(时间和空间复杂度相对性能建模中的仿真方法而言较低),因此本方法的实施无需采用高配置的性能监控器就可以实时计算出各项性能指标值。这一特点为系统的实施提供了较高的灵活性:如果性能管理器以专用服务器的形态出现,则性能监控器可以作为其中的一个应用程序,而参数计算模型的计算就可以由该应用程序来完成;如果性能监控器以专用硬件设施的形态出现,则性能监控器可以作为嵌入式系统中的固件程序,而参数计算模型的计算就可由其完成。此外,因为参数计算模型是对系统在性能方面的逻辑抽象、并可以看作一种基于统计的预测方法,因此采用本方法还可以“去粗取精”的排除一些在前两种方法中可能出现的噪声干扰(如次网暂时失效或采集信号偶然出错),即相对健壮(鲁棒)。
本发明还提供一种基于上述方法建立的基于存域网的海量存储系统进行性能监控的系统,其特征在于,该系统包括:信息采集器,用于采集服务器端I/O请求信息;性能监控器,该监控器内存有通过对比/映射手段为所述基于存域网的海量存储系统建立的包含响应时间、吞吐量、等待时间、服务时间的参数计算模型,根据所述海量存储系统的性能配置参数来设置所述参数计算模型的静态参数初始值,将上述信息采集器所采集的信息作为所述参数计算模型输入,输出性能指标值作为监控结果;次网,该次网是连接所述信息采集器和所述性能监控器的通讯网络,用于将所述信息采集器所采集的信息传递到所述性能监控器;所述基于存域网的海量存储系统由存储服务器组、存储子网、通过存储子网和所述存储服务器组相连的存储子系统构成,客户机通过通讯子网和所述存储服务器组中对应的存储服务器相连。
采用该方法构建的基于存域网的海量存储系统的性能监控系统的一个例子如图4。在该例中,存域网的结构与图1和图2的示例相同:存域网的主干(图中的粗实线)由两个光纤交换机FCSW1和FCSW2互连组成,其中一个光纤交换机FCSW1连接两个存储服务器Serv1和Serv2,另一个光纤交换机FCSW2连接一个存储服务器Serv3和两台光纤存储设备S1和S2。客户机通过通讯子网访问存储服务器Serv1、Serv2或Serv3以获取存域网中光纤存储设备S1或S2的存储服务(因为通讯子网、客户机与本发明内容无关,因此在图4中略去)。在该方法中,性能监控器M通过次网(图中的细虚线,通常采用IP网络技术来实现)只需从存储服务器Serv1、Serv2和Serv3采集I/O请求信息,因此次网的规模比前述的带内方法和带外方法都小很多:与带外方法比,次网无需连接存储子网中的交换互连设备(本例中为光纤交换机FCSW1和FCSW2)和存储子系统设备(本例中为光纤存储设备S1和S2);与带内方法比,次网所连接的存储服务器数仅与存储服务器到存储子网之间的I/O路径段数相等,从而可以节省到存储子网内部与存储子网到存储子系统设备的I/O路径段上的采集器的连接。同时,该方法只需从存储服务器Serv1、Serv2和Serv3采集I/O请求信息,该信息可以通过截取操作系统层或者应用层的相关请求消息获得。而对于主流操作系统和应用层架构而言,与请求消息相关的接口是兼容或相似的。
因此,该方法中性能监控器无需像带外方法中的性能监控器那样支持来自各种不同设备的不同API。并且,该方法仅访问各存储服务器采集I/O请求信息,采集动作不涉及存域网中交换互连设备也不涉及存储子系统的,因此对系统本身的性能影响比带外方法还要小,更远远小于带内方法中硬件形态的采集器引起的时间延迟。最后,因为该方法不依赖于存域网中的交换互连设备以及存储子系统设备的有关API,其独立性和公正性要优于带外方法。
综上,本发明的主要优点在于:1)大幅减少次网规模,2)对系统本身性能影响较小,3)无需支持来自各种不同设备的不同API,4)独立性和公正性要优于带外方法,5)时间和空间复杂度较低、适于实时要求较高的环境,6)相对健壮。因此,与前述带内方法和带外方法相比,本方法不仅结构简单、较为健壮(鲁棒),而且实施费用也相对低廉。
附图说明
图1是现有技术中的一种带内方法示意图;
图2是现有技术中的一种带外方法示意图;
图3是本发明所述性能监控方法示意图;
图4是根据本发明方法所构建性能监控系统的示意图;
图5是根据本发明第一实施例的性能监控系统的示意图;
图6是根据本发明第二实施例的性能监控系统的示意图;
图7是根据本发明第三实施例的性能监控系统的示意图;
图8是根据本发明第四实施例的性能监控系统的示意图;
图9是根据本发明第五实施例的性能监控系统的示意图。
具体实施方式
下面结合附图详细说明本发明的各个实施例。
根据本发明方法的性能监控系统主要包括3部分:服务器端I/O请求信息采集器(采集模块);性能监控器,用于处理采集器采集的信息,处理的方法是依照设定的参数计算模型及其参数做运算规则和环境、将采集的信息做运算输入、计算得出性能参数值;次网,其功能区别于通讯子网和存储子网,是用于将采集模块采集的信息传递到性能监控器的通讯网络。
在不同的实施例中,本发明的3个主要组成部分可以不同的方式(或形态)实现。下面列出了5类典型的实施方式,这5类实施方式的简单变化形式将在介绍各自实施例时说明。
下面描述第一实施例,其中,次网是以物理上独立的网络形态出现,性能监控器是以专用硬件设施,比如单片机或专用芯片的形态出现。
如图5所示,I/O请求信息采集器(采集模块)1.1…1.n安装在存域网中每一个通过通讯子网提供存储相关服务App的服务器Serv.1…Serv.n上。每一个服务器Serv.1…Serv.n上安装有3个主机总线适配器,HBA1.1…HBA1.n、HBA2.1…HBA2.n和HBA3.1…HBA3.n,分别用于服务器Serv.1…Serv.n与物理上分别独立的存储子网4、次网3和通讯子网的连接和通讯(图5中省略了与本实施例说明无密切关系的通讯子网和客户机)。每一个存储子系统S.1…S.m上安装有1个主机总线适配器HBA1.s.1…HBA1.s.m,用于存储子系统S.1…S.m与存储子网4的连接和通讯。主机总线适配器HBA1.1…HBA1.n和HBA1.s.1…HBA1.s.m根据存储子网4的互连技术方案不同,可以是光纤通道主机总线适配器(对应于光纤通道存域网,即FC SAN)、高速IP网主机总线适配器(对应于IP存域网,即IP SAN)、或其他主机总线适配器。
因为次网3上传输的仅仅是I/O请求信息的属性值,所以次网3采用普通IP组网技术即可满足传输带宽的需求。主机总线适配器HBA2.0、HBA2.1…HBA2.n作为次网3的一部分,根据次网3的IP组网技术方案不同,可以是有线以太网卡(对应于有线IP网)或者无线以太网卡(对应于无线IP网)。主机总线适配器HBA3.1…HBA3.n根据通讯子网的组网技术不同采用相应技术的主机总线适配器。I/O请求信息采集器(采集模块)1.1…1.n负责监听服务器Serv.1…Serv.n中操作系统OS向主机总线适配器HBA1.1…HBA1.n发出的I/O请求,并将I/O请求信息的相关属性打包,通过次网3的入口(主机总线适配器HBA2.1…HBA2.n)发送至性能监控器2。次网3包括三部分:位于服务器Serv.1…Serv.n的主机总线适配器HBA2.1…HBA2.n、位于性能监控器2的主机总线适配器HBA2.0、连接所有次网3中主机总线适配器HBA2.0、HBA2.1…HBA2.n的交换互连设备以及连接线缆(有线网)或无线信道(无线网)。性能监控器2通过主机总线适配器HBA2.0连接到次网3,并通过该主机总线适配器HBA2.0接受I/O请求信息采集器(模块)1.1…1.n发送来的I/O请求信息的相关属性包。
在本实施例中,性能监控器2以专用硬件设施的形态(单片机)出现,其除了包括前述用于次网3通讯的主机总线适配器HBA2.0和用于向性能管理器传输性能指标值的通道接口24,还包括通过系统总线相连的3部分:CPU 21、RAM 22、和EPROM23,分别提供计算能力、计算空间、性能模型描述参数及性能模型计算指令的存储。性能模型描述参数及性能模型计算指令的更新是通过刷新EPROM 23实现的,这使得参数计算模型及其参数随着存域网设备的变更、或者建模技术的进步而导致的改变可以方便灵活地纳入本实施例。本实施例中采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得该类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
下面描述第二实施例,其中,次网是以物理上独立的网络形态出现,性能监控器是以专用性能管理服务器中应用程序的形态出现。
如图6所示,I/O请求信息采集器(采集模块)1.1…1.n安装在存域网中每一个通过通讯子网提供存储相关服务App的服务器Serv.1…Serv.n上。每一个服务器Serv.1…Serv.n上安装有3个主机总线适配器,HBA1.1…HBA1.n、HBA2.1…HBA2.n和HBA3.1…HBA3.n,分别用于服务器Serv.1…Serv.n与物理上分别独立的存储子网4、次网3和通讯子网的连接和通讯(图6中省略了与本实施例说明无密切关系的通讯子网和客户机)。每一个存储子系统S.1…S.m上安装有1个主机总线适配器HBA1.s.1…HBA1.s.m,用于存储子系统S.1…S.m与存储子网4的连接和通讯。主机总线适配器HBA1.1…HBA1.n和HBA1.s.1…HBA1.s.m根据存储子网4的互连技术方案不同,可以是光纤通道主机总线适配器(对应于光纤通道存域网,即FC SAN)、高速IP网主机总线适配器(对应于IP存域网,即IP SAN)、或其他主机总线适配器。
因为次网3上传输的仅仅是I/O请求信息的属性值,所以次网3采用普通IP组网技术即可满足传输带宽的需求。主机总线适配器HBA2.0、HBA2.1…HBA2.n作为次网3的一部分,根据次网3的IP组网技术方案不同,可以是有线以太网卡(对应于有线IP网)或者无线以太网卡(对应于无线IP网)。主机总线适配器HBA3.1…HBA3.n根据通讯子网的组网技术不同采用相应技术的主机总线适配器。I/O请求信息采集器(采集模块)1.1…1.n负责监听服务器Serv.1…Serv.n中操作系统OS向HBA1.1…HBA1.n发出的I/O请求,并将I/O请求信息的相关属性打包,通过次网3的入口(即主机总线适配器HBA2.1…HBA2.n)发送至专用性能管理服务器5。次网3包括三部分:位于服务器Serv.1…Serv.n的主机总线适配器HBA2.1…HBA2.n、位于专用性能管理服务器5的主机总线适配器HBA2.0、连接所有次网3中主机总线适配器HBA2.0、HBA2.1…HBA2.n的交换互连设备以及连接线缆(有线网)或无线信道(无线网)。专用性能管理服务器5通过主机总线适配器HBA2.0连接到次网3,并通过该主机总线适配器HBA2.0接受I/O请求信息采集器(模块)1.1…1.n发送来的I/O请求信息的相关属性包。
在本实施例中,性能监控器52以驻留在专用性能管理服务器5中的应用程序形态出现,计算得到的性能指标值直接传递给同样驻留在专用性能管理服务器中的性能管理应用程序51使用,传递方式可以采用:共享数据结构、共享文件、共享数据库、应用程序接口调用、消息传递等多种同机中应用程序间通讯方式。本实施例中,性能模型及其参数描述存储在其对应的描述文件(或表)53中。性能模型的计算由性能监控器应用程序52完成。性能模型及其描述参数与性能模型计算算法的更新是通过更新性能模型及参数描述文件53与性能监控器应用程序52的相关代码来实现的,这使得参数计算模型及其参数随着存域设备的变更、或者建模技术的进步而导致的改变可以方便灵活地纳入本实施例。本实施例中采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得该类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
下面描述第三实施例,其中,次网是借用通讯子网、以物理上不独立的网络形态出现,性能监控器是以专用性能管理服务器中应用程序的形态出现。
如图7所示,I/O请求信息采集器(采集模块)1.1…1.n安装在存域网中每一个通过通讯子网提供存储相关服务App的服务器Serv.1…Serv.n上。每一个服务器Serv.1…Serv.n上安装有2个主机总线适配器,HBA1.1…HBA1.n和HBA3.1…HBA3.n,分别用于服务器Serv.1…Serv.n与物理上分别独立的存储子网4、通讯子网兼次网6的连接和通讯(图7中省略了与本实施例说明无密切关系的客户机)。每一个存储子系统S.1…S.m上安装有1个主机总线适配器HBA1.s.1…HBA1.s.m,用于存储子系统S.1…S.m与存储子网4的连接和通讯。主机总线适配器HBA1.1…HBA1.n和HBA1.s.1…HBA1.s.m根据存储子网4的互连技术方案不同,可以是光纤通道主机总线适配器(对应于光纤通道存域网,即FC SAN)、高速IP网主机总线适配器(对应于IP存域网,即IP SAN)、或其他主机总线适配器。主机总线适配器HBA3.0、HBA3.1…HBA3.n根据通讯子网的组网技术不同采用相应技术的主机总线适配器,例如可以是有线以太网卡(对应于有线IP网)或者无线以太网卡(对应于无线IP网)。
在本实施例中,通讯子网兼做次网,其优点在于可以大量节省次网的实施费用,其缺点在于部分通讯子网带宽被占用,对通讯子网的性能有影响,并且通讯子网的网络拥塞可能反过来导致次网性能下降甚至丢包。该实施例适用于通讯子网不繁忙、带宽资源闲置的情形,对于通讯子网繁忙的情形不推荐采用。
I/O请求信息采集器(采集模块)1.1…1.n负责监听服务器Serv.1…Serv.n中操作系统OS向主机总线适配器HBA1.1…HBA1.n发出的I/O请求,并将I/O请求信息的相关属性打包,通过通讯子网兼次网6的入口(主机总线适配器HBA3.1…HBA3.n)发送至专用性能管理服务器5。专用性能管理服务器5通过主机总线适配器HBA3.0连接到通讯子网兼次网6,并通过该主机总线适配器HBA3.0接受I/O请求信息采集器(模块)1.1…1.n发送来的I/O请求信息的相关属性包。
在本实施例中,性能监控器52以驻留在专用性能管理服务器5中的应用程序形态出现,计算得到的性能指标值直接传递给同样驻留在专用性能管理服务器中的性能管理应用程序51使用,传递方式可以采用:共享数据结构、共享文件、共享数据库、应用程序接口调用、消息传递等多种同机中应用程序间通讯方式。本实施例中,性能模型及其参数描述存储在其对应的描述文件(或表)53中。性能模型的计算由性能监控器应用程序52完成。性能模型及其描述参数与性能模型计算算法的更新是通过更新性能模型及参数描述文件53与性能监控器应用程序52的相关代码来实现的,这使得参数计算模型及其参数随着存域设备的变更、或者建模技术的进步而导致的改变可以方便灵活地纳入本实施例。本实施例中采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得该类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
下面描述第四实施例,其中,次网是借用通讯子网、以物理上不独立的网络形态出现,性能监控器是以专用硬件设施,比如单片机或专用芯片的形态出现。
如图8所示,I/O请求信息采集器(采集模块)1.1…1.n安装在存域网中每一个通过通讯子网提供存储相关服务App的服务器Serv.1…Serv.n上。每一个服务器Serv.1…Serv.n上安装有2个主机总线适配器,HBA1.1…HBA1.n和HBA3.1…HBA3.n,分别用于服务器Serv.1…Serv.n与物理上分别独立的存储子网4、通讯子网兼次网6的连接和通讯(图8中省略了与本实施例说明无密切关系的客户机)。每一个存储子系统S.1…S.m上安装有1个主机总线适配器HBA1.s.1…HBA1.s.m,用于存储子系统S.1…S.m与存储子网4的连接和通讯。主机总线适配器HBA1.1…HBA1.n和HBA1.s.1…HBA1.s.m根据存储子网4的互连技术方案不同,可以是光纤通道主机总线适配器(对应于光纤通道存域网,即FC SAN)、高速IP网主机总线适配器(对应于IP存域网,即IP SAN)、或其他主机总线适配器。主机总线适配器HBA3.0、HBA3.1…HBA3.n根据通讯子网的组网技术不同采用相应技术的主机总线适配器,例如可以是有线以太网卡(对应于有线IP网)或者无线以太网卡(对应于无线IP网)。
在本实施例中,通讯子网兼做次网,其优点在于可以大量节省次网的实施费用,其缺点在于部分通讯子网带宽被占用,对通讯子网的性能有影响,并且通讯子网的网络拥塞可能反过来导致次网性能下降甚至丢包。该实施例适用于通讯子网不繁忙、带宽资源闲置的情形,对于通讯子网繁忙的情形不推荐采用。
I/O请求信息采集器(采集模块)1.1…1.n负责监听服务器Serv.1…Serv.n中操作系统OS向主机总线适配器HBA1.1…HBA1.n发出的I/O请求,并将I/O请求信息的相关属性打包,通过通讯子网兼次网6的入口(主机总线适配器HBA3.1…HBA3.n)发送至性能监控器2。性能监控器2通过主机总线适配器HBA3.0连接到通讯子网兼次网6,并通过该主机总线适配器HBA3.0接受I/O请求信息采集器(模块)1.1…1.n发送来的I/O请求信息的相关属性包。
在本实施例中,性能监控器2以专用硬件设施的形态(单片机)出现,其除了包括前述用于通讯子网兼次网6通讯的主机总线适配器HBA3.0和用于向性能管理器传输性能指标值的通道接口24,还包括通过系统总线相连的3部分:CPU 21、RAM 22、和EPROM 23,分别提供计算能力、计算空间、性能模型描述参数及性能模型计算指令的存储。性能模型描述参数及性能模型计算指令的更新是通过刷新EPROM 23实现的,这使得参数计算模型及其参数随着存域网设备的变更、或者建模技术的进步而导致的改变可以方便灵活地纳入本实施例。本实施例中采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得该类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
下面描述第五实施例,其中,次网是借用通讯子网、以物理上不独立的网络形态出现,性能监控器是借用服务器之一、以非专用性能管理服务器中应用程序的形态出现。
如图9所示,I/O请求信息采集器(采集模块)1.1…1.i…1.n安装在存域网中每一个通过通讯子网提供存储相关服务App的服务器Serv.1…Serv.i…Serv.n上。每一个服务器Serv.1…Serv.i…Serv.n上安装有2个主机总线适配器,HBA1.1…HBA1.i…HBA1.n和HBA3.1…HBA3.i…HBA3.n,分别用于服务器Serv.1…Serv.i…Serv.n与物理上分别独立的存储子网4、通讯子网兼次网6的连接和通讯(图9中省略了与本实施例说明无密切关系的客户机)。每一个存储子系统S.1…S.m上安装有1个主机总线适配器HBA1.s.1…HBA1.s.m,用于存储子系统S.1…S.m与存储子网4的连接和通讯。主机总线适配器HBA1.1…HBA1.i…HBA1.n和HBA1.s.1…HBA1.s.m根据存储子网4的互连技术方案不同,可以是光纤通道主机总线适配器(对应于光纤通道存域网,即FCSAN)、高速IP网主机总线适配器(对应于IP存域网,即IP SAN)、或其他主机总线适配器。主机总线适配器HBA3.0、HBA3.1…HBA3.i…HBA3.n根据通讯子网的组网技术不同采用相应技术的主机总线适配器,例如可以是有线以太网卡(对应于有线IP网)或者无线以太网卡(对应于无线IP网)。
在本实施例中,通讯子网兼做次网,其优点在于可以大量节省次网的实施费用,其缺点在于部分通讯子网带宽被占用,对通讯子网的性能有影响,并且通讯子网的网络拥塞可能反过来导致次网性能下降甚至丢包。
I/O请求信息采集器(采集模块)1.1…1.i…1.n负责监听服务器Serv.1…Serv.i…Serv.n中操作系统OS向主机总线适配器HBA1.1…HBA1.i…HBA1.n发出的I/O请求,并将I/O请求信息的相关属性打包,通过通讯子网兼次网6的入口(主机总线适配器HBA3.1…HBA3.i…HBA3.n)发送至兼作性能管理服务器的服务器Serv.i。兼作性能管理服务器的服务器Serv.i通过主机总线适配器HBA3.i连接到通讯子网兼次网6,并通过该主机总线适配器HBA3.0接受I/O请求信息采集器(模块)1.1…1.i…1.n发送来的I/O请求信息的相关属性包。
在本实施例中,性能监控器52以驻留在由存域网中的一个服务器兼做的性能管理服务器Serv.i中的应用程序形态出现,计算得到的性能指标值直接传递给该性能管理服务器Serv.i中的性能管理应用程序51使用,传递方式可以采用:共享数据结构、共享文件、共享数据库、应用程序接口调用、消息传递等多种同机中应用程序间通讯方式。
在本实施例中,由一个存域网服务器兼做性能管理服务器,其优点在于可以节省性能管理服务器的实施费用,其缺点在于该存域网服务器的部分本地计算、存储和通讯能力被占用,对存域网服务器本身的性能有影响,并且存域网服务器自身性能下降可能反过来导致整个性能管理系统性能下降甚至出错。该实施例适用于1)通讯子网不繁忙、带宽资源闲置,并且2)兼作性能管理服务器的存域网服务器计算、存储和通讯有充分富余的情形,对于通讯子网繁忙或(和)存域网服务器资源有限(或繁忙)的情形不推荐采用。
本实施例中,性能模型及其参数描述存储在其对应的描述文件(或表)53中。性能模型的计算由性能监控器应用程序52完成。性能模型及其描述参数与性能模型计算算法的更新是通过更新性能模型及参数描述文件53与性能监控器应用程序52的相关代码来实现的,这使得参数计算模型及其参数随着存域设备的变更、或者建模技术的进步而导致的改变可以方便灵活地纳入本实施例。本实施例中采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得该类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
上述5类实施例中都采用通用计算机板卡、接口和适配器,有利于吸收IT技术新成果,使得上述5类实施例的在未来的变种随着IT技术的进步能达到能不断降低成本和提高性能品质的目的。
根据上述5类实施方式的说明,可以根据具体的系统规模、繁忙程度、经济预算来选用适宜的实施方式。总结起来,实施费用是按照方式1、2>方式3、4>方式5依次递减,对被监测系统的影响是按照方式1、2<方式3、4<方式5依次递增;而方式1与方式2(方式3与方式4)的主要差别在于监控器的实现形态,二者在实施费用、对系统本身性能影响的方面差别不大,应根据具体实施环境和要求来选取。

Claims (12)

1.一种基于存域网的海量存储系统进行性能监控的方法,其特征在于,该方法依次包括下述步骤:
步骤一,在性能监控器中,通过建模/映射手段为基于存域网的海量存储系统建立性能分析模型;
步骤二,所述性能监控器利用采集自存域网中存储服务器的I/O请求信息作为所述性能分析模型的输入;
步骤三,所述性能监控器对所述性能分析模型进行计算,预测出原基于存域网的海量存储系统的各项性能指标值,将所述性能指标值作为性能监控结果输出,用于对基于存域网的海量存储系统进行性能管理,所述基于存域网的海量存储系统由存储服务器组、通过存储子网和所述存储服务器组相连的存储子系统构成,客户机通过通讯子网和所述存储服务器组中对应的存储服务器相连。
2.根据权利要求1所述的方法,其特征在于,根据被监控的所述海量存储系统的性能配置参数来设置所述性能分析模型的静态参数初始值。
3.根据权利要求1所述的方法,其特征在于,作为所述性能分析模型的输入的所述I/O请求信息是在设定时间间隔内对存域网中存储服务器的I/O请求进行统计的结果信息。
4.根据权利要求1所述的方法,其特征在于,所述的存域网中存储服务器的IO请求信息采集自所述存储服务器的操作系统层或应用层。
5.一种基于权利要求1所述的方法建立的基于存域网的海量存储系统进行性能监控的系统,其特征在于,该系统包括:
信息采集器,用于采集服务器端I/O请求信息;
性能监控器,该监控器基于存域网的海量存储系统建立的性能分析模型,根据所述海量存储系统的性能配置参数来设置所述性能分析模型的静态参数初始值,将上述信息采集器所采集的信息作为所述性能分析模型输入,输出性能指标值作为监控结果:
次网,该次网是连接所述信息采集器和所述性能监控器的通讯网络,用于将所述信息采集器所采集的信息传递到所述性能监控器。
6.根据权利要求5所述的系统,其特征在于,所述信息采集器位于所述海量存储系统的存储服务器的操作系统层。
7.根据权利要求5所述的系统,其特征在于,所述信息采集器位于所述海量存储系统的存储服务器的应用服务层。
8.根据权利要求5所述的系统,其特征在于,所述性能监控器是运行性能监控程序的专用性能管理服务器。
9.根据权利要求5所述的系统,其特征在于,所述性能监控器是运行性能监控程序的非专用性能管理服务器,所述非专用性能管理服务器是所述海量存储系统的存储服务器之一。
10.根据权利要求5所述的系统,其特征在于,所述性能监控器是专用硬件设施。
11.根据权利要求5所述的系统,其特征在于,所述次网是物理上独立于通讯子网和存储子网的专用网络。
12.根据权利要求5所述的系统,其特征在于,所述次网是借用通讯子网的、物理上不独立的非专用网络。
CNB2005100899297A 2005-08-08 2005-08-08 基于存域网的海量存储系统的性能监控方法及系统 Active CN100347990C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005100899297A CN100347990C (zh) 2005-08-08 2005-08-08 基于存域网的海量存储系统的性能监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100899297A CN100347990C (zh) 2005-08-08 2005-08-08 基于存域网的海量存储系统的性能监控方法及系统

Publications (2)

Publication Number Publication Date
CN1719785A CN1719785A (zh) 2006-01-11
CN100347990C true CN100347990C (zh) 2007-11-07

Family

ID=35931515

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100899297A Active CN100347990C (zh) 2005-08-08 2005-08-08 基于存域网的海量存储系统的性能监控方法及系统

Country Status (1)

Country Link
CN (1) CN100347990C (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428170C (zh) * 2007-01-26 2008-10-22 清华大学 基于贝叶斯决策的负载感知的io性能优化方法
CN102638378B (zh) * 2012-02-22 2014-05-21 中国人民解放军国防科学技术大学 一种集成异构存储设备的海量存储系统监控方法
GB2514601B (en) * 2013-05-30 2015-10-21 Xyratex Tech Ltd Method of, and apparatus for, detection of degradation on a storage resource
US9239746B2 (en) 2013-05-30 2016-01-19 Xyratex Technology Limited—A Seagate Company Method of, and apparatus for, detection of degradation on a storage resource
CN111090401B (zh) * 2020-03-23 2020-06-26 上海飞旗网络技术股份有限公司 存储设备性能预测方法及装置
CN111756575B (zh) * 2020-06-19 2023-08-11 北京星辰天合科技股份有限公司 存储服务器的性能分析方法及装置、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487436A (zh) * 2003-08-08 2004-04-07 华中科技大学 基于多通道存储设备的海量存储系统及其系统控制方法
US6845344B1 (en) * 2000-08-18 2005-01-18 Emc Corporation Graphical user input interface for testing performance of a mass storage system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6845344B1 (en) * 2000-08-18 2005-01-18 Emc Corporation Graphical user input interface for testing performance of a mass storage system
CN1487436A (zh) * 2003-08-08 2004-04-07 华中科技大学 基于多通道存储设备的海量存储系统及其系统控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大规模计算机互联网络性能监控模型的设计与实现 王继龙;吴建平.计算机研究与发展,第37卷第4期 2000 *

Also Published As

Publication number Publication date
CN1719785A (zh) 2006-01-11

Similar Documents

Publication Publication Date Title
CN100347990C (zh) 基于存域网的海量存储系统的性能监控方法及系统
Jeannot et al. Near-optimal placement of MPI processes on hierarchical NUMA architectures
CN103392314B (zh) 用于可扩展的n核统计信息聚合的系统和方法
US7440415B2 (en) Virtual network addresses
MXPA04003956A (es) Analisis de recursos de sistema agregados incluyendo matriz de correlacion y analisis de basado en metrica.
CN1212574C (zh) 使用本地标识符的端节点分区
US8954781B2 (en) Realtime test result promulgation from network component test device
US20110060818A1 (en) Method and Apparatus for Packet Analysis in a Network
CN1838011A (zh) 基于can总线的分布式控制网络智能管理装置及管理方法
CN1695282A (zh) 用于管理基于对象的群集的系统与方法
CN108400993A (zh) 智能工业装备组件式组建的物联网系统和存储介质
CN107025222A (zh) 一种分布式日志采集方法及装置
CN108833267A (zh) 智能工业网关
CN105991361A (zh) 一种云计算平台中云服务器的监控方法和监控系统
CN107404417A (zh) 一种监控数据的处理方法、处理装置及处理系统
CN102752219A (zh) 用于实现vd互连的方法和交换设备
Albrecht et al. Making work queue cluster-friendly for data intensive scientific applications
CN1917436A (zh) 基于Web实现网络设备集群式管理的方法
US7733800B2 (en) Method and mechanism for identifying an unmanaged switch in a network
CN1160906C (zh) 一种基于消息录制回放的模拟网元测试方法
CN1780237A (zh) 协议测试用逻辑拓扑网络及其实现协议测试的方法
Balman et al. Experiences with 100gbps network applications
CN1946035A (zh) 一种网元数据配置管理的方法及网元
CN101102228B (zh) 一种流量统计的方法及装置
Magnani et al. A control plane enabling automated and fully adaptive network traffic monitoring with eBPF

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: EASYWAY TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: TSINGHUA UNIVERSITY

Effective date: 20121225

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100084 HAIDIAN, BEIJING TO: 100083 HAIDIAN, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20121225

Address after: 100083 Beijing city Haidian District Wangzhuang Road No. 1, Tsinghua Tongfang Technology Plaza, A block 18 layer

Patentee after: Easyway Technology Co., Ltd.

Address before: 100084 Haidian District 100084-82 mailbox Beijing

Patentee before: Tsinghua University