CN111258870A - 分布式存储系统的性能分析方法、装置、设备及存储介质 - Google Patents
分布式存储系统的性能分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111258870A CN111258870A CN202010052863.9A CN202010052863A CN111258870A CN 111258870 A CN111258870 A CN 111258870A CN 202010052863 A CN202010052863 A CN 202010052863A CN 111258870 A CN111258870 A CN 111258870A
- Authority
- CN
- China
- Prior art keywords
- performance
- storage system
- distributed storage
- performance index
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 27
- 238000012423 maintenance Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 16
- 230000036541 health Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种分布式存储系统的性能分析方法、装置、设备及存储介质,所述方法包括:响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;接收所述至少两种类型的性能指标对应的服务器返回的性能指标;对返回的性能指标进行归一化处理,得到归一化性能指标;基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。利用本申请提供的技术方案可以有效全面对分布式存储系统进行运行性能分析,提高运维效率。
Description
技术领域
本申请涉及互联网通信技术领域,尤其涉及一种分布式存储系统的性能分析方法、装置、设备及存储介质。
背景技术
NFS(Network File System,网络文件系统)是一种运行机制,它通过网络提供给不同操作平台上的用户共享一个文件系统。基于NFS的分布式数据存储,提供了标准的NFS文件系统访问协议,为多个计算节点提供共享数据源,支持弹性容量和性能的扩展,扩展过程不会中断请求和应用,是一种高可用、高可靠的分布式文件系统,适合于大数据分析、媒体处理和内容管理等场景。
目前,为了保证分布式存储系统的健康运行,往往需要对分布式存储系统进行运行性能分析。现有技术中常常使用动态心跳技术和静态心跳技术对分布式存储系统进行故障检测,基于故障检测的结果实现分布式存储系统的的性能分析,但仅仅基于心跳的故障检测来评估分布式存储系统的性能,无法有效全面对分布式存储系统进行性能评估,也无法实现对故障的预警控制。因此,需要提供更可靠或更有效的方案。
发明内容
本申请提供了一种分布式存储系统的性能分析方法、装置、设备及存储介质,可以有效全面对分布式存储系统进行运行性能分析,提高运维效率。
一方面,本申请提供了一种分布式存储系统的性能分析方法,所述方法包括:
响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;
接收所述至少两种类型的性能指标对应的服务器返回的性能指标;
对返回的性能指标进行归一化处理,得到归一化性能指标;
基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
另一方面提供了一种分布式存储系统的性能分析装置,所述装置包括:
性能指标获取请求发送模块,用于响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;
性能指标接收模块,用于接收所述至少两种类型的性能指标对应的服务器返回的性能指标;
归一化处理模块,用于对返回的性能指标进行归一化处理,得到归一化性能指标;
性能分析结果确定模块,用于基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
另一方面提供了一种分布式存储系统的性能分析设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的分布式存储系统的性能分析方法。
另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的分布式存储系统的性能分析方法。
本申请提供的分布式存储系统的性能分析方法、装置、设备及存储介质,具有如下技术效果:
本申请通过获取分布式存储系统中的各种性能指标,可以对分布式存储系统的性能进行全面的分析,且并对各种类型的性能指标进行归一化处理,实现的指标维度统一,并基于各种性能指标对应的归一化性能指标来确定一个表征分布式存储系统的运行性能优劣的性能分析结果,可以有助于运维人员监控系统的整体健康情况,无需关注多个健康指标,提高运维效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种基于NFS的分布式存储系统的示意图;
图2是本申请实施例提供的一种分布式存储系统的性能分析方法的应用环境的示意图;
图3是本申请实施例提供的一种分布式存储系统的性能分析方法的流程示意图;
图4是本申请实施例提供的一种对返回的性能指标进行归一化处理,得到归一化性能指标的流程示意图;
图5是本申请实施例提供的另一种分布式存储系统的性能分析方法的的流程示意图;
图6是本申请实施例提供的一种分布式存储系统的性能分析装置的结构示意图;
图7是本申请实施例提供的一种分布式存储系统的性能分析方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种基于NFS的分布式存储系统的示意图。
在实际应用中,基于NFS的分布式存储系统提供了标准的NFS文件系统访问协议,为多个计算节点提供共享数据源,支持弹性容量和性能的扩展,扩展过程不会中断请求和应用,是一种高可用、高可靠的分布式文件系统,适合于大数据分析、媒体处理和内容管理等场景。
本说明书实施例中,所述分布式存储系统可以包括各需要请求数据的客户端节点01,NFS客户端02、NFS服务器03和存储池服务器04。
本说明书实施例中,所述分布式存储系统中数据IO(input/output,输入/输出)流主要包括如下:各客户端节点01依据linux文件系统机制通过NFS客户端02将IO数据封装成tcp/ip包,发送到NFS服务器03,NFS服务器03根据IO请求包的信息,分析读写权限及需求,从存储池服务器04进行数据的IO读写。
本说明书实施例中,上述网络节点,NFS客户端、NFS服务器和存储池服务器间可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
请参阅图2,图2是本申请实施例提供的一种分布式存储系统的性能分析方法的应用环境的示意图,具体的,上述应用环境可以包括性能分析平台100,分布式存储系统中的NFS服务器200和分布式存储系统中的存储池服务器300。
具体的,所述性能分析平台100可以包括面向用户的性能分析终端101和为所述性能分析终端101提供后台服务的性能分析服务器102。
在实际应用中,当需要对分布式存储系统进行运行性能分析时,性能分析平台100可以向分布式存储系统中的NFS服务器200或分布式存储系统中的存储池服务器300发送性能指标获取请求,并结合返回的性能指标进行运行性能分析。
具体的,可以由性能分析服务器102与NFS服务器200或存储池服务器300进行交互,获取性能指标,也可以有性能分析终端101与NFS服务器200或存储池服务器300进行交互,获取性能指标;具体的,若性能分析服务器102在获取到性能指标,可以直接发送给性能分析终端101,由性能分析终端101进行相应的性能分析,也可以在本地先进行运行性能分析,将最终的性能分析结果发送给性能分析终端101。
本说明书实施例中,上述性能分析平台100,分布式存储系统中的NFS服务器200和分布式存储系统中的存储池服务器300间可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
以下介绍本申请一种分布式存储系统的性能分析方法的具体实施例,图3是本申请实施例提供的一种分布式存储系统的性能分析方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示,所述方法可以包括:
S301:响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求。
本说明书实施例中,用户可以在性能分析平台中触发性能分析指令;然后,性能分析平台向至少两种类型的性能指标对应的服务器发送性能指标获取请求。具体的,可以结合相应的请求接口向服务器发送性能指标获取请求。
具体的,所述性能分析指令可以包括需要获取的性能指标的标识,以便性能分析平台可以向性能指标相应的服务器发起性能指标获取请求。
本说明书实施例中,所述至少两种类型的性能指标包括:所述分布式存储系统中NFS服务器的软件性能指标、所述NFS服务器的硬件性能指标、所述分布式存储系统的容量、所述分布式存储系统中存储池服务器的软件性能指标、所述存储池服务器的硬件性能指标中的至少两种;
所述分布式存储系统的容量至少包括所述NFS服务器上文件系统的数量和所述存储池服务器的容量中的至少一种。
具体的,所述分布式存储系统中NFS服务器的软件性能指标可以包括:CPU使用率、磁盘状态、inode(索引节点)使用率、CPU预设时间段内的(例如5分钟)负载、内存使用量、util_max(一秒钟内I/O操作的百分比中的最大值)、root分区使用率、数据分区使用率、网络出入流量、NFS进程状态和mountd(mountd进程是一个远程过程调用,其作用是对客户端要求安装(mount)文件系统的申请作出响应)进程状态、文件系统的吞吐量等,反映软件层面工作状况的指标。
具体的,所述NFS服务器的硬件性能指标可以包括:端口是否存在、硬件是否告警、代理上报是否超时等,反映硬件层面工作状况的指标。
具体的,所述存储池服务器的软件性能指标可以包括:CPU使用率、磁盘状态、inode使用率、CPU预设时间段内的(例如5分钟)分钟负载、内存使用量、util_max、root分区使用率、data分区使用率、网络出入流量、nfs进程状态和mountd进程状态等,反映软件层面工作状况的指标。
具体的,所述存储池服务器的硬件性能指标可以包括:端口是否存在、硬件是否告警、代理上报是否超时等,反映硬件层面工作状况的指标。
S303:接收所述至少两种类型的性能指标对应的服务器返回的性能指标。
在实际应用中,性能指标获取请求往往是发送至服务器的采集性能指标的存储介质中,相应的,该存储介质可以通过相应的的接口向服务器发起请求,获取性能指标,并通过相应的接口返回给性能分析平台。
在实际应用中,在存储介质获取到性能指标后,对应一些不能直接获取的性能指标,可以进行相应的计算后,作为最终返回的性能指标,例如,CPU预设时间段内的(例如5分钟)分钟负载等。
S305:对返回的性能指标进行归一化处理,得到归一化性能指标。
本说明书实施例中,为了保证对分布式存储系统的性能进行全面的分析,获取了多种性能指标,进一步的,由于多种性能指标间并不在一个维度,可以对返回的性能指标进行归一化处理,得到归一化性能指标,具体的,如图4所示,可以包括:
S3051:确定所述返回的性能指标的类型;
S3053:当所述返回的性能指标的类型为数值类时,根据所述返回的性能指标的数值大小和所述返回的性能指标对所述分布式存储系统的性能的正负影响对所述返回的性能指标进行归一化处理,得到归一化性能指标;
S3055:当所述返回的性能指标的类型为状态类时,统计状态类的性能指标中属于可用状态的数量,所述可用状态的数量对所述分布式存储系统的性能为正影响;
S3057:基于所述可用状态的数量对所述状态类的性能指标进行归一化处理,得到归一化性能指标。
在一个具体的实施例中,针对数值类的性能指标,假设将各种类型的性能指标均归一化至0-1之间,且数值类的性能指标对分布式存储系统的性能形成正影响;即,性能指标的数值越高,该分布式存储系统的性能越好,相应的,可以确定不同正影响的数值类的性能指标的上限(一般的超过该上限会造成故障)和下限(即最小值),相应的,将上限的性能指标对应1,下限性能指标对应0,进行归一化处理。
反之,当数值类的性能指标对分布式存储系统的性能形成负影响;即,性能指标的数值越高,该分布式存储系统的性能越差,相应的,可以确定不同负影响的数值类的性能指标的上限(一般的超过该上限会造成故障)和下限(即最小值),相应的,将上限的性能指标对应0,下限性能指标对应1,进行归一化处理。
在另一个具体的实施例中,针对状态类的性能指标,例如端口是否存在、硬件是否告警、代理上报是否超时、NFS进程状态和mountd进程状态;可以统计状态类的性能指标中属于可用状态的数量,具体的,其中可以状态对应着想要的性能指标正常运行的状态,例如,端口是否存在中的端口存在、硬件是否告警中的硬件未告警、NFS进程状态中的进程成功启动等。相应的,假设将各种状态类的性能指标均归一化至0-1之间,可以预先结合历史正常运行下的可以状态的数量情况设置数量上限阈值;相应的,该上限阈值对应1;0对应0。
本说明书实施例中,在进行归一化处理时,考虑到分布式存储系统中各种性能指标的多样性,可以结合不同类型的性能指标采取不同的归一化策略,实现后续的指标维度统一,有助于运维人员监控系统的整体健康情况,无需关注多个健康指标,提高运维效率。
S307:基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
在一个具体的实施例中,所述基于所述归一化性能指标确定所述分布式存储系统的性能分析结果可以包括:
1)获取每一种归一化性能指标对应的权重,所述权重为根据所述归一化性能指标对应的性能指标的故障概率确定的;
2)基于所述每一种归一化性能指标对应的权重和所述每一种归一化性能指标确定所述分布式存储系统的性能分析结果。
在实际应用中,根据归一化性能指标对应的性能指标的故障概率确定的权重可以包括:
1)获取所述分布式存储系统的历史故障数据;
2)基于所述历史故障数据确定每一种性能指标所导致故障的故障概率;
3)基于所述故障概率确定所述性能指标对应的权重。
现有技术中权重往往是简单的人为设定,但人为设定必然存在一定的主观性;本说明书实施例中,为了保证最终的性能分析结果可以准确客观的反映分布式存储系统的运行情况,可以结合历史故障数据进行每一种性能指标导致故障的故障概率分析,结合故障概率的分析,来进一步确定每一性能指标对应的权重。
本说明书实施例中,性能分析结果可以表征分布式存储系统的运行性能优劣;具体的,性能分析结果数值越高,分布式存储系统的运行性能越优;反之,性能分析结果数值越低,分布式存储系统的运行性能越劣;具体的,在结合故障概率确定权重时,故障概率越高的性能指标,相应的权重越低;具体的,由于分布式存储系统的性能分析结果与分布式存储系统的运行性能优劣成正比,相应的,对容易造成故障的性能指标,降低其在分布式存储系统的性能分析结果中的比例;反之,故障概率越低的性能指标,相应的权重越高,即提高其在分布式存储系统的性能分析结果中的比例。
在一个具体的实施例中,假设返回的性能指标包括所述分布式存储系统中NFS服务器的软件性能指标、所述NFS服务器的硬件性能指标、所述分布式存储系统的容量、所述分布式存储系统中存储池服务器的软件性能指标和所述存储池服务器的硬件性能指标;相应的,这5种性能指标对应的归一化性能指标的权重可以依次为:15%、15%、10%、30%和30%。
在另一个具体的实施例中,所述基于所述归一化性能指标确定所述分布式存储系统的性能分析结果可以包括:
1)比较每一种归一化性能指标的数值大小;
2)将最小的数值作为所述分布式存储系统的性能分析结果。
本说明书实施例中,为了避免故障出现的概率,将归一化性能指标中最小的数值作为分布式存储系统的性能分析结果,以便及时对故障的预警控制。
在另一些实施例中,所述方法还包括:
展示所述返回的性能指标和所述性能分析结果。
具体的展示形式可以包括但不限于文本、列表、图形等形式。
由以上本说明书实施例提供的技术方案可见,本说明书通过获取分布式存储系统中NFS服务器和存储池服务器上的各种性能指标,可以对分布式存储系统的性能进行全面的分析,且并对各种类型的性能指标进行归一化处理,在进行归一化处理时,结合不同类型的性能指标采取不同的归一化策略,实现的指标维度统一;并基于各种性能指标对应的归一化性能指标来确定一个表征分布式存储系统的运行性能优劣的性能分析结果,可以有助于运维人员监控系统的整体健康情况,无需关注多个健康指标,提高运维效率,也可以对故障实现预警控制。
以下结合具体的应用场景介绍本申请分布式存储系统的性能分析方法的具体实施例,具体的,如图5所示,可以包括:
S501:性能分析平台响应于用户的性能分析指令,向至少两种类型的性能指标对应的服务器的采集指标模块发送性能指标获取请求;
S503:采集指标模块从对应的服务器获取相应的性能指标;
S505:采集指标模块向性能分析平台返回性能指标;
S507:性能分析平台对返回的性能指标进行归一化处理,得到归一化性能指标;
S509:性能分析平台基于所述归一化性能指标确定所述分布式存储系统的性能分析结果;
S511:性能分析平台展示所述返回的性能指标和所述性能分析结果。
具体的,采集指标模块可以为采集性能指标的存储介质。
本说明书在用户触发性能分析指令后,性能分析平台从相应的服务器获取的各种性能指标,且并对各种类型的性能指标进行归一化处理,实现的指标维度统一;并基于各种性能指标对应的归一化性能指标来确定一个表征分布式存储系统的性能优劣的性能分析结果,可以有助于运维人员监控系统的整体健康情况,无需关注多个健康指标,提高运维效率,也可以对故障实现预警控制。
此外,在实际应用中,本说明书实施例中,为了提高性能分析的灵活性,所述性能分析平台还可以提供各性能指标的查询功能,相应的,每一性能指标在性能分析平台的终端侧可以提供相应的触发区域,用户看通过点击高触发区域,触发该性能指标的查询请求,相应的,性能分析平台可以响应于该查询请求,向相应的服务器的采集指标模块发送性能指标获取请求,采集指标模块从对应的服务器获取相应的性能指标,并返回性能指标给性能分析平台,性能分析平台将返回的性能指标进进行展示。
本申请实施例还提供了一种分布式存储系统的性能分析装置,如图6所示,所述装置包括:
性能指标获取请求发送模块610,用于响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;
性能指标接收模块620,用于接收所述至少两种类型的性能指标对应的服务器返回的性能指标;
归一化处理模块630,用于对返回的性能指标进行归一化处理,得到归一化性能指标;
性能分析结果确定模块640,用于基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
在一些实施例中,所述归一化处理模块可以包括:
类型确定模块,用于确定所述返回的性能指标的类型;
第一归一化处理单元,用于当所述返回的性能指标的类型为数值类时,根据所述返回的性能指标的数值大小和所述返回的性能指标对所述分布式存储系统的性能的正负影响对所述返回的性能指标进行归一化处理,得到归一化性能指标;
第二归一化处理单元,用于当所述返回的性能指标的类型为状态类时,统计状态类的性能指标中属于可用状态的数量,所述可用状态的数量对所述分布式存储系统的性能为正影响;以及基于所述可用状态的数量对所述状态类的性能指标进行归一化处理,得到归一化性能指标。
在一些实施例中,性能分析结果确定模块可以包括:
权重获取单元,用于获取每一种归一化性能指标对应的权重,所述权重为根据所述归一化性能指标对应的性能指标的故障概率确定的;
加权处理单元,用于基于所述每一种归一化性能指标对应的权重和所述每一种归一化性能指标确定所述分布式存储系统的性能分析结果。
在一些实施例中,所述方法还包括:
历史故障数据获取模块,用于获取所述分布式存储系统的历史故障数据;
故障概率确定模块,用于基于所述历史故障数据确定每一种性能指标所导致故障的故障概率;
权重确定模块,用于基于所述故障概率确定所述性能指标对应的权重。
在一些实施例中,所述性能分析结果确定模块可以包括:
比较单元,用于比较每一种归一化性能指标的数值大小;
性能分析结果确定单元,用于将最小的数值作为所述分布式存储系统的性能分析结果。
在一些实施例中,所述至少两种类型的性能指标包括:所述分布式存储系统中NFS服务器的软件性能指标、所述NFS服务器的硬件性能指标、所述分布式存储系统的容量、所述分布式存储系统中存储池服务器的软件性能指标、所述存储池服务器的硬件性能指标中的至少两种;
所述分布式存储系统的容量至少包括所述NFS服务器上文件系统的数量和所述存储池服务器的容量中的至少一种。
在一些实施例中,所述装置还包括:
展示模块,用于展示所述返回的性能指标和所述性能分析结果。
所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例提供了一种分布式存储系统的性能分析设备,该分布式存储系统的性能分析设备包括处理器和存储器,该存储器中存储有至少一条指令、或至少一段程序,该至少一条指令或至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的分布式存储系统的性能分析方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图7是本申请实施例提供的一种分布式存储系统的性能分析方法的服务器的硬件结构框图。如图7所示,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central ProcessingUnits,CPU)710(处理器710可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器730,一个或一个以上存储应用程序723或数据722的存储介质720(例如一个或一个以上海量存储设备)。其中,存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器710可以设置为与存储介质720通信,在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口740,和/或,一个或一个以上操作系统721,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器700的通信供应商提供的无线网络。在一个实例中,输入输出接口740包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口740可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器700还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于设备之中以保存用于实现方法实施例中一种应用推广的实现方法相关的至少一条指令、或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的分布式存储系统的性能分析方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的分布式存储系统的性能分析方法、装置、服务器、设备或存储介质的实施例可见,本申请通过获取分布式存储系统中NFS服务器和存储池服务器上的各种性能指标,可以对分布式存储系统的性能进行全面的分析,且并对各种类型的性能指标进行归一化处理,在进行归一化处理时,结合不同类型的性能指标采取不同的归一化策略,实现的指标维度统一;并基于各种性能指标对应的归一化性能指标来确定一个表征分布式存储系统的运行性能优劣的性能分析结果,可以有助于运维人员监控系统的整体健康情况,无需关注多个健康指标,提高运维效率,也可以对故障实现预警控制。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种分布式存储系统的性能分析方法,其特征在于,所述方法包括:
响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;
接收所述至少两种类型的性能指标对应的服务器返回的性能指标;
对返回的性能指标进行归一化处理,得到归一化性能指标;
基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
2.根据权利要求1所述的方法,其特征在于,所述对返回的性能指标进行归一化处理,得到归一化性能指标包括:
确定所述返回的性能指标的类型;
当所述返回的性能指标的类型为数值类时,根据所述返回的性能指标的数值大小和所述返回的性能指标对所述分布式存储系统的性能的正负影响对所述返回的性能指标进行归一化处理,得到归一化性能指标;
当所述返回的性能指标的类型为状态类时,统计状态类的性能指标中属于可用状态的数量,所述可用状态的数量对所述分布式存储系统的性能为正影响;
基于所述可用状态的数量对所述状态类的性能指标进行归一化处理,得到归一化性能指标。
3.根据权利要求1所述的方法,其特征在于,所述基于所述归一化性能指标确定所述分布式存储系统的性能分析结果包括:
获取每一种归一化性能指标对应的权重,所述权重为根据所述归一化性能指标对应的性能指标的故障概率确定的;
基于所述每一种归一化性能指标对应的权重和所述每一种归一化性能指标确定所述分布式存储系统的性能分析结果。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述分布式存储系统的历史故障数据;
基于所述历史故障数据确定每一种性能指标所导致故障的故障概率;
基于所述故障概率确定所述性能指标对应的权重。
5.根据权利要求1所述的方法,其特征在于,所述基于所述归一化性能指标确定所述分布式存储系统的性能分析结果包括:
比较每一种归一化性能指标的数值大小;
将最小的数值作为所述分布式存储系统的性能分析结果。
6.根据权利要求1所述的方法,其特征在于,所述至少两种类型的性能指标包括:所述分布式存储系统中NFS服务器的软件性能指标、所述NFS服务器的硬件性能指标、所述分布式存储系统的容量、所述分布式存储系统中存储池服务器的软件性能指标、所述存储池服务器的硬件性能指标中的至少两种;
所述分布式存储系统的容量至少包括所述NFS服务器上文件系统的数量和所述存储池服务器的容量中的至少一种。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示所述返回的性能指标和所述性能分析结果。
8.一种分布式存储系统的性能分析装置,其特征在于,所述装置包括:
性能指标获取请求发送模块,用于响应于性能分析指令,向至少两种类型的性能指标对应的服务器发送性能指标获取请求;
性能指标接收模块,用于接收所述至少两种类型的性能指标对应的服务器返回的性能指标;
归一化处理模块,用于对返回的性能指标进行归一化处理,得到归一化性能指标;
性能分析结果确定模块,用于基于所述归一化性能指标确定所述分布式存储系统的性能分析结果。
9.一种应用推广的实现设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的分布式存储系统的性能分析方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的分布式存储系统的性能分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010052863.9A CN111258870A (zh) | 2020-01-17 | 2020-01-17 | 分布式存储系统的性能分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010052863.9A CN111258870A (zh) | 2020-01-17 | 2020-01-17 | 分布式存储系统的性能分析方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111258870A true CN111258870A (zh) | 2020-06-09 |
Family
ID=70954182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010052863.9A Pending CN111258870A (zh) | 2020-01-17 | 2020-01-17 | 分布式存储系统的性能分析方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111258870A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113296905A (zh) * | 2021-03-30 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 调度方法、装置、电子设备、存储介质及软件产品 |
WO2022016845A1 (zh) * | 2020-07-21 | 2022-01-27 | 国云科技股份有限公司 | 一种多节点监控方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102118276A (zh) * | 2009-12-31 | 2011-07-06 | 北京亿阳信通软件研究院有限公司 | 提供性能告警服务的方法和装置 |
CN103139007A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 应用服务器性能检测方法及系统 |
US20150261649A1 (en) * | 2014-03-13 | 2015-09-17 | International Business Machines Corporation | Method for performance monitoring and optimization via trend detection and forecasting |
CN107924337A (zh) * | 2015-11-13 | 2018-04-17 | 谷歌有限责任公司 | 分布式存储系统中的性能监测 |
CN108959048A (zh) * | 2018-06-22 | 2018-12-07 | 北京优特捷信息技术有限公司 | 模块化环境的性能分析方法、装置及可存储介质 |
CN109040277A (zh) * | 2018-08-20 | 2018-12-18 | 北京奇虎科技有限公司 | 一种服务器的远程监控方法及装置 |
CN109408341A (zh) * | 2018-11-13 | 2019-03-01 | 郑州云海信息技术有限公司 | 分布式存储系统性能监控方法、装置、设备及可读存储介质 |
CN109521968A (zh) * | 2018-11-19 | 2019-03-26 | 郑州云海信息技术有限公司 | 存储系统性能参数获取方法、数据处理装置及相关组件 |
CN110162388A (zh) * | 2019-04-26 | 2019-08-23 | 深圳智链物联科技有限公司 | 一种任务调度方法、系统及终端设备 |
CN110572297A (zh) * | 2019-08-09 | 2019-12-13 | 网宿科技股份有限公司 | 网络性能的评估方法、服务器及存储介质 |
-
2020
- 2020-01-17 CN CN202010052863.9A patent/CN111258870A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102118276A (zh) * | 2009-12-31 | 2011-07-06 | 北京亿阳信通软件研究院有限公司 | 提供性能告警服务的方法和装置 |
CN103139007A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 应用服务器性能检测方法及系统 |
US20150261649A1 (en) * | 2014-03-13 | 2015-09-17 | International Business Machines Corporation | Method for performance monitoring and optimization via trend detection and forecasting |
CN107924337A (zh) * | 2015-11-13 | 2018-04-17 | 谷歌有限责任公司 | 分布式存储系统中的性能监测 |
CN108959048A (zh) * | 2018-06-22 | 2018-12-07 | 北京优特捷信息技术有限公司 | 模块化环境的性能分析方法、装置及可存储介质 |
CN109040277A (zh) * | 2018-08-20 | 2018-12-18 | 北京奇虎科技有限公司 | 一种服务器的远程监控方法及装置 |
CN109408341A (zh) * | 2018-11-13 | 2019-03-01 | 郑州云海信息技术有限公司 | 分布式存储系统性能监控方法、装置、设备及可读存储介质 |
CN109521968A (zh) * | 2018-11-19 | 2019-03-26 | 郑州云海信息技术有限公司 | 存储系统性能参数获取方法、数据处理装置及相关组件 |
CN110162388A (zh) * | 2019-04-26 | 2019-08-23 | 深圳智链物联科技有限公司 | 一种任务调度方法、系统及终端设备 |
CN110572297A (zh) * | 2019-08-09 | 2019-12-13 | 网宿科技股份有限公司 | 网络性能的评估方法、服务器及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022016845A1 (zh) * | 2020-07-21 | 2022-01-27 | 国云科技股份有限公司 | 一种多节点监控方法、装置、电子设备及存储介质 |
CN113296905A (zh) * | 2021-03-30 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 调度方法、装置、电子设备、存储介质及软件产品 |
CN113296905B (zh) * | 2021-03-30 | 2023-12-26 | 阿里巴巴新加坡控股有限公司 | 调度方法、装置、电子设备、存储介质及软件产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109039833B (zh) | 一种监控带宽状态的方法和装置 | |
CN112231075B (zh) | 一种基于云服务的服务器集群负载均衡控制方法及系统 | |
US9058259B2 (en) | System and method for dynamic problem determination using aggregate anomaly analysis | |
US10938847B2 (en) | Automated determination of relative asset importance in an enterprise system | |
CN112699007B (zh) | 监控机器性能的方法、系统、网络设备及存储介质 | |
CN111124830B (zh) | 一种微服务的监控方法及装置 | |
CN109976971B (zh) | 硬盘状态监测方法和装置 | |
CN112596975A (zh) | 对网络设备进行监控处理的方法、系统、设备和存储介质 | |
CN114356499A (zh) | Kubernetes集群告警根因分析方法及装置 | |
CN111258870A (zh) | 分布式存储系统的性能分析方法、装置、设备及存储介质 | |
CN115202958A (zh) | 一种电力异常监控方法、装置、电子设备及存储介质 | |
CN111488258A (zh) | 一种用于软硬件运行状态分析与预警的系统 | |
CN108390793A (zh) | 一种分析系统稳定性的方法及装置 | |
CN111130944B (zh) | 系统监控方法及系统 | |
CN105471938B (zh) | 服务器负载管理方法及装置 | |
CN114327967A (zh) | 设备修复方法及装置、存储介质、电子装置 | |
CN110109803B (zh) | 一种用户行为上报方法及系统 | |
CN115080363B (zh) | 一种基于业务日志的系统容量评估方法及装置 | |
CN110928663A (zh) | 一种跨平台多线程监控方法及装置 | |
CN116594843A (zh) | 服务监测方法、装置、系统及电子设备 | |
CN116260703A (zh) | 分布式消息服务节点cpu性能故障自恢复方法及装置 | |
CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
CN114371980A (zh) | 调用链路性能监控方法、装置、计算机设备及存储介质 | |
CN114640567A (zh) | Apache日志的分析方法及装置 | |
CN111611131B (zh) | 基于Saltstack的运维方法、装置、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200609 |