CN102710465A - 一种监控集群存储接口节点负载的方法 - Google Patents

Abstract

本发明提供一种监控集群存储接口节点负载的方法，该方法包含三个部分：接口节点服务器的性能参数收集模块，接口节点服务器实时负载监测模块，融合接口节点服务器性能参数阈值、实时负载监控以及最大负载变化率的负载评测模块，其中：接口节点服务器性能参数收集模块是部署在接口节点服务器上的系统设备性能参数收集模块，用于定时循环获取接口节点服务器CPU、内存、网络的性能参数信息，作为实时负载监控以及最大负载变化率的负载评测模块进行系统负载评测模块的数据来源之一。

Description

一种监控集群存储接口节点负载的方法

技术领域

本发明涉及计算机技术领域, 具体地说是一种监控集群存储接口节点负载的方法。

本发明应用于海量存储领域的分布式文件系统外部访问请求分配系统中。在云计算浪潮的推动下，高性能计算、网格计算、流媒体文件存储与访问等越来越多的依赖于大容量存储系统，其中以分布式文件系统为基础的分布式存储系统逐渐成为海量存储系统的主流应用。

针对外部访问请求任务在分布式文件系统成百上千台接口节点服务器中的合理分配成为云环境中的一个重要问题。这种问题的出现影响到接口节点服务器提供访问服务的效率、甚至造成访问服务的中断以至于影响到应用层的功能实现，特别是在接口节点服务器负载不堪重负时更加严重。

背景技术

随着云计算以及海量存储系统的发展，分布式文件系统在存储后端应用越来越广泛，分布式文件系统的直接访问节点（接口节点服务器或访问网关）的规模也迅速扩大，针对成百上千的接口节点服务器的管理及访问请求任务在接口节点服务器集群的合理分配成为云业务环境中的一个重要问题。解决此问题的关键则要实现以性能参数收集、负载实时监控为基础数据来源，负载变化率评测为中心的接口节点服务器可继续承担访问负载能力的评测功能。目前针对分布式文件系统接口节点负载的监控还较多的依赖于单个监控项（如CPU、内存等），而且没有考虑接口节点服务器系统负载变化率因素、更没有进行可继续承担负载能力的评测。

随着云计算和高性能应用对存储系统的容量和性能要求越来越高，作为分布式海量存储系统核心的分布式文件系统获得了较大的发展和应用。分布式文件系统以提供文件系统统一命名空间的形式提供存储空间给接口节点服务器，接口节点服务器承担来自系统外部针对分布式文件系统的访问请求。

在云业务环境中，将呈现出的长时间持续访问请求、特定时间段的爆发式访问请求，以及多业务的不同级别的访问请求合理的分配到不同接口节点服务器（或服务器集群）等问题将影响到存储系统的运行效率，以及系统上层业务应用的可靠性、一致性，以至于文件系统数据的一致性。

发明内容

本发明的目的是提供一种监控集群存储接口节点负载的方法。

本发明的方法是按以下方式实现的，本方法包含三个部分：接口节点服务器的性能参数收集模块，接口节点服务器实时负载监测模块，融合接口节点服务器性能参数阈值、实时负载监控以及最大负载变化率的负载评测模块。

接口节点服务器性能参数收集模块是部署在接口节点服务器上的系统设备性能参数收集模块，用于定时循环获取接口节点服务器CPU、内存、网络的性能参数信息，作为实时负载监控以及最大负载变化率的负载评测模块进行系统负载评测模块的数据来源之一。

接口节点服务器实时负载监测模块是部署在接口节点服务器上针对系统各种设备的负载监控和最大负载变化率监控评测模块，用于实时监控接口节点服务器CPU负载、内存负载、网络负载、访问请求任务负载；并根据历史负载的监控信息生成系统负载的变化率以及最大变化率信息，作为实时负载监控以及最大负载变化率的负载评测模块模块进行系统负载评测模块的数据关键来源。

实时负载监控以及最大负载变化率的负载评测模块是部署在接口节点服务器上用于整体评测接口节点服务器“空闲”程度的判决模块，此模块通过接口节点服务器的性能参数收集模块输出的系统设备性能参数信息以及接口节点服务器实时负载监测模块输出的实时绝对负载信息、负载变化率以及最大负载变化率信息，依照系统设定的负载评测策略生成接口节点服务器可继续承载外部访问负载的判决信息。此判决信息提供给分布式文件系统的入口服务器，入口服务器根据接口节点服务器集群中处于“活动”状态的接口节点服务器提供的判决信息选择较为“空闲”的接口节点服务器承担新增的访问请求。

在分布式文件系统的接口节点服务器设立性能参数收集模块、负载监测模块、负载测评模块，通过设置不同的监控评测策略，实现对接口节点服务器的可继续承担访问负载能力的整体评测，评测结果作为分布式文件系统入口服务器分配访问请求到“空闲”接口节点的重要依据,具体步骤如下：

通过在接口节点服务器设定可配置的系统负载评测策略，包括1）收集接口节点服务器的CPU、内存、带宽三种设备性能参数；2）针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率的监测，3）将两部分信息通过负载测评模块生成接口节点服务器，继续承担系统访问负载的评测；

   1）接口节点服务器的CPU、内存、带宽三种设备性能参数的收集，是通过获取设备的性能参数确定接口节点服务器硬件设备能够提供的最大负载性能阈值，接口节点服务器系统运行过程中承载的访问负载受限于三种设备的“公共”性能阈值，对于不同的访问负载任务，三种设备性能的消耗有着不同侧重点，其中任何一个最先接近其最大性能阈值则限制另两个设备负载的继续增加，因此在影响系统性能阈值的因素中综合考虑三种设备的性能阈值是较为合理的方法；

   2）针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率的监测，是本方法应用的核心，接口节点服务器的负载监测模块同时监控系统CPU负载、内存负载、网络负载以及任务请求负载，并提供针对系统设备和访问任务的可配置监控选项实现针对各种访问任务及应用业务的监控策略设定，实现接口节点系统的实时监控信息；在监控接口节点服务器性能负载的过程中，根据所承载请求任务数目的变化 ，在时间维度上生成系统所承载的最大负载和最大负载变化率，此部分的数据信息是判断接口节点服务器负载的核心依据；

3）将两部分信息通过负载测评模块生成接口节点服务器，继续承担系统访问负载的评测；判断接口节点服务器系统“空闲”程度的负载测评模块是对接口节点服务器的CPU、内存、带宽三种设备性能参数收集的数据和针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率输出数据的应用，根据接口节点服务器的CPU、内存、带宽三种设备性能参数的收集收集的系统性能最大阈值和针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率监测的系统实时负载以及最大负载变化率信息，综合设定的系统监控评测策略可以更加客观的整体评价接口节点服务器是否可继续承担外部访问负载请求，此部分产生的评测数据作为分布式文件系统入口服务器判决是否分配访问请求的一个输入，入口服务器根据不同接口节点服务器的负载评测信息，选择相对“空闲”的接口节点服务器承担来自系统外部的访问请求。

本发明的有益效果是：随着云计算以及海量存储系统的发展，分布式文件系统在存储后端应用越来越广泛，分布式文件系统的直接访问节点（接口节点服务器或访问网关）的规模也迅速扩大，针对成百上千的接口节点服务器的管理及访问请求任务在接口节点服务器集群的合理分配成为云业务环境中的一个重要问题。解决此问题的关键则要实现以性能参数收集、负载实时监控为基础数据来源，负载变化率评测为中心的接口节点服务器可继续承担访问负载能力的评测功能。

 目前针对分布式文件系统接口节点负载的监控还较多的依赖于单个监控项（如CPU、内存等），而且没有考虑接口节点服务器系统负载变化率因素、更没有进行可继续承担负载能力的评测。该方法通过在接口节点服务器设定可配置的系统负载评测策略，收集接口节点服务器的CPU、内存、带宽三种设备性能参数，实时监控接口节点服务器的CPU、内存、网络、访问任务的负载以及最大负载变化率，将两部分信息通过负载测评模块生成接口节点服务器可继续承担系统访问负载的评测。

附图说明

图1分布式文件系统监控部署结构；

图2实时负载监测模块流程图；

图3负载评测模块流程图。

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

本发明提出在分布式文件系统的接口节点服务器中引入设备性能信息收集模块、实时负载监测模块以及负载测评模块，实现在接口节点服务器中收集系统的设备最大性能阈值、系统实时访问承载、统计系统的最大负载变化率。根据上述信息评判的接口节点服务器“空闲”程度，作为分布式系统入口服务器为其分配访问任务的判决依据，从而避免传统方式只根据访问数目或者只根据单个设备的绝对负载分配的不合理性。

本方法包含三个部分：接口节点服务器的性能参数收集模块，接口节点服务器实时负载监测模块，融合接口节点服务器性能参数阈值、实时负载监控以及最大负载变化率的负载评测模块。

接口节点服务器性能参数收集模块是部署在接口节点服务器上的系统设备性能参数收集模块，用于定时循环获取接口节点服务器CPU、内存、网络的性能参数信息，作为实时负载监控以及最大负载变化率的负载评测模块进行系统负载评测模块的数据来源之一。

接口节点服务器实时负载监测模块是部署在接口节点服务器上针对系统各种设备的负载监控和最大负载变化率监控评测模块，用于实时监控接口节点服务器CPU负载、内存负载、网络负载、访问请求任务负载；并根据历史负载的监控信息生成系统负载的变化率以及最大变化率信息，作为实时负载监控以及最大负载变化率的负载评测模块模块进行系统负载评测模块的数据关键来源。

实时负载监控以及最大负载变化率的负载评测模块是部署在接口节点服务器上用于整体评测接口节点服务器“空闲”程度的判决模块，此模块通过接口节点服务器的性能参数收集模块输出的系统设备性能参数信息以及接口节点服务器实时负载监测模块输出的实时绝对负载信息、负载变化率以及最大负载变化率信息，依照系统设定的负载评测策略生成接口节点服务器可继续承载外部访问负载的判决信息。此判决信息提供给分布式文件系统的入口服务器，入口服务器根据接口节点服务器集群中处于“活动”状态的接口节点服务器提供的判决信息选择较为“空闲”的接口节点服务器承担新增的访问请求。

建立分布式文件系统的存储集群、接口节点服务器集群，设定接口节点服务器中性能参数收集模块、实时负载监测模块和负载评测模块。

建立分布式文件系统的访问请求入口服务器、设定其模块运行的信息来源：接口节点服务器信息、系统可承载最大负载阈值信息、参数收集信息、实时负载检测信息等。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种监控集群存储接口节点负载的方法, 其特征在于包含三个部分：接口节点服务器的性能参数收集模块，接口节点服务器实时负载监测模块，融合接口节点服务器性能参数阈值、实时负载监控以及最大负载变化率的负载评测模块，其中：

接口节点服务器性能参数收集模块是部署在接口节点服务器上的系统设备性能参数收集模块，用于定时循环获取接口节点服务器CPU、内存、网络的性能参数信息，作为实时负载监控以及最大负载变化率的负载评测模块进行系统负载评测模块的数据来源之一；

接口节点服务器实时负载监测模块是部署在接口节点服务器上针对系统各种设备的负载监控和最大负载变化率监控评测模块，用于实时监控接口节点服务器CPU负载、内存负载、网络负载、访问请求任务负载；并根据历史负载的监控信息生成系统负载的变化率以及最大变化率信息，作为实时负载监控以及最大负载变化率的负载评测模块模块进行系统负载评测模块的数据关键来源；

实时负载监控以及最大负载变化率的负载评测模块是部署在接口节点服务器上用于整体评测接口节点服务器“空闲”程度的判决模块，此模块通过接口节点服务器的性能参数收集模块输出的系统设备性能参数信息以及接口节点服务器实时负载监测模块输出的实时绝对负载信息、负载变化率以及最大负载变化率信息，依照系统设定的负载评测策略生成接口节点服务器可继续承载外部访问负载的判决信息，此判决信息提供给分布式文件系统的入口服务器，入口服务器根据接口节点服务器集群中处于“活动”状态的接口节点服务器提供的判决信息选择较为“空闲”的接口节点服务器承担新增的访问请求； 

在分布式文件系统的接口节点服务器设立性能参数收集模块、负载监测模块、负载测评模块，通过设置不同的监控评测策略，实现对接口节点服务器的可继续承担访问负载能力的整体评测，评测结果作为分布式文件系统入口服务器分配访问请求到“空闲”接口节点的重要依据,具体步骤如下：

通过在接口节点服务器设定可配置的系统负载评测策略，包括1）收集接口节点服务器的CPU、内存、带宽三种设备性能参数；2）针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率的监测，3）将两部分信息通过负载测评模块生成接口节点服务器，继续承担系统访问负载的评测；

    1）接口节点服务器的CPU、内存、带宽三种设备性能参数的收集，是通过获取设备的性能参数确定接口节点服务器硬件设备能够提供的最大负载性能阈值，接口节点服务器系统运行过程中承载的访问负载受限于三种设备的“公共”性能阈值，对于不同的访问负载任务，三种设备性能的消耗有着不同侧重点，其中任何一个最先接近其最大性能阈值则限制另两个设备负载的继续增加，因此在影响系统性能阈值的因素中综合考虑三种设备的性能阈值是较为合理的方法；

    2）针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率的监测，是本方法应用的核心，接口节点服务器的负载监测模块同时监控系统CPU负载、内存负载、网络负载以及任务请求负载，并提供针对系统设备和访问任务的可配置监控选项实现针对各种访问任务及应用业务的监控策略设定，实现接口节点系统的实时监控信息；在监控接口节点服务器性能负载的过程中，根据所承载请求任务数目的变化 ，在时间维度上生成系统所承载的最大负载和最大负载变化率，此部分的数据信息是判断接口节点服务器负载的核心依据；

3）将两部分信息通过负载测评模块生成接口节点服务器，继续承担系统访问负载的评测；判断接口节点服务器系统“空闲”程度的负载测评模块是对接口节点服务器的CPU、内存、带宽三种设备性能参数收集的数据和针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率输出数据的应用，根据接口节点服务器的CPU、内存、带宽三种设备性能参数的收集收集的系统性能最大阈值和针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率监测的系统实时负载以及最大负载变化率信息，综合设定的系统监控评测策略可以更加客观的整体评价接口节点服务器是否可继续承担外部访问负载请求，此部分产生的评测数据作为分布式文件系统入口服务器判决是否分配访问请求的一个输入，入口服务器根据不同接口节点服务器的负载评测信息，选择相对“空闲”的接口节点服务器承担来自系统外部的访问请求。

Images