CN102710766A - 一种基于实时访问负载评测的集群存储接口节点配置方法 - Google Patents
一种基于实时访问负载评测的集群存储接口节点配置方法 Download PDFInfo
- Publication number
- CN102710766A CN102710766A CN2012101749051A CN201210174905A CN102710766A CN 102710766 A CN102710766 A CN 102710766A CN 2012101749051 A CN2012101749051 A CN 2012101749051A CN 201210174905 A CN201210174905 A CN 201210174905A CN 102710766 A CN102710766 A CN 102710766A
- Authority
- CN
- China
- Prior art keywords
- interface node
- node server
- load
- server
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 42
- 238000003032 molecular docking Methods 0.000 claims description 4
- 238000004880 explosion Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Test And Diagnosis Of Digital Computers (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于实时访问负载评测的集群存储接口节点配置方法，属于云计算、云存储技术领域，包括部署在接口节点服务器上的作为系统负载信息收集的系统负载监控评测模块、部署在管理服务器上用于选择相对空闲接口节点服务器并分配外部访问请求到接口节点服务器的访问入口模块、部署在管理服务器上用于设定系统管理策略、控制接口节点运行状态的的管理模块。本发明的一种基于实时访问负载评测的集群存储接口节点配置方法，在接口节点服务器集群中的可合理分配多种类型的外部访问请求，并实现接口节点服务器的高效、智能管理，在节约能源的同时保障各类业务访问质量，同时提高接口节点服务器的利用效率，间接减少分布式文件的访问压力。
Description
技术领域
本发明涉及一种云计算、云存储技术领域，具体地说是一种基于实时访问负载评测的集群存储接口节点配置方法。
背景技术
随着云计算和云存储应用对存储系统的容量和性能要求越来越高，大容量存储系统由扩充磁盘、阵列的扩展方式逐渐向分布式存储方式发展，作为可横向扩展的存储系统核心的分布式文件系统获得了较大的发展和应用。
分布式文件系统以接口节点服务器形式对外提供存储服务，接口节点服务器承担来自系统外部的读写访问请求，在云业务应用中呈现出了爆发式访问请求、海量访问请求等多种类型的外部访问请求，如何在接口节点服务器集群中的合理分配这种请求并实现接口节点服务器的高效、智能管理，在节约能源的同时保障各类业务访问质量，同时提高接口节点服务器的利用效率，间接减少分布式文件的访问压力成为了云业务管理中的一个重要问题。
在以分布式文件系统为基础存储设备的云计算、云存储应用业务中，分布式文件系统的客户端（接口节点服务器）数目迅速增长，针对成千上百的接口节点服务器的有效、动态、智能化管理成为一个重要问题。目前接口节点服务器的管理方式仍处于手工管理阶段，这就使得接口节点服务器只要启动运行就一直处于active(激活)状态，直至系统关机；只要处于激活状态，就为其分配外部访问请求，而不论其负载高低；此种管理方式下的接口节点服务器集群，不仅浪费了较多的电力资源，也使得处于高负载状态下的接口节点继续承载外部访问直至不堪重负。
发明内容
本发明的技术任务是提供在接口节点服务器集群中的可合理分配爆发式访问请求、海量访问请求等多种类型的外部访问请求，并实现接口节点服务器的高效、智能管理，在节约能源的同时保障各类业务访问质量，同时提高接口节点服务器的利用效率，间接减少分布式文件的访问压力的一种基于实时访问负载评测的集群存储接口节点配置方法。
本发明的技术任务是按以下方式实现的，包括集群存储系统的外部应用服务器、接口节点服务器、管理服务器以及文件系统的存储设备，外部应用服务器连接接口节点服务器、管理服务器；接口节点服务器连接管理服务器以及文件系统的存储设备；还包括：接口节点服务器上的系统负载监控评测模块、管理服务器上的访问入口模块、管理服务器上的管理模块；通过在接口节点服务器设置系统负载监控评测模块用以收集系统的实时负载并评测其可继续承担新增访问请求的能力；通过管理服务器的访问入口模块将系统的外部访问请求分配给较为空闲的接口节点服务器；通过管理模块收集接口节点服务器负载并按照设定的配置策略，对接口节点服务器运行服务状态（active、inactive）进行管理。
在分布式文件系统的所有接口节点服务器添加系统负载监控评测模块，系统负载监控评测模块是部署在接口节点服务器上的系统负载信息收集模块，用于获取接口节点服务器的实时运行性能负载信息（如CPU、内存、网络等）以及负载变化率信息，作为评测可继续承担负载的依据。实现在接口节点服务器实时监控系统的运行状态以及性能负载，根据其设备性能参数以及系统负载变化率信息评测其可继续承担外部新增访问请求的能力。
访问入口模块是部署在管理服务器上用于选择相对空闲接口节点服务器并分配外部访问请求到接口节点服务器的模块，通过收集处于active状态接口节点服务器的实时负载情况、设定的系统管理策略以及接口节点服务器运行负载阈值，将新增的外部访问请求分配到选择的负载相对空闲的接口节点范围服务器。访问入口模块收集系统负载模块产生的接口节点服务器的性能负载信息以及可继续承担外部请求的能力评测，解析通过管理模块设定的管理策略以及接口节点服务器的负载阈值，选择接口节点服务器集群中相对空闲的接口节点服务器作为新增访问请求的处理节点。
管理模块是部署在管理服务器上用于设定系统管理策略、控制接口节点运行状态（active、inactive）的模块，根据收集到的接口节点服务器集群的空闲程度，设定接口节点服务器承担外部访问请求的影响因子确保入口模块分配请求到相对空闲接口节点服务器，在接口节点服务器集群较为空闲时，选择处于active状态的空闲接口节点服务器并将其设置为inactive状态，在接口节点服务器集群较为繁忙时，选择处于inactive状态的接口节点服务器并激活其状态以参与处理系统外部访问请求。管理模块用于设定系统管理策略以及接口节点服务器的运行负载阈值，通过收集处于active状态接口节点服务器集群的整体实时负载，生成外部访问请求的分配因子作为系统访问入口模块智能选择空闲接口节点服务器的参数，在接口节点服务器集群负载较小时，选择空闲的接口节点服务器实时休眠管理、在接口节点服务器集群负载较大时，选择处于inactive的状态的接口节点服务器实时激活管理。
本发明的一种基于实时访问负载评测的集群存储接口节点配置方法具有以下优点：
1、提供在接口节点服务器集群中的可合理分配爆发式访问请求、海量访问请求等多种类型的外部访问请求；
2、实现接口节点服务器的高效、智能管理；
3、在节约能源的同时保障各类业务访问质量，同时提高接口节点服务器的利用效率，间接减少分布式文件的访问压力；因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种基于实时访问负载评测的集群存储接口节点配置方法的系统负载监控评测模块、访问入口模块、管理模块部署图；
附图2为一种基于实时访问负载评测的集群存储接口节点配置方法的访问入口模块流程图；
附图3为一种基于实时访问负载评测的集群存储接口节点配置方法的管理模块流程图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于实时访问负载评测的集群存储接口节点配置方法作以下详细地说明。
实施例：
如图1所示，本发明的一种基于实时访问负载评测的集群存储接口节点配置方法，包括集群存储系统的外部应用服务器、接口节点服务器、管理服务器以及文件系统的存储设备，外部应用服务器连接接口节点服务器、管理服务器；接口节点服务器连接管理服务器以及文件系统的存储设备；还包括：接口节点服务器上的系统负载监控评测模块、管理服务器上的访问入口模块、管理服务器上的管理模块；通过在接口节点服务器设置系统负载监控评测模块用以收集系统的实时负载并评测其可继续承担新增访问请求的能力；通过管理服务器的访问入口模块将系统的外部访问请求分配给较为空闲的接口节点服务器；通过管理模块收集接口节点服务器负载并按照设定的配置策略，对接口节点服务器运行服务状态（active、inactive）进行管理。
在分布式文件系统的所有接口节点服务器添加系统负载监控评测模块，系统负载监控评测模块是部署在接口节点服务器上的系统负载信息收集模块，用于获取接口节点服务器的实时运行性能负载信息（如CPU、内存、网络等）以及负载变化率信息，作为评测可继续承担负载的依据。
访问入口模块是部署在管理服务器上用于选择相对空闲接口节点服务器并分配外部访问请求到接口节点服务器的模块，通过收集处于active状态接口节点服务器的实时负载情况、设定的系统管理策略以及接口节点服务器运行负载阈值，将新增的外部访问请求分配到选择的负载相对空闲的接口节点范围服务器。
管理模块是部署在管理服务器上用于设定系统管理策略、控制接口节点运行状态（active、inactive）的模块，根据收集到的接口节点服务器集群的空闲程度，设定接口节点服务器承担外部访问请求的影响因子确保入口模块分配请求到相对空闲接口节点服务器，在接口节点服务器集群较为空闲时，选择处于active状态的空闲接口节点服务器并将其设置为inactive状态，在接口节点服务器集群较为繁忙时，选择处于inactive状态的接口节点服务器并激活其状态以参与处理系统外部访问请求。
系统负载监控评测模块是本方法应用的“前端感受器”，通过对接口节点服务器所承载的访问任务及系统负载的实时监测，实现较为快速、准确的负载状态实时监控；根据接口节点服务器的性能参数及负载变化率，生成其可继续承担外部访问负载的能力。
访问入口模块根据系统负载监控评测模块收集的系统实时负载状态，以及系统管理模块设定的管理策略，选择处于active状态且负载相对空闲的接口节点服务器承担系统新增的外部访问请求。
如图2所示的访问入口模块流程图。开始→系统管理策略运行负载阈值，解析系统管理策略与阈值信息→系统外部访问请求，接收系统外部访问请求→是否存在空闲接口节点？存在空闲接口节点直接到获取空闲接口节点服务器信息，若不存在空闲接口节点→收集接口节点空闲评测信息→过滤空闲接口节点服务器→获取空闲接口节点服务器信息→分配访问请求到接口节点。
系统管理模块是本方法的“控制器”，其根据系统设定的管理策略以及相应负载阈值，获取系统负载监控评测模块的负载监控信息以及可继续承担新增访问能力参数，在系统整体负载较小时，选择处于active状态且空闲的接口节点服务器实施休眠管理，在系统负载较重时，选择处于inactive状态的接口节点服务器实施激活管理，使其参与分布式文件系统的对外提供存储服务。
如图3所示的管理模块流程图。开始→系统管理策略与接口节点运行负载阈值，解析系统管理策略与接口节点阈值信息→接口节点实时负载监控测评，获取系统实时负载监控信息→负载信息测评完毕？NO返回获取系统实时负载监控信息，YES→评测接口节点集群整体负载→接口节点服务器集群整体负载超过阈值？YES→选择inactive状态接口节点服务器→修改接口节点运行状态，返回获取系统实时负载监控信息；接口节点服务器集群整体负载超过阈值？NO→设置接口节点服务器请求分配因子→存在空闲接口节点服务器？YES→选择空闲接口节点服务器→修改接口节点运行状态，返回获取系统实时负载监控信息；存在空闲接口节点服务器？NO→返回获取系统实时负载监控信息。
本发明的一种基于实时访问负载评测的集群存储接口节点配置方法，除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (4)
1.一种基于实时访问负载评测的集群存储接口节点配置方法，包括集群存储系统的外部应用服务器、接口节点服务器、管理服务器以及文件系统的存储设备，外部应用服务器连接接口节点服务器、管理服务器；接口节点服务器连接管理服务器以及文件系统的存储设备；其特征在于还包括：接口节点服务器上的系统负载监控评测模块、管理服务器上的访问入口模块、管理服务器上的管理模块；通过在接口节点服务器设置系统负载监控评测模块用以收集系统的实时负载并评测其可继续承担新增访问请求的能力；通过管理服务器的访问入口模块将系统的外部访问请求分配给较为空闲的接口节点服务器；通过管理模块收集接口节点服务器负载并按照设定的配置策略，对接口节点服务器运行服务状态进行管理。
2.根据权利要求1所述的一种基于实时访问负载评测的集群存储接口节点配置方法，其特征在于在分布式文件系统的所有接口节点服务器添加系统负载监控评测模块，系统负载监控评测模块是部署在接口节点服务器上的系统负载信息收集模块，用于获取接口节点服务器的实时运行性能负载信息以及负载变化率信息，作为评测可继续承担负载的依据。
3.根据权利要求1所述的一种基于实时访问负载评测的集群存储接口节点配置方法，其特征在于访问入口模块是部署在管理服务器上用于选择相对空闲接口节点服务器并分配外部访问请求到接口节点服务器的模块，通过收集处于active状态接口节点服务器的实时负载情况、设定的系统管理策略以及接口节点服务器运行负载阈值，将新增的外部访问请求分配到选择的负载相对空闲的接口节点范围服务器。
4.根据权利要求1所述的一种基于实时访问负载评测的集群存储接口节点配置方法，其特征在于管理模块是部署在管理服务器上用于设定系统管理策略、控制接口节点运行状态的模块，根据收集到的接口节点服务器集群的空闲程度，设定接口节点服务器承担外部访问请求的影响因子确保入口模块分配请求到相对空闲接口节点服务器，在接口节点服务器集群较为空闲时，选择处于active状态的空闲接口节点服务器并将其设置为inactive状态，在接口节点服务器集群较为繁忙时，选择处于inactive状态的接口节点服务器并激活其状态以参与处理系统外部访问请求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101749051A CN102710766A (zh) | 2012-05-30 | 2012-05-30 | 一种基于实时访问负载评测的集群存储接口节点配置方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101749051A CN102710766A (zh) | 2012-05-30 | 2012-05-30 | 一种基于实时访问负载评测的集群存储接口节点配置方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102710766A true CN102710766A (zh) | 2012-10-03 |
Family
ID=46903312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101749051A Pending CN102710766A (zh) | 2012-05-30 | 2012-05-30 | 一种基于实时访问负载评测的集群存储接口节点配置方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102710766A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103354503A (zh) * | 2013-05-23 | 2013-10-16 | 浙江闪龙科技有限公司 | 一种可自动检测及替换故障节点的云存储系统及其方法 |
| WO2015085736A1 (en) * | 2013-12-11 | 2015-06-18 | Tencent Technology (Shenzhen) Company Limited | Method and system for accessing a distributed file system |
| CN108900590A (zh) * | 2018-06-20 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种分布式软件架构方法及装置 |
| CN109960577A (zh) * | 2017-12-14 | 2019-07-02 | 中国电信股份有限公司 | 基于Nginx服务器的集群控制方法以及服务器 |
| CN110430288A (zh) * | 2019-09-16 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 节点访问方法、装置、计算机设备和存储介质 |
| CN111556343A (zh) * | 2020-03-30 | 2020-08-18 | 重庆厚齐科技有限公司 | 一种共享智能节点的视频传输系统 |
-
2012
- 2012-05-30 CN CN2012101749051A patent/CN102710766A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103354503A (zh) * | 2013-05-23 | 2013-10-16 | 浙江闪龙科技有限公司 | 一种可自动检测及替换故障节点的云存储系统及其方法 |
| WO2015085736A1 (en) * | 2013-12-11 | 2015-06-18 | Tencent Technology (Shenzhen) Company Limited | Method and system for accessing a distributed file system |
| US9483493B2 (en) | 2013-12-11 | 2016-11-01 | Tencent Technology (Shenzhen) Company Limited | Method and system for accessing a distributed file system |
| CN109960577A (zh) * | 2017-12-14 | 2019-07-02 | 中国电信股份有限公司 | 基于Nginx服务器的集群控制方法以及服务器 |
| CN108900590A (zh) * | 2018-06-20 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种分布式软件架构方法及装置 |
| CN110430288A (zh) * | 2019-09-16 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 节点访问方法、装置、计算机设备和存储介质 |
| CN111556343A (zh) * | 2020-03-30 | 2020-08-18 | 重庆厚齐科技有限公司 | 一种共享智能节点的视频传输系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066319B (zh) | 一种面向异构资源的多维调度系统 | |
| CN104238712B (zh) | 分布式功率输送 | |
| CN102710766A (zh) | 一种基于实时访问负载评测的集群存储接口节点配置方法 | |
| CN105049268A (zh) | 分布式计算资源分配系统和任务处理方法 | |
| CN104731799B (zh) | 内存数据库管理装置 | |
| CN103152393A (zh) | 一种云计算的计费方法和计费系统 | |
| CN102426544A (zh) | 任务分配方法和系统 | |
| CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
| CN105868004B (zh) | 一种基于云计算的业务系统的调度方法及调度装置 | |
| CN110362392A (zh) | 一种etl任务调度方法、系统、设备及存储介质 | |
| CN108519917A (zh) | 一种资源池分配方法和装置 | |
| CN116360972A (zh) | 资源管理方法、装置及资源管理平台 | |
| US10148531B1 (en) | Partitioned performance: adaptive predicted impact | |
| CN103078933A (zh) | 一种确定数据迁移时机的方法和装置 | |
| CN103761146A (zh) | 一种MapReduce动态设定slots数量的方法 | |
| CN102339233A (zh) | 云计算集中管理平台 | |
| CN105577572B (zh) | 基于预算限制自组织云任务执行时间最短化资源分配方法 | |
| CN103631873A (zh) | 一种数据压缩方法及存储系统 | |
| Zhou et al. | Goldilocks: Adaptive resource provisioning in containerized data centers | |
| CN102325054A (zh) | 一种分布式计算管理平台机群分级管理的自适应调整方法 | |
| US10033620B1 (en) | Partitioned performance adaptive policies and leases | |
| US20180196611A1 (en) | Highly scalable computational active ssd storage device | |
| Sun et al. | Cloud platform scheduling strategy based on virtual machine resource behaviour analysis | |
| CN105242955A (zh) | 一种虚拟机磁盘输入输出调度方法及系统 | |
| CN110825212B (zh) | 节能调度方法及装置、计算机可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121003 |
|
| WD01 | Invention patent application deemed withdrawn after publication |