CN104184819B - 多层级负载均衡云资源监控方法 - Google Patents

Abstract

一种多层级负载均衡云资源监控方法，包括：建立分布式多层监控架构；分析各个监控节点资源状态并结合云平台用户指定需求自动生成各个资源监控脚本；群集中心节点综合主动兼被动的主机发现策略不断对所负责局域网进行监测；监控中心节点实时根据各个群集中心节点负载状态调整传输协议等监控策略，使用快速压缩、双向传输技术降低监控数据的传输开销，并在中心节点故障时及时切换群集中心节点；监控中心节点定期对各个资源的历史监控数据进行挖掘分析，并进行提前预警及深入监控。根据大规模分布式的云环境的特点，自动发现集群新节点，并依赖负载均衡技术，赋之于强大的容错机制和事件引擎，从而保证了云环境的高可靠性和安全性。

Description

多层级负载均衡云资源监控方法

技术领域

本发明涉及云计算技术，特别涉及一种支持主动发现的多层级负载均衡云资源监控方法。

背景技术

随着互联网时代的不断深入，云计算和大数据时代已经到来，传统的IT架构已经无法支持产生的海量数据，数据中心规模呈现出爆棚式的增长趋势。传统的物理资源监控方法已经无法满足当下所需，大量的人力运维成本给企业带来了严重的负担。在这种形势下，企业用云环境替代了传统IT基础设施架构，但是大规模扁平化的云资源是否安全可靠，云服务的整体性能能否像传统物理服务器那样稳定可靠，都需要有强大的云监控平台完成对整个数据中心多个集群的监控，对CPU、内存、存储、网络等资源进行7*24小时的实时监控，完善的报警体系，强大的容错机制，这些都将成为云监控的基本需求。

为此，云监控技术应运而生，在监控物理机资源的同时，也将重点转向了虚拟机资源。在兼容传统监控元素的同时，基于云环境的特点，对云监控技术也有了新的要求。首先，云主机虚拟网络是基于用户隔离的，如果将每个用户的所有云主机分为一个集群的话，云监控要涵盖所有的用户集群，必须通过云网络去实现所有监控功能。其次，基于云平台的弹性扩展特性，应对采集的监控数据进行智能分析，启动相应事件处理引擎，特别是处于长期报警状态或者闲置状态的云主机节点，应能自动修改云主机规格。再次，报警策略灵活配置，用户可以根据云主机上部署的应用，多维度多聚合度对监控的报警策略进行配置。最后，云监控技术应能够实现在大规模集群环境下的负载均衡和流量分发，防止网络阻塞。

当前，很多云监控产品已经如雨后春笋般的出现，有传统的监控产品改版的，也有新型的云监控产品。OpenStack的Ceilometer，做为一个社区的开源项目，最近才正式以稳定版本发布到OpenStack中，稳定性和可靠性有待验证，到目前为止Ceilometer受限于OpenStack，兼容性较差。Nagios，提供强大的监控框架，完善的报警系统以及容错控制，但是自带的组件监控项较少，目前无报警数据持久化存储以及友好的图形化界面展示。Ganglia，提供强大的监控机制，丰富的监控项，灵活的监控拓扑，完善的监控图表显示，但是缺乏报警功能，用户只能人工去发现问题。

发明内容

本发明解决的问题是提供一种多层级负载均衡云资源监控方法，能保证云环境的高可靠性和安全性。

为解决上述问题，本发明实施例提供了一种多层级负载均衡云资源监控方法，包括：建立分布式多层监控架构，并根据网络状况以及实际资源分布建立多个监控资源群集；分析各个监控节点资源状态并结合云平台用户指定需求自动生成各个资源监控脚本，并根据各资源不同优先级生成合适报警设置模板以及应急启动脚本；群集中心节点综合主动兼被动的主机发现策略不断对所负责局域网进行监测；监控中心节点实时根据各个群集中心节点负载状态调整传输协议等监控策略，使用快速压缩、双向传输技术降低监控数据的传输开销，并在中心节点故障时及时切换群集中心节点；监控中心节点定期对各个资源的历史监控数据进行挖掘分析，根据各个资源的多维度监控数据建立资源健康预测模型，有针对地对各个故障概率较高的资源进行提前预警及深入监控。

可选的，还包括：对云平台搭建的物理环境进行全面调研分析，然后根据整体云主机网络区域划分以及集群规模进行多层级的群集规划，并按照不同资源分布选取合适中心节点以及存储节点，具体方法包括：

选取具有公共网络接入能力同时具有较强计算资源的物理服务器作为多层级云资源监控总体中心节点，部署监控数据接收代理服务，接收子群集节点上报的监控数据并加以分析报警展示；

根据云平台所含物理服务器网络拓扑分布进行子群集划分，每个群集划分后选取计算资源最丰富节点作为子群集中心节点；

各级中心节点与其子群集中心节点、最底层子群集中心节点与群集内其它节点形成多层级的分布式监控架构，最底层物理服务器节点均部署监控数据采集代理服务，负责根据需求实时收集监控数据，之后根据网络状况监控数据由物理节点推送到所属子群集中心节点或等待被中心节点主动收集；

各个子群集中心节点同时部署监控数据采集代理服务以及监控数据接收服务，在接收子节点所有监控数据并展示分析的同时，也将所属群集信息加以精炼对上层中心节点进行上报；

在云平台资源监控总体中心节点注册各个群集以及所属子群集信息，后续的管理操作均通过自顶向下模式由中心节点向下扩散。

可选的，还包括：生成各个资源监控、报警以及应急处理脚本之前，需要针对每个资源自身情况，结合用户对资源使用倾向性，在已有的脚本模板规则库中进行搜索，生成并部署对应的脚本配置，实现有针对性的细粒度监测，具体方法包括：

扫描物理服务器所有资源根据配置模板库生成资源监控脚本，同时根据物理设备应用类型有针对性选择监控重点；

中心节点根据群集所属各个物理服务器适配生成的监控脚本，在配置模板库中选取对应的必备报警模板作为默认报警规则加入中心节点；

中心节点获取各物理服务器上用户服务进程运行状态，根据用户指定需求由配置模板库中选取对应的服务应急启动脚本部署到对应物理节点，保证相关服务在监控发现故障出错后，能够快速重启确保服务不出现中断状态。

可选的，由各个中心节点保持对其所负责群集进行实时的资源探测，当有新设备建立或加入时能够及时加入对应群集，并由对应群集中心节点部署代理服务加入到整体资源监控中，具体实施包括以下内容：

各个群集中心节点利用被动方式在所属子网内广播ARP数据包，之后在动态更新的高速ARP缓存中提取子网内主机的IP及MAC地址映射表，并更新到统一维护的全局地址映射表中，对于已有活动主机项进行MAC验证确认，而新增主机则触发后续主机发现确认；

中心节点对于所在子网的局域网内进行主动的主机发现，通过半开端口的TCP连接方式对活动主机进行连接验证。这种主动扫描探测方式能够较好确认主机状态，但为防止过度消耗网络带宽，仅对已知地址的活动主机进行状态确认；

在验证主动发现的新增主机活跃后，对应群集中心节点负责完成对新增服务器主机的监控代理部署以及监控、报警和应急处理脚本的配置，完成配置后群集中心节点向上层中心节点提交更新信息。

可选的，建立多种策略来对数据以及负载的分流和转移，以达到整体监控资源使用的平衡高效，具体措施包含以下内容：

报警规则计算分析的下降，实时报警需要根据监控数据进行规则匹配分析并生成分发对应报警内容，操作相对于监控要耗费较多计算资源。报警规则计算分析处理从总体中心节点蹭蹭下降到各个子群集中心节点，将计算负载逐层分散到各级中心节点上，保证系统不存在单点处理能力瓶颈，总体中心节点仅需要收集合并各个子中心节点上报的报警信息。

监控数据传输支持推送以及拉取两种方式，初始状态物理节点监控数据由所属群集中心节点统一拉取，中心节点能够自主控制监控信息实时性及状态判定。当中心节点负载上升无法提供更多空闲资源到所属群集各节点进行统一拉取时，则将该群集监控数据传输协议切换为推送方式，每个物理节点自主推送其监控数据到群集中心节点，降低中心节点负载消耗。

监控代理服务内嵌多级复合压缩技术，根据实时网络流量随时调整压缩级别设置，即时网络状况较差时，则监控代理会自主使用压缩技术将传输数据压缩，消耗部分计算资源来换取对网络传输带宽要求的大幅降低，同时监控代理能够根据计算资源空闲状况与网络状况选取最佳压缩级别达到整体资源效率平衡。

默认对各级监控及报警信息配置优先级属性，当系统负载过高后，优先传输报警信息以及重要监控信息，通用或级别较低监控信息则由本地缓存临时存储延迟传输。

各级中心节点根据子节点负载状态动态调整监控策略，增大状态数据采集间隔，减少总体数据传输量。

可选的，还包括：在群集中心节点利用对每个物理节点历史状态信息的收集，形成每个云资源使用的历史样本集，在样本集基础上利用数据挖掘中生存分析技术为每个物理节点的云资源使用模式建立风险回归模型，后续监控数据能够结合模型得到该资源后续发生故障的风险概率，帮助运维人员提早对云平台故障进行尽早的预测和预防，具体包括：

群集中心节点接收云资源监控数据同时，以用户配置或系统默认间隔阈值随机抽取数据，作为分析样本保存在该云资源专属状态历史信息库中，并利用高斯模型建立在线数据分布函数，即时清理可能引起生存分析模型偏差的异常及噪声数据。

利用半参数的Cox比例风险回归模型建立云资源针对事件以及时间的风险函数的回归模型，群集中心节点根据风险回归模型对后续监控数据进行实时的风险评估，当出现故障风险较大时则生成相应报警信息。

与现有技术相比，本技术方案具有以下优点：

本发明实施例根据大规模分布式的云环境的特点，结合当前云平台环境以及发展中的云监控产品特点，提出了基于大规模云计算集群的多层级负载均衡的全新的云资源监控方法，既具备了完善的监控机制，又提供了健全的报警流程以及容错机制。同时针对云环境的特点，提供对云主机的智能化自适应监控，自动调整云主机资源规格；基于云网络的垮租户的云主机统一监控；结合云主机上应用的特点，定制监控策略和报警。从而保证了云环境的高可靠性和安全性。

附图说明

图1是本发明实施例的多层级负载均衡云资源监控方法的流程示意图；

图2是本发明实施例的多层级负载均衡云资源监控的原理示意图。

具体实施方式

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

本发明实施例提供了一种多层级负载均衡云资源监控方法，请参考图1和图2，包括：

步骤S101，建立分布式多层监控架构，并根据网络状况以及实际资源分布建立多个监控资源群集；

步骤S102，分析各个监控节点资源状态并结合云平台用户指定需求自动生成各个资源监控脚本，并根据各资源不同优先级生成合适报警设置模板以及应急启动脚本；

步骤S103，群集中心节点综合主动兼被动的主机发现策略不断对所负责局域网进行监测；

步骤S104，监控中心节点实时根据各个群集中心节点负载状态调整传输协议等监控策略，使用快速压缩、双向传输技术降低监控数据的传输开销，并在中心节点故障时及时切换群集中心节点；

步骤S105，监控中心节点定期对各个资源的历史监控数据进行挖掘分析，根据各个资源的多维度监控数据建立资源健康预测模型，有针对地对各个故障概率较高的资源进行提前预警及深入监控。

具体的，在执行步骤S101时，需要对云平台搭建的物理环境进行全面调研分析，根据整体云主机网络区域划分以及集群规模进行多层级的群集规划，并按照不同资源分布选取合适中心节点以及存储节点，具体方法包括：

首先选取具有公共网络接入能力同时具有较强计算资源的物理服务器作为多层级云资源监控总体中心节点，部署监控数据接收代理服务，接收子群集节点上报的监控数据并加以分析报警展示；

根据云平台所含物理服务器网络拓扑分布进行子群集划分，每个群集划分后选取计算资源最丰富节点作为子群集中心节点；

各级中心节点与其子群集中心节点、最底层子群集中心节点与群集内其它节点形成多层级的分布式监控架构。最底层物理服务器节点均部署监控数据采集代理服务，负责根据需求实时收集监控数据，之后根据网络状况监控数据由物理节点推送到所属子群集中心节点或等待被中心节点主动收集；

各个子群集中心节点同时部署监控数据采集代理服务以及监控数据接收服务，在接收子节点所有监控数据并展示分析的同时，也将所属群集信息加以精炼对上层中心节点进行上报；

在云平台资源监控总体中心节点注册各个群集以及所属子群集信息，后续的管理操作均通过自顶向下模式由中心节点向下扩散。

执行步骤S102，在生成各个资源监控、报警以及应急处理脚本之前，需要针对每个资源自身情况，结合用户对资源使用倾向性，在已有的脚本模板规则库中进行搜索，生成并部署对应的脚本配置，实现有针对性的细粒度监测，方法的具体实施包含以下内容：

扫描物理服务器所有资源根据配置模板库生成资源监控脚本，同时根据物理设备应用类型有针对性选择监控重点；

中心节点根据群集所属各个物理服务器适配生成的监控脚本，在配置模板库中选取对应的必备报警模板作为默认报警规则加入中心节点；

中心节点获取各物理服务器上用户服务进程运行状态，根据用户指定需求由配置模板库中选取对应的服务应急启动脚本部署到对应物理节点，保证相关服务在监控发现故障出错后，能够快速重启确保服务不出现中断状态。

执行步骤S103，各个中心节点保持对其所负责群集进行实时的资源探测，当有新设备建立或加入时能够及时加入对应群集，并由对应群集中心节点部署代理服务加入到整体资源监控中，具体包括：

各个群集中心节点利用被动方式在所属子网内广播ARP数据包，之后在动态更新的高速ARP缓存中提取子网内主机的IP及MAC地址映射表，并更新到统一维护的全局地址映射表中，对于已有活动主机项进行MAC验证确认，而新增主机则触发后续主机发现确认；

中心节点对于所在子网的局域网内进行主动的主机发现，通过半开端口的TCP连接方式对活动主机进行连接验证。这种主动扫描探测方式能够较好确认主机状态，但为防止过度消耗网络带宽，仅对已知地址的活动主机进行状态确认；

在验证主动发现的新增主机活跃后，对应群集中心节点负责完成对新增服务器主机的监控代理部署以及监控、报警和应急处理脚本的配置，完成配置后群集中心节点向上层中心节点提交更新信息。

执行步骤S104，建立多种策略来对数据以及负载的分流和转移，以达到整体监控资源使用的平衡高效，具体措施包含以下内容：

报警规则计算分析的下降，实时报警需要根据监控数据进行规则匹配分析并生成分发对应报警内容，操作相对于监控要耗费较多计算资源。报警规则计算分析处理从总体中心节点蹭蹭下降到各个子群集中心节点，将计算负载逐层分散到各级中心节点上，保证系统不存在单点处理能力瓶颈，总体中心节点仅需要收集合并各个子中心节点上报的报警信息；

监控数据传输支持推送以及拉取两种方式，初始状态物理节点监控数据由所属群集中心节点统一拉取，中心节点能够自主控制监控信息实时性及状态判定。当中心节点负载上升无法提供更多空闲资源到所属群集各节点进行统一拉取时，则将该群集监控数据传输协议切换为推送方式，每个物理节点自主推送其监控数据到群集中心节点，降低中心节点负载消耗；

监控代理服务内嵌多级复合压缩技术，根据实时网络流量随时调整压缩级别设置，即时网络状况较差时，则监控代理会自主使用压缩技术将传输数据压缩，消耗部分计算资源来换取对网络传输带宽要求的大幅降低，同时监控代理能够根据计算资源空闲状况与网络状况选取最佳压缩级别达到整体资源效率平衡；

默认对各级监控及报警信息配置优先级属性，当系统负载过高后，优先传输报警信息以及重要监控信息，通用或级别较低监控信息则由本地缓存临时存储延迟传输；

各级中心节点根据子节点负载状态动态调整监控策略，增大状态数据采集间隔，减少总体数据传输量。

执行步骤S105，在群集中心节点利用对每个物理节点历史状态信息的收集，形成每个云资源使用的历史样本集，在样本集基础上利用数据挖掘中生存分析技术为每个物理节点的云资源使用模式建立风险回归模型，后续监控数据能够结合模型得到该资源后续发生故障的风险概率，帮助运维人员提早对云平台故障进行尽早的预测和预防，具体包括：

群集中心节点接收云资源监控数据同时，以用户配置或系统默认间隔阈值随机抽取数据，作为分析样本保存在该云资源专属状态历史信息库中，并利用高斯模型建立在线数据分布函数，即时清理可能引起生存分析模型偏差的异常及噪声数据；

利用半参数的Cox比例风险回归模型建立云资源针对事件以及时间的风险函数的回归模型，群集中心节点根据风险回归模型对后续监控数据进行实时的风险评估，当出现故障风险较大时则生成相应报警信息。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (5)

1.一种多层级负载均衡云资源监控方法，其特征在于，包括：

建立分布式多层监控架构，并根据网络状况以及实际资源分布建立多个监控资源群集；

分析各个监控节点资源状态并结合云平台用户指定需求自动生成各个资源监控脚本，并根据各资源不同优先级生成合适报警设置模板以及应急启动脚本；

群集中心节点综合主动兼被动的主机发现策略不断对所负责局域网进行监测；

监控中心节点实时根据各个群集中心节点负载状态调整传输协议等监控策略，使用快速压缩、双向传输技术降低监控数据的传输开销，并在集群中心节点故障时及时切换群集中心节点；

监控中心节点定期对各个资源的历史监控数据进行挖掘分析，根据各个资源的多维度监控数据建立资源健康预测模型，有针对地对各个故障概率较高的资源进行提前预警及深入监控；

还包括：对云平台搭建的物理环境进行全面调研分析，然后根据整体云主机网络区域划分以及集群规模进行多层级的群集规划，并按照不同资源分布选取合适集群中心节点以及存储节点，具体方法包括：

选取具有公共网络接入能力同时具有较强计算资源的物理服务器作为多层级云资源监控总体中心节点，部署监控数据接收代理服务，接收子群集中心节点上报的监控数据并加以分析报警展示；

根据云平台所含物理服务器网络拓扑分布进行子群集划分，每个群集划分后选取计算资源最丰富节点作为子群集中心节点；

各级中心节点与其子群集中心节点、最底层子群集中心节点与群集内其它节点形成多层级的分布式监控架构，最底层物理服务器节点均部署监控数据采集代理服务，负责根据需求实时收集监控数据，之后根据网络状况将监控数据由物理节点推送到所属子群集中心节点或等待被子群集中心节点主动收集；

各个子群集中心节点同时部署监控数据采集代理服务以及监控数据接收服务，在接收子节点所有监控数据并展示分析的同时，也将所属群集信息加以精炼对上层中心节点进行上报；

在云平台资源监控总体中心节点注册各个群集以及所属子群集信息，后续的管理操作均通过自顶向下模式由资源监控总体中心节点向下扩散。

2.根据权利要求1所述的一种多层级负载均衡云资源监控方法，其特征在于，还包括：生成各个资源监控、报警以及应急处理脚本之前，需要针对每个资源自身情况，结合用户对资源使用倾向性，在已有的脚本模板规则库中进行搜索，生成并部署对应的脚本配置，实现有针对性的细粒度监测，具体方法包括：

扫描物理服务器所有资源，根据配置模板库生成资源监控脚本，同时根据物理设备应用类型有针对性选择监控重点；

中心节点根据群集所属各个物理服务器适配生成的监控脚本，在配置模板库中选取对应的必备报警模板作为默认报警规则加入中心节点；

中心节点获取各物理服务器上用户服务进程运行状态，根据用户指定需求由配置模板库中选取对应的服务应急启动脚本部署到对应物理服务器，保证相关服务在监控发现故障出错后，能够快速重启确保服务不出现中断状态。

3.根据权利要求1所述的一种多层级负载均衡云资源监控方法，其特征在于，由各个群集中心节点保持对其所负责群集进行实时的资源探测，当有新设备建立或加入时能够及时加入对应群集，并由对应群集中心节点部署代理服务加入到整体资源监控中，具体实施包括以下内容：

各个群集中心节点利用被动方式在所属子网内广播ARP数据包，之后在动态更新的高速ARP缓存中提取子网内主机的IP及MAC地址映射表，并更新到统一维护的全局地址映射表中，对于已有活动主机项进行MAC验证确认，而新增主机则触发后续主机发现确认；

群集中心节点对于所在子网的局域网内进行主动的主机发现，通过半开端口的TCP连接方式对活动主机进行连接验证；这种主动扫描探测方式能够较好确认主机状态，但为防止过度消耗网络带宽，仅对已知地址的活动主机进行状态确认；

在验证主动发现的新增主机活跃后，对应群集中心节点负责完成对新增服务器主机的监控代理部署以及监控、报警和应急处理脚本的配置，完成配置后群集中心节点向上层中心节点提交更新信息。

4.根据权利要求1所述的一种多层级负载均衡云资源监控方法，其特征在于，建立多种策略来对数据以及负载的分流和转移，以达到整体监控资源使用的平衡高效，具体措施包含以下内容：

报警规则计算分析的下降，实时报警需要根据监控数据进行规则匹配分析并生成分发对应报警内容，操作相对于监控要耗费较多计算资源；报警规则计算分析处理从资源监控总体中心节点层层下降到各个子群集中心节点，将计算负载逐层分散到各级中心节点上，保证系统不存在单点处理能力瓶颈，资源监控总体中心节点仅需要收集合并各个子群集中心节点上报的报警信息；

监控数据传输支持推送以及拉取两种方式，初始状态物理节点监控数据由所属群集中心节点统一拉取，子群集中心节点能够自主控制监控信息实时性及状态判定；

当子群集中心节点负载上升无法提供更多空闲资源到所属群集各节点进行统一拉取时，则将该群集监控数据传输协议切换为推送方式，每个物理节点自主推送其监控数据到群集中心节点，降低群集中心节点负载消耗；

监控代理服务内嵌多级复合压缩技术，根据实时网络流量随时调整压缩级别设置，即时网络状况较差时，则监控代理会自主使用压缩技术将传输数据压缩，消耗部分计算资源来换取对网络传输带宽要求的大幅降低，同时监控代理能够根据计算资源空闲状况与网络状况选取最佳压缩级别达到整体资源效率平衡；

默认对各级监控及报警信息配置优先级属性，当系统负载过高后，优先传输报警信息以及重要监控信息，通用或级别较低监控信息则由本地缓存临时存储延迟传输；

各级群集中心节点根据子节点负载状态动态调整监控策略，增大状态数据采集间隔，减少总体数据传输量。

5.根据权利要求1所述的一种多层级负载均衡云资源监控方法，其特征在于，还包括：在群集中心节点利用对每个物理节点历史状态信息的收集，形成每个云资源使用的历史样本集，在样本集基础上利用数据挖掘中生存分析技术为每个物理节点的云资源使用模式建立风险回归模型，后续监控数据能够结合模型得到该资源后续发生故障的风险概率，帮助运维人员提早对云平台故障进行尽早的预测和预防，具体包括：

群集中心节点接收云资源监控数据同时，以用户配置或系统默认间隔阈值随机抽取数据，作为分析样本保存在该云资源专属状态历史信息库中，并利用高斯模型建立在线数据分布函数，即时清理可能引起生存分析模型偏差的异常及噪声数据；

利用半参数的Cox比例风险回归模型建立云资源针对事件以及时间的风险函数的回归模型，群集中心节点根据风险回归模型对后续监控数据进行实时的风险评估，当出现故障风险较大时则生成相应报警信息。