CN106330602A - 一种云计算虚拟租户网络监控方法及系统 - Google Patents

Abstract

本发明公开了一种云计算虚拟租户网络监控方法及系统。本方法为：1)在基础云计算系统的控制节点建立一监控服务器，在计算节点建立一监控代理；2)监控服务器向监控代理发送时间消息和流量采集配置参数；3)各监控代理根据接收的时间消息完成时间同步启动定时机制，根据收到的采集配置参数开始采集所在计算节点交换机上的流量数据；4)各监控代理根据采集的流量数据中的网络设备信息，得到流量数据的租户标识；并根据定时机制定期将采集的流量数据生成单节点流量监控数据发送给所述监控服务器；5)监控服务器根据各监控代理发送的单节点监控数据生成租户网络监控数据。本发明最大限度减少对网络环境造成的负担，易于系统维护和扩展。

Description

一种云计算虚拟租户网络监控方法及系统

技术领域

本发明涉及云计算网络安全。具体来说，涉及到云计算虚拟租户网络的监控方法及系统。

背景技术

云计算逐渐成为计算机行业的发展趋势，但由于技术本身不成熟云计算正面临一系列安全挑战，虚拟网络安全问题在云计算环境普遍存在。为了解决这个问题，云计算提出多租户概念和虚拟网络隔离技术，提高虚拟网络环境的安全性。然而，云计算网络安全问题却转移到租户网络安全问题。在云计算系统中，虚拟化将传统的物理机虚拟化成若干个虚拟机形成一个大的虚拟机资源池，每个租户拥有资源池中的一组虚拟机，这些虚拟机通过租户网络相互连通，这种连通性为内部攻击的发生提供可能。当攻击者成功入侵了某个租户的一台虚拟机，他可以通过该虚拟机对该租户的其他虚拟机发动各种网络攻击。如果租户网络缺乏网络攻击防护能力，实施攻击非常方便且效果较为明显。为了保证租户网络安全性，必须感知租户网络安全状态，及时发现网络攻击，有效检测租户网络入侵。

目前，云计算网络监控方法主要是采集云计算系统内网和网络出入口的流量，并对采集到的流量进行分析处理，实现对网络流量的监控和网络态势的感知。如申请号为：201510574191.7的发明专利申请，一种云计算网络中南北向流量安全防护系统，采用虚拟防火墙判断报文来源，来源为虚拟机和Network网络的报文经由不同的处理，包括虚拟防火墙、第一网络转发层和第二网络转发层，实现南北向流量的安全防护。

云计算作为新兴技术，技术发展不成熟，虚拟租户网络监控方面的研究比较有限。对比传统网络监控方法，云计算虚拟租户网络的监控方法存在以下几方面问题：

其一，大规模数据中心拥有成大量租户网络，一个普通的网络设备承载着庞大的租户流量，传统的流量采集方式如何应用到云计算环境应该被慎重考虑，集中式的收集分析处理模式已经不再适用；

其二，网络虚拟化的引入使网络资源可以重复使用，不同租户创建的网络有所重叠，虚拟机ip地址被复用，简单根据IP地址区分租户的虚拟机流量不再可行，必须附加其他的识别信息；

其三，租户资源部署分散，一个租户的虚拟机部署在不同节点，造成租户网络监控数据的共享和租户网络的全局监控成为一个难点。

综上分析可知，有必要对传统网络监控方法进行改进，解决以上问题造成的监控难点。

发明内容

有鉴于此，本发明提出了一种云计算虚拟租户网络监控方法及系统，并将该方法在云计算系统中实现。该方法采用分布式的架构实现轻量级的虚拟机流量监控，使用一个服务器综合租户网络监控数据，最大限度减少对网络环境造成的负担，易于系统维护和扩展。

本发明的目的是提出一种云计算虚拟租户网络监控方法，其步骤包括：

1)在基础云计算系统的控制节点建立一个监控服务器，所述监控服务器完成本地监控数据缓存队列初始化后，启动定时机制，进入等待阶段；

2)在基础云计算系统的所有计算节点分别建立一个监控代理，所述监控代理完成本地监控数据队列初始化后，向所述监控服务器发送一确认信息，即Hello消息；

3)所述监控服务器在接收到所述监控代理发送的Hello消息后，进入监听阶段，向监控代理发送时间消息和流量采集配置参数；

4)所述监控代理接收时间消息和流量采集配置参数，完成时间同步启动定时机制，根据采集配置参数开始采集所在计算节点交换机上的流量；

5)所述监控代理分析处理采集的流量数据形成单节点流量监控数据，分配新的队列空间存储监控数据，追加在本地监控数据队列的队尾；

6)所述监控代理根据定时机制定期将单节点流量监控数据发送给所述监控服务器；

7)所述监控服务器接收所述监控代理发送的单节点监控数据，分配新的队列空间存储单节点监控数据，追加在本地监控数据缓存队列的队尾；

8)所述监控服务器综合同时间段内接收的所有单节点监控数据形成租户网络监控数据，将租户网络监控数据存储到数据库，将缓存队列相应的数据删除；

所述监控代理采集所在计算节点的虚拟交换机的流量数据，使用sflow数据流采样技术采样流量。

所述监控代理提取采集的流量数据中的网络设备信息，用该信息作为虚拟机流量区分标识，确定流量数据的租户归属，即通过网络设备信息得到租户标识。

所述监控代理监控其所驻的计算节点的每个虚拟机的流量，并将流量监控数据维护在本地队列，添加租户标识属性，租户标识属性将用于监控服务器识别监控数据属于哪个租户。

所述监控代理提取流量数据的租户标识、源地址、目的地址、协议类型、端口号、TCP标识位、TTL属性信息，并对属性信息进行统计形成包括租户标识和特征统计数据的单节点监控数据。

所述监控代理实现的定时机制周期性地将指定时间段内的单节点监控数据发送给所述监控服务器。

所述监控代理使用UDP报文封装单节点监控数据并附加时间间隔信息发送给所述监控服务器，所述监控服务器读取UDP报文数据负载获取单节点监控数据和时间间隔信息，分配新的队列空间存储监控数据和时间间隔信息，追加在缓存队列队尾。

所述监控服务器综合缓存队列的单节点监控数据方法如下：

a)所述监控服务器查询缓存队列中同一时间间隔是否包含所有所述监控代理发送的单节点监控数据；

b)如果时间间隔T2中所有所述监控代理发送的单节点监控数据全部存储在缓存队列中，所述监控服务器将时间间隔T2的监控数据综合形成租户网络数据，删除缓存队列中时间间隔T2的所有监控数据，释放缓存队列空间，所述监控服务器查询缓存队列是否存在前一个时间间隔T1的所述监控代理发送的单节点监控数据，根据如下规则综合监控数据；

b-1)如果缓存队列存在时间间隔T1的监控数据，所述监控服务器将时间间隔T1的监控数据综合形成租户网络数据，删除缓存队列中时间间隔T1的所有监控数据，释放缓存队列空间，所述监控服务器查询缓存队列是否存在前一个时间间隔T0的所述监控代理发送的单节点监控数据，重复所述步骤b-1)。

所述监控服务器提取同一租户的相同间间隔的虚拟机监控数据，区分虚拟机相互通信流量和虚拟机对外通信流量。如果数据包的源地址和目的地址都为租户虚拟机地址，则属于虚拟机相互通信流量；否则数据虚拟机对外通信流量。监控服务器为每个租户形成租户网络数据，虚拟机流量的源地址、目的地址、协议类型、端口号、TCP标识位作为流特征，租户网络数据包括租户每个虚拟机的流统计数据，代表租户内虚拟机的网络行为。租户网络数据将被存储在数据库中。

所述监控代理实现心跳机制，定期向所述监控服务器发送心跳数据包，所述监控服务器在一个时间段内没有收到心跳数据包则认为所述监控代理发生异常错误，产生告警信息。

本发明还提出一种云计算虚拟租户网络监控系统，包括：监控代理和监控服务器。监控代理包括：虚拟机流量采集模块、流量特征提取模块、单节点监控数据生成模块、单节点监控数据存储模块、单节点监控数据上报模块和心跳通报模块。监控服务器包括：监控数据缓存模块、租户监控数据综合模块和心跳检测模块，监控服务器向监控代理发送时间消息和流量采集配置参数。

所述虚拟机流量采集模块，用于采集流经计算节点的虚拟交换机上的虚拟机流量数据，根据网络设备信息为流量数据附加虚拟机标识和租户标识；

所述流量特征提取模块，用于提取流量数据的源地址、目的地址、协议类型、端口号、TCP标识位、TTL属性信息；

所述单节点监控数据生成模块，用于对所述流量特征提取模块提取的流量特征进行统计，形成单节点监控数据；

所述单节点监控数据存储模块，用于维护本地数据监控队列，将新生成的单节点监控数据存储在队列尾部，定期删除无用的单节点监控数据；

所述单节点监控数据上报模块，用于实现定时机制，定期将新单节点监控数据发送给监控服务器；

所述心跳通报模块，用于发送心跳数据包通知监控服务器自己的当前状态；

所述监控数据缓存模块，用于监控服务器接收各监控代理发送的单节点监控数据，并将监控数据存储在本地监控数据缓存队列，定期删除队列无用的单节点监控数据；

所述租户监控数据综合模块，用于服务器综合一个时间段内租户的所有虚拟机监控数据，即按照租户对单节点监控数据进行区分后得到各租户的监控数据并将租户监控数据存储在数据库中；

所述心跳检测模块，用于监控服务器接收监控代理发送的心跳数据包，判断节点监控代理是否存活。

与现有技术相比，本发明的有益效果：

本发明整体采用分布式的监控架构，监控系统可以随云计算系统规模扩大横向灵活扩展；监控代理针对单节点的虚拟机流量进行监控，针对流量特征实现轻量级监控；选取网络设备信息作为流量标识依据，帮助识别租户网络流量；使用一个服务器综合租户网络监控数据并维护监控数据，实现全局租户网络监控。该方法能够监控云系统中所有虚拟机的通信流量，并分析综合成代表租户网络行为的监控数据，提供租户网络态势感知能力，为多租户云计算系统的运维管理者提供决策依据。

附图说明

图1为本发明一种云计算虚拟租户网络监控方法一实施例中监控系统架构示意图。

图2为本发明一种云计算虚拟租户网络监控方法一实施例中监控系统功能分布示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在该技术方案中，监控代理嵌入计算节点中，监控服务器运行在控制节点。代理收集节点的虚拟机流量，分析统计形成单节点监控数据，并采用定时上报机制将监控数据发送给服务器。服务器接收所有代理发送的监控数据综合形成租户网络监控数据。

首先控制节点启动监控服务器，服务器进行本地初始化工作，主要包括设置监控时间起点、初始化本地缓存队列、开启监听端口等，初始化完成后，启动所有计算节点的监控代理，服务器进入等待模式，心跳检测模块等待所有监控代理的活跃消息。监控代理为其监控的节点与服务器之间完成时间同步，设置同步上报数据时间点，以便服务器综合同一时间段内的租户监控数据。代理完成本地缓存队列初始化工作后，心跳通报模块发送心跳数据包给服务器，告诉服务器代理的当前状态。当服务器确认所有代理处在活跃状态，向监控代理发送监控时间起点，开启虚拟租户网络监控。

本发明的技术内容主要包括：单节点监控数据的生成和租户网络监控数据的综合。

本发明所述的单节点监控数据的生成在监控代理上实现。代理运行在每个计算节点，采用sflow流量采集技术，将流经虚拟交换机的流量收集到本地。流量上附加了网络设备信息，标识了流量流经虚拟交换机的入口网络设备和出口网络设备，每个网络设备负责一个虚拟机和外界的通信交换，这种链接关系明确了流量的虚拟机归属，即流量是哪个虚拟机发送的，解决虚拟机地址重复的问题和伪造源IP地址报文的溯源问题。特征提取模块从流量样本提取源地址、目的地址、协议类型、端口号、TCP标识位、TTL属性信息，对流量特征进行统计并通过网络设备信息区分虚拟机归属，形成单节点监控数据。

监控代理将单节点监控数据存储在本地监控数据队列。本地监控数据队列是按时间增序的，每个时间间隔内生成的单节点监控数据存储在本地监控数据队列上对应的位置。一个固定大小的时间窗向队列时间增长方向滑动，当时间窗内的数据填满时，监控数据上报模块将时间窗内的所有数据发送给服务器，等待服务器对此进行响应：

1)如果在一定时间内接收到服务器发送的响应消息，表示服务器接收到监控数据，时间窗向队列时间增长方向滑动，划过所有时间窗内的数据，滑出时间窗的数据被清除，相应的队列空间被释放；

2)如果在一定时间内没有接收到服务器发送的响应消息，表示服务器可能没有接收到监控数据，重新发送时间窗内的监控数据，等待服务器对此进行响应，返回1)。

本发明所述的租户网络监控数据的综合在监控服务器上实现。

监控服务器接收所有监控代理发送的监控数据，接收到的数据和缓存队列中的数据进行对比：

1)如果该数据在缓存队列中存在，表示监控代理没有接收到服务器发送的响应消息，服务器产生一个响应消息发送给代理并丢弃该监控数据；

2)如果该数据在缓存队列中不存在，服务器将监控数据存储到缓存队列。

租户监控数据综合模块按时间增序检查缓存队列中是否存在同一时间内所有代理发送的监控数据：

1)如果缓存队列中存在时间T1内所有代理发送的监控数据，且队列中不存在时间T1之前时间T0的监控数据，服务器将同一租户的监控数据聚合在一起，存储到数据库，并删除这个时间内所有监控数据，释放缓存队列空间；

2)如果缓存队列中所有时间内缺少某个代理发送的监控数据，且服务器接收不到该代理发送的心跳数据，则视该监控代理故障，并将故障信息通知给系统。服务器不再等待该代理的监控数据，直到代理重新启动正常工作。服务器只检查缓存队列中其余代理发送的监控数据是否存在，并重复步骤1)和步骤2)。

如图1所示是本发明一种云计算虚拟租户网络监控方法一实施例中监控系统总体架构示意图，采用分布式的监控系统实施方式可以监控所有计算节点的虚拟机流量，识别虚拟机流量的租户信息，一个中心监控节点实现全局的租户网络监控。

如图2所示是本发明一种云计算虚拟租户网络监控方法一实施例中监控系统功能分布示意图，监控代理监控计算节点的虚拟机流量，形成单节点监控数据，发送给监控服务器，服务器将单节点监控数据根据租户属性综合成租户网络监控数据，并将租户网络监控数据存储在数据库中。

Claims (10)

1.一种云计算虚拟租户网络监控方法，其步骤为：

1)在基础云计算系统的控制节点建立一监控服务器，在基础云计算系统的计算节点建立一监控代理；

2)所述监控服务器向监控代理发送时间消息和流量采集配置参数；

3)各所述监控代理根据接收的时间消息完成时间同步启动定时机制，根据收到的采集配置参数开始采集所在计算节点交换机上的流量数据；

4)各所述监控代理根据采集的流量数据中的网络设备信息，得到流量数据的租户标识；并根据定时机制定期将采集的流量数据生成单节点流量监控数据发送给所述监控服务器；所述单节点流量监控数据包括流量数据的租户标识和流量数据中的特征统计数据；

5)所述监控服务器根据各所述监控代理发送的单节点监控数据生成租户网络监控数据。

2.如权利要求1所述的方法，其特征在于，步骤5)中，所述监控服务器根据单节点流量监控数据中的租户标识对各监控代理发过来的单节点监控数据进行区分，为每个租户形成租户监控数据；然后根据各租户监控数据生成租户网络监控数据。

3.如权利要求1所述的方法，其特征在于，步骤1)中，所述监控服务器完成一用于存储单节点监控数据的本地监控数据缓存队列初始化后，启动定时机制，进入等待阶段；各所述监控代理完成一用于存储单节点流量监控数据的本地监控数据队列初始化后，向所述监控服务器发送一确认信息；然后进行步骤2)。

4.如权利要求3所述的方法，其特征在于，步骤5)中，所述监控服务器维护该本地监控数据缓存队列的方法为：

a)所述监控服务器查询本地监控数据缓存队列中第n个时间间隔T_n内是否包含所有所述监控代理发送的单节点监控数据；

b)如果时间间隔T_n内所有所述监控代理发送的单节点监控数据全部存储在本地监控数据缓存队列中，所述监控服务器将时间间隔T_n内的单节点监控数据生成租户网络数据，然后删除本地监控数据缓存队列中时间间隔T_n内的所有单节点监控数据；然后所述监控服务器查询本地监控数据缓存队列是否存在前一个时间间隔T_n-1内发送的单节点监控数据，根据如下规则综合监控数据：

b-1)如果本地监控数据缓存队列存在时间间隔T_n-1的单节点监控数据，所述监控服务器将时间间隔T_n-1的单节点监控数据生成租户网络数据，删除本地监控数据缓存队列中时间间隔T_n-1的所有单节点监控数据，依次类推，重复所述步骤b-1)直到第1个时间间隔T₀。

5.如权利要求1所述的方法，其特征在于，步骤5)中，所述监控服务器从收到的单节点监控数据中提取同一租户的相同间间隔的虚拟机监控数据，区分虚拟机相互通信流量和虚拟机对外通信流量；其中，如果数据包的源地址和目的地址都为租户虚拟机地址，则属于虚拟机相互通信流量；否则数据虚拟机对外通信流量。

6.如权利要求1～5任一所述的方法，其特征在于，获取所述特征统计数据的方法为：首先提取流量数据的源地址、目的地址、协议类型、端口号、TCP标识位、TTL属性信息，然后对提取的数据进行统计得到所述特征统计数据。

7.如权利要求1～5任一所述的方法，其特征在于，步骤4)中，所述监控代理使用UDP报文封装单节点监控数据并附加时间间隔信息发送给所述监控服务器。

8.如权利要求1～5任一所述的方法，其特征在于，所述监控代理通过心跳机制定期向所述监控服务器发送心跳数据包，所述监控服务器在设定时间段内没有收到心跳数据包则认为所述监控代理发生异常错误，产生告警信息。

9.一种云计算虚拟租户网络监控系统，其特征在于，在基础云计算系统的控制节点建立一监控服务器，在基础云计算系统的计算节点建立一监控代理；其中，监控代理包括：虚拟机流量采集模块、流量特征提取模块、单节点监控数据生成模块、单节点监控数据存储模块、单节点监控数据上报模块；监控服务器包括：监控数据缓存模块、租户监控数据综合模块；监控服务器向监控代理发送时间消息和流量采集配置参数；其中，

所述虚拟机流量采集模块，用于根据收到的采集配置参数采集流经计算节点的虚拟交换机上的虚拟机流量数据，根据网络设备信息为流量数据附加虚拟机标识和租户标识；

所述流量特征提取模块，用于提取流量数据的设定特征数据；

所述单节点监控数据生成模块，用于对所述流量特征提取模块提取的特征数据进行统计，形成单节点监控数据；所述单节点流量监控数据包括流量数据的租户标识和流量数据的特征统计数据；

所述单节点监控数据存储模块，用于维护本地数据监控队列，将新生成的单节点监控数据存储在队列尾部；

所述单节点监控数据上报模块，用于根据接收的时间消息完成时间同步启动定时机制，定期将新单节点监控数据发送给监控服务器；

所述监控数据缓存模块，用于监控服务器接收所述监控代理发送的单节点监控数据，并将其存储在本地监控数据缓存队列；

所述租户监控数据综合模块，用于根据租户标识对同一时间段内单节点监控数据进行区分后得到各租户的监控数据并将租户监控数据存储在数据库中。

10.权利要求9所述的系统，其特征在于，所述单节点监控数据生成模块首先提取流量数据的源地址、目的地址、协议类型、端口号、TCP标识位、TTL属性信息，然后对提取的数据进行统计得到所述特征统计数据。