CN110659109A - 一种openstack集群虚拟机监控系统及方法 - Google Patents

Abstract

本发明涉及一种openstack集群虚拟机监控系统及方法，包括Nova服务模块、Neutron服务模块、虚拟机发现模块、prometheus服务模块和虚拟机监控转发模块，具体监控方法是虚拟机发现模块从Nova服务模块和Neutron服务模块获取虚拟机信息，并生成对应的prometheus配置文件，prometheus服务模块读取prometheus配置文件后向虚拟机监控转发模块发送请求，虚拟机监控转发模块从虚拟机获取虚拟机监控数据并返回给prometheus服务模块，由prometheus服务模块对虚拟机监控数据进行处理和展示。与现有技术相比，本发明通过虚拟机发现模块动态更新获取虚拟机信息、通过虚拟机监控转发模块获取虚拟机监控数据，实现了解耦虚拟机监控与虚拟机所在计算节点的目的，有利于虚拟机迁移或重建时快速可靠地收集虚拟机监控数据。

Description

一种openstack集群虚拟机监控系统及方法

技术领域

本发明涉及虚拟机监控技术领域，尤其是涉及一种openstack集群虚拟机监控系统及方法。

背景技术

随着云技术方案的成熟，基于openstack的云计算平台也被广泛应用于各个领域。一个完整的openstack集群，通常由多个计算节点、网络节点、控制节点和存储节点组成，其中，控制节点负责对其余节点的控制，包含虚拟机建立、迁移、网络分配以及存储分配等；计算节点负责虚拟机运行；网络节点负责外网络与内网络之间的通信；存储节点负责虚拟机的额外存储管理等，此外，openstack发展至今，总共集成了以下组件：Nova—计算服务、Neutron—网络服务、Swift—对象存储服务、Cinder—块存储服务、Glance—镜像服务、Keystone—认证服务、Horizon—UI服务、Ceilometer—监控服务、Heat—集群服务和Trove—数据库服务。

根据openstack自带的Nova服务，虚拟机会被调度分配到各个计算节点上，Neutron服务则提供计算节点与网络节点之间的通信服务、负责管理虚拟机网络之间的通信/拓扑等，在实际运行中，由于存在虚拟机迁移或重建等多个虚拟机应用场景，导致无法确定虚拟机活跃于哪个计算节点。传统的虚拟机监控方式都将监控部署在计算节点，即将虚拟机监控点与计算节点耦合，通过libvirt获取虚拟机监控参数，但这种方法无法迅速地对虚拟机迁移或重建作出反应，进而不利于及时可靠地收集虚拟机数据。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种openstack集群虚拟机监控系统及方法，通过解耦虚拟机监控与虚拟机所在计算节点，实现快速可靠收集虚拟机数据的目的。

本发明的目的可以通过以下技术方案来实现：一种openstack集群虚拟机监控系统，包括Nova服务模块、Neutron服务模块、虚拟机发现模块、prometheus服务模块和虚拟机监控转发模块，所述Nova服务模块和所述Neutron服务模块分别与虚拟机发现服务模块双向连接，所述虚拟机发现服务模块还连接至prometheus服务模块，所述prometheus服务模块与虚拟机监控转发模块双向连接，所述虚拟机监控转发模块还与虚拟机双向连接，所述Nova服务模块用于输出虚拟机基本数据及虚拟机运行状态数据；

所述Neutron服务模块用于输出虚拟机网络数据；

所述虚拟机发现模块用于发送请求虚拟机信息、获取虚拟机信息以生成prometheus配置文件，其中，虚拟机信息包括虚拟机基本数据、虚拟机运行状态数据和虚拟机网络数据；

所述prometheus服务模块用于读取prometheus配置文件以发送请求监控信息、处理虚拟机监控数据，以及展示处理后的虚拟机监控数据；

所述虚拟机监控转发模块用于解析请求监控信息，以从虚拟机获取虚拟机监控数据，并将虚拟机监控数据返回给prometheus服务模块。

进一步地，所述虚拟机发现模块分别通过Nova服务模块以及Neutron服务模块的API接口获取虚拟机信息。

进一步地，所述prometheus配置文件中包括虚拟机的查询地址，所述虚拟机的查询地址包括路由活跃的网络节点IP、虚拟机监控转发的服务端口、虚拟机ID、虚拟机内网IP以及虚拟机监控插件暴露端口。

进一步地，所述prometheus服务模块内包含grafana单元，所述grafana单元用于展示处理后的虚拟机监控数据。

一种应用openstack集群虚拟机监控系统的监控方法，包括以下步骤：

S1、虚拟机发现模块以第一预设时间间隔分别发送第一请求虚拟机信息给Nova服务模块、发送第二请求虚拟机信息给Neutron服务模块；

S2、Nova服务模块返回第一虚拟机信息给虚拟机发现模块、Neutron服务模块返回第二虚拟机信息给虚拟机发现模块；

S3、根据返回的第一虚拟机信息和第二虚拟机信息，虚拟机发现模块生成prometheus配置文件；

S4、prometheus服务模块以第二预设时间轮询虚拟机发现模块，以读取prometheus配置文件，并发送请求监控信息给虚拟机监控转发模块；

S5、虚拟机监控转发模块对请求监控信息进行解析，根据解析得到的信息，虚拟机监控转发模块通过Linux系统后台命名空间访问虚拟机内网IP和虚拟机暴露监控服务，从虚拟机获取虚拟机监控数据；

S6、虚拟机监控转发模块将虚拟机监控数据返回给prometheus服务模块，prometheus服务模块对虚拟机监控数据进行处理，并将处理后的虚拟机监控数据展示给用户。

进一步地，所述步骤S2和步骤S3中第一虚拟机信息包括虚拟机运行状态、虚拟机ID、虚拟机名称、虚拟机所在租户数据、虚拟机内网IP和虚拟机内网ID；

第二虚拟机信息包括虚拟机所连接的路由ID、路由活跃的网络节点。

进一步地，所述步骤S3和步骤S4中prometheus配置文件中包含虚拟机的查询地址，所述虚拟机的查询地址包括路由活跃的网络节点IP、虚拟机监控转发的服务端口、虚拟机ID、虚拟机内网IP以及虚拟机监控插件暴露端口；

所述步骤S5中解析得到的信息包括路由ID、虚拟机内网IP和虚拟机监控插件暴露端口。

进一步地，所述步骤S5具体包括以下步骤：

S51、虚拟机监控转发模块对接收到的请求监控信息进行解析，分解得到路由ID、虚拟机内网IP和虚拟机监控插件暴露端口；

S52、虚拟机监控转发模块通过Linux系统后台的命名空间，并根据路由ID，进入虚拟路由的命名空间，之后访问虚拟机内网IP和虚拟机监控插件暴露端口；

S53、虚拟机通过脚本收集虚拟机监控数据，并将虚拟机监控数据返回给虚拟机监控转发模块。

与现有技术相比，本发明通过设置虚拟机发现模块，以实现动态更新获取虚拟机信息，同时通过设置虚拟机监控转发模块，通过虚拟机内网地址对虚拟机监控，以获取虚拟机监控数据，这种方式能够将虚拟机监控与虚拟机所在计算节点进行解耦，从而在发生虚拟机迁移或重建等改变虚拟机所在计算节点的情况下，采用本发明的方法都能够及时可靠地进行虚拟机监控。

附图说明

图1为本发明的监控系统结构示意图；

图2为本发明的方法流程示意图。

图中标记说明：1、Nova服务模块，2、Neutron服务模块，3、虚拟机发现模块，4、prometheus服务模块，5、虚拟机监控转发模块。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1所示，一种openstack集群虚拟机监控系统，包括Nova服务模块1、Neutron服务模块2、虚拟机发现模块3、prometheus服务模块4和虚拟机监控转发模块5，其中，Nova服务模块1和Neutron服务模块2分别与虚拟机发现服务模块3双向连接，虚拟机发现服务模块3每隔一段时间通过Nova服务模块1和Neutron服务模块2的API接口获取当前虚拟机信息，从Nova服务模块1获取虚拟机基本数据(包括名称、ID、所在租户等后续需要用来标识该虚拟机的数据以及内网IP和内网ID)和虚拟机的运行数据(即运行或关机)，从Neutron服务模块2获取虚拟机网络数据(包括虚拟机所连接的路由ID，以及该路由活跃的网络节点IP)；

虚拟机发现服务模块3还连接至prometheus服务模块4，prometheus服务模块4则与虚拟机监控转发模块5双向连接，虚拟机发现服务模块3根据获取的虚拟机信息，生成prometheus配置文件，由prometheus服务模块4轮询prometheus配置文件中每台虚拟机的查询地址，向网络节点上的虚拟机监控转发模块5发送请求，并且prometheus服务模块4在接收到从虚拟机监控转发模块5返回的虚拟机监控数据之后，会对虚拟机监控数据进行处理、将处理后的虚拟机监控数据展示给用户，本实施例中，prometheus服务模块4内包含grafana单元，grafana单元用于展示处理后的虚拟机监控数据；

虚拟机监控转发模块5还与虚拟机双向连接，虚拟机监控转发模块5根据prometheus服务模块4发送的请求，通过解析参数，从虚拟机获取虚拟机监控数据，并将虚拟机监控数据返回给prometheus服务模块4。

本发明提出的openstack集群虚拟机监控系统在实际应用中的监控方法如图2所示，包括以下步骤：

S1、虚拟机发现模块以第一预设时间间隔分别发送第一请求虚拟机信息给Nova服务模块、发送第二请求虚拟机信息给Neutron服务模块；

S2、Nova服务模块返回第一虚拟机信息给虚拟机发现模块、Neutron服务模块返回第二虚拟机信息给虚拟机发现模块；

S3、根据返回的第一虚拟机信息和第二虚拟机信息，虚拟机发现模块生成prometheus配置文件；

S4、prometheus服务模块以第二预设时间轮询虚拟机发现模块，以读取prometheus配置文件，并发送请求监控信息给虚拟机监控转发模块；

S5、虚拟机监控转发模块对请求监控信息进行解析，根据解析得到的信息，虚拟机监控转发模块通过Linux系统后台命名空间访问虚拟机内网IP和虚拟机暴露监控服务，从虚拟机获取虚拟机监控数据；

S6、虚拟机监控转发模块将虚拟机监控数据返回给prometheus服务模块，prometheus服务模块对虚拟机监控数据进行处理，并将处理后的虚拟机监控数据展示给用户。

本实施例在应用上述监控系统及监控方法的具体过程为：

在prometheus服务所在节点运行虚拟机发现服务，该服务定期(设定为60秒)运行如下步骤：

步骤A1：基于openstack的Nova服务获取当前虚拟机信息，包括虚拟机运行状态(运行或关机)、名称、ID、所在租户等后续需要用来标识该虚拟机的数据，内网IP和内网ID；

步骤A2：基于openstack的Neutron服务获取虚拟机所连接的路由ID，以及路由活跃的网络节点；

步骤A3：根据步骤A1和A2中获取的数据，生成每台虚拟机对应的prometheus配置文件，以实施例中的一台虚拟机为例，其对应生成的prometheus配置文件中包含的虚拟机查询地址为如下的访问终端地址：

http://172.31.100.20:9236/metrics/a78ff208-6870-40d1-a391-7053af6595ec/172.30.0.10/9182，其中，172.31.100.20为路由活跃的网络节点IP，9236为虚拟机监控转发服务的服务端口，a78ff208-6870-40d1-a391-7053af6595ec为虚拟机ID，172.30.0.10为虚拟机内网IP，9182为虚拟机监控插件暴露的端口；

步骤B1：prometheus根据虚拟机发现服务在步骤A3中提供的配置文件，通过轮询步骤A3中生成的配置文件中每台虚拟机的查询地址，对虚拟机连接路由所在的网络节点进行访问，即向网络节点上的虚拟机监控转发服务发送http请求；

步骤B2：虚拟机监控转发服务接收到http请求，解析http请求中的url，分解得出路由ID，虚拟机内网IP，虚拟机暴露端口；

步骤B3：虚拟机监控转发服务通过Linux系统后台命名空间和从步骤B2中的到的路由ID，进入虚拟路由的命名空间，然后访问步骤B2中获取的虚拟机内网IP和虚拟机暴露端口；

步骤B4：虚拟机接收到来自虚拟机监控转发服务的请求，通过脚本收集虚拟机上的各项监控数据，并返回给虚拟机监控转发服务；

步骤B5：虚拟机监控转发服务将步骤B4中获取的虚拟机监控数据返回给prometheus，prometheus进行后续的处理和展示，其中，prometheus先根据设定的算法对虚拟监控数据进行计算，之后将计算得到的数据与预设阈值进行比较分析，当计算得到的数据超过预设阈值，则生成告警信息，并通过邮件、短信等方式通知用户，最后再由grafana等工具展示诸如虚拟机cpu、内存、硬盘使用率等虚拟机相关数据。

上述的步骤A1～A3为通过虚拟机发现模块动态更新获取虚拟机信息的过程，步骤B1～B5则为通过虚拟机监控转发模块获取虚拟机监控数据的过程，以此就能对虚拟机监控与虚拟机所在计算节点进行解耦，当虚拟机发生迁移或重建时，即使导致虚拟机所在计算节点发生改变，通过本发明的监控系统及监控方法，依旧能够及时可靠地获取虚拟机监控数据。

Claims (8)

1.一种openstack集群虚拟机监控系统，其特征在于，包括Nova服务模块、Neutron服务模块、虚拟机发现模块、prometheus服务模块和虚拟机监控转发模块，所述Nova服务模块和所述Neutron服务模块分别与虚拟机发现服务模块双向连接，所述虚拟机发现服务模块还连接至prometheus服务模块，所述prometheus服务模块与虚拟机监控转发模块双向连接，所述虚拟机监控转发模块还与虚拟机双向连接，所述Nova服务模块用于输出虚拟机基本数据及虚拟机运行状态数据；

所述Neutron服务模块用于输出虚拟机网络数据；

所述虚拟机发现模块用于发送请求虚拟机信息、获取虚拟机信息以生成prometheus配置文件，其中，虚拟机信息包括虚拟机基本数据、虚拟机运行状态数据和虚拟机网络数据；

所述prometheus服务模块用于读取prometheus配置文件以发送请求监控信息、处理虚拟机监控数据，以及展示处理后的虚拟机监控数据；

所述虚拟机监控转发模块用于解析请求监控信息，以从虚拟机获取虚拟机监控数据，并将虚拟机监控数据返回给prometheus服务模块。

2.根据权利要求1所述的一种openstack集群虚拟机监控系统，其特征在于，所述虚拟机发现模块分别通过Nova服务模块以及Neutron服务模块的API接口获取虚拟机信息。

3.根据权利要求1所述的一种openstack集群虚拟机监控系统，其特征在于，所述prometheus配置文件中包括虚拟机的查询地址，所述虚拟机的查询地址包括路由活跃的网络节点IP、虚拟机监控转发的服务端口、虚拟机ID、虚拟机内网IP以及虚拟机监控插件暴露端口。

4.根据权利要求1所述的一种openstack集群虚拟机监控系统，其特征在于，所述prometheus服务模块内包含grafana单元，所述grafana单元用于展示处理后的虚拟机监控数据。

5.一种应用权利要求1所述openstack集群虚拟机监控系统的监控方法，其特征在于，包括以下步骤：

S1、虚拟机发现模块以第一预设时间间隔分别发送第一请求虚拟机信息给Nova服务模块、发送第二请求虚拟机信息给Neutron服务模块；

S2、Nova服务模块返回第一虚拟机信息给虚拟机发现模块、Neutron服务模块返回第二虚拟机信息给虚拟机发现模块；

S3、根据返回的第一虚拟机信息和第二虚拟机信息，虚拟机发现模块生成prometheus配置文件；

S4、prometheus服务模块以第二预设时间轮询虚拟机发现模块，以读取prometheus配置文件，并发送请求监控信息给虚拟机监控转发模块；

S5、虚拟机监控转发模块对请求监控信息进行解析，根据解析得到的信息，虚拟机监控转发模块通过Linux系统后台命名空间访问虚拟机内网IP和虚拟机暴露监控服务，从虚拟机获取虚拟机监控数据；

S6、虚拟机监控转发模块将虚拟机监控数据返回给prometheus服务模块，prometheus服务模块对虚拟机监控数据进行处理，并将处理后的虚拟机监控数据展示给用户。

6.根据权利要求5所述的监控方法，其特征在于，所述步骤S2和步骤S3中第一虚拟机信息包括虚拟机运行状态、虚拟机ID、虚拟机名称、虚拟机所在租户数据、虚拟机内网IP和虚拟机内网ID；

第二虚拟机信息包括虚拟机所连接的路由ID、路由活跃的网络节点。

7.根据权利要求6所述的监控方法，其特征在于，所述步骤S3和步骤S4中prometheus配置文件中包含虚拟机的查询地址，所述虚拟机的查询地址包括路由活跃的网络节点IP、虚拟机监控转发的服务端口、虚拟机ID、虚拟机内网IP以及虚拟机监控插件暴露端口；

所述步骤S5中解析得到的信息包括路由ID、虚拟机内网IP和虚拟机监控插件暴露端口。

8.根据权利要求7所述的监控方法，其特征在于，所述步骤S5具体包括以下步骤：

S51、虚拟机监控转发模块对接收到的请求监控信息进行解析，分解得到路由ID、虚拟机内网IP和虚拟机监控插件暴露端口；

S52、虚拟机监控转发模块通过Linux系统后台的命名空间，并根据路由ID，进入虚拟路由的命名空间，之后访问虚拟机内网IP和虚拟机监控插件暴露端口；

S53、虚拟机通过脚本收集虚拟机监控数据，并将虚拟机监控数据返回给虚拟机监控转发模块。

Images