CN111752806A - 一种云环境下虚拟磁盘io指标采集的方法 - Google Patents

Abstract

本发明提供一种云环境下虚拟磁盘IO指标采集的方法，属于指标信息采集技术领域，把基础采集指令集成到agent服务之中，对云服务器镜像中注入agent服务，使用此镜像启动云服务器，在采集程序中完成获取数据的原始函数封装，使用定时任务管理采集程序。在云中心的云环境中，云平台可以提供不同版本的云服务器资源制作好不同版本的镜像模板，提供给采集程序调用，并获取指标IO的原始数据，使用标准化处理解析程序对原始数据做预处理，最后归档入库到监控系统的相关性能指标数据表中。满足了客户准确的获取云环境上云服务器虚拟磁盘IO指标的需求。

Description

一种云环境下虚拟磁盘IO指标采集的方法

技术领域

本发明涉及指标信息采集技术，尤其涉及一种云环境下虚拟磁盘IO指标采集的方法。

背景技术

自云计算行业在全国各地开展以来，各省市云中心的建设项目越来越普及，随着国家对云中心建设的规模投入的要求越来越多，云中心需要建设的规模越来越大，根据租户的需求体现到云平台上的上云的业务越来越多，业务需求也就越来越复杂。其中在租户需求中，比较迫切的一个需求就是准确的掌握了解应用在云环境上产生的磁盘IO的指标信息，这对于租户优化和完善应用的参数和运行环境等方面有很大的作用和意义。因此云服务商需要具备准确获取到客户需要的虚拟磁盘的IO指标数据的采集能力。

在云中心的虚拟化环境部署中，云平台可以提供不同版本的云服务器资源以供租户使用，租户在使用云服务器资源过程中，需要对自己的应用程序在云服务内部产生的IO相关指标了解，以便及时对云服务器资源做变更和介质优化的处理，这种指标的准确性，不但可以作为客户评估自身应用并发指标的一个参考标准，而且能够让客户能够更详细的了解应用运行过程中的对虚拟磁盘IO能力的适配场景，为客户优化应用部署的介质选择场景提供了有力的数据指标证据。

目前现状下，很多的云服务商都是使用云环境自带的传统虚拟化工具获取的云服务器内部虚拟磁盘的IO指标，由于这种指标数据存在的误差比较大，如果客户依据此数据来评估并制定虚拟磁盘扩容和云服务器虚拟磁盘资源变更的方案，会出现虚拟资源浪费、虚机资源对于应用的实际IO指标不适配和不兼容的问题，这样会引起客户在使用云服务器的虚拟磁盘时出现感知不好和应用运行健康度低的情形。

发明内容

为了解决以上技术问题，本发明提供了一种云环境下虚拟磁盘IO指标采集的方法，针对云环境内运行的云服务器的指标，在监控系统的内部增加了适配的采集内核工具，并且能够灵活管理这一采集工具。

把基础采集指令集成到agent服务之中，对云服务器镜像中注入agent服务，使用此镜像启动云服务器，在采集程序中完成获取数据的原始函数封装，使用定时任务管理采集程序，从而保证虚拟磁盘IO指标数据获取的实时性。在云中心的云环境中，云平台可以提供不同版本的云服务器资源制作好不同版本的镜像模板，提供给采集程序调用，并获取指标IO的原始数据，使用标准化处理解析程序对原始数据做预处理，最后归档入库到监控系统的相关性能指标数据表中。本方法实现了三个功能，分别是：

(1)通过集成agent服务程序到云服务器的镜像模板中，封装了基础获取磁盘IO指标指令的功能处理程序。

(2)按照不同版本的操作系统的需求，指定定制化的镜像模板。

(3)采集程序扩展了libvirt内核qemu-guest-agent的程序，增加了对应的采集功能，从而可以准确的获取到云服务器内部虚拟磁盘IO指标的原始数据，获取之后使用标准化处理程序对原始文件做解析处理入库归档。

以上三个子模块，互相依赖，通过逻辑判断实用程序处理调用后完成数据采集的最终要求，方便部署和管理，对每一个子模块都可以实现横向扩展和灵活管理，可以适应不同版本的操作系统以及不同类型的云环境，灵活适配。使用这种方法可以灵活部署，满足客户准确获取自己管理的应用系统上云之后在云环境内部运行的虚拟磁盘的IO指标，据此，客户可以结合应用运行性能现状，通过分析采集获取到的磁盘IO指标值，对应用做环境选型、参数调优、资源变更等运维操作，能够使客户最大限度的使用云上资源。

本发明的一种云环境下虚拟磁盘IO指标采集的方法，基于vmstat命令工具的基础上，开发制备agent内部程序，并且对此程序做二次封装，打包制作到云服务器启动的镜像模板中，通过自启动的方式和服务端口的管理映射方式来管理和使用，云管监控模板的采集程序通过对应的agent服务的端口来调用和管理vmstat工具获取的磁盘相关指标，采集程序对获取到的原始数据做格式标准化处理，并按照标准的数据结构对虚拟磁盘的IO指标入库存档以备前端页面展示使用和报表数据的汇总使用。这种方法的处理流程主要包括以下处理环节：

(1)基于vmstat集成后的agent工具，注入到云服务器启动的镜像模板VMImage中；

(2)使用VMImage给客户开通云服务器资源；

(3)使用libvirt中的qemu-guest-agent工具探测检查云服务器内部的agent程序的运行状态；

(4)使用agent封装的指令，调用对应的IO采集的命令；

(5)调用命令之后，获取指令返回的数据，作为原始采集数据；

(6)对数据按照标准数据结构执行标准化；

(7)标准化之后入库归档。

进一步的，

首先客户需求是准确的获取云服务器内部虚拟磁盘读写IO相关指标，并且对指标做入库归档，作为客户分析对应用产生的磁盘IO的一个参考值，让用户能够及时掌握应用的运行IO能力，从而让用户对应用部署做后续的完善、调优和选型。

其中引入底层命令vmstat，可以查看虚机内部磁盘的IO指标数据，把此命令封装到agent的程序中，制作到启动云服务器的image中。

进一步的，

云环境中，按照客户需求，使用对应的镜像版本，启动完成客户需要的虚机。启动之后，agent程序会自动启动到云服务器的内部，以备qemu-guest-agent程序调用。

云服务器镜像模板中的agent的程序可以实现定制化，封装采集磁盘IO信息的命令，完成客户指标的数据映射和原始数据的采集，以备qemu-guest-agent程序调度使用，使用场景广泛，功能管理灵活。

进一步的，

云中心的上云服务器启动之后，agent服务已经自动加载启动到云服务器内部。在采集服务器上可以使用libivrt的管理工具探测云服务器内部的agent的状态，并且可以通过qemu-guest-agent调用agent的采集程序，这样就可以采集到磁盘IO的相关指标数据了。

客户的需求是能够准确的需要获取和搜集详细的租户应用运行过程中产生的IO。实现的这个功能，就是把需要采集的IO指标程序，使用镜像模板中的agent服务作为采集磁盘IO指标命令的一个跳板，使用libvirt工具中的qemu-guest-agent管理和调用云服务器镜像模板中agent的服务，从而可以实现准确的获取到云服务器内部的虚拟磁盘的IO的指标信息，并且通过qemu-guest-agent工具管理和调用云服务器内部agent服务，并把获取到的云服务器内部的虚拟磁盘IO指标生成对应原始数据采集文件，以备标准化使用。

在采集服务器上可以使用libivrt的管理工具采集到磁盘IO的相关指标数据，作为原始指标数据，这时，可以使用标准化工具对原始数据做数据字段的标准化处理，目标是为了满足归档数据表结构的字段要求。

采集程序内部封装和调用了libvirt内部的qemu-quest-agent工具，使用工具探测云服务器内部的agent服务，并调用agent内部的vmstat指令获取云服务器内部的虚拟磁盘的IO指标。获取的数据自动生成一个原始数据文件，存放到规划好的采集服务器的文件目录中，这时，可以使用标准化工具，对原始采集数据按照归档数据结构执行标准化的命令，从而自动生成磁盘IO指标的标准化数据文件，自动存放到采集服务器的标准化文件归档目录，等待入库程序对这一类型的标准化数据执行归档的操作。

本发明的有益效果是

云中心上云业务中，使用云服务器的产品是最多的，其中部署云服务器上的业务系统，客户存在实时了解自己部署上云业务的应用产生的虚拟磁盘IO的需求，而且这个虚拟磁盘IO指标需要越准确越有利于客户对应用系统的调优、选型和升级版本等操作。

1)本发明采用了云服务器内部加载agent服务的设计模式，把采集虚拟磁盘IO指标的基础指令封装到agent服务中，对这一个agent服务做定制化处理，从云服务器的启动镜像模板上做好定制化功能，按照不同操作系统的分类，把agent的服务分别注入到不同的镜像模板中，这种方式稳定了agent的服务程序管理，从镜像模板的版本中做好统一化的端口分配和管理，方便部署和使用。

2)本发明采用了平台层的libvirt管理定制化，在libvirt层的内核工具qemu-guest-agent的内部按照使用场景扩展了程序功能，并且通过libvirt的工具获取agent内部的基础管理指令工具，从agent的处理模式端口映射中，灵活的把基础指令的采集功能配置到了libvirt的管理模式中，多样化了支持了不同类型的操作系统的版本。

3)对于libvirt采集工具定制化做处理之后，从采集程序内部增加扩展，在这里可以实现定时任务管理采集程序的分配功能，可以对采集任务做好定制化的处理。

4)对于采集到的数据做好原始数据的存放管理，标准化处理程序对原始数据做解析，添加了采集日志和标准化输出的日志，从这里分解了两个任务，独立管理，减少了定位采集指标数据问题的难度，清晰分解了数据处理环节的任务流程，规范的处理标准化之后的数据存放任务。

5)对于采集到的原始指标数据，做好采集磁盘IO的相关数据指标的处理标准化入库管理，完整结束了数据入库的流程，以便稳定了数据存放的持久性，方便了数据作为后续分析提供报表使用的拓展功能。

附图说明

图1：基础指令agent封装流程图；

图2：云服务器注册agent到模板镜像处理流程图；

图3：指标数据处理流程图；

图4：程序部署流程图；

图5：采集文件配置目录截图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据现状分析，使用命令按照操作系统的类型把命令封装到一个agent的服务程序之中，按照操作系统类型把命令打包制作到云服务器启动的模板镜像中，跟随虚机启动就可以把这个功能置备到云服务器内部，供虚拟化层的libvirt层的qemu-guest-agent工具管理和调用，并且搜集使用命令调用返回的磁盘IO指标原始数据，汇集输出成定向的磁盘IO原始数据的原始采集文件，存放到规划好的原始数据目录下；之后标准化程序实时处理原始数据目录下的原始指标文件，按照系统数据结构的要求对原始数据做标准化处理，处理完成之后，把标准文件存放到标准化指定输出的目录下，供定时归档入库的程序调用，最终把这些数据按照要求解析导入到系统数据库中的指标相关的数据表中。

本发明是基于底层标准指令的基础上封装形成代理服务工具，并把工具以镜像模板的方式注册到云服务器启动虚机的镜像模板中，外部采用了libvirt内核工具qemu-guest-agent的接口做了增量功能的开发和演进，从而形成了一个使用可靠、管理灵活的采集工具，供采集程序封装调用，能够准确的放置到监控的采集服务程序中充分使用，以便满足客户需要获取准确虚拟磁盘IO指标的需求。

本发明对libvirt内核工具qemu-guest-agent的管理接口做了扩展封装和改造，在下层使用服务映射的方法形成了使用指令直接采集云服务器内部磁盘IO的指标的接口方式，对接了磁盘IO获取指令的原始数据信息，实现了云服务器上业务系统在云环境内部的使用场景上的准确数据获取和搜集功能，并且根据才做系统的不通类别做了标准指令的数据层适配调整，使用接口指令把基本指令封装固定到云服务器启动的镜像模板中，形成了从上到下的一个贯穿性的虚拟磁盘IO的采集模型，给客户提供了准确实时的虚拟磁盘IO的指标数据，不但满足了客户分析完善应用IO参数的优化调整的需求，而且增加了监控系统的数据指标功能。

1、对磁盘IO基础指令封装到云服务器启动镜像模板中。

操作流程如下：

·使用磁盘IO基础指令采集虚拟磁盘IO的命令定制化处理模块配置；

·使用镜像模板针对不同的操作系统版本，制作镜像的时候分类封装到不同操作系统版本的镜像模板中；

·把启动云服务器的镜像模板按照产品标准化的名称存放到平台部署的介质中，作为基线模板数据长期维护；

2、修改完善采集程序，增加采集检查agent状态的程序和采集对接程序。

操作流程如下：

·编写对应基础指令采集的agent代理服务程序，实现基础指令采集虚拟磁盘IO的功能；

·增加采集检查程序，把采集检查程序注入到libvirt内核的qemu-guest-agent工具中，并完成检测验证。

·针对libvirt内核下qemu-guest-agent的程序做采集定时任务的程序匹配，完成采集定时任务的程序定制化管理功能的实现。

·对采集程序做封板处理，使用定时任务做管理注册。

3、采集数据标准化配置工作，实现采集获取的原始数据目录存放归档、采集文件的标准化处理后输出目录文件归档、标准化文件输出之后的数据定时入库归档操作。

操作流程如下：

·采集程序获取到的文件对目录做配置，并把获取的虚拟磁盘IO指标数据输出到文件中，归档存放在原始采集文件目录下；

·标准化程序对原始文件做标准化文件处理的配置流程，完成原始数据文件标准化的配置功能，并把标准化之后的文件配置输出到标准化文件配置的目录下；

·使用数据解析处理工具，对标准化后的数据文件做入库操作，把标准化后的数据定时入库到监控系统数据库的采集指标相关的数据表中，完成归档存放。

云服务器的镜像模板提前上传到虚拟化平台节点上，并完成镜像注册的操作，以备管理平台开通云服务器资源调用创建云服务器的api接口是使用。

按照图4的操作流程进行部署实施，准备好部署工具的服务器，该工具的使用需要和DB节点和管理系统的WEB节点保持网络连通性，保证服务器节点的操作系统版本和DB节点、WEB节点的操作系统版本一致，安装接口程序依赖的程序包。

部署完成接口服务之后，使用管理员账号admin去登陆运维管理系统，检查接口的可用性，配置接口功能对应的界面菜单权限到运维人员ossyw的账号下，退出admin用户。使用运维账号ossyw登录，完成采集接口对应的定时任务的管理和配置功能。

详细的操作步骤如下：

1)准备采集服务器、web应用服务器、db服务器，这几个服务器节点的角色可以复用。

2)上传云服务器启动镜像到虚拟化平台节点，并注册到云平台中。

3)上传部署程序到对应的节点目录下，启动web应用的tomcat，安装部署DB服务，初始化db数据。

4)采集程序启动采集任务，并标准化采集任务到定时任务管理中配置定时启动相关参数。

5)配置需要采集的云服务器和虚拟磁盘的信息，测试采集程序的网络连通性。

6)检查采集任务产生的采集日志，检查采集生成的原始文件；

7)启动检查标准化解析，并检查标准化的目录是否正常生成和数据库匹配的标准数据文件。

8)启动数据归档程序，检查数据库的表中数据入库的结果，确认虚拟磁盘IO的指标字段正常入库。

此方法应用于采集工具，和采集程序部署在一起，能够独立在多个云中心监控系统和管理系统上部署使用。

部署程序不需要单独使用一个节点，节省了部署资源。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种云环境下虚拟磁盘IO指标采集的方法，其特征在于，

基于vmstat命令工具的基础上，开发制备agent内部程序，并且对此程序做二次封装，打包制作到云服务器启动的镜像模板中，通过自启动的方式和服务端口的管理映射方式来管理和使用，云管监控模板的采集程序通过对应的agent服务的端口来调用和管理vmstat工具获取的磁盘相关指标，采集程序对获取到的原始数据做格式标准化处理，并按照标准的数据结构对虚拟磁盘的IO指标入库存档以备前端页面展示使用和报表数据的汇总使用。

2.根据权利要求1所述的方法，其特征在于，

包括以下处理步骤：

1)基于vmstat集成后的agent工具，注入到云服务器启动的镜像模板VMImage中；

2)使用VMImage给客户开通云服务器资源；

3)使用libvirt中的qemu-guest-agent工具探测检查云服务器内部的agent程序的运行状态；

4)使用agent封装的指令，调用对应的IO采集的命令；

5)调用命令之后，获取指令返回的数据，作为原始采集数据；

6)对数据按照标准数据结构执行标准化；

7)标准化之后入库归档。

3.根据权利要求1所述的方法，其特征在于，

客户需求是获取云服务器内部虚拟磁盘读写IO相关指标，并且对指标做入库归档，作为客户分析对应用产生的磁盘IO的一个参考值，让用户能够及时掌握应用的运行IO能力，从而让用户对应用部署做后续的完善、调优和选型；

其中引入底层命令vmstat，查看虚机内部磁盘的IO指标数据，把此命令封装到agent的程序中，制作到启动云服务器的image中。

4.根据权利要求3所述的方法，其特征在于，

在云环境中，按照客户需求，使用对应的镜像版本，启动完成客户需要的虚机；启动之后，agent程序会自动启动到云服务器的内部，以备qemu-guest-agent程序调用。

5.根据权利要求4所述的方法，其特征在于，

云服务器镜像模板中的agent的程序实现定制化，封装采集磁盘IO信息的命令，完成客户指标的数据映射和原始数据的采集，以备qemu-guest-agent程序调度使用。

6.根据权利要求5所述的方法，其特征在于，

云中心的上云服务器启动之后，agent服务已经自动加载启动到云服务器内部；在采集服务器上使用libivrt的管理工具探测云服务器内部的agent的状态，并且通过qemu-guest-agent调用agent的采集程序，采集磁盘IO的相关指标数据。

7.根据权利要求5所述的方法，其特征在于，

把需要采集的IO指标程序，使用镜像模板中的agent服务作为采集磁盘IO指标命令的一个跳板，使用libvirt工具中的qemu-guest-agent管理和调用云服务器镜像模板中agent的服务，从而实现准确的获取到云服务器内部的虚拟磁盘的IO的指标信息，并且通过qemu-guest-agent工具管理和调用云服务器内部agent服务，并把获取到的云服务器内部的虚拟磁盘IO指标生成对应原始数据采集文件，以备标准化使用。

8.根据权利要求6所述的方法，其特征在于，

在采集服务器上使用libivrt的管理工具采集到磁盘IO的相关指标数据，作为原始指标数据，这时，使用标准化工具对原始数据做数据字段的标准化处理。

9.根据权利要求8所述的方法，其特征在于，

采集程序内部封装和调用了libvirt内部的qemu-quest-agent工具，使用工具探测云服务器内部的agent服务，并调用agent内部的vmstat指令获取云服务器内部的虚拟磁盘的IO指标；获取的数据自动生成一个原始数据文件，存放到规划好的采集服务器的文件目录中，这时，使用标准化工具，对原始采集数据按照归档数据结构执行标准化的命令，从而自动生成磁盘IO指标的标准化数据文件，自动存放到采集服务器的标准化文件归档目录，等待入库程序对这一类型的标准化数据执行归档的操作。

Images