CN113688009B - 一种云平台的云主机监控数据采集方法、系统及设备 - Google Patents
一种云平台的云主机监控数据采集方法、系统及设备 Download PDFInfo
- Publication number
- CN113688009B CN113688009B CN202110960887.9A CN202110960887A CN113688009B CN 113688009 B CN113688009 B CN 113688009B CN 202110960887 A CN202110960887 A CN 202110960887A CN 113688009 B CN113688009 B CN 113688009B
- Authority
- CN
- China
- Prior art keywords
- information
- index
- cloud host
- cloud
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开了一种云平台的云主机监控数据采集方法，应用于部署了OpenStack的k8s云平台中，包括：采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换，并发送至监控系统，以使监控系统实现对于云主机的监控数据采集。应用本申请的方案，对于部署了OpenStack的k8s云平台，可以实现云主机的全面的监控数据采集。同时本申请方案的扩展灵活性高。本申请还提供了一种云平台的云主机监控数据采集系统及设备，具有相应技术效果。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种云平台的云主机监控数据采集方法、系统及设备。
背景技术
OpenStack是一个开源的云计算管理平台项目，可以提供可扩展的弹性的云计算服务，OpenStack作为私有云的事实标准具备强大的基础设施管理能力。同时，Kubernetes，简称为K8s，是一个开源的容器编排引擎，支持自动化部署、大规模可伸缩、应用容器化管理。Kubernetes作为数据中心的统一控制平面具备强大的应用管理能力，因此，OpenStack和Kubernetes可实现互补以充分融合并发挥各自优势，部署了OpenStack的k8s云平台是目前的热点研究方向。
虽然OpenStack采集虚拟机数据较为全面，但是，在部署了OpenStack的k8s云平台中，是利用Kubernetes的Promethous技术栈实现监控数据采集，Promethous技术栈能够采集的监控数据种类非常少，即OpenStack的监控数据采集功能并不能直接迁移到Kubernetes中。
综上所述，对于部署了OpenStack的k8s云平台，如何实现云平台的云主机的全面的监控数据采集，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种云平台的云主机监控数据采集方法、系统及设备，以实现云平台的云主机的全面的监控数据采集。
为解决上述技术问题，本发明提供如下技术方案：
一种云平台的云主机监控数据采集方法，应用于部署了OpenStack的k8s云平台中，包括：
采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；
将采集的每一项信息中的各项指标按照预设的对应于所述指标的数据模板进行格式转换，并发送至监控系统，以使所述监控系统实现对于所述云主机的监控数据采集。
优选的，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
优选的，所述云主机中还安装了QGA管理工具，相应的，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，除了内存使用率之外的其余内存信息，除了磁盘使用率之外的其余磁盘信息，网络信息；
通过所述QGA管理工具采集所述云主机的内存使用率和磁盘使用率。
优选的，还包括：
当任意一项信息中的任意一项指标无法被采集时，将无法被采集的所述指标的数值设置为预设的异常值，或者将无法被采集的所述指标的数值设置为无数据。
优选的，还包括：
当任意一项信息中的任意一项指标的采集值超出该项指标的理论数值范围时，利用该项指标的理论数值范围中最接近所述采集值的数值替换所述采集值。
优选的，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
利用第一线程采集云平台的云主机的云主机状态信息，系统信息，CPU信息；
利用第二线程采集所述云主机的内存信息；
利用第三线程采集所述云主机的磁盘信息；
利用第四线程采集所述网络信息。
优选的，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
利用第一线程采集云平台的云主机的云主机状态信息，包括系统时间指标和创建时间指标的系统信息，包括CPU个数指标和CPU使用率指标的CPU信息；
利用第二线程采集所述云主机的包括内存使用率指标、内存总量指标、内存使用量指标、Cache量率指标的内存信息；
利用第三线程采集所述云主机的包括磁盘总量指标、磁盘使用量指标，磁盘读次数速率指标，磁盘写次数速率指标，磁盘读速率指标，磁盘写速率指标，磁盘读延迟指标以及磁盘写延迟指标的磁盘信息；
利用第四线程采集所述云主机的包括读速率指标，写速率指标，读包个数速率指标，写包个数速率指标、读丢包个数速率指标，写丢包个数速率指标，读错误以及写错误的所述网络信息。
优选的，所述数据模板包括：用于表示指标的名称的指标名称字段，用于表示指标所属的云主机的标签名称字段，以及用于表示指标具体数值的数值字段。
一种云平台的云主机监控数据采集系统，其应用于部署了OpenStack的k8s云平台中，包括：
原始数据采集模块，用于采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；
格式转换模块，用于将采集的每一项信息中的各项指标按照预设的对应于所述指标的数据模板进行格式转换，并发送至监控系统，以使所述监控系统实现对于所述云主机的监控数据采集。
一种云平台的云主机监控数据采集设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述任一项所述的云平台的云主机监控数据采集方法的步骤。
应用本发明实施例所提供的技术方案，本申请对于部署了OpenStack的k8s云平台，会采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，从而有利于实现云主机的全面的监控数据采集。进一步的，本申请的方案中，会将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换，并发送至监控系统，以使监控系统实现对于云主机的监控数据采集，使得本申请方案的扩展的灵活性高，即如果需要增加监控数据的指标项，只需要为该指标项新增一个数据模板，便可以使得采集到该指标项之后，可以按照对应于该指标项的模板进行格式转换并发送至监控系统，完成云主机的该指标项的监控数据采集，并不需要重新设置提取各个指标项的相关代码，操作上非常简单方便，灵活性很高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种云平台的云主机监控数据采集方法的实施流程图；
图2为本发明中一种云平台的云主机监控数据采集系统的结构示意图。
具体实施方式
本发明的核心是提供一种云平台的云主机监控数据采集方法，对于部署了OpenStack的k8s云平台，可以实现云主机的全面的监控数据采集。同时本申请方案的扩展灵活性高。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明中一种云平台的云主机监控数据采集方法的实施流程图，应用于部署了OpenStack的k8s云平台中，包括：
步骤S101：采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
具体的，云平台中通常包括多个云主机，每一个云主机均可以执行本申请的方案，即本申请的方案可以对1个或者多个云主机进行监控数据的采集。
本申请为了实现云主机全面的监控数据采集，会采集云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
这些信息可以由1项或者多项指标构成，在本发明的一种具体实施方式中，步骤S101可以具体包括：
利用第一线程采集云平台的云主机的云主机状态信息，系统信息，CPU信息；
利用第二线程采集云主机的内存信息；
利用第三线程采集云主机的磁盘信息；
利用第四线程采集网络信息。
该种实施方式中，利用4个线程实现信息采集，有利于保障信息采集的实时性。并且，考虑到内存信息，磁盘信息以及网络信息中所包含的项目通常较多，因此，分别利用第二线程，第三线程以及第四线程实现采集，而云主机的云主机状态信息，系统信息，CPU信息，由第一线程采集，有利于在一定程度上保障4个线程的负载较为均衡，不容易出现单个线程负载过大导致数据处理不及时的情况发生。
进一步的，在本发明的一种具体实施方式中，步骤S101可以具体包括：
利用第一线程采集云平台的云主机的云主机状态信息，包括系统时间指标和创建时间指标的系统信息，包括CPU个数指标和CPU使用率指标的CPU信息；
利用第二线程采集云主机的包括内存使用率指标、内存总量指标、内存使用量指标、Cache量率指标的内存信息；
利用第三线程采集云主机的包括磁盘总量指标、磁盘使用量指标，磁盘读次数速率指标，磁盘写次数速率指标，磁盘读速率指标，磁盘写速率指标，磁盘读延迟指标以及磁盘写延迟指标的磁盘信息；
利用第四线程采集云主机的包括读速率指标，写速率指标，读包个数速率指标，写包个数速率指标、读丢包个数速率指标，写丢包个数速率指标，读错误以及写错误的网络信息。
该种实施方式中，云主机的云主机状态信息只有1个指标，云主机的系统信息则包括系统时间指标和创建时间指标这2个指标，云主机的CPU信息包括CPU个数指标和CPU使用率指标这2个指标，均由第一线程实现采集。
相应的，该种实施方式中，内存信息包括4个指标，由第二线程实现采集。磁盘信息包括8个指标，由第三线程实现采集，网络信息包括8个指标，由第四线程实现采集。该种实施方式中，实现了非常全面的云主机的监控数据的采集。
步骤S102：将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换，并发送至监控系统，以使监控系统实现对于云主机的监控数据采集。
通过对应于指标的数据模板进行原始数据的格式转换，可以使得本申请方案的扩展的灵活性高。如果需要增加监控数据的指标项，只需要为该指标项新增一个数据模板，便可以使得采集到该指标项之后，可以按照对应于该指标项的模板进行格式转换并发送至监控系统，完成云主机的该指标项的监控数据采集，并不需要重新设置提取各个指标项的相关代码，操作上非常简单方便，灵活性很高。
对应于指标的数据模板的具体格式可以根据实际需要进行设定和调整，例如在本发明的一种具体实施方式中，数据模板包括：用于表示指标的名称的指标名称字段，用于表示指标所属的云主机的标签名称字段，以及用于表示指标具体数值的数值字段。
该种实施方式中，考虑到指标的名称，指标所属的云主机以及指标具体数值均是重要信息，因此，数据模板中包括了分别表示这3种信息的字段。当然，在其他实施方式中，数据模板中可以有其他的字段，以更精确详细地对指标的内容进行展示。例如下面的表一为一种具体场合中的数据模板的定义表。
表一：
可以看出，在表一的实施方式中，标签名称字段中不仅有用于表示指标所属的云主机的云主机的ID，还有云主机的名称以方便工作人员的区分。
将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换之后，便可以发送至监控系统，由于是部署了OpenStack的k8s云平台，因此，步骤S102中描述的监控系统通常是Promethous监控系统。Promethous监控系统具有数据采集，数据存储，数据查询、数据告警等核心功能，是k8s中采用的默认的监控系统。
此外，在实际应用中，通常可以通过插件来实现本申请的步骤S101的操作，例如每个云主机中均设置有该插件，以实现相应的云主机的监控数据的采集。而Promethous监控系统可以周期性地从各个插件中收取进行了格式转换之后的数据，实现对于各个云主机的监控数据采集。
在本发明的一种具体实施方式中，步骤S101可以具体包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
Libvirt管理工具也可以称为Libvirt虚拟化管理软件，是一个管理虚拟机和其他虚拟化功能的软件集合，可以包括存储和网络接口管理、云主机(虚拟机)配置和状态查询等功能，包括一个API库，一个后台进程以及命令行客户端。
通过Libvirt管理工具，可以方便地实现云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息的采集。
进一步的，在本发明的一种具体实施方式中，云主机中还安装了QGA管理工具，相应的，步骤S101可以具体包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，除了内存使用率之外的其余内存信息，除了磁盘使用率之外的其余磁盘信息，网络信息；
通过QGA管理工具采集云主机的内存使用率和磁盘使用率。
该种实施方式中，考虑到Libvirt管理工具虽然可以方便地实现监控数据的采集，但是采集的部分数据准确性会较低，特别是云主机的内存使用率和磁盘使用率。因此，该种实施方式中，通过QGA管理工具采集云主机的内存使用率和磁盘使用率，可以有效地保障采集的云主机的内存使用率和磁盘使用率的准确性，而其他的监控数据则由Libvirt管理工具采集，保障采集的方便性。QGA(Qemu-Guest-Agent，虚拟机内部守护进程)管理工具也可以称为云主机通信管理客户端，可以实现宿主机和虚拟机的交互。
此外，在一种场合中，可以按照预设周期通过QGA管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，并且当任意一项信息中的任意一项指标与通过Libvirt管理工具采集的该指标的差异超出对应于该指标的预设阈值时，输出提示信息，以便于工作人员可以及时发现并处理这样的异常情况。并且，由于通过QGA管理工具采集监控数据较为复杂，因此，该场合中描述的预设周期通常可以设定地较长。
在本发明的一种具体实施方式中，还可以包括：
当任意一项信息中的任意一项指标无法被采集时，将无法被采集的指标的数值设置为预设的异常值，或者将无法被采集的指标的数值设置为无数据。
该种实施方式中，对于任意一项无法被采集的指标，可以支持设置为预设的异常值，也可以支持设置为无数据，以便满足不同的工作人员的使用习惯，也就有利于提高工作人员的使用体验。
进一步的，在本发明的一种具体实施方式中，还可以包括：
当任意一项信息中的任意一项指标的采集值超出该项指标的理论数值范围时，利用该项指标的理论数值范围中最接近采集值的数值替换采集值。
该种实施方式中，考虑到除了指标无法被采集的情况，还会出现指标的采集值超出该项指标的理论数值范围的情况，出现这样的情况，可以视为该指标无法被采集，即视为没有检测出该指标，按照上文的实施方式处理即可。但是申请人进一步的考虑到，如果出现指标的采集值超出该项指标的理论数值范围的情况，该指标的实际值通常是该指标的理论数值范围中最接近采集值的数值，因此，该种实施方式中，对于这种情况，会利用该项指标的理论数值范围中最接近采集值的数值替换采集值，从而在一定程度上实现了数据的修复，也就有利于进一步地保障采集的监控数据的完整性。
应用本发明实施例所提供的技术方案，本申请对于部署了OpenStack的k8s云平台，会采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，从而有利于实现云主机的全面的监控数据采集。进一步的，本申请的方案中，会将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换，并发送至监控系统，以使监控系统实现对于云主机的监控数据采集，使得本申请方案的扩展的灵活性高，即如果需要增加监控数据的指标项，只需要为该指标项新增一个数据模板，便可以使得采集到该指标项之后，可以按照对应于该指标项的模板进行格式转换并发送至监控系统，完成云主机的该指标项的监控数据采集，并不需要重新设置提取各个指标项的相关代码，操作上非常简单方便，灵活性很高。
相应于上面的方法实施例，本发明实施例还提供了一种云平台的云主机监控数据采集系统，可与上文描述的一种云平台的云主机监控数据采集方法相互对应参照。
参见图2所示，为本发明中一种云平台的云主机监控数据采集系统的结构示意图，应用于部署了OpenStack的k8s云平台中，包括：
原始数据采集模块201，用于采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；
格式转换模块202，用于将采集的每一项信息中的各项指标按照预设的对应于指标的数据模板进行格式转换，并发送至监控系统，以使监控系统实现对于云主机的监控数据采集。
在本发明的一种具体实施方式中，原始数据采集模块201，具体用于：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
在本发明的一种具体实施方式中，云主机中还安装了QGA管理工具，相应的，原始数据采集模块201，具体用于：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，除了内存使用率之外的其余内存信息，除了磁盘使用率之外的其余磁盘信息，网络信息；
通过QGA管理工具采集云主机的内存使用率和磁盘使用率。
在本发明的一种具体实施方式中，还包括：
第一数值设置模块，用于当任意一项信息中的任意一项指标无法被采集时，将无法被采集的指标的数值设置为预设的异常值，或者将无法被采集的指标的数值设置为无数据。
在本发明的一种具体实施方式中，还包括：
第二数值设置模块，用于当任意一项信息中的任意一项指标的采集值超出该项指标的理论数值范围时，利用该项指标的理论数值范围中最接近采集值的数值替换采集值。
在本发明的一种具体实施方式中，原始数据采集模块201，具体用于：
利用第一线程采集云平台的云主机的云主机状态信息，系统信息，CPU信息；
利用第二线程采集云主机的内存信息；
利用第三线程采集云主机的磁盘信息；
利用第四线程采集网络信息。
在本发明的一种具体实施方式中，原始数据采集模块201，具体用于：
利用第一线程采集云平台的云主机的云主机状态信息，包括系统时间指标和创建时间指标的系统信息，包括CPU个数指标和CPU使用率指标的CPU信息；
利用第二线程采集云主机的包括内存使用率指标、内存总量指标、内存使用量指标、Cache量率指标的内存信息；
利用第三线程采集云主机的包括磁盘总量指标、磁盘使用量指标，磁盘读次数速率指标，磁盘写次数速率指标，磁盘读速率指标，磁盘写速率指标，磁盘读延迟指标以及磁盘写延迟指标的磁盘信息；
利用第四线程采集云主机的包括读速率指标，写速率指标，读包个数速率指标，写包个数速率指标、读丢包个数速率指标，写丢包个数速率指标，读错误以及写错误的网络信息。
在本发明的一种具体实施方式中，数据模板包括：用于表示指标的名称的指标名称字段，用于表示指标所属的云主机的标签名称字段，以及用于表示指标具体数值的数值字段。
相应于上面的方法和系统实施例，本发明实施例还提供了一种云平台的云主机监控数据采集设备，可与上文相互对应参照。
该云平台的云主机监控数据采集设备可以包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上述任一实施例中的云平台的云主机监控数据采集方法的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种云平台的云主机监控数据采集方法，其特征在于，应用于部署了OpenStack的k8s云平台中，包括：
采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；
将采集的每一项信息中的各项指标按照预设的对应于所述指标的数据模板进行格式转换，并发送至监控系统，以使所述监控系统实现对于所述云主机的监控数据采集；
所述云主机中还安装了QGA管理工具，相应的，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，除了内存使用率之外的其余内存信息，除了磁盘使用率之外的其余磁盘信息，网络信息；
通过所述QGA管理工具采集所述云主机的内存使用率和磁盘使用率。
2.根据权利要求1所述的云平台的云主机监控数据采集方法，其特征在于，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息。
3.根据权利要求1所述的云平台的云主机监控数据采集方法，其特征在于，还包括：
当任意一项信息中的任意一项指标无法被采集时，将无法被采集的所述指标的数值设置为预设的异常值，或者将无法被采集的所述指标的数值设置为无数据。
4.根据权利要求3所述的云平台的云主机监控数据采集方法，其特征在于，还包括：
当任意一项信息中的任意一项指标的采集值超出该项指标的理论数值范围时，利用该项指标的理论数值范围中最接近所述采集值的数值替换所述采集值。
5.根据权利要求1所述的云平台的云主机监控数据采集方法，其特征在于，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
利用第一线程采集云平台的云主机的云主机状态信息，系统信息，CPU信息；
利用第二线程采集所述云主机的内存信息；
利用第三线程采集所述云主机的磁盘信息；
利用第四线程采集所述网络信息。
6.根据权利要求5所述的云平台的云主机监控数据采集方法，其特征在于，所述采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息，包括：
利用第一线程采集云平台的云主机的云主机状态信息，包括系统时间指标和创建时间指标的系统信息，包括CPU个数指标和CPU使用率指标的CPU信息；
利用第二线程采集所述云主机的包括内存使用率指标、内存总量指标、内存使用量指标、Cache量率指标的内存信息；
利用第三线程采集所述云主机的包括磁盘总量指标、磁盘使用量指标，磁盘读次数速率指标，磁盘写次数速率指标，磁盘读速率指标，磁盘写速率指标，磁盘读延迟指标以及磁盘写延迟指标的磁盘信息；
利用第四线程采集所述云主机的包括读速率指标，写速率指标，读包个数速率指标，写包个数速率指标、读丢包个数速率指标，写丢包个数速率指标，读错误以及写错误的所述网络信息。
7.根据权利要求1至6任一项所述的云平台的云主机监控数据采集方法，其特征在于，所述数据模板包括：用于表示指标的名称的指标名称字段，用于表示指标所属的云主机的标签名称字段，以及用于表示指标具体数值的数值字段。
8.一种云平台的云主机监控数据采集系统，其特征在于，应用于部署了OpenStack的k8s云平台中，包括：
原始数据采集模块，用于采集云平台的云主机的云主机状态信息，系统信息，CPU信息，内存信息，磁盘信息以及网络信息；
格式转换模块，用于将采集的每一项信息中的各项指标按照预设的对应于所述指标的数据模板进行格式转换，并发送至监控系统，以使所述监控系统实现对于所述云主机的监控数据采集；
所述云主机中还安装了QGA管理工具，相应的，所述原始数据采集模块具体用于：
通过Libvirt管理工具采集云平台的云主机的云主机状态信息，系统信息，CPU信息，除了内存使用率之外的其余内存信息，除了磁盘使用率之外的其余磁盘信息，网络信息；
通过所述QGA管理工具采集所述云主机的内存使用率和磁盘使用率。
9.一种云平台的云主机监控数据采集设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的云平台的云主机监控数据采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960887.9A CN113688009B (zh) | 2021-08-20 | 2021-08-20 | 一种云平台的云主机监控数据采集方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960887.9A CN113688009B (zh) | 2021-08-20 | 2021-08-20 | 一种云平台的云主机监控数据采集方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688009A CN113688009A (zh) | 2021-11-23 |
| CN113688009B true CN113688009B (zh) | 2024-03-22 |
Family
ID=78581163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110960887.9A Active CN113688009B (zh) | 2021-08-20 | 2021-08-20 | 一种云平台的云主机监控数据采集方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688009B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114296906B (zh) * | 2022-03-10 | 2022-06-14 | 江苏博云科技股份有限公司 | 业务动态伸缩方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| WO2021017279A1 (zh) * | 2019-07-30 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于Kubernetes和网络域的集群安全管理方法、装置及存储介质 |
-
2021
- 2021-08-20 CN CN202110960887.9A patent/CN113688009B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| WO2021017279A1 (zh) * | 2019-07-30 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于Kubernetes和网络域的集群安全管理方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A management platform for Eucalyptus-based IaaS;Liutong Xu;IEEE;20111013;全文 * |
| OpenStack云主机监控系统研究与实现;周晴伦;;软件导刊;20170430(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688009A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105224445B (zh) | 分布式跟踪系统 | |
| CN109918349B (zh) | 日志处理方法、装置、存储介质和电子装置 | |
| JP5584780B2 (ja) | データ収集方法、データ収集装置及びネットワーク管理デバイス | |
| US8707194B1 (en) | System and method for decentralized performance monitoring of host systems | |
| CN101719852B (zh) | 一种中间件性能的监控方法和设备 | |
| CN105592122A (zh) | 一种云平台监控方法以及云平台监控系统 | |
| CN110290190A (zh) | 一种采集数据的方法、被监控设备及监控服务器 | |
| CN113688009B (zh) | 一种云平台的云主机监控数据采集方法、系统及设备 | |
| CN110598051A (zh) | 一种电力行业监控系统、方法及装置 | |
| CN112506969A (zh) | 一种bmc地址查询方法、系统、设备及可读存储介质 | |
| CN112865311A (zh) | 一种电力系统消息总线监视方法和装置 | |
| CN116302306A (zh) | 用于微服务体系结构的基于匹配的增强的调试 | |
| CN110096339B (zh) | 一种基于系统负载实现的扩缩容配置推荐系统及方法 | |
| Weng et al. | Kmon: An in-kernel transparent monitoring system for microservice systems with ebpf | |
| WO2015175742A1 (en) | Compliant auditing architecture | |
| JP5642725B2 (ja) | 性能分析装置、性能分析方法及び性能分析プログラム | |
| CN114070755A (zh) | 虚拟机网络流量确定方法、装置、电子设备和存储介质 | |
| Chen et al. | Big data storage architecture design in cloud computing | |
| WO2022178976A1 (zh) | 基于大数据的信息处理方法、装置及相关设备 | |
| EP3698254A1 (en) | Memory allocation in a data analytics system | |
| CN115221116A (zh) | 一种数据写入方法、装置、设备及可读存储介质 | |
| Thaler et al. | Hybrid approach to hpc cluster telemetry and hardware log analytics | |
| CN114328093A (zh) | 一种基于Hadoop的监控方法、系统、存储介质及设备 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| Kim et al. | Optimizing Logging and Monitoring in Heterogeneous Cloud Environments for IoT and Edge Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |