CN109871302A - 基于资源开销统计的云计算应用识别装置及方法 - Google Patents
基于资源开销统计的云计算应用识别装置及方法 Download PDFInfo
- Publication number
- CN109871302A CN109871302A CN201711259305.4A CN201711259305A CN109871302A CN 109871302 A CN109871302 A CN 109871302A CN 201711259305 A CN201711259305 A CN 201711259305A CN 109871302 A CN109871302 A CN 109871302A
- Authority
- CN
- China
- Prior art keywords
- statistics
- slice
- tenant
- module
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于资源开销统计的云计算应用识别装置及方法,装置包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块,监控模块部署在各个服务器节点内,通过调用系统接口监控租户及虚拟机的实时资源使用状态,形成监控时间序列,时序切片统计压缩模块将时间序列按照给定规则进行切片分割,对于每个时间片内的数据进行统计压缩;将各租户虚拟机的资源切片压缩统计后的数据导入统一的时序切片数据库中进行存储和进一步融合,对于各租户各应用虚拟机的资源使用特性进行分类,并进行租户应用类型识别。本发明实现不同租户应用的区分识别和精细化性能配置,以方便云服务更好的感知其应用负载,为租户应用更好的提供支持。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种基于资源开销统计的云计算应用识别装置及方法。
背景技术
随着云计算技术的不断进步和业务的拓展,越来越多的应用被不同的租户部署在云计算环境中,而不同的应用在共享云计算环境的计算、存储、网络等资源时会存在不同的需求和影响,因此,云计算的运营者如果能够对其上运营的云计算应用有所识别和区分,则可以显著提升运营效率,减少应用资源竞争冲突。然而,在目前的云计算业务场景中,租户并不总是主动告知云计算运营者其应用类型或业务资源需求,甚至租户自己在使用云计算服务的过程中会变更和增减其业务重心或应用类别。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种基于资源开销统计的云计算应用识别装置及方法,以方便云服务更好地感知其应用负载,实现不同租户应用的区分识别和精细化性能配置,为租户应用更好的提供支持。
一方面,提供一种基于资源开销统计的云计算应用识别装置,包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块,所述监控模块部署在云计算的各个服务器节点内,通过调用系统接口,监控每个租户每个虚拟机的实时资源使用状态,形成各资源的监控时间序列,所述时序切片统计压缩模块将时间序列按照给定规则进行切片分割,对于每个时间片内的数据进行统计压缩,以在保留其统计特性的同时减少数据量的产生和后续处理压力;将各租户虚拟机的资源切片压缩统计后的数据导入统一的所述时序切片数据库中进行存储和进一步融合,通过采用所述机器学习分类模块中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类,并结合有日志的训练数据进行租户应用类型识别。
上述基于资源开销统计的云计算应用识别装置,其中,所述监控模块包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块,相应地,所述时序切片统计压缩模块包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
另一方面,提供一种基于资源开销统计的云计算应用识别方法,基于如上述云计算应用识别装置实现,包括如下步骤:
步骤S1.在已经进行分片的时间序列数据基础上,进行对应资源、对应时间片的统计分析,得到切片统计结果;
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵,其矩阵每个值为每个特定资源特定时间片的统计结果;
步骤S3.对于步骤S2中的高维度时空矩阵进行机器学习,得到不同时间片统计结果在高位空间的分类情况,并结合已有日志数据,对分类的类型进行标记;
步骤S4.通过时间片标记的汇总,得到租户、应用的类别描述标签。
上述基于资源开销统计的云计算应用识别方法,其中,所述时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
与现有技术相比,本发明的有益效果体现在:
实现不同租户应用的区分识别和精细化性能配置,以方便云服务更好的感知其应用负载,为租户应用更好的提供支持。
附图说明
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果:
图1是本发明的装置的结构示意框图;
图2是本发明的应用识别数据处理的示意图;
图3是本发明的方法的流程示意图。
具体实施方式
如图1、图2所示,本发明基于资源开销统计的云计算应用识别装置包括监控模块1、时序切片统计压缩模块2、时间切片数据库3以及机器学习分类模块4,监控模块1部署在云计算的各个服务器节点内,通过调用系统接口,监控每个租户每个虚拟机的实时资源使用状态,形成各资源的监控时间序列,时序切片统计压缩模块2将时间序列按照给定规则进行切片分割,对于每个时间片内的数据进行统计压缩,以在保留其统计特性的同时减少数据量的产生和后续处理压力;将各租户虚拟机的资源切片压缩统计后的数据导入统一的时序切片数据库3中进行存储和进一步融合,通过采用机器学习分类模块4中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类,并结合有日志的训练数据进行租户应用类型识别。
本技术方案中,监控模块1包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块,相应地,时序切片统计压缩模块2包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
另一方面,提供一种基于资源开销统计的云计算应用识别方法,基于如上述云计算应用识别装置实现,参看图2和图3所示,包括如下步骤:
步骤S1.在已经进行分片的时间序列数据基础上,进行对应资源、对应时间片的统计分析,得到切片统计结果;
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵5,其矩阵每个值为每个特定资源特定时间片的统计结果;
步骤S3.对于步骤S2中的高维度时空矩阵5进行机器学习,得到不同时间片统计结果在高位空间的分类情况,并结合已有日志数据,对分类的类型进行标记;
步骤S4.通过时间片标记的汇总,得到租户、应用的类别描述标签6。
其中,时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
与现有技术相比,本发明的有益效果体现在:
实现不同租户应用的区分识别和精细化性能配置,以方便云服务更好的感知其应用负载,为租户应用更好的提供支持。
Claims (4)
1.一种基于资源开销统计的云计算应用识别装置,其特征在于,包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块,所述监控模块部署在云计算的各个服务器节点内,通过调用系统接口,监控每个租户每个虚拟机的实时资源使用状态,形成各资源的监控时间序列,所述时序切片统计压缩模块将时间序列按照给定规则进行切片分割,对于每个时间片内的数据进行统计压缩,以在保留其统计特性的同时减少数据量的产生和后续处理压力;将各租户虚拟机的资源切片压缩统计后的数据导入统一的所述时序切片数据库中进行存储和进一步融合,通过采用所述机器学习分类模块中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类,并结合有日志的训练数据进行租户应用类型识别。
2.根据权利要求1所述基于资源开销统计的云计算应用识别装置,其特征在于,所述监控模块包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块,相应地,所述时序切片统计压缩模块包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
3.一种基于资源开销统计的云计算应用识别方法,基于如权利要求1或2所述云计算应用识别装置实现,其特征在于,包括如下步骤:
步骤S1.在已经进行分片的时间序列数据基础上,进行对应资源、对应时间片的统计分析,得到切片统计结果;
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵,其矩阵每个值为每个特定资源特定时间片的统计结果;
步骤S3.对于步骤S2中的高维度时空矩阵进行机器学习,得到不同时间片统计结果在高位空间的分类情况,并结合已有日志数据,对分类的类型进行标记;
步骤S4.通过时间片标记的汇总,得到租户、应用的类别描述标签。
4.根据权利要求3所述基于资源开销统计的云计算应用识别方法,其特征在于,所述时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711259305.4A CN109871302B (zh) | 2017-12-04 | 2017-12-04 | 基于资源开销统计的云计算应用识别装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711259305.4A CN109871302B (zh) | 2017-12-04 | 2017-12-04 | 基于资源开销统计的云计算应用识别装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109871302A true CN109871302A (zh) | 2019-06-11 |
CN109871302B CN109871302B (zh) | 2023-09-29 |
Family
ID=66915463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711259305.4A Active CN109871302B (zh) | 2017-12-04 | 2017-12-04 | 基于资源开销统计的云计算应用识别装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109871302B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111092751A (zh) * | 2019-11-26 | 2020-05-01 | 中盈优创资讯科技有限公司 | 监控数据处理方法及装置 |
CN111522710A (zh) * | 2020-04-16 | 2020-08-11 | 星环信息科技(上海)有限公司 | 基于大数据的数据压缩方法、设备及介质 |
CN113031536A (zh) * | 2019-12-24 | 2021-06-25 | 大唐高鸿信息通信研究院(义乌)有限公司 | 一种基于5g架构的柔性制造产品加工系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130139172A1 (en) * | 2011-11-25 | 2013-05-30 | International Business Machines Corporation | Controlling the use of computing resources in a database as a service |
CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及系统 |
US20170310556A1 (en) * | 2016-04-25 | 2017-10-26 | Vmware, Inc. | Frequency-domain analysis of data-center operational and performance metrics |
-
2017
- 2017-12-04 CN CN201711259305.4A patent/CN109871302B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130139172A1 (en) * | 2011-11-25 | 2013-05-30 | International Business Machines Corporation | Controlling the use of computing resources in a database as a service |
US20170310556A1 (en) * | 2016-04-25 | 2017-10-26 | Vmware, Inc. | Frequency-domain analysis of data-center operational and performance metrics |
CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及系统 |
Non-Patent Citations (1)
Title |
---|
何子龙;陈宁江;黄汝维;贾炅昊;李湘;: "TenantCPUMan:基于负载分析的多租户动态CPU资源调整" * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111092751A (zh) * | 2019-11-26 | 2020-05-01 | 中盈优创资讯科技有限公司 | 监控数据处理方法及装置 |
CN111092751B (zh) * | 2019-11-26 | 2022-04-19 | 中盈优创资讯科技有限公司 | 监控数据处理方法及装置 |
CN113031536A (zh) * | 2019-12-24 | 2021-06-25 | 大唐高鸿信息通信研究院(义乌)有限公司 | 一种基于5g架构的柔性制造产品加工系统 |
CN113031536B (zh) * | 2019-12-24 | 2022-07-05 | 大唐高鸿信息通信研究院(义乌)有限公司 | 一种基于5g架构的柔性制造产品加工系统 |
CN111522710A (zh) * | 2020-04-16 | 2020-08-11 | 星环信息科技(上海)有限公司 | 基于大数据的数据压缩方法、设备及介质 |
CN111522710B (zh) * | 2020-04-16 | 2021-02-26 | 星环信息科技(上海)股份有限公司 | 基于大数据的数据压缩方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109871302B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111885012B (zh) | 基于多种网络设备信息采集的网络态势感知方法及系统 | |
US10002144B2 (en) | Identification of distinguishing compound features extracted from real time data streams | |
CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
CN103200046B (zh) | 监控网元设备性能的方法及系统 | |
CN102929961B (zh) | 基于构建快速数据分级通道的数据处理方法及其装置 | |
CN107645562A (zh) | 数据传输处理方法、装置、设备及系统 | |
CN108021487B (zh) | 一种gpu图形处理性能监测与分析方法 | |
CN109871302A (zh) | 基于资源开销统计的云计算应用识别装置及方法 | |
CN111522786A (zh) | 日志处理系统及方法 | |
WO2022100146A1 (zh) | 互联网性能监控方法及系统 | |
CN108108248A (zh) | 一种实现目标检测的cpu+gpu集群管理方法、装置及设备 | |
CN106815254A (zh) | 一种数据处理方法和装置 | |
CN106201837A (zh) | 一种集成化硬件平台的日志解析方法和系统 | |
CN109542737A (zh) | 平台告警处理方法、装置、电子装置及存储介质 | |
CN111984495A (zh) | 一种大数据监控方法、装置和存储介质 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN108696371B (zh) | 网络故障确定方法及系统 | |
CN110968479A (zh) | 一种针对应用程序的业务级全链路监控方法及服务器 | |
CN109992432A (zh) | 一种基于消息队列的数据处理系统及方法 | |
CN117435335A (zh) | 算力调度方法、装置、计算机设备和存储介质 | |
CN113746790A (zh) | 一种异常流量管理方法、电子设备及存储介质 | |
CN109857563A (zh) | 任务执行方法、装置和任务执行系统 | |
CN109918277A (zh) | 电子装置、系统日志聚类分析结果的评价方法及存储介质 | |
CN111368858A (zh) | 用户满意度评估方法及装置 | |
US20210092159A1 (en) | System for the prioritization and dynamic presentation of digital content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |