CN109871302A - 基于资源开销统计的云计算应用识别装置及方法 - Google Patents

基于资源开销统计的云计算应用识别装置及方法 Download PDF

Info

Publication number
CN109871302A
CN109871302A CN201711259305.4A CN201711259305A CN109871302A CN 109871302 A CN109871302 A CN 109871302A CN 201711259305 A CN201711259305 A CN 201711259305A CN 109871302 A CN109871302 A CN 109871302A
Authority
CN
China
Prior art keywords
statistics
slice
tenant
module
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711259305.4A
Other languages
English (en)
Other versions
CN109871302B (zh
Inventor
张鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Instrument Electric (group) Co Ltd Central Research Institute
Original Assignee
Shanghai Instrument Electric (group) Co Ltd Central Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Instrument Electric (group) Co Ltd Central Research Institute filed Critical Shanghai Instrument Electric (group) Co Ltd Central Research Institute
Priority to CN201711259305.4A priority Critical patent/CN109871302B/zh
Publication of CN109871302A publication Critical patent/CN109871302A/zh
Application granted granted Critical
Publication of CN109871302B publication Critical patent/CN109871302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于资源开销统计的云计算应用识别装置及方法，装置包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块，监控模块部署在各个服务器节点内，通过调用系统接口监控租户及虚拟机的实时资源使用状态，形成监控时间序列，时序切片统计压缩模块将时间序列按照给定规则进行切片分割，对于每个时间片内的数据进行统计压缩；将各租户虚拟机的资源切片压缩统计后的数据导入统一的时序切片数据库中进行存储和进一步融合，对于各租户各应用虚拟机的资源使用特性进行分类，并进行租户应用类型识别。本发明实现不同租户应用的区分识别和精细化性能配置，以方便云服务更好的感知其应用负载，为租户应用更好的提供支持。

Description

基于资源开销统计的云计算应用识别装置及方法
技术领域
本发明涉及云计算技术领域，尤其涉及一种基于资源开销统计的云计算应用识别装置及方法。
背景技术
随着云计算技术的不断进步和业务的拓展，越来越多的应用被不同的租户部署在云计算环境中，而不同的应用在共享云计算环境的计算、存储、网络等资源时会存在不同的需求和影响，因此，云计算的运营者如果能够对其上运营的云计算应用有所识别和区分，则可以显著提升运营效率，减少应用资源竞争冲突。然而，在目前的云计算业务场景中，租户并不总是主动告知云计算运营者其应用类型或业务资源需求，甚至租户自己在使用云计算服务的过程中会变更和增减其业务重心或应用类别。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于资源开销统计的云计算应用识别装置及方法，以方便云服务更好地感知其应用负载，实现不同租户应用的区分识别和精细化性能配置，为租户应用更好的提供支持。
一方面，提供一种基于资源开销统计的云计算应用识别装置，包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块，所述监控模块部署在云计算的各个服务器节点内，通过调用系统接口，监控每个租户每个虚拟机的实时资源使用状态，形成各资源的监控时间序列，所述时序切片统计压缩模块将时间序列按照给定规则进行切片分割，对于每个时间片内的数据进行统计压缩，以在保留其统计特性的同时减少数据量的产生和后续处理压力；将各租户虚拟机的资源切片压缩统计后的数据导入统一的所述时序切片数据库中进行存储和进一步融合，通过采用所述机器学习分类模块中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类，并结合有日志的训练数据进行租户应用类型识别。
上述基于资源开销统计的云计算应用识别装置，其中，所述监控模块包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块，相应地，所述时序切片统计压缩模块包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
另一方面，提供一种基于资源开销统计的云计算应用识别方法，基于如上述云计算应用识别装置实现，包括如下步骤：
步骤S1.在已经进行分片的时间序列数据基础上，进行对应资源、对应时间片的统计分析，得到切片统计结果；
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵，其矩阵每个值为每个特定资源特定时间片的统计结果；
步骤S3.对于步骤S2中的高维度时空矩阵进行机器学习，得到不同时间片统计结果在高位空间的分类情况，并结合已有日志数据，对分类的类型进行标记；
步骤S4.通过时间片标记的汇总，得到租户、应用的类别描述标签。
上述基于资源开销统计的云计算应用识别方法，其中，所述时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
与现有技术相比，本发明的有益效果体现在：
实现不同租户应用的区分识别和精细化性能配置，以方便云服务更好的感知其应用负载，为租户应用更好的提供支持。
附图说明
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果：
图1是本发明的装置的结构示意框图；
图2是本发明的应用识别数据处理的示意图；
图3是本发明的方法的流程示意图。
具体实施方式
如图1、图2所示，本发明基于资源开销统计的云计算应用识别装置包括监控模块1、时序切片统计压缩模块2、时间切片数据库3以及机器学习分类模块4，监控模块1部署在云计算的各个服务器节点内，通过调用系统接口，监控每个租户每个虚拟机的实时资源使用状态，形成各资源的监控时间序列，时序切片统计压缩模块2将时间序列按照给定规则进行切片分割，对于每个时间片内的数据进行统计压缩，以在保留其统计特性的同时减少数据量的产生和后续处理压力；将各租户虚拟机的资源切片压缩统计后的数据导入统一的时序切片数据库3中进行存储和进一步融合，通过采用机器学习分类模块4中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类，并结合有日志的训练数据进行租户应用类型识别。
本技术方案中，监控模块1包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块，相应地，时序切片统计压缩模块2包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
另一方面，提供一种基于资源开销统计的云计算应用识别方法，基于如上述云计算应用识别装置实现，参看图2和图3所示，包括如下步骤：
步骤S1.在已经进行分片的时间序列数据基础上，进行对应资源、对应时间片的统计分析，得到切片统计结果；
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵5，其矩阵每个值为每个特定资源特定时间片的统计结果；
步骤S3.对于步骤S2中的高维度时空矩阵5进行机器学习，得到不同时间片统计结果在高位空间的分类情况，并结合已有日志数据，对分类的类型进行标记；
步骤S4.通过时间片标记的汇总，得到租户、应用的类别描述标签6。
其中，时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
与现有技术相比，本发明的有益效果体现在：
实现不同租户应用的区分识别和精细化性能配置，以方便云服务更好的感知其应用负载，为租户应用更好的提供支持。

Claims (4)

1.一种基于资源开销统计的云计算应用识别装置，其特征在于，包括监控模块、时序切片统计压缩模块、时间切片数据库以及机器学习分类模块，所述监控模块部署在云计算的各个服务器节点内，通过调用系统接口，监控每个租户每个虚拟机的实时资源使用状态，形成各资源的监控时间序列，所述时序切片统计压缩模块将时间序列按照给定规则进行切片分割，对于每个时间片内的数据进行统计压缩，以在保留其统计特性的同时减少数据量的产生和后续处理压力；将各租户虚拟机的资源切片压缩统计后的数据导入统一的所述时序切片数据库中进行存储和进一步融合，通过采用所述机器学习分类模块中的机器学习算法对于各租户各应用虚拟机的资源使用特性进行分类，并结合有日志的训练数据进行租户应用类型识别。
2.根据权利要求1所述基于资源开销统计的云计算应用识别装置，其特征在于，所述监控模块包括CPU监控模块、内存监控模块、网络监控模块和磁盘监控模块，相应地，所述时序切片统计压缩模块包括CPU时序切片统计压缩模块、内存时序切片统计压缩模块、网络时序切片统计压缩模块和磁盘时序切片统计压缩模块。
3.一种基于资源开销统计的云计算应用识别方法，基于如权利要求1或2所述云计算应用识别装置实现，其特征在于，包括如下步骤：
步骤S1.在已经进行分片的时间序列数据基础上，进行对应资源、对应时间片的统计分析，得到切片统计结果；
步骤S2.时间片分析结果按照租户-应用-虚拟机-资源-时间片的次序整理成为高维度时空矩阵，其矩阵每个值为每个特定资源特定时间片的统计结果；
步骤S3.对于步骤S2中的高维度时空矩阵进行机器学习，得到不同时间片统计结果在高位空间的分类情况，并结合已有日志数据，对分类的类型进行标记；
步骤S4.通过时间片标记的汇总，得到租户、应用的类别描述标签。
4.根据权利要求3所述基于资源开销统计的云计算应用识别方法，其特征在于，所述时间片包括CPU时序切片、内存时序切片、网络时序切片和磁盘时序切片。
CN201711259305.4A 2017-12-04 2017-12-04 基于资源开销统计的云计算应用识别装置及方法 Active CN109871302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711259305.4A CN109871302B (zh) 2017-12-04 2017-12-04 基于资源开销统计的云计算应用识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711259305.4A CN109871302B (zh) 2017-12-04 2017-12-04 基于资源开销统计的云计算应用识别装置及方法

Publications (2)

Publication Number Publication Date
CN109871302A true CN109871302A (zh) 2019-06-11
CN109871302B CN109871302B (zh) 2023-09-29

Family

ID=66915463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711259305.4A Active CN109871302B (zh) 2017-12-04 2017-12-04 基于资源开销统计的云计算应用识别装置及方法

Country Status (1)

Country Link
CN (1) CN109871302B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092751A (zh) * 2019-11-26 2020-05-01 中盈优创资讯科技有限公司 监控数据处理方法及装置
CN111522710A (zh) * 2020-04-16 2020-08-11 星环信息科技（上海）有限公司 基于大数据的数据压缩方法、设备及介质
CN113031536A (zh) * 2019-12-24 2021-06-25 大唐高鸿信息通信研究院（义乌）有限公司 一种基于5g架构的柔性制造产品加工系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130139172A1 (en) * 2011-11-25 2013-05-30 International Business Machines Corporation Controlling the use of computing resources in a database as a service
CN106330602A (zh) * 2016-08-22 2017-01-11 中国科学院信息工程研究所 一种云计算虚拟租户网络监控方法及系统
US20170310556A1 (en) * 2016-04-25 2017-10-26 Vmware, Inc. Frequency-domain analysis of data-center operational and performance metrics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130139172A1 (en) * 2011-11-25 2013-05-30 International Business Machines Corporation Controlling the use of computing resources in a database as a service
US20170310556A1 (en) * 2016-04-25 2017-10-26 Vmware, Inc. Frequency-domain analysis of data-center operational and performance metrics
CN106330602A (zh) * 2016-08-22 2017-01-11 中国科学院信息工程研究所 一种云计算虚拟租户网络监控方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何子龙;陈宁江;黄汝维;贾炅昊;李湘;: "TenantCPUMan:基于负载分析的多租户动态CPU资源调整" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092751A (zh) * 2019-11-26 2020-05-01 中盈优创资讯科技有限公司 监控数据处理方法及装置
CN111092751B (zh) * 2019-11-26 2022-04-19 中盈优创资讯科技有限公司 监控数据处理方法及装置
CN113031536A (zh) * 2019-12-24 2021-06-25 大唐高鸿信息通信研究院（义乌）有限公司 一种基于5g架构的柔性制造产品加工系统
CN113031536B (zh) * 2019-12-24 2022-07-05 大唐高鸿信息通信研究院（义乌）有限公司 一种基于5g架构的柔性制造产品加工系统
CN111522710A (zh) * 2020-04-16 2020-08-11 星环信息科技（上海）有限公司 基于大数据的数据压缩方法、设备及介质
CN111522710B (zh) * 2020-04-16 2021-02-26 星环信息科技(上海)股份有限公司 基于大数据的数据压缩方法、设备及介质

Also Published As

Publication number Publication date
CN109871302B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US10002144B2 (en) Identification of distinguishing compound features extracted from real time data streams
CN111885012B (zh) 基于多种网络设备信息采集的网络态势感知方法及系统
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CN102929961B (zh) 基于构建快速数据分级通道的数据处理方法及其装置
CN107645562A (zh) 数据传输处理方法、装置、设备及系统
CN110198555A (zh) 一种网络切片的配置方法和装置
CN108021487B (zh) 一种gpu图形处理性能监测与分析方法
CN109871302A (zh) 基于资源开销统计的云计算应用识别装置及方法
CN108304432A (zh) 信息推送处理方法、信息推送处理装置及存储介质
CN111984495A (zh) 一种大数据监控方法、装置和存储介质
CN111522786A (zh) 日志处理系统及方法
CN109542737A (zh) 平台告警处理方法、装置、电子装置及存储介质
WO2021056739A1 (zh) 性能分析方法、装置、计算机设备及存储介质
CN106034047B (zh) 数据处理方法及装置
CN110968479A (zh) 一种针对应用程序的业务级全链路监控方法及服务器
CN112101692A (zh) 移动互联网质差用户的识别方法及装置
CN109992432A (zh) 一种基于消息队列的数据处理系统及方法
CN114070707A (zh) 一种互联网性能监控方法及系统
CN109857563A (zh) 任务执行方法、装置和任务执行系统
CN111368858A (zh) 用户满意度评估方法及装置
CN109062758A (zh) 一种服务器系统宕机处理方法、系统、介质及设备
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN111782688A (zh) 基于大数据分析的请求处理方法、装置、设备及存储介质
CN111740871A (zh) 一种数据采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant