CN108183870B - 一种基于云成熟度的云数据中心资源调度共享方法及系统 - Google Patents

一种基于云成熟度的云数据中心资源调度共享方法及系统 Download PDF

Info

Publication number
CN108183870B
CN108183870B CN201711451513.4A CN201711451513A CN108183870B CN 108183870 B CN108183870 B CN 108183870B CN 201711451513 A CN201711451513 A CN 201711451513A CN 108183870 B CN108183870 B CN 108183870B
Authority
CN
China
Prior art keywords
cloud
resource
maturity
data center
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711451513.4A
Other languages
English (en)
Other versions
CN108183870A (zh
Inventor
汪羽婷
游录金
叶磊
欧英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI DRAGONNET TECHNOLOGY CO LTD
Original Assignee
SHANGHAI DRAGONNET TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI DRAGONNET TECHNOLOGY CO LTD filed Critical SHANGHAI DRAGONNET TECHNOLOGY CO LTD
Priority to CN201711451513.4A priority Critical patent/CN108183870B/zh
Publication of CN108183870A publication Critical patent/CN108183870A/zh
Application granted granted Critical
Publication of CN108183870B publication Critical patent/CN108183870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/76Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于云成熟度的云数据中心资源调度共享方法及系统,所述方法包括以下步骤:S1、采集云数据中心的资源信息;S2、对采集的所述资源信息进行过滤整合处理,生成分析基础信息;S3、根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果;S4、根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化。与现有技术相比,本发明具有优化云平台整体的资源配置,降低云数据中心总能耗,提升资源整体使用率和服务水平等优点。

Description

一种基于云成熟度的云数据中心资源调度共享方法及系统
技术领域
本发明涉及云计算数据中心的资源调度共享技术领域,尤其是涉及一种基于云成熟度的云数据中心资源调度共享方法及系统。
背景技术
随着各行各业互联网、移动互联网用户激增,以及使用场景的多样化,数据中心后台并发数据并发量也急剧上升。数据中心所提供的各类服务资源是有限的,海量数据和服务的处理能力成为数据中心管理发展的难题。云资源动态分配与资源共享能力成为云数据中心建设的新指标。数据中心的管理主要围绕数据资源的调度和共享两个方面展开。现有的数据中心的运维管理过程,缺乏量化评价体系和数字化评价体系,无法判断资源调度和共享的优化策略及目标。另外,现有的资源调度算法大部分是从单一维度进行优化,忽略多维度资源的消耗问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于云成熟度的云数据中心资源调度共享方法及系统。
本发明的目的可以通过以下技术方案来实现:
一种基于云成熟度的云数据中心资源调度共享方法,包括以下步骤:
S1、采集云数据中心的资源信息;
S2、对采集的所述资源信息进行过滤整合处理,生成分析基础信息;
S3、根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果;
S4、根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化。
进一步地,所述资源信息包括资源监控数据、资源使用情况数据、调度作业数据和用户数据。
进一步地,所述云成熟度评估模型包括资源共享能力评价体系和资源调度能力评价体系;
所述资源共享能力评价体的指标项包括时间域、空间域、业务域、安全性、可用性和灵活性;
资源调度能力评价体系的指标项包括时间域、空间域、灵活性、业务域、安全性、可用性和调度时间;
各所述指标项均分别包括至少一个评价观测点。
进一步地,该方法还包括:
定期对所述云成熟度评估模型进行更新。
进一步地,该方法还包括:
在步骤S4后,对优化后的云数据中心重新执行步骤S1-S3,直到符合设定需求。
一种基于云成熟度的云数据中心资源调度共享系统,包括:
云资源信息采集模块,用于采集云数据中心的资源信息;
数据处理模块,用于对采集的所述资源信息进行过滤整合处理,生成分析基础信息;
云成熟度分析模块,用于根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果;
云资源优化模块,用于根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化。
进一步地,所述资源信息包括资源监控数据、资源使用情况数据、调度作业数据和用户数据。
进一步地,所述云成熟度评估模型包括资源共享能力评价体系和资源调度能力评价体系;
所述资源共享能力评价体的指标项包括时间域、空间域、业务域、安全性、可用性和灵活性;
资源调度能力评价体系的指标项包括时间域、空间域、灵活性、业务域、安全性、可用性和调度时间;
各所述指标项均分别包括至少一个评价观测点。
进一步地,所述云成熟度分析模块包括:
模型更新单元,用于定期对所述云成熟度评估模型进行更新。
进一步地,所述云资源优化模块包括:
需求评估单元,用于判断对优化后的云数据中心是否达到设定需求,若是,则结束,若否,则向所述云资源信息采集模块发送重执行指令。
与现有技术相比,本发明具有以下有益效果:
1)本发明针对云数据中心的资源动态分配与资源共享问题,提出云成熟度评估模型,以应用层、软件层、硬件层、网路层为核心基础范围,从资源共享能力、动态分配资源能力两个指标体系展开评估云数据中心的成熟度水平,界定资源调度的策略,提供资源调度与共享的优化目标,优化云平台整体的资源配置,降低云数据中心总能耗,提升资源整体使用率和服务水平。
2)本发明在云数据中心在运营的过程中,能够定期或者实时根据获取的云资源调度与共享信息,并结合云成熟度的等级及具体情况分析,对相关资源进行优化,通过改进的调度策略,提升整体数据中心资源调度的灵活性,提高资源共享程度,处理和承载数据和服务的压力。
3)本发明可以根据数据中心的云成熟度的等级及具体情况分析,对相关资源进行优化,通过改进的调度策略,提升整体数据中心资源调度的灵活性,提高资源共享程度,处理和承载数据和服务的压力,让数据中心变得更加智能化。
附图说明
图1为本发明的结构示意图;
图2为本发明的流程示意图;
图3为本发明云成熟度分析模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本发明提供一种基于云成熟度的云数据中心资源调度共享系统,包括云资源信息采集模块1、数据处理模块2、云成熟度分析模块3和云资源优化模块4,其中,云资源信息采集模块1用于采集云数据中心的资源信息;数据处理模块2用于对采集的所述资源信息进行过滤整合处理,生成分析基础信息;云成熟度分析模块3用于根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果,为云数据中心评定等级;云资源优化模块4用于根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化。图2显示该云数据中心资源调度共享系统的工作流程。
资源信息包括资源监控数据、资源使用情况数据、调度作业数据和用户数据等,可通过硬件设备、软件系统、监控系统、业务系统等接口访问收集。数据处理模块2对采集到的各类数据进行数据清洗,将与评估模型相关的数据进行格式转换,剔除与评估模型内容无关的数据。
云成熟度评估模型包括资源共享能力评价体系和资源调度能力评价体系,资源调度与共享指标基于时间、空间、业务的维度,保障安全、可用性需求为前提,在此基础之上考量调度作业、资源共享的灵活性,如图3所示。资源共享能力评价体的指标项包括时间域、空间域、业务域、安全性、可用性和灵活性。资源调度能力评价体系的指标项包括时间域、空间域、灵活性、业务域、安全性、可用性和调度时间。各指标项均分别包括至少一个评价观测点,对观测点采取计分策略,生成最终云成熟度评估体系。
随着数据中心的发展及业务需求的变化,云成熟度的评定内容及指标会存在变化,因此,在某些实施例中,云成熟度分析模块3还包括模型更新单元31,用于定期对云成熟度评估模型进行更新。
云成熟度评估模型是从简单的满足功能/性能向精细化方向发展,以提高响应速度和服务质量为目的进行全面评估。从时间、空间、调度时间基础的量化指标出发,结合业务域的弹性伸缩、灵活性、安全性、可用性精细化指标,综合评定云数据中心的成熟度。
在某些实施例中,云资源优化模块4包括需求评估单元,用于判断对优化后的云数据中心是否达到设定需求,若是,则结束,若否,则向云资源信息采集模块发送重执行指令。
实施例
本实施例设计如图3所示的云成熟度评估模型,并设定了表1和表2显示的评估体系及评价观测点。该模型的评分标准如下所示:
1、评估指标总囊括四大类33项观测点
2、每个评估指标确定了2个评估等级,并根据评估分数进行记分,总评价为
34项观测点得分的总和
3、将云数据中心成熟度分为五级:
总分在90以上的数据中心级,90~80间的是进程级,80~70的是集群级,70~60的是虚拟机级,60分以下的是孤岛级
表1
Figure GDA0002953966220000051
表2
Figure GDA0002953966220000052
对本实施例的云数据中心进行资源调度共享分析的具体过程为:
1、云资源信息采集模块按照云成熟度评估模型中的观测点配置采集探针,该探针可以采集云数据中心资源监控性能数据、各设备操作日志、平台日志及业务数据等。采集内容包含但不限于平台操作日志、资源分配率、资源使用率、云平台项目管理日志等。采集的数据格式用表3标识:
表3
Figure GDA0002953966220000061
表3中,ID是作为采集数据字段的唯一标识用于对采集到的数据唯一性进行区分;Name表示数据段名称也可标识数据段名称;Type表示该数据字段的数据类型从而在后期数据处理的时候对相关指标值与格式进行抽取与整合;Context是使用JSON格式对采集数据的日期和日志进行封装从而形成统一的解析格式进行后期数据处理;Tag是使用字符串列表来标识数据包,便于后期检索以及分析。
2、数据采集完成后,对采集到的数据进行清洗,清洗的过程中按照指标对相应Tag的数据,按照其日志类型进行处理,形成相应的数据字段与取值列表。该列表格式如表4(表中取值为部分指标)标识。
表4
Figure GDA0002953966220000062
Figure GDA0002953966220000071
表4中列表的评估值是可以通过日志清洗、处理以及检索计算出来的。
3、根据各项评估指标的分数统计得分综合,将云数据中心成熟度划分等级,反应云资源调度与共享水平,记录情况如表5所示。
表5
名称 云成熟度等级 具体评估分数
Test001 进程级 85
4、根据云成熟度评估结果进行云资源优化处理、优化资源动态分配与共享策略,反馈结果,进行重新评估。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于云成熟度的云数据中心资源调度共享方法,其特征在于,包括以下步骤:
S1、采集云数据中心的资源信息;
S2、对采集的所述资源信息进行过滤整合处理,生成分析基础信息;
S3、根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果;
S4、根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化;
所述云成熟度评估模型包括资源共享能力评价体系和资源调度能力评价体系;
所述资源共享能力评价体的指标项包括时间域、空间域、业务域、安全性、可用性和灵活性;
资源调度能力评价体系的指标项包括时间域、空间域、灵活性、业务域、安全性、可用性和调度时间;
各所述指标项均分别包括至少一个评价观测点。
2.根据权利要求1所述的基于云成熟度的云数据中心资源调度共享方法,其特征在于,所述资源信息包括资源监控数据、资源使用情况数据、调度作业数据和用户数据。
3.根据权利要求1所述的基于云成熟度的云数据中心资源调度共享方法,其特征在于,该方法还包括:
定期对所述云成熟度评估模型进行更新。
4.根据权利要求1所述的基于云成熟度的云数据中心资源调度共享方法,其特征在于,该方法还包括:
在步骤S4后,对优化后的云数据中心重新执行步骤S1-S3,直到符合设定需求。
5.一种基于云成熟度的云数据中心资源调度共享系统,其特征在于,包括:
云资源信息采集模块,用于采集云数据中心的资源信息;
数据处理模块,用于对采集的所述资源信息进行过滤整合处理,生成分析基础信息;
云成熟度分析模块,用于根据预先建立的云成熟度评估模型,基于所述分析基础信息获得待评价云数据中心的云成熟度评估结果;
云资源优化模块,用于根据所述云成熟度评估结果获得所述待评价云数据中心的资源调度优化策略以及优化目标,对云数据中心进行优化;
所述云成熟度评估模型包括资源共享能力评价体系和资源调度能力评价体系;
所述资源共享能力评价体的指标项包括时间域、空间域、业务域、安全性、可用性和灵活性;
资源调度能力评价体系的指标项包括时间域、空间域、灵活性、业务域、安全性、可用性和调度时间;
各所述指标项均分别包括至少一个评价观测点。
6.根据权利要求5所述的基于云成熟度的云数据中心资源调度共享系统,其特征在于,所述资源信息包括资源监控数据、资源使用情况数据、调度作业数据和用户数据。
7.根据权利要求5所述的基于云成熟度的云数据中心资源调度共享系统,其特征在于,所述云成熟度分析模块包括:
模型更新单元,用于定期对所述云成熟度评估模型进行更新。
8.根据权利要求5所述的基于云成熟度的云数据中心资源调度共享系统,其特征在于,所述云资源优化模块包括:
需求评估单元,用于判断对优化后的云数据中心是否达到设定需求,若是,则结束,若否,则向所述云资源信息采集模块发送重执行指令。
CN201711451513.4A 2017-12-27 2017-12-27 一种基于云成熟度的云数据中心资源调度共享方法及系统 Active CN108183870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711451513.4A CN108183870B (zh) 2017-12-27 2017-12-27 一种基于云成熟度的云数据中心资源调度共享方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711451513.4A CN108183870B (zh) 2017-12-27 2017-12-27 一种基于云成熟度的云数据中心资源调度共享方法及系统

Publications (2)

Publication Number Publication Date
CN108183870A CN108183870A (zh) 2018-06-19
CN108183870B true CN108183870B (zh) 2021-08-20

Family

ID=62548020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711451513.4A Active CN108183870B (zh) 2017-12-27 2017-12-27 一种基于云成熟度的云数据中心资源调度共享方法及系统

Country Status (1)

Country Link
CN (1) CN108183870B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867865B (zh) * 2021-09-28 2024-01-16 江苏赞奇科技股份有限公司 一种面向云桌面系统的ad策略制定和应用方法
CN114741133B (zh) * 2022-04-21 2023-10-27 中国航空无线电电子研究所 一种基于模型的综合模块化航电系统资源配置与评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025539A (zh) * 2010-12-07 2011-04-20 南京邮电大学 一种认知网络中基于Agent的可用资源评估方法
CN103164279A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 云计算资源分配方法和系统
CN103577936A (zh) * 2013-11-15 2014-02-12 国家电网公司 一种电网模型分布式维护与全局共享系统及其实现方法
CN106357800A (zh) * 2016-10-21 2017-01-25 黄东 一种基于QoE的云计算服务架构

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8402110B2 (en) * 2006-09-28 2013-03-19 Microsoft Corporation Remote provisioning of information technology
US8914515B2 (en) * 2011-10-28 2014-12-16 International Business Machines Corporation Cloud optimization using workload analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025539A (zh) * 2010-12-07 2011-04-20 南京邮电大学 一种认知网络中基于Agent的可用资源评估方法
CN103164279A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 云计算资源分配方法和系统
CN103577936A (zh) * 2013-11-15 2014-02-12 国家电网公司 一种电网模型分布式维护与全局共享系统及其实现方法
CN106357800A (zh) * 2016-10-21 2017-01-25 黄东 一种基于QoE的云计算服务架构

Also Published As

Publication number Publication date
CN108183870A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108829494B (zh) 基于负载预测的容器云平台智能资源优化方法
CN106131158A (zh) 一种云数据中心环境下基于云租户信用度的资源调度装置
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN108334557B (zh) 一种聚合数据分析方法、装置、存储介质及电子设备
CN108647329B (zh) 用户行为数据的处理方法、装置及计算机可读存储介质
CN109976989B (zh) 跨节点应用性能监测方法、装置及高性能计算系统
CN103873528A (zh) 一种为用户分配系统资源的方法与设备
CN109408341A (zh) 分布式存储系统性能监控方法、装置、设备及可读存储介质
CN108183870B (zh) 一种基于云成熟度的云数据中心资源调度共享方法及系统
CN103763740A (zh) 一种单板间负载均衡的方法及装置
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN116467076A (zh) 一种基于集群可用资源的多集群调度方法及系统
CN104156505B (zh) 一种基于用户行为分析的Hadoop集群作业调度方法及装置
Bommala et al. Machine learning job failure analysis and prediction model for the cloud environment
CN104346220B (zh) 一种任务调度方法与系统
CN106775962B (zh) 一种规则执行方法及装置
CN103455509A (zh) 一种获取时间窗口模型参数的方法和系统
CN116521372A (zh) 一种服务器集群的管理方法及相关组件
CN114996165B (zh) 一种业务数据审核方法及装置、存储介质及电子设备
CN116302518A (zh) 云资源分配处理方法、装置、系统、存储介质及处理器
CN112054926B (zh) 集群管理方法、装置、电子设备及存储介质
CN102945518B (zh) 基于分析资源负荷识别项目关键资源的方法
CN112148491B (zh) 数据处理方法及装置
CN107678903A (zh) 一种应用系统效能评估方法
CN117729204B (zh) 一种基于监控感知的k8s容器调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant