CN112529309A - 一种云数据中心智能管理系统 - Google Patents

一种云数据中心智能管理系统 Download PDF

Info

Publication number
CN112529309A
CN112529309A CN202011491332.6A CN202011491332A CN112529309A CN 112529309 A CN112529309 A CN 112529309A CN 202011491332 A CN202011491332 A CN 202011491332A CN 112529309 A CN112529309 A CN 112529309A
Authority
CN
China
Prior art keywords
data center
layer
scheduling
resource
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011491332.6A
Other languages
English (en)
Inventor
刘刚
侯宝存
邹萍
申俊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Intelligent Technology Development Co ltd
Original Assignee
Beijing Aerospace Intelligent Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Intelligent Technology Development Co ltd filed Critical Beijing Aerospace Intelligent Technology Development Co ltd
Priority to CN202011491332.6A priority Critical patent/CN112529309A/zh
Publication of CN112529309A publication Critical patent/CN112529309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/545Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/044Network management architectures or arrangements comprising hierarchical management structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning
    • Y02P90/82Energy audits or management systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种云数据中心智能管理系统,包括:数据中心资源数据接入与管理子系统,用于接入将云数据中心的硬件资源与虚拟资源运行数据并进行异构存储;数据中心能耗评估预测子系统,用于获取资源运行数据和资源分配数据,进行能耗评估;数据中心资源调度与管理子系统,用于进行联邦集群调度和资源优化调度;工作流调度子系统,用于获从所述数据中心能耗评估预测子系统获得能耗预测数据,根据运算任务需求统筹进行云工作流调度工作,输出针对运算任务的容器配置需求。根据本发明的云数据中心智能管理系统可以实现数据中心资源融合、智能调度、弹性伸缩,整合海量的异构资源,提供资源的按需服务、智能调度、不间断进化和灵活管理,支撑多层次多类型的云计算服务。

Description

一种云数据中心智能管理系统
技术领域
本发明涉及互连网技术领域,特别涉及一种云数据中心智能管理系统。
背景技术
近些年计算力需求的增长直接推动了社会的进步。随着新基建时代的到来,5G网络,人工智能以及工业互联网将会获得飞速发展。举例来说,2016年,全球最大的数据中心大约是58万平方米,但是到了2019年,已经达到了99万平方米,相当于140个足球场。在三年的时间里,最大规模数据中心的面积增长了75%。这就充分说明社会经济进步对于计算力的巨大需求。在这样的背景下,提供超强算力的大型数据中心,以及服务近场数据处理的边缘数据中心势必会加快建造和部署。
但随着数据中心计算力的提升,其限制因素也将日益明显。对于新建的大规模数据中心而言,最大的资金投入不是建筑本身,而是保证电力供应的设备成本以及机房制冷成本。计算密度的增加已经让一些大型数据中心的建设项目资金突破了10亿美元大关,这其中制冷系统占了很大比重。目前,我国数据中心的能耗85%在PUE1.5-2.0之间,ODCC预计,照此趋势,到2030年我国数据中心的能耗将从2018年的1609亿千瓦时增长到2030年的4115亿千瓦时。
当前云工作流和云服务请求的接受率无法满足大量并发用户在时间和成本等多方面的差异化需求,无法支持大规模的云数据中心管理。对此,云数据中心智能管理系统是当前的前沿发展趋势。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
鉴于以上技术问题,本发明提供了一种云数据中心智能管理系统可以实现数据中心资源融合、智能调度、弹性伸缩,整合海量的异构资源,提供资源的按需服务、智能调度、不间断进化和灵活管理,支撑多层次多类型的云计算服务。
根据本发明的一个方面,提供一种云数据中心智能管理系统,包括:
数据中心资源数据接入与管理子系统,用于接入将云数据中心的硬件资源与虚拟资源运行数据并进行异构存储;
数据中心能耗评估预测子系统,用于获取资源运行数据和资源分配数据,进行能耗评估;
数据中心资源调度与管理子系统,用于进行联邦集群调度和资源优化调度;
工作流调度子系统,用于获从所述数据中心能耗评估预测子系统获得能耗预测数据,根据运算任务需求统筹进行云工作流调度工作,输出针对运算任务的容器配置需求。
在本发明的一个实施例中,所述云数据中心智能管理系统集成INDICS平台,所述INDICS平台包括资源层、IIOT层、平台层和应用层,所述平台层包括IaaS层、DaaS层和PaaS层,所述PaaS层包括通过用PaaS层和应用PaaS层,
所述数据中心资源数据接入与管理子系统部署于所述通用PaaS层;
数据中心能耗评估预测子系统部署于所述应用PaaS层;
所述数据中心资源调度与管理子系统署于所述通用PaaS层;
所述工作流调度子系统署于所述应用PaaS层。
在本发明的一个实施例中所述数据中心资源数据接入与管理子系统通过所述IIOT层获取云数据中心的硬件和虚拟资源运行数据,并作为工业应用部署在应用层。
在本发明的一个实施例中,所述数据中心资源调度与管理子系统包括位于所述通用PaaS层的联邦群调度模块和资源优化调度模块。
在本发明的一个实施例中,所述数据中心能耗评估预测子系统包括能耗评估算法模块和云数据中心能效评估模块,所述能耗评估算法模块位于所述平台层中的所述应用Paas层中的模型与算法服务之中,所述云数据中心能效评估位于所述应用层。
在本发明的一个实施例中,所述工作流调度子系统包括工作流队列优化模块和任务群动态合并调度算法模块以及云工作流引擎,所述工作流队列优化模块和任务群动态合并调度算法位于所述应用Paas层中的模型和算法服务之中,所述云工作流引擎位于所述应用Paas层中的核心处理引擎服务之中。
在本发明的一个实施例中,还包括位于所述应用层中的云数据中心运行展示分析应用和云工作流智能调度展示应用,用于面向数据中心管理人员提供数据中心运行分析情况及云工作流智能调度情况。
在本发明的一个实施例中,还包括位于所述平台层中的各子系统的API接口
在本发明的一个实施例中,还包括虚拟资源管理子系统,用于实现多种异构资源IaaS统一管理。
根据本发明的云数据中心智能管理系统可以实现数据中心资源融合、智能调度、弹性伸缩,整合海量的异构资源,提供资源的按需服务、智能调度、不间断进化和灵活管理,支撑多层次多类型的云计算服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是用于实现根据本发明实施例的云数据中心智能管理系统的示意性电子设备的结构示意图;
图2为根据本发明实施例的云数据中心智能管理系统的示意性结构框图;
图3为根据本发明实施例的INDICS平台的示意性结构框图;
图4为根据本发明实施例的基于INDICS平台的云数据中心智能管理系统的功能架构示意性框图;
图5为根据本发明实施例的基于INDICS平台的云数据中心智能管理系统的功能运行逻辑调用关系示意图;
图6为根据本发明实施例的基于INDICS工业互联网平台的云数据中心系统智能管理系统集成示意图;
图7为根据本发明实施例的云数据中心智能管理系统的虚拟资源管理服务功能架构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员来说显而易见的是,本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明实施例发生混淆,对于本领域公知的一些技术特征未进行描述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现根据本发明实施例的云数据中心智能管理系统的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106和通信接口108。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构,也可以不包括前述的部分组件,例如可以包括显示单元,也可以不包括显示单元。
所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言,处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。在特定实施例中,处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的一个或多个示例实施例的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置,例如输入装置可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。
通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的适配器或通信设备。例如,通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中,通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中,通信接口108通过与专用网络,例如视频监控网络、天网系统网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。
示例性地,用于实现根据本发明实施例的云数据中心智能管理系统的示例电子设备可以被实现为各种计算机系统或服务器或云服务系统等。
图2为根据本发明实施例的云数据中心智能管理系统的示意性结构框图。下面结合图2对根据本发明实施例的云数据中心智能管理系统进行描述。
如图2所示,根据本发明实施例的云数据中心智能管理系统200包括数据中心资源数据接入与管理子系统210、数据中心能耗评估预测子系统220、数据中心资源调度与管理子系统230和工作流调度子系统240。
数据中心资源数据接入与管理子系统210用于接入将云数据中心的硬件资源与虚拟资源运行数据并进行异构存储。数据中心资源数据接入与管理子系统210可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
数据中心能耗评估预测子系统220用于获取资源运行数据和资源分配数据,进行能耗评估。数据中心能耗评估预测子系统220可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
数据中心资源调度与管理子系统230用于进行联邦集群调度和资源优化调度。数据中心资源调度与管理子系统230可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
工作流调度子系统240用于获从所述数据中心能耗评估预测子系统获得能耗预测数据,根据运算任务需求统筹进行云工作流调度工作,输出针对运算任务的容器配置需求。工作流调度子系统240可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在本发明的一个实施例中,所述云数据中心智能管理系统集成INDICS平台,所述INDICS平台包括资源层、IIOT层、平台层和应用层,所述平台层包括IaaS层、DaaS层和PaaS层,所述PaaS层包括通过用PaaS层和应用PaaS层,所述数据中心资源数据接入与管理子系统210部署于所述通用PaaS层;数据中心能耗评估预测子系统220部署于所述应用PaaS层;所述数据中心资源调度与管理子系统230署于所述通用PaaS层;所述工作流调度子系统240署于所述应用PaaS层。
在本发明的一个实施例中所述数据中心资源数据接入与管理子系统230通过所述IIOT层获取云数据中心的硬件和虚拟资源运行数据,并作为工业应用部署在应用层。
在本发明的一个实施例中,所述数据中心资源调度与管理子系统230包括位于所述通用PaaS层的联邦群调度模块和资源优化调度模块。
在本发明的一个实施例中,所述数据中心能耗评估预测子系统220包括能耗评估算法模块和云数据中心能效评估模块,所述能耗评估算法模块位于所述平台层中的所述应用Paas层中的模型与算法服务之中,所述云数据中心能效评估位于所述应用层。
在本发明的一个实施例中,所述工作流调度子系统240包括工作流队列优化模块和任务群动态合并调度算法模块以及云工作流引擎,所述工作流队列优化模块和任务群动态合并调度算法位于所述应用Paas层中的模型和算法服务之中,所述云工作流引擎位于所述应用Paas层中的核心处理引擎服务之中。
在本发明的一个实施例中,云数据中心智能管理系统200还包括位于所述应用层中的云数据中心运行展示分析应用和云工作流智能调度展示应用,用于面向数据中心管理人员提供数据中心运行分析情况及云工作流智能调度情况。
在本发明的一个实施例中,云数据中心智能管理系统200还包括位于所述平台层中的各子系统的API接口
在本发明的一个实施例中,云数据中心智能管理系统200还包括虚拟资源管理子系统,用于实现多种异构资源IaaS统一管理。
根据本发明的云数据中心智能管理系统可以实现数据中心资源融合、智能调度、弹性伸缩,整合海量的异构资源,提供资源的按需服务、智能调度、不间断进化和灵活管理,支撑多层次多类型的云计算服务。
下面结合图3至图7对本发明实施例的云数据中心智能管理系统的集成过程进行描述。
图3为根据本发明实施例的INDICS平台的示意性结构框图。
本发明实施例所需构建的云数据中心智能管理系统是基于航天云网INDICS平台之上构建的,INDICS平台的体系架构如图3所示。
如图3所示,INDICS平台的体系架构主要由资源层、IIOT层和平台层、应用层构成。具体如下:
资源层,由INDICS平台所需接入的各类资源构成,包括:工业设备、产线等硬资源服务,工业服务和工业产品等软制造资源构成。
IIOT层,提供工业领域各类资源接入、深层次的数据采集、异构数据的协议解析与边缘智能处理、以及接入资源的安全防护,构建INDICS平台的资源接入能力。
平台层,是体系结构的核心,提供PaaS、IaaS云架构服务,以API或产品为对外服务的窗口,构建可扩展的开放式云操作系统。其中,IaaS层是实现平台可靠运行的重要支撑,包含存储资源管理、计算资源管理、网络资源管理3大功能。PaaS层是整个架构的核心,对上提供海量工业APP接入,对下提供异构资源数据接入,包含数据接入及管理、统一运行环境、工业核心引擎、模型及算法、应用开发工具、开放服务API 6大功能。
应用层,提供跨行业、跨领域、跨地域协同的各类工业应用APP,实现航天云网INDICS平台的服务价值。
图4为根据本发明实施例的基于INDICS平台的云数据中心智能管理系统的功能架构示意性框图。
如图4所示,所构建的云数据中心智能管理系统包括:云数据中心资源数据接入与管理子系统、应用运行资源调度与优化子系统、运行能效评估与预测子系统、工作流调度系统以及云数据中心运行展示分析和面向智能制造的云工作流智能调度子系统。上述各子系统的功能根据各自的作用及与其他子系统功能间的相互逻辑作用关系,分别处于INDICS平台中的不同层级中,主要功能说明如下:
数据中心资源数据接入与管理子系统位于平台层中的通用paas层,其作用是将大规模云数据中心的硬件资源及虚拟资源运行数据接入到平台层,并进行异构数据存储;
应用运行资源调度与优化子系统位于平台层中的通用paas层中的统一运行环境中,其功能包括:联邦集群调度和资源优化调度两个功能;
运行能效评估与预测子系统包括能耗评估算法及云数据中心能效评估两大功能;能耗评估算法位于平台层中的应用Paas层中的模型与算法服务之中;云数据中心能效评估位于应用层;子系统的数据来源于数据中心资源数据接入与管理子系统所采集接入的数据中心硬件资源和虚拟资源两类数据;
工作流调度子系统位于平台层中的应用Paas层,包括:工作流队列优化和任务群动态合并调度算法以及云工作流引擎;工作流队列优化和任务群动态合并调度算法位于模型和算法服务之中;云工作流引擎则位于核心处理引擎服务之中。
云数据中心运行展示分析和云工作流智能调度子系统位于应用层,面向数据中心管理人员提供数据中心运行分析情况及云工作流智能调度情况。
图5为根据本发明实施例的基于INDICS平台的云数据中心智能管理系统的功能运行逻辑调用关系示意图。
如图5所示,本发明实施例的基于INDICS平台的云数据中心智能管理系统的功能运行逻辑调用关系具体实现如下:
步骤1)服务请求应用服务层的云数据中心运行展示分析、云数据中心能效评估和云工作流运行展示这三类应用服务这三类应用服务,就会通过上行API接口服务提供的各类标准化数据接口服务,将用户应用需求调入至位于平台应用PAAS层中的核心处理引擎服务,由核心处理引擎中的各类处理引擎分别对相应的各类用户需求进行解析。
步骤2)模型算法调用核心处理引擎中的各类处理引擎在对各类用户应用需求进行解析后,便会调用存放于应用PAAS层中的模型算法及管理服务,通过各类模型算法的管理服务实现对可满足用户应用需求的相应模型算法的调用。
这些模型算法可以是已存放在模型算法库中的已有算法,也可以是通过用户应用建模过程由用户自己创建的模型算法。在完成与用户应用需求相对应的模型算法调用之后,则由相应的处理引擎将调用的模型算法加载到统一运行环境中进行运行。
步骤3)运行加载各类模型算法通过相应的核心处理引擎被加载到统一运行环境中后,由统一运行环境提供的各类服务来满足各类模型算法运行时的资源动态需求,并提供相应的服务。
步骤4)数据载入在模型和算法运行过程中,会调用位于通用PAAS层中的数据中心资源数据接入与管理服务,调用存储于数据存储中心中的海量存储数据,满足模型算法运行过程中的数据资源需求。而这些数据,正是通过资源数据接入与存储过程所接入的海量数据。
步骤5)应用结果反馈各类模型算法运行结束后,就会将最终的应用结果通过相应处理引擎反馈至上行API接口,并由相应类别的API标准接口将最终结果通过相应的云端应用服务反馈给用户。
数据流入可通过资源接入层提供的SMARTIOT及物接入工具来实现数据中心硬件和虚拟资源海量数据的接入及存储。资源数据接入存储过程也是平台基础支撑过程实现的前提和基础之一。
结合上述INDICS工业互联网平台的功能架构及功能间的逻辑调用关系,依据各子系统的相互关系,形成如下图6所示的基于INDICS工业互联网平台的云数据中心系统智能管理系统的集成方案。
图6为根据本发明实施例的基于INDICS工业互联网平台的云数据中心系统智能管理系统集成示意图。
如图6所示,所构建的云数据中心智能管理系统包括:云数据中心资源数据接入与管理子系统、应用运行资源调度与优化子系统、运行能效评估与预测子系统、工作流调度系统以及云数据中心运行展示分析和面向智能制造的云工作流智能调度子系统。构成各子系统的功能及相互间的逻辑调用关系,将其分布集成与INDICS平台中的各层级中,具体如下:
1)通过IOT抽取云数据中心的硬件和虚拟资源运行数据,运行数据由航天云网从数据中心读取,作为工业应用部署在应用层。
2)能耗评估子系统读取资源运行数据与运行资源分配的数据,进行能耗评估方面的运算,形成针对运算任务的容器级别的能耗量化评估结果。
3)工作流子系统各功能应用运行环境中,并获取计算资源需求,与能效评估子系统交互获得能耗预测数据,统筹进行容器调度规划,通过容器动态编排与调度启动不同容器。
4)工作流调度从应用层获取面向智能制造领域的工业APP运算任务需求,并从课题二获取能效评估的相关信息,根据运算任务需求统筹进行云工作流调度工作,输出针对运算任务的容器配置需求。
5)通过应用开发部署工具,将子系统在航天云网INDICS工业互联网平台上进行部署,智能管理系统所需运行数据均从通用Paas层获取,产生的数据通过各种数据库进行存储;各子系统之间的数据互通通过航天云网平台的各类API接口完成,各类模型算法可以部署在通用算法库中,并可使用数据算法建模等工具进行算法开发、部署工作。
在上述系统集成方案总,应用将在高于“云”的层次来执行云计算。同时,云数据中心智能管理系统同云计算平台或代理集成,实现对云计算运行过程的监控与管理。
本发明实施例的云数据中心智能管理系统的集成还需要进行接口设计,接口设计如下:接口设计主要包括上层工业典型应用和底层IaaS基础管理平台与云数据中心智能管理系统的接口、云数据中心智能管理系统中各子系统之间接口两部分。在接口规范基础上,统一采用开放API形式进行系统集成。
在基础管理平台中,在云数据中心智能管理系统内暴露各个管理模块的开放API,各子系统能够获取服务器运转状态等内容;运行数据管理子系统提供主数据的管理API;评估与预测子系统提供能效计算API,为用户需求计费提供能源成本方面的支撑;资源调度与管理子系统提供运算资源、APP资源、模型、算法等平台资源的调度功能API;云工作流智能管理与调度子系统提供业务元素管理、调用API,为工业业务组装提供支撑。
本发明实施例的云数据中心智能管理系统的集成还需要进行虚拟资源管理服务设计。
在本发明实施例中,基于KVM虚拟化技术和OpenStack云架构技术,设计多种异构虚拟资源IaaS统一管理,实现为用户提供简单、统一的管理服务,其总体架构设计如图7所示。
图7为根据本发明实施例的云数据中心智能管理系统的虚拟资源管理服务功能架构示意图。
如图7所示,根据本发明实施例的云数据中心智能管理系统的虚拟资源管理服务功能架构可划分为物理层、虚拟化层、OpenStack资源控制管理层、云计算平台系统管理层及统一门户层四个层次。
物理层硬件设备根据云计算平台规划部署,配置为符合云计算平台功能需求的网络架构,实现高可靠性、可扩展性和高稳定性云计算框架。虚拟化层承载于物理层之上,通过虚拟化技术,将物理机资源虚拟成云虚拟资源,实现在物理服务器硬件平台上运行多个云主机(VM)的能力,同时为上层调用提供接口。IaaS管理平台层从资源管理、镜像管理、运维管理、资产管理、监控管理、服务目录管理、租户管理、统一资源池管理、IaaS门户等模块进行详细功能设计,实现跨云数据平台IaaS调度需求。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的云数据中心智能管理系统的相应操作,并且用于实现根据本发明实施例的基于层次分析法的云数据中心智能管理系统的相应单元或模块。所述存储介质例如可以包括个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例云数据中心智能管理系统中的各个功能模块。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种云数据中心智能管理系统,其特征在于,包括:
数据中心资源数据接入与管理子系统,用于接入将云数据中心的硬件资源与虚拟资源运行数据并进行异构存储;
数据中心能耗评估预测子系统,用于获取资源运行数据和资源分配数据,进行能耗评估;
数据中心资源调度与管理子系统,用于进行联邦集群调度和资源优化调度;
工作流调度子系统,用于获从所述数据中心能耗评估预测子系统获得能耗预测数据,根据运算任务需求统筹进行云工作流调度工作,输出针对运算任务的容器配置需求。
2.根据权利要求1所述的云数据中心智能管理系统,其特征在于所述云数据中心智能管理系统集成INDICS平台,所述INDICS平台包括资源层、IIOT层、平台层和应用层,所述平台层包括IaaS层、DaaS层和PaaS层,所述PaaS层包括通过用PaaS层和应用PaaS层,
所述数据中心资源数据接入与管理子系统部署于所述通用PaaS层;
数据中心能耗评估预测子系统部署于所述应用PaaS层;
所述数据中心资源调度与管理子系统署于所述通用PaaS层;
所述工作流调度子系统署于所述应用PaaS层。
3.根据权利要求2所述的云数据中心智能管理系统,其特征在于,
所述数据中心资源数据接入与管理子系统通过所述IIOT层获取云数据中心的硬件和虚拟资源运行数据,并作为工业应用部署在应用层。
4.根据权利要求2所述的云数据中心智能管理系统,其特征在于,
所述数据中心资源调度与管理子系统包括位于所述通用PaaS层的联邦群调度模块和资源优化调度模块。
5.根据权利要求2所述的云数据中心智能管理系统,其特征在于,
所述数据中心能耗评估预测子系统包括能耗评估算法模块和云数据中心能效评估模块,所述能耗评估算法模块位于所述平台层中的所述应用Paas层中的模型与算法服务之中,所述云数据中心能效评估位于所述应用层。
6.根据权利要求2所述的云数据中心智能管理系统,其特征在于,所述工作流调度子系统包括工作流队列优化模块和任务群动态合并调度算法模块以及云工作流引擎,所述工作流队列优化模块和任务群动态合并调度算法位于所述应用Paas层中的模型和算法服务之中,所述云工作流引擎位于所述应用Paas层中的核心处理引擎服务之中。
7.根据权利要求2所述的云数据中心智能管理系统,其特征在于,还包括位于所述应用层中的云数据中心运行展示分析应用和云工作流智能调度展示应用,用于面向数据中心管理人员提供数据中心运行分析情况及云工作流智能调度情况。
8.根据权利要求2所述的云数据中心智能管理系统,其特征在于,还包括位于所述平台层中的各子系统的API接口。
9.根据权利要求1所述的云数据中心智能管理系统,其特征在于,还包括虚拟资源管理子系统,用于实现多种异构资源IaaS统一管理。
CN202011491332.6A 2020-12-16 2020-12-16 一种云数据中心智能管理系统 Pending CN112529309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011491332.6A CN112529309A (zh) 2020-12-16 2020-12-16 一种云数据中心智能管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011491332.6A CN112529309A (zh) 2020-12-16 2020-12-16 一种云数据中心智能管理系统

Publications (1)

Publication Number Publication Date
CN112529309A true CN112529309A (zh) 2021-03-19

Family

ID=75001080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011491332.6A Pending CN112529309A (zh) 2020-12-16 2020-12-16 一种云数据中心智能管理系统

Country Status (1)

Country Link
CN (1) CN112529309A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849405A (zh) * 2021-09-24 2021-12-28 中国电子科技集团公司第十五研究所 基于fpga的智能应用在线设计评估系统及方法
CN114629959A (zh) * 2022-03-22 2022-06-14 北方工业大学 一种云环境中上下文感知的IoT服务调度策略生成方法
CN114827193A (zh) * 2022-03-23 2022-07-29 永艺家具股份有限公司 一种基于互联网平台的供应链系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849405A (zh) * 2021-09-24 2021-12-28 中国电子科技集团公司第十五研究所 基于fpga的智能应用在线设计评估系统及方法
CN114629959A (zh) * 2022-03-22 2022-06-14 北方工业大学 一种云环境中上下文感知的IoT服务调度策略生成方法
CN114629959B (zh) * 2022-03-22 2023-11-17 北方工业大学 一种云环境中上下文感知的IoT服务调度策略方法
CN114827193A (zh) * 2022-03-23 2022-07-29 永艺家具股份有限公司 一种基于互联网平台的供应链系统及方法

Similar Documents

Publication Publication Date Title
CN112529309A (zh) 一种云数据中心智能管理系统
US9218196B2 (en) Performing pre-stage replication of data associated with virtual machines prior to migration of virtual machines based on resource usage
Liu et al. FogWorkflowSim: An automated simulation toolkit for workflow performance evaluation in fog computing
US8898291B2 (en) Dynamically expanding computing resources in a networked computing environment
US8205208B2 (en) Scheduling grid jobs using dynamic grid scheduling policy
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
US8667020B2 (en) Placement goal-based database instance dynamic consolidation
US8667019B2 (en) Placement goal-based database instance consolidation
US8924561B2 (en) Dynamically resizing a networked computing environment to process a workload
JP2014527221A (ja) クラウド上のアプリケーション・リソース・マネージャ
US20120079097A1 (en) Proactive identification of hotspots in a cloud computing environment
US20130041989A1 (en) Dynamically relocating workloads in a networked computing environment
CN114416352A (zh) 算力资源分配方法、装置、电子设备及储存介质
WO2021130596A1 (en) Elastic execution of machine learning workloads using application based profiling
CN115794341A (zh) 基于人工智能的任务调度方法、装置、设备及存储介质
CN114490089A (zh) 云计算资源自动调节方法、装置、计算机设备及存储介质
CN113791882B (zh) 多任务的部署方法、装置、电子设备及存储介质
CN113076224B (zh) 数据备份方法、数据备份系统、电子设备及可读存储介质
CN114430824B (zh) 用于完整性监测的突变事件检测
WO2024037068A1 (zh) 任务调度方法、电子设备及计算机可读存储介质
CN116962532A (zh) 集群任务调度方法、装置、计算机设备及存储介质
CN116450290A (zh) 计算机资源的管理方法、装置、云服务器及存储介质
US20180011789A1 (en) Reducing idle resource usage
Shan et al. Adaptive resource allocation for workflow containerization on Kubernetes
CN118034938B (zh) 一种作业调度方法、智能计算云操作系统以及计算平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination