CN104506663B - 一种智能云计算运行管理系统 - Google Patents

一种智能云计算运行管理系统 Download PDF

Info

Publication number
CN104506663B
CN104506663B CN201510032891.3A CN201510032891A CN104506663B CN 104506663 B CN104506663 B CN 104506663B CN 201510032891 A CN201510032891 A CN 201510032891A CN 104506663 B CN104506663 B CN 104506663B
Authority
CN
China
Prior art keywords
data
circuit
unit
analog machine
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510032891.3A
Other languages
English (en)
Other versions
CN104506663A (zh
Inventor
刘翼
张琪
章红滨
王晓川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Peiwat Technology Co., Ltd.
Original Assignee
CHENGDU PVIRTECH TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU PVIRTECH TECHNOLOGY Co Ltd filed Critical CHENGDU PVIRTECH TECHNOLOGY Co Ltd
Priority to CN201510032891.3A priority Critical patent/CN104506663B/zh
Publication of CN104506663A publication Critical patent/CN104506663A/zh
Application granted granted Critical
Publication of CN104506663B publication Critical patent/CN104506663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Multi Processors (AREA)

Abstract

本发明的智能云计算运行管理系统,通过设置数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元,实现了对整个云计算系统的运算量的精确调节和能耗的准确控制,同时增强了数据抗失效的水平,提高了整个系统的运行效率。

Description

一种智能云计算运行管理系统
技术领域
本发明涉及云计算领域,尤其涉及一种智能云计算运行管理系统。
背景技术
云计算(cloud computing),分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机运行管理称为“云”。云计算具有以下特点:
(1)超大规模。“云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力;
(2)模拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置;
(3)高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠;
(4)通用性。云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行;
(5)高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要;
(6)极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。
然而现有的云计算系统,在整体资源或系统整体运算量调配方面依然存在效率低、能耗高的缺陷,以及系统分布式终端机数据获取的可靠性低的问题,这导致整个云计算系统无法发挥其巨大高效的计算能力。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式,提出一种智能云计算运行管理系统,所述系统包括:中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元;其中,
所述多个数据获得单元,分别设置并运行于所述运行管理系统中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息;
所述多个数据汇总中继单元,用于汇总各数据获得单元获得的即时运行信息,并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整;以及
所述数据协助处理单元,用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式,所述数据获得单元具体包括:
数据接收电路,用于接收获得中央处理单元指令,通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息,再将获得的信息发送到数据冗余删减电路;
数据冗余删减电路,用于接收获得中央处理单元的指令,对所获取的数据接收电路传来的模拟机即时运行信息,使用数据冗余删减算法进行冗余删减处理,并将冗余删减后的信息存入本机存储器中;
本机存储器,运行在分布式计算机上,用于存储冗余删减后的模拟机即时运行信息;
信息访问电路,用于在中央处理单元的控制下,从本机存储器中读取模拟机即时运行信息,并将所述信息传输到第一串口电路中;以及
第一串口电路,负责提供数据通信的通道,用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输;接收信息访问电路传输的模拟机即时运行信息,并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式,所述数据汇总中继单元具体包括:
程控I/O序列电路,用于接收序列管理电路传送来的分布式计算机的MAC地址,并将所述地址存入程控I/O序列中,再在打包处理电路控制下,将程控I/O序列中的MAC地址传输到打包处理电路;
序列管理电路,从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址,并将所述MAC地址传送给程控I/O序列电路;当程控I/O序列中的MAC地址无效时,所述电路负责删除程控I/O序列中的无效MAC地址;
打包处理电路,负责从程控I/O序列电路中周期地获取MAC地址,并对所述MAC地址进行处理,打包为数据传输指令后,将所述指令发送至第二串口电路;
第二串口电路,用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路;同时接收打包处理电路传输来的数据传输指令,再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元;
数据汇总电路,作为数据汇总中继单元的核心,接收多个数据获得单元上传的模拟机的即时运行信息,并对这些信息进行组合、汇总后,发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式,所述第一资源调节单元具体包括:
运算量获得电路,用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息,再把这些运算量信息传输到运算量计算电路;
运算量计算电路,用于对来自运算量获得电路的运算量信息进行处理,并使用处理后的信息周期更新运算量信息表,以使运算量信息表能实时反映分布式计算机的运算量状况;
运算量信息表,用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息,使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息;
运算量适配电路,用于读取运算量信息表,并按照所述电路存储的处理数据汇总请求的调节方案,将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统即时运行信息;
第一模拟机统计电路,用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式,所述数据协助处理单元具体包括:第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路;其中,
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
本发明的智能云计算运行管理系统,通过设置数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元,实现了对整个云计算系统的运算量的精确调节和能耗的准确控制,同时增强了数据抗失效的水平,提高了整个系统的运行效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
附图1示出了根据本发明实施方式的智能云计算运行管理系统结构示意图;
附图2示出了根据本发明实施方式的数据获得单元结构示意图;
附图3示出了根据本发明实施方式的数据汇总中继单元结构示意图;
附图4示出了根据本发明实施方式的第一资源调节单元结构示意图;
附图5示出了根据本发明实施方式的第二资源调节单元结构示意图;
附图6示出了根据本发明实施方式的数据协助处理单元结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式,提出一种智能云计算运行管理系统,如附图1所示,所述系统包括:中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元;其中,
所述多个数据获得单元,分别设置并运行于所述运行管理系统中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息;所述即时运行信息可以包括,但不限于,计算机MAC地址、获得单元数量、数据获得频率、各模拟机工作状态等;
所述多个数据汇总中继单元,用于汇总各数据获得单元获得的即时运行信息,并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整;以及
所述数据协助处理单元,用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式,如附图2所示,所述数据获得单元具体包括:
数据接收电路,用于接收获得中央处理单元指令,通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息,再将获得的信息发送到数据冗余删减电路;
数据冗余删减电路,用于接收获得中央处理单元的指令,对所获取的数据接收电路传来的模拟机即时运行信息,使用数据冗余删减算法进行冗余删减处理,并将冗余删减后的信息存入本机存储器中;
本机存储器,运行在分布式计算机上,用于存储冗余删减后的模拟机即时运行信息;
信息访问电路,用于在中央处理单元的控制下,从本机存储器中读取模拟机即时运行信息,并将所述信息传输到第一串口电路中;以及
第一串口电路,负责提供数据通信的通道,用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输;接收信息访问电路传输的模拟机即时运行信息,并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式,如附图3所示,所述数据汇总中继单元具体包括:
程控I/O序列电路,用于接收序列管理电路传送来的分布式计算机的MAC地址,并将所述地址存入程控I/O序列中,再在打包处理电路控制下,将程控I/O序列中的MAC地址传输到打包处理电路;
序列管理电路,从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址,并将所述MAC地址传送给程控I/O序列电路;当程控I/O序列中的MAC地址无效时,所述电路负责删除程控I/O序列中的无效MAC地址;
打包处理电路,负责从程控I/O序列电路中周期地获取MAC地址,并对所述MAC地址进行处理,打包为数据传输指令后,将所述指令发送至第二串口电路;
第二串口电路,用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路;同时接收打包处理电路传输来的数据传输指令,再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元;
数据汇总电路,作为数据汇总中继单元的核心,接收多个数据获得单元上传的模拟机的即时运行信息,并对这些信息进行组合、汇总后,发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式,所述数据汇总中继单元具体运行步骤包括:
A1、先确定数据汇总中继单元的汇总数据周期:设定每个数据获得单元的数据获得周期时间跨度和其向数据汇总中继单元发送数据的时间跨度;
A2、数据获得单元通过第一串口电路将分布式计算机地址发MAC送到数据汇总中继单元,数据汇总中继单元使用第二串口电路将所述地址通过序列管理电路添加到程控I/O序列电路中;
A3、数据汇总中继单元的打包处理电路周期访问程控I/O序列电路,获取其中的分布式计算机MAC地址后,将所述MAC地址处理为一条数据传输指令,再将所述指令通过第二串口电路发送给数据获得单元;打包处理电路获取分布式计算机MAC地址的同时,数据汇总电路准备接收数据获得单元传输的模拟机即时运行信息;
A4、数据汇总中继单元开始接收数据后,将当前接收的数据作为一个数据块存入缓存,并赋予所述数据块一个唯一的标识符,用于表明当前汇总的是哪个数据获得单元的获得数据;
A5、因设置的数据传输时间跨度是确定的,当所述数据获得单元结束数据传输时,数据汇总中继单元就将其缓存中的数据块直接传送到分布式存储器,从而完成一个数据获得单元的数据汇总;
A6、打包处理电路开始访问程控I/O序列电路,开始汇总下一个数据获得单元的获得数据,即返回执行步骤A2。
根据本发明的实施方式,如附图4所示,所述第一资源调节单元具体包括:
运算量获得电路,用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息,再把这些运算量信息传输到运算量计算电路;
运算量计算电路,用于对来自运算量获得电路的运算量信息进行处理,并使用处理后的信息周期更新运算量信息表,以使运算量信息表能实时反映分布式计算机的运算量状况;
运算量信息表,用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息,使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息;
运算量适配电路,用于读取运算量信息表,并按照所述电路存储的处理数据汇总请求的调节方案,将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式,所述第一资源调节单元具体运行步骤包括:
B1、第一资源调节单元依据数据汇总中继单元的运算量计算公式
获得每个数据汇总中继单元的运算量;式中,Lc是数据汇总中继单元c的运算量,host1,host2,...,hostn是数据汇总中继单元c所汇总管理的n个数据获得单元;数据汇总点c的运算量因子αc是表征所述数据汇总点c处理能力的经验值,其数值是在系统运行过程中根据运行维护经验进行调整设置的,且0<αc≤1;counti(vm)为第i个数据获得单元负责获得的模拟机总数;fi是第i个数据获得单元获得数据的周期频率,即第i个数据获得单元部署在hosti上,并以频率fi获得hosti上部署的模拟机的状态信息;
B2、运算量计算电路对每个数据汇总点获得的运算量进行计算后,将计算结果直接加载到运算量信息表中;使得用于表征当前系统中数据汇总点的实时运算量情况的运算量信息表得到实时更新;
B3、运算量适配电路访问运算量信息表获取每个数据汇总点的运算量信息,再根据所述电路提供的运算量调节方案将新的运算量分配给相应的数据汇总中继单元。
根据本发明的实施方式,如附图5所示,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统即时运行信息;
第一模拟机统计电路,用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n,n为正整数;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式,所述数据搬移电路具体包括:
数据搬移代价计算电路,用于将选择的当前模拟机与目标组中模拟机个数最多的分布式计算机对应,并计算出相应的总数据搬移代价,并将所述数据搬移代价作为最小代价;
穷尽电路,用于穷尽所述目标组中的其它分布式计算机,计算对应的当前总数据搬移代价,并将当前数据搬移总代价与所述最小代价进行比较,若当前数据搬移总代价大于等于所述最小代价,则重复执行穷尽电路,否则将当前数据搬移总代价作为最小代价,将当前模拟机与当前分布式计算机对应。
根据本发明的实施方式,所述数据搬移总代价通过如下公式计算,
Cost(Vi,Ph)=mig×D(Vi,Ph)+∑[W(Vi,Vj)×D′(Ph,Vj)]
其中,Cost(Vi,Ph)为当前模拟机Vi数据搬移到当前分布式计算机Ph的总数据搬移代价,mig为常数,D(Vi,Ph)为当前模拟机Vi到当前分布式计算机Ph的拓扑步数,W(Vi,Vj)为当前模拟机Vi与云计算系统中其它模拟机Vj之间的通信流量,D′(Ph,Vj)为当前模拟机Vi数据搬移到分布式计算机Ph后,分布式计算机Ph到云计算系统中其它模拟机Vj的距离。
根据本发明的实施方式,如附图6所示,所述数据协助处理单元具体包括:第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路;其中,
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;所述标准化格式包括,例如,可以用二维表结构表达的数据,所述非标准化格式包括,例如,文本,图片,音频等;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
根据本发明的实施方式,所述数据灾备电路对接收的数据获得单元发送的数据进行灾备处理具体包括:
D1、所述中央处理单元获取系统运算量信息,任务执行进度以及位置信息,确定灾备方案;
D2、所述数据灾备电路对任务输入数据进行判断和划分,以确定数据是否需要灾备,并向中央处理单元提出灾备申请;
D3、根据中央处理单元的灾备命令的返回,计算利用空闲带宽,考虑比较资源消耗、灾备时间等因素,进行数据灾备;
D4、向中央处理单元返回灾备情况,更新数据灾备信息;
其中,所述D1所述的系统运算量信息主要包括往返延迟和丢包率,即在当前时段网络中以往返延迟增加和丢包率增加衡量系统运算量情况,以避免因灾备占用网络资源过多而导致整体性能下降;所述的任务执行进度、位置是根据当前正在执行任务,接收任务的MAC地址、任务执行模拟机位置、任务已执行时间、任务进度评分信息,以预判任务完整执行所需的最长时间和灾备存储位置;
其中,所述D3所述的数据灾备主要涉及利用空闲带宽灾备,考虑资源消耗比较和灾备时间比较因素;根据D1接收到的系统运算量信息,分析其先前系统运算量规律,考虑模拟机位置、资源使用状况,进一步计算出未来1分钟内网络空闲情况,并在此段时间进行数据灾备;
其中,所述D4所述灾备情况是指通过系统运算量预判及灾备方案成功灾备后的信息:数据灾备电路在中间数据灾备成功后,以心跳信息的形式发送给中央处理单元,通知中央处理单元所述数据灾备成功和存储位置,以供当前数据无效后使用;中央处理单元接收到数据灾备电路的灾备信息后,更新数据位置信息。
其中,所述D3中,灾备时间比较是指数据灾备灾备时间需比任务执行时间短,即中央处理单元收到数据灾备电路的返回信息来控制数据灾备速率和计算节点监控任务执行进度两方面保证数据灾备时间,如果灾备时间超过任务完成时间,则放弃灾备;资源消耗比较主要通过中央处理单元记录任务实际执行的先前时间作为任务执行资源消耗和中间数据的灾备时间作为灾备资源消耗进行比较,如执行资源消耗大于灾备资源消耗,则放弃灾备。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种智能云计算运行管理系统,所述系统包括:中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元;其中,
所述多个数据获得单元,分别设置并运行于所述运行管理系统中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的即时运行信息;
所述多个数据汇总中继单元,用于汇总各数据获得单元获得的即时运行信息,并将汇总的即时运行信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收各个数据汇总中继单元传送的即时运行信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整;以及
所述数据协助处理单元,用于对需要进行云计算处理的中间数据进行协助处理;
所述数据获得单元具体包括:
数据接收电路,用于接收获得中央处理单元指令,通过模拟机定位器获得运行在分布式计算机上的模拟机的即时运行信息,再将获得的信息发送到数据冗余删减电路;
数据冗余删减电路,用于接收获得中央处理单元的指令,对所获取的数据接收电路传来的模拟机即时运行信息,使用数据冗余删减算法进行冗余删减处理,并将冗余删减后的信息存入本机存储器中;
本机存储器,运行在分布式计算机上,用于存储冗余删减后的模拟机即时运行信息;
信息访问电路,用于在中央处理单元的控制下,从本机存储器中读取模拟机即时运行信息,并将所述信息传输到第一串口电路中;以及
第一串口电路,负责提供数据通信的通道,用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输;接收信息访问电路传输的模拟机即时运行信息,并将这些信息发送到数据汇总中继单元中。
2.一种如权利要求1所述的系统,所述数据汇总中继单元具体包括:
程控I/O序列电路,用于接收序列管理电路传送来的分布式计算机的MAC地址,并将所述地址存入程控I/O序列中,再在打包处理电路控制下,将程控I/O序列中的MAC地址传输到打包处理电路;
序列管理电路,从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址,并将所述MAC地址传送给程控I/O序列电路;当程控I/O序列中的MAC地址无效时,删除程控I/O序列中的无效MAC地址;
打包处理电路,负责从程控I/O序列电路中周期地获取MAC地址,并对所述MAC地址进行处理,打包为数据传输指令后,将所述指令发送至第二串口电路;
第二串口电路,用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路;同时接收打包处理电路传输来的数据传输指令,再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元;
数据汇总电路,接收多个数据获得单元上传的模拟机的即时运行信息,并对这些信息进行组合、汇总后,发送至第一资源调节单元以及第二资源调节单元。
3.一种如权利要求2所述的系统,所述第一资源调节单元具体包括:
运算量获得电路,用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息,再把这些运算量信息传输到运算量计算电路;
运算量计算电路,用于对来自运算量获得电路的运算量信息进行处理,并使用处理后的信息周期更新运算量信息表,以使运算量信息表能实时反映分布式计算机的运算量状况;
运算量信息表,用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息,使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息;
运算量适配电路,用于读取运算量信息表,并按照所述电路存储的处理数据汇总请求的调节方案,将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
4.一种如权利要求3所述的系统,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统即时运行信息;
第一模拟机统计电路,用于根据系统即时运行信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统即时运行信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
5.一种如权利要求4所述的系统,所述数据协助处理单元具体包括:第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路;其中,
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
CN201510032891.3A 2015-01-22 2015-01-22 一种智能云计算运行管理系统 Active CN104506663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510032891.3A CN104506663B (zh) 2015-01-22 2015-01-22 一种智能云计算运行管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510032891.3A CN104506663B (zh) 2015-01-22 2015-01-22 一种智能云计算运行管理系统

Publications (2)

Publication Number Publication Date
CN104506663A CN104506663A (zh) 2015-04-08
CN104506663B true CN104506663B (zh) 2018-03-13

Family

ID=52948378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510032891.3A Active CN104506663B (zh) 2015-01-22 2015-01-22 一种智能云计算运行管理系统

Country Status (1)

Country Link
CN (1) CN104506663B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905348A (zh) * 2021-03-09 2021-06-04 国网河北省电力有限公司信息通信分公司 一种智能云计算管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216782A (zh) * 2014-08-19 2014-12-17 东南大学 高性能计算和云计算混合环境中的动态资源管理方法
CN104283964A (zh) * 2014-10-22 2015-01-14 国网上海市电力公司 电力客户智能交互终端系统
CN104301403A (zh) * 2014-09-26 2015-01-21 东北大学 基于组件服务副本增删的云服务资源动态配置系统及方法
CN104298339A (zh) * 2014-10-11 2015-01-21 东北大学 一种面向最小能耗的服务器整合方法
CN104301389A (zh) * 2014-09-19 2015-01-21 华侨大学 一种云计算系统的能效监控和管理方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216782A (zh) * 2014-08-19 2014-12-17 东南大学 高性能计算和云计算混合环境中的动态资源管理方法
CN104301389A (zh) * 2014-09-19 2015-01-21 华侨大学 一种云计算系统的能效监控和管理方法与系统
CN104301403A (zh) * 2014-09-26 2015-01-21 东北大学 基于组件服务副本增删的云服务资源动态配置系统及方法
CN104298339A (zh) * 2014-10-11 2015-01-21 东北大学 一种面向最小能耗的服务器整合方法
CN104283964A (zh) * 2014-10-22 2015-01-14 国网上海市电力公司 电力客户智能交互终端系统

Also Published As

Publication number Publication date
CN104506663A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN103761309B (zh) 一种运营数据处理方法及系统
CN103152393B (zh) 一种云计算的计费方法和计费系统
CN104618693B (zh) 一种基于云计算的监控视频在线处理任务管理方法及系统
CN106020715B (zh) 存储池容量管理
CN104541247B (zh) 用于调整云计算系统的系统和方法
CN104462121B (zh) 数据处理方法、装置及系统
CN106033476B (zh) 一种云计算环境中分布式计算模式下的增量式图计算方法
CN106815254B (zh) 一种数据处理方法和装置
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN109213752A (zh) 一种基于cim的数据清洗转换方法
CN107645410A (zh) 一种基于OpenStack云平台的虚拟机管理系统及方法
CN113010393A (zh) 基于混沌工程的故障演练方法及装置
CN107508722A (zh) 一种业务监控方法和装置
CN112866059A (zh) 一种基于人工智能应用的无损网络性能测试方法和装置
CN110059829A (zh) 一种异步参数服务器高效并行架构与方法
CN103617067A (zh) 一种基于云计算的电力软件仿真系统
CN107241305A (zh) 一种基于多核处理器的网络协议分析系统及其分析方法
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
Filip et al. Data capsule: Representation of heterogeneous data in cloud-edge computing
CN109062769A (zh) It系统性能风险趋势预测的方法、装置和设备
CN103248636B (zh) 离线下载的系统及方法
CN106874067A (zh) 基于轻量级虚拟机的并行计算方法、装置及系统
CN106559498A (zh) 风控数据收集平台及其收集方法
CN105933154A (zh) 一种云计算资源的管理方法
CN112884164B (zh) 面向智能移动终端实现的联邦机器学习迁移方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors

Patentee after: Chengdu Peiwat Technology Co., Ltd.

Address before: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors

Patentee before: CHENGDU PVIRTECH TECHNOLOGY CO., LTD.

CP01 Change in the name or title of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Intelligent cloud computing operation management system

Effective date of registration: 20191120

Granted publication date: 20180313

Pledgee: China Minsheng Banking Corp Chengdu branch

Pledgor: Chengdu Peiwat Technology Co., Ltd.

Registration number: Y2019510000054

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20210226

Granted publication date: 20180313

Pledgee: China Minsheng Banking Corp Chengdu branch

Pledgor: CHENGDU PVIRTECH Co.,Ltd.

Registration number: Y2019510000054

PC01 Cancellation of the registration of the contract for pledge of patent right