CN112905348A - 一种智能云计算管理系统 - Google Patents

一种智能云计算管理系统 Download PDF

Info

Publication number
CN112905348A
CN112905348A CN202110255334.3A CN202110255334A CN112905348A CN 112905348 A CN112905348 A CN 112905348A CN 202110255334 A CN202110255334 A CN 202110255334A CN 112905348 A CN112905348 A CN 112905348A
Authority
CN
China
Prior art keywords
data
circuit
information
unit
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110255334.3A
Other languages
English (en)
Inventor
孙辰军
袁翰青
杨会峰
王占魁
王静
张志�
王腾
徐磊
周文芳
王立玮
遇炳杰
刘汝坤
樊京杭
杨钰雪
刘瑞英
聂祥谦
魏勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110255334.3A priority Critical patent/CN112905348A/zh
Publication of CN112905348A publication Critical patent/CN112905348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算领域，尤其涉及一种智能云计算管理系统,具体包括中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元以及数据协助处理单元；其中，多个数据获得单元，分别设置并于管理系统中的各个分布式计算机上；多个数据汇总中继单元，汇总即时信息，并发送至第一资源调节单元以及第二资源调节单元；第一资源调节单元，对系统资源的分配进行第一类型调整；第二资源调节单元，对系统资源的分配进行第二类型调整；数据协助处理单元，对需要进行云计算处理的中间数据进行协助处理。通过本发明，实现对云计算系统的运算量的精确调节和能耗的准确控制，提高了系统的效率。

Description

一种智能云计算管理系统
技术领域
本发明涉及云计算领域，尤其涉及一种智能云计算管理系统。
背景技术
云计算分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机管理称为“云”。云计算具有以下特点：
超大规模“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力；
模拟化，云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处，但实际上用户无需了解、也不用担心应用的具体位置；
高可靠性，“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠；
通用性，云计算不针对特定的应用，在“云”的支撑下可以构造出千变刀化的应用，同一个“云”可以同时支撑不同的应用；
高可扩展性，“云”的规模可以动态伸缩，满足应用和用户规模增长的需要；
极其廉价，由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。然而现有的云计算系统，在整体资源或系统整体运算量调配方面依然存在效率低、能耗高的缺陷，以及系统分布式终端机数据获取的可靠性低的问题，这导致整个云计算系统无法发挥其巨大高效的计算能力。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式，提出一种智能云计算管理系统，所述系统包括冲央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元；其中，
所述多个数据获得单元，分别设置并于所述管理系统中的各个分布式计算机上，用于根据中央处理单元的指令获得于分布式计算机的各模拟机的即时；
所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时信息，并将汇总的即时信息发送至第一资源调节单元以及第二资源调节单元；
所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；
所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，依据预设的第二资源调节准则对系统资源的分配进行第二类型调整：以及所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式，所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得在分布式计算机上的模拟机的即时信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，在分布式计算机上，用于存储冗余删减后的模拟机即时；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时信息，并将所述信息传输到第一串口电路中；以及第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时信息，并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式，所述数据汇总中继单元具体包括：
程控1/0序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控1/0序列中，再在打包处理电路控制下，将程控1/0序列中的MAC地址传输到打包处理电路：
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控1/0序列电路；当程控1/0序列中的MAC地址无效时，所述电路负责删除程控1/0序列中的无效MAC地址；
打包处理电路，负责从程控1/0序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路：
第二串口电路，用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路：同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元；
数据汇总电路，作为数据汇总中继单元的核心，接收多个数据获得单元上传的模拟机的即时信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式，所述第一资源调节单元具体包括：
运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电路；
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式，所述第二资源调节单元包括：
信息接收电路，用于接收数据汇总中继单元发送的系统即时信息；
第一模拟机统计电路，用于根据系统即时信息获取当前云计算系统中所具有的模拟机个数：
第二模拟机统计电路，用于根据系统即时信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n，
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列：
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式，所述数据协助处理单元具体包括：第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路；其中，
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据：
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断，所述格式包括标准化格式和非标准化格式；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理：其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理单元：
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
本发明的智能云计算管理系统，通过设置数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元，实现了对整个云计算系统的运算量的精确调节和能耗的准确控制，同时增强了数据抗失效的水平，提高了整个系统的效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
图1为根据本发明实施方式的智能云计算管理系统结构示意图；
图2示出了根据本发明实施方式的数据获得单元结构示意图；
图3示出了根据本发明实施方式的数据汇总中继单元结构示意图：
图4示出了根据本发明实施方式的第资源调节单元结构示意图；
图5示出了根据本发明实施方式的第二资源调节单元结构示意图：
图6示出了根据本发明实施方式的数据协助处理单元结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式，提出一种智能云计算管理系统，如附图1所示，所述系统包括：中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元、以及数据协助处理单元；
其中：
所述多个数据获得单元，分别设置并于所述管理系统中的各个分布式计算机上，用于根据中央处理单元的指令获得于分布式计算机的各模拟机的即时信息；所述即时信息可以包括，但不限于，计算机MAC地址、获得单元数量、数据获得频率、各模拟机工作状态；
所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时信息，并将汇总的即时信息发送至第一资源调节单元以及第二资源调节单元；
所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；
所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，依据预设的第二资源调节准则对系统资源的分配进行第二类型调整；以及所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理。
根据本发明的实施方式，如附图2所示，所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得在分布式计算机上的模拟机的即时信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，在分布式计算机上，用于存储冗余删减后的模拟机即时；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时信息，并将所述信息传输到第一串口电路中；以及第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时信息，并将这些信息发送到数据汇总中继单元中。
根据本发明的实施方式，如附图3所示，所述数据汇总中继单元具体包括：
程控1/0序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控1/0序列中，再在打包处理电路控制下，将程控1/0序列中的MAC地址传输到打包处理电路：
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控1/0序列电路；当程控1/0序列中的MAC地址无效时，所述电路负责删除程控1/0序列中的无效MAC地址；
打包处理电路，负责从程控1/0序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路：
第二串口电路，用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路：同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元：
数据汇总电路，作为数据汇总中继单元的核心，接收多个数据获得单元上传的模拟机的即时信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式，所述数据汇总中继单元具体步骤包括：
Al、先确定数据汇总中继单元的汇总数据周期：设定每个数据获得单元的数据获得周期时间跨度和其向数据汇总中继单元发送数据的时间跨度；
A2、数据获得单元通过第一串口电路将分布式计算机地址发MAC送到数据汇总中继单元，数据汇总中继单元使用第二串口电路将所述地址通过序列管理电路添加到程控1/0序列电路中：
A3、数据汇总中继单元的打包处理电路周期访问程控1/0序列电路，获取其中的分布式计算机MAC地址后，将所述MAC地址处理为一条数据传输指令，再将所述指令通过第二串口电路发送给数据获得单元；打包处理电路获取分布式计算机MAC地址的同时，数据汇总电路准备接收数据获得单元传输的模拟机即时信息：
A4、数据汇总中继单元开始接收数据后，将当前接收的数据作为一个数据块存入缓存，并赋予所述数据块一个唯一的标识符，用于表明当前汇总的是哪个数据获得单元的获得数据：
A5、因设置的数据传输时间跨度是确定的，当所述数据获得单元结束数据传输时，数据汇总中继单元就将其缓存中的数据块直接传送到分布式存储器，从而完成一个数据获得单元的数据汇总：
A6、打包处理电路开始访问程控1/0序列电路，开始汇总下一个数据获得单元的获得数据，即返回执行步骤A2。
根据本发明的实施方式，如附图4所示，所述第一资源调节单元具体包括：
运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单兀数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电9
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
根据本发明的实施方式，所述第一资源调节单元具体步骤包括：
Bl、第一资源调节单元依据数据汇总中继单元的运算量计算公式
Figure BDA0002968032500000091
获得每个数据汇总中继单元的运算量；
式中，LC是数据汇总中继单元c的运算量，hostl,host2,·，hostn是数据汇总中继单元c所汇总管理的n个数据获得单元；数据汇总占c的运算量因子αC是表征所述数据汇总点c处理能力的经验值，其数值是在系统过程中根据维护经验进行调整设置的，且0≤αC≤1；counti(vm)为第i个数据获得单元负责获得的模拟机总数；fi是第i个数据获得单元获得数据的周期频率，即第i个数据获得单元部署在hosti上，并以频率fi获得hosti上部署的模拟机的状态信息；
B2、运算量计算电路对每个数据汇总点获得的运算量进行计算后，将计算结果直接加载到运算量信息表中；使得用于表征当前系统中数据汇总点的实时运算量情况的运算量信息表得到实时更新；
B3、运算量适配电路访问运算量信息表获取每个数据汇总点的运算量信息，再根据所述电路提供的运算量调节方案将新的运算量分配给相应的数据汇总中继单元；
根据本发明的实施方式，如附图5所示，所述第二资源调节单元包括：
信息接收电路，用于接收数据汇总中继单元发送的系统即时信息：
第一模拟机统计电路，用于根据系统即时信息获取当前云计算系统中所具有的模拟机个数：
第二模拟机统计电路，用于根据系统即时信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n,n为正整数；
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列：
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式，所述数据搬移电路具体包括：
数据搬移代价计算电路，用于将选择的当前模拟机与目标组中模拟机个数最多的分布式计算机对应，并计算出相应的总数据搬移代价，并将所述数据搬移代价作为最小代价；
穷尽电路，用于穷尽所述目标组中的其它分布式计算机，计算对应的当前总数据搬移代价，并将当前数据搬移总代价与所述最小代价进行比较，若当前数据搬移总代价大于等于所述最小代价，则重复执行穷尽电路，否则将当前数据搬移总代价作为最小代价，将当前模拟机与当前分布式计算机对应。
根据本发明的实施方式，所述数据搬移总代价通过如下公式计算，
cost(Vi,Ph)＝mig×D(Vi,Ph)+∑[W(Vi,Vj)×D′(Ph,Vj)]
其中，cost(Vi,Ph)为当前模拟机Vi数据搬移到当前分布式计算机Ph的总数据搬移代价，mig为常数，D(Vi,Ph)为当前模拟机v，到当前分布式计算机Ph的拓扑步数，W(Vi,Vj)为当前模拟机v，与云计算系统中其它模拟机v之间的通信流量，D′(Ph,Vj)为当前模拟机v，数据搬移到分布式计算机Ph后，分布式计算机Ph到云计算系统中其它模拟机巪的距离。
根据本发明的实施方式，如附图6所示，所述数据协助处理单元具体包括：第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路：其中，
所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据：
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断，所述格式包括标准化格式和非标准化格式；所述标准化格式包括，例如，可以用二维表结构表达的数据，所述非标准化格式包括，例如，文本，图片，音频等；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理：其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理单元；
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
根据本发明的实施方式，所述数据灾备电路对接收的数据获得单元发送的数据进行灾备处理具体包括：
D1所述中央处理单元获取系统运算量信息，任务执行进度以及位置信息，确定灾备方案：
D2所述数据灾备电路对任务输入数据进行判断和划分，以确定数据是否需要灾备，并向中央处理单元提出灾备申请；
D3根据中央处理单兀的灾备命令的返回，计算利用空闲带宽，考虑比较资源消耗、灾备时间等因素，进行数据灾备；
D4向中央处理单元返回灾备情况，更新数据灾备信息；
其中，所述D1所述的系统运算量信息主要包括往返延迟和丢包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量系统运算量情况，以避免因灾备占用网络资源过多而导致整体性能下降；所述的任务执行进度、位置是根据当前正在执行任务，接收任务的MAC地址、任务执行模拟机位置、任务己执行时间、任务进度评分信息，以预判任务完整执行所需的最长时间和灾备存储位置；
其中，所述D3所述的数据灾备主要涉及利用空闲带宽灾备，考虑资源消耗比较和灾备时间比较因素：根据D1接收到的系统运算量信息，分析其先前系统运算量规律，考虑模拟机位置、资源使用状况，进一步计算出未来1分钟内网络空闲情况，并在此段时间进行数据灾备；
其中，所述D4所述灾备情况是指通过系统运算量预判及灾备方案成功灾备后的信息：数据灾备电路在中间数据灾备成功后，以心跳信息的形式发送给中央处理单元，通知中央处理单元所述数据灾备成功和存储位置，以供当前数据无效后使用；中央处理单元接收到数据灾备电路的灾备信息后，更新数据位置信息。
其中，所述D3中，灾备时间比较是指数据灾备灾备时间需比任务执行时间短，即中央处理单元收到数据灾备电路的返回信息来控制数据灾备速率和计算节点监控任务执行进度两方面保证数据灾备时间，如果灾备时间超过任务完成时间，则放弃灾备：资源消耗比较主要通过中央处理单元记录任务实际执行的先前时间作为任务执行资源消耗和中间数据的灾备时间作为灾备资源消耗进行比较，如执行资源消耗大于灾备资源消耗，则放弃灾备。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种智能云计算管理系统，所述系统其特征在于，包括：中央处理单元、多个数据获得单元、多个数据汇总中继单元、第一资源调节单元、第二资源调节单元以及数据协助处理单元；其中，所述多个数据获得单元，分别设置并于所述管理系统中的各个分布式计算机上；所述多个数据汇总中继单元，并将汇总的即时信息发送至第一资源调节单元以及第二资源调节单元；所述第一资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，对系统资源的分配进行第一类型调整；所述第二资源调节单元，用于接收各个数据汇总中继单元传送的即时信息，对系统资源的分配进行第二类型调整；以及所述数据协助处理单元，用于对需要进行云计算处理的中间数据进行协助处理。
2.根据权利要求1所述的一种智能云计算管理系统，其特征在于：所述数据获得单元具体包括：
数据接收电路，用于接收获得中央处理单元指令，通过模拟机定位器获得在分布式计算机上的模拟机的即时信息，再将获得的信息发送到数据冗余删减电路；
数据冗余删减电路，用于接收获得中央处理单元的指令，对所获取的数据接收电路传来的模拟机即时信息，使用数据冗余删减算法进行冗余删减处理，并将冗余删减后的信息存入本机存储器中；
本机存储器，在分布式计算机上，用于存储冗余删减后的模拟机即时信息；
信息访问电路，用于在中央处理单元的控制下，从本机存储器中读取模拟机即时信息，并将所述信息传输到第一串口电路中。
3.根据权利要求2所述的一种智能云计算管理系统，其特征在于：所述数据汇总中继单元具体包括程控1/0序列电路，用于接收序列管理电路传送来的分布式计算机的MAC地址，并将所述地址存入程控1/0序列中，再在打包处理电路控制下，将程控1/0序列中的MAC地址传输到打包处理电路；
序列管理电路，从第二串口电路中接收数据获得单元传送来的分布式计算机的MAC地址，并将所述MAC地址传送给程控1/0序列电路；
当程控1/0序列中的MAC地址无效时，删除程控1/0序列中的无效MAC地址；
打包处理电路，负责从程控1/0序列电路中周期地获取MAC地址，并对所述MAC地址进行处理，打包为数据传输指令后，将所述指令发送至第二串口电路。
4.根据权利要求3所述的一种智能云计算管理系统，其特征在于：所述第一资源调节单元具体包括运算量获得电路，用于周期地接收来自数据汇总中继单元所汇总的数据获得单元数量和数据获得单元获得频率的运算量信息，再把这些运算量信息传输到运算量计算电路；
运算量计算电路，用于对来自运算量获得电路的运算量信息进行处理，并使用处理后的信息周期更新运算量信息表，以使运算量信息表能实时反映分布式计算机的运算量状况；
运算量信息表，用于接收运算量计算电路传送来的表征分布式计算机的运算量状况的信息，使得以列表形式展示第一资源调节单元所管理的每个数据汇总中继单元和数据获得单元的运算量信息；
运算量适配电路，用于读取运算量信息表，并按照所述电路存储的处理数据汇总请求的调节方案，将新的数据获得单元的汇总请求分配到设定的数据汇总中继单元上。
5.根据权利要求4所述的一种智能云计算管理系统，其特征在于：所述第二资源调节单元包括信息接收电路，用于接收数据汇总中继单元发送的系统即时信息；
第一模拟机统计电路，用于根据系统即时信息获取当前云计算系统中所具有的模拟机个数；
第二模拟机统计电路，用于根据系统即时信息统计当前云计算系统中每台分布式计算机上的模拟机个数，并根据所述每台分布式计算机上的模拟机个数进行排列；
阈值判断电路，用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n；
目标组确定电路，用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组；
数据搬移组确定电路，用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组，并根据除去所述目标组外的分布式计算机的模拟机数目进行排列；
数据搬移电路，用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择，并将选择的当前模拟机与所述目标组进行对应，直至数据搬移组中所有模拟机均与所述目标组对应后，根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
6.根据权利要求5所述的一种智能云计算管理系统，其特征在于：所述数据协助处理单元具体包括第三串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路以及非标准化数据预处理电路；
其中，所述第三串口电路用于接收数据获得单元通过第一串口电路发送的数据；
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理；
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断；
所述标准化数据预处理电路用于对标准化格式数据进行预处理，包括将获得的多种标准化格式数据转换为统一的格式化数据；
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理，其包括获取所述非标准化格式的特征数据，并将所述特征数据进行存储，然后将存储地址发送至中央处理；
所述第三串口电路还用于根据中央处理单元指令将上述经过预处理的数据分发至各分布式计算机进行后续处理。
7.根据权利要求6所述的一种智能云计算管理系统，其特征在于：所述格式包括标准化格式和非标准化格式。
8.根据权利要求1所述的一种智能云计算管理系统，其特征在于：所述多个数据获取单元，用于根据中央处理单元的指令获得于分布式计算机的各模拟机的即时信息；所述多个数据汇总中继单元，用于汇总各数据获得单元获得的即时信息；所述第一资源调节单元依据预设的第一资源调节准则对系统资源的分配进行第一类型调整；所述第二资源调节单元依据预设的第二资源调节准则对系统资源的分配进行第二次类型调整。
9.根据权利要求2所述的一种智能云计算管理系统，其特征在于：所述数据获得单元还包括第一串口电路，负责提供数据通信的通道，用于维护与数据汇总中继单元和中央处理单元之间的通信与数据传输；接收信息访问电路传输的模拟机即时信息，并将这些信息发送到数据汇总中继单元中。
10.根据权利要求3所述的一种智能云计算管理系统，其特征在于：所述数据汇总中继单元还包括第二串口电路，所述第二串口电路用于将数据获得单元向数据汇总中继单元发送的MAC地址转发给序列管理电路，同时接收打包处理电路传输来的数据传输指令，再根据所述数据传输指令中的MAC地址将所述数据传输指令发送到指定的数据获得单元；
数据汇总电路，接收多个数据获得单元上传的模拟机的即时信息，并对这些信息进行组合、汇总后，发送至第一资源调节单元以及第二资源调节单元。
CN202110255334.3A 2021-03-09 2021-03-09 一种智能云计算管理系统 Pending CN112905348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110255334.3A CN112905348A (zh) 2021-03-09 2021-03-09 一种智能云计算管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110255334.3A CN112905348A (zh) 2021-03-09 2021-03-09 一种智能云计算管理系统

Publications (1)

Publication Number Publication Date
CN112905348A true CN112905348A (zh) 2021-06-04

Family

ID=76108346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110255334.3A Pending CN112905348A (zh) 2021-03-09 2021-03-09 一种智能云计算管理系统

Country Status (1)

Country Link
CN (1) CN112905348A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506663A (zh) * 2015-01-22 2015-04-08 成都派沃特科技有限公司 一种智能云计算运行管理系统
CN104503846A (zh) * 2015-01-22 2015-04-08 成都派沃特科技有限公司 一种基于云计算系统的资源管理系统
CN104580498A (zh) * 2015-01-22 2015-04-29 成都派沃特科技有限公司 一种自适应云管理平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506663A (zh) * 2015-01-22 2015-04-08 成都派沃特科技有限公司 一种智能云计算运行管理系统
CN104503846A (zh) * 2015-01-22 2015-04-08 成都派沃特科技有限公司 一种基于云计算系统的资源管理系统
CN104580498A (zh) * 2015-01-22 2015-04-29 成都派沃特科技有限公司 一种自适应云管理平台

Similar Documents

Publication Publication Date Title
KR102476531B1 (ko) 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스
EP3873066A1 (en) Method for managing resource state information, and resource downloading system
CN112118174B (zh) 软件定义数据网关
US10740198B2 (en) Parallel partial repair of storage
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
US10944655B2 (en) Data verification based upgrades in time series system
CN106959820B (zh) 一种数据提取方法和系统
CN110727738B (zh) 基于数据分片的全局路由系统、电子设备及存储介质
CN111400041A (zh) 服务器配置文件的管理方法、装置及计算机可读存储介质
CN107688512A (zh) 一种优化虚拟机数据备份方法和系统
CN102845023B (zh) 用于在宽带接入网中登记传输容量的装置和方法
CN109302319B (zh) 报文池分布式集群及其管理方法
CN112905348A (zh) 一种智能云计算管理系统
CN113518131B (zh) 一种网络异常的传输数据容错处理方法、装置及系统
EP3306471A1 (en) Automatic server cluster discovery
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
CN110134547B (zh) 一种基于中间件的重复数据删除方法和相关装置
CN104503846B (zh) 一种基于云计算系统的资源管理系统
CN113630442A (zh) 数据传输方法、装置及系统
CN106506247B (zh) 虚拟网络创建方法和装置
JPH08292922A (ja) ネットワーク管理装置
TW202215262A (zh) 一種具延遲感知負載平衡的反向代理方法和存儲裝置
CN112202895A (zh) 监控指标数据的收集方法、系统、电子设备及存储介质
CN104580498A (zh) 一种自适应云管理平台
CN104506663B (zh) 一种智能云计算运行管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination