CN104580498A - 一种自适应云管理平台 - Google Patents

一种自适应云管理平台 Download PDF

Info

Publication number
CN104580498A
CN104580498A CN201510034013.5A CN201510034013A CN104580498A CN 104580498 A CN104580498 A CN 104580498A CN 201510034013 A CN201510034013 A CN 201510034013A CN 104580498 A CN104580498 A CN 104580498A
Authority
CN
China
Prior art keywords
data
circuit
resource
task
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510034013.5A
Other languages
English (en)
Other versions
CN104580498B (zh
Inventor
刘翼
张琪
章红滨
王晓川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Peiwat Technology Co., Ltd.
Original Assignee
CHENGDU PVIRTECH TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU PVIRTECH TECHNOLOGY Co Ltd filed Critical CHENGDU PVIRTECH TECHNOLOGY Co Ltd
Priority to CN201510034013.5A priority Critical patent/CN104580498B/zh
Publication of CN104580498A publication Critical patent/CN104580498A/zh
Application granted granted Critical
Publication of CN104580498B publication Critical patent/CN104580498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的自适应云管理平台包括中央处理单元、多个数据获得单元、数据汇总中继单元、第一资源调节单元以及第二资源调节单元,通过两个资源调节单元的配合,实现了对整个云计算系统的运算量的精确调节和系统有效性的准确控制,同时增强了数据灾备水平,提高了整个系统的运行效率。

Description

一种自适应云管理平台
技术领域
本发明涉及云计算领域,尤其涉及一种自适应云管理平台。
背景技术
云计算(cloud computing),分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机运行管理称为“云”。云计算具有以下特点:
(1)超大规模。“云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力;
(2)模拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置;
(3)高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠;
(4)通用性。云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行;
(5)高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要;
(6)极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。
然而现有的云计算平台或系统,在整体资源或系统整体运算量调配方面依然存在效率低、能耗高的缺陷,以及系统分布式终端机数据获取的可靠性低得问题,这导致整个云计算系统无法发挥其巨大高效的计算能力。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式,提出一种自适应云管理平台,所述平台包括:中央处理单元、多个数据获得单元、数据汇总中继单元、第一资源调节单元以及第二资源调节单元;其中,
所述多个数据获得单元,分别设置并运行于所述云管理平台中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的数据信息;
所述数据汇总中继单元,用于汇总各数据获得单元获得的数据信息,以及对获得的数据信息进行辅助处理,然后将汇总的数据信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整。
根据本发明的实施方式,所述数据获得单元具体包括主传感单元和从传感单元,其中,
所述主传感单元包括:
第一前向连接电路,主要用于前向连接,提供待连接的查询指令,生成待连接业务参数,生成前向连接业务参数;
数据待处理电路,用于选择数据的处理方式,定义统一的数据格式,确定数据内容的选择方案,生成数据处理业务参数,生成数据处理任务输出;
后端存储电路,用于选择后端存储的方案,生成待存储业务参数,生成存储业务参数;生成后端待存储任务输出;
任务解析电路,用于调用所述第一前向连接电路、数据待处理电路、数据待处理电路,分别生成针对从传感单元的待连接任务、待处理任务、待存储任务,提交给第一串口电路;接收第一串口电路的待连接返回信息,包括待连接信息、待处理信息、待存储信息,根据所述返回信息生成数据获得任务提交第一串口电路;
第一串口电路,是主传感单元与中央处理单元和数据汇总中继单元的通道界面,用于接收中央处理单元发送的数据获得任务,提交给任务解析电路,然后接受任务解析电路的任务输出,并发送至从传感单元的第三串口电路;
所述从传感单元包括:
第二前向连接电路,用于连接前向的相异存储器,并返回前向连接信息;
数据处理电路:根据前向待连接的信息为各种相异存储器的表生成相应的数据表格批处理函数,并返回数据处理信息;
后端存储电路:实现将经过待处理的数据进行存储,并返回存储信息;
第三串口电路:是从传感单元与中央处理单元和主传感单元的通道界面,用于接收第一串口电路的待连接任务、待处理任务、待存储任务、数据获得任务,调用所述第二前向连接电路、数据处理电路、后端存储电路,并将各种返回信息返回给第一串口电路。
根据本发明的实施方式,所述数据汇总中继单元具体包括:第二串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路、非标准化数据预处理电路、以及数据汇总电路;其中,
所述第二串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述数据汇总电路用于汇总所述预处理后的数据,并通过所述第二串口电路发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式,所述第一资源调节单元具体包括:系统实际运算量计算单元、系统运算量预判单元以及系统资源调节单元,其中,
所述系统实际运算量计算单元用于根据数据汇总中继单元发送的汇总数据实时计算系统实际运算量;
所述系统运算量预判单元用于根据实际的系统运算量执行未来运算量的预判;
所述系统资源调节单元用于根据系统实际运算量和运算量预判结果进行系统资源的调整。
根据本发明的实施方式,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统数据信息;
第一模拟机统计电路,用于根据系统数据信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统数据信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n,所述n为正整数;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
本发明的自适应云管理平台包括中央处理单元、多个数据获得单元、数据汇总中继单元、第一资源调节单元以及第二资源调节单元,通过两个资源调节单元的配合,实现了对整个云计算系统的运算量的精确调节和系统有效性的准确控制,同时增强了数据灾备水平,提高了整个系统的运行效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
附图1示出了根据本发明实施方式的自适应云管理平台结构示意图;
附图2示出了根据本发明实施方式的数据获得单元结构示意图;
附图3示出了根据本发明实施方式的数据汇总中继单元结构示意图;
附图4示出了根据本发明实施方式的第一资源调节单元结构示意图;
附图5示出了根据本发明实施方式的第二资源调节单元结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式,提出一种自适应云管理平台,如附图1所示,所述平台包括:中央处理单元、多个数据获得单元、数据汇总中继单元、第一资源调节单元以及第二资源调节单元;其中,
所述多个数据获得单元,分别设置并运行于所述云管理平台中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的数据信息;
所述数据汇总中继单元,用于汇总各数据获得单元获得的数据信息,以及对获得的数据信息进行辅助处理,然后将汇总的数据信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整。
根据本发明的实施方式,如附图2所示,所述数据获得单元具体包括主传感单元和从传感单元,其中,
所述主传感单元包括:
第一前向连接电路,主要用于前向连接,提供待连接的查询指令,生成待连接业务参数,生成前向连接业务参数;
数据待处理电路,用于选择数据的处理方式,定义统一的数据格式,确定数据内容的选择方案,生成数据处理业务参数,生成数据处理任务输出;
后端存储电路,用于选择后端存储的方案,生成待存储业务参数,生成存储业务参数;生成后端待存储任务输出;
任务解析电路,用于调用所述第一前向连接电路、数据待处理电路、数据待处理电路,分别生成针对从传感单元的待连接任务、待处理任务、待存储任务,提交给第一串口电路;接收第一串口电路的待连接返回信息,包括待连接信息、待处理信息、待存储信息,根据所述返回信息生成数据获得任务提交第一串口电路;
第一串口电路,是主传感单元与中央处理单元和数据汇总中继单元的通道界面,用于接收中央处理单元发送的数据获得任务,提交给任务解析电路,然后接受任务解析电路的任务输出,并发送至从传感单元的第三串口电路;
所述从传感单元包括:
第二前向连接电路,用于连接前向的相异存储器,并返回前向连接信息;
数据处理电路:根据前向待连接的信息为各种相异存储器的表生成相应的数据表格批处理函数,并返回数据处理信息;
后端存储电路:实现将经过待处理的数据进行存储,并返回存储信息;
第三串口电路:是从传感单元与中央处理单元和主传感单元的通道界面,用于接收第一串口电路的待连接任务、待处理任务、待存储任务、数据获得任务,调用所述第二前向连接电路、数据处理电路、后端存储电路,并将各种返回信息返回给第一串口电路。
根据本发明的实施方式,所述数据获得单元具体运行步骤包括:
C1、第一串口电路接收中央处理单元发送的数据获得请求,提交给任务解析电路;
C2、任务解析电路调用第一前向连接电路,生成待连接任务输出到第一串口电路;
C3、第一串口电路将待连接任务发送至从传感单元上的第三串口电路;
C4、第三串口电路调用第二前向连接电路,连接前向相异存储器,并向第三串口电路返回前向连接信息;
C5、第三串口电路将前向待连接返回信息返回给第一串口电路,并最终返回任务解析电路,任务解析电路根据返回的信息进行判断选择:
如果返回的待连接信息表示待连接任务执行成功,则由任务解析电路调用数据待处理电路,生成待处理任务输出到第一串口电路;第一串口电路发送给从传感单元的第三串口电路;第三串口电路调用数据处理电路,根据前向待连接的信息为相异存储器的表生成相应的数据表格批处理函数,并向第三串口电路返回待处理信息;否则,生成待连接失败信息,返回用户;
C6、第三串口电路将数据待处理返回信息返回给第一串口电路,并最终返回任务解析电路,任务解析电路根据返回的信息进行判断选择:
如果返回的待处理信息表示数据待处理任务执行成功,则由任务解析电路调用后端存储电路,生成后端待存储任务输出到第一串口电路;第一串口电路发送给从传感单元的第三串口电路;第三串口电路调用后端存储电路,实现将经过待处理的数据进行存储,并向第三串口电路返回后端待存储信息;否则,生成待处理失败信息,返回用户;
C7、第三串口电路将待存储返回信息返回给第一串口电路,并最终返回任务解析电路,任务解析电路根据后端待存储返回信息进行判断选择:
如果返回的待存储信息表示后端待存储任务执行成功,则由任务解析电路生成数据获得任务输出到第一串口电路;第一串口电路发送给从传感单元的第三串口电路;第三串口电路调用所述第二前向连接电路、数据处理电路、后端存储电路,并将相应返回信息返回给第一串口电路;否则,生成预储存失败信息,返回用户。
根据本发明的实施方式,如附图3所示,所述数据汇总中继单元具体包括:第二串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路、非标准化数据预处理电路、以及数据汇总电路;其中,
所述第二串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;所述标准化格式包括,例如,可以用二维表结构表达的数据,所述非标准化格式包括,例如,文本,图片,音频等;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述数据汇总电路用于汇总所述预处理后的数据,并通过所述第二串口电路发送至第一资源调节单元以及第二资源调节单元。
根据本发明的实施方式,所述数据灾备电路对接收的数据获得单元发送的数据进行灾备处理具体包括:
D1、所述中央处理单元获取系统运算量信息,任务执行进度以及位置信息,确定灾备方案;
D2、所述数据灾备电路对任务输入数据进行判断和划分,以确定数据是否需要灾备,并向中央处理单元提出灾备申请;
D3、根据中央处理单元的灾备命令的返回,计算利用空闲带宽,考虑比较资源消耗、灾备时间等因素,进行数据灾备;
D4、向中央处理单元返回灾备情况,更新数据灾备信息;
其中,所述D1所述的系统运算量信息主要包括往返延迟和丢包率,即在当前时段网络中以往返延迟增加和丢包率增加衡量系统运算量情况,以避免因灾备占用网络资源过多而导致整体性能下降;所述的任务执行进度、位置是根据当前正在执行任务,接收任务的MAC地址、任务执行模拟机位置、任务已执行时间、任务进度评分信息,以预判任务完整执行所需的最长时间和灾备存储位置;
其中,所述D3所述的数据灾备主要涉及利用空闲带宽灾备,考虑资源消耗比较和灾备时间比较因素;根据D1接收到的系统运算量信息,分析其先前系统运算量规律,考虑模拟机位置、资源使用状况,进一步计算出未来1分钟内网络空闲情况,并在此段时间进行数据灾备;
其中,所述D4所述灾备情况是指通过系统运算量预判及灾备方案成功灾备后的信息:数据灾备电路在中间数据灾备成功后,以心跳信息的形式发送给中央处理单元,通知中央处理单元所述数据灾备成功和存储位置,以供当前数据无效后使用;中央处理单元接收到数据灾备电路的灾备信息后,更新数据位置信息。
其中,所述D3中,灾备时间比较是指数据灾备灾备时间需比任务执行时间短,即中央处理单元收到数据灾备电路的返回信息来控制数据灾备速率和计算节点监控任务执行进度两方面保证数据灾备时间,如果灾备时间超过任务完成时间,则放弃灾备;资源消耗比较主要通过中央处理单元记录任务实际执行的先前时间作为任务执行资源消耗和中间数据的灾备时间作为灾备资源消耗进行比较,如执行资源消耗大于灾备资源消耗,则放弃灾备。
根据本发明的实施方式,如附图4所示,所述第一资源调节单元具体包括:系统实际运算量计算单元、系统运算量预判单元以及系统资源调节单元,其中,
所述系统实际运算量计算单元用于根据数据汇总中继单元发送的汇总数据实时计算系统实际运算量;
所述系统运算量预判单元用于根据实际的系统运算量执行未来运算量的预判;
所述系统资源调节单元用于根据系统实际运算量和运算量预判结果进行系统资源的调整。
根据本发明的实施方式,所述系统运算量预判单元根据实际的系统运算量执行未来运算量的预判具体包括:
E1、在时刻t,调用系统实际运算量计算单元计算得到时刻t的系统实际运算量O(t);
E2、执行较短时间跨度预判:利用O(t)值与先前数据计算α(t)与E(t);
E3、执行较长时间跨度预判:利用O(t)与先前数据计算αT(t)与ET(t);
E4、综合较短时间跨度预判与较长时间跨度预判:当t<T时,输出O(t),转步骤E5;否则,取E(t-1),ET(t-T)二者的最大值或者平均值作为时刻t的输出;
E5、更新先前数据,等待时刻t+1,转步骤E1。
其中,所述步骤E2具体包括:
E21、初始情况下,即t=0时,取E(t)=O(t),转入步骤E3;否则,转入步骤E22;
E22、上一次较短时间跨度预判的平方差异为f[α(t)]=[E(t-1)-O(t)]2,将公式E(t)=α(t)E(t-1)+[1-α(t)]O(t)代入,展开,利用保存的先前数据,构造差异多项式f[α(t)]={[E(t-3)-O(t-2)]*α(t)2+[O(t-2)-O(t-1)]*α(t)+[O(t-1)-O(t)]}2
E23、对差异多项式f[α(t)]求导,得到可导函数f’[α(t)],解出它在[-1,1]区间上的所有解;若差异多项式不存在或f’[α(t)]在[-1,1]上无解,取α(t)=-1,转入步骤E25;否则,由于f[α(t)]次数不超过四次,因此f’[α(t)]在[-1,1]上的解数不超过3个,将解集记为S,转入步骤E24;
E24、求差异多项式f[α(t)]对S∪{-1,1}里所有元素的函数值,比较它们的大小,选取它们中最小的一个所对应的自变量值为α(t);若有多个最小的函数值,取最小的那个自变量作为α(t);
E25、计算E(t)=α(t)E(t-1)+[1-α(t)]O(t)。
所述步骤E3具体包括:
E31、初始情况下,即t<T时,ET(t)=O(t),转入步骤E4;否则,转入步骤C2;
E32、上一次较长时间跨度预判的平方差异为fTT(t)]=[ET(t-T)-O(t)]2,将公式的周期推广形式ET(t)=αT(t)ET(t-T)+[1-αT(t)]O(t)代入,展开,利用保存的先前数据,构造差异多项式fTT(t)]={[ET(t-3T)-O(t-2T)]*αT(t)2+[O(t-2T)-O(t-T)]*αT(t)+[O(t-T)-O(t)]}2
E33、对所述差异多项式fTT(t)]求导,得到可导函数fT’[αT(t)],解出它在[-1,1]区间上的所有解;若差异多项式不存在或fT’[αT(t)]在[-1,1]上无解,取αT(t)=-1,转入步骤E35;否则,由于fTT(t)]次数不超过四次,因此fT’[αT(t)]在[-1,1]上的解数不超过3个,将解集记为ST,转入步骤E34;
E34、求差异多项式fTT(t)]对ST∪{-1,1}里所有元素的函数值,比较它们的大小,选取它们中最小的一个所对应的自变量值为αT(t);若有多个最小的函数值,取最小的那个自变量作为αT(t);
E35、计算ET(t)=αT(t)ET(t-T)+[1-αT(t)]O(t)。
根据本发明的实施方式,所述系统资源调节单元包括:运算量信息接收电路、重分配决定电路、资源实时分配电路、以及新运算资源执行电路,其中,
所述运算量信息接收电路从系统实际运算量计算单元接收系统实际运算量信息以及从系统运算量预判单元接收运算量预判结果,并发送给重分配决定电路;
所述重分配决定电路根据接收的系统实际运算量信息和预判结果进行资源重分配决定,确定是否需要为云计算增加和减少资源;并将资源动态分配的决定信息发送给资源实时分配电路;
如果资源实时分配电路收到是增加资源的决定信息,则从模拟资源列表中分配一个模拟资源给云计算,然后把增加的模拟资源信息发送给新运算资源执行电路;新运算资源执行电路将云计算部署到新增加的模拟资源上;
如果资源实时分配电路收到是减少资源的决定信息,则通知资源实时分配电路回收所述云计算的模拟资源;资源实时分配电路回收模拟资源,即将相应的模拟资源加入到模拟资源列表中。
根据本发明的实施方式,如附图5所示,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统数据信息;
第一模拟机统计电路,用于根据系统数据信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统数据信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n,所述n为正整数;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。
根据本发明的实施方式,所述数据搬移电路具体包括:
数据搬移代价计算电路,用于将选择的当前模拟机与目标组中模拟机个数最多的分布式计算机对应,并计算出相应的总数据搬移代价,并将所述数据搬移代价作为最小代价;
穷尽电路,用于穷尽所述目标组中的其它分布式计算机,计算对应的当前总数据搬移代价,并将当前数据搬移总代价与所述最小代价进行比较,若当前数据搬移总代价大于等于所述最小代价,则重复执行穷尽电路,否则将当前数据搬移总代价作为最小代价,将当前模拟机与当前分布式计算机对应。
根据本发明的实施方式,所述数据搬移总代价通过如下公式计算,
Cost(Vi,Ph)=mig×D(Vi,Ph)+∑[W(Vi,Vj)×D′(Ph,Vj)]
其中,Cost(Vi,Ph)为当前模拟机Vi数据搬移到当前分布式计算机Ph的总数据搬移代价,mig为常数,D(Vi,Ph)为当前模拟机Vi到当前分布式计算机Ph的拓扑步数,W(Vi,Vj)为当前模拟机Vi与云计算系统中其它模拟机Vj之间的通信流量,D′(Ph,Vj)为当前模拟机Vi数据搬移到分布式计算机Ph后,分布式计算机Ph到云计算系统中其它模拟机Vj的距离。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种自适应云管理平台,所述平台包括:中央处理单元、多个数据获得单元、数据汇总中继单元、第一资源调节单元以及第二资源调节单元;其中,
所述多个数据获得单元,分别设置并运行于所述云管理平台中的各个分布式计算机上,用于根据中央处理单元的指令获得运行于分布式计算机的各模拟机的数据信息;
所述数据汇总中继单元,用于汇总各数据获得单元获得的数据信息,以及对获得的数据信息进行辅助处理,然后将汇总的数据信息发送至第一资源调节单元以及第二资源调节单元;
所述第一资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第一资源调节准则对系统资源的分配进行第一类型调整;
所述第二资源调节单元,用于接收数据汇总中继单元传送的数据信息,依据预设的第二资源调节准则对系统资源的分配进行第二类型调整。
2.一种如权利要求1所述的平台,所述数据获得单元具体包括主传感单元和从传感单元,其中,
所述主传感单元包括:
第一前向连接电路,主要用于前向连接,提供待连接的查询指令,生成待连接业务参数,生成前向连接业务参数;
数据待处理电路,用于选择数据的处理方式,定义统一的数据格式,确定数据内容的选择方案,生成数据处理业务参数,生成数据处理任务输出;
后端存储电路,用于选择后端存储的方案,生成待存储业务参数,生成存储业务参数;生成后端待存储任务输出;
任务解析电路,用于调用所述第一前向连接电路、数据待处理电路、数据待处理电路,分别生成针对从传感单元的待连接任务、待处理任务、待存储任务,提交给第一串口电路;接收第一串口电路的待连接返回信息,包括待连接信息、待处理信息、待存储信息,根据所述返回信息生成数据获得任务提交第一串口电路;
第一串口电路,是主传感单元与中央处理单元和数据汇总中继单元的通道界面,用于接收中央处理单元发送的数据获得任务,提交给任务解析电路,然后接受任务解析电路的任务输出,并发送至从传感单元的第三串口电路;
所述从传感单元包括:
第二前向连接电路,用于连接前向的相异存储器,并返回前向连接信息;
数据处理电路:根据前向待连接的信息为各种相异存储器的表生成相应的数据表格批处理函数,并返回数据处理信息;
后端存储电路:实现将经过待处理的数据进行存储,并返回存储信息;
第三串口电路:是从传感单元与中央处理单元和主传感单元的通道界面,用于接收第一串口电路的待连接任务、待处理任务、待存储任务、数据获得任务,调用所述第二前向连接电路、数据处理电路、后端存储电路,并将各种返回信息返回给第一串口电路。
3.一种如权利要求2所述的平台,所述数据汇总中继单元具体包括:第二串口电路、数据灾备电路、数据格式判断电路、标准化数据预处理电路、非标准化数据预处理电路、以及数据汇总电路;其中,
所述第二串口电路用于接收数据获得单元通过第一串口电路发送的数据;
所述数据灾备电路用于对接收的数据获得单元发送的数据进行灾备处理;
所述数据格式判断电路用于对接收的数据获取单元发送的数据进行格式判断,所述格式包括标准化格式和非标准化格式;
所述标准化数据预处理电路用于对标准化格式数据进行预处理,包括将获得的多种标准化格式数据转换为统一的格式化数据;
所述非标准化数据预处理电路用于对非标准化格式数据进行预处理;其包括获取所述非标准化格式的特征数据,并将所述特征数据进行存储,然后将存储地址发送至中央处理单元;
所述数据汇总电路用于汇总所述预处理后的数据,并通过所述第二串口电路发送至第一资源调节单元以及第二资源调节单元。
4.一种如权利要求3所述的平台,所述第一资源调节单元具体包括:系统实际运算量计算单元、系统运算量预判单元以及系统资源调节单元,其中,
所述系统实际运算量计算单元用于根据数据汇总中继单元发送的汇总数据实时计算系统实际运算量;
所述系统运算量预判单元用于根据实际的系统运算量执行未来运算量的预判;
所述系统资源调节单元用于根据系统实际运算量和运算量预判结果进行系统资源的调整。
5.一种如权利要求4所述的平台,所述第二资源调节单元包括:
信息接收电路,用于接收数据汇总中继单元发送的系统数据信息;
第一模拟机统计电路,用于根据系统数据信息获取当前云计算系统中所具有的模拟机个数;
第二模拟机统计电路,用于根据系统数据信息统计当前云计算系统中每台分布式计算机上的模拟机个数,并根据所述每台分布式计算机上的模拟机个数进行排列;
阈值判断电路,用于根据所述云计算系统中每台分布式计算机的最大模拟机容量、以及所述模拟机个数判断所需分布式计算机的最小阈值个数n,所述n为正整数;
目标组确定电路,用于根据第二模拟机统计电路的排列结果选择模拟机个数最多的n个分布式计算机作为目标组;
数据搬移组确定电路,用于将除去所述目标组外的分布式计算机上的模拟机作为数据搬移组,并根据除去所述目标组外的分布式计算机的模拟机数目进行排列;
数据搬移电路,用于在数据搬移组中根据分布式计算机上模拟机数目从少到多依次进行选择,并将选择的当前模拟机与所述目标组进行对应,直至数据搬移组中所有模拟机均与所述目标组对应后,根据所述数据搬移组与所述目标组之间的对应关系依次实现模拟机数据搬移。4 -->
CN201510034013.5A 2015-01-22 2015-01-22 一种自适应云管理平台 Active CN104580498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510034013.5A CN104580498B (zh) 2015-01-22 2015-01-22 一种自适应云管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510034013.5A CN104580498B (zh) 2015-01-22 2015-01-22 一种自适应云管理平台

Publications (2)

Publication Number Publication Date
CN104580498A true CN104580498A (zh) 2015-04-29
CN104580498B CN104580498B (zh) 2018-03-13

Family

ID=53095655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510034013.5A Active CN104580498B (zh) 2015-01-22 2015-01-22 一种自适应云管理平台

Country Status (1)

Country Link
CN (1) CN104580498B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829506A (zh) * 2018-07-04 2018-11-16 中国建设银行股份有限公司 批量任务处理方法、装置及服务系统
CN112905348A (zh) * 2021-03-09 2021-06-04 国网河北省电力有限公司信息通信分公司 一种智能云计算管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101186A1 (en) * 2011-12-30 2013-07-04 Schneider Electric It Corporation Systems and methods of remote communication
CN104301389A (zh) * 2014-09-19 2015-01-21 华侨大学 一种云计算系统的能效监控和管理方法与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101186A1 (en) * 2011-12-30 2013-07-04 Schneider Electric It Corporation Systems and methods of remote communication
CN104301389A (zh) * 2014-09-19 2015-01-21 华侨大学 一种云计算系统的能效监控和管理方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829506A (zh) * 2018-07-04 2018-11-16 中国建设银行股份有限公司 批量任务处理方法、装置及服务系统
CN112905348A (zh) * 2021-03-09 2021-06-04 国网河北省电力有限公司信息通信分公司 一种智能云计算管理系统

Also Published As

Publication number Publication date
CN104580498B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
TWI547817B (zh) 叢集運算架構的資源規劃方法、系統及裝置
CN102281290B (zh) 一种PaaS云平台的仿真系统及方法
TWI725744B (zh) 透過多層次相關性建立系統資源預測及資源管理模型的方法
CN103761309A (zh) 一种运营数据处理方法及系统
CN112465146B (zh) 一种量子与经典混合云平台以及任务执行方法
CN104123189A (zh) 一种基于IaaS层应用感知的Web多层应用动态资源调整方法
CN103927229A (zh) 在动态可用服务器集群中调度映射化简作业
CN105589856A (zh) 日志数据处理方法及系统
CN112148484A (zh) 一种基于耦合度的微服务在线分配方法与系统
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN106874067B (zh) 基于轻量级虚拟机的并行计算方法、装置及系统
CN106815254A (zh) 一种数据处理方法和装置
CN104580498A (zh) 一种自适应云管理平台
CN101495978A (zh) 减少总线连接的消费者和产生者之间的消息流
CN111049900B (zh) 一种物联网流计算调度方法、装置和电子设备
CN108334410A (zh) 一种分布式应用程序客户端轻量化方法以及计算机设备
CN104503846A (zh) 一种基于云计算系统的资源管理系统
CN113760638A (zh) 一种基于kubernetes集群的日志服务方法和装置
CN116755867A (zh) 一种面向卫星云的计算资源调度系统、方法及存储介质
CN114584627B (zh) 一种具有网络监控功能的中台调度系统及方法
CN116192849A (zh) 一种异构加速板卡计算方法、装置、设备及介质
CN110290206A (zh) 一种用于网吧环境的分布式计算系统及方法
CN105335362A (zh) 实时数据的处理方法及系统、即时处理系统
CN112054926B (zh) 集群管理方法、装置、电子设备及存储介质
CN114090201A (zh) 资源调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Huang Xi

Inventor after: Liu Yi

Inventor before: Liu Yi

Inventor before: Zhang Qi

Inventor before: Zhang Hongbin

Inventor before: Wang Xiaochuan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors

Patentee after: Chengdu Peiwat Technology Co., Ltd.

Address before: 610000 Tianfu Software Park Area C, 219 Tianhua Road, Chengdu High-tech Zone, Sichuan Province, 12 buildings and 14 floors

Patentee before: CHENGDU PVIRTECH TECHNOLOGY CO., LTD.

CP01 Change in the name or title of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Self-adaptive cloud management platform

Effective date of registration: 20191120

Granted publication date: 20180313

Pledgee: China Minsheng Banking Corp Chengdu branch

Pledgor: Chengdu Peiwat Technology Co., Ltd.

Registration number: Y2019510000054

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20210226

Granted publication date: 20180313

Pledgee: China Minsheng Banking Corp Chengdu branch

Pledgor: CHENGDU PVIRTECH Co.,Ltd.

Registration number: Y2019510000054

PC01 Cancellation of the registration of the contract for pledge of patent right