CN115334084A - 一种基于云计算和互联网的云平台 - Google Patents

一种基于云计算和互联网的云平台 Download PDF

Info

Publication number
CN115334084A
CN115334084A CN202210993439.3A CN202210993439A CN115334084A CN 115334084 A CN115334084 A CN 115334084A CN 202210993439 A CN202210993439 A CN 202210993439A CN 115334084 A CN115334084 A CN 115334084A
Authority
CN
China
Prior art keywords
nodes
computing resource
node
resource cluster
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210993439.3A
Other languages
English (en)
Inventor
陈水兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210993439.3A priority Critical patent/CN115334084A/zh
Publication of CN115334084A publication Critical patent/CN115334084A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/76Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 

Abstract

本发明涉及一种基于云计算和互联网的云平台,包括:集群管理模块,用于根据当前资源运行情况将云平台中的所有节点划分成若干个计算资源集群,根据调整参数指令对标准使用率进行调整;监测模块,用于监测集群管理模块中节点的使用状态和工作端的数据处理状态;中控模块,用于根据使用状态构建分配节点命令,根据数据处理状态构建所述调整参数指令;分配模块,用于接收分配节点命令并根据分配节点命令对计算资源集群的节点进行分配。本发明通过根据实际的计算资源运行状态对计算资源进行实时分配,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。

Description

一种基于云计算和互联网的云平台
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于云计算和互联网的云平台。
背景技术
随着信息技术的飞快发展,云平台在数据处理领域中的使用日益普及。当前为满足云业务的处理需求,许多大规模的云平台实现部署,在云平台服务器的基础上,构建各类服务以满足云数据处理需求。
当前云平台主要是通过管理节点对服务节点进行虚拟化管理,实现基础设施服务,由于物理服务器的大部分资源无法被单个用户充分使用,所以云服务器逐渐成为一种趋势。单台物理节点上可能存在不同的工作端,且不同的工作端占用的资源大不相同。然而单个物理节点上运行多个云服务器可能会造成物理节点的中央处理器负荷过高,从而影响该物理节点上的用户的正常使用。对云平台资源作合理调度是保证云平台高效响应用户请求并保证云平台正常运作的关键因素之一。目前,对云平台可划分资源进行评估的方法主要依赖于运维管理系统上的可用CPU资源信息,由于该可用CPU资源信息是通过前期配置云平台时进行的可划分资源配置,维护人员能够通过平台判断具体剩余可划分资源。但是,如果用户并未使用大量CPU资源,而当前运维管理系统上的CPU资源已全部划分,运维人员无法准确且有效判断继续创建云主机是否影响用户正常业务。中国专利CN110209499B公开了一种一种云平台资源动态配置方法、装置及云平台,该云平台包括至少一个计算节点,计算节点中被配置出至少一个业务处理单元,控制节点,控制节点中配置一个云平台资源动态配置装置,对业务处理单元进行资源配置,进行资源配置时,云平台资源动态配置装置确定当前云平台中用于直接或者间接响应用户请求的业务处理单元所匹配的第一资源,获取业务修改配置请求,并仅在资源池中的剩余资源满足业务修改配置请求所匹配的第二资源时,将第一资源与第二资源共同地为云平台中接收所述业务修改配置请求所对应的业务处理单元优先进行资源配置,在获取业务修改配置请求后,对云平台中的其他业务处理单元所配置的资源与第二资源执行隔离,该发明解决了在云平台所形成的资源既定的前提下因业务修改配置所导致的云主机等业务处理单元所需要的资源发生变动时多个云主机之间发生资源争夺的问题,但未能对计算资源进行合理配置,从而不能保证云平台运行的稳定性。
发明内容
为此,本发明提供一种基于云计算和互联网的云平台,根据云平台的计算资源的运行状态实时调整计算资源的配置状态,达到合理配置计算资源的效果,解决现有技术中不能保证云平台运行的稳定性的问题。
为实现上述目的,本发明提供一种基于云计算和互联网的云平台,包括:集群管理模块,用于根据当前资源运行情况将云平台中的所有节点划分成若干个计算资源集群,并将相同类型的计算资源划分为一个管理集群,其中,各计算资源集群处理各工作端的数据计算任务,接收调整参数指令并根据所述调整参数指令对标准使用率进行调整;
监测模块,与所述集群管理模块和中控模块通信连接,用于监测所述集群管理模块中节点的使用状态和工作端的数据处理状态,并将所述使用状态和所述数据处理状态传输至所述中控模块;
中控模块,与所述监测模块通信连接,用于接收使用状态和数据处理状态,根据使用状态构建分配节点命令,根据数据处理状态构建所述调整参数指令;
分配模块,用于接收所述分配节点命令并根据分配节点命令对计算资源集群的节点进行分配。
进一步地,所述监测模块监测所述集群管理模块中节点的使用状态时,监测模块监测各节点的使用时长,并根据所述使用时长占其设置时长的比例计算所述节点的节点使用频率,根据在一个统计周期内各计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点使用率,根据在一个统计周期内各计算资源集群中节点使用频率小于最小节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点闲置率,其中,标准节点使用频率大于最小节点使用频率。
进一步地,所述中控模块根据使用状态构建分配节点命令时,中控模块接收各计算资源集群的节点使用率和节点闲置率,中控模块内设置有标准使用率和最大闲置率,
当某一计算资源集群的节点使用率大于等于标准使用率时,中控模块构建增加节点指令,所述分配模块接收所述增加节点指令并根据增加节点指令增加所述计算资源集群的节点数量;
当某一计算资源集群的节点闲置率大于等于最大闲置率时,中控模块构建分配节点指令,分配模块接收所述分配节点指令并根据分配节点指令将所述计算资源集群的闲置节点分配至需增加节点数量的计算资源集群或备用集群;
当某一计算资源集群的节点使用率小于标准使用率且节点闲置率小于最大闲置率,中控模块不对所述计算资源集群的节点数量进行调整。
进一步地,所述中控模块构建增加节点指令时,中控模块内设置第一调整系数k1,用于将所述计算资源集群的节点数量N调节为N1,N1=N+[1+k1],其中,k1=(n-n0)/n0,[1+k1]表示取1+k1的整数部分,n为节点使用率,n0为标准使用率。
进一步地,所述中控模块构建分配节点指令时,中控模块内设置第二调整系数k2,用于对将所述计算资源集群的节点数量N调节为N2,N2=N-[1+k2],其中,k2=(m-m0)/m0,[1+k2]表示取1+k2的整数部分,m为节点闲置率,m0为最大闲置率。
进一步地,所述分配模块根据增加节点指令增加所述计算资源集群的节点数量时,分配模块统计各所述计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量得到过载节点数量,分配模块根据所述过载节点数量计算需增加节点数量,并根据各计算资源集群的所述需增加节点数量设置各所述计算资源集群的增加优先级,设置所述增加优先级时,根据需增加节点数量由大到小对各所述计算资源集群依次进行增加优先级排序,其中,需增加节点数量大的计算资源集群的增加优先级高于需增加节点数量小的计算资源集群的增加优先级。
进一步地,所述分配模块根据分配节点指令将所述计算资源集群的闲置节点分配至其他集群时,分配模块统计各所述计算资源集群中节点使用频率小于最小节点使用频率的节点的数量得到闲置节点数量并根据所述闲置节点数量设置各所述计算资源集群的分配优先级,设置各所述计算资源集群的分配优先级时,根据闲置节点数量由大到小对各所述计算资源集群依次进行分配优先级排序,闲置节点数量大的计算资源集群的分配优先级高于闲置节点数量小的计算资源集群的分配优先级,分配模块根据增加优先级和分配优先级进行节点分配。
进一步地,所述分配模块根据所述增加优先级和所述分配优先级进行节点分配时,分配模块在管理集群内搜索需增加节点的计算资源集群,对增加优先级最高的计算资源集群的需增加节点数量和分配优先级最高的计算资源集群的闲置节点数量进行比较,
当需增加节点数量大于等于闲置节点数量时,将分配优先级最高的计算资源集群的闲置节点分配至增加优先级最高的计算资源集群;
当需增加节点数量小于闲置节点数量时,将分配优先级最高的计算资源集群中数量为需增加节点数量的闲置节点分配至增加优先级最高的计算资源集群;
每完成一次节点分配,分配模块对增加优先级和分配优先级进行更新,并根据更新后的增加优先级和分配优先级进行下一次的节点分配。
进一步地,所述集群管理模块中包括一个备用集群,所述备用集群中包括各种备用计算资源集群,一个备用计算资源集群中包括若干个类型相同的备用节点,
当某个计算资源集群的节点闲置率大于等于最大闲置率且云平台全域中无需增加节点的计算资源集群时,分配模块将闲置节点分配至备用集群中与闲置节点的类型相同的备用计算资源集群;
当某个计算资源集群的节点使用率大于等于标准使用率且云平台全域中无节点闲置的计算资源集群时,分配模块将备用集群中的与所述计算资源集群的节点的类型相同的备用计算资源集群中的备用节点划分至所述计算资源集群;
监测模块监测各所述备用计算资源集群的备用节点数量,并将所述备用节点数量传输至中控模块,中控模块内还设置有最小节点数量,当备用节点数量小于等于最小节点数量时,中控模块构建增设备用节点信号。
进一步地,所述监测模块监测工作端的数据处理状态时,当某一工作端的数据计算效率低于标准数据计算效率时,监测模块判定所述工作端的数据处理状态异常并将处理状态异常信号传输至所述中控模块,所述中控模块接收处理状态异常信号并根据处理状态异常信号构建所述调整参数指令对计算资源集群的标准使用率进行调节,中控模块内设置第三调整参数k3,用于将标准使用率P调整为P’,P’=P×(1+k3),其中,k3=(Q0-Q)/Q,Q0为标准数据计算效率,Q为数据计算效率。
与现有技术相比,本发明的有益效果在于,通过设置集群管理模块,将云平台中的所有节点根据当前资源运行情况划分至各计算资源集群中,使负责同一工作端的同类型计算任务的节点划分至一个计算资源集群,并设置监测模块对各计算资源集群的节点的使用状态和工作端的数据处理状态进行监测并将使用状态和数据处理状态传输至中控模块,由中控模块根据使用状态和数据处理状态构建分配节点命令和调整参数指令,由分配模块接收分配节点命令并对节点进行分配,由集群管理模块对分配参数进行调整,根据实际的计算资源运行状态对计算资源进行实时分配和调度,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由监测模块对各个节点的使用时长进行检测,计算使用时长为依据计算各个节点的节点使用频率、各计算资源集群的节点使用率和节点闲置率,对各计算资源集群的计算资源使用状况进行监测,为后续对各计算资源集群的计算资源进分配和调度提供依据,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由中控模块根据各计算资源集群的节点使用率和节点闲置率判断各计算资源集群是否需要增加节点数量或将闲置节点分配,并构建增加节点指令使分配模块根据增加节点指令增加相应计算资源集群的节点数量,构建分配节点指令使分配模块根据分配节点指令将所述计算资源集群的闲置节点分配,实现了根据云平台中计算资源的实际运行情况对计算资源进行分配和调度的效果,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过在中控模块构建增加节点指令时,根据节点使用率和标准使用率设置第一调整系数,对需要增加节点数量的计算资源集群的节点数量进行调整,使节点数量的调整程度以当前的节点使用状态为依据,使调整程度与当前节点使用状态相适应,避免因预设固定的调整数量过小而不能符合相应工作端的计算要求,导致相应工作端的数据处理状态异常,或因预设固定的调整数量过大而造成节点闲置,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过在中控模块构建分配节点指令时,根据节点闲置率和最大闲置率设置第二调整系数,对需要减少节点数量的计算资源集群的节点数量进行调整,使节点数量的调整程度以当前的节点使用状态为依据,使调整程度与当前节点使用状态相适应,避免因预设固定的减少节点数量过大,使调整后的计算资源集群的节点数量过少而不能符合相应工作端的计算要求,导致相应工作端的数据处理状态异常,或因预设固定的减少数量过小而造成计算资源集群中仍旧存在节点闲置,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由分配模块过载节点数量计算需增加节点数量并根据各计算资源集群的所述需增加节点数量设置各所述计算资源集群的增加优先级,根据需增加节点数量由大到小对各所述计算资源集群依次进行增加优先级排序,需增加节点数量大的计算资源集群的增加优先级高于需增加节点数量小的计算资源集群的增加优先级,使计算任务负担重的需增加节点数量大的计算资源集群优先获得节点分配,避免计算任务负担重的计算资源集群不能及时得到计算资源的分配补充,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过分配模块根据闲置节点数量设置各计算资源集群的分配优先级,根据闲置节点数量由大到小对各计算资源集群依次进行分配优先级排序,闲置节点数量大的计算资源集群的分配优先级高于闲置节点数量小的计算资源集群的分配优先级,分配模块根据增加优先级和分配优先级进行节点分配,使闲置节点数量大的计算资源集群优先向计算任务负担重的计算资源集群进行节点分配,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由分配模块根据增加优先级和分配优先级进行节点分配时,对增加优先级最高的计算资源集群的需增加节点数量和分配优先级最高的计算资源集群的闲置节点数量进行比较,当需增加节点数量大于等于闲置节点数量时,将分配优先级最高的计算资源集群的闲置节点分配至增加优先级最高的计算资源集群,当需增加节点数量小于闲置节点数量时,将分配优先级最高的计算资源集群中数量为需增加节点数量的闲置节点分配至增加优先级最高的计算资源集群,每完成一次节点分配,分配模块对增加优先级和分配优先级进行更新,并根据更新后的增加优先级和分配优先级进行下一次的节点分配,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由集群管理模块设置备用集群,在备用集群内设置若干备用计算资源集群,以对备用的闲置节点进行管理,将无处分配的闲置节点进行备用管理,或在需要增加节点数量的计算资源集群无处调取节点时,从备用计算资源集群中调取所需要数量的节点,并且实时监测各所述备用计算资源集群的备用节点数量,在备用节点数量不足时,由中控模块构建增设备用节点信号,使技术人员及时增设备用节点,保证备用节点的数量足以对云平台中的各计算资源集群进行计算资源的分配和补充,形成一个动态的计算资源池,保证负责各个工作端的计算任务的计算资源能够得到合理分配,从而保证云平台运行的稳定性。
尤其,通过由监测模块监测工作端的数据处理状态,当工作端的数据处理状态异常时,中控模块判定预设的标准使用率设置过低,导致根据预设的标准使用率对计算资源集群进行节点分配和调度的调节程度不符合实际需要,故而由中控模块根据标准数据计算效率和数据计算效率对计算资源集群的标准使用率进行调节,使作为对节点进行分配的关键参考指标的标准使用率的设置符合实际需要,进而使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
附图说明
图1为本发明实施例提供的基于云计算和互联网的云平台的结构示意图;
图2为本发明实施例提供的基于云计算和互联网的云平台的节点分配流程示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,本发明实施例提供的基于云计算和互联网的云平台,包括:
集群管理模块1,用于根据当前资源运行情况将云平台中的所有节点划分成若干个计算资源集群,并将相同类型的计算资源划分为一个管理集群,其中,一个计算资源集群处理一个工作端的数据计算任务,接收调整参数指令并根据所述调整参数指令对标准使用率进行调整;
监测模块2,与所述集群管理模块和中控模块通信连接,用于监测所述集群管理模块中节点的使用状态和工作端的数据处理状态,并将所述使用状态和所述数据处理状态传输至所述中控模块;
中控模块3,与所述监测模块通信连接,用于接收使用状态和数据处理状态,根据使用状态构建分配节点命令,根据数据处理状态构建所述调整参数指令;
分配模块4,用于接收所述分配节点命令并根据分配节点命令对计算资源集群的节点进行分配。
集群管理模块在根据当前资源运行情况对云平台中的所有节点进行划分时,集群管理模块首先根据计算任务的类型将负责不同类型的计算任务的节点划分至不同的管理集群中,再根据各管理集群中的节点所服务的工作端的不同,将负责同一工作端的数据计算任务的节点划分至一个计算资源集群,此时管理集群中仍存在一定数量的未被划分至计算资源集群的节点,此时根据各计算资源集群中的节点数量占已分配的节点数量的比例计算各计算资源集群的分配权重,按照分配权重将未被划分至计算资源集群的节点划分至各计算资源集群。
通过设置集群管理模块,将云平台中的所有节点根据当前资源运行情况划分至各计算资源集群中,使负责同一工作端的同类型计算任务的节点划分至一个计算资源集群,并设置监测模块对各计算资源集群的节点的使用状态和工作端的数据处理状态进行监测并将使用状态和数据处理状态传输至中控模块,由中控模块根据使用状态和数据处理状态构建分配节点命令和调整参数指令,由分配模块接收分配节点命令并对节点进行分配,由集群管理模块对分配参数进行调整,根据实际的计算资源运行状态对计算资源进行实时分配和调度,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述监测模块监测所述集群管理模块中节点的使用状态时,监测模块监测各节点的使用时长,并根据所述使用时长占其设置时长的比例计算所述节点的节点使用频率,根据在一个统计周期内一个计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点使用率,根据在一个统计周期内一个计算资源集群中节点使用频率小于最小节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点闲置率,其中,标准节点使用频率大于最小节点使用频率。
通过由监测模块对各个节点的使用时长进行检测,计算使用时长为依据计算各个节点的节点使用频率、各计算资源集群的节点使用率和节点闲置率,对各计算资源集群的计算资源使用状况进行监测,为后续对各计算资源集群的计算资源进分配和调度提供依据,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述中控模块根据使用状态构建分配节点命令时,中控模块接收各计算资源集群的节点使用率和节点闲置率,中控模块内设置有标准使用率和最大闲置率,
当某一计算资源集群的节点使用率大于等于标准使用率时,中控模块构建增加节点指令,所述分配模块接收所述增加节点指令并根据增加节点指令增加所述计算资源集群的节点数量,
当某一计算资源集群的节点闲置率大于等于最大闲置率时,中控模块构建分配节点指令,分配模块接收所述分配节点指令并根据分配节点指令将所述计算资源集群的闲置节点分配至需增加节点数量的计算资源集群或备用集群,
当某一计算资源集群的节点使用率小于标准使用率且节点闲置率小于最大闲置率,中控模块不对所述计算资源集群的节点数量进行调整。
闲置节点是指节点使用频率小于最小节点使用频率的节点,此时认为该节点在该计算资源集群中的使用机会极低,需要将此节点分配至其他需要增加节点数量的计算资源集群中,以使此节点得到充分利用,同时解决需增加节点数量的计算资源集群中的计算资源紧张的问题。
通过由中控模块根据各计算资源集群的节点使用率和节点闲置率判断各计算资源集群是否需要增加节点数量或将闲置节点分配,并构建增加节点指令使分配模块根据增加节点指令增加相应计算资源集群的节点数量,构建分配节点指令使分配模块根据分配节点指令将所述计算资源集群的闲置节点分配,实现了根据云平台中计算资源的实际运行情况对计算资源进行分配和调度的效果,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述中控模块构建增加节点指令时,中控模块内设置第一调整系数k1,用于将所述计算资源集群的节点数量N调节为N1,N1=N+[1+k1],其中,k1=(n-n0)/n0,[1+k1]表示取1+k1的整数部分,n为节点使用率,n0为标准使用率。
通过在中控模块构建增加节点指令时,根据节点使用率和标准使用率设置第一调整系数,对需要增加节点数量的计算资源集群的节点数量进行调整,使节点数量的调整程度以当前的节点使用状态为依据,使调整程度与当前节点使用状态相适应,避免因预设固定的调整数量过小而不能符合相应工作端的计算要求,导致相应工作端的数据处理状态异常,或因预设固定的调整数量过大而造成节点闲置,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述中控模块构建分配节点指令时,中控模块内设置第二调整系数k2,用于对将所述计算资源集群的节点数量N调节为N2,N2=N-[1+k2],其中,k2=(m-m0)/m0,[1+k2]表示取1+k2的整数部分,m为节点闲置率,m0为最大闲置率。
通过在中控模块构建分配节点指令时,根据节点闲置率和最大闲置率设置第二调整系数,对需要减少节点数量的计算资源集群的节点数量进行调整,使节点数量的调整程度以当前的节点使用状态为依据,使调整程度与当前节点使用状态相适应,避免因预设固定的减少节点数量过大,使调整后的计算资源集群的节点数量过少而不能符合相应工作端的计算要求,导致相应工作端的数据处理状态异常,或因预设固定的减少数量过小而造成计算资源集群中仍旧存在节点闲置,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述分配模块根据增加节点指令增加所述计算资源集群的节点数量时,分配模块统计各所述计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量得到过载节点数量,分配模块根据所述过载节点数量计算需增加节点数量并根据各计算资源集群的所述需增加节点数量设置各所述计算资源集群的增加优先级,设置所述增加优先级时,根据需增加节点数量由大到小对各所述计算资源集群依次进行增加优先级排序,需增加节点数量大的计算资源集群的增加优先级高于需增加节点数量小的计算资源集群的增加优先级。
过载节点是指节点使用频率大于等于标准节点使用频率的节点,过载节点数量为计算资源集群中的过载节点的数量,例如,计算资源集群a中共有10个节点,其中有5个节点的节点使用频率大于等于标准节点使用频率,则此5个节点为计算资源集群a的过载节点,计算资源集群a的过载节点数量为5。分配模块根据过载节点数量计算需增加节点数量时,以过载节点作为需要分担计算任务的节点,因此分配模块将过载节点数量作为需增加节点数量。
通过由分配模块过载节点数量计算需增加节点数量并根据各计算资源集群的所述需增加节点数量设置各所述计算资源集群的增加优先级,根据需增加节点数量由大到小对各所述计算资源集群依次进行增加优先级排序,需增加节点数量大的计算资源集群的增加优先级高于需增加节点数量小的计算资源集群的增加优先级,使计算任务负担重的需增加节点数量大的计算资源集群优先获得节点分配,避免计算任务负担重的计算资源集群不能及时得到计算资源的分配补充,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述分配模块根据分配节点指令将所述计算资源集群的闲置节点分配至其他集群时,分配模块统计各所述计算资源集群中节点使用频率小于最小节点使用频率的节点的数量得到闲置节点数量并根据所述闲置节点数量设置各所述计算资源集群的分配优先级,设置各所述计算资源集群的分配优先级时,根据闲置节点数量由大到小对各所述计算资源集群依次进行分配优先级排序,闲置节点数量大的计算资源集群的分配优先级高于闲置节点数量小的计算资源集群的分配优先级,分配模块根据增加优先级和分配优先级进行节点分配。
通过分配模块根据闲置节点数量设置各计算资源集群的分配优先级,根据闲置节点数量由大到小对各计算资源集群依次进行分配优先级排序,闲置节点数量大的计算资源集群的分配优先级高于闲置节点数量小的计算资源集群的分配优先级,分配模块根据增加优先级和分配优先级进行节点分配,使闲置节点数量大的计算资源集群优先向计算任务负担重的计算资源集群进行节点分配,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
请参阅图2所示,本发明实施例提供的基于云计算和互联网的云平台的节点分配流程如下。
具体而言,所述分配模块根据所述增加优先级和所述分配优先级进行节点分配时,分配模块在管理集群内搜索需增加节点的计算资源集群,对增加优先级最高的计算资源集群的需增加节点数量和分配优先级最高的计算资源集群的闲置节点数量进行比较,
当需增加节点数量大于等于闲置节点数量时,将分配优先级最高的计算资源集群的闲置节点分配至增加优先级最高的计算资源集群;
当需增加节点数量小于闲置节点数量时,将分配优先级最高的计算资源集群中数量为需增加节点数量的闲置节点分配至增加优先级最高的计算资源集群;
每完成一次节点分配,分配模块对增加优先级和分配优先级进行更新,并根据更新后的增加优先级和分配优先级进行下一次的节点分配。
假设计算资源集群A、计算资源集群B和计算资源集群C为三个需增加节点数量的计算资源集群,其中计算资源集群A的需增加节点数量为10,计算资源集群B的需增加节点数量为8,计算资源集群C的需增加节点数量为5,则A的增加优先级大于B的增加优先级大于C的增加优先级,此时有三个具有闲置节点的计算资源集群,分别为计算资源集群1、计算资源集群2和计算资源集群3,其中,计算资源集群1的闲置节点数量为11,计算资源集群2的闲置节点数量为8,计算资源集群3的闲置节点数量为4,则1的分配优先级大于2的优先级大于3的优先级,进行节点分配时,首先由计算资源集群1对计算资源集群A进行节点分配,计算资源集群1将10个闲置节点分配至计算资源集群A,分配后,计算资源集群A的需增加节点数量为0,计算资源集群1的闲置节点数量为1,此时计算资源集群A的增加优先级小于计算资源集群B和C,计算资源集群1的分配优先级小于计算资源集群2和3,再次进行节点分配时,由计算资源集群2向计算资源集群B进行节点分配,分配后,计算资源集群B的需增加节点数量为0,计算资源集群2的闲置节点数量为0,此时计算资源集群B的增加优先级小于计算资源集群A和C,计算资源集群1和2的分配优先级小于计算资源集群3,第三次分配时,由计算资源集群3向计算资源集群C进行节点分配,分配后,计算资源集群C的需增加节点数量为1,计算资源集群3的闲置节点数量为0,此时计算资源集群C的增加优先级大于计算资源集群A和B,计算资源集群1的分配优先级大于于计算资源集群2和3,进行第四次分配时,计算资源集群1对计算资源集群C进行节点分配,分配后,计算资源集群C的需增加节点数量为0,计算资源集群3的闲置节点数量为0,分配完毕。
通过由分配模块根据增加优先级和分配优先级进行节点分配时,对增加优先级最高的计算资源集群的需增加节点数量和分配优先级最高的计算资源集群的闲置节点数量进行比较,当需增加节点数量大于等于闲置节点数量时,将分配优先级最高的计算资源集群的闲置节点分配至增加优先级最高的计算资源集群,当需增加节点数量小于闲置节点数量时,将分配优先级最高的计算资源集群中数量为需增加节点数量的闲置节点分配至增加优先级最高的计算资源集群,每完成一次节点分配,分配模块对增加优先级和分配优先级进行更新,并根据更新后的增加优先级和分配优先级进行下一次的节点分配,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述集群管理模块中包括一个备用集群,所述备用集群中包括各种备用计算资源集群,一个备用计算资源集群中包括若干个类型相同的备用节点,
当某个计算资源集群的节点闲置率大于等于最大闲置率且云平台全域中无需增加节点的计算资源集群时,分配模块将闲置节点分配至备用集群中与闲置节点的类型相同的备用计算资源集群;
当某个计算资源集群的节点使用率大于等于标准使用率且云平台全域中无节点闲置的计算资源集群时,分配模块将备用集群中的与所述计算资源集群的节点的类型相同的备用计算资源集群中的备用节点划分至所述计算资源集群;
监测模块监测各所述备用计算资源集群的备用节点数量,并将所述备用节点数量传输至中控模块,中控模块内还设置有最小节点数量,当备用节点数量小于等于最小节点数量时,中控模块构建增设备用节点信号。
通过由集群管理模块设置备用集群,在备用集群内设置若干备用计算资源集群,以对备用的闲置节点进行管理,将无处分配的闲置节点进行备用管理,或在需要增加节点数量的计算资源集群无处调取节点时,从备用计算资源集群中调取所需要数量的节点,并且实时监测各所述备用计算资源集群的备用节点数量,在备用节点数量不足时,由中控模块构建增设备用节点信号,使技术人员及时增设备用节点,保证备用节点的数量足以对云平台中的各计算资源集群进行计算资源的分配和补充,形成一个动态的计算资源池,保证负责各个工作端的计算任务的计算资源能够得到合理分配,从而保证云平台运行的稳定性。
具体而言,所述监测模块监测工作端的数据处理状态时,当某一工作端的数据计算效率低于标准数据计算效率时,监测模块判定所述工作端的数据处理状态异常并将处理状态异常信号传输至所述中控模块,所述中控模块接收处理状态异常信号并根据处理状态异常信号构建所述调整参数指令对计算资源集群的标准使用率进行调节,中控模块内设置第三调整参数k3,用于将标准使用率P调整为P’,P’=P×(1+k3),其中,k3=(Q0-Q)/Q,Q0为标准数据计算效率,Q为数据计算效率。
通过由监测模块监测工作端的数据处理状态,当工作端的数据处理状态异常时,中控模块判定预设的标准使用率设置过低,导致根据预设的标准使用率对计算资源集群进行节点分配和调度的调节程度不符合实际需要,故而由中控模块根据标准数据计算效率和数据计算效率对计算资源集群的标准使用率进行调节,使作为对节点进行分配的关键参考指标的标准使用率的设置符合实际需要,进而使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
在实际工作过程中,本发明提供的基于云计算和互联网的云平台具体工作流程如下:
集群管理模块根据计算任务的类型将负责不同类型的计算任务的节点划分至不同的管理集群中,再根据各管理集群中的节点所服务的工作端的不同,将负责同一工作端的数据计算任务的节点划分至一个计算资源集群,此时管理集群中仍存在一定数量的未被划分至计算资源集群的节点,集群管理模块根据各计算资源集群中的节点数量占已分配的节点数量的比例计算各计算资源集群的分配权重,按照分配权重将未被划分至计算资源集群的节点划分至各计算资源集群,每个计算资源集群的节点都只对一个工作端的一种类型的计算任务进行计算。同时,集群管理模块中还包括一个备用集群,所述备用集群中包括各种备用计算资源集群,一个备用计算资源集群中包括若干个类型相同的备用节点,作为应急的备用计算资源池。
云平台通过互联网进行云计算时,监测模块实时监测各计算资源集群中的各节点的使用时长,并根据各个节点的使用时长计算各计算资源集群的节点使用率和节点闲置率,当某个计算资源集群的节点使用率大于等于预设标准时,中控模块认为该计算资源集群的计算资源紧张,有无法满足相应工作端的数据处理需求的风险,此时即由中控模块构建增加节点指令,由分配单元向该计算资源集群调配相应数量的节点,分配单元进行节点调配时,选择云平台中闲置节点数量最多的计算资源集群向该计算资源集群进行节点调配,若当前云平台中无具有闲置节点的计算资源集群时,分配模块从备用集群中选择具有类型相同的节点的备用计算资源集群向该计算资源集群进行节点调配;当某个计算资源集群的节点闲置率大于等于预设标准时,中控模块认为该计算资源集群的计算资源冗余,使节点得不到充分利用,则由中控模块构建分配节点指令,由分配单元将该计算资源集群中的闲置节点分配其他集群,分配单元进行闲置节点分配时,选择云平台中需增加节点数量最多的计算资源集群,并由该计算资源集群向需增加节点数量最多的计算资源集群进行节点分配,若当前云平台中不存在需增加节点的计算资源集群时,分配模块将闲置节点分配至备用集群中的选择具有类型相同的节点的备用计算资源集群。
云平台通过互联网进行云计算时,监测模块还监测各个工作端的数据处理状态,当某个工作端的数据处理状态不符合预设标准时,中控模块即对标准使用率进行调节,将标准使用率设施为符合实际情况的数值,使对负责相应工作端的计算任务的计算资源集群中的节点数量符合实际的数据处理需求,使负责各个工作端的计算任务的计算资源得到合理分配,从而保证云平台运行的稳定性。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于云计算和互联网的云平台,其特征在于,包括:集群管理模块,用于根据当前资源运行情况将云平台中的所有节点划分成若干个计算资源集群,并将相同类型的计算资源划分为一个管理集群,其中,各计算资源集群处理各工作端的数据计算任务,接收调整参数指令并根据所述调整参数指令对标准使用率进行调整;
监测模块,与所述集群管理模块和中控模块通信连接,用于监测所述集群管理模块中节点的使用状态和工作端的数据处理状态,并将所述使用状态和所述数据处理状态传输至所述中控模块;
中控模块,与所述监测模块通信连接,用于接收使用状态和数据处理状态,根据使用状态构建分配节点命令,根据数据处理状态构建所述调整参数指令;
分配模块,用于接收所述分配节点命令并根据分配节点命令对计算资源集群的节点进行分配。
2.根据权利要求1所述的基于云计算和互联网的云平台,其特征在于,所述监测模块监测所述集群管理模块中节点的使用状态时,监测模块监测各节点的使用时长,并根据所述使用时长占其设置时长的比例计算所述节点的节点使用频率,根据在一个统计周期内各计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点使用率,根据在一个统计周期内各计算资源集群中节点使用频率小于最小节点使用频率的节点的数量占所述计算资源集群的节点的总数的比例得到所述计算资源集群的节点闲置率,其中,标准节点使用频率大于最小节点使用频率。
3.根据权利要求2所述的基于云计算和互联网的云平台,其特征在于,所述中控模块根据使用状态构建分配节点命令时,中控模块接收各计算资源集群的节点使用率和节点闲置率,中控模块内设置有标准使用率和最大闲置率,
当某一计算资源集群的节点使用率大于等于标准使用率时,中控模块构建增加节点指令,所述分配模块接收所述增加节点指令并根据增加节点指令增加所述计算资源集群的节点数量;
当某一计算资源集群的节点闲置率大于等于最大闲置率时,中控模块构建分配节点指令,分配模块接收所述分配节点指令并根据分配节点指令将所述计算资源集群的闲置节点分配至需增加节点数量的计算资源集群或备用集群;
当某一计算资源集群的节点使用率小于标准使用率且节点闲置率小于最大闲置率,中控模块不对所述计算资源集群的节点数量进行调整。
4.根据权利要求3所述的基于云计算和互联网的云平台,其特征在于,所述中控模块构建增加节点指令时,中控模块内设置第一调整系数k1,用于将所述计算资源集群的节点数量N调节为N1,N1=N+[1+k1],其中,k1=(n-n0)/n0,[1+k1]表示取1+k1的整数部分,n为节点使用率,n0为标准使用率。
5.根据权利要求4所述的基于云计算和互联网的云平台,其特征在于,所述中控模块构建分配节点指令时,中控模块内设置第二调整系数k2,用于对将所述计算资源集群的节点数量N调节为N2,N2=N-[1+k2],其中,k2=(m-m0)/m0,[1+k2]表示取1+k2的整数部分,m为节点闲置率,m0为最大闲置率。
6.根据权利要求5所述的基于云计算和互联网的云平台,其特征在于,所述分配模块根据增加节点指令增加所述计算资源集群的节点数量时,分配模块统计各所述计算资源集群中节点使用频率大于等于标准节点使用频率的节点的数量得到过载节点数量,分配模块根据所述过载节点数量计算需增加节点数量,并根据各计算资源集群的所述需增加节点数量设置各所述计算资源集群的增加优先级,设置所述增加优先级时,根据需增加节点数量由大到小对各所述计算资源集群依次进行增加优先级排序,其中,需增加节点数量大的计算资源集群的增加优先级高于需增加节点数量小的计算资源集群的增加优先级。
7.根据权利要求6所述的基于云计算和互联网的云平台,其特征在于,所述分配模块根据分配节点指令将所述计算资源集群的闲置节点分配至其他集群时,分配模块统计各所述计算资源集群中节点使用频率小于最小节点使用频率的节点的数量得到闲置节点数量并根据所述闲置节点数量设置各所述计算资源集群的分配优先级,设置各所述计算资源集群的分配优先级时,根据闲置节点数量由大到小对各所述计算资源集群依次进行分配优先级排序,闲置节点数量大的计算资源集群的分配优先级高于闲置节点数量小的计算资源集群的分配优先级,分配模块根据增加优先级和分配优先级进行节点分配。
8.根据权利要求7所述的基于云计算和互联网的云平台,其特征在于,所述分配模块根据所述增加优先级和所述分配优先级进行节点分配时,分配模块在管理集群内搜索需增加节点的计算资源集群,对增加优先级最高的计算资源集群的需增加节点数量和分配优先级最高的计算资源集群的闲置节点数量进行比较,
当需增加节点数量大于等于闲置节点数量时,将分配优先级最高的计算资源集群的闲置节点分配至增加优先级最高的计算资源集群;
当需增加节点数量小于闲置节点数量时,将分配优先级最高的计算资源集群中数量为需增加节点数量的闲置节点分配至增加优先级最高的计算资源集群;
每完成一次节点分配,分配模块对增加优先级和分配优先级进行更新,并根据更新后的增加优先级和分配优先级进行下一次的节点分配。
9.根据权利要求8所述的基于云计算和互联网的云平台,其特征在于,所述集群管理模块中包括一个备用集群,所述备用集群中包括各种备用计算资源集群,一个备用计算资源集群中包括若干个类型相同的备用节点,
当某个计算资源集群的节点闲置率大于等于最大闲置率且云平台全域中无需增加节点的计算资源集群时,分配模块将闲置节点分配至备用集群中与闲置节点的类型相同的备用计算资源集群;
当某个计算资源集群的节点使用率大于等于标准使用率且云平台全域中无节点闲置的计算资源集群时,分配模块将备用集群中的与所述计算资源集群的节点的类型相同的备用计算资源集群中的备用节点划分至所述计算资源集群;
监测模块监测各所述备用计算资源集群的备用节点数量,并将所述备用节点数量传输至中控模块,中控模块内还设置有最小节点数量,当备用节点数量小于等于最小节点数量时,中控模块构建增设备用节点信号。
10.根据权利要求9所述的基于云计算和互联网的云平台,其特征在于,所述监测模块监测工作端的数据处理状态时,当某一工作端的数据计算效率低于标准数据计算效率时,监测模块判定所述工作端的数据处理状态异常并将处理状态异常信号传输至所述中控模块,所述中控模块接收处理状态异常信号并根据处理状态异常信号构建所述调整参数指令对计算资源集群的标准使用率进行调节,中控模块内设置第三调整参数k3,用于将标准使用率P调整为P’,P’=P×(1+k3),其中,k3=(Q0-Q)/Q,Q0为标准数据计算效率,Q为数据计算效率。
CN202210993439.3A 2022-08-18 2022-08-18 一种基于云计算和互联网的云平台 Withdrawn CN115334084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210993439.3A CN115334084A (zh) 2022-08-18 2022-08-18 一种基于云计算和互联网的云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210993439.3A CN115334084A (zh) 2022-08-18 2022-08-18 一种基于云计算和互联网的云平台

Publications (1)

Publication Number Publication Date
CN115334084A true CN115334084A (zh) 2022-11-11

Family

ID=83925579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210993439.3A Withdrawn CN115334084A (zh) 2022-08-18 2022-08-18 一种基于云计算和互联网的云平台

Country Status (1)

Country Link
CN (1) CN115334084A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878286A (zh) * 2022-11-28 2023-03-31 上海清赟医药科技有限公司 基于多端交互的任务执行方法
CN116449935A (zh) * 2023-06-02 2023-07-18 工业富联(佛山)创新中心有限公司 集群节能管理方法、电子设备及计算机存储介质
CN116560859A (zh) * 2023-07-11 2023-08-08 恒辉信达技术有限公司 一种基于云计算的访问设备资源分配方法及相关装置
CN117632380A (zh) * 2024-01-25 2024-03-01 泰德网聚(北京)科技股份有限公司 一种基于用户需求的自动生成脚本的低码工作流系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878286A (zh) * 2022-11-28 2023-03-31 上海清赟医药科技有限公司 基于多端交互的任务执行方法
CN116449935A (zh) * 2023-06-02 2023-07-18 工业富联(佛山)创新中心有限公司 集群节能管理方法、电子设备及计算机存储介质
CN116449935B (zh) * 2023-06-02 2023-11-21 工业富联(佛山)创新中心有限公司 集群节能管理方法、电子设备及计算机存储介质
CN116560859A (zh) * 2023-07-11 2023-08-08 恒辉信达技术有限公司 一种基于云计算的访问设备资源分配方法及相关装置
CN116560859B (zh) * 2023-07-11 2023-09-22 恒辉信达技术有限公司 一种基于云计算的访问设备资源分配方法及相关装置
CN117632380A (zh) * 2024-01-25 2024-03-01 泰德网聚(北京)科技股份有限公司 一种基于用户需求的自动生成脚本的低码工作流系统

Similar Documents

Publication Publication Date Title
CN115334084A (zh) 一种基于云计算和互联网的云平台
CN107534583B (zh) 在管理节点中实现的方法和相关装置
US8843772B2 (en) Systems and methods for dynamic power allocation in an information handling system environment
CN108667748B (zh) 一种控制带宽的方法、装置、设备和存储介质
CN107066332B (zh) 分布式系统及其调度方法和调度装置
US8918566B2 (en) System and methods for allocating shared storage resources
CN110221920B (zh) 部署方法、装置、存储介质及系统
US20090150711A1 (en) Information processing device, program thereof, modular type system operation management system, and component selection method
EP1654649B1 (en) On demand node and server instance allocation and de-allocation
JPH03116262A (ja) コンピュータネットワークにおけるサーバを選択するための方法及び装置
CN111628887B (zh) 物联网切片资源分配系统、方法、电子设备及存储介质
CN112711479A (zh) 服务器集群的负载均衡系统、方法、装置和存储介质
CN103812886B (zh) 计算机集群资源分配系统和方法
CN102436399A (zh) 一种负载均衡的采集方法
CN103905337A (zh) 一种网络资源的处理装置、方法和系统
CN112749002A (zh) 一种集群资源动态管理的方法和装置
CN112559122A (zh) 一种基于电力专用安防设备的虚拟化实例管控方法及系统
CN111796933A (zh) 资源调度方法、装置、存储介质和电子设备
CN114416355A (zh) 资源调度方法、装置、系统、电子设备及介质
CN102323897B (zh) 一种平台内部业务处理和负载均衡的方法
JP2023543744A (ja) リソーススケジューリング方法、システム、電子デバイスおよびコンピュータ可読記憶媒体
CN115562841B (zh) 一种云视频服务自适应资源调度系统和方法
CN116302582A (zh) 一种股票交易平台负载均衡控制系统
CN112968962B (zh) 基于分布式计算机集群架构的云平台存储资源调度方法
CN115629854A (zh) 分布式任务调度方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221111

WW01 Invention patent application withdrawn after publication