CN111147546A - 一种边缘集群资源的处理方法及系统 - Google Patents

一种边缘集群资源的处理方法及系统 Download PDF

Info

Publication number
CN111147546A
CN111147546A CN201911201514.2A CN201911201514A CN111147546A CN 111147546 A CN111147546 A CN 111147546A CN 201911201514 A CN201911201514 A CN 201911201514A CN 111147546 A CN111147546 A CN 111147546A
Authority
CN
China
Prior art keywords
resource
cluster
node
idle
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911201514.2A
Other languages
English (en)
Other versions
CN111147546B (zh
Inventor
王煜炜
李康
刘敏
王元卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Big Data Research Institute
Original Assignee
Big Data Research Institute Institute Of Computing Technology Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data Research Institute Institute Of Computing Technology Chinese Academy Of Sciences filed Critical Big Data Research Institute Institute Of Computing Technology Chinese Academy Of Sciences
Priority to CN201911201514.2A priority Critical patent/CN111147546B/zh
Publication of CN111147546A publication Critical patent/CN111147546A/zh
Application granted granted Critical
Publication of CN111147546B publication Critical patent/CN111147546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种边缘集群资源的处理方法及系统,将所有集群的ID值通过哈希计算得到集群键值并映射至资源哈希环,环上的每个节点即集群节点会保存自己的前驱节点和后继节点,形成一个可遍历的环;将空闲资源值通过哈希计算得到资源键值,所述资源键值的位数与集群键值位数相同,并将所有空闲信息注册在对应集群节点上,每一个集群节点可以存储多个空闲信息;发起查询请求,将符合条件的值加入查询结果集,将查询结果集返回至请求;从查询结果集中筛选出最符合要求的空闲信息,发送资源借调询问,借调成功;本发明解决了资源碎片问题,使资源得到有效利用,避免了资源浪费;另外,在资源调度时采用加锁机制避免了资源访问冲突的问题。

Description

一种边缘集群资源的处理方法及系统
技术领域:
本发明涉及通信技术领域,尤其涉及一种边缘集群资源的处理方法及系统。
背景技术:
随着AI、IOT发展,许多新兴计算密集型和延迟敏感型终端应用,如虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)以及高清视频图片处理等正在迅速兴起,低延时、高带宽和强计算等应用需求日益增长。云计算技术虽然可以满足功能可用,但受网络链路容量限制等因素影响,容易导致数据传输速率过慢以及响应延迟过高等问题,难以满足用户体验。利用靠近数据源的边缘集群进行计算以提高服务响应性能逐渐成为一种趋势。然而单个边缘集群算力小,仅使用单个边缘集群执行任务难以胜任大规模任务需求。因此,将多个边缘集群的计算能力加以组合使用,通过多边缘集群资源共享互助,协同完成复杂任务的数据处理,可以有效保障服务质量。多边缘集群资源协同需要考虑的两个核心问题为:资源的均匀部署与资源无冲突并发调度。
近年来,大规模分布式计算系统如网格、P2P、集群、云以及混合分布式系统等逐渐发展成主流计算模式。这些平台提供的计算环境各不相同,但是它们有一个共性:期望在组成该系统的实体间进行协同,实现资源共享以提高系统效率和资源利用率。在边缘与边缘协同场景下,单个边缘集群资源受限,无法独立完成复杂任务,需要多个边缘集群协同完成任务。多个边缘侧通常存在潮汐效应,某些边缘侧负载高,某些边缘侧负载低,若边缘与边缘不能协同,容易导致整体利用率低;而且边缘间由于环境因素容易存在网络不稳定等情况,难以满足用户低延时、快响应等请求。
因此,设计一种合理的边缘集群资源处理方法至关重要。
发明内容:
有鉴于此,本发明的目的在于提供一种边缘集群资源的处理方法,以解决现有技术中的至少一项技术问题。
具体的,本发明的第一方面,提供了一种边缘集群资源的处理方法,包括以下步骤:
将所有集群的ID值(Identity document,身份标识号码)通过哈希计算得到集群键值并映射至资源哈希环,环上的每个节点即集群节点会保存自己的前驱节点和后继节点,从而形成一个可遍历的环;
将空闲资源的资源值通过哈希计算得到资源键值,所述资源键值的位数与集群键值位数相同,并将所有的空闲信息注册在对应集群节点上,所述空闲信息包括资源键值、资源地址、资源空余量等,每一个集群节点可以存储多个空闲信息;
根据资源需求发起查询请求,将符合条件的所有空闲信息加入查询结果集,将查询结果集返回至请求;
从查询结果集中筛选出最符合要求的空闲信息,发送资源借调询问,若收到允许借调回应,则发送资源借调请求进行资源借调;若资源借调询问失败,从查询结果集中剩余的空闲信息中筛选出最符合要求的空闲信息,发送资源借调询问,借调成功。
优选地,每个所述集群节点设置有索引表,所述索引表的位数m与集群键值的位数相同,每个索引表存储了集群键值按指数增长的m个后续集群节点的地址。
优选地,所述空闲信息注册至集群节点时,映射在两个集群节点之间的空闲信息注册在顺时针方向的集群节点上。
优选地,每一个所述空闲资源可以按不同属性经哈希计算得到不同的空闲信息,可以按照不同的空闲信息注册在不同的集群节点上,每个集群节点根据不同属性设置有不同的资源表。
优选地,所述查询请求中包含多个属性要求,每个属性要求的数值均为区间值,根据每个属性要求区间的端点值分别计算键值,将键值范围最小的属性作为主属性,然后按照主属性的键值进行查询。
优选地,所述查询请求按照主属性的键值进行借调查询时,可以通过集群节点中的索引表进行快速查询。
优选地,从查询结果集筛选空闲资源时,经过最优匹配公式计算,可得到各个空闲资源的匹配值,将所有匹配的空闲资源按匹配值从高到低排序,生成资源偏好列表;所述最优匹配公式为:
Figure BDA0002296005310000021
其中,α和β表示空闲资源中CPU资源和内存资源的权重参数,
Figure BDA0002296005310000022
表示注册在集群节点i上空闲资源j的CPU资源量,cpu表示请求资源中CPU数值区间的最大值,
Figure BDA0002296005310000023
表示注册在集群节点i上空闲资源j的内存资源量,mem表示请求资源中内存数值区间中最大值。
优选地,由于资源借调是并发的,资源被借方可能同时收到多个资源借调询问,经过最优匹配公式计算,可得到各个借调询问的匹配值,选择匹配值最低的需求进行匹配。
优选地,所述空闲资源设置有资源锁,所述资源锁在注册至哈希环节点时,将资源锁设置为解锁状态,当资源被借调成功后,将资源锁设置为锁定状态;当资源锁为锁定状态时,所述空闲资源不可被调用。
优选地,每过一定时间周期,所有当前空闲资源会在资源哈希环重新注册一遍;更优选的,所述时间周期为1000毫秒。
本发明的第二方面,提供了一种边缘集群资源的处理系统,所述系统包括多个集群,所述集群由集群节点组成,每个集群节点包括CPU,内存等资源,还包括可在系统上运行的计算机程序,所述系统执行所述边缘集群资源的处理方法。
本发明具有以下有益效果:
(1)本发明所提供的一种边缘集群资源的处理方法,通过调用空闲资源,可以使资源得到有效利用,避免了资源浪费。
(2)本发明所提供的一种边缘集群资源的处理方法,通过设置索引表,可以在查询大量数据时降低查找的时间复杂度,提高查询效率。
(3)本发明所提供的一种边缘集群资源的处理方法,不同属性的空闲信息可以注册在不同的集群节点,使得可以通过不同属性进行主查询,可以满足不同的查询需求,增加方法的灵活性。
(4)本发明所提供的一种边缘集群资源的处理方法,在查询结果集筛选空闲资源时,经过最优匹配公式计算,可以避免资源碎片问题,使资源得到有效利用,避免了资源浪费。
(5)本发明所提供的一种边缘集群资源的处理系统,通过设置资源锁,可以防止出现访问冲突,提升本方法的安全性。
(6)本发明所提供的一种边缘集群资源的处理系统,每过一定时间周期,所有当前空闲资源会在资源哈希环重新注册一遍,通过一定时间的资源刷新,可以避免资源被调用后的调用冲突,提升了本系统的效率。
附图说明:
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种边缘集群资源的处理方法的步骤图;
图2为集群节点映射至哈希环的示意图;
图3为集群节点映射至哈希环及空闲资源节点注册至哈希节点的示意图;
图4为一个索引表的示意图;
图5位一个查询结果集的示意图。
具体实施方式:
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
以下将通过实施例对本发明进行详细描述。
以下对本申请涉及的一些概念进行解释:
1.集群:一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理;集群中每一个单体称为集群节点,所述集群节点包括主节点和从节点。
主节点:一般集群中有一个主节点和众多从节点,主节点可以联系并管理其它从节点。
本申请实施例的技术方案为解决上述技术问题,总体思路如下:
将所有集群的ID值(Identity document,身份标识号码)通过哈希计算得到集群键值并映射至资源哈希环,环上的每个节点即集群节点会保存自己的前驱节点和后继节点,从而形成一个可遍历的环;
将空闲资源的资源值通过哈希计算得到资源键值,所述资源键值的位数与集群键值位数相同,并将所有的空闲信息注册在对应集群节点上,所述空闲信息包括资源键值、资源地址、资源空余量等,每一个集群节点可以存储多个空闲信息;
根据资源需求发起查询请求,将符合条件的所有空闲信息加入查询结果集,将查询结果集返回至请求;
从查询结果集中筛选出最符合要求的空闲信息,发送资源借调询问,若收到允许借调回应,则发送资源借调请求进行资源借调;若资源借调询问失败,从查询结果集中剩余的空闲信息中筛选出最符合要求的空闲信息,发送资源借调询问,借调成功。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示,在本发明的一些实施例中提供了一种边缘集群资源处理方法,方法包括:
S10将所有集群的ID值(Identity document,身份标识号码)通过哈希计算得到集群键值并映射至资源哈希环,环上的每个节点即集群节点会保存自己的前驱节点和后继节点,从而形成一个可遍历的环。
在具体实施过程中,每一个集群的ID值即为集群中主节点的IP(InternetProtocol,网际互连协议)地址,将主节点的IP地址经过哈希计算得到集群键值,将所有的集群键值按顺序形成一个哈希环,随后将哈希环存储在每一个集群中的主节点上,每个集群的主节点还会保存自己在哈希环中的前驱节点地址和后继节点地址。
如图2所示,所述集群节点的数量为7,集群节点Node A的哈希值为1,集群节点Node B的哈希值为3,集群节点Node C的哈希值为5,集群节点Node D的哈希值为6,集群节点Node E的哈希值为8,集群节点Node F的哈希值为11,集群节点Node G的为12;所述集群节点Node A会保存Node B和Node G的节点,以此类推每个集群节点都会保存自己的前驱节点和后继节点。
在本发明的一个优选实施方式中,所述集群节点设置有索引表,如图2所示的2号节点,节点的集群键值为3,2号节点设置有索引表,其中左列KEY为集群键值按2的指数增长的后的值,右列为对应节点编号,当需求从2号节点所对应的集群发起时,可以通过索引表快速定位至需求范围内,减少查询时间。
S20将空闲资源的资源值通过哈希计算得到资源键值,所述资源键值的位数与集群键值位数相同,并将所有的空闲信息注册在对应集群节点上,所述空闲信息包括资源键值、资源地址、资源空余量等,每一个集群节点可以存储多个空闲信息。
在具体实施过程中,集群中每一个节点都可能有空闲资源,所述空闲资源可以包含内存空间和CPU可用频率,将所述空闲的内存空间值和CPU可用频率值形成一个数值组,通过哈希计算得到相对应的资源键值,并注册至对应的集群节点上,所述空闲信息的位数与集群键值位数相同。
S21如图3所示的实施例中,有8个集群节点,其键值区间为[0,64),CPU频率键值计算公式为:
Y=X*63/5;
其中Y为CPU频率键值,X为CPU频率;
内存容量键值计算公式为:
A=α*63/1024;
其中A为内存容量键值,α为内存空间;
所述集群节点分别为Node A、Node B、Node C、Node D、Node E、Node F、Node G、Node H,每个集群节点有自己的空闲资源对应的空闲信息,Node A有空闲信息A1,Node B有空闲信息B1,B2,Node C有空闲信息C1、C2,Node D有空闲信息D1,Node E有空闲信息E1、E2,Node F有空闲信息F1,Node G有空闲信息G1,Node H有空闲信息H1;以内存空间为例,NodeA上注册有空闲信息C2、E1,Node B上注册有空闲信息B1、H1,Node C上注册有空闲信息B2、E2,Node D上无注册空闲信息,Node E上注册有空闲信息A1、C1、D1,Node F上注册有空闲信息F1、G1,Node G上无注册空闲信息,Node H上无注册空闲信息。
S22在本发明一个优选实施方式中,当空闲信息注册至集群节点上时,通过顺时针方向确定空闲信息匹配的集群节点;如图3所示,资源节点B1(0.8GHz,128M)的内存容量值为128,若计算其内存容量键值,经过哈希计算后得到数值7.875,顺时针遍历后,离Node B最近,因此该空闲信息注册到Node B上。
在本发明一个优选实施方式中,每一个所述空闲资源可以按不同属性经哈希计算得到不同的空闲信息,可以按照不同的空闲信息注册在不同的集群节点上,每个集群节点根据不同属性设置有不同的资源表;
S23如图3所示,其中CPU-Speed即为CPU频率,Mem-Size即为内存容量,还以B1(0.8GHz,128M)为例,当以CPU频率属性计算资源键值时,通过CPU频率计算方法得到相对应的资源键值,即0.8*63/5=10.08,于是将B1注册至Node C的CPU资源表;当以内存容量属性计算资源键值时,通过内存容量计算方法得到相对应的资源键值,即128*63/1024=7.875,于是将B1注册至Node B的内存资源表;。
S30根据资源需求发起查询请求,将符合条件的所有空闲信息加入查询结果集,将查询结果集返回至请求;
在具体实施过程中,查询请求可以由哈希环内任一集群或集群之外发出的查询请求,但是由集群之外发出的查询请求还是会直接发送至某一集群,因此查询请求可以认为全部由集群内部发出;
S301在本实施例中,查询请求由集群节点A发出,其需求为CPU频率值位于(4.0GHz,5.0GHz)之间,那么其步骤如下:
S0311计算查询请求CPU频率的键值:
其上端值对应的资源键值为5*63/5=63。
其下端值对应的资源键值为4*63/5=50.4;
S3012发起一个以50.4作为键值的查询请求,生成查询结果集并将其初始值设置为空:
S3013按照集群节点A(4)中的索引表,如图4所示,首先找到节点E(40),显然40<50.4,因此再根据节点E(40)的后继节点逐个判断,找到了最终节点G(56)。
S3014集群节点G(56)收到查询请求,查看本地管理的CPU资源表,表中有两个CPU空闲信息F1(4.2GHz,768MB)、G1(4.0GHz,768MB),都符合查询请求,将空闲信息F1、F2加入查询结果集。
S3015由于G(56)未达到资源上限的哈希值63,因此它会发起一个迭代查询,直接发给后继节点H(60);
S3016由于H(60)的CPU资源表上没有注册任何资源,因此没有空闲信息加入查询结果集,但是还没有未达到主导资源上限的哈希值63,因此继续发起迭代查询,直接发给后继节点A(4)。
S3017由于4<50.4,因此A(4)不符合查询条件,查询结束,将查询结果集返回给集群节点A;
在本发明一个优选的实施方案中,所述查询请求中包含多个属性要求,每个属性要求的数值均为区间值,根据每个属性要求区间的端点值分别计算键值,将键值范围最小的属性作为主属性,然后按照主属性的键值进行查询。
S302在本发明的一个实施例中,查询请求由集群节点A发出,其需求为CPU频率值位于(4.0GHz,5.0GHz)之间且其内存空间值位于[768MB,1024MB]之间,那么其步骤如下:
S3021计算查询请求CPU频率和内存空间的键值:
CPU请求上端值对应的资源键值为5*63/5=63;
CPU请求下端值对应的资源键值为4*63/5=50.4;
内存请求上端值对应的资源键值为1024*63/1024=63;
内存请求下端值对应的资源键值为768*63/1024=47.23;
S3022明显地,CPU请求的键值范围是50.4-63,内存请求的键值范围是47.23-63,选择键值范围最小的属性作为主属性,因此选择CPU频率作为主属性,按照CPU频率的键值进行查询。
S3023发起一个以50.4作为键值的查询请求,生成查询结果集并将其初始值设置为空:
S3024按照集群节点A(4)中的索引表,如图4所示,首先找到节点E(40),显然40<50.4,因此再根据节点E(40)的后继节点逐个判断,找到了最终节点G(56)。
S3025集群节点G(56)收到查询请求,查看本地管理的CPU资源表,表中有两个CPU空闲信息F1(4.2GHz,768MB)、G1(4.0GHz,768MB),F1符合查询请求,将空闲信息F1加入查询结果集。
S3026由于G(56)未达到资源上限的哈希值63,因此它会发起一个迭代查询,直接发给后继节点H(60);
S3027由于H(60)的CPU资源表上没有注册任何资源,因此没有空闲信息加入查询结果集,但是还没有未达到主导资源上限的哈希值63,因此继续发起迭代查询,直接发给后继节点A(4)。
S3028由于4<50.4,因此A(4)不符合查询条件,查询结束,将查询结果集返回给集群节点A;
S40从查询结果集中筛选出最符合要求的空闲信息,发送资源借调询问,若收到允许借调回应,则发送资源借调请求进行资源借调;若资源借调询问失败,从查询结果集中剩余的空闲信息中筛选出最符合要求的空闲信息,发送资源借调询问,借调成功;
S401在本发明的一个优选实施方式中,从查询结果集筛选空闲资源时,经过最优匹配公式计算,可得到各个空闲资源的匹配值,匹配值最低的即为最优空闲信息,将所有匹配的空闲资源按匹配值从低到高排序,生成资源偏好列表;所述最优匹配公式为:
Figure BDA0002296005310000081
其中,α和β表示空闲资源中CPU资源和内存资源的权重参数,
Figure BDA0002296005310000082
表示注册在哈希节点i上空闲资源j的CPU空闲信息,cpu表示请求资源中CPU数值区间的空闲信息最大值,
Figure BDA0002296005310000083
表示注册在哈希节点i上空闲资源j的内存空闲信息,mem表示请求资源中内存数值区间中的空闲信息最大值。
在本发明的一些实施例中,其键值区间为[0,64),CPU频率键值计算公式为:
Y=X*63/5;
其中Y为CPU频率键值,X为CPU频率;
内存容量键值计算公式为:
A=α*63/1024;
其中A为内存容量键值,α为内存空间;
X查询请求的需求为CPU频率值位于(2.38GHz,3.3GHz)之间且其内存空间值位于[260MB,500MB]之间,所述查询结果集中的内容如图5所示,设α和β均为0.5,经过计算可知,匹配值按从低到高的顺序依次为:F3-7.09、G2-10.24、C3-11.2、A1-12.42;当借调资源时,先向F3节点发送借调询问,若F3节点无法被调用,询问被驳回,则将F3节点从查询结果集中删除,继续向G2节点发送借调询问,直至借调成功。
在本发明的一个优选实施方案中,由于资源借调是多线程并发运行的,资源被借方可能同时收到多个资源借调询问,经过最优匹配公式计算,可得到各个借调询问的匹配值,选择匹配值最低的需求进行匹配。
S402参照S401步骤,在本实施例中,G2(2.7GHz,400MB)同时收到2个借调请求,其中A请求的需求为CPU频率值位于(2.38GHz,3.3GHz)之间且其内存空间值位于[260MB,500MB]之间,B请求的需求为CPU频率值位于(2.18GHz,3.2GHz)之间且其内存空间值位于[200MB,410MB]之间,经过计算,A需求的匹配值为13.71,B需求的匹配值为6.92,因此选择B需求进行匹配,拒绝A需求。
S403在本发明的一个优选实施方案中,所述空闲资源设置有资源锁,所述资源锁在注册至哈希环节点时,将资源锁设置为解锁状态,当资源被借调成功后,将资源锁设置为锁定状态;当资源锁为锁定状态时,所述空闲资源不可被调用。
S4031参照S402步骤,在本实施例中,G2节点已经被B需求调用,因此将资源所设置为锁定状态,在资源调用结束前,G2对应的空闲资源都不会再被调用,可以防止调用冲突造成的资源损耗,提高运行效率。
在本发明的一个优选实施方案中,每过一定时间周期,所有当前空闲资源会在资源哈希环重新注册一遍;进一步地,所述时间周期为1000毫秒。
S4032参照步骤401,若查询结果集中所有的资源借调均失败,则需要等待一个资源刷新周期,刷新所有集群节点和空闲资源,重新构建哈希环,重新发送查询需求并发送借调需求,直至借调成功;在本实施例中,所述资源刷新周期为1000毫秒。
基于同一发明构思,本发明提供了一种边缘集群资源的处理系统,所述系统包括多个集群,所述集群由集群节点组成,每个集群节点包括CPU,内存等资源,还包括可在系统上运行的计算机程序,所述系统执行所述边缘集群资源的处理方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应当理解,本申请实施例中,从权、各个实施例、特征可以互相组合结合,都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种边缘集群资源的处理方法,其特征在于,包括以下步骤:
将所有集群的ID值通过哈希计算得到集群键值并映射至资源哈希环,环上的每个节点即集群节点会保存自己的前驱节点和后继节点,从而形成一个可遍历的环;
将空闲资源的资源值通过哈希计算得到资源键值,所述资源键值的位数与集群键值位数相同,并将所有的空闲信息注册在对应集群节点上,所述空闲信息包括资源键值、资源地址、资源空余量等,每一个集群节点可以存储多个空闲信息;
根据资源需求发起查询请求,将符合条件的所有空闲信息加入查询结果集,将查询结果集返回至请求;
从查询结果集中筛选出最符合要求的空闲信息,发送资源借调询问,若收到允许借调回应,则发送资源借调请求进行资源借调;若资源借调询问失败,从查询结果集中剩余的空闲信息中筛选出最符合要求的空闲信息,发送资源借调询问,借调成功。
2.根据权利要求1所述的边缘集群资源的处理方法,其特征在于,每个所述集群节点设置有索引表,所述索引表的位数m与集群键值的位数相同,每个索引表存储了集群键值按指数增长的m个后续集群节点的地址。
3.根据权利要求2所述的边缘集群资源的处理方法,其特征在于,所述空闲信息注册至集群节点时,映射在两个集群节点之间的空闲信息注册在顺时针方向的集群节点上。
4.根据权利要求2所述的边缘集群资源的处理方法,其特征在于,每一个所述空闲资源可以按不同属性经哈希计算得到不同的空闲信息,可以按照不同的空闲信息注册在不同的集群节点上,每个集群节点根据不同属性设置有不同的资源表。
5.根据权利要求1所述的边缘集群资源的处理方法,其特征在于,所述查询请求中包含多个属性要求,每个属性要求的数值均为区间值,根据每个属性要求区间的端点值分别计算键值,将键值范围最小的属性作为主属性,然后按照主属性的键值进行查询。
6.根据权利要求5所述的边缘集群资源的处理方法,其特征在于,从查询结果集筛选空闲资源时,经过最优匹配公式计算,可得到各个空闲资源的匹配值,将所有匹配的空闲资源按匹配值从高到低排序,生成资源偏好列表;所述最优匹配公式为:
Figure FDA0002296005300000011
其中,α和β表示空闲资源中CPU资源和内存资源的权重参数,
Figure FDA0002296005300000012
表示注册在集群节点i上空闲资源j的CPU资源量,cpu表示请求资源中CPU数值区间的最大值,
Figure FDA0002296005300000013
表示注册在集群节点i上空闲资源j的内存资源量,mem表示请求资源中内存数值区间中最大值。
7.根据权利要求1至6任一所述的边缘集群资源的处理方法,其特征在于,由于资源借调是并发的,资源被借方可能同时收到多个资源借调询问,经过最优匹配公式计算,可得到各个借调询问的匹配值,选择匹配值最低的需求进行匹配。
8.根据权利要求1所述的边缘集群资源的处理方法,其特征在于,所述空闲资源设置有资源锁,所述资源锁在注册至哈希环节点时,将资源锁设置为解锁状态,当资源被借调成功后,将资源锁设置为锁定状态;当资源锁为锁定状态时,所述空闲资源不可被调用。
9.根据权利要求1所述的边缘集群资源的处理方法,其特征在于,每过一定时间周期,所有当前空闲资源会在资源哈希环重新注册一遍;更优选的,所述时间周期为1000毫秒。
10.根据权利要求1所述的边缘集群资源的处理方法,提供了一种边缘集群资源的处理系统,其特征在于,所述系统包括多个集群,所述集群由集群节点组成,每个集群节点包括CPU,内存等资源,还包括可在系统上运行的计算机程序,所述系统执行所述边缘集群资源的处理方法。
CN201911201514.2A 2019-11-29 2019-11-29 一种边缘集群资源的处理方法及系统 Active CN111147546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911201514.2A CN111147546B (zh) 2019-11-29 2019-11-29 一种边缘集群资源的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911201514.2A CN111147546B (zh) 2019-11-29 2019-11-29 一种边缘集群资源的处理方法及系统

Publications (2)

Publication Number Publication Date
CN111147546A true CN111147546A (zh) 2020-05-12
CN111147546B CN111147546B (zh) 2021-05-14

Family

ID=70517342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911201514.2A Active CN111147546B (zh) 2019-11-29 2019-11-29 一种边缘集群资源的处理方法及系统

Country Status (1)

Country Link
CN (1) CN111147546B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625364A (zh) * 2020-05-30 2020-09-04 北京字节跳动网络技术有限公司 任务分配方法、装置、电子设备及计算机可读介质
CN112261115A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 一种资源分配的方法、装置及计算机存储介质
CN113419671A (zh) * 2021-05-20 2021-09-21 佛山市禅城区政务服务数据管理局 一种个人数据空间访问控制方法及系统
CN114640677A (zh) * 2022-05-17 2022-06-17 云宏信息科技股份有限公司 客户端配置成为集群工作节点和APIServer添加工作节点的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137014A (zh) * 2011-03-11 2011-07-27 华为技术有限公司 资源管理方法、系统和资源管理器
CN102427427A (zh) * 2011-12-06 2012-04-25 中国科学院计算机网络信息中心 在哈希网络中查询解析服务器的方法及索引服务器
WO2012152765A1 (en) * 2011-05-12 2012-11-15 Telefonica, S.A. A method for dns resolution of content requests in a cdn service
CN103167010A (zh) * 2011-12-16 2013-06-19 伊姆西公司 用于在集群中指示节点存活的方法和设备
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
CN104243617A (zh) * 2014-10-14 2014-12-24 中国科学院信息工程研究所 一种异构集群中面向混合负载的任务调度方法及系统
CN104301425A (zh) * 2014-10-24 2015-01-21 南方电网科学研究院有限责任公司 基于对象类型和哈希环的对象注册中心服务集群实现方法
EP3073392A1 (en) * 2013-11-22 2016-09-28 Sheng, Jie Database implementation method
CN106230971A (zh) * 2016-08-29 2016-12-14 无锡华云数据技术服务有限公司 基于cdn的大文件分发方法
CN106572153A (zh) * 2016-10-21 2017-04-19 乐视控股(北京)有限公司 集群的数据存储方法及装置
EP3490224A4 (en) * 2017-09-29 2019-05-29 Wangsu Science & Technology Co., Ltd. SYSTEM AND METHOD FOR SYNCHRONIZATION OF DATA
US10333835B2 (en) * 2014-07-30 2019-06-25 Huawei Technologies Co., Ltd. Packet transmission method, apparatus, and system
CN110198226A (zh) * 2018-03-28 2019-09-03 腾讯科技(深圳)有限公司 一种负载均衡集群中访问请求处理方法、系统和可读介质
CN110413845A (zh) * 2019-07-29 2019-11-05 青岛海尔科技有限公司 基于物联网操作系统的资源存储方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137014A (zh) * 2011-03-11 2011-07-27 华为技术有限公司 资源管理方法、系统和资源管理器
WO2012152765A1 (en) * 2011-05-12 2012-11-15 Telefonica, S.A. A method for dns resolution of content requests in a cdn service
CN102427427A (zh) * 2011-12-06 2012-04-25 中国科学院计算机网络信息中心 在哈希网络中查询解析服务器的方法及索引服务器
CN103167010A (zh) * 2011-12-16 2013-06-19 伊姆西公司 用于在集群中指示节点存活的方法和设备
EP3073392A1 (en) * 2013-11-22 2016-09-28 Sheng, Jie Database implementation method
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
US10333835B2 (en) * 2014-07-30 2019-06-25 Huawei Technologies Co., Ltd. Packet transmission method, apparatus, and system
CN104243617A (zh) * 2014-10-14 2014-12-24 中国科学院信息工程研究所 一种异构集群中面向混合负载的任务调度方法及系统
CN104301425A (zh) * 2014-10-24 2015-01-21 南方电网科学研究院有限责任公司 基于对象类型和哈希环的对象注册中心服务集群实现方法
CN106230971A (zh) * 2016-08-29 2016-12-14 无锡华云数据技术服务有限公司 基于cdn的大文件分发方法
CN106572153A (zh) * 2016-10-21 2017-04-19 乐视控股(北京)有限公司 集群的数据存储方法及装置
EP3490224A4 (en) * 2017-09-29 2019-05-29 Wangsu Science & Technology Co., Ltd. SYSTEM AND METHOD FOR SYNCHRONIZATION OF DATA
CN110198226A (zh) * 2018-03-28 2019-09-03 腾讯科技(深圳)有限公司 一种负载均衡集群中访问请求处理方法、系统和可读介质
CN110413845A (zh) * 2019-07-29 2019-11-05 青岛海尔科技有限公司 基于物联网操作系统的资源存储方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625364A (zh) * 2020-05-30 2020-09-04 北京字节跳动网络技术有限公司 任务分配方法、装置、电子设备及计算机可读介质
CN111625364B (zh) * 2020-05-30 2023-05-16 抖音视界有限公司 任务分配方法、装置、电子设备及计算机可读介质
CN112261115A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 一种资源分配的方法、装置及计算机存储介质
CN112261115B (zh) * 2020-10-19 2023-02-07 北京字节跳动网络技术有限公司 一种资源分配的方法、装置及计算机存储介质
CN113419671A (zh) * 2021-05-20 2021-09-21 佛山市禅城区政务服务数据管理局 一种个人数据空间访问控制方法及系统
CN113419671B (zh) * 2021-05-20 2022-02-18 佛山市禅城区政务服务数据管理局 一种个人数据空间访问控制方法
CN114640677A (zh) * 2022-05-17 2022-06-17 云宏信息科技股份有限公司 客户端配置成为集群工作节点和APIServer添加工作节点的方法

Also Published As

Publication number Publication date
CN111147546B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN111147546B (zh) 一种边缘集群资源的处理方法及系统
CN108268208B (zh) 一种基于rdma的分布式内存文件系统
US8055902B2 (en) Method, system, and computer program product for data upload in a computing system
US10257255B2 (en) Hierarchical organization for scale-out cluster
US10171566B2 (en) Server-processor hybrid system for processing data
WO1997025673A1 (en) Replicated resource management system for a distributed application maintaining a relativistic view of state
JP2009251708A (ja) I/oノード制御方式及び方法
WO2022111313A1 (zh) 一种请求处理方法及微服务系统
CN111338806B (zh) 一种业务控制方法及装置
US7603362B2 (en) Ordered list management
CN1338687A (zh) 用于集群计算机系统的合并协议
US20220318071A1 (en) Load balancing method and related device
WO2022033290A1 (zh) 强一致存储系统、数据强一致存储方法、服务器及介质
WO2023226743A1 (zh) 一种云服务部署方法、装置、电子设备及存储介质
CN114254036A (zh) 数据处理方法以及系统
CN114401262A (zh) 基于rdma的大数据传输系统、方法、装置、设备及存储介质
CN113590323A (zh) 面向MapReduce的数据传输方法、装置、设备及存储介质
WO2023169106A1 (zh) 一种内容分发网络域名调度方法及装置
CN112748996A (zh) 一种非集中式拓扑系统的负载均衡策略方法及系统
CN110300192B (zh) 一种根据ip分配表更新分布式训练任务连接参数的方法
CN111382141A (zh) 主从架构配置方法、装置、设备以及计算机可读存储介质
CN116627587A (zh) 一种动态扩展虚拟机内存的方法
CN107959710B (zh) 基于云平台的协同建模方法、建模控制服务器和客户端
CN110377399A (zh) HBase容器化方法、装置、设备及可读存储介质
CN109871260A (zh) 一种基于容器间共享内存的多维度服务限流方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 450000 8 / F, creative island building, no.6, Zhongdao East Road, Zhengdong New District, Zhengzhou City, Henan Province

Patentee after: China Science and technology big data Research Institute

Address before: 450000 8 / F, creative island building, no.6, Zhongdao East Road, Zhengdong New District, Zhengzhou City, Henan Province

Patentee before: Big data Research Institute Institute of computing technology Chinese Academy of Sciences

OL01 Intention to license declared
OL01 Intention to license declared