CN116893933A - 一种边缘计算系统的容灾控制方法、装置及相关设备 - Google Patents
一种边缘计算系统的容灾控制方法、装置及相关设备 Download PDFInfo
- Publication number
- CN116893933A CN116893933A CN202310915959.7A CN202310915959A CN116893933A CN 116893933 A CN116893933 A CN 116893933A CN 202310915959 A CN202310915959 A CN 202310915959A CN 116893933 A CN116893933 A CN 116893933A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- edge
- node server
- computing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 18
- 230000002159 abnormal effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007334 memory performance Effects 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1456—Hardware arrangements for backup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本公开提供一种边缘计算系统的容灾控制方法、装置及相关设备,涉及边缘计算领域。边缘计算系统的容灾控制方法应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;所述方法包括:确定与目标边缘节点服务器对应的多个备份节点服务器;将所述目标边缘节点服务器中的待备份数据划分为多个数据片;在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。本公开实施例各边缘节点服务器即可以作为被备份的主节点,也可以作为其他主节点的备份节点,待备份的数据通过划分为多个数据片后,备份至各备份节点,能够充分利用各边缘节点服务器的负载,提高设备使用率。
Description
技术领域
本公开涉及边缘计算技术领域,具体涉及一种边缘计算系统的容灾控制方法、装置及相关设备。
背景技术
边缘计算系统中,边缘节点为了实现靠近终端用户的部署,其部分节点分布在地域上都是比较分散的,且节点数量较多,节点上的服务也都以K8s(Kubernetes,是一个开源的,用于管理云平台中多个主机上的容器化的应用)容器模式提供服务给客户,由于其在运营上一般无法保证7*24小时的提供服务,因此,部署在边缘计算节点的虚拟化K8s应用,对容灾的需求,比在中心云节点更加迫切。
发明内容
本公开的目的在于提供一种边缘计算系统的容灾控制方法、装置及相关设备,用于解决边缘计算系统中数据容灾备份的问题。
第一方面,本公开实施例提供一种边缘计算系统的容灾控制方法,应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;
所述方法包括:
确定与目标边缘节点服务器对应的多个备份节点服务器,其中,所述目标边缘节点服务器和所述备份节点服务器均为所述边缘计算系统中的边缘节点服务器;
将所述目标边缘节点服务器中的待备份数据划分为多个数据片;
在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
在其中一些实施例中,确定与目标边缘节点服务器对应的多个备份节点服务器,包括:
确定所述边缘计算系统中的可以用于进行数据备份的备份节点服务器,并确定所述备份节点服务器的性能数据;
所述将所述目标边缘节点服务器中的待备份数据划分为多个数据片,包括:
根据所述可用边缘节点的性能数据确定所述待备份数据在各所述备份节点服务器中的备份比例;
根据确定的所述备份比例将所述待备份数据划分为数据片;
所述在所述备份节点服务器中备份所述数据片,包括:
在各所述备份节点服务器中备份相应的数据片。
在其中一些实施例中,每一所述数据片备份于至少两个不同的所述备份节点服务器。
在其中一些实施例中,所述确定所述备份节点服务器的性能数据,包括:
统计所述备份节点服务器的资源可用率数据,所述资源可用率数据包括处理器可用率数据、内存可用率数据和数据传输可用率数据;
根据所述资源可用率数据和所述备份节点服务器的磁盘使用数据确定所述备份节点服务器的性能数据。
在其中一些实施例中,所述处理器可用率数据Sc满足:
cn为处理器使用率,pc为一定时间内处理器使用率的均值;且/或
内存可用率数据Sm满足:
mn为内存使用率,pm为一定时间内内存使用率的均值;且/或
数据传输可用率数据Sio满足:
ion为数据流入输出使用率,pio为一定时间内数据流入流出均值。
在其中一些实施例中,所述备份节点服务器的性能数据Fobln满足:
其中,Kc为处理器负载因子,Km为内存负载因子,Kio为数据流入流出负载因子,且Kc、Km和Kio均为预设常数;
Sdm为磁盘剩余空间,S0为待备份数据需要占用的空间;
Affi为根据边缘应用设置的亲和度与反亲和度权重值计算比例系数。
在其中一些实施例中,所述方法还包括:
获取针对所述目标边缘节点服务器的数据恢复请求;
根据所述数据恢复请求确定所述边缘计算系统中,可以用于恢复所述目标边缘节点服务器的可用服务器的资源可用率数据;
将资源可用率最优的所述可用服务器作为恢复所述目标边缘节点服务器的恢复服务器。
第二方面,本公开实施例提供了一种边缘计算系统的容灾控制装置,应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;
所述装置包括:
确定模块,用于确定与目标边缘节点服务器对应的多个备份节点服务器,其中,所述目标边缘节点服务器和所述备份节点服务器均为所述边缘计算系统中的边缘节点服务器;
划分模块,用于将所述目标边缘节点服务器中的待备份数据划分为多个数据片;
备份模块,用于在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
第三方面,本公开实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述方法的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例各边缘节点服务器即可以作为被备份的主节点,也可以作为其他主节点的备份节点,待备份的数据通过划分为多个数据片后,备份至各备份节点,能够充分利用各边缘节点服务器的负载,提高设备使用率。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的边缘计算系统一架构图。
图2是本公开实施例提供的边缘计算系统又一架构图;
图3是本公开实施例提供的一种边缘计算系统的容灾控制方法的流程图;
图4是本公开实施例一数据片备份示意图;
图5是本公开实施例又一数据片备份示意图;
图6是本公开实施例提供的边缘计算系统的容灾控制方法的又一流程图;
图7是本公开实施例提供的容灾控制装置的结构示意图;
图8是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开实施例提供一种边缘计算系统的容灾控制方法。
如图1所示,在一个实施例中,该方法应用于边缘计算系统(也成边缘云系统或边缘云),在其中一个实施例中,该边缘计算系统包括边缘云管理平台(或称管理服务器)以及该边缘云管理平台管理的边缘计算集群。边缘计算集群包括多个节点(node),每一节点可以理解为一台或一组边缘节点服务器,不同节点部署于不同的地域,以为其所覆盖的区域的用户边缘计算服务,能够缩短用户和边缘节点服务器之间的数据传输距离,从而减少数据衰减和损失,同时也有助于提高响应速度。
如图1所示,本实施例中的各边缘节点服务器可以基于K8s容器编排,各边缘节点服务器上安装有边缘应用,该边缘节点服务器上保存有相应的边缘应用在本机的数据挂载。边缘节点服务器的架构和所实现的功能可以参考相关技术,本实施例中不做进一步限定和描述。
与相关技术相比,本实施例中的边缘节点服务器的主要区别在于,还设置有监控灾备模块,以及保存有其他节点的灾备数据的分片备份。
在其中一个实施例中,监控灾备模块通过DaemonSet守护进程的形式运行在各节点上,监控灾备模块负责采集当前节点的CPU(中央处理器)、内存、磁盘、网络IO(Input&output,输入输出)至边缘云管理平台。监控灾备模块用于负责分管记录备份在当前节点上的其他节点是灾备数据分片,监控灾备模块还用于负责当前节点中备份的灾备数据分片备份所属应用的节点进行监控。
其他节点的灾备数据分片备份用于负责存储其他节点上的应用需要提供灾备功能的边缘应用的数据分片,按照监控采集的性能数据由边缘云管理平台计算并进行合适的分片。
请继续参阅图2,本实施例中,监控灾备模块用于边缘节点的资源利用收集,实施时,监控灾备模块定时收集当前节点性能数据,示例性的,可以按照5分钟、10分钟、半小时等不同的时间间隔收集当前节点的性能数据,的CPU、磁盘、网络IO、内存性能数据等,容纳后将收集到的数据发送至边缘云管理平台。
监控灾备模块还用于负责记录当前节点需要容灾备份的数据都分片在哪些节点上的哪些文件。
监控灾备模块还负责记录当前节点上备份的其他节点的灾备数据分组,并定时监控被备份的边缘节点的状态上报至边缘云管理服务器,边缘云管理服务器依据被备份的边缘节点分片的所有节点的监控情况判断,当某一个边缘节点连续多次监控其节点为异常,则中心节点重新计算分片备份数据至可用节点。
当该分片所属的边缘业务有超过半数节点监控上报异常,则认为该节点或该边缘业务异常,边缘云管理平台则重新计算分配合适的节点恢复数据并恢复该边缘业务提供服务。
下面将结合本实施例的边缘计算系统的容灾控制方法做进一步说明。
在其中一个实施例中,首先确定是否需要开启容灾功能。
本实施例中,定义了以下三种不同的容灾方案:
(1)不开启灾备方案(NEVER),及不备份数据,同时也不会由相邻节点进行监控。
本实施例的技术方案中,对于不重要的数据,可以不进行备份,此处不再赘述。
(2)轻量级备份(LIGHT),备份的数据分片副本数为1,即每份文件只存在一份备份分配在各节点上,能保证边缘业务或边缘业务节点异常后,重新选择其他节点进行聚合备份数据重新提供服务。
对于具有一定重要性,但是重要性相对较低的数据,本实施例中采用轻量级备份,可以理解为,在轻量级备份中,仅对所需备份的数据进行一次备份,即仅在一个备份节点服务器中对所需备份的数据进行一次备份。
(3)重量级备份(HEAVY),备份的数据分片副本数大于1,即每份文件的备份文件有2份。
本实施例的技术方案中,对于相对重要的数据,进行多次备份,换句话说,相同的数据至少备份于两个不同的
在其中一些实施例中,每一所述数据片备份于至少两个不同的所述备份节点服务器,从而进一笔提高数据的安全性。
实施时,可以按照可分配节点总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀的分配给所有的节点,能够保证边缘业务或边缘业务节点异常,且某台备份节点也异常的情况下依旧有能力选择其他节点进行聚合备份数据重新提供服务。
如图3和图6所示,该边缘计算系统的容灾控制方法包括:
步骤301:确定与目标边缘节点服务器对应的多个备份节点服务器。
本实施例中,目标边缘节点服务器和备份节点服务器均为边缘计算系统中的边缘节点服务器,可以理解为,该边缘计算系统中的各节点(即各边缘节点服务器)既可以作为主节点(即被备份的边缘节点服务器),也可以同时作为从节点(即备份其他边缘节点服务器)。
在其中一些实施例中,确定与目标边缘节点服务器对应的多个备份节点服务器,包括:
确定所述边缘计算系统中的可以用于进行数据备份的备份节点服务器,并确定所述备份节点服务器的性能数据。
如图6所示,本实施例中,首先确定在需要对目标边缘节点服务器中的数据进行备份时,首先确定边缘计算系统中,可以为该目标边缘节点服务器提供备份功能的边缘节点服务器,即获取可用节点,本实施例中,将其称作备份节点服务器。
进一步的,为了确定目标边缘节点服务器中的数据在各边备份节点服务器中的备份方案,本实施例中进一步确定各备份节点服务器的性能数据,并根据获得的性能数据确定备份方案,从而提高备份速度以及平衡各边缘节点服务器的负载,避免个别服务器备份过多的数据导致负载增加,影响整个边缘计算系统整体性能。
在其中一些实施例中,所述确定所述备份节点服务器的性能数据,包括:
统计所述备份节点服务器的资源可用率数据,所述资源可用率数据包括处理器可用率数据、内存可用率数据和数据传输可用率数据;
根据所述资源可用率数据和所述备份节点服务器的磁盘使用数据确定所述备份节点服务器的性能数据。
在本申请的一些实施例中,提供了Fobln算法以获取可用率概率C变量。本实施例中的Fobln算法可以理解为一种对于各备份节点服务器的性能进行评价的方式,具体而言,该Fobln算法通过引入备份节点服务器的处理器(CPU)可用率数据、内存可用率数据、数据传输(IO)可用率数据,以及磁盘使用数据,能够对备份节点服务器的综合性能进行评估,从而确定各备份节点服务器的性能差异,并进一步根据确定的性能数据确定数据备份方案。
在其中一些实施例中,所述处理器可用率数据Sc满足:
cn为处理器使用率,pc为一定时间内处理器使用率的均值。
内存可用率数据Sm满足:
mn为内存使用率,pm为一定时间内内存使用率的均值。
数据传输可用率数据Sio满足:
ion为数据流入输出使用率,pio为一定时间内数据流入流出均值。
在其中一些实施例中,所述备份节点服务器的性能数据Fobln满足:
其中,Kc为处理器负载因子,Km为内存负载因子,Kio为数据流入流出负载因子,且Kc、Km和Kio均为预设常数。
在其中一些实施例中,各负载因子默认值均为1,且其取值范围为1-100,各负载因子标识表示可自由调度,完全匹配,负载因子值越高则表示当前节点负载比较高,调度分配率则随之降低。
各负载因子的参数值可由纳管节点的时候从边缘云管理平台处根据当前机器的性能和权重偏好设置,可随时在边缘云管理平台修改。
Sdm为磁盘剩余空间,S0为待备份数据需要占用的空间,默认值为0,初始分配时无需考虑,仅在主节点宕机时,在各节点所备份的总大小来计算。
Affi为亲和性与反亲和性指标度,可以理解为,Affi为根据边缘应用设置的亲和度与反亲和度权重值计算比例系数,Affi的大小为边缘应用设置的亲和度与反亲和度权重值计算比例,如匹配规则无亲和性或反亲和性,则Affi指标为0,调度概率也则为0。
各备份节点服务器的性能数据Fobln可以立即为各备份节点服务器对应的分配率,进一步,按照各备份节点服务器的分配率比例,能够确定各备份节点服务器的分配概率,或称分配比例,本实施例中可以通过以下方式计算各备份节点服务器的分配概率Pn。
这里,Pn为第n个备份节点服务器的分配概率,N为备份节点服务器的数量。
可以理解为根据每一备份节点服务器的分配率占全部备份节点服务器的分配率之和的比例作为该备份节点服务器的分配概率Pn。
步骤302:将所述目标边缘节点服务器中的待备份数据划分为多个数据片。
接下来,将待备份数据划分为多个数据片,从而可以通过一个或多个备份节点服务器对待备份数据进行备份,有助于平衡各备份节点服务器对的负载。
如图4所示,本实施例中,将节点1中的待备份数据备份至节点2和节点3,实施时,待备份数据划分为了三个数据片S1至S3,在重量级备份情况下,每一数据片包括两个备份数据片,即数据片S1对应的备份数据片S11和S12,数据片S2对应的备份数据片S121和S22,以及数据片S3对应的备份数据片S31和S32。
为了均衡节点2和节点3的负载,同时为了保证数据的完整性,节点2和节点3中各保存了数据片S1至S3的一个备份数据片。
在一些实施例中,上述步骤302包括:
根据所述可用边缘节点的性能数据确定所述待备份数据在各所述备份节点服务器中的备份比例。
本实施例中根据可以根据按照上述方式确定的分配概率Pn对待备份数据在各备份节点服务器中备份的数据量进行分配,也就是说,对于各备份节点服务器对应的数据片的大小进行分配。
在其中一个实施例中,按照分配概率Pn对应的百分比得到每个节点分配到百分比占比多少的文件备份。为了便于计算,在其中一些实施例中,可以按照百分比整数位进行备份区间分配,随后由边缘云管理平台下发至主节点(目标边缘节点服务器)监控模块和通知备份节点的监控模块,然后在主节点监控模块中按照文件名的hash算法后对100进行取模,各节点也按照百分比进行分配备份空间,这样,能够得出各个节点所需备份的文件hash值匹配到对应需备份的区间的所对应节点,由主节点监控模块负责备份文件的传输工作,由备份节点的监控模块负责监控主节点的状态,如异常则及时上报移动云管理平台,由其负责管理调度。
步骤303:在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
在各所述备份节点服务器中备份相应的数据片。如图5所示,本实施例中,可以根据需要将节点中的应用A数据划分为多个数据片,并根据数据片与其他节点(即其他备份节点服务器)的匹配程度,将各数据片备份在相匹配的节点中,这样,本实施例可以提高所有的主机资源利用率的相对稳定和平稳。
本实施例各边缘节点服务器即可以作为被备份的主节点,也可以作为其他主节点的备份节点,待备份的数据通过划分为多个数据片后,备份至各备份节点,能够充分利用各边缘节点服务器的负载,提高设备使用率。
在其中一些实施例中,所述方法还包括:
获取针对所述目标边缘节点服务器的数据恢复请求;
根据所述数据恢复请求确定所述边缘计算系统中,可以用于恢复所述目标边缘节点服务器的可用服务器的资源可用率数据;
将资源可用率最优的所述可用服务器作为恢复所述目标边缘节点服务器的恢复服务器。
在当节点边缘业务发生异常后,由其他备份节点的监控可得知并上报至边缘云管理平台,由其负责重新调度选择数据节点并恢复边缘业务。
本实施例中,首先选择恢复边缘业务的节点。
具体的,本实施例中可以采取上述方式计算所有备份了该异常节点中待备份数据的备份节点服务器的分配率和分配概率。
为了提高数据速度,可以选择各数据片对应的分配概率最高的一台节点机器为灾备该边缘业务的机器,并由边缘云管理平台通知该节点的监控模块准备接手边缘业务的恢复,并传递该边缘业务之前的备份方案。
在选择好灾备节点的同时,由边缘云管理平台通过上述性能数据Fobln的计算公式确定各备份节点服务器的性能数据,并选择一台节点备份当前边缘业务恢复节点之前备份的数据存储,即通知其他监控节点向其传输备份文件。
数据回复完毕,准备恢复启动恢复边缘业务,针对如果是k8s的pod的资源则重建pod即可,service服务复用即可,如果是部署在物理机上的服务则调用系统Config Server接口为proxy更新路由信息,随后重新对外提供服务。
这样,就完成了数据的容灾恢复操作。
如图6所示,本实施例的技术方案可以概括为,首先,在管理平台端,创建边缘服务,具体的,可以获取可用节点,并参考上述计算节点的资源算法计算各边缘计算节点的可用率排名,以决定部署边缘业务的主节点,相应的,根据上述方式确定容灾备份规则,即确定该节点对应的备份节点。
接下来,一方面,下发创建边缘业务需求至主节点k8s容器,变频准备创建相应的边缘业务。另一方面,参考上述实施例确定容灾备份方案并按照确定的容灾备份方案进行备份数据的传输。
各灾备节点监控模块监控主节点的边缘业务数据,并对主节点进行状态监控。
在主节点出现异常时,参考上述资源可用率算法重新确定一台边缘服务器作为主节点,同时各灾备节点向重新确定的主节点恢复数据,并在数据恢复之后,重新对外提供服务。
如果主节点未出现异常而是灾备节点出现异常,则参考上述方式重新确定灾备节点并进行灾备数据的重新备份,并将备份结果通知主节点。
本公开实施例提供了一种边缘计算系统的容灾控制装置,应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;
如图7所示,在其中一个实施例中,边缘计算系统的容灾控制装置700包括:
确定模块701,用于确定与目标边缘节点服务器对应的多个备份节点服务器,其中,所述目标边缘节点服务器和所述备份节点服务器均为所述边缘计算系统中的边缘节点服务器;
划分模块702,用于将所述目标边缘节点服务器中的待备份数据划分为多个数据片;
备份模块703,用于在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
在其中一些实施例中,确定模块701,具体用于确定所述边缘计算系统中的可以用于进行数据备份的备份节点服务器,并确定所述备份节点服务器的性能数据;
所述划分模块702,具体用于根据所述可用边缘节点的性能数据确定所述待备份数据在各所述备份节点服务器中的备份比例;
根据确定的所述备份比例将所述待备份数据划分为数据片;
所述备份模块703,具体用于在各所述备份节点服务器中备份相应的数据片。
在其中一些实施例中,每一所述数据片备份于至少两个不同的所述备份节点服务器。
在其中一些实施例中,所述确定模块701,包括:
统计子模块,用于统计所述备份节点服务器的资源可用率数据,所述资源可用率数据包括处理器可用率数据、内存可用率数据和数据传输可用率数据;
确定子模块,用于根据所述资源可用率数据和所述备份节点服务器的磁盘使用数据确定所述备份节点服务器的性能数据。
在其中一些实施例中,所述处理器可用率数据Sc满足:
cn为处理器使用率,pc为一定时间内处理器使用率的均值;且/或
内存可用率数据Sm满足:
mn为内存使用率,pm为一定时间内内存使用率的均值;且/或
数据传输可用率数据Sio满足:
ion为数据流入输出使用率,pio为一定时间内数据流入流出均值。
在其中一些实施例中,所述备份节点服务器的性能数据Fobln满足:
其中,Kc为处理器负载因子,Km为内存负载因子,Kio为数据流入流出负载因子,且Kc、Km和Kio均为预设常数;
Sdm为磁盘剩余空间,S0为待备份数据需要占用的空间;
Affi为根据边缘应用设置的亲和度与反亲和度权重值计算比例系数。
在其中一些实施例中,还包括:
恢复请求获取模块,用于获取针对所述目标边缘节点服务器的数据恢复请求;
资源可用率数据确定模块,用于根据所述数据恢复请求确定所述边缘计算系统中,可以用于恢复所述目标边缘节点服务器的可用服务器的资源可用率数据;
恢复服务器确定模块,用于将资源可用率最优的所述可用服务器作为恢复所述目标边缘节点服务器的恢复服务器。
本公开实施例提供的边缘计算系统的容灾控制装置700能够实现上述方法实施例中的各个过程,且达到相同的技术效果,为避免重复,这里不再赘述。
请参见图8,图8是本公开实施例提供的一种电子设备的结构示意图,如图8所示,电子设备包括:可以包括处理器801、存储器802及存储在存储器802上并可在处理器801上运行的程序8021。
程序8021被处理器801执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。
本公开实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本公开实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述是本公开实施例的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本公开所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本公开的保护范围。
Claims (10)
1.一种边缘计算系统的容灾控制方法,其特征在于,应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;
所述方法包括:
确定与目标边缘节点服务器对应的多个备份节点服务器,其中,所述目标边缘节点服务器和所述备份节点服务器均为所述边缘计算系统中的边缘节点服务器;
将所述目标边缘节点服务器中的待备份数据划分为多个数据片;
在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
2.如权利要求1所述的方法,其特征在于,所述确定与目标边缘节点服务器对应的多个备份节点服务器,包括:
确定所述边缘计算系统中的可以用于进行数据备份的备份节点服务器,并确定所述备份节点服务器的性能数据;
所述将所述目标边缘节点服务器中的待备份数据划分为多个数据片,包括:
根据所述可用边缘节点的性能数据确定所述待备份数据在各所述备份节点服务器中的备份比例;
根据确定的所述备份比例将所述待备份数据划分为数据片;
所述在所述备份节点服务器中备份所述数据片,包括:
在各所述备份节点服务器中备份相应的数据片。
3.如权利要求2所述的方法,其特征在于,每一所述数据片备份于至少两个不同的所述备份节点服务器。
4.如权利要求2所述的方法,其特征在于,所述确定所述备份节点服务器的性能数据,包括:
统计所述备份节点服务器的资源可用率数据,所述资源可用率数据包括处理器可用率数据、内存可用率数据和数据传输可用率数据;
根据所述资源可用率数据和所述备份节点服务器的磁盘使用数据确定所述备份节点服务器的性能数据。
5.如权利要求4所述的方法,其特征在于,所述处理器可用率数据Sc满足:
cn为处理器使用率,pc为一定时间内处理器使用率的均值;且/或
内存可用率数据Sm满足:
mn为内存使用率,pm为一定时间内内存使用率的均值;且/或
数据传输可用率数据Sio满足:
ion为数据流入输出使用率,pio为一定时间内数据流入流出均值。
6.如权利要求5所述的方法,其特征在于,所述备份节点服务器的性能数据Fobln满足:
其中,Kc为处理器负载因子,Km为内存负载因子,Kio为数据流入流出负载因子,且Kc、Km和Kio均为预设常数;
Sdm为磁盘剩余空间,S0为待备份数据需要占用的空间;
Affi为根据边缘应用设置的亲和度与反亲和度权重值计算比例系数。
7.如权利要求2至6中任一项所述的方法,其特征在于,所述方法还包括:
获取针对所述目标边缘节点服务器的数据恢复请求;
根据所述数据恢复请求确定所述边缘计算系统中,可以用于恢复所述目标边缘节点服务器的可用服务器的资源可用率数据;
将资源可用率最优的所述可用服务器作为恢复所述目标边缘节点服务器的恢复服务器。
8.一种边缘计算系统的容灾控制装置,其特征在于,应用于边缘计算系统,所述边缘计算系统包括多个边缘节点服务器;
所述装置包括:
确定模块,用于确定与目标边缘节点服务器对应的多个备份节点服务器,其中,所述目标边缘节点服务器和所述备份节点服务器均为所述边缘计算系统中的边缘节点服务器;
划分模块,用于将所述目标边缘节点服务器中的待备份数据划分为多个数据片;
备份模块,用于在所述备份节点服务器中备份所述数据片,且所述数据片备份于至少两个所述备份节点服务器中备份。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310915959.7A CN116893933A (zh) | 2023-07-25 | 2023-07-25 | 一种边缘计算系统的容灾控制方法、装置及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310915959.7A CN116893933A (zh) | 2023-07-25 | 2023-07-25 | 一种边缘计算系统的容灾控制方法、装置及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116893933A true CN116893933A (zh) | 2023-10-17 |
Family
ID=88311969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310915959.7A Pending CN116893933A (zh) | 2023-07-25 | 2023-07-25 | 一种边缘计算系统的容灾控制方法、装置及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116893933A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472573A (zh) * | 2023-11-02 | 2024-01-30 | 广州鼎甲计算机科技有限公司 | 数据处理方法、装置和计算机设备 |
CN117472573B (zh) * | 2023-11-02 | 2024-05-24 | 广州鼎甲计算机科技有限公司 | 数据处理方法、装置和计算机设备 |
-
2023
- 2023-07-25 CN CN202310915959.7A patent/CN116893933A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472573A (zh) * | 2023-11-02 | 2024-01-30 | 广州鼎甲计算机科技有限公司 | 数据处理方法、装置和计算机设备 |
CN117472573B (zh) * | 2023-11-02 | 2024-05-24 | 广州鼎甲计算机科技有限公司 | 数据处理方法、装置和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200153683A1 (en) | Mitigation of likelihood and impact of a server-reconfiguration failure | |
CN108874640B (zh) | 一种集群性能的评估方法和装置 | |
US8140791B1 (en) | Techniques for backing up distributed data | |
EP3873066A1 (en) | Method for managing resource state information, and resource downloading system | |
Pernas et al. | Non-homogeneous two-rack model for distributed storage systems | |
CN111522636A (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
US11102289B2 (en) | Method for managing resource state information and system for downloading resource | |
Yao et al. | Minimizing disaster backup window for geo-distributed multi-datacenter cloud systems | |
US11301141B2 (en) | Optimized selection of subset of storage devices for data backup | |
CN113111043B (zh) | 一种中台源数据文件的处理方法、装置、系统及存储介质 | |
CN110851080A (zh) | 多云盘平台的分布式存储管理系统 | |
US10235062B1 (en) | Selection of computer resources to perform file operations in a power-efficient manner | |
US10680954B2 (en) | Embedded diagnostic tool for prediction of problems relating to network bandwidth | |
Zhang et al. | EB-BFT: An elastic batched BFT consensus protocol in blockchain | |
CN111160661A (zh) | 一种电力通信网可靠性优化方法、系统以及设备 | |
Parag et al. | Latency analysis for distributed storage | |
CN116893933A (zh) | 一种边缘计算系统的容灾控制方法、装置及相关设备 | |
CN116048814B (zh) | 一种基于监控效用数据的应用资源规格自动优化方法 | |
CN112783637B (zh) | 一种资源调控方法和装置 | |
US11977450B2 (en) | Backup system, method therefor, and program | |
US20140289204A1 (en) | Executing a file backup process | |
CN110968257A (zh) | 存储管理的方法、设备和计算机程序产品 | |
CN110554916A (zh) | 基于分布式集群的风险指标计算方法及装置 | |
CN111858146B (zh) | 用于恢复数据的方法、设备和计算机程序产品 | |
CN116954927B (zh) | 一种分布式异构数据采集方法、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |