CN114697213A - 一种升级方法及装置 - Google Patents
一种升级方法及装置 Download PDFInfo
- Publication number
- CN114697213A CN114697213A CN202210322705.XA CN202210322705A CN114697213A CN 114697213 A CN114697213 A CN 114697213A CN 202210322705 A CN202210322705 A CN 202210322705A CN 114697213 A CN114697213 A CN 114697213A
- Authority
- CN
- China
- Prior art keywords
- node
- load
- information
- upgraded
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种升级方法及装置,响应于获得目标升级指令,获取集群系统中各个节点的负载信息;基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
Description
技术领域
本申请涉及数据处理技术领域,更具体的说是涉及一种升级方法及装置。
背景技术
随着云计算的持续发展和演进,云计算平台的应用也越来越广泛,例如,企业、教育、资源、金融等各领域也在不断扩大云平台集群系统的使用规模。以云平台为例,由于云平台更新换代频率较高,而每次更新换代时都会完善原先的功能和增加新的特性。因此,在应用云平台时,对云平台的版本升级成为不可避免的事情。
目前云平台升级方案,大多采用备份原节点,然后等待节点空闲时再进行升级,若所有节点都带负载运行,那么则无法进行升级,这样就无法达到云平台连续带业务平滑升级,同时存在升级时间长、效率低的问题。
发明内容
有鉴于此,本申请提供如下技术方案:
一种升级方法,包括:
响应于获得目标升级指令,执行步骤A:获取集群系统中各个节点的负载信息;
步骤B:基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;
步骤C:将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
可选地,还包括:
重复执行步骤A至C,直至所述集群系统中处于待升级状态的节点全部处于已升级状态。
可选地,其中,基于所述负载信息确定第一节点,包括:
确定所述集群系统中各个节点的升级状态,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,或,
基于所述负载信息和所述目标升级指令确定第一节点;
且/或,
基于所述负载信息确定至少一第二节点,包括:
基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点;或,
基于所述负载信息和目标迁移指令确定第二节点。
可选地,其中,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,包括:
基于所述负载信息确定处于待升级状态的各个节点的空闲程度;
基于各个节点对应的升级权重和所述空闲程度计算各个节点的负载量,将负载量最小的节点确定为所述第一节点。
可选地,其中,基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述负载信息将处于已升级状态的节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将处于待升级状态的剩余节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将与所述第一节点当前负载的属性信息匹配,且具有第N顺位的至少一节点确定为所述第二节点。
可选地,其中,将所述第一节点之外的节点中与所述第一节点当前任务负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述第一节点当前任务负载的属性信息和所述第一节点之外的每一节点的硬件资源信息,确定候选节点;
对所述候选节点进行匹配度计算,将匹配度最高和/或处于第一序列的节点作为所述第二节点。
可选地,所述方法还包括:
基于所述第一节点的节点属性特征,对所述第一节点的数据进行备份,得到备份数据,以在所述第一节点完成升级后能够将所述备份数据导入所述第一节点;或,
基于所述第一节点迁移出的负载和/或服务的运行特征,确定是否将所述迁移出的负载和/或服务回迁至所述第一节点。
可选地,其中,将所述备份数据导入所述第一节点,包括:
对升级后的所述第一节点的节点状态和/或所述第一节点所在集群系统的运行状态进行验证,若验证未通过,将所述备份数据导入所述第一节点。
可选地,所述方法还包括:
若所述集群系统中所述第一节点之外的节点不满足确定为第二节点的条件,在所述集群系统中创建至少一个空闲节点作为所述第二节点;
和/或,
基于所述集群系统对应的系统状态变化信息和/或各个节点的状态变化信息,更新第二节点。
一种升级装置,包括:
获取单元,用于响应于获得目标升级指令,获取集群系统中各个节点的负载信息;
确定单元,用于基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;
升级单元,用于将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
一种集群系统,包括:
存储器,用于存储程序;
处理器,用于调度并执行所述存储器中的程序,通过执行所述程序实现如上述中任一项所述的升级方法。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述中任一项所述的升级方法。
经由上述的技术方案可知,本申请公开了一种升级方法及装置,响应于获得目标升级指令,获取集群系统中各个节点的负载信息;基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。本申请可以将待升级节点的负载相关信息迁移至其他节点,无需等待节点完全空闲后再升级,降低了节点升级的时间成本,并保证了负载信息处理的连续性,提升了升级效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种升级方法的流程示意图;
图2为本申请实施例提供的一种云平台对应的集群系统的示意图;
图3为本申请实施例提供的一种升级装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例提供了一种升级方法,参见图1,该方法可以包括以下步骤:
S101、响应于获得目标升级指令,获取集群系统中各个节点的负载信息。
本申请实施例提供的升级方法可以应用于云平台升级场景中,其中,所述云平台可以看作为一个集群系统,所述集群系统可以部署在不同网络地址,也可以部署在同一网络地址;该方法也可以应用局域网内多设备组成的集群系统的升级场景中。集群系统是指由多个节点组成的系统,例如可以是云计算系统或者边缘计算系统等。目标升级指令可以是根据应用场景自动产生的升级指令,如固定在某个时间段内对云平台的集群系统的节点的升级指令,也可以是对局域网的集群系统的节点的升级指令。对应的,还可以是用户基于当前集群系统的实际特征生成的升级指令。该目标升级指令可以是对当前集群系统中的所有节点的升级指令,也可以是对指定的部分节点的升级指令。其中,目标升级指令中还可以包括待升级的内容或者升级数据包等与升级相关的信息。
在获得了目标升级指令之后,会获取集群系统中各个节点的负载信息,以便于后续进行节点升级处理。其中,负载信息包括节点本身负载任务的相关信息,以及影响对负载任务处理的信息,具体的,负载任务的相关信息可以包括负载量、负载执行条件、负载属性等信息,影响对负载任务处理的信息可以包括承载该负载任务的节点的属性特征、处理负载任务的处理参数信息等,对应的,节点的属性特征可以包括节点处理器利用率、磁盘特征、网络吞吐量信息等。
S102、基于负载信息确定第一节点和至少一第二节点。
S103、将第一节点对应的负载和/或服务迁移至至少一第二节点,以及控制第一节点基于目标升级执行进行升级。
第一节点为集群系统中处于待升级状态的节点,第二节点是集群系统中除第一节点之外的节点。若需要对集群系统中某一节点均进行升级,则可以基于负载信息确定当前集群系统中空闲程度最高的节点作为首个进行升级的节点,此外若有针对集群系统指定的待升级节点的节点集合,则根据负载信息确定待升级节点的节点集合中空闲程度最高的节点作为首个待升级的节点。
进一步,由于第一节点可能并不是完全空闲的节点,即第一节点上会存在对应的负载或者能够提供的服务,为了不影响第一节点在升级过程中可能会出现的负载处理中断或者中断相关服务的问题,本申请实施例中并不是等待第一节点完全空闲后再进行升级,而是将第一节点的负载和/或任务迁移至至少一第二节点后再进行升级,保证了第一节点的负载和/或服务的不中断,也无需在升级之前进行负载处理的等待,节约了时间成本。因此,在确定了第一节点之后,还需要确定与第一节点对应的至少一个第二节点。第二节点可以是当前集群系统中除第一节点之外负载信息满足负载条件的节点,第二节点还可以是除包括第一节点在内的所有待升级节点之外负载信息满足负载条件的节点。第二节点还可以是在除第一节点之外执指定的节点范围内的负载信息满足负载条件的节点。其中,第二节点的数量与第一节点待迁移的负载和/或服务有关,若需要对第一节点的目标负载进行迁移,而该目标负载具有不可拆分的特性,则仅需确定一个第二节点即可。若该目标负载可以进行拆分,则确定的第二节点的数量与目标负载拆分后的子负载数量相匹配。
在确定了第二节点之后,将第一节点对应的负载和/或服务迁移至所述至少一第二节点,然后会控制第一节点执行与目标升级指令相关的升级内容。具体的,可以是在升级前对第一节点的相关数据进行备份,对升级后的节点进行验证来确定是否将相关备份数据进行导入。还可以在第一节点进行升级之前对节点的相关信息进行配置以保证升级的顺利完成。还需要根据迁出的负载和/或服务的特征,来确定是否将迁出的负载和/或服务在第一节点升级完成后,再从第二节点迁回至第一节点。在本申请后续的实施例中会对此进行详细说明,此处不再赘述。
本申请实施例公开了一种升级方法,响应于获得目标升级指令,获取集群系统中各个节点的负载信息;基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。本申请可以将待升级节点的负载相关信息迁移至其他节点,无需等待节点完全空闲后再升级,降低了节点升级的时间成本,并保证了负载信息处理的连续性,提升了升级效率。
若集群系统中处于待升级状态的节点有且仅有一个,则可以通过图1所示的上述S101-S103的执行步骤完成该节点的升级即可。若集群系统中处于待升级状态的节点有两个或者两个以上时,则重复执行图1所示的步骤S101-S103,直至集群系统中处于待升级状态的节点全部处于已升级状态。具体的,若目标升级指令是指定系统集群中的节点001、节点002和节点003进行升级,该系统集群中还包括节点004和节点005,根据各个节点的负载信息,在待升级节点中首先确定出第一个进行升级的节点为节点002,然后确定可以作为节点002的负载和/或服务迁移至的目的节点为节点005,则将节点002上的负载和/或服务迁移至节点005后,控制节点002进行升级。在节点002升级完成后,根据各个节点当前的负载信息,在除节点002之外的待升级节点中确定空闲程度较高的节点003作为第二个进行升级的节点,然后确定与其对应的节点006作为节点003的负载和/或服务的迁移目的节点,将节点003的负载和/或服务迁移至节点006后,控制节点003进行升级。最后,根据当前各个节点的负载信息,确定节点002作为节点001的负载和/或服务的迁移目的节点,将节点001负载和/或服务迁移至节点002后,控制节点001进行升级。此时,完成了对待升级节点的每一节点的升级。
下面对本申请实施例中对应的具体实现方式进行说明。
在本申请实施例的一种实现方式中,基于负载信息确定第一节点,包括:
方式一、确定集群系统中各个节点的升级状态,基于负载信息确定处于待升级状态且负载量最小的节点为第一节点。
或者,方式二、基于负载信息和目标升级指令确定第一节点。
在方式一中,首先确定集群系统中各个节点的升级状态,即可以将集群系统中各个节点的升级状态划分为待升级状态和无需升级的状态,基于各个待升级状态下的节点的负载信息,将负载量最小的且处于待升级状态的节点作为第一节点,即将处于待升级状态且最空闲的节点确定为第一节点。
具体的,所述基于负载信息确定处于待升级状态且负载量最小的节点为第一节点,包括:
基于负载信息确定处于待升级状态的各个节点的空闲程度;
基于各个节点对应的升级权重和空闲程度计算各个节点的负载量,将负载量最小的节点确定为所述第一节点。
其中,升级权重可以是为每一节点预先配置的加权属性,可以基于节点在当前系统集群中的角色特征、业务特征以及与其他节点的关联关系等确定,这样可以使得确定出的第一节点更加满足当前的业务场景,保证了业务处理的连续性。
在方式二中,需要对目标升级指令进行解析,该目标升级指令可以包括待升级的节点范围,也可以包括用户为每一待升级节点确定的升级优先级信息,即可以基于当前集群系统的业务特征,用户确定一个最匹配该业务特征的升级顺序,然后再根据各个节点的负载信息,确定与该目标升级指令相匹配的负载量较小的节点作为第一节点,具体的,可以将目标升级指令中针对各个待升级节点的优先级信息与负载信息确定的负载量进行计算,根据得出的结果对待升级节点进行排序,以得到第一节点。
在上述实施方式中的基础上,所述基于负载信息确定至少一第二节点,包括:基于负载信息将第一节点之外的节点中与第一节点当前负载的属性信息匹配的至少一个节点作为第二节点。在该实施方式中,第二节点的节点确定范围是当前集群系统中除第一节点之外的所有节点。获取第一节点当前负载的属性信息,该属性信息可以包括负载对应的处理条件信息、负载对应的处理硬件信息,或者负载对应的处理资源信息等。然后在除第一节点之外的节点中确定满足第一节点当前负载属性信息的节点作为第二节点,以保证第一节点的当前负载迁移至第二节点后,第二节点能够对该负载进行正常处理,而不终端该负载对应的业务流程,保证了业务处理的平滑性。
具体的,所述基于负载信息将第一节点之外的节点中与第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
方式一、基于负载信息将处于已升级状态的节点中与第一节点当前负载信息匹配的至少一节点确定为第二节点。
或者,方式二、基于负载信息将处于待升级的剩余节点中与第一节点当前负载的属性信息匹配的至少一节点确定为第二节点。
或者,方式三、基于负载信息将与第一节点当前负载的属性信息匹配,且具有第N顺位的至少一节点确定为第二节点。
在方式一中确定第二节点的节点范围仅考虑处于已升级状态的节点范围,然后在该节点范围内再确定与第一节点当前负载的属性信息匹配的至少一节点作为第二节点,这样在已升级状态的节点范围内确定第二节点,可以避免负载信息的多次迁移,提升了处理效率。
在方式二中确定第二节点的节点范围是处于待升级状态的除第一节点之外的剩余节点。这样可以在仅获取处于待升级状态的节点的负载信息即可,避免了当集群系统中存在数量较多的节点时,计算资源过多地占用,降低系统处理效率的问题。
在方式三中,第N顺位可以是升级列表中的顺位,也可以是迁移列表中的顺位。即可以是在满足负载信息与第一节点当前负载的属性信息匹配的节点的基础上,在这些节点中确定与预先指定的第N顺位的节点作为第二节点。例如,第N顺位可以是升级列表中待升级的顺位,若通过对待升级节点的负载信息进行处理,得到各个待升级节点的空闲程度顺序表,将最空闲的作为第一节点,那么排在第一节点下一位的是当前集群系统中第二空闲的节点,因此,第N顺位可以是待升级节点中的第二顺序,这样可以无需再进行一次负载量的计算。可以将最空闲的第一节点的负载迁移至第二空闲的节点,降低了计算的繁琐性,提升了处理效率。对应的,为了保证后续待升级节点负载迁移的顺利进行,可以将迁移列表中的负载迁移目的节点的排序中中间顺序的节点作为第二节点,以使得集群系统中始终存在较为空闲的节点应对后续负载量较大的迁移,或者集群系统本身的数据备份等需求。保证了集群系统整个业务的正常处理。
对应的,在确定负载和/或服务可以迁移至的目的节点时,除了需要衡量各个节点的负载信息,还需要确定迁移的负载和/或服务的相关配置信息,以保证迁移后的负载和/或服务被正常运行。具体的,所述将第一节点之外的节点中与所述第一节点当前任务负载的属性信息匹配的至少一个节点作为第二节点,包括:基于第一节点当前任务负载的属性信息和第一节点之外的每一节点的硬件资源信息,确定候选节点;对所述候选节点进行匹配度计算,将匹配度最高和/或处于第一序列的节点作为所述第二节点。
在该实施方式中,在获取待升级的第一节点之后,读取该第一节点上现有负载任务列表,通过该负载任务列表确定出第一节点待迁移的负载,若仅是对单个负载进行迁移,可以确定出的第二节点只有一个,若需要对多个负载进行迁移则对应的第二负载有多个。进一步可以基于第一节点当前任务负载的属性信息确定出需要迁移的负载的属性特征,该需要迁移的负载的属性特征可以包括负载类型、负载执行条件信息、负载对节点的要求信息等。
此时,先需要获取第一节点之外的每一节点的硬件资源信息,并根据第一节点当前需要迁移的任务负载的属性信息,确定满足该待迁移的任务负载的硬件资源信息的节点作为候选节点,即首先过滤掉硬件资源条件不匹配的节点。例如,第一节点需要迁移的任务负载是针对图像处理的任务,则候选节点均需要配置有图像编解码硬件。然后,对候选节点进行匹配度计算,所述匹配度表征所述属性信息和所述硬件资源信息之间的匹配程度。候选节点中的硬件资源信息可以满足第一节点当前任务负载的属性信息,为了提升第一节点迁出的负载能够维持正常的运行,需要将匹配度最高和/或处于第一序列的节点作为第二节点。通过匹配度计算可以得到每一候选节点与第一节点当前任务负载的属性信息之间的匹配度参数,通过匹配度参数可以对候选节点进行排序,即排在第一位的是匹配度最高的候选节点,后续匹配度逐个降低。第一序列可以是匹配度在前5%的候选节点组成的节点序列。若仅需要一个第二节点可以仅将匹配度最高的候选节点确定为第二节点,或者可以是随机选取第一序列中的任一节点作为第二节点,若需要第二节点为多个可以在第一序列中选取满足数量需求的个数的候选节点作为第二节点。举例说明,在进行匹配度计算的时候可以将当前候选节点中与第一节点当前任务负载的属性信息对应的各个硬件资源信息进行加权计算,得到的结果作为确定匹配度的参数值,如对应的硬件资源信息包括计算资源、存储资源等,对这些资源信息可以进行加权处理,即将各类资源的需求折算成等价度量值,以根据该等价度量值确定每一候选节点的匹配度,将匹配度较高的节点(即属于第一序列的节点)确定为第二节点。
在另一种实施方式中,所述基于负载信息确定至少一第二节点,包括:
基于负载信息和目标迁移指令确定第二节点。
其中,目标迁移指令可以是在确定需要对第一节点的负载和/或服务进行迁移时,提示用户输入的指令信息。也可以是基于目标升级指令进行解析得到的指令信息。例如,若目标迁移指令是用户输入的,可以通过该目标迁移指令获得用户指定的可以作为负载和/或服务的迁移目的节点的节点范围。使得在该节点范围内基于负载信息确定第二节点。又例如,目标升级指令中包括有指定需要升级的节点,则可以将除这些执行需要升级的节点之外的节点确定为目标迁移指令对应的节点范围,避免负载的多次迁移。目标迁移指令还可以是将升级列表中处于第N顺位的节点确定为第二节点,N可以根据实际的应用场景进行确定,如可以是升级列表中最后一个节点,也可以中间顺位的节点。
需要说明的是,若确定出的第二节点有多个,可以建立负载迁移映射表,通过该负载迁移映射表能够清晰获得第一节点待迁移的每一任务负载对应的迁移目的节点。例如,第一节点需要迁移的任务负载包括第一负载、第二负载和第三负载,则该负载迁移映射表对应的内容可以是第一负载迁移至节点003,第二负载迁移至节点005,第三负载迁移至节点006。
在确定了第一节点以及至少一第二节点,且将第一节点的负载和/或服务迁移至第二节点后,控制第一节点基于目标升级指令进行升级时,可以先将第一节点中的相关数据进行备份,然后将升级数据包发送至第一节点,使得第一节点执行升级处理。具体的,所述升级方法还包括:
基于第一节点的节点属性特征,对第一节点的数据进行备份,得到备份数据,以在所述第一节点完成升级后能够将备份数据代入所述第一节点。
对应的,还可以基于第一节点迁移出的负载和/或服务的运行特征,确定是否将迁移出的负载和/或服务迁回至所述第一节点。
第一节点的节点属性特征是指能够表征节点属性的特征,可以通过获取节点的系统配置信息来确定该节点的节点属性特征,对应的,节点属性特征可以包括节点的层级特征、节点的配置特征、节点的属性特征、节点存储数据的相关特征,进一步可以通过第一节点的属性特征来确定第一节点运行的数据、负载和/或服务的重要程度,还可以确定第一节点在整个集群系统中的重要程度,进而可以确定是否对第一节点的数据进行备份,以及对第一节点的全部数据还是部分数据进行备份,例如,第一节点集群系统中的基础数据存储节点,则在对第一节点进行升级时需要对第一节点上的全部数据进行备份;若第一节点为业务节点,即对目标任务进行处理的专用节点,则需要对该节点上与目标任务相关的所有数据进行备份。数据备份的目的是为了防止节点在升级过程中造成相关数据的丢失或者数据被破坏,可以通过备份数据对该节点进行恢复。
其中,第一节点基于目标升级指令升级完成是指第一节点执行了本次升级,可以包括升级成功,也可以包括升级失败,若第一节点升级失败,则会退回升级之前的版本,将备份数据导入至第一节点。若第一节点升级成功,则会确定升级后的第一节点的节点状态是否满足目标条件,如果是,将第一节点的备份数据导入第一节点。目标条件是指升级后的第一节点所对应的业务和平台系统的状态比升级之前的状态较差,例如,升级后的第一节点的数据量少于升级之前的第一节点的数据量,此时会将备份输入导入升级后的第一节点。具体的,可以对升级后的第一节点的节点状态和/或第一节点所在集群系统的运行状态进行验证,若验证未通过,将备份数据导入第一节点。其中,节点状态包括对节点进行评估后的正常运行状态和非正常运行状态,第一节点坐在集群系统的运行状态可以反映集群系统的健康状态,若因为第一节点的升级,使得第一节点出现异常运行状态或者集群系统出现异常,则会将备份数据导入第一节点,进一步也可以将第一节点退回至升级之前的版本。
对应的,在第一节点升级之后,会基于第一节点迁移出的负载和/或服务的运行特征,来确定是否将迁移出的负载和/或服务回迁至第一节点。其中,运行特征表征负载和/或服务的运行条件、运行参数和执行效果等信息。若将第一节点的目标负载迁移至第二节点后,第二节点与第一节点的配置信息相似,且目标负载在第二节点的运行状态与在第一节点的运行状态相同,则说明目标负载可以在第二节点的运行并不影响该负载本身的运行效果,在第一节点升级完成后可以不将该目标负载回迁至第一节点。对应的,若是在第一节点前将服务迁移至第二节点,在第一节点升级后为了保证第一节点服务的完整性,会将该服务从第二节点迁回。需要说明的是,当第一节点迁出的负载和/或服务有运行在固定节点的需求时,均需要在第一节点升级完成后,将迁出的负载和/或服务再回迁至升级后的第一节点。
在本申请实施例中节点的升级是一个动态调度的过程,即基于每一节点当前的负载信息确定每一次待升级的节点,以及可以作为负载和/或服务迁移的至少一个目的节点。因此,需要根据当前各个节点的负载信息或者集群系统的状态信息等对确定出的第二节点进行更新或调整。具体的:
若集群系统中所述第一节点之外的节点不满足确定为第二节点的条件,在集群系统中创建至少一个空闲节点作为第二节点。和/或,基于集群系统对应的系统状态变化信息和/或各个节点的状态变化信息,更新第二节点。
在该实施方式中,若在确定了第一节点可迁移的负载和/或服务后,或系统集群中第一节点之外的节点的负载信息,通过该负载信息分析得到其他节点均不满足接收该可迁移的负载和/或服务的条件,例如,数据存储量不满足、硬件条件不满足或者配置信息不匹配等,此时,可以基于第一节点可迁移的负载和/或服务对应的数据量,创建至少一个空闲节点作为第二节点,该第二节点的硬件信息以及相关配置信息均与第一节点相匹配,且可以是负载量为零的节点。
集群系统对应的系统状态信息可以包括节点数量的特征信息、集群功耗状态的特征以及集群切换状态的信息,对应的,集群系统对应的系统状态变化信息可以包括集群系统中节点数量的变化信息,如节点的增加或减少;集群系统的功耗变化特征,由高功耗状态变为低功耗状态;还可以包括集群状态的改变,如集群系统初始备用状态切换至执行状态。各个节点的状态变化信息可以是节点是否有新的负载任务或者新的服务的加入,以及节点的属性特征是否发生改变,如由备用状态变为启动状态。例如,当在确定第二个需要升级的节点对应的负载迁移目的节点时,若系统中新增了节点,则需要考虑新增节点的负载信息,对之前的迁移映射表中对应的节点进行更新。又例如,在第一次确定可迁移的目的节点时,第三节点中的负载量较大,若在第二次确定可迁移的目的节点时,第三节点的负载任务均执行完成,则可以将第三节点确定负载迁移目的节点。
下面以具体的应用场景对本申请实施例的升级方法进行说明。参见图2为本申请实施例提供的一种云平台对应的集群系统的示意图,在该集群系统中包括节点监测器200、节点调度器201、负载迁移调度器202以及升级执行器203。
其中节点监测器200提供集群系统中各个节点的监测功能,即用于对各个节点的负载信息进行监测,例如可以获得每一节点的CPU(centralprocessing unit,中央处理器)的利用率、磁盘每秒进行读写操作的次数(Input/Output Operations Per Second,IOPS)、磁盘利用率以及网络输入输出吞吐率等,在该应用场景实施例中将这些参数作为后续云平台何时能及调度所需的基本参数,为了保证数据的准确性,节点监测器200在获得上述采样数据后,可以采用均值滤波的处理方式对采样数据进行处理,再将处理后的数据作为输入信号输入至节点调度器201,需要说明的是,输入到节点调度器201的数据还包括用户设定的每一节点对应的给定权值。然后节点调度器201根据节点监测器200输入的与各个节点参数对应的输入信号,以及用户给定的每一节点对应的给定权值进行输出,得到的是在用户给定权值下最空闲的节点作为本次的升级节点。对应的,节点检测器200还将与各个节点参数对应的输入信号输入至负载迁移调度器202,并且负载迁移调度器202还接收了用户给定的各个节点的权值,并且获得了节点调度器201产生的本次升级节点,因此,负载迁移调度器202可以在除本次已经选定的升级节点之外的节点中选出满足负载迁移条件的节点,并生成负载与目的节点的映射表。该云平台的升级执行器203可以根据选定的负载迁移目的节点,控制本次升级节点将其负载迁移至该目的节点,并且可以进行数据备份、升级流程的控制,通过备份数据来保证数据的安全性,并且还可以在升级完成后,执行备份检查和导入恢复环境,以保证升级的可靠性。
具体的各个部分执行过程如下:
节点监测器200主要完成从各个节点对应的监控系统读取当前所有节点的负载信息,作为节点调度器201的输入信号。由于用户进行升级可以安排在避开业务流量尖峰以及业务快速波动器件进行升级,因此节点监测器200可以采用升级前一段较短时间内的采样数据进行均值滤波,滤波后的数据再作为输入信号使用。以cpu利用率、磁盘io、网络吞吐量为基本监测参数变量,则单个集群节点的采用输出信号如下公式所示,如果有需求可以引入更多的观察变量进行调度计算。
节点调度器201可以通过以下步骤确定本次升级的目标节点,包括:
(1)、获取当前节点列表,并读取各个节点的升级状态信息,过滤掉已经升级的节点;
(2)、对除已升级节点之外的剩余节点,读取节点监测器输入的滤波后的负载信息,以获得剩余节点的每一节点的负载空闲读值;
(3)、对剩余节点读取优先给定权重属性,并计算加权后的负载空闲度值;
(4)、对剩余节点按照加权后的负载空闲度值进行排序,选择最大空闲度的节点作为本次升级的目标节点。具体的,可以通过如下公式确定负载空闲度值:
其中,Wc表示负载空闲度值,Ci表示节点监测器输入的滤波后的各个负载信息,Dst函数表示选择最大空限度节点的函数。
负载迁移调度器202可以通过以下步骤确定负载迁移的目的节点,包括:
首先,获取节点调取器选择的待升级的节点,并读取节点生现有负载任务列表,包括平台管理级负载。
其次,对任务列表进行遍历,分别计算选择出该负载需要迁移的目的节点,对于单个负载选择迁移节点的处理流程与选择待升级节点的流程类似,可以包括:
a、过滤步骤:考虑负载硬件资源需求特性,过滤硬件资源条件不满足负载特征的节点;
b、加权步骤:对过滤之后的剩余节点进行资源需求的加权,可以将对各类资源需求折算成等价度量值;
c、排序步骤:对满足该负载进行迁移的节点进行排序,选择适合度最高的节点作为迁移目的节点。
需要说明的是,若待迁移的负载和/或服务不唯一,可以遍历负载列表执行上述的a-c步骤,直至为每一负载匹配到对应的迁移目的节点,生成负载-迁移节点映射表。
升级执行器203可以执行如下步骤:
(1)、获取节点调度器输出的待升级节点,对该节点的系统配置信息或者重要数据进行备份;
(2)、获取负载迁移调度器202输出的负载-迁移节点映射表,并逐个迁移待升级节点上的负载,使得该带升级节点进入空闲状态;
(3)、按照获取待升级组件列表,对待升级节点进行云平台组件的相关升级;
(4)、升级后对桑倩节点业务和平台系统进行健康状态检查,确定是否带入备份数据;
(5)、按照负载-迁移节点映射表进行负载回迁,例如,负载对应的业务有固定节点需求时,需要对负载进行回迁。
在本申请公开的升级方法中,可以动态调度升级节点,不必要等待节点完全空闲,可以使得对待升级节点中的负载和/或服务进行迁移后再升级,降低了整个升级的时间成本。对应的,时间成本的降低,也会降低在升级控制链路过程中可能出现的异常状况,提高了集群升级的可靠性。动态调度升级时可以进行负载或者业务迁移,保障了业务的连续性,达到完全平滑的升级。并且在动态调度过程中以资源使用率和空闲率作为输入信号,更加合理充分的利用了平台的资源。
在本申请的另一实施例中还提供了一种升级装置,参见图3,该升级装置可以包括:
获取单元301,用于响应于获得目标升级指令,获取集群系统中各个节点的负载信息;
确定单元302,用于基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;
控制单元303,用于将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
本申请实施例公开的一种升级装置,获取单元响应于获得目标升级指令,获取集群系统中各个节点的负载信息;确定单元基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;控制单元将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。本申请可以将待升级节点的负载相关信息迁移至其他节点,无需等待节点完全空闲后再升级,降低了节点升级的时间成本,并保证了负载信息处理的连续性,提升了升级效率。
可选地,还包括:
重复执行单元,用于重复执行上述获取单元、确定单元以及控制单元中的执行步骤,直至所述集群系统中处于待升级状态的节点全部处于已升级状态。
可选地,其中,确定单元,包括第一确定子单元,用于基于所述负载信息确定第一节点,所述第一确定子单元具体用于:
确定所述集群系统中各个节点的升级状态,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,或,
基于所述负载信息和所述目标升级指令确定第一节点;
且/或,
所述确定单元还包括第二确定子单元,所述第二确定子单元,用于基于所述负载信息确定至少一第二节点,所述第二确定子单元具体用于:
基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点;或,
基于所述负载信息和目标迁移指令确定第二节点。
可选地,其中,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,包括:
基于所述负载信息确定处于待升级状态的各个节点的空闲程度;
基于各个节点对应的升级权重和所述空闲程度计算各个节点的负载量,将负载量最小的节点确定为所述第一节点。
进一步地,其中,基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述负载信息将处于已升级状态的节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将处于待升级状态的剩余节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将与所述第一节点当前负载的属性信息匹配,且具有第N顺位的至少一节点确定为所述第二节点。
对应的,其中,将所述第一节点之外的节点中与所述第一节点当前任务负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述第一节点当前任务负载的属性信息和所述第一节点之外的每一节点的硬件资源信息,在除所述第一节点之外的节点中确定候选节点;
对所述候选节点进行匹配度计算,将匹配度最高和/或处于第一序列的节点作为所述第二节点。
可选地,所述装置还包括:
备份单元,用于基于所述第一节点的节点属性特征,对所述第一节点的数据进行备份,得到备份数据,以在所述第一节点完成升级后能够将所述备份数据导入所述第一节点;或,
回迁单元,用于基于所述第一节点迁移出的负载和/或服务的运行特征,确定是否将所述迁移出的负载和/或服务回迁至所述第一节点。
可选地,将所述备份数据导入所述第一节点,包括:
对升级后的所述第一节点的节点状态和/或所述第一节点所在集群系统的运行状态进行验证,若验证未通过,将所述备份数据导入所述第一节点。
进一步,所述装置还包括:
节点创建单元,用于若所述集群系统中所述第一节点之外的节点不满足确定为第二节点的条件,在所述集群系统中创建至少一个空闲节点作为所述第二节点;
和/或,
更新单元,用于基于所述集群系统对应的系统状态变化信息以及各个节点的状态变化信息,更新第二节点。
需要说明的是,本实施例中的各个单元以及子单元的具体实现可以参考前文中的相应内容,此处不再详述。
在本申请实施例中还提供了一种集群系统,参见图4,该集群系统包括:
存储器401,用于存储应用程序和所述应用程序运行所产生的数据;
处理器402,用于执行所述应用程序,以实现上述中任一项所述的升级方法。
需要说明的是,本实施例中处理器的具体实现可以参考前文中的相应内容,此处不再详述。
对应的,在本发明实施例中还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上任意一项所述的升级方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种升级方法,包括:
响应于获得目标升级指令,执行步骤A:获取集群系统中各个节点的负载信息;
步骤B:基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;
步骤C:将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
2.根据权利要求1所述的方法,还包括:
重复执行步骤A至C,直至所述集群系统中处于待升级状态的节点全部处于已升级状态。
3.根据权利要求1或2所述的方法,其中,基于所述负载信息确定第一节点,包括:
确定所述集群系统中各个节点的升级状态,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,或,
基于所述负载信息和所述目标升级指令确定第一节点;
且/或,
基于所述负载信息确定至少一第二节点,包括:
基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点;或,
基于所述负载信息和目标迁移指令确定第二节点。
4.根据权利要求3所述的方法,其中,基于所述负载信息确定处于待升级状态且负载量最小的节点为所述第一节点,包括:
基于所述负载信息确定处于待升级状态的各个节点的空闲程度;
基于各个节点对应的升级权重和所述空闲程度计算各个节点的负载量,将负载量最小的节点确定为所述第一节点。
5.根据权利要求3所述的方法,其中,基于所述负载信息将所述第一节点之外的节点中与所述第一节点当前负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述负载信息将处于已升级状态的节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将处于待升级状态的剩余节点中与所述第一节点当前负载的属性信息匹配的至少一节点确定为所述第二节点;或,
基于所述负载信息将与所述第一节点当前负载的属性信息匹配,且具有第N顺位的至少一节点确定为所述第二节点。
6.根据权利要求3所述的方法,其中,将所述第一节点之外的节点中与所述第一节点当前任务负载的属性信息匹配的至少一个节点作为所述第二节点,包括:
基于所述第一节点当前任务负载的属性信息和所述第一节点之外的每一节点的硬件资源信息,确定候选节点;
对所述候选节点进行匹配度计算,将匹配度最高和/或处于第一序列的节点作为所述第二节点。
7.根据权利要求1所述的方法,所述方法还包括:
基于所述第一节点的节点属性特征,对所述第一节点的数据进行备份,得到备份数据,以在所述第一节点完成升级后能够将所述备份数据导入所述第一节点;或,
基于所述第一节点迁移出的负载和/或服务的运行特征,确定是否将所述迁移出的负载和/或服务回迁至所述第一节点。
8.根据权利要求1所述的方法,其中,将所述备份数据导入所述第一节点,包括:
对升级后的所述第一节点的节点状态和/或所述第一节点所在集群系统的运行状态进行验证,若验证未通过,将所述备份数据导入所述第一节点。
9.根据权利要求1所述的方法,所述方法还包括:
若所述集群系统中所述第一节点之外的节点不满足确定为第二节点的条件,在所述集群系统中创建至少一个空闲节点作为所述第二节点;
和/或,
基于所述集群系统对应的系统状态变化信息和/或各个节点的状态变化信息,更新第二节点。
10.一种升级装置,包括:
获取单元,用于响应于获得目标升级指令,获取集群系统中各个节点的负载信息;
确定单元,用于基于所述负载信息确定第一节点和至少一第二节点,所述第一节点为所述集群系统中处于待升级状态的节点,所述第二节点是所述集群系统中除第一节点之外的节点;
升级单元,用于将所述第一节点对应的负载和/或服务迁移至所述至少一第二节点,以及控制所述第一节点基于所述目标升级指令进行升级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210322705.XA CN114697213A (zh) | 2022-03-30 | 2022-03-30 | 一种升级方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210322705.XA CN114697213A (zh) | 2022-03-30 | 2022-03-30 | 一种升级方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114697213A true CN114697213A (zh) | 2022-07-01 |
Family
ID=82141219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210322705.XA Pending CN114697213A (zh) | 2022-03-30 | 2022-03-30 | 一种升级方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114697213A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115658116A (zh) * | 2022-11-11 | 2023-01-31 | 苏州浪潮智能科技有限公司 | 一种存储集群升级控制方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101741894A (zh) * | 2008-11-26 | 2010-06-16 | 中国移动通信集团公司 | 一种分布式系统的升级方法、升级调度节点及系统 |
CN105589697A (zh) * | 2016-03-17 | 2016-05-18 | 广州杰赛科技股份有限公司 | 一种云平台的升级方法及装置 |
CN105610903A (zh) * | 2015-12-17 | 2016-05-25 | 北京奇虎科技有限公司 | 分布式系统的数据节点升级方法及装置 |
CN110377298A (zh) * | 2018-04-13 | 2019-10-25 | 杭州海康威视数字技术股份有限公司 | 一种分布式集群升级方法及分布式集群 |
US20200150946A1 (en) * | 2018-11-14 | 2020-05-14 | Nutanix, Inc. | System and method for the dynamic expansion of a cluster with co nodes before upgrade |
-
2022
- 2022-03-30 CN CN202210322705.XA patent/CN114697213A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101741894A (zh) * | 2008-11-26 | 2010-06-16 | 中国移动通信集团公司 | 一种分布式系统的升级方法、升级调度节点及系统 |
CN105610903A (zh) * | 2015-12-17 | 2016-05-25 | 北京奇虎科技有限公司 | 分布式系统的数据节点升级方法及装置 |
CN105589697A (zh) * | 2016-03-17 | 2016-05-18 | 广州杰赛科技股份有限公司 | 一种云平台的升级方法及装置 |
CN110377298A (zh) * | 2018-04-13 | 2019-10-25 | 杭州海康威视数字技术股份有限公司 | 一种分布式集群升级方法及分布式集群 |
US20200150946A1 (en) * | 2018-11-14 | 2020-05-14 | Nutanix, Inc. | System and method for the dynamic expansion of a cluster with co nodes before upgrade |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115658116A (zh) * | 2022-11-11 | 2023-01-31 | 苏州浪潮智能科技有限公司 | 一种存储集群升级控制方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10331469B2 (en) | Systems and methods of host-aware resource management involving cluster-based resource pools | |
US10924535B2 (en) | Resource load balancing control method and cluster scheduler | |
US11567795B2 (en) | Minimizing impact of migrating virtual services | |
CN109582433B (zh) | 一种资源调度方法、装置、云计算系统及存储介质 | |
CN107431696B (zh) | 用于应用自动化部署的方法和云管理节点 | |
US10831387B1 (en) | Snapshot reservations in a distributed storage system | |
CN111381928B (zh) | 一种虚拟机迁移方法、云计算管理平台和存储介质 | |
CN115373835A (zh) | Flink集群的任务资源调整方法、装置及电子设备 | |
CN112799596A (zh) | 一种存储资源的扩容控制方法、装置及电子设备 | |
JP2021121921A (ja) | 人工知能開発プラットフォームの管理方法及び装置、媒体 | |
CN114327881A (zh) | 任务调度方法及装置 | |
CN114697213A (zh) | 一种升级方法及装置 | |
CN113535346B (zh) | 线程数量调整的方法、装置、设备及计算机存储介质 | |
CN112631994A (zh) | 数据迁移方法及系统 | |
CN107368355B (zh) | 虚拟机的动态调度方法和装置 | |
CN115061811A (zh) | 一种资源调度方法、装置、设备及存储介质 | |
CN112130979B (zh) | 调度任务及训练神经网络模型的方法、装置、终端和介质 | |
CN113271323A (zh) | 集群扩容方法、装置和存储介质 | |
EP4293514A1 (en) | Method and system for automated migration of high performance computing application to serverless platform | |
US11973839B1 (en) | Microservice throttling based on learned demand predictions | |
US20230401085A1 (en) | Selection of hosts for virtual machines based on current virtual machine requirements and headroom availability | |
CN113407192B (zh) | 模型部署方法和设备 | |
US20240223667A1 (en) | Microservice admission control based on learned demand predictions | |
CN116027980A (zh) | 一种处理方法和电子设备 | |
CN116795586A (zh) | 冗余性决定系统、冗余性决定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |