CN118295803A - 资源批量处理方法、装置、设备、介质和程序产品 - Google Patents

资源批量处理方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN118295803A
CN118295803A CN202410383226.8A CN202410383226A CN118295803A CN 118295803 A CN118295803 A CN 118295803A CN 202410383226 A CN202410383226 A CN 202410383226A CN 118295803 A CN118295803 A CN 118295803A
Authority
CN
China
Prior art keywords
resource management
storage address
information
management units
target cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410383226.8A
Other languages
English (en)
Inventor
汪威
张杭俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Publication of CN118295803A publication Critical patent/CN118295803A/zh
Pending legal-status Critical Current

Links

Abstract

本公开提供了一种资源批量处理方法、装置、设备、介质和程序产品,可以应用于云计算技术领域。该资源批量处理方法包括:响应于针对多个资源管理单元处于空闲状态,获取多个资源管理单元的属性信息,其中,属性信息包括用于部署资源管理单元的目标集群的信息和用于存储资源管理单元的地址信息;根据属性信息,生成多个资源管理单元的存储地址链接信息;向目标集群异步发送存储地址链接信息,以便目标集群批量处理多个资源管理单元。

Description

资源批量处理方法、装置、设备、介质和程序产品
技术领域
本公开涉及云计算技术领域,更具体地涉及一种资源批量处理方法、装置、设备、介质和程序产品。
背景技术
随着用户越来越多,程序越来越复杂,对计算能力和安全性的要求也越来越高,在不断提升的需求推动下,云计算中的资源管理单元的部署量在不断增加。
在实现本公开构思的过程中,发明人发现相关技术中,由于对处于空闲状态的资源管理单元的未及时处理,导致资源使用率较低,影响管理平台的吞吐量。
发明内容
鉴于上述问题,本公开提供了一种资源批量处理方法、装置、设备、介质和程序产品。
根据本公开的第一个方面,提供了一种资源批量处理方法,应用于管理平台,包括:响应于针对多个资源管理单元处于空闲状态,获取上述多个资源管理单元的属性信息,其中,上述属性信息包括用于部署上述资源管理单元的目标集群的信息和用于存储上述资源管理单元的地址信息;
根据上述属性信息,生成上述多个资源管理单元的存储地址链接信息;
向上述目标集群异步发送上述存储地址链接信息,以便上述目标集群批量处理上述多个资源管理单元。
根据本公开的实施例,上述存储地址链接信息包括I个,I为大于1的整数;上述向上述目标集群异步发送上述存储地址链接信息,以便上述目标集群批量处理上述多个资源管理单元,包括:
响应于未接收到针对第i个存储地址链接信息的处理结果,向上述目标集群发送第i+1个存储地址链接信息。
根据本公开的实施例,上述响应于针对多个资源管理单元处理空闲状态,获取上述多个资源管理单元的属性信息,包括:
上述响应于针对多个资源管理单元处理空闲状态,获取上述多个资源管理单元的名称;
根据上述多个资源管理单元的名称,从数据库中确定上述多个资源管理单元的的属性信息。
根据本公开的实施例,上述根据上述属性信息,生成上述多个资源管理单元的存储地址链接信息,包括:
针对每一个上述资源管理单元的属性信息,根据上述用于部署上述资源管理单元的目标集群的信息,生成上述资源管理单元的第一存储地址链接信息;
根据上述用于存储上述资源管理单元的地址信息,生成上述资源管理单元的第二存储地址链接信息;
根据上述资源管理单元的第一存储地址链接信息和上述资源管理单元的第二存储地址链接信息,生成上述资源管理单元的存储地址链接信息。
根据本公开的实施例,上述资源批量处理方法,还包括:
将与上述存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元。
本公开的第二方面提供了一种资源批量处理方法,应用于目标集群,包括:
接收来自管理平台异步发送的存储地址链接信息,其中,上述存储地址链接信息是根据属性信息生成的,上述属性信息是根据资源管理单元处于空闲状态获取的;
基于上述存储地址链接信息,确定与上述存储地址链接信息对应的控制单元;
根据上述与上述存储地址链接信息对应的控制单元,确定与上述存储地址链接信息对应的副本单元;
根据上述与上述存储地址链接信息对应的副本单元,目标集群批量处理多个上述资源管理单元。
本公开的第三方面提供了一种资源批量处理装置,应用于管理平台,包括:获取模块、生成模块和发送模块。
获取模块,用于响应于针对多个资源管理单元处于空闲状态,获取上述多个资源管理单元的属性信息,其中,上述属性信息包括用于部署上述资源管理单元的目标集群的信息和用于存储上述资源管理单元的地址信息;
生成模块,用于根据上述属性信息,生成上述多个资源管理单元的存储地址链接信息;
发送模块,用于向上述目标集群异步发送上述存储地址链接信息,以便上述目标集群批量处理上述多个资源管理单元。
本公开的第四方面提供了一种资源批量处理装置,应用于目标集群,包括:接收模块、第一确定模块、第二确定模块和处理模块。
接收模块,用于接收来自管理平台异步发送的存储地址链接信息,其中,上述存储地址链接信息是根据属性信息生成的,上述属性信息是根据资源管理单元处于空闲状态获取的;
第一确定模块,用于基于上述存储地址链接信息,确定与上述存储地址链接信息对应的控制单元;
第二确定模块,用于根据上述与上述存储地址链接信息对应的控制单元,确定与上述存储地址链接信息对应的副本单元;
处理模块,用于根据上述与上述存储地址链接信息对应的副本单元,目标集群批量处理多个上述资源管理单元。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
根据本公开提供的资源批量处理方法、装置、电子设备、介质和程序产品,通过获取处于空闲状态的多个资源管理单元的属性信息,可以生成多个资源管理单元的存储地址链接信息,将多个资源管理单元的存储地址链接信息通过异步发送的方式发送至目标集群,以便目标集群可以对多个资源管理单元进行处理,提高了对多个资源管理单元的处理效率,提高了管理平台的并发性和吞吐量。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了相关技术中多线程和阻塞输入输出模型结合批量资源处理的示意图;
图2示意性示出了相关技术中又一多线程和阻塞输入输出模型结合批量资源处理的示意图;
图3示意性示出了根据本公开实施例的资源批量处理方法的应用场景图;
图4示意性示出了根据本公开实施例的资源批量处理方法的流程图;
图5示意性示出了根据本公开又一实施例的资源批量处理方法的流程图;
图6示意性示出了根据本公开又一实施例的资源批量处理方法的流程图;
图7示意性示出了根据本公开实施例的资源批量处理的示意图;
图8示意性示出了根据本公开又一实施例的资源批量处理的示意图;
图9示意性示出了根据本公开实施例的资源批量处理装置的结构框图;
图10示意性示出了根据本公开又一实施例的资源批量处理装置的结构框图;以及
图11示意性示出了根据本公开实施例的适于实现资源批量处理方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息,例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理,均遵守相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权或者拒绝。
在实现本公开的过程中发现,对于不再使用的资源管理单元,相关技术中主要采用多线程和阻塞输入输出模型结合的方式进行处理,但是由于多线程和阻塞输入输出模型结合的方式,需要大量的线程,管理平台无法同时承载大量的线程,对快速、频繁的访问,数据库的压力也比较大,以及在对不再使用的资源管理单元处理之前不进行备份,处理后也无法进行回滚。
图1示意性示出了相关技术中多线程和阻塞输入输出模型结合批量资源处理的示意图。
如图1所示,在管理平台110向目标集群120发送两个请求的情况下,管理平台110向目标集群120发送请求1,目标集群120对接收到的请求1进行处理,处理完成后,目标集群120向管理平台110发送与请求1对应的处理结果,管理平台110在接收到与请求1对应的处理结果的情况下,管理平台110向目标集群120发送请求2,管理平台110在接收到与请求2对应的处理结果的情况下,处理完成,其中,目标集群120在处理请求的过程中,管理平台110需要等待目标集群处理完成。
图2示意性示出了相关技术中又一多线程和阻塞输入输出模型结合批量资源处理的示意图。
如图2所示,管理平台110可以包括多个请求,如管理平台包括请求1,请求2……请求n,管理平台110向目标集群120以多线程和阻塞输入输出模型结合的方式发送多个请求,其中,一个线程可以发送一个请求,目标集群120可以对接收到的多个请求进行处理,不过在对前一请求处理完成后,才可以接收下一请求,因此,对于管理平台包括多个请求的情况下,批量资源的处理效率较低。
有鉴于此,本公开的实施例提供了一种资源批量处理方法,包括:响应于针对多个资源管理单元处于空闲状态,获取所述多个资源管理单元的属性信息,其中,所述属性信息包括用于部署所述资源管理单元的目标集群的信息和用于存储所述资源管理单元的地址信息;根据所述属性信息,生成所述多个资源管理单元的存储地址链接信息;向所述目标集群异步发送所述存储地址链接信息,以便所述目标集群批量处理所述多个资源管理单元。
图3示意性示出了根据本公开实施例的资源批量处理方法的应用场景图。
如图3所示,根据该实施例的应用场景300可以包括管理平台301、目标集群302和网络303。网络303用以在管理平台301和目标集群302之间提供通信链路的介质。网络303可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用管理平台301通过网络303与目标集群302交互,以接收或发送消息等。管理平台301上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
目标集群302可以是提供各种服务的服务器,例如对用户利用目标集群302所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给管理平台。
需要说明的是,本公开实施例所提供的资源批量处理方法一般可以由目标集群302执行。相应地,本公开实施例所提供的资源批量处理装置一般可以设置于目标集群302中。本公开实施例所提供的资源批量处理方法也可以由不同于目标集群302且能够与管理平台301通信的目标集群执行。相应地,本公开实施例所提供的资源批量处理装置也可以设置于不同于目标集群302且能够与管理平台301通信的目标集群中。
应该理解,图3中的目标集群和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的目标集群和网络。
以下将基于图3描述的场景,通过图4和图5对公开实施例的资源批量处理方法进行详细描述。
图4示意性示出了根据本公开实施例的资源批量处理方法的流程图。
如图4所示,该实施例的资源批量处理方法400包括操作S410~操作S430。
在操作S410,响应于针对多个资源管理单元处于空闲状态,获取多个资源管理单元的属性信息。
在操作S420,根据属性信息,生成多个资源管理单元的存储地址链接信息。
在操作S430,向目标集群异步发送存储地址链接信息,以便目标集群批量处理多个资源管理单元。
根据本公开的实施例,资源管理单元可以包括工作状态和空闲状态。在资源管理单元处于空闲状态的情况下,可以对资源管理单元进行处理。
根据本公开的实施例,资源管理单元的属性信息可以包括用于部署资源管理单元的目标集群的信息和用于存储资源管理单元的地址信息。根据用于部署资源管理单元的目标集群的信息,可以获得资源管理单元所部署的目标集群。目标集群可以包括多个,资源管理单元可以包括多个。例如,资源管理单元A可以部署在目标集群a,资源管理单元B可以部署在目标集群b。根据用于存储资源管理单元的地址信息,可以获取资源管理单元的命名空间。资源管理单元的命名空间可以表征资源管理单元的作用域。
根据本公开的实施例,可以根据资源管理单元的用于部署目标集群的信息和用于存储资源管理单元的地址信息,生成多个资源管理单元的处理地址链接信息。
根据本公开的实施例,可以根据存储地址链接信息,目标集群确定与存储地址链接信息对应的资源管理单元,进而对其进行处理。存储地址链接信息可以包括多个,每一个资源管理单元可以根据其属性信息,生成一个存储地址链接信息。管理平台可以将存储地址链接信息发送至目标集群。例如,管理平台可以是平台即服务(Platform as a Service,PaaS)。资源管理单元可以是kubernetes中用来管理发布的控制器,可以更好地解决服务编排问题。
根据本公开的实施例,管理平台向目标集群发送存储地址链接信息可以使用异步连续发送的方式。可以根据获取到的资源管理单元处于空闲状态的顺序向目标集群发送存储地址链接信息,整个发送过程是一直异步发送的状态,管理平台发送存储地址链接信息与目标集群对存储地址链接信息的处理结果没有关系,在目标集群对接收到存储地址链接信息有处理结果的情况下,管理平台会持续异步发送,在目标集群对接收到存储地址链接信息无处理结果的情况下,管理平台也会持续异步发送,直至将多个存储地址链接信息发送完成。
根据本公开的实施例,通过获取处于空闲状态的多个资源管理单元的属性信息,可以生成多个资源管理单元的存储地址链接信息,将多个资源管理单元的存储地址链接信息通过异步发送的方式发送至目标集群,以便目标集群可以对多个资源管理单元进行处理,提高了对多个资源管理单元的处理效率,提高了管理平台的并发性和吞吐量。
根据本公开的实施例,向目标集群异步发送存储地址链接信息,以便目标集群批量处理多个资源管理单元,包括:响应于未接收到针对第i个存储地址链接信息的处理结果,向目标集群发送第i+1个存储地址链接信息。
根据本公开的实施例,存储地址链接信息可以包括I个,I为大于1的整数。在未接收到针对第i个存储地址链接信息的处理结果的情况下,可以向目标集群发送第i+1个存储地址链接信息。例如,存储地址链接信息包括10个,在未接收到针对第6个存储地址链接信息的处理结果的情况下,可以向目标集群发送第7个存储地址链接信息,直至将10个存储地址链接信息发送完成。
根据本公开的实施例,可以根据获取到的多个资源管理单元处于空闲状态的顺序向目标集群发送存储地址链接信息。
根据本公开的实施例,向目标集群发送存储地址链接信息可以是基于异步输入输出模型进行发送的。异步输入输出模型可以表征非阻塞的输入输出处理方式,可以在发送输入输出操作后继续执行其他任务,而不需要等待输入输出操作完成,也是进程通过系统调用告内核启动输入输出操作,内核启动输入输出操作后立刻返回到进程,进程在输入输出操作发生期间继续执行其他任务,在输入输出操作完成或遇到错误的情况下,内核可以以进程在系统中的特定方式通知进程输入输出操作结束。
根据本公开的实施例,通过响应于未接收到针对第i个存储地址链接信息的处理结果,向目标集群发送第i+1个存储地址链接信息,可以在未接到处理结果的情况下,继续发送下一个存储地址链接信息,提高了存储地址链接信息的发送效率,进一步提高了对多个资源管理单元的处理效率,从而提高了管理平台的吞吐量。
根据本公开的实施例,响应于针对多个资源管理单元处理空闲状态,获取多个资源管理单元的属性信息,包括:响应于针对多个资源管理单元处理空闲状态,获取多个资源管理单元的名称。根据多个资源管理单元的名称,从数据库中确定多个资源管理单元的的属性信息。
根据本公开的实施例,在资源管理单元处于空闲状态的情况下,获取多个资源管理单元的名称。可以根据资源管理单元的名称,在数据库中进行查询,查询到与资源管理单元对应的属性信息。
根据本公开的实施例,属性信息可以包括多个,每一个资源管理单元可以包括一个属性信息。在有多个资源管理单元的情况下,可以在数据库中进行批量查询,一次可以获得与多个资源管理单元对应的多个属性信息。
根据本公开的实施例,通过获取到处于空闲状态的多个资源管理单元的名称,根据多个资源管理单元的名称,在数据库中进行批量查询与多个资源管理单元对应的属性信息,提高了查询到的资源管理单元对应的属性信息的准确性,进一步提高了对多个资源管理单元的处理效率。
根据本公开的实施例,根据属性信息,生成多个资源管理单元的存储地址链接信息,包括:针对每一个资源管理单元的属性信息,根据用于部署资源管理单元的目标集群的信息,生成资源管理单元的第一存储地址链接信息。根据用于存储资源管理单元的地址信息,生成资源管理单元的第二存储地址链接信息。根据资源管理单元的第一存储地址链接信息和资源管理单元的第二存储地址链接信息,生成资源管理单元的存储地址链接信息。
根据本公开的实施例,第一存储地址链接信息可以表征存储地址链接信息的互联网协议地址段。互联网协议地址段可以包括资源管理单元的互联网协议地址和端口。第二存储地址链接信息可以表征存储地址链接信息的接口段。接口段可以包括资源管理单元的接口和所属命名空间。
根据本公开的实施例,针对每一个资源管理单元的属性信息,可以根据资源管理单元的用于部署资源管理单元的目标集群的信息,生成资源管理单元的第一存储地址链接信息。可以根据用于存储资源管理单元的地址信息,生成资源管理单元的第二存储地址链接信息。第一存储地址链接信息和第二存储地址链接信息可以生成存储地址链接信息。
根据本公开的实施例,通过根据属性信息的用于部署资源管理单元的目标集群的信息生成的第一存储地址链接信息和属性信息的用于存储资源管理单元的地址信息生成的第二存储地址链接信息,可以生成存储地址链接信息,提高了存储地址链接信息的准确信,从而提高了确定的资源管理单元的准确性,进一步提高了对多个资源管理单元的处理效率。
根据本公开的实施例,上述资源批量处理方法,还包括:
将与存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元。
根据本公开的实施例,可以将与将与存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元。对资源管理单元进行更新得到第二资源管理单元,在第二资源管理单元出现错误的情况下,可以使用备份资源管理单元进行回溯。
根据本公开的实施例,通过将与存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元,可以使用备份资源管理单元进行回溯,提高了资源管理单元的处理效率。
图5示意性示出了根据本公开又一实施例的资源批量处理方法的流程图。
如图5所示,该实施例的资源批量处理方法500包括操作S510~操作S550。
在操作S510,获取待处理的多个资源管理单元。
在操作S520,从数据库中确定多个资源管理单元的的属性信息。
在操作S530,对多个资源管理单元的的属性信息进行备份。
在操作S540,生成多个存储地址链接信息。
在操作S550,向目标集群异步发送存储地址链接信息。
根据本公开的实施例,可以根据资源管理单元的状态,获取待处理的多个资源管理单元,根据多个资源管理单元的名称,从数据库中确定多个资源管理单元的的属性信息,对多个资源管理单元的的属性信息进行备份,得到备份资源管理单元,备份资源管理单元用于回溯,根据多个资源管理单元的的属性信息生成多个存储地址链接信息,并将多个存储地址链接信息发送至目标集群。
图6示意性示出了根据本公开又一实施例的资源批量处理方法的流程图。
如图6所示,该实施例的资源批量处理方法600包括操作S610~操作S640。
在操作S610,接收来自管理平台异步发送的存储地址链接信息。
在操作S620,基于存储地址链接信息,确定与存储地址链接信息对应的控制单元。
在操作S630,根据与存储地址链接信息对应的控制单元,确定与存储地址链接信息对应的副本单元。
在操作S640,根据与存储地址链接信息对应的副本单元,目标集群批量处理多个资源管理单元。
根据本公开的实施例,存储地址链接信息可以是根据属性信息生成的,属性信息可以是根据资源管理单元处于空闲状态获取的。要对处于空闲状态的资源管理单元进行处理。对于处于工作状态的资源管理单元不进行处理。
根据本公开的实施例,存储地址链接信息可以包括多个。多个存储地址链接信息可以发送至不同的目标集群。例如,第一个存储地址连接信息可以发送至目标集群a,第二个存储地址连接信息可以发送至目标集群b。
根据本公开的实施例,管理平台可以以异步连续发送的方式向目标集群发送存储地址链接信息。管理平台的发送与目标集群对与管理平台的发送存储地址链接信息对应的处理结果无关。在管理平台接收到处理结果的情况下,管理平台可以继续发送下一个存储地址链接信息。在管理平台接未收到处理结果的情况下,管理平台也可以继续发送下一个存储地址链接信息。
根据本公开的实施例,资源管理单元用于管理与存储地址链接信息对应的控制单元。与存储地址链接信息对应的控制单元用于管理与存储地址链接信息对应的副本单元。与存储地址链接信息对应的副本单元可以表征系统中的最小单元。
根据本公开的实施例,对资源管理单元的处理,可以是对与存储地址链接信息对应的控制单元进行处理,进而对与存储地址链接信息对应的副本单元进行处理。例如,对资源管理单元的处理是对资源管理单元的删除操作的情况下,可以基于存储地址链接信息,确定与存储地址链接信息对应的控制单元,进而可以根据与存储地址链接信息对应的控制单元,确定与存储地址链接信息对应的副本单元,针对与存储地址链接信息对应的副本单元进行删除,进而删除与存储地址链接信息对应的控制单元,进而删除资源管理单元。
根据本公开的实施例,通过根据接收到的存储地址链接信息,确定与存储地址链接信息对应的控制单元,进而确定与存储地址链接信息对应的副本单元,从而根据与存储地址链接信息对应的副本单元,对目标集群中的多个资源管理单元进行异步处理,提高了资源管理单元的处理的准确性和效率。
图7示意性示出了根据本公开实施例的资源批量处理的示意图。
如图7所示,在管理平台710向目标集群720发送四个请求的情况下,其中,管理平台710向目标集群720发送的多个请求可以是多个存储地址链接信息,管理平台710可以向目标集群720异步连续发送请求1,请求2和请求3,在管理平台接收到目标集群720向管理平台710发送的与请求1对应的处理结果的情况下,管理平台710向目标集群720发送请求4。除此之外,管理平台710可以向目标集群720异步连续发送四个请求,在四个请求发送完成的情况下,目标集群720向管理平台710发送与请求对应的处理结果。因此,管理平台710向目标集群720发送请求的过程与目标集群720向管理平台710发送与请求对应的处理结果的没有关系,即,可以在管理平台710未接收到目标集群720发送的处理结果的情况下,继续发送后续请求,也可以在管理平台710未接收到目标集群720发送的处理结果的情况下,继续发送后续请求。
图8示意性示出了根据本公开又一实施例的资源批量处理的示意图。
如图8所示,管理平台710可以包括多个请求,如请求1,请求2……请求m,管理平台710向目标集群720发送多个请求,目标集群720可以对接收到的多个请求进行处理,管理平台710向目标集群720发送的请求可以是存储地址链接信息,在发送的过程,管理平台710向目标集群720的请求发送与目标集群对存储地址链接信息的处理结果没有关系。例如,在管理平台710接收到目标集群720对存储地址链接信息的处理结果的情况下,继续发送下一个存储地址链接信息,在管理平台710未接收到目标集群720对存储地址链接信息的处理结果的情况下,也可以继续发送下一个存储地址链接信息。因此,与多线程和阻塞输入输出模型结合的处理方式相比,提高了资源管理单元的处理效率,进而提高了管理平台的吞吐量和并发性。
基于上述资源批量处理方法,本公开还提供了一种资源批量处理装置,应用于管理平台。以下将结合图9对该装置进行详细描述。
图9示意性示出了根据本公开实施例的资源批量处理装置的结构框图。
如图9所示,该实施例的资源批量处理装置900包括获取模块910、生成模块920和发送模块930。
获取模块910,用于响应于针对多个资源管理单元处于空闲状态,获取多个资源管理单元的属性信息,其中,属性信息包括用于部署资源管理单元的目标集群的信息和用于存储资源管理单元的地址信息。在一实施例中,获取模块910可以用于执行前文描述的操作S410,在此不再赘述。
生成模块920,用于根据属性信息,生成多个资源管理单元的存储地址链接信息。在一实施例中,生成模块920可以用于执行前文描述的操作S420,在此不再赘述。
发送模块930,用于向目标集群异步发送存储地址链接信息,以便目标集群批量处理多个资源管理单元。在一实施例中,发送模块930可以用于执行前文描述的操作S430,在此不再赘述。
根据本公开的实施例,存储地址链接信息包括I个,I为大于1的整数,发送模块930,包括:
发送子模块,用于响应于未接收到针对第i个存储地址链接信息的处理结果,向目标集群发送第i+1个存储地址链接信息。
根据本公开的实施例,获取模块910,包括:
第一获取子模块,用于响应于针对多个资源管理单元处理空闲状态,获取多个资源管理单元的名称。
第二获取子模块,用于根据多个资源管理单元的名称,从数据库中确定多个资源管理单元的的属性信息。
根据本公开的实施例,生成模块920,包括:
第一生成子模块,用于针对每一个资源管理单元的属性信息,根据用于部署资源管理单元的目标集群的信息,生成资源管理单元的第一存储地址链接信息。
第二生成子模块,用于根据用于存储资源管理单元的地址信息,生成资源管理单元的第二存储地址链接信息;
第三生成子模块,用于根据资源管理单元的第一存储地址链接信息和资源管理单元的第二存储地址链接信息,生成资源管理单元的存储地址链接信息。
根据本公开的实施例,上述资源批量处理装置,还包括:
得到模块,用于将与存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元。
根据本公开的实施例,获取模块910、生成模块920和发送模块930中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块910、生成模块920和发送模块930中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块910、生成模块920和发送模块930中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
基于上述资源批量处理方法,本公开还提供了另一种资源批量处理装置,应用于目标集群。以下将结合图10对该装置进行详细描述。
图10示意性示出了根据本公开又一实施例的资源批量处理装置的结构框图。
如图10所示,该实施例的资源批量处理装置1000包括接收模块1010、第一确定模块1020、第二确定模块1030和处理模块1040。
接收模块1010,用于接收来自管理平台异步发送的存储地址链接信息,其中,存储地址链接信息是根据属性信息生成的,属性信息是根据资源管理单元处于空闲状态获取的。在一实施例中,接收模块1010可以用于执行前文描述的操作S610,在此不再赘述。
第一确定模块1020,用于基于存储地址链接信息,确定与存储地址链接信息对应的控制单元。在一实施例中,第一确定模块1020可以用于执行前文描述的操作S620,在此不再赘述。
第二确定模块1030,用于根据与存储地址链接信息对应的控制单元,确定与存储地址链接信息对应的副本单元。在一实施例中,第二确定模块1030可以用于执行前文描述的操作S630,在此不再赘述。
处理模块1040,用于根据与存储地址链接信息对应的副本单元,目标集群批量处理多个资源管理单元。在一实施例中,处理模块1030可以用于执行前文描述的操作S640,在此不再赘述。
根据本公开的实施例,接收模块1010、第一确定模块1020、第二确定模块1030和处理模块1040中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,接收模块1010、第一确定模块1020、第二确定模块1030和处理模块1040中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,接收模块1010、第一确定模块1020、第二确定模块1030和处理模块1040中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图11示意性示出了根据本公开实施例的适于实现资源批量处理方法的电子设备的方框图。
如图11所示,根据本公开实施例的电子设备1100包括处理器1101,其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1103中,存储有电子设备1100操作所需的各种程序和数据。处理器1101、ROM 1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1100还可以包括输入/输出(I/O)接口1105,输入/输出(I/O)接口1105也连接至总线1104。电子设备1100还可以包括连接至I/O接口1105的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1111也根据需要连接至I/O接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1111上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的资源批量处理方法。
在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1109被下载和安装,和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1]09从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种资源批量处理方法,应用于管理平台,包括:
响应于针对多个资源管理单元处于空闲状态,获取所述多个资源管理单元的属性信息,其中,所述属性信息包括用于部署所述资源管理单元的目标集群的信息和用于存储所述资源管理单元的地址信息;
根据所述属性信息,生成所述多个资源管理单元的存储地址链接信息;
向所述目标集群异步发送所述存储地址链接信息,以便所述目标集群批量处理所述多个资源管理单元。
2.根据权利要求1所述的方法,其特征在于,所述存储地址链接信息包括1个,I为大于1的整数;所述向所述目标集群异步发送所述存储地址链接信息,以便所述目标集群批量处理所述多个资源管理单元,包括:
响应于未接收到针对第i个存储地址链接信息的处理结果,向所述目标集群发送第i+1个存储地址链接信息。
3.根据权利要求1或2所述的方法,其特征在于,所述响应于针对多个资源管理单元处理空闲状态,获取所述多个资源管理单元的属性信息,包括:
所述响应于针对多个资源管理单元处理空闲状态,获取所述多个资源管理单元的名称;
根据所述多个资源管理单元的名称,从数据库中确定所述多个资源管理单元的的属性信息。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述属性信息,生成所述多个资源管理单元的存储地址链接信息,包括:
针对每一个所述资源管理单元的属性信息,根据所述用于部署所述资源管理单元的目标集群的信息,生成所述资源管理单元的第一存储地址链接信息;
根据所述用于存储所述资源管理单元的地址信息,生成所述资源管理单元的第二存储地址链接信息;
根据所述资源管理单元的第一存储地址链接信息和所述资源管理单元的第二存储地址链接信息,生成所述资源管理单元的存储地址链接信息。
5.根据权利要求1所述的方法,还包括:
将与所述存储地址链接信息对应的多个资源管理单元进行备份,得到多个备份资源管理单元。
6.一种资源批量处理方法,应用于目标集群,包括:
接收来自管理平台异步发送的存储地址链接信息,其中,所述存储地址链接信息是根据属性信息生成的,所述属性信息是根据资源管理单元处于空闲状态获取的;
基于所述存储地址链接信息,确定与所述存储地址链接信息对应的控制单元;
根据所述与所述存储地址链接信息对应的控制单元,确定与所述存储地址链接信息对应的副本单元;
根据所述与所述存储地址链接信息对应的副本单元,目标集群批量处理多个所述资源管理单元。
7.一种资源批量处理装置,应用于管理平台,其特征在于,所述装置包括:
获取模块,用于响应于针对多个资源管理单元处于空闲状态,获取所述多个资源管理单元的属性信息,其中,所述属性信息包括用于部署所述资源管理单元的目标集群的信息和用于存储所述资源管理单元的地址信息;
生成模块,用于根据所述属性信息,生成所述多个资源管理单元的存储地址链接信息;
发送模块,用于向所述目标集群异步发送所述存储地址链接信息,以便所述目标集群批量处理所述多个资源管理单元。
8.一种资源批量处理装置,应用于目标集群,其特征在于,所述装置包括:
接收模块,用于接收来自管理平台异步发送的存储地址链接信息,其中,所述存储地址链接信息是根据属性信息生成的,所述属性信息是根据资源管理单元处于空闲状态获取的;
第一确定模块,用于基于所述存储地址链接信息,确定与所述存储地址链接信息对应的控制单元;
第二确定模块,用于根据所述与所述存储地址链接信息对应的控制单元,确定与所述存储地址链接信息对应的副本单元;
处理模块,用于根据所述与所述存储地址链接信息对应的副本单元,目标集群批量处理多个所述资源管理单元。
9.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序,
其特征在于,所述一个或多个处理器执行所述一个或多个计算机程序以实现根据权利要求1~6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。
11.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。
CN202410383226.8A 2024-03-29 资源批量处理方法、装置、设备、介质和程序产品 Pending CN118295803A (zh)

Publications (1)

Publication Number Publication Date
CN118295803A true CN118295803A (zh) 2024-07-05

Family

ID=

Similar Documents

Publication Publication Date Title
CN107729139B (zh) 一种并发获取资源的方法和装置
US10114682B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
CN109117252B (zh) 基于容器的任务处理的方法、系统及容器集群管理系统
US20200285508A1 (en) Method and Apparatus for Assigning Computing Task
CN110489440B (zh) 数据查询方法和装置
CN111679990A (zh) 测试数据生成方法、装置、可读介质及电子设备
CN112306719A (zh) 一种任务调度方法与装置
US20210149709A1 (en) Method and apparatus for processing transaction
CN113760638A (zh) 一种基于kubernetes集群的日志服务方法和装置
CN113672671A (zh) 一种实现数据加工的方法和装置
CN116431290A (zh) 作业调度方法、装置、设备、介质和程序产品
CN116594752A (zh) 流程调度方法、装置、设备、介质和程序产品
CN116302561A (zh) 用于应用实例的状态控制方法、装置、设备及存储介质
CN110489392A (zh) 多租户间的数据访问方法、装置、系统、存储介质及设备
CN116069725A (zh) 文件迁移方法、装置、设备、介质和程序产品
CN118295803A (zh) 资源批量处理方法、装置、设备、介质和程序产品
CN114356713A (zh) 线程池监控方法、装置、电子设备及存储介质
CN114168607A (zh) 全局序列号生成方法、装置、设备、介质和产品
CN112597224A (zh) 数据导出方法、数据导出装置、电子设备及介质
CN114363172B (zh) 用于容器组的解耦管理方法、装置、设备、介质
CN115484149B (zh) 网络切换方法、网络切换装置、电子设备及存储介质
CN114448976B (zh) 网络报文的组装方法、装置、设备、介质和程序产品
CN116257375A (zh) Kafka数据自动化流处理方法及装置
CN116069789A (zh) 一种数据查询方法、装置以及计算机可读存储介质
CN114338697A (zh) 提供共享云服务的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication