CN109710397A - 数据处理方法、装置、存储介质、处理器和系统 - Google Patents

数据处理方法、装置、存储介质、处理器和系统 Download PDF

Info

Publication number
CN109710397A
CN109710397A CN201711019341.3A CN201711019341A CN109710397A CN 109710397 A CN109710397 A CN 109710397A CN 201711019341 A CN201711019341 A CN 201711019341A CN 109710397 A CN109710397 A CN 109710397A
Authority
CN
China
Prior art keywords
resource
dilatation
expanded
group
resource group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711019341.3A
Other languages
English (en)
Inventor
孟小兵
闫长海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201711019341.3A priority Critical patent/CN109710397A/zh
Priority to EP18870677.4A priority patent/EP3702915B1/en
Priority to PCT/CN2018/109963 priority patent/WO2019080719A1/zh
Publication of CN109710397A publication Critical patent/CN109710397A/zh
Priority to US16/844,760 priority patent/US20200233712A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/503Resource availability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/508Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种数据处理方法、装置、存储介质、处理器和系统。其中,该数据处理方法包括:从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;对待扩容的资源进行扩容。本发明解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。

Description

数据处理方法、装置、存储介质、处理器和系统
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据处理方法、装置、存储介质、处理器和系统。
背景技术
目前,每个地域里的集群都需要一套资源组的配置,比如,在容器服务中,每个地域里的集群需要管控资源组的配置。
资源组中可以包括多种类型的资源,每一种资源的承载能力是不一致的。因而,资源组的最大承载能力受限于资源组中容量最小的资源。
当资源不足的时候,比如,当资源组中容量最小的资源已经耗净时,就需要扩容。而在进行扩容的时候,按照资源组的定义,就需要扩展一整套新的资源出来,也即,对资源组中的所有资源进行扩容,这样在很大程度上导致不必要的资源浪费。
针对上述的在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质、处理器和系统,以至少解决在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法。该数据处理方法包括:从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;对待扩容的资源进行扩容。
根据本发明实施例的另一个方面,还提供了一种数据处理装置。该数据处理装置包括:获取模块,用于从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;扩容模块,用于对待扩容的资源进行扩容。
根据本发明实施例的另一个方面,还提供了一种存储介质。该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行本发明实施例的数据处理方法。
根据本发明实施例的另一个方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行本发明的数据处理方法。
根据本发明实施例的另一个方面,还提供了一种系统。该系统包括处理器;以及存储器,与处理器连接,用于为处理器提供执行以下处理过程的指令:从容器服务的资源组内确定待扩容的资源,其中,资源组是多种不同类型资源组成的,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;对待扩容的资源进行扩容。
在本发明实施例中,从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;对待扩容的资源进行扩容。由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种系统的示意图;
图2是根据本发明实施例的一种数据处理的示意图;
图3是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图;
图4是根据本发明实施例的一种数据处理方法的流程图;
图5是根据本发明实施例的一种数据处理装置的示意图;以及
图6是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
图1是根据本发明实施例的一种系统的示意图。如图1所示,该系统100包括:处理器102和存储器104。
处理器102;
存储器104,与处理器102连接,用于为处理器102提供执行以下处理过程的指令:从容器服务的资源组内确定待扩容的资源,其中,资源组是多种不同类型资源组成的,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;对待扩容的资源进行扩容。
该实施例的处理器102运行存储在存储器104内的指令,该指令用于执行从容器服务的由多种不同类型资源组成的资源组内获取待扩容的资源,对多种不同类型资源中在资源调度过程中未满足调度需求的待扩容的资源进行扩容,比如,对多种不同类型资源中在资源调度过程中未满足调度需求的待扩容的资源进行扩容。
处理器102从容器服务的资源组内确定待扩容的资源,该容器服务为高度可扩展的高性能容器管理服务,可以在托管的云服务器实例集群上轻松运行应用程序,可以根据资源需求和可用性要求在集群中安排容器的置放,从而满足业务或应用程序的特定要求,比如,容器服务为腾讯云容器服务,可以启动和停止应用程序,查询集群的完整状态,以及使用各种云服务。
该实施例的容器服务包括资源组,该资源组即为虚拟资源组,逻辑资源组,其本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念,其中包括与容器服务相关联的多种不同类型的资源。该资源组包括三种管控资源,其分别为:用户集群管控资源(Master资源)、键-值存储资源(ETCD资源)、网络隧道资源(Tunnel资源)等类型。该资源组可以设计为多种不同类型资源中最小单元的一个组合,即每个资源组可以包括:一个最小单元的Master资源、一个最小单元的ETCD资源以及一个最小单元的Tunnel资源,其中,多种不同类型的资源的能力可以通过用于指示资源的额度的容量进行表征,进而将资源组中容量不足的资源确定为待扩容的资源。
表1一种资源组的资源容量表
资源名 Master ETCD Tunnel
容量 200 350 10000+
表1为一种资源组的资源容量表,上述资源组可以为管控资源组,分别为Master资源、ETCD资源、Tunnel资源等类型,其中,Master资源的容量为200个集群服务器,ETCD资源的容量为350个集群服务器,Tunnel资源的容量为10000+个集群服务器。
该实施例的待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源,其中,调度需求可以通过资源的容量进行体现。存储器104还可以用于为处理器102提供执行获取资源组内每种类型资源的当前容量,将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源的指令,从而使处理器102可以根据指令获取资源组内每种类型资源的当前容量,判断每种类型资源的当前容量是否满足容量需求,将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源。该待扩容的资源可以为资源组中能力最弱的资源,其状态可以为已经耗尽的状态,或者即将耗尽的状态。
当资源组中的资源成为待扩容的资源时,可以发出用于指示待扩容的资源需要扩容的告警信息。比如,资源组内的多种不同类型的资源为Master资源、ETCD资源、Tunnel资源等,其中,Master资源的容量为200个集群服务器、ETCD资源的容量为350个集群服务器、Tunnel资源的容量为10000+个集群服务器,Master资源的容量最小。当需要Master资源的容量为300个集群服务器时,则Master资源出现资源不足的情况时,确定其不满足容量需求,因而将其确定为待扩容的资源,并发出告警信息。
在处理器102从容器服务的资源组内确定待扩容的资源之后,通过存储器104提供的用于执行对待扩容的资源进行扩容的指令,对待扩容的资源进行扩容,得到扩容后的资源,进而实现了对待扩容的资源单独扩容的目的。在对待扩容的资源进行单独扩容时,处理器102可以将待扩容的资源的初始容量设置为扩容单位(UNIT),从而保证在扩容时的高可用等条件,也即,该扩容单位为事先约定的为了保证高可用等条件而设置的规范,可以为一个默认的扩容单位,从而使在对待扩容的资源进行扩容时,按照标准的扩容单位进行。优选地,该初始容量为资源组中的最小容量,比如,待扩容的资源的初始容量为200个集群服务器,则200个集群服务器为资源组内的最小容量,将200设置为扩容单位,在对待扩容的资源每次扩容时,按照一个扩容单位对待扩容的资源进行扩容,也即,每次扩容以200个集群服务器为扩容单位对Master资源进行扩容,对Master每扩容一次,在原有容量基础上增加200个集群服务器。
举例而言,如果需要Master资源的容量为300个集群服务器,而目前Master资源的当前容量只有200个集群服务器,当前容量200个集群服务器不满足需求容量300个集群服务器,则确定Master资源不足,需要按照Master资源的扩容单位对Master资源进行扩容,也即,按照200个集群服务器对Master资源进行扩容,扩容到400个集群服务器即可满足要求。
需要说明的是,在处理器102根据存储器104中存储的指令对资源组内的资源待扩容的资源进行扩容时,资源组内的除待扩容的资源之外的其他类型资源是不需要扩容的,也即,处理器102根据存储器104中存储的指令只针对资源组中的待扩容的资源进行扩容,比如,针对资源组中的容量不足的资源进行扩容,从而实现了对资源组内的资源按需扩容,进而避免了对资源组中的全部资源进行扩容而导致资源浪费的问题。
在处理器102通过存储器104提供的用于执行对待扩容的资源进行扩容的指令,对待扩容的资源进行扩容之后,处理器102还可以通过存储器104提供的用于执行将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组的指令,获取到资源组内除待扩容的资源之外的其他类型资源,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,该新的资源组即为虚拟资源组,逻辑资源组,其本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念。其中,扩容后的资源与资源组内除待扩容的资源之外的其他类型资源在组成新的资源组时的顺序不做限定。
可选地,在处理器102对待扩容的资源进行扩容之后,处理器102还可以通过存储器104提供的用于采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分,根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的调度状态的指令,采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分,比如,扩容前的资源组标识为0,扩容后的新的资源组标识为1,进而根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的在当前资源调度过程中的调度状态,从而可以清楚地确定扩容前的资源组与扩容后的新的资源组的调度状态。
下面对上述资源组、资源组中多种不同类型的资源以及对待扩容的资源进行扩容进行举例说明。
图2是根据本发明实施例的一种数据处理的示意图。如图2所示,虚拟资源组1为容器服务的资源组,包括Master1资源、Master2资源、ETCD资源、Tunnel资源。其中,Master1资源的容量可以为200个集群服务器,ETCD资源的容量可以为350个集群服务器,Tunnel资源的容量可以为10000+个集群服务器。比较而言,Master1资源的容量为资源组中容量最小的资源。当需要Master1资源的容量为300个集群服务器时,则Master1资源出现资源不足的情况时,确定其不满足容量需求,因而将其确定为待扩容的资源,并发出告警信息。通过将200作为Master1资源的扩容单位,对Master1进行扩容,得到新的Master2,其中,Master1与Master2资源的容量均为200。此时,先将Master1资源的容量用尽,然后再使用Master2资源的容量100,进而将Master2和ETCD资源、Tunnel资源组合成一个新的逻辑资源组,也即,得到虚拟资源组2。需要说明的是,虚拟资源组1与虚拟资源组2其实是同时存在的,其中,ETCD资源、Tunnel资源为两个虚拟资源组的共用资源。
在需要对Master1资源进行扩容时,资源组中的除Master1资源之外的其它资源是不需要进行扩容的,此时将对Master1资源扩容之后的Master2资源,和除Master1资源之外的其它资源组成新的资源组。
可选地,在容器服务的资源组内的多种不同类型资源的能力对等的情况下,在需要对资源进行扩容时,可以同时对资源组内的多种不同类型资源进行扩容,而在容器服务的资源组内的多种不同类型资源的能力不对等的情况下,哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容。
举例而言,Master1资源的容量为200个集群服务器,ETCD1资源的容量为350个集群服务器,Tunnel1资源的容量为10000+个集群服务器,对待扩容的Master1资源按照扩容单位200进行扩容,得到扩容后的Master2资源的容量为400个集群服务器,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,新的资源组中资源的容量分别为400个集群服务器、350个集群服务器、1000+个集群服务器,则在下次可能面临容量为350的ETCD1资源不足,则需要对ETCD1资源进行扩容,对待扩容的ETCD1资源按照扩容单位350个集群服务器进行扩容,得到扩容后的ETCD2资源的容量为700个集群服务器,从而实现了哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容的目的,极大地提高了资源的利用率。
需要说明的是,本发明实施例中的Master资源、ETCD资源、Tunnel资源为资源组中的一种可选资源,并不代表本发明实施例的资源组中的资源仅为上述Master资源、ETCD资源、隧道Tunnel资源,任何从容器服务的资源组内确定待扩容的资源都在本发明的保护范围内,此处不再一一举例说明。
优选地,本发明实施例的系统为数据处理系统,可以为资源的扩容系统。
该实施例的系统包括处理器,存储器与处理器连接,用于为处理器提供执行以下处理过程的指令:从容器服务的资源组内确定待扩容的资源,其中,资源组是多种不同类型资源组成的,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源,由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
需要说明的是,该实施例的处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,以实现本发明实施例的数据处理方法。存储器104可以包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的远程存储器。
实施例2
根据本发明实施例,还提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的数据处理方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图3是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图3所示,计算机终端300(或移动设备300)可以包括一个或多个(图中采用302a、302b,……,302n来示出)处理器302(处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器304、以及用于通信功能的传输装置306。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图3所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端300还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。
应当注意到的是上述一个或多个处理器302和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端300(或移动设备300)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器304可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的程序指令/数据存储装置,处理器302通过运行存储在存储器304内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据处理方法。存储器304可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器304可进一步包括相对于处理器302远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端300。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端300的通信供应商提供的无线网络。在一个实例中,传输装置306包括一个网络适配器(Network Interface Control ler,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置306可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端300(或移动设备300)的用户界面进行交互。
在上述运行环境下,本申请提供了如图4所示的数据处理方法。需要说明的是,该实施例的资源的扩容系统可以由本发明实施例1中的系统执行。图4是根据本发明实施例的一种数据处理方法的流程图。如图4所示,该数据处理方法包括以下步骤:
步骤S402,从容器服务的资源组内确定待扩容的资源。
在本发明上述步骤S402提供的技术方案中,从容器服务的资源组内确定待扩容的资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源,其中,资源组包括:与容器服务关联的多种不同类型资源。
该实施例的容器服务为高度可扩展的高性能容器管理服务,可以在托管的云服务器实例集群上轻松运行应用程序,可以根据资源需求和可用性要求在集群中安排容器的置放,从而满足业务或应用程序的特定要求。
在容器服务中,每个地域里的集群都需要资源组的配置,也即,每个地域里的集群都需要一套资源组的配置。该资源组即为虚拟资源组,逻辑资源组,其本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念,可以设计为多种不同类型资源中最小单元的一个组合,即每个资源组可以包括:一个最小单元的Master资源、一个最小单元的ETCD资源以及一个最小单元的Tunnel资源,包括与容器服务关联的多种不同类型的资源,该多种不同类型的资源的能力可以通过用于指示资源的额度的容量进行表征。可选地,从容器服务的资源组内获取的待扩容的资源为资源组中容量不足的资源。
可选地,上述资源组为管控资源组,该资源组包括三种管控资源,其分别为:Master资源、ETCD资源、Tunnel资源等类型。如实施例1中表1所示为一种资源组的资源容量表,从Master资源、ETCD资源、Tunnel资源中获取待扩容的资源,其中,Master资源的容量为200个集群服务器,ETCD资源的容量为350个集群服务器,Tunnel资源的容量为10000+个集群服务器,Master资源的容量为200个集群服务器为资源组中的最小容量,当其资源耗尽时,需要对其进行扩容,因而将Master资源确定为待扩容的资源。
在从容器服务的资源组内确定待扩容的资源时,可以判断资源组中的资源是否符合预设条件,该预设条件可以为资源组中资源的当前容量是否满足容量需求的条件。如果资源组中资源的当前容量满足容量需求,则将其确定为待扩容的资源,该待扩容的资源可以为一种,也可以为多种,此处不做限定。当待扩容的资源为一种时,可以为资源组中的容量最小的资源,当待扩容的资源为多种时,可以为资源组中的容量相同且都为最小的多种不同类型的资源。
当资源组中的资源严重不对称时,也即,资源组中资源的各容量差距较大,出现容量不足的资源,可以发出用于指示容量不足的资源需要扩容的告警信息。比如,资源组内的多种不同类型的资源为Master资源、ETCD资源、Tunnel资源等,其中,Master资源的容量为200个集群服务器、ETCD资源的容量为350个集群服务器、Tunnel资源的容量为10000+个集群服务器,Master资源的容量最小,当Master资源出现资源不足的情况时,确定其不满足容量需求,将其确定为待扩容的资源,并发出告警信息,该告警信息可以用于指示待扩容的资源不足,或者已经耗尽。
步骤S404,对待扩容的资源进行扩容。
在本发明上述步骤S404提供的技术方案中,对待扩容的资源进行扩容。
在从容器服务的资源组内确定待扩容的资源之后,仅对待扩容的资源进行扩容,也即,对资源组中除待扩容的资源之外的其他资源不进行扩容,从而避免了对资源组中的全部资源进行扩容,而导致资源浪费的问题。
在对待扩容的资源进行扩容时,引入逻辑上虚拟资源的概念,也即,最终得到的扩展后的资源为逻辑上的管理概念。可选地,将每种资源度量的一个最小单位确定为扩容单位,可以将待扩容的资源的初始容量设置为扩容单位,将扩容单位作为在对资源进行扩容时衡量资源的标准。比如,待扩容的资源的初始容量为200个集群服务器,200个集群服务器为资源组内的最小容量,则以200个集群服务器为扩容单位对待扩容的资源进行扩容,得到的扩容后的资源为400个集群服务器。
需要说明的是,扩展前的资源组与扩展后的资源组其实是同时存在的,可以具有共用资源。比如,通过将200作为Master资源的扩容单位,对Master1进行扩容,得到新的Master2,其中,Master1与Master2资源的容量均为200。此时,先将Master1资源的容量用尽,然后再使用Master2资源的容量100,进而将Master2和ETCD资源、Tunnel资源组合成一个新的逻辑资源组,也即,得到扩展后的资源组,ETCD资源、Tunnel资源为扩展前的资源组与扩展后的资源组的共用资源。
需要说明的是,在对资源组内的资源待扩容的资源进行扩容时,资源组内除待扩容的资源之外的其他类型资源是不需要扩容的,也即,该实施例的数据处理方法只针对资源组中容量不足的资源进行扩容,避免了在对资源组中的资源进行扩容时,需要对资源组中的全部资源进行扩容,避免了不必要的资源浪费,提高了资源的利用效率,从而实现了对资源组内的资源按需扩容,进而避免了对资源组中的全部资源进行扩容而导致资源浪费的问题。
在对待扩容的资源进行扩容之后,还可以获取资源组内除待扩容的资源之外的其他类型资源,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,该新的资源组即为虚拟资源组,逻辑资源组,其本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念。其中,扩容后的资源与资源组内除待扩容的资源之外的其他类型资源在组成新的资源组时的顺序不做限定。
可选地,在容器服务的资源组内的多种不同类型资源的能力对等的情况下,在需要对资源进行扩容时,可以同时对资源组内的多种不同类型资源进行扩容,而在容器服务的资源组内的多种不同类型资源的能力不对等的情况下,哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容,从而提高了资源的利用效率。
通过上述步骤S402至步骤S404,从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源;对待扩容的资源进行扩容。由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
作为一种可选地实施方式,步骤S402,从资源组内获取待扩容的资源包括:获取资源组内每种类型资源的当前容量;将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源。
资源组包括多种不同类型资源,不同类型资源具有当前容量,该当前容量用于指示资源在资源组中的当前额度。在从资源组内获取待扩容的资源时,获取资源组内每种类型资源的当前容量,比如,获取Master资源的当前容量200个集群服务器,ETCD资源的当前容量350个集群服务器,Tunnel资源的当前容量10000+个集群服务器。在获取资源组内每种类型资源的当前容量之后,可以判断每种类型资源的当前容量是否满足容量需求。可选地,每种类型资源的容量需求不同,比如,Master资源的容量需求为300个集群服务器,ETCD资源的容量需求为300个集群服务器,Tunnel资源的容量需求为800个集群服务器。在判断每种类型资源的当前容量是否满足容量需求之后,将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源,比如,上述Master资源的当前容量200个集群服务器未满足容量需求300个集群服务器,则将Master资源确定为待扩容的资源,而ETCD资源的当前容量350个集群服务器满足容量需求300个集群服务器,Tunnel资源的当前容量10000+个集群服务器满足容量需求800个集群服务器,则ETCD资源,Tunnel资源并非待扩容的资源。
该实施例通过获取资源组内每种类型资源的当前容量;将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源,从而实现了从资源组内获取待扩容的资源的目的,进而对待扩容的资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
作为一种可选地实施方式,步骤S404,对待扩容的资源进行扩容包括:将待扩容的资源的初始容量设置为扩容单位;在每次扩容时,按照扩容单位对待扩容的资源进行扩容。
在对待扩容的资源进行扩容时,按照扩容单位对待扩容的资源进行扩容,该扩容单位为事先约定的为了保证高可用性而设定的扩容规范,用于度量每种资源。在从容器服务的资源组内确定待扩容的资源之后,将待扩容的资源的初始容量设置为扩容单位,比如,Master资源的初始容量为200个集群服务器,将200个集群服务器设置为Master资源的扩容单位。在将待扩容的资源的初始容量设置为扩容单位之后,在每次对Master资源进行扩容时,在每次扩容时,按照扩容单位对待扩容的资源进行扩容,比如,按照200个集群服务器对Master资源进行扩容,从而实现了对Master资源进行扩容的目的。
该实施例通过将待扩容的资源的初始容量设置为扩容单位;在每次扩容时,按照扩容单位对待扩容的资源进行扩容,达到了对待扩容的资源进行扩容的目的,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
作为一种可选地实施方式,在步骤S404,对待扩容的资源进行扩容之后,该数据处理方法还包括:将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组。
在对待扩容的资源进行扩容,得到扩容后的资源之后,容器服务的原资源组已经发生了改变,原来的资源组将不可用,此时将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,可以通过新的资源组将原来的资源组进行更新。
可选地,在容器服务的资源组内的多种不同类型资源的能力对等的情况下,在需要对资源进行扩容时,可以同时对资源组内的多种不同类型资源进行扩容,而在容器服务的资源组内的多种不同类型资源的能力不对等的情况下,哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容。
需要说明的是,在需要对Master1资源进行扩容时,资源组中的除Master1资源之外的其它资源是不需要进行扩容的,此时将对Master1资源扩容之后的Master2资源,和除Master1资源之外的其它资源组成新的资源组。
举例而言,Master1资源的容量为200个集群服务器,ETCD1资源的容量为350个集群服务器,Tunnel1资源的容量为10000+个集群服务器,对待扩容的Master1资源按照扩容单位200个集群服务器进行扩容,得到扩容后的Master2资源的容量为400个集群服务器,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,新的资源组中资源的容量分别为400个集群服务器,350个集群服务器,1000+个集群服务器,则在下次可能面临容量为350个集群服务器的ETCD1资源不足,则需要对ETCD1资源进行扩容,对待扩容的ETCD1资源按照扩容单位350个集群服务器进行扩容,得到扩容后的ETCD2资源的容量为700个集群服务器,从而实现了哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容的目的。
作为一种可选地实施方式,在对待扩容的资源进行扩容之后,采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分;根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的调度状态。
在对待扩容的资源进行扩容之后,采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分,比如,扩容前的资源组标识为0,扩容后的新的资源组标识为1,根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的在当前资源调度过程中的调度状态,从而可以清楚地确定扩容前的资源组与扩容后的新的资源组的调度状态。
需要说明的是,本发明实施例中的Master资源、ETCD资源、Tunnel资源为资源组中的一种可选资源,并不代表本发明实施例的资源组中的资源仅为上述Master资源、ETCD资源、Tunnel资源,任何从容器服务的资源组内确定待扩容的资源都在本发明的保护范围内,此处不再一一举例说明。
该实施例的数据处理方法实施在容器服务中,在容器服务中,每个地域里的集群都需要一套资源组的配置,而资源组中的每一种资源所能承受的能力也是不一致的,该组资源的最大承载能力受限于资源中能力最弱者,当最小的资源已经耗净,需要进行扩容的时候,引入了一种逻辑上虚拟资源的管理概念,把资源组内部的资源按照最小单元当作一个扩容单位,当某一种资源不足的时候,只需要按照标准扩展一个扩容单位即可,把新扩展的资源和其他资源重新组合为一个新的资源组。由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的数据处理方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例,还提供了一种用于实施上述数据处理方法的数据处理装置。图5是根据本发明实施例的一种数据处理装置的示意图。如图5所示,该数据处理装置500包括:获取模块502和扩容模块504。
获取模块502,用于从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源。
该实施例的容器服务为高度可扩展的高性能容器管理服务,可以在托管的云服务器实例集群上轻松运行应用程序,可以根据资源需求和可用性要求在集群中安排容器的置放,从而满足业务或应用程序的特定要求。
在容器服务中,每个地域里的集群都需要资源组的配置,也即,每个地域里的集群都需要一套资源组的配置。该资源组即为虚拟资源组,逻辑资源组,本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念,可以设计为多种不同类型资源中最小单元的一个组合,即每个资源组可以包括:一个最小单元的Master资源、一个最小单元的ETCD资源以及一个最小单元的Tunnel资源,包括与容器服务关联的多种不同类型的资源,该多种不同类型的资源的能力可以通过用于指示资源的额度的容量进行表征。可选地,获取模块502从容器服务的资源组内获取的待扩容的资源为资源组中容量不足的资源。
可选地,上述资源组为管控资源组,该资源组包括三种管控资源,其分别为:Master资源、ETCD资源、Tunnel资源等类型。如实施例1中表1所示为一种资源组的资源容量表,获取模块502从Master资源、ETCD资源、Tunnel资源中获取待扩容的资源,其中,Master资源的容量为200个集群服务器,ETCD资源的容量为350个集群服务器,Tunnel资源的容量为10000+个集群服务器,Master资源的容量为200个集群服务器为资源组中的最小容量,当其资源耗尽时,需要对其进行扩容,因而获取模块502将Master资源确定为待扩容的资源。
在获取模块502从容器服务的资源组内确定待扩容的资源时,可以判断资源组中的资源是否符合预设条件,该预设条件为资源组中资源的当前容量是否满足容量需求的条件,如果资源组中资源的当前容量满足容量需求,则获取模块502将其确定为待扩容的资源,该待扩容的资源可以为一种,也可以为多种,此处不做限定。当待扩容的资源为一种时,可以为资源组中的容量最小的资源,当待扩容的资源为多种时,可以为资源组中的容量相同且都为最小的多种不同类型的资源。
当资源组中的资源严重不对称时,获取模块502可以发出用于指示待扩容的资源需要扩容的告警信息。比如,资源组内的多种不同类型的资源为Master资源、ETCD资源、Tunnel资源等,其中,Master资源的容量为200个集群服务器、ETCD资源的容量为350个集群服务器、Tunnel资源的容量为10000+个集群服务器,Master资源的容量最小,当Master资源出现资源不足的情况时,获取模块502确定其不满足容量需求,将其确定为待扩容的资源,并发出告警信息,该告警信息可以用于指示待扩容的资源不足,或者已经耗尽。
扩容模块504,用于对待扩容的资源进行扩容。
在获取模块502从容器服务的资源组内确定待扩容的资源之后,扩容模块504仅对待扩容的资源进行扩容,从而避免了对资源组中的全部资源进行扩容,而导致资源浪费的问题。
在扩容模块504对待扩容的资源进行扩容时,引入逻辑上虚拟资源的概念,也即,最终得到的扩展后的资源为逻辑上的管理概念。扩容模块504将每种资源度量的一个最小单位确定为扩容单位,可以将待扩容的资源的初始容量设置为扩容单位,将扩容单位作为在对资源进行扩容时衡量资源的标准。比如,待扩容的资源的初始容量为200个集群服务器,200个集群服务器为资源组内的最小容量,扩容模块504以200个集群服务器为扩容单位对待扩容的资源进行扩容,得到的扩容后的资源为400个集群服务器。
需要说明的是,在扩容模块504对资源组内的资源待扩容的资源进行扩容时,资源组内的除待扩容的资源之外的其他类型资源是不需要扩容的,也即,该实施例的数据处理方法只针对资源组中容量不足的资源进行扩容,从而实现了对资源组内的资源按需扩容,进而避免了对资源组中的全部资源进行扩容而导致资源浪费的问题。
在扩容模块504对待扩容的资源进行扩容之后,还可以获取资源组内除待扩容的资源之外的其他类型资源,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,该新的资源组即为虚拟资源组,本身并不是一个真实的硬关联的组,而是一个逻辑上的管理概念。其中,扩容后的资源与资源组内除待扩容的资源之外的其他类型资源在组成新的资源组时的顺序不做限定。
可选地,在容器服务的资源组内的多种不同类型资源的能力对等的情况下,在需要对资源进行扩容时,扩容模块504可以同时对资源组内的多种不同类型资源进行扩容,而在容器服务的资源组内的多种不同类型资源的能力不对等的情况下,哪种资源不足,则扩容模块504将哪种资源确定为待扩容资源,对其进行扩容。
可选地,源组包括多种不同类型资源,不同类型资源具有当前容量。在从资源组内获取待扩容的资源时,获取资源组内每种类型资源的当前容量,比如,获取Master资源的当前容量200个集群服务器,ETCD资源的当前容量350个集群服务器,Tunnel资源的当前容量10000+个集群服务器。在取资源组内每种类型资源的当前容量之后,判断每种类型资源的当前容量是否满足容量需求。可选地,每种类型资源的容量需求不同,比如,Master资源的容量需求为300个集群服务器,ETCD资源的容量需求为300,Tunnel资源的容量需求为800个集群服务器。在判断每种类型资源的当前容量是否满足容量需求之后,将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源,比如,上述Master资源的当前容量200个集群服务器未满足容量需求300个集群服务器,则将Master资源确定为待扩容的资源,而ETCD资源的当前容量350个集群服务器满足容量需求300个集群服务器,隧道Tunnel资源的当前容量10000+个集群服务器满足容量需求800个集群服务器,则ETCD资源,Tunnel资源并非待扩容的资源。
可选地,扩容模块504包括:设置单元506和扩容单元508。其中,设置单元506,用于将待扩容的资源的初始容量设置为扩容单位;扩容单元508,用于在每次扩容时,按照扩容单位对待扩容的资源进行扩容。
在扩容模块504对待扩容的资源进行扩容时,按照扩容单位对待扩容的资源进行扩容,该扩容单位为事先约定的为了保证高可用性而设定的扩容规范,用于度量每种资源。在从容器服务的资源组内确定待扩容的资源之后,设置单元506将待扩容的资源的初始容量设置为扩容单位,比如,Master资源的初始容量为200个集群服务器,设置单元506将200个集群服务器设置为Master资源的扩容单位,则扩容单元508在每次对Master资源进行扩容时,按照200个集群服务器对Master资源进行扩容,从而实现了对Master资源进行扩容的目的。
可选地,该数据处理装置500还包括:重组模块510,用于将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组。
在扩容模块504对待扩容的资源进行扩容,得到扩容后的资源之后,容器服务的原资源组已经发生了改变,此时重组模块510将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组。
可选地,在容器服务的资源组内的多种不同类型资源的能力对等的情况下,在需要对资源进行扩容时,扩容模块504可以同时对资源组内的多种不同类型资源进行扩容,而在容器服务的资源组内的多种不同类型资源的能力不对等的情况下,哪种资源不足,则扩容模块504将哪种资源确定为待扩容资源,对其进行扩容。
需要说明的是,在扩容模块504需要对Master1资源进行扩容时,资源组中的除Master1资源之外的其它资源是不需要进行扩容的,此时重组模块510将对Master1资源扩容之后的Master2资源,和除Master1资源之外的其它资源组成新的资源组。
举例而言,Master资源的容量为200,ETCD资源的容量为350个集群服务器,Tunnel资源的容量为10000+,扩容模块504对待扩容的Master资源按照扩容单位200个集群服务器进行扩容,得到扩容后的资源的容量为400个集群服务器,重组模块510将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组,新的资源组中资源的容量分别为400个集群服务器,350个集群服务器,1000+个集群服务器,则在下次可能面临容量为350个集群服务器的ETCD资源不足,则需要扩容模块504对ETCD资源进行扩容,对待扩容的ETCD资源按照扩容单位350个集群服务器进行扩容,得到扩容后的资源的容量为700个集群服务器,从而实现了哪种资源不足,则将哪种资源确定为待扩容资源,对其进行扩容的目的。
可选地,该数据处理装置500还包括:区分模块512和确定模块514。其中,区分模块512,用于在对所述待扩容的资源进行扩容之后,采用不同标识信息对扩容前的所述资源组与扩容后的所述新的资源组进行区分;确定模块514,用于根据所述不同标识信息确定扩容前的所述资源组与扩容后的所述新的资源组的调度状态。
区分模块512采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分,比如,扩容前的资源组标识为0,扩容后的新的资源组标识为1,进而确定模块514根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的在当前资源调度过程中的调度状态,从而可以清楚地确定扩容前的资源组与扩容后的新的资源组的调度状态。
该实施例通过获取模块502从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源,通过扩容模块504对待扩容的资源进行扩容。由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
此处需要说明的是,上述确定模块100和发送模块102对应于实施例2中的步骤S402至步骤S404,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例2所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例2提供的计算机终端300中。
实施例4
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码:从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源;对待扩容的资源进行扩容。
可选地,图6是根据本发明实施例的一种计算机终端的结构框图。如图6所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器602、存储器604、以及传输装置606。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:从容器服务的资源组内确定待扩容的资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源,其中,资源组包括:与容器服务关联的多种不同类型资源;对待扩容的资源进行扩容。
可选地,上述处理器还可以执行如下步骤的程序代码:获取资源组内每种类型资源的当前容量;将当前容量未满足容量需求的一种或多种类型资源确定为待扩容的资源。
可选地,上述处理器还可以执行如下步骤的程序代码:将待扩容的资源的初始容量设置为扩容单位;在每次扩容时,按照扩容单位对待扩容的资源进行扩容。
可选地,上述处理器还可以执行如下步骤的程序代码:在对待扩容的资源进行扩容之后,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组。
可选地,上述处理器还可以执行如下步骤的程序代码:在对待扩容的资源进行扩容之后,采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分;根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的调度状态。
采用本发明实施例,提供了一种数据处理方法。在本发明实施例中,从容器服务的资源组内确定待扩容的资源,其中,资源组包括:与容器服务关联的多种不同类型资源;对待扩容的资源进行扩容。由于将从容器服务的资源组内获取到的待扩容的资源进行扩容,而不是将容器服务的资源组中的全部资源进行扩容,达到了只针对资源组中容量不足的资源进行扩容的目的,从而实现了在资源扩容时,降低了资源浪费,进而解决了在资源扩容时,由于对资源组内的全部资源进行扩容,而导致资源浪费的技术问题。
本领域普通技术人员可以理解,图6所示的结构仅为示意,计算机终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图6所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例5
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:从容器服务的资源组内确定待扩容的资源,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源,其中,资源组包括:与容器服务关联的多种不同类型资源;对待扩容的资源进行扩容。
存储介质还被设置为存储用于执行以下步骤的程序代码:将待扩容的资源的初始容量设置为扩容单位;在每次扩容时,按照扩容单位对待扩容的资源进行扩容。
存储介质还被设置为存储用于执行以下步骤的程序代码:在对待扩容的资源进行扩容之后,将扩容后的资源与资源组内除待扩容的资源之外的其他类型资源组成新的资源组。
存储介质还被设置为存储用于执行以下步骤的程序代码:在对待扩容的资源进行扩容之后,采用不同标识信息对扩容前的资源组与扩容后的新的资源组进行区分;根据不同标识信息确定扩容前的资源组与扩容后的新的资源组的调度状态。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
从容器服务的资源组内确定待扩容的资源,其中,所述资源组包括:与所述容器服务关联的多种不同类型资源,所述待扩容的资源为所述多种不同类型资源中在资源调度过程中未满足调度需求的资源;
对所述待扩容的资源进行扩容。
2.根据权利要求1所述的方法,其特征在于,对所述待扩容的资源进行扩容包括:
将所述待扩容的资源的初始容量设置为扩容单位;
在每次扩容时,按照所述扩容单位对所述待扩容的资源进行扩容。
3.根据权利要求1所述的方法,其特征在于,在对所述待扩容的资源进行扩容之后,还包括:
将扩容后的资源与所述资源组内除所述待扩容的资源之外的其他类型资源组成新的资源组。
4.根据权利要求3所述的方法,其特征在于,在对所述待扩容的资源进行扩容之后,还包括:
采用不同标识信息对扩容前的所述资源组与扩容后的所述新的资源组进行区分;
根据所述不同标识信息确定扩容前的所述资源组与扩容后的所述新的资源组的调度状态。
5.一种数据处理装置,其特征在于,包括:
获取模块,用于从容器服务的资源组内确定待扩容的资源,其中,所述资源组包括:与所述容器服务关联的多种不同类型资源,所述待扩容的资源为所述多种不同类型资源中在资源调度过程中未满足调度需求的资源;
扩容模块,用于对所述待扩容的资源进行扩容。
6.根据权利要求5所述的装置,其特征在于,所述扩容模块包括:
设置单元,用于将所述待扩容的资源的初始容量设置为扩容单位;
扩容单元,用于在每次扩容时,按照所述扩容单位对所述待扩容的资源进行扩容。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
重组模块,用于将扩容后的资源与所述资源组内除所述待扩容的资源之外的其他类型资源组成新的资源组。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
区分模块,用于在对所述待扩容的资源进行扩容之后,采用不同标识信息对扩容前的所述资源组与扩容后的所述新的资源组进行区分;
确定模块,用于根据所述不同标识信息确定扩容前的所述资源组与扩容后的所述新的资源组的调度状态。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的数据处理方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至4中任意一项所述的数据处理方法。
11.一种系统,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供执行以下处理过程的指令:
从容器服务的资源组内确定待扩容的资源,其中,所述资源组是多种不同类型资源组成的,待扩容的资源为多种不同类型资源中在资源调度过程中未满足调度需求的资源;
对所述待扩容的资源进行扩容。
CN201711019341.3A 2017-10-26 2017-10-26 数据处理方法、装置、存储介质、处理器和系统 Pending CN109710397A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711019341.3A CN109710397A (zh) 2017-10-26 2017-10-26 数据处理方法、装置、存储介质、处理器和系统
EP18870677.4A EP3702915B1 (en) 2017-10-26 2018-10-12 Data processing method and device, storage medium, processor, and system
PCT/CN2018/109963 WO2019080719A1 (zh) 2017-10-26 2018-10-12 数据处理方法、装置、存储介质、处理器和系统
US16/844,760 US20200233712A1 (en) 2017-10-26 2020-04-09 Data Processing Method, Apparatus, Storage Medium, Processor, and System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711019341.3A CN109710397A (zh) 2017-10-26 2017-10-26 数据处理方法、装置、存储介质、处理器和系统

Publications (1)

Publication Number Publication Date
CN109710397A true CN109710397A (zh) 2019-05-03

Family

ID=66246219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711019341.3A Pending CN109710397A (zh) 2017-10-26 2017-10-26 数据处理方法、装置、存储介质、处理器和系统

Country Status (4)

Country Link
US (1) US20200233712A1 (zh)
EP (1) EP3702915B1 (zh)
CN (1) CN109710397A (zh)
WO (1) WO2019080719A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110768850A (zh) * 2019-11-12 2020-02-07 国家电网有限公司 基于电力系统的通讯扩容处理方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948109B (zh) * 2021-02-20 2023-03-21 山东英信计算机技术有限公司 一种ai计算集群的配额弹性调度方法、装置及介质
CN113138842B (zh) * 2021-03-05 2023-08-11 海能达通信股份有限公司 微服务集群的调度方法、装置及介质
US20230112031A1 (en) * 2021-10-09 2023-04-13 Dell Products L.P. System and method for workload management in a distributed system
US11645014B1 (en) 2021-10-26 2023-05-09 Hewlett Packard Enterprise Development Lp Disaggregated storage with multiple cluster levels

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130047158A1 (en) * 2011-08-16 2013-02-21 Esds Software Solution Pvt. Ltd. Method and System for Real Time Detection of Resource Requirement and Automatic Adjustments
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统
US9256467B1 (en) * 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
CN106330576A (zh) * 2016-11-18 2017-01-11 北京红马传媒文化发展有限公司 容器化微服务自动伸缩及迁移调度的方法、系统和设备
CN106484528A (zh) * 2016-09-07 2017-03-08 北京百度网讯科技有限公司 分布式框架中用于实现集群动态伸缩的方法及装置
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技(深圳)有限公司 一种资源配置方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090025004A1 (en) * 2007-07-16 2009-01-22 Microsoft Corporation Scheduling by Growing and Shrinking Resource Allocation
US9473365B2 (en) * 2014-05-08 2016-10-18 Cisco Technology, Inc. Collaborative inter-service scheduling of logical resources in cloud platforms
PT3037964T (pt) * 2014-12-22 2018-11-13 Rovio Entertainment Ltd Gestor de aplicações virtuais num ambiente computacional em nuvem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130047158A1 (en) * 2011-08-16 2013-02-21 Esds Software Solution Pvt. Ltd. Method and System for Real Time Detection of Resource Requirement and Automatic Adjustments
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统
US9256467B1 (en) * 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
CN106484528A (zh) * 2016-09-07 2017-03-08 北京百度网讯科技有限公司 分布式框架中用于实现集群动态伸缩的方法及装置
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技(深圳)有限公司 一种资源配置方法及装置
CN106330576A (zh) * 2016-11-18 2017-01-11 北京红马传媒文化发展有限公司 容器化微服务自动伸缩及迁移调度的方法、系统和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110768850A (zh) * 2019-11-12 2020-02-07 国家电网有限公司 基于电力系统的通讯扩容处理方法及装置

Also Published As

Publication number Publication date
WO2019080719A1 (zh) 2019-05-02
EP3702915A4 (en) 2021-06-23
US20200233712A1 (en) 2020-07-23
EP3702915B1 (en) 2023-09-20
EP3702915A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
CN109710397A (zh) 数据处理方法、装置、存储介质、处理器和系统
CN115328663B (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
CN109829308A (zh) 控制策略的管理方法及装置、存储介质、电子装置
CN104461649B (zh) 芯片兼容方法及装置
CN104468174A (zh) 一种集群服务器执行任务的方法和装置
CN109120444B (zh) 云资源管理方法、处理器以及存储介质
CN105580407A (zh) 一种网络资源部署方法和设备
CN104486234A (zh) 一种将业务交换机卸载到物理网卡的方法及服务器
CN110753339B (zh) 一种数据下载方法及管理平台
CN110474960B (zh) 一种虚拟化网络中业务部署的方法和装置
CN105099950A (zh) 一种资源分配方法、报文通信方法及装置
CN104244306A (zh) 一种接入点固件升级方法和装置
CN111431730B (zh) 一种业务处理方法、系统、计算机设备及可读介质
CN108885564A (zh) 网络虚拟化场景中的资源放置控制
CN110392002A (zh) 报文处理方法、装置、设备及可读存储介质
CN106161603B (zh) 一种组网的方法、设备及架构
CN110062396B (zh) 一种配置基站的方法及装置
CN105138107B (zh) 移动终端下载方法、装置及移动终端
CN104267985A (zh) 一种软件加载方法和设备
CN110365517A (zh) 数据处理方法、装置、存储介质及计算机设备
CN104092661A (zh) 虚拟机串口的通信方法及装置
CN109634630A (zh) 应用程序更新方法、装置、电子设备及存储介质
CN109783155A (zh) 业务组件管理方法、装置、电子设备及存储介质
CN109299195A (zh) 数据处理方法、装置及存储介质
CN109639599A (zh) 网络资源调度方法及系统、存储介质及调度设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503

RJ01 Rejection of invention patent application after publication