CN111488052A - 应用于物理机集群的容器启用方法和装置、计算机系统 - Google Patents

应用于物理机集群的容器启用方法和装置、计算机系统 Download PDF

Info

Publication number
CN111488052A
CN111488052A CN202010299409.3A CN202010299409A CN111488052A CN 111488052 A CN111488052 A CN 111488052A CN 202010299409 A CN202010299409 A CN 202010299409A CN 111488052 A CN111488052 A CN 111488052A
Authority
CN
China
Prior art keywords
enabling
physical machine
containers
machine cluster
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010299409.3A
Other languages
English (en)
Other versions
CN111488052B (zh
Inventor
龚慧钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010299409.3A priority Critical patent/CN111488052B/zh
Publication of CN111488052A publication Critical patent/CN111488052A/zh
Application granted granted Critical
Publication of CN111488052B publication Critical patent/CN111488052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/329Power saving characterised by the action undertaken by task scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45575Starting, stopping, suspending or resuming virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供了一种应用于物理机集群的容器启用方法,包括:获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,物理机集群包括多个物理机,每个物理机部署有至少一个容器;将每种第一启用方式输入到预先构建的网络模型中,并通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗;根据与每种第一启用方式对应的物理机集群的总功耗,确定针对第一启用数量的容器的第一目标启用方式;根据第一目标启用方式启用物理机集群中的第一启用数量的容器。本公开还提供了一种应用于物理机集群的容器启用装置、计算机系统和存储介质。

Description

应用于物理机集群的容器启用方法和装置、计算机系统
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种应用于物理机集群的容器启用方法和装置、计算机系统和存储介质。
背景技术
随着计算机技术的快速发展,在物理机集群中通过部署容器来实现业务服务的应用场景越来越多。根据业务流量需求,可以确定物理机集群中需要启用的容器数量。
在实现本公开构思的过程中,发明人发现,在启用一定数量的容器进行业务服务的过程中,无法保证物理机集群的功耗满足能耗要求。
发明内容
有鉴于此,本公开提供了一种应用于物理机集群的容器启用方法和装置、计算机系统和存储介质。
本公开的一个方面提供了一种应用于物理机集群的容器启用方法,包括:获取多种第一启用方式,其中,所述多种第一启用方式中的每种第一启用方式用于启用所述物理机集群中部署的第一启用数量的容器,其中,所述物理机集群包括多个物理机,所述多个物理机中的每个物理机部署有至少一个容器,所述至少一个容器中的每个容器用于执行一个应用程序;将所述每种第一启用方式输入到预先构建的网络模型中,并通过所述网络模型输出与所述每种第一启用方式对应的物理机集群的总功耗;根据所述与所述每种第一启用方式对应的物理机集群的总功耗,确定针对所述第一启用数量的容器的第一目标启用方式;以及根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
根据本公开的实施例,所述第一启用数量大于或等于第一最低启用数量,并且小于或等于所述物理机集群中部署的容器的总量,其中,所述第一最低启用数量是根据业务流量需求和所述每个物理机中部署的容器的资源占用率确定的,所述资源占用率为与每个容器对应的应用程序占用所述每个容器本身所在的物理机的硬件资源的比例。
根据本公开的实施例,所述方法还包括,在根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器之后:获取所述每个物理机中已启用的各个容器各自的资源占用率;确定所述每个物理机中已启用的各个容器各自的资源占用率是否大于所述资源占用率的阈值;以及在确定所述每个物理机中已启用的各个容器各自的资源占用率大于所述资源占用率的阈值的情况下,利用所述网络模型更新所述第一目标启用方式。
根据本公开的实施例,利用所述网络模型更新所述第一目标启用方式包括:获取多种第二启用方式,其中,所述多种第二启用方式中的每种第二启用方式用于启用物理机集群中部署的第二启用数量的容器,其中,所述第二启用数量大于或等于第二最低启用数量,并且小于或等于所述物理机集群中部署的容器的总量,所述第二最低启用数量根据新的业务流量需求和所述资源占用率确定;将所述每种第二启用方式输入到所述网络模型中,并通过所述网络模型输出与所述每种第二启用方式对应的物理机集群的总功耗;根据所述与所述每种第二启用方式对应的物理机集群的总功耗,确定针对所述第二启用数量的容器的第二目标启用方式;以及将所述第一目标启用方式更新为所述第二目标启用方式。
根据本公开的实施例,确定针对所述第一启用数量的容器的第一目标启用方式包括:
确定所述多种第一启用方式中与最小的物理机集群的总功耗相对应的第一启用方式为所述第一目标启用方式。
根据本公开的实施例,所述方法还包括:预先训练得到所述网络模型,其中,训练过程包括:确定用于启用所述物理机集群中部署的容器的多种预设启用数量;针对每种预设启用数量,获取针对该种预设启用数量的容器在所述物理机集群中的多种启用方式,以及所述多种启用方式中的每种启用方式对应的物理机集群的总功耗;以及利用所述多种启用方式中的每种启用方式为样本,所述每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到所述网络模型。
根据本公开的实施例,利用所述多种启用方式中的每种启用方式为样本,所述每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到所述网络模型包括:构建所述初始模型,其中,所述初始模型包括输入层、多层隐藏层以及输出层;初始化所述初始模型的模型参数,其中,所述模型参数包括所述多层隐藏层中每一层隐藏层的权重;以及针对每一个样本,执行以下步骤:将所述样本经输入层传入所述多层隐藏层,以使得所述多层隐藏层对所述样本逐层进行处理后,将处理结果传入输出层,其中,所述多层隐藏层中的任一层隐藏层的输入由前一层隐藏层的输出确定;将所述输出层的处理结果和所述样本的标签输入损失函数;确定所述损失函数是否收敛;在所述损失函数不收敛的情况下,将所述输出层的处理结果和所述样本的标签之间的误差反向传入所述多层隐藏层,以使得所述多层隐藏层中的各个隐藏层根据所述误差调整各自的权重;重复执行以上步骤,直至所述损失函数收敛;以及在所述损失函数收敛的情况下,得到所述网络模型。
本公开的另一个方面提供了一种应用于物理机集群的容器启用装置,包括:第一获取模块,用于获取多种第一启用方式,其中,所述多种第一启用方式中的每种第一启用方式用于启用所述物理机集群中部署的第一启用数量的容器,其中,所述物理机集群包括多个物理机,所述多个物理机中的每个物理机部署有至少一个容器,所述至少一个容器中的每个容器用于执行一个应用程序;输出模块,用于将所述每种第一启用方式输入到预先构建的网络模型中,并通过所述网络模型输出与所述每种第一启用方式对应的物理机集群的总功耗;第一确定模块,用于根据所述与所述每种第一启用方式对应的物理机集群的总功耗,确定针对所述第一启用数量的容器的第一目标启用方式;以及启用模块,用于根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机系统,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
根据本公开的实施例,采用了获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,将每种第一启用方式输入到预先构建的网络模型中,通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗,根据与每种第一启用方式对应的物理机集群的总功耗,确定针对述第一启用数量的容器的第一目标启用方式,根据第一目标启用方式启用物理机集群中的第一启用数量的容器的技术手段。由于可以根据网络模型输出的与每种第一启用方式对应的物理机集群的总功耗,确定每种第一启用方式中满足能耗要求的第一目标启用方式,所以至少部分地克服了相关技术中无法保证物理机集群的功耗满足能耗要求的技术问题,进而达到了节约能源的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了可以应用本公开实施例的应用于物理机集群的容器启用方法和装置的示例性系统架构;
图2示意性示出了可以应用本公开实施例的容器部署的示意图;
图3示意性示出了根据本公开实施例的应用于物理机集群的容器启用方法的流程图;
图4示意性示出了根据本公开实施例的利用网络模型更新第一目标启用方式的方法的流程图;
图5示意性示出了根据本公开另一实施例的利用网络模型更新第一目标启用方式的方法的流程图;
图6示意性示出了根据本公开实施例的预先训练得到网络模型的方法的流程图;
图7示意性示出了根据本公开实施例的训练初始模型,得到网络模型的方法的流程图;
图8示意性示出了根据本公开实施例的应用于物理机集群的容器启用装置的框图;以及
图9示意性示出了根据本公开实施例的适于应用容器启用方法和装置的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种应用于物理机集群的容器启用方法和装置。该方法包括获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,其中,物理机集群包括多个物理机,多个物理机中的每个物理机部署有至少一个容器,至少一个容器中的每个容器用于执行一个应用程序;将每种第一启用方式输入到预先构建的网络模型中,并通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗;根据与每种第一启用方式对应的物理机集群的总功耗,确定针对第一启用数量的容器的第一目标启用方式;以及根据第一目标启用方式启用物理机集群中的第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
图1示意性示出了可以应用本公开实施例的应用于物理机集群的容器启用方法和装置的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括物理机101、物理机102、物理机103和物理机104和网络105。物理机101、物理机102、物理机103和物理机104和网络105可以组成物理机集群。网络105用以在物理机101、物理机102、物理机103和物理机104之间提供通信链路的介质。网络105可以包括各种连接类型,例如有线和/或无线通信链路等等。
物理机101、物理机102、物理机103和物理机104可以是提供各种服务的服务器,需要说明的是,图1中的物理机和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的物理机和网络。
在物理机集群中的每个物理机中可以部署容器,例如,可以采用kubernetes技术在物理机集群中部署容器,每个物理机中可以部署一个或多个容器。
图2示意性示出了可以应用本公开实施例的容器部署的示意图。
如图2所示,物理机101中可以部署容器1011、容器1012和容器1013,物理机102中可以部署容器1021、容器1022和容器1023,物理机103中可以部署容器1031、容器1032和容器1033,物理机104中可以部署容器1041、容器1042和容器1043。需要说明的是,图2中的每个物理机中部署的容器的数目仅仅是示意性的。根据实现需要,每个物理机中可以部署有任意数目的容器。
在部署好容器之后,每个物理机中的各个容器可以启用,也可以关闭。在启用容器的时候,可以在该启用的容器中执行对应的应用程序,以实现特定的业务服务。其中,特定的业务服务例如可以是云计算业务,云计算业务例如可以是互联网领域的线上预约场景业务、电商领域的促销场景业务等针对大量用户的业务。可以预先在物理机集群中的每个物理机部署多个相同的容器,然后根据用户的数量,开启满足用户需求的容器的数量,在开启的容器中,运行对应的应用程序,以实现对应用户的业务服务。随着用户数量的增加,还可以通过增加启用容器的数量,以满足新增加的用户需求。
在确定需要启用的容器的数量的情况下,可以采用多种启用方式启用该数量的容器。例如,在确定启用4个容器的数量的情况下,可以在物理机集群中随机选取4个容器进行启用,如启用物理机101中部署的容器1011和容器1012,以及启用物理机102中部署的容器1021和容器1022。或者采用平均分配的原则分别在每台物理机上启用相同的容器数量,如启用物理机101中部署的容器1011、物理机102中部署的容器1021、物理机103中部署的容器1031和物理机104中部署的容器1041。或者按照依次最大化启用的原则,在其中一台物理机上的所有容器都启用之后,再依次最大化启用其他物理上的容器,如启用物理机101中部署的容器1011、容器1012、容器1013和物理机102中部署的容器1021。
由于根据不同启用原则确定的不同启用方式,所对应的物理机集群的能耗也不同。并且,如果集群中的物理机型号不同,各型号物理机的性能也有所不同,那么一定启用数量的容器在不同启用方式下,物理机集群的能耗更不相同。因此,在确定启用一定数量的容器的情况下,所采用的启用该一定数量的容器的启用方式不能保证对应的物理机集群的功耗能够满足能耗要求。
为保证在确定启用一定数量的容器的情况下,所采用的启用方式能够保证物理机集群的功耗满足能耗要求,本公开的实施例提供了一种应用于物理机集群的容器启用方法。
图3示意性示出了根据本公开实施例的应用于物理机集群的容器启用方法的流程图。
如图3所示,该方法包括操作S301~S304。
在操作S301,获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,其中,第一启用数量大于或等于第一最低启用数量,并且小于或等于物理机集群中部署的容器的总量。
根据本公开实施例,物理机集群可以包括多个物理机,多个物理机中的每个物理机可以部署有至少一个容器,至少一个容器中的每个容器可以用于执行一个应用程序。
例如,在一个由N台物理机组成的物理机集群中,每台物理机上可以部署M个容器。该物理机集群中可以启用1到N×M个容器。在一定的业务流量需求下,可以确定一个最低的容器启用数量,例如,最低的容器启用数量可以是L个容器,其中L大于0,且L小于或等于N×M。则在物理机集群中启用的容器数量在低于L的情况下,将不能满足业务流量需求,无法承载业务。在物理机集群中启用的容器数量等于或高于L的情况下,可以满足业务流量需求。因此,需要在物理机集群中启用L到N×M个容器,才可以承载业务。
根据本公开实施例,可以在物理机集群中启用X个容器,其中,X大于或等于L,并且X小于或等于N×M。X个容器可有很多种启用方式,例如,可以根据随机启用原则,在物理机集群中随机选取X个容器进行启用。或者根据均分启用原则,将X个容器平均分给N台物理机,使每台物理机上启用相同数量的容器。或者,根据依次最大化启用的原则,在其中一台物理机上的启用M个容器之后,再依次最大化启用其他物理上的容器,直到物理机集群中启用的容器数量达到X个。
根据本公开实施例,每种启用方式可以用一个矩阵表示,其中该矩阵可以是N×M维矩阵,矩阵中每个元素可以表示一个容器,矩阵中启用的容器可以用“1”表示,没有启用的容器可以用“0”表示。
以图1为例,N为4,M为3,物理机集群中部署的容器的总数量为12个。在确定最低启用数量之后,可以根据实际需求,确定实际的第一启用数量,例如,若确定的最低启用数量为3,则第一启用数量可以在3到12之间。
根据本公开实施例,若确定第一启用数量为4,可以采用多种第一启用方式启用物理机集群中的任意4个容器,每种第一启用方式可以是根据不同启用原则确定的用于启用4个容器的不同启用方式。例如,启用方式一可以是启用“容器1011、容器1012、容器1021和容器1022”,启用方式二可以是启用“容器1011、容器1021、容器1031和容器1041”,启用方式三可以是启用“容器1011、容器1012、容器1013和容器1021”。在启用数量为4的情况下,还可以采用其他多种启用方式,这里不再列举。
在操作S302,将每种第一启用方式输入到预先构建的网络模型中,并通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗。
根据本公开实施例,预先构建的网络模型可以是根据历史数据训练好的以启用方式对应的矩阵为输入,以该启用方式下的物理机集群中总功耗为输出的模型。其中,历史数据可以包括历史启用过程中,所启用的容器的数量,每种启用数量下的各种启用方式,在各种启用方式下对应的物理机集群的总功耗。
沿用上述示例,获取启用4个容器的多种启用方式中的每种启用方式对应的矩阵输入到网络模型中,网络模型可以输出与每种启用方式对应的物理机集群中总功耗。例如,可以将启用方式一、启用方式二、启用方式三等每种启用方式对应的矩阵输入到网络模型中,网络模型可以输出与启用方式一对应的物理机集群的总功耗为A,还可以输出与启用方式二对应的物理机集群的总功耗为B,还可以输出与启用方式三对应的物理机集群的总功耗为C,以及还可以输出其他每种启用方式对应的物理机集群的总功耗。
在操作S303,根据与每种第一启用方式对应的物理机集群的总功耗,确定针对第一启用数量的容器的第一目标启用方式。
根据本公开实施例,在操作S303具体可以包括确定多种第一启用方式中与最小的物理机集群的总功耗相对应的第一启用方式为第一目标启用方式。
根据本公开实施例,可以从多种启用方式中确定满足物理机集群功耗要求的启用方式。沿用上述示例,可以选取物理机集群功耗低于一定阈值的功耗所对应的启用方式为启用4个容器时最终所采用的启用方式。也可以选取网络模型输出的最低物理机集群总功耗所对应的启用方式为启用4个容器时最终所采用的启用方式。
例如,启用方式一对应总功耗A,启用方式二对应总功耗B,启用方式三对应总功耗C,以及其他每种启用方式都有对应的总共功耗,在所有启用方式对应的总功耗中,如果功耗B和功耗C小于预设的功耗阈值,则可以选择与功耗B对应的启用方式二,或者与功耗C对应的启用方式三为启用4个容器时最终所采用的启用方式。
又例如,在所有启用方式对应的总功耗中,总功耗B最小,则可以选择与总功耗B对应的启用方式二为启用4个容器时最终所采用的启用方式。
在操作S304,根据第一目标启用方式启用物理机集群中的第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
根据本公开实施例,沿用上述示例,在确定启用4个容器时最终所采用的启用方式为启用方式二的情况下,可以在物理机集群中启用“容器1011、容器1021、容器1031和容器1041”。各个启用的容器在运行过程中,能够保证物理机集群的总功耗最小,避免了能源浪费。
根据本公开实施例,首先,获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,然后,将每种第一启用方式输入到预先构建的网络模型中,通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗,进一步的,根据与每种第一启用方式对应的物理机集群的总功耗,确定针对述第一启用数量的容器的第一目标启用方式;最后,根据第一目标启用方式启用物理机集群中的第一启用数量的容器。能够根据网络模型输出的与每种第一启用方式对应的物理机集群的总功耗,确定每种第一启用方式中满足能耗要求的第一目标启用方式,能够节约能源。
根据本公开实施例,第一最低启用数量可以是根据业务流量需求和每个物理机中部署的容器的资源占用率的阈值确定的,资源占用率为与每个容器对应的应用程序占用每个容器本身所在的物理机的硬件资源的比例。
根据本公开实施例,确定物理机集群中需要启用的容器的最低启用数量的原则可以为:在启用最低启用数量的容器之后,所启用的容器中运行的应用程序能够满足业务流量需求,并且,在物理机集群达到负载平衡时,所启用的容器中的任一容器中运行的应用程序占自身所在的物理机的资源占用率相同,且均小于预设的资源占用率阈值。其中,资源占用率可以包括CPU资源占用率、内存资源占用率和/或硬盘资源占用率。
沿用上述示例,在确定最低启用数量为3的情况下,例如可以启用容器1011、容器1031和容器1042,则在启用容器1011、容器1031和容器1042之后,容器1011、容器1031和容器1042中运行的应用程序能够满足业务流量需求,并且,在容器1011、容器1031和容器1042的运行达到动态平衡时,容器1011占用物理机101的硬件资源的比例、容器1031占用物理机103的硬件资源的比例以及容器1042占用物理机104的硬件资源的比例相同,并且小于预设的资源占用率阈值。
下面参考图4~图5,结合具体实施例对图2所示的方法做进一步说明。
图4示意性示出了根据本公开实施例的利用网络模型更新第一目标启用方式的方法的流程图。
如图4所示,该方法包括操作S401~S403。
在操作S401,获取每个物理机中已启用的各个容器各自的资源占用率。
根据本公开实施例,沿用上述示例,在启用“容器1011、容器1021、容器1031和容器1041”4个容器之后,可以在该4个容器运行的过程中,确定该4个容器中的每个容器占用自身所在的物理机的资源占用率。在动态平衡过程中,容器1011占用物理机101的资源占用率、容器1021占用物理机102的资源占用率、容器1031占用物理机103的资源占用率以及容器1041占用物理机104的资源占用率相同。
在操作S402,确定每个物理机中已启用的各个容器各自的资源占用率是否大于资源占用率的阈值。
根据本公开实施例,可以确定容器1011占用物理机101的资源占用率、容器1021占用物理机102的资源占用率、容器1031占用物理机103的资源占用率或者容器1041占用物理机104的资源占用率是否大于预设的资源占用率阈值。
在操作S403,在确定每个物理机中已启用的各个容器各自的资源占用率大于资源占用率的阈值的情况下,利用网络模型更新第一目标启用方式。
根据本公开实施例,在确定容器1011占用物理机101的资源占用率、容器1021占用物理机102的资源占用率、容器1031占用物理机103的资源占用率或者容器1041占用物理机104的资源占用率大于预设的资源占用率阈值的情况下,可以利用网络模型更新启用方式。
图5示意性示出了根据本公开另一实施例的利用网络模型更新第一目标启用方式的方法的流程图。
如图5所示,操作S403可以包括操作S4031~S4034。
在操作S4031,获取多种第二启用方式,其中,多种第二启用方式中的每种第二启用方式用于启用物理机集群中部署的第二启用数量的容器,其中,第二启用数量大于或等于第二最低启用数量,并且小于或等于物理机集群中部署的容器的总量,第二最低启用数量可以是根据新的业务流量需求和资源占用率的阈值确定的。
根据本公开实施例,随着业务流量需求的增长,已开启的容器的资源占用率如果超过预设阈值,可以增加物理机集群中启用的容器的数量,以增强对业务流量的处理能力,实现新的业务流量需求。
沿用上述示例,在开启的4个容器中各个容器的资源占用率大于资源占用率阈值的情况下,可以根据新的业务流量需求和资源占用率阈值确定新的需要开启的容器的数量,新的需要开启的容器的数量大于4,例如新的需要开启的容器的数量可以是5。
在操作S4032,将每种第二启用方式输入到网络模型中,并通过网络模型输出与每种第二启用方式对应的物理机集群的总功耗。
根据本公开实施例,可以将启用数量为5的每种启用方式对应的矩阵输入到网络模型中,网络模型可以输出每种启用方式对应的物理机集群总功耗。启用数量为5的每种启用方式的确定可以参照上述实例,这里不再赘述。
在操作S4033,根据与每种第二启用方式对应的物理机集群的总功耗,确定针对第二启用数量的容器的第二目标启用方式。
根据本公开实施例,可以根据启用数量为5的每种启用方式对应的物理机集群的总功耗,确定新的启用方式。例如,确定与最小的物理机集群的总功耗对应的启用方式为新的启用方式,能够保证在新的启用方式下,物理机集群的总功耗最小,避免资源浪费。
在操作S4034,将第一目标启用方式更新为第二目标启用方式。
根据本公开实施例,在确定新的启用方式之后,可以停止原启用方式启用的容器,然后按照新的启用方式启用物理机中的容器。
根据本公开实施例,利用网络模型更新第一目标启用方式,能够随着业务流量需求的变化,快速更新启用方式,且保证在新的启用方式下,物理机集群的总功耗能够满足能耗要求。
下面参考图6~图7,结合具体实施例对图3所示的方法做进一步说明。
图6示意性示出了根据本公开实施例的预先训练得到网络模型的方法的流程图。
如图6所示,该方法包括操作S601~S603。
在操作S601,确定用于启用物理机集群中部署的容器的多种预设启用数量。
根据本公开实施例,可以根据历史启用情况,确定多种启用数量,沿用上述示例,在一个由4台物理机组成的物理机集群中,每台物理机上可以部署3个容器,可以启用容器的数量可以是2,3,4……12。
在操作S602,针对每种预设启用数量,获取针对该种预设启用数量的容器在物理机集群中的多种启用方式,以及多种启用方式中的每种启用方式对应的物理机集群的总功耗。
根据本公开实施例,针对每种启用数量,可以确定该启用数量下的多种启用方式。然后,可以使用采集设备采集在每种启用方式下,该物理机集群的总用电功率,根据采集的总用电功率确定物理机集群中总功耗。其中,采集设备可以是精密配电列头柜,或者其他能够采集用电功率的设备,本公开实施例对采集设备不做限定。
在操作S603,利用多种启用方式中的每种启用方式为样本,每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到网络模型。
根据本公开实施例,针对每种启用数量下的多种启用方式,可以将每种启用方式对应的矩阵作为样本,将每种启用方式下该物理机集群的总功耗作为标签,将每个样本输入到初始模型中,通过初始模型输出的预测值与标签之间的误差,不断调整模型参数,经过多轮训练后,可以得到输入为启用方式,输出为与启用方式对应的物理机集群的总功耗的网络模型。其中,初始模型可以是采用神经网络算法构建的模型,神经网络算法例如可以是BP(Back Propagation,反向传播)算法,也可以是其他神经网络算法,本公开对神经网络算法不做限定。
图7示意性示出了根据本公开实施例的训练初始模型,得到网络模型的方法的流程图。
如图7所示,操作S603可以包括操作S710~S730。
在操作S710,构建初始模型,其中,初始模型包括输入层、多层隐藏层以及输出层。
根据本公开实施例,初始模型根据实际情况可以包括多层隐藏层,例如可以包括四层或五层隐藏层,每层隐藏层包括多个神经元节点。输入层用于输入样本,隐藏层用于对输入的样本进行处理,样本经各层隐藏层处理后,输出至输出层。
在操作S720,初始化初始模型的模型参数,其中,模型参数包括多层隐藏层中每一层隐藏层的权重。
根据本公开实施例,初始模型的模型参数可以包括各个隐藏层的权重。在初始模型开始训练前,可以将各层隐藏层的权重进行初始化,例如,可以将各层隐藏层的权重赋予较小的随机数。
在操作S730,针对每一个样本,执行以下步骤S731~S735:
在操作S731,将样本经输入层传入多层隐藏层,以使得多层隐藏层对样本逐层进行处理后,将处理结果传入输出层,其中,多层隐藏层中的任一层隐藏层的输入由前一层隐藏层的输出确定。
根据本公开实施例,以BP算法为示例,每一个样本的训练过程可以包括前向传播过程和反向传播过程。前向传播的过程可以包括将样本经输入层输入第一层隐藏层,第一层隐藏层根据该层的输入和该层的权重得到第一层隐藏层的输出。第一层隐藏层的输出作为第二层的输入传入到第二层隐藏层,第二层隐藏层根据该层的输入和该层的权重得到第二层隐藏层的输出,第二层隐藏层的输出作为第三层的输入传入到第三层隐藏层。以此类推,最后一层隐藏层的处理结果传入输出层。
在操作S732,将输出层的处理结果和样本的标签输入损失函数,确定损失函数是否收敛。
根据本公开实施例,可以使用网络模型输出的预测值与样本标签对应的实际值之间的平方差作为模型的损失函数可以将输出层输出的预测值和与输入样本对应的标签的实际值输入到损失函数,确定损失函数是否收敛。
在操作S733,在损失函数不收敛的情况下,将输出层的处理结果和样本的标签之间的误差反向传入多层隐藏层,以使得多层隐藏层中的各个隐藏层根据误差调整各自的权重。
根据本公开实施例,在损失函数不收敛的情况下,可以进行误差的反向传播过程。反向传播过程可以包括将输出层的预测值与标签的实际值之间的误差反向传输至每一层隐藏层,每一层隐藏层可以根据误差计算该层的梯度,根据该层的梯度调整该层的权重,例如,可以将该层的梯度与该层原来的权重的和作为该层新的权重。
在操作S734,重复执行以上步骤,直至损失函数收敛。
根据本公开实施例,针对每一个样本,均可以进行上述前向传播过程和反向传播过程,经过多个样本的多次迭代,每次迭代确定损失函数是否收敛。
在操作S735,在损失函数收敛的情况下,得到网络模型。
根据本公开实施例,在损失函数收敛的情况下,训练结束,得到最终的网络模型。
图8示意性示出了根据本公开的实施例的应用于物理机集群的容器启用装置的框图。
如图8所示,应用于物理机集群的容器启用装置800可以包括第一获取模块801、输出模块802、第一确定模块803和启用模块804。
第一获取模块801,用于获取多种第一启用方式,其中,多种第一启用方式中的每种第一启用方式用于启用物理机集群中部署的第一启用数量的容器,其中,物理机集群包括多个物理机,多个物理机中的每个物理机部署有至少一个容器,至少一个容器中的每个容器用于执行一个应用程序。
输出模块802,用于将每种第一启用方式输入到预先构建的网络模型中,并通过网络模型输出与每种第一启用方式对应的物理机集群的总功耗。
第一确定模块803,用于根据与每种第一启用方式对应的物理机集群的总功耗,确定针对第一启用数量的容器的第一目标启用方式。
启用模块804,用于根据第一目标启用方式启用物理机集群中的第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
根据本公开实施例,第一启用数量大于或等于第一最低启用数量,并且小于或等于物理机集群中部署的容器的总量,其中,第一最低启用数量是根据业务流量需求和每个物理机中部署的容器的资源占用率确定的,资源占用率为与每个容器对应的应用程序占用每个容器本身所在的物理机的硬件资源的比例。
根据本公开实施例,应用于物理机集群的容器启用装置800还可以包括:第二获取模块、第二确定模块和更新模块。
第二获取模块,用于获取每个物理机中已启用的各个容器各自的资源占用率;
第二确定模块,用于确定每个物理机中已启用的各个容器各自的资源占用率是否大于资源占用率的阈值;以及
更新模块,用于在确定每个物理机中已启用的各个容器各自的资源占用率大于资源占用率的阈值的情况下,利用网络模型更新第一目标启用方式。
根据本公开实施例,更新模块可以包括:第一获取单元、输出单元、第一确定单元和更新单元。
第一获取单元,用于获取多种第二启用方式,其中,多种第二启用方式中的每种第二启用方式用于启用物理机集群中部署的第二启用数量的容器,其中,第二启用数量大于或等于第二最低启用数量,并且小于或等于物理机集群中部署的容器的总量,第二最低启用数量根据新的业务流量需求和资源占用率确定。
输出单元,用于将每种第二启用方式输入到网络模型中,并通过网络模型输出与每种第二启用方式对应的物理机集群的总功耗。
第一确定单元,用于根据与每种第二启用方式对应的物理机集群的总功耗,确定针对第二启用数量的容器的第二目标启用方式。
更新单元,用于将第一目标启用方式更新为第二目标启用方式。
根据本公开实施例,第一确定模块803,用于确定多种第一启用方式中与最小的物理机集群的总功耗相对应的第一启用方式为第一目标启用方式。
根据本公开实施例,应用于物理机集群的容器启用装置800还可以包括训练模块,用于预先训练得到网络模型。
根据本公开实施例,训练模块可以包括第二确定单元、第二获取单元和训练单元。
第二确定单元,用于确定用于启用物理机集群中部署的容器的多种预设启用数量;
第二获取单元,用于针对每种预设启用数量,获取针对该种预设启用数量的容器在物理机集群中的多种启用方式,以及多种启用方式中的每种启用方式对应的物理机集群的总功耗;以及
训练单元,用于利用多种启用方式中的每种启用方式为样本,每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到网络模型。
根据本公开实施例,训练单元可以包括构建子单元、初始化子单元和执行子单元。
构建子单元,用于构建初始模型,其中,初始模型包括输入层、多层隐藏层以及输出层。
初始化子单元,用于初始化初始模型的模型参数,其中,模型参数包括多层隐藏层中每一层隐藏层的权重。
执行子单元,用于针对每一个样本,执行以下步骤:将样本经输入层传入多层隐藏层,以使得多层隐藏层对样本逐层进行处理后,将处理结果传入输出层,其中,多层隐藏层中的任一层隐藏层的输入由前一层隐藏层的输出确定;将输出层的处理结果和样本的标签输入损失函数;确定损失函数是否收敛;在损失函数不收敛的情况下,将输出层的处理结果和样本的标签之间的误差反向传入多层隐藏层,以使得多层隐藏层中的各个隐藏层根据误差调整各自的权重;重复执行以上步骤,直至损失函数收敛;以及在损失函数收敛的情况下,得到网络模型。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块801、输出模块802、第一确定模块803和启用模块804中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,第一获取模块801、输出模块802、第一确定模块803和启用模块804中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块801、输出模块802、第一确定模块803和启用模块804中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中应用于物理机集群的容器启用装置部分与本公开的实施例中应用于物理机集群的容器启用方法部分是相对应的,应用于物理机集群的容器启用装置部分的描述具体参考应用于物理机集群的容器启用方法部分,在此不再赘述。
图9示意性示出了根据本公开实施例的适于实现上文描述的方法及装置的计算机系统的框图。图9示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,根据本公开实施例的计算机系统900包括处理器901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中,存储有系统900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统900还可以包括输入/输出(I/O)接口905,输入/输出(I/O)接口905也连接至总线904。系统900还可以包括连接至I/O接口905的以下部件中的一项或多项:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种应用于物理机集群的容器启用方法,包括:
获取多种第一启用方式,其中,所述多种第一启用方式中的每种第一启用方式用于启用所述物理机集群中部署的第一启用数量的容器,其中,所述物理机集群包括多个物理机,所述多个物理机中的每个物理机部署有至少一个容器,所述至少一个容器中的每个容器用于执行一个应用程序;
将所述每种第一启用方式输入到预先构建的网络模型中,并通过所述网络模型输出与所述每种第一启用方式对应的物理机集群的总功耗;
根据所述与所述每种第一启用方式对应的物理机集群的总功耗,确定针对所述第一启用数量的容器的第一目标启用方式;以及
根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
2.根据权利要求1所述的方法,其中,所述第一启用数量大于或等于第一最低启用数量,并且小于或等于所述物理机集群中部署的容器的总量,其中,所述第一最低启用数量是根据业务流量需求和所述每个物理机中部署的容器的资源占用率确定的,所述资源占用率为与每个容器对应的应用程序占用所述每个容器本身所在的物理机的硬件资源的比例。
3.根据权利要求2所述的方法,还包括,在根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器之后:
获取所述每个物理机中已启用的各个容器各自的资源占用率;
确定所述每个物理机中已启用的各个容器各自的资源占用率是否大于所述资源占用率的阈值;以及
在确定所述每个物理机中已启用的各个容器各自的资源占用率大于所述资源占用率的阈值的情况下,利用所述网络模型更新所述第一目标启用方式。
4.根据权利要求3所述的方法,其中,利用所述网络模型更新所述第一目标启用方式包括:
获取多种第二启用方式,其中,所述多种第二启用方式中的每种第二启用方式用于启用物理机集群中部署的第二启用数量的容器,其中,所述第二启用数量大于或等于第二最低启用数量,并且小于或等于所述物理机集群中部署的容器的总量,所述第二最低启用数量根据新的业务流量需求和所述资源占用率确定;
将所述每种第二启用方式输入到所述网络模型中,并通过所述网络模型输出与所述每种第二启用方式对应的物理机集群的总功耗;
根据所述与所述每种第二启用方式对应的物理机集群的总功耗,确定针对所述第二启用数量的容器的第二目标启用方式;以及
将所述第一目标启用方式更新为所述第二目标启用方式。
5.根据权利要求1所述的方法,其中,确定针对所述第一启用数量的容器的第一目标启用方式包括:
确定所述多种第一启用方式中与最小的物理机集群的总功耗相对应的第一启用方式为所述第一目标启用方式。
6.根据权利要求1所述的方法,还包括:
预先训练得到所述网络模型,其中,训练过程包括:
确定用于启用所述物理机集群中部署的容器的多种预设启用数量;
针对每种预设启用数量,获取针对该种预设启用数量的容器在所述物理机集群中的多种启用方式,以及所述多种启用方式中的每种启用方式对应的物理机集群的总功耗;以及
利用所述多种启用方式中的每种启用方式为样本,所述每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到所述网络模型。
7.根据权利要求6所述的方法,其中,利用所述多种启用方式中的每种启用方式为样本,所述每种启用方式对应的物理机集群的总功耗为标签,训练初始模型,得到所述网络模型包括:
构建所述初始模型,其中,所述初始模型包括输入层、多层隐藏层以及输出层;
初始化所述初始模型的模型参数,其中,所述模型参数包括所述多层隐藏层中每一层隐藏层的权重;以及
针对每一个样本,执行以下步骤:
将所述样本经输入层传入所述多层隐藏层,以使得所述多层隐藏层对所述样本逐层进行处理后,将处理结果传入输出层,其中,所述多层隐藏层中的任一层隐藏层的输入由前一层隐藏层的输出确定;
将所述输出层的处理结果和所述样本的标签输入损失函数;
确定所述损失函数是否收敛;
在所述损失函数不收敛的情况下,将所述输出层的处理结果和所述样本的标签之间的误差反向传入所述多层隐藏层,以使得所述多层隐藏层中的各个隐藏层根据所述误差调整各自的权重;
重复执行以上步骤,直至所述损失函数收敛;以及
在所述损失函数收敛的情况下,得到所述网络模型。
8.一种应用于物理机集群的容器启用装置,包括:
第一获取模块,用于获取多种第一启用方式,其中,所述多种第一启用方式中的每种第一启用方式用于启用所述物理机集群中部署的第一启用数量的容器,其中,所述物理机集群包括多个物理机,所述多个物理机中的每个物理机部署有至少一个容器,所述至少一个容器中的每个容器用于执行一个应用程序;
输出模块,用于将所述每种第一启用方式输入到预先构建的网络模型中,并通过所述网络模型输出与所述每种第一启用方式对应的物理机集群的总功耗;
第一确定模块,用于根据所述与所述每种第一启用方式对应的物理机集群的总功耗,确定针对所述第一启用数量的容器的第一目标启用方式;以及
启用模块,用于根据所述第一目标启用方式启用所述物理机集群中的所述第一启用数量的容器,以便使用所启用的容器执行对应的应用程序。
9.一种计算机系统,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
CN202010299409.3A 2020-04-16 2020-04-16 应用于物理机集群的容器启用方法和装置、计算机系统 Active CN111488052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010299409.3A CN111488052B (zh) 2020-04-16 2020-04-16 应用于物理机集群的容器启用方法和装置、计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010299409.3A CN111488052B (zh) 2020-04-16 2020-04-16 应用于物理机集群的容器启用方法和装置、计算机系统

Publications (2)

Publication Number Publication Date
CN111488052A true CN111488052A (zh) 2020-08-04
CN111488052B CN111488052B (zh) 2022-03-08

Family

ID=71810906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010299409.3A Active CN111488052B (zh) 2020-04-16 2020-04-16 应用于物理机集群的容器启用方法和装置、计算机系统

Country Status (1)

Country Link
CN (1) CN111488052B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052296A (zh) * 2021-03-02 2021-06-29 贵州电网有限责任公司 基于深度学习卷积神经网络技术的电网输电缺陷智能管理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130174152A1 (en) * 2011-12-29 2013-07-04 Huawei Technologies Co., Ltd. Method, apparatus, and system for virtual cluster integration
CN104035868A (zh) * 2014-06-12 2014-09-10 天津大学 对角加边模型分解协调计算的数据中心求解方法
CN105426241A (zh) * 2015-11-16 2016-03-23 北京航空航天大学 一种基于云计算数据中心的统一资源调度节能方法
US9448841B2 (en) * 2014-03-17 2016-09-20 Ca, Inc. Decommissioning physical host machines after relocating unproductive virtual machines therefrom
US9632835B2 (en) * 2014-03-17 2017-04-25 Ca, Inc. Deployment of virtual machines to physical host machines based on infrastructure utilization decisions
CN107203256A (zh) * 2016-03-20 2017-09-26 田文洪 一种网络功能虚拟化场景下的节能分配方法与装置
CN108108224A (zh) * 2017-12-05 2018-06-01 西南交通大学 基于蚁群优化算法的云数据中心中虚拟机放置方法
CN109714400A (zh) * 2018-12-12 2019-05-03 华南理工大学 一种面向容器集群的能耗优化资源调度系统及其方法
CN110308993A (zh) * 2019-06-27 2019-10-08 大连理工大学 一种基于改进遗传算法的云计算资源分配方法
CN110795204A (zh) * 2018-08-03 2020-02-14 西安电子科技大学 一种虚拟机部署方法及装置
CN110795208A (zh) * 2019-10-11 2020-02-14 南京航空航天大学 基于改进粒子群的移动云计算自适应虚拟机调度方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130174152A1 (en) * 2011-12-29 2013-07-04 Huawei Technologies Co., Ltd. Method, apparatus, and system for virtual cluster integration
US9448841B2 (en) * 2014-03-17 2016-09-20 Ca, Inc. Decommissioning physical host machines after relocating unproductive virtual machines therefrom
US9632835B2 (en) * 2014-03-17 2017-04-25 Ca, Inc. Deployment of virtual machines to physical host machines based on infrastructure utilization decisions
CN104035868A (zh) * 2014-06-12 2014-09-10 天津大学 对角加边模型分解协调计算的数据中心求解方法
CN105426241A (zh) * 2015-11-16 2016-03-23 北京航空航天大学 一种基于云计算数据中心的统一资源调度节能方法
CN107203256A (zh) * 2016-03-20 2017-09-26 田文洪 一种网络功能虚拟化场景下的节能分配方法与装置
CN108108224A (zh) * 2017-12-05 2018-06-01 西南交通大学 基于蚁群优化算法的云数据中心中虚拟机放置方法
CN110795204A (zh) * 2018-08-03 2020-02-14 西安电子科技大学 一种虚拟机部署方法及装置
CN109714400A (zh) * 2018-12-12 2019-05-03 华南理工大学 一种面向容器集群的能耗优化资源调度系统及其方法
CN110308993A (zh) * 2019-06-27 2019-10-08 大连理工大学 一种基于改进遗传算法的云计算资源分配方法
CN110795208A (zh) * 2019-10-11 2020-02-14 南京航空航天大学 基于改进粒子群的移动云计算自适应虚拟机调度方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052296A (zh) * 2021-03-02 2021-06-29 贵州电网有限责任公司 基于深度学习卷积神经网络技术的电网输电缺陷智能管理系统

Also Published As

Publication number Publication date
CN111488052B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US20240160948A1 (en) Processing computational graphs
US20210295161A1 (en) Training neural networks represented as computational graphs
US11521067B2 (en) Decentralized distributed deep learning
US20190394132A1 (en) System and Method for Network Slicing for Service-Oriented Networks
US20180052709A1 (en) Dynamic usage balance of central processing units and accelerators
CN107710238A (zh) 具有堆栈存储器的硬件加速器上的深度神经网络处理
CN114840352A (zh) 分批处理机器学习模型的输入
CN107548549A (zh) 分布式计算环境中的资源平衡
JP6234477B2 (ja) 回帰モデルを計算するための方法、コンピュータ・プログラム、およびシステム
CN104123189A (zh) 一种基于IaaS层应用感知的Web多层应用动态资源调整方法
CN103401939A (zh) 一种采用混合调度策略的负载均衡方法
CN107038064A (zh) 虚拟机管理方法及装置、存储介质
US20170098171A1 (en) Asynchronous stochastic gradient descent
CN101873224A (zh) 一种云计算负载均衡方法和设备
US11948352B2 (en) Speculative training using partial gradients update
US20210191759A1 (en) Elastic Execution of Machine Learning Workloads Using Application Based Profiling
CN113469355B (zh) 分布式系统中的多模型训练管道
CN113435682A (zh) 分布式训练的梯度压缩
US20230206132A1 (en) Method and Apparatus for Training AI Model, Computing Device, and Storage Medium
US11443244B2 (en) Parallel ensemble of machine learning algorithms
CN111488052B (zh) 应用于物理机集群的容器启用方法和装置、计算机系统
WO2021115082A1 (zh) 作业调度方法以及作业调度装置
TWI758223B (zh) 具有動態最小批次尺寸之運算方法,以及用於執行該方法之運算系統及電腦可讀儲存媒體
Lambda Serverless Computing
TWI822290B (zh) 相關於用於訓練機器學習模型之聯合學習之電腦實施方法、電腦系統及電腦程式產品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant