CN108924221A - 分配资源的方法和装置 - Google Patents

分配资源的方法和装置 Download PDF

Info

Publication number
CN108924221A
CN108924221A CN201810712558.0A CN201810712558A CN108924221A CN 108924221 A CN108924221 A CN 108924221A CN 201810712558 A CN201810712558 A CN 201810712558A CN 108924221 A CN108924221 A CN 108924221A
Authority
CN
China
Prior art keywords
server
resource
micro services
acquisition time
tcp connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810712558.0A
Other languages
English (en)
Other versions
CN108924221B (zh
Inventor
文震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810712558.0A priority Critical patent/CN108924221B/zh
Publication of CN108924221A publication Critical patent/CN108924221A/zh
Application granted granted Critical
Publication of CN108924221B publication Critical patent/CN108924221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/83—Admission control; Resource allocation based on usage prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种分配资源的方法和装置，属于存储技术领域。所述方法包括：对于某个云存储系统，管理设备为某个服务器的各微服务分配资源时，可以获取云存储系统中该服务器的多种资源分配方式信息，资源分配方式信息包括服务器中各微服务的资源配额，然后将每种资源分配方式信息，分别输入到第一系统性能预估模型中，得到云存储系统的预设性能参数的性能值在预设取值范围内的预估概率，第一系统性能预估模型与服务器相对应，对于任一预估概率，该服务器的资源是按照得到该预估概率的资源分配方式信息进行分配的，然后基于预估概率最大对应的资源分配方式信息，对该服务器的各微服务进行资源分配。采用本申请，可以提供一种合理的资源分配方法。

Description

分配资源的方法和装置
技术领域
本申请涉及存储技术领域，特别涉及一种分配资源的方法和装置。
背景技术
随着云计算技术的发展，在云计算技术的基础上延伸出云存储系统的概念，云存储系统是指，通过集群应用、网络、分布式软件等技术，将网络中大量服务器通过软件结合起来协同工作，共同对外提供数据存储和业务访问功能的系统，具备安全、低成本、高可靠性等特点。一般云存储系统的存储服务包括：对象存储服务、文件存储服务和块存储服务等。
相关技术中，云存储系统包括一个容器管理器(Container Master)、至少一个物理服务器，容器管理器可以根据物理服务器的资源情况，采用容器化技术，将多个“微服务”(多个微服务协作完成存储服务)部署到同一物理服务器，并为每个“微服务”分配相同的资源。例如，可以将S3Protocol、Meta-Data、Storage Pool等，部署到同一物理服务器，并为S3Protocol、 Meta-Data、Storage Pool等分配相同的处理器(Central Processing Unit，CPU)资源、相同的网络带宽资源等。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
由于每个“微服务”所执行的处理不相同，分配相同的资源，有可能造成有的“微服务”资源浪费，而有的“微服务”资源不够用，所以需要提供一种合理的资源分配方法。
发明内容
为了解决相关技术中的问题，本发明实施例提供了一种分配资源的方法和装置。所述技术方案如下：
第一方面，提供了一种分配资源的方法，所述方法包括：
获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括所述服务器中各微服务的资源配额；将所述多种资源分配方式信息，输入到所述服务器对应的第一系统性能预估模型中，得到在所述服务器基于每种资源分配方式信息进行资源分配所述云存储系统的预设性能参数的性能值在预设取值范围内的预估概率；基于预估概率最大对应的资源分配方式信息，对所述服务器中各微服务进行资源分配。
本发明实施例所示的方案，本发明实施例所涉及的服务器是云存储系统中的任一服务器 (后续可以称为是待分配服务器)。多种资源分配方式信息可以预设，并且存储至管理设备中，每种资源分配方式信息包括待分配服务器中各微服务的资源配额。预设性能参数可以是读写时延参数，对应的性能值也就是读写时延值，预设取值范围是经过大量的统计，预设性能参数对应的性能值最有可能属于的取值范围。例如，在预设性能参数为读写时延参数时，预设取值范围也就是读写时延值最有可能属于的取值范围。预设取值范围为400ms～450ms。管理设备为待分配服务器中的至少一个微服务分配资源时，如果管理设备仅管理一个云存储系统，则可以获取预先存储的服务器与资源分配方式信息的对应关系，从该对应关系中，查找到待分配服务器对应的多种资源分配方式信息。管理设备获取到待分配服务器对应的多种资源分配方式信息后，可以获取对应资源分配，预先存储的服务器与系统性能预估模型的对应关系，从中查找到待分配服务器对应的第一系统性能预估模型。对于任一种资源分配方式信息，管理设备可以将该种资源分配方式信息，输入到第一系统性能预估模型中，可以得到待分配服务器基于该种资源分配方式信息进行资源分配的状态下，云存储系统的预设性能参数在预设取值范围内的预估概率。这样，将多种资源分配方式信息，分别都输入到第一系统性能预估模型中，可以得到多个预估概率。管理设备得到多个预估概率后，可以确定多个预估概率中最大的预估概率，使用得到最大的预估概率所用的一种资源分配方式信息，对待分配服务器的各微服务进行资源分配。
在一种可能的实现方式中，所述方法还包括：获取第一预设历史时长内，各采集时间点采集到的所述服务器中各微服务的资源使用率、以及所述云存储系统中与所述服务器具有相同微服务的服务器中各微服务的资源使用率、以及所述云存储系统的预设性能参数的性能值，其中，所述微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；根据所述第一训练样本集合，对第一初始系统性能预估模型进行训练，得到所述第一系统性能预估模型。
本发明实施例所示的方案，第一预设历史时长可以预设，并且存储至管理设备中。例如，第一预设历史时长可以是一周等。采集时间点可以是每个整数时间点，例如，采集时间点为 1天中的0点、1点……23点等。微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例。在云存储系统运行过程中，管理设备或对应云存储系统的监测设备，可以监测每个采集时间点的待分配服务器中各微服务的资源使用率，并且监测云存储系统中与待分配服务器具有相同微服务的服务器中各微服务的资源使用率、以及云存储系统的预设性能参数的性能值，并且存储这些数据、以及这些数据对应的采集时间点。后续管理设备可以从存储的数据中，获取第一预设历史时长内，各采集时间点采集到的待分配服务器中各微服务的资源使用率、以及云存储系统中与待分配服务器具有相同微服务的服务器中各微服务的资源使用率、以及云存储系统的预设性能参数的性能值，然后根据获取到的资源使用率和性能值，确定出第一训练样本集合。或者，管理设备可以从监测设备获取上述的第一训练样本集合(监测设备可以使用与管理设备相同的方法，确定第一训练样本集合)。管理设备中存储有第一初始系统性能预估模型，管理设备可以基于第一训练样本集合，对第一初始系统性能预估模型进行训练，得到第一初始系统性能预估模型中的待训练参数的参数值，然后将待训练参数的参数值代入第一初始系统性能预估模型中，得到第一系统性能预估模型。这样，可以训练得到第一系统性能预估模型。
在一种可能的实现方式中，所述根据获取到的资源使用率和获取到的性能值，确定第一训练样本数据，包括：
对于每个采集时间点，确定同一微服务在所述采集时间点在不同服务器中的资源使用率的平均值，将所述采集时间点的每个微服务对应的平均值，确定为所述采集时间点对应的样本资源分配方式信息；对于每个采集时间点，确定所述采集时间点获取的性能值在至少一个取值范围中的概率，作为所述采集时间点对应的样本预估概率，其中，所述至少一个取值范围包括所述预设取值范围；将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到所述第一训练样本集合。
本发明实施例所示的方案，资源使用率包括CPU使用率、网络带宽使用率和内存使用率， CPU使用率指微服务所使用的CPU占该微服务所属服务器的CPU的比例，网络带宽使用率指微服务所使用的网络带宽占该微服务所属服务器的网络带宽的比例，内存使用率指微服务所使用的内存占该微服务所属服务器的内存的比例。至少一个取值范围可以预设，并且存储至管理设备中，至少一个取值范围是基于大量的统计得到的。例如，预设性能参数为读写时延参数，可以基于大量的统计值，划分出至少一个取值范围，至少一个取值范围可以为 0～50ms、50～100ms、100～150ms、400～450ms和450～500ms等。对于每个采集时间点，管理设备可以计算在该采集时间点同一微服务在不同服务器中的资源使用率的平均值，然后将该采集时间点的每个微服务对应的平均值，确定为该采集时间点对应的样本资源分配方式信息。并且对于每个采集时间点，管理设备可以确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率。并且对于每个采集时间点，管理设备可以确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率。这样，由于考虑了多个服务器的数据，所以得到的训练样本集合更准确。
在一种可能的实现方式中，所述方法还包括：获取所述服务器支持的多种传输控制协议 TCP连接数目；将每种TCP连接数目，分别输入到所述服务器对应的预先训练的第二系统性能预估模型中，得到在所述服务器分别使用每种TCP连接数目的状态下，所述云存储系统的预设性能参数的性能值在所述预设取值范围内的预估概率；确定对应的预估概率最大的目标 TCP连接数目，将所述服务器的TCP连接数目设置为所述目标TCP连接数目。
本发明实施例所示的方案，传输控制协议(Transmission Control Protocol，TCP)连接数目用于指示服务器可建立的TCP连接的最大数目，多种TCP连接数目是经过统计得出的最常用的几种TCP连接数目。
管理设备确定待分配服务器中的TCP连接数目时，如果管理设备仅管理一个云存储系统，则可以获取预先存储的服务器与TCP连接数目的对应关系，从该对应关系中，查找到待分配服务器对应的多种TCP连接数目。例如，多种TCP连接数目为100、500、300等。管理设备获取到待分配服务器对应的多种TCP连接数目后，可以获取对应TCP连接，预先存储的服务器与系统性能预估模型的对应关系，从中查找到待分配服务器对应的第二系统性能预估模型。对于任一种TCP连接数目，管理设备可以将该种TCP连接数目，输入到第二系统性能预估模型中，可以得到待分配服务器基于该种TCP连接数目进行资源分配的状态下，云存储系统的预设性能参数在预设取值范围内的预估概率。这样，将多种TCP连接数目，分别都输入到第二系统性能预估模型中，可以得到多个预估概率。然后可以确定多个预估概率中最大的预估概率，然后确定得到最大的预估概率所用的目标TCP连接数目，将待分配服务器的TCP连接数目设置为目标TCP连接数目。这样，还可以对TCP连接数目进行约束，使云存储系统的性能最佳。
在一种可能的实现方式中，所述方法还包括：获取第二预设历史时长内，各采集时间点采集到的所述服务器中的TCP连接数目、以及所述云存储系统中与所述服务器具有相同微服务的服务器中的TCP连接数目、以及所述云存储系统的预设性能参数的性能值；根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；根据所述第二训练样本集合，对第二初始系统性能预估模型进行训练，得到所述第二系统性能预估模型。
本发明实施例所示的方案，第二预设历史时长可以预设，并且存储至管理设备中的，第二预设历史时长可以与上述提到的第一预设历史时长相同。例如，第二预设历史时长可以是一周等。采集时间点可以是每个整数时间点，例如，采集时间点为1天中的0点、1点……23 点等。在云存储系统运行过程中，管理设备或对应云存储系统的监测设备，可以监测每个采集时间点的待分配服务器的TCP连接数目，并且监测云存储系统中与待分配服务器具有相同微服务的服务器的TCP连接数目、以及云存储系统的预设性能参数的性能值，并且存储这些数据、以及这些数据对应的采集时间点。后续管理设备可以从存储的数据中，获取第二预设历史时长内，各采集时间点采集到的待分配服务器的TCP连接数目、以及云存储系统中与待分配服务器具有相同微服务的服务器的TCP连接数目、以及云存储系统的预设性能参数的性能值，然后根据获取到的TCP连接数目和性能值，确定出第二训练样本集合。或者，管理设备可以从监测设备获取上述的第二训练样本集合(监测设备可以使用与管理设备相同的方法，确定第二训练样本集合)。管理设备中存储有第二初始系统性能预估模型，管理设备可以基于第二训练样本集合，对第二初始系统性能预估模型进行训练，得到第二初始系统性能预估模型中的待训练参数的参数值，然后将待训练参数的参数值代入第二初始系统性能预估模型中，得到第二系统性能预估模型。
在一种可能的实现方式中，所述预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
第二方面，提供了一种管理设备，该管理设备包括处理器和存储器，所述处理器通过执行指令来实现上述第一方面所提供的分配资源的方法。
第三方面，提供了一种分配资源的装置，该装置包括一个或多个模块，该一个或多个模块通过执行指令来实现上述第一方面所提供的分配资源的方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有指令，当计算机可读存储介质在管理设备上运行时，使得管理设备执行上述第一方面所提供的分配资源的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在管理设备上运行时，使得管理设备执行上述第一方面所提供的分配资源的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，使用性能预估模型得到的预估概率，在多种资源分配方式信息中选择了预估概率最大的资源分配方式信息，相对于资源平均分配比较合理，所以相对提供了一种合理的资源分配方法，可以提供更高质量的存储服务。
附图说明
图1是本发明实施例提供的一种分配资源的应用场景示意图；
图2是本发明实施例提供的一种管理设备的结构示意图；
图3是本发明实施例提供的一种分配资源的方法流程图；
图4是本发明实施例提供的一种分配资源的应用场景示意图；
图5是本发明实施例提供的一种神经网络的示意图；
图6是本发明实施例提供的一种分配资源的装置的结构示意图；
图7是本发明实施例提供的一种分配资源的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了便于对本发明实施例的理解，下面首先介绍本发明实施例涉及的系统架构、以及所涉及到名词的概念。
本发明实施例可以适用于云存储系统，如图1所示，云存储系统中包括多个服务器(每个服务器也可以称为是节点)，多个服务器上的微服务均可以相同，或者多个服务器中某些服务器上的微服务相同，除这些服务器之外的其它微服务不相同。云存储系统还可以对应有一个管理设备(管理设备可以是服务器，也可以称为是容器管理器)，一个管理设备可以管理多个云存储系统、也可以管理一个云存储系统。管理设备可以用于为云存储系统中服务器上的微服务分配资源。
云存储系统：通过集群应用、网络、分布式软件等技术，将网络中大量服务器通过软件结合起来协同工作，共同对外提供数据存储和业务访问功能的系统，具备安全、低成本、高可靠性等特点。一般云存储系统的存储服务包括：对象存储服务、文件存储服务和块存储服务等。
微服务：用于执行存储处理，一般服务器上包括至少一个微服务，至少一个微服务中每个微服务执行不同处理，共同提供存储服务。例如，服务器中包括微服务S3Protocol、微服务Meta-Data、微服务Storage Pool等，微服务S3Protocol用于解析协议，微服务Meta-Data 用于存储元数据，微服务Storage Pool用于存储实际数据。
资源配额：对于任一微服务而言，指该微服务的各功能在所属服务器上所能所用资源的最大限额。如对于微服务S3Protocol，网络带宽可以使用30％等。
本发明实施例提供了一种分配资源的方法，该方法的执行主体可以是管理设备。
图2示出了本发明实施例中管理设备的结构框图，该管理设备至少可以包括接收器201、处理器202、存储器203和发射器204。其中，接收器201可以用于实现数据的接收，具体可以用于视频报文的接收，发射器204可以用于数据的发送，具体可以用于视频报文的发送，存储器203可以用于存储软件程序以及模块，处理器202通过运行存储在存储器203中的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器203可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据管理设备的使用所创建的数据等。此外，存储器203可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器203还可以包括存储器控制器，以提供处理器202、接收器201和发射器204对存储器203的访问。处理器202是管理设备的控制中心，利用各种接口和线路连接整个管理设备的各个部分，通过运行或执行存储在存储器203内的软件程序和/或模块，以及调用存储在存储器203内的数据，执行管理设备的各种功能和处理数据，从而对管理设备进行整体监控。
可选的，处理器202可包括一个或多个处理核心；优选的，处理器202可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器 202中。
本发明实施例，提供了一种分配资源的方法，如图3所示，该方法的执行步骤流程可以如下：
步骤301，获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括服务器中各微服务的资源配额。
其中，本发明实施例中提到的服务器是云存储系统中的任一服务器(后续可以称为是待分配服务器)。多种资源分配方式信息可以预设，并且存储至管理设备中，每种资源分配方式信息包括待分配服务器中各微服务的资源配额。例如，待分配服务器中包括三种微服务，分别为微服务S3 Protocol、微服务Meta-Data、微服务Storage Pool，第一种资源分配方式信息下，微服务S3 Protocol的中央处理器(Central Processing Unit，CPU)占30％、微服务Meta-Data 的CPU占20％、微服务Storage Pool的CPU占40％，第二种资源分配方式信息下，微服务 S3 Protocol的CPU占35％、微服务Meta-Data的CPU占20％、微服务Storage Pool的CPU 占45％等。
在实施中，管理设备为待分配服务器中的至少一个微服务分配资源时，如果管理设备仅管理一个云存储系统，则可以获取预先存储的服务器与资源分配方式信息的对应关系，从该对应关系中，查找到待分配服务器对应的多种资源分配方式信息。
另外，如果管理设备管理多个云存储系统，则上述对应关系为云存储系统、服务器与资源分配方式信息三者的对应关系，查找待分配服务器所属的云存储系统和待分配服务器共同对应的资源分配方式信息。
步骤302，将多种资源分配方式信息，输入到服务器对应的第一系统性能预估模型中，得到在服务器基于每种资源分配方式信息进行资源分配云存储系统的预设性能参数的性能值在预设取值范围内的预估概率。
其中，预设性能参数可以是读写时延参数，对应的性能值也就是读写时延值，预设取值范围是经过大量的统计，预设性能参数对应的性能值最有可能属于的取值范围。例如，在预设性能参数为读写时延参数时，预设取值范围也就是读写时延值最有可能属于的取值范围。预设取值范围为400ms～450ms。
在实施中，管理设备获取到待分配服务器对应的多种资源分配方式信息后，可以获取对应资源分配，预先存储的服务器与系统性能预估模型的对应关系，从中查找到待分配服务器对应的第一系统性能预估模型。
对于任一种资源分配方式信息，管理设备可以将该种资源分配方式信息，输入到第一系统性能预估模型中，可以得到待分配服务器基于该种资源分配方式信息进行资源分配的状态下，云存储系统的预设性能参数在预设取值范围内的预估概率。这样，将多种资源分配方式信息，分别都输入到第一系统性能预估模型中，可以得到多个预估概率。
步骤303，基于预估概率最大对应的资源分配方式信息，对服务器中各微服务进行资源分配。
在实施中，管理设备得到多个预估概率后，可以确定多个预估概率中最大的预估概率，使用得到最大的预估概率所用的一种资源分配方式信息，对待分配服务器的各微服务进行资源分配。
可选的，对待分配服务器的各微服务进行资源分配的方式可以如下：
管理设备得到最大的预估概率对应的资源分配方式信息后，可以生成资源分配的指示消息，并在其中携带该资源分配方式信息，然后向待分配服务器发送资源分配的指示消息。待分配服务器接收到资源分配的指示消息后，可以从中解析到最大的预估概率对应的资源分配方式信息，然后使用该资源分配方式信息，为各微服务分配资源。例如，指示消息中携带的资源分配方式信息为微服务S3Protocol的CPU占35％、微服务Meta-Data的CPU占20％、微服务Storage Pool的CPU占45％，待分配服务器在后续使用过程中，S3Protocol的CPU不能超过35％，微服务Meta-Data的CPU不能超过20％，微服务Storage Pool的CPU不能超过 45％。
另外，管理设备可以向云存储系统中，与待分配服务器中微服务相同的服务器发送上述资源分配的指示消息。这样，云存储系统中，微服务相同的服务器中各微服务的资源配额相同。
另外，如果多个预估概率中最大的预估概率不止一个，则可以确定多个最大的预估概率对应的多个资源分配方式信息，从中选择任一资源分配方式信息，使用该资源分配方式信息，对待分配服务器的各微服进行资源分配。
可选的，预设性能参数包括处理读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
在实施中，预设性能参数为读写时延参数，云存储系统的预设性能参数的性能值为读写时延值，在前面已经说明，预设取值范围为读写时延值的取值范围，此处不再赘述。预设性能参数还可以是单位时长内的处理请求数目参数，云存储系统的预设性能参数的性能值为单位时长内的处理请求数目，预设取值范围为单位时长内处理请求数目的取值范围。预设性能参数还可以是读写带宽参数，云存储系统的预设性能参数的性能值为读写所用带宽，预设取值范围为读写所用带宽的取值范围。如果预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的多个，在步骤302中，将每种资源分配方式信息，分别输入到待分配服务器对应的第一系统性能预估模型中，得到在待分配服务器分别基于每种资源分配方式信息进行资源分配的状态下，云存储系统的在每个预设性能参数的性能值在对应的预设取值范围内的预估概率，相应的在步骤303中，对应每种资源分配方式，需要考虑每种预设性能参数的预估概率，可以是为每种预设性能参数设置相应的权值，基于对应的加权后预估概率最大的资源分配方式信息，对待分配服务器的各微服务进行资源分配。
例如，有两种资源分配方式信息，且有两种预设性能参数，第一种资源分配方式信息下，读写时延参数对应的预估概率为80％，单位时长内的处理请求数目参数对应的预估概率为 90％，第二种资源分配方式信息下，读写时延参数对应的预估概率为85％，单位时长内的处理请求数目参数对应的预估概率为80％，读写时延参数对应的权值为0.6，单位时长内的处理请求数目参数对应的权值为0.4，第一种资源分配方式信息下，加权后为 0.6*80％+0.4*90％＝84％，第二种资源分配方式信息下，加权后为0.6*85％+0.4*80％＝83％，第一种资源分配方式信息下加权后的值更大，可以基于第一种资源分配方式信息，对待分配服务器中的各微服务进行资源分配。
可选的，本发明实施例中还提供得到待分配服务器对应的第一系统性能预估模型的方法，相应的处理可以如下：
获取第一预设历史时长内，各采集时间点采集到的服务器中各微服务的资源使用率、以及云存储系统中与服务器具有相同微服务的服务器中各微服务的资源使用率、以及云存储系统的预设性能参数的性能值，其中，微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；根据第一训练样本集合，对第一初始系统性能预估模型进行训练，得到第一系统性能预估模型。
其中，第一预设历史时长可以预设，并且存储至管理设备中。例如，第一预设历史时长可以是一周等。采集时间点可以是每个整数时间点，例如，采集时间点为1天中的0点、1点……23点等。微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例。
在实施中，在云存储系统运行过程中，管理设备或对应云存储系统的监测设备，可以监测每个采集时间点的待分配服务器中各微服务的资源使用率，并且监测云存储系统中与待分配服务器具有相同微服务的服务器中各微服务的资源使用率、以及云存储系统的预设性能参数的性能值，并且存储这些数据、以及这些数据对应的采集时间点。
后续管理设备可以从存储的数据中，获取第一预设历史时长内，各采集时间点采集到的待分配服务器中各微服务的资源使用率、以及云存储系统中与待分配服务器具有相同微服务的服务器中各微服务的资源使用率、以及云存储系统的预设性能参数的性能值，然后根据获取到的资源使用率和性能值，确定出第一训练样本集合。或者，管理设备可以从监测设备获取上述的第一训练样本集合(监测设备可以使用与管理设备相同的方法，确定第一训练样本集合)。
管理设备中存储有第一初始系统性能预估模型，管理设备可以基于第一训练样本集合，对第一初始系统性能预估模型进行训练，得到第一初始系统性能预估模型中的待训练参数的参数值，然后将待训练参数的参数值代入第一初始系统性能预估模型中，得到第一系统性能预估模型。
需要说明的是，上述训练过程，可以由其它训练设备进行训练，最后将第一系统性能预估模型发送至管理设备。还需要说明的是，在确定训练样本集合时，选取的是当前的资源使用率，基于大量的资源使用率，即可反映出实际的资源配额。
可选的，确定第一训练样本集合的方法可以如下：
对于每个采集时间点，确定同一微服务在采集时间点在不同服务器中的资源使用率的平均值，将采集时间点的每个微服务对应的平均值，确定为采集时间点对应的样本资源分配方式信息；对于每个采集时间点，确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率，其中，至少一个取值范围包括预设取值范围；将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到第一训练样本集合。
其中，资源使用率包括CPU使用率、网络带宽使用率和内存使用率，CPU使用率指微服务所使用的CPU占该微服务所属服务器的CPU的比例，网络带宽使用率指微服务所使用的网络带宽占该微服务所属服务器的网络带宽的比例，内存使用率指微服务所使用的内存占该微服务所属服务器的内存的比例。至少一个取值范围可以预设，并且存储至管理设备中，至少一个取值范围是基于大量的统计得到的，至少一个取值范围包括预设取值范围。例如，预设性能参数为读写时延参数，可以基于大量的统计值，划分出至少一个取值范围，至少一个取值范围可以为0～50ms、50～100ms、100～150ms、400～450ms和450～500ms等。
在实施中，对于每个采集时间点，管理设备可以计算在该采集时间点同一微服务在不同服务器中的资源使用率的平均值，然后将该采集时间点的每个微服务对应的平均值，确定为该采集时间点对应的样本资源分配方式信息。
例如，云存储系统中有N-1个服务器与待分配服务器具有相同微服务，微服务有微服务 S3 Protocol、微服务Meta-Data、微服务Storage Pool，在采集时间点2018/6/22/24:00，待分配服务器中微服务S3 Protocol的CPU使用率为C1、网络带宽使用率为N1、内存使用率为M1， N-1个服务器中微服务S3 Protocol的CPU使用率为Cn、网络带宽使用率为Bn、内存使用率为Mn，其中，n小于或等于N，且大于或等于2。这样，该采集时间点，CPU使用率的平均值为(C1+C2+…+C(N-1))/N，同理该采集时间点，内存使用率的平均值为(M1+M2+…+ M(N-1))/N，同理该采集时间点，网络带宽使用率的平均值为(B1+B2+…+B(N-1))/N。 (C1+C2+…+C(N-1))/N、(M1+M2+…+M(N-1))/N和(B1+B2+…+B(N-1))/N，即为该采集时间点对应的样本资源分配方式信息。
并且对于每个采集时间点，管理设备可以确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率。例如，预设性能参数为读写时延参数，至少一个取值范围可以为0～50ms、50～100ms、100～150ms、400～450ms和450～500ms，对于采集时间点2018/6/22/24:00，云存储系统的预设性能参数的性能值为430ms，则在至少一个取值范围中的概率依次为0、0、0、100％和0，该采集时间点对应的样本预估概率依次为0、 0、0、100％和0。
然后，管理设备可以将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为该采集时间点对应的训练样本数据，样本预估概率为实际结果。这样，将各采集时间点对应的训练样本数据，进行合并，即得到第一训练样本集合。
可选的，本发明实施例中，还提供了基于训练样本数据进行训练的过程：
第一初始系统性能预估模型为：
ΣWcn*[Cxt]+ΣWmn*[Mxt]+ΣWnn*[Nxt]+…＝[It] (1)
在式(1)中，x表示各微服务，如x为1，表示第一个微服务，x为2，表示第二个微服务等，t表示采集时间点，C表示CPU使用率，M表示内存使用率，B表示网络带宽使用率， It表示样本预估概率，Wcn、Wmn、Wbn表示待训练参数，可以初始对待训练参数进行赋值处理。
训练目标为使用系统性能预估模型输出的概率与样本预估概率的误差最小。
损失函数L为：
L＝(Y，f(X))＝1/2(Y-f(X))^2 (2)
在式(2)中，Y为第一训练样本集合中的样本预估概率，f(X)为f(It)。
使用“最快下降梯度算法”，求损失函数对W(Wcn、Wmn、Wbn)的偏导数：
然后将初始对待训练参数的赋值输入到式(3)中，得到再调整待训练参数的取值，再代入式(3)中，循环多次后，使最小。使最小时，待训练参数的取值，即为最终的待训练参数的参数值。
另外，除了使用上述方法进行训练，还可以使用其它神经网络算法进行训练。
另外，本发明实施例中，还提供了存在监测设备和训练设备时，云存储系统的框架图，如图4所示，(1)监测设备监测到资源使用率和预设性能参数的性能值，(2)发送至训练设备，(3)训练设备训练得到第一系统性能预估模型，发送至管理设备，(4)管理设备通知待分配服务器进行配置。
可选的，本发明实施例中，还可以控制TCP连接数目，相应的处理可以如下：
获取服务器支持的多种TCP连接数目；将每种TCP连接数目，分别输入到服务器对应的预先训练的第二系统性能预估模型中，得到在服务器分别使用每种TCP连接数目的状态下，云存储系统的预设性能参数的性能值在预设取值范围内的预估概率；确定对应的预估概率最大的目标TCP连接数目，将服务器的TCP连接数目设置为目标TCP连接数目。
其中，TCP连接数目用于指示服务器可建立的TCP连接的最大数目，多种TCP连接数目是经过统计得出的最常用的几种TCP连接数目。
在实施中，管理设备确定待分配服务器中的TCP连接数目时，如果管理设备仅管理一个云存储系统，则可以获取预先存储的服务器与TCP连接数目的对应关系，从该对应关系中，查找到待分配服务器对应的多种TCP连接数目。例如，多种TCP连接数目为100、500、300等。
另外，如果管理设备管理多个云存储系统，则上述对应关系为云存储系统、服务器与TCP 连接数目三者的对应关系，确定云存储系统和待分配服务器共同对应的TCP连接数目。
管理设备获取到待分配服务器对应的多种TCP连接数目后，可以获取对应TCP连接，预先存储的服务器与系统性能预估模型的对应关系，从中查找到待分配服务器对应的第二系统性能预估模型。
对于任一种TCP连接数目，管理设备可以将该种TCP连接数目，输入到第二系统性能预估模型中，可以得到待分配服务器基于该种TCP连接数目进行资源分配的状态下，云存储系统的预设性能参数在预设取值范围内的预估概率。这样，将多种TCP连接数目，分别都输入到第二系统性能预估模型中，可以得到多个预估概率。
管理设备得到多个预估概率后，可以确定多个预估概率中最大的预估概率，然后确定得到最大的预估概率所用的目标TCP连接数目，将待分配服务器的TCP连接数目设置为目标 TCP连接数目。这样，还可以对TCP连接数目进行约束，使云存储系统的性能最佳。
需要说明的是，一般接收待存储的数据时，服务器首先会与发送端建立TCP连接，建立的TCP连接越多，说明所使用的资源越多，所以要限制TCP连接数目。
可选的，将待分配服务器的TCP连接数目设置为目标TCP连接数目的处理可以如下：
管理设备得到目标TCP连接数目后，可以TCP连接配置的指示消息，并在其中携带目标TCP连接数目，然后向待分配服务器发送TCP连接配置的指示消息。待分配服务器接收到TCP连接配置的指示消息后，可以从中解析到目标TCP连接数目，将TCP连接数目配置为目标TCP连接数目。
另外，管理设备可以向云存储系统中，与待分配服务器中微服务相同的服务器发送上述 TCP连接配置的指示消息。这样，云存储系统中，微服务相同的服务器的TCP连接数目相同。
另外，如果多个预估概率中最大的预估概率不止一个，则可以确定多个最大的预估概率对应的多个TCP连接数目，从中选择任一TCP连接数目，确定为目标TCP连接数目。
可选的，本发明实施例中，还提供了训练第二系统性能预估模型的方法，相应的处理可以如下：
获取第二预设历史时长内，各采集时间点采集到的待分配服务器中的TCP连接数目、以及云存储系统中与待分配服务器具有相同微服务的服务器中的TCP连接数目、以及云存储系统的预设性能参数的性能值；根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；根据第二训练样本集合，对第二初始系统性能预估模型进行训练，得到第二系统性能预估模型。
其中，第二预设历史时长可以预设，并且存储至管理设备中的，第二预设历史时长可以与上述提到的第一预设历史时长相同。例如，第二预设历史时长可以是一周等。采集时间点可以是每个整数时间点，例如，采集时间点为1天中的0点、1点……23点等。
在实施中，在云存储系统运行过程中，管理设备或对应云存储系统的监测设备，可以监测每个采集时间点的待分配服务器的TCP连接数目，并且监测云存储系统中与待分配服务器具有相同微服务的服务器的TCP连接数目、以及云存储系统的预设性能参数的性能值，并且存储这些数据、以及这些数据对应的采集时间点。
后续管理设备可以从存储的数据中，获取第二预设历史时长内，各采集时间点采集到的待分配服务器的TCP连接数目、以及云存储系统中与待分配服务器具有相同微服务的服务器的TCP连接数目、以及云存储系统的预设性能参数的性能值，然后根据获取到的TCP连接数目和性能值，确定出第二训练样本集合。或者，管理设备可以从监测设备获取上述的第二训练样本集合(监测设备可以使用与管理设备相同的方法，确定第二训练样本集合)。
管理设备中存储有第二初始系统性能预估模型，管理设备可以基于第二训练样本集合，对第二初始系统性能预估模型进行训练，得到第二初始系统性能预估模型中的待训练参数的参数值，然后将待训练参数的参数值代入第二初始系统性能预估模型中，得到第二系统性能预估模型。
需要说明的是，上述训练过程，可以由其它训练设备进行训练，最后将第二系统性能预估模型发送至管理设备。
可选的，本发明实施例中，还提供了确定第二训练样本集合的方法，相应的处理可以如下：
对于每个采集时间点，确定在该采集时间点不同服务器中的TCP连接数目的平均值，将该采集时间点的TCP连接数目对应的平均值，确定为该采集时间点对应的样本TCP连接数目；对于每个采集时间点，确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率；将每个采集时间点对应的样本TCP连接和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到第二训练样本集合。
在实施中，对于每个采集时间点，管理设备可以计算在该采集时间点不同服务器中的TCP 连接数目的平均值，然后将该采集时间点的TCP连接数目对应的平均值，确定为该采集时间点对应的样本TCP连接数目。
例如，云存储系统中有N-1个服务器与待分配服务器具有相同微服务，在某个采集时间点，这N个服务器的TCP连接数目分别为a1、a2…an，则在该采集时间点，样本TCP连接数目为(a1+a2+…+an)/n。
并且对于每个采集时间点，管理设备可以确定采集时间点获取的性能值在至少一个取值范围中的概率，作为采集时间点对应的样本预估概率。预设性能参数为读写时延参数，至少一个取值范围可以为0～50ms、50～100ms、100～150ms、400～450ms和450～500ms，对于采集时间点2018/6/22/23:00，云存储系统的预设性能参数的性能值为120ms，则在至少一个取值范围中的概率依次为0、0、100％、0和0，该采集时间点对应的样本预估概率依次为0、0、 100％、0和0。
然后，管理设备可以将每个采集时间点对应的样本TCP连接数目和样本预估概率，确定为该采集时间点对应的训练样本数据，样本预估概率为实际结果。这样，将各采集时间点对应的训练样本数据，进行合并，即得到第二训练样本集合。
另外，如图5所示，本发明实施例中，还提供了涉及到神经网络算法，包括一个输入层、一个输出层和至少一个隐藏层，图5中仅示出了某些输出。
本发明实施例中，使用性能预估模型得到的预估概率，在多种资源分配方式信息中选择了预估概率最大的资源分配方式信息，相对于资源平均分配比较合理，所以相对提供了一种合理的资源分配方法，可以提供更高质量的存储服务。
图6是本发明实施例提供的分配资源的装置的结构图。该装置可以通过软件、硬件或者两者的结合实现成为管理设备中的部分或者全部。本发明实施例提供的管理设备可以实现本发明实施例图3所述的流程，该装置包括：获取模块610、输入模块620和分配模块630，其中：
获取模块610，用于获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括所述服务器中各微服务的资源配额，具体可以实现上述步骤301中的获取功能，以及其它隐含步骤；
输入模块620，用于将所述多种资源分配方式信息，输入到所述服务器对应的第一系统性能预估模型中，得到在所述服务器基于每种资源分配方式信息进行资源分配所述云存储系统的预设性能参数的性能值在预设取值范围内的预估概率，具体可以实现上述步骤302中的输入功能，以及其它隐含步骤；
分配模块630，用于基于预估概率最大对应的资源分配方式信息，对所述服务器的各微服务进行资源分配，具体可以实现上述步骤303中的分配功能，以及其它隐含步骤。
可选的，所述获取模块610，还用于：
获取第一预设历史时长内，各采集时间点采集到的所述服务器中各微服务的资源使用率、以及所述云存储系统中与所述服务器具有相同微服务的服务器中各微服务的资源使用率、以及所述云存储系统的预设性能参数的性能值，其中，所述微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；
如图7所示，所述装置还包括：
确定模块640，用于根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；
训练模块650，用于根据所述第一训练样本集合，对第一初始系统性能预估模型进行训练，得到所述第一系统性能预估模型。
可选的，所述确定模块640，用于：
对于每个采集时间点，确定同一微服务在所述采集时间点在不同服务器中的资源使用率的平均值，将所述采集时间点的每个微服务对应的平均值，确定为所述采集时间点对应的样本资源分配方式信息；
对于每个采集时间点，确定所述采集时间点获取的性能值在至少一个取值范围中的概率，作为所述采集时间点对应的样本预估概率，其中，所述至少一个取值范围包括所述预设取值范围；
将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到所述第一训练样本集合。
可选的，所述获取模块610，还用于获取所述服务器支持的多种传输控制协议TCP连接数目；
所述输入模块620，还用于将每种TCP连接数目，分别输入到所述服务器对应的预先训练的第二系统性能预估模型中，得到在所述服务器分别使用每种TCP连接数目的状态下，所述云存储系统的预设性能参数的性能值在所述取值范围内的预估概率；
所述分配模块630，用于确定对应的预估概率最大的目标TCP连接数目，将所述服务器的TCP连接数目设置为所述目标TCP连接数目。
可选的，所述获取模块610，还用于：
获取第二预设历史时长内，各采集时间点采集到的所述服务器中的TCP连接数目、以及所述云存储系统中与所述服务器具有相同微服务的服务器中的TCP连接数目、以及所述云存储系统的预设性能参数的性能值；
根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；
根据所述第二训练样本集合，对第二初始系统性能预估模型进行训练，得到所述第二系统性能预估模型。
可选的，所述预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
本发明实施例中，使用性能预估模型得到的预估概率，在多种资源分配方式信息中选择了预估概率最大的资源分配方式信息，相对于资源平均分配比较合理，所以相对提供了一种合理的资源分配方法，可以提供更高质量的存储服务。
需要说明的是，上述获取模块610、输入模块620和分配模块630可以由处理器302实现，或者处理器202配合发射器204和接收器201来实现。
需要说明的是：上述实施例提供的分配资源的装置在分配资源时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的分配资源的装置与分配资源的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在服务器或终端上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴光缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是服务器或终端能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如软盘、硬盘和磁带等)，也可以是光介质(如数字视盘(Digital Video Disk， DVD)等)，或者半导体介质(如固态硬盘等)。
以上所述仅为本申请的一个实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种分配资源的方法，其特征在于，所述方法包括：
获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括所述服务器中各微服务的资源配额；
将所述多种资源分配方式信息，输入到所述服务器对应的第一系统性能预估模型中，得到在所述服务器基于每种资源分配方式信息进行资源分配所述云存储系统的预设性能参数的性能值在预设取值范围内的预估概率；
基于预估概率最大对应的资源分配方式信息，对所述服务器中各微服务进行资源分配。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一预设历史时长内，各采集时间点采集到的所述服务器中各微服务的资源使用率、以及所述云存储系统中与所述服务器具有相同微服务的服务器中各微服务的资源使用率、以及所述云存储系统的预设性能参数的性能值，其中，所述微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；
根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；
根据所述第一训练样本集合，对第一初始系统性能预估模型进行训练，得到所述第一系统性能预估模型。
3.根据权利要求2所述的方法，其特征在于，所述根据获取到的资源使用率和获取到的性能值，确定第一训练样本数据，包括：
对于每个采集时间点，确定同一微服务在所述采集时间点在不同服务器中的资源使用率的平均值，将所述采集时间点的每个微服务对应的平均值，确定为所述采集时间点对应的样本资源分配方式信息；
对于每个采集时间点，确定所述采集时间点获取的性能值在至少一个取值范围中的概率，作为所述采集时间点对应的样本预估概率，其中，所述至少一个取值范围包括所述预设取值范围；
将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到所述第一训练样本集合。
4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
获取所述服务器支持的多种传输控制协议TCP连接数目；
将每种TCP连接数目，分别输入到所述服务器对应的预先训练的第二系统性能预估模型中，得到在所述服务器分别使用每种TCP连接数目的状态下，所述云存储系统的预设性能参数的性能值在所述预设取值范围内的预估概率；
确定对应的预估概率最大的目标TCP连接数目，将所述服务器的TCP连接数目设置为所述目标TCP连接数目。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取第二预设历史时长内，各采集时间点采集到的所述服务器中的TCP连接数目、以及所述云存储系统中与所述服务器具有相同微服务的服务器中的TCP连接数目、以及所述云存储系统的预设性能参数的性能值；
根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；
根据所述第二训练样本集合，对第二初始系统性能预估模型进行训练，得到所述第二系统性能预估模型。
6.根据权利要求1所述的方法，其特征在于，所述预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
7.一种分配资源的管理设备，其特征在于，所述管理设备包括处理器和存储器：
所述处理器，用于：
获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括所述服务器中各微服务的资源配额；
将所述多种资源分配方式信息，输入到所述服务器对应的第一系统性能预估模型中，得到在所述服务器基于每种资源分配方式信息进行资源分配所述云存储系统的预设性能参数的性能值在预设取值范围内的预估概率；
基于预估概率最大对应的资源分配方式信息，对所述服务器中各微服务进行资源分配。
8.根据权利要求7所述的管理设备，其特征在于，所述处理器，还用于：
获取第一预设历史时长内，各采集时间点采集到的所述服务器中各微服务的资源使用率、以及所述云存储系统中与所述服务器具有相同微服务的服务器中各微服务的资源使用率、以及所述云存储系统的预设性能参数的性能值，其中，所述微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；
根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；
根据所述第一训练样本集合，对第一初始系统性能预估模型进行训练，得到所述第一系统性能预估模型。
9.根据权利要求8所述的管理设备，其特征在于，所述处理器，还用于：
对于每个采集时间点，确定同一微服务在所述采集时间点在不同服务器中的资源使用率的平均值，将所述采集时间点的每个微服务对应的平均值，确定为所述采集时间点对应的样本资源分配方式信息；
对于每个采集时间点，确定所述采集时间点获取的性能值在至少一个取值范围中的概率，作为所述采集时间点对应的样本预估概率，其中，所述至少一个取值范围包括所述预设取值范围；
将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到所述第一训练样本集合。
10.根据权利要求7至9任一所述的管理设备，其特征在于，所述处理器，还用于：
获取所述服务器支持的多种传输控制协议TCP连接数目；
将每种TCP连接数目，分别输入到所述服务器对应的预先训练的第二系统性能预估模型中，得到在所述服务器分别使用每种TCP连接数目的状态下，所述云存储系统的预设性能参数的性能值在所述预设取值范围内的预估概率；
确定对应的预估概率最大的目标TCP连接数目，将所述服务器的TCP连接数目设置为所述目标TCP连接数目。
11.根据权利要求10所述的管理设备，其特征在于，所述处理器，还用于：
获取第二预设历史时长内，各采集时间点采集到的所述服务器中的TCP连接数目、以及所述云存储系统中与所述服务器具有相同微服务的服务器中的TCP连接数目、以及所述云存储系统的预设性能参数的性能值；
根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；
根据所述第二训练样本集合，对第二初始系统性能预估模型进行训练，得到所述第二系统性能预估模型。
12.根据权利要求7所述的管理设备，其特征在于，所述预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
13.一种分配资源的装置，其特征在于，所述装置包括：
获取模块，用于获取云存储系统中服务器的多种资源分配方式信息，其中，资源分配方式信息包括所述服务器中各微服务的资源配额；
输入模块，用于将所述多种资源分配方式信息，输入到所述服务器对应的第一系统性能预估模型中，得到在所述服务器基于每种资源分配方式信息进行资源分配所述云存储系统的预设性能参数的性能值在预设取值范围内的预估概率；
分配模块，用于基于预估概率最大对应的资源分配方式信息，对所述服务器的各微服务进行资源分配。
14.根据权利要求13所述的装置，其特征在于，所述获取模块，还用于：
获取第一预设历史时长内，各采集时间点采集到的所述服务器中各微服务的资源使用率、以及所述云存储系统中与所述服务器具有相同微服务的服务器中各微服务的资源使用率、以及所述云存储系统的预设性能参数的性能值，其中，所述微服务的资源使用率是微服务使用的资源量在所属服务器的总资源量中所占的比例；
所述装置还包括：
确定模块，用于根据获取到的资源使用率和获取到的性能值，确定第一训练样本集合；
训练模块，用于根据所述第一训练样本集合，对第一初始系统性能预估模型进行训练，得到所述第一系统性能预估模型。
15.根据权利要求14所述的装置，其特征在于，所述确定模块，用于：
对于每个采集时间点，确定同一微服务在所述采集时间点在不同服务器中的资源使用率的平均值，将所述采集时间点的每个微服务对应的平均值，确定为所述采集时间点对应的样本资源分配方式信息；
对于每个采集时间点，确定所述采集时间点获取的性能值在至少一个取值范围中的概率，作为所述采集时间点对应的样本预估概率，其中，所述至少一个取值范围包括所述预设取值范围；
将每个采集时间点对应的样本资源分配方式信息和样本预估概率，确定为每个采集时间点对应的训练样本数据，得到所述第一训练样本集合。
16.根据权利要求13至15任一所述的装置，其特征在于，所述获取模块，还用于获取所述服务器支持的多种传输控制协议TCP连接数目；
所述输入模块，还用于将每种TCP连接数目，分别输入到所述服务器对应的预先训练的第二系统性能预估模型中，得到在所述服务器分别使用每种TCP连接数目的状态下，所述云存储系统的预设性能参数的性能值在所述取值范围内的预估概率；
所述分配模块，用于确定对应的预估概率最大的目标TCP连接数目，将所述服务器的TCP连接数目设置为所述目标TCP连接数目。
17.根据权利要求16所述的装置，其特征在于，所述获取模块，还用于：
获取第二预设历史时长内，各采集时间点采集到的所述服务器中的TCP连接数目、以及所述云存储系统中与所述服务器具有相同微服务的服务器中的TCP连接数目、以及所述云存储系统的预设性能参数的性能值；
根据获取到的TCP连接数目和获取到的性能值，确定第二训练样本集合；
根据所述第二训练样本集合，对第二初始系统性能预估模型进行训练，得到所述第二系统性能预估模型。
18.根据权利要求13所述的装置，其特征在于，所述预设性能参数包括读写时延参数、读写带宽参数、单位时长内的处理请求数目参数中的一个或多个。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述计算机可读存储介质在管理设备上运行时，使得所述管理设备执行所述权利要求1-6中任一权利要求所述的方法。
20.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在管理设备上运行时，使得所述管理设备执行所述权利要求1-6中任一权利要求所述的方法。
CN201810712558.0A 2018-06-29 2018-06-29 分配资源的方法和装置 Active CN108924221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712558.0A CN108924221B (zh) 2018-06-29 2018-06-29 分配资源的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712558.0A CN108924221B (zh) 2018-06-29 2018-06-29 分配资源的方法和装置

Publications (2)

Publication Number Publication Date
CN108924221A true CN108924221A (zh) 2018-11-30
CN108924221B CN108924221B (zh) 2020-08-25

Family

ID=64424545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712558.0A Active CN108924221B (zh) 2018-06-29 2018-06-29 分配资源的方法和装置

Country Status (1)

Country Link
CN (1) CN108924221B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800083A (zh) * 2018-12-18 2019-05-24 平安科技（深圳）有限公司 一种微服务协同调用的方法、装置、系统及存储介质
CN110008050A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN110730101A (zh) * 2019-10-22 2020-01-24 深圳前海微众银行股份有限公司 资源分配方法、终端、装置及可读存储介质
CN110968483A (zh) * 2019-12-20 2020-04-07 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN111258705A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 用于检测云硬盘输入输出io邻位干扰的方法和装置
CN111327921A (zh) * 2018-12-17 2020-06-23 深圳市炜博科技有限公司 视频数据处理方法及设备
CN112016795A (zh) * 2020-07-15 2020-12-01 北京淇瑀信息科技有限公司 一种并行资源配额调整方法、装置及系统
CN112187670A (zh) * 2020-08-21 2021-01-05 西安电子科技大学 一种基于群体智能的网络化软件共享资源分配方法及装置
US20210055862A1 (en) * 2019-08-19 2021-02-25 International Business Machines Corporation Storage allocation enhancement of microservices
CN113010376A (zh) * 2021-03-01 2021-06-22 北京聚云科技有限公司 一种对存储训练数据的云存储系统的监测方法及装置
CN113268350A (zh) * 2021-06-07 2021-08-17 上海数禾信息科技有限公司 基于云的服务构建的资源分配方法、装置、计算机设备
CN113468367A (zh) * 2020-03-31 2021-10-01 百度在线网络技术（北京）有限公司 一种生成服务信息的方法和装置
CN113765949A (zh) * 2020-06-02 2021-12-07 华为技术有限公司 资源分配的方法以及装置
WO2022029560A1 (en) * 2020-08-05 2022-02-10 International Business Machines Corporation Managing communication between microservices
CN114666224A (zh) * 2020-12-08 2022-06-24 中移动信息技术有限公司 业务资源容量动态分配方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958166A (zh) * 2011-08-29 2013-03-06 华为技术有限公司 一种资源分配方法及资源管理平台
CN103516623A (zh) * 2012-06-25 2014-01-15 中兴通讯股份有限公司 资源分配方法及系统
CN105959138A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 基于云计算的微服务动态部署的系统及方法
CN106250199A (zh) * 2016-07-26 2016-12-21 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
CN106464685A (zh) * 2014-11-04 2017-02-22 华为技术有限公司 服务器资源的自适应分配
US20170070504A1 (en) * 2015-09-03 2017-03-09 Vmware, Inc. Access control policy management in a cloud services environment
CN106686081A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 一种数据库服务系统的资源分配方法和装置
CN106789339A (zh) * 2017-01-19 2017-05-31 北京仿真中心 一种基于轻量级虚拟化架构的分布式云仿真方法与系统
CN106850832A (zh) * 2017-03-01 2017-06-13 郑州云海信息技术有限公司 一种基于微服务架构的云管理系统
CN107239329A (zh) * 2016-03-29 2017-10-10 西门子公司 云环境下统一资源调度方法及系统
CN107846295A (zh) * 2016-09-19 2018-03-27 华为技术有限公司 微服务配置装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958166A (zh) * 2011-08-29 2013-03-06 华为技术有限公司 一种资源分配方法及资源管理平台
CN103516623A (zh) * 2012-06-25 2014-01-15 中兴通讯股份有限公司 资源分配方法及系统
CN106464685A (zh) * 2014-11-04 2017-02-22 华为技术有限公司 服务器资源的自适应分配
US20170070504A1 (en) * 2015-09-03 2017-03-09 Vmware, Inc. Access control policy management in a cloud services environment
CN107239329A (zh) * 2016-03-29 2017-10-10 西门子公司 云环境下统一资源调度方法及系统
CN105959138A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 基于云计算的微服务动态部署的系统及方法
CN106250199A (zh) * 2016-07-26 2016-12-21 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
CN107846295A (zh) * 2016-09-19 2018-03-27 华为技术有限公司 微服务配置装置及方法
CN106686081A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 一种数据库服务系统的资源分配方法和装置
CN106789339A (zh) * 2017-01-19 2017-05-31 北京仿真中心 一种基于轻量级虚拟化架构的分布式云仿真方法与系统
CN106850832A (zh) * 2017-03-01 2017-06-13 郑州云海信息技术有限公司 一种基于微服务架构的云管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XI ZHENG，JIAOJIAO JIANG等: "《SmartVM: A Multi-Layer Microservice-Based Platform for Deploying SaaS》", 《 2017 IEEE INTERNATIONAL SYMPOSIUM ON PARALLEL AND DISTRIBUTED PROCESSING WITH APPLICATIONS AND 2017 IEEE INTERNATIONAL CONFERENCE ON UBIQUITOUS COMPUTING AND COMMUNICATIONS (ISPA/IUCC)》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258705A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 用于检测云硬盘输入输出io邻位干扰的方法和装置
CN111327921A (zh) * 2018-12-17 2020-06-23 深圳市炜博科技有限公司 视频数据处理方法及设备
CN109800083A (zh) * 2018-12-18 2019-05-24 平安科技（深圳）有限公司 一种微服务协同调用的方法、装置、系统及存储介质
CN109800083B (zh) * 2018-12-18 2024-05-07 平安科技（深圳）有限公司 一种微服务协同调用的方法、装置、系统及存储介质
CN110008050A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN110008050B (zh) * 2019-04-11 2023-06-30 北京百度网讯科技有限公司 用于处理信息的方法和装置
US11669246B2 (en) * 2019-08-19 2023-06-06 International Business Machines Corporation Storage allocation enhancement of microservices
CN114174974B (zh) * 2019-08-19 2022-12-09 国际商业机器公司 微服务的存储分配增强
US20210055862A1 (en) * 2019-08-19 2021-02-25 International Business Machines Corporation Storage allocation enhancement of microservices
CN114174974A (zh) * 2019-08-19 2022-03-11 国际商业机器公司 微服务的存储分配增强
CN110730101A (zh) * 2019-10-22 2020-01-24 深圳前海微众银行股份有限公司 资源分配方法、终端、装置及可读存储介质
CN110968483A (zh) * 2019-12-20 2020-04-07 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN110968483B (zh) * 2019-12-20 2023-08-11 支付宝实验室(新加坡)有限公司 业务数据采集方法、装置及电子设备
CN113468367A (zh) * 2020-03-31 2021-10-01 百度在线网络技术（北京）有限公司 一种生成服务信息的方法和装置
CN113765949A (zh) * 2020-06-02 2021-12-07 华为技术有限公司 资源分配的方法以及装置
CN112016795A (zh) * 2020-07-15 2020-12-01 北京淇瑀信息科技有限公司 一种并行资源配额调整方法、装置及系统
WO2022029560A1 (en) * 2020-08-05 2022-02-10 International Business Machines Corporation Managing communication between microservices
GB2613725A (en) * 2020-08-05 2023-06-14 Ibm Managing communication between microservices
CN112187670A (zh) * 2020-08-21 2021-01-05 西安电子科技大学 一种基于群体智能的网络化软件共享资源分配方法及装置
CN114666224A (zh) * 2020-12-08 2022-06-24 中移动信息技术有限公司 业务资源容量动态分配方法、装置、设备及存储介质
CN113010376B (zh) * 2021-03-01 2023-07-21 北京聚云科技有限公司 一种对存储训练数据的云存储系统的监测方法及装置
CN113010376A (zh) * 2021-03-01 2021-06-22 北京聚云科技有限公司 一种对存储训练数据的云存储系统的监测方法及装置
CN113268350A (zh) * 2021-06-07 2021-08-17 上海数禾信息科技有限公司 基于云的服务构建的资源分配方法、装置、计算机设备
CN113268350B (zh) * 2021-06-07 2024-01-26 上海数禾信息科技有限公司 基于云的服务构建的资源分配方法、装置、计算机设备

Also Published As

Publication number Publication date
CN108924221B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108924221A (zh) 分配资源的方法和装置
CN105281981B (zh) 网络服务的数据流量监控方法和装置
CN108667748B (zh) 一种控制带宽的方法、装置、设备和存储介质
US7644161B1 (en) Topology for a hierarchy of control plug-ins used in a control system
CN104092756B (zh) 一种基于dht机制的云存储系统的资源动态分配方法
US8612615B2 (en) Systems and methods for identifying usage histories for producing optimized cloud utilization
CN103152393B (zh) 一种云计算的计费方法和计费系统
WO2017167025A1 (zh) 一种实现任务调度的方法、装置及计算机存储介质
CN109672627A (zh) 基于集群服务器的业务处理方法、平台、设备及存储介质
CN100473021C (zh) 用于通过调节网络控制进行自动的系统管理的系统和方法
US20130198755A1 (en) Apparatus and method for managing resources in cluster computing environment
CN105049268A (zh) 分布式计算资源分配系统和任务处理方法
US20060200469A1 (en) Global session identifiers in a multi-node system
CN110866167B (zh) 任务分配方法、装置、服务器和存储介质
CN108196788A (zh) QoS指标监测方法、装置、存储介质
CN104243405A (zh) 一种请求处理方法、装置及系统
CN109085999A (zh) 数据处理方法及处理系统
CN109041130A (zh) 基于移动边缘计算的资源分配方法
CN109254726A (zh) 分布式存储系统中服务质量保障方法、控制节点及系统
CN108628769A (zh) 一种缓存分配方法，及设备
CN110430068A (zh) 一种特征工程编排方法及装置
CN106407013B (zh) 资源动态调度的方法、装置、资源调度服务器及系统
CN112711479A (zh) 服务器集群的负载均衡系统、方法、装置和存储介质
CN111865817A (zh) 遥测采集器负载均衡管控方法、装置、设备及存储介质
CN112219191A (zh) 数据中心中的服务和服务器的自配置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220214

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right